Кариерата му започва в НК Марсония през 2004 година. Там играе само 1 сезон. През 2005 е привлечен от НК Загреб. Първият сезон на Марио в НК Загреб не е толкова успешен – той вкарва едва 3 гола в 23 мача. През следващия отбелязва 11 попадения в 23 мача.
През 2007 е купен от Динамо (Загреб) за заместник на Едуардо да Силва. Цената на трансфера е 1,3 млн. евро. През 2007/08 вкарва 12 гола и записва 11 асистенции за 29 мача, но си изкарва и 8 жълти картона. През 2008/09 става голмайстор в шампионата на Хърватия. Избран е и за най-добър играч в първенството. След края на сезона Вердер Бремен предлагат 12 млн. евро, ръководството на Динамо обаче отказва. Те слагат цена на Марио от 15 млн. евро. На 20 септември 2009 срещу Риека, Манджукич извежда своят тим с капитанската лента. Той казва, че това било неговата детска мечта.
На 14 юли 2010 преминава в германския Волфсбург. Марио влиза предимно като резерва и до 20-ия си мач има само един гол. Все пак хърватинът успява да отбележи още 7 попадения до края на сезона и е избран за играч на 33-тия кръг на първенството. На 11 септември 2011 вкарва 2 гола на Шалке 04. В първия полусезон на 2011/12 вкарва общо 7 попадения, като става един от голмайсторите на отбора през сезона.
На 27 юни 2012 г. преминава в германския гранд Байерн Мюнхен. На 12 август 2012 г. още в шестата минута, Манджукич отбелязва своя първи официален гол за „баварците“ срещу отбора на Борусия Дортмунд и така помага на своя отбор да спечели Суперкупата на Германия. Дебютира в първенството в мач срещу Гройтер Фюрт и вкарва попадение за победата с 3 – 0. Марио се превръща в основен голмайстор на тима, но в груповата фаза на Шампионската лига не успява да отбележи нито веднъж. Първия си гол в Европа вкарва на 19 февруари 2013 срещу Арсенал. На финала на Шампионската лига Манджукич вкарва първия гол за победата на Байерн с 2 – 1 над Борусия Дортмунд.
На 10 юли 2014 г., Марио преминава в испанския Атлетико Мадрид за сумата от 22 млн. евро и подписва 4-годишен договор с клуба.[1][2]
На 22 юни 2015 г. преминава в италианския Ювентус за сумата от 19 млн. евро, като подписва 4-годишен договор.
На 24 декември 2019 г. подписва с катарския клуб Ал Духаил.