Karier politiknya dimulai pada periode 1984-2000 sebagai staf dan pejabat di pemerintahan Kabupaten Polewali Mamasa.
Selanjutnya, ia menjabat sebagai Camat di Kecamatan Tapango, Kabupaten Polewali Mamasa dari tahun 2000 hingga 2002, dan kemudian sebagai Kepala Badan Pengendalian Dampak Lingkungan Daerah, Kabupaten Polewali Mandar, dari 2002 hingga 2004.
Pada tahun 2004, Ali Baal Masdar mencalonkan diri dan terpilih sebagai Bupati Polewali Mandar untuk periode 2004-2009 dan terpilih lagi untuk periode 2009-2014.
Ia melanjutkan karier politiknya sebagai Gubernur Sulawesi Barat pada Pilkada serentak 2017.
Ali Baal Masdar dicalonkan oleh delapan partai politik: PKB, PPP, PAN, Nasdem, Golkar, PDIP, PKPI, dan Gerindra. Ia terpilih sebagai Gubernur Sulawesi Barat dengan keunggulan kurang dari 5.000 suara, bersama wakilnya Enny Anggraeni Anwar. (*)