Namun karena adanya konflik di tubuh PKB, berakibat Gus Ipul dicopot dari jabatan Sekjen PKB, sehingga berimbas pada jabatan menteri tersebut.
Karena tidak dianggap lagi sebagai representasi PKB maka ia digantikan oleh Lukman Edy yang juga menggantikannnya sebagai Sekjen PKB.
Setelah tidak menjabat lagi sebagai menteri, Gus Ipul kemudian mengikuti kontestasi pilkada dan pernah menjabat sebagai Wakil Gubernur Jawa Timur periode 2009-2019.
Saat itu ia menjadi Wakil Gubernur Jawa Timur mendampingi Soekarwo. Bahkan Gus Ipul menjabat sebagai Wagub Jatim selama dua periode.
Sejak muda, Gus Ipul dikenal aktif berorganisasi. Tercatat ia pernah menjadi Ketua Umum GP Ansor selama dua periode, yakni 2000-2005 dan 2005-2010.
Gus Ipul diketahui pula sebagai keponakan dari Presiden keempat RI Abdurrahman Wahid (Gus Dur).
Dia pernah menjadi anggota DPR RI dari Fraksi PDI Perjuangan pada tahun 1999, sebelum akhirnya memutuskan bergabung dengan Partai Kebangkitan Bangsa (PKB) pada 2001.***
