Bisa jadi karena Habib Syarief merupakan hasil tempaan langsung Ayahandanya, Habib Ustman Al Aydrus, tokoh Nahdlatul Ulama Jawa Barat dan pendiri Yayasan Assalaam Bandung.
Dari didikan sang ayah itulah, Habib Syarief menjadi sosok yang matang terutama melihat problematika yang terjadi pada bangsa ini. Melihat riwayatnya, Habib Syarief ternyata pernah ditempa di Krapyak oleh H Ali Maksum, serta Prof. KH. Tolhah Mansur.
Dari situ Habib Syarief kemudian menimba ilmu di IAIN Sunan Kalijaga seraya mengawali peran aktivisnya bersama Pergerakan Mahasiswa Islam Indonesia (PMII). Aktivitas di PMII ini membawanya menjadi Ketua Cabang PMII Yogyakarta pada tahun 1979.
Setibanya kembali di Kota Bandung, Habib Syarief menumpahkan kecintaanya pada dunia pendidikan dengan memilih menjadi dosen pada 30 Perguruan Tinggi. Jiwa kepemimpinan Habib Syarief semakin tampak ketika dalam waktu yang bersamaan, berhasil memimpin Yayasan Assalaam Bandung, yang berfokus pada pendidikan jenjang dasar dan menengah, kemudian pada jenjang pendidikan tinggi memimpin Universitas Islam Nusantara. Di bidang keagamaan menjadi Ketua Tanfidziyah PWNU Jawa Barat.
Pada tahun 1998, Habib Syarief mendapatkan permintaan langsung dari Gus Dur untuk bersama-sama merumuskan pendirian Partai Kebangkitan Bangsa, hingga akhirnya ditunjuk menjadi Ketua DPW PKB Jawa Barat yang kemudian turut menghantarkannya menjadi Anggota MPR RI pada tahun 1999-2004.
Menurut Habief Syarief kepada wartawan beberapa Waktu lalu, dirinya ikut membidani lahirnya PKB pada 1999, terutama pertemuan terakhir di Bandung. Ketika itu timnya yang merumuskan AD/ART PKB pada tahun 1999. “Tercatat dalam sejarah ada beberapa pertemuan. Ada pertemuan Rembang, pertemuan Semarang, Bandung, dan Cirebon. Itu cikal bakal melahirkan gagasan-gagasan yang terwujud menjadi PKB yang dideklarasikan oleh Gus Dur,” imbuh dia.
