Beliau juga menjabat sebagai Kepala Pusat Operasi Intelijen (Kapusopsin) Kejagung pada tahun 1999 dan Staf Ahli Jaksa Agung pada tahun 2000.
Setelah pensiun dari Kejaksaan Agung, Chairuman Harahap beralih ke posisi sebagai Deputi Menko Polhukkam Bidang Hukum dan HAM.
Baca Juga: BMKG Beberkan Pemicu di Balik Gempa Bumi Magnitudo 5 yang Mengguncang Kabupaten Bandung
Dalam kapasitas ini, ia turut serta dalam Anggota Steering Committee RUU Pembentukan Komisi Pemberantasan Tindak Pidana Korupsi, menunjukkan keterlibatannya yang aktif dalam upaya pemberantasan korupsi di Indonesia.
Selain itu, Chairuman Harahap juga terpilih sebagai anggota DPR RI untuk periode 2009-2014 dan pernah mencalonkan diri sebagai Gubernur Sumatera Utara.
Meskipun pencalonannya tidak berhasil, keikutsertaannya dalam bursa calon gubernur menunjukkan komitmennya yang mendalam terhadap pengembangan daerahnya.
Rencananya, jenazah Chairuman Harahap akan dimakamkan di kampung halamannya di Gunung Tua, Kabupaten Padanglawas Utara, Sumatra Utara.