Sebagai Uskup, Mgr. Bumbun mengambil moto "Amor non Amatur" yang berarti "kasih tak dikasihi", sebuah ungkapan dari Santo Fransiskus Assisi.

Pada 26 Februari 1977, Bumbun ditunjuk menjadi Uskup Agung Pontianak melanjutkan kepemimpinan Mgr. Herculanus Joannes Maria van der Burgt OFM Cap, yang meninggal dunia pada 2 Juli 1976. 

Pada masa itu, pengangkatan uskup asli Indonesia dianggap penting, karena menunjukkan kemandirian Gereja Indonesia.

Selama delapan tahun sejak 8 Juni 1982, Mgr. Bumbun menjalankan tugas ganda dengan menjadi Administrator Apostolik Keuskupan Sanggau pasca-diterimanya pengunduran diri Prefek Apostolik Sekadau, Domenico Luca Spinosi CP.

Tugas pastoralnya tersebut berlangsung hingga 22 Januari 1990 dimana setelah Mgr. Giulio Mencuccini CP, ditunjuk melanjutkan kepemimpinan Keuskupan Sanggau.

Pada 3 Juni 2014, Tahta Suci menerima pengunduran diri Mgr. Bumbun sebagai Uskup Agung Pontianak, dan menunjuk Mgr. Agustinus Agus, Uskup Sintang sebagai penerusnya. 

Setelah Uskup Emeritus, Mgr. Bumbun bertempat tinggal di biara Ordo Kapusin.

Ia aktif dalam memimpin Misa Tridentina di Pontianak.

Selama menjadi Uskup, Mgr. Bumbun menjadi Uskup Pentahbis Utama bagi dua uskup, yaitu Mgr. Michael Cornelis C. Coomans MSF, sebagai Uskup Samarinda pada 14 Februari 1988 dan Mgr. Giulio Mencuccini CP, sebagai Uskup Sanggau pada 3 Juni 1990. 

• BREAKING NEWS: Uskup Emeritus Mgr Hieronimus Bumbun Meninggal Dunia

Selain itu, ia juga menjadi Uskup Pentahbis Pendamping bagi sembilan orang uskup, yakni:

*  Mgr. Isak Doera sebagai Uskup Sintang pada 19 Mei 1977

*  Mgr. Blasius Pujoraharja sebagai Uskup Ketapang pada 17 Juni 1979

*  Mgr. Fransiskus Xaverius Rocharjanta Prajasuta MSF, sebagai Uskup Banjarmasin pada 23 Oktober 1983

*  Mgr. Yulius Aloysius Husin MSF, sebagai Uskup Palangkaraya pada 17 Oktober 1993

*  Mgr. Florentinus Sului Hajang Hau MSF, sebagai Uskup Samarinda pada 21 November 1993