Kota Palembang sudah terkenal sejak dulu. Konon, kota ini pernah menjadi pusat pemerintahan Kerajaan Sriwijaya, kerajaan besar di Nusantara. Kota Palembang berkembang pesat sejak zaman Kesultanan Palembang dan menjadi kota penting pada masa kolonial Belanda. Sungai Musi yang airnya mengalir tenang membelah Kota Palembang menjadi dua bagian: Palembang hulu dan Palembang hilir.
Umat Katolik telah berkembang di Kota Palembang sejak masa Hindia Belanda. Bahkan sebelum misionaris Jesuit membuka daerah misi di Tanjung Sakti pada tahun 1888, di Kota Palembang sudah dijumpai umat Katolik, meskipun jumlahnya tidak seberapa. Begitu pula sesudah para misionaris Kapusin (OFM Cap.) menangani reksa pastoral umat Katolik di Pulau Sumatera, umat Katolik yang tinggal di Kota Palembang memperoleh pelayanan dari para misionaris Kapusin di Sungaiselan, Bangka.Pada 27 Desember 1923 Vatikan mengumumkan pendirian Prefektur Apostolik Bengkulu yang berpusat di Tanjung Sakti, bersama-sama dengan Prefektur Apostolik Bangka-Belitung atau sekarang Keuskupan Pangkal Pinang. Prefektur Apostolik adalah wilayah gerejani di mana umat Katolik baru mulai berkembang dan dipimpin seorang imam yang tidak ditahbiskan sebagai uskup, tetapi memiliki wewenang seperti seorang uskup yang disebut Prefek Apostolik. Disebut Prefektur Apostolik Bengkulu karena pusat prefektur ini adalah Tanjung Sakti yang pada waktu itu terletak di Keresidenan Bengkulu.
Prefektur Apostolik Bengkulu melayani daerah yang luasnya mencapai 5,5 kali luas Belanda; daerah pelayanannya meliputi Keresidenan Palembang, Keresidenan Lampung, Keresidenan Bengkulu, dan Keresidenan Jambi. Prefektur Apostolik Bengkulu dipercayakan kepada para imam SCJ (Sacrodis Cordis Jesu).
Dari Tanjung Sakti, para misionaris SCJ memperluas karya pastoral di berbagai kota penting di Sumatera Selatan, termasuk di Kota Palembang. Pada Paskah tahun 1925, Pastor Henricus van Oort, SCJ membuka paroki pertama di Kota Palembang yaitu Paroki Hati Kudus. Rumah yang diwariskan oleh misionaris Kapusin dirombak menjadi gereja kecil yang mampu menampung umat Katolik yang pada tahun itu baru berjumlah sekitar 200 orang.
Pada tahun 1939, Vatikan meningkatkan kedudukan Prefektur Apostolik Bengkulu menjadi Vikariat Apostolik. Vikariat Apostolik yaitu suatu wilayah gerejani di mana umat Katolik belum mandiri; dipimpin seorang uskup yang ditahbiskan oleh Paus dan sekaligus sebagai wakil Paus yang bergelar Vikaris Apostolik. Mgr. Henricus Mekkelholt, SCJ yang sebelumnya menjabat Prefek Apostolik Bengkulu sejak tahun 1934, diangkat sebagai Vikaris Apostolik. Mgr. Mekkelhot memindahkan pusat misi dari Tanjung Sakti ke Kota Palembang.
Kedatangan balatentara Jepang meluluh lantakan karya misi yang berkembang amat bagus. Para misionaris (pastor, bruder, frater, dan suster) dimasukkan ke kamp interniran Jepang. Vikariat Apostolik Palembang telah kehilangan 9 imam SCJ, 2 bruder SCJ, 31 suster (Charitas, Hati Kudus, FSGM, dan CB), dan seorang frater BHK.
Baru sekitar tahun 1948, para misionaris merintis kembali karya misi di Palembang. Selain Paroki Hati Kudus sebagai paroki yang pertama kali didirikan, pada Juni 1948 didirikan paroki kedua yaitu Paroki Santa Maria. Pastor Gerardus Elling, SCJ mendirikan paroki ketiga yaitu Paroki Santo Paulus Plaju (1952) dan Pastor Johannes van der Heyden, SCJ merintis paroki yang keempat yaitu Paroki Santo Fransiskus de Sales, Sei Buah (1960). Perkembangan jumlah umat di Paroki Hati Kudus cukup pesat sehingga diputuskan sebagian dari umat yang berada di paroki ini akan menjadi anggota dalam sebuah paroki baru sebagai paroki kelima. Paroki Santo Yoseph menjadi paroki kelima di Palembang yang telah dirintis pada tahun 1960-an, namun baru resmi menjadi paroki pada tahun 1967.