Xitoy yilnomalarida poytaxti Palembang boʻlgan Kantoli qirolligi (milodiy VI asr boshlari) toʻgʻrisida eslatib oʻtiladi. Janubiy Sumatra VII asrning oxirgi choragida hokimiyat tepasiga kelgan Palembangdagi Srivijaya buddaviylik imperiyasining bir qismiga aylandi. 1377-yilda qirol Paramesvara magʻlubiyatga uchragach, Sharqiy Yavada buddaviylar hukmronligi oʻrniga Majapahit hindu imperiyasi paydo boʻladi. Majapahitlar imperiyasi XVI asr boshlarigacha hukm surgan. Ayni damda taxminan 1500-yillarda Palembangda musulmonlar podsholigi (keyinchalik sultonlik) ham tashkil topdi. Ular XIX asr boshlarida Gollandiya va Britaniya mustamlakachilik bosqinlarining ogʻir zarbasiga duch keldi. 1823-yilda Gollandiyaning Palembang ustidan qatʼiy hukmronligi oʻrnatildi.
Yaponlar 1942–1945-yillarda, Ikkinchi jahon urushi davrida viloyatni bosib oldi. Sumatra orolining butun janubiy qismi va unga tutash kichikroq orollarni o'z ichiga olgan Janubiy Sumatra 1950-yilda Indoneziya Respublikasi tarkibiga kirdi. 1964-yilda Janubiy Sumatraning uchdan bir qismida Lampung provinsiyasi tashkil etildi. 1967-yilda Janubiy Sumatraning gʻarbiy qirgʻoq mintaqasi Bengkulu provinsiyasiga, 2000-yilda sharqiy orollar esa Bangka Belitung provinsiyasiga aylantirildi.