Mahkamah Syariah Padangsidimpuan dibentuk berdasarkan peratutan Pemerintah Nomor 45 tahun 1957.
Mahkamah Syariah Padangsidimpuan terbentuk setelah Mahkmah Syariah Sibolga sebagai keresidenan Tapanuli. Pada tahun 1950 setelah Keresidenan tapanuli menjadi tiga daerah wilayah, yaitu Tapanuli Tengah, Tapanuli Utara dan tapanuli Selatan, maka dimasing-masing wilayah dibentuk Mahkamah Syariah Sibolga untuk Kabupaten Tapanuli Tengah, Mahkamah Syariah Padangsidimpuan untuk Tapanuli Selatan dan Mahkamah Syariah Balige untuk Tapanuli Utara.

              Mahkamah Syariah Padangsidimpuan Berdiri dan dibentuk berdasarkan peraturan pemerintah Nomor 45 Tahun 1957 dan berdiri sejak tanggal 1 Juli 1958. Setelah Undang-Undang Nomor 1 tahun 1974, Mahkamah Syariah Padangsidimpuan dengan wilayah hukum yang sama berobah nama menjadi Pengadilan Agama Padangsidimpuan dengan wilayah hukum Kabupaten Tapanuli Selatan.
             Dahulu Pengadilan Agama Padangsidimpuan Beralamat di Jalan Williem Iskandar IV Kelurahan Sadabuan Kecamatan Padangsidimpuan Utara, Kota Padangsidimpuan.
             Pengadilan Agama Padangsidimpuan kini telah memiliki gedung baru yang terletak di Jalan H.T. Rizal Nurdin KM. 07 Salambue, Telp. (0634) 21182 dan Fax (0634) 23726, Desa Salambue, Kecamatan Padangsidimpuan Tenggara, Kota Padangsidimpuan, dibangun diatas tanah seluas  + 5600 M² dan luas Bangunan 943 M² dengan 2 lantai gedung, dan dibangun Pada tahun 2008 dari DIPA Pengadilan Agama Padangsidimpuan tahun 2008.  dan diresmikan pada hari Kamis, tanggal 25 Maret 2010 oleh Ketua Mahkamah Agung Republik Indonesia Bapak DR H. Harifin Tumpa, S.H.

Pada tahun 2011 Pengadilan Agama Kota Padangsidimpuan telah berdiri, Sehingga Wilayah Perkara Pengadilan Agama Padangsidimpuan terdiri dari 3 Kabupaten yaitu :

1. Kabupaten Tapanuli Selatan
2. Kabupaten Padang Lawas
3. kabupaten Padang Lawas Utara