Berdirinya Yayasan Masjid Raya Baiturrahman berawal pada tahun 1955 dari Yayasan Masjid Candi Semarang. Pada tahun 1958 Yayasan berhasil menyelesaikan pembangunan Masjid Candi (sekarang bernama Masjid Baiturrahim) di Jl. Merapi Candi Baru Semarang.
Walaupun Kota Semarang sudah memiliki Masjid besar yang terletak di jalan Alun-alun (dekat pasar Johar) Semarang dan beberapa Masjid kecil yang tersebar diseluruh penjuru kota, namun didorong oleh adanya perkembangan dan perubahan jumlah penduduk Kota Semarang yang cukup pesat, maka perlu diimbangi dengan adanya Masjid baru yang bersifat keprovinsian dan mengandung unsur-unsur seni, budaya dan pendidikan sekaligus merupakan bangunan monumental di Jawa Tengah.
Untuk maksud dan tujuan tersebut, pada tahun 1963 Yayasan Masjid Candi mengajukan permohonan kepada Gubernur Jawa Tengah (Moehtar) untuk membangun masjid dengan nama Masjid Baiturrahman di sekitar lapangan Pancasila Semarang.
Pada tanggal 30 April 1963 permohonan dikabulkan dan pada tahun 1964 Yayasan berhasil membangun pondasi pagar keliling masjid melingkari tanah seluas 11.765m2. Tanah tersebut merupakan pemberian hal atas tanah negara dengan status hak pakai selama dipergunakan untuk bangunan masjid, sebagaimana tersebut dalam Buku Tanah Kantor tanggal 5 Nopember 1990.
Tahun 1965, meletus pemberontakan G 30 S/PKI sehingga Yayasan tidak dapat melanjutkan pembangunan. Kemudian pada tahun 1967 Gubernur Jawa Tengah H. Moenadi mendorong Yayasan untuk mulai melanjutkan pekerjaan dan mengganti nama Yayasan Masjid Candi menjadi Yayasan Masjid Baiturrahman.
Pembangunan Masjid Baiturrahman dimulai pada tanggal 10 Agustus 1968 dengan memancangkan tiang-tiang pancang untuk pondasi masjid sebanyak 137 buah. Tiang-tiang pancang tersebut diperoleh dari bantuan Menteri Kehakiman. Pemancangan dapat diselesaikan pada bulan Desember 1968
Disamping melaksanakan pekerjaan pembangunan masjid, yayasan juga melaksanakan pembangunan gedung kantor Yayasan Masjid Baiturrahman didalam komplek Masjid Jalan Pandanaran No. 126 Semarang yang dimulai pembangunannya pada tanggal 26 Januari 1969 dan diresmikan penggunaannya pada tanggal 27 Pebruari 1969 oleh Ketua Yayasan H. Imam Sofyan.
Pada tahun 1972 pembangunan masjid berhenti karena kesulitan pembiayaan. Sehubungan dengan itu, Gubernur Jawa Tengah turun tangan untuk melanjutkan dan menyelesaikan pembangunan masjid. Pada tanggal 7 Juli 1973 dilakukan serah terima tanggungjawab penyelesaian pembangunan Masjid Baiturrahman dari Pengurus Yayasan kepada Gubernur Jawa Tengah.
Pekerjaan pembangunan masjid dapat diselesaikan pada ahir tahun 1974. Masjid Baiturrahman diresmikan penggunaannya oleh Presiden RI Ir. Soeharto pada hari Ahad sore tanggal 15 Desember 1974 bertepatan 1 Dzulhijjah 1394 H.