太原文化的开放大度，还体现于各种宗教思想的和谐共存。境内，佛教、道教、伊斯兰教、天主教、基督教都有存续，多数都曾盛行。太原还是唐统治者允许设立摩尼教寺的三个城市之一。古老的波斯宗教祆教（即拜火教，公元六世纪传入我国），也在这里留下了不可磨灭的传播痕迹。
太原是历史上的佛教圣地。佛教是外来宗教，自东汉明帝永平年间（58—75）传入东土的中原汉地，始创佛刹于都城洛阳白马寺，稍后天竺（今印度）高僧北渡黄河，巡礼至五台山，见此有山酷似佛祖释迦牟尼修行之天竺灵鹫山，于是建议明帝在此修建佛寺，获准后，遂建大孚灵鹫寺（即今显通寺）。而洛阳至五台山这条中国佛教最重要的传承路线上，其间可以作为佛教传承中转站和支撑点的第一等的大都会，则非太原莫属。在“佛教中国化”及“中国化的佛教”之全过程中，太原始终发挥着重要作用。两千年来，这里留下了星罗棋布的佛教文化遗迹。
位于太原城西南的天龙山石窟始创于东魏末年，此后，北齐、隋、唐、宋、元诸代陆续开凿，留下了各代叹为观止的雕刻艺术。北齐皇帝从高欢开始，都崇信佛教，并不惜耗费重金，仿照北魏在云冈的做法，在晋阳西山上建佛寺、凿佛龛、雕石像，著名的开化寺、童子寺、天龙寺、崇福寺都建于此时。后主时“凿晋阳西山为大佛像，高二百尺，一夜燃油万盆，光照宫内”。天龙山石窟总体规模虽比同时期的敦煌、龙门石窟要小一些，但其精细的雕工、优雅的人物造型，完全可以与之相媲美，在我国乃至世界雕刻艺术中都是一颗璀璨的明珠。
佛教在北周受周武帝灭佛政策打击，但隋朝建立后，由文帝支持又复兴盛，广被民间。炀帝为晋王时亦崇佛教，秦王杨俊出镇太原，继之，汉王杨谅守晋阳，崇佛尤有过之。李渊以唐代隋后，曾于太原立义兴寺和太原寺。太宗李世民晚年礼敬玄奘法师，河东佛教进一步发展。高宗则崇佛不已。武则天执政后，大兴佛教，并出于念乡之情，对太原佛教尤其重视。显庆五年（660），唐高宗和武则天巡幸太原，至童子寺、开化寺瞻礼两大佛像，“嗟叹希奇，大舍珍宝财物衣服”，并命并州长史窦轨“速庄严备饰圣容”，“开拓龛前地，务令宽广”。回归长安后，由内宫做了两件袈裟，派专使飞送并州，给大佛赐披。袈裟“放五色光，流照崖岩，洞烛山川”，“道俗瞻睹，数千万众”。开化寺大佛即今蒙山大佛，约合63米，为世界第二大佛（低于唐开元年间开凿的四川乐山大佛8米），论年代，则是世界最早的露天摩崖石刻大佛，可惜由于战乱，寺毁阁倾，大佛不为后人所知长达600余年。直到20世纪80年代，才被考古工作者发现。近年，经全面加固及对头部进行复原后，景区对外开放。同时被发现的还有龙山童子寺大佛，惜其头部残缺，只能依据仅存的右耳、右腮以及寺后数百尊浮雕佛像进行判定。此佛像原高170尺（约57米）。寺内至今犹存我国已知最早的一座燃灯石塔，塔高4.12米，塔身比例适度，造型秀美。
宋金元明清，佛教在太原继续深入发展。目前，太原所存寺庙大抵为这一时期所建，主要有崇善寺、双塔寺、南十方院、多福寺、太山寺、天龙寺、净因寺、圣寿寺、香岩寺等正式登记的佛教活动场所61处。每当佛教节日，各寺庙均举办盛大的佛事活动。
位于太原城内狄梁公街的崇善寺，可谓闹市中的一方净土。唐时称白马寺，后名延寿寺。明洪武十四年（1381），朱元璋第三子晋恭王朱棡为纪念其母高皇后，将其扩建成六重大殿建筑群，南北长550米，东西长250米，总面积14万平方米，寺貌壮阔，时称“不唯甲于太原，诚盖晋国第一之伟观”。扩建后初更名宗善寺，因山魔作祟，据堪舆之说，于嘉靖年间复更名崇善寺。可惜清同治三年（1864）一场大火，使寺内主要建筑大半被毁，仅余大悲殿等少量遗存。大悲殿占原寺面积仅为1/40.
地处太原城区东南隅的永祚寺，为明代建筑，系全国重点文物保护单位。寺内双塔，最为有名，所以又名双塔寺。双塔位于寺之东南，高约54.7米，南北对峙，比肩而立，相距约60米。其中一座为文峰塔，由太原缙绅学士傅霖（傅山祖父）等人，为“开山川之形胜，创文运之兴盛”集资所建，明万历二十七年（1599）工程告竣。时隔九年，晋穆王以“旧塔微侧，更建新塔”为名，请五台山高僧妙峰和尚续建新塔，新塔由万历皇帝生母宣文慈圣太后出资，因名宣文塔，为一座舍利塔，历时四年完工。至此，永祚寺双塔凌霄，有“文笔双塔”之称，为旧时太原府治阳曲县八景之一。人们出入太原，双塔首先映入眼帘，成为太原的标志与象征。