「曹洞宗大本山別院」於1908年在當時台北城東門町（現仁愛路與林森南路口）外建立，是今臺灣少數具有日本禪宗風格的佛寺。1920年，禪寺本堂動工重建，直到1923年完工。當時多數日本人所建佛寺，均建為日式風格，禪寺本堂亦不例外。當時本寺僅供日籍人士參拜，該寺方因為考量吸引本地信徒的需要，在1914年由台籍禪師於正殿之右，興建難得一見的閩式佛殿─觀音禪堂。1930年，進行改建。

1916年禪寺附設佛教學校，提供僧侶與信眾的子弟就讀，校名「私立臺灣佛教中學林」。1922年改名「私立曹洞宗臺灣中學林」並收併「私立臨濟宗鎮南中學林」；1922年收併「私立國學院」；1935年改名為私立台北中學，從佛教學校轉形為一般學校。日治時期結束後，再度改名成為今日的「泰北中學」。

1945年後，日治時期結束，禪寺改歸中華民國政府管理。1950年代，禪寺部份建物包括大殿，受軍隊及民眾長期佔住遭到破壞毀損，被違章建築所包圍，需要走過數條小巷後，才能進入，規模較原本來得小的禪寺。

2000年，台北市政府整頓丹陽街，將該街打通成為現貌，並拆除部份的違章建築。碩果僅存的殿堂，除鐘樓外僅剩下原觀音禪堂，即今日的禪寺。今青少年育樂中心，原本亦為該寺用地，市府收回用地後，改建為今貌。現禪寺座東向西，面向原泰北中學城區部用地，後為私立東和幼稚園。現廟埕有南北兩入口。

現鐘樓為禪寺的南入口，穿越鐘樓後，沿青少年育樂中心與原泰北中學城區部用地間小徑，即為禪寺。建物由原碩照明設計顧問有限公司進行整體設計後，於2002年11月7日點燈啟用。

北入口即位於丹陽街旁，唯入口不明顯，故設計上除利用燈光照明步道銜接丹陽街與廟埕，改變北面出入口外，南邊與鐘樓間小徑也使用適度的燈光照明，建立起與鐘樓間的聯繫。並利用打光，強化屋頂、牆壁等建築特色，並改善室內照明，對禪寺整體印象，加分不少。

2006年7月21日，銅鐘經數十年仿古修復後，正式再度響起。
2011年8月23日，泰北高中校友返回敲平安鐘，發現名稱有誤，其名應為「曹洞宗 大本山 台灣別院」。