校友會組織，早在總督府國語學校時期就已經成立，並在1899年發行《臺灣總督府國語學校校友會雜誌》，作為畢業校友與母校教師交流的平臺。
1926年，臺北師範學校編纂創立三十年紀念出版品時，也透過校友會 收集到許多珍貴的照片，以及校友暢談學校生活回憶的文章。

1927年臺北第一、第二師範學校分立，位於芳蘭之丘的北二師也另外 成立自己的校友會，並定期發行《芳蘭》作為校友會刊物。直到1941年底 太平洋戰爭爆發，戰爭也影響到校友會組織，所以1942年出刊的《芳蘭》，北二師校友會改名「報國校友會」，成為戰爭波及教育的印記。

1943年臺北兩所師範學校合併，1945年日本戰敗，日籍校友陸續返回日本，過去兼有臺日兩籍會員的校友會面臨重新編整的狀況。在臺籍校友方面，從國語學校和第一代臺北師範學校以降畢業的校友從母校校名中各取一 字，1946年12月成立「國師同學會」作為新的校友會，簡稱「國師會」，由於日本時代畢業於國語學校或師範學校的校友，在地方上都是名重一時的社會菁英，使國師會也有政黨的雛形，而引發情治機關注意防範。後來國師會成為純粹的校友會組織，每年固定在許金德校友經營的國賓飯店聚首。待他們各自卸下事業重擔時，則積極與日籍校友交流聯絡，形成臺日間因北師而形成的緊密聯繫。

返國日籍校友在1970年代也恢復校友會組織。北一師校友成立芝山會，北二師校友成立芳蘭會，兩會以共同的芝山巖精神作為號召，共同舉辦各種校友交流活動長達二十年。不過隨著會員逐漸走下人生舞臺，芳蘭會已經於2008年閉會。

1997年，校友總會正式成立前，於10月18日召開第一次籌備會，由時任臺北市校友會李建興理事長主持。11月30日，召開成立大會季第一次會員代表大會，當天總共有來自全省各縣市及金門、馬祖等地的校友代表百餘人出席大會，全國校友總會正式成立，全名為：中華民國國立臺北師範學院校友總會。

2006年，母校升格改制為「國立臺北教育大學」，本會更名為「中華民國國立臺北教育大學校友總會」。