早在四五百年以前，台北这里还是一片沼泽密林。郑成功驱逐荷兰殖民者后，实行“寓兵于农”的政策，派兵到这一带开荒。公元1708年（清康熙四十七年），从福建来的移民在此建立了村庄，15年后出现了市街。台北市初名大加蚋，原为平埔族凯达格兰人活动区域，又称艋舺、莽甲、莽葛、文甲等。
公元1875年（清光绪元年），钦差大臣沈葆桢在此建立了台北府，统管台湾行政，从此就有“台北”之名1885年台湾建省，省会位於桥孜图，但是实际上是在台北。刘铭传担任台湾省首任巡抚，开始建设大稻埕至基隆与新竹的铁路，加强邮电、道路等基础建设，并将台湾巡抚衙门及布政使司衙门设置于城内（现址为中山堂），台北市的雏形至此已初步建立。1894年，继任巡抚邵友濂正式将省会由桥孜图（今台中市）移至台北，从此逐渐成为台湾的政治中心。
1895年，台湾因马关条约被割让给日本。日本殖民统治初期，仍以原有的两座衙门作为台湾总督府，成为日本统治台湾的政治中心，直到1919年台湾总督府新厅舍落成为止。1900年起，日本人逐步拆除台北府城城墙及西门，以原台北城范围内的区域（日本人称为“城内”）作为官方厅舍集中地以及来台日人的商业活动地带。并利用拆除后的城墙原址辟筑4条3线道路，兴建自来水及下水道系统，并分阶段进行“市街改正”计划，街道的建筑风貌略为西化；另外也新设公园绿地及新建其他公共建筑，台北市逐渐具有现代都市的形态。日本于第二次世界大战战败后，中华民国政府在当时的台北公会堂举行受降仪式，日本殖民时代划下句点，为台湾的城市。
1949年随着国民党政府撤退到台湾的200万军民，以及1960年代众多中南部民众北上求学、工作的风潮，都使得台北市的人口快速增加。1970年代与1980年代为台北市的高度发展期。1990年代之后，市区铁路地下化、快速道路、捷运、公车专用道等交通建设陆续完成，相当程度地缓解了交通上的压力；信义计划区开始快速发展，市政府与市议会亦迁至该地；原本渐趋没落的西区，西门町、大稻埕等地带也开始进行局部改造、更新计划。