一九○二年，張元濟受邀入商務印書館，先任編譯所長，後任總經理。在這個新興的出版機構他工作了近六十年，草創時期的一個簡單印刷企業，在他手中變成中國近代最大的出版機構，集編輯、印刷、出版、發行於一體，對中國的教育事業和文化事業影響巨大。他在詩中寫道，「昌明教育平生願，故向書林努力來。此是良田好耕植，有秋收穫仗群才。」
一八九二年，二十六歲的張元濟考中進士，開啟了仕途。同科進士有吳士鑑、蔡元培、湯壽潛、葉德輝、唐文治等，他雖同情戊戌維新，但不近康有為，他受光緒皇帝召見，奏請實行新政，六君子遇害時有人勸他出逃，他拒絕了，落得「革職永不敘用」的處分。後赴上海主持南洋公學（盛宣懷創辦）譯書院，在此任上，他結識了商務印書館（創立於一八九七年）的創辦人——排字工出身的夏瑞芳。
張元濟交友甚廣，既與前清遺老瞿鴻禨、繆荃孫、沈曾植、鄭孝胥友善，北洋政界人士熊希齡、汪大燮、湯爾和、王寵惠、葉恭綽也是他的朋友，與國民黨唐紹儀、胡漢民、吳稚暉、汪精衛過從甚密，嚴復、林紓、章士釗等皆為舊交，與胡適、劉半農、羅家倫新潮人物也往來不斷。上下前後溝通幾代知識人，無疑是出版家的優勢。商務印製《四部叢刊》始於一九一九年底，正是「神州多故，國學寢微之日」，至一九二二年底完工，收書三百二十三種，六開線裝本，二千一百冊。當時曾有言「《三都賦》成，洛陽紙貴；《四部叢刊》出版，閩贛紙價飛漲。」《四部叢刊》與明代《永樂大典》、清代《古今圖書集成》、《四庫全書》，被認為六百年來纂輯文獻的四部典籍。《四部叢刊》以後，商務陸續編印《續古逸叢書》《續藏經》《道藏》《學海類編》《學津討源》等叢書。在舉世西學狂潮席捲之時，這是一項實實在在保存國粹的實績。一九一六年張元濟曾為民立中學演講，題為《新國家當以舊道德相維持》，這是他一貫的主張，「睹喬木而思故家，考文獻而愛舊邦。知新溫故二者並重，自咸同以來，神州幾經多故，舊籍日就淪亡，蓋求書之難，國學之微，未有甚於此時者也。」
張元濟說，「吾輩生當斯世，他事無可為，惟保存吾國數千年文明，不至因時勢而失墜。此為應盡之責。能使古書流傳一部，即於保存上多一份效力。吾輩秉燭餘光，能有幾時，不能不努力為之也。」商務印書館同人編寫紀念文集，對於他的為人作出恰當的描述：「富於新思想的舊學家，也是能實踐新道德的老紳士！」
一九三二年一月二十九日清晨，進攻上海閘北的日軍飛機轟炸了商務印書館。位於寶山路上的商務總廠製墨部中彈起火，繼而總管理處、印刷所及紙庫、書庫、東方圖書館等均中彈起火，「涵芬樓」五十多萬冊善本藏書化為灰燼，包括張元濟「銳意收集的」全國各地舊方志二千六百餘種二萬六千餘冊。自咸豐年間圓明園被英法聯軍焚毀之後，這是最令人痛惜的文明慘劇。張元濟晚年於病榻上力校《涵芬樓燼餘書錄》，這是他內心的隱痛，也是他為時代付諸的最後的努力，葉景葵為此評價道：「人與百蟲爭旦暮，天留一老試艱難！」 （二）
