「潘漢年」這個名字與香港有着密切的聯繫。上個世紀三四十年代，在世界反法西斯戰爭以及後來的解放戰爭中，潘漢年作為隱蔽戰線的重要人物，為取得戰爭的勝利立下了汗馬功勞。作為「潘漢年系統」的負責人，他不時出現在香港，與香港結下了不解之緣。雖然在情報戰方面成就卓著，但潘漢年早年其實是個作家。了解中國現代文學中著名文學社團「創造社」歷史的人都知道，後期創造社成立了一個出版部，而出版部中有一群被稱作「小夥計」的年輕人，包括了當年在文壇上頗為活躍的周全平、柯仲平、葉靈鳳、潘漢年等人。「那時他們幹的是跑印刷所，看校樣，捆書，打郵包，跑郵政局等工作，同時又都是握筆從事譯著活動的文學青年」，而這些「小夥計」的「中心人物」就是潘漢年。

　　潘漢年那時的文學活動主要體現在創作了小說集《離婚》，參與《幻洲》編輯並發表了許多雜文。大革命時期他離開上海參加北伐，再回上海已肩負重要責任並參與籌辦中國左翼作家聯盟。在潘漢年身上關聯起文化界／創作界與香港的重要「節點」，是他「護送」文化人進出香港這件事。抗戰時許多在港的著名文化界人士如茅盾、戈寶權等就是在廖承志、潘漢年的領導組織下，安全撤出了被日本人突然佔領的香港。到了一九四八年，隨着國共兩黨力量的消長，大批民主人士和文化人要「北上」參加新政協，而如何安排、護送像沈鈞儒、黃炎培、馬寅初、馬敘倫、李濟深、田漢、周建人、許廣平、郭沫若等民族精英安全離港到達北方，就成了潘漢年的頭等大事。作為「籌劃這一切的主要負責人」，面對特務的破壞、港英當局的阻撓以及眾人的不同要求，潘漢年需要統籌兼顧精心謀劃，事事落實妥善安排，「能在如此複雜、如此繁重的工作中做到沒有一個失誤」無疑是一件很不容易的事，而潘漢年做到了。

　　潘漢年與香港的另一個聯繫，是他太太董慧乃香港一位金融家的女兒。