「香港的文學活動一直在民間，現狀頗苦。」身為香港作家聯會會長的潘耀明說。「它不僅是民間行為，亦應是政府行為、社會行為。我為文學活動申請資助時，常遇到對方這樣問我：『這個可以影響到多少人？』文學不像表演藝術，一場演出可以即時知道有多少觀眾去看，文學的影響是長遠的，需要時間。」

　　十七年前，香港作家聯會曾發起聯署，三十多位文化界名人共同倡議籌建香港文學館；二○一八年，香港作家聯會與多個文學社團共同發起「在西九文化區設立香港文學館藏的倡議書」。如今，潘耀明仍抱持這個願望，「很多國家和城市都有文學館，如日本諸多市鎮中的文學館、位於北京的中國現代文學館等。香港文學館除了館藏，更有研究、展示、推廣等作用，可以讓更多人認識香港文學的過去、現在及未來，感受這個城市的獨特文化。」

　　他認為，現時香港特區政府對文學方面的資助有限，加上城市節奏快，令香港文學發展面臨窘境。「原創性文學是文化的重要部分，是能夠代表當地的文化，特區政府應更加重視，鼓勵文學創作，培養更多本地作家。目前在香港有條件能夠發展文學創作的，大概只有在大學任教的老師。」

　　「香港沒有職業作家，只有業餘作家。」他又道。「倪匡很努力，一天可以寫兩萬字，他是少有的職業作家，還是過去的年代，現在香港已經沒有了。」