黃光耀沒有含着金鎖匙出世，成長於一個基層家庭，爸爸是家中經濟支柱，一手創立山寨式工廠，靠生產鞋底養家，工廠喺大角咀。他閒時會到工廠幫手送貨，遠程便call車，短途就推木頭車。黃表示，上世紀60年代的香港，整體社會經濟不富裕，做生意唔容易，工廠沒有賺大錢發大財，生活逼人，升上中一後便做兼職幫補家計兼賺零用錢，放學後上茶樓推車仔賣點心，又做過雜工及茶餐廳等，幾乎做勻72行。

　　過着一個苦澀、與普通人不同的童年，難受嗎？「都係一個過程啫」，黃光耀說來輕鬆。

　　80年代初正值本港經濟起飛，僅剩三斤釘的山寨鞋底廠經不起時代巨輪的洗禮，終要結業。黃光耀娓娓道來：「鞋底生產過程需要長期在高溫環境下製造，過程會釋放好多化學物質，可惜當時衞生意識薄弱，忽略自身保護，爸爸可能長年累月吸入過量化學物積勞成疾，50多歲便過身，生產技術因此失傳。當時正值經濟起飛的80年代初，不少工廠生產線北上大遷徙，香港的製造業亦步入式微，與其死撐，倒不如將工廠關門一了百了。」

　　當時半工讀的黃光耀，中學成績麻麻曾經留班，20歲才讀完中學，畢業等於失業，前路茫茫，起步似乎比人遲，但黃光耀沒有氣餒。爸爸走後，變得更獨立堅強，意識到無技能難有固定收入，醒覺書中自有黃金屋的道理，決定繼續攻讀為人生奮鬥，1984年跑到澳門東亞大學進修學士。「點解去澳門？」黃笑住答：「我都唔知點解，當下想去就去」。之後再到美國University of Wisconsin攻讀金融會計博士，畢業後於89年回港。