他的子女分别是：大女：吴瑞莺；二女：吴素儿；三子：吴嘉龙（1976年3月27日（47岁））；幼女：吴瑞珊。

有意思的是，吴耀汉的父亲吴海霖还是香港九龙巴士及九龙宾馆创始人之一，身为富二代的他，身价高达35亿元，却从不挥霍，脚踏实地自己耕耘演艺圈，据悉他的名下房产多到自己与亲人住都还嫌多的程度，所以儿子吴嘉龙却在爆出被论及婚嫁的女友家嫌弃没钱、没车又没房，他也曾霸气呛声：「不稀罕！」

据悉，吴耀汉是吴海霖二房幼子，在十六名兄弟姊妹中排行第八，吴早年在尖沙咀山林道家族自建的五层高大宅居住，自7岁起入读圣士提反书院附属小学，并且留校寄宿。后来升读圣士提反书院。1955年十五岁那年起到英国伊顿公学求学，其间热衷于戏剧活动。参与演艺界前是位大学牙医系学生，但只读了一年便肄业，改到英国咸斯特戏剧学院攻读戏剧课程。

 

毕业后于1967年获经纪人介绍加入了英国广播公司主演4部电视喜剧片。碍于不够生活费糊口，他另外从事中国古董买卖，又在中国酒楼当洗碗员及圣诞节兼职邮差。1970年，吴耀汉基于英国没有太多发展机会留给华人，加上已婚且育有女儿，不想再当地度过一生，所以回流香港。其妻身为维达·沙宣第一代入室弟子和李小龙御用发型师，二人于九龙太子道，即圣德肋撒堂对面位置一起经营发型屋「苏珊发型屋」（1970年至1994年移民前），吴因而透过客人、演员金燕玲的关系认识周梁淑怡而加入电视广播有限公司，为《双星报喜》做创作，然后开始幕前工作，演出《点只汽水咁简单》。未几获许冠文赏识，参演《半斤八両》，在电影中饰演一名军装警察。