霍启刚是霍英东的长子长孙，是长房吕燕妮的儿子。霍英东一共有三房太太，和各房共育有10个儿子，3个女儿。其中，大太太吕燕妮生育了3位儿子，二太太冯坚妮生育了2个儿子，三太太林淑瑞生育了4个儿子。