原来呀，相传唐朝时，古波罗国（古印度）派遣了一批使者前来朝贡。回程时到南海神庙朝拜，有一位名叫达奚的使者在拜完南海神之后，将其带来两颗种子种在神庙旁，当他种完后陶醉在南海神庙美丽的景色中，忘记了登船的时间，等他跑到江边时，船呀，早已没有了影子。

从那天起，他日夜站在江边，举起左手眺望故乡，希望有一天波罗国的船能接他回家，后来他站在江边死去。

当地老百姓知道他来自波罗国，是海上丝绸之路的友好使者，于是将其厚葬，并按照他生前常举左手遥望故乡的样子制作神像供于庙中。

广州话把外国人叫做“番鬼”，所以神像又叫“番鬼望波罗”。

后来皇帝听闻此事，非常感动，给他追封了“司空”的官衔，称为“达奚司空”。