不，香港签证去一天不算一次。根据香港移民局的规定，持有中国护照的访客需要办理入港许可（签证）才能前往香港。一次入境香港的签证通常是单次入境，也就是只允许持有者在特定的日期内进入香港一次。因此，即使只是去一天，持有者依然需要申请并获得有效的签证才能合法进入香港，否则将面临被拒绝入境或处罚的风险。

因此，访客需要提前规划并办理签证，以确保在访问香港时能够合法且顺利地进出境。