如果您交钱给村里建的房是按照正常的合法程序进行的，则拆除房屋需要遵守一定的法律程序。一般来说，如果拆除涉及到的房屋不是违法建筑，拆除之前需要获得相关的审批，履行相应的拆除手续。如果拆迁房屋的原因是为了公益事业建设，那么征收单位应该按照国家有关规定，告知被征收人拆迁的时间、方式、标准等问题，并向被征收人支付相应的征收补偿费用。

但是，如果您交钱给村里建的房是以非法、违规的方式进行建造的，例如盖房时没有获得土地使用权、没有办理相关的建设手续等，此种情况下，拆除房屋是由政府进行的违章建筑拆除行动，需要您自行承担相应的责任。在此情况下，如果您担心房屋合法性问题，请您咨询有关的法律机构或房屋专业律师，并对自己的行为严格评估。