根据《中华人民共和国城乡规划法》规定，任何单位和个人不得违反城乡规划，擅自改变土地用途，以及违法占用土地建设。

如果江西上饶玉山县村委的房子没有按照相关规定进行规划和审批，且没有合法建设手续，则属于违建。但是需要具体情况实地查看后才能作出准确判断。为避免影响村委正常工作，可以在规划部门的指导下进行合法化改造或拆除重建。