违规改建通常由县级以上地方人民政府房地产行政主管部门负责监管。具体到违规装修改变房屋结构，也应由该部门进行管理。此外，根据《中华人民共和国城乡规划法》等相关法律法规，城乡规划部门、建设部门、物业管理部门、消防、环保等部门也会参与房屋改建的监管工作，确保改建工程合法、安全、有序进行。
