首先，我们需要知道谁可以对我们房屋进行违建认定。
1、县级以上城乡规划主管部门，城乡规划主管部门有权认定城市中的违法建筑。
2、乡(镇)人民政府。乡(镇)人民政府有权对乡、村庄规划区内的房屋进行管辖，有权认定前述范围内的违法建筑。
3、自然资源部门。自然资源部门有权对违法用地进行查处及责令交出土地。也就是说，若房屋上的土地是违法用地，则其有权对违建进行认定并进行处理。
所以说村委会、街道办等单位通知你的房子是违建，肯定是不合法的，
它们不属于违建认定主体。
其次，房屋违建认定程序是比较复杂的，并不能仅口头通知就被认定成违建。以下是房屋违建的认定程序：
1、实地调查。认定主体要对房屋是否存在违法行为进行调查，调查过程中全程取证更要综合考虑，并根据调查询问情况制作笔录，笔录需要双方的认可签字。
2、进入认定程序。通过入户调查对房屋作出是否是违建的决定，确定是违建的，应当告知拆迁户作出认定的事实和依据，并且告知拆迁户享有的申辩权和听证权，如果当事人对认定结果有异议提出听证的，应当组织听证，听取拆迁户申辩。
3、作出限期拆除通知。如果当事人没有申请听证或通过听证程序拆迁户的申辩事实、理由不成立的，就要对房屋作出处罚决定，向当事人作出《限期拆除通知书》，要求其在规定时间内自行更改，决定书中说明享有的救济权利。
4、作出限期拆除通知书。当事人收到《限期拆除通知书》后没有履行决定书义务不自行拆除的，认定主体开始进行催告程序，目的是让当事人尽快履行决定书自行拆除，并向当事人下达《催告书》，这里需要注意，如果经过催告程序之后，拆迁户仍然不履行的，就会进行强制执行。
5、作出限期拆除决定书。经过催告程序后，当事人仍然没有自行拆除房屋的，认定主体依法作出《限期拆除决定书》，再次要求当事人在规定的时间内拆除违建，并告知享有的救济途径。
6、实施强制拆除。限期拆除公告下了以后当事人还没有自行拆除，没有提起任何有效救济途径的，会进行强制拆除。
以上是房屋违建拆除的认定程序相关内容，如果您想了解更多的这方面信息，可以在本网站中查询或找专业律师咨询。
