应该拆除。

根据国家政策，城市拆迁已成为推动经济发展、城市更新的重要手段。

而在三盘磨村，拆迁后剩余的房子会对周边环境和城市建设产生较大影响，其中建筑老化、居住环境恶劣以及建筑不符合标准等问题不容忽视。

因此，为了推进城市化建设和改善周边环境，剩余的房子应该拆除。

在拆迁的时候应该注重人性化，保障村民的基本利益，让他们可以有足够的时间做出合理的安置安排，同时也要尊重他们的意愿。

在拆迁过程中还要注重环保，减少对环境的污染，避免给周边居民带来不良影响。

此外，拆迁后的土地资源应得到合理利用，发挥最大价值，建设更为优良的城市环境。