南方回南天不会对楼房有直接影响，因为太阳运行的轨迹实际上是地球公转和自转共同作用的结果，而地球的自转和公转轨道并不会影响楼房的结构和稳定性。

但是，在夏至日当天太阳高度角最大，阳光直射的时间较长，容易引起室内温度升高，对建筑物内部的空调系统运行产生影响。

因此，在设计建筑物时需考虑夏季阳光直射的影响，选用合理的材料和结构，以确保室内温度和舒适度的同时，保证建筑物的结构和稳定性。