位于宣城市区，系南齐著名诗人谢�x任宣城太守时所建。谢�x于南齐明帝建武年间（公元494年－496年）出任宣城太守，于城关陵阳山顶建造一室取名曰“高斋”，在任期间理事、生活于此。曾作《高斋视事》诗，又作《高斋闲望》、《后斋回望》等诗篇。谢�x楼与岳阳楼、黄鹤楼、滕王阁并称为江南四大名楼。

唐初，宣城人为怀念谢�x，于“高斋”旧址，新建一楼，因楼位于郡治之北，取名“北楼”，又因该楼建成时，敬亭山已经扬名，登楼可眺望敬亭山，故又称为“北望楼”。唐代李白曾多次来宣城，登此楼凭吊，赋诗抒怀。《秋季登宣城谢�x北楼》诗脍炙人口，千古传唱。诗曰：“江城如画里，山晚望晴空。两水夹明镜，双桥落彩虹。人烟寒橘柚，秋色老梧桐。谁念北楼上，临风怀谢公。”由于李白之诗广为传颂，故该楼又被称为“谢公楼”、“谢�x楼”。此后在楼的周围建有条风、清署、迎春、观风、双溪、怀谢等亭阁。谢�x楼几经修葺，历代文人名士慕名而来，登楼观赏者络绎不绝，历代诗文碑刻、修楼碑记及赋诗题咏难以计数。

可惜抗日战争时期（1937年）该楼被日机炸毁。现已复建如初，重现昔日风采。