声远楼建在4.5米高的台基上，通高16米，为11脊十字顶正方形两层楼，下以12根方形石柱作外围主要支架，内以4根通天柱自下而上支撑两层顶端的梁檩，上下两层四檐和周围补间均以斗拱承托。顶覆灰瓦，挑脊上饰有按序排列的鸱吻、飞禽、走兽等。正中顶端设一头东尾西昂首怒目、背驮宝葫芦的麒麟异兽，寓意颇深。全楼雕梁画栋，朱甍映目，飞檐陡峭，风铎铮铮，属砖木结构亭阁式建筑。楼内设木制楼梯可拾级而上。