崇正书院在清凉寺东侧山坡上，明嘉靖年间修建。书院共三进，前两进两侧有游廊相连。第三进称“清凉胜境”，筑于高处，正殿是一座高６米、宽１６米、深２０米的重檐翘角古建筑，殿前有水池与石刻的流水龙头，西侧是二层的“江天一线阁”，东侧有假山、水池、六角亭。现崇正书院辟为中华奇石馆。馆东边有驻马坡、翠薇园等景点。