南门李家族的来祖李廷柱，湖北安陆人，学识丰富且娴熟弓马。康熙时，在福建著军工，后题带粤西为北流千总，是文武全才，著有《临流三集》、《扣角吟》、《燕赵余言集》。其玄孙李治泰是乾隆年间进士，曾任江苏盐城知县、扬州知府，告老回北流后，掌教铜阳、紫泉（玉林）、绣江（容县）书院，“生徒悉重学行，有科甲登仕版者数十人”。治泰第三子李敏贤，道光年间进士；第二子李敏暘 ，道光年间举人，退休后也掌教铜阳书院，著有《史论》二十卷。李治泰的侄孙李善章，道光举人，博通经史子集，离官后主教铜阳及玉林、兴业各书院，“书院名下，士多出其门”。其长子李士瑞、四子李士琨都是进士。南门李就是北流的一门四进士（父子进士和兄弟进士）的文化家族。李士瑞后来做到国子监丞，更是国家最高学府的高级教授（或官员）了。