据清代《同治上海县志》记载，此园原为毛氏外祖母家的邢氏之桃园，后来由李筠嘉收购，改为私家花园，取名“吾园”。园内有带锄山馆、红雨楼、潇洒临溪屋、清气轩、绿波池等景点。清代道光初年，江苏巡抚陶澍因公来上海，想在城内扩建黄道婆祠，即先棉祠，于是收买吾园的一部分建祠，这就是有关吾园的记载。

　　又根据另外的文献资料记载，吾园还是个上海近代的书画社。其地点是在上海老城厢西南，原为“印氏桃园”（印、邢二字上海话音相近，可能记述有误，但孰是孰非，有待考证）。此园由当时上海藏书家兼书法家李筠嘉购得。并加以修葺、整理，作为别墅、花园，取名“吾园”。

　　园主人李筠嘉在乾嘉年间多次连任上海道台。当时有一位叫李廷敬（沧州人）的文人，与李筠嘉是至友，两人志趣相投，于1803年在吾园共同创办书画会，即“吾园书画会”。参加该会的有：方楷、李学璜、改琦、林镐、洪亮吉、陈复堂、龚自珍及钱杜等，共133人。据李筠嘉编的《春雪集》记载，这许多书画家在集会时为“吾园”留下的纪念作品，包括绘画、诗词等，共250余件。“吾园书画社”前后二十余年不衰。

　　清同治年间，吾园由上海道的应宝时购得，改建为“龙门书院”。院内有讲堂、宿舍等四十余间。清光绪年间，科举废除（1905年），这里便改为官立苏松太道龙门师范学堂。直到民国十六年（1927年），与附近陆家浜路迎勋路的江苏省立商业专门学校合并，改为江苏省立上海中学。吾园原校址为其初中部。上世纪30年代，这里改建为住宅区，即龙门村，位于今尚文路133弄先棉祠街80弄。吾园消失了，如今只留下一条街，吾园街，在也是园弄之西。