明正德六年(1511)王陽明自龍場謫歸,道過辰州,喜人士樸茂,寓龍興講寺彌月,與武陵蔣信字道林者往來講論,題詠山水。進士唐愈賢從游,得聞致良知之學(xué),士人興起。嘉靖二十三年(1544),陽明門人辰州郡丞徐珊與邑憲副王世隆建虎溪精舍。祠內(nèi)石刻文成公像,橫額書公絕句。隆慶中郡守徐延綬增置學(xué)舍。崇禎初,守道樊良樞拓舍宇,更名陽明書院。
明末兵燹廢。清康熙四十五年(1706)郡守遲瑞構(gòu)數(shù)楹故址。雍正四年(1726)郡丞黃澍復(fù)修。十一年,沅陵知縣趙念增在其中設(shè)義塾,改為虎溪書院。后屢經(jīng)修葺拓新為教學(xué)之所。民國時期,常年駐兵,房舍逐年頹毀。新中國建立后,1956年定為湖南省重點文物保護單位。后因長久失修而撤銷。1986年國家文物局資助,縣財政撥款,在原址仿原式建磚木結(jié)構(gòu)房舍一棟,辟為縣博物館陳列室。