絵島（江島）は七代将軍家継の生母、月光院に仕えて大奥に入り、やがて出世して大年寄となり大きな権勢を掌握するに至ったが、事件を起こし高遠に永久遠流となった。
絵島事件は、1714年1月12日、月光院の名代で芝増上寺の前将軍家宣の霊屋へ参詣した帰途「山村座」で芝居見物し、刻限に遅れて帰城したことに端を発する。
家宣の正室天英院と月光院の勢力争いなども拍車をかけ、絵島のほか死罪二、流罪十、その他大勢の人々が罪に問われる当時としては非常に大きな粛清の嵐であった。
月光院の口添えにより減刑され遠流となった絵島は、最初ここより4キロ上流の非持の囲み 屋敷に入れられたが、1719年この花畑の地籍に移された。そして1741年4月、61歳で病没するまでこの囲み屋敷で幽閉の生活を送った。