江川家は平安時代末期にこの地に移り住み、戦国時代に北条早雲の家臣となる。その後、江戸時代には代官となりこの地を収めた。世界遺産にもなっている韮山反射炉は江川英龍によって造られた。
主屋は、重要文化財に指定されており、1600年頃に建てられた。幾つかの部分にはそれよりも古い時代の物も使われている。全体は150坪の広さがあり、土間は50坪と巨大な土間である。その天井には独特の細い梁を組み合わせた豪壮な架構になっている。
土間には日本で最初にパンが作られた釜があり、蔵や居間には多くの資料が展示されている。