江戸幕府は、関東への「入り鉄砲」と関東からの「出女」を取締るため主要な街道に関所を設けた。還の通行人を取り調べるために設けたもので、その位置は信州路と甲州路の分岐点になっている。
そのはじまりは、戦国時代、甲斐の武田氏が秩父に進出したとき関所を置いて山中氏を任じたと伝えるが、徳川氏の関東入国以後は天領となり、関東郡代伊奈忠次が1614年大村氏を藩士に任じたという。以後、大村氏は幕末まで藩士の職を代々勤めた。
しかし、藩士一名のみでは警護が手薄であったため、1643年、秩父側の旧大滝村麻生と甲州側の三富村浦とに加番所を付設して警固を厳重にした。したがって、その後、栃本関を通行の者で秩父側から行く者は、まず麻生加番所で手形を示し印鑑を受けて栃本関に差し出すことと定めた。
関所の役宅は、1818年と1823年の二度にわたって焼失し、現在の主屋は幕末に立てられたもので、その後二階を建て増しするなどの改造はされたが、玄関や上段の間、および外部の木柵などには、関所の面影を良くとどめている。