安富家（現安富家）は旧飯田城ニノ丸（現飯田市美術博物館所在地付近）に主君堀氏により邸宅が与えられ、代々堀氏の重役を務めた。

安富家初代安富成次は元和5年（1619）烏山城主（現栃木県烏山市）美作守堀良政（後親良）に仕え、荒地一町歩を賜わり、後に家老にまで昇進した。2代目安富成良は寛文12年（1672）堀氏が飯田へ所替になると、城受取の任に当たった。以来安冨家は城主堀氏に仕えて11代に及んだ。

安冨家文書395点中には特に書状が多く見られるが、宛先の当主名が幾通りかになっていて紛らわしい。当主名・没年などを参考のため次に掲げる。

初代　安冨成次・勘右衛門
　寛文2年（1662）4月6日没。

2代　安富成良・初め勘之丞・勘右衛門
　宝永3年（1706）7月17日没。

3代　安冨正良・初め舎人・百介・平蔵・勘右衛門父は野村正元
　享保16年（1731）3月12日没。

4代　安冨良憲・初め平蔵・要人・太郎助・勘右衛門
　寛保3年（1743）6月22日没。

5代　安富良永・要人兄は安富良憲
　延享3年（1746）4月1日没。

6代　安富良顕・直吉・勘右衛門
　宝暦4年（1754）8月8日没。

7代　安冨季敦・初め金十郎・主計父は堀大和守親蔵
　寛政元年（1789）9月3日没。

8代　安富季成・初め勇馬・季紀・主計
　天保12年（1841）10月9日没。

9代　安冨季方・初め金十郎・主計
　安政4年（1857）10月13日没。

10代　安富釆男・成一・艮治・小平太・眠叟　父は安富季成
　明治6年（1873）10月11日没。

11代　安富環・初め勘之丞・成正・成信
　明治43年（1910）6月30日没。

また安富家文書には筆者の署名のないものが多い。文章の内容から考えて主君堀氏のものと思われるものを（御書）とし、括弧づけで名前を入れた。（御書）の中では弘化2年（1845）9月2日飯田城10代堀親毒が本知3千石を減らされ隠居謹慎を命ぜられてからの（御書）と11代親義から安富釆男に宛てたものが多い。元治元年（1864）講武所奉行であった親義は武田耕雲斎等浪士軍の追討を命ぜられたが、戦わずして清内路関所を通過させ、講武所奉行を罷免、本知2千石を減ぜられ、翌慶応元年（1865）6月まで逼塞を命ぜられたが、これと前後して藩内は混迷の度を深め、安富釆男が藩主・藩士双方から出勤の要請を受けており、安冨家がその重責を果たしていたことが伺われる。