税理士事務所のナレッジ検索×AI（RAG）活用

税理士事務所のナレッジ検索×AI（RAG）活用とは、過去の申告事例・通達解釈・所内マニュアル・議事録といった蓄積データをAIに検索させ、根拠付きで回答を生成させる仕組みを指す。所内に「あの案件、どう処理したか担当者しか覚えていない」という属人化した知識が眠っている事務所は多い。RAG（Retrieval-Augmented Generation＝検索拡張生成）を導入すれば、過去の類似事例をキーワードではなく意味で検索し、数秒で該当箇所を呼び出せる。本記事では、税理士 RAG AIの基本構造から導入手順、守秘義務との両立まで、事務所規模を問わず実践できる形で解説する。

税理士 RAG AIとは｜仕組みと基本的な考え方

税理士 RAG AIとは、生成AIが回答する前に事務所内のデータベースやファイルから関連情報を検索し、その内容を踏まえて回答を組み立てる技術のことをいう。通常のChatGPTのような生成AIは学習済みの一般知識だけで回答するため、事務所固有の過去処理や内部ルールには対応できない。RAGはこの弱点を補い、社内文書を「参照元」として明示しながら回答するため、検証や監査がしやすいという特徴を持つ。

具体的な処理の流れは次の3段階になる。

質問文をベクトル化し、意味が近い文書を所内データベースから検索する
検索でヒットした文書の該当箇所をAIに読み込ませる
読み込んだ内容をもとに、出典付きで回答を生成する

このため、たとえば「昨年度の医療法人の役員退職金、どう計算したか」といった質問に対し、AIが過去の決算資料や議事録から該当箇所を引用しながら回答を返せる。

なぜ今、税理士事務所にRAGが必要なのか｜属人化するナレッジの実態

顧問先30社規模の事務所では、担当者ごとに異なる処理方法が積み上がりやすく、退職や異動のたびに過去の判断根拠が失われるリスクを抱えている。国税庁の質疑応答事例や個別通達の解釈、所内での判断ログは紙やローカルファイルに散在していることが多く、検索性の低さがベテランへの依存を助長してきた。

実際に、所内Wordファイルやメールに埋もれた過去の税務判断を探すのに30分以上かかるケースは珍しくない。RAGを導入した事務所では、この検索時間を数分単位に短縮できたという声がある。ナレッジが検索可能な形で整理されることは、新人育成のスピードにも直結する問題であり、単なる効率化以上に事務所の継続性に関わるテーマだといえる。

RAGとChatGPT単体・NotebookLMの違い

税理士 RAG AIとChatGPT単体の違いを理解するには、参照範囲の広さで比較するとわかりやすい。ChatGPT単体は学習済みの一般知識のみで回答するため、事務所固有の過去処理や最新の税制改正には対応しづらい。一方、RAGは所内文書や指定した外部データを検索対象に含められるため、事務所固有の文脈を踏まえた回答が可能になる。

NotebookLMは、指定したファイルだけを情報源として要約・質問応答を行う点でRAGに近い設計思想を持つツールであり、少人数の事務所であれば専用のRAGシステムを構築せずにNotebookLMを「簡易RAG」として使う選択肢もある。他方、所内ナレッジを継続的に蓄積し、複数のスタッフが同時に検索・更新する運用を目指すなら、Claude CodeやMCP連携を使った本格的なRAG基盤の構築が視野に入る。事務所の規模と更新頻度に応じて、この2つの選択肢を使い分けることが現実的な進め方になる。

税理士事務所でのRAG活用シーン｜税務相談・過去申告書・所内マニュアル

税理士 RAG AIの活用シーンは大きく3つに分けられる。

過去の申告書・決算書の参照: 類似業種の過去事例を検索し、勘定科目の処理方針や償却方法の判断根拠を素早く確認する
税務相談・通達解釈の蓄積: 所内で議論した通達解釈や国税庁への照会結果をナレッジベース化し、同種の質問が来た際に即座に回答案を作成する
所内マニュアル・業務フローの検索: 巡回監査のチェックリストや年末調整の対応手順など、新人でも迷わず参照できる状態にする

顧問先からの問い合わせ対応でも、過去に同様の質問への回答実績があれば、RAGが該当する回答文をベースに下書きを提示してくれるため、対応品質の均一化にもつながる。

RAG導入の進め方｜4ステップ

税理士事務所がRAGを導入する際は、いきなり大規模なシステムを構築するのではなく、段階的に進めることが望ましい。

対象文書の棚卸し: まず検索させたい文書の範囲を決める。個人情報や顧問先の機密性が高い資料は除外し、通達解釈や所内マニュアルなど汎用性の高い文書から着手する
小規模ツールでの試行: NotebookLMなど既存ツールで数十件の文書を読み込ませ、検索精度と回答の使い勝手を検証する
運用ルールの整備: 誰がどの文書を追加・更新するか、AIの回答をそのまま顧問先に使わないルールなど、所内運用ルールを文書化する
本格導入・スタッフ展開: 検証結果を踏まえ、必要であればMCP連携などによる本格的なRAG基盤に移行し、全スタッフへ展開する

ラクゼイで支援した事務所では、まず通達解釈のナレッジベース化から着手し、3ヶ月ほどかけて過去の申告事例まで検索範囲を広げる進め方を取ることが多い。

導入時の注意点｜守秘義務とハルシネーション対策

税理士法第38条が定める守秘義務との関係で、RAGに読み込ませる文書には注意が必要である。顧問先の生データをそのまま外部AIサービスに学習させる設定は避け、法人名や個人名を匿名化した上でナレッジベース化する、あるいはオプトアウト設定が確認できるサービスを選ぶことが前提になる。

またRAGは検索した文書をもとに回答するとはいえ、ハルシネーション（誤った情報の生成）が完全になくなるわけではない。検索結果と実際の文書内容にずれが生じるケースもあるため、AIが提示した引用元を必ず担当者が確認し、顧問先への提案書や申告書にそのまま転記しない運用ルールを設けることが欠かせない。

よくある質問

Q1. RAGを導入するには専門のエンジニアが必要ですか。 NotebookLMなど既存ツールを使った簡易的な運用であれば、専門知識がなくても始められる。ただし、所内システムとの連携や複数拠点での運用を目指す場合は、MCP連携などの技術支援を受けた方が安定した運用につながる。

Q2. 顧問先データをRAGに読み込ませても守秘義務違反にならないですか。 匿名化やオプトアウト設定を行わずに顧問先の生データを外部AIに学習させることはリスクが高い。事務所内で完結するクローズドな環境か、学習に利用されない設定を確認した上で運用する必要がある。

Q3. RAGとNotebookLMはどちらを選べばよいですか。 数十件程度の文書を単発で検索したいなら既存ツールで十分だが、継続的にナレッジを蓄積し複数人で更新・検索する運用を目指すなら、本格的なRAG基盤の構築を検討する価値がある。

まとめ｜税理士事務所のナレッジ検索×AIで属人化を解消する

税理士 RAG AIは、事務所内に蓄積された過去事例や通達解釈を検索可能な資産に変え、担当者への依存を減らす手段になる。まずは汎用性の高い文書から小規模に試し、守秘義務とハルシネーション対策のルールを整えたうえで、段階的に検索範囲を広げていくことが現実的な進め方である。

ラクゼイでは、税理士事務所専用に設計したAI導入伴走を提供しています。仕訳業務・月次レポート作成・顧問先対応の自動化に関心がある場合は、無料相談または画面サンプルをご覧ください。

税理士事務所のナレッジ検索×AI（RAG）活用｜過去事例を瞬時に呼び出す方法