AIQAの回答の精度を上げる

AI Questionnaire Assistance（AIQA）の回答の質は、回答の作り方の設定と、AIが参照する情報の質で決まります。回答の詳しさや文体をあらかじめ決めておけば、手で直す手間が減り、チームの回答もそろいます。このページでは、AIQAの回答の質を高める方法として、回答の調整の設定（回答のプリセット）、ナレッジベースや文書の改善の仕方、AIによる質問の振り分け、回答の精度を上げるための運用のこつを説明します。

回答のプリセットで答え方を決める

回答のプリセット（prompt preset）は、SafeBase AIに「どのように」答えさせるかを決めた、使い回せる指示のまとまりです。AIが回答を書く前に、回答の詳しさ、地域による書き方の違い、書式を決めておけます。一度作れば、質問票をまたいで使い回せ、顧客、地域、用途に合わせて答え方を変えながら、チームの回答をそろえられます。

プリセットで決められるのは、次の内容です。

• 回答の詳しさ
• 地域による書き方の違い（イギリス英語とアメリカ英語など）
• 書式と構成
• 文脈のルール（どんな質問を「該当しない」とするか）

プリセットを作って管理できるのはAdminなどのロールのユーザーで、ほかのユーザーは、質問票でAIを実行する前に既存のプリセットを選んで使えます。

プリセットの設定の画面

1. 左のナビゲーションのメニュー（またはQuestionnairesの画面）でSettingsを選びます。
2. 設定の中央のメニューでQuestionnairesを選びます。

項目	内容
既定のプリセット（Default answering preset）	質問票に回答するときに既定で使うプリセットを選ぶ。組み込みのプリセットと独自のプリセットの全てから選べ、既定はSystem Default。System Defaultは、プラットフォームの基本の答え方で、削除できない
プリセットの一覧（Answering Presets）	System Defaultと独自のプリセットの情報を確かめ、作成、編集、削除を行う

SettingsのQuestionnairesタブ。既定のプリセットを選び、プリセットの一覧から作成や編集を行う

プリセットを作る

1. Create Presetを選びます（既存のプリセットを選ぶと編集できます）。
2. 名前（Name）を入力します。
3. 説明（Description）を加えます。特定の顧客、地域、製品の種類など、どんな場合に使うかを書いておくと、チームのメンバーがどのプリセットを選べばいいかが分かります。
4. 次の「答え方の設定」を決めます。
5. Createを選んで保存します。作成されると確認の表示が出ます。

既存のプリセットを複製して、少しだけ変えたプリセットを作ることもできます。一から作る代わりに、名前や説明を変えて使えます。

答え方の設定

言語（Language）：

回答を書く言語を選びます。実行のたびに言語を選べるようにするかどうかも決めます。オフにすると、全ての実行で1つの言語が使われます。AIQAが対応している言語は、アラビア語、中国語、デンマーク語、オランダ語、英語、英語（イギリス）、フランス語、ドイツ語、ギリシャ語、ヘブライ語、ヒンディー語、イタリア語、日本語、韓国語、ポーランド語、ポルトガル語、ロシア語、スペイン語、スウェーデン語の19の言語です。

ナレッジベースの設定（Knowledge Base Options）：

質問とナレッジベースの回答がどれだけ似ていれば一致とみなすかを、スライダーで決めます。スライダーには例が表示されます。回答に補足のコメントを付けるかどうかの設定と、回答の自動承認の設定もここにあります。コメントの付け方は、次の3つから選べます。

付け方	内容
常に付ける	コメントが作られたときは、常に付ける
選んで付ける	回答をナレッジベースからそのまま写したときと、AIが作った回答が「いいえ」か「該当しない」のときだけ付ける
付けない	コメントを付けない

ナレッジベースからそのまま写した回答には、コメントの付け方の設定は当てはまりません。ナレッジベースの回答にコメントがあれば、設定にかかわらずそのコメントが使われます。

回答の詳しさ（Verbosity）：

設定	内容
Brief	必要な情報だけの、短く直接的な回答
Standard	詳しさと分かりやすさのバランスを取った回答。既定として勧められている
Detailed	監査や文書化のための、詳しい説明

追加の書き方の指示（Additional Styling Instructions）：

回答を細かく調整する指示を、1000文字まで書けます。指示は、はっきりと絞って書くと効果的です。ヘルプの記事では、次のような例が挙げられています。

用途	指示の例
地域による書き方	イギリス英語のつづりと言い回しを使い、「Trust Center」は常に「Trust Centre」と書く
通常の顧客の質問票	顧客に分かりやすい言葉を使い、望ましい書式の質問の例を貼り付けて、その書式に合わせる
正式な監査やコンプライアンスの審査	短縮形を避け、監査人に向いた正確で構成の整った言葉を使う。または、示した回答の例の書式（箇条書きなど）に合わせる
オンプレミスとクラウドの提供の形態	オンプレミスの提供の形態に触れる質問は「該当しない」とする
会社や製品の名前	全ての回答で、会社や製品を決まった名前で呼ぶ

保存する前に試す

Example OutputのセクションでTest AI Answer Styleを選ぶと、今のプリセットでAIが作る回答の例を確かめられます。AIのクレジットを使わずに、保存する前にプリセットを確かめられます。

質問票でプリセットを選ぶ

Trust Centerで質問票を開くと、どのプリセットを使うかを尋ねる画面が表示されます。

1. 回答の方法（Answering mode）で、System Defaultか独自のプリセットを選びます。
2. 必要に応じて質問票の対応付けを続けます。
3. AIの回答を実行します。

質問票でAIを実行するときの画面。Answering modeでプリセットを選ぶ

回答ができたら、選んだプリセットで回答が作られているかを確かめます。独特な文体のプリセットを使った場合は、回答にその文体が表れているかを確かめます。

【運用のポイント】 まずはStandardの詳しさから始め、顧客の種類、地域、製品の種類ごとにプリセットを分けて作ります。プリセットには、どの場合に使うかが分かる説明を付けます。広く使い始める前にいくつかの組み合わせを試し、手で直す量が減るように少しずつ改善します。

情報源を改善する

AIQAの回答の正確さは、Trust Centerの編集画面、ナレッジベース、文書の内容に左右されます。次の点を見直すと、AIの回答の正確さが上がり、内容を探しやすく管理しやすくなり、質問票にかかる時間も減ります。

Trust Centerの項目

よくある問題	対応
カードの項目に、緑の印だけがあって説明がない	説明がないと、セキュリティーの取り組みの説得力が下がる。項目ごとに、簡潔な説明や裏付けの情報を加える。詳しいほど、AIは質問にうまく答えられる
ほかの場所にある資料が、カードに付いていない	SOC 2のレポートや侵入テストの要約などの資料を、Trust Centerのカードに直接付ける。顧客の信頼が高まり、資料の依頼のやり取りが減り、AIが参照できる内容も増える

説明を加えたカードの項目の例。項目ごとに説明があると、AIが回答に使える

項目の編集は、編集画面と項目の配置で説明しています。

文書

ポリシーの目次だけの資料や古い資料は、詳しさや新しさが足りず、AIの回答の改善に役立ちません。記録を最新に保ち、AIの情報源に使える、内容のそろった文書をアップロードします。

ナレッジベース

よくある問題	対応
「はい」「いいえ」だけで、補足がない	二択の回答だけでは、対策の内容やセキュリティーの成熟度が伝わらない。「はい」「いいえ」の回答には、必ず短い説明を付ける。例えば、「定期的に脆弱性の評価をしているか」という質問に「はい」と答え、コメントに「四半期ごとに社内でスキャンし、年に一度、外部の業者による評価を受けている」と書く
見直しの状態と担当者の機能を使っていない	担当者がいないと、回答が古くなったり、社内の実務とずれたりする。見直しの状態（Health Review）で各回答の状態を付け、見直しが必要（needs review）な回答の担当者を割り当てる（Assign To）
同じ質問と回答が重複している	重複があると管理の手間が増え、更新のときに食い違いが生まれやすい。重複をまとめて、1つの正しい情報源にする
古い監査やポリシーに触れた回答がある	古い情報は誤解を招き、セキュリティーの取り組みの印象を悪くする。回答は少なくとも年に一度見直す

重複や矛盾の見つけ方は、ナレッジベースの整備のPotential Issuesで説明しています。

質問票の完了とナレッジベースへの追加

完了していない質問票が残っていると、AIが整えた回答から学べず、ダッシュボードの指標も正確でなくなります。質問ごとに回答を確かめてから最終の承認をし、必ず質問票を完了まで進めます。完了の画面で回答をナレッジベースに加えると、仕上げた回答がこれからの質問票で使い回され、AIの回答の改善にもつながります。完了の手順はAIQAで質問票に回答するで説明しています。

AIで質問を担当者に振り分ける（早期提供）

AIによる質問の振り分け（AI Question Routing）は、質問票の質問を、完了、確認、承認のために、チームの適切な担当者に自動で振り分ける機能です。早期提供（Early Access）の機能です。質問票をアップロードしてAIQAを実行すると、AIが質問ごとに分野（Subject Area）を判断し、その分野の担当の専門家（SME）を示します。

分野は設定で一度決めておけば、その後のAIQAの全ての質問票で使えます。分野は、名前、振り分けのルールになる説明、主（Primary）と副（Secondary）の担当者の一覧で決めます。この設定をオンにして準備してから、AIQAを実行する必要があります。

分野を確かめて作る

1. ナビゲーションのメニューからSettingsを開きます。
2. Questionnairesタブを選び、Subject Areasのセクションまでスクロールします。
3. SafeBaseがあらかじめ用意した既定の分野の一覧を確かめます。既定の分野は編集できません。

Subject Areasの一覧。既定の分野と独自の分野が並ぶ

既定の分野で足りない場合は、独自の分野を作ります。

1. Create subject areaを選びます。
2. 分野の名前を入力します。
3. 説明を入力します。AIQAは、この説明をルールとして、質問にこの分野を当てはめるかどうかを判断します。分かりやすく具体的に書きます。
4. Questionnaire assistanceの設定を切り替え、AIQAが質問の分類に使えるようにします。

【運用のポイント】 分野の説明は、AIQAへの指示として書きます。対象の話題を正確に書くほど、自動の振り分けが正確になります。

分野に担当者を加える

1. 担当者を加える分野を選びます。
2. Add Expertを選びます。
3. 組織のメンバーを選びます。
4. その担当者がこの分野で受け持つ製品を選びます。
5. 主の担当者（Primary）か副の担当者（Secondary）かを選びます。
6. 必要な数だけ繰り返します。

種類	内容
Primary	この分野が質問に見つかったときに、AIQAが既定で推薦または割り当てる担当者
Secondary	予備の担当者。自動では割り当てられないが、一覧に表示され、質問票に回答するときにすぐに差し替えられる

分野に担当者を割り当てる画面。メンバー、製品、主か副かを選ぶ

同じ人を、製品や主か副かを変えて、複数の分野に加えられます。複数の分野を受け持つ担当者に便利です。担当者を外すには、分野の中で名前の横の削除の操作を選びます。

質問票で振り分けを使う

この機能をオンにしてAIQAを実行すると、AIQAが質問ごとに関係する分野を判断して付け、その分野の主の担当者を示します。1つの質問に、最大3つの分野を付けられます。分野ごとの担当者は、同じ質問の画面でそれぞれ編集できます。

状態	表示	内容
推薦（Recommended）	紫の点線の枠	担当者が提案されているが、まだ割り当てられていない。推薦をオンにしている場合（Questionnaire Agentを実行している場合など）に表示される
割り当て済み（Assigned）	白い枠	担当者が質問に割り当てられている

推薦された担当者を割り当てるには、推薦された人を選んで保存します。保存すると、紫の点線の表示が割り当て済みの表示に変わります。一括の操作のツールバーのボタンで、選んだ行の推薦された担当者をまとめて割り当てることもできます。

AIQAが誤った分野を付けた場合は、質問の分野の一覧から直します。

1. 質問を開きます。
2. 誤った分野を外します。
3. 正しい分野を一覧から選びます。
4. その分野の主の担当者の一覧を確かめます。
5. 適切な担当者を割り当てるか、必要に応じて外します。

誤った分野が付いたときは、AIQAが質問を正しく分類できるよう、分野の説明が正確かも見直します。