ある企業は、取引先ごとの注文傾向を分析する AI システムを試験運用しています。取引先は注文データを XML ファイルまたは JSON ファイルで送信し、商品コードや数量などの値にはタグやキーで項目名が付いています。ただし、取引先によって、含まれる項目の数や並び順は異なります。 この注文データを注文傾向の分析に使用するには、どのように扱うのが最も適切ですか。
項目名が付いた XML・JSON の注文データを、注文傾向の分析に使うための扱い方を選ぶ
構造化データとして扱い、列が固定されたリレーショナルテーブルにそのまま読み込んで集計する。
注文データを行と列が決まった表に収まる構造化データとみなし、列を固定したリレーショナルテーブルに読み込む方法です。取引先から CSV のように列が固定された形式で届くなら、この扱いで足ります。
この企業の注文データは XML や JSON で、表形式のデータモデルを持たない半構造化データです。取引先によって含まれる項目が異なり、列を固定した表では、列として定めていない項目は表に入りません。取引先が項目を増やすたびに、表の定義の変更も要ります。
非構造化データとして扱い、ベクトル埋め込みに変換して生成 AI (GenAI) モデルに傾向を質問する。
注文データを文書のような非構造化データとみなし、埋め込み (ベクトル) に変換して意味の近さで検索し、生成 AI の回答に使う方法です。社内規程やマニュアルの内容に基づいて従業員の質問に答えたいときに向いています。
この企業の目的は、数量や納品日といった項目の値を集計して傾向を見ることです。意味の近さで検索する仕組みは値を集計する手段ではなく、項目名が付いた値をそのまま使える利点も生かせません。
半構造化データとして扱い、表の形にそろえ直さずに、項目名で特定した値を分析に使用する。
XML や JSON は、表の形は持たないものの、タグやキーで項目を自己記述する半構造化データです。商品コードや数量の値には項目名が付いているため、取引先ごとに項目の数や並び順が違っても、項目名を手がかりに値を特定できます。表の形へそろえ直したり、取引先ごとに変換のルールを作ったりせずに、値を分析に使えます。
紙の帳票と同じく、インテリジェントドキュメント処理 (IDP) で項目を読み取ってから分析する。
インテリジェントドキュメント処理 (IDP) は、申込書や注文書のような紙・スキャン画像・PDF の文書から項目を読み取る処理です。取引先から紙の注文書が届くなら、IDP で項目を取り出してから分析します。
この企業の注文データは XML や JSON で、値に項目名がすでに付いています。文書から項目の位置を探して読み取る工程は要らず、手間が増えるだけです。
データの種類は「表の形があるか」「タグやキーなどで項目名がデータ自身に付いているか」で見分けます。
・構造化データ: 行と列が決まった表 (基幹データベース・CSV)。事前に定めたスキーマに沿って項目が並びます。
・半構造化データ: XML・JSON のようにタグやキーで項目を自己記述します。表ではないものの、項目の数や並び順が違っても項目名で値を特定できます。
・非構造化データ: 文書・画像・音声。文書の項目が要るならインテリジェントドキュメント処理 (IDP) で取り出し、内容に基づいて答えるなら埋め込みと検索を使います。
IDP は、定型の帳票を含む紙・スキャン画像・PDF から項目を読み取る処理で、項目名が付いた XML・JSON には要りません。「表形式でない＝非構造化データ」と短絡させる選択肢に注意しましょう。