JP7846656B2 - 説明文生成システム、および、説明文データベースの生産方法 - Google Patents

Description

本発明は、説明文生成システム、および、説明文データベースの生産方法に関する。

従来、画像や動画を認識し、その画像の説明文を生成する画像キャプション生成という技術が開示されている（例えば特許文献１）。
特許文献１に記載の技術では、車載カメラの画像に移りこんでいる周辺対象物を認識し、車両と周辺対象物の位置関係を含むテキストを出力することで、周辺状況説明文として提供する。

特開２０１９－２１４３２０号公報

しかしながら、特許文献１などの従来の技術では、コネクテッドカーから収集した車両画像をデータベース化し、そのデータベースからユーザによる自然言語の指示条件に合致する画像を検索する用途に適したシステムは提供されていない。このような画像データベースを構築する際には、データベース内の画像ごとに、その画像の説明文をあらかじめ対応付けておき、ユーザが入力する検索文に類似するデータベース内の説明文が付与されていることが望ましい。

一方、特許文献１などの従来の技術では、ユーザが入力する検索文に類似するような、自然な周辺状況説明文を生成することについては特に考慮されていなかった。例えば、単に画像内のオブジェクトを検出し、そのオブジェクトの名称をそのまま説明文にするだけでは、車両の置かれた交通シーンに応じて着目すべき周辺対象物の有無が説明文で言及されないこともあり、その結果、ユーザが入力する検索文に合致されることができなかった。

本発明はこのような事情を考慮してなされたものであり、人間が入力する検索文に合致するような自然な説明文を対応付けた画像をデータベース化することを、主な課題とする。

上記課題を解決するために、本発明の説明文生成システムは、以下の特徴を有する。
本発明は、作業者が自然言語で検索可能なデータベースと、前記データベースへ文章を格納する処理部と、を有し、
前記処理部は、
画像分析及び自然言語での出力が可能な生成モデルがカメラの画像から認識したシーンを示すシーン情報を受け取り、
シーン毎に設定されたオブジェクトの説明要否に基づいて前記シーン情報に応じた画像説明文を生成し、
前記画像説明文を含むプロンプトを生成し、
前記プロンプトを前記生成モデルへ入力し、 前記生成モデルが前記プロンプトに応じて生成した状況説明文を受け取り、
前記状況説明文を前記画像と対応付けて、前記データベースへ格納することを特徴とする。
その他の特徴は、後記する。

本発明によれば、人間が入力する検索文に合致するような自然な説明文を対応付けた画像をデータベース化することができる。

本実施形態に関する画像説明システムの構成図である。 本実施形態に関する走行ログＤＢの詳細を示す図である。 本実施形態に関する車両走行動画データの一部である静止画データの一例を示す図である。 本実施形態に関する車両画像分析装置の構成図である。 本実施形態に関する要否テーブルの構成図である。 本実施形態に関する認識テーブルの構成図である。 本実施形態に関する説明文生成部のフローチャートである。 本実施形態に関する車両画像分析装置のハードウェア構成図である。 本実施形態に関する画像説明文の生成処理の詳細なフローチャートである。 本実施形態に関する図９で説明した画像説明文の生成処理の具体的な動作の一例を示すフローチャートである。 本実施形態に関する一般道用の画像説明文の生成処理の詳細なフローチャートである。 本実施形態に関する図３の静止画データに対して画像説明文の生成処理を実行した結果の中間データを示すテーブルである。 本実施形態に関する図１２の中間データに対して説明文生成部が不要なデータを削除した結果の出力データを示すテーブルである。 本実施形態に関するＧＰＳ説明文の生成処理の詳細を示す図である。 本実施形態に関する制御説明文の生成処理の詳細を示す図である。 本実施形態に関する図１４および図１５で生成された説明文の一例を示すテーブルである。 本実施形態に関する走行状況説明文の生成処理で使用される大規模言語モデル部への指示文を示すテーブルである。 本実施形態に関する図１３の画像説明文とは別の画像から生成された一例を示すテーブルである。 本実施形態に関する検索部の処理を示すフローチャートである。 本実施形態に関する入出力部の画像検索インターフェースを示す図である。 本実施形態に関する図２０の検索結果（シーンその１）がクリックされたときの再生画面である。 本実施形態に関する図２０の検索結果（シーンその２）がクリックされたときの再生画面である。

以下、本発明の一実施形態を図面を用いて説明する。

図１は、画像説明システム１００の構成図である。
画像説明システム１００では、通信回線８を介して車両画像分析装置１と通信可能な車両（コネクテッドカー）として、各車両９１－９３が存在する。各車両９１－９３は、自車で計測した各種の計測データを通信回線８経由で車両画像分析装置１の走行ログＤＢ１１に送信する。
各車両９１－９３には、搭載され画像を撮影する車載カメラが搭載される。車両画像分析装置１は、車載カメラで撮影された画像の状況説明文を生成する。
なお、通信回線８は、有線、無線を問わず一般的な公衆回線網、例えば、「多数同時接続」、「超低遅延」を可能とした第5世代移動通信システム、いわゆる5G（5th Generation）を用いることができる。さらに5G以降の新しい携帯電話システムの特徴を活かすことで、オンライン（走行中のリアルタイム）での説明文生成などの効果も期待できる。

図２は、走行ログＤＢ１１の詳細を示す図である。
走行ログＤＢ１１は、各車両９１－９３からの計測データを以下のようにデータの種類別に保管する。
・車両の走行中や停車中に、車載カメラ（図示省略）で撮影した動画データである車両走行動画データ１１Ａ。
・車載ＧＰＳ（Global Positioning System）データである車両走行ＧＰＳデータ１１Ｂ。
・車載ＥＣＵ（Electronic Control Unit）などから得られた車両走行ログデータとして、速度、加減速度、ステアリング角度などの車両の制御データである車両走行制御データ１１Ｃ。
なお、ＧＰＳは衛星測位システムの一例である。

図３は、車両走行動画データ１１Ａの一部である静止画データ１１１の一例を示す図である。
静止画データ１１１は、高速道路上を走行する各車両９１－９３で撮影された車両走行動画データ１１Ａから抽出されるデータの一例である。

図４は、車両画像分析装置１の構成図である。
車両画像分析装置１は、図２で説明した走行ログＤＢ１１に加え、説明文生成部１２と、大規模言語モデル部１３と、説明対象設定部１４と、説明文ＤＢ（画像データベース）１５と、検索部１６と、入出力部１７とを有する。説明対象設定部１４は、要否テーブル１４Ａと、認識テーブル１４Ｂとを有する。大規模言語モデル部１３は、ＶＱＡ（Visual Question Answer）部１３Ａと、要約生成部１３Ｂとを有する。
なお、車両画像分析装置１内に記憶される各種データ（走行ログＤＢ１１と、要否テーブル１４Ａと、認識テーブル１４Ｂ）は、車両画像分析装置１外の記憶装置（図示省略）に格納されており、その記憶装置からネットワークを介して車両画像分析装置１からアクセス可能に構成されていてもよい。

説明文生成部１２は、走行ログＤＢ１１内のデータに基づいて、大規模言語モデル部１３および説明対象設定部１４を用いて、各車両の走行状況を分析し、その分析結果に応じて車両の走行状況を説明する自然文を生成する。そのため、説明文生成部１２は、車両の走行状況があらかじめ分類された交通シーンのいずれかに該当するかを分析する。
大規模言語モデル部１３は、説明文生成部１２によって呼び出される。大規模言語モデル部１３は、質問文と回答文とのやり取りを行う自然言語の会話方式をインタフェースとするLAVIS（LAnguage VISion）などにより実現され、以下の処理部を有する。
・ＶＱＡ部１３Ａは、画像に対する自然文での問い合わせに、自然文で回答する。そのため、ＶＱＡ部１３Ａは、CNN（Convolutional Neural Network）などの画像認識モデルをあらかじめ学習データなどを用いて用意しておき、その画像認識モデルに対して問い合わせ文を入力することで、対応する画像の説明文を得る。
・要約生成部１３Ｂは、入力された自然文（プロンプト）の内容を要約（複数の文章を統合）した要約文を、交通状況説明文として回答する。要約生成部１３Ｂは、要約処理や翻訳処理などを行うテキスト生成AIのサービスとして、例えば、GPT-4、CLIP、BLIP、BLIP-2などの既存のサービスを用いてもよい。

説明対象設定部１４は、以下のテーブルを参照して、交通シーンに対応した説明対象物を説明文生成部１２に設定し、説明文ＤＢ１５に記憶する。
・要否テーブル１４Ａ（図５）は、交通シーンごとに説明対象物を対応付けるとともに、個別の説明対象物についての説明文に言及するか否かの重要度合いを定義する。
・認識テーブル１４Ｂ（図６）は、個別の説明対象物について、説明文で言及する詳細な内容を定義する。
説明文ＤＢ１５は、説明文生成部１２によって生成された走行状況説明文を保管する。

このように、説明文生成部１２は、以下の（処理１）～（処理３）を実行する。
（処理１）カメラから受信した画像に写るシーンを特定し、特定したシーンごとにその画像内の対象物についての認識要否情報を要否テーブル１４Ａから読み取る。
（処理２）読み取った認識要否情報で認識が必要と指定された対象物を画像内から認識し、その認識結果から対象物ごとの説明文を生成する。
（処理３）特定したシーンと対象物ごとの説明文とをもとに画像の状況説明文を生成し、画像の状況説明文と画像とを対応付けて説明文ＤＢ１５に記憶する。

図５は、要否テーブル１４Ａの構成図である。説明対象設定部１４は、高速道路、一般道、駐車場などの交通シーンごとの説明対象物を設定する。
例えば、交通シーン「高速道路」と、説明対象物「歩行者」との組み合わせは、「要／要」である。この「要／要」表記の左側の認識要否情報「要」は、画像から説明対象物を認識する必要があることを示す。また「要／要」表記の右側の説明要否情報「要」は、画像から認識した、あるいは認識しなかった説明対象物について、説明文で説明する必要があることを示す。
よって、交通シーン「一般道」では、歩行者の認識は「必要」であり、認識されなかった場合でも説明が「必要」と設定している。一方、交通シーン「一般道」では、横断歩道の認識は「必要」であるが、説明は不要である。

このように、説明文生成部１２は、画像内の対象物についての説明要否情報を要否テーブル１４Ａから読み取り、読み取った説明要否情報で説明が必要と指定された対象物を画像内から認識できない場合には、対象物ごとの説明文として、その対象物が画像内には存在しない旨の説明文を生成する。
これにより、車両が走行している交通シーンに応じて、通常存在しないことが多い対象物については存在する場合のみ説明文を生成し、通常存在することが多い対象物については存在しない場合についても説明文が生成できる。そのため、より自然な交通状況説明文が生成でき、ユーザによる検索文に対する検索精度が向上するという効果がある。

図６は、認識テーブル１４Ｂの構成図である。認識テーブル１４Ｂは、認識された説明対象物に対して、ＶＱＡ部１３Ａを用いて分析する項目、および、その分析結果を説明文に含める項目を、詳細項目として定義する。
例えば、ＶＱＡ部１３Ａは、歩行者が認識された場合には、その場所、衣服の色、動作について分析する。
このように、説明文生成部１２は、画像内の対象物についての詳細項目を認識テーブル１４Ｂから読み取り、画像内から認識内の対象物についての読み取った詳細項目の説明文を、対象物ごとの説明文として生成する。これにより、説明対象物によって追加すべき情報を個別に設定することが可能となり、自然な交通状況説明文が生成できる。そのため、ユーザによる検索文に対する検索精度が向上する。

図７は、説明文生成部１２のフローチャートである。
説明文生成部１２は、画像説明文の生成処理（Ｓ２１）として、車両走行動画データ１１Ａから抽出した静止画データ１１１に対して、ＶＱＡ部１３Ａに画像分析を実行させることで画像説明文を生成する。静止画データ１１１の抽出処理は、例えば１０秒おきなどの一定間隔での連続撮影画像を抽出したり、一動画ファイルから等時間間隔で１０枚の画像を抽出したりする処理である。

説明文生成部１２は、ＧＰＳ説明文の生成処理（Ｓ２２）として、車両走行ＧＰＳデータ１１Ｂに基づいてＧＰＳ説明文を生成する。この際、対象となるＧＰＳデータ（測位データ）はＳ２１の静止画データ１１１と同一時刻のＧＰＳデータ、または、最も時刻が近いＧＰＳデータを採用する。
つまり、説明文生成部１２は、車両９１の車載ＧＰＳから読み取ったＧＰＳデータに基づいて、画像撮影時の時間帯の情報、および、画像撮影時の走行位置の情報のうちの少なくとも１つの情報に関する説明文を、画像の状況説明文に追加する。

説明文生成部１２は、制御説明文の生成処理（Ｓ２３）として、車両走行制御データ１１Ｃに基づいて制御説明文を生成する。この際、対象となる制御データはＳ２１の静止画データ１１１と同一時刻、または最も時刻が近い制御データを採用する。
つまり、説明文生成部１２は、車両９１の車載ＥＣＵ（Electronic Control Unit）から読み取った車両走行制御データに基づいて、速度の情報、加減速度の情報、および、ステアリング角度の情報のうちの少なくとも１つの情報に関する説明文を、画像の状況説明文に追加する。

説明文生成部１２は、走行状況説明文の生成処理（Ｓ２４）として、Ｓ２１で生成された画像説明文と、Ｓ２２で生成されたＧＰＳ説明文と、Ｓ２３で生成された制御説明文とを、要約生成部１３Ｂに要約させることで、走行状況説明文を生成する。説明文生成部１２は、生成した走行状況説明文と、その走行状況説明文の説明対象である静止画データ１１１とを対応付けて、説明文ＤＢ１５に保存する。
つまり、要約生成部１３Ｂは、入力されたプロンプトに沿った要約文を生成する。そして、説明文生成部１２は、状況説明文に含む情報、状況説明文から除外する情報、および、状況説明文の例文の情報をもとにした状況説明文の生成指示文と、対象物ごとの説明文とを含むプロンプトを要約生成部１３Ｂに入力することで、画像の状況説明文を生成する。

図８は、車両画像分析装置１のハードウェア構成図である。
車両画像分析装置１は、ＣＰＵ９０１と、ＲＡＭ９０２と、ＲＯＭ９０３と、ＨＤＤ９０４と、通信Ｉ／Ｆ９０５と、入出力Ｉ／Ｆ９０６と、メディアＩ／Ｆ９０７とを有するコンピュータ９００として構成される。
通信Ｉ／Ｆ９０５は、外部の通信装置９１５と接続される。入出力Ｉ／Ｆ９０６は、入出力装置９１６と接続される。メディアＩ／Ｆ９０７は、記録媒体９１７からデータを読み書きする。さらに、ＣＰＵ９０１は、ＲＡＭ９０２に読み込んだプログラム（アプリケーションや、その略のアプリとも呼ばれる）を実行することにより、各処理部を改善制御する。そして、このプログラムは、通信回線を介して配布したり、ＣＤ－ＲＯＭ等の記録媒体９１７に記録して配布したりすることも可能である。

図９は、画像説明文の生成処理（図７のＳ２１）の詳細なフローチャートである。
説明文生成部１２は、ＶＱＡ部１３Ａに問い合わせることで、静止画データ１１１に写る交通シーンを分類する（Ｓ２１１）。ＶＱＡ部１３Ａは、静止画データ１１１および交通シーンの問い合わせ文（例えば「このシーンはどこですか？ 例えば、道路、高速道路、駐車場でしょうか？」の入力を受け、回答文（例えば、高速道路）を説明文生成部１２に応答する（図１２の行A01）。なお、説明文生成部１２は、事前に管理者によって車両画像分析装置１に設定された交通シーンの問い合わせ文を読み込むので、車両画像分析装置１の利用者は、自身で交通シーンの問い合わせ文を生成する必要は無い。
以下、説明文生成部１２は、Ｓ２１２～Ｓ２１７のループ処理について、要否テーブル１４Ａに登録されている説明対象物を順に選択して（歩行者、自転車、自動車、…）実行する。以下、今回のループ処理で選択された説明対象物を、選択対象物とする。

説明文生成部１２は、Ｓ２２１で特定した交通シーンで選択対象物の認識が必要か否かを、要否テーブル１４Ａを参照して判定する（Ｓ２１２）。Ｓ２１２でYes（必要）ならＳ２１３に進み、NoならＳ２１７に進む。
説明文生成部１２は、選択対象物が静止画データ１１１内に存在するか否かを、大規模言語モデル部１３のＶＱＡ部１３Ａに対して問い合わせる。この問い合わせ文は、例えば、「このシーンに歩行者はいますか？」である（図１２の行A02）。説明文生成部１２は、この問い合わせ文への回答文（対象物の認識結果）により、認識が必要と指定された対象物を画像内から認識する。この認識結果として、説明文生成部１２は、選択対象物が静止画データ１１１内に存在するか否かを判定する（Ｓ２１３）。Ｓ２１３でYes（存在する）ならＳ２１４に進み、NoならＳ２１５に進む。

説明文生成部１２は、静止画データ１１１内に存在する選択対象物についての詳細項目を取得する（Ｓ２１４）。そのため、説明文生成部１２は、認識テーブル１４Ｂを参照して、選択対象物に対応する詳細項目を取得する。そして、説明文生成部１２は、静止画データ１１１内の選択対象物についての詳細項目を１つずつ、大規模言語モデル部１３のＶＱＡ部１３Ａに対して問い合わせる。例えば、説明文生成部１２は、選択対象物＝自動車であり、認識テーブル１４Ｂの自動車に対応する詳細項目には「色」が含まれているので、「車の色は何色ですか？」という問い合わせ文を生成する。

説明文生成部１２は、選択対象物の説明（言及）が必要か否かを、要否テーブル１４Ａを参照して判定する（Ｓ２１５）。Ｓ２１５でYes（必要）ならＳ２１６に進み、NoならＳ２１７に進む。
説明文生成部１２は、以下のいずれかにより、選択対象物の説明文を生成する（Ｓ２１６）。
・Ｓ２１３でYesの場合、Ｓ２１４で取得した選択対象物についての詳細項目の問い合わせ文およびその回答文の組み合わせから、選択対象物の説明文を生成する。
・Ｓ２１３でNoの場合、選択対象物が静止画データ１１１内には認識されなかった旨の選択対象物の説明文を生成する（図１８の行D07など）。
説明文生成部１２は、今回の選択対象物の処理を終えたことで、すべての選択対象物に対する処理を完了したか否かを判定する（Ｓ２１７）。Ｓ２１７でYes（完了した）なら処理を終了し、Noなら未処理の選択対象物に切り替えてＳ２１２に戻る。
これにより、車両が走行している交通シーンに応じて注目および確認すべき周辺対象物に対する説明を含んだ自然な交通状況説明文が生成でき、ユーザによる検索文に対する検索精度が向上する。

図１０は、図９で説明した画像説明文の生成処理の具体的な動作の一例を示すフローチャートである。
説明文生成部１２は、静止画データ１１１に写る交通シーンを分類する処理（図９のＳ２１１）の結果に応じて、以下のように交通シーン別の処理に分岐する（Ｓ３０１）。
・一般道の分類結果なら、一般道用の画像説明文を生成する（Ｓ３０２）。
・高速道路の分類結果なら、高速道路用の画像説明文を生成する（Ｓ３０３）。
・駐車場の分類結果なら、駐車場用の画像説明文を生成する（Ｓ３０４）。
・その他の分類結果なら、その他用として規定された画像説明文を生成する（Ｓ３０５）。

図１１は、一般道用の画像説明文の生成処理（図１０のＳ３０２）の詳細なフローチャートである。
説明文生成部１２は、交通シーン質問および回答文と（図９のＳ２１１）、信号の有無の質問および回答文を生成する（Ｓ３１１）。
説明文生成部１２は、図９の判定処理（Ｓ２１３）として、画像内の歩行者有無を質問し（Ｓ３１２）、有りの時はＳ３１３に進み、無しの時はＳ３１４に進む。
説明文生成部１２は、歩行者の詳細項目についての質問回答として（図９のＳ２１４）、歩行者の存在を示す回答文と、歩行者の場所質問および回答文と、歩行者の色質問および回答文と、歩行者の動作質問および回答文を生成する（Ｓ３１３）。
説明文生成部１２は、歩行者が存在しないことを示す回答文を生成する（Ｓ３１４）。

説明文生成部１２は、図９の判定処理（Ｓ２１３）として、画像内の自動車有無を質問し（Ｓ３１５）、有りの時はＳ３１６に進み、無しの時はＳ３１７に進む。
説明文生成部１２は、自動車の詳細項目についての質問回答として（図９のＳ２１４）、自動車の存在を示す回答文と、自動車の場所質問および回答文と、自動車の車種質問および回答文と、自動車の色質問および回答文と、自動車の動作質問および回答文を生成する（Ｓ３１６）。
説明文生成部１２は、図９の判定処理（Ｓ２１３）として、画像内の自転車有無を質問し（Ｓ３１７）、有りの時はＳ３１８に進み、無しの時はＳ３１９に進む。
説明文生成部１２は、自転車の詳細項目についての質問回答として（図９のＳ２１４）、自転車の存在を示す回答文と、自転車の場所質問および回答文と、自転車の色質問および回答文と、自転車の動作質問および回答文を生成する（Ｓ３１８）。

説明文生成部１２は、図９の判定処理（Ｓ２１３）として、画像内の横断歩道有無を質問し（Ｓ３１９）、有りの時はＳ３２０に進み、無しの時は処理を終了する。説明文生成部１２は、横断歩道の存在を示す回答文を生成する（Ｓ３２０）。
以上、図１０では一般道用の画像説明文の生成処理を説明したが、他の交通シーン用の画像説明文を生成する処理（Ｓ３０３～Ｓ３０５）も、同様の処理である。

図１２は、図３の静止画データ１１１に対して画像説明文の生成処理（Ｓ２１）を実行した結果の中間データを示すテーブルである。
このテーブルは、行ごとに、質問文とその質問文への回答文との組み合わせにより、画像説明文が構成される。
例えば、行A01は、交通シーンを分類する処理（Ｓ２１１）の結果である。
行A02～行A04は、選択対象物が静止画データ１１１内に存在するか否かを判定する処理（Ｓ２１３）の結果である。
行A05～行A13は、選択対象物についての詳細項目を取得する処理（Ｓ２１４）の結果である。

図１３は、図１２の中間データに対して説明文生成部１２が不要なデータを削除した結果の出力データを示すテーブルである。図１２との差異として、説明対象設定部１４の要否テーブル１４Ａにて認識されなかった場合の説明が不要とされた歩行者の説明文（行A02）、自転車の説明文（行A03）、料金所の説明文（行A13）が、図１３では削除されている。

図１４は、ＧＰＳ説明文の生成処理（Ｓ２２）の詳細を示す図である。
説明文生成部１２は、車両走行ＧＰＳデータ１１Ｂから得られるＧＰＳ情報の時間帯に応じて、静止画データ１１１の撮影時刻を朝、昼、夕、夜などに分類した説明を生成する（Ｓ２２１）。
説明文生成部１２は、車両走行ＧＰＳデータ１１Ｂから得られるＧＰＳ情報の緯度経度に応じて、静止画データ１１１の撮影場所を、主要幹線道路や、都市名として特定した説明を生成する（Ｓ２２２）。
これにより、車両の走行時間帯および走行場所に関する情報を含んだ交通状況説明文が生成できる。そのため、ユーザによる検索文に対する検索精度が向上する。

図１５は、制御説明文の生成処理（Ｓ２３）の詳細を示す図である。
説明文生成部１２は、車両走行制御データ１１Ｃから走行速度制御に関する説明文を生成する（Ｓ２３１）。説明文は、例えば、時速２０ｋｍ以下は低速、２０ｋｍ～６０ｋｍは中速、６０ｋｍ以降は高速などである。
説明文生成部１２は、車両走行制御データ１１Ｃから加減速制御に関する説明文を生成する（Ｓ２３２）。説明文は、例えば、一定以上の加速度の場合には加速状態、一定以上の減速度の場合は減速状態、それ以外は定速状態などである。
説明文生成部１２は、車両走行制御データ１１Ｃからステアリング制御に関する説明文を生成する（Ｓ２３３）。説明文は、例えば、一定以上の舵角の場合に左折状態、右折状態、それ以外の場合に直進状態などである。
これにより、車両の制御状態および挙動に関する説明を含んだ、より自然な交通状況説明文が生成できる。そのため、ユーザによる検索文に対する検索精度が向上するという効果がある。

図１６は、図１４および図１５で生成された説明文の一例を示すテーブルである。
行B01では、Ｓ２２１にて、時間帯の説明文が生成されている。
行B02では、Ｓ２２２にて、走行場所の説明文が生成されている。
行B03では、Ｓ２３１にて、走行速度の説明文が生成されている。
行B04では、Ｓ２３２にて、加減速状態の説明文が生成されている。
行B05では、Ｓ２３３にて、ステアリング状態の説明文が生成されている。

図１７は、走行状況説明文の生成処理（Ｓ２４）で使用される大規模言語モデル部１３への指示文を示すテーブルである。
行C01には、交通状況説明文の生成指示が記載される。
行C02には、交通状況説明文に含む情報が記載される。
行C03には、交通状況説明文から除外する情報が記載される。
行C04には、交通状況説明文の例文が記載される。

そして、走行状況説明文の生成処理（Ｓ２４）では、説明文生成部１２は、以下の（項目１）から（項目４）までのテキストを順に結合したプロンプトを生成する。なお、（項目２）および（項目３）の少なくとも１つは、省略してもよい。
（項目１）大規模言語モデル部１３への指示文（図１７）
（項目２）ＧＰＳ説明文（図１６の行B01、行B02）
（項目３）制御説明文（図１６の行B03、行B04、行B05）
（項目４）画像説明文（図１３）

説明文生成部１２は、この生成されたプロンプトを大規模言語モデル部１３に入力することにより、自然文で記述された交通状況説明文を取得する。以下、プロンプトから大規模言語モデル部１３が生成した交通状況説明文（後記の図２１では状況説明文７３２に相当）を例示する。
交通状況説明文＝「あなたは正午、首都高5号線を猛スピードで減速しながら直進しています。このシーンでは、高速道路にオレンジ色の実線の車線があります。さらに、あなたの前方の道路を白いトラックが前に向かって走っています。」
これにより、使用用途やユーザの好みに応じた自然な交通状況説明文を生成することにより、ユーザによる検索文に対する検索精度が向上する。

図１８は、図１３の画像説明文とは別の画像から生成された一例を示すテーブルである。
図１８の画像説明文は、一般道を走行する車両から撮影された画像を対象とした。そのため、要否テーブル１４Ａでの一般道と歩行者との組み合わせが説明「要」なので、行D07において、「歩行者が認識されなかった」という情報が記載されている。
この図１８の画像説明文を含むプロンプトから、走行状況説明文の生成処理（Ｓ２４）により大規模言語モデル部１３が生成した交通状況説明文は、以下の通りである。
交通状況説明文＝「あなたは現在、夜の水戸市の市道を低速で安定した速度で走行し、左折の準備をしています。このシーンには歩行者はいません。」

以上、図１８までを参照して、走行状況説明文のデータベース化（説明文ＤＢ１５に保存するまでの処理）を説明した。以下は、データベース化した情報の活用例を説明する。
図１９は、検索部１６の処理を示すフローチャートである。
検索部１６は、説明文ＤＢ１５に記憶された画像から、入力された検索文に合致する画像を検索する。具体的には、検索部１６は、入力された検索文と、説明文ＤＢ１５に記憶された状況説明文との類似度が高い画像を検索結果として出力する。
なお、検索部１６は、「類似度が高い画像」として、例えば、検索結果の類似度が高い順に画像を列挙してその上位１番目からＸ番目までを出力としてもよいし（相対的な順位の類似判定）、類似度が事前に設定された基準値（閾値Ｙ）よりも高い検索結果の画像を出力してもよい（絶対的な類似判定）。
以下、検索部１６の処理の詳細を説明する。

検索部１６は、入出力部１７から、ユーザが入力した検索文を受信する（Ｓ６１）。ここでのユーザは、例えば、高速道路などを管理する交通管制センタの解説員であり、検索文とは、例えば、所定時刻に高速道路の所定場所で発生した事故に類似する状況の画像をデータベースから収集する旨の内容である。解説員は、データベースから取得した画像素材を編集して、発生した事故に関する報道番組を制作する予定である。
検索部１６は、ユーザからの検索文と、説明文ＤＢ１５に格納された説明文との類似度を評価し（Ｓ６２）、類似度が高い説明文に対応付けられている動画情報（画像情報）を説明文ＤＢ１５から取得する。類似度評価には、文書ベクトル化に基づくコサイン類似度検索などを用いても良い。

検索部１６は、Ｓ６２で取得した走行動画および走行状況説明文に加え、その走行状況の関連情報（説明文ＤＢ１５には無いが、気象データベースから走行状況説明文の場所日時を指定して取得可能な天気情報など）を検索して取得し、それらの結果をもとに回答文を生成する（Ｓ６３）。
つまり、検索部１６は、類似度が高い画像に対応する状況説明文に含まれる情報をもとに、説明文ＤＢ１５とは別のデータベースから取得した関連情報も、検索結果として出力してもよい。
検索部１６は、Ｓ６３の回答文を入出力部１７へ送信する（Ｓ６４）。
これにより、ユーザが入力した自然言語による検索文に類似した交通状況説明文を有する動画データを検索する場合、短時間で目的の動画を検索できる。

図２０は、入出力部１７の画像検索インターフェース７１を示す図である。
画像検索インターフェース７１は、Ｓ６１の検索文の入力欄である検索文入力部７２と、Ｓ６４の回答文の表示欄である検索結果表示部７３とで構成される。検索結果表示部７３には、複数の検索結果（シーンその１～その４）がアイコンまたはサムネイル画像として表示される。

図２１は、図２０の検索結果（シーンその１）がクリックされたときの再生画面である。この再生画面には、上から順に以下の情報が表示される。
・検索結果の画像７３１。
・画像７３１の状況説明文７３２は、検索文との類似度が高いものとして抽出されたものである。
・ＧＰＳ説明文（時刻、場所）、制御説明文（車種、走行速度）、天気などの付加情報７３３。

図２２は、図２０の検索結果（シーンその２）がクリックされたときの再生画面である。図２１と同様に、この再生画面には、検索結果の画像７４１と、その状況説明文７４２と、付加情報７４３とが図２１と同様に表示される。
これにより、ユーザは自然言語にて検索文を入力したうえで、検索文に類似する交通状況説明文および動画、関連情報を参照して動画を検索することによって、検索効率を向上できる。

以上説明した本実施形態によれば、説明文生成部１２は、車両画像の説明文を生成する際に、要否テーブル１４Ａを参照して、車両が置かれた交通シーンに基づいて着目すべき周辺対象物の有無を含んだ自然な説明文を生成する。これにより、必要な周辺対象物の言及はしつつ、不要な周辺対象物は言及されない自然な説明文がデータベース化されるので、人間が入力する検索文からのデータベースの検索精度が向上する。

さらに、本発明は上述した各実施形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、その他種々の応用例、変形例を取り得ることは勿論である。例えば、上述した各実施形態は本発明を分かりやすく説明するために車両画像分析装置１の構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成要素を備えるものに限定されない。また、ある実施形態の構成の一部を他の実施形態の構成要素に置き換えることが可能である。また、ある実施形態の構成に他の実施形態の構成要素を加えることも可能である。また、各実施形態の構成の一部について、他の構成要素の追加又は置換、削除をすることも可能である。

また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。ハードウェアとして、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などの広義のプロセッサデバイスを用いてもよい。
また、上述した実施形態にかかる車両画像分析装置１の各構成要素は、それぞれのハードウェアがネットワークを介して互いに情報を送受信できるならば、いずれのハードウェアに実装されてもよい。また、ある処理部により実行される処理が、１つのハードウェアにより実現されてもよいし、複数のハードウェアによる分散処理により実現されてもよい。

１ 車両画像分析装置
８ 通信回線
１１ 走行ログＤＢ
１１Ａ 車両走行動画データ
１１Ｂ 車両走行ＧＰＳデータ
１１Ｃ 車両走行制御データ
１２ 説明文生成部
１３ 大規模言語モデル部
１３Ａ ＶＱＡ部
１３Ｂ 要約生成部
１４ 説明対象設定部
１４Ａ 要否テーブル
１４Ｂ 認識テーブル
１５ 説明文ＤＢ（画像データベース）
１６ 検索部
１７ 入出力部
９１－９３ 車両
１００ 画像説明システム
１１１ 静止画データ
７３２，７４２ 状況説明文

Claims (20)

1. 作業者が自然言語で検索可能なデータベースと、
   前記データベースへ文章を格納する処理部と、を有し、
   前記処理部は、
   画像分析及び自然言語での出力が可能な生成モデルがカメラの画像から認識したシーンを示すシーン情報を受け取り、
   シーン毎に設定されたオブジェクトの説明要否に基づいて前記シーン情報に応じた画像説明文を生成し、
   前記画像説明文を含むプロンプトを生成し、
   前記プロンプトを前記生成モデルへ入力し、
   前記生成モデルが前記プロンプトに応じて生成した状況説明文を受け取り、
   前記状況説明文を前記画像と対応付けて、前記データベースへ格納することを特徴とする説明文生成システム。
2. 請求項１に記載の説明文生成システムであって、
   前記生成モデルは、言語モデルを含むことを特徴とする説明文生成システム。
3. 請求項１に記載の説明文生成システムであって、
   前記プロンプトは、前記説明要否、及び認識要否に基づいて生成されることを特徴とする説明文生成システム。
4. 請求項１に記載の説明文生成システムであって、
   前記処理部は、前記生成モデルに問い合わせ文を入力することで前記画像説明文を生成することを特徴とする説明文生成システム。
5. 請求項１に記載の説明文生成システムであって、
   前記プロンプトは、制御説明文を含むことを特徴とする説明文生成システム。
6. 請求項１に記載の説明文生成システムであって、
   前記プロンプトは、GPS説明文を含むことを特徴とする説明文生成システム。
7. 請求項２に記載の説明文生成システムであって、
   前記プロンプトは、前記説明要否、及び認識要否に基づいて生成されることを特徴とする説明文生成システム。
8. 請求項７に記載の説明文生成システムであって、
   前記処理部は、前記生成モデルに問い合わせ文を入力することで前記画像説明文を生成することを特徴とする説明文生成システム。
9. 請求項８に記載の説明文生成システムであって、
   前記プロンプトは、制御説明文を含むことを特徴とする説明文生成システム。
10. 請求項９に記載の説明文生成システムであって、
    前記プロンプトは、GPS説明文を含むことを特徴とする説明文生成システム。
11. 処理部は、
    画像分析及び自然言語での出力が可能な生成モデルがカメラの画像から認識したシーンを示すシーン情報を受け取り、
    シーン毎に設定されたオブジェクトの説明要否に基づいて前記シーン情報に応じた画像説明文を生成し、
    前記画像説明文を含むプロンプトを生成し、
    前記プロンプトを前記生成モデルへ入力し、
    前記生成モデルが前記プロンプトに応じて生成した状況説明文を受け取り、
    前記状況説明文を前記画像と対応付けて、データベースへ格納することを特徴とする説明文データベースの生産方法。
12. 請求項１１に記載の説明文データベースの生産方法であって、
    前記生成モデルは、言語モデルを含むことを特徴とする説明文データベースの生産方法。
13. 請求項１１に記載の説明文データベースの生産方法であって、
    前記プロンプトは、前記説明要否、及び認識要否に基づいて生成されることを特徴とする説明文データベースの生産方法。
14. 請求項１１に記載の説明文データベースの生産方法であって、
    前記処理部は、前記生成モデルに問い合わせ文を入力することで前記画像説明文を生成することを特徴とする説明文データベースの生産方法。
15. 請求項１１に記載の説明文データベースの生産方法であって、
    前記プロンプトは、制御説明文を含むことを特徴とする説明文データベースの生産方法。
16. 請求項１１に記載の説明文データベースの生産方法であって、
    前記プロンプトは、GPS説明文を含むことを特徴とする説明文データベースの生産方法。
17. 請求項１２に記載の説明文データベースの生産方法であって、
    前記プロンプトは、前記説明要否、及び認識要否に基づいて生成されることを特徴とする説明文データベースの生産方法。
18. 請求項１７に記載の説明文データベースの生産方法であって、
    前記処理部は、前記生成モデルに問い合わせ文を入力することで前記画像説明文を生成することを特徴とする説明文データベースの生産方法。
19. 請求項１８に記載の説明文データベースの生産方法であって、
    前記プロンプトは、制御説明文を含むことを特徴とする説明文データベースの生産方法。
20. 請求項１９に記載の説明文データベースの生産方法であって、
    前記プロンプトは、GPS説明文を含むことを特徴とする説明文データベースの生産方法。