JPWO2020008576A1 - 判定方法、判定プログラムおよび情報処理装置 - Google Patents

Abstract

情報処理装置（１００）は、撮影装置により撮影された撮影画像を取得すると、物体の複数の向きに応じた該物体の複数の輪郭の形状にそれぞれ対応付けて、複数の向きを示す複数の向き情報を記憶する記憶部を参照して、複数の輪郭の形状のうち、撮影画像に含まれる被写体の輪郭の形状に対応する輪郭の形状に対応付けられた向き情報を取得する処理を繰り返す。情報処理装置（１００）は、複数の向き情報の関係に基づき、被写体の動きに関する判定を行う。

Description

本発明は、判定方法等に関する。

従来、カメラで物体を撮影し、物体の動きをもとに、その行動パターンを検出するための各種の技術がある。たとえば、従来技術には、被写体の画像に形状モデルを当てはめ、パーツ単位での代表点位置の時系列データを抽出し、抽出した時系列データと、モデルデータとの照合を行うことで、動作カテゴリを特定するものがある。また、画像から人物の行動パターンを検出する従来技術として、ＨＭＭ（Hidden Markov Model）を用い、標準的な行動の確率モデルを自動的に習得するものがある。

特開２０１０−１０２５９５号公報 特開２００５−２０２６５３号公報

しかしながら、上述した従来技術では、撮影画像に含まれる被写体の動き又は被写体のいずれかの部位の状態に関する判定を容易に行うことができないという問題がある。

たとえば、画像から抽出されるエッジには様々な形状のエッジが含まれるため、被写体の画像に特定の形状モデルを当てはめることが難しく、動作カテゴリを容易に判定することができない。

１つの側面では、本発明は、撮影画像に含まれる被写体の動き又は被写体のいずれかの部位の状態に関する判定時間を短縮できる判定方法、判定プログラムおよび情報処理装置を提供することを目的とする。

第１の案では、コンピュータは、次の処理を実行する。コンピュータは、撮影装置により撮影された第１の撮影画像を取得すると、物体の複数の向きに応じた該物体の複数の輪郭の形状にそれぞれ対応付けて、複数の向きを示す複数の向き情報を記憶する記憶部を参照する。コンピュータは、複数の輪郭の形状のうち、取得した第１の撮影画像に含まれる被写体の輪郭の形状に対応する輪郭の形状に対応付けられた第１の向き情報を取得する。コンピュータは、撮影装置により新たに撮影された第２の撮影画像を取得すると、記憶部を参照する。コンピュータは、複数の輪郭の形状のうち、取得した第２の撮影画像に含まれる被写体の輪郭に対応する輪郭の形状に対応付けられた第２の向き情報を取得する。コンピュータは、取得した第１の向き情報及び第２の向き情報の関係に基づき、被写体の動きに関する判定を行う。

撮影画像に含まれる被写体の動き又は被写体のいずれかの部位の状態に関する判定時間を短縮できる。

図１は、本実施例に係る情報処理装置の処理の一例を説明するための図である。 図２は、アウトラインとPostScriptデータとの関係を説明するための図である。 図３は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。 図４は、本実施例に係る画像バッファのデータ構造の一例を示す図である。 図５は、本実施例に係るアウトラインＨＭＭのデータ構造の一例を示す図である。 図６は、ある識別情報およびある角度に対応するPostScriptデータの一例を示す図である。 図７は、本実施例に係る中間データ蓄積テーブルのデータ構造の一例を示す図である。 図８は、本実施例に係る動作判定テーブルのデータ構造の一例を示す図である。 図９は、本実施例に係るイベント判定テーブルのデータ構造の一例を示す図である。 図１０は、本実施例に係るセンテンステンプレートの一例を示す図である。 図１１は、重畳画像データの一例を示す図である。 図１２は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。 図１３は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

以下に、本発明にかかる判定方法、判定プログラムおよび情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例に係る情報処理装置の処理の一例を説明するための図である。情報処理装置は、カメラから複数の撮影画像データ１０ａ，１０ｂ，１０ｃ，１０ｄを順に取得する。以下の説明では、撮影画像データ１０ａ〜１０ｄをまとめて適宜、「撮影画像データ１０」と表記する。

情報処理装置は、撮影画像データ１０と、アウトラインＨＭＭ１４２とを比較して、撮影画像データ１０毎に、中間データ１５ａ〜１５ｄを生成する。中間データ１５ａは、撮影画像データ１０ａから生成されるデータである。中間データ１５ｂは、撮影画像データ１０ｂから生成されるデータである。中間データ１５ｃは、撮影画像データ１０ｃから生成されるデータである。中間データ１５ｄは、撮影画像データ１０ｄから生成されるデータである。以下の説明では、中間データ１５ａ〜１５ｄをまとめて適宜、「中間データ１５」と表記する。

中間データ１５は、向き情報と、属性情報と、画像情報とを含む。向き情報は、被写体の向きの情報を示す。属性情報は、被写体に関する説明を記述したテキスト情報である。画像情報は、被写体に含まれる各パーツの画像情報である。被写体に含まれる各パーツは、ヘッドランプ、ウインカー、ボンネット等に対応する。

アウトラインＨＭＭ１４２は、物体の向き情報と、物体（全体）の輪郭の形状と、物体の各パーツの情報とを有する。パーツの情報は、物体の輪郭の形状内に含まれる各パーツの形状、位置等の情報が含まれる。以下の説明では、物体の輪郭の形状を「アウトライン」と表記する。

ここで、アウトライン及びパーツの情報（形状）は、PostScriptデータにより示される。図２は、アウトラインとPostScriptデータとの関係を説明するための図である。図２では、一例として、アウトライン５に対応するPostScriptデータ６を示す。PostScriptデータ６により、アウトライン５を描画することができる。

アウトライン５は、直線５ＡＢ、曲線５ＢＣ、直線５ＣＤ、直線５ＤＡからなる。直線５ＡＢは、制御点Ａと制御点Ｂとを結ぶ直線である。直線５ＣＤは、制御点Ｃと制御点Ｄとを結ぶ直線である。直線５ＤＡは、制御点Ｄと制御点Ａとを結ぶ直線である。曲線５ＢＣは、制御点Ｂと制御点Ｃとを結ぶ曲線であり、制御点α，βおよび制御点（端点）Ｂ，Ｃにより、曲線の形状が決定される。

アウトライン５の制御点Ａ，Ｂ，Ｃ，Ｄ、制御点α，βを基にして、アウトライン５のPostScriptデータ６が生成される。PostScriptデータ６に含まれる「Ｘａ，Ｙａ」は、制御点Ａの座標を示すものである。「Ｘｂ，Ｙｂ」は、制御点Ｂの座標を示すものである。「Ｘｃ，Ｙｃ」は、制御点Ｃの座標を示すものである。「Ｘｄ，Ｙｄ」は、制御点Ｄの座標を示すものである。「Ｘα，Ｙα」は、制御点αの座標を示すものである。「Ｘβ，Ｙβ」は、制御点βの座標を示すものである。PostScriptデータ６には、各種のコマンド「newpath moveto lineto curveto stroke showpage」が含まれる。

また、PostScriptデータ６には、属性情報を格納する属性情報領域６ａが設定されている。属性情報領域６ａには、PostScriptデータ６に描画される物体あるいは物体の部品を説明するテキスト情報が予め格納されている。たとえば、PostScriptデータで描画される輪郭の形状が、スポーツカーの輪郭の形状である場合には、属性情報領域６ａには、「スポーツカー」なるテキスト情報が格納される。PostScriptデータで描画される輪郭の形状が、スポーツカーの右ウインカーの輪郭の形状である場合には、属性情報領域６ａには、「右ウインカー」なるテキスト情報が格納される。

続いて、情報処理装置が、撮影画像データ１０ａと、アウトラインＨＭＭ１４２とを比較して、中間データ１５ａを生成する処理について説明する。情報処理装置は、撮影画像データ１０ａから被写体の外郭（輪郭）の形状を抽出し、抽出した外郭の形状とヒットするアウトライン２０ａを特定する。情報処理装置は、ヒットしたアウトライン２０ａに対応する向き情報（０°／０：００）、属性情報、画像情報を取得する。なお、アウトラインＨＭＭ１４２には、向き情報（３０°／１：００）に対応するアウトライン２０ｂ、向き情報（４５°／１：３０）に対応するアウトライン２０ｃ、向き情報（９０°／３：００）に対応するアウトライン２０ｄ等が含まれる。

ここで、情報処理装置は、属性情報として、アウトライン２０ａに対応するPostScriptデータの属性情報領域に格納されたテキスト情報と、パーツのエッジに対応するPostScriptデータの属性情報領域に格納されたテキスト情報とを取得する。

情報処理装置は、画像情報として、パーツのエッジに対応する画像領域を、撮影画像データ１０ａ上から特定し、特定した画像領域の部分的な画像情報を取得する。

情報処理装置は、撮影画像データ１０ｂ〜１０ｄに関しても、上記の処理を実行することで、中間データ１５ｂ〜１５ｄを生成する。

続いて、情報処理装置は、中間データ１５ａ〜１５ｄと、動作判定テーブル１４４およびイベント判定テーブル１４５とを基にして、センテンス情報３０を生成する。

動作判定テーブル１４４は、被写体の動きに関する判定を行う場合に用いるテーブルである。動作判定テーブル１４４は、角度の遷移パターンと動作の種別とを対応付ける。情報処理装置は、中間データ１５ａ〜１５ｄと、動作判定テーブル１４４とを比較して、被写体の動作の種別を判定する。たとえば、中間データ１５ａ〜１５ｄの向きの情報（角度）が右回りに変化している場合には、被写体の動作の種別は、「右折」となる。

イベント判定テーブル１４５は、被写体に発生するイベントを判定する場合に用いるテーブルである。イベント判定テーブル１４５は、一定期間における画像情報の変化のパターンと、イベントとを対応付ける。情報処理装置は、中間データ１５ａ〜１５ｄと、イベント判定テーブル１４５とを比較して、イベントを判定する。たとえば、中間データ１５の画像情報に含まれる右ウインカーの画像情報の輝度が、一定期間毎に、閾値以上、閾値未満となる場合には、イベントは「右ウインカーが点灯」となる。

情報処理装置は、動作判定テーブル１４４を用いて判定した動作の種別、および、イベント判定テーブル１４５を用いて判定したイベントを、所定のテンプレートに設定することで、センテンス情報３０を生成する。

上記のように、本実施例に係る情報処理装置は、アウトラインＨＭＭ１４２と、撮影画像データ１０の被写体の輪郭形状とを比較して、被写体の向きの推移を特定し、被写体の動きに関する判定を行う。これによって、被写体の動きや部位の状態の判定を行う際に、複雑なアルゴリズムを用いる必要が無いため、撮影画像データに含まれる被写体の動きに関する判定時間を短縮することができる。

情報処理装置は、アウトラインＨＭＭ１４２と、撮影画像データ１０の被写体の部分的な画像情報を抽出し、部分的な画像情報の推移と、イベント判定テーブル１４５とを比較してイベントを判定する。これにより、被写体のいずれかの部位の状態に関する判定を容易に行うことができる。

情報処理装置は、中間データ１５と、動作判定テーブル１４４およびイベント判定テーブル１４５とを基にして、センテンス情報３０を生成する。これにより、被写体の動きに関する判定、イベントの判定結果を、センテンス情報により記録または表示することができる。

次に、本実施例に係る情報処理装置の構成の一例について説明する。図３は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。図３に示すように、この情報処理装置１００は、カメラ１０５、通信部１１０、入力部１２０、表示部１３０、記憶部１４０、制御部１５０を有する。

カメラ１０５は、被写体を２つの異なる方向から同時に撮影するステレオカメラ（双眼カメラ）または、左右に可動可能な単眼カメラであり、視差により被写体のアウトラインを識別することができる。カメラ１０５は、第１の方向から撮影した第１撮影画像データと、第１の方向とは異なる第２の方向から撮影した第２撮影画像データとを、情報処理装置１００に出力する。以下の説明では、適宜、第１撮影画像データと、第２撮影画像データとをまとめて「撮影画像データ」と表記する。

通信部１１０は、ネットワークを介して外部装置とデータ通信を実行する処理部である。通信部１１０は、通信装置の一例である。情報処理装置１００は、ネットワークを介して、カメラ１０５に接続し、ネットワークを介して、撮影画像データを受信してもよい。

入力部１２０は、情報処理装置１００に各種の情報を入力するための入力装置である。たとえば、入力部１２０は、キーボードやマウス、タッチパネル等に対応する。

表示部１３０は、制御部１５０から出力される各種の情報を表示するための表示装置である。たとえば、表示部１３０は、液晶ディスプレイやタッチパネル等に対応する。

記憶部１４０は、画像バッファ１４１、アウトラインＨＭＭ１４２、中間データ蓄積テーブル１４３を有する。記憶部１４０は、動作判定テーブル１４４、イベント判定テーブル１４５、センテンステンプレート１４６、センテンス蓄積テーブル１４７を有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

画像バッファ１４１は、カメラ１０５に撮影された撮影画像データを格納するバッファである。図４は、本実施例に係る画像バッファのデータ構造の一例を示す図である。図４に示すように、画像バッファ１４１は、時刻と、撮影画像データとを対応付ける。時刻は、撮影画像データが撮影された時刻である。撮影画像データは、カメラ１０５に撮影された画像データである。

アウトラインＨＭＭ１４２は、物体の向き情報と、物体のアウトラインと、物体に含まれる各パーツの情報とを保持する情報である。図５は、本実施例に係るアウトラインＨＭＭのデータ構造の一例を示す図である。図５に示すように、アウトラインＨＭＭ１４２は、識別情報と、角度（時刻表現による物体の向き）毎のPostScriptデータを有する。識別情報は、物体を一意に識別する情報である。なお、識別情報は、アウトラインＨＭＭ１４２の各レコードを識別する番号であってもよい。

PostScriptデータは、アウトラインを描画するためのPostScriptデータである。図６は、ある識別情報およびある角度に対応するPostScriptデータの一例を示す図である。このPostScriptデータ４０は、複数のPostScriptデータ４０ａ，４０ｂ，４０ｃ，４０ｄを含む。図６では一例として、PostScriptデータ４０ａ〜４０ｄを示すが、PostScriptデータ４０は、他のPostScriptデータを含んでいてもよい。

最上層のPostScriptデータ４０ａは、物体（全体）の輪郭のアウトラインを描画するためのPostScriptデータである。たとえば、PostScriptデータ４０が、ある識別情報の角度「０°／０：００」のPostScriptデータである場合には、物体（全体）の輪郭のアウトラインは、図１で説明したアウトライン２０ａに対応する。PostScriptデータ４０ａには、属性情報領域４１ａが含まれる。この属性情報領域４１ａには、テキスト情報「スポーツカー」が格納されている。

PostScriptデータ４０ａの配下の各PostScriptデータ４０ｂ〜４０ｄは、物体の輪郭内に含まれる各パーツのエッジを描画するためのPostScriptデータである。たとえば、PostScriptデータ４０ｂは、物体の右ウインカーのエッジを描画するためのPostScriptデータである。PostScriptデータ４０ｂには、属性情報領域４１ｂが含まれる。この属性情報領域４１ｂには、テキスト情報「右ウインカー」が格納されている。

PostScriptデータ４０ｃは、物体の左ウインカーのエッジを描画するためのPostScriptデータである。PostScriptデータ４０ｃには、属性情報領域４１ｃが含まれる。この属性情報領域４１ｃには、テキスト情報「左ウインカー」が格納されている。

PostScriptデータ４０ｄは、物体の輪郭内の他のパーツのエッジを描画するためのPostScriptデータである。図示を省略するが、PostScriptデータ４０ｄの属性領域情報にも、部品を説明するためのテキスト情報が含まれているものとする。

中間データ蓄積テーブル１４３は、中間データ１５を蓄積するテーブルである。図７は、本実施例に係る中間データ蓄積テーブルのデータ構造の一例を示す図である。図７に示すように、この中間データ蓄積テーブル１４３は、時刻、識別情報、向き情報、属性情報、画像情報を対応付ける。時刻は、撮影画像データの撮影時刻を示す。識別情報は、被写体を一意に識別する情報である。向き情報は、被写体の向きを示す情報である。

属性情報は、撮影画像データのアウトラインにヒットした各PostScriptデータの各属性情報領域に格納されたテキスト情報である。画像情報は、各時刻における各パーツの部分的な画像情報である。たとえば、各パーツの部分的な画像情報は、被写体のボンネットの画像情報、被写体の右ウインカーの画像情報、被写体の左ウインカーの画像情報等である。

動作判定テーブル１４４は、被写体の動きに関する判定を行う場合に用いるテーブルである。図８は、本実施例に係る動作判定テーブルのデータ構造の一例を示す図である。図８に示すように、動作判定テーブル１４４は、角度遷移パターンと、動作種別とを対応付ける。

角度遷移パターン「所定期間、角度変化なし」である場合には、動作種別「停止」となる。角度遷移パターン「角度が右回りに変化」である場合には、動作種別「右折」となる。たとえば、角度が「０°、３０°、４５°、・・・」と変化するものは、右回りの変化である。角度遷移パターン「角度が左回りに変化」である場合には、動作種別「左折」となる。角度が「・・・９０°、６０°、４５°、・・・」と変化するものは、左回りの変化である。

イベント判定テーブル１４５は、被写体に発生するイベントを判定する場合に用いるテーブルである。図９は、本実施例に係るイベント判定テーブルのデータ構造の一例を示す図である。図９に示すように、イベント判定テーブルは、パーツ名称と、画像パターンと、イベントとを対応付ける。パーツ名称は、被写体のパーツを特定する名称である。画像パターンは、パーツに対応する部分的な画像情報の変化のパターンを示すものである。イベントは、被写体に発生しているイベントを示すのである。

たとえば、パーツ名称「ヘッドライト」に対応する画像パターンが「一定期間、輝度が連続して閾値以上」である場合に、イベントが「ライト点灯」である旨が登録されている。パーツ名称「ヘッドライト」に対応する画像パターンが「一定期間、輝度が連続して閾値未満」である場合に、イベントが「ライト消灯」である旨が登録されている。

パーツ名称「右ウインカー」に対応する画像パターンが「一定期間毎に、輝度が閾値以上、閾値未満を繰り返す」である場合に、イベントが「右ウインカーが点灯」である旨が登録されている。パーツ名称「左ウインカー」に対応する画像パターンが「一定期間毎に、輝度が閾値以上、閾値未満を繰り返す」である場合に、イベントが「左ウインカーが点灯」である旨が登録されている。

パーツ名称「ブレーキランプ」に対応する画像パターンが「輝度が閾値以上」である場合に、イベントが「ブレーキ」である旨が登録されている。

センテンステンプレート１４６は、センテンス情報を生成するための各種のテンプレートを保持している。たとえば、動作判定テーブル１４４を基に判定される動作の種別のテキスト情報、イベント判定テーブル１４５を基に判定されるイベントのテキスト情報を、テンプレートに組み込むことで、センテンス情報が生成される。

センテンス蓄積テーブル１４７は、後述する制御部１５０により生成されるセンテンス情報を蓄積するテーブルである。

制御部１５０は、第１取得部１５１、第２取得部１５２、判定部１５３、生成部１５４、表示制御部１５５を有する。第１取得部１５１、第２取得部１５２は、取得部の一例である。制御部１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部１５０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

第１取得部１５１は、カメラ１０５から、撮影画像データを取得する処理部である。第１取得部１５１は、取得した撮影画像データを時刻と対応付けて、画像バッファ１４１に格納する。カメラ１０５は、撮影時に時刻情報を、撮影画像データに付与してもよいし、第１取得部１５１が、図示しないタイマから時刻の情報を取得してもよい。

第２取得部１５２は、画像バッファ１４１に格納された撮影画像データと、アウトラインＨＭＭ１４２とを基にして、中間データを生成し、生成した中間データを中間データ蓄積テーブル１４３に格納する処理部である。以下において、第２取得部１５２の処理の一例について説明する。

第２取得部１５２は、撮影画像データ（第１撮影画像データおよび第２撮影画像データ）を基にして、ステレオカメラの原理により、撮影画像上の被写体の輪郭形状を抽出する。第２取得部１５２は、輪郭形状を、被写体のアウトラインとして特定する。以下の説明では、撮影画像データから抽出した被写体のアウトラインを「画像アウトライン」と表記する。

第２取得部１５２は、アウトラインＨＭＭ１４２の各PostScriptデータについて、最上層のPostScriptデータを基にして、被写体（全体）の輪郭のアウトラインをそれぞれ描画する。第２取得部１５２は、描画した各アウトラインと、画像アウトラインとを比較して類似度を算出し、類似度が最大（あるいは、所定の類似度以上）となるアウトラインと、画像アウトラインとの組を判定する。

第２取得部１５２は、各PostScriptデータに基づき描画した各アウトラインと、画像アウトラインとの類似度をどのように算出してもよい。たとえば、第２取得部１５２は、アウトラインに囲まれる領域と、画像アウトラインに囲まれる領域との一致率を、類似度として算出してもよい。以下の説明では、画像アウトラインとの類似度が最大となるアウトラインを描画するために用いたPostScriptデータ「対象PostScriptデータ」と表記する。

第２取得部１５２が、中間データの向き情報を特定する処理について説明する。第２取得部１５２は、アウトラインＨＭＭ１４２に格納された対象PostScriptデータの位置を基にして、被写体の向き情報を特定する。たとえば、対象PostScriptデータが、図５に示したアウトラインＨＭＭ１４２の各PostScriptデータのうち、１行目、１列目のPostScriptデータである場合には、向き情報は「０°／０：００」となる。第２取得部１５２は、特定した向き情報を、中間データに格納する。

第２取得部１５２が、中間データの属性情報を抽出する処理について説明する。第２取得部１５２は、対象PostScriptデータの各階層の属性情報領域に格納されたテキスト情報を取得し、取得したテキスト情報を、中間データに格納する。たとえば、対象PostScriptデータが、図６に示すPostScriptデータ４０である場合には、「スポーツカー」、「右ウインカー」、「左ウインカー」を抽出する。第２取得部１５２は、抽出した各テキスト情報が、被写体のアウトラインのPostScriptデータのテキスト情報であるか、パーツのPostScriptデータのテキスト情報であるかを示す情報を、各テキスト情報に付与する。

第２取得部１５２が、中間データの画像情報を抽出する処理について説明する。第２取得部１５２は、対象PostScriptデータに含まれるパーツのPostScriptデータを参照し、撮影画像データ上の各パーツの領域を特定する。第２取得部１５２は、パーツの領域に含まれる部分的な画像情報と、パーツ名称とを対応付けて、中間データに格納する。たとえば、パーツ名称は、パーツに対応するPostScriptデータの属性情報領域に格納されたテキスト情報とする。たとえば、パーツの領域に含まれる部分的な画像情報は、状態情報に対応する。

第２取得部１５２は、画像バッファ１４１に撮影画像データが格納される度に、上記処理を繰り返し実行することで、複数の中間データを生成する。第２取得部１５２は、時刻と、識別情報と、中間データの向き情報、属性情報、画像情報とを対応付けて、中間データ蓄積テーブル１４３に格納する。

判定部１５３は、中間データ蓄積テーブル１４３に蓄積された各中間データの向き情報と、動作判定テーブル１４４とを基にして、被写体の動きに関する判定を行う。また、判定部１５３は、中間データ蓄積テーブル１４３に蓄積された各中間データのと、イベント判定テーブル１４５とを基にして、被写体のパーツの状態（イベント）に関する判定を行う。判定部１５３は、判定結果を、生成部１５４に出力する。

判定部１５３が、被写体の動きに関する判定を行う処理について説明する。判定部１５３は、基準時刻から所定時間後までの各向き情報を、中間データ蓄積テーブル１４３から取得する。基準時刻は、予め指定される時刻であってもよいし、現在時刻から所定時間前の時刻であってもよい。

判定部１５３は、取得した向き情報を時系列にソートし、各向き情報に示される角度の遷移と、動作判定テーブル１４４の各角度遷移パターンとを比較して、該当する角度遷移パターンを判定する。判定部１５３は、判定した角度遷移パターンに対応する動作種別を判定する。判定部１５３は、判定した動作種別を、生成部１５４に出力する。

判定部１５３が、被写体のパーツの状態（イベント）に関する判定を行う処理について説明する。判定部１５３は、基準時刻から所定時間後までの各画像情報（パーツ毎の部分的な画像情報）を、中間データ蓄積テーブル１４３から取得する。取得した部分的な画像情報は、パーツ名称と対応付けられているものとする。

判定部１５３は、パーツ名称毎に、部分的な画像情報を分類し、分類した画像情報を時系列にソートする。判定部１５３は、パーツ名称毎に時系列にソートした各画像情報と、図９に示した、イベント判定テーブル１４５とを比較して、ヒットするイベントを特定する。

たとえば、判定部１５３は、パーツ名称「ヘッドライト」に対応する各画像情報を参照し、時系列に並んだ各画像情報の輝度が、一定期間、連続して閾値以上である場合には、イベントが「ライト点灯」であると判定する。判定部１５３は、パーツ名称「ヘッドライト」に対応する各画像情報を参照し、時系列に並んだ各画像情報の輝度が、一定期間、連続して閾値未満である場合には、イベントが「ライト消灯」であると判定する。

判定部１５３は、パーツ名称「右ウインカー」に対応する各画像情報を参照し、時系列に並んだ各画像情報の輝度が、一定期間毎に、閾値以上、閾値未満を繰り返す場合には、イベントが「右ウインカーが点灯」であると判定する。判定部１５３は、パーツ名称「左ウインカー」に対応する各画像情報を参照し、時系列に並んだ各画像情報の輝度が、一定期間毎に、閾値以上、閾値未満を繰り返す場合には、イベントが「左ウインカーが点灯」であると判定する。

判定部１５３は、パーツ名称「ブレーキランプ」に対応する各画像情報を参照し、時系列に並んだ各画像情報の輝度が、閾値以上である場合には、イベントが「ブレーキ」であると判定する。

また、判定部１５３は、最上層のPostScriptデータのテキスト情報（たとえば、スポーツカー）に対応する画像情報を参照し、パーツ名称「スポーツカー」に対応する色を判定してもよい。以下の説明では、最上層のPostScriptデータのテキスト情報（たとえば、スポーツカー）に対応する画像情報から判定される色を、「被写体色情報」と表記する。また、最上層のPostScriptデータのテキスト情報（たとえば、スポーツカー）を、「被写体名称」と表記する。

判定部１５３は、被写体名称、被写体色情報、動作種別、イベントの情報を、判定結果として、生成部１５４に出力する。

生成部１５４は、判定部１５３の判定結果と、センテンステンプレート１４６とを基にして、センテンス情報を生成する処理部である。生成部１５４は、生成したセンテンス情報を、センテンス蓄積テーブル１４７に格納する。

図１０は、本実施例に係るセンテンステンプレートの一例を示す図である。たとえば、センテンステンプレート１４６は、複数の領域１４６ａ，１４６ｂ，１４６ｃ，１４６ｄと各領域をつなぐテキスト情報を有する。領域１４６ａは、「被写体色情報（のテキスト）」を設定する領域である。領域１４６ｂは、「被写体名称」を設定する領域である。領域１４６ｃは、「イベントの情報（テキスト）」を設定する領域である。領域１４６ｄは、「動作種別」を設定する領域である。

たとえば、被写体色情報が「赤色」、被写体名称が「スポーツカー」、イベントの情報が「右ウインカーを点滅」、動作種別が「右折」とする。この場合には、生成部１５４は、センテンス情報「赤色のスポーツカーが右ウインカーを点滅させながら右折した。」を生成する。

表示制御部１５５は、画像バッファ１４１から撮影画像データを取得し、取得した撮影画像データに、センテンス蓄積テーブル１４７に蓄積されたセンテンス情報を重畳した重畳画像データを生成する。表示制御部１５５は、重畳画像データを、表示部１３０に出力して表示させる。表示制御部１５５は、重畳画像データを生成する場合に、被写体のいずれかのパーツの位置に、センテンス情報を重畳する。表示制御部１５５は、被写体のパーツの位置は、対象PostScriptデータを基にして、判定する。

なお、表示制御部１５５は、センテンス情報の一部を切り出して、重畳画像データを生成してもよい。図１１は、重畳画像データの一例を示す図である。図１１に示す例では、重畳画像データ３５において、被写体の左ウインカーの位置に、テキスト情報「点滅」が重畳されている。

次に、本実施例に係る情報処理装置の処理手順の一例について説明する。図１２は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。図１２に示すように、情報処理装置１００の第１取得部１５１は、カメラ１０５から撮影画像データを取得し、画像バッファ１４１に格納する（ステップＳ１０１）。

情報処理装置１００の第２取得部１５２は、被写体の画像アウトライン（アウトライン）を抽出する（ステップＳ１０２）。第２取得部１５２は、画像アウトラインとアウトラインＨＭＭとを比較し、ヒットするPostScriptデータ（対象PostScriptデータ）を特定する（ステップＳ１０３）。

第２取得部１５２は、対象PostScriptデータを基にして、中間データを生成する（ステップＳ１０４）。第２取得部１５２は、中間データを中間データ蓄積テーブル１４３に登録する（ステップＳ１０５）。

情報処理装置１００の判定部１５３は、中間データ蓄積テーブル１４３と、動作判定テーブル１４４とを基にして、動作種別を判定する（ステップＳ１０６）。判定部１５３は、中間データ蓄積テーブル１４３とイベント判定テーブル１４５とを基にして、イベントを判定する（ステップＳ１０７）。

情報処理装置１００の生成部１５４は、判定部１５３の判定結果を基にして、センテンス情報を生成し、センテンス蓄積テーブル１４７に登録する（ステップＳ１０８）。情報処理装置１００の表示制御部１５５は、センテンス情報と撮影画像データとを重畳した重畳画像データを生成し、表示部１３０に出力する（ステップＳ１０９）。

情報処理装置１００は、処理を継続する場合には（ステップＳ１１０，Ｙｅｓ）、ステップＳ１０１に移行する。情報処理装置１００は、処理を継続しない場合には（ステップＳ１１０，Ｎｏ）、処理を終了する。

次に、本実施例に係る情報処理装置１００の効果について説明する。情報処理装置１００は、撮影画像データから被写体のアウトラインを抽出し、抽出したアウトラインと、アウトラインＨＭＭ１４２とを比較することで、被写体の向き情報を特定する処理を繰り返し実行し、各向き情報の関係に基づき、被写体の動きに関する判定を行う。このように、情報処理装置１００は、各アウトラインから特定される向き情報を基にして、動きに関する判定を行うため、被写体の動きに関する判定時間を短縮できる。

情報処理装置１００は、対象PostScriptデータに設けられた各属性情報領域のテキスト情報を基にして、センテンス情報を生成する。このため、被写体を説明するためのセンテンス情報を容易に生成することができる。

情報処理装置１００は、被写体のアウトラインと、アウトラインＨＭＭ１４２とを比較した結果から、撮影画像データ上の被写体の各パーツの位置を特定する。情報処理装置１００は、各パーツの位置に対応する画像情報のパターンを基にして、イベントを判定する。これにより、被写体のいずれかの部位の状態に関する判定を容易に行うことができる。

情報処理装置１００は、撮影画像データの被写体のパーツに対応する位置に、センテンス情報を重畳することを、重畳画像データを生成し、表示部１３０に出力して表示させる。これにより、被写体の部位に関する状態をユーザにわかりやすく通知することができる。

次に、上記実施例に示した情報処理装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１３は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

図１３に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る読み取り装置２０４と、有線または無線ネットワークを介して、外部装置、カメラ１０５等との間でデータの授受を行うインタフェース装置２０５とを有する。コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１〜２０７は、バス２０８に接続される。

ハードディスク装置２０７は、第１取得プログラム２０７ａ、第２取得プログラム２０７ｂ、判定プログラム２０７ｃ、生成プログラム２０７ｄ、表示制御プログラム２０７ｅを有する。ＣＰＵ２０１は、第１取得プログラム２０７ａ、第２取得プログラム２０７ｂ、判定プログラム２０７ｃ、生成プログラム２０７ｄ、表示制御プログラム２０７ｅを読み出してＲＡＭ２０６に展開する。

第１取得プログラム２０７ａは、第１取得プロセス２０６ａとして機能する。第２取得プログラム２０７ｂは、第２取得プロセス２０６ｂとして機能する。判定プログラム２０７ｃは、判定プロセス２０６ｃとして機能する。生成プログラム２０７ｄは、生成プロセス２０６ｄとして機能する。表示制御プログラム２０７ｅは、表示制御プロセス２０６ｅとして機能する。

第１取得プロセス２０６ａの処理は、第１取得部１５１の処理に対応する。第２取得プロセス２０６ｂの処理は、第２取得部１５２の処理に対応する。判定プロセス２０６ｃの処理は、判定部１５３の処理に対応する。生成プロセス２０６ｄの処理は、生成部１５４の処理に対応する。表示制御プロセス２０６ｅの処理は、表示制御部１５５の処理に対応する。

なお、各プログラム２０７ａ〜２０７ｅについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくてもよい。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ〜２０７ｅを読み出して実行するようにしてもよい。

１００ 情報処理装置
１０５ カメラ
１１０ 通信部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ 画像バッファ
１４２ アウトラインＨＭＭ
１４３ 中間データ蓄積テーブル
１４４ 動作判定テーブル
１４５ イベント判定テーブル
１４６ センテンステンプレート
１４７ センテンス蓄積テーブル
１５０ 制御部
１５１ 第１取得部
１５２ 第２取得部
１５３ 判定部
１５４ 生成部
１５５ 表示制御部

Claims (21)

1. コンピュータが実行する判定方法であって、
   撮影装置により撮影された第１の撮影画像を取得すると、物体の複数の向きに応じた該物体の複数の輪郭の形状にそれぞれ対応付けて、前記複数の向きを示す複数の向き情報を記憶する記憶部を参照して、前記複数の輪郭の形状のうち、取得した前記第１の撮影画像に含まれる被写体の輪郭の形状に対応する輪郭の形状に対応付けられた第１の向き情報を取得し、
   前記撮影装置により新たに撮影された第２の撮影画像を取得すると、前記記憶部を参照して、前記複数の輪郭の形状のうち、取得した前記第２の撮影画像に含まれる前記被写体の輪郭に対応する輪郭の形状に対応付けられた第２の向き情報を取得し、
   取得した前記第１の向き情報及び前記第２の向き情報の関係に基づき、前記被写体の動きに関する判定を行う、
   処理を実行することを特徴とする判定方法。
2. 前記記憶部は、前記向き情報とテキスト情報とをそれぞれ対応付け、前記第１の向き情報に対応する第１のテキスト情報と、前記第２の向きの情報に対応する第２のテキスト情報を、前記記憶部から取得し、取得した前記第１のテキスト情報および前記第２のテキスト情報を基にして、前記被写体の動きを示すテキスト情報を生成する処理を更に実行することを特徴とする請求項１に記載の判定方法。
3. 前記被写体の情報と、前記被写体の動きを示すテキスト情報とを対応付けて出力する処理を更に実行することを特徴とする請求項２に記載の判定方法。
4. コンピュータが実行する判定方法であって、
   撮影装置により撮影された複数の撮影画像を取得し、
   取得した前記複数の撮影画像に基づき、前記複数の撮影画像に含まれる被写体のいずれかの部位の輪郭の形状を示す輪郭データと、前記いずれかの部位の状態に関する状態情報とを生成し、
   物体が有する複数の部位の属性情報を、それぞれ前記複数の部位の輪郭の形状を示す複数の輪郭データに対応付けて記憶する記憶部を参照して、前記複数の輪郭データに、生成した前記輪郭データに対応する輪郭データが含まれる場合、該輪郭データに対応付けられた属性情報を取得し、
   生成した前記状態情報と、取得した前記属性情報とに基づき、前記被写体の前記いずれかの部位の状態に関する判定を行う、
   処理を実行することを特徴とする判定方法。
5. 前記属性情報は、被写体の部品を示すテキスト情報を含み、前記テキスト情報と、前記判定を行う処理の判定結果とを基にして、前記被写体の前記いずれかの部位の状態を示すテキスト情報を生成する処理を更に実行することを特徴とする請求項４に記載の判定方法。
6. 前記複数の撮影画像の少なくともいずれかの撮影画像に、前記被写体の前記いずれかの部位の状態を示すテキスト情報を重畳した重畳画像を生成し、前記重畳画像を表示する処理を更に実行することを特徴とする請求項４に記載の判定方法。
7. 前記重畳画像を生成する処理は、前記いずれかの撮影画像に含まれる前記いずれかの部位に対応する位置に、前記テキスト情報を重畳することで重畳画像を生成することを特徴とする請求項６に記載の判定方法。
8. 撮影装置により撮影された第１の撮影画像を取得すると、物体の複数の向きに応じた該物体の複数の輪郭の形状にそれぞれ対応付けて、前記複数の向きを示す複数の向き情報を記憶する記憶部を参照して、前記複数の輪郭の形状のうち、取得した前記第１の撮影画像に含まれる被写体の輪郭の形状に対応する輪郭の形状に対応付けられた第１の向き情報を取得し、
   前記撮影装置により新たに撮影された第２の撮影画像を取得すると、前記記憶部を参照して、前記複数の輪郭の形状のうち、取得した前記第２の撮影画像に含まれる前記被写体の輪郭に対応する輪郭の形状に対応付けられた第２の向き情報を取得し、
   取得した前記第１の向き情報及び前記第２の向き情報の関係に基づき、前記被写体の動きに関する判定を行う、
   処理をコンピュータに実行させることを特徴とする判定プログラム。
9. 前記記憶部は、前記向き情報とテキスト情報とをそれぞれ対応付け、前記第１の向き情報に対応する第１のテキスト情報と、前記第２の向きの情報に対応する第２のテキスト情報を、前記記憶部から取得し、取得した前記第１のテキスト情報および前記第２のテキスト情報を基にして、前記被写体の動きを示すテキスト情報を生成する処理を更に実行することを特徴とする請求項８に記載の判定プログラム。
10. 前記被写体の情報と、前記被写体の動きを示すテキスト情報とを対応付けて出力する処理を更に実行することを特徴とする請求項９に記載の判定プログラム。
11. 撮影装置により撮影された複数の撮影画像を取得し、
    取得した前記複数の撮影画像に基づき、前記複数の撮影画像に含まれる被写体のいずれかの部位の輪郭の形状を示す輪郭データと、前記いずれかの部位の状態に関する状態情報とを生成し、
    物体が有する複数の部位の属性情報を、それぞれ前記複数の部位の輪郭の形状を示す複数の輪郭データに対応付けて記憶する記憶部を参照して、前記複数の輪郭データに、生成した前記輪郭データに対応する輪郭データが含まれる場合、該輪郭データに対応付けられた属性情報を取得し、
    生成した前記状態情報と、取得した前記属性情報とに基づき、前記被写体の前記いずれかの部位の状態に関する判定を行う、
    処理をコンピュータに実行させることを特徴とする判定プログラム。
12. 前記属性情報は、被写体の部品を示すテキスト情報を含み、前記テキスト情報と、前記判定を行う処理の判定結果とを基にして、前記被写体の前記いずれかの部位の状態を示すテキスト情報を生成する処理を更に実行することを特徴とする請求項１１に記載の判定プログラム。
13. 前記複数の撮影画像の少なくともいずれかの撮影画像に、前記被写体の前記いずれかの部位の状態を示すテキスト情報を重畳した重畳画像を生成し、前記重畳画像を表示する処理を更に実行することを特徴とする請求項１０に記載の判定プログラム。
14. 前記重畳画像を生成する処理は、前記いずれかの撮影画像に含まれる前記いずれかの部位に対応する位置に、前記テキスト情報を重畳することで重畳画像を生成することを特徴とする請求項１３に記載の判定プログラム。
15. 撮影装置により撮影された第１の撮影画像を取得すると、物体の複数の向きに応じた該物体の複数の輪郭の形状にそれぞれ対応付けて、前記複数の向きを示す複数の向き情報を記憶する記憶部を参照して、前記複数の輪郭の形状のうち、取得した前記第１の撮影画像に含まれる被写体の輪郭の形状に対応する輪郭の形状に対応付けられた第１の向き情報を取得し、前記撮影装置により新たに撮影された第２の撮影画像を取得すると、前記記憶部を参照して、前記複数の輪郭の形状のうち、取得した前記第２の撮影画像に含まれる前記被写体の輪郭に対応する輪郭の形状に対応付けられた第２の向き情報を取得する取得部と、
    取得した前記第１の向き情報及び前記第２の向き情報の関係に基づき、前記被写体の動きに関する判定を行う判定部と
    を有することを特徴とする情報処理装置。
16. 前記記憶部は、前記向き情報とテキスト情報とをそれぞれ対応付け、前記第１の向き情報に対応する第１のテキスト情報と、前記第２の向きの情報に対応する第２のテキスト情報を、前記記憶部から取得し、取得した前記第１のテキスト情報および前記第２のテキスト情報を基にして、前記被写体の動きを示すテキスト情報を生成する生成部を更に有することを特徴とする請求項１５に記載の情報処理装置。
17. 前記被写体の情報と、前記被写体の動きを示すテキスト情報とを対応付けて出力する表示制御部を更に有することを特徴とする請求項１６に記載の情報処理装置。
18. 撮影装置により撮影された複数の撮影画像を取得する第１取得部と、
    取得した前記複数の撮影画像に基づき、前記複数の撮影画像に含まれる被写体のいずれかの部位の輪郭の形状を示す輪郭データと、前記いずれかの部位の状態に関する状態情報とを生成し、物体が有する複数の部位の属性情報を、それぞれ前記複数の部位の輪郭の形状を示す複数の輪郭データに対応付けて記憶する記憶部を参照して、前記複数の輪郭データに、生成した前記輪郭データに対応する輪郭データが含まれる場合、該輪郭データに対応付けられた属性情報を取得する第２取得部と
    生成した前記状態情報と、取得した前記属性情報とに基づき、前記被写体の前記いずれかの部位の状態に関する判定を行う判定部と
    を有することを特徴とする情報処理装置。
19. 前記属性情報は、被写体の部品を示すテキスト情報を含み、前記テキスト情報と、前記判定を行う処理の判定結果とを基にして、前記被写体の前記いずれかの部位の状態を示すテキスト情報を生成する生成部を更に有することを特徴とする請求項１８に記載の情報処理装置。
20. 前記複数の撮影画像の少なくともいずれかの撮影画像に、前記被写体の前記いずれかの部位の状態を示すテキスト情報を重畳した重畳画像を生成し、前記重畳画像を表示する表示制御部を更に有することを特徴とする請求項１９に記載の情報処理装置。
21. 前記表示制御部は、前記いずれかの撮影画像に含まれる前記いずれかの部位に対応する位置に、前記テキスト情報を重畳することで重畳画像を生成することを特徴とする請求項２０に記載の情報処理装置。

Images