JP7264281B2 - 可視化画像表示装置 - Google Patents

Description

本発明は、可視化画像表示装置、可視化画像表示方法、および記録媒体に関する。

映像に出現する対象物の特徴（位置など）の時間的な変化を可視化する技術が従来から提案されている。

例えば特許文献１では、映像中の対象物の位置の時間的な変化である移動軌跡を背景画像に合成して表示部に表示させている。また特許文献１では、１つの背景画像に２以上の対象物の軌跡を表示させている。また特許文献１では、ユーザの指定、経過時間の基準とされる時刻もしくはタイミング、該基準からの経過時間、対象物の向き、対象物の滞在時間、対象物の服色、対象物の服の柄または対象物の進行方向に基づいて、軌跡を表示させる対象や軌跡を用いて表示する項目や軌跡の範囲を絞り込んでいる。

一方、映像に出現する対象物に対してラベル付けする技術が従来から提案されている（例えば特許文献２参照）。

ＷＯ２０１８／１８００４０ 特開２０１９－４０３３５号公報

上述したように映像に出現する対象物の特徴の時間的な変化を可視化する技術によれば、時間経過に伴って現れる対象物の特徴のパターンや傾向を視覚的に確認することができる。また、上述したように映像に出現する対象物に対してラベル付けする技術によれば、映像に出現する対象物を幾つかのクラスに分類することができる。

しかしながら、映像中の対象物の特徴の時間的な変化を可視化する技術と映像中の対象物に対してラベル付けする技術とは、互いに有機的に関連付けられていなかった。そのため、映像中の対象物の特徴の時間的な変化を対象物のクラス毎に視覚的に確認するのは困難であった。

本発明の目的は、上述した課題、すなわち、映像中の対象物の特徴の時間的な変化を対象物のクラス毎に視覚的に確認するのは困難である、という課題を解決する可視化画像表示装置を提供することにある。

本発明の一形態に係る可視化画像表示装置は、
映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得する取得手段と、
可視化対象とするクラスＩＤを選択する選択手段と、
前記選択されたクラスＩＤに関連付けられた対象物ＩＤを前記クラス分類データから取得し、該取得した対象物ＩＤに関連付けられた時系列データを前記時系列特徴データから取得し、該取得した時系列データに基づいて、前記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示する表示制御手段と、
を備えるように構成されている。

本発明の他の形態に係る可視化画像表示方法は、
映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得し、
可視化対象とするクラスＩＤを選択し、
前記選択されたクラスＩＤに関連付けられた対象物ＩＤを前記クラス分類データから取得し、該取得した対象物ＩＤに関連付けられた時系列データを前記時系列特徴データから取得し、該取得した時系列データに基づいて、前記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示する、
ように構成されている。

本発明の他の形態に係るコンピュータ読み取り可能な記録媒体は、
コンピュータに、
映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得する処理と、
可視化対象とするクラスＩＤを選択する処理と、
前記選択されたクラスＩＤに関連付けられた対象物ＩＤを前記クラス分類データから取得し、該取得した対象物ＩＤに関連付けられた時系列データを前記時系列特徴データから取得し、該取得した時系列データに基づいて、前記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示する処理と、
を行わせるためのプログラムを記録するように構成されている。

本発明は上述したような構成を有することにより、映像中の対象物の特徴の時間的な変化を対象物のクラス毎に視覚的に確認することができる。

本発明の第１の実施形態に係る可視化画像表示装置のブロック図である。 本発明の第１の実施形態における時系列特徴データのフォーマット例を示す図である。 本発明の第１の実施形態におけるクラス分類データのフォーマット例を示す図である。 本発明の第１の実施形態に係る可視化画像表示装置の動作の一例を示すフローチャートである。 本発明の第１の実施形態における可視化画像の例を示す図である。 本発明の第１の実施形態における可視化画像の他の例を示す図である。 本発明の第１の実施形態における可視化画像の更に別の例を示す図である。 本発明の第２の実施形態に係る可視化画像表示装置のブロック図である。

次に本発明を実施するための形態について詳細に説明する。
［第１の実施形態］
図１は本発明の第１の実施形態に係る可視化画像表示装置１００のブロック図である。本実施形態の可視化画像表示装置１００は、映像中の対象物の特徴の時間的な変化を可視化するように構成された情報処理装置である。

可視化画像表示装置１００は、主な構成要素として、通信インターフェース部（以下、通信Ｉ／Ｆ部と記す）１１０と、操作入力部１２０と、画面表示部１３０と、記憶部１４０と、演算処理部１５０とを備えている。

通信Ｉ／Ｆ部１１０は、専用のデータ通信回路から構成され、無線回線などを介して接続された各種装置との間でデータ通信を行うように構成されている。操作入力部１２０は、キーボードやマウスなどの操作入力装置から構成され、オペレータの操作を検出して演算処理部１５０に出力するように構成されている。画面表示部１３０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）などの画面表示装置から構成され、演算処理部１５０からの指示に応じて、画像やテキストなどの各種情報を画面表示するように構成されている。上記操作入力部１２０と画面表示部１３０は、ユーザが各種設定を、画面を介して変更できるための対話手段を有するグラフィカルユーザインターフェイス（ＧＵＩ）としても機能する。ＧＵＩの入力手段は、タッチパネル・キーボード・マウス・ボタン・ダイアルなど任意の形態であってよい。

記憶部１４０は、ハードディスクやメモリなどの記憶装置から構成され、演算処理部１５０における各種処理に必要な処理情報およびプログラム１４０１を記憶するように構成されている。プログラム１４０１は、演算処理部１５０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部１１０などのデータ入出力機能を介して外部装置（図示せず）や記録媒体（図示せず）から予め読み込まれて記憶部１４０に保存される。記憶部１４０に記憶される主な処理情報には、動画像データ１４０２、時系列特徴データ１４０３、および、クラス分類データ１４０４がある。

動画像データ１４０２は、不特定多数の対象物が出現する動画像シーケンスデータである。動画像データ１４０２を取得するカメラの視点方向は固定されていてもよいし、可変であってもよい。カメラは、可視光カメラであってもよいし、赤外線カメラなど可視光以外のカメラであってもよい。また、動画像データ１４０２は、カメラからオンラインで入力される映像信号であってもよいし、録画済みのオフライン映像であってもよい。動画像データ１４０２を構成するフレーム画像には、そのフレーム画像を一意に識別する撮影時刻（以下、単に時刻とも記す）またはフレーム番号が付与されている。そのため、時刻またはフレーム番号を検索キーワードにして、動画像データ１４０２から所望の時刻またはフレーム番号のフレーム画像を検索することができる。

時系列特徴データ１４０３は、動画像データ１４０２中の対象物の１以上の特徴量の時系列データである。時系列特徴データ１４０３は、対象物を一意に識別する対象物ＩＤと特徴量種別を一意に識別する特徴量ＩＤと時刻（または対応する動画像フレーム番号。以下同じ）に関連付けて、動画像中の対象物の特徴量の時系列データを保持している。そのため、対象物ＩＤと特徴量ＩＤと時刻の組み合わせを検索キーワードにして、時系列特徴データ１４０３から所望の対象物ＩＤ、特徴量ＩＤおよび時刻を有する時系列データを検索することができる。特徴量種別には、画像解析によって得られた対象物の位置、色、サイズ、形状、それらの時間微分などがある。但し、特徴量種別は、画像解析結果によるものだけでなく、時刻に紐づいた装置ログや他センサ情報（カメラ向き、パン、チルト、ズームなどのカメラパラメータや、カメラ以外のセンサから取得した時刻に同期した情報など）によるものがあってもよい。また、時系列特徴データ１４０３は、動画像データ１４０２をリアルタイムに解析したオンラインデータであってもよいし、オフラインで解析した結果であってもよい。また、時系列特徴データ１４０３は、動画像データ１４０２から人手によって作成されたデータであってもよいし、動画像データ１４０２から画像解析システムによって自動的に作成されたデータであってもよい。

図２は、時系列特徴データ１４０３のフォーマット例を示す。この例の時系列特徴データ１４０３は、対象物ＩＤ１４０３１とそれぞれが１つの特徴量種別に１対１に対応する１以上の時系列データ１４０３２とから構成されている。各々の時系列データ１４０３２は、特徴量種別を一意に識別する特徴量ＩＤ１４０３２１と、時刻の昇順に並べられた１以上の時刻と特徴値のペア１４０３２２とから構成されている。特徴値とは、対象物の位置（ｘ座標値、ｙ座標値）を表す数値、サイズを表す数値、色を表す数値などである。

クラス分類データ１４０４は、対象物ＩＤとクラスＩＤとを関連付けたデータである。図３は、クラス分類データ１４０４のフォーマット例を示す。この例のクラス分類データ１４０４は、クラスＩＤ１４０４１と対象物ＩＤのリスト１４０４２とのペアを１以上備えている。クラスＩＤ１４０４１は、クラスを一意に識別する名称や数値などである。また対象物ＩＤのリスト１４０４２は、同じペアのクラスＩＤ１４０４１によって特定されるクラスに属する対象物のＩＤのリストである。

演算処理部１５０は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶部１４０からプログラム１４０１を読み込んで実行することにより、上記ハードウェアとプログラム１４０１とを協働させて各種処理部を実現するように構成されている。演算処理部１５０で実現される主な処理部には、データ取得部１５０１、背景モード設定部１５０２、背景時刻設定部１５０３、背景画像生成部１５０４、可視化対象クラス設定部１５０５、可視化対象ＩＤ設定部１５０６、可視化対象時刻設定部１５０７、可視化対象特徴量設定部１５０８、マッピング変更部１５０９、特徴画像生成部１５１０、可視化画像合成部１５１１、関連情報表示対象クラス設定部１５１２、関連情報表示対象ＩＤ設定部１５１３、関連詳細情報合成部１５１４、表示制御部１５１５、およびクラス分類変更部１５１６がある。

データ取得部１５０１は、図示しない外部の画像解析装置などの外部装置から通信Ｉ／Ｆ部１１０を通じて動画像データおよび当該動画像データから生成された時系列特徴データを取得し、動画像データ１４０２および時系列特徴データ１４０３として記憶部１４０に保存するように構成されている。またデータ取得部１５０１は、図示しない外部装置から通信Ｉ／Ｆ部１１０を通じてクラス分類データを取得し、クラス分類データ１４０４として記憶部１４０に保存するように構成されている。

背景モード設定部１５０２、背景時刻設定部１５０３、および背景画像生成部１５０４は、可視化画像の背景画像を設定するためのものである。

背景モード設定部１５０２は、操作入力部１２０および画面表示部１３０を通じたユーザとの対話的処理（以下、単にユーザとの対話的処理と記す）により、可視化画像の背景について、（１）黒画像（黒背景）、（２）指定フレーム固定、（３）指定フレーム再生の３つのモードの何れかを設定するように構成されている。但し、背景モード設定部１５０２は、マッピング変更部１５０９によって可視化画像の（ｘ、ｙ）に対象物の位置情報が割り当てられている場合以外は黒背景（１）を設定する。

背景時刻設定部１５０３は、背景モード（２）が設定された場合、ユーザとの対話的処理により、背景に設定する画像の時刻（またはフレーム番号）を設定するように構成されている。また背景時刻設定部１５０３は、背景モード（３）が設定された場合、ユーザとの対話的処理により、背景として再生する画像の開始／終了時刻（またはフレーム番号）を設定すると共に、現在再生位置を調整可能とする（時刻指定、再生／一時停止など）ように構成されている。

背景画像生成部１５０４は、背景モード設定部１５０２および背景時刻設定部１５０３で設定された背景モード・時刻に応じた画像（黒背景または特定フレーム画像）を背景画像として生成するように構成されている。

可視化対象クラス設定部１５０５、可視化対象ＩＤ設定部１５０６、可視化対象時刻設定部１５０７、可視化対象特徴量設定部１５０８、マッピング変更部１５０９、および特徴画像生成部１５１０は、対象物の特徴の時間的な変化を可視化した特徴画像を設定するためのものである。

可視化対象クラス設定部１５０５は、ユーザとの対話的処理により、時系列特徴を可視化する対象物をクラス単位で１つまたは複数または全部を選択するように構成されている。例えば、可視化対象クラス設定部１５０５は、クラス分類データ１４０４から全てのクラスＩＤを読み出し、各クラスＩＤに対応するチェックボックスを画面表示部１３０に表示し、操作入力部１２０を通じてユーザから各チェックボックスのオン、オフ操作を受け付けるように構成されていてよい。

可視化対象ＩＤ設定部１５０６は、ユーザとの対話的処理により、時系列特徴を可視化する対象物を対象物ＩＤ単位で１つまたは複数または全部を選択するように構成されている。例えば、可視化対象ＩＤ設定部１５０６は、時系列特徴データ１４０３またはクラス分類データ１４０４から全ての対象物ＩＤを読み出し、各対象物ＩＤに対応するチェックボックスを画面表示部１３０に表示し、操作入力部１２０を通じてユーザから各チェックボックスのオン、オフ操作を受け付けるように構成されていてよい。或いは、可視化対象ＩＤ設定部１５０６は、可視化対象クラス設定部１５０５で設定されたクラスに属する対象物ＩＤだけをクラス分類データ１４０４から抽出し、その抽出した各対象物ＩＤに対応するチェックボックスを画面表示部１３０に表示し、操作入力部１２０を通じてユーザから各チェックボックスのオン、オフ操作を受け付けるように構成されていてよい。

可視化対象時刻設定部１５０７は、ユーザとの対話的処理により、可視化する時系列特徴の開始／終了時刻（またはフレーム番号）を設定するように構成されている。あるいは可視化対象時刻設定部１５０７は、ユーザとの対話的処理により、可視化する時系列特徴の開始／終了時刻（またはフレーム番号）をユーザが選択した対象物ＩＤの登場／終了時刻からの時間長（フレーム長）で設定するように構成されている。但し、上記時間長（フレーム長）は、対象物ＩＤの登場／終了時刻に応じて自動で初期値設定されるようにしてもよい。

可視化対象特徴量設定部１５０８は、ユーザとの対話的処理により、時系列特徴データ中の可視化する特徴量の種別を設定するように構成されている。例えば、可視化対象特徴量設定部１５０８は、時系列特徴データ１４０３から全ての特徴量ＩＤを読み出し、各特徴量ＩＤに対応するチェックボックスを画面表示部１３０に表示し、操作入力部１２０を通じてユーザから各チェックボックスのオン、オフ操作を受け付けるように構成されていてよい。

マッピング変更部１５０９は、ユーザとの対話的処理により、可視化画像を表示する座標平面の横軸（ｘ軸）および縦軸（ｙ軸）（３次元座標ならばｚ軸も）に割り当てる変数を設定するように構成されている。ここで、変数には、特徴量種別、経過時間、クラス、対象物などの種類がある。例えば、マッピング変更部１５０９は、横軸（ｘ軸）および縦軸（ｙ軸）に１対１に対応するドロップダウンリストを画面表示部１３０に表示し、操作入力部１２０を通じてユーザから各ドロップダウンリストを通じて変数の一覧から１つの変数を選択する操作を受け付けるように構成されていてよい。

またマッピング変更部１５０９は、ユーザとの対話的処理により、座標平面上に表示される表示要素（軌跡など）の色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）、透過度（ａｌｐｈａ）に割り当てる変数を設定するように構成されている。例えば、マッピング変更部１５０９は、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）、透過度（ａｌｐｈａ）に１対１に対応するドロップダウンリストを画面表示部１３０に表示し、操作入力部１２０を通じてユーザから各ドロップダウンリストを通じて変数の一覧から１つの変数を選択する操作を受け付けるように構成されていてよい。

またマッピング変更部１５０９は、ユーザとの対話的処理により、ｘ軸、ｙ軸、ｚ軸、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）、透過度（ａｌｐｈａ）とそれらに割り当てる変数との対応曲線を設定するように構成されていてもよい。またマッピング変更部１５０９は、ユーザとの対話的処理により、表示要素（軌跡など）の色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）、透過度（ａｌｐｈａ）の表示値範囲を設定するように構成されていてもよい。またマッピング変更部１５０９は、変数が割り当てられていない表示要素の色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）、透過度（ａｌｐｈａ）は固定値とし、その値をユーザとの対話的処理により変更するように構成されていてもよい。

特徴画像生成部１５１０は、可視化対象クラス設定部１５０５、可視化対象ＩＤ設定部１５０６、可視化対象時刻設定部１５０７、可視化対象特徴量設定部１５０８、およびマッピング変更部１５０９によって設定された条件に基づいて、時系列特徴データを可視化した特徴画像を生成するように構成されている。

具体的には、先ず特徴画像生成部１５１０は、可視化対象クラス設定部１５０５、可視化対象ＩＤ設定部１５０６、可視化対象時刻設定部１５０７、および可視化対象特徴量設定部１５０８によって設定されたクラスＩＤ、対象物ＩＤ、特徴量種別、開始／終了時刻を満足する時系列特徴データを時系列特徴データ１４０３の中から抽出する。例えば、可視化対象クラス設定部１５０５においてクラスＩＤ＝Ｃ１が選択され、可視化対象ＩＤ設定部１５０６においてＣ１クラスに属する対象物ＩＤ＝Ｏ１、Ｏ２が選択され、可視化対象特徴量設定部１５０８において特徴量ＩＤ＝Ｆ１、Ｆ２、が選択され、可視化対象時刻設定部１５０７において開始時刻＝Ｔｓ、終了時刻＝Ｔｅが選択されているとする。その場合、特徴画像生成部１５１０は、例えば、対象物ＩＤ＝Ｏ１ｏｒＯ２、特徴量ＩＤ＝Ｆ１ｏｒＦ２、Ｔｓ≦時刻≦Ｔｅの組み合わせをキーワードにして時系列特徴データ１４０３を検索することにより、対象物ＩＤ＝Ｏ１ｏｒＯ２を有する時系列特徴データ１４０３から特徴量ＩＤ＝Ｆ１ｏｒＦ２を有する時系列データ１４０３２を抽出し、その抽出した時系列データ１４０３２からＴｓ≦時刻≦Ｔｅを満たす時刻を含む時刻と特徴値のペア１４０３２２を取得する。

次に特徴画像生成部１５１０は、上記抽出した時系列特徴データとマッピング変更部１５０９によって座標平面のｘ軸（横軸）およびｙ軸（縦軸）並びに表示要素に割り当てられた変数とに基づいて座標平面上に表示させる表示データを生成する。例えば、マッピング変更部１５０９において、横軸（ｘ軸）に特徴量ＩＤ＝Ｆ１、縦軸（ｙ軸）に特徴量ＩＤ＝Ｆ２、色相（Ｈ）に経過時間、彩度（Ｓ）・明度（Ｖ）・透過度（ａｌｐｈａ）に固定値がそれぞれ割り当てられているとする。その場合、特徴画像生成部１５１０は、横軸（ｘ軸）に割り当てられた特徴量ＩＤ＝Ｆ１に係る時系列データと縦軸（ｙ軸）に割り当てられた特徴量ＩＤ＝Ｆ２に係る時系列データとの関係を示す表示要素を座標平面上に表示させる表示データを生成する。また、特徴画像生成部１５１０は、色相（Ｈ）に割り当てられた変数である経過時間に基づいて、表示要素の色相（Ｈ）を時系列データ中の時刻の経過に応じて制御する。これによって、例えば、特徴量ＩＤ＝Ｆ１が対象物のｘ座標値、特徴量ＩＤ＝Ｆ２が対象物のｙ座標値の場合、対象物の位置の時間的な変化を表す移動軌跡を座標平面上に表示させる表示データが生成されることになる。

可視化画像合成部１５１１は、背景画像生成部１５０４によって生成された背景画像に特徴画像生成部１５１０によって生成された特徴画像を重畳した画像を可視化画像として生成するように構成されている。

関連情報表示対象クラス設定部１５１２、関連情報表示対象ＩＤ設定部１５１３、および関連詳細情報合成部１５１４は、クラスまたは対象物に関連して表示される情報（関連情報）を設定するためのものである。関連情報は、例えば、対象物体の基本情報（対象物ＩＤ、クラスＩＤ、登場／消失フレームなど）である。或いは関連情報は、特徴が類似する対象物の基本情報＆可視化画像ＩＤ・クラスおよび可視化画像、指定クラスの特徴量統計情報（平均値の可視化画像、ヒストグラムなど）であってよい。

関連情報表示対象クラス設定部１５１２は、ユーザとの対話的処理により、関連情報を表示する対象物のクラスＩＤを設定するように構成されている。関連情報表示対象ＩＤ設定部１５１３は、ユーザとの対話的処理により、関連情報を表示する対象物の対象物ＩＤを設定するように構成されている。例えば、関連情報表示対象クラス設定部１５１２および関連情報表示対象ＩＤ設定部１５１３は、可視化画像内の対象物の表示要素（軌跡など）がユーザによってクリックされると、当該対象物が属するクラスＩＤ、対象物ＩＤが指定されたものとみなすように構成されていてよい。

関連詳細情報合成部１５１４は、関連情報表示対象クラス設定部１５１２および関連情報表示対象ＩＤ設定部１５１３によって設定されたクラスＩＤおよび対象物ＩＤを満足するクラスおよび対象物の関連情報を時系列特徴データ１４０３およびクラス分類データ１４０４から抽出するように構成されている。また関連詳細情報合成部１５１４は、上記抽出した関連情報を可視化画像とは別領域あるいは別ウインドウに表示する関連情報画像を生成するように構成されている。

表示制御部１５１５は、可視化画像合成部１５１１で生成された可視化画像を画面表示部１３０に表示するように構成されている。また表示制御部１５１５は、関連詳細情報合成部１５１４で生成された関連情報画像を画面表示部１３０に表示するように構成されている。

クラス分類変更部１５１６は、ユーザとの対話的処理により、クラス分類データ１４０４を修正するように構成されている。例えばクラス分類変更部１５１６は、ユーザとの対話的処理により、図３に示すクラス分類データ１４０４の或るクラスＩＤ１４０４１の対象物ＩＤのリスト１４０４２に記憶されていた或る対象物ＩＤを、別のクラスＩＤ１４０４１の対象物ＩＤのリスト１４０４２に移動させることで、当該対象物が属するクラスを修正するように構成されている。

次に、可視化画像表示装置１００の動作を説明する。図４は可視化画像表示装置１００の動作の一例を示すフローチャートである。

図４を参照すると、先ずデータ取得部１５０１は、図示しない外部装置から通信Ｉ／Ｆ部１１０を通じて動画像データ１４０２、時系列特徴データ１４０３、およびクラス分類データ１４０４を取得して記憶部１４０に保存する（ステップＳ１）。

次に、背景モード設定部１５０２、背景時刻設定部１５０３、および背景画像生成部１５０４は、ユーザとの対話的処理により可視化画像の背景画像を生成する（ステップＳ２）。

次に、可視化対象クラス設定部１５０５、可視化対象ＩＤ設定部１５０６、可視化対象時刻設定部１５０７、可視化対象特徴量設定部１５０８、マッピング変更部１５０９、および特徴画像生成部１５１０は、ユーザとの対話的処理により対象物の特徴の時間的な変化を可視化した特徴画像を生成する（ステップＳ３）。

次に、可視化画像合成部１５１１は、背景画像生成部１５０４によって生成された背景画像に特徴画像生成部１５１０によって生成された特徴画像を重畳した画像を可視化画像として生成する（ステップＳ４）。

次に、関連情報表示対象クラス設定部１５１２、関連情報表示対象ＩＤ設定部１５１３、および関連詳細情報合成部１５１４は、ユーザとの対話的処理により対象物に関連して表示される情報（関連情報）を可視化画像とは別領域あるいは別ウインドウに表示する関連情報画像を生成する（ステップＳ５）。

次に、表示制御部１５１５は、可視化画像合成部１５１１で生成された可視化画像および関連詳細情報合成部１５１４で生成された関連情報画像を画面表示部１３０に表示する（ステップＳ６）。

次に、クラス分類変更部１５１６は、ユーザとの対話的処理により、クラス分類データ１４０４を修正する（ステップＳ７）。そして、ステップＳ１の処理に戻り、前述した処理と同様の処理を繰り返す。

次に本発明の実施例について説明する。

動画像データ１４０２として、容器中の透明または半透明な液体を撹拌させ、液体中に存在する不特定多数の微小物体の動きをカメラで撮影した映像を使用した。また映像中の対象物として、液体中に混入した異物（ホコリなど）、泡、および、容器表面の微小な傷の３種類を対象とした。また容器を静止させた状態で撮影した動画像データと容器を回転させた状態で撮影した動画像データとの２種類を用意した。

時系列特徴データ１４０３として、動画像データ中に存在する個々の対象物（異物、泡、傷）の位置の時系列データを使用した。対象物の位置は、画像上に設定したＸＹ座標軸におけるｘ座標値、ｙ座標値で表現した。

クラス分類データ１４０４として、動画像データ１４０２の各フレーム画像に出現する個々の対象物を人手作業によって異物クラス、泡クラス、傷クラスの何れかに分属したデータを使用した。

図５は、画面表示部１３０に表示された可視化画像の例を示す模式図である。この例の可視化画像は、背景画像として、動画像データ１４０２の或る期間のフレーム画像が使用されている。また特徴画像として、傷クラスに属する対象物の位置の時間的な変化を表す軌跡が使用されている。また、軌跡の色に対象物ＩＤを割り当てることにより、色で対象物ＩＤを区別している。図５では、説明の便宜上、色の区別は軌跡の種類で表現している。使用した動画像データおよび時系列特徴データは、容器を回転させた状態で撮影した動画像データおよびそれから生成した時系列特徴データである。図中のハッチングを施した箇所は液面部分に相当する。図５に表示されている対象物の殆どは、容器の回転中心を中心とする円弧形状になっており、容器の回転に同期して動いていることが見て取れる。しかし、図５中の矢印が指し示す或る対象物の軌跡は、他の対象物の軌跡と明らかに異なっており、容器の回転に非同期である。当該対象物が容器の傷であれば、容器の回転に同期して動くはずであるが、当該対象物はそのようには動いていない。このことから、当該対象物は容器の傷でなく異物或いは泡であることが考えられる。即ち、当該対象物に対して間違って傷ラベルが付与されていることと考えられる。この場合、ユーザは、クラス分類変更部１５１６を使用して対象物Ｘのラベルを修正することができる。

図６は、画面表示部１３０に表示された可視化画像の他の例を示す。この例の可視化画像は、背景画像として、動画像データ１４０２の或る特定のフレーム画像が使用されている。また特徴画像として、異物クラスに属する或る特定の対象物の位置の時間的な変化を表す軌跡が使用されている。また、軌跡の色相に時間経過を割り当てることにより、色相で時間を表現している。図６では、説明の便宜上、色相の区別は軌跡の線種で表現している。使用した動画像データおよび時系列特徴データは、容器を静止させた状態で撮影した動画像データおよびそれから生成した時系列特徴データである。図６に表示された可視化画像によって、特定の或る異物が時間的にどのような動きをするのかを個々に確認することができる。

図７は、画面表示部１３０に表示された可視化画像の別の例を示す。この例の可視化画像は、背景画像として黒背景（図では説明の便宜上、白背景としている）が使用されている。また特徴画像として、全対象物の位置の時間的な変化を表す軌跡が使用されている。また、軌跡の色相にクラスを割り当てることにより、色相でクラスを表現している。図７では、説明の便宜上、色相の区別は軌跡の線種で表現している。図７に表示された可視化画像によって、対象物の時間的な位置の変化をクラス間で比較することができる。

図５乃至図７は対象物の位置の時間的な変化を表す軌跡を可視化した画像であるが、軌跡情報に限らず、他の特徴量の可視化も勿論可能である。例えば、ｘ軸に時刻を、ｙ軸に特徴量Ａを割り当てれば、特徴量Ａの時系列グラフを可視化画像として表示することができる。また、ｘ軸に特徴量Ａを、ｙ軸に特徴量Ｂを割り当てれば、特徴量Ａと特徴量Ｂとの相関図を可視化画像として表示することができる。

このように本実施形態によれば、映像中の対象物の特徴の時間的な変化を対象物のクラス毎に視覚的に確認することができる。その理由は、映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ１４０３、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データ１４０４とを取得するデータ取得部１５０１と、可視化対象とするクラスＩＤを設定する可視化対象クラス設定部１５０５と、上記設定されたクラスＩＤに関連付けられた対象物ＩＤをクラス分類データ１４０４から取得し、この取得した対象物ＩＤに関連付けられた時系列データを時系列特徴データ１４０３から取得し、この取得した時系列データに基づいて、上記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を作成する特徴画像生成部１５１０と、を備えているためである。

また本実施形態によれば、可視化対象ＩＤ設定部１５０６を備えているため、映像中の対象物の特徴の時間的な変化を対象物毎に視覚的に確認することができる。

また本実施形態によれば、可視化対象時刻設定部１５０７を備えているため、映像中の対象物の特徴の時間的な変化を所望の期間に限定して視覚的に確認することができる。

また本実施形態によれば、可視化対象特徴量設定部１５０８を備えているため、映像中の対象物の特徴の時間的な変化を特徴の種別毎に視覚的に確認することができる。

また本実施形態によれば、マッピング変更部１５０９を備えているため、映像中の対象物の特徴の時間的な変化の見え方が特定のものに限定されず、様々に変えることができる。

また本実施形態によれば、背景モード設定部１５０２および背景時刻設定部１５０３を備えているため、可視化画像の背景画像を動画像データのフレーム画像および黒背景から自由に設定することができる。

また本実施形態によれば、関連情報を可視化画像とは別領域あるいは別ウインドウに表示する関連情報画像を生成する関連詳細情報合成部１５１４を備えているため、特徴の時間的な変化を可視化するクラスあるいは対象物の関連情報をユーザに分かりやすく表示することができる。

また本実施形態によれば、クラス分類変更部１５１６を備えているため、可視化画像によって対象物へのラベル付けが間違っていることが判明した場合、その場でクラス分類データ１４０４を修正することができる。

［第２の実施の形態］
次に、本発明の第２の実施形態について説明する。図８は、本実施形態に係る可視化画像表示装置２００のブロック図である。

図８を参照すると、可視化画像表示装置２００は、取得手段２０１と選択手段２０２と表示制御手段２０３とを備えている。

取得手段２０１は、映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得するように構成されている。取得手段２０１は、例えば図１のデータ取得部１５０１と同様に構成することができるが、それに限定されない。

選択手段２０２は、可視化対象とするクラスＩＤを選択するように構成されている。選択手段２０２は、例えば図１の可視化対象クラス設定部１５０５と同様に構成することができるが、それに限定されない。

表示制御手段２０３は、選択手段２０２によって選択されたクラスＩＤに関連付けられた対象物ＩＤを、取得手段２０１によって取得されたクラス分類データから取得するように構成されている。また表示制御手段２０３は、上記取得した対象物ＩＤに関連付けられた時系列データを、取得手段２０１によって取得された時系列特徴データから取得するように構成されている。また表示制御手段２０３は、上記取得した時系列データに基づいて、上記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示するように構成されている。表示制御手段２０３は、例えば図１の特徴画像生成部１５１０および表示制御部１５１５と同様に構成することができるが、それに限定されない。

このように構成された可視化画像表示装置２００は、以下のように動作する。即ち、先ず取得手段２０１は、映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得する。次に選択手段２０２は、可視化対象とするクラスＩＤを選択する。次に表示制御手段２０３は、上記選択されたクラスＩＤに関連付けられた対象物ＩＤをクラス分類データから取得し、この取得した対象物ＩＤに関連付けられた時系列データを時系列特徴データから取得し、この取得した時系列データに基づいて、上記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示する。

このように本実施形態によれば、映像中の対象物の特徴の時間的な変化を対象物のクラス毎に視覚的に確認することができる。その理由は、映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得する取得手段２０１と、可視化対象とするクラスＩＤを選択する選択手段２０２と、上記選択されたクラスＩＤに関連付けられた対象物ＩＤをクラス分類データから取得し、この取得した対象物ＩＤに関連付けられた時系列データを時系列特徴データから取得し、この取得した時系列データに基づいて、上記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示する表示制御手段２０３と、を備えているためである。

以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。例えば、対象物の軌跡画像を表示する場合、各フレーム画像における当該対象物の周辺領域だけダイナミックレンジを拡張することで、対象物を強調表示するようにしてもよい。

本発明は、カメラ動画像を用いた物体追跡・解析技術の開発における検討補助ツール（どの特徴量が有用か、アルゴリズムの方向性は妥当かなどを検討するツール）に利用できる。特に本発明によると、１枚の画像あるいは動画像に適切な情報を重畳して可視化することで、対象物の時系列的な特徴を人に分かりやすい形で提示することができる。その結果、クラス毎・対象物毎の挙動の確認・比較や、クラス毎・対象物毎に固有の時系列特徴の発見が容易になる。

また本発明は、カメラ動画像を用いた解析システム（検査機、監視装置など）の出力結果の確認・検証のための可視化ツールに利用できる。また本発明は、解析用データの正解付け作業における、対象物の目視確認の補助に利用できる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得する取得手段と、
可視化対象とするクラスＩＤを選択する選択手段と、
前記選択されたクラスＩＤに関連付けられた対象物ＩＤを前記クラス分類データから取得し、該取得した対象物ＩＤに関連付けられた時系列データを前記時系列特徴データから取得し、該取得した時系列データに基づいて、前記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示する表示制御手段と、
を備える可視化画像表示装置。
［付記２］
前記クラス分類データを修正するクラス分類変更手段を、さらに備える、
付記１に記載の可視化画像表示装置。
［付記３］
前記映像の特定フレーム画像または黒画像を背景画像として生成する背景画像生成手段を、さらに備え、
前記表示制御手段は、前記背景画像に前記特徴画像を重畳した可視化画像を前記表示部に表示するように構成されている、
付記１または２に記載の可視化画像表示装置。
［付記４］
前記クラスＩＤに係るクラスに関連する情報または前記対象物ＩＤに係る対象物に関連する情報を表す関連情報画像を生成する関連詳細情報合成手段を、さらに備え、
前記表示制御手段は、前記特徴画像とは別の表示領域に前記関連情報画像を表示するように構成されている、
付記１乃至３の何れかに記載の可視化画像表示装置。
［付記５］
可視化画像を表示する座標平面の横軸および縦軸ならびに前記座標平面上に表示される表示要素（軌跡など）の色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）、透過度（ａｌｐｈａ）に割り当てる変数を、特徴量種別、経過時間、クラス、対象物の中から選択するマッピング変更手段を、更に備える、
付記１乃至４の何れかに記載の可視化画像表示装置。
［付記６］
映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得し、
可視化対象とするクラスＩＤを選択し、
前記選択されたクラスＩＤに関連付けられた対象物ＩＤを前記クラス分類データから取得し、該取得した対象物ＩＤに関連付けられた時系列データを前記時系列特徴データから取得し、該取得した時系列データに基づいて、前記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示する、
可視化画像表示方法。
［付記７］
さらに、前記クラス分類データを修正する、
付記６に記載の可視化画像表示方法。
［付記８］
さらに、前記映像の特定フレーム画像または黒画像を背景画像として生成し、
前記表示では、前記背景画像に前記特徴画像を重畳した可視化画像を前記表示部に表示する、
付記６または７に記載の可視化画像表示方法。
［付記９］
さらに、前記クラスＩＤに係るクラスに関連する情報または前記対象物ＩＤに係る対象物に関連する情報を表す関連情報画像を生成し、
前記表示では、前記特徴画像とは別の表示領域に前記関連情報画像を表示する、
付記６乃至８の何れかに記載の可視化画像表示方法。
［付記１０］
コンピュータに、
映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得する処理と、
可視化対象とするクラスＩＤを選択する処理と、
前記選択されたクラスＩＤに関連付けられた対象物ＩＤを前記クラス分類データから取得し、該取得した対象物ＩＤに関連付けられた時系列データを前記時系列特徴データから取得し、該取得した時系列データに基づいて、前記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示する処理と、
を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

１００…可視化画像表示装置
１１０…通信Ｉ／Ｆ部
１２０…操作入力部
１３０…画面表示部
１４０…記憶部
１５０…演算処理部
２００…可視化画像表示装置
２０１…取得手段
２０２…選択手段
２０３…表示制御手段
１４０１…プログラム
１４０２…動画像データ
１４０３…時系列特徴データ
１４０４…クラス分類データ
１５０１…データ取得部
１５０２…背景モード設定部
１５０３…背景時刻設定部
１５０４…背景画像生成部
１５０５…可視化対象クラス設定部
１５０６…可視化対象ＩＤ設定部
１５０７…可視化対象時刻設定部
１５０８…可視化対象特徴量設定部
１５０９…マッピング変更部
１５１０…特徴画像生成部
１５１１…可視化画像合成部
１５１２…関連情報表示対象クラス設定部
１５１３…関連情報表示対象ＩＤ設定部
１５１４…関連詳細情報合成部
１５１５…表示制御部
１５１６…クラス分類変更部

Claims (10)

1. 映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得する取得手段と、
   可視化対象とするクラスＩＤを選択する選択手段と、
   前記選択されたクラスＩＤに関連付けられた対象物ＩＤを前記クラス分類データから取得し、該取得した対象物ＩＤに関連付けられた時系列データを前記時系列特徴データから取得し、該取得した時系列データに基づいて、前記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示する表示制御手段と、
   を備える可視化画像表示装置。
2. 前記クラス分類データを修正するクラス分類変更手段を、さらに備える、
   請求項１に記載の可視化画像表示装置。
3. 前記映像の特定フレーム画像または黒画像を背景画像として生成する背景画像生成手段を、さらに備え、
   前記表示制御手段は、前記背景画像に前記特徴画像を重畳した可視化画像を前記表示部に表示するように構成されている、
   請求項１または２に記載の可視化画像表示装置。
4. 前記クラスＩＤに係るクラスに関連する情報または前記対象物ＩＤに係る対象物に関連する情報を表す関連情報画像を生成する関連詳細情報合成手段を、さらに備え、
   前記表示制御手段は、前記特徴画像とは別の表示領域に前記関連情報画像を表示するように構成されている、
   請求項１乃至３の何れかに記載の可視化画像表示装置。
5. 可視化画像を表示する座標平面の横軸および縦軸ならびに前記座標平面上に表示される表示要素（軌跡など）の色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）、透過度（ａｌｐｈａ）に割り当てる変数を、特徴量種別、経過時間、クラス、対象物の中から選択するマッピング変更手段を、更に備える、
   請求項１乃至４の何れかに記載の可視化画像表示装置。
6. 映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得し、
   可視化対象とするクラスＩＤを選択し、
   前記選択されたクラスＩＤに関連付けられた対象物ＩＤを前記クラス分類データから取得し、該取得した対象物ＩＤに関連付けられた時系列データを前記時系列特徴データから取得し、該取得した時系列データに基づいて、前記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示する、
   可視化画像表示方法。
7. さらに、前記クラス分類データを修正する、
   請求項６に記載の可視化画像表示方法。
8. さらに、前記映像の特定フレーム画像または黒画像を背景画像として生成し、
   前記表示では、前記背景画像に前記特徴画像を重畳した可視化画像を前記表示部に表示する、
   請求項６または７に記載の可視化画像表示方法。
9. さらに、前記クラスＩＤに係るクラスに関連する情報または前記対象物ＩＤに係る対象物に関連する情報を表す関連情報画像を生成し、
   前記表示では、前記特徴画像とは別の表示領域に前記関連情報画像を表示する、
   請求項６乃至８の何れかに記載の可視化画像表示方法。
10. コンピュータに、
    映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得する処理と、
    可視化対象とするクラスＩＤを選択する処理と、
    前記選択されたクラスＩＤに関連付けられた対象物ＩＤを前記クラス分類データから取得し、該取得した対象物ＩＤに関連付けられた時系列データを前記時系列特徴データから取得し、該取得した時系列データに基づいて、前記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示する処理と、
    を行わせるためのプログラム。

Images