JP4836878B2 - 画像識別表示装置及び画像識別表示方法 - Google Patents

Description

この発明は、監視画像等において対象物の識別を支援する画像識別表示装置及び画像識別表示方法に関する。

従来、テレビカメラを通じた監視においては、そのテレビカメラの映像をモニタ等の表示装置にて表示し、監視員がその表示を直接目視で確認していた。さらに、最近では監視領域内の移動体を自動検出および識別する方法が盛んに提案されており、同時にその検出結果に関する情報を監視員に表示する方法も示されている。一般的に利用されている表示方法は、幾何学図形、文字または数字を付与表示する方法であり、監視員の判断を補助するために利用されている。

例えば、監視員の判断を補助するための表示方法として、映像中に矩形や円形等の幾何学図形でマーキングを行う方法が一般的に用いられている（特許文献１を参照。）。この特許文献１に開示される表示方法においては、自動検出の結果にしたがって画像内の対象領域にマーキングされる。そのため、検出に誤りがあった場合には、監視員の判断を迷わせることになる。逆に検出したい物体が検出されなかった場合は、情報不足となり、監視員の見落としの原因になる。この表示方法は、対象物が存在しているか存在していないかの二択的な表示方法になってしまうため、監視員の判断に直接影響を及ぼしてしまうという危険性がある。さらに、小さい目標や遠方の目標を監視する場合や、赤外線画像を用いた監視においては、自動検出および識別の信頼性は低下してしまう。そのため、自動検出および識別の結果をそのまま監視員に表示してしまうと、監視員が判断ミスを引き起こすおそれがある。

また、運転している自動車の周辺にある障害物を検出し、その位置を表示する車両周辺表示装置が提案されている（特許文献２を参照。）。上記特許文献１に記載の表示方法に対して、この車両周辺表示方法では、検出の際の確信度に応じて、検出された障害物の表示を変化させている。例えば、対象物であるという確信度が大きければマーカーを大きく、確信度が小さければマーカーを小さくという具合に表示に強弱をつけている。しかし、そのマーカーは道路を模した座標上で表示され、実映像ではないため、同様の表示を監視員に与えると、それが何であるかの識別を行うことができないという問題がある。
特開２００６−８１０５３公報 特開２００６−２１６４１公報

上述したように、近年、監視技術開発の分野においては対象物の自動検出および識別が盛んに行われている。しかし、未だ完全な手法は存在しておらず、最終的には監視員が判断する場合が多々ある。そのため、最終的に監視員が判断を下すために十分な支援情報が表示される表示装置が必要とされている。

この発明は上記事情に着目してなされたもので、その目的とするところは、監視画像等から目的とする対象物を簡単かつ正確に識別できるように支援する画像識別表示装置及び画像識別表示方法を提供することにある。

上記目的を達成するためにこの発明に係る画像識別表示装置は、画像の入力を受け付ける入力手段と、識別対象を表す情報の指定を受け付ける指定手段と、前記入力された画像の領域内で当該画像と前記指定された識別対象を表す情報とを比較して類似度を示す類似度分布を求める算出手段と、前記求められた類似度分布を表した類似度分布画像を作成する作成手段と、前記入力された画像と前記作成された類似度分布画像とを合成して表示する表示手段とを具備することを特徴とする。

また、この発明に係る画像識別表示方法は、画像の領域内において対象物の識別を支援する画像識別表示装置に用いられる画像識別表示方法であって、前記画像の入力を受け付け、前記対象物を表す識別対象情報の指定を受け付け、前記入力された画像の領域内で当該画像と前記指定された識別対象情報とを比較して類似度を示す類似度分布を求め、前記求められた類似度分布を表した類似度分布画像を作成し、前記入力された画像と前記作成された類似度分布画像とを合成して表示することを特徴とする。

上記構成による画像識別表示装置及び画像識別表示方法では、監視領域等が撮像された画像の入力を受け付け、この入力画像と指定された識別対象情報とを比較して類似度を示す類似度分布を求める。そして、この求められた類似度分布を輝度や色度等により表した類似度分布画像を作成して、入力画像と上記作成された類似度分布画像とを合成して表示装置に表示するようにしている。このようにすることで、識別すべき対象が監視画像内のどの位置に現れているかを画像上の輝度や色度等の変化によって簡単に認識することが可能となる。

したがってこの発明によれば、監視画像等から目的とする対象物を簡単かつ正確に識別できるように支援する画像識別表示装置及び画像識別表示方法を提供することができる。

以下、図面を参照しながら本発明の実施の形態を詳細に説明する。
（第１の実施形態）
図１は、この発明に係る画像識別表示装置の第１の実施形態を示す機能ブロック図である。
この画像識別表示装置は、カメラ１００と、画像入力部１０１と、類度分布算出部１０２と、識別対象指定部１０３と、識別対象情報データベース１０４と、画像合成部１０５と、類似度分布画像化部１０６と、表示装置１０７とを備える。

カメラ１００は、監視領域を撮像して映像信号２００を生成する。画像入力部１０１は、カメラ１００から入力される映像信号２００をデジタル画像データとして取り込む。識別対象情報データベース１０４には、一つまたは複数の識別すべき対象の情報（画像や特徴量など）が予め蓄積されている。識別対象指定部１０３は、識別対象情報データベース１０４から識別対象を指定する機能を有する。

類似度分布算出部１０２は、画像入力部１０１から入力される入力画像２０１の領域内において入力画像２０１と識別対象指定部１０３により指定された識別対象とが類似している度合いを示す類似度分布２０３を算出する。類似度分布画像化部１０６は、類似度分布算出部１０２で算出された類似度分布２０３を輝度の高低で表した類似度分布画像２０４に変換する。画像合成部１０５は、入力画像２０１と類似度分布画像２０４とを合成して、入力画像２０１に明暗変化が加えられた識別支援画像２０５を生成する。表示装置１０７は、液晶ディスプレイ等であり、画像合成部１０６で生成された識別支援画像２０５が表示される。

次に、このように構成された画像識別表示装置の動作について説明する。カメラ１００により監視領域が撮影され、その映像信号２００が画像入力部１０１に入力される。画像入力部１０１において、監視領域の像はデジタル画像データに変換され、それを入力画像２０１とする。また、識別対象情報データベース１０４には、事前に識別したい一つまたは複数の対象の画像、またはその画像から得られる特徴量が蓄積されている。この識別対象情報データベース１０４から、識別対象指定部１０３により識別対象を指定することができる。類似度分布算出部１０２は、指定された識別対象が入力画像２０１内においてどの位置に存在しているかを示す類似度分布２０３を求める。求められた類似度分布２０３は、類似度分布画像化部１０６に入力され、類似度分布画像２０４として画像化される。類似度分布画像２０４は、画像合成部１０５にて入力画像２０１と合成され、識別支援画像２０５となる。識別支援画像２０５は表示装置１０７を通して、監視員に表示される。

ここで、図２を用いて、類似度分布算出部１０２の動作について説明する。類似度分布算出部１０２は、入力画像２０１と識別対象指定部１０３において指定された識別対象情報２０２とが入力されると類似度分布算出処理を行う。

図２は、類似度分布２０３を算出する方法を説明する図である。図２では、識別対象情報２０２が画像情報である場合を示している。類似度分布算出部１０２は、識別対象画像２０２ａを入力画像２０１の左上端から右下端にかけて１画素ずつずらしながら重ね合わせていく。その際、例えば一般的に利用されている正規化相関を利用すると、逐次、相関値を計算することができる。入力画像２０１の各画素でこの相関値が計算され、相関値のマップが形成される。この相関値のマップを類似度分布２０３として用いる。また、この類似度分布２０３を算出する際には、画像同士の相関値ではなく、画像から得られる特徴量同士の比較でもよい。

次に、類似度分布画像化部１０６の動作について説明する。類似度分布画像化部１０６は類似度分布２０３が入力されて動作する。ここでは、類似度分布２０３を２５６階調グレイスケールの類似度分布画像２０４を出力する場合を考える。この場合、類似度分布２０３中の最大値を輝度の最大レベル２５５に、最小値を輝度の最小レベル０に設定し、類似度分布２０３の類似度を２５６階調の整数値で表現することで類似度分布画像２０４を作成することができる。また、この画像化については、グレイスケールに限定されるものではなく、色度等の変化に置き換えてもよい。さらに、入力画像２０１の輝度又は色度の分布に応じて、類似度分布として用いる輝度又は色度を調整するようにしてもよい。

次に、図３を用いて、画像合成部１０５の動作について説明する。画像合成部１０５は、入力画像２０１と類似度分布画像２０４とが入力されて動作する。図３は、入力画像２０１と類似度分布画像２０４とを合成する処理を示す図である。入力画像２０１に上記作成された類似度分布画像２０４をオーバーレイすることにより、入力画像２０１に類似度分布２０３に従った明暗が加わり、識別支援画像２０５を得ることができる。

以上述べたように、上記第１の実施形態では、画像入力部１０１は、カメラ１００により監視領域が撮像された画像の入力を受け付ける。識別対象情報データベース１０４には識別すべき対象の情報が蓄積され、識別対象指定部１０３は、この識別対象情報データベース１０４から識別対象情報を指定する。類似度分布算出部１０２は、画像入力部１０１から入力された入力画像２０１の領域内で当該画像と識別対象指定部１０３により指定された識別対象情報とを比較走査して類似度を示す類似度分布２０３を求める。類似度分布画像化部１０６は、上記求められた類似度分布を輝度又は色度等で表した類似度分布画像を作成する。画像合成部１０５は、入力画像２０１と上記作成された類似度分布画像２０４とを合成して表示装置１０７に表示する。

したがって第１の実施形態によれば、識別すべき対象が監視画像内のどの位置に現れているかを画像の輝度または色度等の変化によって認識することができる。これにより、監視員が監視対象の識別を行う際、目的とする対象物を簡単かつ正確に識別できるように支援する画像識別表示装置を提供することが可能となる。

（第２の実施形態）
図４は、この発明に係る画像識別表示装置の第２の実施形態を示す機能ブロック図である。なお、図４において、上記図１と同一部分には同一符号を付し、詳しい説明を省略する。
第２の実施形態の画像識別表示装置は、第１の実施形態で述べた構成に、興味領域指定部１０８が加えられる。この興味領域指定部１０８は、画像入力部１０１と類似度分布算出部１０２の間に配置される。興味領域指定部１０８は、入力画像２０１の領域内で監視対象とする領域を指定する機能を有する。

図５を用いて、このように構成された画像識別表示装置の動作について説明する。興味領域指定部１０８は入力画像２０１が入力されて動作し、入力画像２０１の領域内に興味領域２０６を指定することができる。興味領域２０６の情報が類似度分布算出部１０２に入力されると、興味領域２０６内の類似度分布２０３が算出される。図５では、興味領域２０６内の類似度分布２０３を算出する方法を示している。

このように第２の実施形態によれば、定点監視において、監視画像内で監視する部分が決まっている場合は、興味領域を設けることにより、類似度分布を算出する際の計算量を抑制することができる。また、監視員に対しても最初から注意深く見るべき監視画像内の位置を示すことができる。

（第３の実施形態）
図６は、この発明に係る画像識別表示装置の第２の実施形態を示す機能ブロック図である。なお、図６において、上記図１と同一部分には同一符号を付し、詳しい説明を省略する。
第３の実施形態の画像識別表示装置は、第１の実施形態で述べた構成に、移動領域検出部１０９が加えられる。この移動領域検出部１０９は、画像入力部１０１と類似度分布算出部１０２の間に配置される。移動領域検出部１０９は、入力画像２０１の領域内で動きがあった領域を移動領域として検出する機能を有する。

図７を用いて、このように構成された画像識別表示装置の動作について説明する。移動領域検出部１０９は、入力画像２０１が入力されて動作し、入力画像２０１内の移動領域２０７を検出する。検出方法としては、例えば、図７にあるように事前に蓄えておいた背景画像２０１ｂと入力画像２０１との間の差分を求める画像差分処理３０１を行うことで、差分画像３０２を得ることができる。差分画像３０２では、入力画像２０１と背景画像２０１ｂの間で輝度値又は色度値の差が大きい部分が検出され、その部分を移動領域２０７として設定することができる。そして、類似度分布算出部１０２により移動領域２０７内の類似度分布２０３を算出する。

このように第３の実施形態によれば、移動体の識別を行う場合は、移動領域を監視員に明示することができる。また第２の実施形態と同様に、移動領域に限定して類似度分布を算出することで計算量を抑制することができる。

（第４の実施形態）
図８は、この発明の第４の実施形態における画像識別表示装置の構成の一部を示す図である。第４の実施形態では、第１の実施形態で述べた図１に示した構成において、カメラ１００に代わり、映像再生装置１１０を配置する。

第４の実施形態における画像識別表示装置の動作について説明する。映像再生装置１１０は、事前に撮影され保存されている映像ファイルを再生し、映像信号２００ａを出力する。この映像信号２００ａは、画像入力部１０１に入力され、入力画像２０１が生成される。以下、第１の実施形態の動作に従う。

この第４の実施形態によれば、本発明の画像識別表示装置は、事前に撮影されて保存されている映像に対しても適用することができ、監視映像の事後確認の際にも利用することができる。

（第５の実施形態）
図９は、本発明の第５の実施形態における画像識別表示装置の構成の一部を示している。第５の実施形態では、上記第１の実施形態で述べた図１に示した構成に、カメラ１００を移動させることができるカメラ移動部１１１がカメラ１００に取り付けられる。さらに、このカメラ移動部１１１にカメラの移動位置を指定することができる移動位置指示部１１２が取り付けられる。

次に、第５の実施形態における画像識別表示装置の動作について説明する。移動位置指示部１１２は、制御信号２０８を通じて、カメラ１００の移動先をカメラ移動部１１１に指定することができる。カメラ移動部１１１は制御信号２０８に従い、カメラ１００を移動させる。

このように第５の実施形態によれば、定点監視の領域を超え、カメラを移動させることによってさらに広範囲の領域を監視することが可能となる。

（第６の実施形態）
図１０は、本発明の第６の実施形態における画像識別表示装置の構成の一部を示している。この第６の実施形態は、上記第５の実施形態で示した構成に、前景領域分離部１１３が加えられる。この前景領域分離部１１３は、画像入力部１０１と類似度分布算出部１０６の間に配置される。前景領域分離部１１３は、入力画像２０１から前景部となる領域を分離する機能を有する。

第６の実施形態における画像識別表示装置の動作について説明する。前景領域分離部１１３は、入力画像２０１が入力されて動作し、入力画像２０１内の前景領域２０９を検出し、背景部領域と分離する。入力画像２０１内の前景領域２０９と背景領域はオプティカルフローを利用することで分離することが可能である。前景領域２０９には、カメラ１００の移動に伴う背景の動きに反する動きを行っている領域であり、移動物体が存在している可能性を示している。

この第６の実施形態によれば、移動カメラの映像であっても、移動物体の存在している領域を監視員に示すことができ、前景領域に限定して類似度分布を算出することで計算量を抑制することができる。

（第７の実施形態）
図１１は、この発明に係る画像識別表示装置の第７の実施形態を示す機能ブロック図である。なお、図７において、上記図１と同一部分には同一符号を付し、詳しい説明を省略する。
第７の実施形態の画像識別表示装置は、第１の実施形態で述べた構成に、類似度算出方法選択部１１４が加えられる。類似度算出方法選択部１１４は、複数の類似度算出方法からいずれかを選択して類似度分布算出部１０２に指定する。

画像間の類似度を計算する手法は様々に存在している。例えば、第１の実施形態で挙げた正規化相関法のような画像の輝度・テクスチャを比較する方法があれば、画像中のエッジを抽出しＣｈａｍｆｅｒマッチングを行ってエッジの類似度を求める方法もある。このように利用する特徴量によって類似度の求め方も変わる。そのため、類似度算出方法選択部１１４でこの類似度の算出方法を指定し、類似度分布算出部１０２の動作を切り替える。

この第７の実施形態によれば、一つの類似度を算出する方法にこだわらず、入力画像の状態に応じて柔軟に方法を切り替えるようにすることできる。これにより、さらに正確に監視対象を識別できるような情報を提示することが可能となる。

（第８の実施形態）
本発明の第８の実施形態における画像識別表示装置は、上記第１の実施形態で示した図１の構成において、類似度分布算出部１０２に代わり、自動切替類似度分布算出部を備える。自動切替類似度分布算出部は、上記第７の実施形態で述べたような入力画像と識別対象画像との間の類似度を求める手法を識別対象の大きさに応じて自動的に切り替える。例えば、識別対象が大きい場合はテクスチャやエッジなどの特徴がつかみやすいので、その識別対象の特徴をよく示す特徴量を自動選択し類似度を算出する。逆に、識別対象が小さい場合は特徴量をつかみづらいので、複数の特徴量を複合的に用いて類似度を算出するようにする。
このように第８の実施形態によれば、識別対象の大きさに従って類似度の算出方法を自動的に切り替えることにより、類似度を効率的に効果的に算出することが可能となり、対象物の識別精度を向上させることができる。

（第９の実施形態）
図１１は、本発明の第９の実施形態における画像識別表示装置の構成の一部を示している。第９の実施形態では、上記第１の実施形態で示した図１の構成において、画像合成部１０５と識別支援画像２０５を表示する表示装置１０７とに代わり、入力画像投影装置１１６と類似度分布画像投影装置１１７とスクリーン１１５とを備える。入力画像投影装置１１６は、入力画像２０１をスクリーン１１５に投影し、類似度分布画像投影装置１１７は、類似度分布画像化部１０６により得られた類似度分布画像２０４を投影する。さらに、入力画像投影装置１１６及び類似度分布画像投影装置１１７は、スクリーン１１５に対して投影領域が一致するように固定されている。

以下に、第９の実施形態における画像識別表示装置の動作について説明する。画像入力部１０１により入力画像２０１が入力画像投影装置１１６に入力され、入力画像投影装置１１６によりスクリーン１１５上に入力画像投影像２１１が投影される。同様に、類似度分布画像投影装置１１７により類似度分布画像２０４がスクリーン１１５上の入力画像投影像２１１の投影領域に重ねて投影される。スクリーン１１５の投影面２１０では、入力画像投影像２１１が類似度分布画像投影像２１２により明暗を施される。このようにしても、上記各実施形態で使用した表示装置１０７の画面上に表示される識別支援画像２０５と同様の表示を得ることができる。

したがって上記第９の実施形態によっても、上記各実施形態と同様に、識別すべき対象が監視画像内のどの位置に現れているかを画像の輝度または色度の変化等によって簡単かつ正確に認識することができる。さらに、類似度分布画像投影装置１１７による類似度分布画像投影像２１２を遮断することで、簡単に入力画像のみを確認することができる。また、逆に入力画像投影像２１１を遮断することで類似度分布のみを確認することもできる。

なお、この発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

本発明の第１の実施形態における画像識別表示装置の機能ブロック図。 本発明の第１の実施形態における類似度分布算出部の動作を説明する図。 本発明の第１の実施形態における画像合成部の動作を説明する図。 本発明第２の実施形態における画像識別表示装置の機能ブロック図。 本発明第２の実施形態における興味領域指定部の動作を説明する図。 本発明の第３の実施形態における画像識別表示装置の機能ブロック図。 本発明の第３の実施形態における移動領域検出部の動作を説明する図。 本発明の第４の実施形態における画像識別表示装置の構成の一部を示す図。 本発明の第５の実施形態における画像識別表示装置の構成の一部を示す図。 本発明の第６の実施形態における画像識別表示装置の構成の一部を示す図。 本発明の第７の実施形態における画像識別表示装置の機能ブロック図。 本発明の第９の実施形態における画像識別表示装置の構成の一部を示す図。

符号の説明

１００…カメラ、１０１…画像入力部、１０２…類似度分布算出部、１０３…識別対象指定部、１０４…識別対象情報、１０５…画像合成部、１０６…類似度分布画像化部、１０７…表示装置、１０８…興味領域指定部、１０９…移動領域検出部、１１０…映像再生装置、１１１…カメラ移動部、１１２…移動位置指示部、１１３…前景領域分離部、１１４…類似度算出方法切替部、１１５…スクリーン、１１６…入力画像投影装置、１１７…類似度分布画像投影装置。

Claims (11)

1. 画像の入力を受け付ける入力手段と、
   識別対象を表す情報の指定を受け付ける指定手段と、
   前記入力された画像の領域内で当該画像と前記指定された識別対象を表す情報とを比較して類似度を示す類似度分布を求める算出手段と、
   前記求められた類似度分布を表した類似度分布画像を作成する作成手段と、
   前記入力された画像と前記作成された類似度分布画像とを合成して表示する表示手段と
   を具備することを特徴とする画像識別表示装置。
2. 前記作成手段は、前記算出手段で求められた類似度分布を輝度で表した類似度分布画像を作成することを特徴とする請求項１記載の画像識別表示装置。
3. 前記作成手段は、前記算出手段で求められた類似度分布を色度で表した類似度分布画像を作成することを特徴とする請求項１記載の画像識別表示装置。
4. 前記作成手段は、前記入力された画像の輝度又は色度に応じて前記類似度分布画像を作成することを特徴とする請求項１記載の画像識別表示装置。
5. 前記入力された画像のうち類似度を求める領域を予め指定する領域指定手段をさらに具備することを特徴とする請求項１記載の画像識別表示装置。
6. 前記入力された画像から移動領域を検出する移動領域検出手段をさらに具備し、
   前記算出手段は、前記入力された画像のうち前記検出された移動領域について類似度を求めることを特徴とする請求項１記載の画像識別表示装置。
7. 前記入力された画像を前景部と背景部とに分離する分離手段をさらに具備し、
   前記算出手段は、前記分離手段により分離された前景部について類似度を求めることを特徴とする請求項１記載の画像識別表示装置。
8. 前記算出手段において類似度分布を求める算出方法を複数の類似度算出方法のうちから選択する選択手段をさらに具備することを特徴とする請求項１記載の画像識別表示装置。
9. 前記選択手段は、前記識別対象の大きさに応じて前記算出手段に用いる算出方法を選択することを特徴とする請求項８記載の画像識別表示装置。
10. 前記表示手段は、前記入力された画像を投影領域に投影する入力画像投影手段と、前記作成された類似度分布画像を前記投影領域に重ねて投影する類似度分布画像投影手段とを備えることを特徴とする請求項１記載の画像識別表示装置。
11. 画像の領域内において対象物の識別を支援する画像識別表示装置に用いられる画像識別表示方法であって、
    前記画像の入力を受け付け、
    前記対象物を表す識別対象情報の指定を受け付け、
    前記入力された画像の領域内で当該画像と前記指定された識別対象情報とを比較して類似度を示す類似度分布を求め、
    前記求められた類似度分布を表した類似度分布画像を作成し、
    前記入力された画像と前記作成された類似度分布画像とを合成して表示することを特徴とする画像識別表示方法。

Images