JP5272890B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

監視カメラ（ＩＴＶカメラ）などの映像撮影手段が撮影した映像に含まれる人や車等の物体を監視したり追跡したりするためには、まず映像中の物体が検出される必要がある。例えば、監視カメラを用いた監視装置において、カメラによって立ち入り禁止区域等の監視したい場所を撮影し、映像に含まれる物体の有無を検知し、撮影している監視場所に物体（不審物）が侵入してきた場合に警告を発するシステムが構築されている。

その際、映像中にある物体が侵入してくると、物体領域の明るさ、即ち、画像中の物体領域の輝度値が変化する。従って、映像内で輝度値に差異が生じる領域を差異領域として検出することで、物体の検知が可能になる。しかし、このような時間的な輝度値の変化を基にした手法では、海、砂漠、草原などを監視場所としている場合、検知対象としている船舶、人、車等の物体以外の水、砂、草も動いているため、検知対象の物体以外のものを誤って検知してしまうという問題があった。

特許文献１は、海、砂漠、草原など主に自然現象などによって撮影画面に揺らぎが生じるような場所を監視対象とする監視カメラによって得られる画像データから、不審者又は不審物等の侵入を安定して行う技術である。

特開２００８−４６７６９号公報

特許文献１の技術は、画像の同時生起確率行列を使用したテクスチャ解析手法の一種である。注目画素とその周辺画素との輝度値の組み合わせを複数生成し、輝度値の組み合わせの頻度を算出する。そして、画像全体の中で輝度値の組み合わせの頻度の少ない画素からなる領域を異物として判断して、物体を検知している。

しかし、特許文献１の技術では、画像データから作成した同時生起確率行列に対する閾値処理のみを用いている。例えば、ある輝度値の組み合わせの頻度が閾値を超えたとき、その輝度値の組み合わせの画素は、背景であると判断し、反対に閾値を超えない画素は、映像に侵入した物体であると判断する。そのため、局所的に同じ模様を持つ領域が密集して発生した場合、その領域の輝度値の組み合わせの頻度が設定してある所定の閾値を越えてしまう。そのため、物体の検知漏れが生じてしまう場合がある。

また、画面内に水平線や地平線、又は雲と空との境界などの境界部分が含まれる場合、これらの境界部分は画像全体の中で非常に狭い領域である。そのため、画像全体の中で例えば一方は海となり他方は空となる輝度値の組み合わせは非常に少ない。その結果、特許文献１の技術では、単純に閾値処理を行っているため、例えば水平線部分を異物として判断してしまい、物体の誤検知が生じてしまう。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像データから映像内に侵入する物体を検知する際、検知対象とする物体の検知漏れや誤検知を低減することが可能な、新規かつ改良された画像処理装置、画像処理方法及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、画像データから画像データの画素ごとの特徴量を算出する特徴量算出部と、特徴量を用いて、同一の特徴量を有する画素を抽出して、同一の特徴量を有する画素からなる密集度判定用画像データを生成し、密集度判定用画像データにおける画素の分散度合いを示す密集度を判定する密集度判定部と、密集度の判定に応じて、密集度判定用画像データにおける画素から画素の集合を算出する画素集合算出部とを有する、画像処理装置が提供される。

上記特徴量は、異なる２つの画素の輝度値の組み合わせの頻度による同時生起確率行列であってもよい。

上記密集度判定部は、密集度判定用画像データにおける画素の位置の分散値を算出し、位置の分散値に基づいて、密集度判定用画像データにおける画素が画像データの全体に分布しているか、又は画像データの一部にのみ密集しているかを判定し、画素集合算出部は、密集度判定用画像データにおける画素が画像データの一部にのみ密集していると判定されたとき、密集度判定用画像データにおける画素の集合を算出してもよい。

上記密集度判定部は、密集度判定用画像データの全体における画素の画像全体の密集度と、密集度判定用画像データの画素の局所的な密集度を算出し、画像全体の密集度と、局所的な密集度を比較して、密集度判定用画像データにおける画素が画像データの全体に分布しているか、又は画像データの一部にのみ密集しているかを判定し、画素集合算出部は、密集度判定用画像データにおける画素が画像データの一部にのみ密集していると判定されたとき、密集度判定用画像データにおける画素の集合を算出してもよい。

密集度判定部は、異なる２つの画素の輝度値の組み合わせの頻度が２つの閾値の間にあるとき、密集度判定用画像データにおける画素の分散度合いを示す密集度を判定してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、特徴量算出部が画像データから画像データの画素ごとの特徴量を算出するステップと、密集度判定部が特徴量を用いて、同一の特徴量を有する画素を抽出して、同一の特徴量を有する画素からなる密集度判定用画像データを生成し、密集度判定用画像データにおける画素の分散度合いを示す密集度を判定するステップと、画素集合算出部が密集度の判定に応じて、密集度判定用画像データにおける画素から画素の集合を算出するステップとを有する画像処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、特徴量算出部が画像データから画像データの画素ごとの特徴量を算出する手順、密集度判定部が特徴量を用いて、同一の特徴量を有する画素を抽出して、同一の特徴量を有する画素からなる密集度判定用画像データを生成し、密集度判定用画像データにおける画素の分散度合いを示す密集度を判定する手順、画素集合算出部が密集度の判定に応じて、密集度判定用画像データにおける画素から画素の集合を算出する手順をコンピュータに実行させるためのプログラムが提供される。

本発明によれば、画像データから映像内に侵入する物体を検知する際、検知対象とする物体の検知漏れや誤検知を低減することができる。

本発明の第１の実施形態に係る画像処理装置１００を示すブロック図である。 同実施形態に係る画像処理装置１００の動作を示すフローチャートである。 図３（Ａ）は、入力画像２００を示す説明図であり、同時生起確率行列を示す説明図である。 画像保存部１１０（ＲＡＭ）の内部に格納されている画像データ２００を示す説明図である。 配列データ３００を模式的に示す説明図である。 画像フラグビットマップデータの一部を拡大したものである。 図７（Ａ）は、同時生起確率行列３００を示す説明図であり、図７（Ｂ）は、画像フラグビットマップデータ４０２を示す説明図である。 図８（Ａ）は、同時生起確率行列３００を示す説明図であり、図８（Ｂ）は、画像フラグビットマップデータ４０４を示す説明図である。 平滑化を行なった画像を模式的に示す説明図である。 本発明の第２の実施形態に係る画像処理装置１００の動作を示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施の形態
２．第２の実施の形態

＜１．第１の実施形態＞
［画像処理装置１００の構成］
まず、本発明の第１の実施形態に係る画像処理装置１００の構成について説明する。図１は、本実施形態に係る画像処理装置１００を示すブロック図である。

画像処理装置１００は、撮像カメラ１０から画像データを受けて、監視場所の映像に侵入してきた物体（例えば不審物など）を検知する。また、画像処理装置１００は、物体の検知の有無を知らせる２値信号（アラーム）、又は所定の処理を施した画像信号を出力する。出力された画像信号は、例えばＨＤＤ等の大容量ストレージや、通信回線等を介して他のホスト装置に送られる。

撮像カメラ１０（映像入力手段）は、例えばＣＣＤ撮像素子又はＣＭＯＳ撮像素子等を有し、画像信号を出力する。撮像カメラ１０は、例えば海、砂漠、草原など自然現象などによって撮影画面に揺らぎが生じるような場所を監視対象とする監視カメラである。

画像処理装置１００は、撮像カメラ１０と共に設置される。撮像カメラ１０及び画像処理装置１００は、例えば海を監視する場合は沿岸に設置される。

撮像カメラ１０は、図示しないモータ等の駆動機構を備えて、監視領域が広範囲となるように往復駆動してもよい。撮像カメラ１０は、遠方の物体を捉えるため、ズーム倍率が高く設定される場合がある。この場合、撮像カメラ１０の撮影角度（画角）は狭くなるため、撮像カメラ１０を往復駆動する必要がある。撮像カメラ１０が往復駆動すると、直前の静止画像と現在の静止画像とを比較して、画像データ同士の相違点に基づいて侵入してきた物体を検知する方法は、有効ではない。一方、本実施形態によれば、撮像カメラ１０が往復駆動している場合でも、侵入してくる物体を適切に検知することができる。

画像処理装置１００は、主にマイクロコンピュータよりなる。図示しないが、マイクロコンピュータは、ＣＰＵ、ＲＯＭ、ＲＡＭなどから構成される。そして、マイクロコンピュータは、撮像カメラ１０から得られる画像データを用いて所定の処理をする。また、マイクロコンピュータは、出力インターフェースを介して所定の信号（２値信号や画像信号等）を出力する。

画像処理装置１００は、例えば、画像保存部１１０、特徴量算出部１２０、密集度判定部１３０、画素集合算出部１４０などからなる。画像処理装置１００は、実体がＲＡＭである画像保存部１１０を除いて、各部はマイクロコンピュータ上にて実行されるソフトウェアプログラムである。これらソフトウェアはＲＯＭに格納されている。

画像保存部１１０は、撮像カメラ１０から得られる画像信号を一時的に静止画像として保持する。

特徴量算出部１２０は、画像保存部１１０内の静止画像データを読み出し、静止画像データに基づいて、特徴量データを作成する。特徴量算出部１２０は、同時生起確率などの特徴量を算出して、密集度判定部１３０に送る。特徴量データは、後述する同時生起確率行列による配列データなどによって作成される。

密集度判定部１３０は、特徴量算出部１１３にて作成された配列データを基に、静止画像データ中の物体を特定するビットマップデータを作成する。密集度判定部１３０は、分散値などの局在性や分散度合いを表す数値を算出し、画像の各画素が物体であるか、又は背景であるかの判定を行う。

画素集合算出部１４０は、物体として判定された画素情報を受けて、画素集合を算出する。画素集合算出部１４０は、密集度判定部１３０で作成されたビットマップデータから、静止画像データ中に占める物体と推測される画像部分の総面積と、中心座標を算出する。画素集合算出部１４０は、求められた画素集合のサイズや位置を記録装置や警報装置などに送る。

［画像処理装置１００の動作］
次に、本実施形態に係る画像処理装置１００の動作について説明する。図２は、本実施形態に係る画像処理装置１００の動作を示すフローチャートである。

まず、撮像カメラ１０から画像データが入力される（ステップＳ１０１）。次に、画像保存部１１０に画像データが一時的に保存された後、特徴量算出部１２０に画像データが入力される。そして、特徴量算出部１２０が、入力画像に対して、画像全体、又は予め指定した画像の一部分の領域の特徴量を算出する（ステップＳ１０２）。

特徴量としては、本実施形態では、例えば同時生起確率行列が用いられる。同時生起確率行列を算出するには、まず、図３（Ａ）のように、画像２００中のある注目画素Ｐ１に対して、Δｘ，Δｙだけ離れた別の画素Ｐ２を選択する。図３（Ａ）は、入力画像２００を示す説明図である。

画像中にある注目画素Ｐ１の輝度値がｇ１、別の画素Ｐ２の輝度値がｇ２とする。例えば、画像の輝度レベルを８ｂｉｔ（０〜２５５）とすると、ｇ１とｇ２は、図３（Ｂ）に示すように、画像の輝度レベルを縦軸及び横軸とした２次元空間の１点として表現できる。この２次元空間を同時生起確率行列と呼ぶ。図３（Ｂ）は、同時生起確率行列を示す説明図である。

同時生起確率行列は、画像２００中の任意の２点の輝度値の組み合わせの生起確率を表している。例えば、図４のようなシーンに船２３０が写っている場合について考える。図４は、画像保存部１１０（ＲＡＭ）の内部に格納されている画像データ２００を示す説明図である。図４の画像データ２００は、入力画像ビットマップデータであり、画像保存部１１０（ＲＡＭ）の入力画像ビットマップデータ保存領域に格納されている。入力画像ビットマップデータは、撮像カメラ１０で撮影された静止画像データである。各々の画素は、例えば０〜２５５の輝度を表すデータを有する。図４の画像では、空２１０と、海２２０と、監視場所の映像に侵入する物体（不審物）である船２３０が写っている。

図５は、配列データ３００を模式的に示す説明図である。配列データは、画像保存部１１０（ＲＡＭ）の配列データ領域に格納される。画像保存部１１０（ＲＡＭ）の内部は、実際には図５に示すような形状になっていないが、ソフトウェアプログラムにて仮想的に図５に示すような形状に構築されているとして示したものである。

図５において、配列データ３００は同時生起確率行列をベースとする。同時生起確率行列は、縦ｋと横ｌがそれぞれ０〜２５５までの２５６個の要素よりなる正方行列である。この縦ｋと横ｌは画像データの輝度に相当する。この行列上の各々の要素に立方体が積み上がっている。

図５の（ｋ、ｌ）［１］とは、ｋ番目の行でｌ番目の列の行列要素よりなる配列データの１番目の配列要素である。同様に、（ｋ、ｌ）［２］とは、ｋ行ｌ列の行列要素よりなる配列データの２番目の配列要素である。配列データ（ｋ、ｌ）は５個の配列要素を持ち、（ｋ、ｌ）［５］まで存在している。図５の（ｋ、ｌ−１）［１］とは、ｋ番目の行でｌ−１番目の列の行列要素よりなる配列データの１番目の配列要素である。同様に、（ｋ、ｌ−５）［１］とは、ｋ行ｌ−５列の行列要素よりなる配列データの１番目の配列要素である。同様に、（ｋ−３、ｌ）［１］とは、ｋ−３行ｌ列の行列要素よりなる配列データの１番目の配列要素である。

図３に示すように、画像２００中にある注目画素Ｐ１の輝度値がｇ１、別の画素Ｐ２の輝度値がｇ２であるとき、同時生起確率行列のｇ１とｇ２に対応する１点に１を投票する。この処理を画像中の任意の画素に対して行うことで、図５に示すような画像全体又は予め指定した画像の一部分の領域の同時生起確率行列を求めることができる。

例えば、図４に示した入力画像ビットマップデータ２００中の広い面積を示す背景部分は、同一となる輝度値の組み合わせが多く発生するため、同時生起確率行列上で１箇所に集中する。例えば、図５においては、図４の入力画像ビットマップデータ２００の一部分、例えば空２１０（又は海２２０）の一部分に該当する画像データが、配列データ３００の積み上がっている立方体にそれぞれ対応する。図４の画像２００内では空２１０（又は海２２０）が大部分を占めているので、同時生起確率行列は、空２１０（又は海２２０）の部分の輝度値の組み合わせの生起確率が高まる。

一方で、船２３０の部分の輝度値の組み合わせの生起確率は低いままである。なお、海２２０の波が高い場合も、その波の輝度値が画像内で繰り返し出現していれば生起確率は高くなる。そのため、波を映像に侵入してきた物体であると誤検知することはない。

次に、作成した同時生起確率行列の各生起確率の画像内での分布について考える。
具体的には、ある生起確率を表す輝度値の組み合わせ（ｇ１，ｇ２）を持つ画素を画像上にプロットする。例えば、図７のように船の部分の輝度値の組み合わせを持つ画素をプロットすると、図６や図７（Ｂ）に示すように画像４０２上に船４３０の領域が再現される。

図６は、画像フラグビットマップデータの一部を拡大したものである。各画素は、１ビットからなる。各画素は、ある生起確率を表す輝度値の組み合わせ（ｇ１，ｇ２）を持てば、ビットの値が１となり、ある生起確率を表す輝度値の組み合わせ（ｇ１，ｇ２）を持たなければ、ビットの値が０となる。図７（Ａ）は、同時生起確率行列３００を示す説明図である。図７（Ｂ）は、画像フラグビットマップデータ４０２を示す説明図である。

一方、図８のように波の部分の輝度値の組み合わせを持つ画素をプロットすると、図８（Ｂ）に示すように画像４０４上に波の部分が再現される。図８（Ａ）は、同時生起確率行列３００を示す説明図である。図８（Ｂ）は、画像フラグビットマップデータ４０４を示す説明図である。なお、実際には船も波の一様なテクスチャを持っているわけではないので、図７（Ｂ）や図８（Ｂ）では、実際には船又は波の一部分のみが再現される。

次に、特徴量、例えば同時生起確率行列が求められた後は、プロットされた画像の局在性を算出し、密集度を判定する（ステップＳ１０３）。プロットされた画素が画像全体、又は画像の広い範囲に分布していれば、これらの画素は画像の模様の一部であると考えられる。一方で、プロットされた画素が画像の一部にのみ密集していると、これは映像に侵入して来た検知対象物体であるといえる。

そこで、まず、プロットされた画像の局在性を算出する。
ここでいう局在性とは、プロットされた画素が画像の一部にのみ密集して局在しているのか、それとも画像全体に分布しているのかを表す数値指標である。数値指標は、例えばプロットされた画素の「位置の分散値」がある。プロットされた画素が画像の一部にのみ密集していれば、分散値は低くなる。逆に、プロットされた画素が画像全体に分布していれば、分散値は大きくなる。

分散値（Ｖ）は次式によって求められる。

ここで、ｉ，ｊは同時生起確率行列の２次元座標である。Ｃは同時生起確率行列の値である。ｘ，ｙは入力画像の座標を表し、ｇ１(x,y)，ｇ２(x,y)は上記した同時生起確率を求めた入力画像の輝度値である。ｘａ，ｙａはｘ，ｙそれぞれの位置平均値を表す。

上記数式を用いた結果、画像の一部にのみ密集度が高いため、分散値（Ｖ）が小さければ物体、密集度が低く分散値（Ｖ）が大きければ背景とすることができる。

このような処理を全ての同時生起確率行列の２次元座標ｉ，ｊに対して行う。そして、ある輝度の組み合わせについて、密集度が高いと判定された場合（ステップＳ１０４）、映像に侵入してきた物体であると判定される。そして、その輝度の組み合わせを持つ全ての画素を画像上にプロットし、ラベリングなどの手法を用いて画素集合を算出する（ステップＳ１０５）。ここで求められた画素集合を物体領域として、その位置やサイズなどの情報を物体情報として出力する（ステップＳ１０６）。ステップＳ１０４において、密集度が低いと判定された場合は、背景であると判断し、物体は検知されなかったとして処理を終了する。

上述のプロットされた画素の「位置の分散値」を用いた「局在性の数値指標」によれば、画像の一部にのみ密集度が高い輝度の組み合わせについて、その輝度の組み合わせを持つ画素を、映像に侵入してきた物体であると判定する。その結果、物体の検知漏れを防ぐことができる。

また、本実施形態には検知漏れを防ぐ効果だけでなく、水平線部分の誤検知を防ぐ効果もある。同時生起確率行列を求めた場合、水平線は領域としては非常に狭い部分であるので、画像全体の中では、海と空の輝度値の組み合わせは非常に少ないといえる。そのため、従来技術のように単純に閾値処理を行うと、水平線部分に誤検知が生じてしまう。しかし、上述したような分散値による密集度判定を行うと、横に長い水平線の部分は密集度が低く分散値が大きくなる。従って、横に長い水平線の部分は、物体として判定されることはない。その結果、横に長い水平線の部分の誤検知を低減することができる。同様の効果は、水平線だけでなく雲のような長い境界線を持つ領域の誤検知低減にも効果がある。

ところで、上述したプロットされた画素の「位置の分散値」を用いた「局在性の数値指標」は、画像内に１つの物体のみ存在する場合に有効に働く。しかし、画像に２つ以上の物体が存在する場合は、分散値が大きくなってしまう。そのため、従来技術と同じような検知漏れが生じる可能性がある。

そこで、ステップＳ１０３において密集度を判定する際、プロットされた画像の局在性を算出する方法について、上述した方法と別の方法について説明する。即ち、局在性を表す「別の数値指標」の計算方法について説明する。

まず、次式によって画像全体の密集度（Ｍａ）を求める。

Ｍａ(i,j)＝Ｃ(i,j)／Ｎ

ここで、ｉ，ｊは同時生起確率行列の２次元座標である。Ｃは同時生起確率行列の値、Ｎは入力画像の画素数である。

次に、局所的な密集度（Ｍｌ）を求める。密集度を求める方法としては、いろいろな手法があるが、ここでは、距離による重みづけ手法について説明する。

ここで、ｘ，ｙは入力画像上の密集度を求めたい座標、ｇ１，ｇ２は上述した同時生起確率を求めた画像の輝度値である。

これを任意のｍ，ｎについて計算してその和を求める。ｍ，ｎはそれぞれ画像の横、縦の座標を表す変数である。また、ｇ（）はガウス関数のような平滑化関数である。即ちこの式はプロットされた画素に重み付けによる平滑化を行い、その画素ごとの累積値を算出するものである。

このような方式を用いると図９のように、画像が密集している場合は高い分布（図９（Ａ））を、画素が分散している場合は低い分布を示す（図９（Ｂ））。図９は、平滑化を行なった画像を模式的に示す説明図である。

Ｍａ(i,j)は画像全体の密集度、Ｍｌ(x,y)は画素ごとの密集度なので、この２つの値を比較して、差が小さければ背景、大きければ物体とすることができる。比較の方法としては、例えば、２つの値の比（Ｓ）を用いる。

Ｓ＝Ｍｌ(x,y)／Ｍａ(i,j)

とする。局在性が高いとＭｌの値が大きくなるので、Ｓが大きくなる。逆に局在性が低いとＳの値が小さくなる。そこで、Ｓがあらかじめ設定してある閾値よりも大きいかどうかの判定を行う。これにより、背景か又は物体かを判定できる。

このような処理を全ての画素に対して行う。そして、画素単位で求められた物体部分の集合を求める（ステップＳ１０５）。これについては、例えば、ラベリングなどの手法を用いればよい。ここで求められた画素集合を物体領域として、その位置やサイズなどの情報を物体情報として出力する（ステップＳ１０６）。

＜２．第２の実施形態＞
次に、本発明の第２の実施形態に係る画像処理装置について説明する。本実施形態に係る画像処理装置の構成は、図１を用いて説明した第１の実施形態の画像処理装置と同様であるため、詳細な説明は省略する。

本実施形態に係る画像処理装置の動作について説明する。図１０は、本実施形態に係る画像処理装置１００の動作を示すフローチャートである。

まず、撮像カメラ１０から画像データが入力される（ステップＳ３０１）。次に、画像保存部１１０に画像データが一時的に保存された後、特徴量算出部１２０に画像データが入力される。そして、特徴量算出部１２０が、入力画像に対して、画像全体、又は予め指定した画像の一部分の領域の特徴量を算出する（ステップＳ３０２）。特徴量としては、本実施形態では、第１の実施形態と同様に、例えば同時生起確率行列が用いられる。

特徴量、例えば同時生起確率行列が求められた後は、密集度判定部１３０が輝度値の組み合わせの頻度の高低を判定する（ステップＳ３０３）。そして、その結果に応じて、物体の検知処理を変える。第１の実施形態では、同時生起確率行列を元にプロットされた画素の密集度を用いて物体の有無の判定を行った。しかし、第１の実施形態の処理を全ての画素に対して行うと、処理時間がかかってしまう。そこで、２段階の閾値処理を用いることにする。

まず、同時生起確率行列に対して、２つの閾値を設定する。１つ目の閾値では、明らかに値が低い、つまり、背景ではなく物体であると思われる画素の選択に用いる。次に２つ目の閾値については、閾値以下の場合は、第１の実施形態のような密集度判定によって物体か背景かの判定処理を行う。また、２つ目の閾値を超えた場合は、密集度判定を行わずに背景であると判断する。なお、１つ目の閾値は２つ目の閾値より低く設定する。

即ち、まず、輝度値の組み合わせの頻度が１つ目の閾値より値が低いため、当該画素が明らかに背景ではないか否かを判断する（ステップＳ３０４）。輝度値の組み合わせの頻度が１つ目の閾値より値が低く、背景ではなく物体であると判断される場合は、ステップＳ３０８に移行する。

また、輝度値の組み合わせの頻度が１つ目の閾値以上であり、更に２つ目の閾値以下であるか否かを判断する（ステップＳ３０５）。輝度値の組み合わせの頻度が１つ目の閾値以上であり、更に２つ目の閾値以下である場合は、当該画素が背景か物体かが判別しにくいようなときである。この場合は、第１の実施形態のような密集度判定によって物体か背景かの判定処理を行う（ステップＳ３０６）。

そして、ステップＳ３０４で、輝度値の組み合わせの頻度が１つ目の閾値より値が低い判定された場合や、ステップＳ３０６で、ある輝度の組み合わせについて、密集度が高いと判定された場合（ステップＳ３０７）は、映像に侵入してきた物体であると判定される。この場合、その輝度の組み合わせを持つ全ての画素を画像上にプロットし、ラベリングなどの手法を用いて画素集合を算出する（ステップＳ３０８）。ここで求められた画素集合を物体領域として、その位置やサイズなどの情報を物体情報として出力する（ステップＳ３０９）。

一方、ステップＳ３０５において、輝度値の組み合わせの頻度が２つ目の閾値を超えた場合は、密集度判定を行わずに背景であると判断し、物体は検知されなかったとして処理を終了する。また、ステップＳ３０７において、密集度が低いと判定された場合も、背景であると判断し、物体は検知されなかったとして処理を終了する。

以上のように、本発明の第１の実施形態や第２の実施形態によれば、画像の特徴量である同時生起確率行列を用いて画像の密集度を判定することで、１枚の画像から検知漏れの少ない物体検知処理が可能になる。また、水平線や雲の境界のような部分領域の誤検知低減の効果がある。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例即ち修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０ 撮像カメラ
１００ 画像処理装置
１１０ 画像保存部
１２０ 特徴量算出部
１３０ 密集度判定部
１４０ 画素集合算出部

Claims (5)

1. 画像データから前記画像データの画素ごとの特徴量を算出する特徴量算出部と、
   前記特徴量を用いて、同一の特徴量を有する画素を抽出して、前記同一の特徴量を有する画素からなる密集度判定用画像データを生成し、前記密集度判定用画像データにおける画素の分散度合いを示す密集度を判定する密集度判定部と、
   前記密集度の判定に応じて、前記密集度判定用画像データにおける画素から画素の集合を算出する画素集合算出部と
   を有し、
   前記特徴量は、異なる２つの画素の輝度値の組み合わせの頻度による同時生起確率行列であり、
   前記密集度判定部は、前記密集度判定用画像データにおける画素の位置の分散値を算出し、前記位置の分散値に基づいて、前記密集度判定用画像データにおける画素が前記画像データの全体に分布しているか、又は前記画像データの一部にのみ密集しているかを判定し、
   前記画素集合算出部は、前記密集度判定用画像データにおける画素が前記画像データの一部にのみ密集していると判定されたとき、前記密集度判定用画像データにおける画素の集合を算出する、画像処理装置。
2. 画像データから前記画像データの画素ごとの特徴量を算出する特徴量算出部と、
   前記特徴量を用いて、同一の特徴量を有する画素を抽出して、前記同一の特徴量を有する画素からなる密集度判定用画像データを生成し、前記密集度判定用画像データにおける画素の分散度合いを示す密集度を判定する密集度判定部と、
   前記密集度の判定に応じて、前記密集度判定用画像データにおける画素から画素の集合を算出する画素集合算出部と
   を有し、
   前記特徴量は、異なる２つの画素の輝度値の組み合わせの頻度による同時生起確率行列であり、
   前記密集度判定部は、前記密集度判定用画像データの全体における画素の画像全体の密集度と、前記密集度判定用画像データの画素の局所的な密集度を算出し、
   前記画像全体の密集度と、前記局所的な密集度を比較して、前記密集度判定用画像データにおける画素が前記画像データの全体に分布しているか、又は前記画像データの一部にのみ密集しているかを判定し、
   前記画素集合算出部は、前記密集度判定用画像データにおける画素が前記画像データの一部にのみ密集していると判定されたとき、前記密集度判定用画像データにおける画素の集合を算出する、画像処理装置。
3. 前記密集度判定部は、前記異なる２つの画素の輝度値の組み合わせの頻度が２つの閾値の間にあるとき、前記密集度判定用画像データにおける画素の分散度合いを示す密集度を判定する、請求項１または２に記載の画像処理装置。
4. 特徴量算出部が画像データから前記画像データの画素ごとの特徴量を算出するステップと、
   密集度判定部が前記特徴量を用いて、同一の特徴量を有する画素を抽出して、前記同一の特徴量を有する画素からなる密集度判定用画像データを生成し、前記密集度判定用画像データにおける画素の分散度合いを示す密集度を判定するステップと、
   画素集合算出部が前記密集度の判定に応じて、前記密集度判定用画像データにおける画素から画素の集合を算出するステップと
   を有し、
   前記特徴量は、異なる２つの画素の輝度値の組み合わせの頻度による同時生起確率行列であり、
   前記密集度判定部は、前記密集度判定用画像データにおける画素の位置の分散値を算出し、前記位置の分散値に基づいて、前記密集度判定用画像データにおける画素が前記画像データの全体に分布しているか、又は前記画像データの一部にのみ密集しているかを判定し、
   前記画素集合算出部は、前記密集度判定用画像データにおける画素が前記画像データの一部にのみ密集していると判定されたとき、前記密集度判定用画像データにおける画素の集合を算出する、画像処理方法。
5. 特徴量算出部が画像データから前記画像データの画素ごとの特徴量を算出するステップと、
   密集度判定部が前記特徴量を用いて、同一の特徴量を有する画素を抽出して、前記同一の特徴量を有する画素からなる密集度判定用画像データを生成し、前記密集度判定用画像データにおける画素の分散度合いを示す密集度を判定するステップと、
   画素集合算出部が前記密集度の判定に応じて、前記密集度判定用画像データにおける画素から画素の集合を算出するステップと
   を有し、
   前記特徴量は、異なる２つの画素の輝度値の組み合わせの頻度による同時生起確率行列であり、
   前記密集度判定部は、前記密集度判定用画像データの全体における画素の画像全体の密集度と、前記密集度判定用画像データの画素の局所的な密集度を算出し、
   前記画像全体の密集度と、前記局所的な密集度を比較して、前記密集度判定用画像データにおける画素が前記画像データの全体に分布しているか、又は前記画像データの一部にのみ密集しているかを判定し、
   前記画素集合算出部は、前記密集度判定用画像データにおける画素が前記画像データの一部にのみ密集していると判定されたとき、前記密集度判定用画像データにおける画素の集合を算出する、画像処理方法。
   

Images