JP6255944B2

JP6255944B2 - 画像解析装置、画像解析方法及び画像解析プログラム

Info

Publication number: JP6255944B2
Application number: JP2013245401A
Authority: JP
Inventors: 酉華木原; 志村　浩; 浩志村
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2013-11-27
Filing date: 2013-11-27
Publication date: 2018-01-10
Anticipated expiration: 2033-11-27
Also published as: JP2015103188A; US20150146924A1; US9613272B2

Description

本発明は、画像解析装置、画像解析方法及び画像解析プログラムに関し、特に、画像解析精度の向上に関する。

画像認識の技術として、入力された画像を解析し、画像中に含まれる物体等を特定する画像解析技術が用いられている。このような技術においては、特定するべき物体の画像特徴量を示す参照用の情報と、特定するべき物体を含む可能性のある入力画像中の各部の特徴量とを比較することにより、入力画像中において特定するべき物体が表示されている位置を特定する。

また、上述したような画像認識の技術において、背景の種類ごとに異なる複数の基準パターンを参照し、特定するべき物体の画像中における判定領域と比較することにより、画像中における物体の位置を特定する方法が提案されている（例えば、特許文献１参照）。

特許文献１に開示されているように、画像中に含まれる物体等を特定する際に背景との関係を参照することは、特定結果の高精度化につながる。しかしながら、解析対象の画像には様々なアングルのものがあり、アングルによっては、背景に応じた基準パターンとの比較結果が適切に作用せず、正確な認識結果が得られない場合がある。

本発明は上記実情に鑑みてなされたものであり、画像中に含まれる物体等の特定処理の精度を向上することを目的とする。

上記課題を解決するために、本発明の一態様は、入力された画像において所定の対象物が表示されている部分を特定する画像解析装置であって、入力された画像の特徴値に基づいて前記対象物が表示されている部分を認識する対象認識部と、入力された画像の各部において表示されている空間の属性を識別する空間識別情報を前記画像の各部について生成する空間識別部と、入力された画像の特徴値に基づき、特徴値の類似する類似領域毎に前記画像の領域を分割する特徴分割部と、認識された前記対象物が表示されている部分の周辺における前記類似領域の分布に基づき、前記対象物が表示されている部分の認識結果の正否を判断する認識確定部と認識された前記対象物が表示されている部分の周囲の画像領域のうち、参照するべき前記空間の属性の指定を取得する空間指定取得部とを含み、前記認識確定部は、前記空間識別情報に基づいて前記入力された画像の各部における空間の属性を認識し、前記入力された画像において認識された前記対象物が表示されている部分の周囲の画像領域のうち、指定された前記空間の属性の領域における前記類似領域の分布に基づき、前記対象物が表示されている部分の認識結果の正否を判断することを特徴とする。

また、本発明の他の態様は、入力された画像において所定の対象物が表示されている部分を特定する画像解析方法であって、入力された画像の特徴値に基づいて前記対象物が表示されている部分を認識し、入力された画像の各部において表示されている空間の属性を識別する空間識別情報を前記画像の各部について生成し、入力された画像の特徴値に基づき、特徴値の類似する類似領域毎に前記画像の領域を分割し、認識された前記対象物が表示されている部分の周囲の画像領域のうち、参照するべき前記空間の属性の指定を取得し、前記空間識別情報に基づいて前記入力された画像の各部における空間の属性を認識し、前記入力された画像において認識された前記対象物が表示されている部分の周囲の画像領域のうち、指定された前記空間の属性の領域における前記類似領域の分布に基づき、前記対象物が表示されている部分の認識結果の正否を判断することを特徴とする。

また、本発明の更に他の態様は、入力された画像において所定の対象物が表示されている部分を特定する画像解析プログラムであって、入力された画像の特徴値に基づいて前記対象物が表示されている部分を認識するステップと、入力された画像の各部において表示されている空間の属性を識別する空間識別情報を前記画像の各部について生成するステップと、入力された画像の特徴値に基づき、特徴値の類似する類似領域毎に前記画像の領域を分割するステップと、認識された前記対象物が表示されている部分の周囲の画像領域のうち、参照するべき前記空間の属性の指定を取得するステップと、前記空間識別情報に基づいて前記入力された画像の各部における空間の属性を認識し、前記入力された画像において認識された前記対象物が表示されている部分の周囲の画像領域のうち、指定された前記空間の属性の領域における前記類似領域の分布に基づき、前記対象物が表示されている部分の認識結果の正否を判断するステップとを情報処理装置に実行させることを特徴とする。

本発明によれば、画像中に含まれる物体等の特定処理の精度を向上することができる。

本発明の実施形態に係る画像解析装置のハードウェア構成を示すブロック図である。本発明の実施形態に係る画像解析装置の機能構成を示すブロック図である。本発明の実施形態に係る学習結果ＤＢに格納されている情報の例を示す図である。本発明の実施形態に係る解析対象の画像の例を示す図である。本発明の実施形態に係る対象認識部による認識結果の例を示す図である。本発明の実施形態に係る空間識別結果の例を示す図である。本発明の実施形態に係る特徴分割結果の例を示す図である。本発明の実施形態に係る特徴分割結果の情報例を示す図である。本発明の実施形態に係る対象認識動作を示すフローチャートである。本発明の実施形態に係るクラス分布の算出結果を示す図である。対象認識部による誤認識の例を示す図である。本発明の実施形態に係る解析対象の画像の他の例を示す図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。本実施形態においては、入力された画像を解析して画像に含まれる物体等を認識する画像解析装置において、入力された画像において認識された認識対象物の周囲の画像の特徴量に基づいて認識結果の信頼性を判断する。その際、画像の各領域における“地面”、“垂直領域”、“空”等の空間種別を判定し、その判定結果を信頼性の判断に際して考慮することにより、入力された画像のアングルに因らずに、対象物の周囲の画像の特徴量に基づく信頼性の判断を可能とする。

まず、本実施形態に係る画像解析装置１のハードウェア構成について図１を参照して説明する。図１に示すように、本実施形態に係る画像解析装置１は、一般的なＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）やサーバ等の情報処理装置と同様の構成を有する。即ち、本実施形態に係る画像解析装置１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２０、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）３０、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）４０及びＩ／Ｆ５０がバス９０を介して接続されている。また、Ｉ／Ｆ５０にはＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）６０、操作部７０及び専用デバイス８０が接続されている。

ＣＰＵ１０は演算手段であり、画像解析装置１全体の動作を制御する。ＲＡＭ２０は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。ＲＯＭ３０は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＨＤＤ４０は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）や各種の制御プログラム、アプリケーション・プログラム等が格納されている。

Ｉ／Ｆ５０は、バス９０と各種のハードウェアやネットワーク等を接続し制御する。ＬＣＤ６０は、ユーザが検査装置４の状態を確認するための視覚的ユーザインタフェースである。操作部７０は、キーボードやマウス等、ユーザが画像解析装置１に情報を入力するためのユーザインタフェースである。

専用デバイス８０は、画像解析装置１において必要な機能を実現するための専用のハードウェアであり、例えば画像を撮像して画像情報を生成するカメラや、画像解析において必要な処理を高速に実行するＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）等である。

このようなハードウェア構成において、ＲＯＭ３０に格納されたプログラムや、ＨＤＤ４０若しくは図示しない光学ディスク等の記録媒体からＲＡＭ２０に読み出されたプログラムに従ってＣＰＵ１０が演算を行うことにより、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係る画像解析装置１の機能を実現する機能ブロックが構成される。

次に、本実施形態に係る画像解析装置１の機能構成について説明する。図２に示すように、本実施形態に係る画像解析装置１は、情報取得部１０１、ＤＢ選択部１０２、画像取得部１０３、学習情報ＤＢ１０４、対象認識部１０５、空間識別部１０６、特徴分割部１０７、空間選択部１０８及び認識確定部１０９を含む。

情報取得部１０１は、操作部７０に対するユーザの操作やネットワークを介して入力される情報により、解析対象の画像情報及び画像の解析に対して用いる学習情報の指定を取得する。ＤＢ選択部１０２は、情報取得部１０１が取得した学習情報の指定に基づき、学習情報ＤＢ１０４に格納されている学習情報のうち、指定された学習情報を選択する。画像取得部１０３は、情報取得部１０１が取得した解析対象の画像情報を取得する。

図３は、学習情報ＤＢ１０４に格納されている学習情報の例を示す図である。学習情報ＤＢ１０４においては、図３の“学習イメージ”における「市街地の車」のように、解析対象の画像の状況、即ちシチュエーション毎に、多量の学習用画像を解析した結果がまとめられた情報である。夫々の学習情報には、図３に示すように、“学習ＩＤ”、“学習イメージ”、“特徴値”、“指定空間種別”、“対象周辺特徴分布”の情報が含まれる。即ち、学習情報ＤＢ１０４が、学習情報記憶部として機能する。

“学習ＩＤ”は、夫々のシチュエーション毎の学習情報を識別する識別子である。“学習イメージ”は、上述したように、夫々のシチュエーションや特定するべき物体を示す情報である。“特徴値”は、特定するべき物体の画像の特徴を示す情報であり、例えばベクトル情報が用いられる。このように学習情報に含まれる“特徴量”と、解析対象の画像から抽出された特徴量とを比較することにより、解析対象の画像における対象の物体の特定が行われる。

“指定空間種別”は、本実施形態の要旨に係る情報であり、夫々のシチュエーション毎の画像において、特定対象の物体が存在する空間を示す情報である。換言すると、画像において特定対象の物体が表示されている画像領域の周辺の画像領域が、主として「地面」、「垂直物」、「空」等、空間の種類のいずれの種類であるかを示す情報である。「市街地の車」というシチュエーションにおいては、特定対象の物体である「車」は、地面のうえに表示されていることが多いと考えられるため、「地面」が指定されている。

“対象周辺特徴分布”は、特定対象の物体の周辺の画像領域の画像の状態を示す情報である。本実施形態に係る“対象周辺特徴分布”においては、画像を構成する各画素の画素値がクラス１〜クラス６までの６段階に分類されており、対象の物体の周辺の画像領域における夫々のクラス毎の割合が格納されている。また、夫々のクラス毎に画像の特徴値の平均値が格納されている。即ち、“対象周辺特徴分布”が、学習情報におけるクラスの分布である学習画像分布として用いられる。

ここで、特定対象の物体の周辺の画像に基づいて特定対象の物体の特定結果の信頼性を確認する処理は従来から用いられている。例えば、人口衛星から撮影されたサテライト画像において車を特定するような場合、車として特定された画像領域のうち、道路から外れた位置にあるものは除外するといった処理である。このような処理は、上述したようなサテライト画像などの特殊な状況においてのみ適用可能である。

これに対して、本実施形態に係る画像解析においては、図３に示すように、“対象周辺特徴分布”が、「地面」のように画像の空間種類に応じて生成されている。これにより、特定対象の画像の周辺の画像領域に基づいて特定精度を確認する処理を、上述したような特殊な画像のみならず、汎用的に利用することが可能となる。

尚、図３の例においては、“指定空間種別”として「地面」のみが指定されているが、複数の空間種別が指定されていても良い。その場合、“対象周辺特徴分布”が複数の空間種別に応じて生成されることとなる。学習情報ＤＢ１０４は、このように夫々のシチュエーション毎に生成されている学習情報のうち、ＤＢ選択部１０２によって選択された学習情報を出力する。

対象認識部１０５は、画像取得部１０３が取得した画像を、学習情報ＤＢ１０４が出力する学習情報に基づいて解析し、解析対象の画像において特定対象の物体が表示されている領域を特定する。図４は、本実施形態において解析対象となる画像の例を示す図である。図４に示すように、市街地を走行する車が写された画像が本実施形態における解析対象である。

対象認識部１０５は、図３において説明した“特徴値”を参照し、解析対象の画像を解析して抽出した特徴値と比較することにより、解析対象の画像において特定するべき物体が表示されている領域を判定する。図５は、対象認識部１０５による認識結果の例を示す図である。図５の右側上部に示すように、対象認識部１０５による対象物体の認識結果としては、解析対象の画像に対応する夫々の画素において、特定対象の物体が表示された領域であれば「１」、それ以外の領域であれば「０」が設定された情報が生成される。

また、対象認識部１０５の認識結果として、図５の右側下部に示すように、特定対象の物体が表示された領域として「１」が付された領域には、夫々の領域を識別するための“ＩＤ”及びその領域に特定対象の物体が表示されていることの確からしさを示す“確度”が生成される。この“確度”は、上述した特徴値の一致度合いによって求めることが出来る。このようにして特定された画像領域の信頼性を確認することが、本実施形態に係る要旨の１つである。

空間識別部１０６は、画像取得部１０３が取得した画像を解析し、解析対象の画像における空間構造を推定する。図６は、空間識別部１０６による空間識別処理の結果を示す図である。図６の左側においては、地面として認識された画像領域を実線の斜線で、垂直物として認識された画像領域を破線の斜線で、空として認識された画像領域を一点鎖線の斜線で示している。

図６の右側に示すように、空間識別処理の結果としては、解析対象の画像に対応する夫々の画素において、地面は表示された領域であることを示す「地」、垂直物が表示された領域であることを示す「垂」、空が表示された領域であることを示す「空」が設定された情報が生成される。換言すると、空間識別部１０６は、入力された画像の各部において表示されている空間の属性を識別する。また、図６に示す情報が、空間識別情報として用いられる。このようにして特定された空間構造を用いることが、本実施形態に係る要旨の１つである。

空間識別部１０６による空間識別処理としては、公知の様々な方法を用いることが可能であり、例えば、『Geometric Context from a Single Image/Derek Hoiem, Alexei A. Efros, Martial Hebert』において開示された方法を用いることが可能である。

特徴分割部１０７は、画像取得部１０３が取得した画像を解析し、解析対象の画像を構成する各画素を、画素値の類似度を基準としたクラス１〜クラス６までの領域に分割する。即ち、特徴分割部１０７は、入力された画像の特徴値に基づき、特徴値の類似する類似領域毎に画像の領域を分割する。図７は、特徴分割部１０７による特徴分割処理の結果を示す図である。図７の左側においては、斜線の種類によってクラス１〜クラス６までの領域を示している。また、図７の右側に示すように、特徴分割処理の結果としては、解析対象の画像に対応する夫々の画素において、クラス１〜クラス６のいずれに属する領域であるかを示す情報が生成される。

特徴分割部１０７による特徴分割処理としては、例えばスーパーピクセルによる領域分割を用いることが出来る。即ち、解析対象の画像の色、テクスチャ、形状等の特徴量を解析し、類似した特徴を有する領域を画素の集合としてラベリングする。本実施形態に係る画像解析装置１においては、図３において説明したように、特徴量としてクラス１〜クラス６までの６段階を用いる。そのため、本実施形態に係る特徴分割部１０７は、特徴分割処理により、解析対象の画像をクラス１〜クラス６までの領域に分割する。

また、特徴分割部１０７は、解析対象の画像を解析して分割したクラス１〜クラス６までの夫々の領域の特徴量の平均値を算出し、図８に示すように、Ｓ_{ｃｌａｓｓ１}〜Ｓ_{ｃｌａｓｓ６}として記憶媒体に記憶させる。

空間選択部１０８は、学習情報ＤＢ１０４が出力する学習情報に基づき、認識確定部１０９による画像認識処理において参照するべき空間種別を取得する。空間選択部１０８は、図３において説明した“指定空間種別”を参照し、そこで指定されている値を取得して認識確定部１０９に通知する。即ち、空間選択部１０８が、参照するべき空間種別の属性の指定を取得する空間指定取得部として機能する。これにより、認識確定部１０９においては、解析対象の画像に応じて参照するべき空間種別を認識することが可能となる。また、空間選択部１０８は、学習情報に含まれる情報のうち、“対象周辺特徴分布”の情報を認識確定部１０９に通知する。

認識確定部１０９は、空間識別部１０６及び特徴分割部１０７によって生成された情報に基づき、対象認識部１０５による認識結果の信頼性を確認し、最終的な物体の特定結果を出力する。換言すると、認識確定部１０９は、対象認識物１０５による認識結果の正否を判断する。認識確定部１０９による最終的な物体の特定処理に際して、空間選択部１０８から通知される空間種別を考慮することが、本実施形態に係る要旨の１つである。

図９を参照して、認識確定部１０９による物体の特定結果の確認処理について説明する。図９に示すように、認識確定部１０９は、対象認識部１０５から図５において説明した認識結果の情報（以降、「認識結果情報」とする）を取得する（Ｓ９０１）。これにより、認識確定部１０９は、解析対象の画像において対象認識部１０５により特定された画像領域の位置及び夫々の画像領域の特定結果の確からしさ「Ｐ_{（特定）ｉ}」を取得する。ここで、「ｉ」は図５の“ＩＤ”を示す値である。

次に、認識確定部１０９は、特徴分割部１０７から、図７、図８において説明したクラス分類結果を取得する（Ｓ９０２）。クラス分類結果を取得した認識確定部１０９は、図８に示す各クラスの特徴値の平均値と、学習情報に含まれる“対象周辺特徴分布”とに基づき、特徴分割部１０７による特徴分割の確からしさ「Ｐ_{（特徴）ｋ}」を算出する（Ｓ９０３）。ここで、「ｋ」はクラス１〜クラス６を示す値である。

図３において説明した学習情報における“対象周辺特徴分布”のクラス１〜クラス６に関連付けられている平均値Ｓ_{ｃｌａｓｓ１＿００１}〜Ｓ_{ｃｌａｓｓ６＿００１}は、学習用の画像の特徴量の平均値であり、解析対象の画像の特徴量の平均値とは異なる。従って、Ｓ９０３においては、学習結果と解析結果とのクラスの分類結果の誤差に基づき、クラス分類の確からしさを示す値を算出する。

次に、認識確定部１０９は、空間識別部１０６から、図６において説明した空間種別の識別結果を取得する（Ｓ９０４）。空間種別の識別結果を取得した空間識別部１０６は、図５に示す認識結果情報と、図７に示すクラス分類結果とに基づき、対象認識部１０５によって特定された物体の領域の周辺の画像領域における各クラスの分布度を算出する（Ｓ９０５）。この際、認識確定部１０９は、空間選択部１０８から通知された空間種別の領域のみを対象として、クラスの分布度を算出する。

図７を参照すると、車が表示されている領域の周辺には、実線のみの斜線が付されたクラス２の領域と、実線及び破線の斜線が付されたクラス１の領域と、二重の破線による斜線が付されたクラス４の領域が存在している。従って、対象認識部１０５によって特定された物体の領域の周辺のクラス分布をそのまま算出すると、図１０（ａ）に示すようにクラス１、クラス２、クラス４に分布が別れることとなる。

これに対して、クラス１、クラス２、クラス４の領域の内、図６に示す空間種別の識別結果において「地面」と識別されている領域は、クラス２の領域のみである。従って、空間種別を、「地面」のみに絞ってクラス分布を算出すると、図１０（ｂ）に示すように、クラス２が１００％の分布となる。図１０（ｂ）に示す分布が、入力された画像において認識された対象物が表示されている部分の周辺におけるクラスの分布である入力画像分布として用いられる。

このように、指定された空間種別によるクラス分布を算出した認識確定部１０９は、図１０（ｂ）に示すように算出したクラス分布と、学習情報の“対象周辺特徴分布”の「地面」の分布情報に基づき、対象認識部１０５によって特定された物体の領域の周辺の画像領域のクラス分布の確からしさ「Ｐ_{（周辺）ｋ}」を算出する（Ｓ９０６）。ここで、「ｋ」はクラス１〜クラス６を示す値である。

このようにして「Ｐ_{（特定）ｉ}」、「Ｐ_{（特徴）ｋ}」、「Ｐ_{（周辺）ｋ}」を夫々算出した認識確定部１０９は、以下の式（１）のように、上記３の確度に基づいて、総合的な精度Ｐ_ｉを算出する（Ｓ９０７）。尚、式（１）の詳細な式は様々な形態が考えらえるが、いずれの場合においても、「Ｐ_{（特定）ｉ}」、「Ｐ_{（特徴）ｋ}」、「Ｐ_{（周辺）ｋ}」夫々の値が大きければ大きい程、Ｐ_ｉの値が大きく算出されるような式が用いられる。

そのようにして総合的な精度Ｐ_ｉを算出した認識確定部１０９は、算出された値を予め定められた閾値と比較することにより、その特定結果が正しいか否かを判断する（Ｓ９０８）。即ち、算出されたＰ_ｉの値が予め定められた閾値よりも大きければ、認識確定部１０９は、その特定結果は正しいと判断し、特定結果として出力する。この際に出力される情報は、例えば、図５の左側上部に示す情報、即ち、解析対象の画像において、特定対象の物体が表示されている領域が示される情報である。算出されたＰ_ｉの値が予め定められた閾値よりも小さければ、その特定結果は誤りであると判断し、認識確定部１０９は、判断対象の特定結果を破棄する。

図３の学習情報の例における“対象周辺特徴分布”を見ると、クラス２が「６０％」と比較的高い値となっている。これに対して、図１０（ｂ）に示す周辺画像分布の算出結果においては、クラス２が「１００％」として算出されており、上述した「Ｐ_{（周辺）ｋ}」の値は比較的高い値が算出される。その結果、上記式（１）によるＰ_ｉの算出結果は比較的高い値となり、Ｓ９０８の閾値比較の判断により、特定結果が肯定されることとなる。

他方、対象認識部１０５による認識処理によっては、図１１に破線で囲む領域で示すように、車が表示されていない領域が誤って特定されてしまう可能性がある。この場合、図１１において破線で囲まれている領域の周辺は、図７を参照するとクラス１である。

これに対して、図６の空間種別の識別結果を参照すると、クラス１の領域は「垂直物」の領域であるため、空間種別を「地面」に絞ってＳ９０６の周辺画像分布を算出すると、いずれのクラスも０％と算出されることとなる。そのため、「Ｐ_{（周辺）ｋ}」の算出結果は非常に低い値となり、上記式（１）によるＰｉの算出結果も非常に低い値となる。その結果、Ｓ９０８の閾値比較の判断により、特定結果が否定され、図１１に示すような特定結果は、誤った特定であると判断される。

ここで、図１１に示すような特定結果に対して、本実施形態の特徴的な処理である空間種別の考慮を行わない場合について考える。その場合、上述したように、図１１の特定結果の周辺の領域はクラス１であり、クラス分布の算出結果としてはクラス１が１００％に近い値となる。

この値に基づいて上述した「Ｐ_{（周辺）ｋ}」の値を算出すると、図３に示すように、“対象周辺特徴分布”におけるクラス１の値は「１５％」となっており、高い値ではないものの、ある程度の値が算出されることとなる。その結果、Ｐ_ｉの算出結果も、上述したように空間種別を考慮した場合よりは高い値となり、Ｓ９０８において参照される閾値を超えてしまう可能性がある。

空間種別を考慮しない場合、図３に示す“対象周辺特徴分布”は「地面」に限らず、特定対象物の周辺の画像領域すべてに基づいて学習されることとなる。その結果、クラス１の値がより大きくなる可能性もあり、上述したように、Ｓ９０８において参照される閾値を超えてしまう可能性がある。

換言すると、入力された画像を解析することにより、画像中に含まれる所定の物体を特定する技術においては、特定対象の画像の周辺の画像を解析することによって、特定結果の精度を確認することが可能であるが、特定対象の物体が撮影された画像であっても、撮影時の状況によって物体の周辺の画像は様々である。

そのような場合に、学習情報の生成時に特定対象の物体の周辺の画像を一様に採用して学習情報を生成すると、図３に示す“対象周辺特徴分布”は、クラス毎に変化の無い、即ち特徴のない状態となってしまう。また、解析対象の画像におけるクラス分布の算出結果も、信頼性のあるものにはならない。

これに対して、上記実施形態のように、画像の撮影時の状況による変化の少ない空間種別を、「市街地の車」等のシチュエーションに応じて、「地面」のように特定しておくことにより、特定結果の確からしさを示す値を計算する際に、特定対象の物体にとって特徴となり得る空間種別の画像のクラスのみが参照され、「Ｐ_{（周辺）ｋ}」の値をより高精度に算出することが可能となり、画像中に含まれる物体等の特定処理の精度を向上することができる。

尚、上記実施形態においては、「市街地の車」を例として説明した。この場合、画像の撮影状況によらず特徴的な画像となるのは、一般的にアスファルトが写される地面の領域であるため、“指定空間種別”として「地面」が指定される場合を例としている。しかしながら、これは一例であり、この“指定空間種別”は“学習イメージ”によって様々な設定が考えられる。例えば、「飛行中の飛行機」であれば、“指定空間種別”としては当然「空」が指定されることとなる。また、「森林の動物」のような場合には、背景に森林が写っていることが多いと考えられるため、森林が映る領域となる「垂直物」が指定されることとなる。

尚、上記実施形態においては、空間の属性として、「地面」、「垂直物」、「空」を夫々認識する場合を例として説明した。これは屋外の場合であり、室内の場合、「床」、「垂直物」、「天井」となる。即ち、空間識別部１０６による空間属性の識別処理は、「地面」や「床」等、空間の下側に相当する「アンダーサイド」、「垂直物」、そして、「空」や「天井」等空間の上側に相当する「アッパーサイド」の識別処理である。

また、上記実施形態においては、対象認識部１０５によって特定された部分の周辺の画像領域のうち、学習情報において指定されている空間属性の領域について、クラスの分布を参照する場合を例として説明した。この他、例えば画像全体のクラス分布を考慮することが考えらえる。

例えば、図１２に示すような画像を解析する場合、画像全体のクラス分布を解析すると、図７において「クラス２」と判定された領域が画像全体に対して占める割合は低いが、車が表示されている部分の周辺において、「地面」と判定される領域における占める割合は非常に高くなる。このような場合、「地面」と判定された領域における「クラス２」の領域は、特定対象物の周囲のクラスとして特徴的なクラスということが出来る。

従って、上述した「Ｐ_{（周辺）ｋ}」の計算においては、画像全体に対して占める割合の低いクラス程、「Ｐ_{（周辺）ｋ}」の値に大きく寄与するような計算を用いることにより、特定対象物との関係において特徴的な周辺画像を考慮した計算を行うことが可能となる。

このような画像解析装置１は、例えば、監視カメラに利用することが出来る。監視カメラにおいては、カメラによって撮影された画像において人物を特定対象として特定するが、設置環境は様々であるため、設置環境に応じた学習を行う必要がある。これに対して、上述した画像解析装置１を用いる場合、図３に示すように、“指定空間種別”として「地面」が指定された人物についての学習情報があれば、幅広い設置環境に対応することが可能である。

また、画像形成装置１を車載カメラに利用することが可能である。車載カメラにおいては、車前方を撮影することにより前方の車、人物、障害物等を検知するシステムが用いられる。このようなシステムにおいては、例えば建物の一部や街灯等を誤って検知してしまう可能性がある。これに対して、上述した画像形成装置１であれば、例えば“指定空間種別”として「地面」が指定されていることにより、地上に接していない、宙に浮いている物体は検知結果から除外されることとなるため、誤検知を回避することが出来る。

１画像解析装置
１０ＣＰＵ
２０ＲＡＭ
３０ＲＯＭ
４０ＨＤＤ
５０Ｉ／Ｆ
６０ＬＣＤ
７０操作部
８０専用デバイス
９０バス
１０１情報取得部
１０２ＤＢ選択部
１０３画像取得部
１０４学習情報ＤＢ
１０５対象認識部
１０６空間識別部
１０７特徴分割部
１０８空間選択部
１０９認識確定部

特開２００７−３２９７６２公報

Claims

入力された画像において所定の対象物が表示されている部分を特定する画像解析装置であって、
入力された画像の特徴値に基づいて前記対象物が表示されている部分を認識する対象認識部と、
入力された画像の各部において表示されている空間の属性を識別する空間識別情報を前記画像の各部について生成する空間識別部と、
入力された画像の特徴値に基づき、特徴値の類似する類似領域毎に前記画像の領域を分割する特徴分割部と、
認識された前記対象物が表示されている部分の周辺における前記類似領域の分布に基づき、前記対象物が表示されている部分の認識結果の正否を判断する認識確定部と
認識された前記対象物が表示されている部分の周囲の画像領域のうち、参照するべき前記空間の属性の指定を取得する空間指定取得部とを含み、
前記認識確定部は、前記空間識別情報に基づいて前記入力された画像の各部における空間の属性を認識し、前記入力された画像において認識された前記対象物が表示されている部分の周囲の画像領域のうち、指定された前記空間の属性の領域における前記類似領域の分布に基づき、前記対象物が表示されている部分の認識結果の正否を判断することを特徴とする画像解析装置。
複数の学習用画像について、前記対象物が表示されている部分の周辺における前記類似領域の分布及び参照するべき前記空間の属性の指定が記憶された学習情報を記憶している学習情報記憶部を含み、
前記学習情報における前記類似領域の分布は、指定されている前記空間の属性の領域における前記類似領域の分布であり、
前記認識確定部は、入力された画像において認識された前記対象物が表示されている部分の周辺における前記類似領域の分布である入力画像分布と、前記学習情報における前記類似領域の分布である学習画像分布とに基づいて前記対象物が表示されている部分の認識結果の正否を判断することを特徴とする請求項１に記載の画像解析装置。
前記認識確定部は、前記学習画像分布において多く分布している類似領域が、前記入力画像分布において多く分布しているほど大きな値が算出される計算を行い、算出された前記値が所定の閾値よりも大きい場合に、前記対象物が表示されている部分の認識結果が正しと判断することを特徴とする請求項２に記載の画像解析装置。
前記認識確定部は、入力された画像全体における前記類似領域の分布において少なく分布している類似領域が、前記入力画像分布において多く分布しているほど大きな値が算出される計算を行うことを特徴とする請求項３に記載の画像解析装置。
前記空間識別部は、入力された画像の各部について、空間における下側であるアンダーサイド、上側であるアッパーサイド、アンダーサイドとアッパーサイドとの間に配置された垂直物のいずれかの属性を識別することを特徴とする請求項１または２に記載の画像解析装置。
入力された画像において所定の対象物が表示されている部分を特定する画像解析方法であって、
入力された画像の特徴値に基づいて前記対象物が表示されている部分を認識し、
入力された画像の各部において表示されている空間の属性を識別する空間識別情報を前記画像の各部について生成し、
入力された画像の特徴値に基づき、特徴値の類似する類似領域毎に前記画像の領域を分割し、
認識された前記対象物が表示されている部分の周囲の画像領域のうち、参照するべき前記空間の属性の指定を取得し、
前記空間識別情報に基づいて前記入力された画像の各部における空間の属性を認識し、前記入力された画像において認識された前記対象物が表示されている部分の周囲の画像領域のうち、指定された前記空間の属性の領域における前記類似領域の分布に基づき、前記対象物が表示されている部分の認識結果の正否を判断することを特徴とする画像解析方法。
入力された画像において所定の対象物が表示されている部分を特定する画像解析プログラムであって、
入力された画像の特徴値に基づいて前記対象物が表示されている部分を認識するステップと、
入力された画像の各部において表示されている空間の属性を識別する空間識別情報を前記画像の各部について生成するステップと、
入力された画像の特徴値に基づき、特徴値の類似する類似領域毎に前記画像の領域を分割するステップと、
認識された前記対象物が表示されている部分の周囲の画像領域のうち、参照するべき前記空間の属性の指定を取得するステップと、
前記空間識別情報に基づいて前記入力された画像の各部における空間の属性を認識し、前記入力された画像において認識された前記対象物が表示されている部分の周囲の画像領域のうち、指定された前記空間の属性の領域における前記類似領域の分布に基づき、前記対象物が表示されている部分の認識結果の正否を判断するステップとを情報処理装置に実行させることを特徴とする画像解析プログラム。