JP4578353B2 - 対象物認識装置 - Google Patents

Description

本発明は、対象物認識技術に関し、特に人や動物などの対象物の位置を認識する対象物認識装置に関する。

対象物の位置を認識する方法として、２枚の画像間において画像データそのものの差分をとり、変化した部分に対象物がいると認識する方法がある（たとえば、下記特許文献１参照）。また、演算量を抑えた画像認識の手法が提案されている（たとえば、下記特許文献２参照）。特許文献２の手法は、注目画素を中心とする極座標系を考え、注目画素近傍を極座標系の区分領域に量子化する。量子化の際、角度方向についてはそのまま等間隔に、径方向については対数尺度で等間隔になるように領域を設定する。これによれば、注目画素から離れた領域においては多くの画素を一塊として扱うので、遠方との関係を考慮する場合でも演算量の増大を抑えうる。
特開平５−１４５８４４号公報 特開平９−１７１５５３号公報

特許文献１の手法のように、２枚の画像間において画像データそのものの差分をとる場合、画像データそのものを記憶しておく必要があるため、多くのメモリ容量を要する。また、ノイズ除去などの重い処理をする必要があり、演算量が多い。また、特許文献２の手法のように、画像全体から１つの特徴ベクトルを導出すると、対象物の位置を認識できない。

本発明者はこうした状況を認識して本発明をなしたものであり、その目的は、少ない演算量であっても対象物の位置を認識できる対象物認識装置を提供することにある。

上記課題を解決するために、本発明のある態様の対象物認識装置は、対象物が存在しうる場所が撮像された少なくとも２枚の画像を入力する入力部と、入力部において入力した少なくとも２枚の画像のそれぞれを複数の領域に分割する分割部と、分割部において分割した複数の領域のそれぞれについて、領域内の各画素の画素値をもとに当該領域の特徴量を導出する演算部と、演算部において導出した特徴量を、少なくとも２枚の画像間において領域を単位にして比較する比較部と、比較部での領域を単位にした比較の結果をもとに、対象物が位置する領域を認識する認識部と、を含む。

「画像」は、熱画像や距離画像なども包含する。すなわち、対象物が存在しうる場所の情報を示す画像であればよい。「熱画像」とは、各画素値が熱情報を示す画像である。「距離画像」とは、各画素値が距離情報を示す画像である。この態様によると、複数の領域のそれぞれにおける画像情報を、各領域を代表する特徴量として表し、２枚の画像間において特徴量を領域単位で比較するので、画素値そのものを比較する場合より少ない演算量で対象物の位置を認識できる。

本発明の別の態様もまた、対象物認識装置である。この装置は、対象物が存在しうる場所が撮像された少なくとも２枚の画像を入力する入力部と、入力部において入力した少なくとも２枚の画像のそれぞれに対して、第１方向に沿った複数の第１領域への分割を実行する第１分割部と、入力部において入力した少なくとも２枚の画像のそれぞれに対して、第１方向と異なった第２方向に沿った複数の第２領域への分割を実行する第２分割部と、第１分割部において分割した複数の第１領域のそれぞれについて、第１領域内の各画素の画素値をもとに当該領域の第１特徴量を導出する第１演算部と、第２分割部において分割した複数の第２領域のそれぞれについて、第２領域内の各画素の画素値をもとに当該領域の第２特徴量を導出する第２演算部と、第１演算部において導出した第１特徴量を、少なくとも２枚の画像間において領域を単位にして比較する第１比較部と、第２演算部において導出した第２特徴量を、少なくとも２枚の画像間において領域を単位にして比較する第２比較部と、第１比較部および第２比較部での領域を単位にした比較の結果をもとに、対象物が位置する領域を認識する認識部と、を含む。

この態様によると、複数の第１領域のそれぞれにおける画像情報と、複数の第２領域のそれぞれにおける画像情報とを、各領域を代表する特徴量として表し、２枚の画像間において特徴量を領域単位で比較するので、画素値そのものを比較する場合より少ない演算量で対象物の位置を認識できる。また、２枚の画像間において異なった２方向に沿った各領域の特徴量を領域単位で比較するので、高い精度により対象物の位置を認識できる。

認識部は、第１比較部での領域を単位にした比較の結果をもとに、複数の第１領域のうちの対象物が位置すべき第１領域を特定する第１特定部と、第２比較部での領域を単位にした比較の結果をもとに、複数の第２領域のうちの対象物が位置すべき第２領域を特定する第２特定部と、第１特定部において特定した第１領域と、第２特定部において特定した第２領域とが重なった範囲を特定することにより、対象物が位置する領域を認識する第３特定部と、を含んでもよい。この場合、特定した第１領域と第２領域とが重なった範囲を特定するので、対象物が位置する領域を正確に認識できる。

入力部において入力した画像に、第３特定部において認識した領域を重ねて表示する表示部をさらに含んでもよい。この場合、表示部における対象物の視認性が増すので、対象物をモニタしたりする場合に都合がよい。

第１特徴量と第２特徴量とが、異なった種類の特徴量であってもよい。この場合、特徴量の種類に応じた長所・短所を考慮して、各方向に沿った領域の特徴量の種類を適宜選択できるので、より少ない演算量、より高い精度による対象物の位置認識を実現しうる。

認識部において認識した領域をもとに、撮像された画像のうちの注目部分を設定する設定部をさらに含んでもよい。分割部は、設定部において注目部分を設定した後に入力された画像を、設定部において設定した注目部分について狭く分割し、該注目部分以外の部分について広く分割してもよい。この場合、注目領域を狭く分割するので、注目領域内における対象物の位置を精度よく認識できる。また、対象物がほとんど存在しない部分を広くしながら分割するので、演算量を減少できる。

認識部において認識した領域における距離情報を取得する距離情報取得部と、距離情報取得部において取得した距離情報をもとに対象物の距離を特定する距離特定部と、をさらに含んでもよい。入力部において入力した画像は、各画素値が距離情報を示す距離画像であり、認識部において認識した領域における距離情報をもとに、対象物の距離を特定する距離特定部をさらに含んでもよい。この場合、対象物の距離を特定できるので、対象物認識装置としての適用範囲が広がる。

認識部において認識した領域における熱情報を取得する熱情報取得部と、熱情報取得部において取得した熱情報をもとに対象物の温度を特定する温度特定部と、をさらに含んでもよい。入力部において入力した画像は、各画素値が熱情報を示す熱画像であり、認識部において認識した領域における熱情報をもとに、対象物の温度を特定する温度特定部をさらに含んでもよい。この場合、温度は明るさに影響されないので、対象物が存在しうる場所の明るさの違いによる影響を軽減できる。

認識部において認識した領域と、距離特定部において特定した距離と、をもとに、対象物の姿勢を特定する姿勢特定部をさらに含んでもよい。認識部において認識した領域と、温度特定部において特定した温度と、をもとに、対象物の姿勢を特定する姿勢特定部をさらに含んでもよい。この場合、対象物の姿勢を特定できるので、対象物認識装置としての適用範囲が広がる。

本発明のさらに別の態様は、画像処理装置である。この装置は、対象物が存在しうる場所が撮像された画像を順次入力する入力部と、入力部において入力した画像内において対象物が位置する領域を特定する位置特定部と、入力部において入力した画像のデータを符号化する符号化部と、符号化部において符号化した画像のデータと、位置特定部において特定した対象物が位置する領域に関するデータと、が含められたストリームを生成する生成部と、を含む。

この態様によると、生成されたストリームには、画像データと位置データとが含められるので、ストリームを再生する再生装置に対して、画像中の対象物を容易に抽出させることができ、対象物が出現した画像や対象物が移動した軌跡を容易に特定させうる。

位置特定部は、入力部において入力した少なくとも２枚の画像のそれぞれを複数の領域に分割する分割部と、分割部において分割した複数の領域のそれぞれについて、領域内の各画素の画素値をもとに当該領域の特徴量を導出する演算部と、演算部において導出した特徴量を、少なくとも２枚の画像間において領域を単位にして比較する比較部と、比較部での領域を単位にした比較の結果をもとに、対象物が位置する領域を認識する認識部と、を含んでもよい。この場合、少ない演算量により対象物の位置を認識できるので、画像処理を高速化できる。

本発明の別の態様もまた、画像処理装置である。この装置は、対象物が存在しうる場所が撮像された画像を順次入力する入力部と、入力部において入力した画像のそれぞれに対して、第１方向に沿った複数の第１領域への分割を実行する第１分割部と、入力部において入力した画像のそれぞれに対して、第１方向と異なった第２方向に沿った複数の第２領域への分割を実行する第２分割部と、第１分割部において分割した複数の第１領域のそれぞれについて、第１領域内の各画素の画素値をもとに当該領域の第１特徴量を導出する第１演算部と、第２分割部において分割した複数の第２領域のそれぞれについて、第２領域内の各画素の画素値をもとに当該領域の第２特徴量を導出する第２演算部と、第１演算部において導出した第１特徴量を、少なくとも２枚の画像間において領域を単位にして比較する第１比較部と、第２演算部において導出した第２特徴量を、少なくとも２枚の画像間において領域を単位にして比較する第２比較部と、第１比較部および第２比較部での領域を単位にした比較の結果をもとに、対象物が位置する領域を認識する認識部と、入力部において入力した画像のデータを符号化する符号化部と、符号化部において符号化した画像のデータと、認識部において認識した領域に関するデータと、が含められたストリームを生成する生成部と、を含む。

認識部は、第１比較部での領域を単位にした比較の結果をもとに、複数の第１領域のうちの対象物が位置すべき第１領域を特定する第１特定部と、第２比較部での領域を単位にした比較の結果をもとに、複数の第２領域のうちの対象物が位置すべき第２領域を特定する第２特定部と、第１特定部において特定した第１領域と、第２特定部において特定した第２領域とが重なった範囲を特定することにより対象物が位置する領域を認識する第３特定部と、を含んでもよい。また、入力部において入力した画像に、第３特定部において認識した領域と、を重ねて表示する表示部をさらに含んでもよい。また、第１特徴量と第２特徴量とが、異なった種類の特徴量であってもよい。また、認識部において認識した領域をもとに、撮像された画像のうちの注目部分を設定する設定部をさらに含んでもよい。分割部は、設定部において注目部分を設定した後に入力された画像を、設定部において設定した注目部分について狭く分割し、該注目部分以外の部分について広く分割してもよい。また、入力部において入力した画像は、各画素値が距離情報を示す距離画像であり、認識部において認識した領域における距離情報をもとに、対象物の距離を特定する距離特定部をさらに含んでもよい。また、入力部において入力した画像は、各画素値が熱情報を示す熱画像であってもよい。

本発明のさらに別の態様は、対象物認識方法である。この方法は、対象物が存在しうる場所が撮像された第１画像を複数の領域に分割するステップと、分割するステップにおいて分割した複数の領域のそれぞれについて、領域内の各画素の画素値をもとに当該領域の特徴量を導出するステップと、第１画像と時間を隔てて撮像した第２画像であって、かつ、対象物が存在しうる場所を撮像した第２画像を複数の領域に分割するステップと、分割するステップにおいて分割した複数の領域のそれぞれについて、領域内の各画素の画素値をもとに当該領域の特徴量を導出するステップと、第１画像および第２画像における特徴量を領域を単位にして比較するステップと、比較するステップでの領域を単位にした比較の結果をもとに、対象物が位置する領域を認識するステップと、を含む。

この態様によると、複数の領域のそれぞれにおける画像情報を、各領域を代表する特徴量として表し、２枚の画像間において特徴量を領域単位で比較するので、画素値そのものを比較する場合より少ない演算量で対象物の位置を認識できる。

本発明のさらに別の態様もまた、対象物認識方法である。この方法は、対象物が存在しうる場所を撮像した第１画像を第１方向に沿った複数の領域に分割するステップと、分割するステップにおいて分割した第１方向に沿った複数の領域のそれぞれについて、領域内の各画素の画素値をもとに当該領域の特徴量を導出するステップと、第１画像を第１方向と異なった第２方向に沿った複数の領域に分割するステップと、分割するステップにおいて分割した第２方向に沿った複数の領域のそれぞれについて、領域内の各画素の画素値をもとに当該領域の特徴量を導出するステップと、第１画像と時間を隔てて撮像した第２画像であって、かつ、対象物が存在しうる場所を撮像した第２画像を第１方向に沿った複数の領域に分割するステップと、分割するステップにおいて分割した第１方向に沿った複数の領域のそれぞれについて、領域内の各画素の画素値をもとに当該領域の特徴量を導出するステップと、第２画像を第１方向と異なった第２方向に沿った複数の領域に分割するステップと、分割するステップにおいて分割した第２方向に沿った複数の領域のそれぞれについて、領域内の各画素の画素値をもとに当該領域の特徴量を導出するステップと、第１画像および第２画像における第１方向に沿った各領域の特徴量を領域を単位にして比較し、第１画像および第２画像における第２方向に沿った各領域の特徴量を領域を単位にして比較するステップと、比較するステップでの領域を単位にした比較の結果をもとに、対象物が位置する領域を認識するステップと、を含む。

この態様によると、複数の第１領域のそれぞれにおける画像情報と、複数の第２領域のそれぞれにおける画像情報とを、各領域を代表する特徴量として表し、２枚の画像間において特徴量を領域単位で比較するので、画素値そのものを比較する場合より少ない演算量で対象物の位置を認識できる。また、２枚の画像間において異なった２方向に沿った各領域の特徴量を領域単位で比較するので、高い精度により対象物の位置を認識できる。

なお、以上の構成要素の任意の組合せ、本発明の表現を、方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、少ない演算量であっても対象物の位置を認識できる。

本発明を具体的に説明する前に、概要を述べる。実施の形態は、人などの対象物が出入りする室内の天井からカメラなどの撮像デバイスによって撮像した画像をもとに、対象物の位置などを認識する対象物認識装置に関する。対象物は、たとえば人や動物などの動体である。実施の形態において、撮像デバイスにより連続的に撮像した画像は、異なった２以上の方向に沿った領域に分割される。分割された領域のそれぞれについて、領域内の各画素の画素値をもとにその領域の特徴量が導出される。この導出処理により、分割された領域のそれぞれにおける画像情報は、特徴量として圧縮されるので情報量を減少できる。導出された特徴量は、時間を隔てた２枚の画像間において領域を単位にして比較される。ここで、圧縮した特徴量同士が比較されるので、少ない演算量で比較処理できる。比較の結果をもとに対象物の位置が認識される。少ない演算量で比較処理できるので、位置認識を高速化できる。

図１は、実施の形態にかかる対象物認識装置１００の構成を示す。ここに示す各ブロックは、ハードウェア的には、プロセッサ、ＲＡＭなどの各種素子や、センサなどの各種デバイスで実現でき、ソフトウェア的にはコンピュータプログラムなどによって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

対象物認識装置１００は、撮像部１０２と、第１分割部１１０ａと、第２分割部１１０ｂと、第１演算部１２０ａと、第２演算部１２０ｂと、第１比較部１３０ａと、第２比較部１３０ｂと、認識部１４０と、表示部１６０と、設定部１７０と、を含む。撮像部１０２は、カメラ１０４と、処理部１０６と、を含む。認識部１４０は、第１特定部１５０ａと、第２特定部１５０ｂと、第３特定部１５２と、を含む。

カメラ１０４は、対象物が存在しうる場所を順次撮像し、撮像した画像を電気信号に変換する。処理部１０６は、カメラ１０４において変換した信号を、たとえば２値化や２５６値化などのデジタル化をする。２値化の場合、たとえば、所定の閾値以内の距離を黒、所定の閾値より遠い距離を白と判定し、黒を０または１、白を１または０と表す。第１分割部１１０ａは、処理部１０６においてデジタル化した画像に対して、第１方向に沿った複数の第１領域への分割を実行する。第２分割部１１０ｂは、処理部１０６においてデジタル化した画像に対して、第１方向と異なった第２方向に沿った複数の第２領域への分割を実行する。

図２は、図１のカメラ１０４において撮像した画像と、第１分割部１１０ａにおいて分割した複数の第１領域とを重ねて示す。図３は、図１のカメラ１０４において撮像した画像と、第２分割部１１０ｂにおいて分割した複数の第２領域とを重ねて示す。これらの図において、ｘ軸方向が第１方向に相当し、ｙ軸方向が第２方向に相当する。また、ｘ軸、ｙ軸は直交しており、画像内の任意の画素は、ｘ軸上における位置およびｙ軸上における位置により特定される。なお、説明の便宜のため、対象物としての人のみを黒とし、他の部分は白としたが、実際には、撮像した場所に応じて様々な画像が得られる。図２において、破線で示された複数の領域は、第１領域である。以下、第１領域の総数をｙｍａｘとする。１≦ｙ≦ｙｍａｘ の範囲において、複数の第１領域のそれぞれに対してｙ座標が１つ対応する。図３において破線で示された複数の領域は、第２領域である。以下、第２領域の総数をｘｍａｘとする。１≦ｘ≦ｘｍａｘ の範囲において、複数の第２領域のそれぞれに対してｘ座標が１つ対応する。図１にもどる。

第１演算部１２０ａは、後述する演算により、第１分割部１１０ａにおいて分割した複数の第１領域のそれぞれについて、第１領域内の各画素の画素値をもとにその領域の第１特徴量を導出する。第２演算部１２０ｂは、後述する演算により、第２分割部１１０ｂにおいて分割した複数の第２領域のそれぞれについて、第２領域内の各画素の画素値をもとにその領域の第２特徴量を導出する。以下、第１演算部１２０ａおよび第２演算部１２０ｂにおける演算について述べる。

まず、第１演算部１２０ａおよび第２演算部１２０ｂは、各画素の勾配を算出する。勾配の算出方法としては、文献「コンピュータ画像処理、田村秀行編著、（株）オーム社、（ｐ１８２〜１９１）」に記載された手法を用いることができる。以下、簡単に説明する。デジタル画像を対象に勾配を計算するためには、ｘ方向およびｙ方向の１次の偏微分を計算する必要がある。
Δｘｆ（ｉ，ｊ）≡｛ｆ（ｉ＋１，ｊ）−ｆ（ｉ−１，ｊ）｝／２ …（式１）
Δｙｆ（ｉ，ｊ）≡｛ｆ（ｉ，ｊ＋１）−ｆ（ｉ，ｊ−１）｝／２ …（式２）

デジタル画像に対する差分オペレータでは、（ｉ，ｊ）の画素における微分値が（ｉ，ｊ）を中心とした３×３の近傍の画素の濃度値、すなわちｆ（ｉ±１，ｊ±１）の線形結合として定義される。このことは、画像の微分を求める計算は、３×３の加重マトリクスを用いた空間フィルタリングによって実現できることを意味し、種々の差分オペレータは３×３の加重マトリクスによって表現できる。以下では、（ｉ，ｊ）を中心とした３×３近傍を
ｆ（ｉ−１，ｊ−１） ｆ（ｉ，ｊ−１） ｆ（ｉ＋１，ｊ−１）
ｆ（ｉ−１，ｊ） ｆ（ｉ，ｊ） ｆ（ｉ＋１，ｊ） …（式３）
ｆ（ｉ−１，ｊ＋１） ｆ（ｉ，ｊ＋１） ｆ（ｉ＋１，ｊ＋１）
と考え、これに対する加重マトリクスによって差分オペレータを記述することができる。

たとえば、式１、式２で定義されるｘ、ｙ方向の１次偏微分オペレータは、
０ ０ ０ ０ −１／２ ０
−１／２ ０ １／２ および ０ ０ ０ …（式４）
０ ０ ０ ０ １／２ ０
と表現される。すなわち、式３と式４の３×３の矩形領域において、対応する位置の画素の値と行列の要素の値の積をそれぞれ求め、それらの和を計算すると、式１、式２の右辺と一致する。

勾配の大きさと方向は、式４の加重マトリクスで空間フィルタリングを行い、式１、式２で定義されるｘ、ｙ方向の偏微分を計算した後、
｜∇ｆ（ｉ，ｊ）｜＝√｛Δｘｆ（ｉ，ｊ）２＋Δｙｆ（ｉ，ｊ）２｝ …（式５）
θ＝ｔａｎ−１｛Δｙｆ（ｉ，ｊ）／Δｘｆ（ｉ，ｊ）｝ …（式６）
と求めることができる。
なお、上記差分オペレータには、ロバーツ・オペレータ、プリューウィット・オペレータ、ソーベル・オペレータなどを用いて、簡易に計算したり、ノイズ対策を施したりすることができる。

次に、第１演算部１２０ａおよび第２演算部１２０ｂは、式６で求めた勾配ベクトルの角度を２倍とした場合のｘ成分およびｙ成分からなる１組の数値を求める。この処理をする理由は以下の通りである。濃淡レベルの境界線（以下、単に「境界線」という）が同じ方向を向いている点における勾配ベクトルは、境界線前後における濃淡レベルにより１８０°向きが異なる。したがって、後述する処理において、各ライン状の領域を単位にしてその領域内の各画素の勾配ベクトルをそのまま足し合わせると、境界線が同じ方向を向いている点における勾配ベクトル同士が打ち消しあうことになる。そこで、勾配ベクトルと座標軸のなす角度が２倍になるように勾配ベクトルを回転させて、ｘ成分、ｙ成分からなる１組の数値を求めることにより、境界線が同じ方向を向いている点における勾配ベクトルを、同じ成分をもつ一意の数値の組で表現できる。たとえば、４５°、２２５°は、ちょうど反対方向であるが、２倍にすると、９０°、４５０°となり、一意の方向を示すようになる。ここで、ｘ成分、ｙ成分からなる１組の数値は、ある座標系で、勾配ベクトルを一定の規則で回転させたものである。以下、本明細書中では、この１組の数値を「変換値」と表記する。変換値を求めておけば、後述する処理において、各ライン状の領域を単位にしてその領域内の各画素の勾配ベクトルをそのまま足し合わせたりすることができる。

第１演算部１２０ａは、各第１領域のそれぞれについて、各画素ごとに求めた変換値を足し合わせた値（以下、「第１特徴値」という）を求める。以下、任意の第１特徴値をＶ１（ｙ）と表記する。たとえば、Ｖ１（１）は、図２のｙ＝１における第１特徴値を意味する。第１特徴値Ｖ１（ｙ）は、たとえば以下の式より求められる。
Ｖ１ｘ（ｙ）＝Ａｘ（０，ｙ）＋Ａｘ（１，ｙ）＋Ａｘ（２，ｙ）＋・・
・・＋Ａｘ（ｘｍａｘ，ｙ） …（式７）
Ｖ１ｙ（ｙ）＝Ａｙ（０，ｙ）＋Ａｙ（１，ｙ）＋Ａｙ（２，ｙ）＋・・
・・＋Ａｙ（ｘｍａｘ，ｙ） …（式８）
ここで、Ｖ１ｘ（ｙ）およびＶ１ｙ（ｙ）は、第１特徴値Ｖ１（ｙ）のｘ成分およびｙ成分を表す。Ａｘ（ｘ，ｙ）およびＡｙ（ｘ，ｙ）は、座標（ｘ，ｙ）における変換値のｘ成分およびｙ成分を表す。なお、第１特徴値Ｖ１（ｙ）の導出は、上記で示される加算に限らず、乗算、平均などの演算によってもよい。

導出した第１特徴値Ｖ１（ｙ）は、各第１領域における第１特徴量に相当する。この第１特徴量は、第１領域における境界線の方向の累積を示すような値であり、各領域について１つ定められる。したがって、任意のｙ座標について、そのｙ座標に対応する第１領域の第１特徴量、すなわち、第１特徴値Ｖ１（ｙ）と、第１特徴値Ｖ１（ｙ）のｘ成分およびｙ成分とが定まる。つまり、第１特徴値Ｖ１（ｙ）と、第１特徴値Ｖ１（ｙ）のｘ成分およびｙ成分と、はそれぞれｙの関数として与えられる。このように、各第１領域の画像情報は、ｙ軸に関する情報として与えられる第１特徴値Ｖ１（ｙ）、またはそのｘ成分およびｙ成分として圧縮される。
また、第１演算部１２０ａは、ｙの関数として与えられる第１特徴値Ｖ１（ｙ）のｘ成分およびｙ成分の分布を導出する。

同様に、第２演算部１２０ｂは、各第２領域のそれぞれについて、各画素ごとに求めた変換値を足し合わせた値（以下、「第２特徴値」という）を求める。以下、任意の第２特徴値をＶ２（ｘ）と表記する。第２特徴値Ｖ２（ｘ）は、たとえば以下の式より求められる。
Ｖ２ｘ（ｘ）＝Ａｘ（ｘ，０）＋Ａｘ（ｘ，１）＋Ａｘ（ｘ，２）＋・・
・・＋Ａｘ（ｘ，ｙｍａｘ） …（式９）
Ｖ２ｙ（ｘ）＝Ａｙ（ｘ，０）＋Ａｙ（ｘ，１）＋Ａｙ（ｘ，２）＋・・
・・＋Ａｙ（ｘ，ｙｍａｘ） …（式１０）
ここで、Ｖ２ｘ（ｘ）およびＶ２ｙ（ｘ）は、第２特徴値Ｖ２（ｘ）のｘ成分およびｙ成分を表す。なお、第２特徴値Ｖ２（ｘ）の導出は、上記で示される加算に限らず、乗算、平均などの演算によってもよい。導出した第２特徴値Ｖ２（ｘ）も、上述の第１特徴値と同様の性質をもつ。第２演算部１２０ｂは、ｘの関数として与えられる第２特徴値Ｖ２（ｘ）のｘ成分およびｙ成分の分布を導出する。

図４は、図２で示される画像について導出した第１特徴値Ｖ１（ｙ）の例を示す。Ｖ１ｘ（ｙ）およびＶ１ｙ（ｙ）は、上述のように、第１特徴値Ｖ１（ｙ）のｘ成分およびｙ成分を表す。図２の、１≦ｙ≦ｙｍａｘ の各ｙ座標に対応する第１領域のそれぞれについて、図４に示されるような第１特徴値Ｖ１（ｙ）が導出される。図５は、図３に示される画像について導出した第２特徴値Ｖ２（ｘ）の例を示す。Ｖ２ｘ（ｘ）およびＶ２ｙ（ｘ）は、上述のように、第２特徴値Ｖ２（ｘ）のｘ成分およびｙ成分を表す。図３の、１≦ｘ≦ｘｍａｘ の各ｘ座標に対応する第２領域のそれぞれについて、図５に示されるような第２特徴値Ｖ２（ｘ）が導出される。

図６は、図２で示される画像について導出した第１特徴値Ｖ１（ｙ）のｘ成分およびｙ成分の分布を示す。図７は、図３に示される画像について導出した第２特徴値Ｖ２（ｘ）のｘ成分およびｙ成分の分布を示す。以下、これらの分布を必要に応じて「特徴量分布」と表記する。図６で、ｙ＞１５ おいて第１特徴値のｘ成分およびｙ成分は、値を持たない。これは、図２に示されるように、ｙ＞１５ における第１領域は、白一色で画素値に変化がないためである。図７で、ｘ＞６ においては第２特徴値のｘ成分およびｙ成分が値を持たないのも、同様の理由による。図１にもどる。

第１比較部１３０ａは、第１演算部１２０ａにおいて導出した第１特徴値Ｖ１（ｙ）のｘ成分Ｖ１ｘ（ｙ）およびｙ成分Ｖ１ｙ（ｙ）の分布を、時間を隔てた２枚の画像間において領域を単位にして比較する。具体的には、たとえば差分を導出する。この差分を、以下、「第１差分」と表記する。第２比較部１３０ｂは、第２演算部１２０ｂにおいて導出した第２特徴値Ｖ２（ｘ）のｘ成分Ｖ２ｘ（ｘ）およびｙ成分Ｖ２ｙ（ｘ）の分布を、時間を隔てた２枚の画像間において領域を単位にして比較する。具体的には、たとえば差分を導出する。この差分を、以下、「第２差分」と表記する。

図８は、図１のカメラ１０４において、時間Δｔを隔てて撮像した２枚の画像を重ねて示す。人１８ａおよび人１８ｂは、同一の対象物であるが、撮像された時刻が異なる。すなわち、人１８ｂの位置は、人１８ａの時間Δｔ後の位置である。このように対象物が移動した場合、第１差分は、ｃ≦ｙ≦ｄ の範囲でゼロ以外の値を持つ。第２差分は、ａ≦ｘ≦ｂ の範囲でゼロ以外の値を持つ。図１にもどる。
第１特定部１５０ａは、第１比較部１３０ａにおける比較により導出された第１差分の分布をもとに、複数の第１領域のうちの対象物が位置すべき第１領域を特定する。具体的には、図８において第１差分がゼロ以外の値を持つ、ｃ≦ｙ≦ｄ の範囲における第１領域を、対象物が位置する第１領域として特定する。第２特定部１５０ｂは、第２比較部１３０ｂにおける比較により導出された第２差分の分布をもとに、複数の第２領域のうちの対象物が位置すべき第２領域を特定する。具体的には、図８において第２差分がゼロ以外の値を持つ、ａ≦ｘ≦ｂ の範囲における第２領域を、対象物が位置する第２領域として特定する。第３特定部１５２は、第１特定部１５０ａにおいて特定した第１領域と、第２特定部１５０ｂにおいて特定した第２領域とが重なった領域（以下「重複領域」という）を特定することにより対象物が位置する領域を認識する。具体的には、図８の、ａ≦ｘ≦ｂ、ｃ≦ｙ≦ｄ で示される重複領域を特定し、その領域を対象物が位置する領域であると認識する。

設定部１７０は、第３特定部１５２において特定した重複領域の情報を一定量蓄積し、蓄積した情報をもとに撮像した画像における注目部分を設定する。たとえば、ｘ軸方向とｙ軸方向のそれぞれについて、対象物が頻繁に位置する領域を特定し、特定した領域を注目部分に設定する。設定した注目部分の情報は第１分割部１１０ａおよび第２分割部１１０ｂに入力される。すなわち、ｙ軸方向について対象物が頻繁に位置する領域をｙ軸方向についての注目部分として第１分割部１１０ａに入力し、ｘ軸方向について対象物が頻繁に位置する領域をｘ軸方向についての注目部分として第２分割部１１０ｂに入力する。また、あらかじめ注目すべき部分が分かっているなどの場合は、図示しない入力部から設定部１７０、または第１分割部１１０ａおよび第２分割部１１０ｂに注目部分の情報を入力してもよい。図９（ａ）−（ｂ）は、図１の設定部１７０において設定した注目部分１２とそれ以外の部分における画像の分割幅を示す。第１分割部１１０ａおよび第２分割部１１０ｂは、設定部１７０より注目部分１２の情報が入力された後は、撮像した画像における注目部分１２については分割幅を狭くし、注目部分１２以外の部分については分割幅を広くする。また、注目部分１２からそれ以外の部分にかけて、分割幅を段階的に広くしてもよい。図１にもどる。
表示部１６０は、処理部１０６においてデジタル化した画像と、第３特定部１５２において認識した重複領域とを重ねて表示する。具体的には、撮像した画像を、対象物が位置する領域を線で囲むなどして明示し、表示する。

以上の構成による対象物認識装置１００の動作を述べる。図１０は、図１の対象物認識装置１００の動作を示すフローチャートである。カメラ１０４は、対象物が存在しうる場所を順次撮像し、撮像した画像を電気信号に変換する（Ｓ１０）。処理部１０６は、その信号をデジタル化する（Ｓ１２）。第１分割部１１０ａおよび第２分割部１１０ｂは、設定部１７０から注目部分の情報の入力があるか否かを判断する（Ｓ１４）。注目部分の情報の入力がない場合、第１分割部１１０ａは、デジタル化した画像を第１方向に沿った複数の第１領域に分割し、第２分割部１１０ｂは、デジタル化した画像を第２方向に沿った複数の第２領域に分割する（Ｓ１６）。注目部分の情報の入力がある場合、第１分割部１１０ａおよび第２分割部１１０ｂは、画像を複数の第１領域および第２領域に分割するが、注目部分について狭く分割し、注目部分以外の部分について広く分割する（Ｓ１８）。

第１演算部１２０ａおよび第２演算部１２０ｂは、各画素の勾配を算出する（Ｓ２０）。次に、算出した勾配の角度を２倍にして得られる１組の数値である変換値を求める（Ｓ２２）。第１演算部１２０ａおよび第２演算部１２０ｂは、分割した各第１領域および各第２領域のそれぞれについて、各画素値における変換値を加算し、第１特徴値Ｖ１（ｙ）および第２特徴値Ｖ２（ｘ）を導出する（Ｓ２４）。次に、第１演算部１２０ａおよび第２演算部１２０ｂは、第１特徴値Ｖ１（ｙ）のｘ成分Ｖ１ｘ（ｙ）とｙ成分Ｖ１ｙ（ｙ）の分布、および、ｘの関数として与えられる第２特徴値Ｖ２（ｘ）のｘ成分Ｖ２ｘ（ｘ）とｙ成分Ｖ２ｙ（ｘ）の分布を導出する（Ｓ２６）。

第１比較部１３０ａおよび第２比較部１３０ｂは、導出した特徴量分布を、時間を隔てて撮像した画像間において比較し、第１差分および第２差分を導出する（Ｓ２８）。第１特定部１５０ａおよび第２特定部１５０ｂは、導出した第１差分および第２差分がゼロ以外の値を持つ範囲における第１領域および第２領域を、対象物が位置する第１領域および第２領域として特定する（Ｓ３０）。第３特定部１５２は、第１特定部１５０ａにおいて特定した第１領域と、第２特定部１５０ｂにおいて特定した第２領域とが重なった領域を特定することにより対象物が位置する領域を認識する（Ｓ３２）。設定部１７０は、第３特定部１５２において特定した重複領域の情報を一定量蓄積し、蓄積した情報をもとに撮像した画像における注目部分を設定し、設定した注目部分の情報を第１分割部１１０ａおよび第２分割部１１０ｂに入力する（Ｓ３４）。表示部１６０は、撮像部１０２において撮像した画像と、第３特定部１５２において認識した重複領域とを重ねて表示する（Ｓ４０）。

以上の説明した対象物認識装置１００よれば、第１演算部１２０ａにおける演算処理により、各第１領域の画像情報は、ｙ軸に関する特徴量分布として圧縮されるので情報量を減少できる。同様に、第２演算部１２０ｂにおける演算処理により、各第２領域の画像情報は、ｘ軸に関する特徴量分布として圧縮されるので、情報量を減少できる。また、第１演算部１２０ａおよび第２演算部１２０ｂにおいて、特徴量は、各画素ごとに求めた変換値を足し合わせたり平均をとることにより導出されるので、ノイズ除去が可能となる。

また、第１比較部１３０ａおよび第２比較部１３０ｂにおいては、時間を隔てて撮像した画像における各特徴量分布同士の差分を導出するので、少ない演算量で比較処理できる。すなわち、位置認識の高速化を図りうる。また、第１比較部１３０ａおよび第２比較部１３０ｂにおいて、異なった２方向についてそれぞれ特徴量分布を比較するので、位置認識の精度が高い。また、認識した位置における特徴量を対象物の特徴量として扱うことも可能となる。また、第１分割部１１０ａおよび第２分割部１１０ｂは、設定部１７０から取得した注目部分の情報をもとに、撮像した画像における注目部分を狭く分割するので、注目部分における対象物の位置認識の精度を向上しうる。また、注目部分以外の部分を広く分割するので、情報量を減少できる。表示部１６０は、撮像した画像と、対象物が位置する領域とを重ねて表示するので、対象物の視認性がよい。

さらに、対象物認識装置１００を画像処理装置に応用してもよい。以下、その応用例について述べる。図１１は、実施の形態の応用例にかかる画像処理装置５００の構成を示す。画像処理装置５００は、対象物認識装置１００と、符号化部２００と、生成部３００と、記憶部３２０と、を含む。対象物認識装置１００の構成、動作は上述の通りである。符号化部２００は、処理部１０６においてデジタル化した画像のデータを、たとえばＭＰＥＧ（Moving Picture Expert Group）規格に準拠した符号化方法により符号化する。生成部３００は、符号化部２００において符号化した画像データと、第３特定部１５２において特定した重複領域についての位置データとが含められたストリームを生成する。生成部３００は、第１演算部１２０ａおよび第２演算部１２０ｂにおいて導出した特徴量分布のデータがさらに含められたストリームを生成してもよい。あるいは、位置データに代えて前述の特徴量分布のデータを含めてもよい。記憶部３２０は、生成部３００において生成したストリームを記憶する。

図１２は、図１１の生成部３００において生成したストリームの配列を示す。図１２において、Ａは符合化された画像データを示す。ひとかたまりの画像データＡは、時間を隔てて撮像した複数枚の画像のデータを含む。Ｂは、複数枚の画像のデータについて第３特定部１５２において特定した重複領域についての位置データを示す。たとえば、ひとかたまりの画像データＡが、図８において重ねて示した２枚の画像のデータである場合、重複領域は、ａ≦ｘ≦ｂ、ｃ≦ｙ≦ｄ で示されるので、位置データＢは、座標（ａ，ｃ）と座標（ｂ，ｄ）、あるいは、座標（ａ，ｄ）と座標（ｂ，ｃ）を含めばよい。Ｃは、第１演算部１２０ａおよび第２演算部１２０ｂにおいて導出した特徴量分布のデータを示す。生成部３００は、画像データと、位置データと、特徴量分布のデータとの間にそれぞれ既知信号を挿入するなどして、各データの境界を示してもよい。

図１３は、図１２に示されるストリームを再生し表示する再生装置５５０の構造を示す。再生装置５５０は、分離部４２０と、復号部４３０と、モニタ４４０と、を含む。図１２に示されるストリームは、分離部４２０に入力される。分離部４２０は、入力されたストリームから画像データと、位置データと、特徴量分布に関するデータとを分離する。上述のように、画像データと、位置データと、特徴量分布のデータとの間にそれぞれ既知信号が挿入されていれば、その既知信号をもとに分離することができる。復号部４３０は、分離された画像データを、符号化方法に対応した復号方法により復号する。モニタ４４０は、復号した画像データから得られる画像と、位置データから特定される領域とを、それぞれの座標を対応づけながら重ねて表示する。

上記の応用例によれば、生成部３００は、符号化した画像データと、対象物が位置する領域についての位置データと、が含められたストリームを生成するので、再生装置５５０においては、生成したストリームから容易に画像内の対象物を抽出できる。また、対象物の出現シーンや対象物の移動の軌跡を高速にサーチできるので、画像処理装置５００を、たとえば監視カメラなどに適用した場合、膨大な監視映像の中から不審者を容易にサーチできる。

さらに、カメラ１０４は、画像として通常の画像に代えて、またはこれに加えて、各画素値がカメラ１０４との距離情報を示す距離画像を撮像することもできる。距離画像を撮像した場合、対象物認識装置１００は、姿勢特定部をさらに含めることで、対象物の位置のみならず姿勢も認識しうる。以下、姿勢特定部の動作について述べる。図示しない姿勢特定部は、図１において処理部１０６と、第３特定部１５２とに接続される。姿勢特定部は、まず、第３特定部１５２において特定した重複領域における画素値を処理部１０６より取得し、カメラ１０４と対象物との距離を特定する。次に、後述するように、特定した距離をもとに対象物の姿勢を特定する。図１４は、実施の形態の応用例として、部屋２において対象物の姿勢を特定する方法を示す。カメラ１０４は、部屋２の天井に設置されている。Ｌ１は、カメラ１０４と対象物１４との距離を示す。Ｌ２は、カメラ１０４と対象物１６との距離を示す。なお、図１４において、対象物認識装置１００のうち、カメラ１０４のみを図示し、他の部分は省略した。姿勢特定部は、たとえば、対象物が位置する領域における画素値より特定した距離が閾値Ｌｚと比較して遠ければ寝た姿勢であると特定し、近ければ起立した姿勢であると特定する。閾値Ｌｚは、カメラ１０４が設置される高さなどにより適宜決められる。具体的には、Ｌ１＜Ｌｚ＜Ｌ２である場合、図１４において、対象物１４についてはカメラ１０４からの距離Ｌ１が閾値Ｌｚと比較して近いので立っていると判断する。対象物１６についてはカメラ１０４からの距離Ｌ２が閾値Ｌｚと比較して遠いので寝ていると判断する。この場合、画像として距離画像を用いたので、姿勢特定部において、距離情報と対象物の位置情報をもとに対象物の姿勢を特定できる。このため、対象物認識装置１００の適用範囲が広がる。また、対象物認識装置１００を天井に設置して、カメラ１０４で撮像した画像から対象物の姿勢を特定してもよい。また、カメラ１０４とは別に図示しない距離センサを設け、姿勢特定部は、距離センサにおいて取得した距離情報をもとに、カメラ１０４と対象物との距離を特定してもよい。

上述のように姿勢特定部を含む場合、対象物認識装置１００を環境制御装置に応用してもよい。以下、その応用例について述べる。図１５は、実施の形態の応用例にかかる環境制御装置９００の構成を示す。環境制御装置９００は、第１対象物認識装置６００ａと、第２対象物認識装置６００ｂと、第１カメラ６０２ａと、第２カメラ６０２ｂと、第１取得部６２０ａと、第２取得部６２０ｂと、第１調節部６３０ａと、 第２調節部６３０ｂと、情報モニタ６５０と、制御部７００と、を含む。第１対象物認識装置６００ａおよび第２対象物認識装置６００ｂは、上述した対象物認識装置１００と同様の構成なので、ここでは詳細な説明を省略する。なお、説明を明確にするため、第１カメラ６０２ａおよび第２カメラ６０２ｂについては、第１対象物認識装置６００ａおよび第２対象物認識装置６００ｂとは別に表示した。

第１対象物認識装置６００ａは、第１の部屋４における対象物の位置、姿勢を認識する。第２対象物認識装置６００ｂは、第２の部屋６における人の位置、姿勢を認識する。第１取得部６２０ａは、第１の部屋４の環境情報を取得する。第２取得部６２０ｂは、第２の部屋６の環境情報を取得する。第１取得部６２０ａおよび第２取得部６２０ｂは、たとえば温度センサや湿度センサなどで構成できる。環境情報とは、温度、湿度、照明強度、家電の稼働状況その他の情報であってもよい。第１調節部６３０ａは、第１の部屋４の環境を調節する。第２調節部６３０ｂは、第２の部屋６の環境を調節する。情報モニタ６５０は、第１対象物認識装置６００ａと、第１取得部６２０ａと、第２対象物認識装置６００ｂと、第２取得部６２０ｂとにおいて得られた第１の部屋４および第２の部屋６のそれぞれにおける対象物の位置、姿勢、環境情報を併せて表示する。図１６は、図１５の情報モニタ６５０における表示の例を示す。情報モニタ６５０は、第１の部屋４および第２の部屋６のそれぞれの画像、対象物の位置、気温、湿度、冷房強度、照明強度を表示する。図１５にもどる。

制御部７００は、第１対象物認識装置６００ａおよび第２対象物認識装置６００ｂにおいて認識した対象物の位置と姿勢、第１取得部６２０ａおよび第２取得部６２０ｂにおいて取得した環境情報をもとに、第１調節部６３０ａおよび第２調節部６３０ｂの動作を制御する。たとえば、第２の部屋６において対象物が寝ていて、第２の部屋６の照明がｏｎである場合、制御部７００は照明をｏｆｆにするよう第２調節部６３０ｂを制御してもよい。また、図１５に示されるように、第１の部屋４には多くの対象物が存在し、第２の部屋６には単一の対象物しかいない場合、制御部７００は、たとえば、第１の部屋４の冷房の強度を第２の部屋６の冷房の強度より大きくするなどのように第１調節部６３０ａおよび第２調節部６３０ｂを制御してもよい。なお、対象物の数は、認識した位置の数より容易に分かる。この応用例によれば、異なった２つの場所の相対的な情報も利用してそれぞれの場所の環境を制御できるので、１つの場所を単独で制御するより高精度に環境を制御できる。

上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
実施の形態において、対象物認識装置１００は、撮像部１０２を含んだが、これには限定されない。画像は別のところから取得してもよい。要は画像が入力されればよい。また、カメラ１０４は、画像として、濃淡、輝度、色情報などの可視情報を示す通常の画像や各画素値が距離情報を示す距離画像を撮像したが、これには限定されない。カメラ１０４は、各画素値が熱情報を示す熱画像を撮像してもよい。またこれらの画像を２つ以上撮像してもよい。要するに、カメラ１０４は、各画素値が、濃淡、輝度、色情報、距離情報、熱情報その他の局所的な画像情報を有する画像を撮像すればよい。熱画像を用いた場合、撮像する場所の明るさによる影響を軽減できる。さらに、複数種の画像を撮像した場合、第１分割部１１０ａに入力する画像の種類と第２分割部１１０ｂに入力する画像の種類とを異にしてもよい。これによれば、第１演算部１２０ａより導出される特徴量と、第２演算部１２０ｂより導出される特徴量とは異なった種類となるので、それぞれの画像の長所・短所を考慮して、より高い精度の位置認識が可能となる。なお、熱画像は、たとえば、赤外線サーモグラフィ装置を用いて撮像できる。また、カメラ１０４とは別に赤外線センサなどの温度センサを設けてもよい。姿勢特定部は、温度センサにおいて取得した熱情報をもとに対象物の温度を特定してもよい。認識部１４０において認識した領域と、温度特定部において特定した温度をもとに、対象物の姿勢を特定してもよい。

また、実施の形態においては、異なった２方向として互いに垂直なｘ軸方向、ｙ軸方向を選んだが、これには限定されない。異なった２方向の例としては、垂直方向、水平方向、斜め４５°方向、斜め１３５°方向の中から選択した組合せ、径方向、角度方向の組合せなどが一般的である。しかし、これらに限られず、第１分割部１１０ａおよび第２分割部１１０ｂにおいては、画像を任意の異なった２方向に沿った領域に分割できる。画像を径方向および角度方向にそれぞれ等間隔に分割した場合、中心部分は、中心から離れた部分より狭く分割されるので、対象物が頻繁に移動する領域を中心部分にすることで高精度の位置認識が可能となる。さらに、分割する方向は異なった２方向にも限られない。１方向でもよいし、３方向以上でもよい。分割する方向の数を増やせば位置認識の精度を向上できるが、演算量は増える。分割する方向の数を減らせば演算量を少なくできるが位置認識の精度は落ちる。分割する方向の数は、目的・用途などに応じて適宜選択すればよい。さらに、方向に沿った領域に分割することにも限定されない。要するに、画像を複数の領域に分割すれのであれば、分割した領域の形状は限定されない。分割する領域の形状も、目的・用途などに応じて適宜選択すればよい。図１７（ａ）−（ｅ）は、変形例にかかる画像の分割例を示す。図１７（ａ）は、径方向に画像を分割した例を示す。図１７（ｂ）は、角度方向に画像を分割した例を示す。図１７（ｃ）は、曲線状に画像を分割した例を示す。図１７（ｄ）は、円状に画像を分割した例を示す。図１７（ｅ）は、画像を曲線状の領域と直線上の領域とに分割した例を示す。
また、第１分割部１１０ａは、図２に示されるように、同じ形状の複数の第１領域に分割したが、複数の第１領域は同じ形状である必要はない。図３における複数の第２領域についても同様である。

また、実施の形態においては、各画素における勾配ベクトルをもとに領域ごとの特徴量を導出したが、これには限定されない。第１演算部１２０ａおよび第２演算部１２０ｂは、各画素値そのものを加算、乗算または平均するなどして領域ごとの特徴量を導出してもよい。この場合、演算量を少なくできる。また、第１演算部１２０ａにおいては各画素における勾配ベクトルをもとに領域ごとの特徴量を導出し、第２演算部１２０ｂにおいては各画素値をもとに領域ごとの特徴量を導出してもよい。また、その逆であってもよい。第１演算部１２０ａおよび第２演算部１２０ｂがそれぞれどのように特徴量を導出するかは、目的・用途などに応じて適宜決めればよい。
また、実施の形態においては、時間を隔てて撮像した対象物が含まれた画像を比較したが、これには限定されない。第１比較部１３０ａおよび第２比較部１３０ｂは、時間を隔てて撮像した、対象物が含まれない画像と対象物が含まれた画像とを比較してもよい。この場合も対象物の位置を認識できる。

実施の形態にかかる対象物認識装置の構成を示す図である。 図１のカメラにおいて撮像した画像と、第１分割部において分割した複数の第１領域とを重ねて示す図である。 図１のカメラにおいて撮像した画像と、第２分割部において分割した複数の第２領域とを重ねて示す図である。 図２で示される画像について導出した第１特徴値Ｖ１（ｙ）の例を示す図である。 図３に示される画像について導出した第２特徴値Ｖ２（ｘ）の例を示す図である。 図２で示される画像について導出した第１特徴値Ｖ１（ｙ）のｘ成分およびｙ成分の分布を示す図である。 図３に示される画像について導出した第２特徴値Ｖ２（ｘ）のｘ成分およびｙ成分の分布を示す図である。 図１のカメラにおいて、時間Δｔを隔てて撮像した枚の画像を重ねて示す図である。 図９（ａ）−（ｂ）は、図１の設定部において設定した注目部分とそれ以外の部分における画像の分割幅を示す図である。 図１の対象物認識装置の動作を示すフローチャートである。 実施の形態の応用例にかかる画像処理装置の構成を示す図である。 図１１の生成部において生成したストリームの配列を示す図である。 図１２に示されるストリームを再生し表示する再生装置の構造を示す図である。 実施の形態の応用例として、部屋において対象物の姿勢を特定する方法を示す図である。 実施の形態の応用例にかかる環境制御装置の構成を示す図である。 図１５の情報モニタにおける表示の例を示す図である。 図１７（ａ）−（ｅ）は、変形例にかかる画像の分割例を示す図である。

符号の説明

１００ 対象物認識装置、 １０２ 撮像部、 １０４ カメラ、 １０６ 処理部、 １１０ａ 第１分割部、 １１０ｂ 第２分割部、 １２０ａ 第１演算部、 １２０ｂ 第２演算部、 １３０ａ 第１比較部、 １３０ｂ 第２比較部、 １４０ 認識部、 １５０ａ 第１特定部、 １５０ｂ 第２特定部、 １５２ 第３特定部、 １６０ 表示部、 １７０ 設定部、 ２００ 符号化部、 ３００ 生成部、 ３２０ 記憶部、 ４２０ 分離部、 ４３０ 復号部、 ４４０ モニタ、 ５００ 画像処理装置、 ５５０ 再生装置、 ６００ａ 第１対象物認識装置、 ６００ｂ 第２対象物認識装置、 ６０２ａ 第１カメラ、 ６０２ｂ 第２カメラ、 ６２０ａ 第１取得部、 ６２０ｂ 第２取得部、 ６３０ａ 第１調節部、 ６３０ｂ 第２調節部、 ６５０ 情報モニタ、 ７００ 制御部、 ９００ 環境制御装置。

Claims (4)

1. 対象物が存在しうる場所を時間を隔てて撮像した少なくとも２枚の画像を入力する入力部と、
   前記入力部において入力した少なくとも２枚の画像のそれぞれに対して、第１方向に沿った複数の第１領域への分割を実行する第１分割部と、
   前記入力部において入力した少なくとも２枚の画像のそれぞれに対して、第１方向と異なった第２方向に沿った複数の第２領域への分割を実行する第２分割部と、
   前記第１分割部において分割した複数の第１領域のそれぞれについて、第１領域内の各画素の画素値をもとに当該領域の第１特徴量を導出する第１演算部と、
   前記第２分割部において分割した複数の第２領域のそれぞれについて、第２領域内の各画素の画素値をもとに当該領域の第２特徴量を導出する第２演算部と、
   前記第１演算部において導出した第１特徴量を、前記少なくとも２枚の画像間において領域を単位にして比較する第１比較部と、
   前記第２演算部において導出した第２特徴量を、前記少なくとも２枚の画像間において領域を単位にして比較する第２比較部と、
   前記第１比較部および第２比較部での領域を単位にした比較の結果をもとに、前記少なくとも２つの画像において前記対象物が位置する領域を認識する認識部と、を含み、
   前記認識部は、
   前記第１比較部での領域を単位にした比較の結果をもとに、前記少なくとも２つの画像において前記複数の第１領域のうちの前記対象物が位置すべき第１領域を特定する第１特定部と、
   前記第２比較部での領域を単位にした比較の結果をもとに、前記少なくとも２つの画像において前記複数の第２領域のうちの前記対象物が位置すべき第２領域を特定する第２特定部と、
   前記第１特定部において特定した第１領域と、前記第２特定部において特定した第２領域とが重なった重複領域を特定することにより、前記少なくとも２つの画像において前記対象物が位置する領域を認識する第３特定部と、を含む対象物認識装置であって、
   前記第３特定部において特定した重複領域の情報を一定量蓄積し、蓄積した情報をもとに、第１方向に沿った複数の第１領域のうち、他と比べて対象物が頻繁に位置する領域を特定して第１注目部分に設定し、且つ、第２方向に沿った複数の第２領域のうち、他と比べて対象物が頻繁に位置する領域を特定して第２注目部分に設定する設定部をさらに含み、
   前記第１分割部は、前記設定部が第１注目部分を設定した後に入力された画像を、第１注目部分について狭く分割し、第１注目部分以外の部分について広く分割し、
   前記第２分割部は、前記設定部が第２注目部分を設定した後に入力された画像を、第２注目部分について狭く分割し、第２注目部分以外の部分について広く分割すること
   を特徴とする対象物認識装置。
2. 前記入力部において入力した画像に、前記第３特定部において認識した領域を重ねて表示する表示部をさらに含むことを特徴とする請求項１に記載の対象物認識装置。
3. 前記認識部において認識した領域における距離情報を取得する距離情報取得部と、
   前記距離情報取得部において取得した距離情報をもとに前記対象物の距離を特定する距離特定部と、
   をさらに含むことを特徴とする請求項１または２に記載の対象物認識装置。
4. 前記入力部において入力した画像は、各画素値が距離情報を示す距離画像であり、
   前記認識部において認識した領域における距離情報をもとに、前記対象物の距離を特定する距離特定部をさらに含むことを特徴とする請求項１から３のいずれかに記載の対象物認識装置。

Images