JP5041458B2 - 三次元物体を検出する装置 - Google Patents

Description

この発明は、三次元物体を検出する装置に関し、より具体的には、三次元物体を、二次元の画像処理で検出することのできる装置に関する。

従来、三次元物体を検出する様々な手法が提案されている。そのうちの主な手法は、フィッティング(Fitting)手法である。この手法によれば、３次元上で計測された座標から、物体の位置およびサイズ等を推定する。たとえば、楕円球は、式（１）により表される。

ここで、Ｘ_０、Ｙ_０およびＺ_０は、楕円球の中心座標を表し、ａ、ｂおよびｃは、楕円球の大きさを規定するパラメータである。楕円球の位置およびサイズを推定するには、該中心座標およびパラメータを同定する必要がある。さらに、楕円球を回転させた場合には、３次元回転角を含む９個のパラメータを同定する必要がある。同定には、たとえば、最小二乗法、拡張ハフ変換、カルマンフィルタ法が用いられる。

また、人間の顔を検知する様々な手法も提案されている。たとえば、一対のカラーの撮像装置を用いて一対のステレオカラー画像を取得し、該一対のステレオカラー画像から距離画像を生成する。距離画像から、顔の輪郭を表すモデルを生成する。一方、該一対のステレオカラー画像の一方から、肌色の画像領域を抽出すると共に、エッジを抽出する。該エッジおよび肌色の画像領域と、該輪郭モデルとの間の相関をとり、顔領域を検出する（下記の特許文献１を参照）。

また、車両内の乗員を検出する手法が提案されている。たとえば、乗員の頭部に形状が近似する楕円を、参考頭部画像として予め記憶する。エリアイメージセンサを車両内に設け、該センサから、乗員の頭部を含む画像を取得する。該画像の輝度値から多数の境界線を抽出し、この中から、略楕円形状の輪郭線を検出する。検出された略楕円形状の輪郭線と、参考頭部画像とをマッチングすることにより、乗員を特定する（下記の特許文献２を参照）。
特開２００２−２１６１２９号公報 特開２００４−５３３２４号公報

上記のような３次元での同定処理は、計算量が膨大である。リアルタイムに物体を検出しようとするとき、このような同定処理では、物体検出に大きな遅延を生じさせるおそれがある。

また、カラーの撮像装置は、コスト高を招くおそれがある。さらに、人間の肌の色は、世界的に見て一律ではないので、物体を誤って検知するおそれがある。

一方、たとえばエアバッグを制御するために、車両内の乗員の頭部の位置を検出することが所望されている。上記の特許文献２では、二次元形状のマッチングによって頭部を検出しており、該マッチングには、距離情報が用いられていない。したがって、三次元物体を検知しようとするとき、距離情報の観点から検知精度が低下するおそれがある。

したがって、本発明の一つの目的は、リアルタイム処理に適合した、三次元物体を検出する手法を提案することである。本発明の他の目的は、計算負荷を抑制しつつ、より正確に三次元物体を検出することのできる手法を提案することである。本発明のさらに他の目的は、三次元物体の位置、大きさおよび姿勢を検出する手法を提案することである。

本発明の他の目的は、リアルタイムに人間の頭部を検出することのできる手法を提案することである。本発明のさらに他の目的は、リアルタイムに車両の乗員の頭部を検出することのできる手法を提案することである。

この発明の一つの側面によると、三次元物体を検出する装置は、三次元物体を撮像する一対の撮像手段を備える。さらに、該一対の撮像手段で取得した画像に基づいて、該画像を細分した各領域について視差データを算出する手段と、該各領域について算出された視差データに基づき、前記各領域の撮像手段に対する距離を表すグレースケール値であって当該距離の範囲により正規化されたグレースケール値を算出するとともに、該各領域が対応するグレースケール値を持つグレースケール画像を生成する手段と、三次元物体をモデル化したモデルを記憶する手段と、該モデルと該グレースケール画像中の画像領域との類似度を表す相関値を算出する手段を備える。該モデルは、撮像手段が位置する方向から三次元物体を見たときの形状的特徴を有する二次元画像であるとともに、該二次元画像を細分した各領域は、三次元物体の対応する部分の該撮像手段に対する距離を表すグレースケール値であって当該距離の最小値により正規化されたグレースケール値を有している。該相関値は、該モデルのグレースケール値と、該グレースケール画像中の該画像領域のグレースケール値とに基づいて算出される。さらに、物体検出装置は、該モデルと最も高い相関値を持つ画像領域を、該グレースケール画像において検出することにより、三次元物体を検出する手段を備える。

この発明によれば、モデルが二次元画像であり、該二次元画像の形状が、検出すべき物体の形状的特徴を有していると共に、該二次元画像の各領域が、該物体の距離を表すグレースケール値を有しているので、三次元物体の位置、大きさおよび姿勢を、二次元レベルの画像処理で検出することができる。三次元レベルの画像処理に比べて計算負荷を低減することができ、よってリアルタイム処理に向いている。

この発明の一実施形態では、撮像装置に代えて、距離計測装置を用いる。距離計測装置は、物体を含む所定範囲を細分した各領域について、該距離計測装置からの距離を計測する。該各領域の計測された距離を表すグレースケール値を算出し、該各領域が、対応するグレースケール値を持つグレースケール画像を生成する。

この発明によれば、走査型レーザのような距離計測装置を用いて、三次元物体の位置、大きさおよび姿勢を検出することができる。

この発明の一実施形態によれば、モデルは、物体の大きさおよび姿勢に応じて複数用意される。相関値は、該複数のモデルのそれぞれについて算出される。該複数のモデルのうち、最も高い相関値を持つ画像領域に相関されたモデルに基づいて、物体の大きさおよび姿勢を判断する。

この発明によれば、物体の様々な大きさおよび姿勢を検出することができる。

この発明の一実施形態によれば、三次元物体は人間の頭部であり、モデルは、楕円形状を有する二次元画像である。

この発明によれば、人間の頭部を、二次元レベルの画像処理で検出することができる。また、グレースケールの相関を用いるので、人間を検出する場合でも、カラーの撮影装置は必要とされない。

この発明の一実施形態では、検出される人間の頭部は、車両に乗車している人間の頭部である。こうして、人間の頭部を検出することに応じて、車両を様々に制御することができる。

この発明の一実施形態では、車両内で乗員が着座している時の視差データと、空席時の視差データとに基づいて、撮像手段により取得された画像中で乗員が存在する乗員領域を検出する手段を備える。グレースケール画像は、該乗員領域に基づいて生成される。

この発明によれば、グレースケール画像が生成される領域が限定されるので、より計算効率を高めることができる。距離計測装置を用いて生成される距離画像についても、同様に、乗員領域を検出することができる。

この発明の一実施形態では、所定のパターンを有するパターン光を物体に照射するパターン光照射手段を備える。パターン光を用いることにより、上記の視差データを、より正確に算出することができる。

次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、物体検出装置１の構成を示す。

この実施形態は、物体検出装置１が車両に搭載されており、乗員の頭部を検出する形態について示す。しかしながら、この物体検出装置が、この形態に限定されない点に注意されたい。これについては、後述される。

光源１０は、シートに座っている乗員の頭部を照射することができるよう車両内に配置される。一例では、シートの前方上部に配置される。

照射される光は、好ましくは近赤外光（ＩＲ光）である。一般に、撮影するときの明るさは、日中や夜間などの環境変化によって変動する。また、強い可視光が１方向から顔にあたると、顔面上に陰影のグラデーションが発生する。近赤外光は、この様な照明の変動や陰影のグラデーションに対してロバスト性を有する。

この実施例では、光源１０の前面にパターンマスク（フィルタ）１１を設け、乗員に対して格子状のパターン光があたるようにする。パターン光により、後述する視差の算出を、より正確なものにすることができる。これについては、後述される。

一対の撮像装置１２および１３は、乗員の頭部の近くであって、該乗員の頭部を含む２次元画像を撮像するよう配置される。撮像装置１２および１３は、左右、上下または斜めに所定距離だけ離れるよう配置される。撮像装置１２および１３は、光源１０からの近赤外光だけを受光するように光学バンドパスフィルターを有する。

処理装置１５は、例えば、種々の演算を実行するＣＰＵ、プログラムおよび演算結果を記憶するメモリ、データの入出力を行うインタフェース等を備えるマイクロコンピュータにより実現される。以上のことを考慮して、図１では、処理装置１５を機能ブロックで表している。これら各機能ブロックの一部または全部を、ソフトウェア、ファームウェア、およびハードウェアの任意の組み合わせで実現することができる。一例では、処理装置１５は、車両に搭載される車両制御装置（ＥＣＵ）により実現される。ＥＣＵは、ＣＰＵを備えるコンピュータであり、車両の様々な制御を実現するためのコンピュータプログラムおよびデータを格納するメモリを備えている。

視差画像生成部２１は、撮像装置１２および１３により撮像された２つの画像に基づいて、視差画像を生成する。

ここで、図２を参照して、視差を算出する手法の一例を簡単に述べる。撮像装置１２および１３は、それぞれ、二次元に配列された撮像素子アレイ３１および３２と、レンズ３３および３４を備える。撮像素子は、たとえば、ＣＣＤ素子またはＣＭＯＳ素子である。

撮像装置１２と１３の間の距離（基線長）が、Ｂで表されている。撮像素子アレイ３１および３２は、それぞれ、レンズ３３および３４の焦点距離ｆに配置されている。レンズ３３および３４のある平面から距離Ｌにある対象物の像が、撮像素子アレイ３１ではレンズ３３の光軸からｄ１ずれた位置に形成され、撮像素子アレイ３２ではレンズ３４の光軸からｄ２だけずれた位置に形成される。距離Ｌは、三角測量法の原理により、Ｌ＝Ｂ・ｆ／ｄで求められる。ここで、ｄが視差であり、（ｄ１＋ｄ２）である。

視差ｄを求めるために、撮像素子アレイ３１の或るブロックに対し、該ブロックと同じ対象物部分が撮像されている対応ブロックを、撮像素子アレイ３２上で探索する。ブロックの大きさは、任意に設定することができ、たとえば、１画素でもよいし、複数の画素（たとえば、８×３画素）を１つのブロックとしてもよい。

一手法によると、撮像装置１２および１３の一方で得られる画像のブロックを、撮像装置１２および１３の他方で得られる画像に対して走査させ、対応ブロックを探索する（ブロックマッチング）。一方のブロックの輝度値（たとえば、ブロック中の画素の輝度値を平均したもの）と他方のブロックの輝度値との差の絶対値を求め、これを相関値とする。相関値が最小となるブロックを見つけ、この時の２つのブロック間の距離が、視差ｄを示す。代替的に、他の手法を用いて該探索処理を実現してもよい。

輝度値に変化がないブロックがあると、ブロック同士をマッチングすることが困難になるが、上記のパターン光により、このようなブロック中に輝度値の変化を起こさせることができ、よって、ブロックマッチングをより正確に実現することができる。

撮像装置１２および１３の一方から得られた撮像画像において、それぞれのブロックについて算出された視差値は、該ブロックに含まれる画素値に対応づけられ、これを視差画像とする。視差値は、その画素に撮像されている対象物の、撮像装置１２および１３に対する距離を表している。視差値が大きいほど、該対象物の位置は、撮像装置１２および１３に近い。

背景除去部２２は、適切な任意の手法を用いて、人物が撮像された画像領域（乗員領域と呼ぶ）を抽出するよう、視差画像から背景を除去する。背景を除去することにより、以降の処理対象となる画像領域が制限され、計算効率を高めることができる。

この実施例では、メモリ２３には、図３の（ａ）に示されるように、人物が存在していない状態（すなわち、空席）を撮像した画像から生成された視差画像が予め記憶されている。画像領域４２はシートを示し、画像領域４３は、その背景を示す。該空席時の視差画像は、上記と同様の手法で生成されることができる。このような空席時の視差画像と、図３の（ｂ）に示されるような、乗員がシートに座っている時に生成された視差画像とを比較すると、乗員領域４１の視差値が異なる。したがって、所定値以上異なる視差値を持つ画素を抽出することにより、図３の（ｃ）に示されるように、乗員領域４１を抽出することができる。

空席時の視差画像は、シートの位置および傾きに従い変化する。メモリ２３に、シートの位置および傾きに応じて複数の空席時の視差画像を記憶しておくことができる。車両には、シートの位置および傾きを検知するセンサ（図示せず）が設けられている。背景除去部２２は、該センサにより検知されたシートの位置および傾きに従って、メモリ２３から、対応する空席時の視差画像を読み出し、これを用いて背景を除去することができる。こうすることにより、シートの位置および（または）傾きが変更された場合にも、背景除去部２２により、より正確に乗員領域を抽出することができる。

正規化部２４は、乗員領域４１について、正規化を実行する。この正規化により、撮像装置１１，１２からの距離に従って、該乗員領域の各画素にグレースケール値が割り当てられる。正規化は、式（２）に従って行われる。

ここで、ｄ（ｘ，ｙ）は、乗員領域のｘｙ位置における視差値を示す。Ｎは、グレースケールのビット数である。一例では、Ｎ＝９であり、０〜５１１のグレースケール値を持つ５１２階調が実現される。０は黒であり、５１１は白である。ｄ’（ｘ，ｙ）は、乗員領域のｘｙ位置について算出されるグレースケール値を示す。視差の最大値ｄｍａｘは、撮像装置からの距離の最小値に対応し、視差の最小値ｄｍｉｎは、撮像装置からの距離の最大値に対応する。

式（２）に示されるように、正規化は、最大の視差値ｄｍａｘに対応する画素には、最も高いグレースケール値（この例では、白）を割り当て、視差値ｄが小さくなるほど、グレースケール値を徐々に低くする。言い換えれば、距離の最小値に対応する画素には、最も高いグレースケール値を割り当て、撮像装置に対する距離が大きくなるほど、グレースケール値を徐々に低くする。こうして、撮像装置に対する距離を表すグレースケール値を各画素が有するグレースケール画像が、乗員領域から生成される。

図４に示されるように、乗員が、頭部の前面に手などをかざしたりすることなくシートに座っていれば、視差の最大値ｄｍａｘは、参照符号５１で示されるような、乗員の頭部の或る部分で現れることが多い。乗員領域において、頭部の該或る部分に対応する画素には、最も高いグレースケール値が割り当てられる。頭部は楕円球に類似した形状を有しているので、頭部の該或る部分から周囲に向かって視差値ｄが徐々に小さくなり、これに従ってグレースケール値も徐々に低くされる。

たとえ、視差の最大値が、頭部ではなく他の部分（たとえば、手や肩）で現れたとしても、頭部の楕円球形状により、該頭部については、該頭部の最も撮像装置に近い部分から周囲に向かって徐々に視差値が減少し、それに従って、グレースケール値も徐々に低くなる。

図１に戻り、メモリ２５（これは、メモリ２３と同じメモリでよい）は、人間の頭部をモデル化した頭部モデルを記憶する。図５を参照して、頭部モデルを生成する手法を説明する。図５の（ａ）および（ｂ）に示されるように、人間の頭部は、楕円球の形状に類似しているという特徴を有する。したがって、人間の頭部を、楕円球で表すことができる。

楕円球は、車両内の空間座標に基づいて構築される。車両内の空間座標は、たとえば、図４に示されるように、撮像装置１１および１２の位置を原点とする。ｚ軸は、撮像装置から垂直に伸長し、ｚ値は、撮像装置からの距離を示す。ｘ軸は、車両の幅方向に、ｚ軸に対して垂直に設定され、ｙ軸は、車両の高さ方向に、ｚ軸に対して垂直に設定される。

図５の（ｃ）は、人間の頭部を表した楕円球の一例であり、該楕円球は、中心座標Ｏ（Ｘ_０,Ｙ_０,Ｚ_０）を有する。中心座標は、乗員がシートに座っている時に存在しうる座標点が選択される。ａ、ｂおよびｃは、楕円球の大きさを規定するパラメータであり、人間の頭部を表すよう適切な値に設定される。

頭部の三次元モデルとしての該楕円球を、二次元画像に変換する。楕円球は、矢印５５で示すようにｚ軸方向から見ると、楕円形状を有しているので、該二次元画像は、楕円形状を有するよう生成される。さらに、該二次元画像は、各ｘｙ位置が、該ｘｙ位置に対応するｚ値を表すグレースケール値を持つよう生成される。

ここで、二次元画像モデルを生成する手法を、より詳細に述べる。楕円球は、前述した式（１）により表されるので、楕円球の各ｘｙ位置におけるｚ値は、式（３）のように表される。

次に、矢印５５に示されるように、楕円球をｚ軸方向に二次元画像に投影する。この投影は、式（４）により実現される。ここで、Ｒ１１〜Ｒ３３は回転行列式であり、楕円球を回転させない場合には、Ｒ１１およびＲ２２には値１が設定され、他のパラメータにはゼロが設定される。楕円球を回転させる場合には、これらの値に、該回転の角度を表す値が設定される。ｆｘ、ｆｙ、ｕ０およびｖ０は、撮像装置の内部パラメータを示し、たとえば、レンズの歪み等を補正するためのパラメータを含む。

式（４）に従う投影により、楕円球の表面上の各点（ｘ，ｙ，ｚ）は、二次元画像の（ｘ，ｙ）に投影される。二次元画像の座標（ｘ，ｙ）には、投影元の（ｘ，ｙ，ｚ）のｚ値を表すグレースケール値Ｉが対応づけられる。該グレースケール値Ｉは、式（５）に従って算出される。

ここで、Ｚｍｉｎは、楕円球の（回転させた場合には、回転後の楕円球の）表面の座標のｚ値のうち、最も撮像装置に近い値を示す。Ｎは、正規化部２５による正規化で用いられたＮと同じである。式（５）により、ｚ値がＺｍｉｎの時には、該ｚ値に対応する画素には、最も高いグレースケール値が割り当てられる。ｚ値のＺｍｉｎからの距離が大きくなるにつれ、すなわち撮像装置に対する距離が大きくなるにつれ、該ｚ値に対応する画素のグレースケール値は徐々に低くなる。

図５の（ｄ）は、こうして作成された頭部モデルの二次元画像を模式的に示す。楕円の中心から周囲に向かって、グレースケール値が徐々に低くなっている。たとえば、図５の（ｃ）に示される点５６は、図５の（ｄ）の点５７に投影される。点５６は、ｚ値がＺｍｉｎであるので、点５７のグレースケール値は、最も高い値（この例では、白）を持つ。また、点５８は点５９に投影されるが、点５８のｚ値が、Ｚｍｉｎより大きい値であるので、点５９のグレースケール値は、点５７のグレースケール値よりも低くなる。

こうして、図５の（ａ）のような、頭部をｚ方向から見た楕円形状は、図５の（ｄ）の二次元画像モデルの形状に反映され、図５の（ｂ）のような、頭部の各部分における、撮像装置に対する距離は、図５の（ｄ）の二次元画像モデルの対応する画素のグレースケール値に反映される。このように、人間の頭部は３次元データで表されるが、ｚ方向の距離をグレースケール値で表すことにより、人間の頭部を二次元画像にモデル化することができる。生成された二次元画像モデルは、メモリ２５に記憶される。

何種類かの頭部モデルが用意されるのが好ましい。たとえば、大人の頭部と子供の頭部とは大きさが異なるので、別個の頭部モデルが用いられる。上記ａ、ｂおよびｃを調整することにより、所望の大きさの楕円球モデルを生成することができる。どのような大きさの楕円球モデルを用いるかは、複数の人間の頭部を統計的に調べた結果に基づいて決定してもよい。こうして生成された楕円球モデルは、上記のような手法で二次元画像モデルに変換され、メモリ２５に記憶される。

また、乗員の姿勢に応じて複数の頭部モデルを用意するのが好ましい。たとえば、首を傾けた乗員の頭部を検出するために、異なる傾きを持つ頭部モデルを用意することができる。たとえば、上記の式（４）に示される回転行列中のパラメータＲ１１〜Ｒ３３の値を調整することにより、所望の角度だけ回転させた楕円球モデルを生成することができる。該楕円球モデルは、同様に、二次元画像モデルに変換され、メモリ２５に記憶される。

たとえば、図４に示されるように乗員の頭部が撮像装置に対して配置されている場合には、乗員の頭部を検出するのに、傾いた楕円球から生成された二次元画像モデルが必要とされるであろう。

図６は、一実施例でメモリ２５に記憶される二次元画像の頭部モデルを表す。３種類の大きさがあり、図の右側にいくほど大きくなっている。さらに、それぞれの大きさに対し、傾きなしのモデル、π／４だけ回転させたモデル、３π／４だけ回転させたモデルが用意される。

図１に戻り、相関部２６は、メモリ２５から二次元画像の頭部モデルを読み出し、該頭部モデルを、正規化部２４により生成された正規化済み乗員領域に対して走査させる。相関部２６は、該頭部モデルと、正規化済み乗員領域中の走査している画像領域との間でマッチングを行い、相関値を算出する。任意のマッチング手法を用いることができる。

この実施例では、相関値ｒは、正規化因子のずれ、位置および姿勢の誤差等を考慮した正規化相関式（６）に従って行われる。ここで、Ｓは、マッチングするブロックの大きさを示す。ブロックの大きさは、たとえば１画素でもよく、または、複数の画素の集まり（たとえば、８×３画素）を１つのブロックとしてもよい。頭部モデルと走査対象領域との間の類似度が高いほど、高い値を持つ相関値ｒが算出される。

前述したように、乗員領域の頭部部分では、頭部の撮像装置に近い点から周囲に向かって撮像装置に対する距離が徐々に大きくなり、これに従って徐々に値が低くなるようグレースケール値が割り当てられている。一方、頭部モデルも、中心から周囲に向かって撮像装置に対する距離が徐々に大きくなり、これに従って徐々に値が低くなるようグレースケール値が割り当てられている。したがって、頭部モデルが、該乗員領域の頭部部分と相関されれば、他の部分と相関されるよりも、高い値の相関値ｒが算出されることとなる。こうして、相関値ｒに基づき、頭部部分を、乗員領域から検出することができる。

このように、式（２）で示される乗員領域の正規化も、式（５）で示される頭部モデルの正規化も、撮像装置に対する距離が大きくなるにつれ、低い値を持つようグレースケール値が割り当てられる点は同じである。しかしながら、厳密に言えば、両者の正規化の間にはずれがある。たとえば、式（２）では、視差の最小値ｄｍｉｎにおいて、グレースケール値が最小になるが、式（５）では、ｚ値が無限大になったときにグレースケール値が最小になる。しかしながら、このようなスケーリングのずれは、上記のような相関により補償されることができる。また、頭部の楕円球モデルを構築する際の中心座標のずれなどの位置的な誤差も、このような相関により補償されることができる。すなわち、相関では、グレースケールが変化する傾向が似ているかどうかが判断されるので、相関される画像領域が、頭部モデルに類似したグレースケールの変化の傾向（すなわち、中心から周囲に向かってグレースケール値が徐々に低くなる）を有していれば、高い相関値が出力されることとなる。

最も高い相関値ｒを算出した画像領域が、正規化済み乗員領域から検出され、該乗員領域の撮像画像における位置づけおよびグレースケール値に基づき、人間の頭部を検出することができる。また、相関された頭部モデルに基づき、頭部の大きさおよび傾き（姿勢）を判断することができる。

複数の頭部モデルがある場合には、上記のような相関処理を、メモリ２５に記憶された二次元画像の頭部モデルのそれぞれについて行われる。最も高い相関値ｒを算出した頭部モデルが特定されると共に、該モデルと相関された画像領域が、正規化済み乗員領域において検出される。該検出された画像領域の撮像画像における位置づけおよびグレースケール値から、人間の頭部を検出することができる。また、該最も高い相関値ｒの算出に用いられた頭部モデルに基づき、頭部の大きさおよび傾き（姿勢）を判断することができる。

このような、二次元画像のグレースケールのマッチングは、従来の三次元空間における同定処理よりも高速に処理することができる。したがって、リアルタイムに、物体の位置、大きさおよび姿勢を検出することができる。グレースケールのマッチングには、他の手法（たとえば、マルチモデルの同時検出手法およびピラミッド構造を用いた手法）を用いることができる。

また、物体認識の精度をより上げるために、たとえば、所定値以上の相関値が算出された画像領域から、物体が存在しうる車両内の三次元空間の範囲を導きだし、この範囲内において、最小二乗法などを用いた従来の同定処理を実行して物体を認識してもよい。同定処理すべき空間の範囲が限定されるので、計算量を抑制することができる。

図７ａ〜７ｄは、車両のシートに座っていると想定した人物を撮像した場合の結果を示す。図７ａは、撮像装置１２および１３の一方で撮影された画像を示す。ここで、わかりやすくするため、光源１０から照射されるパターン光が、目視できるよう格子状に描写されている（実際には、可視ではない）。図７ｂは、視差画像生成部２１で生成される視差画像を示す。参照符号６１は、人物が撮像されている画像領域を示し、参照符号６２は、シートが撮影されている画像領域を示し、参照符号６３は、その背景が撮像されている画像領域を示す。画像領域６１の対象物（人物）および画像領域６２の対象物（シート）は、画像領域６３の対象物よりも、撮像装置からの距離が短いので、画像領域６１および６２は、画像領域６３に比べて高い視差値を持つ。

図７ｃは、背景除去および正規化が行われた後の画像を示す。背景除去部２２により、画像領域６２および６３は、黒のグレースケール値を有する画素に置き換えられている。出願書類の解像度の関係で該図面から目視するのは困難であるが、正規化部２５により、画像領域６１の各画素は、撮像装置に対する距離を表すグレースケール値を有するよう生成されている。

図７ｄは、相関の結果を示す。この例では、或る傾きおよび大きさを持つ頭部モデルが、画像領域６５と相関をとられたとき、最も高い相関値ｒが算出された。こうして、人間の頭部を表す画像領域６５が検出され、人間の頭部が空間的にどこに位置するかが求められる。また、該頭部モデルから、人間の頭部の大きさおよび姿勢を判断することができる。

図８ａ〜ｄを参照すると、図７ａ〜ｄと同様のものが示されており、首を傾けて座っている人物を撮像した結果を示す。図８ａは、撮像装置１２および１３の一方で撮影された画像を示し、図８ｂは、視差画像生成部２１によって生成された視差画像を示し、図８ｃは、背景除去および正規化が行われた後の画像を示す。図８ｄは、相関結果を示す。この例では、或る傾きおよび大きさを持つ頭部モデルが、対象領域６６と相関をとられたとき、最も高い相関値ｒが算出された。こうして、人間の頭部を表す画像領域６６が検出され、人間の頭部が空間的にどこに位置するかが求められる。また、該頭部モデルから、頭部の大きさがわかるとともに、頭部が傾いていると判断することができる。

他の実施例では、物体検出装置１は、光源および一対の撮像装置を用いる代わりに、距離計測装置７０を用いる。図９は、この実施例に従う、物体検出装置１を示す。一例では、距離計測装置７０は、走査型レーザである。走査型レーザは、レーザを対象物に照射し、対象物からの反射波を受信して、距離計測装置７０から対象物までの距離および対象物の相対的な方位を測定する。走査型レーザは、図１０の（ａ）および（ｂ）に示すように、ｘｙ平面において、それぞれ所定角度８１および８２にわたってレーザを走査させる。レーザが走査される二次元（ｘｙ）平面の所定範囲を、ブロックに細分し、ブロックごとに、距離計測装置７０からの距離を計測する。

処理装置１５の距離画像生成部７１は、ブロックごとに測定された距離値を、該ブロック中の各画素に対応づけることにより、距離画像を生成する。背景除去部７２は、距離画像において、背景を除去する。これは、前述したように、任意の適切な手法で実現される。たとえば、空席時に距離計測装置７０により計測され生成された距離画像をメモリ７３に予め記憶し、該空席時距離画像と、今回撮像された乗員を含む距離画像とを比較することにより、乗員の画像領域（乗員領域）を抽出するよう背景を除去することができる。

正規化部７４は、乗員領域を正規化する。正規化は、式（２）のｄｍｉｎを、乗員領域中の距離の最大値Ｌｍａｘに、ｄｍａｘを、乗員領域中の距離の最小値Ｌｍｉｎで置き換えることにより、計算されることができる。

メモリ７５（メモリ７３と同じでよい）は、メモリ２５と同様に、頭部モデルの二次元画像を記憶する。頭部モデルは、前述したような手法で生成されるが、ここで、図５の（ｃ）の撮像装置は、距離計測装置に置き換えて考えることができる。相関部７６は、相関部２６と同様の手法で、相関を実施することができる。

図１１は、この発明の一実施例に従う、二次元画像の頭部モデルを生成する処理のフローチャートである。この処理は、物体検出に先立ち、ＣＰＵ、メモリおよび入出力インターフェース等を備えるコンピュータにより実現される処理装置により実施されることができる。

ステップＳ１において、図５の（ｃ）に示されるように、人間の頭部を、３次元形状モデル、ここでは楕円球で表す。ステップＳ２において、図５の（ｄ）に示されるように、たとえば投影により、楕円球を二次元画像モデルに変換する。ステップＳ３において、二次元画像モデルを、メモリに記憶する。

頭部モデルの生成処理は、検出すべき人間の頭部の大きさおよび姿勢（この例では、傾き）の種類ごとに、繰り返し行われることができる。こうして、様々な大きさおよび姿勢をモデル化した頭部モデルを、メモリに記憶することができる。

図１２は、物体を検出する処理のフローチャートを示す。この処理は、所定の時間間隔で実施される。一実施例では、図１に示される処理装置１５により、該処理は実現される。

ステップＳ１１において、一対の撮像装置によって、人間の頭部を含む画像を取得する。ステップＳ１２において、該取得した画像から、視差画像を生成する。ステップＳ１３において、視差画像から背景を除去し、人物を含む画像領域（乗員領域）を抽出する。背景を除去した後、ノイズを除去するため、膨張収縮などの粒子解析処理および平滑化処理（たとえば、メディアンフィルタを用いて）を行ってもよい。

ステップＳ１４において、乗員領域を、式（２）に従って正規化する。ステップＳ１５において、メモリから、予め生成されている頭部モデルを読み出す。ステップＳ１６において、頭部モデルを、正規化された乗員領域に対して走査し、該頭部モデルと、該頭部モデルが重なった画像領域との間の類似度を示す相関値を算出する。ステップＳ１７において、最も高い相関値が算出された画像領域を、該相関値および頭部モデルと関連づけてメモリに記憶する。

ステップＳ１８において、相関すべき頭部モデルがあるかどうかを判断する。この判断がＹｅｓならば、ステップＳ１５からの処理を繰り返す。

ステップＳ１９において、メモリに記憶された相関値のうち、最も高い相関値を選択し、該相関値に対応する画像領域および頭部モデルに基づいて、人間の頭部が存在する位置、大きさおよび姿勢を出力する。

撮像装置に代えて距離測定装置を用いる場合には、ステップＳ１１において、距離計測装置が用いられ、ステップＳ１２において、距離画像が生成される。

上記の実施形態では、撮像装置に対する距離が大きくなるにつれグレースケール値が低くなるという傾向について、二次元画像モデルと画像領域との間で相関が行われた。このようなグレースケール値の傾向とは異なる傾向を用いてもよい。たとえば、撮像装置に対する距離が大きくなるにつれ、グレースケール値を大きくするという傾向について、類似性を判断してもよい。

人間の頭部を検出する形態について説明してきたが、本願発明の物体検出装置は、他の物体を検出する形態についても適用可能である。たとえば、人間とは異なる物体についても、所定の方向から見た特徴的形状を有するとともに、該所定の方向の距離をグレースケール値で表した二次元画像モデルを生成することにより、検出することができる。

また、物体検出装置が車両に搭載された場合の実施形態について説明してきたが、本願発明の物体検出装置は、様々な形態に適用可能である。たとえば、或る物体（たとえば、人間の頭部）が近づいたことを検出し、該検出に応じて、何らかのアクションをとる（例えば、メッセージを発する）というような形態にも適用可能である。

この発明の一実施例に従う、物体を検出する装置のブロック図。 この発明の一実施例に従う、視差を算出する手法を説明する図。 この発明の一実施例に従う、背景の除去を説明する図。 この発明の一実施例に従う、最大の視差値の一例を説明する図。 この発明の一実施例に従う、頭部モデルを説明する図。 この発明の一実施例に従う、複数の種類の頭部モデルの一例を示す図。 この発明の一実施例に従う、撮影画像の一例を示す図。 この発明の一実施例に従う、視差画像の一例を示す図。 この発明の一実施例に従う、背景除去され正規化された画像の一例を示す図。 この発明の一実施例に従う、検出結果の一例を示す図。 この発明の他の実施例に従う、撮影画像の一例を示す図。 この発明の他の実施例に従う、視差画像の一例を示す図。 この発明の他の実施例に従う、背景除去され正規化された画像の一例を示す図。 この発明の他の実施例に従う、検出結果の一例を示す図。 この発明の他の実施例に従う、物体を検出する装置のブロック図。 この発明の他の実施例に従う、距離計測装置を説明する図。 この発明の一実施例に従う、モデルを生成する処理のフローチャート。 この発明の一実施例に従う、物体を検出する処理のフローチャート。

符号の説明

１ 物体検出装置
２３，２６ メモリ
１１，１２ 撮像装置
１５ 処理装置
７０ 距離計測装置

Claims (8)

1. 三次元物体を撮像する一対の撮像手段と、
   前記一対の撮像手段で取得した画像に基づいて、該画像を細分した各領域について視差データを算出する視差データ算出手段と、
   前記各領域について算出された視差データに基づき、前記各領域の前記撮像手段に対する距離を表すグレースケール値であって当該距離の範囲により正規化されたグレースケール値を算出するとともに、該各領域が対応するグレースケール値を持つグレースケール画像を生成するグレースケール画像生成手段と、
   前記三次元物体をモデル化したモデルを記憶するモデル記憶手段と、
   前記モデルと前記グレースケール画像中の画像領域との類似度を表す相関値を算出する手段であって、該モデルは、前記撮像手段が位置する方向から前記三次元物体を見たときの形状的特徴を有する二次元画像であるとともに、該二次元画像を細分した各領域は、前記三次元物体の対応する部分の該撮像手段に対する距離を表すグレースケール値であって当該距離の最小値により正規化されたグレースケール値を有しており、該相関値は、該モデルのグレースケール値と、該グレースケール画像中の該画像領域のグレースケール値とに基づいて算出される、相関値算出手段と、
   前記モデルと最も高い相関値を持つ画像領域を、前記グレースケール画像において検出することにより、前記三次元物体を検出する物体検出手段と、
   を備える物体検出装置。
2. 三次元物体を含む所定範囲を細分した各領域までの距離を計測する距離計測手段と、
   前記距離計測手段で計測された距離を表すグレースケール値であって前記各領域までの距離の範囲により正規化されたグレースケール値を算出するとともに、該各領域が対応するグレースケール値を持つグレースケール画像を生成するグレースケール画像生成手段と、
   前記三次元物体をモデル化したモデルを記憶するモデル記憶手段と、
   前記モデルと、前記グレースケール画像中の画像領域との類似度を表す相関値を算出する手段であって、該モデルは、前記距離計測手段が位置する方向から前記三次元物体を見たときの形状的特徴を有する二次元画像であるとともに、該二次元画像を細分した各領域は、前記三次元物体の対応する部分の該距離計測手段に対する距離を表すグレースケール値であって当該距離の最小値により正規化されたグレースケール値を有しており、該相関値は、該モデルのグレースケール値と、該グレースケール画像中の該画像領域のグレースケール値とに基づいて算出される、相関値算出手段と、
   前記モデルと最も高い相関値を持つ画像領域を、前記グレースケール画像において検出することにより、前記三次元物体を検出する物体検出手段と、
   を備える、物体検出装置。
3. 前記モデル記憶手段は、前記三次元物体の大きさおよび姿勢に応じて複数のモデルを記憶しており、
   前記相関値算出手段は、前記複数のモデルのそれぞれについて前記相関値を算出し、
   前記物体検出手段は、前記複数のモデルのうち、最も高い相関値を持つ画像領域に相関されたモデルに基づいて、前記三次元物体の大きさおよび姿勢を判断する、
   請求項１または２に記載の物体検出装置。
4. 前記三次元物体は人間の頭部であり、
   前記モデルは、楕円形状を有する二次元画像である、
   請求項１から３のいずれかに記載の物体検出装置。
5. 前記検出される人間の頭部は、車両に乗車している人間の頭部である、
   請求項４に記載の物体検出装置。
6. 前記物体検出装置は、車両内の乗員を検出する装置であって、
   乗員が着座している時の前記視差データと、空席時の前記視差データとに基づいて、前記撮像手段により取得された画像中で乗員が存在する乗員領域を検出する乗員領域検出手段を備え、
   前記グレースケール画像生成手段は、前記乗員領域に基づいて、前記グレースケール画像を生成する、
   請求項１に記載の物体検出装置。
7. 前記物体検出装置は、車両内の乗員を検出する装置であって、
   乗員が着座している時に前記距離計測手段により計測された距離と、空席時に前記距離計測手段により計測された距離とに基づいて、前記距離計測手段で計測される所定範囲中で乗員が存在する乗員領域を検出する乗員領域検出手段を備え、
   前記グレースケール画像生成手段は、前記乗員領域に基づいて、前記グレースケール画像を生成する、
   請求項２に記載の物体検出装置。
8. 所定のパターンを有するパターン光を前記物体に照射するパターン光照射手段を備える、
   請求項１に記載の物体検出装置。

Images