JP4346634B2 - 目標物検出装置 - Google Patents

Description

本発明は、人などの目標物を検出するための目標物検出装置に関する。

近年、セキュリティ用の監視カメラや、車両の周囲を撮影することによりドライバーの運転を支援する車載カメラが普及してきている。このような用途のカメラは、人などの検出対象となる被写体を背景から分離して認識する機能を搭載することが望ましい。

特許文献１は、画像中の色成分から肌色を検出することにより、人を検出する手法を開示する。具体的には、処理対象画像の矩形領域内の画素値の平均値を算出し、この平均値が予め設定した閾値でもって示される「肌色として認められる範囲」内に入っているか否か、当該矩形領域が人肌を撮像した領域であるか否かを判定する。
特開２００５−１３６４９７号公報

しかしながら、色成分から肌色を検出するだけでは、人肌以外の肌色の物体を人肌として検出してしまう可能性がある。

本発明はこうした状況に鑑みなされたものであり、検出対象に設定した目標物を画像内から高精度に検出することができる目標物検出装置を提供することを目的とする。

上記課題を解決するために、本発明のある態様の目標物検出装置は、撮像した画像内から目標物を検出する装置であって、目標物の可視光領域および赤外線領域に渡る反射特性を利用して、画像内から目標物を検出する。

この態様によると、可視光成分と赤外線成分を利用して、目標物を検出するため、検出精度を高めることができる。

本発明の別の態様もまた、目標物検出装置である。この装置は、撮像した画像内から目標物を検出する装置であって、入射光からそれぞれ異なる複数の色成分および赤外線成分を出力する撮像素子と、複数の色成分から色相成分を領域ごとに生成し、その色相成分および領域の赤外線成分を用いて、目標物を表す領域であるか否かを判定する制御部と、を備える。「領域」は、一画素であってもよく、複数画素の集合であってもよく、一画面全体であってもよい。

本発明の別の態様もまた、目標物検出装置である。この装置は、撮像した画像内から目標物を検出する装置であって、入射光からそれぞれ異なる複数の色成分および赤外線成分を出力する撮像素子と、少なくとも二種類以上の色成分のそれぞれと赤外線成分との間に所定の演算を施し、その演算結果を用いて、演算を施した成分に対応する領域が目標物を表す領域であるか否かを判定する制御部と、を備える。「演算」は、除算または減算であってもよい。

この態様によると、色成分と赤外線成分の割合や差分などを基に目標物を表す領域であるか否かを判定するため、可視光領域および赤外線領域に渡る反射特性を加味した判定を行うことができ、検出精度を高めることができる。

制御部は、少なくとも二種類以上の色成分のそれぞれと赤外線成分との間に、それぞれ異なる複数の演算を施し、すべての演算において、各演算結果が各設定値の範囲に収まる場合、演算を施した成分に対応する領域が目標物を表す領域であると判定してもよい。これによれば、複数の検出方法を組み合わせることにより、検出精度をさらに高めることができる。

撮像素子は、入射光から赤成分、緑成分、青成分を出力し、制御部は、赤外線成分から赤成分に所定の係数を掛けた値を減算した赤減算値、赤外線成分から緑成分に所定の係数を掛けた値を減算した緑減算値および赤外線成分から青成分に所定の係数を掛けた値を減算した青減算値を算出し、赤減算値、緑減算値および青減算値のうちの二つの値、またはそれらの差分値を用いて、目標物を表す画素であるか否かを判定してもよい。赤成分に掛けられる「所定の係数」は、画像内の赤外線成分の平均値と画像内の赤成分の平均値との割合を基に生成されてもよい。緑成分に掛けられる「所定の係数」は、画像内の赤外線成分の平均値と画像内の緑成分の平均値との割合を基に生成されてもよい。青成分に掛けられる「所定の係数」は、画像内の赤外線成分の平均値と画像内の青成分の平均値との割合を基に生成されてもよい。

本発明のさらに別の態様は、目標物検出方法である。この方法は、撮像した画像内から目標物を検出する方法であって、目標物の可視光および赤外線領域に渡る反射特性を利用して、画像内から目標物を検出する。

この態様によると、可視光成分と赤外線成分を利用して、目標物を検出するため、検出精度を高めることができる。

なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現を方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、画像内から目標物を高精度に検出することができる。

図１は、本発明の実施形態における目標物検出装置１００の基本構成を示す図である。目標物検出装置１００は、カラーフィルタ１０、赤外線透過フィルタ２０、撮像素子３０および制御部４０を備える。カラーフィルタ１０は、入射光を複数の色に分解して撮像素子３０に供給する。３原色フィルタで構成する場合、赤Ｒを透過するフィルタ、緑Ｇを透過するフィルタおよび青Ｂを透過するフィルタの３種類のフィルタを用いて、例えばベイヤ配列する。

また、補色フィルタで構成する場合、イエローＹｅ、シアンＣｙおよびマゼンダＭｇに分解する。または、イエローＹｅ、シアンＣｙおよびグリーンＧｒに、もしくはイエローＹｅ、シアンＣｙ、マゼンダＭｇおよびグリーンＧｒに分解する。カラーフィルタ１０は、赤外線カットフィルタを備えていないため、可視光成分に加えて、赤外線成分も透過する。

赤外線透過フィルタ２０は、赤外線成分を透過し、撮像素子３０に供給する。撮像素子３０は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサで構成される。色ごとに一枚のイメージセンサを設けて、各色の画像を合成してもよいし、ベイヤ配列されたカラーフィルタ１０からの入射光を受け、周辺画素の出力を用いた補間演算を行い、カラー画像を生成してもよい。

撮像素子３０は、カラーフィルタ１０を透過した複数のカラー成分を受光する領域に加え、赤外線透過フィルタ２０を透過した赤外線成分を受光する領域を持つ。カラー成分を受光する領域および赤外線成分を受光する領域の数は対応している。例えば、ベイヤー配列した場合、その最小単位に緑Ｇを受光する素子を二つ含むが、その一方を赤外線を受光する素子にしてもよい。この場合、ベイヤー配列の最小単位に赤Ｒ、緑Ｇ、青Ｂ、赤外ＩＲを受光する素子が一つずつ含まれることになる。

撮像素子３０は、受光したカラー成分を光電変換して生成した複数色の画像信号および受光した赤外線成分を光電変換して生成した信号（以下、ＩＲ信号と表記する。）を制御部４０に供給する。

以上の構成を前提に本発明の実施形態１について説明する。なお、以下の説明では、検出対象とすべき目標物として人間を想定する。画像内から人間を検出するため、人肌の可視光および赤外線領域に渡る反射特性を利用する。

実施形態１に係る制御部４０は、赤Ｒを透過するフィルタを介して撮像素子３０で光電変換された信号（以下、Ｒ信号という）、緑Ｇを透過するフィルタを介して撮像素子３０で光電変換された信号（以下、Ｇ信号という）、青Ｂを透過するフィルタを介して撮像素子３０で光電変換された信号（以下、Ｂ信号という）およびＩＲ信号を撮像素子３０から受けて、こららの信号に以下の演算を施す。

すなわち、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれとＩＲ信号との関係を示す値として、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれとＩＲ信号の割合を算出する。具体的には、Ｒ／ＩＲ、Ｇ／ＩＲ、Ｂ／ＩＲを算出する。制御部４０は、この演算を画素ごとに行う。制御部４０は、画素ごとに３種類の値、すなわちＲ／ＩＲ、Ｇ／ＩＲ、Ｂ／ＩＲがそれぞれ設定された範囲内に収まるか否かを判定し、Ｒ／ＩＲ、Ｇ／ＩＲ、Ｂ／ＩＲのすべての値がそれぞれの設定された範囲内に収まる場合、人肌を示す領域と判定する。なお、Ｒ／ＩＲ、Ｇ／ＩＲ、Ｂ／ＩＲのうちの２つの値で判定してもよい。色ごとに設定される範囲は、設計者が実験やシミュレーションにより求めた範囲に設定することができる。本実施形態では、人肌の各色成分と赤外線成分を基に設定される。

制御部４０は、全画素について上記判定を行うことにより、画像内のどの領域で人肌を検出したかを特定することができる。なお、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれとＩＲ信号との関係を示す値として、差分を用いてもよい。例えば、Ｒ−ＩＲ、Ｇ−ＩＲ、Ｂ−ＩＲを用いてもよい。この場合も同様に、各値がそれぞれ設定された範囲内に収まるか否かを判定することにより、目標物と推測される画素を抽出する。なお、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれとＩＲ信号との関係を示す値として、上述した割合や差分に限らず、それぞれを乗算した値、加算した値など何からの演算を施した値であればよい。

以上説明したように実施形態１によれば、画像内から目標物を検出する際、目標物の色成分と赤外線成分との関係を表す値を基に、目標物に該当するか否かを判定するため、目標物の検出精度を高めることができる。例えば、肌色をした物体でも、赤外線をすべて吸収したり、赤外線領域の反射率が低い物体の場合、赤外線領域の反射率が高い人肌と容易に区別することができる。

次に、実施形態２について説明する。図２は、実施形態２における制御部４０の構成を示す図である。実施形態２に係る制御部４０は、色成分変換部４２、色成分判定部４４、赤外線成分判定部４６および目標物検出部４８を含む。制御部４０は、ハードウエア的には、任意のＤＳＰ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

色成分変換部４２は、撮像素子３０から得たＲＧＢで規定される色空間をＨＳＶで規定される色空間に変換する。ここで、Ｈは色相、Ｓは彩度、Ｖは明度を示す。色相は、色の種類を０°〜３６０°の範囲で規定したものである。ＲＧＢ空間からＨＳＢ空間へは一般的な変換式を用いて変換することができる。

色成分判定部４４は、色成分変換部４２により変換されて得られた色相が、目標物と判定すべくあらかじめ設定された色相の範囲に入るか否かを判定する。例えば、人肌と判定すべき色相の範囲として、１°〜３０°に設定する。赤外線成分判定部４６は、撮像素子３０から得た赤外線成分が、目標物と判定すべくあらかじめ設定された赤外線成分の範囲に入るか否かを判定する。色成分判定部４４および赤外線成分判定部４６は、判定結果を目標物検出部４８に渡す。なお、あらかじめ設定される色相の範囲および赤外線成分の範囲は、設計者が実験やシミュレーションにより求めた範囲に設定することができる。設計者は、目標物に応じてそれらの範囲を調整することができる。

目標物検出部４８は、色成分判定部４４および赤外線成分判定部４６から得られた判定結果に基づいて、対象画素が目標物を表す画素であるか否かを判定する。

図３は、実施形態２における目標物を検出するためのパラメータを記述した２次元座標を示す図である。図３では、目標物を検出するためのパラメータとして色相Ｈおよび赤外線成分ＩＲが用いられる。

目標物検出部４８は、対象画素が図３に示す２次元座標の目標物領域に存在するか否かを判定する。具体的には、対象画素の色相が上記設定された色相Ｈの範囲ｃに存在し、かつ対象画素の赤外線成分が上記設定された赤外線成分ＩＲの範囲ｄに存在する場合、目標物を表した画素と判定する。それ以外の場合、目標物を表した画素と判定しない。例えば、対象画素の色相が１°〜３０°に存在し、肌色や茶褐色などの物体と推定される場合でも、対象画素の赤外線成分が人肌と判定すべき赤外線成分の範囲外に存在する場合、人肌以外の物体と判定する。

図４（ａ）−（ｃ）は、実施形態２における目標物検出処理により画像内から人を検出する過程を示す図である。図４（ａ）は、撮像素子３０から得られたＲ信号、Ｇ信号、Ｂ信号から生成された画像である。カラーフィルタ１０は赤外線成分も透過するため、Ｒ信号、Ｇ信号、Ｂ信号には赤外線成分も含まれる。よって、図４（ａ）に示す画像には赤外線成分も含まれる。図４（ｂ）は、撮像素子３０から得られたＩＲ信号から生成された画像である。赤外線領域の反射率が高い人肌が白く表示される。また、木の葉や枝も赤外線領域の反射率が高く、白く表示されている。赤外線成分の反射が低い領域の画素は黒く表示される。図４（ｃ）は、目標物検出部４８により目標物領域と判定された画素を白に、それ以外の画素を黒に表示した２値画像である。図４（ｃ）の画像は、人肌が白く浮かび上がっている。その他の白い部分はノイズ部分、および人と背景とのエッジ部分である。エッジ部分も赤外線反射率が高くなる。なお、ノイズキャンセラを用いれば、人のみを白く浮かび上がらせることができる。

以上説明したように実施形態２によれば、画像内から目標物を検出する際、目標物の色成分の判定に加えて、赤外線成分の判定も合わせて行うことにより、目標物の検出精度を高めることができる。また、色相に変換して色成分の判定を行うことにより、黄色人種、白色人種、黒色人種を問わず、同じ設定値で人肌を検出することができる。この点、ＲＧＢ空間では、黄色人種、白色人種、黒色人種ごとに肌と認識するための設定値を変更する必要がある。

次に、実施形態３について説明する。実施形態３は、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれとＩＲ信号との関係を示す値として、ＩＲ−αＲ、ＩＲ−βＧ、ＩＲ−γＢを算出し、それらの差分を基に目標物を検出する。係数α、係数β、係数γの算出方法については後述する。

図５は、実施形態３における制御部４０の構成を示す図である。実施形態３に係る制御部４０は、色成分平均値算出部５２、赤外線成分平均値算出部５４、赤外線成分割合算出部５６、部分減算成分算出部５８および目標物検出部６０を備える。

色成分平均値算出部５２は、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれの平均値を算出する。具体的には、画素ごとに生成されるＲ信号を全画素分累積し、全画素数で割れば平均Ｒ信号Ｒａｖｇを生成することができる。Ｇ信号およびＢ信号についても同様である。Ｒ信号、Ｇ信号、Ｂ信号には、赤外線成分が含まれるため、平均Ｒ信号Ｒａｖｇ、平均Ｇ信号Ｇａｖｇ、平均Ｂ信号Ｂａｖｇにも赤外線成分が含まれる。なお、画像を複数のブロックに分割し、ブロックごとに平均Ｒ信号Ｒａｖｇ、平均Ｇ信号Ｇａｖｇおよび平均Ｇ信号Ｇａｖｇを生成してもよい。

赤外線成分平均値算出部５４は、ＩＲ信号の平均値を算出する。具体的には、画素ごとに生成されるＩＲ信号を全画素分累積し、全画素数で割れば平均ＩＲ信号ＩＲａｖｇを生成することができる。なお、画像を複数のブロックに分割し、ブロックごとに平均ＩＲ信号ＩＲａｖｇを生成してもよい。

赤外線成分割合算出部５６は、平均Ｒ信号Ｒａｖｇ、平均Ｇ信号Ｇａｖｇおよび平均Ｂ信号Ｂａｖｇのそれぞれと、平均ＩＲ信号ＩＲａｖｇとの割合を算出する。そして、算出した割合を補正する。この補正の詳細については後述する。

部分減算成分算出部５８は、画素ごとに、上述した補正後の割合を係数αとしてＲ信号に掛けた値を、ＩＲ信号から減算した部分減算成分Ｓｕｂ＿ｒを算出する。このとき、算出した値がマイナスの場合、零に置き換える。Ｇ信号およびＢ信号についても同様である。

目標物検出部６０は、画素ごとに、Ｂ信号の部分減算成分Ｓｕｂ＿ｂからＲ信号の部分減算成分Ｓｕｂ＿ｒを減算した値をプロットして目標物検出用の画像を生成する。このとき、算出した値がマイナスの場合、零に置き換える。

図６（ａ）−（ｃ）は、実施形態３における目標物検出処理により画像内から人を検出する過程を示す図である。図６は、図４と同じシーンを撮像したものである。したがって、Ｒ信号、Ｇ信号、Ｂ信号から生成されたカラー画像および赤外線画像については、図４（ａ）、図４（ｂ）と同様のため省略する。

図６（ａ）は、Ｂ信号の部分減算成分Ｓｕｂ＿ｂをプロットして生成した画像である。この画像は、グレイスケールで描いている。Ｂ信号の部分減算成分Ｓｕｂ＿ｂは、ＩＲ信号が大きいほど、またＢ信号が小さいほど、大きな値となる。なお、大きな値ほど白に近い色で、小さな値ほど黒に近い色で描いている。人肌は赤外線成分の反射率が高く、青波長の反射率が中程度なので、Ｂ信号の部分減算成分Ｓｕｂ＿ｂが大きくなる。また、木の葉も同様に、赤外線成分の反射率が高く、青波長の反射率が中程度なので、Ｂ信号の部分減算成分Ｓｕｂ＿ｂが大きくなる。よって、図６（ａ）に示すように、人の肌および木の葉が白く浮かび上がる。

図６（ｂ）は、Ｒ信号の部分減算成分Ｓｕｂ＿ｒをプロットして生成した画像である。この画像も、グレイスケールで描いている。Ｒ信号の部分減算成分Ｓｕｂ＿ｒは、ＩＲ信号が大きいほど、またＲ信号が小さいほど、大きな値となる。Ｂ信号の部分減算成分Ｓｕｂ＿ｂと同様に、大きな値ほど白に近い色で、小さな値ほど黒に近い色で描いている。人肌は赤外線成分の反射率が高く、赤波長の反射率も高い。したがって、人肌のＲ信号の部分減算成分Ｓｕｂ＿ｒは、あまり大きな値とならない。一方、木の葉は、赤外線成分の反射率が高く、赤波長の反射率が零または極めて小さいため、Ｒ信号の部分減算成分Ｓｕｂ＿ｒが非常に大きくなる。よって、図６（ｂ）に示すように、木の葉のみが白く浮かび上がる。

図６（ｃ）は、Ｂ信号の部分減算成分Ｓｕｂ＿ｂからＲ信号の部分減算成分Ｓｕｂ＿ｒを減算した値をプロットして生成した画像である。この画像も、グレイスケールで描いている。上述したように、木の葉は、Ｒ信号の部分減算成分Ｓｕｂ＿ｒのほうがＢ信号の部分減算成分Ｓｕｂ＿ｂより大きいか等しいため、Ｂ信号の部分減算成分Ｓｕｂ＿ｂからＲ信号の部分減算成分Ｓｕｂ＿ｒを減算すると、マイナスまたは零の値をとる。マイナスの場合、零と置き換えるため、木の葉の領域は黒くなる。一方、人肌は、Ｂ信号の部分減算成分Ｓｕｂ＿ｂのほうがＲ信号の部分減算成分Ｓｕｂ＿ｒより大きいため、Ｂ信号の部分減算成分Ｓｕｂ＿ｂからＲ信号の部分減算成分Ｓｕｂ＿ｒを減算すると、プラスの値をとる。よって、図６（ｃ）に示すように、人肌のみが白く浮かび上がる。

図７は、実施形態３に係る目標物検出装置１００の動作を説明するためのフローチャートである。まず、赤外線成分平均値算出部５４は、ＩＲ信号の平均値ＩＲａｖｅを算出し（Ｓ１０）、色成分平均値算出部５２は、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれの平均値Ｒａｖｅ、Ｇａｖｅ、Ｂａｖｅを算出する（Ｓ１２）。

次に、赤外線成分割合算出部５６は、平均Ｒ信号Ｒａｖｇ、平均Ｇ信号Ｇａｖｇおよび平均Ｂ信号Ｂａｖｇのそれぞれと、平均ＩＲ信号ＩＲａｖｇとの割合Ｔｒ、Ｔｇ、Ｔｂを算出する（Ｓ１４）。下記式（１）〜式（３）に、算出した割合Ｔｒ、Ｔｇ、Ｔｂを示す。
Ｔｒ＝ＩＲａｖｅ／Ｒａｖｅ ・・・（式１）
Ｔｇ＝ＩＲａｖｅ／Ｇａｖｅ ・・・（式２）
Ｔｂ＝ＩＲａｖｅ／Ｂａｖｅ ・・・（式３）

平均Ｒ信号Ｒａｖｇ、平均Ｇ信号Ｇａｖｇおよび平均Ｂ信号Ｂａｖｇには、赤外線成分も含まれるため、割合Ｔｒ、Ｔｇ、Ｔｂは、各平均Ｒ信号Ｒａｖｇ、平均Ｇ信号Ｇａｖｇおよび平均Ｂ信号Ｂａｖｇに含まれる平均ＩＲ信号ＩＲａｖｅの割合を示す。

赤外線成分割合算出部５６は、算出した割合Ｔｒ、Ｔｇ、Ｔｂに所定の係数を掛けたり、定数を足したりして、当該割合Ｔｒ、Ｔｇ、Ｔｂの補正値をＲ信号、Ｇ信号、Ｂ信号に掛けるべき係数α、係数β、係数γとして算出する（Ｓ１６）。これらの係数α、係数β、係数γを算出する一般式を下記式（４）〜式（６）に示す。
α＝ａＴｒ＋ｂ ・・・（式４）
β＝ａＴｇ＋ｂ ・・・（式５）
γ＝ａＴｂ＋ｂ ・・・（式６）

係数ａおよび定数ｂは、設計者が実験やシミュレーションにより求めた値に設定することができる。例えば、係数ａを１．２および定数ｂを−０．０６に設定してもよい。係数ａおよび定数ｂは、実験またはシミュレーションにより導出した最適な係数α、係数β、係数γと、割合Ｔｒ、Ｔｇ、Ｔｂから最小二乗法を用いて求めてもよい。

部分減算成分算出部５８は、画素ごとに下記式（７）〜式（９）に示す計算を行う（Ｓ１８）。
Ｓｕｂ＿ｒ＝ｍａｘ（０，ＩＲ−αＲ） ・・・（式７）
Ｓｕｂ＿ｇ＝ｍａｘ（０，ＩＲ−βＧ） ・・・（式８）
Ｓｕｂ＿ｂ＝ｍａｘ（０，ＩＲ−γＢ） ・・・（式９）
上記式（７）〜式（９）に使用した関数ｍａｘ（Ａ，Ｂ）は、ＡとＢの大きい方を選択して返す関数である。本実施形態では、ＩＲ信号から、Ｒ信号に係数αを掛けた値を減算した値がマイナスになった場合、零に置き換える。Ｇ信号およびＢ信号も同様である。

目標物検出部６０は、画素ごとに下記式（１０）に示す計算を行い、検出用画素値ｄｐを算出し、その結果をプロットする（Ｓ２０）。
ｄｐ＝ｍａｘ（０，Ｓｕｂ＿ｂ−Ｓｕｂ＿ｒ） ・・・（式１０）

目標物検出部６０は、上記式（１０）の計算結果をプロットして生成した画像内から目標物を検出する（Ｓ２２）。検出用画素値ｄｐが零以上または所定の閾値以上の画素を目標物を表す画素と判定し、目標物を抽出する。所定の閾値は、設計者が実験やシミュレーションにより求めた値に設定することができる。また、目標物を抽出した後、目標物を表す画素群で形成された領域の形状認識を行ってもよい。例えば、人間の顔、手などのパターンをあらかじめ登録しておき、そのパターンと上記領域とを照合することにより、目標物を具体的に特定することができる。

以上説明したように実施形態３によれば、画像内から目標物を検出する際、目標物の色成分と赤外線成分との関係を表す値を基に、目標物に該当するか否かを判定するため、目標物の検出精度を高めることができる。また、本実施形態では、各画素の赤外線成分から減じる各画素の色成分に掛ける係数を、画像全体の画素から算出した赤外線成分の平均値と各色成分の平均値との割合を補正した値に設定している。このように、平均値を基にしているため、シーンが変わるなどにより、画像の明るさや色のバランスが変わっても、上記割合を補正するためのパラメータを変更する必要がない。このパラメータは、様々な画像を用いて、実験やシミュレーションにより、目標物を最適に検出できるよう設定された値であり、画像の明るさや色のバランスの違いをあらかじめ組み込んでいる。

次に、実施形態４について説明する。実施形態４は、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれとＩＲ信号との関係を示す値として、ＩＲ−αＲ、ＩＲ−βＧ、ＩＲ−γＢを算出し、それらの値が設定された範囲内に収まるか否かを判定することにより、目標物を検出する。

実施形態４に係る制御部４０の構成は、実施形態３と同様である。制御部４０の動作は、部分減算成分算出部５８および目標物検出部６０の動作が異なる。色成分平均値算出部５２、赤外線成分平均値算出部５４および赤外線成分割合算出部５６の動作は、実施形態３と同様のため、説明を省略する。以下、部分減算成分算出部５８および目標物検出部６０の動作について説明する。

部分減算成分算出部５８は、画素ごとに、上述した補正後の割合を係数αとしてＲ信号に掛けた値を、ＩＲ信号から減算した部分減算成分Ｓｕｂ＿ｒを算出する。実施形態４では、算出した値がマイナスの場合でも零に置き換えずそのまま使用する。Ｇ信号およびＢ信号についても同様である。

目標物検出部６０は、部分減算成分算出部５８により算出され部分減算成分Ｓｕｂ＿ｒ、Ｓｕｂ＿ｇ、Ｓｕｂ＿ｂが、目標物と判定すべくあらかじめ設定された部分減算成分Ｓｕｂ＿ｒ、Ｓｕｂ＿ｇ、Ｓｕｂ＿ｂの範囲に入るか否かを判定する。なお、あらかじめ設定される部分減算成分Ｓｕｂ＿ｒ、Ｓｕｂ＿ｇ、Ｓｕｂ＿ｂの範囲は、設計者が実験やシミュレーションにより求めた範囲に設定することができる。設計者は、目標物に応じてそれらの範囲を調整することができる。

図８は、実施形態４に係る目標物を検出するためのパラメータを記述した２次元座標を示す図である。図８では、人肌を検出するために、Ｂ信号の部分減算成分Ｓｕｂ＿ｂとＲ信号の部分減算成分Ｓｕｂ＿ｒが用いられる。

目標物検出部４８は、対象画素が図８に示す２次元座標の目標物領域に存在するか否かを判定する。具体的には、対象画素のＢ信号の部分減算成分Ｓｕｂ＿ｂが上記設定されたＢ信号の部分減算成分Ｓｕｂ＿ｂの範囲ｅに存在し、かつ対象画素のＲ信号の部分減算成分Ｓｕｂ＿ｒが上記設定されたＲ信号の部分減算成分Ｓｕｂ＿ｒの範囲ｆに存在する場合、目標物を表した画素と判定する。それ以外の場合、目標物を表した画素と判定しない。

図９は、実施形態４に係る目標物検出装置１００の動作を説明するためのフローチャートである。このフローチャートは、図７に示した実施形態３に係るフローチャートとステップＳ１６まで同様の処理のため、その部分の説明を省略する。以下、ステップＳ１７以降について説明する。

部分減算成分算出部５８は、画素ごとに下記式（１１）〜式（１３）に示す計算を行う（Ｓ１７）。
Ｓｕｂ＿ｒ＝ＩＲ−αＲ ・・・（式１１）
Ｓｕｂ＿ｇ＝ＩＲ−βＧ ・・・（式１２）
Ｓｕｂ＿ｂ＝ＩＲ−γＢ ・・・（式１３）
本実施形態では、部分減算成分Ｓｕｂ同士の差分をとらないため、実施形態３のようにマイナスの値を零に置き換える処理は行わない。

目標物検出部６０は、対象画素のＢ信号の部分減算成分Ｓｕｂ＿ｂおよびＲ信号の部分減算成分Ｓｕｂ＿ｒが図８に示した目標物領域に存在するか否かを判定する。例えば、当該目標物領域に存在した場合、白くプロットし、存在しない場合、黒くプロットして２値画像を生成する（Ｓ１９）。目標物検出部６０は、生成した２値画像内から目標物を検出する（Ｓ２２）。

以上説明したように実施形態４によっても、画像内から目標物を検出する際、目標物の色成分と赤外線成分との関係を表す値を基に、目標物に該当するか否かを判定するため、目標物の検出精度を高めることができる。

次に、実施形態５について説明する。実施形態５は、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれとＩＲ信号との関係を示す値として、αＩＲ／Ｒ、βＩＲ／Ｇ、γＩＲ／Ｂを算出し、それらの値が設定された範囲内に収まるか否かを判定することにより、目標物を検出してもよい。

実施形態５に係る制御部４０の構成は、実施形態３と基本的に同様である。ただし、本実施形態では、部分減算成分を算出せずに、部分割合成分を算出するため、部分減算成分算出部５８を部分割合成分算出部と読み替える。部分割合成分算出部は、画素ごとに部分割合成分αＩＲ／Ｒ、βＩＲ／Ｇ、γＩＲ／Ｂを算出する。目標物検出部６０は、画素ごとに部分割合成分αＩＲ／Ｒ、βＩＲ／Ｇ、γＩＲ／Ｂがそれぞれ設定された範囲内に収まるか否かを判定し、部分割合成分αＩＲ／Ｒ、βＩＲ／Ｇ、γＩＲ／Ｂのすべての値がそれぞれの設定された範囲内に収まる場合、目標物を示す領域と判定する。色ごとに設定される範囲は、設計者が実験やシミュレーションにより求めた範囲に設定することができる。なお、部分割合成分αＩＲ／Ｒ、βＩＲ／Ｇ、γＩＲ／Ｂのすべてについて判定せずに、２つの成分について判定してもよい。

以上説明したように実施形態５によっても、画像内から目標物を検出する際、目標物の色成分と赤外線成分との関係を表す値を基に、目標物に該当するか否かを判定するため、目標物の検出精度を高めることができる。

次に、実施形態６について説明する。実施形態６は、上述した実施形態１から実施形態５で説明した検出処理を２つ以上組み合わせたものである。採用した複数の検出処理のうち、すべての検出処理で目標物の検出に成功した場合、目標物を検出したと判定する。いずれかの検出不法で目標物の検出に失敗した場合、目標物未検出と判定する。以上説明したように実施形態６によれば、複数の検出処理を組み合わせることにより、さらに検出精度を高めることができる。

以上、本発明を実施形態をもとに説明した。これらの実施形態は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形例が可能である。また、そうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば、制御部４０が撮像素子３０から赤外線成分と、補色成分としてイエローＹｅ、シアンＣｙおよびマゼンダＭｇを得た場合でも、ＣＭＹ空間からＲＧＢ空間に変換すれば、上述した検出処理を使用することができる。

また、実施形態３および実施形態４では、人肌を検出するために、Ｂ信号の部分減算成分Ｓｕｂ＿ｂおよびＲ信号の部分減算成分Ｓｕｂ＿ｒを用いた。この点、Ｇ信号の部分減算成分Ｓｕｂ＿ｇおよびＲ信号の部分減算成分Ｓｕｂ＿ｒを用いてもよい。肌色の場合、Ｂ信号とＧ信号は比較的近い値をとるためである。

また、実施形態３および実施形態４では、Ｒ信号、Ｇ信号、Ｂ信号の３種類の部分減算成分をすべて算出したが、必ずしもＧ信号の部分減算成分Ｓｕｂ＿ｇを算出する必要はない。上述したように、Ｂ信号の部分減算成分Ｓｕｂ＿ｂおよびＲ信号の部分減算成分Ｓｕｂ＿ｒを使用すれば、人肌を検出できるためである。よって、その前段階の平均Ｇ信号Ｇａｖｇおよび割合Ｔｇを算出する必要もない。

また、制御部４０が上述した実施形態に係る検出処理に使用するＲ信号、Ｇ信号、Ｂ信号およびＩＲ信号は、同一のＣＣＤやＣＭＯＳセンサから同一フレーム用の信号として生成されたものであってもよい。この場合、動体に対するノイズ、すなわち動きずれや画角ずれを低減することができ、検出精度を高めることができる。もちろん、Ｒ信号、Ｇ信号、Ｂ信号と、ＩＲ信号とを別のフレームから取得してもよいし、Ｒ信号、Ｇ信号、Ｂ信号を生成する素子と、ＩＲ信号を生成する素子を別々に設けてもよい。

また、上述した実施形態では、目標物として人肌を想定した。この点、目標物に様々な物体を設定することが可能である。例えば、木の葉に設定した場合、実施形態３にて、Ｒ信号の部分減算成分Ｓｕｂ＿ｒからＢ信号の部分減算成分Ｓｕｂ＿ｂを減算して、浮かび上がった画素領域が木の葉を表す領域となる。

本発明の実施形態における目標物検出装置の基本構成を示す図である。 実施形態２における制御部の構成を示す図である。 実施形態２における目標物を検出するためのパラメータを記述した２次元座標を示す図である。 図４（ａ）−（ｃ）は、実施形態２における目標物検出処理により画像内から人を検出する過程を示す図である。 実施形態３における制御部の構成を示す図である。 図６（ａ）−（ｃ）は、実施形態３における目標物検出処理により画像内から人を検出する過程を示す図である。 実施形態３に係る目標物検出装置の動作を説明するためのフローチャートである。 実施形態４に係る目標物を検出するためのパラメータを記述した２次元座標を示す図である。 実施形態４に係る目標物検出装置の動作を説明するためのフローチャートである。

符号の説明

１０ カラーフィルタ、 ２０ 赤外線透過フィルタ、 ３０ 撮像素子、 ４０ 制御部、 ４２ 色成分変換部、 ４４ 色成分判定部、 ４６ 赤外線成分判定部、 ４８ 目標物検出部、 ５２ 色成分平均値算出部、 ５４ 赤外線成分平均値算出部、 ５６ 赤外線成分割合算出部、 ５８ 部分減算成分算出部、 ６０ 目標物検出部、 １００ 目標物検出装置。

Claims (1)

1. 撮像した画像内から目標物を検出する装置であって、
   入射光からそれぞれ異なる複数の色成分および赤外線成分を出力する撮像素子と、
   少なくとも二種類以上の色成分のそれぞれと前記赤外線成分との間に、それぞれ異なる複数の演算を施し、すべての演算において、各演算結果が各設定値の範囲に収まる場合、前記演算を施した成分に対応する領域が前記目標物を表す領域であると判定する制御部と、
   を備えることを特徴とする目標物検出装置。