JPWO2006090449A1 - 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム - Google Patents

Abstract

例えば車両に搭載され運転者の顔を撮像する車載カメラを用いたシステムにおいて、運転者の鼻孔等の検出対象を高精度に検出する画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラムを提供する。 画像の撮像時の垂直方向における位置を候補として複数検出し、検出した各位置に対応する水平方向に並ぶ画素の列の夫々に対し、画素の輝度に基づいて検出対象の候補となる範囲を検出し、検出した範囲の長さに基づいて、検出対象の候補の中から検出対象を特定する方法等の様々な検出方法により、検出対象を多様化する。

Description

本発明は、夫々異なる第１方向及び第２方向に画素が並ぶ二次元の画像から特定の検出対象を検出する画像処理方法、該画像処理方法を適用した画像処理装置、該画像処理装置を備える画像処理システム、並びに前記画像処理装置を実現するコンピュータプログラムに関し、特に検出対象の検出精度を向上させる画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラムに関する。

自動車等の車両の運転を支援する装置として、運転者の顔を撮像することが可能な位置に配置された車載カメラで運転者の顔を撮像し、得られた画像から運転者の顔の輪郭及び目の位置を検出する画像処理を行う画像処理装置が提案されている（例えば、特許文献１参照）。この様な装置を用いることにより、運転者の状況を検知し、脇見運転、居眠り運転等の運転者の状況に応じた警告等の運転支援を行うシステムを構成することも可能である。なお西日等の外光が車両内の運転者の顔に差し込む状況が煩雑に生じるため、運転中の運転者の顔の照度は一定ではないが、運転者の顔を撮像して得られる画像の輝度が一定になる様に、車載カメラのオートゲイン機能により、或程度の調整が行われる。
特開２００４−２３４３６７号公報

しかしながら運転者の顔に対して一様に太陽光、反射光等の外光が照射される場合、オートゲイン機能により対応することが可能であるが、照射される外光が一様でない場合、画像全体の輝度を調整するオートゲイン機能では、局所的な照度の変化に対応することができない。例えば顔の左半分だけに太陽光が当たる偏変化が生じている場合、太陽光が当たっていない暗い部分を顔として認識することができず、明るい部分だけを顔の輪郭として検出する誤検出が生じるという問題がある。このように走行している車両内の運転者の顔面に当たる光線は、絶えず変化するため、顔又は顔に含まれる各部位の検出は、多様な方法にて行い総合的に判断しなければ十分な精度が得られないという問題がある。

本発明は斯かる事情に鑑みてなされたものであり、撮像等の処理により得られた画像から人物の鼻等の検出対象を検出する場合に、画像の撮像時の垂直方向における位置を候補として複数検出し、検出した各位置に対応する水平方向に並ぶ画素の列の夫々に対し、画素の輝度に基づいて検出対象の候補となる範囲を検出し、検出した範囲の長さに基づいて、検出対象の候補の中から検出対象を特定することにより、検出方法を多様化し、検出精度を向上させることが可能な画像処理方法、該画像処理方法を適用した画像処理装置、該画像処理装置を備える画像処理システム、並びに前記画像処理装置を実現するコンピュータプログラムの提供を主たる目的とする。

さらに本発明は、一の画素の輝度を、相隣る他の各画素の輝度に基づく加算、並びに前記一の画素から撮像時の水平方向及び垂直方向に所定距離離れた位置の画素の輝度に基づく減算の結果から検出対象を検出することにより、検出方法を多様化し、検出精度を向上させることが可能な画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラムの提供を他の目的とする。

また本発明は、撮像時の水平方向に並ぶ画素の輝度の変化を垂直方向に積算した結果に基づく水平方向の範囲、及び垂直方向に並ぶ画素の輝度の変化を水平方向に積算した結果に基づく垂直方向の範囲として検出対象を検出することにより、検出方法を多様化し、検出精度を向上させることが可能な画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラムの提供を更に他の目的とする。

そして本発明は、輝度の平均値及び分散値に基づいて検出方法の優先順位を決定することにより、状況に応じた効果的な検出方法を選択するので、検出精度を向上させることが可能な画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラムの提供を更に他の目的とする。

第１発明に係る画像処理方法は、夫々異なる第１方向及び第２方向に画素が並ぶ二次元の画像から特定の検出対象を検出する画像処理方法において、第１方向に並ぶ画素の輝度を積算して第２方向の積算値の変化を導出し、導出した積算値の変化に基づき、検出対象の候補に対応する位置として、第２方向上での位置を複数検出し、検出した各位置に対応する第１方向に並ぶ画素の列の夫々に対し、画素の輝度に基づく第１方向の範囲を、検出対象の候補として検出し、検出した範囲の長さに基づいて、検出対象の候補の中から検出対象を特定することを特徴とする。

第２発明に係る画像処理方法は、夫々異なる第１方向及び第２方向に画素が並ぶ二次元の画像から特定の検出対象を検出する画像処理方法において、一の画素の輝度を、相隣る他の各画素の輝度に基づく加算、並びに前記一の画素から第１方向に所定距離離れた位置の画素の輝度及び第２方向に所定距離離れた位置の画素の輝度に基づく減算の結果に基づいて変換し、変換した結果に基づいて検出対象を検出することを特徴とする。

第３発明に係る画像処理方法は、夫々異なる第１方向及び第２方向に画素が並ぶ二次元の画像から特定の検出対象を検出する画像処理方法において、第１方向に並ぶ画素の輝度の変化に基づく数値を第２方向に積算して第１方向における積算値の変化を導出し、第２方向に並ぶ画素の輝度の変化に基づく数値を第１方向に積算して第２方向における積算値の変化を導出し、導出した第１方向における積算値の変化に基づく第１方向の範囲、及び導出した第２方向における積算値の変化に基づく第２方向の範囲に基づいて検出対象を検出することを特徴とする。

第４発明に係る画像処理方法は、複数の画素を含む二次元の画像から特定の検出対象を複数の検出方法で検出する画像処理方法において、画素の輝度の平均値を算出し、画素の輝度の分散値を算出し、算出した平均値及び分散値に基づいて、検出方法の優先順位を決定することを特徴とする。

第５発明に係る画像処理装置は、夫々異なる第１方向及び第２方向に画素が並ぶ二次元の画像から特定の検出対象を検出する画像処理装置において、第１方向に並ぶ画素の輝度を積算して第２方向の積算値の変化を導出する導出手段と、導出した積算値の変化に基づき、検出対象の候補に対応する位置として、第２方向上での位置を複数検出する候補検出手段手段と、検出した各位置に対応する第１方向に並ぶ画素の列の夫々に対し、画素の輝度に基づく第１方向の範囲を、検出対象の候補として検出する範囲検出手段と、検出した範囲の長さに基づいて、検出対象の候補の中から検出対象を特定する特定手段とを備えることを特徴とする。

第６発明に係る画像処理装置は、第５発明において、前記候補検出手段は、第１方向に積算された画素の輝度の積算値の変化から極小値を示す複数の位置を検出するように構成してあることを特徴とする。

第７発明に係る画像処理装置は、第６発明において、前記導出手段が導出した積算値の変化を二次微分する手段と、前記候補検出手段は、極小値を示す複数の位置の中で、二次微分の結果に基づき所定数の位置を検出するように構成してあることを特徴とする。

第８発明に係る画像処理装置は、第５発明乃至第７発明のいずれかにおいて、前記範囲検出手段は、第１方向に並ぶ画素の輝度の変化に基づいて範囲を検出するように構成してあることを特徴とする。

第９発明に係る画像処理装置は、第５発明乃至第８発明のいずれかにおいて、検出対象を含み、第１方向の範囲が検出対象より大きい検出領域の第１方向の範囲を検出する手段を更に備え、前記特定手段は、前記範囲検出手段が検出した検出対象の候補の第１方向の範囲の長さ、及び検出対象を含む検出領域の第１方向の範囲の長さを比較した結果に基づいて検出対象を特定するように構成してあることを特徴とする。

第１０発明に係る画像処理装置は、第５発明乃至第９発明のいずれかにおいて、特定した検出対象に係る第２方向に並ぶ画素の輝度を積算して第１方向の積算値の変化を導出する手段と、第１方向の積算値の変化から極小値を検出する極小値検出手段と、検出した極小値の数を計数する手段と、計数した数が所定数未満である場合、特定した検出対象は偽である判定する手段とを更に備えることを特徴とする。

第１１発明に係る画像処理装置は、第１０発明において、前記極小値検出手段が検出した極小値に対応する画素を含み、該画素と輝度が同じで第２方向に連続する画素の数が、所定数を超える場合、特定した検出対象は偽であると判定する手段を更に備えることを特徴とする。

第１２発明に係る画像処理装置は、夫々異なる第１方向及び第２方向に画素が並ぶ二次元の画像から特定の検出対象を検出する画像処理装置において、一の画素の輝度を、相隣る他の各画素の輝度に基づく加算、並びに前記一の画素から第１方向に所定距離離れた位置の画素の輝度及び第２方向に所定距離離れた位置の画素の輝度に基づく減算の結果に基づいて変換する手段と、変換した結果に基づいて検出対象を検出する検出手段とを備えることを特徴とする。

第１３発明に係る画像処理装置は、第１２発明において、前記検出手段は、変換後の値が最小の画素を検出対象として検出するように構成してあることを特徴とする。

第１４発明に係る画像処理装置は、夫々異なる第１方向及び第２方向に画素が並ぶ二次元の画像から特定の検出対象を検出する画像処理装置において、第１方向に並ぶ画素の輝度の変化に基づく数値を第２方向に積算して第１方向における積算値の変化を導出する第１導出手段と、第２方向に並ぶ画素の輝度の変化に基づく数値を第１方向に積算して第２方向における積算値の変化を導出する第２導出手段と、前記第１導出手段が導出した第１方向における積算値の変化に基づく第１方向の範囲、及び前記第２導出手段が導出した第２方向における積算値の変化に基づく第２方向の範囲に基づいて検出対象を検出する検出手段とを備えることを特徴とする。

第１５発明に係る画像処理装置は、第１４発明において、前記第１導出手段は、第１方向に相隣る画素との輝度差に基づく数値及び第１方向に相隣る画素の輝度の低さを示す数値に基づく指標を、第２方向に積算して第１方向における積算値の変化を導出するように構成してあり、前記第２導出手段は、第２方向に相隣る画素との輝度差に基づく数値及び第２方向に相隣る画素の輝度の低さを示す数値に基づく指標を、第１方向に積算して第２方向における積算値の変化を導出するように構成してあり、前記検出手段は、前記第１導出手段が導出した積算値が、最大となる位置から最小となる位置までの第１方向の範囲、及び前記第２導出手段が導出した積算値が、最大となる位置から最小となる位置までの第２方向の範囲に基づいて検出対象を検出するように構成してあることを特徴とする。

第１６発明に係る画像処理装置は、複数の画素を含む二次元の画像から特定の検出対象を複数の検出方法で検出する画像処理装置において、画素の輝度の平均値を算出する手段と、画素の輝度の分散値を算出する手段と、算出した平均値及び分散値に基づいて、検出方法の優先順位を決定する手段とを備えることを特徴とする。

第１７発明に係る画像処理システムは、第５発明乃至第１６発明のいずれかに記載の画像処理装置と、該画像処理装置にて処理される画像を生成する撮像装置とを備え、前記検出対象は、前記撮像装置により撮像された画像内の人物の鼻孔を含む領域であり、前記第１方向は、水平方向であり、前記第２方向は、垂直方向であることを特徴とする。

第１８発明に係るコンピュータプログラムは、コンピュータに、夫々異なる第１方向及び第２方向に画素が並ぶ二次元の画像から特定の検出対象を検出させるコンピュータプログラムにおいて、コンピュータに、第１方向に並ぶ画素の輝度を積算して第２方向の積算値の変化を導出させる手順と、コンピュータに、導出した積算値の変化に基づき、検出対象の候補に対応する位置として、第２方向上での位置を複数検出させる手順と、コンピュータに、検出した各位置に対応する第１方向に並ぶ画素の列の夫々に対し、画素の輝度に基づく第１方向の範囲を、検出対象の候補として検出させる手順と、コンピュータに、検出した範囲の長さに基づいて、検出対象の候補の中から検出対象を特定させる手順とを実行させることを特徴とする。

第１９発明に係るコンピュータプログラムは、コンピュータに、夫々異なる第１方向及び第２方向に画素が並ぶ二次元の画像から特定の検出対象を検出させるコンピュータプログラムにおいて、コンピュータに、一の画素の輝度を、相隣る他の各画素の輝度に基づく加算、並びに前記一の画素から第１方向に所定距離離れた位置の画素の輝度及び第２方向に所定距離離れた位置の画素の輝度に基づく減算の結果に基づいて変換させる手順と、コンピュータに、変換した結果に基づいて検出対象を検出させる手順とを実行させることを特徴とする。

第２０発明に係るコンピュータプログラムは、コンピュータに、夫々異なる第１方向及び第２方向に画素が並ぶ二次元の画像から特定の検出対象を検出させるコンピュータプログラムにおいて、コンピュータに、第１方向に並ぶ画素の輝度の変化に基づく数値を第２方向に積算して第１方向における積算値の変化を導出させる手順と、コンピュータに、第２方向に並ぶ画素の輝度の変化に基づく数値を第１方向に積算して第２方向における積算値の変化を導出させる手順と、コンピュータに、導出した第１方向における積算値の変化に基づく第１方向の範囲、及び導出した第２方向における積算値の変化に基づく第２方向の範囲に基づいて検出対象を検出させる手順とを実行させることを特徴とする。

第２１発明に係るコンピュータプログラムは、コンピュータに、複数の画素を含む二次元の画像から特定の検出対象を複数の検出方法で検出させるコンピュータプログラムにおいて、コンピュータに、画素の輝度の平均値を算出させる手順と、コンピュータに、画素の輝度の分散値を算出させる手順と、コンピュータに、算出した平均値及び分散値に基づいて、検出方法の優先順位を決定させる手順とを実行させることを特徴とする。

第１発明、第５発明、第６発明、第７発明及び第１８発明では、例えば撮像された画像内において、人物の顔の中の鼻孔を含む左右の小鼻までの領域を検出対象とした場合で、水平方向及び垂直方向を夫々第１方向及び第２方向とするときに、垂直方向の輝度の分布に着目して、眉、目及び口をも含む複数の候補を検出し、水平方向の幅に基づき候補の中から検出対象を特定することにより、検出対象を高精度に検出することが可能である。特に水平方向の輝度の分布に基づき検出対象を検出する他の方法と併用した場合、検出方法を多様化して検出対象の位置を総合的に判断することができるので、検出精度を更に高めることが可能である。

第８発明では、眉、目、口等の部位を含む複数の候補の中から水平方向に並ぶ画素の輝度に基づき範囲を検出することにより、鼻孔を含む領域と、他の部位との水平方向の範囲の差が明確になるように検出することが可能であり、検出精度を高めることが可能である。

第９発明では、検出対象である鼻孔を含む検出領域である顔の幅を検出し、顔の幅に対する比較、例えば顔の幅に対し、水平方向の範囲が２２％〜４３％である候補を、検出対象として特定することにより、眉、目、口等の他の部位と明確に区別することができるので、検出精度を高めることが可能である。

第１０発明では、水平方向における極小値の数、即ち鼻孔である可能性が高い部位の数が、左右の鼻孔を想定して設定された２個等の所定数未満である場合、鼻孔である可能性は低いと判断して検出対象ではないと判定することにより、鼻孔以外の部位を鼻孔として判断する誤検出の可能性を低減することが可能である。

第１１発明では、垂直方向の連続性が所定数にて示される閾値を超える場合、眼鏡フレームを検出している可能性が高いと判断して、検出対象ではないと判定することにより、誤検出の可能性を低減することが可能である。

第２発明、第１２発明、第１３発明及び第１９発明では、例えば撮像された画像内において、人物の顔の中の鼻孔を検出対象とした場合で、水平方向及び垂直方向を夫々第１方向及び第２方向とするときに、相隣る画素の輝度が低く、更にその周囲の輝度が高い部位、即ち輝度が低い小さな領域を強調する変換処理を行うことにより、検出対象を高精度に検出することが可能である。特に検出対象を検出する他の方法と併用した場合、検出方法を多様化して検出対象の位置を総合的に判断することができるので、検出精度を更に高めることが可能である。

第３発明、第１４発明、第１５発明及び第２０発明では、例えば撮像された画像内において、人物の顔の中の鼻孔の周囲の領域を検出対象とした場合で、水平方向及び垂直方向を夫々第１方向及び第２方向とするときに、垂直方向及び水平方向の夫々に対し、輝度の下降が大きい箇所が大きくなり、輝度の上昇が大きい箇所が小さくなる様な数値を導出し、導出した数値に基づいて周囲より輝度が低い四角形の領域である検出対象を検出することにより、検出対象を高精度に検出することが可能である。特に鼻孔そのものではなく、鼻孔の周囲の下向きの領域を検出するので、鼻孔が検出し難い角度に顔を傾けている場合でも検出対象を検出することが可能であり、特に他の方法と併用した場合、検出方法を多様化して検出対象の位置を総合的に判断することができるので、検出精度を更に高めることが可能である。しかも両目の位置、鼻の位置等の部位を他の方法で検出した場合、検出した部位との位置関係に基づいて領域の絞込を行った上で、当該発明に係る検出を行うことにより、更に高精度に検出対象を検出することが可能である。

第４発明、第１６発明及び第２１発明では、例えば撮像された画像内において、人物の顔の中の鼻孔等の検出対象を検出する場合に、輝度の平均値及び分散値に基づいて、人物の顔に局所的な照度の変化が生じているか否かを判定し、判定した状況に応じて検出方法の優先順位を決定することにより、様々な検出方法の中から状況に応じた信頼性の高い検出方法及び検出順序を選択することができるので、検出精度を更に高めることが可能である。

第１７発明では、人物の鼻孔を含む領域を高精度に検出することができるので、例えば車両に搭載された車載カメラ等の撮像装置により運転者の顔を撮像して得られた画像から、運転者の顔を検出対象として検出するシステムに適用され、運転者の状況を検知し、脇見運転の警告等の運転支援を行うシステムに展開することが可能である。

本発明に係る画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラムは、例えば車両に搭載された車載カメラ等の撮像装置により運転者の顔を撮像して得られた画像から、人物の顔の中の鼻孔を含む左右の小鼻までの領域を検出対象とする形態に適用される。そして本発明に係る画像処理装置等は、第１方向である水平方向に並ぶ画素の輝度を積算して第２方向である垂直方向の積算値の変化を導出し、導出した積算値の変化から極小値となる複数の位置を、検出対象を含む候補として検出し、更にその中から積算値の変化を二次微分して所定個数に絞り込み、絞り込んだ各位置に対応する第１方向に並ぶ画素の列の夫々に対し、画素の輝度に基づいて、検出対象の候補となる第１方向の範囲を検出し、検出した範囲の長さに基づいて、検出対象の候補の中から検出対象を特定する。

本発明は、この構成により、垂直方向の輝度の分布に着目して、輝度が低い眉、目及び口をも含む複数の候補を検出し、水平方向の幅に基づき候補の中から検出対象を特定することにより、検出対象を高精度に検出することが可能である等、優れた効果を奏する。特に本発明は、水平方向の輝度の分布に基づき検出対象を検出する他の方法と併用した場合、検出方法を多様化して検出対象の位置を総合的に判断することができるので、検出精度を更に高めることが可能である等、優れた効果を奏する。

そして本発明は、検出対象の検出の精度を向上させることにより、運転者の状況を正確に検知し、脇見運転の警告等の運転支援を行うシステムに適用した場合には、外光の状況が常に変化する環境下で運転を行った場合でも、誤検出の少ない信頼のおける運転支援システムを構築することが可能である等、優れた効果を奏する。

また本発明に係る画像処理装置等では、第１方向である水平方向に並ぶ画素列から検出対象の候補となる範囲を検出する場合に、第１方向に並ぶ画素の輝度の変化に基づいて範囲を検出することにより、具体的には水平方向の輝度が急激に変化する箇所を強調するフィルタ処理にて、第１方向に並ぶ輝度が低い画素列の両端を検出した結果に基づき範囲を検出することにより、鼻孔を含む領域と、眉、目、口等の他の部位との水平方向の範囲の差が明確になるように検出することが可能であり、このため検出精度を高めることが可能である等、優れた効果を奏する。

さらに本発明に係る画像処理装置等では、顔の幅を検出し、顔の幅に対する比較、例えば顔の幅に対し、水平方向の範囲が２２％〜４３％である候補を、検出対象として特定することにより、眉、目、口等の他の部位と明確に区別することができるので、検出精度を高めることが可能である等、優れた効果を奏する。

そして本発明に係る画像処理装置等では、検出対象を特定することができた場合であっても、特定した検出対象に含まれる水平方向に並ぶ画素の列において、検出対象に係る垂直方向の輝度の積算値が極小となる周囲より輝度が低い部位の数、即ち鼻孔である可能性が高い部位の数が、左右の鼻孔の数を示す所定数、即ち２個未満である場合、鼻孔である可能性は低いと判断して検出対象ではないと判定することにより、鼻孔以外の部位を鼻孔として判断する誤検出の可能性を低減することが可能である等、優れた効果を奏する。

しかも本発明に係る画像処理装置等では、垂直方向に並ぶ画素の数が所定数を超える場合、眼鏡フレームを検出している可能性が高いと判断して、検出対象ではないと判定することにより、誤検出の可能性を低減することが可能である等、優れた効果を奏する。

本発明に係る画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラムは、例えば車両に搭載された車載カメラ等の撮像装置により運転者の顔を撮像して得られた画像から、人物の顔の中の鼻孔を検出対象とする形態に適用される。そして本発明に係る画像処理装置等は、一の画素の輝度を、相隣る他の各画素の輝度に基づく加算、並びに前記一の画素の位置から第１方向である水平方向に所定距離離れた位置の画素及び第２方向である垂直方向に所定距離離れた位置の画素の輝度に基づく減算の結果に基づいて変換し、変換後の値が最小の画素を検出対象として検出する。

本発明は、この構成により、相隣る画素の輝度が低く、更にその周囲の輝度が高い部位、即ち輝度が低い小さな領域を強調する変換処理を行うことになり、輝度が低い小さな領域である鼻孔を高精度に検出することが可能である等、優れた効果を奏する。特に本発明は、顔が上向きの時、鼻孔を高精度に検出することができるので、検出対象を検出する他の方法と併用した場合、検出方法を多様化して検出対象の位置を総合的に判断することができるので、検出精度を更に高めることが可能である等、優れた効果を奏する。

そして本発明は、検出対象の検出の精度を向上させることにより、運転者の状況を正確に検知し、脇見運転の警告等の運転支援を行うシステムに適用した場合には、外光の状況が常に変化する環境下で運転を行った場合でも、誤検出の少ない信頼のおける運転支援システムを構築することが可能である等、優れた効果を奏する。

本発明に係る画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラムは、例えば車両に搭載された車載カメラ等の撮像装置により運転者の顔を撮像して得られた画像から、人物の顔の中の鼻孔の周囲の下向きの領域を検出対象とする形態に適用される。そして本発明に係る画像処理装置等は、第１方向である水平方向に相隣る画素との輝度差に基づく数値及び第１方向に相隣る画素の輝度の低さを示す数値を乗じた指標を、第２方向である垂直方向に積算して第１方向における積算値の変化を導出し、第２方向に相隣る画素との輝度差に基づく数値及び第２方向に相隣る画素の輝度の低さを示す数値を乗じた指標を、第１方向に積算して第２方向における積算値の変化を導出し、導出した夫々の積算値が、最大となる位置から最小となる位置までの第１方向の範囲及び第２方向の範囲に基づいて検出対象を検出する。

本発明は、この構成により、水平方向及び垂直方向の夫々に対し、輝度の下降が大きい箇所が大きくなり、輝度の上昇が大きい箇所が小さくなる様な数値を導出し、導出した数値に基づいて周囲より輝度が低い四角形の領域である検出対象を検出することになるので、検出対象を高精度に検出することが可能である等、優れた効果を奏する。特に本発明では、鼻孔そのものではなく、周囲より輝度が低い四角形の領域として鼻孔の周囲の下向きの領域を検出するので、鼻孔が検出し難い角度に顔を傾けている場合でも検出対象を検出することが可能である等、優れた効果を奏する。しかも本発明は、両目の位置、鼻の位置等の部位を他の方法で検出した場合、検出した部位との位置関係に基づいて領域の絞込を行った上で、当該発明に係る検出を行うことにより、更に高精度に検出対象を検出することが可能である等、優れた効果を奏する。従って本発明は、検出対象を検出する他の方法と併用した場合、検出方法を多様化して検出対象の位置を総合的に判断することができるので、検出精度を更に高めることが可能である等、優れた効果を奏する。

そして本発明は、検出対象の検出の精度を向上させることにより、運転者の状況を正確に検知し、脇見運転の警告等の運転支援を行うシステムに適用した場合には、外光の状況が常に変化する環境下で運転を行った場合でも、誤検出の少ない信頼のおける運転支援システムを構築することが可能である等、優れた効果を奏する。

本発明に係る画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラムは、例えば車両に搭載された車載カメラ等の撮像装置により運転者の顔を撮像して得られた画像から、人物の顔の鼻孔を含む領域を検出対象とする形態に適用される。そして本発明に係る画像処理装置等は、画素の輝度の平均値を算出し、画素の輝度の分散値を算出し、算出した平均値及び分散値に基づいて、複数の検出方法の中から検出方法の優先順位を決定する。

本発明は、この構成により、輝度の平均値及び分散値に基づいて、人物の顔に局所的な照度の変化が生じているか否かを判定し、判定した状況に応じて検出方法の優先順位を決定することにより、様々な検出方法の中から状況に応じた信頼性の高い検出方法及び検出順序を選択することができるので、検出精度を更に高めることが可能である等、優れた効果を奏する。

本発明の実施の形態１における画像処理システムの構成例を示すブロック図である。 本発明の実施の形態１における画像処理システムにて用いられる画像処理装置の処理の例を示すフローチャートである。 本発明の実施の形態１における画像処理システムにて用いられる画像処理装置の処理の例を示すフローチャートである。 本発明の実施の形態１における画像処理システムの画像の処理の範囲の決定から検出対象の候補の検出までの処理の例を概念的に示す説明図である。 本発明の実施の形態１における画像処理システムの端部検出処理が行われる範囲の例を模式的に示す説明図である。 本発明の実施の形態１における画像処理システムの端部検出処理に用いられる係数の例を示す説明図である。 本発明の実施の形態１における画像処理システムの端部検出処理が行われる範囲の例を模式的に示す説明図である。 本発明の実施の形態１における画像処理システムの端部検出処理が行われる範囲の例を模式的に示す説明図である。 本発明の実施の形態１における画像処理システムの検出対象の候補を示す説明図である。 本発明の実施の形態１における画像処理システムの鼻孔領域スコアを概念的に示す説明図である。 本発明の実施の形態２における画像処理システムの構成例を示すブロック図である。 本発明の実施の形態２における画像処理システムにて用いられる画像処理装置の処理の例を示すフローチャートである。 本発明の実施の形態２における画像処理システムの検出範囲の設定の例を概念的に示す説明図である。 本発明の実施の形態２における画像処理システムの探索範囲の設定の例を概念的に示す説明図である。 本発明の実施の形態２における画像処理システムの黒領域算出フィルタ処理に用いられる係数の例を示す説明図である。 本発明の実施の形態２における画像処理システムの黒領域算出フィルタ処理を用いた検出の例を概念的に示す説明図である。 本発明の実施の形態３における画像処理システムの構成例を示すブロック図である。 本発明の実施の形態３における画像処理システムにて用いられる画像処理装置の処理の例を示すフローチャートである。 本発明の実施の形態３における画像処理システムの探索範囲の設定の例を概念的に示す説明図である。 本発明の実施の形態３における画像処理システムの水平方向エッジフィルタ処理に用いられる係数の例を示す説明図である。 本発明の実施の形態３における画像処理システムの垂直方向エッジフィルタ処理に用いられる係数の例を示す説明図である。 本発明の実施の形態３における画像処理システムの検出の結果を示す説明図である。 本発明の実施の形態４における画像処理システムの構成例を示すブロック図である。 本発明の実施の形態４における画像処理システムにて用いられる画像処理装置２の処理の例を示すフローチャートである。

符号の説明

１ 撮像装置
２ 画像処理装置
３１，３２，３３，３４ コンピュータプログラム
４１，４２，４３，４４ 記録媒体

以下、本発明をその実施の形態を示す図面に基づいて詳述する。

実施の形態１．
図１は、本発明の実施の形態１における画像処理システムの構成例を示すブロック図である。図１中１は、車両に搭載された車載カメラ等の撮像装置であり、撮像装置１は、画像処理を行う画像処理装置２に専用ケーブル等の通信線又は有線或いは無線にて構成される車内ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信網にて接続されている。撮像装置１は、車両内のハンドル、ダッシュボード等の運転者の前方に配設され、運転者の顔の横及び縦が画像の水平方向及び垂直方向になるように撮像することが可能な状態に調整されている。

撮像装置１は、装置全体を制御するＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）１１と、ＭＰＵ１１の制御に基づき実行される各種コンピュータプログラム及びデータを記録するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＯＭ１２に記録されたコンピュータプログラムの実行時に一時的に発生する各種データを記録するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子を用いて構成される撮像部１４と、撮像部１４の撮像により得られたアナログの画像データをデジタルデータに変換するＡ／Ｄ変換器１５と、Ａ／Ｄ変換器１５によりデジタルに変換された画像データを一時的に記録するフレームメモリ１６と、画像処理装置２との通信に用いられる通信インタフェース１７とを備えている。

撮像装置１では、撮像部１４により、連続的又は断続的に撮像処理を行い、撮像処理に基づいて例えば１秒当たり３０枚の画像データ（画像フレーム）を生成してＡ／Ｄ変換器１５へ出力し、Ａ／Ｄ変換器１５では、画像を構成する各画素を２５６階調（１Ｂｙｔｅ）等の階調にて示されるデジタル画像データに変換し、フレームメモリ１６に記録させる。フレームメモリ１６に記録させた画像データは、所定のタイミングで通信インタフェース１７から画像処理装置２へ出力される。画像を構成する各画素は、二次元に配列されており、画像データは、平面直角座標系、所謂ｘｙ座標系にて示される各画素の位置、及び階調値として示される各画素の輝度を示すデータを含んでいる。なお各画素に対し夫々ｘｙ座標系による座標を示すのではなく、データ内に配列される順序により座標を示す様にしても良い。そして画像の水平方向は、画像データのｘ軸方向に対応し、画像の垂直方向は、画像データのｙ軸方向に対応する。

画像処理装置２は、装置全体を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１と、本発明の実施の形態１に係るコンピュータプログラム３１及びデータ等の各種情報を記録したＣＤ−ＲＯＭ等の記録媒体４１から情報を読み取るＣＤ−ＲＯＭドライブ等の補助記録部２２と、補助記録部２２により読み取った各種情報を記録するハードディスク（以下ＨＤという）２３と、ＨＤ２３に記録されたコンピュータプログラム３１の実行時に一時的に発生する各種データを記録するＲＡＭ２４と、揮発性メモリにて構成されるフレームメモリ２５と、撮像装置１との通信に用いられる通信インタフェース２６とを備えている。

そしてＨＤ２３から本発明のコンピュータプログラム３１及びデータ等の各種情報を読み取り、ＲＡＭ２４に記録させてコンピュータプログラム３１に含まれる各種手順をＣＰＵ２１により実行することで、車載用コンピュータは、本発明の画像処理装置２として動作する。ＨＤ２３に記録されるデータとしては、コンピュータプログラム３１の実行に係るデータ、例えば後述する数式、フィルタ、各種定数等の様々なデータ、更に検出された検出対象又は検出対象の候補を示すデータ等のデータがある。

画像処理装置２では、撮像装置１から出力された画像データを通信インタフェース２６にて受け付け、受け付けた画像データをフレームメモリ２５に記録し、フレームメモリ２５に記録した画像データを読み出して、様々な画像処理を行う。受け付けた画像データに対して実行する様々な画像処理とは、画像データから運転者の顔の輪郭、目、鼻等の領域の検出に要する様々な処理である。具体的な処理の例としては、画像の垂直方向に並ぶ輝度を積算し、積算した値を所定の閾値と比較することで、背景より輝度が高い画素にて構成される顔の輪郭の水平方向の範囲を検出する輪郭幅検出処理を挙げることができる。また更にその処理において、積算値の水平方向の変化を微分して変化が大きい位置を特定して、輝度が大きく変化する背景と顔の輪郭との境界を検出する輪郭幅検出処理を挙げることができる。詳細な処理の内容は、例えば本願出願人により出願された特開２００４−２３４４９４号公報、特開２００４−２３４３６７号公報等の文献に記載されている。なおこれらの画像処理は、必ずしも特開２００４−２３４４９４号公報及び特開２００４−２３４３６７号公報に記載された処理に限るものではなく、その用途、ハードウェア構成、他のアプリケーションプログラムとの連携等の条件に応じて適宜選択することが可能である。

次に本発明の実施の形態１における画像処理システムにて用いられる各種装置の処理について説明する。本発明の実施の形態１は、図１を用いて説明した様に例えば車両に搭載された車載カメラ等の撮像装置１により運転者の顔を撮像して得られた画像から、運転者の顔の中の鼻孔を含む左右の小鼻までの領域を検出対象とする。図２及び図３は、本発明の実施の形態１における画像処理システムにて用いられる画像処理装置２の処理の例を示すフローチャートである。画像処理装置２では、ＲＡＭ２４に記録させたコンピュータプログラム３１を実行するＣＰＵ２１の制御により、撮像装置１の撮像により得られ通信インタフェース２６を介して受け付けた画像データをフレームメモリ２５から抽出し（Ｓ１０１）、抽出した画像データから運転者の顔の幅、即ち顔を示す領域の境界である輪郭の水平方向（第１方向）の範囲を、例えば上述した輪郭幅検出処理により検出し（Ｓ１０２）、検出した結果に基づいて、以降に行う画像処理の範囲を設定する（Ｓ１０３）。ステップＳ１０２にて検出された領域の範囲（輪郭の幅）、及び画像処理の範囲はＨＤ２３又はＲＡＭ２４に記録される。

そして画像処理装置２は、ＣＰＵ２１の制御により、ステップＳ１０１にて抽出されステップＳ１０３にて設定された範囲の画像に対し、水平方向（第１方向）に並ぶ画素の輝度を積算し（Ｓ１０４）、積算した結果から垂直方向（第２方向）の積算値の変化を導出し（Ｓ１０５）、導出した垂直方向における積算値の変化から、検出対象の候補に対応する垂直方向上での位置として、極小値を示す複数の位置を検出する（Ｓ１０６）。ステップＳ１０６では、本来の検出対象である鼻孔を含む左右の小鼻までの領域だけでなく、輝度が低い眉、目及び口をも含む複数の候補を検出する。

画像処理装置２は、ＣＰＵ２１の制御により、ステップＳ１０５にて導出した積算値の変化を二次微分し（Ｓ１０７）、ステップＳ１０６にて検出した極小値を示す複数の位置の中で、二次微分値が低いものから順に、１０個等の所定数の位置を垂直方向上での検出対象を含む候補の位置として検出する（Ｓ１０８）。積算値の変化を二次微分するステップＳ１０７の処理は、例えば下記の式１を用いて行われる。ステップＳ１０７は、ステップＳ１０６にて検出した候補を絞り込む処理であり、ステップＳ１０４〜Ｓ１０８の処理により、最大１０個の候補が検出される。ただしステップＳ１０６にて検出された候補の数が１０個未満である場合、ステップＳ１０８で検出される候補が１０個未満になることは言うまでもない。なお所定数は、ＨＤ２３又はＲＡＭ２４に予め記録されている必要に応じて変更することが可能な数値である。またステップＳ１０８にて検出された候補を示すデータは、ＨＤ２３又はＲＡＭ２４に記録される。

二次微分値＝Ｐ（ｙ）・２−Ｐ（ｙ−８）−Ｐ（ｙ＋８）…式１
但し、 ｙ：垂直方向の座標（ｙ座標）
Ｐ（ｙ）：位置ｙの積算値

そして画像処理装置２は、ＣＰＵ２１の制御により、ステップＳ１０８にて検出した検出対象の候補である垂直方向上での各位置を、ＨＤ２３又はＲＡＭ２４から読み取り、読み取った各位置に対応する水平方向に並ぶ画素の列の夫々に対し、画素の輝度の変化に基づいて、検出対象の候補の水平方向での端部、即ち左右端を検出し（Ｓ１０９）、検出した左右端に基づいて、検出対象の候補となる水平方向の範囲を検出する（Ｓ１１０）。なおステップＳ１０９にて左右端が検出されない候補、即ち一端側のみを検出した候補及び端部が検出されなかった候補は、検出対象の候補から除外され、ＨＤ２３又はＲＡＭ２４に記録されている内容は更新される。ステップＳ１０９の処理は、後述する様に、周囲より輝度の低い画素が連続する状態が途切れた点を端部として検出することにより行われる。またステップＳ１０９〜Ｓ１１０の処理は、全ての検出対象の候補に対して行われ、検出対象の候補の更なる絞り込み及び範囲の検出が行われる。

そして画像処理装置２は、ＣＰＵ２１の制御により、ステップＳ１１０にて検出して記録した検出対象の候補の水平方向の範囲の長さと、ステップＳ１０２にて検出して記録した運転者の顔の領域の水平方向の範囲（輪郭の幅）の長さとを比較し、検出対象の候補の中で、水平方向の範囲の長さが、運転者の顔の領域の水平方向の範囲の長さに対して、２２〜４３％の範囲に入る検出対象の候補を、検出対象であるとして特定し（Ｓ１１１）、ＨＤ２３又はＲＡＭ２４に検出対象の候補として記録されている内容を更新する。ステップＳ１１１では、全ての検出対象の候補について、検出対象、即ち鼻孔を含む左右の小鼻までの領域の候補の水平方向の範囲の長さに対し、検出対象を含む検出領域、即ち顔の領域の水平方向の長さが所定の範囲、ここでは２２〜４３％の範囲に入るか否かを判定し、所定の範囲に入る検出対象の候補を、検出対象として検出する。なおステップＳ１１１において、所定の範囲に入る検出対象の候補が複数である場合、ステップＳ１０９〜Ｓ１１０にて示す範囲の検出処理中に用いられる指標（後述する横エッジスコア）に基づいて、検出対象の候補の特定が行われる。また所定の範囲として示した２２〜４３％という数値は、固定されたものではなく、運転者の人種等の要因に応じて適宜設定される数値である。

そして画像処理装置２は、ＣＰＵ２１の制御により、ステップＳ１１１にて特定した検出対象を含み、水平方向の幅が検出対象に一致し、垂直方向の幅が３、５等の所定の画素数の検定領域を設定し（Ｓ１１２）、設定した検定領域内で垂直方向に並ぶ画素の輝度を積算して、水平方向の積算値の変化を導出し（Ｓ１１３）、導出した水平方向の積算値の変化から極小値を検出し（Ｓ１１４）、検出した極小値の数を計数し（Ｓ１１５）、計数した極小値の数が所定数、ここでは２個未満であるか否かを判定する（Ｓ１１６）。ステップＳ１１５において、計数した極小値の数が所定数未満である場合（Ｓ１１６：ＹＥＳ）、画像処理装置２は、ＣＰＵ２１の制御により、ステップＳ１１１にて特定した検出対象は偽であり、検出対象の検出は不可であると判定し（Ｓ１１７）、判定した結果に基づきＨＤ２３又はＲＡＭ２４の記録内容を更新して、処理を終了する。特定した検出対象が、鼻孔を含む左右の小鼻までの領域である場合、ステップＳ１１３にて導出した積算値の変化においては、鼻孔に相当する位置が極小値となるため、２個以上の極小値を計数することができる。従って極小値が０又は１個の場合、特定した特定した検出対象は偽であると判定する。なお小鼻の輪郭付近等の位置が影となり極小値を示す可能性があるため、極小値が３個以上でも、それだけで偽とは判定しない。

ステップＳ１１６において、計数した極小値の数が所定数である２以上である場合（Ｓ１１６：ＮＯ）、画像処理装置２は、ＣＰＵ２１の制御により、極小値に対応する画素を含み、該画素と輝度が同じで垂直方向に連続する画素の数を計数し（Ｓ１１８）、計数した連続する画素の数が、予め設定されている所定数以上であるか否かを判定する（Ｓ１１９）。ステップＳ１１８では、輝度の低い画素の垂直方向の連続性を判定する。なお画素の数の計数は、輝度の低い画素の連続性を判定することを目的とするため、必ずしも極小値に対応する画素と同じ輝度の画素のみを計数する必要はない。具体的には、輝度を２５６段階に分級された階調として示す場合で、極小値を示す画素の階調が２０であったとき、２０±５等の幅を持たせた階調にて連続性を計数することが望ましい。

ステップＳ１１９において、計数した連続する画素の数が、予め設定されている所定数を超える場合（Ｓ１１９：ＹＥＳ）、画像処理装置２は、ＣＰＵ２１の制御により、ステップＳ１１１にて特定した検出対象は偽であり、検出対象の検出は不可であると判定し（Ｓ１１７）、判定した結果に基づきＨＤ２３又はＲＡＭ２４の記録内容を更新して、処理を終了する。輝度の低い画素の連続性が所定数以上である場合、眼鏡のフレームを誤検出したと判断するのである。

ステップＳ１１９において、計数した連続する画素の数が、予め設定されている所定数以下である場合（Ｓ１１９：ＮＯ）、画像処理装置２は、ＣＰＵ２１の制御により、ステップＳ１１１にて特定した検出対象は真であり、検出対象を検出することができたと判定し（Ｓ１２０）、判定した結果に基づきＨＤ２３又はＲＡＭ２４の記録内容を更新して、処理を終了する。

なおステップＳ１０９〜Ｓ１１１等の検出対象の候補を絞り込む処理により、検出対象の候補が全て除外された場合も、検出対象の検出は不可であると判定する。

図２及び図３のフローチャートを用いて説明した処理を更に具体的に説明する。先ずステップＳ１０１〜Ｓ１０８に係る処理について説明する。図４は、本発明の実施の形態１における画像処理システムの画像の処理の範囲の決定から検出対象の候補の検出までの処理の例を概念的に示す説明図である。図４（ａ）は、画像の処理の範囲を決定する状況を示しており、図４（ａ）中、実線で示した外側の枠がステップＳ１０１にて抽出した画像データにより示される画像の全体であり、撮像された運転者の顔の画像及び検出対象である運転者の顔の中の鼻孔を含む左右の小鼻までの領域が示されている。一点鎖線で示した画像の垂直方向（ｙ軸方向）の線がステップＳ１０２にて検出された領域の範囲、即ち運転者の顔の輪郭の幅である。そして一点鎖線で示された顔の輪郭の幅と、実線で示された画像の全体の中の上下の枠とで囲まれた領域がステップＳ１０３にて設定される画像処理の範囲である。

図４（ｂ）は、ステップＳ１０４にて、水平方向に並ぶ画素の輝度を積算し、ステップＳ１０５にて導出した垂直方向の輝度の積算値の分布を示すグラフである。図４（ｂ）は、図４（ａ）に示した画像の垂直方向の輝度の積算値の分布を示しており、縦軸が図４（ａ）に対応する垂直方向の座標を示し、横軸が輝度の積算値を示している。図４（ｂ）に示す様に垂直方向の輝度の積算値は、眉、目、鼻孔、口等の部位で矢印にて示す極小値をとるように変化しており、ステップＳ１０６にて、極小値に基づいて検出対象の候補を検出できることが読み取れる。

次にステップＳ１０９〜Ｓ１１１に係る処理について説明する。図５は、本発明の実施の形態１における画像処理システムの端部検出処理が行われる範囲の例を模式的に示す説明図であり、図６は、本発明の実施の形態１における画像処理システムの端部検出処理に用いられる係数の例を示す説明図である。図５は、検出対象の候補の周辺の画素を示しており、図５の上方に示した数字が画素の水平方向の位置、即ちｘ座標を示し、左方に示した記号が画素の垂直方向の位置、即ちｙ座標を示している。図５の横方向に並ぶ右上から左下への斜線にて示したｙ座標の値がｙである画素の列ｙが検出対象の候補を示しており、画素の列ｙと、画素の列ｙの上下に隣接する左上から右下への斜線にて示したｙ座標の値が夫々ｙ＋１及びｙ−１である画素の列ｙ＋１及び列ｙ−１とが端部の検出に用いられる。そして画素の列ｙ，ｙ＋１，ｙ−１に含まれる各画素に対し、図６に示す係数を乗ずることにより、水平方向に並ぶ画素で輝度が低い画素が連続する領域の端部を明確化する横エッジフィルタとして機能する。図６に示した係数は、３×３のマトリクスとして、九の画素の輝度に対して乗ずる係数を示しており、中心の一の画素の輝度及び隣接する八の画素の輝度に対し、夫々対応する一の係数を乗じて、その結果を合計した値の絶対値を中心の位置の画素の横エッジ係数として算出する。横エッジ係数は、図６に示す様に左方に隣接する画素の輝度に対して「−１」を乗じた数値、及び右方に隣接する画素の輝度に対して「１」を乗じた数値を加算することにより求められる。なお図５中の太線で示した３×３の領域は、座標（２，ｙ＋１）にて示される画素に対して横エッジフィルタを対応させた状態を示しており、座標（２，ｙ＋１）にて示される画素の横エッジ係数は、下記の式２で算出される。

｜Ｐ（３，ｙ＋２）＋Ｐ（３，ｙ＋１）＋Ｐ（３，ｙ）
−Ｐ（１，ｙ＋２）−Ｐ（１，ｙ＋１）−Ｐ（１，ｙ）｜ …式２
但し、ｘ：水平方向の座標（ｘ座標）
ｙ：垂直方向の座標（ｙ座標）
ｐ（ｘ，ｙ）：座標（ｘ，ｙ）の画素の輝度

このようにして検出対象の候補となっている水平方向に並ぶ画素の列ｙ並びにその上下に隣る画素の列ｙ−１及びｙ＋１に含まれる画素について、横エッジ係数を算出する。

図７は、本発明の実施の形態１における画像処理システムの端部検出処理が行われる範囲の例を模式的に示す説明図である。図７の上方に示された数字が画素の水平方向の位置、即ちｘ座標を示し、左方に示された記号が画素の垂直方向の位置、即ちｙ座標を示している。図７の横方向に並ぶｙ座標の値がｙである画素の列ｙが検出対象の候補を示し、画素の列ｙと、画素の列ｙの上下に隣接するｙ座標の値が夫々ｙ＋１及びｙ−１である画素の列ｙ＋１及び列ｙ−１とに対しては、横エッジ係数が算出されている。そして画素の列ｙの両端の画素を除く右上から左下への斜線にて示した各画素について、一の画素、及び該画素に隣接する八の画素を合計した九の画素に対し、横エッジ係数と予め設定されている所定の閾値とを比較する。そして横エッジ係数が所定の閾値を超える画素の数を示す指数を、一の画素の横エッジスコアとして算出する。図７中の太線で囲んだ３×３の領域は、座標（３，ｙ）にて示される画素の横エッジスコアの算出に要する画素を示している。図７中の太線で囲んだ領域内の九の画素の中で、閾値を超える横エッジ係数を有する画素の数が座標（３，ｙ）にて示される画素の横エッジスコアとなる。

そして０〜９の値を示す横エッジスコアが、５以上である画素については、検出対象の候補の水平方向の範囲内にあると判断する。即ち画像処理装置２は、ステップＳ１０９において、横エッジスコアが５個以上の最左端の画素を、検出対象の候補の水平方向の左側の端部であるとして検出し、横エッジスコアが５個以上の最右端の画素を、検出対象の候補の水平方向の右側の端部であるとして検出することになる。そしてステップＳ１１０では、検出した左右端に基づいて検出対象の候補の水平方向の範囲が検出される。

図８は、本発明の実施の形態１における画像処理システムの端部検出処理が行われる範囲の例を模式的に示す説明図である。図８は、検出対象の候補の画素及び横エッジスコアを示しており、図８の上方に示された数字が画素の水平方向の位置、即ちｘ座標を示している。図８に示す例では、ｘ座標が５である画素からｘ座標が６３６である画素までが検出対象の水平方向の範囲として検出される。

図９は、本発明の実施の形態１における画像処理システムの検出対象の候補を示す説明図である。図９は、運転者の顔の画像と、ステップＳ１０９〜Ｓ１１０の処理にて水平方向の範囲が検出された検出対象の候補とを示している。図９中、×印が、ステップ１０９にて検出した左右端を示しており、×印にて示す左右端を結ぶ線分が検出対象の候補を示している。この段階で左右端が検出されなかった候補は、検出対象から除外される。図９に示す例では、眉、目、鼻孔、口及び顎の位置が検出対象の候補となっている。

そして図４に示した運転者の顔の領域の水平方向の範囲と、図９に示した検出対象の候補の水平方向の範囲とを比較することにより、ステップＳ１１１では、検出対象の候補の中から検出対象を特定する。なおステップＳ１１１において特定された検出対象の候補が複数である場合、特定された各検出対象を形成する水平方向に並ぶ夫々の画素の中で、横エッジスコアが所定値以上である画素の数を、特定された検出対象毎に計数し、得られた数値により示される指標を鼻孔領域スコアとする。そして鼻孔領域スコアが最大である検出対象を、真の検出対象とし、他の検出対象を偽として除外する。

図１０は、本発明の実施の形態１における画像処理システムの鼻孔領域スコアを概念的に示す説明図である。図１０は、図８にて検出された検出対象の水平方向の範囲に含まれる画素及び該画素の横エッジスコアを示す数値を示しており、数値が○で囲まれている画素は、横エッジスコアが所定値、ここでは５以上であることを示している。そして横エッジスコアが所定値以上である画素の数を計数し、鼻孔領域スコアとする。

そして本発明の画像処理システムでは、ステップＳ１１２以降の処理より、特定した検出対象の真偽を更に判定する。

前記実施の形態１に示した数値を含む各種条件等は、あくまでも一例であり、システム構成、目的等の状況に応じて適宜設定することが可能である。

実施の形態２．
図１１は、本発明の実施の形態２における画像処理システムの構成例を示すブロック図である。図１１中１は撮像装置であり、撮像装置１は、画像処理装置２と例えば専用ケーブルにより接続されている。撮像装置１は、ＭＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、撮像部１４、Ａ／Ｄ変換器１５、フレームメモリ１６及び通信インタフェース１７を備えている。

画像処理装置２は、ＣＰＵ２１、補助記録部２２、ＨＤ２３、ＲＡＭ２４、フレームメモリ２５及び通信インタフェース２６を備えており、本発明の実施の形態２に係るコンピュータプログラム３２及びデータ等の各種情報を記録した記録媒体４２から、補助記録部２２により、各種情報を読み取ってＨＤ２３に記録し、ＲＡＭ２４に記録してＣＰＵ２１にて実行することで、画像処理装置２は、本発明の実施の形態２に係る各種手順を実行する。

なお各装置の詳細な説明については、実施の形態１と同様であるので、実施の形態１を参照するものとし、その説明を省略する。

次に本発明の実施の形態２における画像処理システムにて用いられる各種装置の処理について説明する。本発明の実施の形態２は、例えば車両に搭載された車載カメラ等の撮像装置１により運転者の顔を撮像して得られた画像から、運転者の顔の中の鼻孔を検出対象とする。図１２は、本発明の実施の形態２における画像処理システムにて用いられる画像処理装置２の処理の例を示すフローチャートである。画像処理装置２では、ＲＡＭ２４に記録させたコンピュータプログラム３２を実行するＣＰＵ２１の制御により、撮像装置１の撮像により得られ通信インタフェース２６を介して受け付けた画像データをフレームメモリ２５から抽出し（Ｓ２０１）、抽出した画像データから運転者の顔の幅、即ち顔を示す領域の境界である輪郭の水平方向の範囲を、例えば実施の形態１で示した輪郭幅検出処理により検出し（Ｓ２０２）、更に鼻孔を含む左右の小鼻までの領域を鼻孔周辺領域として検出する（Ｓ２０３）。ステップＳ２０２にて検出された輪郭の水平方向の範囲及びステップＳ２０３にて検出された鼻孔周辺領域は、ＨＤ２３又はＲＡＭ２４に記録される。ステップＳ２０３において、鼻孔周辺領域を検出する方法には、例えば実施の形態１にて示した方法が用いられる。

そして画像処理装置２は、ＣＰＵ２１の制御により、ステップＳ２０３にて検出した鼻孔周辺領域の水平方向の画素の輝度の変化から極小値をとる２点を極小点として導出し（Ｓ２０４）、導出した２点の極小点に基づいて検出対象を検出する探索範囲を設定する（Ｓ２０５）。ステップＳ２０５にて設定された探索範囲は、ＨＤ２３又はＲＡＭ２４に記録される。ステップＳ２０５にて極小点が３点以上である場合、輝度が小さい２点を極小点として導出する。ステップＳ２０５にて設定される範囲は、導出された極小値の２点の夫々に対し、水平方向に対しては、左右に夫々１５画素分、垂直方向に対しては、上下に夫々５画素分の範囲である。なおステップＳ２０４にて導出された２点の極小点は、左右の鼻孔に関する点であると見なされるので、ステップＳ２０５では、左右の鼻孔の夫々に対して探索範囲が設定されたとみなすことができる。

そして画像処理装置２は、ＣＰＵ２１の制御により、ステップＳ２０５にて設定された探索範囲内の全ての画素に対し、相隣る他の画素の輝度に基づく加算、並びに水平方向に所定距離離れた位置の画素の輝度及び垂直方向に所定距離離れた位置の画素の輝度に基づく減算を行う黒領域算出フィルタ処理により、輝度を変換し（Ｓ２０６）、変換後の値が最小となる画素を検出対象として検出し（Ｓ２０７）、検出した結果をＨＤ２３又はＲＡＭ２４に記録する。ステップＳ２０６〜Ｓ２０７の処理は、左右の鼻孔の夫々の探索範囲に含まれる画素に対して行われる。

図１２のフローチャートを用いて説明した処理を更に具体的に説明する。図１３は、本発明の実施の形態２における画像処理システムの検出範囲の設定の例を概念的に示す説明図である。図１３中、実線で示した外側の枠がステップＳ２０１にて抽出した画像データにより示される画像の全体であり、一点鎖線で示した画像の垂直方向（ｙ軸方向）の線がステップＳ２０２にて検出された領域の範囲、即ち運転者の顔の輪郭の幅である。そして太い実線で示された水平方向の線分が、ステップＳ２０３にて鼻孔周辺領域として検出される鼻孔を含む左右の小鼻までの領域である。

図１４は、本発明の実施の形態２における画像処理システムの探索範囲の設定の例を概念的に示す説明図である。図１４は、鼻孔を含む周囲の画像を示しており、図１４中の実線で示した長方形の範囲がステップＳ２０５において、左右の鼻孔の夫々に対して設定される探索範囲である。

図１５は、本発明の実施の形態２における画像処理システムの黒領域算出フィルタ処理に用いられる係数の例を示す説明図である。図１５に示す係数を探索範囲に含まれる画素に対して乗ずることにより、中央が低輝度で周囲が高輝度の領域を明確化させることができる。図１５に示す黒領域算出フィルタは、変換の対象となる一の画素の輝度及び隣接する八の画素の輝度に対して乗じられる係数に「１」が設定されており、また一の画素から左右に所定距離離れた位置に並ぶ夫々二の画素の輝度に対して乗じられる係数に「−１」が設定されており、一の画素から上下に所定距離離れた位置に並ぶ夫々二の画素の輝度に対して乗じられる係数に「−１」が設定されている。なお所定の距離は、ステップＳ２０２にて検出された領域の１／１８に設定される。

図１６は、本発明の実施の形態２における画像処理システムの黒領域算出フィルタ処理を用いた検出の例を概念的に示す説明図である。図１６は、図１４に示す様に設定された探索範囲において、図１６に向かって左側の鼻孔として検出された検出対象に対して行われた黒領域算出フィルタ処理時の黒領域算出フィルタの位置を示している。図１５に示す条件で設定された黒領域算出フィルタは、図１６に示す様に鼻孔の中央付近の画素に対して黒領域算出フィルタ処理を行う場合に、加算のための係数が鼻孔に位置し、減算のための係数が鼻孔の外側に位置するため、鼻孔の中心を明確化することが可能である。

前記実施の形態２に示した数値を含む各種条件等は、あくまでも一例であり、システム構成、目的等の状況に応じて適宜設定することが可能である。

実施の形態３．
図１７は、本発明の実施の形態３における画像処理システムの構成例を示すブロック図である。図１７中１は撮像装置であり、撮像装置１は、画像処理装置２と例えば専用ケーブルにより接続されている。撮像装置１は、ＭＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、撮像部１４、Ａ／Ｄ変換器１５、フレームメモリ１６及び通信インタフェース１７を備えている。

画像処理装置２は、ＣＰＵ２１、補助記録部２２、ＨＤ２３、ＲＡＭ２４、フレームメモリ２５及び通信インタフェース２６を備えており、本発明の実施の形態３に係るコンピュータプログラム３３及びデータ等の各種情報を記録した記録媒体４３から、補助記録部２２により、各種情報を読み取ってＨＤ２３に記録し、ＲＡＭ２４に記録してＣＰＵ２１にて実行することで、画像処理装置２は、本発明の実施の形態３に係る各種手順を実行する。

なお各装置の詳細な説明については、実施の形態１と同様であるので、実施の形態１を参照するものとし、その説明を省略する。

次に本発明の実施の形態３における画像処理システムにて用いられる各種装置の処理について説明する。本発明の実施の形態３は、例えば車両に搭載された車載カメラ等の撮像装置１により運転者の顔を撮像して得られた画像から、運転者の顔の中の鼻孔の周囲の下向きの領域を検出対象とする。図１８は、本発明の実施の形態３における画像処理システムにて用いられる画像処理装置２の処理の例を示すフローチャートである。画像処理装置２では、ＲＡＭ２４に記録させたコンピュータプログラム３３を実行するＣＰＵ２１の制御により、撮像装置１の撮像により得られ通信インタフェース２６を介して受け付けた画像データをフレームメモリ２５から抽出し（Ｓ３０１）、抽出した画像データから運転者の顔の幅、即ち顔を示す領域の境界である輪郭の水平方向の範囲を、例えば実施の形態１で示した輪郭幅検出処理により検出し（Ｓ３０２）、更にパターンマッチング等の処理を用いた両目及び鼻尖検出処理により両目及び鼻尖の位置を検出し（Ｓ３０３）、検出した輪郭の水平方向の範囲並びに両目及び鼻尖の位置に基づいて探索範囲を設定する（Ｓ３０４）。ステップＳ３０２にて検出された輪郭の水平方向の範囲、ステップＳ３０３にて検出された両目及び鼻尖の位置並びにステップＳ３０４にて設定された探索範囲は、ＨＤ２３又はＲＡＭ２４に記録される。なおステップＳ３０２における両目及び鼻尖検出処理の詳細な内容は、例えば本願出願人により出願された特開２００４−２３４３６７号公報、特開２００４−２３４４９４号公報等の文献に記載されている。ステップＳ３０４にて設定される探索範囲は、例えば垂直方向の上端が、両目の垂直方向の位置を示すｙ座標の平均から、輪郭の水平方向の幅の１／１６の距離分だけ下の位置、下端が、両目のｙ座標の平均から輪郭の幅の３／８の距離分だけ下の位置、水平方向の左端が、鼻尖の水平方向の位置を示すｘ座標から輪郭の幅の１／８の距離分だけ左の位置、そして右端が、鼻尖のｘ座標から輪郭の幅の１／８の距離分だけ右の位置に基づく領域に設定される。

そして画像処理装置２は、ＣＰＵ２１の制御により、ステップＳ３０４にて設定された探索範囲内の全ての画素に対し、水平方向に隣接する画素との輝度差に基づく数値及び水平方向に隣接する画素の輝度の低さ示す数値を乗じた指標である水平方向画素スコアを導出し（Ｓ３０５）、導出した水平方向画素スコアを垂直方向に積算して水平方向における積算値の変化を示す指標である水平方向スコアを導出する（Ｓ３０６）。更に画像処理装置２は、ＣＰＵ２１の制御により、探索範囲内の全ての画素に対し、垂直方向に隣接する画素との輝度差に基づく数値及び垂直方向に隣接する画素の輝度の低さ示す数値を乗じた指標である垂直方向画素スコアを導出し（Ｓ３０７）、導出した垂直方向画素スコアを水平方向に積算して垂直方向における積算値の変化を示す指標である垂直方向スコアを導出する（Ｓ３０８）。そして画像処理装置２は、ＣＰＵ２１の制御により、ステップＳ３０６にて導出した水平方向スコアの最大値から最小値までの水平方向の範囲、及びステップＳ３０７にて導出した垂直方向スコアの最大値から最小値までの垂直方向の範囲に基づく領域を、検出対象として検出し（Ｓ３０９）、検出した結果をＨＤ２３又はＲＡＭ２４に記録する。

図１８のフローチャートを用いて説明した処理を更に具体的に説明する。図１９は、本発明の実施の形態３における画像処理システムの探索範囲の設定の例を概念的に示す説明図である。図１９中、実線で示した外側の枠がステップＳ３０１にて抽出した画像データにより示される画像の全体であり、一点鎖線で示した画像の垂直方向（ｙ軸方向）の線がステップＳ３０２にて検出された領域の範囲、即ち運転者の顔の輪郭の幅であり、×印で示した箇所がステップＳ３０３にて検出された両目及び鼻尖の位置である。そして点線にて示した領域がステップＳ３０４にて設定される探索範囲である。

ステップＳ３０５にて導出される水平方向画素スコアは、下記の式３にて示される。

図２０は、本発明の実施の形態３における画像処理システムの水平方向エッジフィルタ処理に用いられる係数の例を示す説明図である。式３に示す数式において、Ｈ（ｘ，ｙ）は、図２０にて示す係数を用いて行われる水平方向エッジフィルタ処理の結果を示している。図２０は、３×３のマトリクスとして、九の画素の輝度に対して乗ずる係数を示しており、中心の一の画素の輝度及び隣接する八の画素の輝度に対し、夫々対応する係数を乗じて、その結果を合計した値を、中心の位置の画素の水平方向エッジフィルタ処理結果として算出する。図２０に示す係数を用いて行われる水平方向エッジフィルタ処理では、左方に隣接する画素の輝度に対して「１」を乗じた数値、及び右方に隣接する画素の輝度に対して「−１」を乗じた数値を加算することにより結果となる指標が求められる。即ち水平方向エッジフィルタ処理により、水平方向に隣接する画素との輝度差に基づく数値が求められる。

水平方向エッジフィルタ処理の結果に乗じる数式は、画素の輝度を２５６段階に分級した階調値の最高の数値を示す「２５５」から水平方向に隣接する画素の輝度を減じた値であり、輝度の低さを示す数値である。このように水平方向画素スコアとは、水平方向に隣接する画素との輝度差に基づく数値及び水平方向に隣接する画素の輝度の低さを示す数値に基づく指標である。なお水平方向エッジフィルタ処理の結果に乗じる数式に輝度が用いられる画素は、水平方向エッジフィルタ処理の結果の正負に応じて異なる。

そしてステップＳ３０６にて導出される水平方向スコアは、水平方向画素スコアを垂直方向に積算することにより導出される水平方向の位置であるｘ座標と、積算値との関係を示す指標である。即ち水平方向スコアにより、水平方向画素スコアの水平方向における変化が示される。具体的には、水平方向スコアにて、水平方向において画素の輝度が大きく低下する箇所の値が大きくなり、画素の輝度が大きく上昇する箇所の値が小さくなるように示すことができる。

ステップＳ３０７にて導出される垂直方向画素スコアは、下記の式４にて示される。

図２１は、本発明の実施の形態３における画像処理システムの垂直方向エッジフィルタ処理に用いられる係数の例を示す説明図である。式４に示す数式において、Ｖ（ｘ，ｙ）は、図２１にて示す係数を用いて行われる垂直方向エッジフィルタ処理の結果を示している。図２１は、３×３のマトリクスとして、九の画素の輝度に対して乗ずる係数を示しており、中心の一の画素の輝度及び隣接する八の画素の輝度に対し、夫々対応する係数を乗じて、その結果を合計した値を、中心の位置の画素の垂直方向エッジフィルタ処理結果として算出する。図２１に示す係数を用いて行われる垂直方向エッジフィルタ処理では、上方に隣接する画素の輝度に対して「１」を乗じた数値、及び下方に隣接する画素の輝度に対して「−１」を乗じた数値を加算することにより結果となる指標が求められる。即ち垂直方向エッジフィルタ処理により、垂直方向に隣接する画素との輝度差に基づく数値が求められる。

垂直方向エッジフィルタ処理の結果に乗じる数式は、画素の輝度を２５６段階に分級した階調値の最高の数値を示す「２５５」から垂直方向に隣接する画素の輝度を減じた値であり、輝度の低さを示す数値である。このように垂直方向画素スコアとは、垂直方向に隣接する画素との輝度差に基づく数値及び垂直方向に隣接する画素の輝度の低さを示す数値に基づく指標である。なお垂直方向エッジフィルタ処理の結果に乗じる数式に輝度が用いられる画素は、垂直方向エッジフィルタ処理の結果の正負に応じて異なる。

そしてステップＳ３０８にて導出される垂直方向スコアは、垂直方向画素スコアを水平方向に積算することにより導出される垂直方向の位置であるｙ座標と、積算値との関係を示す指標である。即ち垂直方向スコアにより、垂直方向画素スコアの垂直方向における変化が示される。具体的には、垂直方向スコアにて、垂直方向において画素の輝度が大きく低下する箇所の値が大きくなり、画素の輝度が大きく上昇する箇所の値が小さくなるように示すことができる。

そしてステップＳ３０９では、水平方向スコアの最大値を水平方向の左端とし、最小値を水平方向の右端とし、垂直方向スコアの最大値を垂直方向の上端とし、最小値を垂直方向の下端とする領域が検出される。

図２２は、本発明の実施の形態３における画像処理システムの検出の結果を示す説明図である。図２２は、ステップＳ３０４にて設定された探索範囲を示しており、左端Ｌ、右端Ｒ、上端Ｕ及び下端Ｄにより囲まれた斜線にて示す長方形の領域が、検出された鼻孔の周囲の下向きの領域である。

前記実施の形態３に示した数値を含む各種条件等は、あくまでも一例であり、システム構成、目的等に状況に応じて適宜設定することが可能である。例えば前記実施の形態３では、水平方向スコアを導出後、垂直方向スコアを導出する形態を示したが、垂直方向スコアを導出後、水平方向スコアを導出する様にしても良く、更には水平方向スコアを導出せずに、水平方向の左端及び右端を顔の輪郭の幅とし、垂直方向スコアのみを導出する様にしても良い等、様々な形態に展開することが可能である。

実施の形態４．
図２３は、本発明の実施の形態４における画像処理システムの構成例を示すブロック図である。図２３中１は撮像装置であり、撮像装置１は、画像処理装置２と例えば専用ケーブルにより接続されている。撮像装置１は、ＭＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、撮像部１４、Ａ／Ｄ変換器１５、フレームメモリ１６及び通信インタフェース１７を備えている。

画像処理装置２は、ＣＰＵ２１、補助記録部２２、ＨＤ２３、ＲＡＭ２４、フレームメモリ２５及び通信インタフェース２６を備えており、本発明の実施の形態４に係るコンピュータプログラム３４及びデータ等の各種情報を記録した記録媒体４４から、補助記録部２２により、各種情報を読み取ってＨＤ２３に記録し、ＲＡＭ２４に記録してＣＰＵ２１にて実行することで、画像処理装置２は、本発明の実施の形態４に係る各種手順を実行する。本発明の実施の形態４に係る画像処理装置２には、本発明の実施の形態１乃至３にて説明した検出方法を含む複数の検出方法が記録されている。

なお各装置の詳細な説明については、実施の形態１と同様であるので、実施の形態１を参照するものとし、その説明を省略する。

次に本発明の実施の形態４における画像処理システムにて用いられる各種装置の処理について説明する。本発明の実施の形態４は、例えば車両に搭載された車載カメラ等の撮像装置１により運転者の顔を撮像して得られた画像から、運転者の顔の鼻孔を含む領域を検出対象とする。図２４は、本発明の実施の形態４における画像処理システムにて用いられる画像処理装置２の処理の例を示すフローチャートである。画像処理装置２では、ＲＡＭ２４に記録させたコンピュータプログラム３４を実行するＣＰＵ２１の制御により、撮像装置１の撮像により得られ通信インタフェース２６を介して受け付けた画像データをフレームメモリ２５から抽出し（Ｓ４０１）、抽出した画像データに含まれる画素の輝度の平均値を算出し（Ｓ４０２）、算出した結果である平均値を、輝度の平均値に対して予め設定されている閾値と比較する（Ｓ４０３）。更に画像処理装置２では、ＣＰＵ２１の制御により、画素の輝度の分散値を算出し（Ｓ４０４）、算出した結果である分散値を、輝度の分散値に対して予め設定されている閾値と比較する（Ｓ４０５）。そして画像処理装置２では、ＣＰＵ２１の制御により、輝度の平均値と閾値との比較結果、及び輝度の分散値と閾値との比較結果に基づいて、ＨＤ２３に記録している複数の検出方法の優先順位を決定する（Ｓ４０６）。

本発明の実施の形態４では、輝度の平均値及び分散値に基づいて、検出方法の優先順位を決定する処理を行う。決定される優先順位は、複数の検出方法の実行の要否及び実行の順序であり、決定された内容に従って、上述した本発明の実施の形態１乃至３にて説明した検出方法、更には他の検出方法が実行される。

画像データの輝度の平均値及び分散値は、運転者の顔に照射される光線の状況によって大きく変化するので、平均値及び分散値から照射の状況を判定し、最適な検出方法を選択するのである。具体的には、顔の左半分だけに太陽光が当たる様な偏変化が生じている場合、輝度の平均値が閾値以下となり、また輝度の分散値が閾値以上となるため、偏変化が生じていると判定することができ、偏変化に影響されにくい検出方法を優先するのである。

例えば偏変化が生じていない状態では、実施の形態１に示した検出方法により鼻孔周辺領域を検出し、検出した結果を用いて実施の形態２に示した検出方法により鼻孔を検出する。鼻孔周辺領域を検出することにより、画像処理の対象となる範囲が限定されるので、処理速度が向上し、また検出精度が向上する。しかしながら偏変化が生じている場合、輝度飽和が発生する可能性が高いため、実施の形態１の横エッジフィルタを用いた処理の信頼性が低くなる。従って実施の形態２に示した検出方法による鼻孔の検出を優先する。

前記実施の形態４では、輝度の平均値及び分散値の閾値を一つ設定したが、本発明はこれに限らず、複数の閾値を設定し、様々な状況に応じた検出方法の優先順位を決定するようにしても良く、また検出を行うための画像処理に要する各種設定値等の処理条件を、平均値及び分散値に基づいて決定するようにしても良い。

前記実施の形態１乃至４では、平面直角座標系にて示される画像データに対する処理を示したが本発明はこれに限らず、例えばハニカム状に配置された画素を含む画像を扱う場合に第１方向と第２方向とが６０度の角度をもって交差する座標系にて示される画像データに適用する等、様々な座標系の画像データに適用することが可能である。

また前記実施の形態１乃至４では、車両の運転者を検出対象とする形態を示したが、本発明はこれに限らず、様々な人物、更には人物以外の生物又は無生物を検出対象とする形態であっても良い。

さらに前記実施の形態１乃至４では、車載カメラを用いた撮像装置の撮像により生成された画像から検出対象を検出する形態を示したが、本発明はこれに限らず、様々な装置により様々な方法にて生成された画像をＨＤに記録しておき、記録している画像から特定の検出対象を検出する様々な画像処理に適用することが可能である。

Claims (21)

1. 夫々異なる第１方向及び第２方向に画素が並ぶ二次元の画像から特定の検出対象を検出する画像処理方法において、
   第１方向に並ぶ画素の輝度を積算して第２方向の積算値の変化を導出し、
   導出した積算値の変化に基づき、検出対象の候補に対応する位置として、第２方向上での位置を複数検出し、
   検出した各位置に対応する第１方向に並ぶ画素の列の夫々に対し、画素の輝度に基づく第１方向の範囲を、検出対象の候補として検出し、
   検出した範囲の長さに基づいて、検出対象の候補の中から検出対象を特定する
   ことを特徴とする画像処理方法。
2. 夫々異なる第１方向及び第２方向に画素が並ぶ二次元の画像から特定の検出対象を検出する画像処理方法において、
   一の画素の輝度を、相隣る他の各画素の輝度に基づく加算、並びに前記一の画素から第１方向に所定距離離れた位置の画素の輝度及び第２方向に所定距離離れた位置の画素の輝度に基づく減算の結果に基づいて変換し、
   変換した結果に基づいて検出対象を検出する
   ことを特徴とする画像処理方法。
3. 夫々異なる第１方向及び第２方向に画素が並ぶ二次元の画像から特定の検出対象を検出する画像処理方法において、
   第１方向に並ぶ画素の輝度の変化に基づく数値を第２方向に積算して第１方向における積算値の変化を導出し、
   第２方向に並ぶ画素の輝度の変化に基づく数値を第１方向に積算して第２方向における積算値の変化を導出し、
   導出した第１方向における積算値の変化に基づく第１方向の範囲、及び導出した第２方向における積算値の変化に基づく第２方向の範囲に基づいて検出対象を検出する
   ことを特徴とする画像処理方法。
4. 複数の画素を含む二次元の画像から特定の検出対象を複数の検出方法で検出する画像処理方法において、
   画素の輝度の平均値を算出し、
   画素の輝度の分散値を算出し、
   算出した平均値及び分散値に基づいて、検出方法の優先順位を決定する
   ことを特徴とする画像処理方法。
5. 夫々異なる第１方向及び第２方向に画素が並ぶ二次元の画像から特定の検出対象を検出する画像処理装置において、
   第１方向に並ぶ画素の輝度を積算して第２方向の積算値の変化を導出する導出手段と、
   導出した積算値の変化に基づき、検出対象の候補に対応する位置として、第２方向上での位置を複数検出する候補検出手段手段と、
   検出した各位置に対応する第１方向に並ぶ画素の列の夫々に対し、画素の輝度に基づく第１方向の範囲を、検出対象の候補として検出する範囲検出手段と、
   検出した範囲の長さに基づいて、検出対象の候補の中から検出対象を特定する特定手段と
   を備えることを特徴とする画像処理装置。
6. 前記候補検出手段は、第１方向に積算された画素の輝度の積算値の変化から極小値を示す複数の位置を検出するように構成してあることを特徴とする請求項５に記載の画像処理装置。
7. 前記導出手段が導出した積算値の変化を二次微分する手段と、
   前記候補検出手段は、極小値を示す複数の位置の中で、二次微分の結果に基づき所定数の位置を検出するように構成してある
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記範囲検出手段は、第１方向に並ぶ画素の輝度の変化に基づいて範囲を検出するように構成してあることを特徴とする請求項５乃至請求項７のいずれかに記載の画像処理装置。
9. 検出対象を含み、第１方向の範囲が検出対象より大きい検出領域の第１方向の範囲を検出する手段を更に備え、
   前記特定手段は、前記範囲検出手段が検出した検出対象の候補の第１方向の範囲の長さ、及び検出対象を含む検出領域の第１方向の範囲の長さを比較した結果に基づいて検出対象を特定するように構成してある
   ことを特徴とする請求項５乃至請求項８のいずれかに記載の画像処理装置。
10. 特定した検出対象に係る第２方向に並ぶ画素の輝度を積算して第１方向の積算値の変化を導出する手段と、
    第１方向の積算値の変化から極小値を検出する極小値検出手段と、
    検出した極小値の数を計数する手段と、
    計数した数が所定数未満である場合、特定した検出対象は偽である判定する手段と
    を更に備えることを特徴とする請求項５乃至請求項９のいずれかに記載の画像処理装置。
11. 前記極小値検出手段が検出した極小値に対応する画素を含み、該画素と輝度が同じで第２方向に連続する画素の数が、所定数を超える場合、特定した検出対象は偽であると判定する手段を更に備えることを特徴とする請求項１０に記載の画像処理装置。
12. 夫々異なる第１方向及び第２方向に画素が並ぶ二次元の画像から特定の検出対象を検出する画像処理装置において、
    一の画素の輝度を、相隣る他の各画素の輝度に基づく加算、並びに前記一の画素から第１方向に所定距離離れた位置の画素の輝度及び第２方向に所定距離離れた位置の画素の輝度に基づく減算の結果に基づいて変換する手段と、
    変換した結果に基づいて検出対象を検出する検出手段と
    を備えることを特徴とする画像処理装置。
13. 前記検出手段は、変換後の値が最小の画素を検出対象として検出するように構成してあることを特徴とする請求項１２に記載の画像処理装置。
14. 夫々異なる第１方向及び第２方向に画素が並ぶ二次元の画像から特定の検出対象を検出する画像処理装置において、
    第１方向に並ぶ画素の輝度の変化に基づく数値を第２方向に積算して第１方向における積算値の変化を導出する第１導出手段と、
    第２方向に並ぶ画素の輝度の変化に基づく数値を第１方向に積算して第２方向における積算値の変化を導出する第２導出手段と、
    前記第１導出手段が導出した第１方向における積算値の変化に基づく第１方向の範囲、及び前記第２導出手段が導出した第２方向における積算値の変化に基づく第２方向の範囲に基づいて検出対象を検出する検出手段と
    を備えることを特徴とする画像処理装置。
15. 前記第１導出手段は、第１方向に相隣る画素との輝度差に基づく数値及び第１方向に相隣る画素の輝度の低さを示す数値に基づく指標を、第２方向に積算して第１方向における積算値の変化を導出するように構成してあり、
    前記第２導出手段は、第２方向に相隣る画素との輝度差に基づく数値及び第２方向に相隣る画素の輝度の低さを示す数値に基づく指標を、第１方向に積算して第２方向における積算値の変化を導出するように構成してあり、
    前記検出手段は、前記第１導出手段が導出した積算値が、最大となる位置から最小となる位置までの第１方向の範囲、及び前記第２導出手段が導出した積算値が、最大となる位置から最小となる位置までの第２方向の範囲に基づいて検出対象を検出するように構成してある
    ことを特徴とする請求項１４に記載の画像処理装置。
16. 複数の画素を含む二次元の画像から特定の検出対象を複数の検出方法で検出する画像処理装置において、
    画素の輝度の平均値を算出する手段と、
    画素の輝度の分散値を算出する手段と、
    算出した平均値及び分散値に基づいて、検出方法の優先順位を決定する手段と
    を備えることを特徴とする画像処理装置。
17. 請求項５乃至請求項１６のいずれかに記載の画像処理装置と、
    該画像処理装置にて処理される画像を生成する撮像装置と
    を備え、
    前記検出対象は、前記撮像装置により撮像された画像内の人物の鼻孔を含む領域であり、
    前記第１方向は、水平方向であり、
    前記第２方向は、垂直方向である
    ことを特徴とする画像処理システム。
18. コンピュータに、夫々異なる第１方向及び第２方向に画素が並ぶ二次元の画像から特定の検出対象を検出させるコンピュータプログラムにおいて、
    コンピュータに、第１方向に並ぶ画素の輝度を積算して第２方向の積算値の変化を導出させる手順と、
    コンピュータに、導出した積算値の変化に基づき、検出対象の候補に対応する位置として、第２方向上での位置を複数検出させる手順と、
    コンピュータに、検出した各位置に対応する第１方向に並ぶ画素の列の夫々に対し、画素の輝度に基づく第１方向の範囲を、検出対象の候補として検出させる手順と、
    コンピュータに、検出した範囲の長さに基づいて、検出対象の候補の中から検出対象を特定させる手順と
    を実行させることを特徴とするコンピュータプログラム。
19. コンピュータに、夫々異なる第１方向及び第２方向に画素が並ぶ二次元の画像から特定の検出対象を検出させるコンピュータプログラムにおいて、
    コンピュータに、一の画素の輝度を、相隣る他の各画素の輝度に基づく加算、並びに前記一の画素から第１方向に所定距離離れた位置の画素の輝度及び第２方向に所定距離離れた位置の画素の輝度に基づく減算の結果に基づいて変換させる手順と、
    コンピュータに、変換した結果に基づいて検出対象を検出させる手順と
    を実行させることを特徴とするコンピュータプログラム。
20. コンピュータに、夫々異なる第１方向及び第２方向に画素が並ぶ二次元の画像から特定の検出対象を検出させるコンピュータプログラムにおいて、
    コンピュータに、第１方向に並ぶ画素の輝度の変化に基づく数値を第２方向に積算して第１方向における積算値の変化を導出させる手順と、
    コンピュータに、第２方向に並ぶ画素の輝度の変化に基づく数値を第１方向に積算して第２方向における積算値の変化を導出させる手順と、
    コンピュータに、導出した第１方向における積算値の変化に基づく第１方向の範囲、及び導出した第２方向における積算値の変化に基づく第２方向の範囲に基づいて検出対象を検出させる手順と
    を実行させることを特徴とするコンピュータプログラム。
21. コンピュータに、複数の画素を含む二次元の画像から特定の検出対象を複数の検出方法で検出させるコンピュータプログラムにおいて、
    コンピュータに、画素の輝度の平均値を算出させる手順と、
    コンピュータに、画素の輝度の分散値を算出させる手順と、
    コンピュータに、算出した平均値及び分散値に基づいて、検出方法の優先順位を決定させる手順と
    を実行させることを特徴とするコンピュータプログラム。

Images