JP4592744B2 - 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム - Google Patents

Description

本発明は、二次元に配列された複数の画素を含む画像から特定の検出対象を検出する画像処理装置を用いた画像処理方法、該画像処理方法を適用した画像処理システム、該画像処理システムにて用いられる画像処理装置、及び該画像処理装置を実現するためのコンピュータプログラムに関し、特に検出対象を検出する精度を向上させる画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラムに関する。

自動車等の車両の運転を支援する装置として、運転者の顔を撮像することが可能な位置に配置された車載カメラで運転者の顔を撮像し、得られた画像から運転者の顔の輪郭、並びに目及び鼻の位置を検出する画像処理を行う画像処理装置が提案されている（例えば、特許文献１参照）。この様な装置を用いることにより、運転者の状況を検知し、脇見運転、居眠り運転等の運転者の状況に応じた警告等の運転支援を行うシステムを構成することも可能である。
特開２００４−２３４３６７号公報

しかしながら車両の移動に伴い、太陽光等の光線に係る照度及び角度は常に変化し、また運転者の顔に対する光線の照射状況が一様でないことから、運転者の顔を様々な方法で検出し総合的に運転者の状況を検知することが求められている。また従来のシステムは、運転者が顔を傾けている場合、検出に誤差が生じる可能性が高いという問題がある。

本発明は斯かる事情に鑑みてなされたものであり、撮像等の処理により得られた画像から検出対象の領域の候補となる候補領域の当てはめによる領域の検出により、検出対象の位置を二次元の領域として捉えることができるので、検出精度を向上させることが可能な画像処理方法、該画像処理方法を適用した画像処理システム、該画像処理システムにて用いられる画像処理装置、及び該画像処理装置を実現するためのコンピュータプログラムの提供を主たる目的とする。

また本発明では、検出対象の傾きを検出することにより、検出精度を向上させることが可能な画像処理方法、該画像処理方法を適用した画像処理システム、該画像処理システムにて用いられる画像処理装置、及び該画像処理装置を実現するためのコンピュータプログラムの提供を他の目的とする。

本発明に係る画像処理方法は、二次元に配列された複数の画素を含む画像から特定の検出対象を検出する画像処理装置を用いた画像処理方法において、中心、並びに直交する第１方向及び第２方向の長さを用いて示される所定の楕円領域を画像内で検出対象の領域の候補となる候補領域として複数設定し、前記複数設定した前記候補領域のそれぞれに対し、該候補領域内の画素の平均輝度及び該候補領域外の画素の平均輝度を比較し、比較した結果に基づいて、設定した複数の候補領域の中から平均輝度の差が最大であると判定した候補領域を検出対象に適合する領域として検出し、検出した検出対象に適合する領域に外接し、前記第１方向に一辺が平行である長方形を外接長方形として設定し、設定した外接長方形に含まれる画素の輝度の分布に基づいて、基準輝度を設定し、外接長方形内で基準輝度より輝度が高い画素の分布に基づいて、中心回りのセントラルモーメントを算出し、算出したセントラルモーメントに基づいて、画像内での検出対象の第１方向の傾きを検出することを特徴とする。

本発明では、候補領域内外の平均輝度を比較することにより、輝度が高い検出対象と、輝度が低い背景とを判別することができ、検出対象を検出する精度を向上させることが可能である。また、画像全体の中で、例えば輝度が高い画素等の特異点が集中している領域を、背景と異なる検出対象の領域として判別するので、検出対象を検出する精度を向上させることが可能である。また、運転者の顔の形状に合致し易いと考えられる楕円形状を候補領域とすることにより、検出対象として運転者の顔を精度良く検出することが可能である。更に、セントラルモーメントに基づき検出対象の傾きを検出することにより、例えば検出対象である運転者が顔を傾けている状況を捉えるという多面的な検出を行うことができるので、検出対象を検出する精度を向上させることが可能である。

本発明に係る画像処理システムは、二次元に配列された複数の画素を含む画像から特定の検出対象を検出する画像処理装置を備える画像処理システムにおいて、中心、並びに直交する第１方向及び第２方向の長さを用いて示される所定の楕円領域を画像内で検出対象の領域の候補となる候補領域として複数設定する設定手段と、前記複数設定した前記候補領域のそれぞれに対し、該候補領域内の画素の平均輝度と該候補領域外の画素の平均輝度とを比較する比較手段と、比較した結果に基づいて、設定した複数の候補領域の中から平均輝度の差が最大であると判定した候補領域を検出対象に適合する領域として検出する検出手段と、前記検出手段が検出した検出対象に適合する領域に外接し、前記第１方向に一辺が平行である長方形を外接長方形として設定する手段と、設定した外接長方形に含まれる画素の輝度の分布に基づいて、基準輝度を設定する手段と、外接長方形内で基準輝度より輝度が高い画素の分布に基づいて、中心回りのセントラルモーメントを算出する手段と、算出したセントラルモーメントに基づいて、画像内での検出対象の第１方向の傾きを検出する手段とを備えることを特徴とする。

本発明では、複数の候補領域として設定した楕円領域を平均輝度の特性値に基づいて検証することにより、検出対象に合致している可能性が高い領域を検出することができるので、検出対象を一次元的な幅ではなく、二次元的な領域として捉えることができ、検出対象を検出する精度を向上させることが可能である。

本発明に係る画像処理システムは、前述において、前記画像を生成する撮像装置を更に備え、前記検出対象は、前記撮像装置により撮像された人物の顔であることを特徴とする。

本発明では、運転者等の人物の顔の領域を多面的に精度良く検出することができるので、太陽光等の光線に係る照度及び角度が常に変化する状況下で運転を行った場合でも、誤検出の少ない信頼のおけるシステムを構築することが可能である。

本発明に係る画像処理システムは、前述において、原画像を縮小して検出対象の検出用の画像を生成する手段を更に備えることを特徴とする。

本発明では、縮小した画像に対して検出処理を行うことにより、処理負荷を軽減することが可能である。

本発明に係る画像処理装置は、二次元に配列された複数の画素を含む画像から特定の検出対象を検出する画像処理装置において、中心、並びに直交する第１方向及び第２方向の長さを用いて示される所定の楕円領域を画像内で検出対象の領域の候補となる候補領域として複数設定する手段と、前記複数設定した前記候補領域のそれぞれに対し、該候補領域内の画素の平均輝度と該候補領域外の画素の平均輝度とを比較する手段と、比較した結果に基づいて、設定した複数の候補領域の中から平均輝度の差が最大であると判定した候補領域を検出対象に適合する領域として検出する手段と、前記検出手段が検出した検出対象に適合する領域に外接し、前記第１方向に一辺が平行である長方形を外接長方形として設定する手段と、設定した外接長方形に含まれる画素の輝度の分布に基づいて、基準輝度を設定する手段と、外接長方形内で基準輝度より輝度が高い画素の分布に基づいて、中心回りのセントラルモーメントを算出する手段と、算出したセントラルモーメントに基づいて、画像内での検出対象の第１方向の傾きを検出する手段とを備えることを特徴とする。

本発明では、複数の候補領域として設定した楕円領域を画素の平均輝度に基づいて検証することにより、検出対象に合致している可能性が高い領域を検出することができるので、検出対象を一次元的な幅ではなく、二次元的な領域として捉えることができ、検出対象を検出する精度を向上させることが可能である。

本発明に係るコンピュータプログラムは、コンピュータに、二次元に配列された複数の画素を含む画像を示す画像データから特定の検出対象を検出させるコンピュータプログラムにおいて、コンピュータに、中心、並びに直交する第１方向及び第２方向の長さを用いて示される所定の楕円領域を画像内で検出対象の領域の候補となる候補領域として複数設定させる手順と、コンピュータに、前記複数設定した前記候補領域のそれぞれに対し、該候補領域内の画素の平均輝度と該候補領域外の画素の平均輝度とを比較させる手順と、コンピュータに、比較した結果に基づいて、設定した複数の候補領域の中から平均輝度の差が最大であると判定した候補領域を検出対象に適合する領域として検出させる手順と、コンピュータに、検出した検出対象に適合する領域に外接し、前記第１方向に一辺が平行である長方形を外接長方形として設定させる手順と、コンピュータに、設定した外接長方形に含まれる画素の輝度の分布に基づいて、基準輝度を設定させる手順と、コンピュータに、外接長方形内で基準輝度より輝度が高い画素の分布に基づいて、中心回りのセントラルモーメントを算出させる手順と、コンピュータに、算出したセントラルモーメントに基づいて、画像内での検出対象の第１方向の傾きを検出させる手順とを実行させることを特徴とする。

本発明では、車載カメラ等の撮像装置が接続された車載コンピュータ等のコンピュータにて実行することで、コンピュータが画像処理装置として動作して、複数の候補領域として設定した楕円領域を画素の平均輝度に基づいて検証することにより、検出対象に合致している可能性が高い領域を検出することができるので、検出対象を一次元的な幅ではなく、二次元的な領域として捉えることができ、検出対象を検出する精度を向上させることが可能である。

本発明に係る画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラムは、例えば車両に搭載された車載カメラ等の撮像装置により運転者の顔を撮像して得られた画像から、運転者の顔を検出対象として検出するシステムに適用され、画像内で検出対象の領域の候補となる例えば楕円形の候補領域を複数設定し、設定した候補領域内外の画素の輝度の平均値等の特性値を比較し、その差が最大であると判定した候補領域を、検出対象の領域として検出する。

この構成により、検出対象に合致している可能性が高い領域を検出することができるので、検出対象を一次元的な幅ではなく、二次元的な領域として捉えることができ、検出対象を検出する精度を向上させることが可能である等、優れた効果を奏する。また運転者の顔の形状に合致し易いと考えられる楕円形状を候補領域とすることにより、検出対象として運転者の顔を精度良く検出することが可能である等、優れた効果を奏する。さらに輝度が高い画素が集中している領域を、背景と異なる検出対象の領域として判別するので、検出対象を検出する精度を向上させることが可能である等、優れた効果を奏する。そして検出対象の検出の精度を向上させることにより、運転者の状況を検知し、脇見運転の警告等の運転支援を行うシステムに適用した場合には、外光の状況が常に変化する環境下で運転を行った場合でも、誤検出の少ない信頼のおける運転支援システムを構築することが可能である等、優れた効果を奏する。

しかも本発明に係る画像処理システム等は、楕円形状の検出対象に外接する外接長方形に含まれる画素の輝度の分布に基づいて基準輝度を設定し、外接長方形内で基準輝度より輝度が高い画素の分布に基づいて、中心回りのセントラルモーメントを算出し、算出したセントラルモーメントに基づいて、画像内での検出対象の傾きを検出する。

この構成により、例えば検出対象である運転者が顔を傾けている状況を捉えるという多面的な検出を行うことができるので、検出対象を検出する精度を向上させることが可能である等、優れた効果を奏する。そして検出対象の検出の精度を向上させることにより、誤検出の少ない信頼のおける運転支援システムを構築することが可能である等、優れた効果を奏する。

また本発明に係る画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラムは、例えば車両に搭載された車載カメラ等の撮像装置により運転者の顔を撮像して得られた画像から、運転者の顔を検出対象として検出するシステムに適用され、運転者の目等の検出対象に含まれる特定の２点を検出し、検出した２点から定まる画像内での検出対象の傾きを検出する。

この構成により、運転者等の人物の顔の領域を多面的に精度良く検出することができるので、太陽光等の光線に係る照度及び角度が常に変化する状況下で運転を行った場合でも、誤検出の少ない信頼のおけるシステムを構築することが可能である等、優れた効果を奏する。

また前処理として、撮像した画像を縮小した上で検出対象を検出することにより、処理負荷が大きい検出処理の処理量を少なくして、処理負荷を軽減することが可能であり、従って運転支援を行うシステムに適用した場合には、高速な処理を実現することができ、咄嗟の状況でも反応することが可能な運転支援システムを構成することが可能である等、優れた効果を奏する。

本発明の実施の形態１における画像処理システムの構成例を示すブロック図である。 本発明の実施の形態１における画像処理システムにて用いられる画像処理装置の主処理を示すフローチャートである。 本発明の実施の形態１における画像処理システムの検出範囲の設定の例を概念的に示す説明図である。 本発明の実施の形態１における画像処理システムの検出対象の傾きの検出及び投影処理後の検出対象の検出の例を概念的に示す説明図である。 本発明の実施の形態１における画像処理システムの検出対象の検出の例を概念的に示す説明図である。 本発明の実施の形態１における画像処理システムにて用いられる画像処理装置の領域検出処理を示すフローチャートである。 本発明の実施の形態１における画像処理装置システムにて設定される候補領域及び外接長方形の例を概念的に示す説明図である。 本発明の実施の形態１における画像処理システムにて用いられる画像処理装置の検出対象傾き検出処理を示すフローチャートである。 本発明の実施の形態１における画像処理システムの投影範囲の例を示す説明図である。 本発明の実施の形態２における画像処理システムの構成例を示すブロック図である。

符号の説明

１ 撮像装置
２ 画像処理装置
３ コンピュータプログラム
４ 記録媒体

以下、本発明をその実施の形態を示す図面に基づいて詳述する。

実施の形態１．
図１は、本発明の実施の形態１における画像処理システムの構成例を示すブロック図である。図１中１は、車両に搭載された車載カメラ等の撮像装置であり、撮像装置１は、画像処理を行う画像処理装置２に専用ケーブル等の通信線又は有線或いは無線にて構成される車内ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信網にて接続されている。撮像装置１は、車両内のハンドル、ダッシュボード等の運転者の前方に配設され、運転者の顔を撮像対象として運転者が運転席に真っ直ぐに座っている場合、運転者の顔の横及び縦が画像の水平方向及び垂直方向になるように撮像可能な状態に調整されている。

撮像装置１は、装置全体を制御するＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）１１と、ＭＰＵ１１の制御に基づき実行される各種コンピュータプログラム及びデータを記録するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＯＭ１２に記録されたコンピュータプログラムの実行時に一時的に発生する各種データを記録するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子を用いて構成される撮像部１４と、撮像部１４の撮像により得られたアナログの画像データをデジタルデータに変換するＡ／Ｄ変換器１５と、Ａ／Ｄ変換器１５によりデジタルに変換された画像データを一時的に記録するフレームメモリ１６と、画像処理装置２との通信に用いられる通信インタフェース１７とを備えている。

撮像装置１では、撮像部１４により、連続的又は断続的に撮像処理を行い、撮像処理に基づいて例えば１秒当たり３０枚の画像データ（画像フレーム）を生成してＡ／Ｄ変換器１５へ出力し、Ａ／Ｄ変換器１５では、画像を構成する各画素を２５６階調（１Ｂｙｔｅ）等の階調にて示されるデジタル画像データに変換し、フレームメモリ１６に記録させる。フレームメモリ１６に記録させた画像データは、所定のタイミングで通信インタフェース１７から画像処理装置２へ出力される。画像を形成する各画素は、二次元に配列されており、画像データは、平面直角座標系、所謂ｘｙ座標系にて示される各画素の位置、及び階調値として示される各画素の輝度を示すデータを含んでいる。なお各画素に対し夫々ｘｙ座標系による座標を示すのではなく、データ内に配列される順序により座標を示す様にしても良い。そして画像の水平方向は、画像データのｘ軸方向に対応し、画像の垂直方向は、画像データのｙ軸方向に対応する。

画像処理装置２は、装置全体を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１と、本発明のコンピュータプログラム３及びデータ等の各種情報を記録したＣＤ−ＲＯＭ等の記録媒体４から情報を読み取るＣＤ−ＲＯＭドライブ等の補助記録部２２と、補助記録部２２により読み取った各種情報を記録するハードディスク（以下ＨＤという）２３と、ＨＤ２３に記録されたコンピュータプログラム３の実行時に一時的に発生する各種データを記録するＲＡＭ２４と、揮発性メモリにて構成されるフレームメモリ２５と、撮像装置１との通信に用いられる通信インタフェース２６とを備えている。そしてＨＤ２３から本発明のコンピュータプログラム３及びデータ等の各種情報を読み取り、ＲＡＭ２４に記録させてコンピュータプログラム３に含まれる各種手順をＣＰＵ２１により実行することで、車載用コンピュータは、本発明の画像処理装置２として動作する。ＨＤ２３に記録されるデータとしては、コンピュータプログラム３の実行に係るデータ、例えば後述する検出範囲を設定するための数値、各種定数、パラメータ等の様々なデータがある。また検出した結果等の情報もＨＤ２３に記録される。

画像処理装置２では、撮像装置１から出力された画像データを通信インタフェース２６にて受け付け、受け付けた画像データをフレームメモリ２５に記録し、フレームメモリ２５に記録した画像データを読み出して、様々な画像処理を行う。受け付けた画像データに対して実行する様々な画像処理とは、画像データから検出対象（撮像時の撮像対象）である運転者の顔の輪郭の検出並びに目及び鼻の位置の特定等の検出対象の検出に関する様々な処理である。具体的な処理の例としては、パターンマッチングにより目の位置を検出する目位置検出処理を挙げることができる。また他の処理の例として、画像の垂直方向に並ぶ輝度を積算し、積算した値を所定の閾値と比較することで、背景より輝度が高い画素にて構成される顔の輪郭の水平方向の範囲を検出する輪郭幅検出処理を挙げることができる。また更にその処理において、積算値の水平方向の変化を微分して変化が大きい位置を特定して、輝度が大きく変化する背景と顔の輪郭との境界を検出する輪郭幅検出処理を挙げることができる。詳細な処理の内容は、例えば本願出願人により出願された特開２０００−１６３５６４号公報、特開２００４−２３４４９４号公報、特開２００４−２３４３６７号公報等の文献に記載されている。なおこれらの画像処理は、必ずしも特開２０００−１６３５６４号公報、特開２００４−２３４４９４号公報及び特開２００４−２３４３６７号公報に記載された処理に限るものではなく、その用途、ハードウェア構成、他のアプリケーションプログラムとの連携等の条件に応じて適宜選択することが可能である。

次に本発明の実施の形態１における画像処理システムにて用いられる各種装置の処理について説明する。図２は、本発明の実施の形態１における画像処理システムにて用いられる画像処理装置２の主処理を示すフローチャートである。画像処理装置２は、ＲＡＭ２４に記録させたコンピュータプログラム３を実行するＣＰＵ２１の制御により、撮像装置１の撮像により得られ通信インタフェース２６を介して受け付けた画像データをフレームメモリ２５から抽出し（Ｓ１０１）、抽出した画像データにより示される画像を例えば垂直方向に１／８、水平方向に１／８の割合で縮小し（Ｓ１０２）、縮小した画像データにより示される画像内に検出範囲を設定する（Ｓ１０３）。ステップＳ１０３にて設定される検出範囲とは、検出対象を検出すべく画像内に設定される検出対象が検出される可能性が高い一辺が画像の水平方向に平行な長方形の領域であり、画像全体から検出対象を検出するのではなく、範囲を絞り込むことにより、検出する処理の負荷を軽減することができる。

画像処理装置２では、ＣＰＵ２１の制御により、検出対象である運転者の顔の中の両目の位置が検出されるか否かを判定する（Ｓ１０４）。ステップＳ１０４では、例えば前述した目位置検出処理等の処理を示した特開２０００−１６３５６４号公報、特開２００４−２３４４９４号公報、特開２００４−２３４３６７号公報等の文献に記載された方法を実行し、両目の位置が検出されているか否かを判定する。

ステップＳ１０４において、両目の位置が検出されていると判定した場合（Ｓ１０４：ＹＥＳ）、画像処理装置２では、ＣＰＵ２１の制御により、検出した両目から定まる画像内での検出対象の傾きを検出する（Ｓ１０５）。運転者が運転席に真っ直ぐに座っている場合、運転者の両目である２点を結ぶ直線は水平であり、２点を結ぶ直線が水平から傾いている場合、運転者が傾いているという前提の上で、画像の水平方向（ｘ軸）に対する両目を結ぶ直線の傾きを検出対象の傾きとして検出するのである。

ステップＳ１０４において、両目の位置が検出されていないと判定した場合（Ｓ１０４：ＮＯ）、画像処理装置２では、ＣＰＵ２１の制御により、検出対象である運転者の顔に適合する楕円形状の領域を検出する領域検出処理を行い（Ｓ１０６）、検出した領域に係る検出対象の画像内での傾きを検出する検出対象傾き検出処理を行う（Ｓ１０７）。ステップＳ１０６の領域検出処理及びステップＳ１０７の検出対象傾き検出処理の詳細については後述する。

ステップＳ１０５又はステップＳ１０７にて検出対象の画像内の傾きを検出した後、画像処理装置２は、ＣＰＵ２１の制御により、傾きに応じて検出対象の検出を行うべく検出対象を含む長方形の投影範囲を設定し（Ｓ１０８）、設定した投影範囲内の画像に対し、傾きに直角な投影方向に輝度を積算する投影処理を行う（Ｓ１０９）。ステップ１０９の投影処理とは、検出対象の傾きに応じた方向に輝度を積算する処理である。

画像処理装置２は、ＣＰＵ２１の制御により、投影処理の結果に基づいて、検出対象を検出し（Ｓ１１０）、検出した検出対象を、投影処理前の座標に変換し（Ｓ１１１）、検出対象に関する位置及び幅、並びに傾き等の情報を検出結果としてＨＤ２３及び／又はＲＡＭ２４に記録する（Ｓ１１２）。ステップＳ１１０における検出対象の検出とは、検出対象である運転者の顔の輪郭の位置及び幅、並びに目及び鼻の位置等の検出である。

そして画像処理装置２では、ステップＳ１１２においてＨＤ２３及び／又はＲＡＭ２４に記録した検出結果に基づいて、更なる検出等の各種画像処理を行い、またその結果に基づく運転支援処理を行う。

図２のフローチャートを用いて説明した処理を更に具体的に説明する。図３は、本発明の実施の形態１における画像処理システムの検出範囲の設定の例を概念的に示す説明図である。図３中、実線で示した外側の枠がステップＳ１０２にて縮小した画像の全体であり、検出対象である運転者の顔の画像が含まれている。一点鎖線で示した内側の枠がステップＳ１０３にて設定した検出範囲である。

図４は、本発明の実施の形態１における画像処理システムの検出対象の傾きの検出及び投影処理後の検出対象の検出の例を概念的に示す説明図である。図４（ａ）は、図３に示した画像から両目の位置を検出し、検出対象の傾きを検出した状態を概念的に示している。図４（ａ）中、十字で示した２点が検出対象である運転者の顔の画像から検出された両目の位置を示している。ステップＳ１０５にて示した検出対象の傾きの検出は、図４（ａ）に示す様に検出した２点を結ぶ線分の傾きに基づいて検出される。図４（ａ）中の一点鎖線で示した長方形がステップＳ１０８にて設定される投影範囲を示している。設定される投影範囲の幅は、検出対象中に検出された両目の間の距離をＬとした場合、両目の中点を中心とし、両目を結ぶ方向に平行な３Ｌの長さの線分に決定される。また設定される投影範囲の高さは、検出された両目の中点から上側（運転者の頭の方向）で両目を結ぶ線分と直角をなす方向へ３／４Ｌの位置から、下側（運転者の顎の方向）で両目を結ぶ線分と直角をなす方向へ３／２Ｌの位置までとなる。なお画素の輝度を積算するための投影方向は図４（ａ）中の矢印で示した様に両目を結ぶ方向に対して直角な方向となる。

図４（ｂ）は、ステップＳ１１０における投影処理の結果に基づいた検出対象を検出する処理を示している。図４（ｂ）は、投影範囲内で、画素の輝度の検出対象の幅方向の分布を示している。図４（ｂ）に示す様に、運転者の顔の中心付近、即ち鼻に対応する位置の輝度が高く、外側に行く程、輝度が低くなる。このように撮像装置１に近い程高くなるという輝度の分布は、撮像装置１の近くにＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の照明装置を配置することにより顕著となる。

図５は、本発明の実施の形態１における画像処理システムの検出対象の検出の例を概念的に示す説明図である。図５は、図４（ｂ）に示した輝度の積算値の分布に基づいて、傾いている検出対象の幅を検出した状況を示しており、破線の両矢印で示した範囲が検出した幅を示している。図４（ｂ）に示した輝度の分布に基づく様々な検出処理は、例えば特開２０００−１６３５６４号公報、特開２００４−２３４４９４号公報、特開２００４−２３４３６７号公報等の文献に記載された処理を実行することにより行われる。なお検出対象の幅等の検出された結果を示す情報は、ＨＤ２３及び／又はＲＡＭ２４に記録される。

図６は、本発明の実施の形態１における画像処理システムにて用いられる画像処理装置２の領域検出処理を示すフローチャートである。領域検出処理とは、図２を用いて説明した主処理におけるステップＳ１０６に対応する。画像処理装置２は、ＲＡＭ２４に記録させたコンピュータプログラム３を実行するＣＰＵ２１の制御により、画像内で検出対象の領域の候補となる短軸方向及び長軸方向が夫々水平方向（ｘ軸方向）及び垂直方向（ｙ軸方向）と平行な楕円形状の候補領域を設定し（Ｓ２０１）、設定した候補領域に外接し短辺方向及び長辺方向が夫々短軸方向及び長軸方向と平行な長方形を外接長方形として設定し（Ｓ２０２）、設定した外接長方形内において、設定した候補領域内の画素の平均輝度と、候補領域外の画素の平均輝度とを比較する（Ｓ２０３）。画像処理装置２では、ＣＰＵ２１の制御により、ステップＳ２０１〜Ｓ２０３の処理を複数回繰り返し、即ち複数の候補領域を設定し、設定した候補領域内の画素の平均輝度と、候補領域外の平均輝度とを比較した結果より、画素の平均輝度の差が最大になると判定した候補領域を、検出対象に適合する領域として検出する（Ｓ２０４）。

図６のフローチャートを用いて説明した処理を更に具体的に説明する。図７は、本発明の実施の形態１における画像処理装置システムにて設定される候補領域及び外接長方形の例を概念的に示す説明図である。図７中、実線で示した楕円が、ステップＳ２０１にて設定される候補領域であり、候補領域として設定される楕円は、中心の座標（ｘ，ｙ）、画像の水平方向（ｘ軸方向）に平行な短半径（ｃｘ）及び垂直方向（ｙ軸方向）に平行な長半径（ｃｙ）を含むパラメータを用いて設定される。なお便宜上、ｘ軸方向に平行な半径を短半径、ｙ軸方向に平行な半径を長半径として説明しているが、ｘ軸方向に平行な半径の方が、ｙ軸方向に平行な半径より長くなっても良く、また同じ長さとなっても良い。図７中、候補領域である楕円に外接した長方形が、ステップＳ２０２設定される外接長方形である。

またステップＳ２０３における平均輝度の比較は、図７の右上から左下への斜線で示した候補領域内の領域に含まれる画素の平均輝度と、左上から右下への斜線で示した候補領域外の領域に含まれる画素の平均輝度との差である下記の式１にて定義される楕円スコアを算出することにより行われる。

Ｓ（ｘ，ｙ，ｃｘ，ｃｙ）
＝Ｆ（Ｅ（ｘ，ｙ，ｃｘ，ｃｙ））−Ｆ（Ｎ（ｘ，ｙ，ｃｘ，ｃｙ）） …式１
但し、ｘ：楕円中心のｘ座標
ｙ：楕円中心のｙ座標
ｃｘ：ｘ軸方向に平行な短半径
ｃｙ：ｙ軸方向に平行な長半径
Ｓ（ｘ，ｙ，ｃｘ，ｃｙ）：楕円スコア
Ｆ（Ｐ）：画素の平均輝度
Ｅ（ｘ，ｙ，ｃｘ，ｃｙ）：候補領域内の領域
Ｎ（ｘ，ｙ，ｃｘ，ｃｙ）：候補領域外の領域

ただし候補領域内外を問わず異常に高い輝度を示す画素も含まれているため、正確な画素の平均輝度を算出する場合には、異常値を示す画素を予め除いておく必要がある。そこで予め画素の輝度の上限値を設定しておき、上限値より高い輝度の画素は異常値を示していると見なし、上限値以下の輝度の画素を有効画素として定義し、下記の式２を用いて有効画素のみについて画素の輝度の平均値を算出する。

Ｆ（Ｐ）＝ΣＡ（Ｐ）／Ｃ（Ｐ） …式２
但し、Ｐ：有効画素
Ａ（Ｐ）：画素Ｐの輝度値
Ｃ（Ｐ）：画素Ｐの数

式１にて定義される楕円スコアの値が大きい程、候補領域内の画素の平均輝度と、候補領域外の画素の平均輝度との差が大きく、即ち候補領域内の領域に示される画像が、候補領域外の画像と異なることから候補領域が検出対象に適合すると見なすことができる。なお候補領域を設定するための中心（ｘ，ｙ）、短半径（ｃｘ）及び長半径（ｃｙ）等のパラメータは、誤検出の防止、処理負荷の軽減及び処理速度の向上を目的として、ＨＤ２３及び／又はＲＡＭ２４に記録されている前回の検出結果に基づく範囲の中から設定される。具体的には、下記の式３に示す範囲に設定される。

Ｓ（ｘ’−ｍ１，ｙ’−ｎ１，ｃｘ’−ｍ２，ｃｙ’−ｎ２）
〜Ｓ（ｘ’＋ｍ１，ｙ’＋ｎ１，ｃｘ’＋ｍ２，ｃｙ’＋ｎ２） …式３
但し、ｘ’：前回の楕円中心のｘ座標
ｙ’：前回の楕円中心のｙ座標
ｃｘ’：前回のｘ軸に平行な短半径
ｃｙ’：前回のｙ軸に平行な長半径
ｍ１：中心のｘ座標の範囲
ｎ１：中心のｙ座標の範囲
ｍ２：短半径の範囲
ｎ２：長半径の範囲

式３に示した範囲内で式１に示した楕円スコアが最大となる候補領域を検出するのであるが、先ず下記の式４に示す範囲で楕円スコアが最大となる楕円中心の座標（ｘ，ｙ）を求める。

Ｓ（ｘ’−ｍ１，ｙ’−ｎ１，ｃｘ’，ｃｙ’）
〜Ｓ（ｘ’＋ｍ１，ｙ’＋ｎ１，ｃｘ’，ｃｙ’） …式４

式４の範囲内で求められた楕円中心の座標（ｘ，ｙ）を用い、下記の式５に示す範囲で楕円スコアが最大となる短半径（ｃｘ）及び長半径（ｃｙ）を求める。

Ｓ（ｘ，ｙ，ｃｘ’−ｍ２，ｃｙ’−ｎ２）
〜Ｓ（ｘ，ｙ，ｃｘ’＋ｍ２，ｃｙ’＋ｎ２） …式５

ステップＳ２０４では、式４の範囲内で求められた楕円中心の座標（ｘ，ｙ）及び式５の範囲内で求められた短半径（ｃｘ）及び長半径（ｃｙ）で示される楕円形状の候補領域を、検出対象に適合する領域として検出する。

図８は、本発明の実施の形態１における画像処理システムにて用いられる画像処理装置２の検出対象傾き検出処理を示すフローチャートである。検出対象傾き検出処理とは、図２を用いて説明した主処理におけるステップＳ１０７に対応する。画像処理装置２は、ＲＡＭ２４に記録させたコンピュータプログラム３を実行するＣＰＵ２１の制御により、図６のフローチャートを用いて示した領域検出処理にて検出した楕円形状の検出対象に適合する領域に外接し短辺方向及び長辺方向が夫々短軸方向及び長軸方向と平行な長方形を外接長方形として設定する（Ｓ３０１）。画像処理装置２では、ＣＰＵ２１の制御により、設定した外接長方形に含まれる画素の輝度の分布に基づいて、例えば分布から求まる輝度の中央値を外接長方形内の基準輝度に設定し（Ｓ３０２）、設定した基準輝度に基づいて外接長方形内の輝度を２値化する（Ｓ３０３）。そして画像処理装置２では、ＣＰＵ２１の制御により、外接長方形内で基準輝度より輝度が高い画素の分布に基づいて、楕円の中心を基準点とし、基準点回りのセントラルモーメントを算出し（Ｓ３０４）、算出したセントラルモーメントに基づいて、画像内での検出対象の傾きを検出する（Ｓ３０５）。

図８のフローチャートを用いて説明した処理を更に具体的に説明する。運転者の顔に相当する領域の画素は、背景に相当する領域の画素より輝度が高いためステップＳ３０３に示す２値化により、基準輝度以上の輝度の画素の値を「１」とし、基準輝度未満の輝度の画素の値を「０」とすると、値が「１」である画素として運転者の顔に相当する検出対象の領域を抽出することができる。そして抽出された領域を画素の座標を用いてｆ（ｘ，ｙ）として示し、楕円の中心である基準点の座標を（ｘｏ，ｙｏ）とすると、ステップＳ３０４に示すセントラルモーメントは、下記の式６にて算出することができる。

そして検出対象、即ち運転者の顔は、楕円形状をなし、顔の縦方向が楕円の長軸方向に相当するとすると、ステップＳ３０５における検出対象の傾き、即ちｘ軸に対する検出対象の短軸の傾きθは、下記の式７にて算出することができる。

θ＝（１／２）ｔａｎ−１｛２Ｍ１１／（Ｍ２０−Ｍ０２）｝ …式７
但し、θ：検出対象の傾き

なお検出対象傾き検出処理として、検出対象の傾きを、セントラルモーメントを用いて検出した場合、図２を用いて示した主処理のステップＳ１０８にて設定される長方形の投影範囲は、検出対象に適合する楕円形状の領域及びセントラルモーメントに基づいて設定される。図９は、本発明の実施の形態１における画像処理システムの投影範囲の例を示す説明図である。図９中、実線にて示した楕円がステップＳ２０４にて検出対象に適合する領域として検出された領域を示しており、また運転者の顔である検出対象の中心を通る線分の傾きが、算出したｘ軸に対する検出対象の短軸の傾きθを示している。また傾きを示す線分に平行な矢印により投影方向を示している。検出対象に適合する領域として検出された楕円の中心の座標を（ｘ，ｙ）とし、ｘ軸方向に平行な短半径をｃｘとし、ｙ軸方向に平行な長半径をｃｙとすると、設定される投影範囲の幅、即ち座標系変換後のｘ軸方向の範囲は、座標（ｘ，ｙ）のを中心とし、傾きを示す線分に直交する方向の長さが９／８ｃｘとなる範囲である。また設定される投影範囲の高さ、即ち座標系変換後のｙ軸方向の範囲は、座標（ｘ，ｙ）を中心とし、傾きを示す線分に平行な方向の長さが７／８ｃｙとなる範囲である。

前記実施の形態１に示した候補領域の形状、設定手順、候補領域からの検出対象の検出、傾きの検出等の処理及び該処理に要する各種条件等は、あくまでも一例であり、システム構成、目的等の応じて適宜設定することが可能である。

実施の形態２．
実施の形態２は、実施の形態１において、画像を縮小する処理を撮像装置１にて行う構成である。図１０は、本発明の実施の形態２における画像処理システムの構成例を示すブロック図である。図１０中１は、撮像装置であり、撮像装置１は、ＭＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、撮像部１４、Ａ／Ｄ変換器１５、フレームメモリ１６及び通信インタフェース１７、並びに画像の縮小処理を行う縮小回路１８を備えている。

そして撮像装置１では、撮像部１４により撮像処理を行い、Ａ／Ｄ変換器１５にてデジタル画像データに変換した画像を、縮小回路１８にて縮小し、フレームメモリ１６に記録させる。そしてフレームメモリ１６に記録させた縮小された画像の画像データは、所定のタイミングで通信インタフェース１７から画像処理装置２へ出力される。

画像処理装置２は、ＣＰＵ２１、本発明のコンピュータプログラム３及びデータ等の各種情報を記録した記録媒体４から情報を読み取る補助記録部２２、ＨＤ２３、ＲＡＭ２４、フレームメモリ２５及び通信インタフェース２６を備えている。

本発明の実施の形態２における画像処理システムでは、実施の形態１のステップ１０２の縮小処理に対応する処理を、撮像装置１の縮小回路１８にて行い、縮小処理を行った画像を示す画像データを画像処理装置２へ出力する。画像処理装置２における処理は、実施の形態１と同様であるので、実施の形態１を参照するものとし、説明を省略する。但し実施の形態１のステップＳ１０２における縮小処理は、既に撮像装置１にて行われているため実行されないことは言うまでもない。

前記実施の形態２では、縮小処理を撮像装置１にて行う形態を示したが、実施の形態１の処理の一部又は全部を撮像装置１に行わせることにより、更に無数の形態に展開することが可能である。

前記実施の形態１及び２では、車両の運転者を検出対象とする形態を示したが、本発明はこれに限らず、様々な人物、更には人物以外の生物又は無生物を検出対象とする形態であっても良い。

また前記実施の形態１及び２では、車載カメラを用いた撮像装置の撮像により生成された画像から検出対象を検出する形態を示したが、本発明はこれに限らず、様々な装置により様々な方法にて生成された画像をＨＤに記録しておき、記録している画像から特定の検出対象を検出する様々な画像処理に適用することが可能である。

Claims (6)

1. 二次元に配列された複数の画素を含む画像から特定の検出対象を検出する画像処理装置を用いた画像処理方法において、
   中心、並びに直交する第１方向及び第２方向の長さを用いて示される所定の楕円領域を画像内で検出対象の領域の候補となる候補領域として複数設定し、
   前記複数設定した前記候補領域のそれぞれに対し、該候補領域内の画素の平均輝度及び該候補領域外の画素の平均輝度を比較し、
   比較した結果に基づいて、設定した複数の候補領域の中から平均輝度の差が最大であると判定した候補領域を検出対象に適合する領域として検出し、
   検出した検出対象に適合する領域に外接し、前記第１方向に一辺が平行である長方形を外接長方形として設定し、
   設定した外接長方形に含まれる画素の輝度の分布に基づいて、基準輝度を設定し、
   外接長方形内で基準輝度より輝度が高い画素の分布に基づいて、中心回りのセントラルモーメントを算出し、
   算出したセントラルモーメントに基づいて、画像内での検出対象の第１方向の傾きを検出する
   ことを特徴とする画像処理方法。
2. 二次元に配列された複数の画素を含む画像から特定の検出対象を検出する画像処理装置を備える画像処理システムにおいて、
   中心、並びに直交する第１方向及び第２方向の長さを用いて示される所定の楕円領域を画像内で検出対象の領域の候補となる候補領域として複数設定する設定手段と、
   前記複数設定した前記候補領域のそれぞれに対し、該候補領域内の画素の平均輝度と該候補領域外の画素の平均輝度とを比較する比較手段と、
   比較した結果に基づいて、設定した複数の候補領域の中から平均輝度の差が最大であると判定した候補領域を検出対象に適合する領域として検出する検出手段と、
   検出した検出対象に適合する領域に外接し、前記第１方向に一辺が平行である長方形を外接長方形として設定する手段と、
   設定した外接長方形に含まれる画素の輝度の分布に基づいて、基準輝度を設定する手段と、
   外接長方形内で基準輝度より輝度が高い画素の分布に基づいて、中心回りのセントラルモーメントを算出する手段と、
   算出したセントラルモーメントに基づいて、画像内での検出対象の第１方向の傾きを検出する手段と
   を備えることを特徴とする画像処理システム。
3. 前記画像を生成する撮像装置を更に備え、
   前記検出対象は、前記撮像装置により撮像された人物の顔である
   ことを特徴とする請求項２に記載の画像処理システム。
4. 原画像を縮小して検出対象の検出用の画像を生成する手段を更に備えることを特徴とする請求項２又は請求項３に記載の画像処理システム。
5. 二次元に配列された複数の画素を含む画像から特定の検出対象を検出する画像処理装置において、
   中心、並びに直交する第１方向及び第２方向の長さを用いて示される所定の楕円領域を画像内で検出対象の領域の候補となる候補領域として複数設定する手段と、
   前記複数設定した前記候補領域のそれぞれに対し、該候補領域内の画素の平均輝度と該候補領域外の画素の平均輝度とを比較する手段と、
   比較した結果に基づいて、設定した複数の候補領域の中から平均輝度の差が最大であると判定した候補領域を検出対象に適合する領域として検出する手段と、
   前記検出手段が検出した検出対象に適合する領域に外接し、前記第１方向に一辺が平行である長方形を外接長方形として設定する手段と、
   設定した外接長方形に含まれる画素の輝度の分布に基づいて、基準輝度を設定する手段と、
   外接長方形内で基準輝度より輝度が高い画素の分布に基づいて、中心回りのセントラルモーメントを算出する手段と、
   算出したセントラルモーメントに基づいて、画像内での検出対象の第１方向の傾きを検出する手段と
   を備えることを特徴とする画像処理装置。
6. コンピュータに、二次元に配列された複数の画素を含む画像を示す画像データから特定の検出対象を検出させるコンピュータプログラムにおいて、
   コンピュータに、中心、並びに直交する第１方向及び第２方向の長さを用いて示される所定の楕円領域を画像内で検出対象の領域の候補となる候補領域として複数設定させる手順と、
   コンピュータに、前記複数設定した前記候補領域のそれぞれに対し、該候補領域内の画素の平均輝度と該候補領域外の画素の平均輝度とを比較させる手順と、
   コンピュータに、比較した結果に基づいて、設定した複数の候補領域の中から平均輝度の差が最大であると判定した候補領域を検出対象に適合する領域として検出させる手順と、
   コンピュータに、検出した検出対象に適合する領域に外接し、前記第１方向に一辺が平行である長方形を外接長方形として設定させる手順と、
   コンピュータに、設定した外接長方形に含まれる画素の輝度の分布に基づいて、基準輝度を設定させる手順と、
   コンピュータに、外接長方形内で基準輝度より輝度が高い画素の分布に基づいて、中心回りのセントラルモーメントを算出させる手順と、
   コンピュータに、算出したセントラルモーメントに基づいて、画像内での検出対象の第１方向の傾きを検出させる手順と
   を実行させることを特徴とするコンピュータプログラム。

Images