JP4397415B2 - 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム - Google Patents

Description

本発明は、撮像して得られた画像から特定の撮像対象を検出する画像処理方法、該画像処理方法を適用した画像処理システム、該画像処理システムにて用いられる画像処理装置、及び該画像処理装置を実現するためのコンピュータプログラムに関し、特に撮像対象の有無を判定する画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラムに関する。

自動車等の車両の運転を支援する装置として、運転者の顔を撮像することが可能な位置に配置された車載カメラで運転者の顔を撮像し、得られた画像から運転者の顔の輪郭、並びに目及び鼻孔の位置を検出する画像処理を行う画像処理装置が提案されている（例えば、特許文献１参照）。この様な装置を用いることにより、運転者の状況を検知し、脇見運転の警告等の運転支援を行うシステムを構成することも可能である。
特開２００４−２３４３６７号公報

しかしながら従来の画像処理装置は、撮像して得られた画像の範囲内に撮像対象が存在していることを前提として撮像対象を検出する処理を実行するため、撮像して得られた画像の範囲内に撮像対象が存在しない場合には、撮像対象が存在しない背景画像から撮像対象を検出すべく処理を実行するため、背景画像からの誤認識、検出処理を不必要に繰り返すことによる処理負荷の増大等の異常が発生する可能性が高いという問題がある。

本発明は斯かる事情に鑑みてなされたものであり、撮像方向に光を照射し、光を照射しているときに撮像した画像及び照射していないときに撮像した画像を比較して画像内での撮像対象の有無を判定することにより、画像処理時に異常が発生する可能性を低減することが可能な画像処理方法、該画像処理方法を適用した画像処理システム、該画像処理システムにて用いられる画像処理装置、及び該画像処理装置を実現するためのコンピュータプログラムの提供を目的とする。

本発明に係る画像処理方法は、撮像手段と、該撮像手段が撮像する方向に光を照射する光照射手段と、撮像して得られた画像から顔を検出する画像処理装置とを用いた画像処理方法において、撮像して得られた画像から顔の検出の可否を判定し、顔を検出することができないと判定した場合に、光を照射しているときに撮像した画像及び照射していないときに撮像した画像を比較し、比較した結果に基づいて画像内での顔の有無を判定することを特徴とする。

本発明では、顔を撮像対象とし、撮像対象が存在する場合、光の照射状況によって画像に差異が生じることから、撮像対象の有無を判定することができる。従って撮像対象が画像内に存在しないにもかかわらず、撮像対象が存在しない背景画像から撮像対象を検出すべく処理を実行して、背景画像からの誤認識、検出処理を不必要に繰り返すことによる処理負荷の増大等の異常の発生を防止することが可能である。しかも本発明では、不必要な比較及び判定処理を回避することにより、処理負荷を軽減することが可能である。

本発明に係る画像処理システムは、撮像手段と、該撮像手段が撮像する方向に光を照射する照射手段と、撮像して得られた画像から顔を検出する画像処理装置とを備える画像処理システムにおいて、前記画像処理装置は、撮像して得られた画像から顔の検出の可否を判定する手段を備え、更に、顔を検出することができないと判定した場合に、光を照射しているときに撮像した画像及び照射していないときに撮像した画像を比較する比較手段と、該比較手段が比較した結果に基づいて画像内での顔の有無を判定する判定手段とを備えることを特徴とする。

本発明では、顔を撮像対象とし、撮像対象が存在する場合、光の照射状況によって画像に差異が生じることから、撮像対象の有無を判定することができる。従って撮像対象が画像内に存在しないにもかかわらず、撮像対象が存在しない背景画像から撮像対象を検出すべく処理を実行して、背景画像からの誤認識、検出処理を不必要に繰り返すことによる処理負荷の増大等の異常の発生を防止することが可能である。しかも本発明では、不必要な比較及び判定処理を回避することにより、処理負荷を軽減することが可能である。

本発明に係る画像処理システムは、前記画像処理装置は、撮像して得られた画像の輝度を求める手段を更に備え、前記比較手段は、夫々の画像の輝度を比較するように構成してあり、前記判定手段は、夫々の画像の輝度の差が基準値未満である場合に、顔が存在しないと判定するように構成してあることを特徴とする。

本発明では、撮像対象が存在する場合、光の照射状況によって画像の輝度が大きく変化することから、撮像対象の有無を判定することができるので、撮像対象が画像内に存在しない場合での異常の発生を防止することが可能である。

本発明に係る画像処理システムは、前記輝度は、画像を構成する画素の平均輝度であることを特徴とする。

本発明では、平均輝度の比較に基づいて撮像対象の有無を判定することにより、判定精度を向上させることが可能である。

本発明に係る画像処理システムは、画像を構成する画素の平均輝度、前記照射手段の照射条件及び前記撮像手段の撮像条件に基づき導出される絶対輝度に基づいて画像内での顔の有無を判定する手段を更に備えることを特徴とする。

本発明では、絶対輝度に基づいて撮像対象の有無を判定することにより、太陽光等の外光の影響を抑制することができるので、判定精度を向上させることが可能である。

本発明に係る画像処理システムは、前記照射手段は、近赤外域の波長の光を照射するように構成してあり、前記撮像手段は、近赤外域の波長の光を透過するフィルタを有することを特徴とする。

本発明では、可視光線ではなく、近赤外線を用いることにより、主に撮像手段と撮像対象との間の距離が画像の輝度に反映され、座席の模様等の背景画像の濃淡による輝度の影響を抑制することができるので、判定精度を向上させることが可能である。

本発明に係る画像処理システムは、前記撮像手段及び照射手段を有し、前記画像処理装置と接続される撮像装置を備えることを特徴とする。

本発明では、照射手段が組み込まれた撮像装置を用いることにより、照射方向及び撮像方向の調整を行う必要が無く、設置時の利便性を向上させることが可能である。

本発明に係る画像処理装置は、撮像して得られた画像から顔を検出する画像処理装置において、撮像方向に光を照射させる手段と、撮像して得られた画像から顔の検出の可否を判定する手段とを備え、更に、顔を検出することができないと判定した場合に、光を照射しているときに撮像した画像及び照射していないときに撮像した画像を比較する手段と、比較した結果に基づいて画像内の顔の有無を判定する手段とを備えることを特徴とする。

本発明では、顔を撮像対象とし、撮像対象が存在する場合、光の照射状況によって画像に差異が生じることから、撮像対象の有無を判定することができる。従って撮像対象が画像内に存在しないにもかかわらず、撮像対象が存在しない背景画像から撮像対象を検出すべく処理を実行して、背景画像からの誤認識、検出処理を不必要に繰り返すことによる処理負荷の増大等の異常の発生を防止することが可能である。しかも本発明では、不必要な比較及び判定処理を回避することにより、処理負荷を軽減することが可能である。

本発明に係るコンピュータプログラムは、撮像手段及び該撮像手段が撮像する方向に光を照射する照射手段と接続するコンピュータに、撮像して得られた画像から顔を検出させるコンピュータプログラムにおいて、コンピュータに、撮像して得られた画像から顔の検出の可否を判定させる手順と、顔を検出することができないと判定した場合に、コンピュータに、光を照射しているときに撮像した画像及び照射していないときに撮像した画像を比較させる手順と、コンピュータに、比較した結果に基づいて画像内の顔の有無を判定させる手順とを実行させることを特徴とする。

本発明では、コンピュータにて実行することにより、コンピュータが画像処理装置として動作し、撮像対象として顔が存在する場合、光の照射状況によって画像に差異が生じることから、撮像対象の有無を判定することができる。従って撮像対象が画像内に存在しないにもかかわらず、撮像対象が存在しない背景画像から撮像対象を検出すべく処理を実行して、背景画像からの誤認識、検出処理を不必要に繰り返すことによる処理負荷の増大等の異常の発生を防止することが可能である。しかも本発明では、不必要な比較及び判定処理を回避することにより、処理負荷を軽減することが可能である。

本発明に係る画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラムは、例えば車両に搭載され運転者の顔を撮像対象とする車載カメラを用いたシステムに適用され、撮像方向に対し、光を照射しているときに撮像した画像の平均輝度及び照射していないときに撮像した画像の平均輝度を比較し、その差が基準値以下である場合に、撮像により得られた画像内に撮像対象が存在しないと判定する。

この構成により、撮像対象が存在する場合、光の照射状況によって画像の輝度に差異が生じることから、撮像対象の有無を判定することができる。従って撮像対象が画像内に存在しないにもかかわらず、撮像対象が存在しない背景画像から撮像対象を検出すべく処理を実行して、背景画像からの誤認識、検出処理を不必要に繰り返すことによる処理負荷の増大等の異常の発生を防止することが可能である等、優れた効果を奏する。そしてシステム全体の処理負荷の軽減及び処理の安定化を実現することから、運転者の状況を検知し、脇見運転の警告等の運転支援を行うシステムに適用した場合には、高速かつ安定した処理により、咄嗟の状況でも誤動作の少ない信頼のおける運転支援システムを構成することが可能である等、優れた効果を奏する。

また本発明の画像処理システム等では、絶対輝度に基づいて撮像対象の有無を判定することにより、カメラ制御による光の影響を抑制することができるので、判定精度を向上させることが可能である等、優れた効果を奏する。

さらに本発明の画像処理システム等では、撮影方向に光を照射していることにより、主に撮像手段と撮像対象との間の距離が画像の輝度に反映され、座席の模様等の背景画像の濃淡による輝度の影響を抑制することができるので、判定精度を向上させることが可能である等、優れた効果を奏する。

本発明の画像処理システムにて用いられる撮像装置の外観を示す斜視図である。 本発明の画像処理システムの構成例を示すブロック図である。 本発明の画像処理システムにて用いられる画像処理装置の処理を示すフローチャートである。 本発明の画像処理システムにて用いられる画像処理装置の処理を示すフローチャートである。

符号の説明

１ 撮像装置
２ 画像処理装置
３ コンピュータプログラム
４ 記録媒体

以下、本発明をその実施の形態を示す図面に基づいて詳述する。図１は、本発明の画像処理システムにて用いられる撮像装置の外観を示す斜視図である。図１中１は、車両に搭載される車載カメラ等の撮像装置であり、図１に例示した撮像装置１は、直方体状をなす筐体１０の一の面に中心にＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子を用いた撮像部１１が配設され、撮像部１１の周囲にＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の発光素子を用いた複数の照射部１２が配設されている。撮像部１１及び照射部１２は、撮像装置１の筐体１０の同じ面に、撮像方向及び照射方向が一致する様に配設されている。照射部１２は、ＧａＡｌＡｓ等の半導体チップを用いて８７０ｎｍ等の近赤外域の波長の光を発する様に構成している。撮像部１１の受光部には、メタクリル樹脂等の材質で近赤外域の波長の光を選択的に透過させるフィルタ１１ａが組み込まれている。照射部１２が照射する光として不可視光である近赤外光を用いることにより、光の照射を受ける運転者は照射に気付くことがないので、運転の妨げとならない。またフィルタ１１ａは、近赤外域の波長の光を選択的に透過させ、可視光をカットすることにより、撮像部１１は、外光に影響されずに処理を行うことが可能である。そして撮像装置１は、車両内のハンドル、ダッシュボード等の運転者の前方に、運転者の顔を撮像対象として撮像可能な状態に配設され、撮像対象に対して照射部１２から近赤外光を照射し、撮像部１１にて撮像する。撮像部１１及び照射部１２の同一装置への組み込みを含む各種条件等は、あくまでも一例であり、システム構成、目的等の応じて適宜設定することが可能である。例えば、撮像部１１を備える装置と照射部１２を備える装置とを別体化し、夫々異なる位置に配置する様にしても良い。

図２は、本発明の画像処理システムの構成例を示すブロック図である。撮像装置１は、該撮像装置１の撮像により得られた画像から撮像対象の検出等の画像処理を行う車載用コンピュータを用いた画像処理装置２に、専用ケーブル等の通信線又は有線或いは無線にて構成される車内ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信網にて接続されている。

撮像装置１は、装置全体を制御するＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）１３と、ＭＰＵ１３の制御に基づき実行される各種コンピュータプログラム及びデータを記録するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４と、ＲＯＭ１４に記録されたコンピュータプログラムの実行時に一時的に発生する各種データを記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５とを備えている。さらに撮像装置１は、上述した撮像部１１及び照射部１２を備え、撮像部１１の撮像により得られたアナログの画像データをデジタルデータに変換するＡ／Ｄ変換器１６と、Ａ／Ｄ変換器１６によりデジタルに変換された画像データを一時的に記憶するフレームメモリ１７と、画像処理装置２との通信に用いられる通信インタフェース１８とを備えている。

撮像装置１では、照射部１２にて近赤外光を照射した撮像対象を、撮像部１１により撮像し、撮像に基づいて例えば１秒当たり３０枚の画像データ（画像フレーム）を生成してＡ／Ｄ変換器１６へ出力し、Ａ／Ｄ変換器１６では、画像データを構成する２５６階調（１Ｂｙｔｅ）等の階調にて示されるデジタル画像データに変換する。そしてデジタル画像データに変換した画像データをフレームメモリ１７に記憶し、記憶した画像データを所定のタイミングで画像処理装置２へ出力する。また画像データと共に撮像時における撮像部１１のシャッタースピード、ゲイン値等の撮像条件を示す撮像条件データ、及び照射部１２の照射時間等の照射条件を示す照射条件データも画像処理装置２へ出力される。さらに撮像装置１では、画像処理装置２から所定のタイミングで撮像部１１の撮像条件、照射部１２の照射条件等の各種回路の制御に関する各種データを受け付け、受け付けたデータに基づいて撮像部１１、照射部１２等の各種回路を制御する。

画像処理装置２は、装置全体を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１と、本発明のコンピュータプログラム３及びデータ等の各種情報を記録したＣＤ−ＲＯＭ等の記録媒体４から情報を読み取るＣＤ−ＲＯＭドライブ等の補助記憶部２２と、補助記憶部２２により読み取った各種情報を記録するハードディスク（以下ＨＤという）２３と、ＨＤ２３に記録されたコンピュータプログラム３の実行時に一時的に発生する各種データを記憶するＲＡＭ２４と、不揮発性メモリにて構成されるフレームメモリ２５と、撮像装置１との通信に用いられる通信インタフェース２６とを備えている。そしてＨＤ２３からから本発明のコンピュータプログラム３及びデータ等の各種情報を読み取り、ＲＡＭ２４に記憶させてコンピュータプログラム３に含まれる各種手順をＣＰＵ２１により実行することで、車載用コンピュータは、本発明の画像処理装置２として動作する。

画像処理装置２では、撮像装置１から出力された画像データを通信インタフェース２６にて受け付け、受け付けた画像データをフレームメモリ２５に記録し、フレームメモリ２５に記録した画像データを読み出して、様々な画像処理を行い、また画像処理の結果に基づき撮像装置１を制御する各種データを通信インタフェース２６から撮像装置１へ出力する。受け付けた画像データに対して実行する様々な画像処理とは、画像データからの検出対象（撮像時の撮像対象）である運転者の顔の輪郭の検出並びに目及び鼻の位置の特定等の検出対象の検出に関する様々な処理である。具体的な処理の例としては、画像の垂直方向に並ぶ輝度を積算し、積算した値を所定の閾値と比較することで、背景より輝度が高い画素にて構成される顔の輪郭の水平方向の範囲を検出する処理を挙げることができる。また更にその処理において、積算値の水平方向の変化を微分して変化が大きい位置を特定して、輝度が大きく変化する背景と顔の輪郭との境界を検出する処理を挙げることができる。また他の処理の例としてパターンマッチングにより目の位置を検出する処理を挙げることができる。詳細な処理の内容は、例えば本願出願人により出願された特開２０００−１６３５６４号公報、特開２００４−２３４４９４号公報、特開２００４−２３４３６７号公報等の文献に記載されている。なおこれらの画像処理は、必ずしも特開２０００−１６３５６４号公報、特開２００４−２３４４９４号公報及び特開２００４−２３４３６７号公報に記載された処理に限るものではなく、その用途、ハードウェア構成、他のアプリケーションプログラムとの連携等の条件に応じて適宜選択することが可能である。

次に本発明の画像処理システムにて用いられる各種装置の処理について説明する。図３及び図４は、本発明の画像処理システムにて用いられる画像処理装置２の処理を示すフローチャートである。画像処理装置２では、ＲＡＭ２４に記憶させたコンピュータプログラム３を実行するＣＰＵ２１の制御により、撮像装置１の撮像により得られ通信インタフェース２６を介して受け付けた画像データをフレームメモリ２５から抽出し（ステップＳ１）、抽出した画像データに対し、撮像対象である運転者の顔の輪郭の検出並びに目及び鼻孔の位置の特定等の撮像対象に関する検出処理を行う（ステップＳ２）。ステップＳ１〜Ｓ２の検出処理とは、前述した様に特開２０００−１６３５６４号公報、特開２００４−２３４４９４号公報、特開２００４−２３４３６７号公報等の文献に記載された各種処理を用いて行われる。また検出処理の結果に応じて運転を支援する各種処理が実行される。さらにこのときの検出処理の結果は、ＨＤ２３又はＲＡＭ２４の記録される。

画像処理装置２では、ＣＰＵ２１の制御により、ステップＳ１〜Ｓ２の処理にて撮像対象を検出することができたか否かを判定し（ステップＳ３）、検出することができたと判定した場合（ステップＳ３：ＹＥＳ）、撮像対象は存在すると判定し（ステップＳ４）、ステップＳ１に戻り、次の画像データに対して以降の処理を繰り返す。ステップＳ３の検出とは、撮像対象の存否の検出であり、判定基準としては適宜設定することが可能である。例えばステップＳ１〜Ｓ２の処理において、撮像対象である運転者の顔の輪郭、目及び鼻孔を検出する場合、輪郭、両目及び両鼻孔の全てを検出したときに限り、撮像対象を検出することができたと判定する様にしても良いし、また輪郭、少なくとも一方の目及び少なくとも一方の鼻孔を検出したときに撮像対象を検出することができたと判定する様にしても良い。なおステップＳ３の判定に用いる撮像対象の検出の状況は、ＨＤ２３又はＲＡＭ２４に記録されているステップＳ１〜Ｓ２の検出処理の結果が読み出されたものである。

ステップＳ３において、撮像対象を検出することができなかったと判定した場合（ステップＳ３：ＮＯ）、画像処理装置２では、ＣＰＵ２１の制御により、撮像対象を検出することができない状態が、第１連続基準値として予め設定されているｎフレーム（ｎは自然数）以上連続しているか否かを判定する（ステップＳ５）。なお第１連続基準値は、ＨＤ２３又はＲＡＭ２４に記録されている。

ステップＳ５において、撮像対象を検出することができない状態のフレームが、第１連続基準値であるｎフレーム未満しか連続していないと判定した場合（ステップＳ５：ＮＯ）、画像処理装置２では、ＣＰＵ２１の制御により、撮像対象を検出することができない状態が、第１連続基準値より小さい値の第２連続基準値として予め設定されているｍフレーム（ｍは、ｎより小さい自然数）以上連続しているか否かを判定する（ステップＳ６）。なお第２連続基準値は、ＨＤ２３又はＲＡＭ２４に記録されている。

ステップＳ６において、撮像対象を検出することができない状態のフレームが、第２連続基準値であるｍフレーム未満しか連続していないと判定した場合（ステップＳ６：ＮＯ）、画像処理装置２では、ＣＰＵ２１の制御により、ステップＳ４へ進み、撮像対象は存在すると判定する（ステップＳ４）。撮像対象を検出することができない状態の継続状況が短いため、撮像対象は存在しないと判定すると、誤認識の可能性が高いからである。

ステップＳ６において、撮像対象を検出することができない状態のフレームは、第２連続基準値であるｍフレーム以上連続していると判定した場合（ステップＳ６：ＹＥＳ）、画像処理装置２では、ＣＰＵ２１の制御により、当該画像データの絶対輝度値が、予め設定されている輝度値基準値未満であるか否かを判定する（ステップＳ７）。なお輝度値基準値は、ＨＤ２３又はＲＡＭ２４に記録されている。絶対輝度値は、画像データと共に撮像装置１から出力される撮像条件データ及び照射条件データ並びに画像処理装置１にて算出される画像データが示す画像を形成する画素の平均輝度値に基づき、例えば平均輝度値、シャッタースピード、ゲイン値及び照射幅の積として算出される。具体的には以下に例示する式１を用いて算出される。なお撮像条件及び照射条件は、撮像装置１から入力された値ではなく、制御用のデータとして撮像装置１へ出力した値であってもよい。本発明の画像処理システムにて用いられる撮像装置１では、撮像対象である顔の輝度を一定にすべくゲイン値の調整が行われる。従って輝度値ではなく絶対輝度値を用いた判定を行う。

絶対輝度値＝平均輝度値×Ｓ／ｓ×｛１＋ｇ／６｝×ｓ／ｔ …式１
但し、Ｓ：基準シャッタースピード定数［ｓｅｃ］（例：１／２５０ｓｅｃ）
ｓ：シャッタースピード［ｓｅｃ］（例：１／２０００ｓｅｃ）
ｇ：ゲイン値（例：０〜５ 例示した式１は、ゲイン値の０〜５の６変化がシャッタースピード１／２の変化に相当する場合）
ｔ：照射幅［ｓｅｃ］（ただしｔ＞ｓの時、ｔ＝ｓとする）

ステップＳ７において、画像データの絶対輝度値が、輝度値基準値以上であると判定した場合（ステップＳ７：ＮＯ）、画像処理装置２では、ＣＰＵ２１の制御により、ステップＳ４へ進み、撮像対象は存在すると判定する（ステップＳ４）。本発明の画像処理システムでは、撮像対象に光を照射しているため、撮像部１１に近い位置に存在する物体程、絶対輝度値が大きくなる。従って絶対輝度値が輝度値基準値以上である場合、撮像部１１に近い位置に撮像対象が存在すると判定するのである。

ステップＳ５において、撮像対象を検出することができない状態のフレームが、第１連続基準値であるｎフレーム以上連続していると判定した場合（ステップＳ５：ＹＥＳ）、又はステップＳ７において、画像データの絶対輝度値が、輝度値基準値未満であると判定した場合（ステップＳ７：ＹＥＳ）、画像処理装置２では、ＣＰＵ２１の制御により、撮像装置１が備える照射部１２による光の照射を中断させ（ステップＳ８）、光を照射していない状態での撮像により得られた画像データを取得する（ステップＳ９）。照射部１２では、撮像部１１による撮像が行われている通常状態においては、撮像方向に対して光を照射しているが、ステップＳ８にて、照射部１２の照射を中断させる制御を行うデータを画像処理装置２から撮像装置１へ出力することにより、照射部１２による照射が一時的に中断される。

そして画像処理装置２では、ＣＰＵ２１の制御により、光を照射しているときに撮像した画像の平均輝度値及び光を照射していないときに撮像した画像の平均輝度を比較し、光を照射しているときの平均輝度値が、光を照射していないときの平均輝度値より、予め設定されている輝度差基準値以上であるか否かを判定する（ステップＳ１０）。なお輝度値基準値は、ＨＤ２３又はＲＡＭ２３に記録されている。

ステップＳ１０において、光を照射しているときの平均輝度値が、光を照射していないときの平均輝度値より、輝度差基準値以上大きいと判定した場合（ステップＳ１０：ＹＥＳ）、画像処理装置２では、ＣＰＵ２１の制御により、ステップＳ４へ進み、撮像対象は存在すると判定する（ステップＳ４）。

ステップＳ１０において、光を照射しているときの平均輝度値と、光を照射していないときの平均輝度値との差が輝度差基準値未満であると判定した場合（ステップＳ１０：ＮＯ）、画像処理装置２では、ＣＰＵ２１の制御により、撮像対象は存在しないと判定し（ステップＳ１１）、ステップＳ１に戻り、次の画像データに対し、以降の処理を繰り返す。そして撮像対象が存在しないと判定した場合における運転支援処理等の各種処理が実行される。

ステップＳ８〜Ｓ１１に示した処理において、光を照射した場合で、撮像部１１に近い位置に撮像対象が存在するとき、平均輝度値が大きくなるが、撮像対象が存在しないとき、光の照射による平均輝度値の変化は小さい。従って光を照射している場合の平均輝度値と照射していない場合の平均輝度値を比較することにより、撮像対象の存否（有無）を判定することが可能となる。またステップＳ１０の比較にて用いられる平均輝度値は、画像データ全体の輝度に基づく平均輝度値を用いるのではなく、画像データにより示される全体の画像から、周辺部の画像を除いた中心部の画像を抽出し、中心部の画像に関する平均輝度値を用いる様にすることが望ましい。撮像対象が存在する場合、画像の中心部に撮像対象が存在する可能性が高いため、画像の中心部の平均輝度値は、撮像対象が存在する場合と存在しない場合とでの差が大きく、判定精度が向上するからである。なおステップＳ３にて撮像対象を検出することができたと判定した場合等の撮像対象が存在している可能性が高い場合には、ステップＳ８〜Ｓ１１に示した平均輝度値の比較、撮像対象が存在しないことの判定等の処理は回避される。光の照射を中断することにより、例えばステップＳ２にて示した処理の結果に誤差が生じること、また処理負荷が増大することを防止するためである。

前記実施の形態では、車両の運転者を撮像対象とする形態を示したが、本発明はこれに限らず、様々な人物、更には人物以外の生物又は無生物を撮像対象とする形態であっても良い。例えば定位置での監視業務を遂行する警備員を撮像対象とし、警備員が不在であると判定した場合に、警告処理を行う監視システムに適用する等、様々な形態に展開することが可能である。

また前記実施の形態では、撮像装置から受け付けた画像に基づいて、画像処理装置にて様々な処理を行う形態を示したが、本発明はこれに限らず、画像処理装置の処理として記載した全部又は一部の処理を撮像装置にて行う形態であっても良い。

Claims (9)

1. 撮像手段と、該撮像手段が撮像する方向に光を照射する光照射手段と、撮像して得られた画像から顔を検出する画像処理装置とを用いた画像処理方法において、
   撮像して得られた画像から顔の検出の可否を判定し、
   顔を検出することができないと判定した場合に、
   光を照射しているときに撮像した画像及び照射していないときに撮像した画像を比較し、
   比較した結果に基づいて画像内での顔の有無を判定する
   ことを特徴とする画像処理方法。
2. 撮像手段と、該撮像手段が撮像する方向に光を照射する照射手段と、撮像して得られた画像から顔を検出する画像処理装置とを備える画像処理システムにおいて、
   前記画像処理装置は、
   撮像して得られた画像から顔の検出の可否を判定する手段を備え、
   更に、顔を検出することができないと判定した場合に、
   光を照射しているときに撮像した画像及び照射していないときに撮像した画像を比較する比較手段と、
   該比較手段が比較した結果に基づいて画像内での顔の有無を判定する判定手段と
   を備えることを特徴とする画像処理システム。
3. 前記画像処理装置は、
   撮像して得られた画像の輝度を求める手段を更に備え、
   前記比較手段は、夫々の画像の輝度を比較するように構成してあり、
   前記判定手段は、夫々の画像の輝度の差が基準値未満である場合に、顔が存在しないと判定するように構成してある
   ことを特徴とする請求項２に記載の画像処理システム。
4. 前記輝度は、画像を構成する画素の平均輝度であることを特徴とする請求項３に記載の画像処理システム。
5. 画像を構成する画素の平均輝度、前記照射手段の照射条件及び前記撮像手段の撮像条件に基づき導出される絶対輝度に基づいて画像内での顔の有無を判定する手段を更に備えることを特徴とする請求項２乃至請求項４のいずれかに記載の画像処理システム。
6. 前記照射手段は、近赤外域の波長の光を照射するように構成してあり、
   前記撮像手段は、近赤外域の波長の光を透過するフィルタを有する
   ことを特徴とする請求項２乃至請求項５のいずれかに記載の画像処理システム。
7. 前記撮像手段及び照射手段を有し、前記画像処理装置と接続される撮像装置を備えることを特徴とする請求項２乃至請求項６のいずれかに記載の画像処理システム。
8. 撮像して得られた画像から顔を検出する画像処理装置において、
   撮像方向に光を照射させる手段と、
   撮像して得られた画像から顔の検出の可否を判定する手段と
   を備え、
   更に、顔を検出することができないと判定した場合に、
   光を照射しているときに撮像した画像及び照射していないときに撮像した画像を比較する手段と、
   比較した結果に基づいて画像内の顔の有無を判定する手段と
   を備えることを特徴とする画像処理装置。
9. 撮像手段及び該撮像手段が撮像する方向に光を照射する照射手段と接続するコンピュータに、撮像して得られた画像から顔を検出させるコンピュータプログラムにおいて、
   コンピュータに、撮像して得られた画像から顔の検出の可否を判定させる手順と、
   顔を検出することができないと判定した場合に、
   コンピュータに、光を照射しているときに撮像した画像及び照射していないときに撮像した画像を比較させる手順と、
   コンピュータに、比較した結果に基づいて画像内の顔の有無を判定させる手順と
   を実行させることを特徴とするコンピュータプログラム。

Images