JP4508926B2 - 対象物検出前処理装置及び対象物検出前処理方法 - Google Patents

Description

本発明は、低照度環境下においても観察対象物の検出を可能とさせる対象物検出前処理装置及び対象物検出前処理方法に関する。

近年、夜間などの低照度下で観察対象物（以下、観測対象物又は単に対象物とも言う）を検出するための特定の撮影装置（以下、単に装置とも言う）が開発されている。以下、説明を分かりやすくするため対象物を人物として説明する。このような装置は、ドライバの居眠り検知や人間と対話するためのロボット制御などに応用されている。ここで、低照度環境で対象物を検出する方法では、超音波、レーザーレーダー、カメラなどが用いられる。しかし、コストや人体への影響などを考えると、カメラがより適している。カメラには補助照明無しのカメラと補助照明有りのカメラの２種類がある。補助照明無しのカメラの例として遠赤外線カメラが挙げられる。しかし、このようなカメラは高価であり解像度が低いという問題がある。一方、補助照明有りのカメラでは、用いる補助照明が可視光と近赤外光であるので市販カメラの使用が可能である。一般にこのようなカメラは低価格であり解像度が高い。しかし、対象物が人物の場合、可視光を照射することは視界に影響を与えるため問題となる。したがって、対象物が人物の場合、視界に影響を与えない近赤外光照明を用いることが適している。

しかし、近赤外光による補助照明有りのカメラを用いた装置には問題がある。まず、従来のように固定照射光量を用いる場合、人物が装置に接近すると目に入射する近赤外光の露光量が増大し、目に影響を与えることがある。また、従来のように固定照射光量を用いる場合、人物が装置に接近すると撮影される画像上での人物領域にハレーションが生じてしまう。また、対象物が存在する範囲が広い場合には、照射面積に比べて非常に広い範囲を均一に照射する必要がある。一般的な補助照明有りのカメラの問題として、外乱光（例えば、太陽光）の強度や撮影環境における人物の前方移動などにより、人物の画像上にハレーションが生じて人物の位置検出処理が困難となってしまうという問題がある。特に、従来の装置では、照明のオン、オフに合わせて画像を撮影し差分をとって人物の位置検出処理を行っているが、外乱光や人物の前方移動などにより一方の画像がハレーションを起こし、一方が暗い画像の場合には人物の位置検出が困難となってしまう。

これらの問題を解決する従来の技術について説明する。まず、人物が装置に接近すると目に入射する近赤外光の露光量が増大するという問題に対しては、人物までの距離を取得し、その距離に基づいて照射光量を変化させるようにする。このような技術が下記の特許文献１に開示されている。特許文献１に開示されている技術では、超音波などの距離測定センサーで測定した人物までの距離に基づいて照射光量を増減させている。また、広い照射範囲での均一の照射が求められる問題に対しては、複数の光源を用いて広範囲で均一に照射させるようにする。このような技術が下記の特許文献２に開示されている。特許文献２に開示されている技術は、照射範囲が互いに大きく重ならないように配置された複数の光源によって、撮影範囲（車室内所定領域）全体を照射するようにしたものである。また、外乱光や人物の前方移動などによる人物の画像上でのハレーションという問題に対しては、外乱光の光量を検出し、それに基づいて照射光量を増減している。このような技術が下記の特許文献３に開示されている。特許文献３に開示されている技術は、照度センサーから構成される光量検出手段で外乱光（可視光）の光量を検出し、その結果に応じて照射光量を増減させている。
特開２００４−１６４４８３号公報（段落００３０） 特開２００４−１４４５１２号公報（段落００１７） 特開平７−３２９０７号公報（段落０００８）

しかしながら、特許文献１に開示された技術では、超音波などの距離測定センサーによってコストが増加してしまうという問題がある。また、特許文献２に開示された技術では、複数の光源を用いることによってコストが増加してしまい、また、複数の光源の設置も複雑であるという問題がある。また、特許文献３に開示された技術では、照度センサーによってコストが増加してしまい、また、不特定多数の人の顔周辺に照度センサーを設置することは非現実的であるという問題がある。

本発明は、上記問題を解決するためのものであり、コストを抑え、広範囲での均一照射ができ、外乱光などの周辺環境の影響を受けにくく、人体に対して安全に、高速に対象物の存在領域の抽出、対象物の状態推定を可能とさせる対象物検出前処理装置及び対象物検出前処理方法を提供することを目的とする。

上記目的を達成するために、本発明によれば、観察対象物を異なるタイミング及び異なる照射光量で照射する照射手段と、前記異なる照射光量で照射される前記観察対象物のそれぞれの画像を示す画像データを取得する画像データ取得手段と、取得されたそれぞれの画像データ間の差分を示す差分画像データを取得し、取得された前記差分画像データを２値化処理し、前記２値化処理された差分画像データに基づいて前記観察対象物の存在領域を抽出する注目領域抽出手段と、前記観察対象物の存在領域を抽出する際、所定の条件を満たさない場合に前記照射手段の前記照射光量を制御するための信号を生成する照射命令手段と、生成された前記信号に基づいて、前記照射手段の前記照射光量を制御する照射制御手段とを、備える対象物検出前処理装置が提供される。この構成により、コストを抑え、広範囲での均一照射、高速な観察対象物の存在領域の抽出を可能とさせる。

また、本発明において、前記照射手段が２４時間撮影を可能とさせるために近赤外光を照射することは、本発明の好ましい態様である。この構成により、対象物検出前処理装置を２４時間動作させることができる。

また、本発明において、前記画像データ取得手段が、可視光を含む外乱光の影響を低減させ、安定した画像データ取得を可能とさせるために、前記照射手段により照射される光の反射光のみを透過させる特定波長透過フィルタを備えることは、本発明の好ましい態様である。この構成により、外乱光による影響を低減させることができ、照明環境の変化などに対して安定した質の画像撮影ができる。

また、本発明において、前記照射制御手段が、前記照射手段によって前記観察対象物を異なる照射光量で照射するタイミングを、前記画像データ取得手段によって前記観察対象物の画像データを取得するタイミングに同期させるため、前記照射手段による照射を制御することは、本発明の好ましい態様である。この構成により、観察対象物に対して影響を与えることがなく、低コスト化を実現することができる。

また、本発明において、前記照射命令手段が、前記画像データ取得手段に対する前記観察対象物の距離に応じて、前記照射手段の前記照射光量を制御するための前記信号を生成することは、本発明の好ましい態様である。この構成により、安定した質の観察対象物の画像を撮影することができる。

また、本発明において、前記観察対象物が人間の顔であることは本発明の好ましい態様である。この構成により、人物の顔の特徴を用いることができる。

また、本発明において、前記照射手段が照射する光を広範囲に均一に拡散するための拡散フィルタを備えることは、本発明の好ましい態様である。この構成により、広範囲な撮影空間を均一に照射することができる。

また、本発明によれば、観察対象物を異なるタイミング及び異なる照射光量で照射するステップと、前記異なる照射光量で照射される前記観察対象物のそれぞれの画像を示す画像データを取得するステップと、取得されたそれぞれの画像データ間の差分を示す差分画像データを取得し、取得された前記差分画像データを２値化処理し、前記２値化処理された差分画像データに基づいて前記観察対象物の存在領域を抽出するステップと、前記観察対象物の存在領域を抽出する際、所定の条件を満たさない場合に前記照射光量を制御するための信号を生成するステップと、生成された前記信号に基づいて前記照射光量を制御するステップとを、有する対象物検出前処理方法が提供される。この構成により、コストを抑え、広範囲での均一照射、高速な観察対象物の存在領域の抽出を可能とさせる。

また、本発明において、前記観察対象物を異なる照射光量で照射するステップにおいて、２４時間撮影を可能とさせるために近赤外光を照射することは、本発明の好ましい態様である。この構成により、装置を２４時間動作させることができる。

また、本発明において、前記観察対象物の画像データを取得するステップにおいて、可視光を含む外乱光の影響を低減させ、安定した画像データ取得を可能とさせるために、前記観察対象物を異なる照射光量で照射するステップにより照射される光の反射光のみを透過させる特定波長透過フィルタを用いることは、本発明の好ましい態様である。この構成により、外乱光による影響を低減させることができ、照明環境の変化などに対して安定した質の画像撮影ができる。

また、本発明において、前記観察対象物を異なる照射光量で照射するタイミングを、前記観察対象物の画像データを取得するタイミングに同期させるため、前記観察対象物を異なる照射光量で照射するステップの照射を制御するステップをさらに有することは、本発明の好ましい態様である。この構成により、観察対象物に対して影響を与えることがなく、低コスト化を実現することができる。

また、本発明において、前記照射光量を制御するための信号を生成するステップにおいて、前記観察対象物の画像データを取得する手段に対する前記観察対象物の距離に応じて、前記照射光量を制御するための前記信号を生成することは、本発明の好ましい態様である。この構成により、安定した質の観察対象物の画像を撮影することができる。

また、本発明において、前記観察対象物が人間の顔であることは本発明の好ましい態様である。この構成により、人物の顔の特徴を用いることができる。

また、本発明において、前記観察対象物を異なる照射光量で照射するステップにおいて、照射する光を広範囲に均一に拡散するための拡散フィルタを用いることは、本発明の好ましい態様である。この構成により、広範囲な撮影空間を均一に照射することができる。

本発明の対象物検出前処理装置及び対象物検出前処理方法は、上記構成を有し、コストを抑え、広範囲での均一照射ができ、外乱光などの周辺環境の影響を受けにくく、人体に対して安全に、高速に対象物の存在領域の抽出、対象物の状態推定を可能とさせる。

以下、本発明の実施の形態に係る対象物検出前処理装置及び対象物検出前処理方法について、図１から図２３を用いて説明する。図１は本発明の実施の形態に係る対象物検出前処理装置を含む対象物状態推定装置の構成を示す構成図である。図２は本発明の実施の形態に係る対象物検出前処理装置における撮影部の分光感度特性を示す図である。図３は本発明の実施の形態に係る対象物検出前処理装置における特定波長透過フィルタの透過波長特性を示す図である。図４は本発明の実施の形態に係る対象物検出前処理装置における補助照明器の照射のタイミングチャートを示す図である。図５Ａは本発明の実施の形態に係る対象物検出前処理装置における補助照明器の時系列連続画像での照射パターンを示す図である。図５Ｂは本発明の実施の形態に係る対象物検出前処理装置における撮影部によって撮影された２枚の時系列連続画像を示す図である。

図６は本発明の実施の形態に係る対象物検出前処理装置における注目領域抽出部の処理構成を示す構成図である。図７は本発明の実施の形態に係る対象物検出前処理装置における注目領域抽出部の差分画像有効判定ステップの処理構成を示す構成図である。図８は本発明の実施の形態に係る対象物検出前処理装置における注目領域抽出部の注目領域画像作成ステップの処理構成を示す構成図である。図９は本発明の実施の形態に係る対象物検出前処理装置における注目領域抽出部の注目領域画像作成ステップで作成された注目領域画像を示す図である。図１０は本発明の実施の形態に係る対象物検出前処理装置における注目領域抽出部の注目領域画像の選定ステップの処理構成を示す構成図である。

図１１は本発明の実施の形態に係る対象物検出前処理装置における照射命令部の構成を示す構成図である。図１２は本発明の実施の形態に係る対象物検出前処理装置における照射命令部の初期探索部の処理構成を示す構成図である。図１３は本発明の実施の形態に係る対象物検出前処理装置における照射命令部の継続探索部の処理構成を示す構成図である。図１４は本発明の実施の形態に係る対象物検出前処理装置における照射命令部のハレーション対策部の処理構成を示す構成図である。図１５は本発明の実施の形態に係る対象物検出前処理装置における照射命令部の距離に応じる制御部の処理構成を示す構成図である。図１６は本発明の実施の形態に係る対象物検出前処理装置と観測対象物（人）との距離の関係を示す図である。

図１７は本発明の実施の形態に係る対象物検出前処理装置を含む対象物状態推定装置における顔検出部の処理構成を示す構成図である。図１８Ａは本発明の実施の形態に係る対象物検出前処理装置を含む対象物状態推定装置における顔検出部の反転・平滑化処理ステップでの反転前の画像を示す図である。図１８Ｂは本発明の実施の形態に係る対象物検出前処理装置を含む対象物状態推定装置における顔検出部の反転・平滑化処理ステップでの反転後の画像を示す図である。図１８Ｃは本発明の実施の形態に係る対象物検出前処理装置を含む対象物状態推定装置における顔検出部の反転・平滑化処理ステップでの平滑化された画像を示す図である。

図１９Ａは本発明の実施の形態に係る対象物検出前処理装置を含む対象物状態推定装置における顔検出部の濃淡情報正規化ステップでの入力画像の輝度値分布を示す図である。図１９Ｂは本発明の実施の形態に係る対象物検出前処理装置を含む対象物状態推定装置における顔検出部の濃淡情報正規化ステップでの出力画像の輝度値分布を示す図である。図２０は本発明の実施の形態に係る対象物検出前処理装置を含む対象物状態推定装置における顔検出部の顔検出処理部の入力画像の背景部分にかけられたマスクについて説明するための図である。図２１は本発明の実施の形態に係る対象物検出前処理装置を含む対象物状態推定装置における顔検出部の後処理部から出力される位置情報について説明するための図である。図２２は本発明の実施の形態に係る対象物検出前処理装置を含む対象物状態推定装置における顔検出部で用いることが可能な過去の顔検出結果を示す図である。図２３は本発明の対象物検出前処理装置を含む対象物状態推定装置における人の状態の推定フローについて説明するためのフローチャートである。

まず、本発明の実施の形態に係る対象物検出前処理装置を含む対象物状態推定装置の構成について図１を用いて説明する。図１に示すように、対象物状態推定装置１００は、対象物検出前処理装置（以下、人物検出前処理装置とも言う）１０１、顔検出部１０９、履歴情報格納部１１０、状態推定部１１１から構成されている。さらに、対象物検出前処理装置１０１は、拡散フィルタ１０２、補助照明器（上述した照射手段に相当）１０３、補助照明制御部（上述した照射制御手段に相当）１０４、特定波長透過フィルタ１０５、撮影部（上述した画像データ取得手段に相当）１０６、照射命令部（上述した照射命令手段に相当）１０７、注目領域抽出部（上述した注目領域抽出手段に相当）１０８から構成されている。

ここで、以下に示す実施の形態では、対象物状態推定装置１００を特に人物の状態を推定する人物状態推定装置１００として説明する。本発明に係る対象物検出前処理装置１０１を含む人物状態推定装置１００は、様々な分野において用いることができる。ここでは、エアバック展開制御用、ドライバーの居眠り・脇見運転防止用、ロボット制御用、ゲームの操作制御用として説明する。まず、エアバック展開制御用として用いられる場合について説明する。人物状態推定装置１００は、後述する顔検出部１０９で検出された乗員の顔位置情報を不図示のエアバック展開制御装置に送信する。この送信された位置情報に基づいて、エアバック展開制御装置は事故などでエアバックを展開する必要があるときに、乗員が存在する位置に係るエアバックのみを展開させる。

次に、ドライバーの居眠り・脇見運転防止用として用いられる場合について説明する。人物状態推定装置１００は、後述する状態推定部１１１で推定されたドライバーの状態（居眠り、脇見など）情報を不図示の運転支援システムに送信する。この送信されたドライバーの状態情報に基づいて、運転支援システムはドライバーへの警告や運転の支援などを行う。次に、ロボット制御用として用いられる場合について説明する。人物状態推定装置１００は、顔の表情などにより状態推定部１１１で推定された人物の状態（笑うなど）情報を不図示の自律行動システムに送信する。この送信された状態情報に基づいて、自律行動システムは、ロボットの顔をうれしいや悲しいなどの表情に変化させる。次に、ゲームの操作制御用として用いられる場合について説明する。人物状態推定装置１００は、状態推定部１１１で推定された人物の表情（笑うなど）情報を不図示の操作制御装置に送信する。この送信された状態情報に基づいて、操作制御装置はゲームの内容や表示された色などを操作する。

以下、対象物状態推定装置１００の各構成要素について説明する。拡散フィルタ１０２は、補助照明器１０３によって照射される光を均一で広範囲に広げるためのものである。補助照明器１０３は複数の近赤外光光源（例えば、ＬＥＤ光源）から構成されており、一般的に光源の配置は撮影部１０６の周辺に配置されることが望ましい。補助照明制御部１０４は、一般的に光源の点灯や点灯時間の長さなどの制御を行っている。撮影部１０６は分光感度範囲が近赤外光の波長に対応するカメラで構成され、分光感度特性の相対感度のピークは、図２に示すように補助照明の中心波長と一致することが望ましい。

また、撮影部１０６は特定波長透過フィルタ１０５を備えている。特定波長透過フィルタ１０５を撮影部１０６に装着することで、撮影部１０６は補助照明器１０３から照射された光の反射光のみを受光できるようになり、太陽光を含む外乱光による影響を低減させることができる。また、特定波長透過フィルタ１０５の透過波長特性は、図３に示すように、補助照明器１０３の照射光の中心波長付近で幅が狭い波長帯域を透過するものが望ましい。

補助照明器１０３の照射のタイミングは、図４に示すように、撮影部１０６のシャッターの開閉のタイミングに同期させる。補助照明器１０３の照射のタイミングを撮影部１０６のシャッターの開閉のタイミングに同期させることは、撮影部１０６が受光する期間内のみ補助照射器１０３の照射がなされ、パルス型照射が実現できる。パルス型照射は常時点灯（常時オン）に比べ、人間に対して照射される光のパワーと消費電力が減少する。したがって、補助照明器１０３の照射は常時点灯に比べて、人間に対して安全でかつ低コスト化を実現できる。

補助照明器１０３は、時系列連続画像に対して異なる光量で照射を行う。図５Ａに示すように、連続で撮影される２枚の画像が異なる光量（Ａ％とＢ％）の照射によって取得される。撮影部１０６にＮＴＳＣカメラを用いる場合では、２枚の時系列連続画像はフィールド画像に相当する。この方式で撮影された２枚のフィールド画像は図５Ｂに示すように、一方の画像（先に撮影された画像であって、First_imageとも言う）は明るく、一方の画像（後に撮影された画像であって、Second_imageとも言う）は暗く、輝度差がある２枚の画像が得られる。したがって、一方の画像の輝度が悪い（明る過ぎる又は暗過ぎる）ときでも、もう一方の画像が得られ顔検出に用いることができる。２枚の画像のうち輝度がよい画像を選び、その画像を用いて後述する顔検出部１０９で観測対象物を検出することもできる。

また、補助照明器１０３は異なる光量で照射を行うことで、異なる輝度を持つ２枚の画像が得られ、図６に示す注目領域抽出部１０８の差分処理のステップ（ステップＳ２０１）でこれらの画像の差分を求めることで観測対象物（ここでは、人の顔）の存在領域を求めることができる。２枚の画像の差分処理は、下記の式（１）によって求めることができる。ここで、I_diff（x、y）は２枚の画像の輝度値の差、I_{First_image}（x、y）はFirst_imageの輝度値、I_{Second_image}（x、y）はSecond_imageの輝度値である。

なお、上述したように、First_imageとSecond_imageにおいては、一方の画像は高い光量で撮影され、他方の画像は低い光量で撮影されることが条件である。例えば、図５Ｂに示すように、First_imageを取得するために照射される光量（Ａ％）は、Second_imageを取得するために照射される光量（Ｂ％）に比べて常に大きいと仮定する。しかし、観測対象物と人物検出前処理装置１０１（特に、補助照明器１０３）との距離に応じて、補助照明器１０３の光量を変える必要がある。観測対象物との距離に応じて光量を制御しなければ、撮影される観測対象物上の輝度が明る過ぎ又は暗過ぎとなってしまう場合がある。そこで、適切な光量を求めるために、図６に示す差分画像有効判定のステップ（Ｓ２０２）において２枚の連続画像の差分情報を用いる。差分画像有効判定のステップ（Ｓ２０２）を示す図７において、一定以上の輝度を持つ画素の割合（Ｃ）の算出のステップ（Ｓ２０２１）では、まず、差分画像の輝度を調べてＣを算出する。Ｃの算出の一例として、Ｃは下記の式（２）によって求めることができる。

ここで、I_graysacle>=T（x、y）はＴ以上の輝度値をもつ画素であり、Ｔは所定のパラメータ値である。また、ＨとＷはそれぞれ画像の高さと幅（単位：画素）である。次に、算出されたＣは差分画像の輝度差の判定条件であるＣminと比較され（比較のステップＳ２０２２）、ＣがＣminより小さければ現状の輝度が明る過ぎ又は暗過ぎであると判定され、補助照明器１０３の照射光量を変更するために照射命令部１０７（後述する継続探索部３０２）に指示が出される。一方、ＣがＣminと等しいか又はＣminより大きい場合、次の判定が行われる。なお、Ｃminは所定のパラメータである。

次の判定はハレーションの判定である。まず、画素の平均輝度値（Tavg）の算出のステップ（Ｓ２０２３）で、I_graysacle>=T（x、y）の平均輝度値Tavgが求められる。求められたTavgとハレーション判定条件であるTmaxとが比較され（比較のステップＳ２０２４）、TavgがTmaxより大きい場合には、画像の表面上にハレーションが生じ、現状の光量が不適切であると判定され、補助照明器１０３での照射光量を低減させるために照射命令部１０７（後述するハレーション対策部３０３）に指示が出される。一方、TavgがTmaxと等しいか又はTmaxより小さい場合、現状の光量が適切であると判定され、差分画像及び２枚の時系列連続画像は注目領域画像作成のステップ（Ｓ２０３）へ移行される。なお、Tmaxは所定のパラメータである。

注目領域画像作成のステップ（Ｓ２０３）では、得られた差分画像から注目領域の位置や大きさなどの情報を取得し、それらの情報に基づいて注目領域画像を生成する。注目領域画像作成のステップ（Ｓ２０３）を示す図８において、まず、差分画像の２値化のステップ（Ｓ２０３１）では、入力される差分画像を２値化する。２値化処理方法はいろいろあり、ここではＰタイル法と固定閾値法の組み合わせを用いる。Ｐタイル法から２値化対象の輝度値Tiを算出する。このTiは輝度値が高いほうから画素の出現頻度の和を求め、それが全体画素数に対しPtの割合になる輝度値である。ここで、Ptは所定のパラメータである。算出されたTiを固定閾値Tsと比較し、２値化に用いる閾値Tbinを選定する。Tbinの選定は下記の式（３）によって行われる。なお、Tsは所定のパラメータである。

次に、Tbinを用いて２値化処理を行う。２値化処理は下記の式（４）に基づいて行われる。ここで、I（x、y）は画像上におけるある画素の輝度値である。

そして、２値画像のグループ化のステップ（Ｓ２０３２）では輝度値がＡとなった画素をグループ化する。ここでは、ラベリング処理などを用いて輝度値がＡとなった画素の塊を求め、各塊の面積（画素数）を算出する。次に、塊の面積情報を用いて雑音などを除去する。具体的には、AreaMinより大きい面積を持つグループ（塊）があるか否かを判定（判定のステップＳ２０３３）し、塊の面積がAreaMinより大きい場合に注目領域画像の作成のステップ（Ｓ２０３４）に移行する。AreaMinより面積が大きい塊を観測対象物とみなし、その塊を用いて注目領域画像の作成のステップ（Ｓ２０３４）では、図９に示すように、注目領域の位置情報（x1、y1、x2、y2）を算出し、これらの位置情報を用いて注目領域画像を作成する。ここでは、注目領域画像作成のステップ（Ｓ２０３）に移行された２枚の時系列連続画像に対する２枚の注目領域画像が作成される。そして、作成された２枚の注目領域画像は注目領域画像の選定のステップ（Ｓ２０４）に移行される。なお、AreaMinより面積が大きい塊がない場合、差分画像は無効と判断され、補助照明器１０３での照射光量を変更するために照射命令部１０７に指示が出される。また、AreaMinは所定のパラメータ値である。

注目領域画像の選定のステップ（Ｓ２０４）では、移行された２枚の連続注目領域画像から１枚の注目領域画像に絞り込んで、絞り込まれた注目領域画像を顔検出部１０９に入力する。以下では２枚の注目領域画像の絞り込みの方法について述べる。注目領域画像の選定のステップ（Ｓ２０４）を示す図１０において、まず、輝度の平均値（Iave1、Iave2）算出のステップ（Ｓ２０４１）では各注目領域画像の輝度の平均値であるIave1とIave2を求める。なお、Iave1はFirst_imageから生成された注目領域画像の輝度平均値で、Iave2はSecond_imageから生成された注目領域画像の輝度平均値である。

次に、Iave1を用いてFirst_imageから生成された注目領域画像の有効判定（ハレーション判定）を行う。ここでは、Iave1と最大許容平均値Gmaxとを比較して（比較のステップＳ２０４２）、Iave1がGmaxを超えた場合、ハレーションが生じる画像であると判定される。この場合、First_imageから生成された注目領域画像は無効とされ、顔検出部１０９に入力される注目領域画像にはSecond_imageから生成された注目領域画像が選定される（選定のステップＳ２０４４）。同時に、補助照明器１０３の照射光量を変更するために照射命令部１０７に指示が出される。一方、Iave1がGmax以下である場合、顔検出部１０９に入力される注目領域画像はFirst_imageから生成された注目領域画像が選定される（選定のステップＳ２０４３）。ここで、Gmaxは所定のパラメータ値である。

ここで、照射命令部１０７は、図１１に示すように４つの機能（初期探索部３０１、継続探索部３０２、ハレーション対策部３０３、距離に応じる制御部３０４）から構成されている。まず、初期探索部３０１について図１２を用いて説明する。人物検出前処理装置１０１が起動されたときにシステム初期化部１１２でシステムの初期化が行われ、初期化が完了した時点で照射開始命令信号を照射光量設定部３０１１に送信する。照射開始命令信号を受信した照射光量設定部３０１１では、照射光量First_image_power（％）とSecond_image_power（％）を設定し、これらの情報を補助照明制御部１０４と履歴情報格納部１１０に送信する。First_image_power（％）とSecond_image_power（％）の設定については様々な方法で行うことができる。ここでは、一例として、下記の式（５）によって照射光量First_image_power（％）とSecond_image_power（％）を設定する。なお、Pini（％）は光量の初期値であり、所定のパラメータである。また、Pdiff（％）は照射光量の差であり、所定のパラメータである。

次に、継続探索部３０２について図１３を用いて説明する。継続探索部３０２では、注目領域抽出部１０８から照射光量変更の指示信号を受信した場合、履歴情報格納部１１０から入力される、前の時刻である時刻t-1でのFirst_image_power（％）が最大照射光量であるかを判定する（判定のステップＳ３０２１）。時刻t-1でのFirst_image_power（％）が最大照射光量である場合、照射光量最小化のステップ（Ｓ３０２２）で照射光量を最小値に変更する。光量の変更方法の一例として下記の式（６）によって照射光量の最小化を行うことができる。なお、Pmin（％）は光量の最小値であり、所定のパラメータである。一方、時刻t-1でのFirst_image_power（％）が最大照射光量ではない場合、照射光量増加のステップ（Ｓ３０２３）で照射光量を増加する。この場合の光量の変更方法の一例として下記の式（７）によって照射光量の増加を行うことができる。なお、Pstep（％）は光量の上げ幅量であり、所定のパラメータである。そして、変更後のFirst_image_power（％）とSecond_image_power（％）を補助照明制御部１０４と履歴情報格納部１１０に送信する。

次に、ハレーション対策部３０３について図１４を用いて説明する。ハレーション対策部３０３では、注目領域抽出部１０８から照射光量変更の指示信号を受信した場合、履歴情報格納部１１０から入力される時刻t-1でのFirst_image_power（％）が最小照射光量より小さいか否かを判定する（判定のステップＳ３０３１）。

時刻t-1でのFirst_image_power（％）が最小照射光量以下である場合、照射光量を変更せずに現状の照射光量を維持する。一方、時刻t-1でのFirst_image_power（％）が最小照射光量より大きい場合、照射光量低減のステップ（Ｓ３０３２）で照射光量を現状より低い値に変更する。照射光量の変更の一例として下記の式（８）によって照射光量の低減を行うことができる。

次に、距離に応じる制御部３０４について図１５を用いて説明する。距離に応じる制御部３０４では、顔検出部１０９から時刻tにおける顔検出結果と、履歴情報格納部１１０から時刻t-1における顔検出結果を受信する。ここでは、受信した両方の顔検出結果を用いて照射光量の変更要否を判定する（判定のステップＳ３０４１）。図１６に示すように、画像上での顔の大きさが大きくなるということは観測対象の人物までの距離が短くなることを意味している。一方、画像上での顔の大きさが小さくなるということは、観測対象の人物までの距離が長くなることを意味している。照射光量の変更要否判定の一例として下記の式（９）を用いて行うことができる。ここで、Face_size_t、Face_size_t-1、dFace_sizeはそれぞれ時刻tにおける顔の大きさ、時刻t-1での顔の大きさ、同距離における顔の大きさの許容値を示している。dFace_sizeは所定のパラメータである。

判定結果が「Ｙｅｓ」であれば、次に距離変化（距離増加）の判定を行う（判定のステップＳ３０４２）。ここでは、時刻tにおける観測対象物の距離が、時刻t-1における距離に対して近くなるか遠くなるかを判定する。判定方法の一例として下記の式（１０）を用いて観測対象物の距離の変化を求めることができる。式（１０）より、判定結果が「Yes」であれば、照射光量増加のステップ（Ｓ３０４３）で式（７）を用いて時刻t+1での照射光量を増やす。一方、判定結果が「No」であれば、照射光量低減のステップ（Ｓ３０４４）で式（８）を用いて時刻t+1での照射光量を減らす。時刻t+1での照射光量が決定されたら、この情報を補助照明制御部１０４と履歴情報格納部１１０に送信する。

補助照明制御部１０４では、照射命令部１０７から受信した照射光量の情報に基づいて補助照明器１０３に供給する電力量を制御する。

顔検出部１０９は、図１７に示すように、前処理部４１、顔検出処理部４２、４３、４４、後処理部４５から構成されている。前処理部４１における処理は、雑音除去ステップＳ４１１、画像縮小ステップＳ４１２、画像領域取得ステップＳ４１３、反転・平滑化処理ステップＳ４１４、濃淡情報正規化ステップＳ４１５及びＳ４１６から構成されている。雑音除去ステップでは、注目領域抽出部１０８から入力された画像に対して、不図示のローパスフィルタが適用され、雑音の除去が行われる。画像縮小ステップでは、撮影対象の人物の顔までの距離の変化による顔の大きさの変化に対応するために、入力された画像が複数の大きさに変換される。

画像領域取得ステップでは、画像縮小ステップで変換された複数の画像が所定の大きさ、例えばｈ（縦）×ｗ（幅）画素で切り出される。ここで、切り出された画像を切り出し画像と言う。反転・平滑化処理ステップでは、画像領域取得ステップで切り出されたすべての切り出し画像に対して、偏った照明などにより顔の表面上に生じる輝度ムラの低減の処理がなされる。ここで、輝度ムラの低減の処理は、下記の式（１１）及び（１２）によって行われる。ここで、Ｉ’（ｘ、ｙ）は反転後の輝度値、Ｉ（ｘ、ｙ）は反転前の輝度値であり、ｗは上述した切り出し画像の幅である。また、Ｉ’’（ｘ、ｙ）は平滑化された輝度値である。ただし、ｘとｙの変域はそれぞれ０〜ｗ−１、０〜ｈ−１である。

反転・平滑化処理ステップにおける処理の説明を分かりやすくするため、切り出し画像として顔全体が映し出された画像を用いて説明する。反転前の画像を図１８Ａに、反転後の画像を図１８Ｂに、平滑化後の画像を図１８Ｃにそれぞれ示す。図１８Ａは、反転前の画像を示しており、輝度の濃い（高い）部分１８００が存在する。図１８Ａの画像を反転させることにより、輝度の濃い部分１８００が反転され、図１８Ｂのような輝度の濃い部分１８０１が得られる。この図１８Ａ及び図１８Ｂを平滑化することによって図１８Ｃのような平滑化画像が得られ、切り出し画像全体の輝度ムラが低減される。

濃淡情報正規化ステップＳ４１５及びＳ４１６では、反転・平滑化処理ステップで処理された画像と画像領域取得ステップで切出された切出し画像に対して、下記の式（１３）を用いて切り出し画像全体の明るさの変動、例えば屋外での夜間と昼間などに対応するため、切り出し画像の濃淡情報を正規化する。ｈ（ｘ）は輝度値ｘの相対出現頻度、ｆ（ｇ）はヒストグラム平滑化後の輝度値である。また、Round［ ］は、小数点第１位以下を四捨五入することを意味する。この変換により、輝度値の累積出現割合に比例して０〜２５５までの輝度値に収まるように新たな輝度値が割り当てられる。図１９Ａに入力画像の輝度値の分布が示されており、図１９Ｂに出力画像の輝度値の分布が示されている。図１９Ａに示す入力画像の輝度値の相対的な出現頻度を式（１３）に代入することにより、図１９Ｂに示すように画像の濃淡が正規化される。

濃淡情報正規化ステップＳ４１５からの出力は、顔検出処理部４２へ入力される。また、濃淡情報正規化ステップＳ４１６からの出力は、顔検出処理部４３及び４４へ入力される。なお、撮影部の光軸のまわりに回転する顔の検出（顔の傾きの検出）を可能にするため、顔検出処理部４３及び４４が設けられる。顔検出処理部４３及び４４の詳細については後述する。まず、顔検出処理部４２について説明する。顔検出処理部４２は、正面に向いている顔の検出を行う検出処理部である。

顔検出処理部４２は、階層型ニューラルネットワーク４２１を有している。階層型ニューラルネットワーク４２１は、入力層、隠れ層、出力層から構成されている。出力層からの出力値は、０から１までの数値であり、出力値が１に近いほど入力された画像は顔らしく、出力値が０に近いほど入力された画像は顔らしくないということを示す。なお、階層型ニューラルネットワークについては公知の技術であるため、詳細な説明については省略する。

顔検出処理部４３及び４４に関しては、双方とも同様の構成であるため、顔検出処理部４３のみについて説明する。顔検出処理部４３は、階層型ニューラルネットワーク４３１、マスク４３２、左右反転部４３３を有している。ここで、階層型ニューラルネットワーク４３１は、上述した階層型ニューラルネットワーク４２１と同様であるため、説明を省略する。左右反転部４３３は、撮影対象の人物が正面に向かって左右に傾いたときの顔の検出を可能にするため、入力された画像を正面（人物が左右に傾いていない）を対称軸にして反転させる。すなわち、左右反転部４３３は、例えば撮影対象の人物が正面に向かって右にα°傾いている（カメラの光軸に対して回転している）画像が自身に入力された場合、入力された画像を反転させて、左にα°傾いている画像を取得する。顔検出処理部４４の左右反転部４４３でも同様であり、例えば撮影対象の人物が正面に向かって右にβ°傾いている画像が自身に入力された場合、入力された画像を反転させて、左にβ°傾いている画像を取得する。

ここで、撮影対象の人物が左右に傾いている画像には背景の部分も含まれ、精度の高い顔検出ができなくなるため、背景部分を排除する。背景部分を排除するものがマスク４３２である。マスク４３２について図２０を用いて説明する。図２０に示すように、マスク４３２は、入力画像に対して背景部分にマスクをかける。マスクをかけることにより、背景部分を排除することができ、より精度が高い顔検出ができる。

以上説明したように、顔検出処理部４２〜４４は、入力される画像に対して顔の類似度（入力された画像が学習された顔画像に対してどのくらい似ているかを表すもの）を求め、その結果を後処理部４５へ出力する。後処理部４５は、入力された顔の類似度に対して、所定の閾値などを用いて顔候補を選別し、選別後の複数の顔候補が同じ顔であるか調べ、候補を絞り込む。後処理部４５は、絞り込まれた顔に対して、画像上での顔の位置情報、例えば検出された顔の中心座標、顔の大きさなどを出力する。位置情報について図２１を用いて説明する。絞り込まれた画像上の顔２１００には、ｈ×ｗで切り出された切り出し画像を拡大させた、顔の中心座標がＯｃで、２Ｈｃ×２Ｗｃの検出窓２１０１がかけられる。

なお、顔検出の処理の高速化のために、図２２に示す過去の顔検出結果を用いて顔検出処理部４２〜４４における処理範囲を限定することも可能である。この過去の顔検出結果は、履歴情報格納部１１０に格納されていてもよく、また、不図示の所定の記憶領域に格納されていてもよい。ここで、図２２について説明する。例えば、過去の時刻において、撮影対象の人物が左にα°傾いていた場合（図２２の２行目の顔検出処理部４３（左方向）において顔識別がされた場合）、次の時刻（現時刻）では、撮影対象の人物はさらに左にα°以上傾くか、若しくは正面方向に戻るかの２つの状態が考えられる。これは、短時間の間に、左にα°傾いていた状態から右にα°以上傾くということは考えにくいためである。よって、過去の時刻において、撮影対象の人物が左にα°傾いていた場合（図２２の２行目の顔検出処理部４３（左方向）において顔識別がされた場合）、次の時刻（現時刻）で想定される顔検出処理部４４（左方向）、顔検出処理部４３（左方向）、顔検出処理部４２（正面）のみをそれぞれの顔識別部で処理すればよい。これにより、処理の高速化を図ることができる。

状態推定部１１１は、顔検出部１０９から出力された結果である顔位置情報を用いて顔画像を切り出し、切り出した顔画像より顔の表情や目の開閉状態などを抽出し、観測対象の人間の状態を推定する。

次に、本発明の対象物（人物）検出前処理装置を含む人物状態推定装置における人の状態の推定フローについて図２３を用いて説明する。補助照明制御部１０４は、撮影部１０６から入力された同期信号に基づいて補助照明器１０３に電力を供給し、電力の供給により補助照明器１０３は観測対象物（ここでは、人）を照射する（ステップＳ２３０１）。撮影部１０６は照射されている人を撮影する（ステップＳ２３０２）。注目領域抽出部１０８は撮影部１０６から入力された画像に対して差分処理及び２値化処理を行い、画像上の人の存在領域を抽出する（ステップＳ２３０３）。

顔検出部１０９は、注目領域抽出部１０８から入力された人の存在領域の情報に基づいて、画像領域内での顔位置情報を出力する（ステップＳ２３０４）。このとき、照射命令部１０７は、注目領域抽出部１０８や顔検出部１０９による結果などの情報に基づいて、次の時刻における補助照明器１０３の照射光量を決定し、その情報を補助照明制御部１０４に出力する（ステップＳ２３０５）。また、状態推定部１１１は、顔検出部１０９から入力された顔位置情報に基づいて顔画像より表情や目の開閉などを分析し、人の状態を推定する（ステップＳ２３０６）。

本発明に係る対象物検出前処理装置及び対象物検出前処理方法は、コストを抑え、広範囲での均一照射ができ、外乱光などの周辺環境の影響を受けにくく、人体に対して安全に、高速に対象物の存在領域の抽出、対象物の状態推定を可能とさせるため、低照度環境下においても観察対象物の検出を可能とさせる対象物検出前処理装置及び対象物検出前処理方法などに有用である。

本発明の実施の形態に係る対象物検出前処理装置を含む対象物状態推定装置の構成を示す構成図である。 本発明の実施の形態に係る対象物検出前処理装置における撮影部の分光感度特性を示す図である。 本発明の実施の形態に係る対象物検出前処理装置における特定波長透過フィルタの透過波長特性を示す図である。 本発明の実施の形態に係る対象物検出前処理装置における補助照明器の照射のタイミングチャートを示す図である。 本発明の実施の形態に係る対象物検出前処理装置における補助照明器の時系列連続画像での照射パターンを示す図である。 本発明の実施の形態に係る対象物検出前処理装置における撮影部によって撮影された２枚の時系列連続画像を示す図である。 本発明の実施の形態に係る対象物検出前処理装置における注目領域抽出部の処理構成を示す構成図である。 本発明の実施の形態に係る対象物検出前処理装置における注目領域抽出部の差分画像有効判定ステップの処理構成を示す構成図である。 本発明の実施の形態に係る対象物検出前処理装置における注目領域抽出部の注目領域画像作成ステップの処理構成を示す構成図である。 本発明の実施の形態に係る対象物検出前処理装置における注目領域抽出部の注目領域画像作成ステップで作成された注目領域画像を示す図である。 本発明の実施の形態に係る対象物検出前処理装置における注目領域抽出部の注目領域画像の選定ステップの処理構成を示す構成図である。 本発明の実施の形態に係る対象物検出前処理装置における照射命令部の構成を示す構成図である。 本発明の実施の形態に係る対象物検出前処理装置における照射命令部の初期探索部の処理構成を示す構成図である。 本発明の実施の形態に係る対象物検出前処理装置における照射命令部の継続探索部の処理構成を示す構成図である。 本発明の実施の形態に係る対象物検出前処理装置における照射命令部のハレーション対策部の処理構成を示す構成図である。 本発明の実施の形態に係る対象物検出前処理装置における照射命令部の距離に応じる制御部の処理構成を示す構成図である。 本発明の実施の形態に係る対象物検出前処理装置と観測対象物（人）との距離の関係を示す図である。 本発明の実施の形態に係る対象物検出前処理装置を含む対象物状態推定装置における顔検出部の処理構成を示す構成図である。 本発明の実施の形態に係る対象物検出前処理装置を含む対象物状態推定装置における顔検出部の反転・平滑化処理ステップでの反転前の画像を示す図である。 本発明の実施の形態に係る対象物検出前処理装置を含む対象物状態推定装置における顔検出部の反転・平滑化処理ステップでの反転後の画像を示す図である。 本発明の実施の形態に係る対象物検出前処理装置を含む対象物状態推定装置における顔検出部の反転・平滑化処理ステップでの平滑化された画像を示す図である。 本発明の実施の形態に係る対象物検出前処理装置を含む対象物状態推定装置における顔検出部の濃淡情報正規化ステップでの入力画像の輝度値分布を示す図である。 本発明の実施の形態に係る対象物検出前処理装置を含む対象物状態推定装置における顔検出部の濃淡情報正規化ステップでの出力画像の輝度値分布を示す図である。 本発明の実施の形態に係る対象物検出前処理装置を含む対象物状態推定装置における顔検出部の顔検出処理部の入力画像の背景部分にかけられたマスクについて説明するための図である。 本発明の実施の形態に係る対象物検出前処理装置を含む対象物状態推定装置における顔検出部の後処理部から出力される位置情報について説明するための図である。 本発明の実施の形態に係る対象物検出前処理装置を含む対象物状態推定装置における顔検出部で用いることが可能な過去の顔検出結果を示す図である。 本発明の対象物検出前処理装置を含む対象物状態推定装置における人の状態の推定フローについて説明するためのフローチャートである。

符号の説明

４１ 前処理部
４２、４３、４４ 顔検出処理部
４５ 後処理部
１００ 対象物状態推定装置（人物状態推定装置）
１０１ 対象物検出前処理装置（人物検出前処理装置）
１０２ 拡散フィルタ
１０３ 補助照明器（照射手段）
１０４ 補助照明制御部（照射制御手段）
１０５ 特定波長透過フィルタ
１０６ 撮影部（画像データ取得手段）
１０７ 照射命令部（照射命令手段）
１０８ 注目領域抽出部（注目領域抽出手段）
１０９ 顔検出部
１１０ 履歴情報格納部
１１１ 状態推定部
１１２ システム初期化部
３０１ 初期探索部
３０２ 継続探索部
３０３ ハレーション対策部
３０４ 距離に応じる制御部
４２１、４３１、４４１ 階層型ニューラルネットワーク
４３２、４４２ マスク
４３３、４４３ 左右反転部
１８００、１８０１ 輝度の濃い（高い）部分
２１００ 画像上の顔
２１０１ 検出窓
３０１１ 照射光量設定部

Claims (14)

1. 観察対象物を異なるタイミング及び異なる照射光量で照射する照射手段と、
   前記異なる照射光量で照射される前記観察対象物のそれぞれの画像を示す画像データを取得する画像データ取得手段と、
   取得されたそれぞれの画像データ間の差分を示す差分画像データを取得し、取得された前記差分画像データを２値化処理し、前記２値化処理された差分画像データに基づいて前記観察対象物の存在領域を抽出する注目領域抽出手段と、
   前記観察対象物の存在領域を抽出する際、所定の条件を満たさない場合に前記照射手段の前記照射光量を制御するための信号を生成する照射命令手段と、
   生成された前記信号に基づいて、前記照射手段の前記照射光量を制御する照射制御手段とを、
   備える対象物検出前処理装置。
2. 前記照射手段は、２４時間撮影を可能とさせるために近赤外光を照射する請求項１に記載の対象物検出前処理装置。
3. 前記画像データ取得手段は、可視光を含む外乱光の影響を低減させ、安定した画像データ取得を可能とさせるために、前記照射手段により照射される光の反射光のみを透過させる特定波長透過フィルタを備える請求項１又は２に記載の対象物検出前処理装置。
4. 前記照射制御手段は、前記照射手段によって前記観察対象物を異なる照射光量で照射するタイミングを、前記画像データ取得手段によって前記観察対象物の画像データを取得するタイミングに同期させるため、前記照射手段による照射を制御する請求項１から３のいずれか１つに記載の対象物検出前処理装置。
5. 前記照射命令手段は、前記画像データ取得手段に対する前記観察対象物の距離に応じて、前記照射手段の前記照射光量を制御するための前記信号を生成する請求項１から４のいずれか１つに記載の対象物検出前処理装置。
6. 前記観察対象物が人間の顔である請求項１から５のいずれか１つに記載の対象物検出前処理装置。
7. 前記照射手段は、照射する光を広範囲に均一に拡散するための拡散フィルタを備える請求項１から６のいずれか１つに記載の対象物検出前処理装置。
8. 観察対象物を異なるタイミング及び異なる照射光量で照射するステップと、
   前記異なる照射光量で照射される前記観察対象物のそれぞれの画像を示す画像データを取得するステップと、
   取得されたそれぞれの画像データ間の差分を示す差分画像データを取得し、取得された前記差分画像データを２値化処理し、前記２値化処理された差分画像データに基づいて前記観察対象物の存在領域を抽出するステップと、
   前記観察対象物の存在領域を抽出する際、所定の条件を満たさない場合に前記照射光量を制御するための信号を生成するステップと、
   生成された前記信号に基づいて前記照射光量を制御するステップとを、
   有する対象物検出前処理方法。
9. 前記観察対象物を異なる照射光量で照射するステップにおいて、２４時間撮影を可能とさせるために近赤外光を照射する請求項８に記載の対象物検出前処理方法。
10. 前記観察対象物の画像データを取得するステップにおいて、可視光を含む外乱光の影響を低減させ、安定した画像データ取得を可能とさせるために、前記観察対象物を異なる照射光量で照射するステップにより照射される光の反射光のみを透過させる特定波長透過フィルタを用いる請求項８又は９に記載の対象物検出前処理方法。
11. 前記観察対象物を異なる照射光量で照射するタイミングを、前記観察対象物の画像データを取得するタイミングに同期させるため、前記観察対象物を異なる照射光量で照射するステップの照射を制御するステップをさらに有する請求項８から１０のいずれか１つに記載の対象物検出前処理方法。
12. 前記照射光量を制御するための信号を生成するステップにおいて、前記観察対象物の画像データを取得する手段に対する前記観察対象物の距離に応じて、前記照射光量を制御するための前記信号を生成する請求項８から１１のいずれか１つに記載の対象物検出前処理方法。
13. 前記観察対象物が人間の顔である請求項８から１２のいずれか１つに記載の対象物検出前処理方法。
14. 前記観察対象物を異なる照射光量で照射するステップにおいて、照射する光を広範囲に均一に拡散するための拡散フィルタを用いる請求項８から１３のいずれか１つに記載の対象物検出前処理方法。

Images