JP5024161B2

JP5024161B2 - 顔位置推定装置

Info

Publication number: JP5024161B2
Application number: JP2008092249A
Authority: JP
Inventors: 岳史流石
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2008-03-31
Filing date: 2008-03-31
Publication date: 2012-09-12
Anticipated expiration: 2028-03-31
Also published as: JP2009245257A

Description

本発明は、対象者の顔を含む領域を撮像し、取得された画像に基づいて、対象者の顔位置を推定する顔位置推定装置に関するものである。

従来、運転者（対象者）の顔画像を撮像する技術として、特許文献１に記載のものがある。この特許文献１に記載された顔画像撮像装置では、運転者のメガネ上のＬＥＤ反射像を検出した場合に、別の発光素子により運転者の視線を誘導することで、瞳孔の検出精度の向上を図っている。
特開平９−２１６１１号公報

しかしながら、上記特許文献１の従来技術では、メガネ上のＬＥＤ反射像による影響を完全に除去することができないため、目の検出精度の向上が求められている。

本発明は、このような課題を解決するために成されたものであり、対象者の顔位置推定の精度向上を図った顔位置推定装置を提供することを目的とする。

本発明による顔位置推定装置は、対象者に光を照射する照射手段と、対象者の顔を含む領域を撮像する撮像手段と、撮像手段によって取得された画像を処理し対象者の顔位置を推定する顔位置推定手段と、を備え、顔位置推定手段は、対象者の掛けているメガネ上の光の反射像の位置及び大きさを取得する反射像取得手段を有し、反射像取得手段によって取得された反射像の位置及び大きさに基づいて対象者の顔位置を推定することを特徴としている。

このような顔位置推定装置によれば、対象者に光を照射し、対象者のメガネ上に投影された反射像を取得して、取得された反射像の位置及び大きさに基づいて、対象者の顔位置を推定する。従来の反射像の影響を無くすという考え方ではなく、むしろ反射像を効果的に利用して顔位置を推定するため、従前のようにメガネ上に投影された反射像を除去するための処理が不要となり、処理負荷の増大を抑制して、顔位置推定精度の向上を図ることができ、目の検出精度が向上される。また、メガネ上の反射像を取得して、取得された反射像の位置及び大きさに基づいて、顔位置を推定することが可能であるため、従前のように２つのカメラを用いることなく、精度良く顔位置推定を行うことが可能となる。

本発明によれば、対象者の顔位置推定の精度向上を図った顔位置推定装置を提供することができる。

以下、本発明の好適な実施形態について図面を参照しながら説明する。なお、図面の説明において同一または相当要素には同一の符号を付し、重複する説明は省略する。図１及びは、本発明の実施形態に係る顔位置推定装置を示す概略構成図、図３は、顔画像撮像カメラによって取得された顔画像の一例を示すものであり、メガネ上の反射像を示すものである。

図１に示す顔位置推定装置１０は、車両（以下、「自車両」という）に搭載され運転者（対象者）Ｄの顔領域を含む顔画像を取得し、取得された顔画像に基づいて、運転者Ｄの顔位置推定を行うものである。具体的には、運転者Ｄに光を照射して、運転者の掛けているメガネ上で反射した光の反射像の位置及び大きさに基づいて、運転者の顔位置推定を推定するものである。

この顔位置推定装置１０は、運転者Ｄの顔を含む領域を撮像して顔画像を取得する顔画像撮像カメラ１２（撮像手段）、この顔画像撮像カメラ１２によって取得された顔画像に基づいて画像処理を行い運転者Ｄの顔を認識する顔画像処理電子制御ユニット（以下、「顔画像処理ＥＣＵ」という）１４、運転者Ｄに向けて光を照射する複数（本実施形態では２つ）のＬＥＤ（Light Emitting Diode）光源（照射手段）１６を備えている。

顔画像撮像カメラ１２は、例えばコラムカバー１８の上面に設置され、運転者Ｄの顔画像を取得する。顔画像撮像カメラ１２は、例えば近赤外線カメラ（単眼カメラ）であり、ＬＥＤ光源１６（近赤外線投射装置）から照射された光（近赤外線光）が物体（運転者Ｄの顔）に反射した反射光を受光することによって、運転者Ｄの顔を撮像する。顔画像撮像カメラ１２では、例えば、毎秒３０フレームの画像を取得することができる。そして、顔画像撮像カメラ１２によって取得された運転者Ｄの顔画像に関する画像信号は、顔画像処理ＥＣＵ１４に送信される。

ＬＥＤ光源１６は、図２に示すように顔画像撮像カメラ１６位置を原点として、車幅方向の両側に配置されている（運転者Ｄを挟むように配置されている）。このＬＥＤ光源１６は、顔画像処理ＥＣＵ１４と電気的に接続されて、その発光が制御される。例えば、顔画像処理ＥＣＵ１４は、所定のＬＥＤ発光スペック（発光強度、波長、指向性（角度）等）となるように発光させる。なお、所定のＬＥＤ発光スペックは、例えば、実験、経験等により予め設定され、メガネ上の反射像を検出可能とすることが求められる。そして、ＬＥＤ光源１６から照射された光は、運転者Ｄを照らし、運転者Ｄがメガネ２０を装着している場合には、メガネ２０のレンズ２０Ａ，Ｂ上に反射像２２Ａ，Ｂを生じさせる。なお、光源は、その他の光源でもよく、その数は限定されない。また、光源ごとに、発光スペックを変化させてもよい。

顔画像処理ＥＣＵ１４は、演算処理を行うＣＰＵ、記憶部３６となるＲＯＭ及びＲＡＭ、入力信号回路、出力信号回路、電源回路などにより構成され、入力された画像信号について画像処理を行い運転者Ｄの顔画像を検出する。検出された顔画像は、例えば、運転者Ｄの開眼度判定（覚醒度判定）、脇見判定等に利用される。

ここで、本発明の顔位置推定装置１０は、メガネレンズ２０Ａ，Ｂ上の反射像２２Ａ，Ｂを取得し、取得された反射像２２Ａ，２２Ｂの位置及び大きさに基づいて、運転者Ｄの顔位置を推定する機能を有している。顔画像処理ＥＣＵ１４のＣＰＵでは、記憶部３６に記憶されているプログラムを実行することで、顔特徴点抽出部２４、顔向き角度検出部２６、メガネ形状検出部２８、反射像取得部３０、顔位置推定部３２、及び制御部３４が構成される。

顔画像処理ＥＣＵ１４の記憶部には、ＣＰＵを作動させるためのプログラムのほかに、複数の３次元顔モデルが記憶され、撮像された画像データ、顔特徴点に関するデータを記憶する記憶手段として機能する。また、記憶部３６には、各種めがねレンズに関するデータ（例えば、レンズの形状、大きさ、曲率等）が予め記憶され、データベースが構築されている。さらに、記憶部３６には、ＬＥＤ発光スペックに関するデータ、顔画像撮像カメラ位置（原点）に関するデータ、ＬＥＤ光源位置に関するデータなど、顔位置推定に必要なデータが記憶されている。

顔特徴点抽出部２４は、入力された画像信号に基づいて画像処理を行い、鼻、口を認識すると共に、例えば、エッジベース手法、パターン認識手法等を用いて、顔の横幅Ｘ、顔中心位置（軸）Ｙを検出する。例えば、顔中心位置Ｙは、鼻、口の位置に基づいて検出される。また、顔特徴点抽出部２４は、目周辺の画像に基づいてエッジ処理を行い、目周辺の水平エッジ画像を検出する。「水平エッジ画像」は、顔の横方向に延在する線状の画像であり、目（上まぶた、下まぶた）候補となるものである。

顔向き角度検出部２６は、運転者Ｄの顔向き角度を検出する。ここでは、顔特徴点抽出部２４で検出された顔の横幅Ｘ、顔中心位置Ｙとの相対位置関係から顔向き角度を算出する。なお、顔向き角度の算出は、既存の技術であり、そのほかの手法を用いて、顔向き角度を検出しても良い。「顔向き角度」としては、運転者Ｄが車両正面を向いている状態を基準とし、この基準に対する角度が挙げられる。

メガネ形状検出部２８は、顔画像撮像カメラ１２から出力された顔画像に基づいて、画像処理を行い、例えば、従来から知られているエッジベース手法、パターン認識手法等を用いて、運転者Ｄのメガネレンズ２２Ａ，Ｂの形状等を認識する。または、運転者Ｄが普段使用するメガネ２０に関するデータを記憶部３６のデータベースから読み込むことで検出する。

反射像取得部３０は、顔画像撮像カメラ１２から出力された顔画像に基づいて、画像処理を行い、例えば、従来から知られているエッジベース手法、パターン認識手法等を用いて、メガネレンズ２０Ａ，２０Ｂ上の反射像２２Ａ，Ｂを認識して、反射像２２Ａ，Ｂのその画像上の位置（２次元位置）および大きさを検出する。

顔位置推定部３２は、運転者Ｄの顔向き角度、ＬＥＤ光源１６の設置位置、ＬＥＤ発光スペック、メガネ形状（メガネデータ）に基づいて、反射像取得部３０によって検出された反射像２２Ａ，Ｂの位置及び大きさに相当するメガネ２０、運転者Ｄの顔の３次元位置をカメラ位置を原点として推定する。そして、推定されたメガネ位置、顔位置に基づいて、目、鼻、口等の顔特徴点の位置を算出する。

制御部３４は、ＬＥＤ光源１６の発光制御（例えば電圧制御）を行う。また、制御部３４は、例えば、脇見判定、覚醒度判定の結果に基づいて実行される警報器、その他車両制御部（制動制御、操舵制御、エンジン制御）を行っても良い。

次に、このように構成された顔位置推定装置１０の作用について説明する。図３は、本発明の実施形態に係る顔画像処理ＥＣＵで実行される制御の動作手順を示すフローチャートである。まず、顔画像処理ＥＣＵ１４では、顔画像撮像カメラ１２から画像信号を入力して、画像処理を行って運転者Ｄの顔領域を検出し（Ｓ１）、運転者Ｄの目領域（顔特徴点）を検出する（Ｓ２）。顔画像処理ＥＣＵ１４は、例えば、既存技術を用いて、運転者Ｄの顔の横幅Ｘを検出すると共に、鼻、口の位置から顔の中心位置Ｙを検出する。

次に、顔画像処理ＥＣＵ１４は、検出された運転者Ｄの顔の横幅Ｘ、顔の中心位置Ｙの相対位置に基づいて、運転者Ｄの顔向き角度を算出する（Ｓ３）。続いて、顔画像処理ＥＣＵ１４は、記憶部３６のデータベースを参照し、運転者Ｄのメガネ形状がデータベース化されているか否かを判定する（Ｓ４）。運転者Ｄのメガネ形状がデータベース化されている場合には、ステップ７に進み、運転者Ｄのメガネ形状がデータベース化されていない場合には、ステップ５に進む。

ステップ５では、顔画像処理ＥＣＵ１４は、認識された顔画像に基づいて、エッジ手法等を用いてメガネ形状を検出し、続くステップ６では、検出されたメガネ形状をデータベースに追加して、ステップ７に進む。

ステップ７では、顔画像処理ＥＣＵ１４は、記憶部３６のデータベースから運転者Ｄが装着しているメガネレンズ２０Ａ，Ｂに関するメガネデータを読み込む。続く、ステップ８では、顔画像処理ＥＣＵ１４は、検出された目領域（目近傍の画像）の中から、メガネレンズ２０Ａ，Ｂ上の反射像２２Ａ，Ｂを検出し、検出された反射像２２Ａ，Ｂの位置及び大きさを検出する。顔画像処理ＥＣＵ１４は、例えば、一定以上の半径を有し白飛びした丸形状のものを、ＬＥＤ反射像２２Ａ，Ｂとして検出し、その画像上の位置と、白丸の大きさ（半径）を検出する。

続いて、ステップ９では、顔画像処理ＥＣＵ１４は、顔画像撮像カメラ１２の設置位置を基準（原点）として、メガネ２０、運転者Ｄの顔（顔特徴点）の３次元位置を推定する。ＬＥＤ光源１６の設置位置、ＬＥＤ光源１６から照射された光の指向性（発光スペクトル）は、既に自明であるため、ＬＥＤ反射像２２Ａ，Ｂの位置及び大きさに基づいて、原点からメガネ２０までの３次元的な距離を推定する。

このような顔位置推定装置１０によれば、運転者Ｄに光を照射し、運転者Ｄのメガネ上に投影された反射像を取得して、取得された反射像の位置及び大きさに基づいて、運転者Ｄの顔位置を推定する。従来の反射像の影響を無くすという考え方ではなく、むしろ反射像を効果的に利用して顔位置を推定するため、従前のようにメガネ上に投影された反射像を除去するための処理が不要となり、処理負荷の増大を抑制して、顔位置推定精度の向上を図ることができ、目の検出精度が向上される。また、メガネ上の反射像を取得して、取得された反射像の位置及び大きさに基づいて、顔位置を推定することが可能であるため、従前のように２つのカメラを用いることなく、精度良く顔位置推定を行うことが可能となる。また、ステレオカメラ、レーダなど測距可能なセンサを用いた顔位置推定に比して、省コスト、省スペース化を図ることができる。

以上、本発明をその実施形態に基づき具体的に説明したが、本発明は、上記実施形態に限定されるもではない。例えば、顔特徴点を検出する技術、顔向き角度を検出する技術、目を検出する技術は、その他の技術を用いてもよい。要は、メガネレンズ２０Ａ，Ｂの反射像２２Ａ，Ｂの位置及び大きさに基づいて、対象者の顔位置を推定すればよい。

また、上記実施形態では、顔位置推定装置を車載して、運転者Ｄを対象者としているが、その他の建物、装置等に顔位置推定装置を搭載してもよい。例えば、顔位置推定装置をロボット等に搭載して、周囲の人物の顔位置推定（ロボットと人物との距離測定）に用いてもよい。また、運転者は、その他の乗り物、プラント等の運転者でもよい。また、その他の顔撮像カメラに本発明の顔位置推定装置を適用してもよい。

本発明の実施形態に係る顔位置推定装置の概略構成図である。顔画像撮像カメラ位置、ＬＥＤ光源、及びメガネ上の反射像を含む顔画像を示す概略図である。本発明の実施形態に係る顔画像処理ＥＣＵ１４で実行される制御の動作手順を示すフローチャートである。

符号の説明

１０…顔位置推定装置、１２…顔画像撮像カメラ、１４…顔画像処理ＥＣＵ、１６…ＬＥＤ光源、２０…メガネ、２２Ａ，Ｂ…反射像、２８…メガネ形状検出部、３０…反射像取得部、３２…顔位置推定部。

Claims

対象者に光を照射する照射手段と、
前記対象者の顔を含む領域を撮像する撮像手段と、
前記撮像手段によって取得された画像を処理し前記対象者の顔位置を推定する顔位置推定手段と、を備え、
前記顔位置推定手段は、前記対象者の顔向き角度を検出する顔向き角度検出手段と、前記対象者の掛けているメガネのレンズ上の前記光の反射像の位置及び大きさを取得する反射像取得手段と、を有し、
前記顔位置推定手段は、前記対象者の顔向き角度、前記メガネのレンズに関するデータ、及び、前記反射像取得手段によって取得された前記反射像の位置及び大きさに基づいて前記対象者の顔位置を推定することを特徴とする顔位置推定装置。
前記メガネのレンズに関するデータとして、前記レンズの曲率に関するデータを記憶する記憶部を更に備え、
前記顔位置推定手段は、前記記憶部に記憶された前記レンズに関するデータに基づいて、前記反射像の位置及び大きさを推定する請求項１に記載の顔位置推定装置。
前記照射手段であるＬＥＤ光源の発光スペックに関するデータを記憶する記憶部を更に備え、
前記顔位置推定手段は、前記記憶部に記憶された前記発光スペックに関するデータに基づいて、前記反射像の位置及び大きさを推定する請求項１又は２に記載の顔位置推定装置。