JP6597467B2 - 顔向き計測装置 - Google Patents

Description

本開示は、カメラで撮影した画像から顔向きを計測する技術に関する。

従来、車両の運転者の状態をモニタするために、カメラで撮像した画像から目・鼻などの顔を構成する器官を検出し、それらの配置から顔の向きを計測する技術が知られている。そして、運転者がサングラスを着用することで目が隠れているような場合でも、顔向きを計測できるようにする技術の一つとして、特許文献１には、以下の従来技術が開示されている。

この従来技術では、運転者に向けて光を照射した状態で取得した顔画像から、サングラスの左右のレンズ上の一対の反射点および顔の左右両端位置を検出し、一対の反射点間の中心位置から顔の中心位置を求める。更に、顔を円筒で近似した顔モデルと、顔の中心位置および顔の左右端位置とから顔向きを求めている。

特許第５３９６２８７号公報

しかしながら、従来技術では、顔向きが正面でない場合、一対の反射点間の中心位置と顔の中心位置とにずれが生じるため、検出精度が劣化するという問題があった。また、従来技術では、円筒で近似した顔モデルを用いるため、左右方向の顔向きを計測することができるが、縦方向の顔向きを計測することができないという問題もあった。

本開示の一局面は、こうした問題に鑑みてなされたものであり、サングラスを着用している場合でも左右上下方向の顔向き計測を実現する技術を提供することを目的としている。

本開示の一態様は、顔向き計測装置であって、カメラ（２）と、着用判定部（Ｓ１４０、Ｓ１５０）と、反射点抽出部（Ｓ２１０〜Ｓ２４０、Ｓ２４５）と、半径演算部（Ｓ２７０、Ｓ２８０、Ｓ２７５、Ｓ２８５）と、顔向き演算部（Ｓ２９０〜Ｓ３３０、Ｓ２９２、Ｓ２９４、Ｓ３３５）とを備える。

カメラは、被験者に向けて光を照射する一つ以上の光源を有する照射部（２２）を備え、被験者の顔を撮影する。着用判定部は、被験者がサングラスを着用しているか否かを判定する。反射点抽出部は、着用判定部にて着用ありと判定された場合、カメラから得られる撮影画像から、サングラスを構成する一対のレンズ上で検出される照射部から照射された光の反射点を抽出する。半径演算部は、光源、およびレンズ、反射点抽出部にて抽出された反射点の間で成立する幾何学的な関係を示した関係式を用いて、レンズの曲率半径を求める。顔向き演算部は、半径演算部にて算出された曲率半径と、レンズ上に設定される基準点に対する反射点の相対位置とを用いて、被験者の顔向きを求める。

このような構成によれば、光源とカメラとレンズ上の反射点との位置関係からレンズの曲率半径、即ちレンズの形状を求め、サングラス上の基準点と反射点との位置関係と、レンズの形状とから、特別な顔モデルを用いることなく直接的に顔向きを求めている。このため、左右方向に限らず、上下方向の顔向きも計測することができる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

顔向き計測装置の構成を示すブロック図である。 メイン処理のフローチャートである。 第１実施形態におけるサングラスなし顔向き計測処理のフローチャートである。 サングラス領域の抽出方法を示す説明図である。 反射領域に関する説明図である。 光源，カメラ、反射点、レンズの曲率中心の幾何学的な関係を示す説明図である。 レンズ中心、反射点、レンズの曲率中心の関係を示す。 第２実施形態におけるサングラスなし顔向き計測処理のフローチャートである。 光源，カメラ、反射点、レンズの曲率中心の幾何学的な関係を示す説明図である。 第３実施形態におけるサングラスなし顔向き計測処理のフローチャートである。 反射光の見切れに関する説明図である。

以下、図面を参照しながら、発明を実施するための形態を説明する。
［１．第１実施形態］
［１−１．構成］
図１に示す顔向き計測装置１は、例えば、自動車の安全な走行または乗員の快適な運転環境を実現するために車両に搭載されるドライバモニタリングシステムの一部を構成する。

顔向き計測装置１は、カメラ２と、フレームメモリ３と、センサ群４と、演算処理部５と、指示入力部６、報知部７と、通信部８とを備える。
カメラ２は、いわゆる単眼カメラであり、撮像部２１と、照射部２２と、画像取得部２３と、露出制御部２４と、コントローラ２５とを備える。カメラ２は、例えば、ステアリングコラムの上部に設置され、車両のドライバシートに着座した乗員の顔面を撮影する。

撮像部２１は、光学素子部２１１とイメージセンサ２１２を備える。光学素子部２１１は、光を集める集光レンズや、予め定められた光の成分（たとえば、近赤外領域の波長）を透過する光学フィルタを少なくとも備える。イメージセンサ２１２は、ＣＣＤまたはＣＭＯＳ素子を二次元的に配列することで構成された周知のものであり、光学素子部２１１を介して入射した光の強度に応じた信号を出力する。

照射部２２は、上記光学フィルタを透過する成分を含んだ光を照射する一つ以上の光源を備える。本実施形態では、光源は、撮像部２１の下方または上方に一つだけ配置されているものとする。なお、光源として、例えば、発光ダイオードを用いることができる。

画像取得部２３は、イメージセンサ２１２から信号を取得し、その信号レベルをデジタルデータに変換して出力する周知の電子回路を備える。
露出制御部２４は、撮像部２１や照射部２２の特性を表す各種パラメータに従い、画像取得部２３にて取得される信号（以下、画像信号）の平均的な信号強度が、予め設定されたダイナミックレンジの真ん中付近となるように、照射部２２による照射光の輝度（以下、光源輝度）や、イメージセンサ２１２のシャッター時間（即ち、露出時間）を設定する。

コントローラ２５は、露出制御部２４での設定に従って光源輝度やシャッター時間を制御し、画像信号の生成を行なう。また、コントローラ２５は、照射部２２を構成する光源の駆動を、撮像部２１での撮像タイミングに合わせて制御する。

フレームメモリ３は、画像取得部２３で取得される画像信号を一時的に記憶するメモリであり、複数画面分の記憶容量を有する。
センサ群４は、車両に搭載され、車両の挙動を検出する各種センサであり、車速センサ４１、舵角センサ４２を少なくとも備える。車速センサ４１は、顔向き計測装置１を搭載した車両（以下、自車）の速度を検出する周知のものである。舵角センサ４２は、自車のステアリング角度を検出する周知のものである。

指示入力部６は、ドライバによる指示入力を受け付けて、演算処理部５に対してその旨を示す指令を出力する。なお、指示入力の入力方法としては、例えば、所定のスイッチを押下する操作であってもよいし、ドライバが操作可能な既存の操作部材（例えば、ステアリングやブレーキペダル）に対して行う、予め設定された手順に従った操作であってもよい。

報知部７は、演算処理部５からの指示に従って、演算処理部５での処理結果等をドライバに対して通知する。具体的には、顔向きの計測値や計測不能であった場合のエラー通知などを車両の乗員に通知する。

通信部８は、演算処理部５からの指示に従って、車載ＬＡＮを介して、他の車載装置との通信を行う。少なくとも、演算処理部５での処理結果である顔向きの計測値を、その計測値を利用したアプリケーションを実施する車載装置に送信する。

演算処理部５は、ＣＰＵ５１と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ５２）とを有する周知のマイクロコンピュータを中心に構成される。演算処理部５の各種機能は、ＣＰＵ５１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ５２が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、演算処理部５を構成するマイクロコンピュータの数は１つでも複数でもよい。

以下では、演算処理部５のＣＰＵ５１がプログラムを実行することで実現される機能について、図２および図３のフローチャートを用いて説明する。なお、本機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。

メモリ５２には、プログラムの他、処理の実行に必要な情報として、撮影距離Ｄ、目間距離Ｅが記憶されている。図６に示すように、撮影距離Ｄは、カメラ２の設置位置からドライバシートに着席したドライバまでの平面距離である。目間距離Ｅは、ドライバの左目の中心と右目の中心との間の距離である。撮影距離Ｄおよび目間距離Ｅは、いずれも多くの人について予め実測した値を、統計的に処理することで得られた値を用いる。なお、平面距離とは、車幅方向をＸ方向、車高方向をＹ方向、車長方向をＺ方向として、Ｘ−Ｚ平面内での距離を表すものとする。

［１−２．処理］
ＣＰＵ５１は、メイン処理を繰り返し実行する。
メイン処理が起動すると、図２に示すように、ＣＰＵ５１は、まず、Ｓ１１０にて、カメラ２から画像信号を取得し、フレームメモリ３に保存する。以下では画像信号によって表される画像を撮像画像という。

Ｓ１２０では、Ｓ１１０にて取得した撮像画像から顔面が写っている領域である顔領域を検出する。顔領域の検出には、例えば、パターン認識等を利用した公知の手法を用いることができる。

Ｓ１３０では、Ｓ１２０にて顔領域を検出できたか否かを判断し、検出できた場合は、Ｓ１４０に移行し、検出できなかった場合はＳ１８０に移行する。
Ｓ１８０では、顔を検出できなかった旨を表すエラー通知の一つである顔なし通知を行って、本処理を一旦終了する。

Ｓ１４０では、検出された顔領域から目が写っている領域である目領域を検出する。目領域の検出には、顔領域の検出と同様に、例えば、パターン認識等を利用した公知の手法を用いることができる。

Ｓ１５０では、Ｓ１４０にて目領域を検出できたか否かを判断し、検出できた場合はＳ１６０に移行し、検出できなかった場合はＳ１７０に移行する。
Ｓ１６０では、検出された目領域から得られる情報を利用して顔向きを計測する処理を実行して、本処理を一旦終了する。なお、この処理は、公知であるため説明を省略する。

Ｓ１７０では、後述するサングラスあり顔向き計測処理を実行して、本処理を一旦終了する。
次に、Ｓ１７０で実行するサングラスあり顔向き計測処理の詳細を、図３のフローチャートに沿って説明する。

まず、Ｓ２１０では、顔領域からサングラスが写っている領域の候補となる候補領域を検出する。具体的には、図４に示すように、顔領域のＸ方向の各位置においてＹ方向に沿って画素の輝度を積算することで横ヒストグラムを作成する。同様に、顔領域のＹ方向の各位置においてＸ方向に沿って画素の輝度を積算することで縦ヒストグラムを作成する。そして、各ヒストグラムにおいて、積算輝度が予め設定された候補抽出閾値より小さくなる領域を候補領域として抽出する。即ち、サングラスが写っている領域の画素は輝度が小さいため、上述のように輝度の積算値を求めることで候補領域を検出することができる。

Ｓ２２０では、Ｓ２１０にて検出された候補領域はサングラスが写っているサングラス領域であるか否かを判断する。具体的には、候補領域の大きさがサングラスの大きさに相当するサイズを有しており、且つ、横ヒストグラム中に、サングラスを構成する左右のレンズに対応して、領域を二つに分ける輝度の高い部位が存在するか等を判断する。候補領域がサングラス領域ではないと判断した場合はＳ３４０に移行し、顔向き計測ができない旨を表すエラー通知を行って、本処理を終了する。候補領域がサングラス領域であると判断した場合はＳ２３０に移行する。

Ｓ２３０では、サングラス領域から、光を反射している領域である反射領域を検出し、そのうち、光源からの照射光を反射していると推定される反射領域について、その反射領域の中心を反射点として抽出する。なお、反射領域は、例えば、図５に示すように、予め設定された反射抽出閾値より大きな輝度を有する領域を抽出する。そして、その反射領域の大きさが予め設定された許容範囲内にあり、かつ予め設定された扁平率以内の楕円形を有したものを、光源からの照射光に基づく反射領域とする。これにより、光源からの照射光以外の光（即ち、外乱光）に基づく反射領域を除去している。

Ｓ２４０では、サングラス領域のうち、左右のレンズに対応した二つのレンズ領域のそれぞれにて、反射点が抽出されたか否かを判断する。少なくとも一方のレンズ領域で反射点が抽出されていなければ、Ｓ３４０に移行し、顔向き計測ができない旨を表すエラー通知を行って本処理を終了する。二つのレンズ領域のそれぞれで反射点が抽出されていればＳ２５０に移行する。

Ｓ２５０では、サングラス領域の画像から、中心点ずれ量ΔＰを算出する。具体的には、図５に示すように、各レンズ領域の中心である基準点ＰＲｆ，ＰＬｆの中間点を基準中間点Ｐｏｆ、二つのレンズ領域のそれぞれで検出された二つの反射点ＰＲｒ，ＰＬｒの中間点を反射中間点Ｐｏｒとして、基準中間点Ｐｏｆから反射中間点Ｐｏｒまでの距離を中間点ずれ量ΔＰとして算出する。なお、ここでの各点の位置はＸ方向における位置を表すものとする。なお、中間点ずれ量ΔＰは、一般的に、ドライバの顔向きが正面である場合はほぼゼロとなり、顔向きが正面から離れるほど大きな値をとる。

Ｓ２６０では、Ｓ２５０にて算出された中間点ずれ量ΔＰが予め設定された閾値ＴＨｐより小さいか否かを判断する。中間点ずれ量ΔＰが閾値ＴＨｐ以上であれば、ドライバが大きく横を向いており、顔向きを正確に計測することができないものとして、Ｓ３４０に移行しエラー通知を行って本処理を終了する。中間点ずれ量ΔＰが閾値ＴＨｐより小さければ、顔向きの計測が可能であるものとして、Ｓ２７０に移行する。

Ｓ２７０では、水平面（即ち、Ｘ−Ｚ平面）内における反射点ＰＲｒ，ＰＬｒ間の距離である反射点間距離Ｈを算出する。
Ｓ２８０では、水平面内での光源の位置、レンズの曲率中心の位置、反射点ＰＬｆ，ＰＲｆの位置の間の幾何学的な関係から成立する関係式である（１）式を用いて、レンズの曲率半径Ｒを算出する。なお、ここでは、レンズの曲率半径Ｒはレンズの全体に渡って一様であるものと仮定している。また、撮影距離Ｄおよび目間距離Ｅは、メモリ５２に予め記憶されている既知の値を用いる。

但し、図６に示すように、水平面内での距離を水平距離として、撮影距離Ｄとは、カメラ２からドライバ、ひいてはサングラスまでの水平距離であり、目間距離Ｅとは、サングラスを構成する一対のレンズの曲率中心間の水平距離のことである。また、各レンズの曲率中心から各レンズの基準点ＰＲｆ，ＰＬｆを見た方向を基準として、各レンズの曲率中心から反射点ＰＲｒ，ＰＬｒ、ひいてはカメラ２を見た向を表す角度を反射点方位角θＲ、θＬとする。そして、図から（２）式が成立し、Ｄ＞＞Ｅであることから（３）式に示す近似が成立する。更に、（２）式をＲについて解いた式に（３）式を代入することで（１）式が得られる。但し、（３）式において、反射点方位角θＲ，θＬは、水平面内での角度を表すものとする。

Ｓ２９０では、左レンズ領域の基準点ＰＬｆと反射点ＰＬｒとの距離である左反射点距離ＬＬ、右レンズ領域の基準点ＰＲｆと反射点ＰＲｒとの距離である右反射点距離ＬＲを求める。なお、反射点距離ＬＬ，ＬＲは、水平距離をＬＬｈ，ＬＲｈ、Ｙ−Ｚ平面内での距離である垂直距離をＬＬｖ，ＬＲｖで表すものとする。また、左右レンズ領域のいずれかを区別しないで表すときには、反射点距離をＬで表し、その水平距離をＬｈ、垂直距離をＬｖとも表記する。

Ｓ３００では、レンズ毎に、Ｓ２９０で求めた反射点距離Ｌｈ，ＬｖとＳ２８０で求めた曲率半径Ｒとに基づき、（４）（５）式を用いて、水平面内での反射点方位角θｈおよび垂直面内での反射点方位角θｖを算出する。図７に示すように、水平面および垂直面の反射点方位角θｈ，θｖは、いずれも同様の考え方で求めることができる。

Ｓ３１０では、ドライバが正面方向を向いている可能性が高いか否かを判別するために予め設定された正面条件が成立するか否かを判断する。正面条件が成立していればＳ３００に移行し、正面条件が成立していなければ、Ｓ３００をスキップしてＳ３１０に移行する。例えば、正面条件として、車速センサ４１から得られる車速が、予め設定された速度閾値以上であり、且つ、舵角センサ４２から得られる舵角の絶対値が、直進とみなせる予め設定された舵角閾値以下である場合を用いることができる。これは、車両がある程度以上の速度で直進している場合には、ドライバは運転に集中するために正面方向を向いている可能性が高いと考えられるからである。

Ｓ３２０では、Ｓ３００で求められた反射点方位角θｈ，θｖを用いて、ドライバが正面方向を向いている時の反射点方位角を推定し、これを基準角度θｏｈ，θｏｖに設定して、Ｓ３１０に進む。具体的には、正面条件が成立している時に求められた反射点方位角θｈ，θｖを蓄積し、反射点方位角θｈ，θｖのそれぞれについて角度の出現頻度を表すヒストグラムを作成する。なお、水平面での反射点方位角θｈは、左右レンズで個別にヒストグラムを作成する必要があるが、垂直面での反射点方位角θｖは、左右レンズで区別する必要はない。そして、作成されたヒストグラム中で最大頻度となる角度、即ち、標準的な角度を、基準角度θｏｈ，θｏｖに設定する。つまり、水平面での基準角度θｏｈは、右レンズと左レンズのそれぞれについて設定され、垂直面での基準角度θｏｖは、両レンズで共通に一つだけ設定される。

Ｓ３３０では、水平面および垂直面のそれぞれについて、Ｓ３２０にて設定された基準角度θｏｈ，θｏｖと、Ｓ３００にて算出された反射点方位角θｈ，θｖとの差分を求めることで、水平面内での顔向き角度および垂直面内での顔向き角度を求めて、本処理を終了する。

［１−３．効果］
以上詳述した第１実施形態によれば、以下の効果が得られる。
（１ａ）本実施形態では、サングラス上の基準点Ｐｆと反射点Ｐｒとの位置関係から求められる反射点距離Ｌ（即ち、Ｌｈ，Ｌｖ）と、レンズの形状を表す曲率半径Ｒとを用いて反射点方位角θｈ，θｖを求めることで、直接的に顔向きを求めている。このため、円筒状の顔モデルを用いる従来技術とは異なり、左右方向に限らず、上下方向の顔向きも計測することができる。

（１ｂ）本実施形態では、中間点ずれ量ΔＰが閾値ＴＨｐより小さい場合、即ち、ドライバが正面に近い方向を向いている場合にだけ顔向き計測を行うため、精度のよい計測結果を得ることができる。

（１ｃ）本実施形態では、正面条件が成立するときに計測された反射点方位角θｈ，θｖを蓄積し、頻度が高い角度を基準角度θｏｈ，θｏｖとしている。このため、顔向きを求める際の基準となる基準角度θｏｈ，θｏｖを、自動的に設定することができる。

（１ｄ）本実施形態では、一つの光源からの照射光に基づき、サングラスを構成する左右レンズのそれぞれで検出される反射点ＰＲｒ，ＰＬｒ間の反射点間距離Ｈと、既知の撮影距離Ｄおよび目間距離Ｅを用いてレンズの曲率半径Ｒを求めている。このため、顔向きの計測に必要な情報を、ドライバに特別な操作を強いることなく得ることができる。

［２．第２実施形態］
［２−１．第１実施形態との相違点］
第２実施形態は、基本的な構成は第１実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。

前述した第１実施形態では、レンズの曲率半径を求めるのに、一つの光源からの照射光に対して左右レンズのそれぞれで検出される一対の反射点を利用している。これに対し、第２実施形態では、二つの光源からの照射光に対して左右いずれかのレンズで検出される一対の反射点を利用する点で、第１実施形態と相違する。

具体的には、画像取得時の照射部２２の構成、メモリ２５に記憶されている情報、およびサングラスなし顔向き計測処理の内容が異なるだけであるため、この点を中心に説明する。

［２−２．構成］
照射部２２は、Ｙ方向において、撮像部２１を挟んだ両側に配置された一対の光源を有する。照射部２２は、その一対の光源を、撮像部２１が撮像画像を取得する際に同時に発光させる。

メモリ５２には、ＣＰＵ５１が実行する処理のプログラムの他、撮影距離Ｄ、光源間距離Ｂが少なくとも記憶されている。撮影距離Ｄは、カメラ２の設置位置からドライバシートに着席したドライバまでの距離である。光源間距離Ｂは、照射部２２を構成する一対の光源間の距離である。なお、撮影距離Ｄおよび光源間距離Ｂは、Ｙ−Ｚ面内での距離で表される。

［２−３．処理］
次に、本実施形態における演算処理部５が、図３に示した処理に代えて実行する処理、即ち、サングラスなし顔向き計測処理について、図８のフローチャートを用いて説明する。なお、処理内容が同じステップには同じステップ番号を付して説明を省略する。つまり、図８に示す処理では、図３に示した処理からＳ２５０、Ｓ２６０を省略し、Ｓ２４０、Ｓ２７０、Ｓ２８０の代わりに、Ｓ２４５、Ｓ２７５、Ｓ２８５を実行するように変更されている。

ＣＰＵ５１は、Ｓ２１０〜Ｓ２３０の処理に続くＳ２４５では、右レンズ領域または左レンズ領域の少なくとも一方で、二つの光源に基づく二つの反射点が抽出されたか否かを判断する。肯定判断された場合はＳ２７５に移行する。一方、否定判断された場合はＳ３４０に移行しエラー通知をして、本処理を終了する。

Ｓ２７５では、同一レンズ領域で検出された二つの反射点Ｐｒ１，Ｐｒ２間の距離である反射点間距離Ｈを算出する。この反射点間距離Ｈは、図９に示すように、Ｙ−Ｚ面（以下、垂直面）内での距離を表す。

Ｓ２８５では、垂直面内での二つの光源の位置、二つの反射点Ｐｒ１，Ｐｒ２が検出されたレンズの曲率中心の位置、二つの反射点Ｐｒ１，Ｐｒ２の位置の間の幾何学的な関係から成立する関係式である（６）式を用いて、レンズの曲率半径Ｒを算出する。なお、ここでは、第１実施形態の場合と同様に、レンズの曲率半径Ｒはレンズの全体に渡って一様であるものと仮定している。

但し、図９に示すように、垂直面内において、レンズの曲率中心から見た二つの光源の方向が成す角度をφ、レンズの曲率中心から見た二つの反射点Ｐｒ１，Ｐｒ２の方向が成す角度をθとする。そして、図から（７）〜（９）式が成立するため、（７）式をＲについて解いた式に（８）および（９）式を変形した式を代入することで（６）式が得られる。なお、撮影距離Ｄおよび光源間距離Ｂは、既知の値として設定されメモリ５２に予め記憶された値を用いる。

以下、Ｓ２９０〜Ｓ３４０は第１実施形態の場合と同様である。
［２−４．効果］
以上詳述した第２実施形態によれば、前述した第１実施形態の効果（１ａ）（１ｃ）と同様の効果だけでなく、次の効果が得られる。

（２ａ）本実施形態では、一対の光源からの照射光に基づき、サングラスを構成する左右レンズのいずれか一方で検出される一対の反射点Ｐｒ１，Ｐｒ２間の反射点間距離Ｈと、既知の撮影距離Ｄおよび光源間距離Ｂを用いてレンズの曲率半径Ｒを求めている。このため、顔向きの計測に必要な情報を、ドライバに特別な操作を強いることなく得ることができる。

なお、本実施形態では、画像取得時に二つの光源を同時に発光させているが、一つずつ順番に発光させて、サングラス上の反射点を一つずつ検出するように構成してもよい。また、一対の光源は、撮像部２１の上下方向（即ち、Ｙ方向）に限らず、左右方向（即ち、Ｘ方向）に配置されていてもよい。

［３．第３実施形態］
［３−１．第１実施形態との相違点］
第３実施形態は、基本的な構成は第１実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。

前述した第１実施形態では、撮像画像から得られる情報を用いて曲率半径Ｒの算出および基準角度θｏの設定を行っているが、基準角度θｏは既知とし、この基準角度θｏを利用して曲率半径Ｒの算出を行う点で、第１実施形態と相違する。

具体的には、メモリ２５に記憶されている情報、およびサングラスなし顔向き計測処理の内容が異なるだけであるため、この点を中心に説明する。
［３−２．構成］
メモリ５２には、撮影距離Ｄ、目間距離Ｅに加えて基準角度θｏが記憶されている。つまり、メモリ５２が角度記憶部に相当する。基準角度θｏは、水平面での角度θｏｈと、垂直面での角度θｏｖとで構成され、更に水平面での角度θｏｈは、右レンズ用と左レンズ用とで構成されている。

［３−３．処理］
次に、本実施形態における演算処理部５が、図３に示した処理に代えて実行する処理、即ち、サングラスなし顔向き計測処理について、図１０のフローチャートを用いて説明する。なお、処理内容が同じステップには同じステップ番号を付して説明を省略する。つまり、図１０に示す処理では、図３に示した処理からＳ２７０〜Ｓ２８０、Ｓ３１０、Ｓ３２０が省略され、Ｓ２９２，Ｓ２９４が追加されていると共に、Ｓ３３０がＳ３３５に置換されている。

ＣＰＵ５１は、Ｓ２１０〜Ｓ２６０を実行して、Ｓ２６０にて肯定判断されると、Ｓ２９０に移行し、反射点距離Ｌｈ，Ｌｖを算出する。
続くＳ２９２では、ドライバが予め設定された指定方向を向いているときに、ドライバに入力させるよう予め決められた指示入力が、指示入力部６を介して行われたか否かを判断する。なお、指示入力は、例えば、ドライバがドライバシートに着席した時に、音声案内等によって、ドライバに指示方向を向かせ、その状態でドライバに所定のスイッチを押下させることによって入力される。指示入力が行なわれていれば、Ｓ２９４に移行し、指示入力が行なわれていなければ、Ｓ２９４をスキップしてＳ３００に移行する。

Ｓ２９４では、Ｓ２９０で算出した反射点距離Ｌｈ、Ｌｖを用い、（１０）（１１）式に従って、レンズの曲率半径Ｒを算出してＳ３００に進む。なお、基準角度θｏｈ，θｏｖは、メモリ２５に記憶されているものを使用する。

なお、算出された曲率半径Ｒは、（１０）（１１）式での算出値のいずれか一方をそのまま使用してもよいが、両者の平均値を用いてもよい。
以下、Ｓ３００、Ｓ３４０の処理は、第１実施形態と同様である。

但し、Ｓ３００に続くＳ３３５では、水平面および垂直面のそれぞれについて、メモリ５２に記憶された基準角度θｏｈ，θｏｖと、Ｓ３００にて算出された反射点方位角θｈ，θｖとの差分を求めることで、水平面内での顔向き角度および垂直面内での顔向き角度を求めて、本処理を終了する。

［３−．効果］
以上詳述した第３実施形態によれば、前述した第１実施形態の効果（１ａ）と同様の効果だけでなく、次の効果が得られる。

（３ａ）本実施形態では、ドライバが所定方向を向いた時の反射点方位角である基準角度θｏを既知として、ドライバに所定方向を向かせたときに検出される反射点距離Ｌを用いて、レンズの曲率半径Ｒを求めている。これにより、曲率半径Ｒを求める処理を簡略化することができる。

［４．他の実施形態］
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。

（４ａ）上記実施形態では、撮影距離Ｄとして一定の値を用いているが、これに限定されるものではない。例えば、ドライバシートのシート位置に応じて変化する可変値を用いてもよい。

（４ｂ）上記第３実施形態では、基準角度θｏを既知として、ドライバに所定方向を向かせたときに検出される反射点距離Ｌを用いてレンズの曲率半径Ｒを求める技術を、一つの光源からの照射光の反射点を利用する第１実施形態の装置に適用したが、二つの光源からの照射光の反射点を利用する第２実施形態の装置に適用してもよい。

（４ｃ）上記実施形態では、照射部２２を構成する光源が撮像部２１の上下方向（即ち、Ｙ方向）に一つまたは二つある場合について説明したが、光源は三つ以上あってもよい。なお、複数の光源は、上下方向および左右方向（即ち、Ｘ方向）のいずれに複数配列されていてもよく、また、その両方向に二次元的に配列されていてもよい。そして、図１１に示すように、ドライバの顔向きが極端である場合、光源の位置によっては、撮像画像に反射領域が検出されない、いわゆる見切れが発生する場合があるが、複数の光源を順次切り替えて使用することで、このような見切れの発生を抑制することができる。

（４ｄ）照射部２２を構成する光源が複数存在する場合、各光源は、互いに異なる波長の光を照射するように構成してもよい。この場合、光源を一度に発光させても、撮像部２１にて波長毎に異なる画像を生成することで、サングラス上に現れる複数の反射領域のそれぞれが、どの光源に基づくものかを簡単に判別することができる。

（４ｅ）上記実施形態では、車両のドライバシートに着座するドライバを被験者として顔向きを測定する場合を例示したが、被験者はドライバに限定されるものではない。
（４ｆ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

（４ｇ）本開示は、上述した顔向き計測装置の他、当該顔向き計測装置を構成要素とするシステム、当該顔向き計測装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、顔向き計測方法など、種々の形態で本発明を実現することもできる。

１…計測装置、２…カメラ、３…フレームメモリ、４…センサ群、５…演算処理部、６…指示入力部、７…報知部、８…通信部、２１…撮像部、２２…照射部、２３…画像取得部、２４…露出制御部、２５…コントローラ、４１…車速センサ、４２…舵角センサ、５１…ＣＰＵ、５２…メモリ、２１１…光学素子部、２１２…イメージセンサ。

Claims (12)

1. 被験者に向けて光を照射する一つ以上の光源を有する照射部（２２）を備え、前記被験者の顔を撮影するカメラ（２）と、
   前記被験者がサングラスを着用しているか否かを判定する着用判定部（Ｓ１４０、Ｓ１５０）と、
   前記着用判定部にて着用ありと判定された場合、前記カメラから得られる撮影画像から、前記サングラスを構成する一対のレンズ上で検出される前記照射部から照射された光の反射点を抽出する反射点抽出部（Ｓ２１０〜Ｓ２４０，Ｓ２４５）と、
   前記光源、および前記レンズ、前記反射点抽出部にて抽出された反射点の間で成立する幾何学的な関係を示した関係式を用いて、前記レンズの曲率半径を求める半径演算部（Ｓ２７０、Ｓ２８０、Ｓ２７５、Ｓ２８５）と、
   前記半径演算部にて算出された曲率半径と、前記レンズ上に設定される基準点に対する前記反射点の相対位置とを用いて、前記被験者の顔向きを求める顔向き演算部（Ｓ２９０〜Ｓ３３０、Ｓ２９２、Ｓ２９４、Ｓ３３５）と、
   を備える顔向き計測装置。
2. 請求項１に記載の顔向き計測装置であって、
   前記反射点抽出部（Ｓ２１０〜Ｓ２４０）は、前記照射部を構成する一つの光源からの照射光により生じる前記反射点を、前記一対のレンズから一つずつ抽出し、
   前記半径演算部は、
   前記反射点抽出部にて抽出された一対の反射点間の距離である反射点間距離を計測する距離計測部（Ｓ２７０）と、
   前記照射部から前記サングラスまでの距離を撮影距離、前記レンズの曲率中心間の距離を目間距離とし、前記撮影距離および前記目間距離を既知として、前記撮影距離と、前記目間距離と、前記反射点間距離と、前記レンズの曲率半径との間で成立する関係式を用いて前記レンズの曲率半径を求める演算実行部（Ｓ２８０）と、
   を備える、顔向き計測装置。
3. 請求項２に記載の顔向き計測装置であって、
   前記一対のレンズに設定された一対の基準点間の中心と、前記一対の反射点間の中心との水平距離を求め、該水平距離が予め設定された閾値より小さい場合に、前記半径演算部での処理を許可する許可部（Ｓ２５０、Ｓ２６０）を更に備える、顔向き計測装置。
4. 請求項１に記載の顔向き計測装置であって、
   前記反射点抽出部（Ｓ２１０〜Ｓ２３０，Ｓ２４５）は、前記照射部を構成する二つの光源からの照射光により、前記一対のレンズのいずれか一方で検出される二つの反射点を抽出し、
   前記半径演算部は、
   前記反射点抽出部にて抽出された一対の反射点間の距離である反射点間距離を計測する距離計測部（Ｓ２７５）と、
   前記照射部から前記サングラスまでの距離を撮影距離、前記二つの光源間の距離を光源間距離とし、前記撮影距離および前記光源間距離を既知として、前記撮影距離と、前記光源間距離と、前記レンズの曲率半径との間で成立する関係式を用いて前記レンズの曲率半径を求める演算実行部（Ｓ２８５）と、
   を備える、顔向き計測装置。
5. 請求項１ないし請求項４のいずれか１項に記載の顔向き計測装置であって、
   前記顔向き演算部は、
   前記レンズの曲率中心からみた前記基準点の方向に対する前記反射点の方向を表す角度を求める角度演算部（Ｓ２９０）と、
   前記被験者が予め決められた指定方向に顔を向けている時に、前記角度演算部にて求められる角度を基準角度として設定する基準設定部（Ｓ３１０、Ｓ３２０）と、
   前記基準設定部にて設定された基準角度に対する前記角度演算部にて求められた角度の相対値を、前記被験者の顔向きを表す顔向き角度として求める相対値演算部（Ｓ３３０）と、
   を備える顔向き計測装置。
6. 請求項５に記載の顔向き計測装置であって、
   前記基準設定部は、前記角度演算部での演算結果を蓄積し、最大頻度で現れる角度を前記基準角度とする、顔向き計測装置。
7. 請求項６に記載の顔向き計測装置であって、
   前記被験者は車両のドライバであり、
   前記車両の挙動を検出するセンサ群（４）を更に備え、
   前記基準設定部は、前記センサ群にて検出される車両の挙動が、予め設定された速度閾値以上の速度で直進していることを表している場合に、前記角度演算部での演算結果を蓄積する、顔向き計測装置。
8. 請求項１に記載の顔向き計測装置であって、
   前記被験者からの指示が入力される指示入力部（６）と、
   前記被験者が予め決められた指定方向に顔を向けている状態を指定状態として、該指定状態にある時に検出される前記反射点の標準的な位置を標準反射点とし、前記レンズの曲率中心からみた前記基準点に対する前記標準反射点の方向を表すものとして予め設定された基準角度を記憶する角度記憶部（５２）と、
   を更に備え、
   前記半径演算部は、
   前記一対のレンズの少なくとも一方を用いて、前記基準点と前記反射点抽出部にて抽出された反射点との距離である反射点距離を計測する距離計測部（Ｓ２９０）と、
   前記指定状態にある時に前記被験者に入力させるよう予め決められた指示が、前記指示入力部を介して入力された時に、前記距離計測部にて計測された反射点距離と、前記角度記憶部に記憶された基準角度と、前記レンズの曲率半径との間で成立する関係式を用いて前記レンズの曲率半径を求める演算実行部（Ｓ２９２、Ｓ２９４）と、
   を備える、顔向き計測装置。
9. 請求項８に記載の顔向き計測装置であって、
   前記顔向き演算部は、
   前記レンズの曲率中心からみた前記基準点に対する前記反射点の方向を表す角度を求める角度演算部（Ｓ３００）と、
   前記角度記憶部に記憶された基準角度に対する前記角度演算部にて求められた角度の相対値を、前記被験者の顔向きを表す顔向き角度として求める相対値演算部（Ｓ３３５）と、
   を備える、顔向き計測装置。
10. 請求項１ないし請求項９のいずれか１項に記載の顔向き計測装置であって、
    前記照射部は、前記カメラの上下方向および左右方向のうち少なくとも一方の方向に沿って複数の光源が配置されている、顔向き計測装置。
11. 請求項１０に記載の顔向き計測装置であって、
    前記照射部を構成する複数の光源は、一つずつ順番に光を照射する、顔向き計測装置。
12. 請求項１１に記載の顔向き計測装置であって、
    前記照射部を構成する複数の光源は、互いに異なる波長の光を照射する、顔向き計測装置。

Images