JP6946993B2 - 画像処理装置および画像処理方法 - Google Patents

Description

この発明の実施形態は、画像処理装置および画像処理方法に関する。

従来、物体の三次元形状を検出する手法としては、ステレオカメラを用いるものや、二次元画像カメラとＴＯＦ（Time Of Flight）距離画像カメラとを組み合わせるものが知られている。例えば、特許文献１には、コンテナなどの物体を赤外線カメラと距離画像カメラとを用いてほぼ同時に撮像し、赤外線カメラにより得られる上記物体の二次元赤外画像と、距離画像カメラにより得られる物体までの距離画像とをもとに、上記物体の輪郭や境界を検出する技術が記載されている。

特開２０１２−２２０４７９号公報

一方、最近では、車両の運転者を対象として、運転に先立ち運転者の顔を撮像してその撮像画像をもとに運転者を認証したり、運転中の運転者の顔を撮像してその撮像画像をもとに視線や顔の向き等を検出したりする技術の開発が進められている。この技術を実現するには、運転者の顔の二次元画像および三次元画像を取得する必要がある。

しかし、従来の三次元画像検出手法は、例えば特許文献１に記載されているように赤外線カメラと距離画像カメラという２種類のカメラを使用するものとなっている。このため、装置の大型化が避けられず、車両内のコックピットのような比較的狭いスペースには設置することが困難である。また装置のコストアップも避けられない。さらに、例えば顔認証や視線の方向を検出するために運転者の顔の三次元画像を得るためには、複数のカメラにより得られた画像データを画素単位で精度良く位置合わせする必要があり、キャリブレーション処理等の面倒な処理が必要不可欠となる。

この発明は、上記事情に着目してなされたもので、一側面では、運転者の顔の二次元画像と三次元画像を小型の構成でかつ複雑な画像処理を必要とすることなく検出できる技術を提供しようとするものである。

上記課題を解決するために、この発明に係る画像処理装置の第１の態様は、運転者の顔に対し光学パターンを投影する投影部と、前記運転者の顔を撮像する撮像部と、撮像制御部と、画像処理部とを具備する。そして、撮像制御部により、前記運転者の顔に対し前記投影部により前記光学パターンが投影されていない状態で前記撮像部により撮像された第１の顔画像を取得すると共に、前記光学パターンが投影された状態で前記撮像部により撮像された第２の顔画像を取得し、前記画像処理部により、前記取得された第１の顔画像と前記第２の顔画像とを対応付けるようにしたものである。

この発明に係る画像処理装置の第１の態様によれば、前記第１の顔画像と前記第２の顔画像が１台の撮像部により取得される。このため、第１の顔画像と第２の顔画像とをそれぞれ別個の撮像部により取得する場合に比べ、装置の小型化とコストダウンを図ることができる。これは、車両内のコックピットのように顔画像の撮像に適する十分なスペースを確保することが困難な場所でも、装置を設置することが可能となるという格別の効果を奏する。また、第１の顔画像と第２の顔画像が１台の撮像部により得られるので、これらの顔画像を対応付ける処理を、面倒なキャリブレーション処理等を必要とすることなく、簡単かつ高精度に行うことが可能となる。

この発明に係る画像処理装置の第２の態様は、前記画像処理装置の第１の態様において、前記運転者の顔を照明する照明部をさらに具備する。そして、前記撮像制御部が、前記照明部により前記顔が照明された状態で前記撮像部により撮像された画像と、前記照明部により前記顔が照明されていない状態で前記撮像部により撮像された画像とをそれぞれ取得し、前記取得された各画像の差分画像を前記第１の顔画像とするようにしたものである。
第２の態様によれば、周辺光の影響を低減して濃淡のバラツキのない高品質の第１の顔画像を得ることが可能となる。

この発明に係る画像処理装置の第３の態様は、前記画像処理装置の第２の態様において、前記照明部を、近赤外光を発光する光源と、当該光源から発光された近赤外光を偏光する偏光フィルタとを備え、当該偏光フィルタを通過した前記近赤外光により前記顔を照明するように構成したものである。
第３の態様によれば、近赤外光により顔が照明されるので、運転者に対する防眩性を維持すると共に、サングラスを着用した運転者についても顔画像を取得することができる。また、偏光フィルタを通して照明することで、運転者が仮に眼鏡を着用していたとしても、眼鏡により近赤外光が反射されることなく、良好な第１の顔画像を得ることができる。

この発明に係る画像処理装置の第４の態様は、前記画像処理装置の第１乃至第３の態様のいずれかにおいて、前記撮像制御部により、前記運転者の顔に対し前記投影部により前記光学パターンが投影された状態で前記撮像部により撮像された画像と、前記光学パターンが投影されていない状態で前記撮像部により撮像された画像とをそれぞれ取得し、前記取得された各画像の差分画像を前記第２の顔画像とするようにしたものである。
第４の態様によれば、周辺光の影響を低減して光学パターンによる画像成分を精度良く抽出することができ、これにより第２の顔画像として高精度の三次元画像を得ることが可能となる。

この発明に係る画像処理装置の第５の態様は、前記画像処理装置の第１乃至第４の態様のいずれかにおいて、前記画像処理部として、前記第１の顔画像と前記第２の顔画像とを画素位置が同一のもの同士で対応付ける処理部と、前記第２の顔画像をもとに、前記撮像部と前記顔の目とを結ぶ光軸と、当該光軸と直交する二次元平面により定義される三次元空間における前記目の三次元位置を検出する第１の検出部と、前記第１の顔画像をもとに、前記三次元位置の検出対象となった目と同一位置にある目の画像を対象として、当該目の瞳孔の前記二次元平面における二次元位置を検出する第２の検出部とを備えるようにしたものである。
第５の態様によれば、別々に得られる第１の顔画像と第２の顔画像が同一の画素位置同士で対応付けられることで、同一位置にある目の三次元位置とその瞳孔の二次元位置とをそれぞれ検出することが可能となる。

この発明に係る画像処理装置の第６の態様は、前記画像処理装置の第５の態様において、視線検出部をさらに具備し、この視線検出部により、前記画像処理部により対応付けられた前記検出された目の三次元位置と、前記検出された瞳孔の二次元位置とに基づいて、前記運転者の視線を検出するようにしたものである。
第６の態様によれば、運転者の目の位置に対する瞳孔の位置により視線の方向を算出する際に、カメラに対する目の奥行き方向の位置も考慮されるので、運転者の視線の方向を正確に検出することができる。

上記課題を解決するためにこの発明に係る画像処理方法の第１の態様は、画像処理装置が、運転者の顔を撮像部により撮像して第１の顔画像を取得する過程と、前記運転者の顔に対し光学パターンを投影する過程と、前記運転者の顔に対し前記光学パターンが投影された状態で前記運転者の顔を前記撮像部により撮像して第２の顔画像を取得する過程と、前記第１の顔画像と前記第２の顔画像とを対応付ける過程とを具備するようにしたものである。

この発明に係る画像処理方法の第１の態様によれば、第１の顔画像と第２の顔画像を１台の撮像部により取得することが可能となる。このため、第１の顔画像と第２の顔画像とをそれぞれ別個の撮像部により取得する場合に比べ、装置の小型化とコストダウンを図ることができる。また、第１の顔画像と第２の顔画像とが１個の撮像部により得られるので、これらの画像を対応付ける処理を、面倒なキャリブレーション処理等を必要とすることなく、簡単かつ高精度に行うことが可能となる。

この発明に係る画像処理方法の第２の態様は、前記画像処理方法の第１の態様において、画像処理装置が、運転者の顔に対し光学パターンを投影する過程と、前記運転者の顔に対し前記光学パターンが投影された状態で前記運転者の顔を撮像部により撮像して第２の顔画像を取得する過程と、前記光学パターンが投影されていない状態で前記運転者の顔を前記撮像部により撮像して第１の顔画像を取得する過程と、前記第１の顔画像と前記第２の顔画像とを対応付ける過程とを具備するようにしたものである。

この発明に係る画像処理方法の第２の態様によれば、第１の態様と同様に、第１の顔画像と第２の顔画像を１台の撮像部により取得することが可能となり、これにより装置の小型化およびコストダウンを可能とすると共に、第１の顔画像と第２の顔画像とをキャリブレーション等の処理を行うことなく簡単な処理により高精度に対応付けることができると云った優れた効果が奏せられる。

すなわちこの発明の各態様によれば、運転者の顔の二次元画像と三次元画像を小型の構成でかつ複雑な画像処理を必要とすることなく検出できる技術を提供することができる。

図１は、この発明に係る画像処理装置の一適用例を説明するブロック図である。 図２は、この発明の一実施形態に係る画像処理装置を搭載した車両の概略構成図である。 図３は、この発明の一実施形態に係る画像処理装置のカメラヘッドの内部構造を示す図である。 図４は、図３に示したカメラヘッドのパターン投影プロジェクタの構造を示す斜視図である。 図５は、この発明の一実施形態に係る画像処理装置の顔画像検出処理ユニットのハードウェア構成を示すブロック図である。 図６は、この発明の一実施形態に係る画像処理装置のカメラヘッドおよび顔画像検出処理ユニットのハードウェア構成に、さらにソフトウェア構成を追加して示したブロック図である。 図７は、図６に示した顔画像検出処理ユニットによる制御手順と制御内容を示すフローチャートである。 図８は、図６に示した画像処理装置により撮像された二次元画像データの一例を示す図である。 図９は、図６に示した画像処理装置により撮像された三次元画像データの一例を示す図である。 図１０は、目の位置の三次元計測の原理説明に使用する図である。 図１１は、視線検出の原理説明に使用する図である。

以下、図面を参照してこの発明に係わる実施形態を説明する。

［適用例］
先ず、この発明の一実施形態に係る画像処理装置の一適用例について説明する。
図１は、この発明に係る画像処理装置の一適用例を説明するブロック図である。画像処理装置は、カメラヘッド１と、顔画像検出処理ユニット２とを備えている。

カメラヘッド１は、１個の撮像部１ａと、１個の投影部１ｂと、２個の照明部１ｃ，１ｄとを備える。撮像部１ａは、固体撮像素子を用いたイメージセンサからなり、運転者の顔を撮像してその顔画像データを出力する。投影部１ｂは、例えばパターン投影プロジェクタからなり、運転者の顔に対し例えば縞状または格子状の光学パターンを投影する。照明部１ｃ，１ｄは、光源として例えばＬＥＤ（Light Emitting Diode）等の固体発光素子を使用したもので、運転者の顔を照明する。

顔画像検出処理ユニット２は、撮像制御部２ａと、画像処理部２ｂとを備えている。撮像制御部２ａは、図示しないプログラムメモリに記憶された撮像制御プログラムに従い、上記カメラヘッド１の撮像部１ａ、投影部１ｂおよび照明部１ｃ，１ｄをそれぞれ所定のタイミングで制御することにより、運転者の顔の二次元画像データとパターン投影画像データをそれぞれ取得する。

例えば、撮像制御部２ａは、照明部１ｃ，１ｄを点灯させて運転者の顔を照明した状態で撮像部１ａにより運転者の顔を撮像し、これにより運転者の顔の二次元画像データ（第１の顔画像）を取得する。また撮像制御部２ａは、投影部１ｂを動作させて運転者の顔に対し縞状または格子状の光学パターンを投影し、この状態で運転者の顔を上記撮像部１ａにより撮像することにより運転者の顔のパターン投影画像データを取得する。なお、上記顔のパターン投影画像データは、顔の三次元位置情報を得るためのデータであることから、以後簡略的に三次元画像データ（第２の顔画像）と称する。

画像処理部２ｂは、上記撮像制御部２ａの制御の下、上記撮像部１ａにより得られた二次元画像データと三次元画像データとを、同一の画素位置同士で対応付ける処理を行う。そして、この画素位置が対応付けられた二次元画像データと三次元画像データのうち、二次元画像データから例えばパターンマッチングにより運転者の目を検出し、さらに輝点（カメラ位置）に対する瞳孔の位置を検出することで視線の方向を算出する。しかしながら、目の奥行き位置が不明では正確な視線位置を特定することができないため、三次元画像を利用し目の奥行き位置を特定する。これにより正確な視線位置特定が可能となる。三次元位置は、撮像部１ａと上記眼球の輝点とを結ぶ光軸をＺ軸とし、当該光軸と直交する二次元平面をＸ，Ｙ軸で表したとき、これらのＸ，Ｙ，Ｚ軸により定義される三次元空間の位置座標として表される。

また画像処理部２ｂは、上記二次元画像データから、上記三次元位置の検出対象となった目と位置が対応する目の画像領域を選択し、当該画像領域から上記目の瞳孔の二次元位置を検出する。この二次元位置は、上記Ｘ，Ｙ軸で表される二次元平面における位置として表される。

上記検出された眼球の輝点の三次元位置と、上記検出された瞳孔の二次元位置は、例えば運転者の視線方向を検出するために使用される。

以上のような構成であるから、運転者の顔の二次元画像データおよび三次元画像データはカメラヘッド１に設けられた１個の撮像部１ａにより得られる。このため、二次元画像データと三次元画像データとを、キャリブレーション等の処理を行うことなく簡単な処理により精度良く対応付けることができる。また、二次元画像データと三次元画像データとをそれぞれ別個の撮像部により取得する場合に比べ、装置の小型化とコストダウンを図ることができる。これは、車両のコックピットのように設置可能な位置が限られる場所にカメラヘッド１を設置する場合に、非常に優位な効果となる。

［一実施形態］
（構成例）
図２は、この発明の一実施形態に係る画像処理装置を搭載した車両３の構成の一例を示すブロック図である。本実施形態に係る画像処理装置は、例えば、カメラヘッド１０と、顔画像検出処理ユニット２０とを備えている。

車両３の運転座席には着座センサ４０が設置されている。着座センサ４０は、運転座席への運転者４の着座を検出し、その検出信号を顔画像検出処理ユニット２０へ出力する。また車両３には表示制御装置５０が設けられている。表示制御装置５０は例えばヘッドアップディスプレイに対する表示を制御するもので、顔画像検出処理ユニット２０から出力される運転者４の視線方向の検出情報をもとに、運転者４が視認している対象物の画像に例えば枠型のパターンを重ねて表示する。

（１）カメラヘッド１０
カメラヘッド１０は、例えば、ダッシュボードの運転者４と正対する位置に設置される。図３はカメラヘッド１０の内部構造の一例を示す正面図である。

カメラヘッド１０は、横長の箱形に構成されたヘッド筐体１１内に、撮像部としての１個のカメラ１０ａと、投影部としての１個のパターン投影プロジェクタ１０ｂと、２個の照明部１０ｃ，１０ｄを横一列に配置したものとなっている。その配置位置は、中央部にカメラ１０ａとパターン投影プロジェクタ１０ｂが配置され、上記カメラ１０ａおよびパターン投影プロジェクタ１０ｂの両隣に照明部１０ｃ，１０ｄが配置されるように設定されている。

カメラ１０ａは、撮像デバイスとして、例えば近赤外光を受光可能なＣＭＯＳ（Complementary MOS）イメージセンサを使用する。そして、運転者４の顔を撮像してその顔画像データを出力する。なお、撮像デバイスとしては、ＣＣＤ（Charge Coupled Device）等の他の固体撮像素子を用いてもよい。

パターン投影プロジェクタ１０ｂは、運転者４の顔に対し例えば格子状の光学パターンを投影するもので、例えば次のように構成される。
図４はその構成を示す斜視図である。すなわち、プロジェクタ基板３１には、例えば近赤外光を発光する発光素子３２が装着されている。またプロジェクタ基板３１上には、上記発光素子３２の光軸方向に、例えば円筒形状をなすプロジェクタ光学系３３が配置されている。プロジェクタ光学系３３は、マスクホルダと、レンズホルダとおよび投影レンズを有する。マスクホルダには、上記格子状の光学パターンを生成するためのマスクが内蔵されている。投影レンズは、上記マスクにより生成される光学パターンを所定の倍率で運転者の顔に投影する。なお、光学パターンは、格子状に限らず、他に縞状や市松模様のようなパターンでもよい。

照明部１０ｃ，１０ｄは、例えば、それぞれ２個の発光素子１１ｃ，１２ｃおよび１１ｄ，１２ｄを有する光源と、偏光フィルタとを備える。光源は、近赤外光を発光する。照明部１０ｃ，１０ｄは、上記発光素子１１ｃ，１２ｃおよび１１ｄ，１２ｄから発光された近赤外光の平面光を偏光フィルタを通して照明光として運転者の顔に照射する。偏光フィルタを使用する理由は、運転者４が眼鏡をかけていた場合に、眼鏡により近赤外光が反射されてしまい、運転者４の目を検出できなくなることを防ぐためである照明部１０ｃ，１０ｄは、顔画像検出処理ユニット２０から出力される点灯制御信号に従い点灯および消灯動作する。

（２）顔画像検出処理ユニット２０
顔画像検出処理ユニット２０は、上記カメラヘッド１０を制御して、運転者４の顔の二次元画像データおよび三次元画像データを取得する。そして、この取得された二次元画像データおよび三次元画像データをもとに運転者４の目の三次元位置および当該目の瞳孔の二次元位置を検出し、さらにこれらの検出結果をもとに運転者４の視線を検出する処理を行う。

（２−１）ハードウェア構成
図５は、顔画像検出処理ユニット２０のハードウェア構成の一例を示すブロック図である。
顔画像検出処理ユニット２０は、ハードウェアとして、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサ２１Ａを有し、このハードウェアプロセッサ２１Ａに、プログラムメモリ２１Ｂ、データメモリ２５、カメラヘッドインタフェース（カメラヘッドＩ／Ｆ）２３、外部インタフェース（外部Ｉ／Ｆ）２４を、バス２２を介して接続したものとなっている。

カメラヘッドＩ／Ｆ２３は、上記カメラヘッド１０のカメラ１０ａ、パターン投影プロジェクタ１０ｂ、各照明部１０ｃ，１０ｄに向けて制御信号を出力すると共に、カメラヘッド１０のカメラ１０ａから出力された画像データを受信する。外部Ｉ／Ｆ２４は、着座センサ４０から出力される着座検出信号を受信すると共に、視線方向の検出結果を表す情報を表示制御装置５０へ出力する。

カメラヘッドＩ／Ｆ２３とカメラヘッド１０との間、外部Ｉ／Ｆ２４と着座センサ４０および表示制御装置５０との間の信号およびデータの伝送は、いずれも信号ケーブルにより行われる。なお、車内にＬＡＮ（Local Area Network）等の車内有線ネットワークや、Bluetooth（登録商標）等の小電力無線データ通信規格を採用した車内無線ネットワークが備えられている場合には、これらのネットワークを用いて上記信号およびデータの伝送を行ってもよい。

プログラムメモリ２１Ｂは、記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の随時書込および読出しが可能な不揮発性メモリ、またはＲＯＭ等の不揮発性メモリを使用したもので、本実施形態に係る各種制御処理を実行するために必要なプログラムが格納されている。

データメモリ２５は、例えば、ＨＤＤまたはＳＳＤ等の随時書込および読出しが可能な不揮発性メモリと、ＲＡＭ等の揮発性メモリとを組み合わせたものを記憶媒体として備え、カメラ１０ａにより撮像された顔画像データや検出結果を表す情報を記憶するために使用される。

（２−２）ソフトウェア構成
図６は、図５に示した顔画像検出処理ユニット２０のハードウェア構成に、さらにソフトウェア構成を追加して示したブロック図である。
データメモリ２５の記憶領域には、二次元画像記憶部２５１と、三次元画像記憶部２５２と、検出結果記憶部２５３が設けられている。二次元画像記憶部２５１および三次元画像記憶部２５２は、それぞれ制御ユニット２１により取得された二次元画像データおよび三次元画像データを記憶するために用いられる。検出結果記憶部２５３は、制御ユニット２１により検出される、目の三次元位置および当該目の瞳孔の二次元位置を表す情報を記憶するために使用される。

制御ユニット２１は、上記ハードウェアプロセッサ２１Ａと、上記プログラムメモリ２１Ｂとから構成され、ソフトウェアによる処理機能部として、カメラヘッド制御部２１１と、二次元画像取得処理部２１２と、三次元画像取得処理部２１３と、画像処理部２１４と、視線検出部２１５とを備えている。このうちカメラヘッド制御部２１１、二次元画像取得処理部２１２および三次元画像取得処理部２１３は、撮像制御部を構成する。

上記制御部、各処理部および検出部２１１〜２１５は、いずれもプログラムメモリ２１Ｂに格納されたプログラムを上記ハードウェアプロセッサ２１Ａに実行させることにより実現される。

カメラヘッド制御部２１１は、着座センサ４０から出力される着座検出信号をトリガとして起動し、予め定められた検出周期で、所定の手順で上記カメラヘッド１０の照明部１０ｃ，１０ｄ、パターン投影プロジェクタ１０ｂおよびカメラ１０ａを制御する。上記検出周期および手順の一例については後に詳しく述べる。

二次元画像取得処理部２１２は、上記検出周期ごとに、上記カメラヘッド制御部２１１の制御に従いカメラ１０ａにより撮像された運転者４の顔の二次元画像データを、カメラヘッドＩ／Ｆ２３を介して取り込み、データメモリ２５の二次元画像記憶部２５１に記憶させる処理を行う。二次元画像データは、パターン投影プロジェクタ１０ｂにより光学パターンが投影されていない状態で撮像された運転者４の顔画像データである。この二次元画像データの取得処理手法の一例については後に詳しく述べる。

三次元画像取得処理部２１３は、上記検出周期ごとに、上記カメラヘッド制御部２１１の制御に従いカメラ１０ａにより撮像された運転者４の顔の三次元画像データを、カメラヘッドＩ／Ｆ２３を介して取り込み、データメモリ２５の三次元画像記憶部２５２に記憶させる処理を行う。三次元画像データは、パターン投影プロジェクタ１０ｂにより光学パターンが投影されている状態で撮像された運転者４の顔の画像データである。この三次元画像データの取得処理手法の一例についても後に詳しく述べる。

画像処理部２１４は、例えば以下の処理機能を有している。
(1) 上記検出周期ごとに、上記二次元画像記憶部２５１および上記三次元画像記憶部２５２から、同一の検出周期内に取得された二次元画像データおよび三次元画像データを読み出し、この二次元画像データと三次元画像データとを同一の画素位置同士で対応付ける処理。

(2) 上記検出周期ごとに、上記対応付け処理後の三次元画像データから運転者４の目の一方または両方を認識し、この認識された目の画像から眼球の角膜反射による輝点の三次元位置を検出して、その検出結果を表す情報を検出結果記憶部２５３に記憶させる処理。上記眼球の輝点の三次元位置は、カメラ１０ａと上記輝点とを結ぶ光軸をＺ軸とし、当該光軸と直交する二次元平面をＸ，Ｙ軸で表したとき、これらＸ，Ｙ，Ｚ軸により定義される三次元空間における位置として表される。

(3) 上記検出周期ごとに、上記対応付け処理後の二次元画像データから、上記眼球の輝点の三次元位置の検出対象となった目と位置が対応する目の画像領域を選択する。そして、当該画像領域から上記目の瞳孔の二次元位置を検出して、その検出結果を表す情報を上記検出結果記憶部２５３に記憶させる処理。上記瞳孔の二次元位置は、上記Ｘ，Ｙ軸で表される二次元平面における位置として表される。

視線検出部２１５は、上記検出周期ごとに、上記検出結果記憶部２５３から上記検出対象となった目の輝点の三次元位置および当該目の瞳孔の二次元位置を読み出し、この読み出された目の輝点の三次元位置および目の瞳孔の二次元位置とから運転者４の視線の方向を検出する。また視線検出部２１５は、上記検出された視線の方向を表す情報を外部Ｉ／Ｆ２４から表示制御装置５０へ出力する。

（動作例）
次に、以上のように構成された画像処理装置の動作例を説明する。
図７は顔画像検出処理ユニット２０の処理手順と処理内容の一例を示すフローチャートである。

（１）二次元画像データの取得
顔画像検出処理ユニット２０の制御ユニット２１は、カメラヘッド制御部２１１の制御の下、ステップＳ１１において着座センサ４０から出力される着座検出信号の入力を監視している。この状態で、運転者が座席に着座すると着座センサ４０から着座検出信号が出力される。この着座検出信号は、外部Ｉ／Ｆ２４を介して制御ユニット２１に入力される。制御ユニット２１は、上記着座検出信号の入力をステップＳ１１で検出すると、先ず運転者の顔の二次元画像データを取得するための制御を以下の手順で実行する。

すなわち、先ずカメラヘッド制御部２１１の制御の下、ステップＳ１２により、カメラヘッドＩ／Ｆ２３からカメラヘッド１０に対し照明点灯信号が出力される。カメラヘッド１０では、上記照明点灯信号を受信すると照明部１０ｃ，１０ｄが点灯し、これにより運転者４の顔が照明される。この照明光は偏光フィルタを通した近赤外光である。このため、運転者４は眩しさを感じず運転に支障は生じない。また、運転者４が仮に眼鏡をかけていた場合でも、眼鏡により近赤外光が反射されてしまい、運転者４の目を検出できなくなるといった不具合も生じない。

この状態でカメラヘッド制御部２１１は、ステップＳ１３により、カメラヘッドＩ／Ｆ２３からカメラヘッド１０に対し撮像制御信号を出力する。カメラヘッド１０は、上記撮像制御信号を受信するとカメラ１０ａが運転者４の顔を撮像し、この撮像により得られた運転者４の顔の二次元画像データを顔画像検出処理ユニット２０へ出力する。顔画像検出処理ユニット２０の制御ユニット２１は、二次元画像取得処理部２１２の制御の下、ステップＳ１４において上記二次元画像データＶａ１をカメラヘッドＩ／Ｆ２３を介して取り込む。そして、当該二次元画像データＶａ１をデータメモリ２５の二次元画像記憶部２５１に記憶させる。このとき、上記照明部１０ｃ，１０ｄから顔面を照明している照明光は偏光フィルタを通したものである。このため、仮に運転者４が眼鏡をかけていたとしても、眼鏡により近赤外光が反射されてしまい、運転者４の目を検出できなくなる不具合は生じない。したがって、二次元画像データＶａ１は、例えば図８に示すように眼球を含む顔画像となる。

続いて制御ユニット２１は、カメラヘッド制御部２１１の制御の下、ステップＳ１５により、カメラヘッドＩ／Ｆ２３を介して照明消灯信号を出力する。カメラヘッド１０は、上記照明消灯信号を受信すると照明部１０ｃ，１０ｄを消灯する。

この状態で制御ユニット２１は、カメラヘッド制御部２１１の制御の下、ステップＳ１６により、カメラヘッドＩ／Ｆ２３からカメラヘッド１０に対し撮像制御信号を出力する。カメラヘッド１０は、上記撮像制御信号を受信するとカメラ１０ａが運転者４の顔を撮像し、この撮像動作により得られた運転者４の顔の二次元画像データを顔画像検出処理ユニット２０へ出力する。

顔画像検出処理ユニット２０の制御ユニット２１は、二次元画像取得処理部２１２の制御の下、ステップＳ１７において上記二次元画像データＶａ２をカメラヘッドＩ／Ｆ２３を介して取り込む。そして、当該二次元画像データＶａ２をデータメモリ２５の二次元画像記憶部２５１に記憶させる。

続いて二次元画像取得処理部２１２は、ステップＳ１８において、上記二次元画像記憶部２５１に記憶された、照明された状態で撮像された二次元画像データＶａ１と、照明されていない状態で撮像された二次元画像データＶａ２をそれぞれ読み出す。そして、これらの二次元画像データ間の差分画像データＶａ（Ｖａ＝Ｖａ１−Ｖａ２）を算出する。差分画像を得る目的は、対向車のヘッドライトや各種メータの発光等の周辺光の影響を除去するためである。そして二次元画像取得処理部２１２は、上記二次元差分画像データＶａを二次元画像記憶部２５１に記憶させる。

（２）三次元画像データの取得
上記二次元画像データの取得処理を終了すると、次に制御ユニット２１は、カメラヘッド制御部２１１の制御の下、ステップＳ１９において、カメラヘッドＩ／Ｆ２３からカメラヘッド１０に対しパターン投影信号を出力する。カメラヘッド１０は、上記パターン投影信号を受信するとパターン投影プロジェクタ１０ｂが点灯する。これにより運転者の顔には格子状のパターンが投影される。

この状態でカメラヘッド制御部２１１は、ステップＳ２０により、カメラヘッドＩ／Ｆ２３からカメラヘッド１０に対し撮像制御信号を出力する。カメラヘッド１０は、上記撮像制御信号を受信すると、カメラ１０ａが上記光学パターンの投影された運転者４の顔を撮像し、この撮像により得られた運転者４の顔のパターン投影画像データを顔画像検出処理ユニット２０へ出力する。

顔画像検出処理ユニット２０の制御ユニット２１は、三次元画像取得処理部２１３の制御の下、ステップＳ２１において、上記パターン投影下で撮像されたパターン投影画像データ、つまり三次元画像データＶｂ１を、カメラヘッドＩ／Ｆ２３を介して取り込む。そして、当該三次元画像データＶｂ１をデータメモリ２５の三次元画像記憶部２５２に記憶させる。このとき、上記パターン投影プロジェクタ１０ｂは偏光フィルタを通さないパターン光を投影している。このため、上記三次元画像データＶｂ１は、例えば図９に例示するように眼球において角膜反射の輝点４２が映り込んだ画像となる。

続いて三次元画像取得処理部２１３は、ステップＳ２２により、上記三次元画像記憶部２５２に記憶された三次元画像データＶｂ１と、上記二次元画像記憶部２５１に記憶された、照明されていない状態で撮像された二次元画像データＶａ２をそれぞれ読み出し、これらの三次元画像データＶｂ１と二次元画像データＶａ２との間の差分画像データＶｂ（Ｖｂ＝Ｖｂ１−Ｖａ２）を算出する。この三次元画像データについて差分画像を得る目的は、先に述べた二次元画像の場合と同様に、対向車のヘッドライトや各種メータの発光等の周辺光の影響を上記三次元画像データから除去するためである。そして三次元画像取得処理部２１３は、上記三次元差分画像データＶｂを三次元画像記憶部２５２に記憶させる。

（３）二次元差分画像データＶａと三次元差分画像データＶｂとの対応付け
上記三次元差分画像データＶｂが取得されると、続いて制御ユニット２１は画像処理部２１４の制御の下、ステップＳ２３において、上記二次元画像記憶部２５１に記憶された二次元差分画像データＶａと、上記三次元画像記憶部２５２に記憶された三次元差分画像データＶｂを読み出す。そして、この読み出された二次元差分画像データＶａと三次元差分画像データＶｂとを、画素位置が同一のもの同士で対応付ける。この対応付け処理は、上記二次元差分画像データＶａと三次元差分画像データＶｂがいずれも１個の同一のカメラ１０ａにより得られた画像をもとに生成されたものであるため、フレームを重ねるだけで簡単かつ精度良く行うことができる。

（４）瞳孔の二次元位置の検出
次に制御ユニット２１は、画像処理部２１４の制御の下、ステップＳ２４において運転者４の瞳孔の二次元位置を例えば以下のように検出する。
すなわち、上記二次元画像記憶部２５１から二次元差分画像データＶａを読み出し、この二次元差分画像データＶａから運転者４の目を認識する。目の認識は、例えばパターンマッチング等の既存の画像認識技術を用いることで実現できる。そして、上記認識した目の画像から図８に例示するように瞳孔４１を認識し、この瞳孔４１の二次元位置を検出する。この瞳孔４１の二次元位置は、二次元画像のフレームを二次元平面（Ｘ−Ｙ座標平面）と定義するとき、この二次元平面のＸ−Ｙ座標により表される。画像処理部２１４は、上記検出された瞳孔４１の二次元位置を表す情報を検出結果記憶部２５３に記憶させる。

（５）目の輝点の三次元位置の検出
続いて制御ユニット２１は、画像処理部２１４の制御の下、ステップＳ２５により運転者４の目（眼球）の輝点の三次元位置を例えば以下のように検出する。
すなわち、画像処理部２１４は、先ず三次元画像記憶部２５２から三次元差分画像データＶｂを読み出し、この三次元差分画像データＶｂから運転者４の目を認識する。ここでの目の認識も、例えばパターンマッチング等の既存の画像認識技術を適用することで実現できる。

続いて画像処理部２１４は、上記認識した目の画像をもとに、当該目の輝点の三次元位置を例えば三角測量法を用いて以下のように検出する。図１０は、その検出処理の概要を説明するための図である。

すなわち、画像処理部２１４は先ず上記認識された目の画像から眼球の角膜反射による輝点を検出し、カメラ１０ａから当該輝点との間の光軸ＬａをＺ軸と定義する。またそれと共に、当該光軸Ｌａと直交する二次元方向をＸ−Ｙ軸で定義する。つまり、運転者４の目の位置をＸ，Ｙ，Ｚ各軸により表される三次元座標で定義可能とする。

ここで、カメラヘッド１０において、パターン投影プロジェクタ１０ｂはカメラ１０ａに対しその光軸と直交する方向に一定距離だけ離間して配置されている。そのため、カメラ１０ａと眼球の角膜反射による輝点との間を結ぶ光軸Ｌａと、パターン投影プロジェクタ１０ｂと上記眼球の角膜反射による輝点との間を結ぶ光軸Ｌｂとの間には一定の角度が存在する。

このような条件の下で、カメラ１０ａに対する運転者４の顔の位置が奥行き方向に変化すると、その変化の距離に応じて三次元差分画像Ｖｂにおける光学パターンの二次元位置（Ｘ−Ｙ座標位置）が変化する。例えば、図１０の例では、運転者４の顔の位置がＰ１からＰ２に変化すると、三次元差分画像データＶｂにおける光学パターンＲの位置が図１０のＱ１からＱ２のように変化する。画像処理部２１４は、上記三次元差分画像データＶｂにおける光学パターンＲの位置の変化量Ｑ１−Ｑ２を検出する。そして、この光学パターンＲの位置の変化量Ｑ１−Ｑ２と、上記光軸ＬａとＬｂとの間の角度とをもとに、上記カメラ１０ａに対する眼球における輝点の位置の変化量（距離差）Ｄ１２を算出する。

かくして、カメラ１０ａに対する運転者４の顔の奥行き方向（Ｚ軸方向）の位置を求めることができ、これにより眼球の角膜反射による輝点の三次元位置を検出できる。画像処理部２１４は、ステップＳ２６において、上記検出された眼球の角膜反射による輝点の三次元位置を表す情報を、上記瞳孔の二次元位置を表す情報と対応付けて、検出結果記憶部２５３に記憶させる。

（５）運転者の視線方向の検出
上記瞳孔の二次元位置の検出処理および目の三次元位置の検出処理が終了すると、制御ユニット２１は、視線検出部２１５の制御の下、ステップＳ２７において運転者４の視線方向の検出処理を実行する。

図１１は、上記視線方向の検出処理の一例を説明するための概略図である。視線の方向を検出するには、眼球の角膜反射による輝点位置に対する瞳孔の二次元（Ｘ，Ｙ）方向の位置ずれ量と、カメラ１０ａに対する眼球の角膜反射による輝点の奥行き（Ｚ）方向の位置が必要である。

すなわち、例えばいまカメラ１０ａに対する目の位置が図１１のＰ１だったとすると、このときの視線の方向Ｗ１は、眼球の角膜反射による輝点位置に対する瞳孔の二次元（Ｘ，Ｙ）方向の位置ずれ量と、カメラ１０ａから眼球の角膜反射による輝点位置までの距離Ｄ１とから算出される。同様に、カメラ１０ａに対する目の位置が図１１のＰ２だったとすると、このときの視線の方向Ｗ２は、眼球の角膜反射による輝点位置に対する瞳孔の二次元（Ｘ，Ｙ）方向の位置ずれ量と、カメラ１０ａから眼球の角膜反射による輝点位置までの距離Ｄ２とから算出される。

視線検出部２１５は、上記視線方向の検出結果を表す情報を、外部Ｉ／Ｆ２４から表示制御装置５０へ出力する。表示制御装置５０は、上記顔画像検出処理ユニット２０から出力された運転者４の視線方向の検出情報をもとに、運転者４が視認している対象物を特定する。そして、例えばヘッドアップディスプレイにおいて、車両前方の撮像画像に枠型のパターンを重ねて表示する。

例えば、図１１の例では、検出された視線の方向Ｗ１と車両前方を撮像した映像とから、運転者４は例えば対象物Ｋ１を見ていると判定でき、この対象物Ｋ１の映像に対し枠型のパターンを重ねて表示する。また、検出された視線の方向Ｗ２と車両前方を撮像した映像とから、運転者４は例えば対象物Ｋ２を見ていると判定でき、この対象物Ｋ１の映像に対し枠型のパターンを重ねて表示する。

以上述べた（１）〜（５）の一連の処理は、予め設定された検出周期で繰り返し実行される。検出周期は、例えば１秒当たり上記（１）〜（５）の処理が３０回実行されるように設定される。

（効果）
以上詳述したように一実施形態では、カメラヘッド１０に１個のカメラ１０ａを設け、この１個のカメラ１０ａにより、運転者４の顔の二次元画像データと、格子状の光学パターンを投影した状態で撮像した運転者４の顔の三次元画像データとをそれぞれ取得している。そして、上記取得された二次元画像データと三次元画像データとを画素位置が同一のもの同士で対応付け、これにより運転者４の同一の目を対象として、上記二次元画像データから瞳孔の二次元位置を検出すると共に、上記三次元画像データから目の三次元位置を検出するようにしている。

従って、運転者４の顔の二次元画像データと三次元画像データを、キャリブレーション等の処理を行うことなく簡単な処理により精度良く対応付けることができる。また、二次元画像データと三次元画像データとをそれぞれ別個の撮像部により取得する場合に比べ、カメラヘッドの小型化とコストダウンを図ることができる。これは、車両のコックピットのようにカメラヘッドを設置可能な場所が限られる場合に、特に有効である。

また、二次元画像データを取得する際に、照明部１０ｃ，１０ｄにより照明した状態で撮像した画像データと、照明していない状態で撮像した画像データとの差分画像を生成するようにしている。また同様に、三次元画像データを取得する際には、パターン投影画像と、照明をしていない状態で撮像した画像との差分画像を生成するようにしている。このため、周辺光の影響を低減して濃淡のバラツキのない高品質の二次元画像データおよび三次元画像データを取得することができる。

さらに、照明部１０ｃ，１０ｄおよびパターン投影プロジェクタ１０ｂは近赤外光を発光するので、運転者４に対する防眩性を維持し、かつサングラスを着用している運転者に対しても視線方向を検出することができる。

さらに、上記二次元画像データから検出された瞳孔の二次元位置と、上記三次元画像データから検出された目の三次元位置とをもとに、運転者４の視線方向を検出している。このため、カメラ１０ａに対する運転者４の顔の奥行き方向の位置が変化しても、運転者４の視線方向を正確に検出することができる。

［変形例］
前記一実施形態では、カメラヘッド１０において、カメラ１０ａ、パターン投影プロジェクタ１０ｂおよび照明部１０ｃ，１０ｄを一例に配置した構成とした場合について例示したが、１個のカメラ１０ａを囲むようにパターン投影プロジェクタ１０ｂおよび照明部１０ｃ，１０ｄを円形または円弧状に配置するようにしてもよい。

前記一実施形態では、顔の二次元画像データの取得処理を行った後に、三次元画像データの取得処理を行う場合について例示した。しかし、それに限らず、先ず三次元画像データの取得処理を行い、しかる後二次元画像データの取得処理を行うようにしてもよい。

前記一実施形態では、運転者４の視線方向を検出し、その結果をヘッドアップディスプレイに表示する場合について述べた。しかし、これに限らず、上記視線方向の検出結果を表す情報を例えば脇見判定装置に入力し、この脇見判定装置において上記視線方向の検出結果をもとに運転者４の脇見の有無を判定するようにしてもよい。

また、上記視線方向の検出結果を表す情報を例えば自動運転制御装置に入力し、この自動運転制御装置において上記視線方向の検出結果をもとに、例えば自動運転モードから手動運転モードへの切り替えの可否を判定するようにしてもよい。

以上、本発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

［付記］
上記実施形態の一部または全部は、特許請求の範囲のほか以下の付記に示すように記載することも可能であるが、これに限定されない。
（付記１）
ハードウェアプロセッサ（２１Ａ）とメモリ（２１Ｂ）とを有する画像処理装置であって、
前記ハードウェアプロセッサ（２１Ａ）が、
前記運転者（４）の顔に対し光学パターンを投影し（２１１）、
前記運転者（４）の顔を撮像し（２１１）、
前記運転者（４）の顔に対し前記前記光学パターンが投影されていない状態で前記撮像された第１の顔画像と、前記光学パターンが投影されている状態で前記撮像された第２の顔画像とをそれぞれ取得し（２１２，２１３）、
前記第１の顔画像と前記第２の顔画像とを対応付ける（２１４）ように構成される、画像処理装置。

（付記２）
ハードウェアプロセッサ（２１Ａ）とメモリ（２１Ｂ）とを有する装置が実行する画像処理方法であって、
前記ハードウェアプロセッサ（２１Ａ）が、運転者（４）の顔を撮像するように撮像部を制御して、当該撮像部により撮像された第１の顔画像を取得する過程（Ｓ１３〜Ｓ１８）と、
前記ハードウェアプロセッサ（２１Ａ）が、前記運転者（４）の顔に対し光学パターンを投影するように投影部を制御する過程（Ｓ１９）と、
前記ハードウェアプロセッサ（２１Ａ）が、前記運転者（４）の顔に対し前記光学パターンが投影された状態で前記運転者（４）の顔を撮像するように前記撮像部を制御し、当該撮像部（１０ａ）により撮像された第２の顔画像を取得する過程（Ｓ２０〜Ｓ２２）と、
前記ハードウェアプロセッサ（２１Ａ）が、前記第１の顔画像と前記第２の顔画像とを対応付ける過程（Ｓ２３）と
を具備する、画像処理方法。

（付記３）
ハードウェアプロセッサ（２１Ａ）とメモリ（２１Ｂ）とを有する装置が実行する画像処理方法であって、
前記ハードウェアプロセッサ（２１Ａ）が、前記運転者（４）の顔に対し、光学パターンを投影するように投影部を制御する過程（Ｓ１９）と、
前記ハードウェアプロセッサ（２１Ａ）が、前記運転者（４）の顔に対し前記光学パターンが投影された状態で、前記運転者（４）の顔を撮像するように撮像部（１０ａ）を制御して、第２の顔画像を取得する過程と（Ｓ２０〜Ｓ２２）、
前記ハードウェアプロセッサ（２１Ａ）が、前記光学パターンが投影されていない状態で前記運転者（４）の顔を撮像するように前記撮像部（１０ａ）を制御して、第１の顔画像を取得する過程（Ｓ１３〜Ｓ１８）と、
前記ハードウェアプロセッサ（２１Ａ）が、前記第１の顔画像と前記第２の顔画像とを対応付ける過程（Ｓ２３）と
を具備する、画像処理方法。

１，１０…カメラヘッド、１ａ…撮像部、１０ａ…カメラ、
１ｂ…投影部、１０ｂ…パターン投影プロジェクタ、
１ｃ，１０ｃ，１０ｄ，１０ｄ…照明部、１１…ヘッド筐体、
１１ｃ，１２ｃ，１１ｄ，１２ｄ…照明用の発光素子、
２，２０…顔画像検出処理ユニット、
２ａ…撮像制御部、２ｂ…画像処理部、２１…制御ユニット、
２１Ａ…ＣＰＵ、２１Ｂ…プログラムメモリ、２２…バス、
２３…カメラヘッドＩ／Ｆ、２４…外部Ｉ／Ｆ、２５…データメモリ、
３…車両、４…運転者、３１…プロジェクタ基板、３２…発光素子、
３３…プロジェクタ光学系、４０…着座センサ、５０…表示制御装置、
２１１…カメラヘッド制御部、２１２…二次元画像取得処理部、
２１３…三次元画像取得処理部、２１４…画像処理部、２１５…視線検出部、
２５１…二次元画像記憶部、２５２…三次元画像記憶部、
２５３…検出結果記憶部。

Claims (7)

1. 車両内に設置され、撮像画像から運転者の顔画像を検出する画像処理装置であって、
   前記運転者の顔に対し光学パターンを投影する投影部と、
   前記運転者の顔を撮像する撮像部と、
   前記運転者の顔に対し前記投影部により前記光学パターンが投影されていない状態で前記撮像部により撮像された第１の顔画像と、前記光学パターンが投影されている状態で前記撮像部により撮像された第２の顔画像とをそれぞれ取得する撮像制御部と、
   前記第１の顔画像と前記第２の顔画像とを対応付ける画像処理部と
   を具備し、
   前記画像処理部は、
   前記第１の顔画像と前記第２の顔画像とを画素位置が同一のもの同士で対応付ける処理部と、
   前記第２の顔画像をもとに、前記撮像部と前記顔の目とを結ぶ光軸と、当該光軸と直交する二次元平面により定義される三次元空間における前記目の三次元位置を検出する第１の検出部と、
   前記第１の顔画像をもとに、前記三次元位置の検出対象となった目を対象として、当該目の瞳孔の前記二次元平面における二次元位置を検出する第２の検出部と
   を備える、画像処理装置。
2. 前記運転者の顔を照明する照明部を、さらに具備し、
   前記撮像制御部は、前記照明部により前記顔が照明された状態で前記撮像部により撮像された画像と、前記照明部により前記顔が照明されていない状態で前記撮像部により撮像された画像とをそれぞれ取得し、前記取得された各画像の差分画像を前記第１の顔画像とする、請求項１に記載の画像処理装置。
3. 前記照明部は、近赤外光を発光する光源と、当該光源から発光された近赤外光を偏光する偏光フィルタとを備え、当該偏光フィルタを通過した前記近赤外光により前記顔を照明する、請求項２に記載の画像処理装置。
4. 前記撮像制御部は、前記運転者の顔に対し前記投影部により前記光学パターンが投影された状態で前記撮像部により撮像された画像と、前記光学パターンが投影されていない状態で前記撮像部により撮像された画像とをそれぞれ取得し、前記取得された各画像の差分画像を前記第２の顔画像とする、請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記画像処理部により対応付けられた前記検出された目の三次元位置と前記検出された瞳孔の二次元位置とに基づいて前記運転者の視線を検出する視線検出部を、
   さらに具備する請求項１に記載の画像処理装置。
6. 車両内に設置され、撮像画像から運転者の顔画像を検出する画像処理装置が実行する画像処理方法であって、
   前記画像処理装置が、前記運転者の顔を撮像部により撮像して、第１の顔画像を取得する過程と、
   前記画像処理装置が、前記運転者の顔に対し縞状または格子状をなす光学パターンを投影する過程と、
   前記画像処理装置が、前記運転者の顔に対し前記光学パターンが投影された状態で前記運転者の顔を前記撮像部により撮像して、第２の顔画像を取得する過程と、
   前記画像処理装置が、前記第１の顔画像と前記第２の顔画像とを画素位置が同一のもの同士で対応付ける過程と、
   前記画像処理装置が、前記第２の顔画像をもとに、前記撮像部と前記顔の目とを結ぶ光軸と、当該光軸と直交する二次元平面により定義される三次元空間における前記目の三次元位置を検出する過程と、
   前記画像処理装置が、前記第１の顔画像をもとに、前記三次元位置の検出対象となった目を対象として、当該目の瞳孔の前記二次元平面における二次元位置を検出する過程と
   を具備する、画像処理方法。
7. 車両内に設置され運転者の顔の画像を検出する画像処理装置が実行する画像処理方法であって、
   前記画像処理装置が、前記運転者の顔に対し、縞状または格子状をなす光学パターンを投影する過程と、
   前記画像処理装置が、前記運転者の顔に対し前記光学パターンが投影された状態で前記運転者の顔を撮像部により撮像して、第２の顔画像を取得する過程と、
   前記画像処理装置が、前記光学パターンが投影されていない状態で前記運転者の顔を前記撮像部により撮像して、第１の顔画像を取得する過程と、
   前記画像処理装置が、前記第１の顔画像と前記第２の顔画像とを画素位置が同一のもの同士で対応付ける過程と、
   前記画像処理装置が、前記第２の顔画像をもとに、前記撮像部と前記顔の目とを結ぶ光軸と、当該光軸と直交する二次元平面により定義される三次元空間における前記目の三次元位置を検出する過程と、
   前記画像処理装置が、前記第１の顔画像をもとに、前記三次元位置の検出対象となった目を対象として、当該目の瞳孔の前記二次元平面における二次元位置を検出する過程と
   を具備する、画像処理方法。

Images