JP4140399B2

JP4140399B2 - 視線方向検出装置および視線方向検出方法

Info

Publication number: JP4140399B2
Application number: JP2003051767A
Authority: JP
Inventors: 雅道大杉
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2003-02-27
Filing date: 2003-02-27
Publication date: 2008-08-27
Anticipated expiration: 2023-02-27
Also published as: JP2004255074A

Description

【０００１】
【発明の属する技術分野】
本発明は、検出対象となる目の視線方向を検出する視線方向検出装置および視線方向検出方法に関する。
【０００２】
【従来の技術】
自動車を運転する運転者などの視線方向を非接触で検出する技術として、従来、たとえば特開平７−１６７６１８号公報に開示された技術がある。この技術は、赤外線カメラと運転者の距離を計測し、赤外線カメラとの距離関係が既知の視線計測用カメラで運転者の眼球を撮影する。視線計測用カメラで撮影された眼球の角膜反射像、瞳孔中心等の位置から視線方向を算出するものである。
【０００３】
【特許文献１】
特開平７−１６７６１８号公報（４頁右欄、図１）
【０００４】
【発明が解決しようとする課題】
しかし、上記特許文献１に開示された技術では、視線計測用カメラで撮影された眼球の角膜反射像や瞳孔中心等から視線方向を求めるにすぎないものである。このため、正確な視線方向を求めているとは言い難いものであった。
【０００５】
そこで、本発明の課題は、視線方向を正確に検出することができる視線方向検出装置および視線方向検出方法を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決した本発明に係る視線方向検出装置は、検出対象となる目の視線方向を検出する視線方向検出装置において、目をそれぞれ撮像する第１撮像手段および第２撮像手段を備えるステレオカメラと、第１撮像手段および第２撮像手段で撮像された第１画像および第２画像中から、それぞれ黒目のエッジを検出するエッジ検出手段と、第１画像における黒目のエッジ部分における任意の特定点を決定する特定点決定手段と、第１画像中の特定点を通るエピポーラ直線を求め、エピポーラ直線と第２画像中におけるエッジ画像との交点に基づいて、第１画像中の特定点に対応する第２画像中の対応点を求める対応点決定手段と、第１画像中の特定点および第２画像中の対応点に基づいて、目における黒目のエッジが位置する境界平面を求める平面算出手段と、目の中心位置を求め、求められた目の中心位置および平面検出手段で検出された境界平面の法線ベクトルに基づいて、目の視線方向を求める視線方向検出手段と、を備えるものである。
【０００７】
また、上記課題を解決した本発明に係る視線方向検出方法は、検出対象となる目の視線を検出する視線方向検出方法において、第１撮像手段および第２撮像手段によって、それぞれ検出対象となる目を撮像する工程と、第１撮像手段で撮像された第１画像および第２撮像手段で撮像された第２画像中から、それぞれ黒目のエッジを検出する工程と、第１画像中における黒目のエッジ部分における任意の特定点を決定する工程と、第１画像中の特定点を通るエピポーラ直線を求め、エピポーラ直線と第２画像中におけるエッジ画像との交点に基づいて、第１画像中の特定点に対応する第２画像中の対応点を求める工程と、第１画像中の特定点および第２画像中の対応点に基づいて、検出対象となる目における黒目のエッジが位置する境界平面を求める工程と、検出対象となる目の中心位置を求める工程と、境界平面の法線ベクトルを求める工程と、目の中心位置および境界平面の法線ベクトルに基づいて、目の視線方向を求めることを特徴とする。
【０００８】
本発明に係る視線方向検出装置および視線方向検出方法においては、視線方向を求めるにあたり、黒目と白目の境目部分である黒目のエッジを検出し、黒目のエッジが位置する境界平面を算出し、黒目の中心を通る境界平面の法線方向を視線方向として求めている。このように、黒目の中心部分と黒目のエッジが位置する境界平面の法線を利用して、視線方向を求めているので、検出対象に非接触で正確な視線方向を検出することができる。
【０００９】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、各実施形態において、同一の機能を有する部分については同一の符号を付し、重複する説明は省略することがある。
【００１０】
図１は、本発明の実施形態に係る視線方向検出装置のブロック構成図である。図１に示すように、本実施形態に係る視線方向検出装置Ｄは、たとえば自動車の運転席に設けられ、運転者の視線を検出するために用いられる。この視線方向検出装置Ｄは、ステレオカメラ１および画像処理装置２を有している。ステレオカメラ１は、第１撮像手段である第１撮像装置１１および第２撮像手段である第２撮像装置１２を備えている。第１撮像装置１１および第２撮像装置１２には、同期装置１３が接続されており、それぞれ同期した状態で同一の対象物を撮像するようになっている。これらの第１撮像装置１１および第２撮像装置１２は、内部パラメータおよび相対的な位置関係は既知であり、同期装置１３で同期が取られた状態で検出対象となる目を含む顔画像を撮像することができる。
【００１１】
また、画像処理装置２は、第１エッジ画像作成部２１、第２エッジ画像作成部２２、三次元座標算出部２３、および視線方向推定部２４を有している。第１エッジ画像作成部２１は、ステレオカメラ１における第１撮像装置１１に接続されている。第１撮像装置１１は、撮像した画像（第１画像）を第１エッジ画像作成部２１に出力している。第１エッジ画像作成部２１では、出力された第１画像における黒目と白目の境目部分である黒目のエッジ部分を、たとえば微分処理して第１エッジ画像を作成する。また第２エッジ画像作成部２２は、ステレオカメラ１における第２撮像装置１２に接続されている。第２撮像装置１２は、撮像した画像（第２画像）を第２エッジ画像作成部２２に出力している。第２エッジ画像作成部２２では、出力された第２画像における黒目のエッジ部分を、たとえば微分処理して第２エッジ画像を作成する。これらの第１エッジ画像作成部２１および第２エッジ画像作成部２２によって、本発明のエッジ検出手段が構成されている。
【００１２】
第１エッジ画像作成部２１および第２エッジ画像作成部２２は、いずれも三次元座標算出部２３に接続されている。第１エッジ画像作成部２１は、作成した第１エッジ画像を三次元座標算出部２３に出力し、第２エッジ画像作成部２２は、作成した第２エッジ画像を三次元座標算出部２３に出力する。三次元座標算出部２３では、第１エッジ画像作成部２１から出力された第１エッジ画像および第２エッジ画像作成部２２から出力された第２エッジ画像に基づいて、黒目のエッジ部分の三次元座標を算出する。この三次元座標算出部２３が、本発明の特徴点決定手段、対応点決定手段、および平面算出手段として機能している。
【００１３】
三次元座標算出部２３は、本発明の視線方向検出手段である視線方向推定部２４に接続されている。三次元座標算出部２３は、算出した黒目のエッジ部分の三次元座標を視線方向推定部２４に出力する。視線方向推定部２４では、出力されたエッジ部分の三次元座標に基づいて、視線方向を算出する。また、この視線方向推定部２４では、黒目の中心位置を算出しており、視線方向推定部２４は黒目中心位置算出手段としても機能している。さらに、視線方向推定部２４は、画像処理装置２の外部に設けられた図示しないモニタなどの出力手段に接続されている。視線方向推定部で推定された視線方向は、この出力手段に出力される。
【００１４】
以上の構成を有する本実施形態に係る視線方向検出装置による視線方向検出方法について説明する。図２は、本実施形態に係る視線方向検出方法を示すフローチャートである。図２に示すように、視線方向の検出が開始されると、ステレオカメラ１による顔画像の撮像が行われる（Ｓ１）。顔画像の撮像は、あらかじめキャリブレーションされ、内部パラメータおよび相対的な位置関係が既知であるステレオカメラ１における第１撮像装置１１および第２撮像装置１２のそれぞれで同一の顔画像を撮像することによって行われる。第１撮像装置１１および第２撮像装置１２は、それぞれ同期装置１３に接続されており、両撮像装置１１，１２の撮像タイミングの同期が取られている。
【００１５】
顔画像を撮像したら、第１撮像装置１１で撮像した画像が第１撮像装置１１から第１エッジ画像作成部２１に出力され、第２撮像装置１２で撮像した画像が第２エッジ画像作成部２２に出力される。第１エッジ画像作成部２１および第２エッジ画像作成部２２では、それぞれ出力された画像を微分処理して、第１エッジ画像および第２エッジ画像を生成する（Ｓ２）。両エッジ画像作成部２１，２２では、エッジ画像から、顔における目の部分を検出する。目の部分を検出する際には、両撮像装置１１，１２で撮像した第１画像、第２画像にそれぞれ次の処理を行う。
【００１６】
まず、図３（ａ）に示す画像Ｇ中における白色に近い色の領域だけを抽出するように、画像を白で二値化してエッジ処理を施し、図３（ｂ）に示すように白目を抽出した白色エッジ画像ＷＧを生成する。この白色エッジ画像ＷＧに対して、白色部分をわずかに膨張させる膨張処理を施し、図３（ｃ）に示す白色膨張エッジ画像ＷＥＧを生成する。このような白での二値化処理を行う一方、図３（ｄ）に示すように、黒色に近い色の領域だけを抽出するように、画像を黒で二値化してエッジ処理を施し、図３（ｄ）に示すように黒目を抽出した黒色エッジ画像ＢＧを生成する。この黒色エッジ画像ＢＧに対して、白色部分を膨張させる膨張処理を施し、図３（ｅ）に示す黒色膨張エッジ画像ＢＥＧを生成する。そして、それぞれ膨張処理を施して得られた白色膨張エッジ画像ＷＥＧおよび黒色膨張エッジ画像ＢＥＧ間で、同じ座標同士の画素でＡＮＤ演算を行う。その結果、図３（ｆ）に示すように、有意となった画素が輪郭エッジとなるエッジ画像ＥＧが生成される。
【００１７】
このようにして第１画像および第２画像について第１エッジ画像および第２エッジ画像を形成したら、対応点探索による黒目輪郭上の点の三次元座標を算出する（Ｓ３）。黒目輪郭上の点の三次元座標を算出するにあたり、まず第１エッジ画像と第２エッジ画像との対応付けを行う。その対応付けのため、図４（ａ）に示す第１エッジ画像ＥＧ１中の黒目輪郭エッジＥ１における任意の特定点Ｍの座標を指定し、図４（ｂ）に示すように、特定点Ｍに対応する対応点を通るエピポーラ直線Ｐを第２エッジ画像ＥＧ２上に引くことができる。このエピポーラ直線Ｐは、下記（１）式によって表すことができる。
【００１８】
【数１】

上記（１）式における各数値のうち、座標ｎ₂（第２画像上の特定点Ｍの結像座標１）^T以外の行列や座標等は既知である。したがって、（１）式は、座標ｎ₂を拘束する式であり、しかも座標ｎ₂を直線上に拘束することになる。一方、第１エッジ画像ＥＧ１上でも第２エッジ画像ＥＧ２上でも黒目輪郭エッジＥ２上の点は輪郭上の点として存在するので、両エッジ画像ＥＧ１，ＥＧ２上でそれぞれ黒目輪郭エッジＥ１，Ｅ２上の点となる。よって、ステップＳ２で作成したエッジ画像がある座標と、（１）式で求められるエピポーラ直線との交点が第１画像エッジで指定した点に対応する可能性のある第２エッジ画像ＥＧ２上の交点Ｍ１，Ｍ２となる。
【００１９】
ここで、黒目輪郭のエッジは円形（またはだ円形）をなしているので、第２エッジ画像ＥＧ２上における黒目輪郭エッジＥ２の座標とエピポーラ直線との交点は１点あるいは２点となる。交点が１点であれば、一意的に対応点が求められるが、２点の場合には、そのいずれかを対応点として選択する必要がある。図４（ｂ）に示すように、第２エッジ画像ＥＧ２におけるエピポーラ直線Ｐと黒目輪郭エッジＥ２の交点Ｍ１，Ｍ２の２点が対応点の候補となる場合には、第１エッジ画像における特定点の近傍の特徴と第２エッジ画像における候補となる点の特徴とを、たとえばエッジ処理前の近傍画素の特徴を比較することによって、どちらの点が対応点となるかを決定することができる。
【００２０】
図５（ａ）は、第１エッジ画像ＥＧ１で特定点の近傍において指定した領域に対応する領域Ｒ１１が設定された第１画像Ｇ１の濃淡画像を示す模式図、（ｂ）は、第２エッジ画像ＥＧ２で対応点の候補となる交点Ｍ１，Ｍ２のそれぞれの近傍において指定した領域に対応する領域Ｒ２１，Ｒ２２が設定された第２画像Ｇ２の濃淡画像を示す模式図である。
【００２１】
図５（ａ）に示す第１画像Ｇ１の濃淡画像における領域Ｒ１１内の各画素の局所的な特徴量、たとえば輝度パターンを検出する一方、図５（ｂ）に示す第２画像Ｇ２の濃淡画像における領域Ｒ２１，Ｒ２２内のそれぞれの局所的な輝度パターンを検出する。領域Ｒ１１と領域Ｒ２１との輝度パターンおよび領域Ｒ１１と領域Ｒ２２との輝度パターンを比較する。図５（ｂ）に示すように、領域Ｒ１１と領域Ｒ２２とでは、その輝度パターンは大きく変わるのが通常であり、しかも対応点の近傍に相当する領域は、第１画像Ｇ１における領域Ｒ１１と近似しているはずである。このことから、領域Ｒ１１と領域Ｒ２１との輝度パターンおよび領域Ｒ１１と領域Ｒ２２との輝度パターンを比較した結果、第２画像Ｇ２における領域Ｒ２１，Ｒ２２のうち、その輝度パターンが第１画像Ｇ１における領域Ｒ１１の輝度パターンと類似する方を選べばよい。図５に示す例では、領域Ｒ２２の方が領域Ｒ２１よりも領域Ｒ１に輝度パターンが類似している。したがって、領域Ｒ２２における対応点Ｍ２を第１エッジ画像ＥＧ１における任意の特定点Ｍに対応する点として選択することができる。
【００２２】
こうして、第１エッジ画像ＥＧ１における特定点Ｍに対応する第２エッジ画像ＥＧ２における交点Ｍ２を対応点として決定することによって、第１画像と第２画像との対応付けが済んだら、下記（２）式および（３）式を満たす三次元座標（Ｘ，Ｙ，Ｚ）^Tを算出する。
【００２３】
【数２】

この（２）式および（３）式を満たす座標を求めることにより、黒目輪郭の三次元座標が算出される。
【００２４】
こうして、黒目輪郭の三次元座標を算出したら、視線方向の推定を行う（Ｓ４）。人の視線は、黒目輪郭の中心をとおり、黒目輪郭上の点が存在している平面の法線方向になる。ステップＳ３では、黒目輪郭の三次元座標を算出したが、黒目輪郭（黒目のエッジ）は本発明の境界平面である平面上の点として存在している。したがって、黒目輪郭が存在する平面に直交し、かつ黒目部分の中心を通る線の方向を視線として推定することができる。
【００２５】
一般的に、平面の方程式は、下記（４）式で表され、平面上の任意の３点が定まれたこの平面を決定することができる。
【００２６】
ａ・ｘ＋ｂ・ｙ＋ｃ・ｚ＝ｄ・・・（４）
また、黒目輪郭は円形（またはだ円形）を形成しているので、その中心は、下記（５）式に示すように、黒目輪郭上の点として計算した２点間の最大の点となる組の中心として算出できる。
【００２７】
【数３】

したがって、（４）式および（５）式の結果に基づいて、視線方向を下記（６）式で表すことができる。
【００２８】
【数４】

こうして、視線方向を推定することによって、視線方向の検出を行うことができる。
【００２９】
このように、本実施形態に係る視線方向検出方法においては、まず、黒目のエッジ部分が存在する平面を求め、この境界の法線であり、かつ黒目の中心を通る直線方向を視線方向として検出している。このため、検出対象となる目に非接触で人の視線方向を確実に検出することができるので、より正確な視線方向の検出を実現することができる。
【００３０】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。たとえば、上記実施形態において、白色で二値化した白色エッジ画像と黒色で二値化した黒色エッジ画像との座標同士をＡＮＤ演算する前に、白色エッジ画像および黒色エッジ画像におけるそれぞれ白色部分を膨張させる処理を施しているが、その一方のみを白色膨張させて、ＡＮＤ演算する態様とすることもできる。
【００３１】
また、白色エッジ画像と黒色エッジ画像とを用いてエッジ画像を生成しているが、その一方のみ、たとえば白色エッジ画像のみを用いた態様とすることもできる。この態様では、膨張前の白色エッジ画像と膨張した白色膨張エッジ画像をＡＮＤ演算処理することにより、エッジ画像を生成することができる。
【００３２】
あるいは、上記実施形態では、黒目の中心を求める際に、黒目輪郭上の点として計算した２点間の最大の点となる組の中心を黒目の中心としているが、たとえば黒目の形状をだ円に置き換えて、演算処理を施してだ円の中心を求めて、そのだ円の中心を黒目の中心とすることもできる。
【００３３】
他方、上記実施形態では、視線方向検出装置を自動車に設ける例について説明したが、入力装置として使用することにより、パソコンや家電製品などをはじめあらゆる装置の指令デバイスとしても用いることができる。
【００３４】
【発明の効果】
以上のとおり、本発明によれば、視線方向を正確に検出することができる視線方向検出装置および視線方向検出方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る視線方向検出装置のブロック構成図である。
【図２】本実施形態に係る視線方向検出方法を示すフローチャートである。
【図３】（ａ）は撮像手段で撮像した目の模式図、（ｂ）は（ａ）の画像を白色で二値化してエッジ処理した白色エッジ画像の模式図、（ｃ）は（ｂ）の白色部分を膨張させた膨張処理を施した白色膨張エッジ画像の模式図、（ｄ）は（ａ）の画像を黒色で二値化してエッジ処理した黒色エッジ画像の模式図、（ｅ）は（ｄ）の白色部分を膨張させた膨張処理を施した黒色膨張エッジ画像の模式図、（ｆ）は（ｃ）の画像と（ｅ）の画像をＡＮＤ演算して得られたエッジ画像の模式図である。
【図４】（ａ）は第１画像中における任意の特定点を説明するための模式図、（ｂ）は第２画像における第１画像中の特定点に対応する対応点を説明するための模式図である。
【図５】（ａ）は第１エッジ画像で特定点の近傍において指定した領域に対応する領域が設定された第１画像の濃淡画像を示す模式図、（ｂ）は第２エッジ画像で対応点の候補となる交点のそれぞれの近傍において指定した領域に対応する領域が設定された第２画像の濃淡画像を示す模式図である。
【符号の説明】
１…ステレオカメラ、２…画像処理装置、１１…第１撮像装置、１２…第２撮像装置、１３…同期装置、２１…第１エッジ画像作成部、２２…第２エッジ画像作成部、２３…三次元座標算出部、２４…視線方向推定部、Ｄ…視線方向検出装置、Ｇ…画像、ＷＧ…白色エッジ画像、ＷＥＧ…白色膨張エッジ画像、ＢＧ…黒色エッジ画像、ＢＥＧ…黒色膨張エッジ画像、Ｇ１…第１画像、Ｇ２…第２画像、Ｅ１，Ｅ２…黒目輪郭エッジ、ＥＧ…エッジ画像、ＥＧ１…第１エッジ画像、ＥＧ２…第２エッジ画像、Ｍ…特定点、Ｍ１…交点、Ｍ２…対応点（交点）、Ｐ…エピポーラ直線。

Claims

検出対象となる目の視線方向を検出する視線方向検出装置において、
前記目をそれぞれ撮像する第１撮像手段および第２撮像手段を備えるステレオカメラと、
前記第１撮像手段および前記第２撮像手段で撮像された第１画像および第２画像中から、それぞれ黒目のエッジを検出するエッジ検出手段と、
前記第１画像における黒目のエッジ部分における任意の特定点を決定する特定点決定手段と、
前記第１画像中の特定点を通るエピポーラ直線を求め、前記エピポーラ直線と前記第２画像中におけるエッジ画像との交点に基づいて、前記第１画像中の特定点に対応する前記第２画像中の対応点を求める対応点決定手段と、
前記第１画像中の特定点および前記第２画像中の対応点に基づいて、前記目における黒目のエッジが位置する境界平面を求める平面算出手段と、
前記黒目の中心位置および前記平面検出手段で検出された境界平面の法線ベクトルに基づいて、前記目の視線方向を求める視線方向検出手段と、
を備えることを特徴とする視線方向検出装置。
検出対象となる目の視線を検出する視線方向検出方法において、
第１撮像手段および第２撮像手段によって、それぞれ前記検出対象となる目を撮像する工程と、
前記第１撮像手段で撮像された第１画像および前記第２撮像手段で撮像された第２画像中から、それぞれ黒目のエッジを検出する工程と、
前記第１画像中における黒目のエッジ部分における任意の特定点を決定する工程と、
前記第１画像中の特定点を通るエピポーラ直線を求め、前記エピポーラ直線と前記第２画像中におけるエッジ画像との交点に基づいて、前記第１画像中の特定点に対応する前記第２画像中の対応点を求める工程と、
前記第１画像中の特定点および前記第２画像中の対応点に基づいて、前記検出対象となる目における黒目のエッジが位置する境界平面を求める工程と、
前記検出対象となる目の中心位置を求める工程と、
前記境界平面の法線ベクトルを求める工程と、
前記目の中心位置および前記境界平面の法線ベクトルに基づいて、前記目の視線方向を求めることを特徴とする視線方向検出方法。