JP5417272B2

JP5417272B2 - 眼球撮像装置

Info

Publication number: JP5417272B2
Application number: JP2010159631A
Authority: JP
Inventors: 昭夫高橋; 信介植田; 誠一山本
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2010-07-14
Filing date: 2010-07-14
Publication date: 2014-02-12
Anticipated expiration: 2030-07-14
Also published as: JP2012019931A

Description

本発明は、眼球撮像装置に関する。

従来、例えば眼鏡を着用した運転者の瞳孔を検出する際に、明瞳孔画像と暗瞳孔画像とをＡＮＤ演算してＡＮＤ画像を生成することによって、眼鏡のフレームなどでの反射像を除外して角膜反射像を抽出し、複数の瞳孔候補領域の中心から角膜反射像に向かうベクトルが等しくなる組み合わせを選択する瞳孔検知装置が知られている（例えば、特許文献１参照）。

特開２００９−２５４５２５号公報

ところで、上記従来技術に係る瞳孔検知装置によれば、多数の演算が必要とされることから、処理負荷が増大してしまうという問題が生じる。しかも、明瞳孔画像および暗瞳孔画像を取得するために複数の光源が必要となり、装置構成に要する費用が嵩むという問題が生じる。

本発明は上記事情に鑑みてなされたもので、装置構成に要する費用および処理負荷が嵩むことを防止しつつ精度良く角膜反射像を取得することが可能な眼球撮像装置を提供することを目的とする。

上記課題を解決して係る目的を達成するために、本発明の第１態様に係る眼球撮像装置は、ひとの顔を撮像して顔画像を出力する撮像手段（例えば、実施の形態での乗員カメラ１１）と、前記ひとが存在する方向に向かって光を照射可能に配置された光源（例えば、実施の形態での光源１２）と、前記撮像手段から出力された前記顔画像から前記光源から照射された前記光による複数の反射点を抽出する反射点抽出手段（例えば、実施の形態での反射点抽出部２４）と、前記反射点抽出手段により抽出された前記複数の反射点のうち所望の反射点を角膜反射像として抽出する角膜反射像抽出手段（例えば、実施の形態での角膜反射像抽出部２８）とを備える眼球撮像装置であって、前記撮像手段から出力された前記顔画像から当該顔画像における略水平方向及び略垂直方向のエッジを抽出するエッジ抽出手段（例えば、実施の形態でのエッジ抽出部２５）と、前記顔画像から前記エッジ抽出手段により抽出された前記略水平方向のエッジ上に存在する前記反射点および前記略垂直方向のエッジ上に存在する前記反射点を除去した画像を生成する除去画像生成手段（例えば、実施の形態での除去画像生成部２７）とを備え、前記角膜反射像抽出手段は、前記除去画像生成手段により生成された前記画像に基づき前記角膜反射像を抽出する。

さらに、本発明の第２態様に係る眼球撮像装置は、前記エッジ抽出手段により抽出された前記略水平方向及び前記略垂直方向のエッジに基づき前記ひとが眼鏡を着用しているか否かを判定する眼鏡判定手段（例えば、実施の形態での眼鏡判定部２６）を備え、前記角膜反射像抽出手段は、前記眼鏡判定手段により前記ひとが眼鏡を着用していると判定された場合には、前記エッジ抽出手段により抽出された前記略水平方向及び前記略垂直方向のエッジの内側の領域に存在する前記反射点のみを抽出する。

本発明の第１態様に係る眼球撮像装置によれば、顔画像から抽出される複数の反射点のうちから、略水平方向のエッジ上に存在する反射点及び略垂直方向のエッジ上に存在する反射点を除去してから、角膜反射像を抽出することにより、角膜反射像を抽出する際の処理負荷を低減することができ、角膜反射像の抽出精度を容易に向上させることができる。しかも、複数の光源を備える必要は無く、１つの光源を備えるだけで顔画像から角膜反射像を抽出することができ、装置構成に要する費用が嵩むことを防止することができる。

さらに、本発明の第２態様に係る眼球撮像装置によれば、ひとが眼鏡を着用している場合には、略水平方向及び略垂直方向のエッジの内側の領域に存在する反射点のみを抽出することから、角膜反射像を抽出する処理を適用する領域を適切に縮小させることができ、処理負荷を、より一層、軽減して、処理を高速化することができるとともに、角膜反射像の誤抽出を防止することができる。

本発明の実施の形態に係る眼球撮像装置の構成図である。本発明の実施の形態に係る眼球撮像装置により抽出された各反射像Ｒａおよび反射点Ｒｂ，Ｒｃ，Ｒｄと、各エッジＥａ，Ｅｂ，Ｅｃと、各矩形形状Ｓａ，Ｓｂとの例を示す図である。本発明の実施の形態に係る眼球撮像装置により抽出された各反射像Ｒａおよび反射点Ｒｂ，Ｒｃ，Ｒｄの例を示す図である。本発明の実施の形態に係る眼球撮像装置により抽出された各反射像Ｒａおよび反射点Ｒｂ，Ｒｃ，Ｒｄの例を示す図である。本発明の実施の形態に係る眼球撮像装置の動作を示すフローチャートである。

以下、本発明の眼球撮像装置の一実施形態について添付図面を参照しながら説明する。
本実施の形態による眼球撮像装置１０は、例えば図１に示すように、乗員カメラ１１と、光源１２と、処理装置１３とを備えて構成されている。

乗員カメラ１１は、例えば車室内のインスツルメントパネル（図示略）などに配置され、少なくとも車両の運転席に着座した運転者の顔を撮像対象として撮像領域内に含み、例えば可視光領域または赤外線領域にて撮像可能であって、運転者の顔を含む顔画像を出力する。

光源１２は、乗員カメラ１１による撮像時に撮像対象（例えば、運転席に着座した運転者の顔など）に可視光線または赤外線などの光を照射可能であって、例えば車室内のインスツルメントパネルにおいて乗員カメラ１１から左右にずれた位置などに配置されている。

処理装置１３は、例えば、撮像制御部２１と、照射制御部２２と、顔画像取得部２３と、反射点抽出部２４と、エッジ抽出部２５と、眼鏡判定部２６と、除去画像生成部２７と、角膜反射像抽出部２８と、視線方向検知部２９とを備えて構成されている。

撮像制御部２１は、乗員カメラ１１による撮像を制御する。
照射制御部２２は、光源１２による光の照射を制御する。

顔画像取得部２３は、乗員カメラ１１から出力される顔画像を取得する。
反射点抽出部２４は、顔画像取得部２３により取得された顔画像に対して２値化処理などの処理を行ない、運転者の顔、特に眼球周辺において、光源１２により照射された光の反射点を検出する。
例えば図２（Ａ）および図３に示すように、眼鏡Ｇを着用した運転者に対して光源１２から赤外線の光が照射された場合には、反射点抽出部２４は、角膜表面における光の反射像Ｒａに加えて、眼鏡Ｇのフレーム表面における光の反射点Ｒｂと、眼鏡Ｇのレンズ表面における光の反射点Ｒｃと、眼鏡Ｇの鼻かけ部分における光の反射点Ｒｄとなどを抽出する。

エッジ抽出部２５は、顔画像取得部２３により取得された顔画像に基づき、例えば顔画像のグレースケール画像に対してソーベルフィルタなどの微分フィルタによる所定のフィルタ処理を行なう。そして、このフィルタ処理によって得られる処理結果に２値化処理を行なうことによって、例えば顔画像の横方向および縦方向に対応する水平方向および垂直方向での水平エッジおよび垂直エッジを抽出し、抽出結果を出力する。
例えば図２（Ｂ）に示すように、眼鏡Ｇを着用した運転者に対しては、エッジ抽出部２５は、運転者の顔の眼や瞳孔や鼻や唇などの各種の部位に対するエッジＥａと、眼鏡Ｇのフレームに対するエッジＥｂと、反射像Ｒａおよび反射点Ｒｂ，Ｒｃ，Ｒｄに対するエッジＥｃとなどを抽出する。

眼鏡判定部２６は、エッジ抽出部２５から出力される抽出結果に基づき、例えばモルフォロジー変換などの変換処理によって得られる変換結果から、例えば運転者が着用する眼鏡のフレームの候補となる所定の矩形形状（例えば、所定の大きさとして、横寸法が４０〜６５ｍｍかつ縦寸法が１０〜６０ｍｍの大きさを有する矩形形状など）を検出する。そして、所定の矩形形状のうち、対となる矩形形状を、運転者が着用する眼鏡のフレームであると判定し、判定結果を出力する。
例えば図２（Ｃ）に示すように、眼鏡判定部２６は、所定の矩形形状として、眼鏡Ｇのフレームに対する矩形形状Ｓａと、運転者の口などの部位に対する矩形形状Ｓｂとなどを検出する。次に、例えば図２（Ｄ）に示すように、対となる矩形形状Ｓａを眼鏡ＧのフレームＦとして抽出する。

除去画像生成部２７は、眼鏡判定部２６から出力される判定結果において運転者が眼鏡を着用していると判定された場合には、反射点抽出部２４により抽出された反射点のうちから、少なくとも、眼鏡判定部２６により抽出された眼鏡のフレームに対応する水平エッジ上に存在する反射点および垂直エッジ上に存在する反射点と、眼鏡判定部２６により抽出された眼鏡のフレームの内部（つまり、眼鏡のレンズ上）においてフレームに対応する水平エッジおよび垂直エッジから所定距離範囲内に存在する反射点とを除去して、除去されなかった反射点が残された除去画像を生成する。
なお、除去画像生成部２７は、反射点抽出部２４により抽出された反射点のうちから、角膜表面における光の反射像である可能性が低い反射点、例えば運転者の眼の位置から所定距離以上離れた位置に存在する反射点や、例えば角膜表面における光の反射像として想定される大きさよりも所定程度以上大きな反射点なども除去する。

例えば図４（Ａ），（Ｂ）に示すように、除去画像生成部２７は、眼鏡判定部２６により判定された眼鏡Ｇのフレーム内部において、反射点抽出部２４により抽出された運転者の眼の角膜表面における光の反射像Ｒａと、眼鏡Ｇのレンズ表面における大きな光の反射点Ｒｃと、眼鏡ＧのフレームＦから所定距離範囲内に存在する反射点（例えば、眼鏡Ｇのフレーム表面における光の反射点Ｒｂと、眼鏡Ｇの鼻かけ部分における光の反射点Ｒｄとなど）とのうちから、眼鏡ＧのフレームＦから所定距離範囲内またはレンズ表面の反射点（つまり、反射点Ｒｂ，Ｒｃ，Ｒｄ）を除去する。そして、例えば図４（Ｃ）に示すように、運転者の眼の角膜表面における光の反射像Ｒａのみが残された除去画像を生成する。
なお、所定距離範囲は、例えば眼鏡判定部２６により判定された眼鏡のフレームの大きさと、運転者の眼の大きさとの相対関係などに応じて、角膜表面における光の反射像Ｒａが除去されないようにして設定される。

角膜反射像抽出部２８は、除去画像生成部２７により生成された除去画像に基づき角膜反射像を抽出し、抽出結果を出力する。
例えば図４（Ｄ）に示すように、角膜反射像抽出部２８は、反射点抽出部２４により抽出された運転者の眼の角膜表面における光の反射像Ｒａと、眼鏡Ｇのフレーム表面における光の反射点Ｒｂと、眼鏡Ｇのレンズ表面における大きな光の反射点Ｒｃと、眼鏡Ｇの鼻かけ部分における光の反射点Ｒｄとのうちから、運転者の眼の角膜表面における光の反射像Ｒａを抽出する。

視線方向検知部２９は、角膜反射像抽出部２８から出力された抽出結果に基づき、視線方向（視線ベクトル）を算出し、算出結果を出力する。

この実施の形態による眼球撮像装置１０は上記構成を備えており、次に、この眼球撮像装置１０の動作について説明する。

先ず、例えば図５に示すステップＳ０１においては、乗員カメラ１１から出力された顔画像に基づき、運転者の眼の角膜表面における光の反射像の候補となる反射点（輝点候補）を検出する。
次に、ステップＳ０２においては、乗員カメラ１１から出力された顔画像に基づき、水平エッジおよび垂直エッジを検出する。
次に、ステップＳ０３においては、水平エッジおよび垂直エッジに基づき、運転者が着用する眼鏡のフレームの候補となる所定の矩形形状を検出する。

次に、ステップＳ０４においては、対となる矩形形状が存在するか否かを判定する。
この判定結果が「ＮＯ」の場合には、運転者が眼鏡を着用していないと判断して、後述するステップＳ０７に進む。
一方、この判定結果が「ＹＥＳ」の場合には、運転者が眼鏡を着用していると判断して、ステップＳ０５に進む。

そして、ステップＳ０５においては、対となる矩形形状のエッジから所定距離範囲内に存在する輝点候補を除去する。
そして、ステップＳ０６においては、対となる矩形形状のエッジの内部に存在する大きな輝点候補を除去する。
そして、ステップＳ０７においては、運転者の眼の角膜表面における光の反射像に基づき視線方向（視線ベクトル）を算出し、リターンに進む。

上述したように、本実施の形態による眼球撮像装置１０によれば、顔画像から抽出される複数の反射点のうちから、水平エッジ上に存在する反射点及び垂直エッジ上に存在する反射点を除去してから、角膜反射像を抽出することにより、角膜反射像を抽出する際の処理負荷を低減することができ、角膜反射像の抽出精度を容易に向上させることができる。しかも、複数の光源を備える必要は無く、１つの光源１２を備えるだけで顔画像から角膜反射像を抽出することができ、装置構成に要する費用が嵩むことを防止することができる。

さらに、ひとが眼鏡を着用している場合には、眼鏡のフレームの内部を処理対象として、フレームから所定距離範囲内に存在する反射点を除去することから、角膜反射像を抽出する処理を適用する領域を適切に縮小させることができ、処理負荷を、より一層、軽減して、処理を高速化することができるとともに、角膜反射像の誤抽出を防止することができる。

１０眼球撮像装置
１１乗員カメラ（撮像手段）
１２光源
２４反射点抽出部（反射点抽出手段）
２５エッジ抽出部（エッジ抽出手段）
２６眼鏡判定部（眼鏡判定手段）
２７除去画像生成部（除去画像生成手段）
２８角膜反射像抽出部（角膜反射像抽出手段）

Claims

ひとの顔を撮像して顔画像を出力する撮像手段と、前記ひとが存在する方向に向かって光を照射可能に配置された光源と、前記撮像手段から出力された前記顔画像から前記光源から照射された前記光による複数の反射点を抽出する反射点抽出手段と、前記反射点抽出手段により抽出された前記複数の反射点のうち所望の反射点を角膜反射像として抽出する角膜反射像抽出手段とを備える眼球撮像装置であって、
前記撮像手段から出力された前記顔画像から当該顔画像における略水平方向及び略垂直方向のエッジを抽出するエッジ抽出手段と、
前記顔画像から前記エッジ抽出手段により抽出された前記略水平方向のエッジ上に存在する前記反射点および前記略垂直方向のエッジ上に存在する前記反射点を除去した画像を生成する除去画像生成手段とを備え、
前記角膜反射像抽出手段は、前記除去画像生成手段により生成された前記画像に基づき前記角膜反射像を抽出することを特徴とする眼球撮像装置。
前記エッジ抽出手段により抽出された前記略水平方向及び前記略垂直方向のエッジに基づき前記ひとが眼鏡を着用しているか否かを判定する眼鏡判定手段を備え、
前記角膜反射像抽出手段は、前記眼鏡判定手段により前記ひとが眼鏡を着用していると判定された場合には、前記エッジ抽出手段により抽出された前記略水平方向及び前記略垂直方向のエッジの内側の領域に存在する前記反射点のみを抽出することを特徴とする請求項１に記載の眼球撮像装置。