JP6179447B2 - 視線検出装置、視線検出方法 - Google Patents

Description

本発明は、撮影された画像内の対象者の視線を検出する視線検出装置および視線検出方法に関する。

近年、車両の安全運転を支援するための様々なシステム（支援システム）が開発されている。こうした支援システムの中には、対象者の視線を検出することで危険を未然に回避するものが知られており、例えば、車外の通行者の視線を検出して自車両に気付いていないと判定した場合に運転者に注意を促したり、車両の運転者の視線を検出して脇見運転と判定した場合に警告を発したりすることが行われている。

また、対象者の視線を検出するための技術としては、顔画像の中から目の虹彩部（黒目）の位置を検出する技術（特許文献１）や、目の強膜部（白目）と黒目との境界の変位から目の動きを検出する技術（特許文献２）が提案されている。

特許第４４６９４７６号公報 特許第４８０７６９４号公報

しかし、上述した技術では、対象者が遠くにいる場合や、顔画像の解像度が低い場合のように対象者の黒目と白目との境界が不明確であると、視線を検出することができないという問題があった。

この発明は、従来技術が有する上述した課題に鑑みてなされたものであり、対象者が遠くにいる画像や、低解像度の画像からでも、対象者の視線を検出することが可能な技術の提供を目的とする。

上述した課題を解決するために本発明の視線検出装置は、撮影された画像のデータを取得し、その画像内の対象者の顔領域から目が含まれる所定の検査領域を設定する。また、検査領域における輝度の分布を表す輝度分布情報を取得すると共に、検査領域内に縦方向の輝度判定ラインおよび横方向の輝度判定ラインを設定して、輝度判定ラインに沿った輝度分布情報に基づいて対象者の視線を検出する。そして、縦方向の輝度判定ラインおよび横方向の輝度判定ラインのうち、何れか一方の輝度判定ラインに沿って輝度が所定値よりも小さい部分が検出されない場合は、何れか他方の輝度判定ラインに沿った輝度分布情報に基づいて、輝度が所定値よりも小さい部分が検出される位置に当該何れか一方の輝度判定ラインの位置を補正する。

こうすれば、対象者の目の正確な位置や、虹彩部（黒目）と強膜部（白目）との境界を特定しなくてもよいので、対象者が遠くにいる場合や、取得される画像のデータが低解像度である場合でも、対象者の視線を検出することができる。
また仮に、十分な解像度で検査領域の画像データが得られる場合であっても、検査領域の輝度分布情報から直接的に（目の正確な位置や、黒目と白目との境界を検出することなく）対象者の視線を検出できるので、視線検出の処理負担を軽減することが可能となる。
そして、検査領域内に設定した輝度判定ラインに沿って検出することにより、検査領域の全体から検出するのに比べて簡便に対象者の視線を検出することができる。さらに、縦方向および横方向に設定された輝度判定ラインのうち、何れか一方の輝度判定ラインに沿って輝度が所定値よりも小さい部分（暗部）を検出できない場合には、何れか他方の輝度判定ラインに沿った輝度分布情報に基づいて、当該何れか一方の輝度判定ラインの位置が補正されるので、暗部を検出することができる。

本実施例の視線検出装置２０を備えた支援システム１の構成を示す説明図である。 本実施例の視線検出装置２０を備えた支援システム１で実行される安全運転支援処理を示すフローチャート。 取得された前方画像内から対象者を検出する例を示す説明図である。 対象者の顔領域の中から設定される所定の検査領域を示す説明図である。 検査領域について取得される輝度分布情報の一例を示す説明図である。 対象者の横方向の視線を検出する例を示す説明図である。 対象者の縦方向の視線を検出する例を示す説明図である。 低解像度の検査領域から輝度分布情報を取得する例を示す説明図である。 検査領域における暗部の配置状況から対象者の視線を検出する例を示す説明図である。 検査領域内の明部の配置状況から対象者の視線を検出する例を示す説明図である。 検査領域内の暗部と明部との対比によって対象者の視線を検出する例を示す説明図である。

以下では、上述した本願発明の内容を明確にするために実施例について説明する。本実施例の視線検出装置は、車両の安全運転を支援するための支援システムの一部を構成している。
Ａ．装置構成 ：
図１には、本実施例の視線検出装置２０を備えた支援システム１の構成が示されている。図示されるように視線検出装置２０には、車両の進行方向前方の画像を撮影するカメラ１０や、視線検出装置２０からの情報に基づいて危険性を判定する危険判定部３０などが接続されており、この危険判定部３０には、危険性ありと判定した場合に運転者に危険性を報知するスピーカー４０が接続されている。

視線検出装置２０は、画像データ取得部２１と、顔領域抽出部２２と、検査領域設定部２３と、輝度分布情報取得部２４と、記憶部２５と、視線検出部２６などを備えている。
尚、これら６つの「部」２１〜２６は、視線検出装置２０を機能に着目して概念的に分類したものであり、それぞれが必ずしも物理的に独立して存在している必要はない。これらは、各種の機器や、電子部品、集積回路、コンピューター、コンピュータープログラム、あるいはそれらの組合せなどによって構成することができる。また、前述した危険判定部３０についても同様である。

画像データ取得部２１は、カメラ１０と接続されており、カメラ１０が撮影した車両の前方画像のデータを所定の周期で取得する。
顔領域抽出部２２は、画像データ取得部２１が取得した画像データを解析することによって、前方画像内の対象者の顔領域を抽出する。
検査領域設定部２３は、顔領域抽出部２２が抽出した顔領域の中から目が含まれる所定の検査領域を設定する。
尚、本実施例では、画像データ取得部２１が本発明の「画像データ取得手段」に相当し、検査領域設定部２３が本発明の「検査領域設定手段」に相当する。

輝度分布情報取得部２４は、検査領域設定部２３が設定した検査領域の画像データを解析することによって、検査領域における輝度（明暗）の分布を表す情報（輝度分布情報）を取得する。
記憶部２５は、輝度分布情報取得部２４が取得した輝度分布情報を記憶する。
尚、本実施例では、輝度分布情報取得部２４が本発明の「情報取得手段」に相当し、記憶部２５が本発明の「記憶手段」に相当している。

視線検出部２６は、輝度分布情報取得部２４が取得した輝度分布情報や、記憶部２５に記憶されている輝度分布情報に基づいて、対象者の視線を検出する。この視線を検出する方法の詳細については後述する。
また、視線検出部２６は、危険判定部３０と接続されており、検出した視線の情報を危険判定部３０に向けて出力する。
尚、本実施例の視線検出部２６は、本発明の「視線検出手段」に相当している。

Ｂ．安全運転支援処理 ：
図２には、本実施例の視線検出装置２０を備えた支援システム１で実行される安全運転支援処理のフローチャートが示されている。この処理は、主に視線検出装置２０と危険判定部３０とによって実行される。
安全運転支援処理（Ｓ１００）を開始すると、先ず、カメラ１０が撮影した車両の前方画像のデータを取得する（Ｓ１０１）。カメラ１０は動画像を撮影しており、Ｓ１０１では、所定の周期で１コマ分の静止画のデータを取得する。

次に、取得された前方画像のデータを解析して、前方画像内に対象者がいるか否かを判断する（Ｓ１０２）。本実施例では、車両の前方にいる人、および車両の前方を横切る可能性がある人を対象者として検出するようになっている。この検出は、図３に示されるように対象者のシルエットのテンプレートを用いて行われ、予め用意された複数のテンプレートの何れかと符合するシルエットが前方画像内に存在するか否かに基づいて、対象者の有無を判断する。
尚、対象者の検出方法はこれに限られず、例えば、Ｓ１０１で取得した画像データを記憶することとして、１つ前の画像データと比較することで、車両の前方に移動する者を対象者として検出してもよい。

そして、前方画像内に対象者がいない場合は（Ｓ１０２：ｎｏ）、安全運転支援処理の先頭に戻って、所定の周期で前方画像のデータを再び取得する（Ｓ１０１）。
一方、前方画像内に対象者がいる場合は（Ｓ１０２：ｙｅｓ）、その対象者の顔領域を抽出する（Ｓ１０３）。この抽出は、予め用意された顔のテンプレートを用いて行われ、対象者のシルエット内でテンプレートと符合する領域を顔領域として抽出する。
尚、対象者のシルエットに応じて予め定められた領域を顔領域として抽出するようにしてもよい。

続いて、抽出された顔領域の中から検査領域を設定する（Ｓ１０４）。図４に示されるように本実施例の検査領域は、顔領域の中で両目が含まれる所定の領域に設定される。そして、設定された検査領域の画像データを解析して、検査領域の輝度分布情報を取得する（Ｓ１０５）。

図５には、検査領域について取得される輝度分布情報の一例が示されている。図示した検査領域内には、破線Ａで示す横方向の輝度判定ラインと、破線Ｂで示す縦方向の輝度判定ラインとが設定されている。また、図５の検査領域の下方のグラフは、横方向の輝度判定ライン（破線Ａ）に沿った輝度の分布を表しており、検査領域の左方のグラフは、縦方向の輝度判定ライン（破線Ｂ）に沿った輝度の分布を表している。
何れのグラフにおいても、検査領域内で虹彩部（黒目）が存在する位置で輝度が極小値となっている。

このような輝度分布情報を取得すると、同じ対象者について既に輝度分布情報が記憶されているか否かを判断する（Ｓ１０６）。
そして、同じ対象者の輝度分布情報が記憶されていない場合は（Ｓ１０６：ｎｏ）、Ｓ１０５で取得された輝度分布情報に基づいて対象者の視線を検出する（Ｓ１０８）。

図６には、対象者の横方向の視線を検出する例が示されており、図６のグラフは、横方向の輝度判定ライン（破線Ａ）に沿った輝度の分布を表している。図示した例のように、検査領域内で輝度が極小値となる位置が基準位置よりも右側にある場合は、対象者の視線（黒目）が右方向にあると判断する。
逆に、検査領域内で輝度が極小値となる位置が基準位置よりも左側にある場合は、対象者の視線が左方向にあると判断する。
また、検査領域内で輝度が極小値となる位置が基準位置にある場合は、対象者の視線が正面にあると判断する。

図７には、対象者の縦方向の視線を検出する例が示されており、図７のグラフは、縦方向の輝度判定ライン（破線Ｂ）に沿った輝度の分布を表している。図示した例のように、検査領域内で輝度が極小値となる位置が基準位置よりも上側にある場合は、対象者の視線が上方向にあると判断する。
逆に、検査領域内で輝度が極小値となる位置が基準位置よりも下側にある場合は、対象者の視線が下方向にあると判断する。
また、検査領域内で輝度が極小値となる位置が基準位置にある場合は、対象者の視線が正面にあると判断する。

一方、Ｓ１０６の判断において、同じ対象者について輝度分布情報が既に記憶されている場合は（Ｓ１０６：ｙｅｓ）、先ず、Ｓ１０５で取得された輝度分布情報を、記憶されている輝度分布情報と対比することによって、対象者の視線の移動を検出する（Ｓ１０７）。
例えば、図６に示した輝度分布情報を、図５に示した輝度分布情報と比較することによって、輝度が極小値となる位置の変化から対象者の視線が右方向に移動したと判断する。
続いて、Ｓ１０５で取得された輝度分布情報に基づいて対象者の視線を検出する（Ｓ１０８）。

その後、検出された対象者の視線の情報に基づいて、危険性があるか否かを判断する（Ｓ１０９）。Ｓ１０９では、対象者の視線に基づき自車両に対象者が気付いているか否かを判定し、気付いていない場合に危険性ありと判断する。
例えば、対象者の視線が自車両側に向いていれば、対象者は自車両に気付いており危険性なしと判断し、対象者の視線が自車両側に向いていなければ、対象者は自車両に気付いておらず危険性ありと判断する。
あるいは、Ｓ１０７で対象者の視線の移動を検出している場合は、視線が移動した過程に自車両側が含まれていれば、対象者は自車両に気付いており危険性なしと判断し、視線が移動した過程に自車両側が含まれていなければ、対象者は自車両に気付いておらず危険性ありと判断する。

その結果、危険性があると判断した場合は（Ｓ１０９：ｙｅｓ）、運転者に注意を促すために危険性を報知する（Ｓ１１０）。
Ｓ１１０の報知は、所定の警報音や、「通行者に注意して下さい」などのアナウンスをスピーカー４０から出力することによって実行する。

一方、危険性がないと判断した場合は（Ｓ１０９：ｎｏ）、危険性を報知する処理（Ｓ１１０）を省略して、Ｓ１０５で取得された輝度分布情報を記憶する（Ｓ１１１）。
その後、安全運転支援処理の先頭に戻り、所定の周期で前方画像のデータを再び取得する（Ｓ１０１）。
尚、Ｓ１１１で記憶された輝度分布情報は、次回の処理のＳ１０７で用いられる。

ここで、前述したＳ１０５で取得される輝度分布情報は、検査領域の画像データが十分な解像度を有していれば、図５に示したような連続的な分布曲線として得られる。しかし、実際には、対象者が遠くにいたり、取得される前方画像が低解像度であったりするなどによって検査領域の画像データの解像度が低いことがある。本実施例の視線検出装置２０では、このような場合でも対象者の視線を検出することができる。以下では、この点について説明する。

図８には、低解像度の検査領域から輝度分布情報を取得する例が示されている。図示した検査領域は、横に８分割（ａ〜ｈ行）され、縦に３０分割（１〜３０列）されて、全部で２４０（８行×３０列）の升目に分割されている。各升目は、輝度が平均化して表されており、細かいハッチングが付されている升目は輝度が小さいことを表しており、ハッチングが粗くなるほど輝度が高まり、ハッチングが付されていない升目は輝度が高いことを表している。
また、検査領域の下方には、横方向の輝度判定ラインに設定されたｅ行目に沿った輝度の分布が表されており、検査領域の左方には、縦方向の輝度判定ラインに設定された７列目に沿った輝度の分布が表されている。

図８に示した例では、検査領域の中で目の輪郭や黒目と白目との境界を特定することは困難である。しかし、検査領域の中で輝度が所定値よりも小さい部分（暗部）の配置状況から虹彩部（黒目）が存在する位置を特定することは可能である。

図９には、検査領域における暗部の配置状況から対象者の視線を検出する例が示されている。図９に示した検査領域も、図８と同様に、２４０（８行×３０列）の升目に分割されている。
また、検査領域の下方には、横方向の輝度判定ラインに設定されたｅ行目に沿った輝度の分布が示されており、検査領域の左方には、縦方向の輝度判定ラインに設定された８列目に沿った輝度の分布が示されている。

先ず、ｅ行目に沿った輝度の分布では、暗部が８〜１０列目および２５〜２７列目に位置しており、それぞれ基準の７列目および２４列目よりも右側に偏っているので、対象者の視線（黒目）が右方向にあると判断する。
また、８列目に沿った輝度の分布では、暗部がｄ〜ｅ行目に位置しており、基準のｅ行目よりも上側に偏っているので、対象者の視線が上方向にあると判断する。
そして、これらの結果を合わせて対象者の視線が右斜め上方向にあると判断することができる。

尚、図８に示した例では７列目に設定されていた縦方向の輝度判定ラインが、図９に示した例では８列目に設定されている。これは、対象者の視線の変化に伴って、図９の７列目に沿った輝度の分布では暗部が検出されないためである。この場合には、横方向の輝度判定ラインに設定されたｅ行目に沿った輝度の分布に基づいて、暗部が検出される８列目に縦方向の輝度判定ラインの位置が補正される。
また、横方向の輝度判定ラインに沿った輝度の分布で暗部が検出されない場合には、縦方向の輝度判定ラインに沿った輝度の分布に基づいて、暗部が検出される位置に横方向の輝度判定ラインの位置が補正される。
そして、補正後の輝度判定ラインの位置が記憶され、次回の視線検出では、先ず記憶されている輝度判定ラインに沿った輝度の分布から暗部を検出する。

以上に説明したように、本実施例の視線検出装置２０では、画像内の対象者の目が含まれる所定の検査領域の輝度分布情報を取得し、その輝度分布情報に基づいて対象者の視線を検出している。こうすれば、対象者の目の正確な位置や、黒目と白目との境界を特定しなくてもよいので、対象者が遠くにいる場合や、取得される前方画像が低解像度である場合でも、対象者の視線を検出することができる。
また仮に、十分な解像度で検査領域の画像データが得られる場合でも、黒目と白目との境界などを特定することなく、検査領域の中で輝度が極小値となっている位置の情報だけで簡便に対象者の視線を検出できるので、視線検出装置２０の処理負担を軽減することができる。

また、検査領域内に輝度判定ラインを設定しておき、輝度判定ラインに沿って暗部を検出することにより、検査領域の全体から暗部を検出するのに比べて簡便に対象者の視線を検出することができる。
そして、縦方向および横方向に設定された輝度判定ラインのうち、何れか一方の輝度判定ラインに沿って暗部を検出できない場合には、何れか他方の輝度判定ラインに沿った輝度の分布に基づいて、当該何れか一方の輝度判定ラインの位置が補正されるので、対象者の視線が大きく移動した場合でも暗部を検出することができる。

また、前述したように検査領域を複数の升目（小領域）に分割して、各小領域の輝度の大小関係から検査領域内の暗部の配置状況を把握し、その配置状況に基づいて対象者の視線を検出することにより、画像データの解像度に拘わらず簡便に視線を検出することが可能となる。
さらに、検査領域の輝度分布情報を記憶しておき、新たに取得された輝度分布情報を、記憶されている輝度分布情報と比較することによって、対象者の視線の移動を検出することができる。

Ｃ．変形例 ：
上述した実施例には、幾つかの変形例が存在する。以下では、これら変形例について簡単に説明する。

Ｃ−１．第１変形例 ：
上述した実施例では、検査領域の中の暗部（輝度の小さい部分）の配置状況から虹彩部（黒目）が存在する位置を特定することで、対象者の視線を検出していた。しかし、検査領域の中の明部（輝度が大きい部分）の配置状況に基づいて、対象者の視線を検出してもよい。

図１０には、検査領域内の明部の配置状況から対象者の視線を検出する例が示されている。図１０に示した検査領域の下方には、図８と同様に、横方向の輝度判定ラインに設定されたｅ行目に沿った輝度の分布が示されている。
図示した例では、検査領域の中で輝度が所定値よりも大きい部分（明部）が基準位置よりも左側に偏っているので、白目が左方向を向いていると考えられる。すると、黒目はその反対側を向いているので、対象者の視線が右方向にあると判断できる。

逆に、検査領域の中で明部が基準位置よりも右側に偏っている場合は、白目が右方向を向いていると考えられるので、その反対側の左方向に対象者の視線があると判断する。
また、検査領域の中で明部が基準位置を挟んで両側にある場合は（図８参照）、明部と明部との間に黒目があると考えられるので、対象者の視線が正面にあると判断する。

以上のように、検査領域の中の明部（輝度の大きい部分）の配置状況から強膜部（白目）が存在する位置を特定することで、対象者の視線を検出することも可能であり、特に、周囲が暗い状況で撮影された前方画像（全体的に輝度が小さい画像）から対象者の視線を検出するのに有効である。
尚、図８に示したように輝度分布情報が連続的な分布曲線として得られる場合は、検査領域内で輝度が極大値となる位置から強膜部（白目）が存在する位置を特定することで、対象者の視線を検出してもよい。

Ｃ−２．第２変形例 ：
また、上述した実施例および第１変形例では、検査領域内の基準位置に対する暗部あるいは明部の配置状況から対象者の視線を検出していた。しかし、必ずしも検査領域内に基準位置を設定する必要はなく、暗部と明部とを対比することよって対象者の視線を検出してもよい。

図１１には、検査領域内の暗部と明部との対比によって対象者の視線を検出する例が示されている。図１１に示した検査領域の下方には、図８と同様に、横方向の輝度判定ラインに設定されたｅ行目に沿った輝度の分布が示されている。
図示した例では、検査領域の中で暗部（輝度が小さい部分）が明部（輝度の大きい部分）の右側に位置しているので、対象者の視線（黒目）が右方向にあると判断できる。

逆に、検査領域の中で暗部が明部の左側に位置している場合は、対象者の視線（黒目）が左方向にあると判断する。
また、検査領域の中で明部と明部との間に暗部が挟まれて入れる場合は（図８参照）、対象者の視線が正面にあると判断する。

このように、検査領域内の暗部と明部とで位置関係を対比することによって、目の正確な位置が特定できなくても、対象者の視線を精度よく検出することができる。
尚、図８に示したように輝度分布情報が連続的な分布曲線として得られる場合は、検査領域内で輝度が極小値となる位置と輝度が極大値となる位置とを対比することによって、対象者の視線を検出してもよい。

以上、実施例および変形例について説明したが、本発明は上記の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。

例えば、前述した実施例では、検査領域を、顔領域の中で両目が含まれる所定の領域に設定していたが、どちらか一方の目が含まれる所定の領域に設定してもよい。
こうすれば、顔の画像データの左右に解像度の偏りがある場合（顔の左右の何れか一方が手前で他方が奥側の場合など）に、解像度の高い側の目を含む検査領域の輝度分布情報に基づいて対象者の視線を検出することにより、検出精度を高めることができる。

また、前述した実施例では、検査領域内に輝度判定ラインを設定する場合を示したが、輝度判定ラインは必ずしも設定する必要はなく、検査領域の全体から暗部を検出してもよい。

また、前述した実施例では、車外の対象者の視線に基づいて危険性を判定し、危険性がある場合に運転者に危険性を報知する支援システム１に視線検出装置２０を適用した場合を示したが、本発明の視線検出装置２０の適用はこれに限られない。
例えば、車両の運転者の視線を検出して、脇見運転と判定した場合に警告を発するシステムにも好適に適用することができる。

１…支援システム、 １０…カメラ、 ２０…視線検出装置、
２１…画像データ取得部、 ２２…顔領域抽出部、 ２３…検査領域設定部、
２４…輝度分布情報取得部、 ２５…記憶部、 ２６…視線検出部、
３０…危険判定部、 ４０…スピーカー。

Claims (6)

1. 撮影された画像内の対象者の視線を検出する視線検出装置（２０）であって、
   前記画像のデータを取得する画像データ取得手段（２１）と、
   前記画像内の対象者の顔領域の中から目が含まれる所定の検査領域を設定する検査領域設定手段（２３）と、
   前記検査領域における輝度の分布を表す輝度分布情報を取得する情報取得手段（２４）と、
   前記輝度分布情報に基づいて対象者の視線を検出する視線検出手段（２６）と
   を備え、
   前記検査領域内には、縦方向の輝度判定ラインおよび横方向の輝度判定ラインが設定されており、
   前記視線検出手段は、前記輝度判定ラインに沿った前記輝度分布情報に基づいて対象者の視線を検出し、
   前記縦方向の輝度判定ラインおよび前記横方向の輝度判定ラインは、何れか一方の輝度判定ラインに沿って輝度が所定値よりも小さい部分が検出されない場合に、何れか他方の輝度判定ラインに沿った前記輝度分布情報に基づいて、輝度が所定値よりも小さい部分が検出される位置に前記何れか一方の輝度判定ラインの位置が補正される
   視線検出装置。
2. 請求項１に記載の視線検出装置であって、
   前記視線検出手段は、前記輝度判定ライン上で輝度が所定値よりも小さい暗部の配置状況に基づいて対象者の視線を検出する
   視線検出装置。
3. 請求項１または請求項２に記載の視線検出装置であって、
   前記視線検出手段は、前記輝度判定ライン上で輝度が極小値となる極小部の配置状況に基づいて対象者の視線を検出する
   視線検出装置。
4. 請求項１ないし請求項３の何れか一項に記載の視線検出装置であって、
   前記視線検出手段は、前記輝度判定ライン上で輝度が所定値よりも大きい明部の配置状況に基づいて対象者の視線を検出する
   視線検出装置。
5. 請求項１ないし請求項４の何れか一項に記載の視線検出装置であって、
   前記視線検出手段は、前記輝度判定ライン上で輝度が極大値となる極大部の配置状況に基づいて対象者の視線を検出する
   視線検出装置。
6. 請求項１ないし請求項５の何れか一項に記載の視線検出装置であって、
   前記情報取得手段によって取得された前記輝度分布情報を記憶する記憶手段（２５）を備え、
   前記視線検出手段は、前記情報取得手段が取得した輝度分布情報と、前記記憶手段に記憶されている輝度分布情報とを比較することで、対象者の視線の移動を検出する
   視線検出装置。

Images