JP4118773B2 - 視線方向検出装置及び視線方向検出方法 - Google Patents

Description

本発明は、顔面を撮像した画像から、視線方向を間接的かつ高精度に検出する技術に関する。

従来より、車両運転者が低覚醒状態になったときに注意を喚起することで、居眠り運転などを効果的に防止し、車両運行時の安全性を高める技術が種々開発されている。そして、特許文献１又は特許文献２に記載されるように、車両運転者の顔面を撮像した画像から眼を抽出すると共に、その開閉動作である瞬きに着目して、覚醒状態を判定する技術が提案されている。
特開２０００−１３７７９２号公報 特開平１１−１４７４２８号公報

しかしながら、車両運転者が居眠り状態まで至らなくとも、例えば、疲労などにより注意散漫となったときには、車両周囲の目視がおろそかになり、無意識に一点を見つめてしまう固視状態となってしまう。このような固視状態は、眼の瞬きから検出することができず、車両運行時の安全性をさらに高めるためには、車両運転者の視線方向を併用する必要がある。視線方向を検出する装置として「アイカメラ」が公知であるが、これを車両運転者の頭部などに装着することは、煩わしいばかりでなく車両運転に支障を来してしまうおそれがある。

そこで、本発明は以上のような従来の問題点に鑑み、顔面を撮像した画像から顔面旋回方向及び顔面における視線方向を夫々推定し、顔面旋回方向に基づいて顔面における視線方向を補正することで、視線方向を間接的かつ高精度に検出する技術を提案することを目的とする。

このため、請求項１記載の発明に係る視線方向検出装置では、顔面の画像を撮像する撮像手段と、該撮像手段により撮像された画像から、顔面輪郭を抽出する顔面輪郭抽出手段と、前記撮像手段により撮像された画像及び顔面輪郭抽出手段により抽出された顔面輪郭に基づいて、顔面全体に対する額及び両頬の面積比率を算出する顔面面情報算出手段と、該顔面面情報算出手段により算出された顔面全体に対する額及び両頬の面積比率に基づいて、撮像方向に対する顔面旋回方向を推定する顔面旋回方向推定手段と、前記撮像手段により撮像された画像から、両瞳及び鼻が位置する座標を検出する座標検出手段と、該座標検出手段により検出された両瞳及び鼻の座標を線分で結んだ逆三角形の重心を算出する重心算出手段と、前記両瞳及び鼻の座標を線分で結んだ逆三角形並びに重心算出手段により算出された重心に基づいて、顔面における視線方向を推定する視線方向推定手段と、前記顔面旋回方向推定手段により推定された顔面旋回方向に基づいて、前記視線方向推定手段により推定された視線方向を撮像方向に対する視線方向となるように補正する視線方向補正手段と、を含んで構成されたことを特徴とする。

請求項２記載の発明では、基準方向に対する撮像方向のオフセット角度に基づいて、前記顔面旋回方向推定手段により推定された顔面旋回方向を基準方向に対する顔面旋回方向となるように補正する顔面旋回方向補正手段を備え、前記視線方向補正手段は、前記顔面旋回方向補正手段により補正された顔面旋回方向に基づいて、前記視線方向推定手段により推定された視線方向を基準方向に対する視線方向となるように補正することを特徴とする。

請求項３記載の発明では、前記顔面のうち両眼及び鼻が占める範囲を設定する顔面特徴設定手段を備え、前記座標検出手段は、前記顔面特徴設定手段により設定された範囲内の画像から、両瞳及び鼻が位置する座標を検出することを特徴とする。
請求項４記載の発明では、前記顔面特徴設定手段により設定された範囲を、最新画像に基づいて更新学習する顔面特徴学習手段を備えたことを特徴とする。

請求項５記載の発明では、前記座標検出手段は、両鼻孔の中心を結ぶ線分の中点を鼻座標とすることを特徴とする。
請求項６記載の発明に係る視線方向検出方法では、撮像装置により顔面を撮像した画像から、顔面輪郭を抽出するステップと、前記画像及び顔面輪郭に基づいて、顔面全体に対する額及び両頬の面積比率を算出するステップと、前記顔面全体に対する額及び両頬の面積比率に基づいて、撮像方向に対する顔面旋回方向を推定するステップと、前記画像から、両瞳及び鼻が位置する座標を検出するステップと、前記両瞳及び鼻の座標を線分で結んだ逆三角形の重心を算出するステップと、前記逆三角形及びその重心に基づいて、顔面における視線方向を推定するステップと、前記撮像方向に対する顔面旋回方向に基づいて、前記視線方向を撮像方向に対す視線方向となるように補正するステップと、をコンピュータに実行させることを特徴とする。

請求項１又は請求項６に記載の発明によれば、顔面を撮像した画像及びこれから抽出された顔面輪郭に基づいて、顔面全体に対する額及び両頬の面積比率が算出される。そして、顔面全体に対する額及び両頬の面積比率に基づいて、撮像方向に対する顔面旋回方向が推定される。また、顔面を撮像した画像から両瞳及び鼻の座標が検出され、両瞳及び鼻の座標を線分で結んだ逆三角形の重心が算出される。その後、逆三角形及びその重心に基づいて顔面における視線方向が推定され、顔面旋回方向に基づいて視線方向が撮像方向に対する視線方向となるように補正される。従って、被写体に直接装着するアイカメラなどを使用しなくとも、顔面を撮像した画像から、顔面構成要素を介して、視線方向を間接的かつ高精度に検出することができる。

請求項２記載の発明によれば、被写体に正対する理想的な位置に撮像装置が設置されていなくとも、撮像方向のオフセット角度に基づいて、顔面旋回方向が基準方向に対する顔面旋回方向となるように補正されるので、視線方向の検出精度低下を防止することができる。
請求項３記載の発明によれば、顔面のうち両眼及び鼻が占める範囲内の画像から、両瞳及び鼻が位置する座標が検出されるので、画像処理に要する負荷が低減し、処理能力を向上させることができる。

請求項４記載の発明によれば、顔面のうち両眼及び鼻が占める範囲が最新画像に基づいて更新学習されるので、例えば、被写体がひげを伸ばすことで容貌が変貌しても、処理能力の低下を抑制することができる。
請求項５記載の発明によれば、両鼻孔の中心を結ぶ線分の中点が鼻座標となるので、鼻が位置する座標を高精度に特定することができる。

以下、添付された図面を参照して本発明を詳述する。
図１は、キャブオーバ型のトラックに対し本発明を適用して構築した視線方向検出装置の構成を示す。
視線方向検出装置は、車両運転者１０の顔面１０Ａを撮像するＣＣＤ（Charge Coupled Device）カメラなどの撮像装置２０（撮像手段）と、コンピュータを内蔵した制御装置３０と、を含んで構成される。制御装置３０は、撮像装置２０により撮像された画像を解析することで、車両運転者１０の視線方向を間接的かつ高精度に検出する。そして、制御装置３０では、ＲＯＭ（Read Only Memory）などのメモリに記憶されたプログラムにより、図２に示すように、顔面輪郭抽出手段３０Ａ，顔面面情報算出手段３０Ｂ，顔面旋回方向推定手段３０Ｃ，撮像方向設定手段３０Ｄ，顔面旋回方向補正手段３０Ｅ，顔面特徴設定手段３０Ｆ，顔面特徴学習手段３０Ｇ，両瞳座標検出手段３０Ｈ，鼻座標検出手段３０Ｉ，重心算出手段３０Ｊ，視線方向推定手段３０Ｋ及び視線方向補正手段３０Ｌが夫々実現される。なお、両瞳座標検出手段３０Ｈ及び鼻座標検出手段３０Ｉにより、座標検出手段が構成される。

顔面輪郭抽出手段３０Ａでは、公知の画像処理技術を用いて、撮像装置２０により撮像された画像から、車両運転者１０の顔面輪郭が抽出される。
顔面面情報算出手段３０Ｂでは、画像及び顔面輪郭に基づいて、顔面全体に対する額及び両頬の面積比率（以下「顔面面情報」という）が算出される。即ち、図３に示すように、画像を所定間隔のメッシュで分割し、額及び両頬が占める範囲に含まれる矩形要素を計数することで、顔面輪郭により区画される顔面全体に対する額及び両頬が占める面積比率（割合）が算出される。

顔面旋回方向推定手段３０Ｃでは、顔面面情報に基づいて、撮像方向に対する顔面旋回方向（顔面を向けている方向）が推定される。即ち、撮像方向に対して顔面が正対した画像を示す図４（Ａ）を基準として、同図（Ｂ）〜（Ｆ）に夫々示すように、顔面が上方，下方，右上方，右方及び右下方を向くと、顔面全体に対する額及び両頬の面積比率が変化する特性がある。例えば、同図（Ｂ）に示すように顔面が上方を向いたときには、左右の頬の面積比率が略一定割合で増加する一方、額の面積比率が減少する。また、同図（Ｄ）に示すように顔面が右上方を向いたときには、右の頬及び額の面積比率が減少する一方、左の頬の面積比率が増加する。このため、額及び両頬の面積比率の変化を介して、撮像方向に対して顔面がどちらを向いているかを推定することができる。

撮像方向設定手段３０Ｄでは、基準方向たる車両前方に対する撮像方向、換言すると、車両前方に対する撮像装置２０のオフセット角度が設定される。即ち、車両運転者１０が前方を目視しているときに、その正対する位置から顔面１０Ａを撮像することが理想である。しかし、車両運転者１０に正対する位置に撮像装置２０があると、前方視界が妨げられるおそれがあるので、このような理想的な位置に撮像装置２０を設置することは現実的には不可能である。このため、車両運転者１０に対面する位置であってその顔面１０Ａが撮像可能な位置、例えば、ダッシュボード，天井などに撮像装置２０を設置する構成を採用せざるを得ない。このような位置に撮像装置２０を設置すると、図５及び図６に示すように、鉛直面及び水平面について、撮像方向が理想的な正対方向からずれてしまう。そこで、撮像方向に対する顔面旋回方向を車両前方に対する顔面旋回方向となるように補正可能とすべく、車両前方に対する撮像装置２０のオフセット角度を予め設定する機能が備えられていることが望ましい。

顔面旋回方向補正手段３０Ｅでは、撮像装置２０のオフセット角度に基づいて、撮像方向に対する顔面旋回方向が補正され、車両前方に対する顔面旋回方向が求められる。即ち、撮像方向に対する顔面旋回方向に対して、撮像装置２０のオフセット角度を減算することで、車両前方を基準方向とした顔面旋回方向が求められる。
顔面特徴設定手段３０Ｆでは、画像処理範囲を限定して処理能力を向上させるべく、車両運転者１０の顔面１０Ａのうち両眼及び鼻が占めるであろうと考えられる範囲（以下「顔面特徴」という）が設定される。即ち、車両運転者１０の両眼及び鼻は、その身体的特徴である身長，座高などにより異なる高さにある。画像全体から両眼及び鼻を抽出することは可能であるが、制御装置３０に対して高い処理能力を要求することとなり、コストなどの面からも現実的でない。そこで、顔面特徴に基づいて画像処理範囲を限定することで、処理負荷の低減を通して処理能力を向上させることができる。

顔面特徴学習手段３０Ｇでは、車両運転者１０の顔面特徴が、例えば、ひげを伸ばすことで変貌することに鑑み、最新画像との差分を介して適宜更新学習される。
両瞳座標検出手段３０Ｈでは、最新の顔面特徴により限定される画像処理範囲について、画像から両眼領域が抽出される。そして、抽出された両眼領域からさらに両瞳が抽出され、瞳座標としてその中心座標が夫々検出される。なお、車両運転者１０がサングラスを着用しているときには、両瞳位置を画像から特定することができないので、サングラスのレンズ中心を瞳座標とすればよい。

鼻座標検出手段３０Ｉでは、最新の顔面特徴により限定される画像処理範囲について、画像から鼻孔領域が抽出される。そして、鼻座標として、抽出された鼻孔の中心座標、即ち、左右の鼻孔中心を結ぶ線分の中点が検出される。
重心算出手段３０Ｊでは、図７に示すように、両瞳及び鼻の座標を線分で結んだ逆三角形の重心が算出される。

視線方向推定手段３０Ｋでは、逆三角形及びその重心の変化に基づいて、顔面１０Ａにおける視線方向が推定される。例えば、図８（Ａ）に示すように、視線が右上方を向いているときには、逆三角形における両瞳を結ぶ線分が左方に向かって下方に傾斜すると共に、その重心が逆三角形の中心から右上方へと移動する。また、同図（Ｂ）に示すように、視線が右下方を向いているときには、逆三角形における両瞳を結ぶ線分が右方に向かって下方に傾斜すると共に、その重心が逆三角形の中心から右下方へと移動する。このため、視線方向に対応した規則性を用いれば、顔面１０Ａにおける視線方向を間接的かつ高精度に推定することができる。

視線方向補正手段３０Ｌでは、車両前方に対する顔面旋回方向に基づいて、顔面における視線方向が補正され、車両前方に対する視線方向が求められる。即ち、車両前方に対する顔面旋回方向に顔面における視線方向を加算することで、車両前方を基準方向とした視線方向が求められる。
次に、視線方向検出装置で実行される処理手順について、図９に示すフローチャートを参照しつつ説明する。

ステップ１（図では「Ｓ１」と略記する。以下同様）では、撮像装置２０により車両運転者１０の顔面１０Ａが撮像される。
ステップ２では、画像から顔面輪郭が抽出される。
ステップ３では、画像及び顔面輪郭に基づいて顔面面情報が算出される。
ステップ４では、顔面面情報に基づいて撮像方向に対する顔面旋回方向が推定される。

ステップ５では、撮像装置２０のオフセット角度に基づいて顔面旋回方向が補正され、車両前方に対する顔面旋回方向が求められる。
ステップ６では、最新の顔面特徴に基づいて顔面１０Ａのうち両眼及び鼻が占めるであろうと考えられる画像処理範囲（抽出範囲）が限定される。
ステップ７では、限定された右眼抽出範囲について、画像から右眼領域が抽出される。

ステップ８では、抽出された右眼領域から更に右瞳が抽出され、右瞳座標としてその中心座標が算出される。
ステップ９では、限定された左眼抽出範囲について、画像から左眼領域が抽出される。
ステップ１０では、抽出された左眼領域から更に左瞳が抽出され、左瞳座標として、その中心座標が算出される。

ステップ１１では、限定された鼻抽出範囲について、画像から鼻孔領域が抽出される。
ステップ１２では、抽出された鼻孔領域から、鼻座標として、左右の鼻孔中心を結ぶ線分の中点座標が算出される。
ステップ１３では、両瞳座標及び鼻座標を夫々頂点とする逆三角形が作成される。
ステップ１４では、作成された逆三角形の各頂点座標からその重心座標が算出される。

ステップ１５では、逆三角形及びその重心の変化に基づいて、顔面における視線方向が推定される。
ステップ１６では、撮像方向に対する顔面旋回方向に基づいて、顔面における視線方向が補正され、車両前方に対する視線方向が求められる。
かかる視線方向検出装置によれば、顔面を撮像した画像から顔面輪郭が抽出されると共に、画像及び顔面輪郭に基づいて、顔面全体に対する額及び両頬の面積比率が算出される。ここで、顔面全体に対する額及び両頬の面積比率は、図４に示すように、撮像方向に対する顔面旋回方向に応じて規則性をもって変化する特性がある。そこで、その規則性を用いることで、顔面撮像方向に対する顔面旋回方向を推定することができる。

ところで、被写体に正対する位置からその顔面を撮像することが理想であるが、車両に対して本発明を適用したときには、車両運転者１０の前方視界を確保する必要から、理想的な位置に撮像装置２０を設置することはできない。このため、基準方向たる車両前方に対する撮像装置２０のオフセット角度に基づいて、撮像方向に対する顔面旋回方向を基準方向に対する顔面旋回方向となるように補正すれば、理想的な位置に撮像装置２０が設置されていなくとも、これに起因する視線方向の検出精度低下を防止することができる。

一方、顔面を撮像した画像から、両瞳及び鼻が位置する座標が検出されると共に、両瞳及び鼻の座標を線分で結んだ逆三角形の重心が算出される。このとき、画像処理範囲を限定して処理能力を向上させるべく、顔面のうち両眼及び鼻が占めるであろうと考えられる範囲内の画像から、両瞳及び鼻が位置する座標が検出される。ここで、逆三角形及びその重心は、図８に示すように、顔面における視線方向に応じて規則性をもって変化する特性がある。そこで、その規則性を用いることで、顔面における視線方向を推定することができる。

そして、顔面旋回方向に基づいて顔面における視線方向を補正、即ち、顔面旋回方向と顔面における視線方向を加算することで、基準方向に対する視線方向を間接的かつ高精度に検出することができる。
なお、本発明に係る視線方向検出装置は、車両運転者の視線方向を検出する構成に限らず、例えば、「アイカメラ」により視線方向を検出する種々の用途に適用可能であることはいうまでもない。

トラックに対し本発明を適用して構築した視線方向検出装置の構成図 制御装置における各種機能のブロック図 顔面面情報を算出する方法の説明図 撮像方向に対する顔面旋回方向を推定する方法を示し、（Ａ）〜（Ｆ）は夫々視線方向が正面，上方，下方，右上方，右方及び右下方にあるときの説明図 鉛直面における撮像装置のオフセット状態の説明図 水平面における撮像装置のオフセット状態を示し、（Ａ）及び（Ｂ）は夫々撮像装置を右方及び左方にオフセットしたときの説明図 両瞳座標及び鼻座標により規定される逆三角形並びにその重心の説明図 顔面における視線方向を推定する方法を示し、（Ａ）及び（Ｂ）は夫々視線を右上方及び右下方に向けたときの説明図 視線方向検出装置で実行される処理手順を示すフローチャート

符号の説明

１０ 車両運転者
１０Ａ 顔面
２０ 撮像装置
３０ 制御装置
３０Ａ 顔面輪郭抽出手段
３０Ｂ 顔面面情報算出手段
３０Ｃ 顔面旋回方向推定手段
３０Ｄ 撮像方向設定手段
３０Ｅ 顔面旋回方向補正手段
３０Ｆ 顔面特徴設定手段
３０Ｇ 顔面特徴学習手段
３０Ｈ 両瞳座標検出手段
３０Ｉ 鼻座標検出手段
３０Ｊ 重心算出手段
３０Ｋ 視線方向推定手段
３０Ｌ 視線方向補正手段

Claims (6)

1. 顔面の画像を撮像する撮像手段と、
   該撮像手段により撮像された画像から、顔面輪郭を抽出する顔面輪郭抽出手段と、
   前記撮像手段により撮像された画像及び顔面輪郭抽出手段により抽出された顔面輪郭に基づいて、顔面全体に対する額及び両頬の面積比率を算出する顔面面情報算出手段と、
   該顔面面情報算出手段により算出された顔面全体に対する額及び両頬の面積比率に基づいて、撮像方向に対する顔面旋回方向を推定する顔面旋回方向推定手段と、
   前記撮像手段により撮像された画像から、両瞳及び鼻が位置する座標を検出する座標検出手段と、
   該座標検出手段により検出された両瞳及び鼻の座標を線分で結んだ逆三角形の重心を算出する重心算出手段と、
   前記両瞳及び鼻の座標を線分で結んだ逆三角形並びに重心算出手段により算出された重心に基づいて、顔面における視線方向を推定する視線方向推定手段と、
   前記顔面旋回方向推定手段により推定された顔面旋回方向に基づいて、前記視線方向推定手段により推定された視線方向を撮像方向に対する視線方向となるように補正する視線方向補正手段と、
   を含んで構成されたことを特徴とする視線方向検出装置。
2. 基準方向に対する撮像方向のオフセット角度に基づいて、前記顔面旋回方向推定手段により推定された顔面旋回方向を基準方向に対する顔面旋回方向となるように補正する顔面旋回方向補正手段を備え、
   前記視線方向補正手段は、前記顔面旋回方向補正手段により補正された顔面旋回方向に基づいて、前記視線方向推定手段により推定された視線方向を基準方向に対する視線方向となるように補正することを特徴とする請求項１記載の視線方向検出装置。
3. 前記顔面のうち両眼及び鼻が占める範囲を設定する顔面特徴設定手段を備え、
   前記座標検出手段は、前記顔面特徴設定手段により設定された範囲内の画像から、両瞳及び鼻が位置する座標を検出することを特徴とする請求項１又は請求項２に記載の視線方向検出装置。
4. 前記顔面特徴設定手段により設定された範囲を、最新画像に基づいて更新学習する顔面特徴学習手段を備えたことを特徴とする請求項３記載の視線方向検出装置。
5. 前記座標検出手段は、両鼻孔の中心を結ぶ線分の中点を鼻座標とすることを特徴とする請求項１〜４のいずれか１つに記載の視線方向検出装置。
6. 撮像装置により顔面を撮像した画像から、顔面輪郭を抽出するステップと、
   前記画像及び顔面輪郭に基づいて、顔面全体に対する額及び両頬の面積比率を算出するステップと、
   前記顔面全体に対する額及び両頬の面積比率に基づいて、撮像方向に対する顔面旋回方向を推定するステップと、
   前記画像から、両瞳及び鼻が位置する座標を検出するステップと、
   前記両瞳及び鼻の座標を線分で結んだ逆三角形の重心を算出するステップと、
   前記逆三角形及びその重心に基づいて、顔面における視線方向を推定するステップと、
   前記撮像方向に対する顔面旋回方向に基づいて、前記視線方向を撮像方向に対する視線方向となるように補正するステップと、
   をコンピュータに実行させることを特徴とする視線方向検出方法。

Images