JP4420002B2

JP4420002B2 - 視線先推定装置

Info

Publication number: JP4420002B2
Application number: JP2006249732A
Authority: JP
Inventors: 正昭上地
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2006-09-14
Filing date: 2006-09-14
Publication date: 2010-02-24
Anticipated expiration: 2026-09-14
Also published as: CN101500874B; US7859652B2; EP2061687A2; WO2008032220A3; KR20090039771A; WO2008032220A2; EP2061687B1; KR101095234B1; US20090237644A1; DE602007012899D1; JP2008071162A; WO2008032220A8; CN101500874A

Description

本発明は、運転者の視線先を推定する視線先推定装置に関する。

運転者を支援するために、運転者がどの物体に視線を向けているかを推定する視線先推定装置が開発されている。視線先推定装置としては、例えば、運転者の視線方向を検出するとともに車両周辺に存在する各物標（車両、人など）の自車両に対する相対方向を検出し、視線方向と各物標の相対方向とをそれぞれ比較することによって運転者がどの物標に視線を向けているか否かを判断し、運転者が危険を認識しているかを判定する（特許文献１参照）。
特開２００５−１３４９７１号公報

上記した視線先推定装置では、運転者の眼の位置と物標の相対方向を検出した検出手段の位置とが異なるので、単純に視線方向と相対方向とを比較しただけでは運転者が実際に視線を向けている物標を正確に推定できない。図１０には、運転者Ｄの視線方向α（車両の前後方向との角度）と視野映像用カメラＣによる視野画像から検出した物標Ｏａ，Ｏｂの相対方向γ，β（車両の前後方向との角度）の関係の一例を示している。この例では、物標Ｏａ、物標Ｏｂは、共に、運転者Ｄの視線方向α上に共に存在する。しかし、運転者Ｄの眼の位置と視野映像用カメラＣの位置とが異なっているので、視野映像用カメラＣの視野画像から検出された物標Ｏａ、物標Ｏｂの相対方向は、γとβで異なり、運転者Ｄの視線方向αとも異なっている。そのため、視線方向αと相対方向γ，βとを比較した場合、運転者が物標Ｏａを見ていると判断できない虞がある。

そこで、本発明は、運転者の視線先を高精度に推定する視線先推定装置を提供することを課題とする。

本発明に係る視線先推定装置は、運転者の視線先を推定する視線先推定装置であって、運転者の視線方向を検出する視線方向検出手段と、車両周辺に存在する物標の位置情報を検出する物標検出手段と、運転者と物標検出手段との相対位置情報を取得する相対位置取得手段と、運転者が物標の方向に視線を向けている可能性を評価する評価手段と、視線方向検出手段で検出した運転者の視線方向と物標検出手段で検出した物標の位置とが重なる物標を検出して運転者の視線先を推定する視線先推定手段とを備え、評価手段は、物標検出手段で検出した物標が運転者の視線方向に複数存在し、車両が走行中の場合、車両走行中の複数の異なる時刻における運転者の視線方向と物標の位置とが重なる物標に基づいて運転者の視線を向けている可能性を評価し、視線先推定手段は、重なる物標を検出するときに相対位置取得手段で取得した相対位置情報を考慮し、かつ、評価手段の評価結果に基づいて運転者が視線を向けている可能性が高い物標に基づいて運転者の視線先を推定することを特徴とする。さらに、この視線先推定装置では、評価手段は、物標検出手段で検出した物標が運転者の視線方向に複数存在し、車両が停止中の場合、運転者から物標までの距離が最も短い物標を運転者が視線を向けている物標とすると好適である。

この視線先推定装置では、視線方向検出手段により、運転者の視線方向を検出する。また、視線先推定装置では、物標検出手段により、車両周辺に存在する物標を検出し、物標の位置情報を取得する。また、視線先推定装置では、相対位置取得手段により、運転者と物標検出手段との相対位置情報を取得する。そして、視線先推定装置では、視線先推定手段により、相対位置情報を考慮して運転者の視線方向に重なる位置に存在する物標を検出し、その検出した物標に基づいて運転者の視線先（つまり、運転者が視線を向けている物標）を推定する。このように、視線先推定装置では、運転者の位置と物標検出手段との位置とは異なる位置にあるので、その相対位置関係を考慮して視線先を推定することにより、運転者の視点と物標検出手段の検出基準点とを一致させた状態での視線先推定を行うことができ、視線先を高精度に推定することできる。

なお、相対位置情報は、相対関係を示す情報であり、例えば、相対方向、相対距離である。相対位置取得手段は、様々な手段を適用でき、例えば、センサなどによる相対位置情報を直接検出する手段でもよいし、運転者の位置（運転者の頭の位置や眼の位置など）をセンサなどで検出し、その検出した位置と物標検出手段の予め判っている位置から相対位置情報を算出する手段でもよいし、あるいは、運転者の推定される位置と物標検出手段の予め判っている位置から相対位置情報を算出し、その相対位置情報を記憶しておく手段でもよい。相対位置情報を求める際の運転者の位置としては、運転者の頭の位置が望ましく、運転者の眼の位置がより望ましい。視線先推定手段で相対位置情報を考慮する場合、視線方向検出手段、物標検出手段が両方とも検出を行った後に相対位置情報を考慮して検出した物標の中から運転者の視線方向上に存在する物標を探索するようにしてもよいし、あるいは、視線方向検出手段と物標検出手段のうちの一方で検出を行った後に、相対位置情報によって一方の検出したほうの情報を補正し、補正した情報を用いて他の検出手段での検出を行うようにしてもよい。

本発明の上記視線先推定装置では、視線先推定手段は、運転者の視線方向と物標の位置情報の少なくとも一方を相対位置情報に基づいて運転者の位置と物標検出手段の位置とが一致するように補正し、当該補正後に重なる物標を検出する構成としてもよい。

この視線先推定装置では、視線先推定手段により、相対位置情報に基づいて運転者の位置と物標検出手段の位置とが一致するように運転者の視線方向又は／及び物標の位置情報を補正し、補正した後の運転者の視線方向又は／及び物体の位置情報を用いて、視線方向に重なる位置に存在する物標を検出する。このような補正を行うことにより、運転者の視点と物標検出手段の検出基準点とを一致させた状態での視線先推定を行うことができる。

本発明の上記視線先推定装置では、運転者が物標の方向に視線を向けている可能性を評価する評価手段を備え、視線先推定手段は、評価手段の評価結果に基づいて運転者が視線を向けている可能性が高い物標に基づいて運転者の視線先を推定する構成としてもよい。特に、本発明の上記視線先推定装置では、評価手段は、複数の異なる時刻における運転者の視線方向と物標の位置とが重なる物標に基づいて運転者の視線を向けている可能性を評価すると好適である。

この視線先推定装置では、評価手段により、運転者が物標の方向に視線を向けている可能性を評価する。この評価方法としては、複数の異なる各時刻での運転者の視線方向に重なる位置に存在する物標の情報に基づいて運転者の視線を向けている可能性を評価する方法が簡単かつ高精度な方法であり、例えば、異なる時刻においてそれぞれ重なる物標として検出されている物標のうち共通する物標を可能性が高いと評価する。そして、視線先推定装置では、視線先推定手段により、運転者の視線方向と物標の位置とが重なる物標が複数存在する場合、複数の物標の中からその評価結果で視線を向けている可能性の高い物標に基づいて運転者が視線を向けている物標（視線先）を推定する。このように、視線先推定装置では、重なる物標が複数存在しても、運転者が視線を向けている可能性を評価することにより、運転者が視線を向けている物標を絞ることができ、視線先を高精度に推定することできる。

本発明は、運転者の位置と物標検出手段の位置との相対位置情報を考慮して視線先を推定することにより、運転者の視線先を高精度に推定することができる。

以下、図面を参照して、本発明に係る視線先推定装置の実施の形態を説明する。

本実施の形態では、本発明に係る視線先推定装置を、車両に搭載される運転支援装置に適用する。本実施の形態に係る運転支援装置は、運転者が認識していない障害物の存在を知らせるために、運転者の視線先と障害物との位置関係から警報を出力する。

図１〜図５を参照して、本実施の形態に係る運転支援装置１について説明する。図１は、本実施の形態に係る運転支援装置の構成図である。図２は、本実施の形態に係る運転者及び視野映像用カメラとオブジェクトとの位置関係を示す一例である。図３は、本実施の形態に係る視野映像用カメラの視野画像に重畳したアイマークの一例である。図４は、本実施の形態に係るミリ波レーダとオブジェクトとの位置関係を示す一例である。図５は、本実施の形態に係る現在時刻で検出したオブジェクト群とａ秒前に検出したオブジェクト群との位置関係を示す一例である。

運転支援装置１は、運転者の視線先を推定するとともに自車両の走行に障害となる障害物（他車両、歩行者など）を検出し、障害物が存在する場合には運転者のその障害物に対する認識度合いに応じて警報制御を行う。視線先を推定するために、運転支援装置１では、視野映像用カメラの視野画像に基づいて運転者の視線ベクトル上に存在する画像オブジェクト（画像物標）を検出するとともに、ミリ波レーダのミリ波情報に基づいて運転者の視線ベクトル上に存在するミリ波オブジェクト（ミリ波物標）を検出し、検出した全てのオブジェクトの中から視線対象物（運転者が視線を向けている物標）を特定する。特に、運転支援装置１では、視線先の推定精度を向上させるために、運転者の位置（特に、眼の位置）と各検出手段の位置との相対位置情報を考慮して運転者の視線ベクトル上に存在するオブジェクトを検出する。そのために、運転支援装置１は、運転者用カメラ２、ＬＥＤ[Light Emitting Diode]３、視野映像用カメラ４、ミリ波レーダ５、警報装置６及びＥＣＵ[ElectronicControl Unit]７を備えている。

なお、本実施の形態では、運転者用カメラ２及びＥＣＵ７における処理が特許請求の範囲に記載する視線方向検出手段に相当し、視野映像用カメラ４、ミリ波レーダ５及びＥＣＵ７における処理が特許請求の範囲に記載する物標検出手段に相当し、運転者用カメラ２及びＥＣＵ７における処理が特許請求の範囲に記載する相対位置取得手段に相当し、ＥＣＵ７における各処理が視線先推定手段及び評価手段に相当する。

運転者用カメラ２は、運転者の視線ベクトルと眼の位置を検出するために、運転者の顔周辺の画像を取得するためのステレオカメラであり、２台のカメラからなる。運転者用カメラ２は、インストルメントパネルに運転者の顔周辺の方向に向けて取り付けられ、２台のカメラが水平方向に所定間隔離間されて配置されている。また、運転者用カメラ２は、近赤外線カメラであり、近赤外線（ＬＥＤ３からの近赤外線の反射光など）を取り込み、その近赤外線の輝度に応じた近赤外線映像を生成する。この近赤外線映像は、一定時間（例えば、１／３０秒）毎のフレームの近赤外線画像からなる。運転者用カメラ２では、一定時間毎に、各フレームのステレオの近赤外線画像情報を運転者画像信号としてＥＣＵ７に送信する。

ＬＥＤ３は、近赤外線を発光するＬＥＤである。ＬＥＤ３は、インストルメントパネルに運転者の顔周辺に向けて照射するように取り付けられる。ＬＥＤ３では、運転支援装置１が起動すると、運転者の顔周辺に向けて近赤外線を照射する。このようにＬＥＤ３によって運転者に顔周辺に近赤外線を照射し、近赤外線カメラ（運転者用カメラ２）で運転者の顔周辺を撮像することにより、運転者の顔周辺だけの画像を取得することができる。なお、近赤外線は、人に無害であり、運転者の運転に支障を及ぼさない。

視野映像用カメラ４は、画像オブジェクトを検出するために、運転者の視野に相当する画像を取得するための単眼カメラである。視野映像用カメラ４は、自車両の前側の中央（例えば、ルームミラーの裏側）に前方に向けて取り付けられる。この視野映像用カメラ４の取り付けられている位置は、自車両の所定の位置（例えば、自車両の重心位置、自車両の前端の中心位置）を原点とした場合の位置として、ＥＣＵ７に予め記憶されている。視野映像用カメラ４では、自車両の前方を撮像し、その視野映像を生成する。この視野映像は、一定時間毎のフレームの視野画像からなる。視野映像用カメラ４では、一定時間毎に、各フレームの視野画像情報を視野画像信号としてＥＣＵ７に送信する。なお、視野映像用カメラ４では、自車両から比較的遠方の存在する物体の情報まで取得することができる。

ミリ波レーダ５は、ミリ波オブジェクトを検出するために、ミリ波を利用したレーダである。ミリ波レーダ５は、自車両の前端の中央に前方に向けて取り付けられる。このミリ波レーダ５の取り付けられている位置は、自車両の所定の位置を原点とした場合の位置として、ＥＣＵ７に予め記憶されている。ミリ波レーダ５では、ミリ波を水平面内でスキャンしながら自車両から前方に向けて送信し、反射してきたミリ波を受信する。そして、ミリ波レーダ５では、そのミリ波の送受信データをミリ波信号としてＥＣＵ７に送信する。なお、ミリ波レーダ５では、視野映像用カメラ４より自車両から近傍に存在する物体の情報しか取得できない。

警報装置６は、警報音と出力する装置である。警報装置６では、ＥＣＵ７から警報信号を受信すると、警報音を出力する。警報装置６では、音の強弱、音の種類（周波数）、出力タイミングを任意に変えることができ、警報信号に示される警報情報に応じて様々な警報音を出力する。

ＥＣＵ７は、ＣＰＵ[Central ProcessingUnit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]などからなる電子制御ユニットであり、運転支援装置１を統括制御する。ＥＣＵ７では、運転支援装置１が起動されると、ＲＯＭに記憶されている専用のアプリケーションプログラムをＲＡＭにロードし、ＣＰＵによってそのプログラムを実行することによって視線先推定部、障害物検出部、警報制御部が構成される。ＥＣＵ７は、ＣＰＵのマスタクロックに基づく一定時間毎に、運転者用カメラ２からの運転者画像信号、視野映像用カメラ４からの視野画像信号、ミリ波レーダ５からのミリ波信号を取り入れる。そして、ＥＣＵ７では、一定時間毎に、これら各信号の情報に基づいて各部の処理を行い、必要に応じて警報装置６に警報信号を送信する。

視線先推定部における処理について説明する。視線先推定部は、画像オブジェクトを検出とともにミリ波オブジェクトを検出し、検出した全てのオブジェクトの中から１つの視線対象物を特定する。そのために、視線先推定部では、運転者情報検出処理、オブジェクト認識スキャン処理、レーダハイブリッド処理、時空間マッチング処理が行われる。

運転者情報検出処理について説明する。運転者情報検出処理では、運転者画像信号の運転者画像（ステレオ画像）から運転者の視線ベクトル（視線方向に相当）と眼の位置を検出する。まず、ＥＣＵ７では、運転者画像から、眼のテンプレートによるパターンマッチングなどによって眼の部分を抽出する。そして、ＥＣＵ７では、その眼部分の画像から視線ベクトルを検出する。この視線ベクトルの検出方法は、一般的な視線検出技術を利用する。視線ベクトルＶは、図２に示すように、運転者の眼の位置を基準とし、車両の前後方向Ｗに対する運転者の視線方向αで表される。また、ＥＣＵ７では、抽出した眼部分の左右のステレオ画像における物体の見え方のずれを利用して三角測量的に運転者用カメラ２に対する眼の位置の相対距離及び相対方向を求め、この相対距離及び相対方向と運転者用カメラ２の位置から眼の位置を検出する。この眼の位置や運転者用カメラ２の位置は、自車両の所定の位置を原点とした場合の位置である。

オブジェクト認識スキャン処理について説明する。オブジェクト認識スキャン処理では、運転者の眼の位置と視野映像用カメラ４との相対位置情報を考慮し、視野画像から検出可能なオブジェクトのうち運転者の視線ベクトル上に存在するオブジェクトを画像オブジェクトとして抽出する。

まず、ＥＣＵ７では、運転者の眼の位置と視野映像用カメラ４との位置の相対距離及び相対方向を算出する。視野映像用カメラ４の位置は、上記したようにＥＣＵ７に予め記憶されており、その値が用いられる。そして、ＥＣＵ７では、図２に示すように、視線ベクトルＶ上に運転者Ｄに近い位置から任意の位置までの焦点距離Ｐ１，Ｐ２，・・・を順次設定する。任意の位置は、適宜設定してよく、視野画像で奥行き方向において検出可能な距離などを考慮して設定される。焦点距離は、運転者の視線上の奥行き成分である。焦点距離の間隔としては、適宜設定してよく、例えば、一定距離毎でもよいし、奥に行くほど距離を長くしてもよい。この時点では、運転者の実際の焦点距離が判っていないので（つまり、運転者が視線ベクトル上のどの物体を見ているか判らないので）、焦点距離Ｐ１，Ｐ２・・・は仮の焦点距離である。

さらに、ＥＣＵ７では、図３に示すように、視野画像上に、視野ベクトルＶにおける各焦点距離Ｐ１，Ｐ２，・・・の位置に相当するアイマークＥ１，Ｅ２，・・・を設定する。この際、ＥＣＵ７では、運転者の眼の位置と視野映像用カメラ４との位置の相対距離及び相対方向に基づいて、視線ベクトルＶ上の焦点距離Ｐ１，Ｐ２，・・・を視野画像上の位置にそれぞれ変換する。アイマークＥ１，Ｅ２，・・・は、運転者の眼が視野映像用カメラ４の位置にあると仮定した場合の運転者の視線ベクトルＶ上の各焦点距離Ｐ１，Ｐ２，・・・の位置に相当する視野画像上での位置である。そして、ＥＣＵ７では、アイマークＥ１，Ｅ２，・・・毎に、視野画像における各アイマークを中心として半径ｒピクセルの範囲内でオブジェクト認識を行う。半径ｒピクセルは、アイマークの間隔を考慮して設定される。オブジェクト認識処理としては、一般的なオブジェクト認識技術を利用し、例えば、道路上に存在すると予想される物体のテンプレートを用意し、各テンプレートを利用したパターンマッチングでオブジェクトを認識する。オブジェクトを認識できた場合、ＥＣＵ７では、そのオブジェクトを画像オブジェクトとし、画像オブジェクトの情報として視野画像上の位置（ｘ，ｙ）の他にアイマークに対応する焦点距離を保持する。図３に示す例では、アイマークＥ３においてオブジェクトＯａを認識でき、画像オブジェクトとして焦点距離Ｐ３が保持され、アイマークＥ５においてオブジェクトＯｂを認識でき、画像オブジェクトとして焦点距離Ｐ５が保持される。

このオブジェクト認識スキャン処理では、視野画像を利用しているので、自車両から比較的遠いところに存在するオブジェクトも検出することできる。また、オブジェクト認識スキャン処理は、標識（一時停止、進入禁止、車速制限など）、信号機（色情報も）、一時停止線などのオブジェクト検出に優れた手法である。

なお、視野画像を利用したオブジェクト検出については、上記した方法以外も適用可能である。例えば、視野画像全体に対してオブジェクト認識を行い、視野画像内に存在するオブジェクトを全て抽出する。そして、上記と同様に、視野画像上にアイマークを設定する。さらに、視野画像上で各オブジェトの位置と各アイマークの位置とを比較し、アイマークを中心として半径ｒピクセル範囲内に存在するオブジェクトを画像オブジェクトとして抽出する。

レーダハイブリッド処理について説明する。レーダハイブリッド処理では、運転者の眼の位置とミリ波レーダ５との相対位置情報を考慮し、ミリ波情報によって検出可能なオブジェクトのうち運転者の視線ベクトル上に存在するオブジェクトをミリ波オブジェクトとして抽出する。

まず、ＥＣＵ７では、運転者の眼の位置とミリ波レーダ５との位置の相対距離及び相対方向を算出する。ミリ波レーダ５の位置は、上記したようにＥＣＵ７に予め記憶されており、その値が用いられる。そして、ＥＣＵ７では、図４に示すように、運転者の眼の位置とミリ波レーダ５との位置の相対距離及び相対方向に基づいて、運転者Ｄの視線ベクトルＶをミリ波レーダ５の座標系でのベクトル（視線ベクトルＶ’）に変換する。視線ベクトルＶ’は、運転者の眼がミリ波レーダ５の位置にあると仮定した場合の視線ベクトルである。視線ベクトルＶ’は、図４に示すように、ミリ波レーダ５の位置を基準とし、車両の前後方向Ｗに対する運転者の視線方向θで表される。

さらに、ＥＣＵ７では、ミリ波情報に基づいて、視線ベクトルＶ’上に存在するオブジェクトを検出する。ここでは、ミリ波情報に基づいて視線ベクトルＶ’の方向に送信したミリ波に対して反射したミリ波を受信できた場合に、オブジェクトを検出できたことになる。オブジェクトを検出できた場合、ＥＣＵ７では、そのオブジェクトをミリ波オブジェクトとし、ミリ波オブジェクトの情報としてオブジェクトまでの距離（焦点距離）を算出する。この焦点距離は、ミリ波が出射から受信までの時間に基づいてミリ波レーダ５からオブジェクトまでの距離が算出され、その算出されたミリ波レーダ５からの距離を相対距離及び相対方向に基づいて運転者の眼の位置からの距離に変換された距離である。図４に示す例では、視線ベクトルＶ’上のオブジェクトＯａが検出され、ミリ波オブジェクトとして焦点距離が算出される。オブジェクトＯｂも視線ベクトルＶ’上に存在するが、オブジェクトＯａに重なっているので検出されない。オブジェクトＯｃは、視線ベクトルＶ’に存在しないので、検出されない。

レーダハイブリッド処理では、ミリ波情報を利用しているので、自車両から比較的近いところに存在するオブジェクトを検出することできる。また、レーダハイブリッド処理は、他車両、歩行者などのオブジェクト検出に優れた手法である。

なお、ミリ波情報を利用したオブジェクト検出については、上記した方法以外も適用可能である。例えば、ミリ波情報を用いて、ミリ波で検出可能な全領域に対してオブジェクト検出を行い、検出可能な全領域内に存在するオブジェクトを全て抽出し、このオブジェクトの距離と方向を算出する。そして、上記と同様に、相対位置情報に基づいて、視線ベクトルＶを視線ベクトルＶ’に変換する。さらに、視線ベクトルＶ’と抽出した各オブジェクトの方向とを比較し、同じ方向のオブジェクトをミリ波オブジェクトとして抽出する。あるいは、相対位置情報に基づいて、抽出した各オブジェクトを、運転者の眼の座標系での方向と距離（つまり、ミリ波レーダ５が運転者の眼の位置にあると仮定した場合の方向と距離）に変換する。さらに、視線ベクトルＶと変換した各オブジェクトの方向とを比較し、同じ方向のオブジェクトをミリ波オブジェクトとして抽出する。

時空間マッチング処理について説明する。時空間マッチング処理では、検出できた全ての画像オブジェクトとミリ波オブジェクトの中から、実際に運転者が視線を向けているオブジェクト（視線対象物）を１つ特定する。時空間マッチング処理には、第１方法と第２方法の２つの方法があり、いずれかの方法で視線対象物を特定する。いずれの方法も、自車両が移動して自車両（運転者）と各オブジェクトとの位置関係が変化し、運転者の視線ベクトルも変化していることを利用し、現在時刻で検出できたオブジェクト群と現在時刻より過去に検出できたオブジェクト群とを比較することによって視線対象物を特定する。

第１方法について説明する。まず、ＥＣＵ７では、現在時刻で検出できたオブジェクト（画像オブジェクト又はミリ波オブジェクト）が１つの場合、そのオブジェクトを視線対象物として確定する。現在時刻で検出できたオブジェクトが複数存在する場合、ＥＣＵ７では、車両が停止中か否かを判定し、停止中の場合には現在時刻で検出できたオブジェクト群の中から焦点距離が最も短い（つまり、運転者から最も近い）オブジェクトを視線対象物と確定する。停止中は安全なため（障害物に衝突する可能性が低いため）、最も近いオブジェクトを選んでおく。なお、停止中か否かの判定は、特に限定しないが、例えば、車速センサで検出した車速を利用して判定する。

走行中の場合、ＥＣＵ７では、現在時刻で検出できたオブジェクト群と現在時刻からａ秒前に検出できたオブジェクト群を比較し、共通するオブジェクトを検出する。ａ秒は、適宜設定してよく、例えば、０．１秒、０．２秒などの固定値でもよいし、車速などに応じた可変値としてもよい。図５に示す例では、現在時刻ｔには２つのオブジェクトＯａとオブジェクトＯｄを検出しており、ａ秒前には２つのオブジェクトＯａとオブジェクトＯｂを検出しており、オブジェクトＯａが共通するオブジェクトとして検出される。そして、ＥＣＵ７では、共通するオブジェクトが１つの場合、その共通するオブジェクトを視線対象物として確定する。共通するオブジェクトが複数存在する場合、ＥＣＵ７では、更にａ秒前遡り（つまり、現在時刻からａ×２秒前）、現在時刻で検出できたオブジェクト群と現在時刻からａ秒前に検出できたオブジェクト群にａ×２秒前に検出できたオブジェクト群も加えたオブジェクト群とを比較し、共通するオブジェクトを検出し、共通するオブジェクトが１つか否かを判定する。

ＥＣＵ７では、ａ秒間隔で過去を遡ってオブジェクト群を追加してゆき、共通するオブジェクトが１つになるまで上記した処理を繰り返し行う。そして、ＥＣＵ７では、ａ×ｎ秒まで遡っても、共通するオブジェクトが複数存在している場合、過去を遡るのを終了し、視線対象物を確定しない。このような場合、運転者の視線が移動中（追従運動やサッケード運動）と判断し、視線先を特定できないので、視線対象物を確定しない。ａ×ｎ秒は、運転者の視線が移動中か否かを判断するために充分な時間が設定される。なお、この場合、前回確定した視線対象物を今回の視線対象物としたり、あるいは、現在時刻のオブジェクト群の中から焦点距離の最も短いオブジェクトを視線対象物としてもよい。

第２方法について説明する。第２方法も、オブジェクトが１つかない場合と車両停止中の場合は第１方法と同様に視線対象物を確定する。走行中の場合、ＥＣＵ７では、現在時刻での運転者の視線ベクトルと現在時刻からａ秒前の運転者の視線ベクトルとの交点を算出する。交点を算出するときには、現在時刻での運転者の眼の位置（現在時刻の視線ベクトルの起点）を基準とし、車両の車速からａ秒間の移動距離ｄを算出し、ａ秒前の視線ベクトルの起点を定め、各起点から各視線ベクトルを延ばして交点が算出される。そして、ＥＣＵ７では、現在時刻で検出できたオブジェクト群の中からその交点に最も近いオブジェクトを視線対象物と確定する。図５に示す例では、現在時刻ｔには２つのオブジェクトＯａとオブジェクトＯｄを検出しており、現在時刻ｔの視線ベクトルＶ_ｔとａ秒前の視線ベクトルＶ_ｔ−ａとの交点はＩで示す点であり、この交点Ｉに最も近いオブジェクトＯａが視線対象物として検出される。交点が発生しない場合、ＥＣＵ７では、第１方法と同様に運転者の視線が移動中と判断し、視線対象物を確定しない。この場合も、第１方法と同様に、前回確定した視線対象物あるいは焦点距離の最も短いオブジェクトを視線対象物としてもよい。

なお、運転者の視線先は特定した視点対象物（オブジェクト）に対応付けられている焦点距離と運転者の視線ベクトルによって規定され、運転者はその視線ベクトル上の焦点距離のところを見ていることになる。

障害物検出部における処理について説明する。ＥＣＵ７では、自車両の進行方向などを考慮し、各種検出手段の情報に基づいて自車両の進行に障害となる障害物（他車両、歩行者など）を検出する。そして、ＥＣＵ７では、障害物を検出できた場合、その障害物の位置の情報を取得する。なお、この障害物の検出方法は、特に限定しないが、上記した単眼カメラによる視野画像を用いる方法やミリ波情報を用いる方法でもよいし、ステレオカメラによるステレオ画像を用いる方法などの他の方法でもよい。

警報制御部における処理について説明する。ＥＣＵ７では、視線先推定部で特定した視線対象物と障害物検出部で検出した障害物とが一致しているか否かあるいは一致度合いを判定する。そして、ＥＣＵ７では、一致していない場合や一致度合いが高くないときには、警報情報を生成し、その警報情報を示す警報信号を警報装置６に送信する。一致しているか否かだけを判定している場合には、警報情報として警報音のオン／オフ情報だけである。一致度を判定している場合には、警報情報として一致度が低いほど運転者に注意喚起を促す警報音となる情報（例えば、音を強くする情報、出力間隔を短くするための情報）とする。

図１を参照して、運転支援装置１の動作について説明する。特に、ＥＣＵ７におけるオブジェクト認識スキャン処理については図６のフローチャートに沿って説明し、レーダハイブリッド処理については図７のフローチャートに沿って説明し、時空間マッチング処理の第１方法について図８のフローチャートに沿って説明し、時空間マッチング処理の第２方法について図９のフローチャートに沿って説明する。

運転支援装置１が起動されると、ＬＥＤ３では、運転者の顔周辺に向けて近赤外線を照射する。運転者用カメラ２では、その反射した近赤外線を受光し、近赤外線画像（ステレオ画像）を撮像し、その撮像した近赤外線画像を運転者画像信号としてＥＣＵ７に送信する。視野映像用カメラ４では、車両の前方を撮像し、その撮像した視野画像を視野画像信号としてＥＣＵ７に送信する。ミリ波レーダ５では、前方にミリ波を送信するとともに反射してきたミリ波を受信し、その送受信データをミリ波信号としてＥＣＵ７に送信する。

一定時間毎に、ＥＣＵ７では、運転者用カメラ２からの運転者画像信号、視野映像用カメラ４からの視野画像信号、ミリ波レーダ５からのミリ波信号を受信する。そして、ＥＣＵ７では、運転者画像に基づいて、運転者の視線ベクトルと眼の位置を検出する（図６のＳ１０、図７のＳ２０）。

ＥＣＵ７では、運転者の眼と視野映像用カメラ４との相対距離及び相対方向を算出する（図６のＳ１１）。そして、ＥＣＵ７では、視線ベクトル上に、運転者から近い距離から順に任意の距離まで、所定の間隔で焦点距離を設定する（図６のＳ１２）。さらに、ＥＣＵ７では、視線ベクトル上の設定した焦点距離毎に、算出した相対距離及び相対方向に基づいて視野画像上にアイマークを重畳する（図６のＳ１３）。そして、ＥＣＵ７では、アイマーク毎に、視野画像におけるアイマークの座標を中心として半径ｒピクセル範囲内をオブジェクト認識し、認識できた場合には画像オブジェクトとする（図６のＳ１４）。ここで、運転者の眼と視野映像用カメラ４との相対位置関係を考慮して、視野画像から運転者の視線ベクトル上に存在する画像オブジェクトが検出される。この画像オブジェクトには、視線ベクトル上の焦点距離が対応付けられる。

ＥＣＵ７では、運転者の眼とミリ波レーダ５との相対距離及び相対方向を算出する（図７のＳ２１）。そして、ＥＣＵ７では、その算出した相対距離と相対方向に基づいて、運転者の視線ベクトルをミリ波レーダの座標系での視線ベクトルに変換する（図７のＳ２２）。さらに、ＥＣＵ７では、ミリ波情報に基づいて、変換した視線ベクトル上に存在するオブジェクトを検出し、検出できた場合にはミリ波オブジェクトとし、そのミリ波オブジェクトの焦点距離を算出する（図７のＳ２３）。ここで、運転者の眼とミリ波レーダ５との相対位置関係を考慮して、ミリ波情報から運転者の視線ベクトル上に存在するミリ波オブジェクトが検出される。

ＥＣＵ７では、運転者の視線ベクトルと検出できた画像オブジェクト及びミリ波オブジェクト（オブジェクト群）とを検出時刻を対応付けて所定の記憶領域に記憶する。

時空間マッチング処理の第１方法の場合、ＥＣＵ７では、検出できたオブジェクトが１つか否かを判定する（図８のＳ３０）。Ｓ３０にて１つと判定した場合、ＥＣＵ７では、その１つのオブジェクトを視線対象物と確定する（図８のＳ３１）。Ｓ３０にて複数と判定した場合、ＥＣＵ７では、車両が停止中か否かを判定する（図８のＳ３２）。Ｓ３２にて停止中と判定した場合、ＥＣＵ７では、複数のオブジェクトの中から焦点距離が最も短いオブジェクトを視線対象物と確定する（図８のＳ３３）。

Ｓ３２にて走行中と判定した場合、ＥＣＵ７では、ａ秒前に検出できたオブジェクト群を抽出する（図８のＳ３４）。そして、ＥＣＵ７では、現在時刻に検出できたオブジェクト群と選択した全てのオブジェクト群とを比較し、現在時刻のオブジェクトに共通するオブジェクトを検出する（図８のＳ３５）。ＥＣＵ７では、共通のオブジェクトが１つか否かを判定する（図８のＳ３６）。Ｓ３６にて１つと判定した場合、ＥＣＵ７では、その１つの共通のオブジェクトを視線対象物と確定する（図８のＳ３７）。

Ｓ３６にて複数と判定した場合、ＥＣＵ７では、ａ×ｎ秒遡ったか否かを判定する（図８のＳ３８）。Ｓ３８にてａ×ｎ秒遡ったと判定した場合、ＥＣＵ７では、視線対象物を確定しない（図８のＳ３９）。Ｓ３８にてａ×ｎ秒遡っていないと判定した場合、ＥＣＵ７では、Ｓ３４の処理に戻り、更にａ秒前のオブジェクト群を抽出し、そのオブジェクト群も加えて共通するオブジェクトを検出する。ＥＣＵ７では、この処理を共通のオブジェクトが１つになるかあるいはａ×ｎ秒遡るまで繰り返し行う。

時空間マッチング処理の第２方法の場合、ＥＣＵ７では、図９のＳ４０〜Ｓ４３まで、第１方法（図８のＳ３０〜Ｓ３３の処理）と同様の処理を行う。Ｓ４２にて走行中と判定した場合、ＥＣＵ７では、現在時刻の視線ベクトルと現在時刻のａ秒前の視線ベクトルとの交点を算出する（図９のＳ４４）。ＥＣＵ７では、交点が存在するか否かを判定する（図９のＳ４５）。Ｓ４５にて交点が存在すると判定した場合、ＥＣＵ７では、現在時刻のオブジェクト群の中から交点に最も近いオブジェクトを視線対象物と確定する（図９のＳ４６）。Ｓ４５にて交点が存在しないと判定した場合、ＥＣＵ７では、視線対象物を確定しない（図９のＳ４７）。

ここまでの処理で、運転者が視線を向けている視線対象物が唯一確定され、運転者の視線ベクトルとその視線ベクトル上の焦点距離（視線先）が判る。

また、ＥＣＵ７では、自車両の進行に障害となる障害物を検出し、障害物を検出できた場合にはその障害物の位置の情報を取得する。

そして、ＥＣＵ７では、確定した視線対象物と検出した障害物とが一致しているか否かあるいは一致度合いを判定する。そして、ＥＣＵ７では、一致していない場合や一致度合いが高くないときには、警報情報を生成し、その警報情報からなる警報信号を警報装置６に送信する。なお、視線対象物を確定できなかった場合に障害物を検出できているときには、規定の警報情報からなる警報信号を警報装置６に送信する。また、障害物を検出できない場合、障害物が存在しないので、警報信号を送信しない。

警報装置６では、警報信号を受信すると、その警報情報に応じた警報音を出力する。運転者は、この警報音により視線先以外に障害物が存在することに気づき、障害物にも視線を向けるようになる。

この運転支援装置１によれば、運転者の位置とオブジェクトの各検出手段との位置との相対位置関係を考慮して視線先を推定することにより、運転者の視点と各検出手段の検出基準点とを一致させた状態での視線先推定を行うことができ、視線先を高精度に推定することできる。特に、運転支援装置１では、相対位置関係を用いて運転者の視線ベクトルを補正することにより、運転者の視点を各検出手段の検出基準点に位置させた場合の視線ベクトルとして視線先推定を行うことができる。

また、運転支援装置１では、画像情報を利用したオブジェクト認識スキャン処理とミリ波情報を利用したレーダハイブリッド処理の２つの方式でオブジェクトを検出することにより、各方式の特性に合ったオブジェクトを高精度に検出でき、様々な種類のオブジェクトを高精度に検出することができる。また、運転支援装置１では、複数のオブジェクトが検出された場合でも時空間マッチング処理で異なる時刻にそれぞれ検出されているオブジェクト群を比較することにより、簡単かつ高精度に、１つの視線対象物を特定することができる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では運転者の視線先と障害物との位置関係から警報を出力する運転支援装置に適用したが、様々な装置に適用でき、例えば、運転者の視線先の推定だけを行う視線先推定装置に適用してもよいし、音声や画像などの他の手段によって運転者に知らせる運転支援装置に適用してもよいし、運転者の視線先と障害物との関係からブレーキ制御、車速制御などの車両制御を行う運転支援装置に適用してもよい。

また、本実施の形態では視線先推定として視線対象物を特定する構成としたが、視線を向けているオブジェクトを特定するのではなく、視線を向けている領域などを求めてもよい。

また、本実施の形態では視野映像用カメラの画像に基づいて画像オブジェクトを検出するとともに、ミリ波レーダのミリ波情報に基づいてミリ波オブジェクトを検出し、検出した全てのオブジェクトの中から視線対象物を特定する構成としたが、画像とミリ波情報の一方だけを用いてオブジェクトを検出する構成としてもよいし、他の情報を用いてオブジェクトを検出する構成としてもよい。オブジェクトの検出手段として視野映像用カメラとミリ波レーダを適用したが、自律系センサであれば他の検出手段も適用可能であり、例えば、ステレオカメラ、レーザレーダ、超音波レーダである。

また、本実施の形態では時空間マッチング処理の２つの方法により運転者の視線対象物を特定する構成としたが、他の方法で視線対象物を特定してもよく、例えば、検出できたオブジェクトの中から最も近距離に存在するオブジェクトを視線対象物と特定してもよいし、最も目立つオブジェクトあるいは最も危険性の高いオブジェクトを視線対象物と特定してもよい。

また、本実施の形態では運転者の眼の位置を運転者用カメラのステレオ画像から検出し、その眼の位置と予め判っている視野映像用カメラの位置やミリ波レーダの位置から各相対位置情報を算出する構成としたが、他の方法で相対位置情報を取得してもよく、例えば、カメラで運転者と検出手段とを含む画像を撮像し、その画像から相対位置情報を求めるなど、相対位置情報を直接検出する手段でもよいし、運転者の頭の位置（ひいては、眼の位置）について大体推測できるので、その平均的な運転者の頭の位置（眼の位置）と各検出手段との位置との相対位置情報を予め求め、その相対位置情報を記憶手段に記憶させておき、必要に応じて記憶手段から読み出すことにより取得するようにしてもよい。

本実施の形態に係る運転支援装置の構成図である。本実施の形態に係る運転者及び視野映像用カメラとオブジェクトとの位置関係を示す一例である。本実施の形態に係る視野映像用カメラの視野画像に重畳したアイマークの一例である。本実施の形態に係るミリ波レーダとオブジェクトとの位置関係を示す一例である。本実施の形態に係る現在時刻で検出したオブジェクト群とａ秒前に検出したオブジェクト群との位置関係を示す一例である。本実施の形態に係るＥＣＵにおけるオブジェクト認識スキャン処理の流れを示すフローチャートである。本実施の形態に係るＥＣＵにおけるレーダハイブリッド処理の流れを示すフローチャートである。本実施の形態に係るＥＣＵにおける時空間マッチング処理（第１方法）の流れを示すフローチャートである。本実施の形態に係るＥＣＵにおける時空間マッチング処理（第２方法）の流れを示すフローチャートである。運転者及び視野映像用カメラとオブジェクトとの位置関係を示す一例である。

符号の説明

１…運転支援装置、２…運転者用カメラ、３…ＬＥＤ、４…視野映像用カメラ、５…ミリ波レーダ、６…警報装置、７…ＥＣＵ

Claims

運転者の視線先を推定する視線先推定装置であって、
運転者の視線方向を検出する視線方向検出手段と、
車両周辺に存在する物標の位置情報を検出する物標検出手段と、
運転者と前記物標検出手段との相対位置情報を取得する相対位置取得手段と、
運転者が物標の方向に視線を向けている可能性を評価する評価手段と、
前記視線方向検出手段で検出した運転者の視線方向と前記物標検出手段で検出した物標の位置とが重なる物標を検出して運転者の視線先を推定する視線先推定手段と
を備え、
前記評価手段は、前記物標検出手段で検出した物標が運転者の視線方向に複数存在し、車両が走行中の場合、車両走行中の複数の異なる時刻における運転者の視線方向と物標の位置とが重なる物標に基づいて運転者の視線を向けている可能性を評価し、
前記視線先推定手段は、重なる物標を検出するときに前記相対位置取得手段で取得した相対位置情報を考慮し、かつ、前記評価手段の評価結果に基づいて運転者が視線を向けている可能性が高い物標に基づいて運転者の視線先を推定することを特徴とする視線先推定装置。
前記評価手段は、前記物標検出手段で検出した物標が運転者の視線方向に複数存在し、車両が停止中の場合、運転者から物標までの距離が最も短い物標を運転者が視線を向けている物標とする請求項１に記載する視線先推定装置。