JP7263734B2

JP7263734B2 - 視認対象判定装置

Info

Publication number: JP7263734B2
Application number: JP2018203134A
Authority: JP
Inventors: 俊介小暮; 晋大須賀; 信一郎村上
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 2018-10-29
Filing date: 2018-10-29
Publication date: 2023-04-25
Anticipated expiration: 2038-10-29
Also published as: DE102019128839A1; US20200134336A1; JP2020071528A; US10977506B2

Description

本発明の実施形態は、視認対象判定装置に関する。

画面に表示された映像の顕著領域を取得し、取得した顕著領域とユーザの視線方向の検出結果との相関を算出し、当該相関の算出結果に基づいて、映像に対するユーザの関心度を推定する技術が開示されている。

国際公開第２０１２／１０５１９６号公報特開２０１３－４１５４５号公報特開２０１６－７３３５７号公報特開２０１６－１３０９５９号公報

しかしながら、上記技術は、画面に表示された映像を見るユーザのように、ユーザが動かない場合における映像に対するユーザの関心度を推定することを前提しているため、車両の運転者のように、車両と共に運転者が動いている場合に、運転者が見ている視認対象物を高精度に判定することは難しい場合がある。

そこで、実施形態の課題の一つは、車両の運転者の視線が向けられている視認対象物の判定精度を向上させることが可能な視認対象判定装置を提供することである。

実施形態の視認対象判定装置は、一例として、車両の運転者の視線方向を検出する視線検出部と、車両の走行状態を示す車両情報を取得する車両情報取得部と、撮像部によって車両の周辺を撮像して得られる撮像画像を取得する画像取得部と、視線方向の検出結果に基づいて、撮像画像内において運転者の視線が向けられている注視領域を抽出する注視領域物抽出部と、撮像画像に含まれる物体を認識し、撮像画像および車両情報に基づいて、前記車両がどのように動くかを予測して、撮像画像のトップダウンサリエンシーマップを生成し、認識された物体のうち、トップダウンサリエンシーマップにおいてサリエンシーを有する物体を、運転者の視線が向けられている視認対象物の候補として検出する候補検出部と、注視領域の抽出結果および視認対象物の候補の検出結果に基づいて、運転者の視線が向けられている視認対象物を判定する視認対象判定部と、を備える。よって、一例として、車両の運転者の視線が向けられている視認対象物の判定精度を向上させることができる。

また、実施形態の視認対象判定装置は、一例として、候補検出部は、画像取得部により取得される撮像画像のうち所定の位置において取得された撮像画像に基づいてトップダウンサリエンシーマップを生成し、視線検出部は、トップダウンサリエンシーマップに基づいて、運転者が向けた全ての視線方向の候補のうち、車両の運転に関連する視線方向の候補を視線方向として検出する。よって、一例として、車両の運転中において運転者が視線方向を向けるべき視認対象物に対して、運転者の視線方向が向けられているか否かの判定精度を向上させることができる。

また、実施形態の視認対象判定装置は、一例として、視線検出部は、さらに、運転者の顔の向きを検出し、候補検出部は、さらに、検出した顔の向きに基づいて、視認対象物の候補に対して運転者の視線が向けられている信頼度を算出し、視認対象判定部は、撮像画像内における注視領域と視認対象物の候補間の距離、および視認対象物の候補の信頼度に基づいて、運転者の視線が向けられている視認対象物を判定する。よって、一例として、候補検出部によって複数の物体が視認対象物の候補として検出された場合や、複数の視認対象物の候補の位置が注視領域抽出部により抽出された注視領域と一致しない場合でも、視認対象物の判定精度を向上させることができる。

また、実施形態の視認対象判定装置は、一例として、注視領域抽出部は、撮像画像内において運転者の視線が向けられている領域のうち、尤もらしい領域を注視領域として抽出する。よって、一例として、運転者の視線が向いている視認対象物の判定精度をより向上させることができる。

図１は、第１の実施形態にかかる視認対象判定装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。図２は、第１の実施形態にかかる車両が有する撮像装置の配置の一例を示す図である。図３は、第１の実施形態にかかる車両の機能構成の一例を示すブロック図である。図４は、第１の実施形態にかかる車両が有するＥＣＵの機能的構成を示すブロック図である。図５は、第１の実施形態にかかる車両の注視領域抽出部によって注視領域を抽出する処理の一例を説明するための図である。図６は、第１の実施形態にかかる車両の候補検出部によってトップダウンサリエンシーマップを生成する処理の一例を説明するための図である。図７は、第１の実施形態にかかる車両の視認対象判定部による視認対象物の判定処理の一例を説明するための図である。図８は、第２の実施形態にかかる車両の機能構成の一例を示すブロック図である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。

本実施形態にかかる視認対象判定装置を搭載する車両は、内燃機関（エンジン）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両は、種々の変速装置、内燃機関や電動機の駆動に必要な種々の装置（システム、部品等）を搭載可能である。また、車両における車輪の駆動に関わる装置の方式、個数、レイアウト等は、種々に設定可能である。

（第１の実施形態）
図１は、第１の実施形態にかかる視認対象判定装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。図２は、第１の実施形態にかかる車両が有する撮像装置の配置の一例を示す図である。図１に示されるように、車両１は、車体２と、操舵部４と、モニタ装置１１と、を備える。

車体２は、運転者（不図示）が乗車する車室２ａを有する。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４等が設けられている。操舵部４は、例えば、ダッシュボード（インストルメントパネル）１２から突出したステアリングホイールである。

また、車室２ａ内のダッシュボード１２の車幅方向すなわち左右方向の中央部には、モニタ装置１１が設けられている。モニタ装置１１には、表示装置８（図３参照）や音声出力装置９（図３参照）が設けられている。表示装置８は、例えば、ＬＣＤ（Liquid Crystal Display）や、ＯＥＬＤ（Organic Electroluminescent Display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置は８、例えば、タッチパネル等、透明な操作入力部１０（図３参照）で覆われている。

乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置において手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。

また、図２に示すように、ハンドルコラム２０２には、ドライバモニタカメラ２０１が設置されている。このドライバモニタカメラ２０１は、例えば、ＣＣＤ（Charge Coupled Device）カメラ等である。ドライバモニタカメラ２０１は、座席２ｂに着座する運転者３０２の顔が、視野中心に位置するように、視野角および姿勢が調整されている。このドライバモニタカメラ２０１は、運転者３０２の顔を順次撮像し、撮像により得た画像についての画像データを順次出力する。

また、図１に示されるように、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（転舵可能に）設けられている。

また、図１に示されるように、車両１は、複数の撮像部１５（車載カメラ）を搭載する。本実施形態では、車両１は、例えば、４つの撮像部１５ａ～１５ｄを搭載する。撮像部１５は、ＣＣＤまたはＣＩＳ（CMOS Image Sensor）等の撮像素子を有するデジタルカメラである。撮像部１５は、所定のフレームレートで車両１の周囲を撮像可能である。そして、撮像部１５は、車両１の周囲を撮像して得られた撮像画像を出力する。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には、例えば、１４０°～２２０°の範囲を撮像可能である。また、撮像部１５の光軸は、斜め下方に向けて設定されている場合もある。

具体的には、撮像部１５ａは、例えば、車体２の後側の端部に位置し、トランクリッドの下方の壁部に設けられている。そして、撮像部１５ａは、車両１の周囲のうち、当該車両１の後方の領域を撮像可能である。撮像部１５ｂは、例えば、車体２の右側の端部に位置し、右側のドアミラーに設けられている。そして、撮像部１５ｂは、車両１の周囲のうち、当該車両の側方の領域を撮像可能である。撮像部１５ｃは、例えば、車体２の前側、すなわち、車両１の前後方向の前方側の端部に位置し、フロントバンパやフロントグリル等に設けられている。そして、撮像部１５ｃは、車両１の周囲のうち、当該車両１の前方の領域を撮像可能である。撮像部１５ｄは、例えば、車体２の左側、すなわち、車幅方向の左側の端部に位置し、左側のドアミラーに設けられている。そして、撮像部１５ｄは、車両１の周囲のうち、当該車両１の側方の領域を撮像可能である。

次に、図３を用いて、本実施形態にかかる車両の機能構成について説明する。図３は、第１の実施形態にかかる車両の機能構成の一例を示すブロック図である。図３に例示されるように、車両１は、ＥＣＵ（Engine Control Unit）１４、モニタ装置１１、操舵システム１３、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（Controller Area Network）として構成されている。

操舵システム１３は、電動パワーステアリングシステムやＳＢＷ（Steer By Wire）システム等である。操舵システム１３は、アクチュエータ１３ａおよびトルクセンサ１３ｂを有する。そして、操舵システム１３は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１３ａを動作させて、操舵部４に対して、トルクを付加して操舵力を補うことによって、車輪３を転舵する。トルクセンサ１３ｂは、運転者が操舵部４に与えるトルクを検出し、その検出結果をＥＣＵ１４に送信する。

ブレーキシステム１８は、車両１のブレーキのロックを制御するＡＢＳ（Anti-lock Brake System）、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させてブレーキをアシストする電動ブレーキシステム、およびＢＢＷ（Brake By Wire）を含む。

ブレーキシステム１８は、アクチュエータ１８ａおよびブレーキセンサ１８ｂを有する。ブレーキシステム１８は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１８ａを介して、車輪３に制動力を付与する。ブレーキシステム１８は、左右の車輪３の回転差等から、ブレーキのロック、車輪３の空回り、および横滑りの兆候等を検出して、ブレーキのロック、車輪３の空回り、および横滑りを抑制する制御を実行する。ブレーキセンサ１８ｂは、制動操作部の可動部としてのブレーキペダルの位置を検出する変位センサであり、ブレーキペダルの位置の検出結果をＥＣＵ１４に送信する。

舵角センサ１９は、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。本実施形態では、舵角センサ１９は、ホール素子等で構成され、操舵部４の回転部分の回転角度を操舵量として検出し、その検出結果をＥＣＵ１４に送信する。アクセルセンサ２０は、加速操作部の可動部としてのアクセルペダルの位置を検出する変位センサであり、その検出結果をＥＣＵ１４に送信する。

シフトセンサ２１は、変速操作部の可動部（バー、アーム、ボタン等）の位置を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。車輪速センサ２２は、ホール素子等を有し、車輪３の回転量や単位時間当たりの車輪３の回転数を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。

ＥＣＵ１４は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、車両１の制御全般を司る。具体的には、ＥＣＵ１４は、例えば、ＣＰＵ（Central Processing Unit）１４ａ、ＲＯＭ（Read Only Memory）１４ｂ、ＲＡＭ（Random Access Memory）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ（Solid State Drive、フラッシュメモリ）１４ｆ等を有している。ＣＰＵ１４ａは、車両１全体の制御を行う。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行できる。

ＲＯＭ１４ｂは、各種プログラムおよび当該プログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、車両１の外部を撮像可能に設けられた撮像部１５の撮像で得られた画像データを用いた画像処理や、表示装置で表示される画像データの合成等を実行する。音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置で出力される音声データの処理を実行する。ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。

ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

図４は、第１の実施形態にかかる車両が有するＥＣＵの機能的構成を示すブロック図である。図４に示されるように、ＥＣＵ１４は、視線検出部４００、画像取得部４０１、車両情報取得部４０２、注視領域抽出部４０３、候補検出部４０４、および視認対象判定部４０５を主に備えている。図４に示す、視線検出部４００、画像取得部４０１、車両情報取得部４０２、注視領域抽出部４０３、候補検出部４０４、および視認対象判定部４０５は、ＥＣＵ１４が有するＣＰＵ１４ａが、ＲＯＭ１４ｂに記憶されたプログラムを実行することで実現される。これらの構成は、ハードウェアで実現するように構成しても良い。本実施形態では、ＥＣＵ１４が視認対象判定装置として機能する。

画像取得部４０１は、撮像部１５によって車両１の進行方向を撮像して得られる撮像画像を取得する取得部として機能する。本実施形態では、画像取得部４０１は、撮像部１５の撮像により得られる撮像画像を取得しているが、車両１が有するＬＩＤＡＲ（Light Detection and Ranging）、ＴＯＦ（Time Of Flight）カメラ、ミリ波レーダー、超音波センサ等によって計測した車両１と周辺の物体との間の距離の測定結果を表す画像を撮像画像として取得しても良い。また、本実施形態では、画像取得部４０１は、ドライバモニタカメラ２０１により運転者３０２を撮像して得られる撮像画像を取得する。

車両情報取得部４０２は、車両情報を取得する取得部として機能する。ここで、車両情報は、車両１の走行状態を示す情報であり、例えば、舵角センサ１９により検出される操舵部４の操舵量、車輪速センサ２２により検出される車輪３の回転数に基づく車両１の速度である。

視線検出部４００は、車両１の運転者３０２の視線方向を検出する。また、視線検出部４００は、運転者３０２の顔の向きを検出する。本実施形態では、視線検出部４００は、ドライバモニタカメラ２０１により運転者３０２を撮像して得られる撮像画像から、運転者３０２の顔および目の画像を検出し、検出した顔および目の画像に基づいて、運転者３０２の視線方向および顔の向きを検出する。

注視領域抽出部４０３は、視線検出部４００による視線方向の検出結果に基づいて、画像取得部４０１により取得される撮像画像内において運転者３０２の視線が向けられている注視領域を抽出する。

候補検出部４０４は、画像取得部４０１により取得される撮像画像に含まれる物体を認識する物体認識処理を実行する。また、候補検出部４０４は、画像取得部４０１により取得される撮像画像および車両情報取得部４０２により取得される車両情報に基づいて、撮像画像のトップダウンサリエンシーマップを生成する。

ここで、トップダウンサリエンシーマップは、運転者３０２の見る順番や、体格、癖等の個人差、撮像画像が得られたシーンの曖昧性、視線検出部４００により検出される視線方向の揺らぎ等を吸収した、一義的に決まるサリエンシーマップである。

そして、候補検出部４０４は、物体認識処理により認識された物体の位置とトップダウンサリエンシーマップとを比較して、当該認識された物体のうち、トップダウンサリエンシーマップにおいてサリエンシーを有する物体を、運転者３０２が注視する可能性が高い視認対象物の候補（運転者３０２の視線が向けられている視認対象物の候補）として検出する。本実施形態では、候補検出部４０４は、認識された物体のうち、トップダウンサリエンシーマップにおいて予め設定されたサリエンシー以上のサリエンシーを有する物体を視認対象物の候補として検出する。

視認対象判定部４０５は、注視領域抽出部４０３による注視領域の抽出結果および候補検出部４０４により視認対象物の候補の検出結果に基づいて、運転者３０２の視線が向けられている視認対象物を判定する。

このように、候補検出部４０４におけるトップダウンサリエンシーマップの作成に車両情報を用いることにより、車両１がどのように動くかを予測してトップダウンサリエンシーマップを作成することが可能となる。そして、車両１がどのように動くかは、運転者３０２が周囲の何に着目するかとの関係が深い。

そのため、車両情報を用いてトップダウンサリエンシーマップを生成することにより、車両１の運転者３０２が視線を向ける可能性が高い視認対象物に対してサリエンシーを示すトップダウンサリエンシーマップの生成精度を向上させることができる。その結果、車両１の運転者３０２の視線が向けられている視認対象物の判定精度を向上させることができる。

次に、図５を用いて、本実施形態にかかる車両１の注視領域抽出部４０３によって注視領域を抽出する処理の一例について説明する。図５は、第１の実施形態にかかる車両の注視領域抽出部によって注視領域を抽出する処理の一例を説明するための図である。

本実施形態では、図５に示すように、視線検出部４００は、ドライバモニタカメラ２０１の撮像により得られる撮像画像Ｇ１から、運転者３０２の顔５０１および目５０２を検出する。そして、視線検出部４００は、検出した顔５０１の角度および目５０２の動き等に基づいて、運転者３０２の視線方向を検出する（ステップＳ５１０）。

図５に示すように、注視領域抽出部４０３は、視線検出部４００により検出される視線方向に基づいて、画像取得部４０１により取得される撮像画像Ｇ２（例えば、車両１の前方を撮像して得られる撮像画像）に対して運転者３０２の視線が向けられている注視領域５０３～５０５を重畳する（ステップＳ５１１）。

次に、図５に示すように、注視領域抽出部４０３は、視線検出部４００により検出される視線方向に基づく注視領域５０３～５０４の分布を用いて、当該特定した注視領域５０３～５０５のうち運転者３０２の視線が向けられている可能性が高い注視領域（例えば、注視領域５０４）を識別可能な注視領域尤度マップＭ１を作成する（ステップＳ５１２）。

すなわち、注視領域抽出部４０３は、視線検出部４００により検出される視線方向に基づいて、撮像画像Ｇ１内において運転者３０２の視線が向けられている領域のうち、尤もらしい領域を注視領域として抽出する。これにより、運転者３０２の視線が向けられている可能性がより高い注視領域に基づいて、視認対象物の判定を行えるので、運転者３０２の視線が向いている視認対象物の判定精度をより向上させることができる。

次に、図６を用いて、本実施形態にかかる車両１の候補検出部４０４によってトップダウンサリエンシーマップを生成する処理の一例について説明する。図６は、第１の実施形態にかかる車両の候補検出部によってトップダウンサリエンシーマップを生成する処理の一例を説明するための図である。

本実施形態では、図６に示すように、候補検出部４０４は、画像取得部４０１により取得される撮像画像Ｇ２（車両１の前方を撮像して得られる撮像画像）に対して、物体認識処理を実行して、撮像画像Ｇ２内に含まれる物体６０１～６０３を認識する（ステップＳ６１０）。

また、本実施形態では、図６に示すように、候補検出部４０４は、撮像画像Ｇ２内に含まれる物体６０１～６０３を区別する物体区別処理を実行する（ステップＳ６１１）。また、図６に示すように、候補検出部４０４は、撮像画像Ｇ２および車両情報に基づいて、車両１とその周辺の物体との間の距離を特定可能とする画像（以下、仮想３Ｄデータと言う）を生成する３Ｄデータ生成処理を実行する（ステップＳ６１２）。

さらに、候補検出部４０４は、図６に示すように、撮像画像Ｇ２および車両情報に基づいて、撮像画像Ｇ２内に含まれる物体のオプティカルフローを求めるオプティカルフロー算出処理を実行する（ステップＳ６１３）。そして、候補検出部４０４は、図６に示すように、撮像画像Ｇ２に含まれる物体６０１～６０３の認識結果、撮像画像Ｇ２の物体区別処理の実行結果、仮想３Ｄデータ、および撮像画像Ｇ２内に含まれる物体６０１～６０３のオプティカルフローの算出結果に基づいて、車両１がどのように動くかを予測して運転者３０２が視線を向ける可能性が高い物体６０１，６０２にサリエンシーを有するトップダウンサリエンシーマップＭ２を生成するサリエンシーマップ生成処理を実行する（ステップＳ６１４）。

次に、候補検出部４０４は、図６に示すように、撮像画像Ｇ２から認識した物体６０１，６０２，６０３の位置とトップダウンサリエンシーマップＭ２とを比較して、当該認識した物体６０１，６０２，６０３のうち、運転者３０２が注視する可能性が高い物体６０１，６０２を視認対象物の候補として検出する（ステップＳ６１５）。

さらに、候補検出部４０４は、視線検出部４００により検出した顔５０１（図５参照）の向きに基づいて、検出した視線対象物の候補に対して、運転者３０２の視線が向けられている信頼度を算出する。本実施形態では、候補検出部４０４は、視線検出部４００により検出した顔５０１（図５参照）の向きに存在する視認対象物の候補の信頼度が高くなるように、視認対象物の候補に対して信頼度を付与する。例えば、候補検出部４０４は、顔５０１の向きが車両１の前方を向いている場合には、撮像画像Ｇ２に含まれる視認対象物の候補である物体６０１よりも、視認対象物の候補である物体６０２に対して高い信頼度を付与する。

次に、図７を用いて、本実施形態にかかる車両１の視認対象判定部４０５による視認対象物の判定処理の一例について説明する。図７は、第１の実施形態にかかる車両の視認対象判定部による視認対象物の判定処理の一例を説明するための図である。

視認対象判定部４０５は、図７に示すように、図５のステップＳ５１２により生成される注視領域尤度マップＭ１と、図６のステップＳ６１５により撮像画像Ｇ２から検出される視認対象物の候補（物体６０１，６０２）とを比較して、運転者３０２の視線が向けられている視認対象物（例えば、物体６０２）を判定する。

本実施形態では、視認対象判定部４０５は、検出される撮像画像Ｇ２内における、注視領域抽出部４０３により抽出された注視領域５０４，５０５（すなわち、注視領域尤度マップＭ１においてサリエンシー有する領域）と、候補検出部４０４により検出される視認対象物の候補である物体６０１，６０２との間の距離を求める。そして、視認対象判定部４０５は、注視領域５０４と視認対象物の候補である物体６０１，６０２との間の距離、および視認対象物の候補である物体６０１，６０２の信頼度に基づいて、運転者３０２の視線が向けられている視認対象物を判定する。

例えば、視認対象判定部４０５は、物体６０２と注視領域５０４間の距離と物体６０２に付与される信頼度との積が、物体６０１と注視領域５０４間の距離と物体６０２に付与される信頼度との積よりも大きい場合、視認対象判定部４０５は、物体６０２（道路上の他の車両）を、運転者３０２の視線が向けられている視認対象物と判定する。

これにより、候補検出部４０４によって複数の物体が視認対象物の候補として検出された場合や、複数の視認対象物の候補の位置が注視領域抽出部４０３により抽出された注視領域と一致しない場合であっても、運転者３０２の視線が向けられている可能性が高い視認対象物の候補を視認対象物と判定できるので、視認対象物の判定精度を向上させることができる。

このように、第１の実施形態にかかる車両１によれば、車両情報を用いてトップダウンサリエンシーマップを生成することにより、車両１の運転者３０２が視線を向ける可能性が高い視認対象物に対してサリエンシーを示すトップダウンサリエンシーマップの生成精度を向上させることができるので、車両１の運転者３０２の視線が向けられている視認対象物の判定精度を向上させることができる。

（第２の実施形態）
本実施形態は、運転者が向けた全ての視線方向の候補のうち、車両の運転に関連する視線方向の候補を、運転者の視線方向として検出する例である。以下の説明では、第１の実施形態と同様の構成については説明を省略する。

図８は、第２の実施形態にかかる車両が有するＥＣＵの機能的構成の一例を示すブロック図である。図８に示すように、ＥＣＵ８００は、視線検出部８０１、画像取得部４０１、車両情報取得部４０２、注視領域抽出部４０３、候補検出部８０２、および視認対象判定部４０５を主に備えている。図８に示す、視線検出部８０１、画像取得部４０１、車両情報取得部４０２、注視領域抽出部４０３、候補検出部８０２、および視認対象判定部４０５は、ＥＣＵ８００が有するＣＰＵ１４ａが、ＲＯＭ１４ｂに記憶されたプログラムを実行することで実現される。これらの構成は、ハードウェアで実現するように構成しても良い。

候補検出部８０２は、画像取得部４０１により取得される撮像画像のうち所定の位置において取得された撮像画像に基づいて、トップダウンサリエンシーマップを生成する。ここで、所定の位置は、予め設定された位置であり、車両１の運転に関連する視線方向が検出される位置である。例えば、所定の位置は、交差点、交通信号機の設置位置、カーブ、分岐など、車両１の運転者３０２が運転に関連する視線を向ける可能性が高い位置である。これにより、車両１の運転において運転者３０２が視線を向ける可能性が高い物体に対して高いサリエンシーを有するトップダウンサリエンシーマップを生成できるので、運転者３０２の視線が向けられている視認対象物の判定精度を向上させることができる。

視線検出部８０１は、運転者３０２が向けた全ての視線方向を視線方向の候補として検出する。本実施形態では、視線検出部８０１は、ドライバモニタカメラ２０１の撮像により得られる撮像画像に含まれる顔および目の画像に基づく、運転者３０２の全ての視線方向を、視線方向の候補として検出する。次いで、視線検出部８０１は、視線方向の候補と候補検出部８０２により生成されるトップダウンサリエンシーマップとを比較する。そして、視線検出部８０１は、視線方向の候補のうち車両１の運転に関連する視線方向の候補を、運転者３０２の視線方向として検出する。本実施形態では、視線検出部８０１は、視線方向の候補のうち、トップダウンサリエンシーマップにおいてサリエンシーを有する物体に対する視線方向の候補を、運転者３０２の視線方向として検出する。

車両１の運転者３０２が運転中に向ける視線方向には、車両１の運転に実質的に関連する視線方向に加えて、車両１の運転に関連しない視線方向（例えば、商業看板や空等に対する視線方向、道に迷っている場合の視線方向）も含まれる。車両１の運転に実質的に関連する視線方向の検出は、車両１の周囲の運転に関連する物体に対して運転者３０２が視線方向を向けている否かを判定するアプリケーション（例えば、歩行者の見落としを判定するアプリケーション）において重要である。また、車両１の運転に関連しない視線方向は、看板の情報を拡大したり、看板の詳細な情報を提供したりするアプリケーションにおいて重要であるが、車両１の周囲の運転に関連する物体に対して運転者３０２が視線方向を向けている否かを判定するアプリケーションにおける重要度は低い。

視線検出部８０１により検出される視線方向を、サリエンシーマップを用いて補正する技術が開発されているが、当該検出される視線方向が、車両１の運転に関連する視線方向か否かに関わらずに補正される。そのため、当該技術では、車両１の運転に関連しない視線方向についても、車両１の運転に関連する物体に対して運転者３０２が視線方向を向けているか否かの判定に用いられてしまい、車両１の運転に関連する物体に対して運転者３０２が視線方向を向けているか否かの判定精度が低下する可能性がある。

そこで、本実施形態では、視線検出部８０１は、トップダウンサリエンシーマップに基づいて、運転者３０２が向けた全ての視線方向の候補のうち、車両１の運転に関連する視線方向の候補を、運転者３０２の視線方向として検出する。これにより、車両１の運転に関連しない視線方向に基づいて、車両１の運転中に運転者３０２が視線方向を向けるべき視認対象物に対して、運転者３０２が視線方向を向けているか否かが判定されることを防止できる。その結果、車両１の運転中において運転者３０２が視線方向を向けるべき視認対象物に対して、運転者３０２が視線方向を向けているか否かの判定精度を向上させることができる。

このように、第２の実施形態にかかる車両１によれば、車両１の運転に関連しない視線方向に基づいて、車両１の運転中に運転者３０２が視線方向を向けるべき視認対象物に対して、運転者３０２の視線方向が向けられているか否かが判定されることを防止できるので、車両１の運転中において運転者３０２が視線方向を向けるべき視認対象物に対して、運転者３０２の視線方向が向けられているか否かの判定精度を向上させることができる。

１車両
１４，８００ＥＣＵ
１４ａＣＰＵ
１４ｂＲＯＭ
１４ｃＲＡＭ
１４ｆＳＳＤ
１５撮像部
２０１ドライバモニタカメラ
４００，８０１視線検出部
４０１画像取得部
４０２車両情報取得部
４０３注視領域抽出部
４０４，８０２候補検出部
４０５視認対象判定部

Claims

車両の運転者の視線方向を検出する視線検出部と、
前記車両の走行状態を示す車両情報を取得する車両情報取得部と、
撮像部によって前記車両の周辺を撮像して得られる撮像画像を取得する画像取得部と、
前記視線方向の検出結果に基づいて、前記撮像画像内において前記運転者の視線が向けられている注視領域を抽出する注視領域抽出部と、
前記撮像画像に含まれる物体を認識し、前記撮像画像および前記車両情報に基づいて、前記車両がどのように動くかを予測して、前記撮像画像のトップダウンサリエンシーマップを生成し、前記認識された物体のうち、前記トップダウンサリエンシーマップにおいてサリエンシーを有する物体を、前記運転者の視線が向けられている視認対象物の候補として検出する候補検出部と、
前記注視領域の抽出結果および前記視認対象物の候補の検出結果に基づいて、前記運転者の視線が向けられている視認対象物を判定する視認対象判定部と、
を備える視認対象判定装置。
前記候補検出部は、前記画像取得部により取得される前記撮像画像のうち所定の位置において取得された前記撮像画像に基づいて前記トップダウンサリエンシーマップを生成し、
前記視線検出部は、前記トップダウンサリエンシーマップに基づいて、前記運転者が向けた全ての視線方向の候補のうち、前記車両の運転に関連する前記視線方向の候補を前記視線方向として検出する請求項１に記載の視認対象判定装置。
前記視線検出部は、さらに、前記運転者の顔の向きを検出し、
前記候補検出部は、さらに、検出した前記顔の向きに基づいて、前記視認対象物の候補に対して前記運転者の視線が向けられている信頼度を算出し、
前記視認対象判定部は、前記撮像画像内における前記注視領域と前記視認対象物の候補間の距離、および前記視認対象物の候補の前記信頼度に基づいて、前記運転者の視線が向けられている視認対象物を判定する請求項１または２に記載の視認対象判定装置。
前記注視領域抽出部は、前記撮像画像内において前記運転者の視線が向けられている領域のうち、尤もらしい領域を前記注視領域として抽出する請求項１から３のいずれか一に記載の視認対象判定装置。
前記候補検出部は、前記撮像画像に含まれる物体を認識し、前記撮像画像および前記車両情報に基づいて前記車両とその周辺の物体の間の距離を特定可能な画像である仮想３Ｄデータを生成し、前記撮像画像および前記車両情報に基づいて前記撮像画像に含まれる物体のオプティカルフローを算出し、前記撮像画像に含まれる前記物体の認識結果と前記３Ｄ仮想データと前記撮像画像に含まれる前記物体のオプティカルフローの算出結果とに基づいて、前記車両がどのように動くかを予測して、前記撮像画像のトップダウンサリエンシーマップを生成する、
請求項１に記載の視認対象判定装置。