JPWO2018008085A1 - 認知領域推定装置、認知領域推定方法および認知領域推定プログラム - Google Patents

Abstract

認知領域推定装置（１００）は、移動体を基準にした移動体座標系における移動体の運転者が視認している視認領域を、運転者の視線方向に基づいて算出する視認領域算出部（１０１）と、移動体座標系における運転者が認知している認知領域を、視認領域算出部（１０１）が算出した視認領域に基づいて算出する認知領域算出部（１０４）とを備える。

Description

この発明は、自動車等の移動体における運転者の周囲認知状況を推定する認知領域推定装置、認知領域推定方法および認知領域推定プログラムに関するものである。

自動車等においては、近年の運転支援機能の普及により、レーダおよびカメラ等の自車の周囲を監視するセンサ類の普及が進んでいる。また、近い将来においては、自動運転機能の高度化と普及が進むと考えられ、自車の周囲を監視するセンサ類は、今後ますます質と量との両面において充実化が進むと考えられる。

一方で、完全な自動運転状態以外の場面においては、運転者と車両とが協調して運転行動を行うことが期待される。このため、運転支援機能および自動運転機能においては、運転者の周囲認知状況を推定し、これと車両による周囲認知状況とを協調的に活用することが望まれている。

例えば、車両が交差点内で一時停止して横断者を待つ状況において、自車の周囲を監視するセンサ類が横断者の自車への接近を検出した場合、一般的にはこのような状況を逐一車両から運転者へ警告することは煩雑であり、却って運転者の集中を妨げることになる。しかし、仮に、運転者が横断者の接近に気付いていない場合は、運転者へ警告し注意を促すことで安全運転に貢献することができる。また、別の例として、半自動運転状態の車両においては、車両の制御が自動化されている場合であっても、運転者が周囲の状況を把握して即座に対応できる状態にあることが求められるため、車両は運転者が周囲の認知を怠っていると判断した場合に自動運転を停止する必要がある。

移動体における運転者の周囲認知状況を推定するための従来技術として、例えば特許文献１記載の技術がある。特許文献１には、運転者の視線方向から推定される視野を地図上に重畳することで、運転者による車両周囲の視認領域を推定する方法が開示されている。

特開２０１０−１７９７１３号公報

特許文献１に係る視野推定装置は、運転者の視認方向から推定される視野を、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等の情報を用いて地図空間上に固定された座標系（以下、地図座標系と称する）に投影していた。ＧＰＳは、例えばトンネルまたはビルの谷間等の電波状況が悪い場合、自車位置計測の精度が低下したり計測が不能となったりする特性がある。運転者の周囲認知状況の推定精度は、ＧＰＳによる自車位置計測の頑健性に依存するため、地図座標系における正確な自車位置が得られない状況下では、運転者の周囲認知状況の推定が困難である。
また、特許文献１において車両に搭載されたセンサ類は、自車を中心とした座標系（以下、自車座標系と称する）において周囲を監視している。そのため、車両に搭載されたセンサ類と特許文献１に係る視野推定装置とが協調して運転者の周囲認知状況を推定する際には、地図空間上に固定された地図座標系上で推定された運転者の周囲認知状況を、地図座標系内における自車の位置と姿勢を元に、自車座標系へと変換する必要がある。従って、座標変換のための計算コストが発生してしまう。

このように、移動体における運転者の周囲認知状況を推定するための従来技術においては、視野推定装置と移動体に搭載されたセンサ類との協調が容易ではないため、運転者の周囲認知状況の推定を効率的に行うことができないという課題があった。

この発明は、上記のような課題を解決するためになされたもので、移動体に搭載されたセンサ類との協調を容易にすることを目的とする。

この発明に係る認知領域推定装置は、移動体を基準にした移動体座標系における移動体の運転者が視認している視認領域を、運転者の視線方向に基づいて算出する視認領域算出部と、移動体座標系における運転者が認知している認知領域を、視認領域算出部が算出した視認領域に基づいて算出する認知領域算出部とを備えるものである。

この発明によれば、移動体を基準にした移動体座標系にける視認領域および認知領域を算出するようにしたので、移動体に搭載されたセンサ類との協調が容易になる。これにより、運転者の周囲認知状況の推定を効率的に行うことが可能になる。

この発明の実施の形態１に係る認知領域推定装置の構成例を示す機能ブロック図である。 実施の形態１に係る認知領域推定装置における移動体座標系を説明する図である。 実施の形態１に係る認知領域推定装置のハードウェア構成図である。 実施の形態１に係る認知領域推定装置の動作を示すフローチャートである。 図４のステップＳＴ１００における視認領域算出部の動作の詳細を示すフローチャートである。 図４のステップＳＴ２００における認知領域算出部の動作の詳細を示すフローチャートである。 図４のステップＳＴ３００における運転状態判定部の動作の詳細を示すフローチャートである。 図８Ａ、図８Ｂ、図８Ｃおよび図８Ｄは、認知領域算出部が算出する認知領域を説明する図である。 この発明の実施の形態５に係る認知領域推定装置の構成例を示す機能ブロック図である。 実施の形態５に係る認知領域推定装置の動作を示すフローチャートである。 図１０のステップＳＴ５００における仮想軌跡算出部の動作の詳細を示すフローチャートである。 この発明の実施の形態６に係る認知領域推定装置の構成例を示す機能ブロック図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る認知領域推定装置１００の構成例を示す機能ブロック図である。認知領域推定装置１００は、移動体に搭載され、移動体の運転者が認知している移動体周囲の状況を推定するためのものである。以下の説明では、移動体として車両を例にあげるが、鉄道、船舶または航空機等であってもよい。

図１に示す認知領域推定装置１００は、視認領域算出部１０１、ミラー類管理部１０２、遮蔽物管理部１０３、認知領域算出部１０４、認知領域記録部１０５、運転状態判定部１０６、運転支援情報提示部１０７、視線方向計測部１１１、頭部位置計測部１１２、移動量計測部１１３、および周囲状況監視部１２１を備えている。なお、以下で詳述するように、認知領域推定装置１００に必須の構成は視認領域算出部１０１および認知領域算出部１０４であり、認知領域推定装置１００はその他の構成を備えていてもよいし備えていなくてもよい。

図２は、移動体を基準にした移動体座標系を説明する図である。移動体座標系内における座標軸として、鉛直上方を正とする軸をＺ軸、Ｚ軸に直交する平面内において移動体の前方を正とする軸をＹ軸、この平面内においてＹ軸に直交する軸であって右方向を正とする軸をＸ軸と称する。また、Ｘ軸周りの回転をピッチ、Ｙ軸周りの回転をロール、Ｚ軸周りの回転をヨーと称し、いずれの回転も、回転軸の正方向に対して右ネジ回りの方向を正とする。また、移動体座標系の原点Ｏは、移動体に対して相対的に固定された任意の点とする。

なお、実施の形態１においては、説明を簡単にするために、最小の構成としてＸ軸、Ｙ軸およびヨーの３軸のみを用いた実施形態について記載する。この実施形態と同様の構成により、その他の軸の組み合わせからなる実施形態、ならびにＸ軸、Ｙ軸、Ｚ軸、ピッチ、ロールおよびヨーの最大６軸を用いた実施形態が実現可能であることは明らかである。

図３は、実施の形態１に係る認知領域推定装置１００のハードウェア構成図の一例である。
認知領域推定装置１００における視線方向計測部１１１、頭部位置計測部１１２、移動量計測部１１３、および周囲状況監視部１２１は、センサ類３である。センサ類３は、カメラ、加速度センサ、ジャイロ、またはレーダ等である。センサ類３は、認知領域推定装置１００が備えていてもよいし、車両に搭載されている既存のものを利用してもよい。
認知領域推定装置１００における運転支援情報提示部１０７は、ディスプレイ４またはスピーカ５の少なくとも一方である。ディスプレイ４およびスピーカ５は、認知領域推定装置１００が備えていてもよいし、車両に搭載されている既存のものを利用してもよい。
認知領域推定装置１００におけるミラー類管理部１０２、遮蔽物管理部１０３、および認知領域記録部１０５は、メモリ２である。

認知領域推定装置１００における視認領域算出部１０１、認知領域算出部１０４、および運転状態判定部１０６の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ２に格納される。プロセッサ１は、メモリ２に格納されたプログラムを読み出して実行することにより、各部の機能を実現する。即ち、認知領域推定装置１００は、プロセッサ１により実行されるときに、後述する図４に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ２を備える。また、プログラムは、視認領域算出部１０１、認知領域算出部１０４、および運転状態判定部１０６の手順または方法をコンピュータに実行させるものであるともいえる。

プロセッサ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等ともいう。
メモリ２は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクであってもよい。

なお、視認領域算出部１０１、認知領域算出部１０４、および運転状態判定部１０６の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。専用のハードウェアとは、例えば単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせた処理回路等である。このように、認知領域推定装置１００は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、視認領域算出部１０１、認知領域算出部１０４、および運転状態判定部１０６の各機能を実現することができる。

次に、認知領域推定装置１００の詳細を説明する。
視線方向計測部１１１は、移動体である車両の運転者を監視するカメラから、カメラ画像を取得する。そして、視線方向計測部１１１は、カメラ画像から運転者の視線方向を推定する既知の技術等により、移動体座標系における運転者の視線方向を計測する。ここで、視線方向は、移動体座標系におけるＹ軸の正方向を原点として、少なくともヨー方向の視線方向が計測されるものとする。また、運転者の瞼の開閉状態などの視認状態を判別するための情報も併せて計測されることが望ましい。視線方向計測部１１１は、計測した視線方向の情報を、視認領域算出部１０１へ出力する。

頭部位置計測部１１２は、運転者を監視するカメラから、カメラ画像を取得する。そして、頭部位置計測部１１２は、カメラ画像から運転者の頭部位置を推定する既知の技術等により、移動体座標系における運転者の頭部位置を計測する。ここで、頭部位置は、移動体座標系におけるＸ，Ｙ，Ｚの各軸における位置が計測されるものとする。なお、頭部位置計測部１１２は、時々刻々の頭部位置を計測することが望ましいが、簡易的には運転席のヘッドレストの位置または事前に設定された運転者属性等から想定される静的な値を用いてもよい。例えば、頭部位置計測部１１２は、車両設計時に想定された標準的な頭部位置、あるいは、座面位置または背もたれの角度等から算出される頭部位置を用いてもよい。さらに、頭部位置計測部１１２は、事前に運転者ごとに身長等の体格情報を記録しておき、乗車中の運転者の体格情報に基づいて頭部位置を推定してもよい。頭部位置計測部１１２は、計測した頭部位置の情報を、視認領域算出部１０１へ出力する。

移動量計測部１１３は、加速度センサまたはジャイロセンサ等から、加速度または速度等の慣性情報を取得する。移動量計測部１１３は、取得した慣性情報から移動体座標系における単位時間ごとの車両の移動量を計測する。ここで、移動量は、移動体座標系におけるＸ，Ｙ，Ｚ方向への移動量と、ヨー、ピッチおよびロールの３軸周りの回転量とのうち、少なくともＸ，Ｙおよびヨーの合計３軸が計測されるものとする。なお、移動量計測部１１３は、加速度センサまたはジャイロセンサ等の代わりに、ＧＰＳ等の車外システムを利用して、移動体座標系における単位時間ごとの車両の移動量を計測してもよい。視認領域および認知領域の推定に必要な移動体の位置情報は、車両の単位時間あたりの相対的な移動量のみである。従って、移動量計測部１１３が移動量計測に用いる位置情報が、ＧＰＳ等で計測された地図座標系の位置情報であっても、加速度センサ等で計測された移動体座標系の位置情報であっても、単位時間あたりの差分量である移動量は同じ値となるため、座標変換が不要であり計算コストが発生しない。ただし、ＧＰＳに比べ、加速度センサ等のほうが頑健であり好ましい。移動量計測部１１３は、計測した移動量の情報を、認知領域算出部１０４へ出力する。

なお、図１では、認知領域推定装置１００の視線方向計測部１１１、頭部位置計測部１１２および移動量計測部１１３が視線方向、頭部位置および移動量を計測する構成としたが、この構成に限定されるものではない。例えば、認知領域推定装置１００は視線方向計測部１１１、頭部位置計測部１１２および移動量計測部１１３を備えず、外部装置により計測された視線方向、頭部位置および移動量を取得する構成としてもよい。

周囲状況監視部１２１は、レーダまたはカメラ等から、検出値を取得する。周囲状況監視部１２１は、検出値に基づいて車両周囲の障害物または危険物等を検出し、車両周囲の状況を示す情報として、視認領域算出部１０１および運転状態判定部１０６へ出力する。また、周囲状況監視部１２１は、明るさまたは天候等の視認状態に影響を与える情報も併せて計測し、この情報も車両周囲の状況を示す情報に含めて、視認領域算出部１０１および運転状態判定部１０６へ出力してもよい。
なお、図１では、認知領域推定装置１００が周囲状況監視部１２１を備える構成としたが、必ず備える必要はない。

視認領域算出部１０１は、視線方向計測部１１１から受け取る視線方向の情報を用いて、移動体座標系における視認領域を算出する。視認領域は、運転者が視認していると推測される車両周囲の領域である。視認領域算出部１０１は、視認領域の算出において、頭部位置計測部１１２から受け取る頭部位置の情報、ミラー類管理部１０２が管理しているミラー類の情報、遮蔽物管理部１０３が管理している遮蔽物の情報、および、周囲状況監視部１２１から受け取る車両周囲の状況を示す情報を、必要に応じて用いる。視認領域算出部１０１は、視認領域の情報を認知領域算出部１０４へ出力する。

ミラー類管理部１０２は、車両に搭載されたミラー類の情報を管理している。ここで、ミラー類は、サイドミラーおよびルームミラー等の物理ミラー類、ならびに、カメラモニタ画面等の電子ミラー類である。ミラー類管理部１０２は、移動体座標系における、これらのミラー類の設置位置および形状等を示す情報と、これらのミラー類が投影する投影領域の情報とを管理する。投影領域は、移動体座標系においてミラー類が投影する代表的な視認領域とすることが望ましい。例えば、物理ミラー類であれば、標準的な状態で設置された物理ミラーの中央部を運転者が注視した際に得られる視認領域を、投影領域とする。また、電子ミラー類であれば、電子ミラーの表示モードごとに、中央部を注視した際に得られる視認領域を、投影領域とする。電子ミラーの表示モードとは、例えば、画角が広い広角モード、および画角が狭い望遠モード等であり、表示モードの違いにより電子ミラーに投影される領域が変わる。ミラー類管理部１０２は、ミラー類の情報を視認領域算出部１０１へ出力する。

遮蔽物管理部１０３は、車両に搭載された遮蔽物の情報を管理している。ここで、遮蔽物は、ピラーおよびボンネット等の運転者の視界を遮るものである。遮蔽物管理部１０３は、移動体座標系におけるこれらの遮蔽物の設置位置および形状等を示す情報を管理する。遮蔽物管理部１０３は、遮蔽物の情報を視認領域算出部１０１へ出力する。

なお、図１では、認知領域推定装置１００がミラー類管理部１０２および遮蔽物管理部１０３を備える構成としたが、必ず備える必要はない。

認知領域算出部１０４は、移動量計測部１１３から受け取る移動量の情報、視認領域算出部１０１から受け取る視認領域の情報、および、認知領域記録部１０５が記録している過去の認知領域の情報を用いて、移動体座標系における最新の認知領域を算出する。認知領域は、運転者が認知していると推測される車両周囲の領域である。認知領域算出部１０４は、認知領域の情報を認知領域記録部１０５へ出力する。

認知領域記録部１０５は、認知領域算出部１０４から受け取る認知領域の情報を記録する。また、認知領域記録部１０５は、記録している認知領域の情報を、認知領域算出部１０４および運転状態判定部１０６へ出力する。

運転状態判定部１０６は、認知領域記録部１０５が記録している認知領域の情報、および周囲状況監視部１２１から受け取る車両周囲の状況を示す情報を用いて、車両の運転状態を判定する。運転状態判定部１０６は、運転状態の情報を運転支援情報提示部１０７へ出力する。

運転支援情報提示部１０７は、運転状態判定部１０６から受け取る運転状態の情報を用いて、運転者の注意を喚起するための情報、または運転者の運転を支援するための情報を生成して提示する。情報の提示方法は、ディスプレイ４への表示またはスピーカ５からの音声出力等である。

なお、図１では、認知領域推定装置１００が運転状態判定部１０６および運転支援情報提示部１０７を備える構成としたが、必ず備える必要はない。特に車両等においては、運転支援装置または自動運転装置等の既知の手段により、運転状態判定部１０６および運転支援情報提示部１０７の機能が提供される場合がある。そのため、認知領域推定装置１００は、運転状態判定部１０６および運転支援情報提示部１０７を備えず、外部装置である運転支援装置等を利用する構成としてもよい。

次に、認知領域推定装置１００の動作を説明する。
図４は、実施の形態１に係る認知領域推定装置１００の動作を示すフローチャートである。

ステップＳＴ１００は、視認領域を算出する処理である。ステップＳＴ１００において、視認領域算出部１０１は、視認領域を算出する。図５は、ステップＳＴ１００における視認領域算出部１０１の動作の詳細を示すフローチャートである。

ステップＳＴ２００は、認知領域を算出する処理である。ステップＳＴ２００において、認知領域算出部１０４は、認知領域を算出する。図６は、ステップＳＴ２００における認知領域算出部１０４の動作の詳細を示すフローチャートである。

ステップＳＴ３００は、運転状態を判定する処理である。ステップＳＴ３００において、運転状態判定部１０６は、運転状態を判定する。図７は、ステップＳＴ３００における運転状態判定部１０６の動作の詳細を示すフローチャートである。

認知領域推定装置１００は、ステップＳＴ１００、ＳＴ２００、ＳＴ３００の各処理を、一連の処理として同期的に実行してもよいし、センサ類３の計測周期または各処理の実行周期に合わせて非同期的に実行してもよい。

次に、図４に示したステップＳＴ１００の視認領域算出処理の詳細を、図５を参照して説明する。
ステップＳＴ１０１において、視認領域算出部１０１は、視線方向計測部１１１から受け取った視線方向の情報から、サッケード運動を検出する。視認領域算出部１０１は、サッケード運動が検出された場合は運転者が視認状態ではないと判定し、それ以外の場合であれば運転者が視認状態であると判定する。これは、サッケード運動中は視野内の状態が認識されないという既知の知見に鑑みた判定である。サッケード運動は、眼球が高速に移動する現象であり、簡易的には前回ステップＳＴ１００を実行したときの視線方向と今回ステップＳＴ１００を実行するときの視線方向との差分が、予め定められた閾値を超えた場合をサッケード運動として判定することができる。また、視線方向計測部１１１において、瞼の開閉状態などの視認状態の判定に寄与する付加情報が得られる場合、視認領域算出部１０１はこれらの付加情報を用いて視認状態の判定を行ってもよい。
視認領域算出部１０１は、運転者が視認状態であると判定した場合（ステップＳＴ１０１“Ｙｅｓ”）、ステップＳＴ１０２へ進み、視認状態でないと判定した場合（ステップＳＴ１０１“Ｎｏ”）、視認領域算出処理を終了する。

ステップＳＴ１０２において、視認領域算出部１０１は、ミラー類管理部１０２が管理しているミラー類の設置位置および形状の情報、および頭部位置計測部１１２から受け取った頭部位置の情報を用いて、ミラー類の設置位置および形状を、頭部位置に対する相対角度として、視線方向と同じ座標系へと変換する。視認領域算出部１０１は、視線方向計測部１１１から受け取った視線方向がミラー類の位置および形状に含まれる場合、運転者の視認対象を当該ミラー類であると判定し（ステップＳＴ１０２“Ｙｅｓ”）、ステップＳＴ１０４へ進み、それ以外の場合は視認対象がミラー類ではないと判定し（ステップＳＴ１０２“Ｎｏ”）、ステップＳＴ１０３へ進む。

ステップＳＴ１０３において、視認領域算出部１０１は、視線方向計測部１１１から受け取った視線方向の情報と、頭部位置計測部１１２から受け取った頭部位置の情報から、移動体座標系における視認領域を算出する。視認領域算出部１０１は、視認領域を、頭部位置を頂点とし視線方向を中心軸とし、Ｘ軸方向に広がる扇形状の領域とする。視認領域算出部１０１は、視認領域を、頭部位置を頂点とし視線方向を中心軸として楕円錘状に広がる３次元領域としてもよい。さらに、視認領域算出部１０１は、視認領域の中心軸に近いほど認知度合いが高く、また頭部位置である頂点に近いほど認知度合いが高くなるような重みを設定することが望ましい。これは、人間の視野特性に関する既知の知見に鑑みて構成されたものである。

ステップＳＴ１０４において、視認領域算出部１０１は、ステップＳＴ１０２で視線方向が含まれると判定したミラー類の投影領域の情報を、ミラー類管理部１０２から取得する。そして、視認領域算出部１０１は、ミラー類管理部１０２から取得した投影領域に基づいて、移動体座標系における視認領域を算出する。視認領域算出部１０１は、投影領域に基づいた視認領域に対して、ステップＳＴ１０３と同様な人間の視野特性、または電子ミラー類の表示分解能等に応じた重みを設定することが望ましい。

ステップＳＴ１０５において、視認領域算出部１０１は、遮蔽物管理部１０３が管理している遮蔽物の位置および形状の情報を取得する。そして、視認領域算出部１０１は、ステップＳＴ１０３またはステップＳＴ１０４で算出した視認領域の中から、運転者の視線が遮蔽物により遮られて死角となる領域を除外する。また、視認領域算出部１０１は、周囲状況監視部１２１から車両周囲の状況を示す情報を受け取り、障害物または危険物等により死角となる領域を、視認領域から除外することが望ましい。

次に、図４に示したステップＳＴ２００の認知領域算出処理の詳細を、図６および図８Ａ〜図８Ｄを参照して説明する。
ステップＳＴ２０１において、認知領域算出部１０４は、前回ステップＳＴ２００を実行したときに算出した認知領域の情報を、認知領域記録部１０５から取得する。なお、初回実行時には認知領域記録部１０５に認知領域の情報が記録されていないため、認知領域算出部１０４は、認知領域全域を全て０として初期化し、前回ステップＳＴ２００を実行したときに算出した認知領域の情報とみなす。

図８Ａは、初期状態における認知領域を示す図である。初期状態では認知領域全域が初期化されているため、認知領域はない。図８Ｂは、ステップＳＴ２０１において認知領域算出部１０４が認知領域記録部１０５から取得した認知領域Ｒを示す図である。図８Ｂに示す認知領域Ｒは、認知領域記録部１０５に記録されていた過去の認知領域の情報に基づく。なお、図８Ａおよび図８Ｂにおいて、実線の四角枠は、認知領域算出部１０４が算出対象とする認知領域算出範囲であり、破線は、自車位置である。自車位置は、説明の便宜のために図示したものであり、実際の認知領域算出処理においては不要である。

ステップＳＴ２０２において、認知領域算出部１０４は、移動量計測部１１３から受け取った車両の移動量の情報を用いて、認知領域を更新する。認知領域算出部１０４は、前回ステップＳＴ２００を実行したときから今回ステップＳＴ２００を実行するまでの期間における移動量に相当する角度および距離に基づいて、原点を中心に車両を回転および平行移動させることにより、認知領域を更新する。ここで、原点は、移動量計測部１１３により計測される計測箇所と一致させることが望ましい。より簡易的には、車両の中心部または重心等を原点に用いてもよい。

式（１）は、ステップＳＴ２０２における認知領域算出手順の具体例である。式（１）により、移動体座標系内において定義された認知領域Ｒについて、前回のステップｎにおける認知領域Ｒを、今回のステップｎ＋１における認知領域Ｒ_１へと更新する。
なお、電子出願の関係上、アルファベット文字の上に付く「〜」を「（チルダ）」と表記する。

なお、認知領域Ｒとして記録される領域は有限の範囲であるため、必ずしもｘ（チルダ），ｙ（チルダ）が認知領域Ｒに含まれるとは限らない。この場合は、ｘ（チルダ），ｙ（チルダ）の値として、ｘ（チルダ），ｙ（チルダ）を始点として車両中心または運転者を終点とする線分と、認知領域Ｒの外縁との交点における値を用いることが望ましい。これは、認知領域の値が大域的には車両または運転者を中心とした放射状に分布するという、認知領域の特性に鑑みたものである。より簡易には、認知領域ＲのうちのＸ軸に最も距離が近い点の値をｘ（チルダ）、認知領域ＲのうちのＹ軸に最も距離が近い点の値をｙ（チルダ）として用いてもよい。これは、特に車両等のように、前方への移動成分が側方への移動成分に比較して大きい場合、または、単位時間当たりの移動量が十分に小さい場合などの、単位時間当たりの回転量が０に近い場合において良い近似を与える。さらに、認知領域Ｒが運転者の視野に対して十分に広い場合には、ｘ（チルダ），ｙ（チルダ）の値として０を用いてもよい。

また、認知領域Ｒは、時間領域において離散的に記録されるため、必ずしもｘ（チルダ），ｙ（チルダ）が認知領域Ｒ内に定義された格子点上を参照するとは限らない。この場合は、ｘ（チルダ），ｙ（チルダ）を含む格子面の各頂点からの距離により重みを付けた重み付き平均値を用いることが望ましい。より簡易には、認知領域Ｒのうち、ｘ（チルダ），ｙ（チルダ）に最も近い格子点の値を用いてもよい。

図８Ｃは、ステップＳＴ２０２において更新された認知領域Ｒ_１を示す図である。

ステップＳＴ２０３において、認知領域算出部１０４は、ステップＳＴ２０２で更新した認知領域に対して、前回ステップＳＴ２００を実行したときから今回ＳＴ２００を実行するまでの経過時間に応じた忘却率を乗じて、認知領域を更新する。認知領域における認知度合いの重みは、忘却率に応じて低下する。

式（２）は、ステップＳＴ２０３における認知領域算出手順の具体例である。式（２）により、移動体座標系内において定義された認知領域Ｒ_１に対して、前回のステップｎから今回のステップｎ＋１までの期間に対応する認知領域の忘却率を反映し、認知領域Ｒ_１を認知領域Ｒ_２に更新する。

ステップＳＴ２０４において、認知領域算出部１０４は、ステップＳＴ１００で視認領域算出部１０１が視認領域を算出したか否かを判定する。認知領域算出部１０４は、視認領域算出部１０１において視認領域が算出されたと判定した場合（ステップＳＴ２０４“Ｙｅｓ”）、ステップＳＴ２０５へ進み、視認領域が算出されていないと判定した場合（ステップＳＴ２０４“Ｎｏ”）、ステップＳＴ２０６へ進む。

ステップＳＴ２０５において、認知領域算出部１０４は、視認領域算出部１０１から視認領域の情報を受け取り、受け取った視認領域をステップＳＴ２０３で更新した認知領域に加算することで、認知領域を更新する。

式（３）は、ステップＳＴ２０５における認知領域算出手順の具体例である。式（３）により、移動体座標系内において定義された認知領域Ｒ_２に対して、同じく移動体座標系内において定義された視認領域Ｓのステップｎ＋１における値を加算し、認知領域Ｒ_２を認知領域Ｒに更新する。

図８Ｄは、ステップＳＴ２０５において更新された認知領域Ｒを示す図である。認知領域Ｒは、認知領域Ｒ_２と視認領域Ｓを含む領域である。

ステップＳＴ２０６において、認知領域算出部１０４は、ステップＳＴ２０３で更新した認知領域、またはステップＳＴ２０５で更新した認知領域を、認知領域記録部１０５に出力して記録させる。

次に、図４に示したステップＳＴ３００の運転状態判定処理の詳細を、図７を参照して説明する。
ステップＳＴ３０１において、運転状態判定部１０６は、ステップＳＴ２００において認知領域算出部１０４が算出し認知領域記録部１０５に記録させた認知領域の情報を、認知領域記録部１０５から取得する。また、運転状態判定部１０６は、周囲状況監視部１２１から車両周囲の状況を示す情報を受け取り、車両周囲の状況と認知領域記録部１０５から取得した認知領域とを比較して運転状態を判定する。

式（４）は、ステップＳＴ３０１における運転状態判定手順の具体例である。式（４）により、移動体座標系における認知度合いＰ_Ｒと、同じく移動体座標系における危険度合いＰ_Ｈを乗じることで、移動体座標系における認知的なリスク度合いＰを算出する。
ここで、認知度合いＰ_Ｒは、上記の式（３）における認知領域Ｒを０から１の間の値で規格化したものであり、運転者が全く認知していない場合を０、完全に認知している場合を１に対応付けることで、運転者の車両周囲の認知度合いを確率的に表現したものである。

また、危険度合いＰ_Ｈは、周囲状況監視部１２１において判定される値である。周囲状況監視部１２１は、歩行者または他車両といった障害物等の運転時に注意すべき対象について、それらと自車両との間の距離および相対速度等をもとに、主として自車両との接触確率等を算出する。この接触確率等は、運転時に注意すべき対象についての危険度合いＰ_Ｈを確率的に表現したものである。あるいは、周囲状況監視部１２１は、障害物による死角または見通しの悪い領域などの潜在的な危険度合いＰ_Ｈを確率的に表現した値を算出してもよい。

リスク度合いＰは、認知度合いと危険度合いとの積である。そのため、認知度合いが低く、かつ、危険度合いが高い場合、リスク度合いＰがより大きな値になる。従って、リスク度合いＰが大きい値になるほど、当該地点における危険要因が事故等へ発展する可能性が高いことを示す指標となる。運転状態判定部１０６は、このリスク度合いＰを運転状態として用いる。

ステップＳＴ３０２において、運転状態判定部１０６は、ステップＳＴ３０１で算出した運転状態をもとに、運転状態が不安全な状態か否かを判定する。運転状態判定部１０６は、運転状態を示すリスク度合いＰが予め定められた閾値より大きい場合に不安全状態であると判定し（ステップＳＴ３０２“Ｙｅｓ”）、ステップＳＴ３０３へ進み、それ以外の場合（ステップＳＴ３０２“Ｎｏ”）、運転状態判定処理を終了する。

ステップＳＴ３０３において、運転状態判定部１０６は、車両が不安全状態であることを示す情報を運転支援情報提示部１０７へ出力する。運転支援情報提示部１０７は、不安全状態にある車両の運転者に対して、注意を喚起するための情報を生成し、ディスプレイ４またはスピーカ５から出力する。また、運転支援情報提示部１０７は、不安全状態を解消する方法などを表した運転支援情報を生成し、ディスプレイ４またはスピーカ５から出力する。例えば、不安全状態として、運転者の認知度合いが低い領域から接近する移動体を検知した場合、運転支援情報提示部１０７は、運転者に対して移動体の接近を知らせるとともに移動体を視認するように促す。また、運転支援情報提示部１０７は、接近する移動体に対しては、運転者の注意が逸れていることを警告し回避を促す。さらに、運転支援情報提示部１０７は、不安全状態が解消されない場合には、車両の周囲状況に応じて減速等の回避行動をとるよう運転者に促す。

また、自車両に搭載されている認知領域推定装置１００と、他車両に搭載されている認知領域推定装置１００とが、移動体通信または車車間通信等により無線通信可能である場合、自車両の認知領域推定装置１００から他車両の認知領域推定装置１００に対して情報を送信する構成にしてもよい。例えば、自車両の認知領域推定装置１００は、自車両が不安全状態である判定した場合、不安全状態の原因である他車両、つまり自車両の運転者が認知できていない可能性が高い他車両の認知領域推定装置１００に対して、注意を喚起するための情報を送信する構成にしてもよい。当該他車両の認知領域推定装置１００は、受信した情報を運転者に提示する。この構成の場合、他車両の運転者が自車両を回避することができ、結果として事故等へ発展する可能性を低減することができる。

また、車両に、制動または操舵等を制御する外部装置が搭載されている場合、運転状態の情報を運転状態判定部１０６から外部装置へ出力し、外部装置により車両の加減速または操舵等を制御して不安全状態を回避する構成にしてもよい。

以上のように、実施の形態１に係る認知領域推定装置１００は、車両等の移動体を基準にした移動体座標系における運転者が視認している視認領域を、運転者の視線方向に基づいて算出する視認領域算出部１０１と、移動体座標系における運転者が認知している認知領域を、視認領域算出部１０１が算出した視認領域に基づいて算出する認知領域算出部１０４とを備える構成である。移動体座標系における視認領域および認知領域を算出するようにしたので、移動体座標系において管理される他の周囲監視用のセンサ類３、例えば周囲状況監視部１２１との協調が容易になる。これにより、例えば運転状態判定部１０６は、運転者の周囲認知状況の推定を効率的に行うことが可能になる。
また、実施の形態１に係る認知領域推定装置１００は、移動体座標系における認知領域のみを管理する構成であるため、特許文献１に係る視野推定装置のような地図座標系を経由した演算が一切不要となる。このため、ＧＰＳより頑健なジャイロ等のセンサ類３により計測される慣性情報のみを用いて、自車位置を特定し、認知領域を推定することが可能となる。

また、実施の形態１に係る認知領域推定装置１００は、移動体に設置されたミラー類の移動体座標系における設置位置およびミラー類に投影される投影領域を記録しているミラー類管理部１０２を備える構成である。そして、視認領域算出部１０１は、ミラー類管理部１０２が管理しているミラー類の設置位置に運転者の視線方向が含まれる場合、ミラー類の投影領域を運転者の視認領域とする構成である。これにより、より正確に、視認領域および認知領域を推定できる。

また、実施の形態１に係る認知領域推定装置１００は、移動体座標系において移動体の周囲を監視して障害物を検出する周囲状況監視部１２１を備える構成である。そして、視認領域算出部１０１は、周囲状況監視部１２１が検出した障害物により死角となる死角領域を算出し、運転者の視認領域から死角領域を削除する構成である。これにより、より正確に、視認領域および認知領域を推定できる。

また、実施の形態１に係る認知領域推定装置１００は、移動体座標系における移動体の単位時間当たりの移動量を計測する移動量計測部１１３を備える構成である。そして、認知領域算出部１０４は、移動量計測部１１３が計測した単位時間当たりの移動量に基づいて、１単位時間前に算出した認知領域を移動させ、移動後の認知領域に視認領域算出部１０１が算出した視認領域を加算することによって認知領域を更新する構成である。
先立って説明した特許文献１に係る視野推定装置は、運転者の周囲認知状況の推定を効率化するために、差分演算により単位時間ごとに視野範囲を更新している。しかし、車両は時々刻々と移動するため、運転者の周囲認知状況を推定すべき領域も地図座標系内において時々刻々と変化し、かつ、車両は、運転者の周囲認知状況を推定すべき領域と比較して非常に巨大な領域を移動する。このため、視野推定装置が上述した視野範囲の更新を実行するために、各更新ステップにおいて周囲認知状況を推定すべき領域を特定するための手段、およびこの領域を管理し更新処理に反映するための手段が必要になるが、このような手段については開示も示唆もされていない。このような手段を備えない場合には、駐車場等の空間的に限定された条件下以外では、事実上無限大の記憶領域が必要となるために、視野範囲の更新を実行することは現実的には困難である。
これに対し、実施の形態１に係る認知領域推定装置１００は、移動体座標系にける認知領域を、有限の記憶領域内における単位時間ごとの差分演算により算出可能としたことにより、移動体座標系における効率的な認知領域の推定を可能とする効果を得る。

また、実施の形態１に係る認知領域推定装置１００は、移動体座標系において移動体の周囲を監視して移動体の危険度合いを判定する周囲状況監視部１２１と、周囲状況監視部１２１が判定した危険度合いおよび認知領域算出部１０４が算出した認知領域を用いて、移動体の運転状態を判定する運転状態判定部１０６とを備える構成である。危険度合いおよび認知領域が同じ移動体座標系において管理されるため、運転状態を効率的に判定できる。

実施の形態２．
実施の形態２では、実施の形態１における視認領域算出処理を高精度化する構成について説明する。

以下では、主に実施の形態１と実施の形態２との差分について述べる。特に言及がないものは、実施の形態１に準じるものとし、図１〜図８を援用する。

視認領域の算出においては、車両周囲の環境条件に応じて認知度合いに重みを付けたいという要求がある。例えば、運転者が前方を注視している場合であっても、昼間における視認領域と、夜間における視認領域とは異なる。
そこで、実施の形態２の認知領域推定装置１００は、周囲の環境条件に応じて視認領域を変更する構成とする。

実施の形態２の周囲状況監視部１２１は、車両周囲の状況を示す情報として、車両周囲の障害物または危険物等に加えて、明るさまたは天候等の、運転者の視認状態に影響を与える情報も併せて計測する。周囲状況監視部１２１は、運転者の視認状態に影響を与える情報として、例えば夜間における対向車の前照灯または昼間における日光などにより、運転者の視界が眩んでいるか否かを計測してもよい。そして、周囲状況監視部１２１は、車両周囲の障害物または危険物等の情報と、明るさまたは天候等の視認状態に影響を与える情報とを、車両周囲の状況を示す情報として視認領域算出部１０１へ出力する。

実施の形態２では、図５のステップＳＴ１０１において、視認領域算出部１０１は、視線方向計測部１１１から受け取る視線方向の情報に基づいて運転者の視認状態を判定するだけでなく、周囲状況監視部１２１から受け取る運転者の視認状態に影響を与える情報に基づいて運転者の視認状態を判定してもよい。視認領域算出部１０１は、例えば夜間における対向車の前照灯または昼間における日光などにより運転者の視界が眩んでいることを示す情報を、周囲状況監視部１２１から受け取った場合、サッケード運動が検出されなかったとしても視認状態でないと判定することが望ましい（ステップＳＴ１０１“Ｎｏ”）。これは、人間の視野特性に関する既知の知見に鑑みて構成されたものである。

また、実施の形態２では、図５のステップＳＴ１０３において、視認領域算出部１０１は、周囲状況監視部１２１から運転者の視認状態に影響を与える情報を受け取り、視界が悪い環境下では視認領域の距離および幅を短くする。視認領域算出部１０１は、さらに、視界が悪い環境下では視認領域全体の認知度合いが低くなるような重みを設定することが望ましい。これは、人間の視野特性に関する既知の知見に鑑みて構成されたものである。

以上のように、実施の形態２に係る認知領域推定装置１００は、車両等の移動体の周囲を監視して運転者の視認状態に影響を与える情報を計測する周囲状況監視部１２１を備える構成である。そして、視認領域算出部１０１は、周囲状況監視部１２１の計測結果に基づいて、視認領域内の認知度合いの重みを調整する構成である。これにより、人間の視野特性をより適切に反映した視認領域を算出可能とする効果を得る。

実施の形態３．
視認領域は本来３次元的な分布を持つため、実施の形態１，２のように３次元空間における視認領域を算出することが望ましい。一方で、記憶領域および計算量については、２次元的な視認領域を算出するほうが効率的である。そこで、実施の形態３では、記憶領域および計算量の負荷を低減しつつ、３次元的な視認領域と同等の２次元的な視認領域を算出する構成について説明する。

以下では、主に実施の形態１と実施の形態３との差分について述べる。特に言及がないものは、実施の形態１に準じるものとし、図１〜図８を援用する。また、以下では、実施の形態３を実施の形態１に組み合わせた例を説明するが、実施の形態３を実施の形態２に組み合わせてもよい。

実施の形態３では、図５のステップＳＴ１０３において、視認領域算出部１０１は、視線方向計測部１１１から受け取った視線方向の情報から視認領域を算出する際、運転者の頭部位置の高さ等を運転者の目線程度の高さと仮定し、この高さの２次元ＸＹ平面上に３次元空間内で算出した視線領域を投影することによって、２次元的な視認領域を模擬する。なお、運転者の目線程度の高さとしては、運転者の頭部位置の高さに限らず、ハンドルの高さ程度、または車両の高さの幅程度等であってもよい。

また、実施の形態３では、図５のステップＳＴ１０３において、視認領域算出部１０１は、視線方向計測部１１１から受け取った視線方向の情報のうちのピッチから、視線が路面と交差するか否かを検出する。視認領域算出部１０１は、視線が路面と交差することを検出した場合、２次元的な視認領域を、運転者から路面までの距離を視認領域の限界距離とする三角形状の領域に限定することが望ましい。

さらに、視認領域算出部１０１は、視線方向計測部１１１から受け取った視線方向の情報のうちのピッチから、視線方向が水平面より所定角度以上の上方を向いているか否かを検出する。所定角度は、視認領域が運転者の目線程度の高さにあるか否かを判定するための値であり、視認領域算出部１０１に予め定められているものとする。視認領域算出部１０１は、視線方向が水平面より所定角度以上の上方を向いていることを検出した場合、視認領域を無しとして扱うことが望ましい。

以上のように、実施の形態３に係る認知領域推定装置１００における視認領域算出部１０１は、３次元空間における視認領域を２次元平面上に投影した場合における視認領域を模擬する構成である。これにより、本来は３次元空間内に分布する視認領域を、運転者の目線程度の高さにある２次元平面上に投影した場合における視認領域を模擬することができる。よって、２次元的な実施形態においても、上記２次元平面において疑似的に３次元的な実施形態と同様な視認領域を算出可能とする効果を得る。

実施の形態４．
実施の形態４では、実施の形態１における認知領域算出処理を高精度化する構成について説明する。

以下では、主に実施の形態１と実施の形態４との差分について述べる。特に言及がないものは、実施の形態１に準じるものとし、図１〜図８を援用する。また、以下では、実施の形態４を実施の形態１に組み合わせた例を説明するが、実施の形態４を実施の形態２または実施の形態３に組み合わせてもよい。

実施の形態１の式（４）では、認知領域Ｒを０から１の間の値で規格化し、運転者が全く認知していない場合を０、完全に認知している場合を１に対応付けることで、確率として解釈可能な形態として取り扱った。このような場合においては、式（３）において示したような単純な加算による更新では確率的な特性が保持できない可能性がある。例えば、運転者がある領域を十分な時間注視した場合、この領域の認知領域Ｒ_２における認知度合いの値は１に収束しているべきであるが、同時にこの領域に視線が滞留していることから、視認領域Ｓにおける認知度合いもまた１に近い値となる。このため、単純にこれらを加算して更新した場合、認知度合いの値が１を超え、確率としての要件を満たさなくなる。
そこで、実施の形態４では、認知領域推定装置１００を以下のような構成とする。

実施の形態４では、図６のステップＳＴ２０５において、認知領域算出部１０４は、認知領域Ｒを、確率的な加算により更新する。
式（５）は、実施の形態４のステップＳＴ２０５における認知領域算出手順の具体例である。式（５）において、Ｐ_Ｓは、視認領域算出部１０１が算出した視認領域Ｓを、運転者が全く認知していない場合を０、完全に認知している場合を１に対応付けることで、確率的に表現したものである。このような構成により、認知領域算出部１０４が算出する認知領域Ｒは、常に確率としての特性が保持されるため、上式（４）における認知度合いＰ_Ｒとして直接使用可能な値となる。

以上のように、実施の形態４に係る認知領域推定装置１００において、認知領域算出部１０４は、認知領域内の認知度合いを表す確率と視認領域内の認知度合いを表す確率とを加算する構成である。認知領域および視認領域の値を確率として解釈可能な形態として取り扱うことにより、認知領域を効率的に算出可能とする効果を得る。

実施の形態５．
実施の形態５では、実施の形態１における認知領域算出処理を高精度化する構成について説明する。

以下では、主に実施の形態１と実施の形態５との差分について述べる。特に言及がないものは、実施の形態１に準じるものとし、図１〜図８を援用する。また、以下では、実施の形態５を実施の形態１に組み合わせた例を説明するが、実施の形態５を実施の形態２、実施の形態３または実施の形態４に組み合わせてもよい。

視線方向計測部１１１、頭部位置計測部１１２、または移動量計測部１１３のうちのいずれかにおいて時間解像度が十分でない場合、認知領域算出部１０４の認知領域算出処理において単位時間当たりの変化領域、つまり前回算出した認知領域と今回算出した認知領域との差分が大きくなる。すると、認知領域が時間領域において不連続になる場合がある。また、視線方向計測部１１１、頭部位置計測部１１２、および移動量計測部１１３の計測周期が異なる場合、例えば、視認領域と認知領域とを重ね合わせる際に時間のずれによる誤差が生じたり、認知領域の算出周期が最も計測周期の長い計測部に制約されたりする。
また、事前に車両の移動を模擬することで、短時間先における認知領域を予測したいという要求がある。例えば、交差点の右左折時においては、右左折中および右左折先において想定される認知領域を算出することで、各段階における危険物等を事前に推定し運転者に警告することが期待される。
そこで、実施の形態５では、認知領域推定装置１００を以下のような構成とする。

図９は、実施の形態５に係る認知領域推定装置１００の構成例を示す機能ブロック図である。実施の形態５に係る認知領域推定装置１００は、視認領域の算出に用いる視線方向等の仮想軌跡を算出する仮想軌跡算出部１５１を備えている。

図１０は、実施の形態５に係る認知領域推定装置１００の動作を示すフローチャートである。
ステップＳＴ５００は、仮想軌跡を算出する処理である。ステップＳＴ５００において、仮想軌跡算出部１５１は、仮想軌跡を算出する。図１１は、ステップＳＴ５００における仮想軌跡算出部１５１の動作の詳細を示すフローチャートである。
ステップＳＴ１００，ＳＴ２００，ＳＴ３００の各処理は、実施の形態１の図４〜図７に示した各処理と同様である。ただし、実施の形態５の認知領域推定装置１００においては、ステップＳＴ５００において算出された現在より先のある時刻の仮想軌跡に対して、ステップＳＴ１００，ＳＴ２００，ＳＴ３００の各処理を実行する点が異なる。現在より先のある時刻としては、今回ステップＳＴ５００と前回ステップＳＴ５００の間のある時刻を含む。

次に、図１０に示したステップＳＴ５００の仮想軌跡算出処理の詳細を、図１１を参照して説明する。
ステップＳＴ１０１において、視認領域算出部１０１は、図５のステップＳＴ１０１と同じ処理を行って、車両の運転者が視認状態であるか否かを判定し、判定結果を仮想軌跡算出部１５１へ出力する。仮想軌跡算出部１５１は、視認領域算出部１０１により運転者が視認状態であると判定された場合（ステップＳＴ１０１“Ｙｅｓ”）、ステップＳＴ５０１へ進み、視認状態でないと判定された場合（ステップＳＴ１０１“Ｎｏ”）、ステップＳＴ５０３へ進む。

ステップＳＴ５０１において、仮想軌跡算出部１５１は、視線方向計測部１１１から受け取った視線方向の情報等から、現在より先のある時刻における視線方向の推定値を算出する。仮想軌跡算出部１５１は、例えば、前回ステップＳＴ５００を実行したときの視線方向と今回ステップＳＴ５００を実行するときの視線方向とを用いた線形補間等により、ある時刻における視線方向を推定する。または、仮想軌跡算出部１５１は、短時間先の予測においては、現在からある時刻までの間に視線方向が変化しないとする等の仮定により、視線方向を推定してもよい。これにより、仮想軌跡算出部１５１は、視線方向の仮想軌跡を算出する。

ステップＳＴ５０２において、仮想軌跡算出部１５１は、頭部位置計測部１１２から受け取った頭部位置の情報等から、現在より先のある時刻における頭部位置の推定値を算出する。仮想軌跡算出部１５１は、例えば、前回ステップＳＴ５００を実行したときの頭部位置と今回ステップＳＴ５００を実行するときの頭部位置とを用いた線形補間等により、ある時刻における頭部位置を推定する。または、仮想軌跡算出部１５１は、短時間先の予測においては、現在からある時刻までの間に頭部位置が変化しないとする等の仮定により、頭部位置を推定してもよい。これにより、仮想軌跡算出部１５１は、頭部位置の仮想軌跡を算出する。

ステップＳＴ５０３において、仮想軌跡算出部１５１は、移動量計測部１１３から受け取った移動量の情報等から、現在より先のある時刻における移動量の推定値を算出する。仮想軌跡算出部１５１は、例えば、前回ステップＳＴ５００を実行したときの移動量と今回ステップＳＴ５００を実行するときの移動量とを用いた線形補間等により、ある時刻における移動量を推定する。または、仮想軌跡算出部１５１は、短時間先の予測においては、現在からある時刻までの間に移動量が変化しないとする等の仮定により、移動量を推定してもよい。より高度には、仮想軌跡算出部１５１は、移動体の軌跡の連続性を考慮して、過去および今回ステップＳＴ５００を実行するときの移動量を用いて移動体座標系における車両の軌跡を算出する際に、スプライン関数等の滑らかな曲線を用いて補間値を算出することが望ましい。また、短時間先の予測においては、仮想軌跡算出部１５１は、車両進行方向の道路形状またはナビゲーションシステムの誘導経路などの情報を用いて、短時間先において自車が通過することが予想される経路を推定し、この経路を車両の軌跡としてもよい。これにより、仮想軌跡算出部１５１は、移動量の仮想軌跡を算出する。

以上のように、実施の形態５に係る認知領域推定装置１００は、現在より先の時刻の視線方向を推定する仮想軌跡算出部１５１を備える構成である。そして、視認領域算出部１０１は、仮想軌跡算出部１５１が推定した視線方向に基づいて、現在より先の時刻の視認領域を算出する構成である。これにより、視線方向計測部１１１の計測周期を補間することができ、滑らかな認知領域の推定結果を算出可能とする効果を得る。さらに、短時間先における認知領域の推定を可能とする効果を得る。
また、仮想軌跡算出部１５１が現在より先の時刻の移動体の移動量を推定し、認知領域算出部１０４が仮想軌跡算出部１５１の算出した移動量に基づいて、現在より先の時刻の認知領域を算出する構成であってもよい。
また、仮想軌跡算出部１５１が現在より先の時刻の視線方向および移動量を推定し、認領域算出部１０１が仮想軌跡算出部１５１の推定した視線方向に基づいて、現在より先の時刻の視認領域を算出し、認知領域算出部１０４が仮想軌跡算出部１５１の算出した移動量に基づいて、現在より先の時刻の認知領域を算出する構成であってもよい。
さらに、仮想軌跡算出部１５１は、視線方向または移動量だけでなく、頭部位置の仮想軌跡を推定する構成であってもよい。
このように、認知領域推定装置１００は、仮想軌跡算出部１５１を備えることにより、視線方向計測部１１１、頭部位置計測部１１２および移動量計測部１１３の計測周期が異なったとしても、計測周期に依存せずに認知領域の推定を可能とする効果を得る。

実施の形態６．
実施の形態６では、実施の形態１における運転状態判定処理を高精度化する構成について説明する。

以下では、主に実施の形態１と実施の形態６との差分について述べる。特に言及がないものは、実施の形態１に準じるものとし、図１〜図８を援用する。また、以下では、実施の形態６を実施の形態１に組み合わせた例を説明するが、実施の形態６を実施の形態２、実施の形態３、実施の形態４または実施の形態５に組み合わせてもよい。

図１２は、この発明の実施の形態６に係る認知領域推定装置１００の構成例を示す機能ブロック図である。
位置・姿勢計測部１６１は、ＧＰＳまたは方位計等のセンサ類３から、センサ検出値を取得する。位置・姿勢計測部１６１は、センサ検出値から地図座標系における車両の位置と姿勢とを計測する。地図座標系とは、地図空間上に固定された座標系であり、例えば緯度経度である。位置・姿勢計測部１６１は、車両の位置および姿勢の情報を、地図情報管理部１６２へ出力する。

地図情報管理部１６２は、道路または信号等の移動体の運行に用いられる地図情報を管理している。地図情報管理部１６２は、位置・姿勢計測部１６１から受け取る地図座標系における車両の位置および姿勢の情報を用いて、車両の位置を地図座標系から移動体座標系に変換する。また、地図情報管理部１６２は、車両周囲の地図情報を抽出し、障害物等による死角または見通しの悪い領域などの潜在的な危険度合いを判定して、運転状態判定部１０６へ出力する。特に車両等においては、カーナビゲーションシステム等の既知の手段により、位置・姿勢計測部１６１と地図情報管理部１６２の機能が併せて提供される。そのため、認知領域推定装置１００は、位置・姿勢計測部１６１および地図情報管理部１６２を備えず、外部装置であるカーナビゲーションシステム等を利用する構成としてもよい。

認知領域推定装置１００が周囲状況監視部１２１を備えていない場合であっても、車両に搭載されたカーナビゲーションシステム、またはカーナビゲーションシステムと同様の機能を有する位置・姿勢計測部１６１および地図情報管理部１６２が存在する場合、運転状態判定部１０６において地図情報を活用することで道路状況に応じた運転支援を行うことが期待される。また、認知領域推定装置１００が周囲状況監視部１２１を備えている場合であっても、地図情報を併用することで、より精度の高い運転支援を行うことが期待される。例えば、交差点の右左折時においては、後続車両の巻き込み有無、または右左折先の横断歩道またはこれに繋がる歩道上の歩行者の有無等の、定型的な確認作業を行うことが必須である。しかし、これらの領域には街路樹等の障害物が多く、また歩行者の後ろを別の歩行者が追い抜きながら歩いている等の検出困難な事象が想定されるため、周囲状況監視部１２１において必ずしも適切に危険度合いが判定できるとは限らない。このような場合には、道路状況に基づく危険度合いの判定が有効である。
そこで、実施の形態６では、認知領域推定装置１００を以下のような構成とする。

実施の形態６では、図７のステップＳＴ３０１において、地図情報管理部１６２は、位置・姿勢計測部１６１から地図座標系における車両の位置と姿勢の情報を取得する。次に、地図情報管理部１６２は、車両の位置をもとに、車両周囲の地図情報を抽出し、抽出した地図情報および車両の姿勢から、移動体座標系における危険度合いＨを算出する。危険度合いＨは、簡易には地図情報管理部１６２にあらかじめ記録された地図座標系における危険度合いを移動体座標系へ変換することで算出される。また、地図情報管理部１６２から抽出された周囲の道路形状を元に、あらかじめ定められた規則に従って道路形状に対応する危険度合いＨが算出される。さらに、地図情報管理部１６２は、算出した危険度合いＨに対して、危険個所と車両との相対速度、あるいは、右左折等の運転行動等に応じた重みづけを行うことが望ましい。地図情報管理部１６２は、算出した危険度合いＨを、運転状態判定部１０６へ出力する。
運転状態判定部１０６は、危険度合いＰ_Ｈの代わりに危険度合いＨを用いて、または危険度合いＨで更新した危険度合いＰ_Ｈを用いて、式（４）を計算する。危険度合いＨで危険度合いＰ_Ｈを更新する方法として、例えば、運転状態判定部１０６は、危険度合いＰ_Ｈと危険度合いＨの重み付き平均値、あるいは、危険度合いＰ_Ｈと危険度合いＨの最大値を算出する。

以上のように、実施の形態６に係る認知領域推定装置１００は、地図情報を用いて、移動体座標系における移動体の危険度合いを判定する地図情報管理部１６２と、地図情報管理部１６２が判定した危険度合いおよび認知領域算出部１０４が算出した認知領域を用いて、移動体の運転状態を判定する運転状態判定部１０６とを備える構成である。これにより、地図情報を活用し、道路状況に応じた運転支援を行うことを可能とする効果を得る。

なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。

この発明に係る認知領域推定装置は、運転者の視線方向に基づいて周囲認識状況を推定するようにしたので、運転支援機能または自動運転機能が搭載された車両などに用いるのに適している。

１ プロセッサ、２ メモリ、３ センサ類、４ ディスプレイ、５ スピーカ、１００ 認知領域推定装置、１０１ 視認領域算出部、１０２ ミラー類管理部、１０３ 遮蔽物管理部、１０４ 認知領域算出部、１０５ 認知領域記録部、１０６ 運転状態判定部、１０７ 運転支援情報提示部、１１１ 視線方向計測部、１１２ 頭部位置計測部、１１３ 移動量計測部、１２１ 周囲状況監視部、１５１ 仮想軌跡算出部、１６１ 位置・姿勢計測部、１６２ 地図情報管理部。

この発明に係る認知領域推定装置は、移動体を基準にした移動体座標系における移動体の運転者が視認している視認領域を、運転者の視線方向に基づいて算出する視認領域算出部と、移動体座標系における運転者が認知している認知領域を、視認領域算出部が算出した視認領域に基づいて算出する認知領域算出部とを備え、移動体座標系における移動体の単位時間当たりの移動量を計測する移動量計測部を備え、認知領域算出部は、移動量計測部が計測した単位時間当たりの移動量に基づいて、１単位時間前に算出した認知領域を移動させ、移動後の認知領域に視認領域算出部が算出した視認領域を加算することによって認知領域を更新するものである。

Claims (13)

1. 移動体を基準にした移動体座標系における前記移動体の運転者が視認している視認領域を、前記運転者の視線方向に基づいて算出する視認領域算出部と、
   前記移動体座標系における前記運転者が認知している認知領域を、前記視認領域算出部が算出した視認領域に基づいて算出する認知領域算出部とを備える認知領域推定装置。
2. 前記移動体に設置されたミラー類の前記移動体座標系における設置位置および前記ミラー類に投影される投影領域を記録しているミラー類管理部を備え、
   前記視認領域算出部は、前記ミラー類管理部が記録している前記ミラー類の設置位置に前記運転者の視線方向が含まれる場合、前記ミラー類の投影領域を前記運転者の視認領域とすることを特徴とする請求項１記載の認知領域推定装置。
3. 前記移動体の周囲を監視して運転者の視認状態に影響を与える情報を計測する周囲状況監視部を備え、
   前記視認領域算出部は、前記周囲状況監視部の計測結果に基づいて、視認領域内の認知度合いの重みを調整することを特徴とする請求項１記載の認知領域推定装置。
4. 前記移動体座標系において前記移動体の周囲を監視して障害物を検出する周囲状況監視部を備え、
   前記視認領域算出部は、前記周囲状況監視部が検出した障害物により死角となる死角領域を算出し、前記運転者の視認領域から前記死角領域を排除することを特徴とする請求項１記載の認知領域推定装置。
5. 前記視認領域算出部は、３次元空間における視認領域を２次元平面上に投影した場合における視認領域を模擬することを特徴とする請求項１記載の認知領域推定装置。
6. 前記移動体座標系における前記移動体の単位時間当たりの移動量を計測する移動量計測部を備え、
   前記認知領域算出部は、前記移動量計測部が計測した単位時間当たりの移動量に基づいて、１単位時間前に算出した認知領域を移動させ、移動後の前記認知領域に前記視認領域算出部が算出した視認領域を加算することによって前記認知領域を更新することを特徴とする請求項１記載の認知領域推定装置。
7. 前記認知領域算出部は、認知領域内の認知度合いを表す確率と視認領域内の認知度合いを表す確率とを加算することを特徴とする請求項６記載の認知領域推定装置。
8. 現在より先の時刻の視線方向を推定する仮想軌跡算出部を備え、
   前記視認領域算出部は、前記仮想軌跡算出部が推定した視線方向に基づいて、現在より先の時刻の視認領域を算出することを特徴とする請求項１記載の認知領域推定装置。
9. 現在より先の時刻の前記移動体の移動量を推定する仮想軌跡算出部を備え、
   前記認知領域算出部は、前記仮想軌跡算出部が推定した移動量に基づいて、現在より先の時刻の認知領域を算出することを特徴とする請求項１記載の認知領域推定装置。
10. 前記移動体座標系において前記移動体の周囲を監視して前記移動体の危険度合いを判定する周囲状況監視部と、
    前記周囲状況監視部が判定した危険度合いおよび前記認知領域算出部が算出した認知領域を用いて、前記移動体の運転状態を判定する運転状態判定部とを備えることを特徴とする請求項１記載の認知領域推定装置。
11. 地図情報を用いて、前記移動体座標系における前記移動体の危険度合いを判定する地図情報管理部と、
    前記地図情報管理部が判定した危険度合いおよび前記認知領域算出部が算出した認知領域を用いて、前記移動体の運転状態を判定する運転状態判定部とを備えることを特徴とする請求項１記載の認知領域推定装置。
12. 視認領域算出部が、移動体を基準にした移動体座標系における前記移動体の運転者が視認している視認領域を、前記運転者の視線方向に基づいて算出するステップと、
    認知領域算出部が、前記移動体座標系における前記運転者が認知している認知領域を、前記視認領域算出部が算出した視認領域に基づいて算出するステップとを備える認知領域推定方法。
13. コンピュータに、
    移動体を基準にした移動体座標系における前記移動体の運転者が視認している視認領域を、前記運転者の視線方向に基づいて算出する視認領域算出手順と、
    前記移動体座標系における前記運転者が認知している認知領域を、前記視認領域算出手順で算出した視認領域に基づいて算出する認知領域推定手順とを、実行させるための認知領域推定プログラム。

Images