JP6911841B2 - 画像処理装置及び画像処理方法、並びに移動体 - Google Patents

Description

本明細書で開示する技術は、主に車載カメラで撮像した画像を処理する画像処理装置及び画像処理方法、並びに移動体に係り、特に、車載カメラで撮像した運転者の画像を処理する画像処理装置及び画像処理方法、並びに移動体に関する。

車内カメラを用いて運転者の状態を把握するシステムが知られている。例えば、頭部姿勢やまばたきなどの運転者の状態をカメラでとらえ、運転者の状態認識をして居眠りや疲労を早期に検出して、運転者に休憩を施すなどして無理な運転を予防するシステムが検討され、一部では既に製品化されている（例えば、特許文献１、２を参照のこと）。

また、運転者のアクセルやブレーキ・ペダルやステアリングの操作推移を時系列的に継続解析してその動作安定性の変化を観測し、運転者の運転注意度を推定して判別する安全予防装置なども研究されている。

今後、先進安全運転システム（ＡＤＡＳ）のさらなる普及が進むと、走行中に一定条件を満たせば運転者の介在が無くても車両は走行を維持できる割合が増し、さらには自律走行する車両の割合が徐々に増加し、運転者が車両走行に一切の操舵に拘わらなくて済むようになると予想される。また、運転者が介在不要となる専用走行レーンやレーン区間などが社会インフラ的に導入されると、その区間で走行中の車両では運転者が意識的に前方注意運転の操舵ループから分離し、走行車両周辺の認知シーケンスが滞ることが発生し、その認知欠落走行時間も増加することになる。すなわち、部分又は完全自動運転の導入により、運転者は常に高い注意度で前方へ視線を向けて運転する必要性が減ると、運転者は、運転行動から一時的又は長期間にまたがり注意緊張状態から解放される。

上記のような事象が多くなると、車両走行中の運転者が運転の注意ループから離れてしまうことが考えられる。例えば、運転者が、車両走行中であるにも拘らず、前方や周囲認知とはまったく異なることを考えたり、極端な場合では寝たり、前方認知する搭乗姿勢から掛け離れた姿勢で同乗者と会話したり、スマートフォンを操作したりする。運転者が一旦運転の注意ループから離れた際に、前方事故などの予想外の事態が発生して緊急に操舵ループに復帰するには、運転者の瞬時の意識回復と周辺状況把握が不可欠となる。

要約すると、部分又は完全自動運転の導入により、運転者が運転行動から一時的又は長期間にまたがり注意緊張状態から解放されるが、逆に、本来であれば自動運転に頼れない運転区間の運転時でも、運転者は慣れから走行時に注意低下を伴う運転行動をとりがちである。

完全自動運転を目指して部分自動運転が普及する段階では、高い注意状態の運転ループから分断した運転行動が頻発することが懸念される。現行の法規制では、運転者を車両制御から切り離すことを制度上許容していないので、自動運転からの復帰時における運転行動はこれまで問題とならなかった。今後の制度見直しにより、運転者が運転に介在しない運転行動が普及し始めると、運転行動への復帰時における注意低下が問題視されることが予想される。

出発してから目的地で完全に停車するまでの完全な自動運転が可能な技術が確立しない限り、運転終了までの間に運転者が自動運転から手動運転に移行する可能性が残る。運転者は、手動運転に移行する際に、周囲環境を認知又は理解して、車両の運転・操舵を引き継ぐ必要がある。寝ぼけまなこの状態や夢見の精神状態など、運転者が周辺環境や運転状況の認知又は理解が低下している状態で自動運転から手動運転に引き継ぐと、不完全な操舵に移行して、重大な事故を誘発するリスクを伴う。

このため、運転者が自動運転の緊急時対応として手動運転に復帰する際に、周囲環境を認知把握する精神的意識レベルの回復状態を、自動運転制御を行なう運転補助システム側で確認する必要がある。

車内カメラを用いて運転者の状態を把握する既存のシステムは、基本的に定姿勢の運転者を観測することを前提としている。ところが、運転者は、運転に集中している状態では定姿勢であるが、注意緊張状態から解放されると姿勢や頭部が広範囲で移動するフリースタイルとなる。このため、既存のシステムは、注意緊張状態から解放された運転者を観測するのにも適しているとは言い難く、運転者の手動運転能力を高い精度で判定するのは困難であると思料される。

特開２０１０−２６２４７８号公報 特開２０１５−１２７９３７号公報 特開２０１５−２２６７６６号公報

本明細書で開示する技術の目的は、車載カメラで撮像した運転者の画像を好適に処理することができる、優れた画像処理装置及び画像処理方法、並びに移動体を提供することにある。

本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第１の側面は、
車両の運転者の画像を第１のフレームレートで取得する第１の画像取得部と、
前記画像のうち前記運転者の眼を含む領域を決定する領域決定部と、
前記領域の画像を前記第１のフレームレートよりも高い第２のフレームレートで取得する第２の画像取得部と、
を具備する画像処理装置である。

本明細書で開示する技術の第２の側面によれば、第１の側面に係る画像処理装置は、前記第２のフレームレートで取得する前記領域を画像処理して、前記運転者の意識レベルを認識又は判別する処理部をさらに備えている。

本明細書で開示する技術の第３の側面によれば、第２の側面に係る画像処理装置は、前記処理部により認識又は判別された前記運転者の意識レベルに応じて、前記車両の運転モードの切り替えを制御する制御部をさらに備えている。

本明細書で開示する技術の第４の側面によれば、第３の側面に係る画像処理装置の前記制御部は、前記運転者の意識レベルが所定以下であれば、前記車両の自動運転から手動運転への切り替えを制限又は禁止するように構成されている。

本明細書で開示する技術の第５の側面によれば、第２の側面に係る画像処理装置は、前記運転者の意識レベルが所定以下のときに警告を行なう警告部をさらに備えている。

本明細書で開示する技術の第６の側面によれば、第１の側面に係る画像処理装置の前記領域決定部は、前記運転者の頭部又は上半身の回転又は移動に応じて前記領域の位置を補正するように構成されている。

本明細書で開示する技術の第７の側面によれば、第２の側面に係る画像処理装置の前記処理部は、前記領域内の画像に基づいて、前記運転者の眼球運動をトラッキングした結果に基づいて、前記運転者の意識レベルを認識又は判別するように構成されている。

本明細書で開示する技術の第８の側面によれば、第２の側面に係る画像処理装置の前記処理部は、前記運転者の眼球のサッケード、ドリフト、マイクロサッケード、又はトレモアのうち少なくとも１つの動作をトラッキングするように構成されている。

本明細書で開示する技術の第９の側面によれば、第７の側面に係る画像処理装置の前記処理部は、前記運転者の眼球運動とサリエンシーマップとの比較結果に基づいて前記運転者の意識レベルを認識又は判別するように構成されている。

本明細書で開示する技術の第１０の側面によれば、第９の側面に係る画像処理装置は、前記運転者の状態又は前記車両の走行状況に応じたサリエンシーマップを生成するサリエンシーマップ生成部をさらに備えている。そして、前記処理部は、前記サリエンシーマップ生成部が生成した前記サリエンシーマップを用いて前記運転者の意識レベルを認識又は判別するように構成されている。

本明細書で開示する技術の第１１の側面によれば、第１０の側面に係る画像処理装置の前記サリエンシーマップ生成部は、前記車両の周辺で検出される障害物の情報に基づいて前記サリエンシーマップを生成するように構成されている。

本明細書で開示する技術の第１２の側面によれば、第１１の側面に係る画像処理装置は、仮想的な障害物を擬似的にヘッド・アップ・ディスプレイに表示する表示部をさらに備えている。そして、前記サリエンシーマップ生成部は、前記表示部が表示する仮想的な障害物の情報をさらに加えて前記サリエンシーマップを生成するように構成されている。

本明細書で開示する技術の第１３の側面によれば、第７の側面に係る画像処理装置は、前記運転者の眼球運動の個人特性を学習する学習部をさらに備えている。

本明細書で開示する技術の第１４の側面によれば、第７の側面に係る画像処理装置の前記処理部は、前記個人特性を適用して、前記運転者の意識レベルを認識又は判別するように構成されている。

本明細書で開示する技術の第１５の側面によれば、第７の側面に係る画像処理装置の前記処理部は、前記運転者の利き目を判定して、前記領域に含まれる少なくとも利き目の画像に基づいて、前記運転者の意識レベルを認識又は判別するように構成されている。

また、本明細書で開示する技術の第１６の側面は、
車両の運転者の画像を第１のフレームレートで取得する第１の画像取得ステップと、
前記画像のうち前記運転者の眼を含む領域を決定する領域決定ステップと、
前記領域の画像を前記第１のフレームレートよりも高い第２のフレームレートで取得する第２の画像取得ステップと、
を有する画像処理方法である。

また、本明細書で開示する技術の第１７の側面は、
運転者を撮像する撮像部と、
前記運転者を撮像する画像を第１のフレームレートで取得する第１の画像取得部と、
前記画像のうち前記運転者の眼を含む領域を決定する領域決定部と、
前記領域の画像を前記第１のフレームレートよりも高い第２のフレームレートで取得する第２の画像取得部と、
前記第２のフレームレートで取得する前記領域を画像処理して、前記運転者の意識レベルを認識又は判別する処理部と、
前記処理部により認識又は判別された前記運転者の意識レベルに応じて、運転モードの切り替えを制御する制御部と、
を具備する移動体である。本明細書で開示する技術の第１８の側面によれば、前記撮像部は、第１半導体基板、第２半導体基板、第３半導体基板からなる３枚の半導体基板を積層して構成されている。そして、前記第１半導体基板には、画素が形成され、前記第２半導体基板には、前記画像を記憶する記憶部が形成され、前記第３半導体基板には、前記第１の画像取得部、前記第２の画像取得部、前記領域決定部、前記処理部、前記制御部のうち少なくとも１つが形成されている。

本明細書で開示する技術によれば、車載カメラで撮像した運転者の画像を好適に処理することができる、優れた画像処理装置及び画像処理方法、並びに移動体を提供することができる。

なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、本明細書で開示する技術を適用した車載カメラ１００による撮像動作を説明するための図である。 図２は、取り込み枠の部分が像を選択的に高速よく出し処理する構成例を示した図である。 図３は、高速読み出しを実現するＩＣ−ＩＣ間のインターフェース配線図の一例を示した図である。 図４は、画素領域と信号処理回路領域を積層した積層イメージ・センサーの構成例を示した図である。 図５は、画素領域とメモリー領域と信号処理回路領域を積層した積層イメージ・センサーの構成例を示した図である。 図６は、車載カメラの撮像画像に基づいて運転者が対象物を認知する意識レベルを取得するための処理手順を示したフローチャートである。 図７は、車載カメラの撮像画像に基づいて運転者が対象物を認知する意識レベルを取得する画像処理装置７００の機能的構成を模式的に示した図である。 図８Ａは、運転者の眼球のトラッキングと運転者の意識レベルの認識を行なうための処理手順（前半）を示したフローチャートである。 図８Ｂは、運転者の眼球のトラッキングと運転者の意識レベルの認識を行なうための処理手順（後半）を示したフローチャートである。 図９は、高フレームレートで眼球のサッケード動作のトラッキングを行なうための処理手順を示したフローチャートである。 図１０Ａは、運転者の振る舞いと同時並行して実施される各処理（前半）をまとめた図である。 図１０Ｂは、運転者の振る舞いと同時並行して実施される各処理（後半）をまとめた図である。 図１１は、車両が前方へ定常走行中に、進行道路周辺にいる歩行者を運転者が視認する際の動作を説明するための図である。 図１２は、人の視野の構成を模式的に示した図である。 図１３は静止した状態で見たときの中心視野と周辺視野の認知視覚情報を例示した図である。 図１４は、中心視野にない物を見るシーケンスを説明するための図である。 図１５は、車両が定常走行時の運転者の視線（眼球）及び頭部の動作を例示した図である。 図１６は、車両の定常走行時において、運転者が中心視野にない物を見るシーケンスを例示した図である。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

車両が部分自動運転又は完全自動運転などの運転モードの際に、緊急時対応として、運転者が介在する手動運転に復帰しなければならない場合がある。その際、車両の自動運転制御を司る制御システム側では、運転者の環境認知把握の精神的意識レベルの回復状態を確認してから手動運転に復帰させるべきである。したがって、運転者の精神的意識レベルの確認方法が重要である。

例えば、ボクシングの試合のレフリーがダウンした選手にするように、運転者の手を握って運転者による握り返しの反応を確認したり、運転者の目線の安定性や返事の受け答えを観察したりすることで、運転者の意識回復状態を正確に判断することができ、理想的である。しかしながら、本出願時の技術水準では、このようなインタラクティブな確認方法を実現することは困難である。

運転者に対する能動的な入力に対する運転者の応答をモニタリングして意識状態を判定する方法によれば、疑似的にボクシングのレフリーと同等の運転者の意識状態の確認を行なうことができる。

しかしながら、走行中の車両の運転者の脳波を、非接触な方法で測定する安価な装置を開発することは、本出願時の技術水準では困難である。また、脳電図（Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ：ＥＥＧ）で調べる脳波や、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｓｅ Ｉｍａｇｉｎｇ）などで調べる脳磁図（Ｍａｇｎｅｔｏｅｎｃｅｐｈａｌｏｇｒａｍ：ＭＥＧ）を得るには、大掛かりな装置が必要であり、医学的学術用途で用いることはできても、一般の人が日常生活の上で利用できるものではない。要するに、運転者の判断能力を瞬時に確認するのに脳波を測定する方法は現実的ではない。

そこで、本明細書では、運転者の視線の意図的に周囲環境を把握しようとする行動をモニタリングすることで、運転者の意思判別能力を比較的手軽で且つ有効に判断して、運転者の周囲環境を認知把握する精神的意識レベルの回復状態を時々刻々直接読み解く技術について、以下で開示する。

まず、人の目の動きの特徴について考察する。

人が対象物を認知判断する際の通常の動作として、周辺視野でぼやけて存在している対象物を見たいという意識上の欲求が発生すると、眼球、頭部、姿勢の順に動かして、必要に応じて対象物が中心視野に入るようにする。具体的には、眼球動作は、まず中心視野周辺では単独回転で対象物を捉えて眼球回転のみで中心視野に対象物が見えるようにする。対象物が眼球回転のみでは捕捉できない範囲の方角にある場合には、さらに頭部や姿勢移動の動きに先行して眼球回転で対象物を追い、その後、頭部と姿勢の回転と続く。

このとき、体や頭部に比べて眼球の回転慣性力が極めて小さいという人体的（アナトミカル）特徴により、いち早く眼球を注意方角に向けることができ、追って頭部などが回る。したがって、物を見る際の眼球の運動は、注意方角の方向を一度素早く回転して、それに続く頭部の回転を打ち消すように、頭部に対して逆回転を行なう。

一方、視線が同じ場所にとどまっているように見える間も、眼球はサッケード（Ｓａｃｃａｄｅ）動作やマイクロサッケード（Ｍｉｃｒｏ Ｓａｃｃａｄｅ）動作と呼ばれる俊敏で小刻みに回転する眼球運動を行なうように進化してきた。

サッケード動作やマイクロサッケード動作は、人が覚醒時特有で行なう俊敏な衝動性の眼球運動である。具体的には、カクカクカクとした飛び飛びの回転加速と一方向を向いたら停止の小刻みの動きからなる俊敏で細かな眼球運動である。この種の眼球運動を行なう理由の１つとして、常に回転を連続し続けるよりは、一定方向に静止して見た方が画像の流れを抑える方が、同一の桿体細胞や錐体細胞で一定期間だけ同じ投影画像を取得して視覚的事象を捉え易くなる、ということが挙げられる。また、他の理由として、一定以上同じ明るさに晒され続けると今度は視覚受光感度が低下して対象を取れ得られなくなることが挙げられ、対象を捉え終わった後でも頭部回転の打消しを行なった後でも目的とした視線方向周辺でマイクロサッケード動作を繰り返し行なう。

さらに、この飛び飛びの眼鏡動作の間に眼球が一時停止する際に眼底に投影される実世界空間の像と、人が脳内で認知する像は、必ずしも絶対位置として認知するのではない。仮に眼球のサッケード回転運動で見る対象物との方角ずれがある状態でも、眼から脳への伝達が行なわれる間に、網膜で捉えた投影光学像は一次視覚野，視野連合野、高次連合野へと引き継がれ、最後の高次連合野と人の記憶などとの参照で対象物の知能的認知が行なわれる。

網膜に投影された実世界空間の絶対座標と、脳内で認知される認知座標が時々刻々と認知作業の中で補正される。この認知補正は、人の意識の中で起きている事象のために、直接観測することはできない。この仮説が正しいことは、以下で裏付けされる。例えば、視線を軸に頭部を回転させた際、眼球はその回転を打ち消す飛び飛びの回転運動を無意識のうちに行なうが、上斜筋や下斜筋が連続して回転できる眼球の回転量はわずかである。さらに、追従が可能な回転量を超えると、眼球の回転を駆動する上斜筋や下斜筋のストレスを解放するために、高速なサッケード動作で元の無回転状態に戻し、改めて頭部回転の打消しを繰り返すが、その際に人は世界空間の認知外界が回転した意識は感じない。つまり、眼球の座標から見た実世界空間の網膜投影画像が飛び飛びの回転をしても、知覚意識上ではこのような高速復元回転は認知されない。

つまり、眼が見た（若しくは、網膜に投影された）実世界空間が一次視覚野から視野連合に伝達される過程で、眼球のサッケード動作やマイクロサッケード動作に伴う人体的な視線方向と実認知方向との際の補正が常に行なわれている結果、サッケード動作やマイクロサッケード動作の動的解析から視線と世界空間との相関をとらないと、必ずしも正確な意識状態の判別を行なうことができない。

上記のことから、通常のカメラを用いて例えば６０ｆｐｓ程度の更新レートで眼球運動を捕捉してトラッキング運動を解析した際の精度では、運転者の意識レベルを素早く判断するには十分とは言えない。高精度の視線認識システムでも、理想的な環境で測定しても、その視線方角認識・検出精度はせいぜい０．５度程度とされている。一般に、計測による絶対的な物理的計測精度がこのように０．５度程度とされるのは、知覚絶対アドレスが網膜上に投影された知覚神経細胞上の絶対投影位置が常に一致している仮定によるためであり、実際の認知アドレスは知覚野などで補間補正されているために物理的方角と認知方角のズレが起因して誤差が発生すると考えられる。

眼球のサッケード動作やマイクロサッケード動作を常に高速でトラッキングし、且つ、運転者の姿勢にとらわれないフリースタイルの状態でモニタリングすることができれば、運転者が世界空間を認識し対象物を認知する意識レベルをある程度高い精度で取得することが可能となる。

続いて、人の視覚野眼球運動について考察しておく。

人の視覚が環境の周辺状況を詳細に認知する仕組みは、単に視線を詳細に知覚したい特定の対象物の方向に向けて、高精細に見ることができる中心視野の方向を絶対空間座標で正確に捉える、ということで実現する訳ではない。

眼球は、目的とする対象物を詳細に知覚するために一気に回転し、又は、対象物が中心視野から離れている場合には、狭い眼球回転の範囲を超えているために頭部回転で補うことになる。その際に、眼球のサッケード動作は、頭部動作に同調して眼球が回転するのではなく、回転で一気に目的とする方向を振り向き、頭部移動が伴った段階で中心視野の方向が目的とする対象物を捉え、眼球の人体構造的に無理のない段階で頭部の移動を相殺する形で、目的とする対象物に中心視野を合わせる動作となり、その後、高精細な情報を取得するための認知作業が開始される。

その際の眼球の回転移動は、頭部回転を一対一で完全に相殺するのではなく、小刻みな相殺回転からなるサッケード動作を繰り返し行ない、相殺する数段のステップの飛び飛びの急速な眼鏡の方向追尾で構成される。その都度の眼球回転に伴う実空間の網膜への虚像の映り込みは、投影面の絶対座標で認知されるのではなく、投影位置のずれを補正して、脳内で位置の解釈を無意識のうちに繰り返し実施している。そのため、一般に眼球の運動解析から得られる視線認識の向きは、さほど正確には求められないとされている。

しかし、この誤差の多くは物理工学的実空間の投影点の脳と認知座標が時々刻々補正させられていることに関係していることが原因である。また、対象物のどれだけの期間中心視野で見ることで認知が完結終了するかは、その人の同一条件の認知経験などさまざまな要因で決まり、さらにはその覚醒度とも大きく関わっている。

したがって、運転者が走行中に環境認識をしている際の眼球運動と実空間上に存在する物体の空間配置の方角情報の認知遅延を正確に解析することで、運転者の運転に対する覚醒復帰能力を高精度で早期に把握することが期待される。

特に、非常時を含めた完全自動運転が実現されない車両や、部分自動運転などの場合、緊急時には運転者への早期の制御引き渡しシーケンスが求められている。しかしながら、不完全な状況認識下の運転者に運転操作の引き渡しを行なうと、結果的に状況把握喪失を伴う運転の誤動作を完全に避けることができない。また、運転者が周辺状況の把握が不十分のままに操作判断が必要な状況で車両操舵権を引き渡されると、運転者の脳の判断能力を超えることになりパニック状態で結果的に正常な判断・行動のシーケンスが働かなくなる。一旦パニック状態に陥ると、思考・行動の余裕ができるまで、たとえ危険が迫った状態を視覚的に見えたとしても認知・判断行動を司る神経認知ネットワークが完全な渋滞状態となり行動全体が停滞してしまうことが知られている。

そこで、高速走行中の運転者の視線動作とサリエンシー（顕著性、Ｓａｌｉｅｎｃｙ）マップや障害物情報より得られる運転者の注意視線移動をしそうな視覚情報に対する連続トラッキングを継続的にモニタリングすることが可能であれば、その時々での運転者の有効な状態確認を実現することが可能となる。

図１１に示すような、車両１１０１が前方へ定常走行中に、進行道路周辺にいる歩行者１１０２を運転者１１０３が視認する際の動作について考察する。

運転者１１０３が注意視点移動して見ている歩行者１１０２が、その運転者１１０３固有の視野角を外れると、頭部回転と眼球回転を併用して振り向き確認を総合的に行なう。人の視線移動で状況判断を行なうシーケンスは、視線移動で目的とする物体の特徴的内容を認知することで終了する。その物体が初めから中心視野にない場合は、対象物がありそうな方へ振り向き、必要があれば頭部回転と身体移動を伴って、その物体を網膜上の中心視野に移動させて、知覚野で判断に足りる情報量に達した時点で上記状況判断のシーケンスは終了する。このことは、一般の運転者と、職業上の自動車レースなどで俊敏な判断が求められる運転者と、の視線の動きの解析から伺うことができる。つまり、職業上の自動車レースなどで俊敏な判断が求められている運転者はサリエンシーマップ（Ｓａｌｉｅｎｃｙ Ｍａｐ）で視線の移動先での固視時間は極めて短く、且つ多くの対象物へ視線を高速に頻繁に見渡して的確な判断を常に行なっている結果、個別の対象物を固視する期間がない程度頻繁に視線移動を繰り返すが、固視して視線停留をしなくても判断に必要な知覚の閾値に達していると考えられる。経験から少ない刺激でも判断が付くことの表れである。

眼球のサッケード動作、頭部回転、身体回転及び移動の順で動きは低速である。また、眼球のサッケード動作でカバーできる範囲は限られている。

なお、脳科学的に見た認知においては、物理的な眼球の網膜上の対象物の中心視野投影を補間する形で、投影された実空間の２次元情報の厳密な位置に対する位置ずれや回転を脳神経上で移動補間して認知することで、実際の眼球の小刻みな回転を含むサッケード動作を意識上感じることがない。

従来の視線トラッキングの考えでは、眼球の正確な物理的方向を検知することが可能であれば、被観測者が視覚で捉える認知対象を、その物理的な測定精度で正確に把握できると考えられていた。

しかしながら、実際には、眼球が小刻みで非連続の飛び飛びに対象物の目視を行なっていても、認知神経が対象物の記憶配置から補間して解釈して３次元の外界解釈を行なうので、例えば頭部回転をしても我々が意識上感じる空間の画像は回転しない。また、頭部を高速な左右に回転してわずかながら水平回転する感覚はあるにしても、水平空間は水平のままである。

水平方向へ視線移動をした場合、眼球は、まず周辺視野で輝度や彩度位置や時間的変化の大きいところを目指して、その方角へサッケード移動して、対象物の方角が中心視野に入るように捉えようとする。その方角に目を向けている無理のない範囲であれば、そのまま眼球の回転移動のみに頼り、対象物の方角を捉えようと試みる。対象物が穏やかな眼球回転の範囲外にある場合は、眼球移動と同時に頭部回転も始め、必要に応じて身体の回転や移動も行なう。

頭部は、眼球単体に比べて重量があることから、急な回転は首に負担がかかり、スポーツ競技中など短期間の特殊な状況以外ではあまり行なわない。

（手動運転により）車両が通常の直線走行する際の運転者の視線移動の多くは、眼球回転による回転だけでまかなうことができる。このため、一般的に、運転者の状態認識には頭部の大きな動きを考慮したトラッキング装置は必ずしも必要ない。

ところが、自動運転が普及して運転者が必ずしも通常の姿勢で前方視線になっていない場合や、ＣＭＳ（Ｃａｍｅｒａ Ｍｏｎｉｔｏｒ Ｓｙｓｔｅｍ）の画面を観察する場合などは、頭部と眼球移動を広範囲に且つ連動してトラッキングしないと、瞬時の運転者意識状態の把握が困難となり、自動運転から手動運転への数秒乃至１秒以下での引継ぎ判断処理が困難である。

図１２には、人の視野の構成を模式的に示している。図示のように、人の水平方向の最大視野角は約２００度あり、正面方向の高分解能で見ることができる中心視野と、その左右の低い分解能で主に動きを検知する周辺視野からなる。また、図１３には、観察者（運転者）が静止した状態で見たときの中心視野と周辺視野の認知視覚情報を例示している。固視する中心視野外の周辺に行くに従って、ぼけて見え、さらに彩度も周辺に行くほど鈍った状態で見える。

人（運転者）が中心視野にない物を見るシーケンスについて、図１４を参照しながら考察する。このシーケンスでは、変化や意思によって特定方向へ中心視野を移動して状況把握を行なう。

中心視野にない物を見るシーケンスは、参照番号１４０１で示す迅速な眼球回転と、参照番号１４０２で示す眼球を追う頭部回転を含んでいる。頭部回転が対象物に追い付いているときには、眼球は、頭部回転を打ち消すために、頭部に対して相対的に逆回転を行なう。なお、振り向きの過程で、中心視野が対象物に近づき追い越しが発生すると、頭部回転に対する打ち消し、いわゆる代償性眼球運動（Ｃｏｍｐｅｎｓａｔｏｒｙ Ｅｙｅ Ｍｏｖｅｍｅｎｔ）という視野安定のための回転に移行する。また、対象物が無限遠にない場合には、複眼の距離に応じたいわゆる輻輳眼球運動（Ｖｅｒｇｅｎｃｅ Ｅｙｅ Ｍｏｖｅｍｅｎｔ）を並行して行なう。

車両が定常走行時の運転者の視線（眼球）及び頭部の動作について、図１５を参照しながら説明する。同図中、参照番号１５０１は、前方すなわち車両１５１２の進行方向である。また、参照番号１５０２は、運転者１５１１の頭部の向きであり、車両の進行方向１５０１に対して頭部の水平回転角だけ回転している。また、参照番号１５０３は、運転者の視線の方向であり、頭部に対して視線の水平回転角だけさらに回転している。そして、視線１５０３の方角の±１．５度が中心視野となる。

車両の定常走行時において、運転者が中心視野にない物を見るシーケンスは、例えば、図１６並びに以下に示す通りとなる。ここでは、図１５に示すように、運転者の視線１５０３からさらに角度αだけ回転した周辺視野に、歩行者１５１３などの対象物が出現してきたときを想定する。

（０）定常の走行では、運転者は視線を前方へ向けて運転している。

（１）ここで、前方以外への注意誘発が発生したとする。例えば、障害物となり得る歩行者などが出現した場合、外界からの動視力に刺激される場合、交差点を曲がったりドア・ミラーを確認したりする運転手の意思に基づく視線移動が挙げられる。

（２）運転者は、確認したい対象物が中心視野に入るように眼球の回転を開始する。対象物の視野角が視線移動範囲外であれば、さらに頭部や人体姿勢の回転に及ぶ。

（３）その際に、負荷の低い順で、眼球回転、頭部回転、姿勢回転を起こすことで、対象物を中心視野に入れる行動をとる。

（４）眼球回転は、最も負荷が小さく、且つ、高速な動きができる部分でその動きは小刻みのサッケード動作で構成されることが知られている。

（５）運転者は、対象物の方向へ眼球の高速回転を始める。振り向き量が眼球回転では不十分、又は眼球の動作範囲に無理が掛かっている状態では、頭部回転や姿勢運動で補う頭部移動の途中で、眼球回転でカバーできる範囲内に対象物が入ってきたときには、中心視野で対象物を視覚的に捕捉する作業を開始する。そして、対象物の事象を理解するために、眼の焦点を合わせ、両眼注視（Ｖｅｒｇｅｎｃｅ Ｅｙｅ Ｍｏｖｅｍｅｎｔ）を開始する。なお、対象物が中心視野からその外へ緩やかに移動しているような場合には、眼球は、瞬時の対象物の方向へ振り向き、途中で頭部の回転が追従することで十分な振り向きが確保されると、今度は頭部に対する回転を打ち消す方向へ逆回転、すなわち代償性眼球運動（Ｃｏｍｐｅｎｓａｔｏｒｙ Ｅｙｅ Ｍｏｖｅｍｅｎｔ）を行なって、安定視線を探る。

（６）上記の一連の振り向き動作と脳内の認知作業は高速に並行して進む。認知作業は、眼球の向きが対象物に安定してから開始されるのではなく、眼球の小刻みのサッケード動作中も知覚的に微小衝動性眼球運動（Ｍｉｎｉａｔｕｒｅ Ｅｙｅ Ｍｏｖｅｍｅｎｔ）を補正解釈して状況認知が進む。

（７）つまり、外界観測者としての運転者は、対象物を中心視野の絶対的座標に投影された実世界空間の解釈を行なうのではなく、認知行動の中で、サッケード動作による眼球の微動回転の際に発生するずれを補正しながら認知して空間解釈を行なう。このため、眼球の物理的絶対方向の検出を行なっていても、観察者はその方角は必ずしも認知し、理解しているとは限らない。

（８）認知行動の意識としては、解剖学的な眼球の向きが認知の向きと同時刻的に完全に合致していることが推察される。その良い例が、目線を軸にして頭部を回転した際に、眼球がわずかに動く眼球回転により頭部回転を補う回転で緩やかな回転を打ち消しつつも、眼球回転の範囲を超えるとサッケード動作で眼球が回転するにも拘らず、認知上ではそれをまったく意識することなく、実空間は回転せず静止していると認知している、という我々の環境認知で裏付けられる。

（９）頭部移動の途中（回転をし終わる前に）、眼球回転でカバーできる範囲内の中心視野の向きが到達すると、観察者としての運転者は、中心視野に入った対象物を凝視又は固視して視覚的に捕捉を開始し、対象物の事象を理解するために目の焦点位置合わせ、視覚野へさらには連合視野へより多くの高精細な情報を含んだ情報伝達が行なわれ、記憶との概念の照合が進む。

例えば、立った子供を中心視野で捉えて詳細が見えるに従い、服の色や手を挙げていること、学生らしい服を羽織って笑顔でいること、さらには記憶がある人ならそれが誰であるかを認知して、これら知覚認知が順を追って、又は一部では並行して進む。

この間、サッケード動作で対象物を高速で追い、特に対象物が中心視野に入り始めると目の焦点合わせが並行して両眼注視が開始する。さらに、頭部姿勢が楽な位置になるまで頭部回転を進め、回転減速停止へと進む。ある程度、視認を意識した方角になれば、続いて眼球は方角近傍でマイクロサッケード動作を繰り返し、その間に認知が進む。

自動車運転の場合、運転者は、多くの車両周辺環境を把握しながら走行する行動の中で、視線を完全に特定の対象物に静止して凝視することはない。ある視線方向で見える対象物について運転操舵判断に必要な認知が必要なレベルに達すると、より優先度の高い対象物の把握のために次に認知をしたい別の方角へ、サッケード動作や頭部移動などが無意識若しくは意識下で開始される。

これら一連の眼球動作は、運転者の運転に影響し得る周辺環境の認知を優先する覚醒状態にあるかに関わる。眼球のサッケード動作の探索動作が実世界空間のサリエンシーマップの方角と連動して振り向いている場合は、運転者は運転に対する高い意識状態にあることが関連付けられる。サリエンシーマップは、対象物の視覚的特徴に起因して運転者の注意を惹く方角を機械演算的に解析して２次元分布マップ化したものである。

滞留静止した眼球の状態観測ではなく、サッケード動作のような時系列的に連続して絶え間なく起こる眼球運動を観測することにより、運転者の意識状態を判別することが可能である。部分又は完全自動運転中の運転者はフリースタイルの状態であり、頭部が広範囲で移動する中で、運転者の時系列的に連続して絶え間なく起こる眼球運動を継続して観測することができれば、運転者に電極や装着物を取り付けなくても、運転者の意識状態を時々刻々トラッキングすることが可能となる。

眼球のサッケード動作やマイクロサッケード動作を常に高速でトラッキングし、且つ、運転者の姿勢にとらわれないフリースタイルの状態でモニタリングすることができれば、運転者が世界空間を認識し対象物を認知する意識レベルをある程度高い精度で取得することが可能となる。

部分又は完全自動運転から手動運転に移行する際の運転者の意識状態の判定処理に適用する場合、運転者の姿勢や頭部が集中運転姿勢のときよりも広範囲で移動するフリースタイルの状態であることが想定される。より広範囲で高精度な運転者の意識状態のトラッキングを実現するためには、運転者の頭部位置を継続的に捕捉し、且つ、広い視野角の中でも眼球のサッケード動作をトラッキングする必要がある。

広範囲の運転者の視線トラッキングを実現するためには、カメラで検出した運転者の頭部を常に機械的に追いかける装置が考えられる。しかしながら、このような機械的なトラッキング装置の信頼性が極めて高くないと、車両のライフサイクルで修理やメンテナンスを繰り返し行なう必要がある。付言すれば、保安基準とし定められた事故時の乗員負傷要因にならないようにするための、その機械仕掛けによる負傷要因を低減する多くの回避対応が必要となる。

また、被験者の頭部に装着して眼球運動を測定する装置について提案がなされているが（例えば、特許文献３を参照のこと）、装着負荷が発生する。部分又は完全自動運転時であっても運転者は頭部に装置を着用し続けなければならず、煩わしく、且つ、自動運転であるにも拘らず十分な解放感を得られない。また、手動運転時に頭部に装置を装着すると、運転者にとって煩わしいだけでなく視界の妨げにもなる。

視線認識の技術は本出願以前にも多く提案されてきた。しかしながら、サッケード動作やマイクロサッケード動作では眼球が極めて高速に移動するため、停留眼球の検出とは異なる。俊敏なサッケード動作やマイクロサッケード動作を検出するには、高フレームレートのカメラで眼球運動を捕捉して眼球運動を解析しなければならない。例えば６０ｆｐｓ程度のフレームレートでは、運転者の意識レベルを素早く判別するには十分とは言えない。ここで、高フレームレートのカメラを使用すると、データレートが高くなり、視線検出などを行なうセンサーから後段の信号処理プロセッサーに長い配線からなる伝送路を介してデータを転送すると、伝送損失に相当するエネルギー放射が発生し、多くの熱的・電磁放射的エネルギー損失を誘発するという問題が新たに浮上する。さらに、通常のイメージ・センサーの信号読み出し系統では、全画像を１つの読み出し経路から一定レートで吐き出すために、エネルギー損失が大きくなる。また、このようなエネルギー損失の対策が容易でないことから、より低周波での回路駆動が余儀なくされ、その結果、高性能の視線検出が困難になる。

そこで、本明細書では、機械的な追尾機能なしで、静的に設置（固定）された１台以上のカメラを用いて、運転者の姿勢や頭部を広視野角で捉えつつ、眼の位置の画像に関しては眼球のサッケード動作を高速に捕捉するようにする技術について提案する。

本明細書で開示する技術の概要について、図１を参照しながら説明する。

車載カメラ（いわゆるドライブモニターカメラなど）１００は、運転席に着座した運転者を撮像する。但し、車両が自動運転モード（部分又は完全自動運転の双方を含む）と手動運転モード間で切り替わり、運転者は、集中運転姿勢にあるとは限らず、注意緊張状態から解放されて姿勢や頭部が広範囲で移動するフリースタイル状態にあることが想定される。したがって、車載カメラ１００は、参照番号１０１で示す、広範囲のエリアを視野角に持つ。俊敏なサッケード動作やマイクロサッケード動作を検出するには、例えば１０００ｆｐｓ程度の高フレームレートで運転者の眼球とその詳細運動を捕捉する必要があるが、撮像エリア１０１が広範囲であるため、別体にした場合に後段の信号処理プロセッサーに撮像信号を伝送する際の伝送損失に起因するエネルギー損失、ひいてはそのエネルギー放出である電極不要輻射ノイズの発生などの技術的困難を考慮して、車載カメラ１００は、広範囲エリア１０１については、例えば６０ｆｐｓ程度の低速で運転者を撮像することを許容する。

広範囲エリア１０１で撮像することで、フリースタイルの状態であっても、ほぼ間違いなく運転者の頭部を捕捉して、運転者の眼球位置をトラッキングすることが可能である。

次いで、広範囲エリア１０１の撮像画像を画像解析して、運転者の目に対応する狭い領域からなる取り込み枠１０２を決定する。運転者はフリースタイルの状態であり、取り込み枠１０２の位置は時々刻々と移動することが想定される。そこで、取り込み枠１０２を中速能動的な位置補正することが好ましい。

そして、取り込み枠１０２内では、１０００ｆｐｓ程度の高速な眼球撮像、並びに高速な画像認識を実施して、眼球のサッケード動作のトラッキングを実現する。

要するに、車載カメラ１００で広いアイリプス（ｅｙｅｌｉｐｓ）１０１を低解像度で撮像しつつ、その画像解析で把握した眼球位置をフレーム毎に補正し、その眼球位置に対しては局所的な高速処理を並行することで、眼球運動のうちサッケード動作のトラッキングを実現するという訳である。すなわち、車載カメラ１００の撮像画像のうち、取り込み枠１０２に限定して能動的な局所高速眼球トラッキングを実施することで、装着負荷を発生することなく、眼球運動のサッケード動作のモニタリングが可能になる。

例えば、図２に示すように、（通常の）撮像素子２０１に、画像認識処理を実施する論理ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）２０２を貼り合わせ、ＩＣ−ＩＣ間で眼球位置を含む部分画像（すなわち、取り込み枠１０２）の画像データのみを選択的に高速伝送するように構成することで、撮像素子２０１と画像認識処理ＩＣ２０２間のインターフェース配線２０３をシリコン貫通電極（ｔｈｒｏｕｇｈ−ｓｉｌｉｃｏｎ ｖｉａ、ＴＳＶ）として最小にするとともに、画像認識処理ＩＣ２０２の受信負荷を抑制して、取り込み枠１０２の部分画像を選択的に高速フレームレートで読み出し処理することができる。この結果、運転者の頭部位置が固定されないフリースタイルの状態であっても、眼球位置のトラッキングが可能となり、眼球運動のサッケード動作を常時モニタリングすることが容易になる。

図３には、撮像素子２０１と画像認識処理ＩＣ２０２間のインターフェース配線図に寄生するインピーダンス要因の一例を模式的に示している。図２に示したようなシリコン貫通電極で貼り合わせるようにすることでこのインターフェース配線の配線長を最小化し、寄生インピーダンスを減らすことでノイズ減となる余分な配線の負荷を大幅に低減することが可能になることから、さらなる高速局所画像解析が可能となり、２重のメリットがある。

図４には、画素領域４１０と信号処理回路領域４２０を積層し、部分画像の画像データを選択的に高速伝送することが可能な積層イメージ・センサー４００の構成例を示している。

カメラ信号処理部４２１は、例えば６０ｆｐｓ程度の低速のフレームレートで画素領域４１０の全領域の画像データを読み出して、通常のカメラ信号処理を実施する。

一方、顔位置トラッキング部４２２は、画素領域４１０の全領域から運転者の顔領域をトラッキングする。眼領域検出部４２３は、顔位置トラッキング部４２２がトラッキングしている顔領域から、運転者の眼を検出して、両眼の部分画像の画像データを含む取り込み枠（前述）を決定する。そして、高速読み出し部４２４は、決定した取り込み枠の部分画像を、選択的に画像データの高速読み出しを行なう。

また、図５には、画素領域５１０と信号処理回路領域５２０とメモリー領域５３０を積層し、部分画像の画像データを選択的に高速伝送することが可能なメモリー搭載積層イメージ・センサー５００の構成例を示している。メモリー搭載積層イメージ・センサー５００は、１０００ｆｐｓ程度の高フレームレートで撮像された画像データを一度メモリー領域５３０に格納する。そして、格納された画像データは、所望のフレームレートで読み出される。

カメラ信号処理部５２１は、例えば６０ｆｐｓ程度の低速のフレームレートで画素領域５１０の全領域の画像データを読み出して、通常のカメラ信号処理を実施する。１０００ｆｐｓで取り込まれた画像データの一部の画像データを用いて６０ｆｐｓ程度の低速のフレームレートで読み出すことで、カメラ信号処理の処理負荷を低減することができる。

また、画素領域５１０の全領域の画像データは、メモリー領域５３０に一旦取り込まれる。顔位置トラッキング部５２２は、画素領域５１０の全領域から運転者の顔領域をトラッキングし、顔画像書き込み部５２３は、メモリー領域５３０に顔画像５３１の書き込みを行なう。そして、選択高速読み出し部５２４は、顔画像５３１から運転者の眼を検出して取り込み枠を決定すると、その取り込み枠５３２の画像データの選択的高速読み出しを行なう。例えば、取り込み枠５３２の画像データは最初に取り込まれた画像データと同じ１０００ｆｐｓ程度の高フレームレートで読み出される。このような構成をとることで、取り込み枠５３２内のみを信号処理することができるので、１０００ｆｐｓ程度の高フレームレートで読み出されたとしても信号処理負荷を抑えることができる。また、メモリー搭載積層イメージ・センサー５００を用いることで、１つのイメージ・センサーで異なるフレームレートの画像を読み出すことが可能となり、２つのイメージ・センサーを用いる場合と比較して部品点数の削減およびコストの削減を図ることができる。

図６には、車載カメラの撮像画像に基づいて、フリースタイルの状態であることが想定される運転者の、対象物を認知する意識レベルを取得するための処理手順をフローチャートの形式で示している。車載カメラは、例えば図４や図５に示した積層イメージ・センサー４００又は５００を想定している。

まず、車載カメラ（ドライバー・モニター・カメラ）を用いて、例えば６０ｆｐｓ程度の低速且つ低解像度で、運転者の頭部アイリプスを囲う広範囲６１０を撮像する（ステップＳ６０１）。

次いで、車載カメラの撮像画像の全領域から、運転者の顔領域６１１の位置をトラッキングする（ステップＳ６０２）。

そして、トラッキングしている顔領域から、運転者の眼を含む領域を検出すると（ステップＳ６０３）、眼の位置のトラッキングを開始して、両眼を含む取り込み枠６１２の位置を時々刻々と補正しながら、取り込み枠６１２の部分画像の画像データについて、例えば１０００ｆｐｓ程度の選択的高速読み出しを行なう（ステップＳ６０４）。

次いで、高速読み出しした部分画像を用いて、運転者の眼球運動のうちサッケード動作のトラッキングを行なう（ステップＳ６０５）。なお、サッケード動作には個人的な特徴があることから、被験者となる運転者毎に学習した結果に基づいて、サッケード動作のトラッキングを行なうようにしてもよい（後述）。

そして、トラッキングした眼球のトラッキング動作に基づいて、運転者が観察しようとしている対象物を推定し（ステップＳ６０６）、さらにはその対象物を認知する意識レベル、すなわち運転者の覚醒度を推定する。

図７には、車載カメラの撮像画像に基づいて運転者が対象物を認知する意識レベルを取得する画像処理装置７００の機能的構成を模式的に示している。各機能モジュール７０１〜７０９は、それぞれ専用のハードウェア回路として構成することができるが、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が所定のプログラムコードを実行するシーケンスとして実現することもできる。以下、各部の動作について説明する。

車載カメラは、運転者の頭部アイリプスを囲う範囲を撮像していることを想定している。状態検出部７０１は、車載カメラの撮像画像の全領域７１０から、運転者の頭部並びに上半身の状態を検出して、運転者の顔領域をトラッキングする。

エリア選択指定部７０２は、状態検出部７０１がトラッキングしている顔領域の中から、選択高速読み出しすべき選択高速読み出しエリア（上記の取り込み枠と同等のエリア）７１２を指定する。

眼球サッケード解析処理部７０３は、眼球のサッケード動作の解析のために、車載カメラの撮像画像の全領域７１０のうち、指定された選択高速読み出しエリア７１２の部分画像についてのみ、例えば１０００ｆｐｓ程度の選択的高速読み出しを行なう。

単一眼球動作解析部７０４は、眼球サッケード解析処理部７０３による運転者の左右それぞれの眼球毎のサッケード動作の眼球運動解析を行なう。例えば、運転者の利き目を判定して、単一眼球動作解析部７０４は、利き目に対してのみ眼球のサッケード動作の解析を行なうようにしてもよい。また、病気による眼球運動の不安定性があることも知られているので、これら運転者固有の特性を加味した評価が望ましい。さらには左右の眼球には利き目としてより知覚へ寄与する目があることが知られているので、覚醒判断により効果的な方の片目解析を用いるようにしてもよい。

なお、サッケード動作には個人的な特徴があることから、単一眼球動作解析部７０４は、被験者となる運転者毎に学習した結果に基づいて、サッケード動作のトラッキングを行なうようにしてもよい（後述）。

方角推定部７０５は、状態検出部７０１が検出した運転者の頭部並びに上半身の状態と、単一眼球動作解析部７０４による運転者の左右の各眼のサッケード動作の解析結果に基づいて、運転者の視線、頭部の移動並びに回転、及び上半身の移動並びに回転を解析して、運転者の視線移動の方角を推定する。

障害物情報取得部７０６は、例えば車両に搭載された、ミリ波レーダーやＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）といったセンサー、ステレオカメラ又は単眼カメラなどの車載カメラからの情報に基づいて、車両の周囲に存在する障害物の方角や車両までの距離などの情報を取得する。ここで言う障害物は、車両が部分又は完全自動運転から手動運転に切り替わる際に、運転者が高い意識レベルで認知すべき対象物と言い換えることもできる。

擬似ターゲット投影部７０７は、運転者の視点方角に擬似ターゲットを、例えばヘッド・アップ・ディスプレイに投影させて、表示する。

サリエンシーマップ生成部７０８は、対象物の視覚的特徴に起因して運転者が自然と見てしまう位置の確率分布であるサリエンシーマップを生成する。具体的には、サリエンシーマップ生成部７０８は、障害物情報取得部７０６が取得した車両周辺の障害物の情報からの運転者視線を向け得るサリエンシーマップを形成する。また、サリエンシーマップ生成部７０８は、必要に応じて、車両前方の実空間に実在する障害物に、擬似ターゲット投影部７０７が表示する擬似ターゲットを加えてサリエンシーマップを形成する。

覚醒度判定部７０９は、方角推定部７０５が推定した運転者の視線移動の方角と、サリエンシーマップ生成部７０８が生成したサリエンシーマップの相関を検出して、運転者が障害物を認知する意識レベル、すなわち運転者の障害物に対する覚醒度を判定する。

覚醒度判定部７０９で実施する処理について補足する。覚醒度判定部７０９は、車両の走行中に、運転者が車両前方の実空間で発生する各々の事象に対してどれくらいの頻度、俊敏性、正確性で観察し、当該運転者固有の認知癖とその検出タイミングでの動作特性変化の有無や反応劣化の度合いを評価する。

車両前方の景色が極めて単調なときなど、運転者があまり視線に集中しないというケースも発生し得る。そこで、覚醒度判定部７０９を常に安定して利用するために、擬似ターゲット投影部７０７が運転者の視点方角にダミーの仮想障害物の画像すなわち擬似ターゲットをヘッド・アップ・ディスプレイなどで適宜表示して、覚醒度判定部７０９は、運転者が擬似ターゲットに対して正確に反応するかどうかをモニタリングすることも有効である。

図８Ａ及び図８Ｂには、画像処理装置７００を用いて運転者の眼球のトラッキングと運転者の意識レベルの認識を行なうための処理手順をフローチャートの形式で示している。

まず、ドライバー・モニター・カメラなどの車載カメラで、例えば６０ｆｐｓ程度の低速且つ低解像度で撮像した広域画像を取り込む（ステップＳ８０１）。

次いで、取り込んだ広域画像（若しくは、車載カメラの視野）内に運転者の頭部位置がカバーされているか否かをチェックする（ステップＳ８０２）。

ここで、運転者の頭部位置が広域画像内にカバーされていない場合には（ステップＳ８０２のＮｏ）、検出対象外処理を実施するようにしてもよい（ステップＳ８２１）。

一方、運転者の頭部位置が広域画像内にカバーされている場合には（ステップＳ８０２のＹｅｓ）、車載カメラの撮像画像の全領域から、運転者の頭部位置を検出し（ステップＳ８０３）、次いで、検出した頭部位置に基づいて眼球を包含する範囲を推定して、眼球トラッキング用の取り込み枠の座標を検出し（ステップＳ８０４）、この取り込み枠の画像データを１０００ｆｐｓ程度の高フレームレートで読み出して、運転者の眼球のサッケード動作のトラッキングを並列して実施する（ステップＳ８０５）。また、運転者の注意先予測と予測に対する一致度、又は一致割合などの詳細動作解析を累計的に実施して、眼球の移動先を推定し、眼球の時系列トラッキングを行なう（ステップＳ８０６）。

そして、ステップＳ８０３における運転者の頭部位置の検出結果と、ステップＳ８０６における眼球のサッケード動作の解析結果に基づいて、運転者の頭部並びに上半身の回転開始の兆候を解析する（ステップＳ８０７）。

ステップＳ８０７の兆候解析は、頭部移動などにより眼球の相対位置が取り込み枠から外れる前兆動作を捉え、取り込み枠のリセット読み出しアドレスを適宜更新するために行なう。高速に動く眼球のサッケード動作から、適切な移動推定解析を行ない、移動先の取り込み枠の設定を行なうことで、眼球トラッキング・ロストを防ぐ。

次いで、サッケード解析から運転者の上半身の回転開始を推定し、眼球の回転でカバーできる範囲内か否かをチェックする（ステップＳ８０８）。

眼球の回転でカバーできる範囲内でない場合には（ステップＳ８０８のＮｏ）、眼球のサッケード動作のみでは車両の操舵に必要な視野情報を得ることはできないので、運転者は頭部並びに上半身の回転に移行し、頭部移動を補って眼球の連続トラッキングを行なう。

一方、眼球の回転でカバーできる範囲内である場合には（ステップＳ８０８のＹｅｓ）、運転者個人の応答特性を勘案した注視推移解析を実施する（ステップＳ８１０）。

また、眼球の回転でカバーできる範囲内でない場合には（ステップＳ８０８のＮｏ）、眼球のサッケード動作のみでは車両の操舵に必要な視野情報を得ることはできないので、頭部並びに上半身の回転の計測と、この回転に伴う絶対方角を推定して（ステップＳ８０９）、運転者個人の応答特性を勘案した注視推移解析を実施する（ステップＳ８１０）。

運転者個人の応答特性を勘案した注視推移解析では（ステップＳ８１０）、基本的に、推定された運転者の視線移動の方角とサリエンシーマップの相関を検出して、注視推移すなわち運転者の障害物に対する覚醒度を判定する。例えば、眼球のサッケード動作の探索動作が実世界空間のサリエンシーマップの方角と連動して振り向いている場合は、運転者は運転に対する高い意識状態にあることが関連付けられる。

ここで、運転者個人の応答特性を勘案した注視推移解析では（ステップＳ８１０）、視線挙動特性に大きな個人差があることを勘案して、運転者を個人認証して（ステップＳ８１２）、特定された個人の視線挙動特性に基づく注視推移解析処理を行なう。

また、運転者個人の応答特性を勘案した注視推移解析では（ステップＳ８１０）、運転者状態に応じて運転者の視線挙動特性が変化することを勘案して、車両に搭載された各種センサーで検出された運転者の状態を示す各パラメーターを参照して（ステップＳ８１３）、注視推移解析処理を行なう。

また、車両が走行する環境条件や障害物の情報に応じて、運転者の注視推移解析に用いるサリエンシーマップを生成する（ステップＳ８２０）。サリエンシーマップは、対象物の視覚的特徴に起因して運転者が自然と見てしまう位置の確率分布である。

ステップＳ８２０では、車両周辺の障害物の情報からの運転者視線を向け得るサリエンシーマップを形成する。このため、ステップＳ８１６では、ミリ波レーダーやＬＩＤＡＲといったセンサー、ステレオカメラ又は単眼カメラなどの車載カメラからの情報に基づいて、車両前方の障害物の方角及び相対距離を検出して、速度マップを生成する。ステップＳ８１７では、ステップＳ８１６における検出物のうち運転者がより注意を払うことが推測される対象物すなわち走行進路上又はその近傍の非路面物（障害物候補）の自車走行の時系列推移から推測して近い将来に自車走行進路と干渉することが予測される物を分類区分する。また、ステップＳ８１８では、運転者の覚醒度をより有効にモニタリングするために、運転者の視点方角にダミーの仮想障害物の画像すなわち擬似ターゲットをヘッド・アップ・ディスプレイなどで適宜表示する。ステップＳ８１９では、検出された実在の障害物や、ヘッド・アップ・ディスプレイに表示される擬似ターゲットを、運転者から見た視点方位へ座標変換する。そして、ステップＳ８２０では、座標変換した後の障害物や擬似ターゲットの情報から、運転者視線を向け得る、走行状況・状態に応じたサリエンシーマップを形成する。サリエンシーマップを生成する方法の詳細については、後述に譲る。

また、ステップＳ８１４では、車両が走行する時間帯や天候、日照条件、路面状況といった環境条件を取得し、ステップＳ８２０では、このような環境条件を勘案して、サリエンシーマップを生成する。

また、ステップＳ８１０では、障害物の候補となる物体に対する運転者毎の視線応答特性を個人特性ルックアップテーブルなどで参照して、運転者個人の応答特性を勘案した注視推移解析を実施する。

運転者の眼球運動は、障害物若しくはその候補となる物体に対する視線応答特性には個人差がある。このため、本実施形態では、視線応答特性など運転者の眼球運動に関する個人特性を個人特性ルックアップテーブルで管理するようにし、また、ステップＳ８１０における解析結果に基づいて運転者の個人特性を逐次学習するようにする。

最後に、ステップＳ８１１では、運転者の視線移動の方角とサリエンシーマップとの相関結果に基づいて、運転者が障害物を認知する意識レベル、すなわち運転者の障害物に対する覚醒状態をダイナミックに判定する。

ステップＳ８１１で認識される運転者の意識レベルは、車両を部分又は完全自動運転から手動運転へ、運転モードを切り替えようとしているときに、運転モードの切り替えを許可するか、又は、制限若しくは禁止するかを決定する際に用いられる。運転者が障害物を認知する意識レベルが十分高ければ、自動運転から手動運転への切り替えが許可される。一方、運転者が障害物を認知する意識レベルが低ければ、運転者はまだ手動運転に対応できず危険であることから、手動運転への切り替えが制限又は禁止される。また、運転者の意識レベルが低いときには、運転モードの切り替え時や、さらには手動運転の期間中に、車内でアラーム音を発生させる、運転者にタクタイル又は電気的な刺激を与えるなど、警告を行なうようにしてもよい。なお、緊急事態対処のため、運転者の意識状態がある程度もうろうとしている状態であっても、特殊な条件下では状況によって例えば車両を段階的に減速、徐行、停車などの自動運転への運転者介在制御が行なわれる仕組みでもよい。

図８Ａ及び図８Ｂに示したフローチャート中の定義済みの処理の幾つかについて、以下補足しておく。

ステップＳ８０４の眼球トラッキング用の取り込み枠の座標の設定処理では、動作開始直後にまず、撮像画像の全領域から頭部位置を検出できた時点で予測される眼球を包含する範囲の位置推定を行なう。そして、その眼球の推定位置に合わせて、高フレームレートで眼球をトラッキングするための取り込み枠の座標設定を行なう。運転動作が継続中に、運転者の頭部移動や眼球移動トラッキング情報のフィードバックを掛けて、移動予測をして、取り込み枠をダイナミックに可変移動して、車載カメラの視野の範囲内で取り込み枠から眼球が外れることがないようにする。なお、複数のカメラ・システムを車内に設置している場合で、隣接するカメラ・システムの視野に跨る範囲で運転者の眼球位置が移動する場合には、隣接するカメラ・システム間で運転者のトラッキングを引き継ぐようにしてもよい。

ステップＳ８０５の眼球のサッケード動作のトラッキングは、図４や図５に示したような積層イメージ・センサーを用いて実施することを想定しており、取り込み枠という狭い範囲の必要な階調の部分画像データを、画素領域の下層に積層された信号処理ＩＣへ、選択的に伝送して高速にトラッキングすることが可能である。画素領域の取り込み枠と積層下層の信号処理ＩＣは直結され、配線ループを形成する必要がないことから、伝送路のインピーダンス不整合や寄生容量といった要因を最小限に抑えることができ、負荷が減ることで負荷駆動に比例する電磁輻射の影響を抑制することが可能であり、さらには駆動対象を低容量化して消費エネルギーも低減することができるので、ＥＭＩ（Ｅｌｅｃｔｒｏ Ｍａｇｎｅｔｉｃ Ｉｎｔｅｒｆｅｒｅｎｃｅ）やＥＭＣ（Ｅｌｅｃｔｒｏ Ｍａｇｎｅｔｉｃ Ｃｏｍｐａｔｉｂｉｌｉｔｙ）特性を大幅に向上させることができる。

図９には、ステップＳ８０５において、イメージ・センサーの画素領域の一部の取り込み枠から、高フレームレートで眼球のサッケード動作のトラッキングを行なうための処理手順をフローチャートの形式で示している。

まず、イメージ・センサーの画素領域全体から特定アドレスの高フレームレート読み出しを行なう取り込み枠のアドレス及びサイズを設定する（ステップＳ９０１）。

そして、画素領域において、蓄積セルのリセット（ステップＳ９０２）、光電変換信号の蓄積（ステップＳ９０３）、画素信号の増幅及び読み出し（ステップＳ９０４）の各処理を、繰り返し実施する。

次いで、画素領域から読み出した画素信号を、画素領域の下層に積層された信号回路領域に伝送する（ステップＳ９０５）。その際、画素信号のうち必要な階調信号のみが伝送される。また、画素領域の取り込み枠の画素信号は、図３に例示したインターフェース配線を介して、信号回路領域に直結出力され、低ノイズ化されるという点を十分理解されたい。

以降は、信号回路領域での処理となる。

まず、瞳の輪郭や参照光の反射中心といった、取り込み枠内の局所眼球部の解析と位置算出に必要な情報を抽出する（ステップＳ９０６）。

次いで、メモリー領域を利用した局所比較演算により、低いデータレートで、眼球の移動推移を解析する（ステップＳ９０７）。ここでは、メモリー領域は、信号回路領域に積層され（例えば、図５を参照のこと）、又は信号回路領域と同一の層に配置されていることを想定している。ステップＳ９０７では、サッケード、ドリフト（Ｄｒｉｆｔ）、マイクロサッケード、トレモア（Ｔｒｅｍｏｉｒ）といった特異な眼球運動に関するデータが抽出される。

そして、眼球の時系列で連続する回転すなわちサッケード動作をトラッキングする（ステップＳ９０８）。

ここで、ステップＳ８０９で得られた頭部移動推定情報を取得して、ステップＳ９０１で設定した取り込み枠の座標をシフトする必要があるか否かをチェックする（ステップＳ９０９）。

取り込み枠の座標をシフトする必要がない場合は（ステップＳ９０９のＮｏ）、取り込み枠の座標修正を行なうことなく、そのままステップＳ９０１に戻り、上記と同様の処理を繰り返す。また、取り込み枠の座標をシフトする必要がある場合は（ステップＳ９０９のＹｅｓ）、取り込み枠の移動先として最適な座標を指定してから（ステップＳ９１０）、ステップＳ９０１に戻り、上記と同様の処理を繰り返す。

ステップＳ８０９について補足すると、眼球の加速動作解析を行なうことで、眼球を補う頭部又は上半身の回転が必要か否かを予測することができる。また、それらの回転が発生すると頭部に対する相対的回転角を打ち消す回転をするため、視線解析はこれらを包含して行なう必要がある。また、覚醒レベルが低い状態で何かを見ようとするとき、心理的に確認するべきという前提がある。このため、覚醒レベルが低下している中で例えば頭部や上半身を一所懸命移動させようとして、眼球がその動作を追うような異常な特性が現れたりもする。このことから、眼球の視線解析と併せて頭部や上半身の経時的な振る舞いの特性解析は、運転者の覚醒レベルを判断する大きな手掛かりになる。眼球の動作範囲、加速特性を相補的に用いることで、運転者の状態をより正確に判定することが可能になる。

ステップＳ８１０について補足すると、車両の走行中における運転者の周辺環境に対する視線注意は、複数の要因が複雑に絡み合って決まる。つまり、走行中の前方シーンの単純な物理光学的なシーンの光エネルギーとしての視覚情報だけで注視推移を解析することはできない。

但し、大きく分ければ、運転目的に沿った走行設定ルート上を走行中に、視覚、聴覚、思考的注意に基づいて、走行前方から入る光エネルギーを捉えた視覚的な像を選択的に注視し、その解釈をするステップで、注視推移解析は構成される。最初の視線移動（サッケード動作や頭部移動による）は、誘発要因を受けた視線移動のトリガーに対するフィードバックとして発生する。走行に無関係又は注意を向ける必要のない対象物から光学的な刺激を受けただけでは、必ずしも最初の視線移動は伴わない。

光エネルギーとして取り込まれる情報は、受容細胞で信号として受けて、その信号を双極細胞へとの引き継ぎ、さらには思考を伴う神経節細胞を経由して視覚野の脳へ伝達される。運転者が受容する最初の段階の情報は、通常、周辺視野に広がるぼんやりとした情報であり、その後は時間的光強度微分が大きい対象物などの顕著度が高い方向に視線を動かし、おおよその目的に向いた状態で狭い中心窩や傍中心窩で対象物を捉えることができるようになる。とりわけ、中心窩と傍中心窩で得られる対象物の詳細像やその詳細像を獲得するまでの目の焦点合わせの遅延により、後段での知覚・認知にも状況に応じた遅延が生じる。

この一連の過程で、目の疲れや何らかの体調変動要因により、目の焦点の合焦能力の低下が一時的に起きていると、眼球の固視の際の停留時間が長くなる。特に、逐次新しい視覚情報が周辺視野に入り込んでくる中で、優先度の高い情報が急に入り込んで来なければ、その停留時間は長くなる。また、目の焦点を合焦しなくても、経験的な知見から視認対象の内容に合点（若しくは、解釈が完了）すれば、その対象物を理解するための視線の停留は無用になる。その場合、視線を固視するのではなく、遂次入力される次に優先度が高い対象物へとサッケード動作が開始する。例えば、白線などの道路の境界線は走行条件を規定する重要な情報であるが、わざわざ視線を凝らしてみる必要はなく、運転に慣れた運転者であれば通常の走行時に敢えて厳密な白線位置を固視することはない。

他方で、目の焦点機能の低下で、固視の際の眼球滞留期間が長くなっても、目の疲れや視力低下などで運転者の合焦能力を超え、時間をいくら長く掛けても合わない状況となれば、運転者は状況把握緊急度に応じてむしろ近傍探索へ早期に視線移行することで、周辺のぼやけた像のまま確証度を上げる動作へ移行することもある。固視停留からマイクロサッケードなどへの移行頻度や範囲などは、運転者に固有の経験的特性となる。つまり、運転者の固視やサッケード動作の総合的な眼球運動の振る舞いを、目的とする運転に合わせ且つ認証済み運転者毎に個別に解析することで、運転者固有の状態把握が精度良く行なわれる。

固視微動と呼ばれる眼球運動は、動作特性により、比較的大きく速いマイクロサッケード、大きくてゆっくりとしたドリフト、小さくて高周波数のトレモアの各状態に分類される。環境条件（晴天視界良好、雨天、夜間、吹雪、対向車グレア、…）、生理物理的視覚状態（目の焦点合わせが良い状態、疲れなどで合焦に時間を要する状況など）、運転者固有の意識状態（一次視野→視覚野連合→高次連合野といった要素解釈や記憶参照など神経信号の伝達に直結する脳内意識状態を反映した要素）に応じて、状態が推移する。また、高次連合野では無条件での対象物の記憶参照ではなく、目的とする旅程に関連する重要要素を探索することが運転操舵判別目的の視線移動では優先となるため、視線移動分析と並行して、旅程に応じた視線移動先ターゲットのランキングが運転者に発生する。

これら高次のファクターが状況に応じて複雑に相関し合って運転者の視線行動に繋がり、且つ、その相互の影響や重み付けは運転者固有の経験特性に依存する。このため、運転者固有の意識状態判別は、それら特徴をある程度類型的に蓄積学習して同一車両や類似環境走行時に運転者の状態判別の指標にすることが好ましい。運転者の視線特性を統計的に見れば運転者の意識状態は運転環境に応じた一定の傾向特性があるため、例えば疲労が増している傾向を捉えて休憩を促したりブレーキの制動開始特性を改善するためにこのような状態では制動装置の応答特性を早めたりすることが考えられる。しかし、それら統計的傾向から定めた閾値に基づく判定では、実際の各固有の運転者の詳細な意識レベルの判別は難しく、結果的に自動運転から手動運転への運転操舵引継ぎ判定を行なうには適さない。運転者固有の状態をより正確に把握するには、その運転者固有の特性を基に判別が必要であり、また運転環境や状況に応じて判別条件も変わってくる。つまり、運転者の意識状態を決定付ける可変値は多次元であり、相関する可変条件は必ずしも独立した直交座標変数で表現できない。相関するパラメーターがアクセル・ペダル操作、ブレーキ操作、ステアリング操作、着座姿勢、目視確認範囲、それぞれの路面状態依存性、天候依存性、自車積載状況依存性、走行道路状態や用途依存性、呼吸状態など複雑で且つ異なるパラメーター間の連動性も運転者の癖などで変わる。ここで近年盛んに応用が始まっている深層学習などの人工知能による学習方法では、学習器自体が多次元の情報を基に相関する次元に自己選択重み付けを繰り返して認識を行なうため固体別特徴の多い運転者の個人状態判別に対して有効な手法であり、また能動的に時々刻々と変化する運転者や環境変化に適合した学習方法と言える。

その上で、運転者状態の確認シーケンスとして、例えば最終判断のフィードバック・アクティブ反応を確認することが有効である。

ここで言う、運転者の状態に応じたフィードバック・アクティブ反応の例として、例えば運転者の判断能力低下が想定された場合、ヘッド・アップ・ディスプレイで可変的知的判断反応が必要なブレーキ・ペダルのソフト操作を反応応答ボタン操作、特定ジェスチャー操作の組み合わせなどが想定される。ヘッド・アップ・ディスプレイでダミーの道路標識を表示し、そこに視認される数値反応などが一例である。

運転者の走行周辺環境に対する視線注意は、運転者個人のその時々の疲労や精神状態、経験などによって、視線方角に対する注意レベルが能動的に変わる。但し、その大局的分布は経時的に穏やかな変化であり、概ね同じような走行環境、体調や精神状態であれば似た分布特性となることが期待される。この注意レベル分布曲線を複数段階のレベルに分類し、さらには中心視力のレベルを分類して、現在走行中の運転者の周辺注意状況をその運転者固有のサリエンシーマップと時系列視線移動先特徴の相関比較をすることで、運転者の注意レベルのステータスを把握することが可能となる。

運転者が一次的な睡魔に襲われるなどして、急激な変化点がある一方で、ステップＳ８０７などで前兆を捉えることも可能である。したがって、ステップＳ８１０による注視推移解析は、例えば部分又は完全自動運転から手動運転に移行する際の運転者の覚醒復帰状態判断として有効である。

とりわけ、運転者の知能的判断に基づいた運転継続をする際に、思考神経回路を伝達して状況の判断が不可欠である。一次視野→視覚野連合→高次連合野といった要素解釈や記憶参照など神経信号の伝達に直結する脳内意識状態を反映した要素の分析に色濃く影響が現れるのは、運転者が視線を向けた対象物の状況解釈である。通常、対象理解は中心視野で行なわれるため、運転者の覚醒状態は固視の際のダイナミックな振る舞いに大いに反映される。従来、運転者のこれら特徴的な細やかな動きは運転者状態の解析的用途で一部製品化されているが、運転者の長期にわたる振る舞いを非装着型の装置で運転者が意識せずに累計して分析するものは存在しなかった。これに対し、本明細書で開示する技術によれば、フリースタイルの状態で広範囲に移動する運転者の高速で微小な眼球の振る舞いを捕捉することができるととともに、微小な眼球の振る舞いと運転状況や環境相関を機械学習により運転者固有の特性として把握し、眼球の振る舞いと特性とを比較できるようになることで、時々刻々変化する運転環境でも運転者覚醒状態を精度よく把握することが可能となる。

以上をまとめると、ステップＳ８１０では、固視停留期間、マイクロサッケードの発生量と探索範囲解析など運転者固有特性を詳細に解析し、その運転者特有の累積学習特性と逐次発生する運転者の直近の視線解析から、運転者の状態を推測することが可能となる。

中心視野に対する視覚野の注意レベルの分布とは別に、意識的又は無意識的のいずれにせよ、眼球単独の注意レベル分布の狭まりを補うために、周辺視線移動を適度に繰り返して知覚喪失を低減することも行なわれる。加齢に伴う周辺視野の注意レベルの低下や疲労時の注意レベルの低下がある場合、例えば右左折時の歩行者巻き込み事故を低減するには、積極的な視線移動が有効である。サリエンシーマップで顕著性の高い対象物を追うように眼球が視線移動前の周辺視野方向へのサッケード動作を行なう頻度と固視停留期間の相関から、周辺視野の注意レベル低下を補うサッケード動作であるかどうかを検知することができる。

さらに、注意が必要な対象物に振り向いてから実際の詳細理解のための固視、いわゆる停留期間で脳内知覚野判断が進行し（例えば、歩行者の影を周辺視野で捉え、サッケード動作で眼球が回転振り向き、固視の過程で目が合焦して歩行者の表情観察や姿勢などから歩行者が自車の進路へ侵入するか立ち止まろうとしているかなどを詳細判断する）、視覚野を通じて状況の確証がある程度得られると、視線を周辺視野におぼろげに感じ取る他の注意対象の探索スイープ動作へと移る。優先して確認すべき対象物が他にあれば、サリエンシーマップで顕著性が高い方向へ適宜視線を移動させて状況の確認を進める。このような順次確認すべき対象物の分布こそが、本実施形態において運転者の注視推移解析に用いるサリエンシーマップである。

つまり、本実施形態において使用するのは、運転者が確率的に何を見る可能性が高いかを示した運転者視線方向のマップである。ステップＳ８２０では、純粋な運転者視線画像の汎用的なサリエンシーマップに、運転操作で重要となる自車進路での障害発生確率を重み付け加算したマップにすることが有効である。ステップＳ８２０の詳細については、後述に譲る。

運転者の視線移動、すなわち運転者が状況判断を終えて次の対象物へ視線を移動させるか否かは、運転者の視線から見た外界の顕著性に影響される。

運転者は、走行中の車両進路方向とその周辺の路面を含む対象物を、同時並行的に判断する必要がある。運転者は、複合的に現れるさまざまな環境シーンにおいて、重要度、認知・理解度に応じて適宜順を追って車両進路方向とその周辺を見渡しながら、走行作業を継続する。運転者は、環境条件などの走行状況や、自分の状態（生理物理的視覚状態、運転者固有の意識状態）に応じて、サッケード動作、マイクロサッケード動作、ドリフト、トレモアといった特異な眼球運動をする。

固視停留期間、マイクロサッケードの期間は、他方で認知しようとする対象依存性を伴うため、サリエンシーマップ上に顕著性が高めに出る対象物の分類と相関をとることで、より正確に運転者の状態（覚醒度レベル）を判定することが可能となる。その際、認識距離や外部環境も変動要因ファクターとなる。例えば、高速道路出口標識は、出る目的がなければ流し目程度となるが、右左折禁止標識や時間帯制限の道路標識であれば時間帯の認知解釈を終える必要があるので長めとなる。また、交差点の優先道路側なら左右確認は必ずしも認知解釈しないが、その逆なら左右確認を一定範囲行なう。また、遠方にある信号機の緑矢印などは、単なる赤信号に比べ眼球を固視して時間的に長めの時間を眺める傾向があるが、視力が極めて良好な運転者であれば敢えて固視する必要がなくその間の差異は顕著でない。

ステップＳ８１１について補足すると、サリエンシーマップは、環境条件（市街地、高速道路、夜間、雨天、吹雪など）に応じて重点的に視線を向ける注意対象に重み付けして作成する。また、途中で環境条件が変化したときには、重み付け特性を更新する。市街地、とりわけ渋滞中の左右割り込みやすり抜けバイクへの注意やスクールゾーン走行時は左右を広範囲に確認する視線動作が行なわれる。市街地の中でも通常専用横断歩道により歩行者の飛び出しがあまり想定されない環境では、短中距離前方や信号機などへの視線振分け率が高くなる。また、市街地専用道との道路分岐や進入がない走行プランルートなら、主に中遠方に高い分視線分布を示す。また、悪天候で視野が良くない環境での走行や雨天での走行の際、運転者は前方へ注意を集中させる傾向が強まることから、周辺への視線移動は少なく、中距離範囲への視線探索が多くなる。但し、同じ環境下であっても例えば同じ運転者の過去のインシデントや事故経験に基づき、特定の状況に対してより敏感に反応し、注意対象への固視頻度が高くなることがある。また、同じ雨天時でも、タクシーなどの職業運転者はとりわけ空車時に路肩歩行者の振る舞いを間欠的に確認する動作が起こるなど、同じ環境条件でも運転者のニーズ状態に応じて特徴的振る舞いが異なる。これらの複数の運転旅程の度に運転者固有特性蓄積学習しておき、その学習された特徴とルックアップテーブルなどを用いて比較し、現状の運転者状態推移が可能となる。

ステップＳ８１２で実施される個人認証について補足する。運転者の視線挙動特性に大きな個人差があることから、ステップＳ８１０における運転者の注視推移解析は、運転者を固体特定し、個人応答特性を勘案して実施される。固体特定のためには個人認証は望ましいシステムであるが、必ずしも運転者の顔や目・虹彩認証などから生体情報を取得するような生体認証である必要はなく、特定個人コード、指紋認証、音声認証、静脈認証などでもよく、特定の認証方法には限定されない。

ステップＳ８１３で実施される運転者状態の取得方法について補足する。運転者の状態判定に適用できるセンサーや情報解析方法について、本出願時において既に数多く提案されている。例えば、運転者のブレーキやアクセル・ペダルの操作の仕方、頻度、踏み加減、ステアリング・ハンドルの操作安定性、接触型又は非接触型の心拍数解析、並びに心拍数に基づく精神状態分析、アルコール摂取量分析器、体臭解析による疲労分析、脳波分析、心電図、体温や体温分布、運転中の姿勢解析、呼吸解析、音波又は音声やハプティックス系振動に対するアクティブ応答性反応などを利用して運転者状態を取得することができる。これらのうち２以上の方法を併用して、運転者の状態分析値を補間するのに利用することにより、運転者の状態を高い精度で認識することがさらに可能となる。

ステップＳ８１４で取得する環境条件について補足する。運転者は、昼間に整った車両専用車線を走行している間は、比較的リラックスした状態で走行（運転操舵）が可能である。他方で、例えば街灯の暗い夜間の走行で、人や動物など前方視界以外から不意な障害物が侵入するおそれがある環境や、視界が妨げられた雨天や霧、雪の中の走行、逆光を浴びながらの走行、凍結路面でリスクがある道路、橋の上、トンネルの中、横風の強い走行環境、野生動物注意道路標識が設置された道路、不慣れな道路での走行、事故多発地点での走行など、環境ファクターにより運転者の周辺環境に対する注意度は大きくなってくる。そのため、周辺環境の確認頻度や確認のための視線移動の範囲など、上記の環境ファクターを考慮することにより、運転者の動的状態をより高精度に分析することができるようになる。

ステップＳ８１６で実施する処理について補足する。ステップＳ８１６では、ミリ波レーダーやＬＩＤＡＲといったセンサー、ステレオカメラ又は単眼カメラなどの車載カメラを始めとする各種周辺環境センシングで取得可能な情報を取得し、検出した障害物などの対象物のラベリングとその位置など、統合的に方角、距離、（相対距離・相対速度・相対加速度）に変換してマップ生成処理を行なう。そして、ステップＳ８１９では、運転者視点に座標変換を行なうことで、検出した各障害物が運転者にとってどのような方角や速度であるかを示すデータをダイナミックに生成する。

ステップＳ８１７で実施する、走行進路上の障害物の分離処理について補足する。走行方向の路面を投影した俯瞰データから、車両が進む予定の進捗ルート上にあり、そのまま継続して前進走行した際に自車にとって走行障害となるリスクが高い対象物を分離する。つまり、車両前方で検出した障害物のうち、運転者がより注意を払うことが推測される対象物を、運転者の視線移動や視線固視の頻度が高まる対象物として分離する。

ステップＳ８１８で実施する、擬似ターゲットの表示処理について補足する。眼のサッケード動作を中心に運転者の状態認識判定を行なう際、走行中の道路とその周辺環境があまりに単調であると、運転者の視線と実環境の相関をモニタリングできる頻度が低下し、的確なタイミングで運転者の反応を高精度に調べることが容易でなくなる。そこで、仮想画像からなる擬似ターゲットを表示し、運転者が複数の擬似ターゲットに応じて適切な応答特性で正確に反応できたかどうかを試験する。例えばヘッド・アップ・ディスプレイのような非接触型視覚入力装置を用いて、擬似ターゲットを運転者に見える形で表示する。運転者の意識状態の判別が目的であるため、方角に限らず、意識的知覚活動確認を含めて例えば色や数値といった判断応答フィードバックを特徴付けて、擬似ターゲットの表示を行なうようにしてもよい。運転者の応答形態が基本的には視線のサッケード動作などの振る舞いを解析した想定の事例としているが、口頭の応答返答、口頭応答の音声解析、ジェスチャー応答の解析、ボタン操作などの運転者の認知判断に伴うアクションの解析ができれば、眼球の動作解析を必ずしも行なう必要はない。しかしながら、視線を用いるメリットは、運転者が無意識にシームレスで自然な振る舞いの中で意識状態の判別を行なえる点にある。勿論、他の方式と組み合わせることにより、さらに正確な運転者の意識状態の把握を行なうようにしてもよい。

ステップＳ８２０で実施する、走行状況に応じたサリエンシーマップの生成処理について補足する。走行中に運転者が周辺環境をどのように観察するかは走行状況によって大きく変わってくる。例えば、空いた高速道路で前方車間距離も十分確保されており、前方注意があまりに不要な状況と、夜間の市街地で歩行者がいつ飛び出してくるか分からない状況、路面が雪や凍結で滑りそうな環境やスクールゾーンなど、運転者の経験や慣れなどから視線移動は固有の特徴の基で周囲を確認しながら運転することとなる。車両の走行状況や運転者の状態に応じたサリエンシーマップは、運転者固有の特徴であり、運転者の走行履歴の情報を蓄積し、学習を通して構築される。さらには、サリエンシーマップは、環境依存、体調依存などで変化する特性であるため、環境状況に応じて運転者の走行履歴を分類して記録し、類似する走行環境の度に参照して、そのマップに対する視線の動的応答特性を時系列解析することで、運転者の注意レベルを逆算出し、類推をする。

ステップＳ８２１で実施される検出対象外処理は、画像処理装置７００の用途や利用状況によって異なる。例えば完全自動運転中の車両の運転者の覚醒状態のダイナミック・モニタリングなどで、運転者の覚醒状態への復帰能力の時系列管理に用いる場合には、復帰能力判別で能力不足の場合には安全な徐行走行、待避停止への移行や停車シーケンスへ移行することが想定される。また、例えばＣＭＳなどの運転者の視線モニタリング用途など、運転者の状態推移をモニタリングすることがクリティカルな判断に直結しない場合には、適宜アラーム音や警告を提示するようにしてもよい。また、自動運転の普及で、運転者が運転席の定姿勢状態ではなくフリースタイルの状態で車内の広範囲で移動する場合には、１つのカメラ・システムでは運転者を捕捉しきれないことが想定されるので、複数のカメラ・システムを車内に設置して隣接するカメラ・システム間で運転者のトラッキングを引き継ぐという利用形態も考えられる。

図１０Ａ及び図１０Ｂには、運転者の振る舞いと同時並行して実施される運転者の視線解析、注意状態（覚醒度レベル）把握、サリエンシーマップ生成、各種センサー（運転者状態パラメーター）入力の各処理についてまとめている。

車両が前方を向いて直進走行し、運転者の状況を観測しているときに、運転者の周辺視野へ高い顕著性の事項が発現する（ステップＳ１００１）。すると、運転者は、周辺視野からの刺激を受けて、運転者にとって重要に関連する方角を検知して（ステップＳ１００２）、眼球のサッケード動作が開始する（ステップＳ１００３）。

ここで、眼球のサッケード動作による小刻みな回転では視線回転角が足りなくて対象物を捕捉できないときには、運転者は頭部回転、上半身回転を続けて行なう（ステップＳ１００４）。なお、運転者の周辺環境認知は視覚的情報のみに頼っているのではなく、例えば聴覚、振動、匂いや救急車両などが発するフラッシュライトの光の点滅といった他の感覚も判断の一要因としている。そして、周辺視野には入っていない後方からの衝撃音や折衝や追突音、一瞬のフラッシュライト点滅などを察知したらまずは頭部や体勢変更してそれを追う形で眼球移動が後追いとなるケースも発生し得るので、眼球のサッケード回転が必ずしも最初の振り向き動作のトリガーとなる訳ではない。

そして、運転者が頭部や上半身を回転した場合、視線を目的とする方角に保つために、眼球を補正回転させる（ステップＳ１００５）。すなわち、一旦頭部に対して眼球を大きく回転し、頭部に対する行き過ぎ回転を打ち消すようにする。頭部装着型の視線検出装置では頭部に対する相対的眼球運動解析のためにこの打ち消しの補正処理が必要となるが、フリースタイル状態の運転者の検出では車両に固定された座標空間を基準の眼球運動の計測が行なわれので、状況に応じて検出の際に適宜補正する程度でもよい。

上記のようにして対象物の捕捉が終わるのと合わせて、固視による詳細観察に入り、同時に合焦して中心視野での詳細観察に進む（ステップＳ１００６）。

上記のシーケンスで、固視と詳細観察の作業で、実際に対象物を観察する際に、物理的な視線方向と脳内の認知空間は必ずしも一致しない（ステップＳ１００７）。

詳細に言うと、固視の際の眼球の物理的方角は、いわゆるマイクロサッケード動作やドリフト、トレモアといった可変的な振る舞いをする（ステップＳ１００８）。

通常、運転者が読書のときのように１つの事項の詳細解釈を目指していない場合には、固視の際に眼球の停留期間はわずかであり、マイクロサッケード動作やドリフト、トレモアを複合的に繰り返し起こすほどではなく、次の対象物を探索する大きなサッケード動作へ移行して（ステップＳ１００９）、次の対象物への視線の移動を開始する（ステップＳ１０１０）。

運転者の眼球がサッケード動作を開始したこと（ステップＳ１００３）に同期して、運転者の視線解析処理として、眼球のサッケード動作のトラッキングが行なわれる（ステップＳ１０１１）。そして、眼球のサッケード動作のトラッキング結果に基づいて、運転者の注意状態の把握処理として、視線移動先のターゲットを推定する（ステップＳ１０２１）。

また、運転者の眼球の補正回転（ステップＳ１００５）に同期して、運転者の視線解析処理として、眼球のサッケード回転と頭部又は上半身の回転解析から運転者の実空間視線方角を換算してから（ステップＳ１０１２）、眼球の主移動サッケードの目標視線方角解析の結果とサリエンシーマップの相関を比較する（ステップＳ１０１３）。運転者の物理的な視線方角と脳内の認知空間は必ずしも完全一致しないが（ステップＳ１００７）、人の脳内の知覚状態は直接計測できないので、運転者の視線解析処理としては、実際には次の工程の観察へ移行する（ステップＳ１０１４）。

そして、運転者の注意状態の把握処理として、最寄り顕著性極大値との距離計測などによりサリエンシーマップ上に配置された対象物と視線移動ターゲット先との一致度を判定して（ステップＳ１０２２）、直近の一定期間（分単位）累計の一致度を計算する（ステップＳ１０２３）。ここで、運転者の走行時の環境に応じた注意レベル視線方角依存グラフの個人特性を学習する（ステップＳ１０２４）。なお、近年睡眠時無呼吸症候群と呼ばれる疾患により覚醒状態であっても急激な睡魔に襲われ、急激に覚醒が落ちる症状が報告されている。このため、前後推移の観測で完結的に意識状態が低下する状況を経過観測することも重要である。一定期間とする上記定期観測の頻度や間隔は運転者特性に合わせて行なうことが望ましい。

運転者の眼球は固視の際にマイクロサッケード、ドリフト、トレモアといった特異な動作をするが（ステップＳ１００８）、運転者の視線解析処理としては、眼球の主移動サッケードに続くマイクロサッケード、ドリフト、トレモアなどの動的な変化、範囲、方角の特徴を解析する（ステップＳ１０１５）。

また、運転者の注意状態の把握処理として、固視の対象物の観察との相関特徴を解析するとともに、運転者がより注意を払うことが推測される対象物を分類する（ステップＳ１０２５）。ここで、運転者の特定の対象物に応じたマイクロサッケード、ドリフト、及びトレモアの特徴を分析するとともに個人特性として学習する（ステップＳ１０２６）。

サリエンシーマップ生成処理として、継続的な走行中に車両の全方向の阻害情報を、車両に搭載された各センサーから収集し統合して、運転者視点方角のマップを前段で生成する（ステップＳ１０３１）。

そして、ミリ波レーダーやＬＩＤＡＲなどの各センサーから継続的な車両の全方向の阻害情報（障害物の方角及び相対距離）を入力して（ステップＳ１０４１）、サリエンシーマップ生成処理として、歩行者、信号機、道路標識、路上の落下物、先方走行車、前方割り込み車両などの障害物の視覚刺激顕著性の方角マップを生成する（ステップＳ１０３２）。そして、車両の進行に応じて、常に新しいサリエンシーマップに更新する（ステップＳ１０３３）。

また、サリエンシーマップ生成の際に、画像解析から機械的に得たサリエンシーマップに対して走行状況や状態に応じて分布重み付けを行なう。また、途中で環境条件（昼、夜間、雨天、高速走行時、疲労時）が変化したときには（ステップＳ１０４２）、環境条件に応じた運転者固有の重み付け特性を更新する（ステップＳ１０３４）。

また、サリエンシーマップ生成処理では、運転者の覚醒度をより有効にモニタリングするために、運転者の視点方角にダミーの仮想障害物の画像すなわち擬似ターゲットをヘッド・アップ・ディスプレイなどで適宜表示して、擬似ターゲットに対する視線応答特性を見て判別する（ステップＳ１０３５）。走行中の道路とその周辺環境があまりに単調であると、運転者の視線と実環境の相関をモニタリングできる頻度が低下し、的確なタイミングで運転者の反応を高精度に調べることが容易でなくなるからである。運転者の状態認識に運転者視線解析を主に説明しているが、運転者の思考判断応答結果と組み合わせ判定を行なってもよい。例えば車室内での音声案内に対する試行結果判断を運転者の発声応答として検出をする手法や、ヘッド・アップ・ディスプレイへ表示した特定パターンを音声解析に沿って視線移動させる手法や、モールス信号などを模した特定パターンのボタン押し操作反応など検出結果に運転者の思考シーケンスを経て得られるアクティブでシームレスな手法が運転者覚醒状態判別に有効で堅牢な方法である。

また、サリエンシーマップ生成処理では、運転者の視線探索特性に基づいて、視線停留・固視特性の傾向の学習を累計的に実施し、走行環境と運転者状態に応じて分類し、重み付け特性を更新する（ステップＳ１０３６）。

また、サリエンシーマップ生成処理では、運転の阻害などの要因となる状況を認知した結果から、実際の制動、ステアリング回避動作までの遅延特性の学習と遅延特性の更新を行なう（ステップＳ１０３７）。ここで言う運転阻害要因の状況認知は、実際には、高確率で障害物となり得るサリエンシーマップ上の対象物への視線固視又は停留の有無を認知することである。

運転者は、周辺環境認知シーケンスで、知覚野で危険状態を認知したり応答必要性を認知したりすると、危険に対する回避又は対策行動に移行する（ステップＳ１０１６）。このような行動は、ブレーキやアクセルなどのペダル、ハンドル、スイッチの操作や、発される音声、ジェスチャー検出、その他のセンサーによって検出することができる（ステップＳ１０４３）。

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書で開示する技術は、自動車（ガソリン車及びディーゼル車を含む）、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナル・モビリティーなどさまざまな車両、さらには道路を走行する車両以外の形態の移動体に適用して、運転者の眼球のサッケード動作のトラッキングに基づいて運転者の覚醒度を取得することができる。勿論、移動体の運転者に限定されず、さまざまな作業を実施している人間の覚醒度を取得するために、同様に本明細書で開示する技術を利用することができる。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）車両の運転者の画像を第１のフレームレートで取得する第１の画像取得部と、
前記画像のうち前記運転者の眼を含む領域を決定する領域決定部と、
前記領域の画像を前記第１のフレームレートよりも高い第２のフレームレートで取得する第２の画像取得部と、
を具備する画像処理装置。
（１−１）前記第１の画像取得部は、前記車両に搭載されたカメラで前記運転者の頭部アイリプスを含む広範囲を撮像した画像を取得する、
上記（１）に記載の画像処理装置。
（２）前記第２のフレームレートで取得する前記領域を画像処理して、前記運転者の意識レベルを認識又は判別する処理部をさらに備える、
上記（１）に記載の画像処理装置。
（３）前記処理部により認識又は判別された前記運転者の意識レベルに応じて、前記車両の運転モードの切り替えを制御する制御部をさらに備える、
上記（２）に記載の画像処理装置。
（４）前記制御部は、前記運転者の意識レベルが所定以下であれば、前記車両の自動運転から手動運転への切り替えを制限又は禁止する、
上記（３）に記載の画像処理装置。
（５）前記運転者の意識レベルが所定以下のときに警告を行なう警告部をさらに備える、
上記（２）に記載の画像処理装置。
（６）前記領域決定部は、前記運転者の頭部又は上半身の回転又は移動に応じて前記領域の位置を補正する、
上記（１）に記載の画像処理装置。
（７）前記処理部は、前記領域内の画像に基づいて、前記運転者の眼球運動をトラッキングした結果に基づいて、前記運転者の意識レベルを認識又は判別する、
上記（２）に記載の画像処理装置。
（８）前記処理部は、前記運転者の眼球のサッケード、ドリフト、マイクロサッケード、又はトレモアのうち少なくとも１つの動作をトラッキングする、
上記（２）に記載の画像処理装置。
（９）前記処理部は、前記運転者の眼球運動とサリエンシーマップとの比較結果に基づいて前記運転者の意識レベルを認識又は判別する、
上記（７）又は（８）のいずれかに記載の画像処理装置。
（１０）前記運転者の状態又は前記車両の走行状況に応じたサリエンシーマップを生成するサリエンシーマップ生成部をさらに備え、
前記処理部は、前記サリエンシーマップ生成部が生成した前記サリエンシーマップを用いて前記運転者の意識レベルを認識又は判別する、
上記（９）に記載の画像処理装置。
（１１）前記サリエンシーマップ生成部は、前記車両の周辺で検出される障害物の情報に基づいて前記サリエンシーマップを生成する、
上記（１０）に記載の画像処理装置。
（１２）仮想的な障害物を擬似的にヘッド・アップ・ディスプレイに表示する表示部をさらに備え、
前記サリエンシーマップ生成部は、前記表示部が表示する仮想的な障害物の情報をさらに加えて前記サリエンシーマップを生成する、
上記（１１）に記載の画像処理装置。
（１３）前記運転者の眼球運動の個人特性を学習する学習部をさらに備える、
上記（７）に記載の画像処理装置。
（１４）前記処理部は、前記個人特性を適用して、前記運転者の意識レベルを認識又は判別する、
上記（１３）に記載の画像処理装置。
（１５）前記処理部は、前記運転者の利き目を判定して、前記領域に含まれる少なくとも利き目の画像に基づいて、前記運転者の意識レベルを認識又は判別する、
上記（７）に記載の画像処理装置。
（１６）車両の運転者の画像を第１のフレームレートで取得する第１の画像取得ステップと、
前記画像のうち前記運転者の眼を含む領域を決定する領域決定ステップと、
前記領域の画像を前記第１のフレームレートよりも高い第２のフレームレートで取得する第２の画像取得ステップと、
を有する画像処理方法。
（１７）運転者を撮像する撮像部と、
前記運転者を撮像する画像を第１のフレームレートで取得する第１の画像取得部と、
前記画像のうち前記運転者の眼を含む領域を決定する領域決定部と、
前記領域の画像を前記第１のフレームレートよりも高い第２のフレームレートで取得する第２の画像取得部と、
前記第２のフレームレートで取得する前記領域を画像処理して、前記運転者の意識レベルを認識又は判別する処理部と、
前記処理部により認識又は判別された前記運転者の意識レベルに応じて、運転モードの切り替えを制御する制御部と、
を具備する移動体。
（１８）前記撮像部は、第１半導体基板、第２半導体基板、第３半導体基板からなる３枚の半導体基板を積層して構成され、
前記第１半導体基板には、画素が形成され、
前記第２半導体基板には、前記画像を記憶する記憶部が形成され、
前記第３半導体基板には、前記第１の画像取得部、前記第２の画像取得部、前記領域決定部、前記処理部、前記制御部のうち少なくとも１つが形成されている、上記（１７）に記載の移動体。

１００…車載カメラ
２０１…撮像素子、２０２…画像認識処理ＩＣ
２０３…インターフェース配線
４００…積層イメージ・センサー、４１０…画素領域
４２０…信号処理回路領域、４２１…カメラ信号処理部
４２２…顔位置トラッキング部、４２３…眼領域検出部
４２４…高速読み出し部
５００…メモリー搭載積層イメージ・センサー、５１０…画素領域
５２０…信号処理回路領域、５３０…メモリー領域
５２１…カメラ信号処理部、５２２…顔位置トラッキング部
５２３…顔画像書き込み部
５２４…選択高速読み出し部
７００…画像処理装置、７０１…状態検出部
７０２…エリア選択指定部、７０３…眼球サッケード解析処理部
７０４…単一眼球動作解析部、７０５…方角推定部
７０６…障害物情報取得部、７０７…擬似ターゲット投影部
７０８…サリエンシーマップ生成部、７０９…覚醒度判定部
７０１…全領域、７１２…選択高速読み出しエリア

Claims (13)

1. 車両の運転者の画像を第１のフレームレートで取得する第１の画像取得部と、
   前記画像のうち前記運転者の眼を含む領域を決定する領域決定部と、
   前記領域の画像を前記第１のフレームレートよりも高い第２のフレームレートで取得する第２の画像取得部と、
   前記車両周辺の障害物の情報からの前記運転者が視線を向け得るサリエンシーマップを生成するサリエンシーマップ生成部と、
   前記第２のフレームレートで取得する前記領域内の画像に基づいて、前記運転者の眼球運動をトラッキングして、前記運転者の眼球運動と前記サリエンシーマップとの比較結果に基づいて前記運転者の意識レベルを認識又は判別する処理部と、
   を具備する画像処理装置。
2. 前記処理部により認識又は判別された前記運転者の意識レベルに応じて、前記車両の運転モードの切り替えを制御する制御部をさらに備える、
   請求項１に記載の画像処理装置。
3. 前記制御部は、前記運転者の意識レベルが所定以下であれば、前記車両の自動運転から手動運転への切り替えを制限又は禁止する、
   請求項２に記載の画像処理装置。
4. 前記運転者の意識レベルが所定以下のときに警告を行なう警告部をさらに備える、
   請求項１に記載の画像処理装置。
5. 前記領域決定部は、前記運転者の頭部又は上半身の回転又は移動に応じて前記領域の位置を補正する、
   請求項１に記載の画像処理装置。
6. 前記処理部は、前記運転者の眼球のサッケード、ドリフト、マイクロサッケード、又はトレモアのうち少なくとも１つの動作をトラッキングする、
   請求項１に記載の画像処理装置。
7. 仮想的な障害物を擬似的にヘッド・アップ・ディスプレイに表示する表示部をさらに備え、
   前記サリエンシーマップ生成部は、前記表示部が表示する仮想的な障害物の情報をさらに加えて前記サリエンシーマップを生成する、
   請求項１に記載の画像処理装置。
8. 前記運転者の眼球運動の個人特性を学習する学習部をさらに備える、
   請求項１に記載の画像処理装置。
9. 前記処理部は、前記個人特性を適用して、前記運転者の意識レベルを認識又は判別する、
   請求項８に記載の画像処理装置。
10. 前記処理部は、前記運転者の利き目を判定して、前記領域に含まれる少なくとも利き目の画像に基づいて、前記運転者の意識レベルを認識又は判別する、
    請求項１に記載の画像処理装置。
11. 車両の運転者の画像を第１のフレームレートで取得する第１の画像取得ステップと、
    前記画像のうち前記運転者の眼を含む領域を決定する領域決定ステップと、
    前記領域の画像を前記第１のフレームレートよりも高い第２のフレームレートで取得する第２の画像取得ステップと、
    前記車両周辺の障害物の情報からの前記運転者が視線を向け得るサリエンシーマップを生成するサリエンシーマップ生成ステップと、
    前記第２のフレームレートで取得する前記領域内の画像に基づいて、前記運転者の眼球運動をトラッキングして、前記運転者の眼球運動と前記サリエンシーマップとの比較結果に基づいて前記運転者の意識レベルを認識又は判別する処理ステップと、
    を有する画像処理方法。
12. 運転者を撮像する撮像部と、
    前記運転者を撮像する画像を第１のフレームレートで取得する第１の画像取得部と、
    前記画像のうち前記運転者の眼を含む領域を決定する領域決定部と、
    前記領域の画像を前記第１のフレームレートよりも高い第２のフレームレートで取得する第２の画像取得部と、
    前記車両周辺の障害物の情報からの前記運転者が視線を向け得るサリエンシーマップを生成するサリエンシーマップ生成部と、
    前記第２のフレームレートで取得する前記領域内の画像に基づいて、前記運転者の眼球運動をトラッキングして、前記運転者の眼球運動と前記サリエンシーマップとの比較結果に基づいて前記運転者の意識レベルを認識又は判別する処理部と、
    前記処理部により認識又は判別された前記運転者の意識レベルに応じて、運転モードの切り替えを制御する制御部と、
    を具備する移動体。
13. 前記撮像部は、第１半導体基板、第２半導体基板、第３半導体基板からなる３枚の半導体基板を積層して構成され、
    前記第１半導体基板には、画素が形成され、
    前記第２半導体基板には、前記画像を記憶する記憶部が形成され、
    前記第３半導体基板には、前記第１の画像取得部、前記第２の画像取得部、前記領域決定部、前記処理部、前記制御部のうち少なくとも１つが形成されている、請求項１２に記載の移動体。

Images