WO2016024444A1

WO2016024444A1 - 信号処理装置と信号処理方法およびモニタリングシステム

Info

Publication number: WO2016024444A1
Application number: PCT/JP2015/068026
Authority: WO
Inventors: 英史大場
Original assignee: ソニー株式会社
Priority date: 2014-08-12
Filing date: 2015-06-23
Publication date: 2016-02-18
Also published as: US20170166131A1; EP3166311B1; CN106537905A; EP3166311A4; US10632917B2; JPWO2016024444A1; EP3166311A1; JP6686886B2; CN106537905B

Abstract

　表示制御部２０は、周辺領域撮像部１１で車両の周辺領域を撮像して得られた画像から車両の運転者ＤＲに提示する画像領域を、運転状況検出センサ１３で取得された車両の運転状況に関する運行情報に基づき設定して、運転者ＤＲがミラー５５を介して表示部５０で提示された画像によって視認できる周辺領域の視認範囲を、運転状況に応じて制御する。このため、例えばキャビンの向きと牽引トレーラ部の向きが異なる状況を生じる運転状況であるとき、キャビンの向きと牽引トレーラ部の向きが相違しても牽引トレーラ部の外側が視認範囲に含まれるように提示する画像領域を設定されて、車両の所望の周辺領域を容易に視認できるようになる。

Description

信号処理装置と信号処理方法およびモニタリングシステム

　この技術は、信号処理装置と信号処理方法およびモニタリングシステムに関し、車両の周辺領域等を容易に視認できるようにする。

　近年、撮像装置と表示装置により構成されたモニタリングシステムによって、車両のバックミラーに相当する機能を実現することが行われている。バックミラーを用いた視認方法では、運転者が頭部や眼の位置等（以下、単に「頭部位置」という）を移動させることで視認可能な範囲（以下「視認範囲」という）を移動させることが可能である。しかし、撮像装置で取り込んだ画像を単に表示装置に表示するモニタリングシステムでは、視認範囲が固定されてしまい、運転者が頭部位置を移動させも視認可能な範囲を移動させることができない。このため、特許文献１では、運転者の頭部位置の変化を検出して、周辺領域撮像画像から頭部位置の変化に応じて画像の切り出しを行い、切り出した画像を表示装置に表示することで、視認範囲を頭部位置の変化に応じて移動させることが開示されている。

特開２０１０－１７９８５０号公報

　ところで、車両の周辺領域等を視認する場合、車両の運行状況例えばトレーラ等のキャビンと牽引トレーラ部の位置関係によっては、キャビンに設けられたバックミラーに牽引トレーラ部が多く映り込んで、または映り込む周辺領域が牽引トレーラ部から離れて、牽引トレーラ部の近傍の周辺領域を視認することが困難となる場合がある。

　そこで、この技術では、車両の周辺領域を容易に視認できる信号処理装置と信号処理方法およびモニタリングシステムを提供することを目的とする。

　この技術の第１の側面は、車両の周辺領域を撮像して得られた画像から前記車両の運転者に提示する画像領域を、前記車両の運転状況に関する運行情報に基づき設定して、前記運転者が提示された画像によって視認できる前記周辺領域の視認範囲を前記運転状況に応じて制御する表示制御部を備えた信号処理装置にある。

　この技術では、車両の周辺領域を撮像して得られた画像、例えば車両に設けられた撮像部または車両の進行方向に異なる複数の位置に設けられた複数の撮像部で撮像された周辺領域の画像が取得される。また、例えば車両の車速情報，ステアリング状態を示す情報，ギヤ位置情報，方向指示器設定状態，車両がキャビンに牽引トレーラ部が連結された構成である場合におけるキャビンに対する牽引トレーラ部の曲がり角，牽引トレーラ部の接続状態を示す情報，現在位置情報の少なくとも何れかが、車両の運転状況に関する運行情報として取得される。この運行情報に基づき、車両の周辺領域を撮像して得られた画像または複数の位置から撮像された画像における１または複数の画像から車両の運転者に提示する画像領域が設定されて、運転者が提示された画像によって視認できる周辺領域の視認範囲が運転状況に応じて制御される。例えば、車両の進行方向に関した運行情報に基づき、車両の外側方向に視認範囲が制御される。また、車両がキャビンに牽引トレーラ部を連結した構成とされている場合、例えばキャビンと牽引トレーラ部のそれぞれの位置から車両の周辺領域が撮像されて、運行情報に基づきキャビンの向きと牽引トレーラ部の向きが異なる状況を生じる運転状況であるとき、キャビンの向きと牽引トレーラ部の向きが相違しても牽引トレーラ部の外側が視認範囲に含まれるように複数の位置から撮像された画像における１または複数の画像から運行情報に基づき提示する画像領域が設定される。

　この技術の第２の側面は、運転状況検出部で取得された車両の運転状況に関する運行情報に基づき、撮像部で前記車両の周辺領域を撮像して得られた画像から前記車両の運転者に提示する画像領域を表示制御部で設定して、前記運転者が提示された画像によって視認できる前記周辺領域の視認範囲を前記運転状況に応じて制御する工程を含む信号処理方法にある。

　この技術の第３の側面は、車両の周辺領域を撮像する撮像部と、前記車両の運転状況に関する運行情報の運行情報を取得する運転状況検出部と、前記撮像部で得られた画像から前記車両の運転者に提示する画像領域を、前記運転状況検出部で取得された前記運行情報に基づき設定して、前記運転者が提示された画像によって視認できる前記周辺領域の視認範囲を前記運転状況に応じて制御する表示制御部とを備えるモニタリングシステムにある。

　この技術によれば、車両の周辺領域を撮像して得られた画像から車両の運転者に提示する画像領域が、車両の運転状況に関する運行情報に基づき設定されて、運転者が提示された画像によって視認できる周辺領域の視認範囲が運転状況に応じて制御される。このように、運転状況に応じて運転者が視認できる周辺領域の視認範囲が制御されるため、車両の周辺領域を容易に視認できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

第１の実施の形態の構成を例示した図である。運転者と表示部とミラー部の位置関係を例示した図である。周辺領域撮像部の撮像範囲を説明するための図である。ミラー部と表示部および従来のバックミラーの関係を示した図である。焦点の切り替えと応答時間の関係を模式化して示した図である。第１の実施の形態の動作を説明するための図である。ミラー部が湾曲部分を有している場合を例示した図である。第２の実施の形態の構成を例示した図である。運転者と表示部とミラー部の位置関係を例示した図である。表示制御部の構成を示す図である。第２の実施の形態の動作を説明するための図である。表示制御部の動作を示すフローチャートである。表示制御部の第１の表示制御動作を説明するための図である。表示制御部の第２の表示制御動作を説明するための図である。表示部の表示と圧縮率および周辺領域との関係を示している。第３の実施の形態の構成を例示した図である。周辺領域撮像部の配置を例示した図である。表示制御部の構成を示す図である。表示制御部の動作を示すフローチャートである。視認範囲のモードを例示した図である。運転状況判別結果と視認範囲のモードとの関係を例示した図である。表示部で表示される表示画像を例示した図である。表示部で表示される他の表示画像を例示した図である。表示部で表示される他の表示画像を例示した図である。運転者が周辺領域の状況を把握する場合の動作を例示したフローチャートである。第４の実施の形態の構成を例示した図である。表示制御部の構成を示す図である。表示制御部の動作を示すフローチャートである。振り向きと視認範囲変更指示の動作を例示した図である。振り向き判定と視認範囲変更指示の判定動作を例示した図である。操作指示動作量として頭部の回転動作の加速度を用いる場合を例示した図である。警告表示を行う場合の表示制御部の構成を例示している。周辺領域撮像部の配置と表示部で表示される周辺画像を例示した図である。頭部を前後方向に移動した場合の周辺領域画像の切り替えを説明するための図である。頭部を左方向に移動した場合の周辺領域画像の切り替えを説明するための図である。１台の周辺領域撮像部を用いてルームミラーに相当する機能を実現する場合の構成を例示した図である。複数台の周辺領域撮像部を用いてルームミラーに相当する機能を実現する場合の構成を例示した図である。ルームミラーよりも死角を少なくした場合の構成を例示した図である。画像の結合位置の切り替えを説明するための図である。

　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。

　１．第１の実施の形態
　　　１－１．第１の実施の形態の構成
　　　１－２．第１の実施の形態の動作
　　　１－３．第１の実施の形態の他の構成と動作
　２．第２の実施の形態
　　　２－１．第２の実施の形態の構成
　　　２－２．第２の実施の形態の動作
　３．第３の実施の形態
　　３－１．第３の実施の形態の構成
　　３－２．第３の実施の形態の動作
　４．第４の実施の形態
　　４－１．第４の実施の形態の構成
　　４－２．第４の実施の形態の動作
　５．他の実施の形態
　＜１．第１の実施の形態＞
　［１－１．第１の実施の形態の構成］
　図１は第１の実施の形態の構成を例示している。表示装置１０は、周辺領域撮像部１１、表示部５０、ミラー部５５を備えている。また、図２は、運転者と表示部とミラー部の位置関係を例示した図である。

　周辺領域撮像部１１は、車両周辺の周辺領域を撮像して画像信号を表示部５０に出力する。図３は、周辺領域撮像部の撮像範囲を説明するための図である。例えば、バックミラー９１を用いた場合に運転者ＤＲが頭部位置（眼の位置）ＰＳ１で周辺領域における領域ＡＲｂ１の範囲を視認できるとする。なお、以下の説明では胴部位置や眼の位置を単に頭部位置として記載する。

　運転者ＤＲが頭部位置を移動して位置ＰＳ２で周辺領域における領域ＡＲｂ２の範囲を視認できるとする。周辺領域撮像部１１は、例えば領域ＡＲｂ１と領域ＡＲｂ２を含む領域ＡＲｃの範囲を撮像して画像信号を生成する。このように、撮像範囲を設定すれば、周辺領域撮像部１１はバックミラー９１を用いた場合に視認可能な周辺領域を撮像した画像信号を生成できる。なお、周辺領域撮像部１１の撮像範囲は、領域ＡＲｂ１と領域ＡＲｂ２を含む領域ＡＲｃの範囲に限らず例えば領域ＡＲｃよりも広画角の範囲としてもよい。以下、周辺領域撮像部１１で撮像される領域を撮像対象周辺領域とする。

　表示部５０は、運転者ＤＲがミラー部５５を介して間接的に表示面を視認できるように配置されており、周辺領域撮像部１１で撮像された画像（以下「周辺領域撮像画像」という）を表示面に表示する。なお、表示部５０の表示画像において、運転者がミラー部５５を介して視認する周辺領域の範囲（以下「視認範囲」という）と対応する画像領域をモニタ画像領域とする。

　ミラー部５５は、表示部５０の表示面を運転者ＤＲが間接的に視認できるように設けられている。ミラー部５５は、車両内であって例えば運転者ＤＲが従来のバックミラーを見る動作と同等の動作を行ったとき、ミラー部５５に写った画像を視認できるように例えばピラーの近傍位置に配置されている。

　また、ミラー部５５に対して表示部５０は、ミラー部５５に映る表示部５０での周辺領域撮像画像が、従来のバックミラーに映る周辺領域と同等となるように表示サイズやミラー部５５との間隔が設定されている。さらに、表示部５０とミラー部５５は、周辺領域においてミラー部５５に映る表示部５０の画像によって運転者が視認できる視認範囲が、ミラー部５５に対する運転者の視認位置の移動に応じて変更されるように配置されている。

　図４は、ミラー部と表示部および従来のバックミラーの関係を示している。ミラー部５５の鏡面サイズと位置は、運転者ＤＲがバックミラー９１を見たときのバックミラー９１の鏡面範囲（矢印ＷＡの範囲）と略一致するように設定する。また、ミラー部５５を介して視認される表示部５０の画像領域では、バックミラー９１の鏡面に映る周辺領域の撮像画像を表示する。このようにすれば、表示部５０とミラー部５５によって従来のバックミラー９１と同様な作用効果を得ることができる。本実施例では、従来のＡピラー近傍設置のサイド（バック）ミラー（後写鏡）を例にそれと同等の視認方向とした場合に配置すべきミラー部５５位置関係で説明をしているが、フェンダーミラーの視認方向と同様に、視認方向がダッシュボード中央に来るような配置でもよく、運転者のより少ない首振り動作を実現した配置として有効な負荷低減の効果も期待される。

　表示装置１０では、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認できるようにして、運転者ＤＲが表示部５０で表示面を直接的に視認する場合に比べて、運転者ＤＲから表示部５０の表示面までの距離を長くする。

　図５は、運転者の眼の焦点切り替えと応答時間の関係を模式化して示している。図５の（Ａ）に示すように、無限遠の視認対象物ＯＢａと近距離の視認対象物ＯＢｂの２点間で眼の焦点の切り替えを行う場合、一方から他方の対象物に焦点を合わせるまでの応答時間は、近距離の視認対象物ＯＢｂまでの距離ＬＡに応じて変化する。図５の（Ｂ）は、近距離の視認対象物ＯＢｂまでの距離ＬＡと応答時間ＴＲの関係を示しており、近距離の視認対象物ＯＢｂまでの距離がある程度の距離よりも短くなると、視認対象物ＯＢｂまでの距離が短くなるに伴い応答時間ＴＲが長くなる傾向がある。なお、実線は高年齢者、破線は中年齢者、一点鎖線は若年齢者の場合である。このため、本技術では、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認できるようにして、運転者ＤＲから表示部５０の表示面までの距離を長くすることで、高速な認知作業を行うことができるようにする。具体的には、運転者ＤＲからミラー部５５を介した表示部５０の表示面までの光学的視認距離が少なくとも１．１ｍ以上となるように表示部５０とミラー部５５を配置または光学設計する。このように表示部５０とミラー部５５を配置すれば、表示装置１０では、運転者が表示部５０で表示された周辺領域撮像画像に焦点を合わせるために必要とされる時間を、バックミラーを介して見た対象物に焦点を合わせるために必要とされる時間に近づけられる。

　また、表示装置１０では、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認することから、表示部５０は運転者ＤＲから表示面や表示面の照明光が直接見えないように配置する。また、運転者ＤＲから表示部５０の表示面や照明光が見えないように遮蔽物を設けた構成としてもよい。

　［１－２．第１の実施の形態の動作］
　図６は、第１の実施の形態の動作を説明するための図である。表示部５０は、周辺領域撮像部１１で撮像された撮像画像を表示する。ミラー部５５は、例えば平面ミラーで構成して、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認する際に、表示部５０における表示領域ＧＲｃの一部の領域ＧＲｍを視認できるサイズとする。なお、領域ＧＲｍをモニタ画像領域とする。また、表示部５０は、周辺領域撮像部１１で撮像された領域ＡＲｃの画像を表示領域ＧＲｃに表示する。

　表示部５０とミラー部５５は、車両の運転者ＤＲが視認範囲を変更するために頭部位置を例えば矢印Ｖａの方向に移動したとき、ミラー部５５を介して視認できるモニタ画像領域ＧＲｍが従来のバックミラーの場合と同様に矢印Ｖｂの方向に移動するように配置する。具体的には、頭部位置を移動した場合におけるモニタ画像領域ＧＲｍの移動方向が表示部５０における表示領域の長手方向となるように、表示部５０とミラー部５５を配置する。

　ここで、ミラー部５５の方向を向いている運転者ＤＲの頭部位置が図に示す位置である場合、運転者ＤＲは、ミラー部５５を介してモニタ画像領域ＧＲｍの画像を視認することで、周辺領域における視認範囲ＡＲｍの状況を確認できる。

　次に視認範囲ＡＲｍよりも外側の領域を確認するため、運転者ＤＲが頭部位置を車両前方向である矢印Ｖａｆの方向に移動すると、運転者ＤＲがミラー部５５を介して視認できるモニタ画像領域ＧＲｍは矢印Ｖｂｆの方向に移動する。すなわち運転者ＤＲは、頭部位置を車両前方に移動して、ミラー部５５を介してモニタ画像領域の画像を視認することで、頭部位置の移動前よりも周辺領域における外側の領域の状況を確認できる。

　また、運転者ＤＲが頭部位置を車両後方（矢印Ｖａｆに対して逆方向）に移動すると、運転者ＤＲがミラー部５５を介して視認できるモニタ画像領域ＧＲｍは矢印Ｖｂｆに対して逆方向に移動する。すなわち運転者ＤＲは、頭部位置を車両後方に移動して、ミラー部５５を介してモニタ画像領域の画像を視認することで、頭部位置の移動前よりも周辺領域における内側の領域の状況を確認できる。

　したがって、ミラー部５５を介して表示部５０の画像を運転者に視認させることで、バックミラーを用いた場合と同様に周辺領域の所望の領域を確認できる。また、表示部５０とミラー部５５は、車両の室内に設けられているので、バックミラーを用いた場合のようにサイドウィンドウによる悪影響を受けることなく良好に周辺領域を確認できる。例えばサイドウィンドウの曇りや雨滴等の付着によって、周辺領域の確認が困難となってしまうことを防止できる。

　［１－３．第１の実施の形態の他の構成と動作］
　ところで、上述の第１の実施の形態のミラー部５５は、平面ミラーで構成されている場合について説明したが、ミラー部５５は平面ミラーに限らず湾曲部分を有した構成としてもよい。ミラー部５５を部分的に湾曲させることにより湾曲部でバックミラー（後写鏡）の凸面鏡に相当する効果が得られる。

　図７は、ミラー部が湾曲部分を有している場合を例示している。ミラー部５５は、視認範囲の移動方向、すなわち運転者ＤＲの頭部位置の移動に応じたモニタ画像領域ＧＲｍの移動方向の形状を、例えば運転者ＤＲの方向に突出した湾曲形状とする。また、ミラー部５５は、視認範囲の移動方向の端部側よりも中央部分ＭＲｃの湾曲を少なくて、略平面状の形状とする。

　このように、端部側を湾曲させると、湾曲部分では視認範囲の移動方向について圧縮された画像となる。したがって、ミラー部５５の中央部分ＭＲｃがモニタ画像領域ＧＲｍに対応する領域とすると、周辺領域においてモニタ画像領域ＧＲｍに対応する視認範囲ＡＲｍの外側や内側をミラー部５５の端部側部分の圧縮画像で確認できるようになる。したがって、平面ミラーを用いた場合よりも、運転者が確認できる周辺領域の領域を広く確保できるようになる。

　＜２．第２の実施の形態＞
　［２－１．第２の実施の形態の構成］
　図８は第２の実施の形態の構成を例示している。表示装置１０は、周辺領域撮像部１１、運転者撮像部１２、表示制御部２０、表示部５０、ミラー部５５を備えている。なお、図９は、運転者と表示部とミラー部および運転者撮像部の位置関係を例示した図である。

　周辺領域撮像部１１は、車両の周辺領域を撮像して画像信号を表示制御部２０に出力する。なお、周辺領域撮像部１１で撮像される領域を撮像対象周辺領域とする。

　運転者撮像部１２は、運転者ＤＲの頭部位置や頭部の向き（顔の向きに相当）、視線の向き等を判別できるように、例えば運転者ＤＲの前方またはミラー部５５が設置されている方向に設けられている。運転者撮像部１２は、運転者ＤＲを撮像して画像信号を表示制御部２０に出力する。

　表示制御部２０は、周辺領域撮像部１１で撮像された周辺領域撮像画像を表示部５０に表示させる。また、表示制御部２０は、運転者の頭部位置や頭部の向き、視線の向き、および位置や向きの移動等に基づき、予め定めた表示変更意思伝達操作に応じて表示部５０に表示する画像の表示制御を行う。

　表示部５０は、運転者がミラー部５５を介して間接的に表示部５０の表示面を視認できるように配置されている。また、表示部５０の表示面は、例えば運転者ＤＲが運転時にバックミラーで広範囲の領域を確認するように頭部位置を移動しても、ミラー部５５を介して表示部５０の表示画像を視認できるように表示面のサイズが設定されている。なお、表示部５０の表示画像において、運転者がミラー部５５を介して確認する周辺領域の視認範囲と対応する領域をモニタ画像領域とする。

　ミラー部５５は、表示部５０の表示面を運転者ＤＲが間接的に視認できるように設けられている。ミラー部５５は、車両内であって例えば運転者ＤＲが従来のバックミラーを見る動作を行ったとき、ミラー部５５に写った画像を視認できるように例えばピラー近傍の位置に配置されている。また、ミラー部５５は、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認する際に、表示部５０の表示領域全体がミラー部５５に映り込むように、表示部５０との位置関係およびミラー部５５のサイズを設定する。さらに、表示部５０とミラー部５５は、周辺領域においてミラー部５５に映る表示部５０の画像によって運転者が視認できる視認範囲が、表示制御部２０の表示制御によって、ミラー部５５に対する運転者の視認位置の移動に応じて変更される。ミラー部５５の鏡面サイズと位置は、図４に示すように、運転者ＤＲがバックミラー９１を見たときのバックミラー９１の鏡面範囲（矢印ＷＡの範囲）と略一致するように設定する。このように設定して、表示部５０とミラー部５５によって従来のバックミラー９１と同様な作用効果を得ることができるようにする。

　また、表示装置１０では、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認することから、表示部５０は運転者ＤＲから表示面や表示面の照明光が見えないように配置する。また、運転者ＤＲから表示部５０の表示面や照明光が直接見えないように遮蔽物を設けた構成としてもよい。本実施例では、従来のＡピラー近傍設置のバックミラーと同等の視認方向とした場合に配置すべきミラー部５５位置関係で説明をしているが、フェンダーミラー相当の視認方向として視線がダッシュボード中央に来るような配置でもよい。

　図１０は、表示制御部の構成を示す図である。表示制御部２０は、運転者動き判別部２１、制御処理部３５、表示調整部４１、輝度調整部４２を備えている。

　運転者動き判別部２１は、運転者撮像部１２から供給された画像信号に基づき、運転者の頭部位置を検出して、運転者の頭部位置の移動方向と移動量を判別する。運転者動き判別部２１は、例えば運転者撮像部１２から供給された画像信号に基づき、運転者の顔認識を行い、認識した顔の位置や顔の向き（頭部の向きに相当）、視線の向きを判別する。さらに、運転者動き判別部２１は、認識した顔を追跡して、頭部位置の移動方向と移動量を判別する。運転者動き判別部２１は、判別結果を制御処理部３５に出力する。

　制御処理部３５は、運転者動き判別部２１の判別結果に基づき、表示部５０におけるモニタ画像領域とその他の領域（以下「非モニタ画像領域」という）で異なる表示制御を行う制御信号を生成して、表示調整部４１と輝度調整部４２に出力する。

　表示調整部４１は、制御処理部３５からの制御信号に基づき、周辺領域撮像部１１から供給された画像信号に対して周辺領域撮像画像の倍率調整を行い、例えば、非モニタ画像領域に対して画像の圧縮等を行う。

　輝度調整部４２は、制御処理部３５からの制御信号に基づき、表示部５０における非モニタ画像領域の輝度をモニタ画像領域よりも低下させる。輝度調整部４２は、表示部５０が照明を必要とする表示素子例えば液晶表示素子を用いて構成されている場合、照明例えば液晶パネルのバックライトの部分的領域を制御して、非モニタ画像領域の輝度をモニタ画像領域よりも低下させる。また、表示部５０が照明を必要とする表示素子または自発光素子例えば有機ＥＬ表示素子を用いて構成されている場合、非モニタ画像領域に対応する輝度信号の信号レベルを低下させる処理を行ってもよい。

　［２－２．第２の実施の形態の動作］
　図１１は、第２の実施の形態の動作を説明するための図である。表示制御部２０は、周辺領域撮像部１１で撮像された領域ＡＲｃの画像を表示部５０の表示領域ＧＲｃに表示する。ミラー部５５は、例えば平面ミラーで構成して、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認する際に、表示部５０の表示領域ＧＲｃを視認できるサイズとする。

　また、表示制御部２０は、表示領域ＧＲの表示画像に対する輝度制御や圧縮処理等を行い、運転者がミラー部５５を介して視認する周辺領域の範囲である視認範囲の画像を識別可能として表示領域ＧＲｃの表示を行う。なお、視認範囲に対応する表示領域をモニタ画像領域ＧＲｍとする。

　さらに、表示制御部２０は、運転者撮像部１２で撮像された運転者ＤＲの動き例えば車両の前後方向の動き（矢印Ｖａ方向）に基づき、モニタ画像領域ＧＲｍを矢印Ｖｂの方向に移動する。または、表示制御部２０は、モニタ画像領域ＧＲｍの移動に代えてモニタ画像領域ＧＲｍに対応する視認範囲ＡＲｍの移動、あるいはモニタ画像領域ＧＲｍの矢印Ｖｂの方向の拡張等を行う。

　画像の移動速度は、運転者がモニタ画像以外を瞬時見るなどする間に、急激な画像の表示内容の変更が発生すると状況把握の喪失を招くおそれが発生する。そこで、急激な画面の移動は避け、表示画像の平行移動が最速でも０．２ｓｅｃ／全移動量（総画角シフト量）以内とする。ここで、後述する頭部や視線の位置検出に伴う画面変更反応遅延時間を２００ｍｓｅｃ以内とすることで、従来のバックミラーを使用した場合に比べて操作感の低下を防止または軽減できると同時に、周辺状況把握遅延に伴う危険見落とし防止を満たすことができる。

　運転者は、画面表示領域変更指示を出した後の僅かな間隔に、後方周辺情報と異なる窓越しの直接視界情報を得る操作をすることも想定される。その場合、運転者はミラー部５５越しの窓方向を見て、画面注視注意が一旦瞬間的に途切れた後に再度ミラー部５５を通して表示画面確認のステップに復帰するので、画面内容が全面的変更されていると、また状況把握の喪失を招くおそれがある。そこで、これら画面変更に伴う表示範囲が、変更の前後で少なくとも元の表示内容の１／４以上の範囲で、切り替え変更前の画面が変更後の画面に含まれる範囲の移動に控える。例えば運転者が画面変更移動中に他の視覚情報（例えばミラー部５５と窓越しに見る直接視界）に注意遷移して表示部５０に視線を復帰した場合に、記憶画面の連続性から一瞬起き得る表示部への状況把握の喪失を低減することができる。

　図１２は、表示制御部の動作を示すフローチャートである。ステップＳＴ１で表示制御部２０は周辺領域確認動作が行われたか判別する。ここで、周辺領域確認動作とは、撮像装置と表示装置により構成されたモニタリングシステムを介して運転者が表示装置の画面を目視する動作の全般を指す。表示制御部２０は、運転者撮像部１２から供給された画像信号に基づき、例えば運転者の頭部の向きや視線方向が、ミラー部５５の方向であるか判別する。表示制御部２０は、運転者の頭部の向きや視線方向がミラー部５５の方向を向いた場合例えばミラー部５５の方向に振り向いた場合、周辺領域確認動作が行われたと判別してステップＳＴ２に進む。また、表示制御部２０は、運転者の頭部の向きや視線方向がミラー部５５の方向でない場合、周辺領域確認動作が行われていないと判別してステップＳＴ１に戻る。

　ステップＳＴ２で表示制御部２０は、視認範囲の判別を行う。表示制御部２０は、運転者撮像部１２から供給された画像信号に基づき、例えば運転者の頭部位置を検出して、検出した頭部位置からミラー部５５を介して視認される視認範囲を判別してステップＳＴ３に進む。

　ステップＳＴ３で表示制御部２０は、画像表示制御処理を行う。表示制御部２０は、視認範囲の画像をモニタ画像領域の画像として表示部５０に表示する。また、表示制御部２０は、非モニタ画像領域に高輝度被写体が映っていた場合にその画像の放射高輝度の表示内容で運転者の視界妨害とならないように例えば部分的バックライトや輝度レベルを制御する。また、表示制御部２０は、表示部５０における所定の領域をモニタ画像領域とする場合、モニタ画像領域の画像で所望の視認範囲を確認できるように、非モニタ画像領域に対応する周辺領域の画像の圧縮等の処理を行う。表示制御部２０は画像表示制御処理を行いステップＳＴ４に進む。

　ステップＳＴ４で表示制御部２０は視認範囲変更指示が行われたか判別する。表示制御部２０は、運転者撮像部１２から供給された画像信号に基づき、例えば運転者の頭部位置を判別して、周辺領域における視認範囲を変更する指示動作が行われたか判別する。表示制御部２０は、運転者の頭部位置が所定の動きを生じた場合、視認範囲変更指示が行われたと判別してステップＳＴ５に進む。また、表示制御部２０は、運転者の頭部位置が所定の動きを生じていない場合、視認範囲変更指示が行われていないと判別してステップＳＴ６に進む。

　ステップＳＴ５で表示制御部２０は視認範囲変更処理を行う。表示制御部２０は運転者が視認する視認範囲を、運転者の頭部位置の動きに伴い移動させる。表示制御部２０は、例えばバックライトや輝度レベルを制御して、表示を暗くする領域を運転者の頭部位置の動きに応じて移動させることで、明るく表示されるモニタ画像領域を変更する。また、表示制御部２０は、例えばモニタ画像領域の移動方向とは逆側に設けられている非モニタ画像領域の画像をさらに圧縮することで、モニタ画像領域に画像が表示される視認範囲を運転者の頭部位置の動きに応じて移動させる。また、モニタ画像領域の移動方向に設けられている非モニタ画像領域で表示する周辺領域範囲は範囲が少なくなることから、この非モニタ画像領域の圧縮を少なくする。表示制御部２０は視認範囲変更処理を行ってステップＳＴ６に進む。

　ステップＳＴ６で表示制御部２０は周辺領域確認動作の終了であるか判別する。表示制御部２０は、運転者撮像部１２から供給された画像信号に基づき、例えば運転者の頭部の向きや視線方向が、ミラー部５５の方向でなくなったことを判別する。表示制御部２０は、運転者の頭部の向きや視線方向が引き続きミラー部５５の方向である場合、周辺領域確認動作の終了でない判別してステップＳＴ４に戻る。また、表示制御部２０は、運転者の頭部の向きや視線方向がミラー部５５の方向でなくなった場合、周辺領域確認動作の終了であると判別してステップＳＴ７に進む。

　ステップＳＴ７で表示制御部２０は、表示を終了する。表示制御部２０は、運転者が運転に集中できるように表示部５０における周辺領域の画像表示を終了してステップＳＴ１に戻る。

　図１３は、表示制御部の第１の表示制御動作を説明するための図である。第１の表示制御動作において、表示制御部は、周辺領域の撮像画像を表示する際に、視認範囲を除いた他の範囲の画像の一部または全体の輝度を低下させて運転者から見え難くする。このようにすることで、運転者は、ミラー部５５を介した画像の視認によって、バックミラーを用いた場合と同様に周辺領域の所望の視認範囲を確認できるようになる。また、特に夜間等で眩しさを引き起こす非モニタ画像領域の不要な明るさを控える等のメリットがある。

　図１３の（Ａ）は、表示部５０の表示、図１３の（Ｂ）は、表示部５０の表示位置と輝度の関係を示している。表示制御部２０は、視認範囲を除いた他の範囲に対応する画像領域である非モニタ画像領域ＧＲｂ１，ＧＲｂ２の輝度を、視認範囲に対応するモニタ画像領域ＧＲｍよりも暗くして非モニタ画像領域ＧＲｂ１，ＧＲｂ２の画像を見え難くする。例えば表示部５０が液晶表示素子を用いて構成されている場合にはバックライトの発光制御を行い、非モニタ画像領域ＧＲｂ１，ＧＲｂ２を暗くする。また、表示部５０が有機ＥＬ表示素子を用いて構成されている場合には輝度信号の信号レベル制御を行い、非モニタ画像領域ＧＲｂ１，ＧＲｂ２を暗くする。このように、表示部５０の表示画像は非モニタ画像領域ＧＲｂ１，ＧＲｂ２が暗い状態とされているので、運転者ＤＲはモニタ画像領域ＧＲｍの画像のみを視認できるようになる。したがって、運転者ＤＲは、ミラー部５５を介して表示部５０の表示画像を視認することで、周辺領域における視認範囲ＡＲｍの状況を確認できる。

　また、表示制御部２０は、運転者ＤＲの頭部位置が例えば車両の前方向に移動したことを判別したとき、頭部位置の移動に応じてモニタ画像領域ＧＲｍを移動して、ミラー部５５を介して視認できる周辺領域の視認範囲を外側に移動する。具体的には、表示制御部２０は、頭部位置の車両前方向に移動に応じて非モニタ画像領域ＧＲｂ１の領域幅が狭く、非モニタ画像領域ＧＲｂ２の領域幅が広くなるように画像の輝度を制御する。このような表示制御を行うと、モニタ画像領域ＧＲｍの画像は、移動前に比べて周辺領域の外側の範囲の画像となる。表示制御部２０は、運転者ＤＲの頭部位置が例えば車両の後方向に移動したことを判別したとき、図示せずも頭部位置の移動に応じて、非モニタ画像領域ＧＲｂ１の領域幅が広く、非モニタ画像領域ＧＲｂ２の領域幅が狭くなるように画像の輝度を制御する。このような表示制御を行うと、モニタ画像領域ＧＲｍの画像は、移動前に比べて周辺領域の内側の範囲の画像となる。このため、運転者は頭部位置を移動することで、バックミラーを用いた場合と同様に周辺領域における所望の視認範囲を確認できる。また、表示部５０とミラー部５５は、車両の室内に設けられているので、バックミラーを用いた場合のようにサイドウィンドウによる悪影響を受けることなく良好に周辺領域を確認できる。

　図１４は、表示制御部の第２の表示制御動作を説明するための図である。第２の表示制御動作において、表示制御部は、周辺領域の撮像画像を表示する際に、モニタ画像領域ＧＲｍの移動に代えて、視認範囲を除いた他の範囲の画像をモニタ画像領域ＧＲｍの移動方向に圧縮する。表示制御部は、画像をこのように圧縮することで、モニタ画像領域ＧＲｍに対応する視認範囲ＡＲｍを移動させて、周辺領域における所望の視認範囲を確認できるようにする。

　図１４の（Ａ）は、表示部５０の表示、図１４の（Ｂ）は、表示部５０の表示位置と圧縮率の関係、図１４の（Ｃ）は、表示部５０の表示位置と輝度の関係を示している。表示制御部２０は、視認範囲を除いた他の範囲に対応する画像領域である非モニタ画像領域ＧＲｂ１，ＧＲｂ２に対して、端部側になるに伴い画像がより縮小されるように表示制御を行う。このように非モニタ画像領域ＧＲｂ１，ＧＲｂ２を圧縮して、非モニタ画像領域ＧＲｂ１，ＧＲｂ２の圧縮率を調整することにより、モニタ画像領域ＧＲｍに対応する視認範囲ＡＲｍを移動可能とする。

　表示制御部２０は、運転者ＤＲの頭部位置の動きに伴い、周辺領域における視認範囲を外側に移動する指示が行われたことを判別したとき、例えば運転者の前方向の首振りが行われたことを判別したとき、モニタ画像領域ＧＲｍに対応する視認範囲を外側に移動する。具体的には、表示制御部２０は、非モニタ画像領域ＧＲｂ２に対する周辺領域の範囲が広くなるように画像の圧縮率を制御する。また、外側方向に対応する非モニタ画像領域ＧＲｂ１の圧縮および輝度低下を少なくすることで、非モニタ画像領域ＧＲｂ１の画像により視認範囲の外側の範囲を確認できるようになる。すなわち、視認範囲を拡張することができる。なお、非モニタ画像領域ＧＲｂ１の輝度低下のみを少なくしても、視認範囲の外側の範囲を確認できるようになることから、視認範囲を拡張できる。

　図１５は、表示部の表示と圧縮率および周辺領域との関係を示している。なお、図１５の（Ａ）は表示部５０の表示、図１５の（Ｂ）は表示部５０の表示位置と圧縮率の関係、図１５の（Ｃ）は周辺領域撮像部１１の撮像範囲を示している。モニタ画像領域ＧＲｍでは、視認範囲ＡＲｍの撮像画像が表示されている。非モニタ画像領域ＧＲｂ１では、視認範囲ＡＲｍの外側の撮像画像が圧縮して表示されており、非モニタ画像領域ＧＲｂ２では、視認範囲ＡＲｍの内側の撮像画像が圧縮して表示されている。ここで、表示制御部２０は、視認範囲を外側に移動する指示が行われたことを判別したとき、非モニタ画像領域ＧＲｂ２に対する周辺領域の範囲が広くなるように画像の圧縮率を制御する。したがって、モニタ画像領域ＧＲｍに対応する視認範囲ＡＲｍは周辺領域の外側に移動する。

　また、表示制御部２０は、視認範囲を内側に移動する指示が行われたことを判別したとき、例えば運転者の後方向の首振りが行われたことを判別したとき、非モニタ画像領域ＧＲｂ２に対する周辺領域の範囲が広くなるように画像の圧縮率を制御する。したがって、モニタ画像領域ＧＲｍに対応する視認範囲ＡＲｍは周辺領域の内側に移動する。

　さらに、表示制御部２０は、上述のように、視認範囲の変更指示が行われる前は、非モニタ画像領域ＧＲｂ１，ＧＲｂ２の輝度を視認範囲に対応するモニタ画像領域ＧＲｍよりも暗くして、非モニタ画像領域ＧＲｂ１，ＧＲｂ２の画像を見え難くする。例えば表示部５０が液晶表示素子を用いて構成されている場合にはバックライトの発光制御を行い、非モニタ画像領域ＧＲｂ１，ＧＲｂ２を暗くする。また、表示部５０が有機ＥＬ表示素子を用いて構成されている場合には輝度信号の信号レベル制御を行い、非モニタ画像領域ＧＲｂ１，ＧＲｂ２を暗くする。このように、表示部５０の表示画像は非モニタ画像領域ＧＲｂ１，ＧＲｂ２が暗い状態とされているので、運転者ＤＲはモニタ画像領域ＧＲｍの画像のみを視認できるようになる。したがって、運転者ＤＲは、ミラー部５５を介して表示部５０の表示画像を視認することで、周辺領域における視認範囲ＡＲｍの状況を確認できる。その後、視認範囲の変更指示が行われた場合、表示制御部２０は、非モニタ画像領域に対して輝度レベルをモニタ画像領域ＧＲｍの輝度レベルに近づけるようにする。

　このような表示制御を行うと、運転者が視認範囲の変更指示を行ったとき、モニタ画像領域ＧＲｍに対応する視認範囲ＡＲｍが運転者の指示に応じて移動されることから、周辺領域の所望の範囲を容易に確認できるようになる。さらに、非モニタ画像領域の輝度レベルはモニタ画像領域ＧＲｍの輝度レベルと同様となることから、モニタ画像領域との区分がなくなる。したがって、視認範囲を自動的に拡張することができる。さらに、運転者は変更指示を行うだけで視認範囲を変更できることから、従来のバックミラーを用いた場合のように、所望の周辺範囲がバックミラーに映るまで頭部位置を前方向等に移動させなくとも、所望の周辺範囲を容易に確認できるようになる。また、表示部５０とミラー部５５は、車両の室内に設けられているので、バックミラーを用いた場合のようにサイドウィンドウによる悪影響を受けることなく良好に周辺領域を確認できる。

　なお、運転者が視認範囲の変更指示を行ったとき、非モニタ画像領域の輝度レベルは低下した状態としてもよい。この場合、モニタ画像領域ＧＲｍの拡張は行われず、変更指示に基づき移動された視認範囲の画像が所定の輝度で表示される。また、非モニタ画像領域の圧縮特性や輝度特性は、図１４の特性に限られない。例えば圧縮率を急峻に変化させてもよく、輝度レベルを緩やかに変化させてもよい。また、圧縮特性や輝度特性を運転者が選択可能とすれば、運転者の好みに応じて周辺領域の画像を表示させることもできる。さらに、視認範囲の変更指示に応じて、視認範囲の拡大縮小や表示画像の拡大率等を変化させてもよい。例えば運転者ＤＲがミラー部５５に近づいたことや近づく動作を視認範囲の変更指示として、視認範囲の広い画像や拡大率の低い画像（これらの画像を例えば第１画像とする）を表示する。また運転者ＤＲがミラー部５５から離れたことや離れる動作を視認範囲の変更指示として、第１画像よりも視認範囲の狭い画像や拡大率の高い画像を表示する。

　＜３．第３の実施の形態＞
　第３の実施の形態では、運転者が確認したい周辺領域が車両の運転状況に応じて変化する場合について説明する。具体的には、車両の周辺領域を撮像して得られた画像から車両の運転者に提示する画像領域を、車両の運転状況に関する運行情報に基づき設定して、運転者が提示された画像によって視認できる周辺領域の視認範囲を運転状況に応じて制御する。例えば、車両としてはトレーラや連節バスまたはキャンピング牽引カーのように、運転者が運転操作を行う車両部分（以下「キャビン」という）と、キャビンに連結されている車両部分（以下「牽引トレーラ部」という）が分離可能とされており、運転状況に応じてキャビンの向きと牽引トレーラ部の向きが変化する場合、運転状況に応じて、運転者が視認できる周辺領域の視認範囲を制御する場合について説明する。

　　［３－１．第３の実施の形態の構成］
　図１６は第３の実施の形態の構成を例示している。表示装置１０は、周辺領域撮像部１１ａ，１１ｂ、運転者撮像部１２、表示制御部２０、表示部５０、ミラー部５５を備えている。なお、運転者撮像部１２、運転状況検出センサ１３、表示部５０、ミラー部５５および運転者ＤＲは、図９に示す位置関係とする。

　周辺領域撮像部１１ａ，１１ｂは、車両の周辺領域を撮像して画像信号を表示制御部２０に出力する。周辺領域撮像部１１ａ，１１ｂは、車両の進行方向に異なる所定位置に設けられている。例えば周辺領域撮像部１１ａはキャビン側の所定位置（例えば従来のバンクミラー位置）に設けられており、周辺領域撮像部１１ｂは牽引トレーラ部側の所定位置（例えば牽引トレーラ部のキャビン側に近い周辺領域が撮像範囲に含まれるように、キャビン側に近接した位置）に設けられている。なお、周辺領域撮像部１１ａで撮像される領域を第１撮像対象周辺領域、周辺領域撮像部１１ｂで撮像される領域を第２撮像対象周辺領域とする。

　運転者撮像部１２は、運転者ＤＲの頭部位置や頭部の向きや視線の向き等を判別できるように、例えば運転者ＤＲの前方またはミラー部５５が設置されている方向に設けられている。運転者撮像部１２は、運転者ＤＲを撮像して画像信号を表示制御部２０に出力する。

　運転状況検出センサ１３は、運転状況に関する情報、例えばステアリング状態を示す情報、牽引トレーラ部の接続状態を示す情報、キャビンに対する牽引トレーラ部の曲がり角等の情報、ギヤ位置情報や車速情報、方向指示器設定情報、現在位置情報（例えば衛星測位システムの測位信号）等を運行情報として取得する。運転状況検出センサ１３は、取得した運行情報をセンサ情報として表示制御部２０へ出力する。

　表示制御部２０は、車両の周辺領域を撮像して得られた画像から車両の運転者に提示する画像領域を、車両の運転状況に関する運行情報に基づき設定して、運転者が提示された画像によって視認できる周辺領域の視認範囲を運転状況に応じて、車両の外側方向に視認範囲を制御する。すなわち、表示制御部２０は、周辺領域撮像部１１ａ，１１ｂで生成された画像信号に基づき、周辺領域撮像画像を表示部５０に表示する。また、表示制御部２０は、運転状況検出センサ１３からのセンサ情報、または運転状況検出センサ１３からのセンサ情報と運転者の頭部位置や頭部の向き、視線の向き、および位置や向きの移動等に基づき、運転者に提示する画像領域を設定して、表示部５０に表示する周辺領域撮像画像の表示制御を行う。

　表示部５０は、運転者がミラー部５５を介して間接的に表示部５０の表示面を視認できるように配置されている。また、表示部５０の表示面は、例えば運転者ＤＲが運転時にバックミラーで広範囲の領域を確認するように頭部位置を移動しても、ミラー部５５を介して表示部５０の表示画像を視認できるように、図４に示す通り、ミラー部５５の鏡面を結ぶ光線よりも大きいサイズとされている。なお、表示部５０の表示画像において、運転者がミラー部５５を介して確認する周辺領域の視認範囲と対応する画像領域をモニタ画像領域とする。

　ミラー部５５は、表示部５０の表示面を運転者ＤＲが間接的に視認できるように設けられている。ミラー部５５は、車両内であって例えば運転者ＤＲが従来のバックミラーを見る動作を行ったとき、ミラー部５５に写った画像を視認できるように例えばピラーの位置に配置されている。また、ミラー部５５は、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認する際に、表示部５０の表示領域全体がミラー部５５に映り込むように、表示部５０との位置関係およびミラー部５５のサイズを設定する。さらに、表示部５０とミラー部５５は、周辺領域においてミラー部５５に映る表示部５０の画像によって運転者が視認できる視認範囲が、表示制御部２０の表示制御によって、ミラー部５５に対する運転者の視認位置の移動に応じて変更される。なお、ミラー部５５のサイズは、従来のバックミラーと同様な作用効果が得られるように、第１の実施の形態や第２の実施の形態のように設定することが好ましい。

　また、表示装置１０では、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認することから、表示部５０は運転者ＤＲから表示面や表示面の照明光が見えないように配置する。また、運転者ＤＲから表示部５０の表示面や表示光が見えないように遮蔽物を設けた構成としてもよい。

　図１７は、周辺領域撮像部の配置を例示している。なお、図では、例えばトレーラの左側面に周辺領域撮像部を配置した場合を例示しており、右側面の周辺領域撮像部は省略している。

　上述したように、周辺領域撮像部１１ａはキャビン側に設けられており、周辺領域撮像部１１ｂは牽引トレーラ部側に設けられている。なお、周辺領域撮像部１１ａで撮像される領域を第１撮像対象周辺領域、周辺領域撮像部１１ｂで撮像される領域を第２撮像対象周辺領域とする。

　図１７の（Ａ）は、キャビンと牽引トレーラ部が直線状に位置している場合を示している。図１７の（Ｂ）は、キャビンに対して牽引トレーラ部が、周辺領域撮像部１１ａの設置側に寄っている状態を示しており、図１７の（Ｃ）は、キャビンに対して牽引トレーラ部が、周辺領域撮像部１１ａの設置側とは逆方向に寄っている状態を示している。周辺領域撮像部１１ａで取得される撮像画像は、牽引トレーラ部が図１７の（Ａ）から図１７の（Ｂ）に示す状態となると、牽引トレーラ部を示す画像部分が増加して周辺領域を確認できなくなってしまう。また、牽引トレーラ部が図１７の（Ａ）から図１７の（Ｃ）に示す状態となると、周辺領域撮像部１１ａの撮像範囲から牽引トレーラ部が離れて、牽引トレーラ部の近傍は運転者が確認できない死角となってしまう。一方、周辺領域撮像部１１ｂは牽引トレーラ部に設けられていることから、周辺領域撮像部１１ｂで取得される撮像画像は、キャビンと牽引トレーラ部との位置関係に係らず周辺領域を示した画像となる。

　そこで、表示制御部２０は、周辺領域撮像部１１ａで取得された撮像画像と周辺領域撮像部１１ｂで取得された撮像画像を、運転状況や運転者の意思に応じて用いることで、ミラー部５５を介して周辺領域の確認を行うことができるように表示制御を行う。

　図１８は、表示制御部の構成を示す図である。表示制御部２０は、運転者動き判別部２１、運転状況判別部２２、制御処理部３５、表示調整部４１、輝度調整部４２を備えている。

　運転者動き判別部２１は、運転者撮像部１２から供給された画像信号に基づき、運転者の頭部位置を検出して、運転者の頭部位置の移動方向と移動量を判別する。運転者動き判別部２１は、例えば運転者撮像部１２から供給された画像信号に基づき、運転者の顔認識を行い、認識した顔の位置や頭部の向きを判別する。さらに、運転者動き判別部２１は、認識した顔を追跡して、頭部位置の移動方向と移動量を判別する。運転者動き判別部２１は、判別結果を制御処理部３５に出力する。

　運転状況判別部２２は、運転状況検出センサ１３から供給されたセンサ情報に基づき、運転状況を判別する。運転状況判別部２２は、例えばギヤ位置等に基づき車両が前進または後退のいずれであるか、車速、方向指示器設定情報とステアリング状態等に基づき、直進または右折または左折のいずれであるかを判別する。また、運転状況判別部２２は、例えば牽引トレーラ部の接続状態やキャビンに対する牽引トレーラ部の曲がり角等の情報に基づき、緩やかな右左折または鋭角な右左折であるか、現在位置情報等に基づき走行位置がランドアバウトの位置であるか等を判別する。運転状況判別部２２は、判別結果を制御処理部３５に出力する。

　制御処理部３５は、運転状況判別部２２の判別結果または運転者動き判別部２１と運転状況判別部２２の判別結果に基づき、表示部５０におけるモニタ画像領域と非モニタ画像領域で異なる表示制御を行う制御信号を生成して、表示調整部４１と輝度調整部４２に出力する。

　表示調整部４１は、制御処理部３５からの制御信号に基づき、周辺領域撮像部１１から供給された画像信号に対して周辺領域撮像画像の倍率調整を行い、例えば、非モニタ画像領域に対して画像の圧縮等を行う。また、表示調整部４１は、制御処理部３５からの制御信号に基づき、複数の周辺領域撮像部で取得された周辺領域の画像の切り替えや合成，表示する周辺領域の表示幅の調整等を行うようにしてもよい。

　輝度調整部４２は、制御処理部３５からの制御信号に基づき、表示部５０における非モニタ画像領域の輝度をモニタ画像領域よりも低下させる。輝度調整部４２は、表示部５０が照明を必要とする表示素子例えば液晶表示素子を用いて構成されている場合、照明例えばバックライトを制御して、非モニタ画像領域の輝度をモニタ画像領域よりも低下させる。また、表示部５０が照明を必要とする表示素子または自発光素子例えば有機ＥＬ表示素子を用いて構成されている場合、非モニタ画像領域に対応する輝度信号の信号レベルを低下させる処理を行ってもよい。

　［３－２．第３の実施の形態の動作］
　図１９は、第３の実施の形態における表示制御部の動作を示すフローチャートである。ステップＳＴ１１で表示制御部２０は周辺領域確認動作が行われたか判別する。表示制御部２０は、運転者撮像部１２から供給された画像信号に基づき、例えば運転者の頭部の向きや視線方向が、ミラー部５５の方向であるか判別する。表示制御部２０は、運転者の頭部の向きや視線方向がミラー部５５の方向である場合例えばミラー部５５の方向に振り向いた場合、周辺領域確認動作が行われたと判別してステップＳＴ１２に進む。また、表示制御部２０は、運転者の頭部の向きや視線方向がミラー部５５の方向でない場合、周辺領域確認動作が行われていないと判別してステップＳＴ１１に戻る。

　ステップＳＴ１２で表示制御部２０は、運転状況の判別を行う。表示制御部２０は、運転状況検出センサ１３から供給されたセンサ情報に基づき運転状況を判別する。表示制御部２０は、例えば車両が前進または後退のいずれであるか、直進または右折または左折のいずれであるか、緩やかな右左折または鋭角な右左折であるか、走行位置がランドアバウトの位置であるか等の判別を行いステップＳＴ１３に進む。

　ステップＳＴ１３で表示制御部２０は、視認範囲の判別を行う。表示制御部２０は、運転状況の判別結果に基づきミラー部５５を介して視認される視認範囲を判別してステップＳＴ１４に進む。なお、視認範囲の判別では運転者の頭部位置も含めて視認範囲を判別してもよい。

　図２０は、視認範囲のモードを例示している。モード１は例えば通常走行時のミラー視認必須範囲である。モード２は例えば通常走行時のミラー視認必須範囲よりも内側および外側の範囲を広く視認できる範囲である。モード３は例えば後退時等において運転者が車両の外側を死角なく視認できる範囲とされている。ここで、例えば周辺領域撮像部１１ａの撮像範囲は、通常走行時のミラー視認必須範囲として、周辺領域撮像部１１ｂの撮像範囲は、周辺領域撮像部１１ａの撮像範囲よりも広い範囲とする。また、図２０の（Ａ）に示すように、モード１は周辺領域撮像部１１ａの撮像範囲を視認範囲、モード２は周辺領域撮像部１１ｂの撮像範囲を視認範囲とする。さらに、図２０の（Ｂ）に示すように、モード３は周辺領域撮像部１１ａおよび周辺領域撮像部１１ｂの撮像範囲に含まれる範囲を視認範囲とする。また、周辺領域撮像部１１ａの撮像範囲を切替可能として、運転状況や運転者の指示に応じて周辺領域撮像部１１ｂの撮像範囲を視認範囲としてもよい。例えば図２０の（Ｃ）に示すように、周辺領域撮像部１１ａの撮像範囲をモード１～モード３の範囲に切替可能とする。または、モード１～モード３の範囲を全て含む撮像範囲から、運転者に提示する画像領域をモード１～モード３の範囲となるように設定する。

　図２１は、運転状況判別結果と視認範囲のモードとの関係を例示している。表示制御部２０は、検出情報に基づき例えば直進の運転中であると判別した場合、丸印で示すようにモード１の範囲を視認範囲とする。表示制御部２０は、検出情報に基づき例えばラウンドアバウトの地点である場合、丸印で示すようにモード１の範囲を視認範囲とする。表示制御部２０は、検出情報に基づき例えば緩やかに右折または左折している場合、丸印で示すようにモード１の範囲を視認範囲とする。表示制御部２０は、検出情報に基づき例えば鋭角に右折または左折している場合、丸印で示すようにモード２の範囲を視認範囲として、確認できる範囲を外側に広くする。表示制御部２０は、検出情報に基づき例えば直進後退している場合、丸印で示すようにモード１の範囲を視認範囲とする。表示制御部２０は、検出情報に基づき例えば鋭角に後退している場合、図１７の（Ｃ）に示す死角を生じないように丸印で示すモード２の範囲すなわち周辺領域撮像部１１ｂの撮像範囲を視認範囲とする。

　ステップＳＴ１４で表示制御部２０は、画像表示制御処理を行う。表示制御部２０は、視認範囲のモードに応じてモニタ画像領域の領域幅を設定して、視認範囲の画像をモニタ画像領域の画像として表示部５０に表示する。また、表示制御部２０は、非モニタ画像領域の画像が見えないように例えばバックライトや輝度レベルを制御する。また、表示制御部２０は、表示部５０の所定の領域をモニタ画像領域とする場合、モニタ画像領域で視認範囲の画像を表示できると共に、モニタ画像領域に対応する視認範囲を移動できるように、非モニタ画像領域に対応する周辺領域の画像の圧縮等の処理を行う。表示制御部２０は画像表示制御処理を行いステップＳＴ１５に進む。

　ステップＳＴ１５で表示制御部２０は視認範囲変更指示が行われたか判別する。表示制御部２０は、運転者撮像部１２から供給された画像信号に基づき、例えば運転者の頭部位置を判別して、周辺領域における視認範囲を変更する指示動作が行われたか判別する。表示制御部２０は、運転者の頭部位置が視認範囲の移動を伴う動きを生じた場合、視認範囲変更指示が行われたと判別してステップＳＴ１６に進む。また、表示制御部２０は、運転者の頭部位置が視認範囲の移動を伴う動きを生じていない場合、視認範囲変更指示が行われていないと判別してステップＳＴ１７に進む。

　ステップＳＴ１６で表示制御部２０はモード変更処理を行う。表示制御部２０は、視認範囲変更指示が視認範囲を広げる指示である場合に視認範囲の広いモードに切り替えを行う。表示制御部２０は、例えば図２１の丸印で示すモードとされている場合は四角印で示すモードに切り替えて、四角印で示すモードとされている場合は星印で示すモードに切り替える。また、表示制御部２０は、視認範囲変更指示が視認範囲を狭める指示である場合に視認範囲の狭いモードに切り替えを行う。表示制御部２０は、例えば図２１の四角印で示すモードとされている場合は丸印で示すモードに切り替えて、星印で示すモードとされている場合は四角印で示すモードに切り替える。表示制御部２０は、視認範囲変更指示に基づきモードを切り替えてステップＳＴ１７に進む。

　ステップＳＴ１７で表示制御部２０は周辺領域確認動作の終了であるか判別する。表示制御部２０は、運転者撮像部１２から供給された画像信号に基づき、例えば運転者の頭部の向きや視線方向が、ミラー部５５の方向でなくなったことを判別する。表示制御部２０は、運転者の頭部の向きや視線方向が引き続きミラー部５５の方向である場合、周辺領域確認動作の終了でない判別してステップＳＴ１５に戻る。また、表示制御部２０は、運転者の頭部の向きや視線方向がミラー部５５の方向でなくなった場合、周辺領域確認動作の終了であると判別してステップＳＴ１８に進む。

　ステップＳＴ１８で表示制御部２０は、表示を終了する。表示制御部２０は、運転者が運転に集中できるように表示部５０における周辺領域の画像表示を終了してステップＳＴ１１に戻る。

　このような表示制御を行うことで、車両の周辺領域を撮像して得られた画像から車両の運転者に提示する画像領域が、車両の運転状況に関する運行情報に基づき設定されて、運転者が提示された画像によって視認できる周辺領域の視認範囲が車両の外側方向に運転状況に応じて自動的に変更される。このため、従来のバックミラーを用いた場合よりも容易に、周辺範囲における所望の視認範囲を容易に確認できるようになる。例えば、運転状況検出センサ１３から供給されたセンサ情報に基づき、車両の進行方向が直進である場合は、モード１からモード２に切り替えられて、車両の外側方向に視認範囲が拡張される。また、運転状況検出センサ１３から供給されたセンサ情報に基づき、キャビンの向きと牽引トレーラ部の向きが相違する鋭角右左折や鋭角後退の場合に、モード２からモード３に切り替えられて、牽引トレーラ部の外側が視認範囲に含まれるように視認範囲が拡張される。したがって、所望の視認範囲を確認できるようになる。また、表示部５０とミラー部５５は、車両の室内に設けられているので、バックミラーを用いた場合のようにサイドウィンドウによる悪影響を受けることなく良好に周辺領域を確認できる。

　図２２は、周辺領域撮像部１１ａと周辺領域撮像部１１ｂで取得された周辺画像を用いて表示部５０で表示される表示画像を例示している。図２２の（Ａ）は、周辺領域撮像部１１ａの死角の位置に車がある場合を例示している。図２２の（Ｂ）は、周辺領域撮像部１１ａで取得された周辺画像ＭＧａを表示した場合を例示しており、周辺領域撮像部１１ａで取り込まれた画像の表示画像のみでは、後方の車全体を確認できない。このため、表示制御部２０は、図２２の（Ｃ）に示すように、周辺領域撮像部１１ａで取得された周辺画像ＭＧａだけでなく、周辺領域撮像部１１ｂで取得された周辺画像ＭＧｂを表示することで後方にいる車全体を確認できる。

　このように、表示制御部２０は、運行情報に基づき、１または複数の位置から撮像された画像における１または複数の画像に対して提示する画像領域を設定して、運転者が視認できる周辺領域の視認範囲を運転状況に応じて制御する。したがって、周辺範囲における所望の視認範囲を容易に確認できるようになる。なお、表示制御部２０は、運転状況や運転者の意思に応じて、図２２の（Ｂ）と図２２の（Ｃ）に示す表示の切り替えや、図２２の（Ｃ）において矢印で示すように周辺画像ＭＧａと周辺画像ＭＧｂの領域幅（または挿入幅）を可変できる構成とすれば、周辺領域を最も視認しやすい状態で表示することができる。

　図２３は、周辺領域撮像部１１ａと周辺領域撮像部１１ｂで取得された周辺画像を用いて表示部５０で表示される他の表示画像を例示している。図２３の（Ａ）は、周辺領域撮像部１１ａで取得された周辺画像ＭＧａを表示した場合を例示している。図２３の（Ｂ）は、周辺領域撮像部１１ａで取得された周辺画像ＭＧａと周辺領域撮像部１１ｂで取得された周辺画像ＭＧｂを縦方向に並べて表示した場合を例示している。表示制御部２０は、運転状況や運転者の意思に応じて、図２３の（Ａ）に示す表示と図２３の（Ｂ）に示す表示との切り替えを行う。また、図２３の（Ｂ）において矢印で示すように周辺画像ＭＧａと周辺画像ＭＧｂの領域幅（または挿入幅）を可変できる構成としてもよい。ここで、複数撮像により取り込まれた画像表示を隣接する表示部で表示を行う際に、車体の進行方向に対して前方に配置された撮像画像程、表示画面の上方に配置し、進行方向に対して後方に設置された撮像画像程、表示画面の下方に配置することで、ドライバは直感的に視認画面の車体前後関係は瞬時に判別できるメリットがある。すなわち、車両の外装部に共に車両進行方向に対して後方側を向けて取り付けられた少なくとも２つ以上の撮像装置と、車両の室内の例えばダッシュボード中央部に、隣接配置される少なくとも２つ以上の画面表示領域を設けた表示部を有する場合、画面表示領域に表示する撮像画像の表示内容では、車両進行方向前方側に設置された第１の撮像装置（例えば周辺領域撮像部１１ａ）の画像を第１の撮像装置よりも車両進行方向後方側に設置された撮像装置（例えば周辺領域撮像部１１ａ）の画像より上部に配置する（例えば図２３の（Ｂ））。このようにすれば、ドライバは直感的に視認画面の車体前後関係を瞬時に判別できるメリットがある。

　また、画面を大きく上下配置が出来ないレイアウトであっても、進行方向前方設置撮像部画面の後方消失点が表示画面では上方に配置する。すなわち、車両の外装部に共に車両進行方向に対して後方側を向けて取り付けられた少なくとも２つ以上の撮像装置と、車両の室内に、隣接配置される少なくとも２つ以上の画面表示領域を設けた表示部を有する場合、画面表示領域に表示する撮像画像の表示内容では、車両進行方向前方側に設置された第１の撮像装置の画像に含まれる無限消失点を第１の撮像装置よりも車両進行方向後方側に設置された撮像装置の画像に含まれる無限消失点より上部に配置する。このようにすれば、同様の効果が得られる。この場合、差異を素早く判別するためには表示画面の少なくとも２割以上、上下方向にシフトが望ましい。

　図２４は、周辺領域撮像部１１ａと周辺領域撮像部１１ｂで取得された周辺画像を用いて表示部５０で表示される他の表示画像を例示している。図２４の（Ａ）は、周辺領域撮像部１１ａで取得された周辺画像ＭＧａを表示した場合を例示している。図２４の（Ｂ）は、周辺領域撮像部１１ａで取得された周辺画像ＭＧａと周辺領域撮像部１１ｂで取得された周辺画像ＭＧｂを縦方向に並べて、周辺画像がいずれの周辺領域撮像部で取得された画像であるか識別可能とする表示、例えば、キャビンと牽引トレーラ部を模式化したアイコン表示ＨＴを設けた場合を例示している。さらに、アイコン表示ＨＴでは、隣接して表示されている周辺画像を取得した周辺領域撮像部を示す例えばカメラ形状のマークＨＣを設ける。このように車両前方配置の周辺領域撮像部１１ａにより取り込まれた表示画像を上方に、車両後方方配置の周辺領域撮像部１１ｂにより取り込まれた表示画像を下方に配置すれば、表示された周辺画像と周辺領域撮像部との対応関係を容易に把握することができるようになり、表示画像を参照して、適切な運転操作を行うことができるようになる。表示制御部２０は、運転状況や運転者の意思に応じて、図２４の（Ａ）に示す表示と図２４の（Ｂ）に示す表示との切り替えを行う。また、図２４の（Ｂ）において矢印で示すように周辺画像ＭＧａと周辺画像ＭＧｂの領域幅（または挿入幅）を可変できる構成としてもよい。

　また、通常走行等の場合には、例えば周辺領域撮像部１１ａで取得された周辺画像のみが表示されるので、複数の周辺画像が複数並べて表示されて、前方外周領域の視界妨害となってしまうことを防止できる。

　また、周辺領域撮像部の切り替えや表示する周辺画像の制御は、車両の運行状態に応じて表示内容を可変しつつ、且つ運転者の意思に基づいて適宜切り替えることが可能とされている。したがって、運転者は注意深い画面観察をせずとも直感的に領域別の視認領域把握が自然とできる。トレーラ等の牽引車両の場合は、一画面での合成画面表示とせずに、境界を有する即時区分別画面認識が可能な表示となっていることが人間工学的に見て望ましく、表示制御部２０は、人間工学的に適した表示が行われる。

　また、トレーラ等の牽引車両で死角が重要となる状況は、小さい曲率での走行時、例えば２車線以上のランドアバウトでの外側車線への車線変更する際や後退時の後方障害物確認のときである。そこで、車両の運転状態と合わせて運転者の画面操作の意思表示を反映した画面遷移表示を行うことで、死角部の状況把握を改善できる。このような状況では、単一カメラの視界領域変更で行うのではなく、牽引トレーラ部側の周辺領域撮像部１１ｂカメラ切り替えを行った上での表示領域切替え可変操作が効果的である。

　また、表示拡張は、ミラー部５５を介した方法に限らずとも表示範囲拡張機能は有効である。

　なお、第３の実施の形態では、モード切替を行う場合について説明したが、第２の実施の形態の処理動作を組み合わせて行ってもよい。

　また、上述の実施の形態では、頭部姿勢や視点認識を行う場合について説明をしているが、システムの構成としてはさらに補助的なタッチボタン制御、音声指示認識や頭部以外のジェスチャー認識等で行ってもよい。特に、通常状態の復帰や後述する学習時の指示内容認識の誤検出指摘、さらには低速駐車操作時の複雑な運転者の姿勢変更が行わる場合にはボタン操作などの直接指示を行うインターフェースとの組み合わせで制御を行うことが効果的である。

　＜４．第４の実施の形態＞
　表示装置を用いた周辺領域の視認では、法規で定められた最低表示倍率に伴い、通常走行時にはある一定の画面倍率を確保する必要がある。つまり、運転時の定常的な頭部姿勢での表示画面があり、その定常位置から相違する位置に変化した際には、運転者が非定常とする意思表示のヒューマンマシンインターフェースを介して表示変更指示を受けて画面表示変更を行う必要がある。例えば、より低倍率に表示内容を変更する指示や、駐車時などの非定常走行の特殊視野に変更する指示等を受けて画面表示変更を行う必要がある。そこで、第４の実施の形態では、表示内容変更に関するヒューマンマシンインターフェースの仕組みについて説明する。

　図２５は、運転者が周辺領域の状況を把握する場合の動作を例示したフローチャートである。ステップＳＴ２１で運転者は振り向き動作を開始してステップＳＴ２２に進み、ステップＳＴ２２で運転者は、眼でミラー部を補足してステップＳＴ２３に進む。ステップＳＴ２３で運転者は、頭部を一旦停止乃至準停止してステップＳＴ２４に進む。なお、準停止とは、頭部の動きが少なく停止状態と見なせる状態である。

　ステップＳＴ２４で運転者はミラー部を介して画像への合焦を行いステップＳＴ２５に進み、ステップＳＴ２５で運転者は視認範囲の画像を確認することで周辺領域の状況を把握してステップＳＴ２６に進む。

　ステップＳＴ２６で運転者は、視認範囲の変更が必要か判断する。運転者は、ステップＳＴ２５でモニタ画像領域の画像を視認することで、周辺領域における所望の範囲の状況を把握できた場合に視認範囲の変更は不要としてステップＳＴ２７に進む。また、運転者は、周辺領域における所望の範囲の状況を把握できない場合に視認範囲の変更が必要としてステップＳＴ２８に進む。

　ステップＳＴ２７で運転者は前方視認状態に復帰する。運転者は所望の周辺領域の状況を把握できたことから、振り向きを終了して顔を前方に向けて前方を視認できる状態として処理を終了する。

　ステップＳＴ２６からステップＳＴ２８に進むと、運転者は視認範囲変更指示を行う。運転者は予め規定された動き、例えば胴部を繰り返し移動させる動きを行いステップＳＴ２９に進む。なお、表示装置では、運転者の視認範囲変更指示を検出して、モニタ画像領域に画像が表示される視認範囲を変更する処理を行う。視認範囲の変更では、運転者が視認できる周辺領域の範囲の移動または拡張を行う。

　ステップＳＴ２９で運転者は、視認範囲変更後の画像を確認することで周辺領域の状況を把握してステップＳＴ３０に進む。

　ステップＳＴ３０で運転者は、変更指示前の状態に戻す必要がないか判別する。運転者は、変更指示前の視認範囲を確認したい場合、変更指示前の状態に戻す必要があるとしてステップＳＴ３１に進む。また、運転者は、変更指示前の状態に戻す必要がないと判別した場合にステップＳＴ３２に進む。

　ステップＳＴ３１で運転者は視認範囲復元指示を行う。運転者は予め規定された動き、例えば頭部を戻す動きを行いステップＳＴ３２に進む。なお、表示装置では、運転者の視認範囲復元指示を検出して、モニタ画像領域に画像が表示される視認範囲を変更前の範囲に戻す処理を行う。

　ステップＳＴ３２で運転者はミラー部を一定期間注視しないようにしてステップＳＴ３３に進む。

　ステップＳＴ３３で運転者は前方視認状態に復帰する。運転者は周辺領域の状況の把握を終了する。すなわち、振り向きを終了して顔を前方に向けて前方を視認できる状態とする。

　表示装置は、このような運転者の動作に対応させたヒューマンマシンインターフェースを用いて、運転者からの表示変更指示に基づき周辺領域における視認範囲を変更する。なお、このようなヒューマンマシンインターフェースを用いる表示装置は、第１乃至第３の実施の形態の構成の表示装置に限られない。例えば、運転者が表示部５０の表示を直接視認して周辺領域の状況を把握する場合等にも適用できる。

　図２５に示すフローチャートでは、説明の簡素化のために前方視認復帰までの一連の動作をして単純にそのまま復帰までを説明している。しかし、実際には前方視認復帰までにはより複雑な動作を伴い、直接視認と表示部視認を繰り返し確認してから前方視認に復帰する事象が多く発生するが、あらゆる事象を説明するのが目的ではないため上記以外の例の説明は省略する。

　次に第４の実施の形態の構成と動作について、第１乃至第３の実施の形態と同様に、ミラー部を介して間接的に表示部の画像を運転者が視認する場合について説明する。

　［４－１．第４の実施の形態の構成］
　図２６は、第４の実施の形態の構成を例示した図である。表示装置１０は、周辺領域撮像部１１、運転者撮像部１２、運転者識別情報取得部１５、表示制御部２０、表示部５０、ミラー部５５を備えている。また、運転者と表示部とミラー部および運転者撮像部は、上述の図９に示すように設けられている。

　運転者識別情報取得部１５は、運転者固有の識別情報である運転者識別情報を取得して表示制御部２０に出力する。運転者識別情報取得部１５は運転者撮像部１２より得られた運転者顔認識を用いてもよいし、運転者所有車用起動キーに付与した識別情報を用いてもよいし、運転者がボタン操作等で直接指示をするなど様々な方法を取り得る。

　表示制御部２０は、周辺領域撮像部１１で撮像された周辺領域撮像画像を表示部５０に表示させる。また、表示制御部２０は、運転者の頭部位置や頭部の向き、視線の向き、および位置や向きの移動、運転者識別情報取得部１５から供給された情報等に基づき、ミラー部５５の方向への振り向きや確認領域の移動動作や各種指示動作を判別する。さらに、表示制御部２０は、判別結果に基づき、表示部５０に表示する周辺領域撮像画像の表示制御を行う。表示制御部２０は、運転者が例えばミラー部の方向に振り向いた場合に、周辺領域撮像画像を表示部５０に表示する。また、表示制御部２０は、例えば振り向きの検出後に運転者で予め指定した動きが行われたことを判別した場合に視認範囲の領域を拡張する。

　表示部５０は、運転者がミラー部５５を介して間接的に表示部５０の表示面を視認できるように配置されている。また、表示部５０の表示面は、運転者ＤＲが運転時にバックミラーで広範囲の領域を確認するように頭部位置を移動しても、ミラー部５５を介して表示部５０の表示画像を視認できるように、ミラー部５５の鏡面よりも大きいサイズとされている。なお、表示部５０の表示画像において、運転者がミラー部５５を介して確認する周辺領域の視認範囲と対応する画像領域をモニタ画像領域とする。

　ミラー部５５は、表示部５０の表示面を運転者ＤＲが間接的に視認できるように設けられている。ミラー部５５は、車両内であって例えば運転者ＤＲが従来のバックミラーを見る動作を行ったとき、ミラー部５５に写った画像を視認できるように配置されている。また、ミラー部５５は、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認する際に、表示部５０の表示領域全体がミラー部５５に映り込むように、表示部５０との位置関係およびミラー部５５のサイズを設定する。さらに、表示部５０とミラー部５５は、周辺領域においてミラー部５５に映る表示部５０の画像によって運転者が視認できる視認範囲が、表示制御部２０の表示制御によって、ミラー部５５に対する運転者の視認位置の移動に応じて変更される。なお、ミラー部５５のサイズは、従来のバックミラーと同様な作用効果が得られるように、視認範囲が映り込む領域のサイズを従来のバックミラーと同等なサイズとすることが好ましい。

　また、表示装置１０では、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認することから、表示部５０は運転者ＤＲから表示面や表示面の照明光が見えないように配置する。また、運転者ＤＲから表示部５０の表示面や照明光が見えないように遮蔽物を設けた構成としてもよい。

　図２７は、表示制御部の構成を示す図である。表示制御部２０は、認識部２３、振り向き判定部２４、指示動作判定部２５、運転者認証部２６、制御処理部３５、表示調整部４１、輝度調整部４２を備えている。

　認識部２３は、運転者撮像部１２から供給された画像信号に基づき顔認識を行う。また、認識部２３は、認識した頭部の向きや認識した顔における視線方向を認識して、認識結果を振り向き判定部２４に出力する。

　振り向き判定部２４は、振り向き判定処理部２４１、振り向き判定学習部２４２、判定基準値記憶部２４３を有している。

　振り向き判定処理部２４１は、認識部２３からの認識結果と振り向き判定学習部２４２から供給された振り向き判定基準値を比較して、運転者がミラー部５５の方向を向いたか判定して、判定結果を指示動作判定部２５と制御処理部３５に出力する。

　振り向き判定学習部２４２は、判定基準値記憶部２４３から振り向き判定基準値を読み出して振り向き判定処理部２４１に出力する。また、振り向き判定学習部２４２は、制御処理部３５からの運転者情報、高速先方走行に最適化した運転の判定パラメータ設定、低速、後退、パーキングに適した運転の判定パラメータ設定等に対応する振り向き判定基準値を、判定基準値記憶部２４３から読み出して振り向き判定処理部２４１に出力する。さらに、振り向き判定学習部２４２は、頭部の向きや視線方向の認識結果に基づいて振り向き判定基準値の更新を行うことで、振り向き判定処理部２４１で、運転者毎に精度よく振り向き判定を行えるようにする。また、車両の速度域で、類似の頭部動作でも目的とする動作が異なることが発生するため、振り向き判定処理部２４１で、速度域に依存した判定を運転者毎に行えるようにする。例えば、高速走行や高速合流作業は前方に主要な注意を払い、一瞬モニタを早い動作で見る中で視認範囲を拡張できるように、視線振り向き確定までの判定閾値時間を１秒未満とする。駐車などの場合において、大型トレーラなどの各動作は、一旦各状態に視線注意をして全体把握のできる時間で後方把握してから拡張等の操作が行われるので、駐車相当と判別される時速１５Ｋｍ／ｈ未満では少なくとも判定閾値時間を０．５秒以上とする。振り向き判定学習部２４２は、更新後の振り向き判定基準値を判定基準値記憶部２４３に出力して、判定基準値記憶部２４３に記憶されている振り向き判定基準値を更新する。なお、振り向き判定学習部２４２は、通知された運転者に対応する振り向き判定基準値が判定基準値記憶部２４３に記憶されていない場合、予め設定されている振り向き判定基準値を振り向き判定処理部２４１に出力する。また、振り向き判定学習部２４２は、その後に更新された振り向き判定基準値を、運転者情報と対応付けて判定基準値記憶部２４３に記憶させる。ここで、頭部の姿勢認識の判定推移を通知部例えば表示部５０の表示画面上のオバーレイディスプレー、ＬＥＤ表示または車両のスピーカ等により視覚的や聴覚的に運転者ＤＲにフィードバックすることで、指示動作確定をより正確に且つ最小限の動作で実現することができる。運転者ＤＲへのフィードバックはデジタル的０／１の真偽判定ではなく、運転者の動きの判別度合いを示すステータスを例えばアナログ的に通知部でフィードバックすることが望ましい。

　判定基準値記憶部２４３は、振り向き判定に用いる振り向き判定基準値を記憶する。また、運転者の認証が行われる場合、判定基準値記憶部２４３は運転者毎に振り向き判定基準値を記憶する。判定基準値記憶部２４３に記憶されている振り向き判定基準値は、振り向き判定学習部２４２の学習結果に応じて更新される。

　指示動作判定部２５は、指示動作判定処理部２５１、指示動作判定学習部２５２、判定基準値記憶部２５３を有している。

　指示動作判定処理部２５１は、認識部２３からの認識結果と振り向き判定部２４からの振り向き判定結果と指示動作判定学習部２５２から供給された判定基準値を用いて、運転者が所定の動作を行ったか判定して、制御処理部３５に出力する。指示動作判定処理部２５１は、例えば運転者における頭部の２回以上の加減速動作の組み合わせの検出結果に基づき、運転者の動きから運転者の指示の判定を行う。

　指示動作判定学習部２５２は、判定基準値記憶部２５３から指示動作判定基準値を読み出して指示動作判定処理部２５１に出力する。また、指示動作判定学習部２５２は、制御処理部３５から運転者が通知された場合、通知された運転者に対応する指示動作判定基準値を、判定基準値記憶部２５３から読み出して指示動作判定処理部２５１に出力する。さらに、指示動作判定学習部２５２は、頭部の向きや視線方向の認識結果に基づいて指示動作判定基準値の更新を行うことで、指示動作判定処理部２５１で精度よく指示動作の判定を行えるようにする。指示動作判定学習部２５２は、更新後の指示動作判定基準値を判定基準値記憶部２５３に出力して、判定基準値記憶部２５３に記憶されている指示動作判定基準値を更新する。なお、指示動作判定学習部２５２は、通知された運転者に対応する指示動作判定基準値が判定基準値記憶部２５３に記憶されていない場合、予め設定されている指示動作判定基準値を指示動作判定処理部２５１に出力する。また、指示動作判定学習部２５２は、その後に更新された指示動作判定基準値を、運転者情報と対応付けて判定基準値記憶部２５３に記憶させる。

　判定基準値記憶部２５３は、指示動作の判定に用いる指示動作判定基準値を記憶する。また、運転者の認証が行われる場合、判定基準値記憶部２５３は運転者毎に指示動作判定基準値を記憶する。判定基準値記憶部２５３に記憶されている指示動作判定基準値は、指示動作判定学習部２５２の学習結果に応じて更新される。

　ここで、指示動作判定学習部２５２には、ジェスチャーによる操作が目的としない判定結果を生じて誤動作となる場合に、除外分類等の指定をジェスチャーの検出以外のフィードバック形態例えばボタン操作や音声操作等で行える機能を設けてもよい。

　運転者認証部２６は、運転者識別情報取得部１５で取得された運転者固有の識別情報に基づき、車両の現在の運転者を判別して、判別結果を制御処理部３５に出力する。

　制御処理部３５は、運転者認証部２６からの判別結果に基づき車両の運転者を判別して、判別した運転者を振り向き判定学習部２４２や指示動作判定学習部２５２に通知する。また、制御処理部３５は、振り向き判定部２４と指示動作判定部２５からの判別結果に基づき、表示部５０におけるモニタ画像領域と非モニタ画像領域で異なる表示制御を行う制御信号を生成する。制御処理部３５は、生成した制御信号を表示調整部４１と輝度調整部４２に出力する。

　表示調整部４１は、制御処理部３５からの制御信号に基づき、周辺領域撮像部１１から供給された画像信号に対して周辺領域撮像画像の倍率調整、周辺領域の画像の切り替えや合成等を行う。

　上記の構成とすることで、予め予期した運転者の動作検出手順として、表示部視認開始状態の検出を、より高速で素早く行う。

　通常の運転者の人間工学的な動作ステップは以下の通りと予想される。動物全般的に視覚を通して外界把握をする場合、一番俊敏に方向を捉えて向きを変えるのは眼球運動であり、眼球運動の回転範囲のみでは捉えきれない範囲に視認したい対象物がある場合は、さらには首や体の姿勢を追って変化させることで不足の範囲を補う。

　その結果、前方視認と大幅に方向が異なるミラー部配置方向へ視線注意をする一連の手順で、運転者はミラー部の画像を視認できるおおよその方向を捉え、眼球の回転移動と首の回転運動を開始する。運転者は、ミラー部を視線で捉えると首の振り向き回転中から眼球回転は首の回転を打ち消す視線方向を合わせ、ミラー部に視線を合わせた時点では、首の振り向き運動もほぼ停止固定する。この一連の動作特徴となる頭部回転状態を逐次時系列解析して動きの加速と減速状態からミラー部の視認開始の状態の変化を学習する。このように学習を行い、個別運転者の動作シーケンスの特徴解析を行うことで、該当運転者の頭部回転が完全に静止する前から運転者のミラー部注視開始の判定を可能とし、且つ引き続き指示操作解析を速やかに移行することで、遅延の少ない画面操作のＨＭＩ（ヒューマンマシンインターフェースが）を実現する。ここで、頭部の姿勢認識の判定推移を通知部例えば表示部５０の表示画面上のオバーレイディスプレー、ＬＥＤ表示や車両のスピーカ等により視覚的や聴覚的に運転者ＤＲにフィードバックすることで、指示動作確定をより正確に且つ最小限の動作で実現することができる。運転者ＤＲへのフィードバックはデジタル的０／１の真偽判定ではなく、運転者の動きの判別度合いを示すステータスを例えばアナログ的に通知部でフィードバックすることが望ましい。ただし、これらフィードバックの必要以上の表示は、視界の妨害ともなり得ることから、一旦運転者固有の特性を学習後に不要となれば、表示機能を止めることがよく、必ずしも常に表示を行う必要はない。

　また、運転が通常の高速前方運転では体の動きは少なく狭い範囲が視認対象範囲であり、低速駐車には頭部や体の動きを多く動かして周辺全体を把握する作業となる。このため、各指示検出の判定基準は高速と低速で異なるのが望ましいので、モード切替判定は車両に運転状態と相関判定をとり行うことで操作性を改善する。

　［４－２．第４の実施の形態の動作］
　図２８は、表示制御部の動作を示すフローチャートである。ステップＳＴ４１で表示制御部２０は、判定基準値の取り込みを行う。表示制御部２０は、振り向き動作や視認範囲変更指示および視認範囲復元指示の判定に用いる判定基準値を取得する。また、判定基準値は運転者毎に設けるようにして、現在の運転者に対応した判定基準値を取得するようにしてもよい。また、運転者の動作に応じて判定基準値を更新して、最新の判定基準値を取得するようにしてもよい。表示制御部２０は判定基準値を取り込んでステップＳＴ４２に進む。

　ステップＳＴ４２で表示制御部２０は顔の向き（頭部の向き）の観測を開始する。表示制御部２０は運転者撮像部１２から供給された画像信号を用いて顔認識を行い運転者の顔を判別する処理と、判別した顔の向き（頭部の向き）を検出する処理を開始してステップＳＴ４３に進む。

　ステップＳＴ４３で表示制御部２０は、定常時における顔の位置と向きを判別する。表示制御部２０は、顔の向き（頭部の向き）の観測結果に基づき、定常時における顔の位置と向きを判別する。表示制御部２０は、定常時における顔の位置や向きが前回の判定から変化している場合、変化量に応じた補正値を算出する。また、運転者に対応した情報がない場合は初期値からの違いを補正値とする。表示制御部２０は、補正値を算出してステップＳＴ４４に進む。

　ステップＳＴ４４で表示制御部２０は振り向き判定基準値を設定する。表示制御部２０は、判定基準値と算出した補正値を用いて振り向き判定基準値を設定してステップＳＴ４５に進む。

　ステップＳＴ４５で表示制御部２０は振り向き判定を開始する。表示制御部２０は、頭部の向きの観測結果と振り向き判定基準値を用いて、運転者の振り向き動作を判定する処理を開始してステップＳＴ４６に進む。

　ステップＳＴ４６で表示制御部２０は顔の位置と向きを追跡する。表示制御部２０は、顔の位置と向きの観測結果に基づき、顔の位置と向きの追跡を行ってステップＳＴ４７に進む。

　ステップＳＴ４７で表示制御部２０は顔の位置や向きに変化を生じたか判別する。表示制御部２０は、顔の位置や向きに変化がないと判別した場合にステップＳＴ４６に戻り、変化が生じたと判別した場合にステップＳＴ４８に進む。

　ステップＳＴ４８で表示制御部２０はミラー部凝視状態であるか判別する。表示制御部２０は、顔の位置や向きと判定基準値を用いて、運転者がミラー部を凝視している状態であるか判別する。表示制御部２０は、凝視状態であると判別した場合にステップＳＴ４９に進み、凝視状態でないと判別した場合にステップＳＴ４６に戻る。なお、ここでの凝視状態は、生理的な操作として眼の焦点を合わせて状況把握に移行する瞬間が発生するポイントを指しており、必ずしも運転者がミラー部の画像をじっと眺めている状態とは限らない。

　ステップＳＴ４９で表示制御部２０は高速検出モードに移行する。表示制御部２０は、運転者の視認範囲変更指示および視認範囲復元指示を精度よく検出するため、顔の位置や向きの観測を高速で行うことにより、運転者の細かな動きを検出できるようにする。表示制御部２０は、高速検出モードの場合、運転者の顔の位置や向きの観測を例えば１００ｍｓ以下の頻度で定期的に行うようにする。なお、振り向きの検出は通常検出モードで行い、運転者の顔の位置や向きの観測は高速検出モードよりも時間間隔を広くして定期的に行うようにする。表示制御部２０は高速検出モードに移行してステップＳＴ５０に進む。

　ステップＳＴ５０で表示制御部２０は、指示の検出を開始する。表示制御部２０は、顔の位置や向きの観測結果と判定基準値を用いて、視認範囲変更指示および視認範囲復元指示の検出を開始してステップＳＴ５１に進む。

　ステップＳＴ５１で表示制御部２０は指示を検出したか判別する。表示制御部２０は指示検出によって、視認範囲変更指示または視認範囲復元指示を示す運転者の動きが検出された場合にステップＳＴ５２に進む。また、表示制御部２０は、指示が検出されていない場合にステップＳＴ５３に進む。

　ステップＳＴ５２で表示制御部２０は指示に応じて表示制御を行う。表示制御部２０は、例えば視認範囲変更指示を検出した場合、モニタ画像領域に画像が表示される視認範囲を顔の位置や向きの変化に応じて変更する。また、表示制御部２０は、例えば視認範囲復元指示を検出した場合、モニタ画像領域に画像が表示される視認範囲を変更前の領域に戻す。表示制御部２０はこのような表示制御を行いステップＳＴ５０に戻る。

　ステップＳＴ５３で表示制御部２０は、頭部の向きがミラー部方向と異なる方向であるか判別する。表示制御部２０は、頭部の向きの観測結果と判定基準値を用いて、頭部の向きが画像視認方向と異なる方向であるか判別する。表示制御部２０は、頭部の向きが画像視認方向と異なる方向であると判別した場合に高速検出モードを通常検出モードに切り替えてステップＳＴ４７に戻る。また、表示制御部２０は、頭部の向きがミラー部の方向と判別した場合にステップＳＴ５４に進む。

　ステップＳＴ５４で表示制御部２０は、所定の判別期間内であるか判別する。表示制御部２０は、所定の判別期間内である場合にステップＳＴ５０に戻り、所定の判別期間が経過した場合、高速検出モードを通常検出モードに切り替えてステップＳＴ４７に戻る。

　図２９は、振り向きと視認範囲変更指示の動作を例示した図である。また、図３０は、振り向き判定と視認範囲変更指示の判定動作を例示した図である。なお、図３０の（Ａ）は振り向き方向（角度）と時間の関係、図３０の（Ｂ）は振り向き速度と時間の関係を例示している。

　図２９において、方向ＰＦ１は通常時において運転者の頭部が向いている正面方向を示しており、方向ＰＦ２は、ミラー部５５の画像を運転者が視認する際の頭部の向きを例示している。方向ＰＦ３は、ミラー部５５の方向を示している。

　範囲ＦＳ１は通常時における運転者の頭部の向きの移動範囲を例示しており、範囲ＦＳａは運転者の眼球移動による探索範囲を例示している。範囲ＦＳ２は、頭部の向きを方向ＰＦ１から方向ＰＦ２に移動する際の頭部回転加速帯であり、頭部の向きを方向ＰＦ２から方向ＰＦ１に移動する際の頭部回転減速帯である。範囲ＦＳ３は、頭部の向きを方向ＰＦ１から方向ＰＦ２に移動する際の頭部回転減速帯であり、頭部の向きを方向ＰＦ２から方向ＰＦ１に移動する際の頭部回転加速帯である。角ＦＶａは、ミラー部５５の画像を運転者が視認する際の頭部の振り向き角を例示している。角ＦＶｂは、ミラー部５５の画像を運転者が視認する際の眼球移動で確保する振り向き角を例示している。範囲ＦＳｃは、ミラー部５５の画像を運転者が視認する際の眼球移動による探索範囲を例示している。

　図３０の（Ａ）において、範囲ＪＡは運転者が前方を向いていると見なせる振り向き角度の範囲である。範囲ＪＢは運転者が頭部を方向ＰＦ２に向けて回転させたときミラー部５５を凝視していると見なせる振り向き角度の範囲である。範囲ＪＣは眼球移動によりミラー部５５を凝視していると見なせる振り向き角度の範囲である。曲線ＱＣａは頭部の向きを示しており、曲線ＱＣｂは頭部の向きと眼球移動に基づいた視線方向を示している。また、図３０の（Ｂ）において、範囲ＪＥは、前方振り向き時の判定範囲である。

　表示制御部２０は、振り向き速度（頭部の向きの変化に相当）が判定基準値で示された範囲ＪＥを超えたのち範囲ＪＥ内に戻り、振り向き方向（角度）が判定基準値で示された振り向き方向の範囲ＪＢ（ミラー部方向を基準として設定された範囲）内であることを検出する。この場合、表示制御部２０は、運転者がミラー部５５の方向を振り向いて凝視していると推定して振り向き動作が行われたと判別する。なお、眼球移動の検出を行い、頭部の向きと眼球移動に基づいて視線方向を推定すれば、推定した視線方向と範囲ＪＣを比較することで、さらに精度よく振り向き動作の判別を行うことができる。表示制御部２０は、振り向き動作が行われたと判別した場合、視認範囲変更指示を高い時間解像度で検出できるように高速検出モードに変更する。

　なお、運転席側と助手席側の後方視認モニタリングシステムでは、表示部５０やミラー部５５の配置や方向が異なり、指示動作判定や振り向き角判定など全て異なることが予想されるために判定基準は個別に行うのが望ましい。

　表示制御部２０は、振り向き方向（角度）が凝視状態であるか判定するための範囲ＪＢと振り向き方向（角度）を比較して、振り向き方向（角度）が範囲ＪＢを所定の方向に所定回数例えば２回超えたことを検出する。ここで、図３０の（Ａ）に示すように時点ｔｊで運転者における頭部の２回以上の加減速動作の組み合わせを検出した場合、すなわち振り向き方向（角度）が範囲ＪＢを２回超えたことを判別した場合、表示制御部２０は、運転者がミラー部に対して凝視状態で指示を行っていると推定して視認範囲変更指示が行われたと判別する。その後、表示制御部２０は、視認範囲変更指示に応じて視認範囲を変更する表示制御を行う。

　なお、表示制御部２０は、頭部の向きが判定基準値で示された範囲ＪＡ内であることを検出する。この場合、表示制御部２０は、運転者がミラー部方向から正面方向に向きを変えたと判別して、振り向き動作判別前の状態に戻る。

　また、視認範囲変更指示は、運転その状態に応じて操作指示動作量が異なってもよい。一般的に、駐車時などの低速運転動作では運転者はより頭部や体を大きく動かすことに慣れており、他方で高速走行時には主に頭部の移動量は少なく眼球移動が主な視線移動を占めるため、より少ない頭部移動で判定基準を設けるのが好ましい。さらに、図３０では２回以上の反復移動を例示しているが、運転者の頭部動作が実質的に復元を伴わない一連の一方向２段階の加速の動きであってもよい。

　図３１は、操作指示動作量として頭部の回転動作の加速度を用いる場合を例示している。図３１の（Ａ）は、振り向き方向（角度）、図３１の（Ｂ）は振り向き速度、図３１の（Ｃ）は振り向き加速度を示している。

　運転者が複数回の振り向きを行う場合、振り向きの反復動作と次の振り向きの反復動作では開始位置が必ずしも位置せず、例えば前回の振り向きの反復動作で元の位置に戻る前に次の振り向き動作が行われる。この場合、頭部の向きを示す曲線ＱＣａは、図３１の（Ａ）に示すように変化する。したがって、振り向き方向（角度）に基づいて視認範囲変更指示の判別を行うことができない。しかし、振り向きの反復動作を繰り返すと、振り向き加速度は、図３１の（Ｃ）に示すように、振り向きの動作毎に１サイクルの振動を生じた波形となる。したがって、表示制御部２０は、振り向き加速度を利用して、精度よく振り向きの繰り返しを検出できる。

　さらに、表示制御部２０は、運転者の振り向き速度や振り向き方向の動作特性履歴を学習させその運転者固有の特性に応じて、運転者毎に判定基準値を更新する。このように、判定基準値を更新することで、振り向き動作や視認範囲変更指示の判定精度を向上させると共に、より少ない指示動作での正確な指示検出をすることができるように、自己学習機能を備える。また、学習機能では、操作指示動作量を含めた動作特性を自己学習してドライバの特性に最適化する働きを行わせる。

　このような処理を行うことで、運転者が周辺領域の状況を把握する場合の動作に対応した表示制御を精度よく行うことができる。

　また、振り向きの動作が安定した時間経過後に頭部の向きの移動検出を行う。このようにすれば、例えば頭部の向きに対して直交する方向の頭部移動が２回以上繰り返された場合や、首を軸として顔を向き回転させる顔振り動作が２回以上繰り返された場合に、視認範囲変更指示または視認範囲復元指示が行われたと判別される。したがって、指示の判定をさらに精度よく行うことができる。

　本技術では、人が注意視線方向と異なる方向に振り向いた際の人間工学的手順に基づいて、眼球移動で対象物を素早く捉え、合わせて眼の焦点合わせを行い始めると同時に最後に目視注意が行われ始めるにしたがい、頭部移動を安定化する動きを考慮している。つまり、運転者は表示内容を目視して状況把握ができ始めるタイミングでは頭部位置の移動が安定化して停止に向かう。画面把握を通して運転者はさらに視界範囲の変更が必要かを判断するので、この安定化手順を踏んでから指示動作が行わることを反映している。

　また、表示制御において、表示制御部２０は、運転者の頭部の向きがミラー部の方向に移動したことを検出したことに応じて表示制御を行う。例えば頭部の向きがミラー部の方向でない場合は、バックライトを消灯してまたは輝度信号の信号レベルを低下させて、画像が見えないように、または見難くする。また、例えば頭部の向きがミラー部の方向である場合は、バックライトの点灯および輝度制御や輝度信号の信号レベルを調整して視認範囲の画像を確認できるようにする。したがって、運転者が前方を向いている場合に、不必要に明るい周辺領域の画像が表示されることを防止できる。また、運転者がミラー部の方向を向いている場合にのみ、周辺領域の画像を表示できる。

　また、表示制御部２０は、視認範囲の変更後、徐々に自動的に視認範囲を元の位置に戻すようにしてもよい。この場合、運転者は視認範囲を元の範囲に戻す操作を行う必要がない。さらに表示制御部２０は、運転者が状況の確認を瞬時に行うことができなくなってしまうことを防止するため、表示倍率の変化や表示形態の変化は急激に行われることがないように表示制御を行う。

　本明細書の説明では便宜上、頭部方向や視線を認識して指示検出を行う手順の実施例を記載している。しかし、実際には具体的な頭部方向や視線を正確に求めることが目的ではないため、運転者が表示部５０を視認する状態との相関が得られればよく、表示制御部２０の役割は必ずしも視線認識や頭部姿勢を正確に把握でき機能を備えることは必要ではない。そのため、表示制御部２０は図２７の構成に限らず、車両状態と運転者操作指示ジェスチャー応答表示であれば別の構成にしてもよい。

　＜５．他の実施の形態＞
　また、他の実施の形態として、表示部５０に画像を表示する場合に、画像が圧縮して表示されると、表示画像から把握された距離感が周辺範囲に含まれる被写体までの距離と大きく相違してしまうおそれがある。そこで、画像の圧縮度合いに応じて表示部の画面上や周辺に警告表示を設けるようにしてもよい。

　図３２は、警告表示を行う場合の表示制御部の構成を例示している。表示制御部２０は、運転者動き判別部２１、制御処理部３５、表示調整部４１、輝度調整部４２、警告表示重畳部４３を備えている。

　制御処理部３５は、運転者動き判別部２１の判別結果に基づき、表示部５０におけるモニタ画像領域と非モニタ画像領域で異なる表示制御を行う制御信号を生成して、表示調整部４１と輝度調整部４２および警告表示重畳部４３に出力する。

　警告表示重畳部４３は、制御処理部３５からの制御信号に基づき、表示可変処理後の画像に、例えば画像の圧縮の度合いを示す情報を重畳させる。例えば、顔の左右の動きに合わせて視認範囲の画像を表示して、さらに２回以上の顔や頭の繰り返し動作で視認範囲の拡大を行い、逆方向の動作で拡大前の表示に復帰する。また、画像を変倍して表示する場合には変倍表示であることを警告するための動的警告表示を設ける。動的警告表示は警告内容を直感的に理解できるように、変倍動作に応じて枠サイズの調整を行い、枠をゼブラ点線枠で表示して、変倍に応じてゼブラ表示を流れるように表示する。ゼブラ表示の流れに付いては、人の生理的仕組みを考慮すると視線中心外の視野に入った動体反応として認知されその際に危険として接近物に敏感に検知することから接近方向の動きが含まれるのが望ましい。

　このような表示制御を行うことで、画像が圧縮して表示される場合に、運転者の距離感覚等の喪失を防止することができる。例えば画像が圧縮されることで、近接している被写体が離れた位置の被写体として認識されてしまうことを防止できる。

　また、表示制御部２０は、ナビゲーションシステムと連動して表示制御を行い、高速道路の合流時やランドアバウトでの走行では通常の後方視界より広い視野角の画像を表示するようにしてもよい。

　また、運転者の動きの判別では、頭部の向きの移動すなわち首を軸とした頭部の回転に限らず、頭部の傾倒動作（首振り）や運転者の例えば上半身の前後左右方向の運動の少なくとも何れかを利用して表示制御を行うようにしてもよい。さらに、ミラー部方向への頭部の移動動作や姿勢変化を利用して、表示画像のズームイン動作やズームアウト動作を行うようにしてもよい。

　図３３乃至図３５は、運転者の他の動きに基づいた表示制御を例示している。図３３は、周辺領域撮像部の配置と表示部で表示される周辺画像を例示している。車両には図３３の（Ａ）に示すように車両の側面に周辺領域撮像部１１ｃ，１１ｄが設けられており、車両の背面に周辺領域撮像部１１ｅが設けられている。表示制御部２０は、図３３の（Ｂ）に示すように、周辺領域撮像部１１ｃ，１１ｄ，１１ｅで取得された３つの周辺領域の画像を表示部５０に表示する。

　図３４は、頭部を前後方向に移動した場合の周辺領域画像の切り替えを説明するための図である。表示制御部は、頭部の移動が行われる前には、図３４の（Ａ）に示すように、周辺領域撮像部１１ｃ，１１ｄ，１１ｅで取得された３つの周辺領域の画像を表示部５０に表示する。また、表示制御部は、例えば頭部の前方向の移動を判別した場合、図３４の（Ｂ）に示すように、車両側面に設けられている周辺領域撮像部１１ｃ，１１ｄで取得された周辺領域の画像を表示する表示領域を進行方向に拡張した画像に切り替える。その後、表示制御部は、頭部が元の位置に移動した場合、切り替え前の画像に戻す表示制御を行う。

　図３５は、頭部を左方向に移動した場合の周辺領域画像の切り替えを説明するための図である。表示制御部は、頭部の移動が行われる前には、図３５の（Ａ）に示すように、周辺領域撮像部１１ｃ，１１ｄ，１１ｅで取得された３つの周辺領域の画像を表示部５０に表示する。また、表示制御部は、例えば頭部の左方向の移動を判別した場合、図３５の（Ｂ）に示すように、右側の周辺領域の画像を表示する表示領域を拡張した画像に切り替える。その後、表示制御部は、頭部が元の位置に移動した場合、切り替え前の画像に戻す表示制御を行う。

　このように、頭部の向きの移動に限らず、頭部の傾倒動作等を利用して表示制御を行うことで、多様な態様で周辺領域の画像を表示することができる。

　さらに、上述の実施の形態では、運転者の動き判別結果に基づき表示制御を行うことで視認範囲を変更する場合について説明したが、運転者の動き判別結果に基づきミラー部の向きを変更することで、表示部の表示画像における所望の視認範囲の画像がミラー部に映るようにしてもよい。

　また、ミラー部は半透過ミラーを用いた構成として、ミラー部の背面に表示デバイス例えば液晶表示素子や有機ＥＬ表示素子，発光ダイオードを用いた表示素子等を設けてもよい。この場合、ミラー部では、表示部で表示された周辺領域の画像と共に背面の表示デバイスで表示された画像を同時に視認できる。したがって、背面の表示デバイスで種々の情報を表示すれば、運転者は周辺領域を確認しながら情報を同時に読み取ることができる。背面の表示デバイスで表示する情報は、表示部に表示された周辺領域画像に関連した情報（例えば判定された運転者の指示や判別された視認範囲のモード等）であってもよく、運転状況等に関連した情報（ナビゲーション指示情報等）等であってもよい。

　さらに、ミラー部は、半透過ミラーが半透過調光機能を有する構成、または半透過ミラーの背面にさらに透過光の光調光デバイスを配置した構成としてもよい。このような構成とすれば、ミラー部の背面に設けられた表示デバイスの表示画像の見え具合を半透過調光機能や光調光デバイスを利用して調整することが可能となる。したがって、周辺領域の確認を行いながら種々の情報を容易に読み取ることができるように情報を表示できる。

　また、上述の実施の形態では、バックミラーに相当する機能を実現する場合について例示した。しかし、周辺領域の視認はバックミラーに限らずルームミラーで行われることから、ルームミラーに相当する機能を実現してもよい。次に、他の実施の形態として、ルームミラーに相当する機能を実現する場合について説明する。なお、この場合、表示部やミラー部等の配置は必ずしも従来のミラーに相当する配置にこだわらなくてもよく、例えばダッシュボード上のセンターメーターやコンソールパネル等の近傍位置等に配置してもよい。

　まず、１台の周辺領域撮像部を用いてルームミラーに相当する機能を実現する場合について説明する。図３６は、１台の周辺領域撮像部を用いてルームミラーに相当する機能を実現する場合の構成を例示している。例えば図３６の（Ａ）に示すように、車両の後部に１台の周辺領域撮像部を設けて車両の後方を撮像して、周辺領域撮像部１１で取得された周辺領域の画像を運転者ＤＲが確認できるようにする。なお、図３６の（Ａ）では、周辺領域の画像を表示する表示部は省略している。

　また、周辺領域撮像部１１で取得された周辺画像を運転者ＤＲが目視する場合でも、ルームミラー６１に映る周辺領域と同等の距離感を維持できるようにする。例えば、周辺領域撮像部１１で撮像された領域（周辺領域撮像部１１で取得される周辺画像の水平方向の画角）ＡＲｕは、ルームミラー６１に映る周辺領域の水平方向の視野領域ＡＲｒｍと略等しくする。このようにすれば、１台の周辺領域撮像部を用いてルームミラーに相当する機能を実現できる。

　ところで、図３６の（Ａ）に示すように後続車ＯＢｃや人物ＯＢｐが位置している場合、ルームミラー６１に映る周辺画像は図３６の（Ａ）の視野領域ＡＲｒｍの画像であることから例えば図３６の（Ｂ）に示す画像となる。また、周辺領域撮像部１１で撮像される周辺領域は図３６の（Ａ）の周辺領域ＡＲｕであることから例えば図３６の（Ｃ）に示す画像となる。すなわち、周辺領域撮像部１１で撮像される周辺領域の画像では、ルームミラー６１に映る周辺画像に対して車両近傍で死角となる領域が大きいため、図３６の（Ｃ）に示すように人物ＯＢｐを確認することができない。

　そこで、図３７に示すように、複数台の周辺領域撮像部を用いてルームミラーに相当する機能を実現する。例えば車両の左側に周辺領域撮像部１１ｇ、車両の右側に周辺領域撮像部１１ｈを設けてそれぞれの周辺領域撮像部で後方を撮像してルームミラーに相当する機能を実現する場合に、図３６の場合に比べて死角を少なくする。なお、領域ＡＲｒｍはルームミラー６１に映る周辺画像の水平方向の視野領域、領域ＡＲｕｇは左側の周辺領域撮像部１１ｇで取得された周辺画像の水平方向の視野領域、領域ＡＲｕｈは右側の周辺領域撮像部１１ｈで取得された周辺画像の水平方向の視野領域である。このようにすれば、周辺領域撮像部を用いてルームミラーに相当する機能を実現する場合に、周辺領域撮像部１１ｇと周辺領域撮像部１１ｈで取得された周辺領域の画像を合成することで、車両近傍で死角となる領域が大きくなってしまうことを防ぐことができる。

　また、周辺領域撮像部１１ｇと周辺領域撮像部１１ｈで取得された周辺領域の画像は視差を生じていることから、視差の違いを打ち消して周辺画像を合成表示することは困難である。そこで、周辺領域の画像の合成では、視差の違いが目立たないように画像の合成処理を人間工学的に容易に行えるようにする。

　図３８は、ルームミラーよりも死角を少なくした場合の構成を例示している。車両の左側には周辺領域撮像部１１ｊ、車両の右側には周辺領域撮像部１１ｋが設けられている。周辺領域撮像部１１ｊは、取得される周辺画像の水平方向の視野領域（画角）が、ルームミラー６１に映る周辺画像の水平方向の視野領域ＡＲｒｍに含まれる領域ＡＲｕｊ１と、視野領域ＡＲｒｍより左外側の領域ＡＲｕｊ２を含むように設定されている。周辺領域撮像部１１ｋは、取得される周辺画像の水平方向の視野領域（画角）が、ルームミラー６１に映る周辺画像の水平方向の視野領域ＡＲｒｍに含まれる領域ＡＲｕｋ１と、視野領域ＡＲｒｍより右外側の領域ＡＲｕｋ２を含むように設定されている。また、車両の後方位置では、領域ＡＲｕｊ１と領域ＡＲｕｋ１の少なくとも一方に視野領域ＡＲｒｍが含まれるように設定されている。

　上述の表示制御部２０の表示調整部４１は、制御処理部３５からの制御信号に基づき、周辺領域撮像部１１ｊ，１１ｋで取得された周辺画像から画像を切り出して結合する。制御処理部３５は、係合後の画像において周辺領域が連続しているように画像の切り出しを制御する。さらに制御処理部３５は、運転者動き判別部２１の判別結果に基づき画像の切り出し位置や結合位置を運転者の指示に応じて移動する。

　制御処理部３５は、例えば周辺領域撮像部１１ｊで取得された周辺画像における領域ＡＲｍｊの画像と、周辺領域撮像部１１ｋで取得された周辺画像における領域ＡＲｍｋの画像を結合することで、図３８の（Ｂ）に示すように、領域ＡＲｒｍを含む周辺領域を確認できるようになる。また、視差の違いを打ち消して合成表示する処理を行わなくとも、領域ＡＲｍｊの画像と領域ＡＲｍｋの画像を結合するだけで周辺領域の確認に用いる画像を生成できるので、周辺領域の確認用の画像を容易に生成できる。

　また、画像の結合では、画像の結合位置を基準とした所定範囲において、所謂ブレンド処理を行い、周辺領域撮像部１１ｊで取得された周辺画像と周辺領域撮像部１１ｋで取得された周辺画像の混合比を連続的に変化させる。このような処理を行えば、結合部分を目立たなくできる。

　また、制御処理部３５は、運転者動き判別部２１の判別結果に基づき画像の切り出し位置を可変させて、運転者ＤＲの位置が例えば左右に移動した場合、ルームミラー６１に映る周辺領域の移動と同様に画像の切り出しを行う領域を移動させる。このようにすれば、運転者が動きを生じてもバックミラーに相当する機能を実現できる。

　ところで、周辺領域撮像部１１ｊで取得された周辺画像と周辺領域撮像部１１ｋで取得された周辺画像の結合では、右視点の画像と左視点の画像が結合されることから、後方の車両や人物が結合位置にある場合、車両や人物等の画像が違和感のある画像となってしまうおそれがある。特に、車両や人物等が近接していると、視差が大きいため結合部分で画像の違和感が顕著となってしまう。そこで、制御処理部３５は、運転者動き判別部２１の判別結果に基づき、運転者からの指示に応じて結合位置を変更できるようにする。

　図３９は、画像の結合位置の切り替えを説明するための図である。図３９の（Ａ）に示すように、周辺領域撮像部１１ｊで取得された周辺画像と周辺領域撮像部１１ｋで取得された周辺画像の結合位置が位置Ｐｂ１である場合、後続車ＯＢｃや人物ＯＢｐの画像領域に位置Ｐｂ１が含まれていないことから、表示された周辺画像によって、後続車ＯＢｃや人物ＯＢｐを容易に確認できる。しかし、結合位置が位置Ｐｂ１で固定されており、図３９の（Ｂ）に示すように、人物ＯＢｐの画像領域が位置Ｐｂ１となると、人物ＯＢｐの左視点の画像と右視点の画像が結合された画像となり、人物ＯＢｐを正しく判別することが困難になってしまうおそれがある。そこで、制御処理部３５は、運転者の指示に応じて結合位置を変更する。例えば結合位置を左方向に移動する運転者の指示を判別した場合、図３９の（Ｃ）に示すように、結合位置を左方向に移動する。このように結合位置の移動が行われると、人物ＯＢｐは周辺領域撮像部１１ｋで取得された周辺画像のみで表示されることから、人物ＯＢｐを容易に正しく判別できるようになる。

　また、制御処理部３５は、結合位置を示す表示（例えばマーカー等の表示）を行うようにすれば、運転者は、結合位置と後続車や人物等の位置関係を容易に把握できることから、結合位置の移動が必要であるか否か、また結合位置をいずれの方向に移動することが好ましいか容易に判別できるようになる。なお、結合位置の初期位置は、予め設定されている位置またはユーザが設定した位置に自動的に設定してもよく、前回の運転終了時に設定されていた位置としてもよい。

　また、運転者の指示は、例えば上述の運転者の動作に対応させたヒューマンマシンインターフェースを用いて、運転者の操作指示ジェスチャーから指示を検出する。このようにすれば、運転者は頭部や視線を移動させるだけで容易に結合位置を所望の方向に移動させることが可能となる。

　なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、上述のような処理を行うシーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、信号処理半導体内蔵または個別のＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線、自己診断機能またはOBD（オン・ボード・ダイアグノースティックス）端子経由で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストール、アップデートすることができる。

　また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

　なお、本技術の信号処理装置は以下のような構成もとることができる。
　（１）　車両の周辺領域を撮像して得られた画像から前記車両の運転者に提示する画像領域を、前記車両の運転状況に関する運行情報に基づき設定して、前記運転者が提示された画像によって視認できる前記周辺領域の視認範囲を前記運転状況に応じて制御する表示制御部を備えた信号処理装置。
　（２）　前記表示制御部は、前記車両の進行方向に関した運行情報に基づき、前記車両の外側方向に前記視認範囲を制御する（１）に記載の信号処理装置。
　（３）　前記車両の周辺領域を撮像して得られた画像は、前記車両の所定位置または進行方向に異なる複数の所定位置から撮像された画像であり、
　前記表示制御部は、前記運行情報に基づき、前記撮像された画像における１または複数の画像に対して前記提示する画像領域を設定して、前記視認できる周辺領域の視認範囲を前記運転状況に応じて制御する（１）または（２）に記載の信号処理装置。
　（４）　前記車両はキャビンに牽引トレーラ部が連結された構成とされており、
　前記車両の所定位置から撮像された画像は、前記キャビンの所定位置から前記車両の周辺領域を撮像した画像であり、前記車両の進行方向に異なる複数の所定位置から撮像された画像は、前記キャビンと前記牽引トレーラ部のそれぞれの所定位置から前記車両の周辺領域を撮像した画像である（３）に記載の信号処理装置。
　（５）　前記表示制御部は、前記運行情報に基づき前記キャビンの向きと前記牽引トレーラ部の向きが相違する運転状況であるとき、前記牽引トレーラ部の外側が前記視認範囲に含まれるように前記提示する画像領域を設定する（４）に記載の信号処理装置。
　（６）　前記運行情報は、前記車両の車速情報，ステアリング状態を示す情報，ギヤ位置情報，方向指示器設定状態，前記車両がキャビンに牽引トレーラ部が連結された構成である場合における前記キャビンに対する前記牽引トレーラ部の曲がり角，前記牽引トレーラ部の接続状態を示す情報，現在位置情報の少なくとも何れかの情報を含む（１）乃至（５）の何れかに記載の信号処理装置。

　この技術の信号処理装置と信号処理方法およびモニタリングシステムでは、車両の周辺領域を撮像して得られた画像から車両の運転者に提示する画像領域が、車両の運転状況に関する運行情報に基づき設定されて、運転者が提示された画像によって視認できる周辺領域の視認範囲が運転状況に応じて制御される。このため、運転者が視認できる周辺領域の視認範囲が運転状況に応じて制御されて、車両の周辺領域を容易に視認できるようになり、トレーラ等の車両に適している。

　１０・・・表示装置
　１１，１１ａ，１１ｂ，１１・・・周辺領域撮像部
　１２・・・運転者撮像部
　１３・・・運転状況検出センサ
　１５・・・運転者識別情報取得部
　２０・・・表示制御部
　２１・・・運転者動き判別部
　２２・・・運転状況判別部
　２３・・・認識部
　２４・・・振り向き判定部
　２５・・・指示動作判定部
　２６・・・運転者認証部
　３５・・・制御処理部
　４１・・・表示調整部
　４２・・・輝度調整部
　４３・・・警告表示重畳部
　５０・・・表示部
　５５・・・ミラー部
　６１・・・ルームミラー
　９１・・・バックミラー
　２４１・・・振り向き判定処理部
　２４２・・・振り向き判定学習部
　２４３・・・判定基準値記憶部
　２５１・・・指示動作判定処理部
　２５２・・・指示動作判定学習部
　２５３・・・判定基準値記憶部

Claims

　車両の周辺領域を撮像して得られた画像から前記車両の運転者に提示する画像領域を、前記車両の運転状況に関する運行情報に基づき設定して、前記運転者が提示された画像によって視認できる前記周辺領域の視認範囲を前記運転状況に応じて制御する表示制御部
を備えた信号処理装置。
　前記表示制御部は、前記車両の進行方向に関した運行情報に基づき、前記車両の外側方向に前記視認範囲を制御する
請求項１記載の信号処理装置。
　前記車両の周辺領域を撮像して得られた画像は、前記車両の所定位置または進行方向に異なる複数の所定位置から撮像された画像であり、
　前記表示制御部は、前記運行情報に基づき、前記撮像された画像における１または複数の画像に対して前記提示する画像領域を設定して、前記視認できる周辺領域の視認範囲を前記運転状況に応じて制御する
請求項１記載の信号処理装置。
　前記車両はキャビンに牽引トレーラ部が連結された構成とされており、
　前記車両の所定位置から撮像された画像は、前記キャビンの所定位置から前記車両の周辺領域を撮像した画像であり、前記車両の進行方向に異なる複数の所定位置から撮像された画像は、前記キャビンと前記牽引トレーラ部のそれぞれの所定位置から前記車両の周辺領域を撮像した画像である
請求項３記載の信号処理装置。
　前記表示制御部は、前記運行情報に基づき前記キャビンの向きと前記牽引トレーラ部の向きが相違する運転状況であるとき、前記牽引トレーラ部の外側が前記視認範囲に含まれるように前記提示する画像領域を設定する
請求項４記載の信号処理装置。
　前記運行情報は、前記車両の車速情報，ステアリング状態を示す情報，ギヤ位置情報，方向指示器設定状態，前記車両がキャビンに牽引トレーラ部が連結された構成である場合における前記キャビンに対する前記牽引トレーラ部の曲がり角，前記牽引トレーラ部の接続状態を示す情報，現在位置情報の少なくとも何れかの情報を含む
請求項１記載の信号処理装置。
　運転状況検出部で取得された車両の運転状況に関する運行情報に基づき、撮像部で前記車両の周辺領域を撮像して得られた画像から前記車両の運転者に提示する画像領域を表示制御部で設定して、前記運転者が提示された画像によって視認できる前記周辺領域の視認範囲を前記運転状況に応じて制御する工程
を含む信号処理方法。
　車両の周辺領域を撮像する撮像部と、
　前記車両の運転状況に関する運行情報の運行情報を取得する運転状況検出部と、
　前記撮像部で得られた画像から前記車両の運転者に提示する画像領域を、前記運転状況検出部で取得された前記運行情報に基づき設定して、前記運転者が提示された画像によって視認できる前記周辺領域の視認範囲を前記運転状況に応じて制御する表示制御部と
を備えるモニタリングシステム。