JP5397697B2

JP5397697B2 - 画像制御装置

Info

Publication number: JP5397697B2
Application number: JP2010056355A
Authority: JP
Inventors: 英彦三好; 昇長嶺; 健次三浦; 欣司山本; 謙二郎後藤
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 2010-03-12
Filing date: 2010-03-12
Publication date: 2014-01-22
Anticipated expiration: 2030-03-12
Also published as: CN102783145A; CN102783145B; JP2011193136A; WO2011111448A1; EP2547104A4; EP2547104B1; US20130002877A1; EP2547104A1

Description

本発明は画像制御装置に関し、詳しくは、乗用車等の車体に備えたカメラの撮影画像を運転座席近傍のモニタに表示する技術に関する。

上記のように構成された画像制御装置として特許文献１には、車輌の左右のドアに後方を撮影するカメラをドアに備え、ドアが開放した場合にカメラの撮影データを表示するディスプレイを車内に備えた構成が記載されている。

この特許文献１では、右側のドアが開放された場合には、そのドアに備えたカメラで撮影した車輌後方の撮像データをディスプレイの右側に表示し、左側のドアが開放された場合には、そのドアに備えたカメラで撮影した車輌後方の撮影データをディスプレイの左側に表示する。これにより、障害物がドアに接近していることをディスプレイを介して乗員に認識させ、ドアの開閉動作支援できるようにするものである。

また、特許文献２では、車輌に備えた複数のカメラの映像に基づいて車輌の周辺の俯瞰映像を複数の撮影領域に分割してディスプレイに表示すると共に、撮影領域の１つにユーザが触れて選択した場合には、選択された撮影領域をディスプレイの俯瞰映像と隣接する位置に拡大表示する制御形態が記載されている。

この特許文献２では、駐車する場所に窪みや障害物があり、且つ、これらの窪みや障害物が車内から直接視認することが難しい場合でも、カメラ視点拡大映像、又は、部分拡大俯瞰映像がディスプレイに表示されることにより窪みや障害物をディスプレイ上で容易に確認できるようにするものである。

特開２００６‐１０３５２６号公報特開２００９‐２３９６７４号公報

乗用車を停車させ、ドアを開いて乗員の乗降が行われる場合には運転座席の運転者が、乗員の乗降の様子や、周囲の障害物等を確認したいことがある。特に、道路の路肩に停車させた状態で子供の乗降を行う場合には、道路側を他の車両が走行することもあり、安全面から乗降を確実に確認したい面もある。

このような現状に対して、引用文献１に記載される技術では、ドアを開いた際に車体後方から自動車やバイク等が接近する様子を、運転座席の近傍のディスプレイによって視認できるものである。しかしながら、乗員の乗降の確認を想定したものではないため、乗員の乗降の把握が困難な面がある。

また、引用文献２に記載される技術では、ドア付近を拡大してディスプレイに表示できるものであるが、乗員の乗降を確認する場合には、乗員の乗降が行われるドアを特定し、そのドアが撮影される領域を運転者が指定する必要があり、手間が掛かるものである。

本発明の目的は、乗員の乗降の状況を運転者が容易に確認できる画像制御装置を合理的
に構成する点にある。

本発明の特徴は、車体の左側の後部ドアを撮影領域に含むように撮影する左サイドカメラと、前記車体の右側の後部ドアを撮影領域に含むように撮影する右サイドカメラと、運転座席の近傍に設けられ、前記左サイドカメラと前記右サイドカメラとの撮影画像の表示が可能なモニタと、前記車体の左右の後部ドアの開放状態を検出するドア開放検出センサと、前記左サイドカメラ及び前記右サイドカメラの撮影画像に基づいて前記車体の周辺を上方から見下ろした俯瞰画像を生成する俯瞰画像生成手段と、前記ドア開放検出センサで前記後部ドアの開放状態を検出した際に開放状態となった前記後部ドアを撮影する前記左サイドカメラ又は前記右サイドカメラの少なくとも一方の撮影画像と、前記俯瞰画像生成手段によって生成した俯瞰画像とを所定のレイアウトで前記モニタに表示する情報出力手段を備える点にある。

この構成によると、ドア開放検出センサで後部ドアの開放状態を検出した際には開放状態となった後部ドアを撮影する左サイドカメラ又は右サイドカメラの撮影画像を少なくとも一方の撮影画像と、俯瞰画像とが所定のレイアウトでモニタに表示される。つまり、後部ドアが開放状態に達した際に運転者は特別な操作を行わずとも運転座席の位置において開放状態にある後部ドア付近の映像を確認できることになる。また、俯瞰画像をモニタに表示することにより、ドア近傍の状況と、車体周辺の全体的な状況との把握が可能となる。
その結果、乗員の乗降の状況を運転者が容易に確認できる画像制御装置が構成された。

本発明は、前記左サイドカメラの撮影画像からの撮影画像を左表示画像として生成し、右サイドカメラの撮影画像からの撮影画像を右表示画像として生成する表示画像生成手段が備えられ、この表示画像生成手段が、前記左サイドカメラの撮影画像の少なくとも一部の左右を鏡面反転する処理により前記左表示画像を生成し、前記右サイドカメラの撮影画像の少なくとも一部の左右を鏡面反転する処理により前記右表示画像を生成しても良い。

これによると、左サイドカメラの撮影画像の少なくとも一部の左右を鏡面反転することで生成された左表示画像と、右サイドカメラの撮影画像の少なくとも一部の左右を鏡面反転することで生成された右表示画像とがモニタに表示されることにより、運転座席からミラーによってドア付近を目視する感覚でモニタからドア付近の状況を把握できる。

本発明は、前記情報出力手段は、前記左表示画像と、前記右表示画像との少なくとも１つと、前記俯瞰画像とを所定のレイアウトで前記モニタに表示しても良い。

これによると、左ドア開放センサと右ドア開放センサとの少なくとも一方が開放状態にあることを検出した際には、情報出力手段が所定のレイアウトで左表示画像と右表示画像との少なくとも１つをモニタに表示すると共に、俯瞰画像をモニタに表示することにより、ドア近傍の状況と、車体周辺の全体的な状況との把握が可能となる。

本発明は、前記情報出力手段が、前記モニタに対して前記俯瞰画像を表示する俯瞰画像ウインドウを設定し、前記左表示画像を表示する左ウインドウと、前記右表示画像を表示する右ウインドウとを左右に並列する位置関係に設定しても良い。

これによると、例えば、左右のドアが共に開いた場合には、情報出力手段が左撮影画像を左ウインドウに表示し、右撮影画像を右ウインドウに表示する。これにより、運転者は並列配置された左ウインドウと右ウインドウとから位置関係に違和感なくドアの近傍の状況を把握できる。

本発明は、前記ドア開放検出センサとして、前記車体の左側の後部ドアの開放状態を検出する左ドア開放センサが備えられ、前記ドア開放検出センサとして、前記車体の右側の後部ドアの開放状態を検出する右ドア開放センサが備えられても良い。

これによると、左側ドア開放センサと右側ドア開放センサとからの検出信号により対応するサイドカメラの撮影画像をモニタに表示できる。

本発明は、前記車体が停車状態にあることを検出し、かつ、前記ドア開放検出センサでドアの開放状態を検出した際に、既に実行されている制御モードの情報の表示に優先して前記カメラの撮影画像を前記モニタに表示する制御を乗降確認モードとして実行する制御モード設定部を備えても良い。

これによると、何らかの制御モードの制御が実行され、その制御モードに従う情報がモニタに表示されている状況であっても、車体が停車し、ドアが開放状態になった場合には、制御モード設定部が乗降確認モードを優先して実行することになり、開放状態になったドアの状況をモニタで確認できることになる。

乗用車の構成の概要を示す平面図である。乗用車の一部切り欠き斜視図である。制御系のブロック回路図である。乗降確認画面のレイアウトを示す図である。右後部ドアの開放時の乗降確認画面を示す図である。左後部ドアと右後部ドアとの開放時の乗降確認画面を示す図である。モニタ表示制御のフローチャートである。

以下、本発明の実施の形態を図面に基づいて説明する。
本実施の形態では、車体１に備えられた複数のカメラの撮影画像から車体１の周辺を上方から見下ろした形態となる俯瞰画像を生成してモニタ２１に表示する画像制御装置を備えている。特に、この画像制御装置は、何れかのドアが開放した場合に、複数のカメラのうち、そのドアを撮影領域に含む撮影画像をモニタ２１に表示することで乗員の乗降を把握できる制御を実行するものであり、この制御形態と制御構成とを以下に説明する。

〔基本構成〕
図１及び図２に示すように、乗用車の車体１に左右の前車輪２と、左右の後車輪３とを備えている。この車体１の前部位置にヒンジにより開閉自在な左前部ドア４と右前部ドア５とを備え、車体１の後部位置にスライド式に開閉自在な左後部ドア６と右後部ドア７とを備え、車体１の後端にはハッチバック式のバックドア８を備えている。

左前部ドア４と右前部ドア５と左後部ドア６と右後部ドア７とは乗員の乗降に用いられるものであり、外面側にアウトサイドハンドル１１を備え、ルーム側にインサイドハンドル１２を備えている。このアウトサイドハンドル１１又はインサイドハンドル１２を操作することにより、ドアを閉じ状態に維持するラッチを解除してドアの開放が可能になる。尚、車体１の後端のバックドア８は乗員の乗降に利用されない。

車体１のルーム内には運転座席１３と、助手座席１４と、複数の後部座席１５とが備えられている。運転座席１３の前方位置にはステアリングホイール１６が備えられ、その前部にメータ類を有したパネルが配置されている。運転座席１３の足元にはアクセルペダル１７と、前車輪２及び後車輪３のブレーキ装置ＢＫを操作するブレーキペダル１８とが配置され、運転座席１３の側部には変速を実現するシフトレバー１９が配置されている。

当然のことながら、前述した右前部ドア５は運転座席１３への運転者の乗降時に開放され、左前部ドア４は助手座席１４への乗員の乗降時に開放される。前述した左後部ドア６と右後部ドア７とは後部座席１５への乗員の乗降時に開放される。

運転座席１３の近傍、コンソールの上部位置には、表示面にタッチパネル２１Ｔが形成されたモニタ２１が備えられている。モニタ２１は、バックライトを備えた液晶式のものである。もちろん、プラズマ表示型のものやＣＲＴ型のものであっても良い。また、タッチパネル２１Ｔは、指などによる接触位置をロケーションデータとして出力する感圧式や静電式の指示入力装置として構成される。モニタ２１にはスピーカ２２も備えられているが、スピーカ２２はドアの内側など、他の場所に備えられても良い。

左前部ドア４には左サイドミラー２３を備え、右前部ドア５には右サイドミラー２４を備えている。本実施の形態では、車体周辺を撮影する撮影装置として、左サイドミラー２３に左サイドカメラ２５が備えられ、右サイドミラー２４に右サイドカメラ２６が備えられ、車体１の前端に前部カメラ２７が備えられ、車体１の後端に後部カメラ２８が備えられている。

特に、左サイドカメラ２５は撮影方向が下方にセットされ、車体１の左側の路面を含む左側領域を撮影するものであるが、この左サイドカメラ２５の撮影画像には左後部ドア６が含まれる。これと同様に、右サイドカメラ２６も撮影方向が下方にセットされ、車体１の右側の路面を含む右側領域を撮影するものであるが、この右サイドカメラ２６の撮影画像には右後部ドア７が含まれる。

これら撮影装置してのカメラはＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を内蔵するデジタルカメラであり、撮影した情報を動画情報としてリアルタイムに出力する。これらのカメラには、広角レンズを備えることで広い視野角が確保され、撮影画像に車体１の一部と車体１の近傍の路面が含まれるように撮影方向がセットされている。

モニタ２１は、ナビゲーションモードの制御においてナビゲーション情報が表示されるものであるが、駐車支援モードの制御において駐車支援情報が表示される。また、乗降確認モードの制御において、左後部ドア６と右後部ドア７とにおける乗員の乗降を確認するための画像が表示される。尚、本発明では、乗降確認モードの制御における画像を表示するための専用のモニタを備えても良い。

車体前部には、ステアリングホイール１６の回転操作力を前車輪２に伝えて駆動操向（操舵）を行うパワーステアリングユニットＰＳを備えている。また、車体前部には、エンジンＥと、このエンジンＥからの動力を変速して前車輪２に伝えるにトルクコンバータやＣＶＴ等で成る変速機構Ｔとを備えている。

車体１には運転操作や、車体１の移動状態を検出するための各種センサが備えられている。具体的に説明すると、ステアリングホイール１６の操作系にはステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサＳ１６が備えられている。また、シフトレバー１９の操作系にはシフト位置を判別するシフト位置センサＳ１９が備えられている。アクセルペダル１７の操作系には操作量を計測するアクセルセンサＳ１７が備えられ、前記ブレーキペダル１８の操作系には操作の有無を検出するブレーキセンサＳ１８が備えられている。

後車輪３の近傍には後車輪３の回転量から車体１の移動量を計測するようにフォトインタラプタ型やピックアップ型の移動距離センサＳ３が備えられている。尚、移動距離センサＳ３として、変速機構Ｔの内部の伝動系の回転量から移動量を取得するものを用いても良い。また、移動距離センサＳ３は、前車輪２の回転量を計測するものでも良い。更に、前部カメラ２７あるいは後部カメラ２８の撮影画像の画像処理から車体１の移動量とステアリング量とを検出するように構成しても良い。

左後部ドア６の開放状態を検出する左ドア開放検出センサＳ６と、右後部ドア７の開放状態を検出する右ドア開放検出センサＳ７とが備えられている。この左ドア開放検出センサＳ６と右ドア開放検出センサＳ７とはドアが開放作動を開始したタイミングで検出信号を出力するような開放状態となったことを検出するリミットスイッチ等で構成される。尚、左ドア開放検出センサＳ６と右ドア開放検出センサＳ７として、これらのドアのアウトサイドハンドル１１やインサイドハンドル１２が操作されたことや運転者がスイッチを操作してこれらのドアを開けるオートスライドドアの場合には、そのスイッチ操作を検出するセンサを用いても良い。

〔制御構成〕
車体の中央部には、本発明の駐車支援装置の中核をなす画像制御装置としてのＥＣＵ３０を配置している。このＥＣＵ３０は、図３に示すように、センサ入力インターフェース３１と、通信インターフェース３２とで成るインターフェースを備えると共に、画像出力モジュール３３と音声出力モジュール３４とを備えている。

このＥＣＵ３０では、インターフェースを介して得られる情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）等の処理系を備え、処理結果は画像出力モジュール３３からモニタ２１に出力され、また、音声出力モジュール３４からスピーカ
２２に出力される。

このＥＣＵ３０には、ナビゲーションモードの制御を実現するナビゲーション制御部３５と、ナビゲーション制御部３５に地図情報を与える地図データ保存部３６と、駐車支援モードの制御を実現する駐車支援制御部３７と、乗降確認モードの制御を実現する画像処理部３８とを備えている。

ナビゲーション制御部３５は、走行時にＧＰＳユニット４１から経度情報と緯度情報とで示される自車位置を取得し、この自車位置に対応した地図データを取得してモニタ２１に表示する。そして、目的地へ誘導するナビゲーション情報をモニタ２１に表示すると共に、誘導情報をスピーカ２２から音声で出力する。地図データ保存部３６は、自車位置に対応した地図データをナビゲーション制御部３５に与える処理を行う。

駐車支援制御部３７は、駐車を行う際に、カメラビューモードと、アラウンドビューモードとの少なくとも一方の画像をモニタ２１に表示すると共に、この撮影画像に対して車体１を駐車位置に導く支援情報等が重畳表示される。また、支援情報としてスピーカ２２からステアリング方向等の支援情報が音声で出力される。このような情報に基づいてステアリング操作等を行うことにより車体１を駐車位置に容易に導入できることになる。

画像処理部３８は、俯瞰画像生成手段３８Ａと、表示画像生成手段３８Ｂと、表示対象設定手段３８Ｃと、情報出力手段３８Ｄとを備えている。俯瞰画像生成手段３８Ａは、図４に示す乗降確認画面の俯瞰画像ウインドウ４５に表示される俯瞰画像を生成する。表示画像生成手段３８Ｂは、図４に示す乗降確認画面の左ウインドウ４６又は右ウインドウ４７に表示される表示画像を生成する。表示対象設定手段３８Ｃは、左ウインドウ４６又は右ウインドウ４７に表示される表示画像を設定する。情報出力手段３８Ｄは、モニタ２１に乗降確認画面を表示し、この乗降確認画面に対して前述した俯瞰画像ウインドウ４５、左ウインドウ４６、右ウインドウ４７等を所定のレイアウトで配置し、夫々に対して画像を表示する。

尚、ナビゲーション制御部３５と、駐車支援制御部３７と、画像処理部３８とはソフトウエアで構成されるものであるが、これらをハードウエアで構成しても良く、これらをソフトウエアとハードウエアとで構成しても良い。

ＥＣＵ３０は、電子回路により構成され、インターフェースや出力系の一部又は全てがこのような電子回路に含まれていても良い。尚、ＥＣＵ３０には、処理系を構成する電子回路、あるいは、別部品としてメモリやレジスタなどによって構成される記憶部を有し、データバス、アドレスバス、コントロールバス等により情報の入出力が行われる。

センサ入力インターフェース３１には、ステアリングセンサＳ１６と、シフト位置センサＳ１９と、アクセルセンサＳ１７と、ブレーキセンサＳ１８と、移動距離センサＳ３とからの情報が入力する。

通信インターフェース３２は、通信回線を介してパワーステアリングユニットＰＳと、変速機構Ｔと、ブレーキ装置ＢＫと、ＧＰＳユニット４１と間で通信を行う。更に、この通信インターフェース３２は、タッチパネル２１Ｔと、左サイドカメラ２５と、右サイドカメラ２６と、前部カメラ２７と、後部カメラ２８と、左ドア開放検出センサＳ６と、右ドア開放検出センサＳ７とからの情報を取得する。

画像出力モジュール３３は、モニタ２１に対して画像を出力し、音声出力モジュール３４は、スピーカ２２に対して音声を出力する。

〔制御形態〕
このＥＣＵ３０は、ナビゲーションモードの制御と、駐車支援モードの制御と、乗降確認モードの制御とを実現する。特に、乗降確認モードでの制御では、左後部ドア６と右後部ドア７との少なくとも一方が開放状態にある際に、開放状態にあるドアの近傍の画像をモニタ２１に拡大表示するものであり、この制御形態を図７のフローチャートに基づいて説明する。

ＥＣＵ３０は、移動距離センサＳ３やシフト位置センサＳ１９からの信号に基づいて車体１が停車状態にあることを判定した状況において、左ドア開放検出センサＳ６と右ドア開放検出センサＳ７とからの信号を取得し、左後部ドア６と右後部ドア７との何れも開放状態にない場合には、既に設定されているモード（ナビゲーションモード又は駐車支援モード）の制御による情報をモニタ２１に表示する（＃１０１〜＃１０３ステップ）。
尚、＃１０１ステップにおける「停車状態」との判定は車速センサを備えたものでは、車速を０ｋｍ／ｈである場合としても良く、車速センサの検出遅れを考慮して極低速（１〜２ｋｍ／ｈ）以下の場合としても良い。

これとは逆に、左ドア開放検出センサＳ６と右ドア開放検出センサＳ７との信号から左後部ドア６と右後部ドア７との少なくとも一方が開放状態にあることを判定した場合には、乗降確認モードに移行する。この乗降確認モードでは、図４に示すように、モニタ２１に乗降確認画面を表示し、この乗降確認画面の俯瞰画像ウインドウ４５に対し俯瞰画像生成手段３８Ａが生成した俯瞰画像を表示する（＃１０４ステップ）。

この乗降確認画面では、俯瞰画像ウインドウ４５と、左ウインドウ４６と、右ウインドウ４７との画像表示領域が並列的に設定されると共に、メッセージ表示領域４８と、アイコン表示領域４９とが図４に示すレイアウトで配置されるものであり、このレイアウトは情報出力手段３８Ｄが設定する。

俯瞰画像生成手段３８Ａは、左サイドカメラ２５と、右サイドカメラ２６と、前部カメラ２７と、後部カメラ２８との撮影画像から車体の周辺を上方から見下ろした画像に変換し、変換画像を中央位置の車体平面イメージの周囲の仮想路面上にマッピングする合成処理により俯瞰画像を生成し、情報出力手段３８Ｄがモニタ２１に出力する。

この俯瞰画像が俯瞰画像ウインドウ４５に表示された場合には、中央位置に車体イメージ４５Ａが配置され、この周辺を取り囲むように変換画像４５Ｂがマッピングされる表示形態となる。また、この俯瞰画像中には車体１の中心を基準にした前後位置や左右位置の基準になる基準ライン４５Ｃが十字状に形成される。特に、俯瞰画像生成手段３８Ａと情報出力手段３８Ｄとは複数のカメラの撮影画像をリアルタイムで処理を行うことから、車体１に対する乗員の乗降を俯瞰画像において動画として確認できる。

左ウインドウ４６には左サイドカメラ２５の撮影画像の一部が拡大表示され、右ウインドウ４７に右サイドカメラ２６の撮影画像の一部が拡大表示され、メッセージ表示領域４８には文字データで成る所定のメッセージが表示され、アイコン表示領域４９には車体１の後方視に対応するアイコンが表示される。これらの表示形態は以下に説明する。

この制御では、車体１が停車し、左後部ドア６と右後部ドア７との少なくとも一方が開放状態に達することにより強制的に乗降確認モードに移行するものであるが、例えば、モニタ２１に対して選択画面（図示せず）を表示し、この選択画面において乗降確認モードのボタンに運転者が指等を接触させることで乗降確認モードに移行できるように制御形態を設定しても良い。

特に、停車状態にあっても、シフト位置センサＳ１９によりシフトレバー１９がリバース（後進）位置にセットされたことを検出した場合に、全ての制御モードに優先して後部カメラ２８の撮影画像をモニタ２１に表示（バックモニタ表示）する制御を行う制御形態も考えられる。本発明では、このように後部カメラ２８の撮影画像がモニタ２１に表示される状況でも、タッチパネル２１Ｔに指を接触させる等の任意の操作によって乗降確認モードの制御に移行できるように制御形態を設定しても良い。

次に、左後部ドア６と右後部ドア７との少なくとも一方が開放状態にあることを判定した場合には、開放状態にあるドア近傍が撮影された画像を左ウインドウ４６又は右ウインドウ４７、あるいは、左ウインドウ４６と右ウインドウ４７との双方に表示する。この表示に伴いメッセージ表示領域４８には文字データでメッセージが表示され、アイコン表示領域４９には車体１の後方視に対応するアイコンが表示される（＃１０５、＃１０６ステップ）。

このように左ウインドウ４６、右ウインドウ４７に画像を表示する際には、表示画像生成手段３８Ｂが左サイドカメラ２５の撮影画像、又は、右サイドカメラ２６の撮影画像をリアルタイムで処理を行うことから、車体１に対する乗員の乗降の様子を動画として確認できる。

具体例（１）として、左後部ドア６が開放状態にあることを左ドア開放検出センサＳ６で検出した場合には、表示対象設定手段３８Ｃが表示対象を左後部ドア６に設定する。次に、表示画像生成手段３８Ｂが左サイドカメラ２５の撮影画像のうち、左後部ドア６の付近の画像を切り出して拡大し、左右を鏡面反転した右表示画像を生成する。このように生成された左表示画像は、情報出力手段３８Ｄが左ウインドウ４６に表示する。

また、情報出力手段３８Ｄは、メッセージ表示領域４８に対して「スライドドアが開いています」とのメッセージを表示し、アイコン表示領域４９に対して、アイコンの左半分を表示する。このように表示されるアイコンには撮影領域がハッチングで示される。乗員Ｘの乗降があった場合には俯瞰画像ウインドウ４５と、左ウインドウ４６とに乗員Ｘが表示される。

具体例（２）として、図５に示すように、右後部ドア７が開放状態にあることを右ドア開放検出センサＳ７で検出した場合には、表示対象設定手段３８Ｃが表示対象を右後部ドア７に設定すると共に、表示画像生成手段３８Ｂが右サイドカメラ２６の撮影画像のうち、右後部ドア７の付近の画像を切り出して拡大し、左右を鏡面反転した左表示画像を生成する。このように生成された右表示画像は、情報出力手段３８Ｄが右ウインドウ４７に表示する。

また、情報出力手段３８Ｄは、メッセージ表示領域４８に対して「スライドドアが開いています」とのメッセージを表示し、アイコン表示領域４９に対して、アイコンの右半分を表示する。

具体例（３）として、図６に示すように、左後部ドア６と右後部ドア７とが同時に開放状態にある場合には、前述と同様の処理が行われることで、左表示画像が左ウインドウ４６に表示され、右表示画像が右ウインドウ４７に表示される。そして、メッセージ表示領域４８に対して「スライドドアが開いています」とのメッセージが表示され、また、アイコン表示領域４９に対して、アイコンの全体が表示される。

この後、左後部ドア６と右後部ドア７との夫々が閉じられた場合には、乗降確認モード
の制御を終了すると共に、全ての制御を終了する場合を除き、＃１０１ステップの制御に移行する。そして、先に設定されているモード（ナビゲーションモード又は駐車支援モード）の制御に復帰し、そのモードの制御の情報をモニタ２１に表示する（＃１０８ステップ）。

このように本発明によると、左後部ドア６や右後部ドア７が開放状態にある際には、既に実行されているモードの制御に優先して、乗降確認モードの制御に移行し、モニタ２１に対して乗降確認画面を表示する。そして、開放されたドア近傍がモニタ２１に拡大表示されることにより、運転者が表示のための特別の操作を行わずとも、また、後方を振り返ることなく、乗員の乗降をモニタ２１によって把握できるのである。

また、左後部ドア６の付近の拡大画像が左ウインドウ４６に表示され、右後部ドア７の付近の画像が右ウインドウ４７に表示され、この左ウインドウ４６と右ウインドウ４７とが左右に並列する位置関係で配置されているので、左右の判別を容易に行える。しかも、左ウインドウ４６と右ウインドウ４７とに表示される画像が、左右を鏡面反転した画像であるので、サイドミラーで後方を確認するような感覚で確認を行うことが可能となり、感覚的な違和感もない。

特に、俯瞰画像を生成するためにサイドミラーに備えられているカメラの画像を利用するのでドア付近を撮影するカメラを特別に備えずに済み、カメラを備えることに伴うコストアップを招くこともない。

〔別実施の形態〕
本発明は、上記した実施の形態以外に以下のように構成しても良い。

（ａ）アウトサイドハンドル１１あるいはインサイドハンドル１２が操作された場合には、ドアが開く状態に至る以前であっても、操作が行われたドア付近の画像をモニタに表示する。この場合、アウトサイドハンドル１１あるいはインサイドハンドル１２が操作されたタイミングで表示を開始することが可能となり、早期での確認を実現する。

（ｂ）ドアの付近を撮影するための専用のカメラを車体に備える。この場合、同じドアの付近を複数のカメラで異なる角度から撮影し、これらの画像をモニタに表示するように表示形態を設定することにより、より詳細な状況の把握が可能となる。

（ｃ）ドアが開放状態にある際に、開放状態にあることを音声によって運転者に認識させるように制御形態を設定する。このように構成することにより、運転者の視線がモニタ２１に向かっていない場合にも、視線をモニタ２１に向けさせ、乗降確認画面から乗員の乗降を確認できる。尚、音声は電子音であって良く、人の言葉であっても良い。

（ｄ）本実施形態では、サイドカメラの撮影方向が下方に向けられていたが、これに限定されることなく、例えば、撮影方向が後方に向けられることでドア近傍を撮影するものでも良い。この場合、本実施形態のように画像を切り出さなくても良いようにカメラを設置することも可能である。

本発明は、開閉自在なドアを備えている自動車全般に利用することができる。

１車体
６ドア（左後部ドア）
７ドア（右後部ドア）
２１モニタ
２５カメラ・左サイドカメラ
２６カメラ・右サイドカメラ
３８Ａ俯瞰画像生成手段
３８Ｂ表示画像生成手段
３８Ｄ情報出力手段
３９制御モード設定部
４５俯瞰画像ウインドウ
４６左ウインドウ
４７右ウインドウ
Ｓ６ドア開放検出センサ・左ドア開放検出センサ
Ｓ７ドア開放検出センサ・右ドア開放検出センサ

Claims

車体の左側の後部ドアを撮影領域に含むように撮影する左サイドカメラと、
前記車体の右側の後部ドアを撮影領域に含むように撮影する右サイドカメラと、
運転座席の近傍に設けられ、前記左サイドカメラと前記右サイドカメラとの撮影画像の表示が可能なモニタと、
前記車体の左右の後部ドアの開放状態を検出するドア開放検出センサと、
前記左サイドカメラ及び前記右サイドカメラの撮影画像に基づいて前記車体の周辺を上方から見下ろした俯瞰画像を生成する俯瞰画像生成手段と、
前記ドア開放検出センサで前記後部ドアの開放状態を検出した際に開放状態となった前記後部ドアを撮影する前記左サイドカメラ又は前記右サイドカメラの少なくとも一方の撮影画像と、前記俯瞰画像生成手段によって生成した俯瞰画像とを所定のレイアウトで前記モニタに表示する情報出力手段を備える画像制御装置。
前記左サイドカメラの撮影画像からの撮影画像を左表示画像として生成し、右サイドカメラの撮影画像からの撮影画像を右表示画像として生成する表示画像生成手段が備えられ、この表示画像生成手段が、前記左サイドカメラの撮影画像の少なくとも一部の左右を鏡面反転する処理により前記左表示画像を生成し、前記右サイドカメラの撮影画像の少なくとも一部の左右を鏡面反転する処理により前記右表示画像を生成する請求項１記載の画像制御装置。
前記情報出力手段が、前記左表示画像と、前記右表示画像との少なくとも１つと、前記俯瞰画像とを所定のレイアウトで前記モニタに表示する請求項２記載の画像制御装置。
前記情報出力手段が、前記モニタに対して前記俯瞰画像を表示する俯瞰画像ウインドウを設定し、前記左表示画像を表示する左ウインドウと、前記右表示画像を表示する右ウインドウとを左右に並列する位置関係に設定する請求項３記載の画像制御装置。
前記ドア開放検出センサとして、前記車体の左側の後部ドアの開放状態を検出する左ドア開放センサが備えられ、前記ドア開放検出センサとして、前記車体の右側の後部ドアの開放状態を検出する右ドア開放センサが備えられている請求項１記載の画像制御装置。
前記車体が停車状態にあることを検出し、かつ、前記ドア開放検出センサでドアの開放状態を検出した際に、既に実行されている制御モードの情報の表示に優先して前記カメラの撮影画像を前記モニタに表示する制御を乗降確認モードとして実行する制御モード設定部を備えている請求項１から５のいずれか一項に記載の画像制御装置。