JP6554866B2 - 画像表示制御装置 - Google Patents

Description

本発明は、画像表示制御装置に関する。

従来、車載カメラで撮像した画像を表示装置に表示させて、車両の周囲の状態を運転者に提示する車両用周辺監視装置が提案されている。このような従来の車両用周辺監視装置では、運転者に車両（自車、車体）の周囲の状況を映像で提示する場合、できるだけ多くの情報を提供することが望ましい。例えば、車体後方の映像を提供する場合、車体の真後ろだけでなく、左サイド後方や右サイド後方を含む広角画像（パノラマ画像）を提供できれば、少ない視線移動で広範囲の状況を短時間で認識させることができる。

特許第５１４３００９号公報 特開２００９−８１６６４号公報

このようなパノラマ画像を表示する場合には、リアカメラで撮像した車体の真後ろの撮像画像、左サイドのカメラで撮像した左サイド後方の撮像画像、右サイドのカメラで撮像した右サイド後方の撮像画像を合成しているが、障害物が存在する場合に障害物の全体を表示して各撮像画像の繋ぎ目を滑らかにしたパノラマ画像を表示することが好ましい。

そこで、本発明の課題の一つは、複数の画像を合成して広角画像（パノラマ画像）を提供する場合に、障害物の全体を表示して複数の画像の繋ぎ目を滑らかにして表示することができる画像表示制御装置を提供することである。

本発明の画像表示制御装置は、車体の後部から後方を撮像した第一の後方画像と、前記車体の右側方を含む右後方を撮像した第二の後方画像と、前記車体の左側方を含む左後方を撮像した第三の後方画像と、を取得する取得部と、前記第一の後方画像、前記第二の後方画像または前記第三の後方画像における障害物の有無を検出する検出部と、前記障害物が検出された場合に、前記第一の後方画像と前記第二の後方画像との重複領域および前記第一の後方画像と前記第三の後方画像との重複領域に、校正用指標を付与し、前記校正用指標と、撮像部の位置とに基づいて、前記車体の後部から前記障害物までの距離が短いほど前記第一の後方画像の画角が広くなるホモグラフィを算出するホモグラフィ算出部と、前記障害物が検出された場合、前記ホモグラフィ算出部により算出された前記ホモグラフィを用いて、前記第一の後方画像と前記第二の後方画像と前記第三の後方画像とを変換する変換部と、前記変換部により変換された前記第一の後方画像と前記第二の後方画像と前記第三の後方画像とを合成して前記車体の後端部を視点とするパノラマ形式の合成画像を生成する画像合成部と、前記合成画像を表示装置に表示する制御を行う制御部と、を備える。当該構成により、一例として、合成画像における繋ぎ目を滑らかにして、障害物の全体を合成画像に表示することができる。また、車両走行中に障害物との距離が変化した場合でも、合成画像における繋ぎ目を滑らかにして、より確実に障害物の全体を合成画像に表示することができる。

また、本発明の画像表示制御装置は、車体の後部から後方を撮像した第一の後方画像と、前記車体の右側方を含む右後方を撮像した第二の後方画像と、前記車体の左側方を含む左後方を撮像した第三の後方画像と、を取得する取得部と、前記第一の後方画像、前記第二の後方画像または前記第三の後方画像における障害物の有無を検出する検出部と、前記車体の後部から障害物までの距離が短いほど、前記第一の後方画像の画角が広くなるホモグラフィと、前記距離とが対応付けられたホモグラフィテーブルを記憶する記憶部と、前記車体の後部から前記障害物までの距離を計測する距離計測部と、前記障害物が検出された場合、前記ホモグラフィテーブルから、前記距離計測部により計測された距離に対応するホモグラフィを取得し、取得したホモグラフィを用いて、前記第一の後方画像と前記第二の後方画像と前記第三の後方画像とを変換する変換部と、前記変換部により変換された前記第一の後方画像と前記第二の後方画像と前記第三の後方画像とを合成して前記車体の後端部を視点とするパノラマ形式の合成画像を生成する画像合成部と、前記合成画像を表示装置に表示する制御を行う制御部と、を備える。そして、前記変換部は、前記障害物が複数検出された場合に、検出された複数の障害物ごとに、距離に対応するホモグラフィを取得し、取得したホモグラフィを用いて、前記第一の後方画像と前記第二の後方画像と前記第三の後方画像とを変換し、前記画像合成部は、前記複数の障害物ごとに前記合成画像を生成し、前記制御部は、前記複数の障害物ごとに前記合成画像を切り換えて前記表示装置に表示する制御を行う。当該構成により、一例として、合成画像における繋ぎ目を滑らかにして、障害物の全体を合成画像に表示することができる。また、車両走行中における合成画像の生成処理の負荷を軽減することができる。また、走行中に複数の障害物が検出された場合でも、各障害物までの距離に応じた画角の第一の後方画像が合成された複数の合成画像で障害物の全体を表示させることができる。

図１は、実施形態１にかかる画像表示制御装置を搭載する車体における撮像部の配置場所と撮像範囲の一例を示す平面図である。 図２は、実施形態１にかかる画像表示制御装置を搭載する車体における撮像部の配置場所と撮像範囲の一例を示す側面図である。 図３は、実施形態１にかかる画像表示制御装置を含む画像表示システムの一例が示されたブロック図である。 図４は、実施形態１にかかる画像表示制御装置のＥＣＵ内に実現される画像表示制御部の構成の一例を示すブロック図である。 図５は、実施形態１のホモグラフィテーブルの一例を示す図である。 図６は、実施形態１にかかる校正指標パターンの一例を示す図である。 図７は、実施形態１のホモグラフィ算出手法の一例について説明するための図である。 図８は、実施形態１にかかる画像表示制御装置を搭載する車体における撮像範囲の一例を示す平面図である。 図９は、実施形態１にかかる画像表示制御装置の撮像部により撮像される後方画像から切り出した切出し画像の一例を示す図である。 図１０は、実施形態にかかる画像表示制御装置の撮像部により撮像される後方画像から合成したパノラマ画像の一例を示す図である。 図１１は、従来の後方画像から切り出した切出し画像の一例を示す図である。 図１２は、従来の後方画像から合成したパノラマ画像の一例を示す図である。 図１３は、実施形態１のホモグラフィ切替えの一例について説明するための図である。 図１４は、実施形態１の後方画像から切り出した切出し画像の一例を示す図である。 図１５は、実施形態１の後方画像から合成したパノラマ画像の一例を示す図である。 図１６は、実施形態１にかかるパノラマ画像生成処理の手順の一例を示すフローチャートである。 図１７は、実施形態２にかかるパノラマ画像生成処理の手順の一例を示すフローチャートである。 図１８は、実施形態３にかかるパノラマ画像生成処理の手順の一例を示すフローチャートである。

以下、実施形態および変形例が開示される。以下に示される実施形態および変形例の構成、ならびに当該構成によってもたらされる作用、結果、および効果は一例である。本発明は、以下の実施形態および変形例に開示される構成以外によっても実現可能である。また、本発明によれば、構成によって得られる種々の効果や派生的な効果のうち少なくとも一つを得ることが可能である。

また、以下に開示される実施形態や例示には、同様の構成要素が含まれる。以下では、同様の構成要素には共通の符号が付与されるとともに、重複する説明が省略される。

（実施形態１）
図１は、実施形態１にかかる画像表示制御装置を搭載する車体１（車両）における撮像部２の配置位置と撮像範囲の一例を示す平面図である。図２は、車体１の側面図である。車体１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよい。また、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。車体１は、本実施形態の画像表示制御装置とともに画像表示システム１００（図３参照）を構成する複数の撮像部２を搭載する。本実施形態の車体１は、例えば、３台の撮像部２ａ，２ｂ，２ｃを備える。撮像部２は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部２は、所定のフレームレートで画像データすなわち動画データを出力することができる。

撮像部２は、広範囲の撮像を行えるように、例えば広角レンズまたは魚眼レンズを備える。撮像部２ａは、主として車体１の後部１ａから後方を撮像して第一の後方画像を得る。撮像部２ａは、図１、図２に示すように車体１の後部１ａのほぼ中央の位置で路面から所定の高さ（例えば１ｍ）で降雨や降雪の影響の受けにくい位置に配置されている。撮像部２ａは、水平方向の画角が図１で破線で示すように例えばθ１（ほぼ１８０°）であり、垂直方向の画角が図２に示すように、例えばやや上方を向いたθ４（ほぼ９０°）である。したがって、撮像部２ａが撮像する第一の後方画像は、周縁部が歪む（湾曲する）ものの、後続車両や駐車車両、歩行者やその他の障害物、路面の状態や路側の状態等、車体１の後方のほぼ全域の情報を取得しうる。

撮像部２ｂは、主として車体１の右側方を含む右後方を撮像して第二の後方画像を得る。撮像部２ｂは、例えば、右ドアミラー４ａに固定または内蔵されている。同様に、撮像部２ｃは、主として車体１の左側方を含む左後方を撮像して第三の後方画像を得る。撮像部２ｃは、例えば、左ドアミラー４ｂに固定または内蔵されている。撮像部２ｂの水平方向の画角は、図１に示すように、例えばθ２（ほぼ８０°）である。同様に、撮像部２ｂの水平方向の画角は、図１に示すように、例えばθ３（ほぼ８０°）である。また、撮像部２ｃ（２ｂ）の垂直方向の画角は図２に示すように、例えばやや上方を向いたθ５（ほぼ８０°）である。なお、撮像部２ｂは、車体１の右側面ボディ１ｂを第二の後方画像に含むように撮像範囲が設定されている。同様に、撮像部２ｃは、車体１の左側面ボディ１ｃを第三の後方画像に含むように撮像範囲が設定されている。このように、側面ボディを含むように後方画像を撮像することにより、車体１と当該車体１の側方に存在する物体、例えば、他車や歩行者、障害物等との間隔情報（距離情報）を画像に含ませることができる。なお、図１、図２に例示される撮像範囲は一例であって、撮像部２による撮像範囲は、図１、図２の例には限定されない。また、撮像部２ａ，２ｂ，２ｃを搭載する位置は一例であり、車体１の後部から後方を撮像した第一の後方画像、車体１の右側方を含む右後方を撮像した第二の後方画像、車体１の左側方を含む左後方を撮像した第三の後方画像が取得できれば、搭載位置は適宜変更できる。また、撮像部２ａ，２ｂ，２ｃの画角を変更することにより搭載位置の調整や撮像範囲の調整の自由度は向上しうる。

車体１に搭載される画像表示システム１００は、図３に示されるように、表示装置１０としての表示部１０ａに表示される画像を制御するＥＣＵ１１（electronic control unit）を備えている。ＥＣＵ１１は、表示制御部あるいは画像表示制御装置の一例である。表示部１０ａは、例えば、車室内の前部かつ上部に設けられた後方視認用のルームミラーに替えて設けられる。表示部１０ａには、撮像部２で撮像された画像に基づいて、後述する図７に例示されるような、車体１の後端部を視点とするパノラマ形式の合成画像(パノラマ画像)が、ルームミラーに映る鏡像に似せた状態で表示される。運転者等の利用者は、表示部１０ａをルームミラーとして、あるいはルームミラーの代わりに用いることができる。

なお、従来型のルームミラーが設けられている車体１の場合、そのルームミラーの形状と実質的に同等の形状の表示装置１０（表示部１０ａ）が例えば、ルームミラーの鏡面を覆うように、取付具やアタッチメント等によって装着されうる。表示部１０ａには、車外すなわち車室外に設けられた撮像部２で撮像された画像とは左右逆の画像、すなわち鏡像が表示される。表示部１０ａは、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electro-luminescent display）、プロジェクタ装置等として、構成されうる。ＥＣＵ１１は、表示部１０ａとは別の場所に設けられた筐体内に収容されてもよいし、表示装置１０の筐体内に収容されてもよい。なお、表示部１０ａの表面側には、不図示のハーフミラーが設けられてもよい。この場合、画像表示システム１００が使用されず表示部１０ａに画像が表示されていない状態では、当該ハーフミラーがルームミラーとして用いられうる。また、ハーフミラーのうち、表示部１０ａが部分的に画像を表示していない領域、例えばブラックアウトされた領域、を覆う部分は、ルームミラーとして用いられうる。

図３に示されるように、画像表示システム１００に含まれる電気部品は、例えば、車内ネットワーク２３を介して電気的にあるいは通信可能に接続される。電気部品は、例えば、ＥＣＵ１１、非接触計測装置１３や、舵角センサ１４、ＧＰＳ１６（global positioning system）、車輪速センサ１７、ブレーキシステム１８のブレーキセンサ１８ａ、アクセルセンサ１９、操舵システム２０のトルクセンサ２０ａやアクチュエータ２０ｂ、シフトセンサ２１、方向指示器２２、モニタ装置２４の操作入力部２４ｂ等である。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）である。なお、各電気部品は、ＣＡＮ以外を介して電気的にあるいは通信可能に接続されてもよい。

非接触計測装置１３は、例えば、超音波や電波を発射してその反射波を捉えるソナーやレーダ等であり、車体１のボディ表面に複数個配置されている。ＥＣＵ１１は、非接触計測装置１３の検出結果により、車体１の周囲の障害物、例えば、他車両や歩行者等の障害物（物体）の有無や障害物までの距離（相対距離）を測定することができる。本実施形態では、非接触計測装置１３は、車体１の後部から障害物までの距離を測定し、測定した距離をＥＣＵ１１に送出する。

舵角センサ１４は、操舵部としての不図示のステアリングホイールの操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。なお、操舵量は、例えば、回転角度として検出される。舵角センサ１４から提供される操舵量に応じて、後述するパノラマ画像４２による車体１の後方の表示方向を決定するようにしてもよい。

車輪速センサ１７は、車体１の車輪の回転量や単位時間当たりの回転数を検出するセンサであり、例えば、ホール素子などを用いて構成される。ＥＣＵ１１は、車輪速センサ１７から取得したデータに基づいて車体１の移動量や車速などを演算することができる。車輪速センサ１７は、ブレーキシステム１８に設けられる場合もある。

ブレーキシステム１８は、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車体１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強する電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、不図示のアクチュエータを介して、車輪に制動力を与え、車体１を減速または停止させる。ブレーキセンサ１８ａは、例えば、ブレーキペダルの操作量を検出するセンサである。

アクセルセンサ１９は、アクセルペダルの操作量を検出するセンサである。操舵システム２０は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。トルクセンサ２０ａは、運転者がステアリングホイールに与えるトルクを検出する。また、操舵システム２０は、アクチュエータ２０ｂによってステアリングホイールにトルク（アシストトルク）を付加して操舵力を補って、前輪を操舵する。

シフトセンサ２１は、例えば、変速操作部の可動部の位置を検出するセンサであり、変位センサなどを用いて構成される。可動部は、例えば、レバーや、アーム、ボタン等である。なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は一例であって、種々に設定したり変更したりすることができる。方向指示器２２は、方向指示用のライトの点灯、消灯、点滅等を指示する信号を出力する。なお、この出力信号は後述するパノラマ画像４２の表示範囲を変更する際に利用する車体１の進行方向の推定に用いることができる。

また、表示装置１０の表示部１０ａは、透明な操作入力部１０ｂで覆われうる。操作入力部１０ｂは、例えば、タッチパネル等である。利用者等は、操作入力部１０ｂを介して表示部１０ａの表示画面に表示される画像を視認することができる。また、利用者等は、表示部１０ａの表示画面に表示される画像に対応した位置にて手指等で操作入力部１０ｂを触れたり押したり動かしたりして操作することで、画像表示システム１００における種々の操作入力を実行することができる。なお、操作入力部１０ｂは、表示部１０ａ以外の位置に設けられてもよい。例えば、ステアリングホイール上やダッシュボード上に設けられてもよい。この場合、操作入力部１０ｂは、例えば、押しボタン、スイッチ、つまみ等として構成されうる。

また、車体１の車内には、表示部１０ａとは別の表示部２４ａを含むモニタ装置２４が設けられうる。モニタ装置２４には、表示部２４ａや音声出力装置２４ｃが設けられている。表示部２４ａは、例えば、ＬＣＤや、ＯＥＬＤ等である。音声出力装置２４ｃは、例えば、スピーカである。さらに、表示部２４ａは、透明な操作入力部２４ｂで覆われている。操作入力部２４ｂは、例えば、タッチパネル等である。利用者等は、操作入力部２４ｂを介して表示部２４ａの表示画面に表示される画像を視認することができる。また、利用者等は、表示部２４ａの表示画面に表示される画像に対応した位置にて手指等で操作入力部２４ｂを触れたり押したり動かしたりして操作することで、操作入力を実行することができる。そして、モニタ装置２４は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に位置されうる。モニタ装置２４は、例えば、スイッチや、ダイヤル、ジョイスティック、押しボタン等の図示されない操作入力部を有することができる。モニタ装置２４は、ナビゲーションシステムやオーディオシステムと兼用されうる。なお、ＥＣＵ１１は、モニタ装置２４の表示部２４ａに、表示部１０ａと同様の画像を表示させることができる。

ＥＣＵ１１は、例えば、ＣＰＵ１１ａ（central processing unit）や、ＲＯＭ１１ｂ（read only memory）、ＲＡＭ１１ｃ（random access memory）、ＳＳＤ１１ｄ（solid state drive）、表示制御部１１ｅ、音声制御部１１ｆ等を有している。ＳＳＤ１１ｄは、フラッシュメモリであってもよい。ＣＰＵ１１ａは、各種演算を実行することができる。ＣＰＵ１１ａは、ＲＯＭ１１ｂやＳＳＤ１１ｄ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１１ｃは、ＣＰＵ１１ａでの演算で用いられる各種のデータを一時的に記憶する。また、ＳＳＤ１１ｄは、書き換え可能な不揮発性の記憶部であり、ＥＣＵ１１の電源がオフされた場合にあってもデータを記憶することができる。また、表示制御部１１ｅは、ＥＣＵ１１での演算処理のうち、主として、撮像部２で得られた画像データを用いた画像の表示処理や表示部１０ａや表示部２４ａで表示される画像データの画像処理等を実行することができる。また、音声制御部１１ｆは、ＥＣＵ１１での演算処理のうち、主として、音声出力装置２４ｃで出力される音声データの処理を実行することができる。なお、ＣＰＵ１１ａや、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ等は、同一パッケージ内に集積することができる。また、ＥＣＵ１１は、ＣＰＵ１１ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１１ｄに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１１ｄやＨＤＤは、ＥＣＵ１１とは別に設けられてもよい。

図４に示されるように、ＣＰＵ１１ａは、ＲＯＭ１１ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現される各種モジュールを備える。ＣＰＵ１１ａは、本実施形態における後方画像の表示制御に関連するモジュールとして、例えば、画像取得部３０、障害物検出部３２、画像合成部３４、警報取得部３６、ホモグラフィ算出部４０、変換部４１等を備える。

画像取得部３０（取得部）は、車体１の後部１ａ（後端部）を視点とするパノラマ形式の合成画像(パノラマ画像４２)を作成するために、表示制御部１１ｅを介して提供される撮像部２が撮像した後方画像を取得する。例えば、撮像部２ａから提供される車体１の後部から後方を撮像した第一の後方画像を取得する。また、撮像部２ｂから提供される車体１の右側方（例えば右側面ボディ１ｂ）を含む右後方を撮像した第二の後方画像を取得する。また、撮像部２ｃから提供される車体１の左側方（例えば左側面ボディ１ｃ）を含む左後方を撮像した第三の後方画像を取得する。なお、表示制御部１１ｅは、撮像部２から提供される後方画像を、そのままの状態で表示部１０ａや表示部２４ａに表示させることもできる。

障害物検出部３２（検出部）は、車体１の周囲の障害物の有無を検出する。具体的には、障害物検出部３２は、撮像部２ａが撮像する第一の後方画像、撮像部２ｂが撮像する第二の後方画像、撮像部２ｃが撮像する第三の後方画像にそれぞれにおける障害物の有無を車内ネットワーク２３を介して提供される非接触計測装置１３の検出結果やパターンマッチング等の画像処理技術を用いて検出する。なお、障害物検出部３２は、パノラマ画像４２の右端および左端より外側の周辺領域の障害物の有無をさらに検出することもできる。

変換部４１は、第一の後方画像と第二の後方画像と第三の後方画像とからパノラマ画像４２の作成に適した画像領域を切り出して（これを、切出し画像という）、それらをさらにホモグラフィによる画像変換を行う。ここで、変換部４１は、障害物検出部３２によって障害物が検出された場合、ホモグラフィを用いて、非接触計測装置１３により検出された障害物までの距離が短いほど、第一の後方画像の画角が広くなるように、第一の後方画像と第二の後方画像と第三の後方画像のそれぞれの切り出し画像を変換する。

ＳＳＤ１１ｄには、距離ごとに、撮像部２ａ，２ｂ，２ｃそれぞれに対するホモグラフィ（すなわち、ホモグラフィ行列）が登録されたホモグラフィテーブルが記憶されている。図５は、実施形態１のホモグラフィテーブルの一例を示す図である。図５に示すように、ホモグラフィテーブルには、距離ごとに、撮像部２ａ，２ｂ，２ｃそれぞれに対するホモグラフィが予め登録されている。図５において、ホモグラフィＲＲが撮像部２ａに対するホモグラフィであり、ホモグラフィＳＲが撮像部２ｂに対するホモグラフィであり、ホモグラフィＳＬが撮像部２ｃに対するホモグラフィであり、これらのホモグラフィは、距離が短いほど、第一の後方画像の画角が広くなるように算出される。図５の例では、５ｍ間隔の距離ごとのホモグラフィが登録されているが、距離間隔はこれに限定されるものではない。

ホモグラフィ算出部４０は、ホモグラフィを算出し、ホモグラフィテーブルに登録する。ホモグラフィ算出部４０は、予め、校正指標パターンを用いて各撮像部２ａ，２ｂ，２ｃに対するホモグラフィを算出する。

図６は、実施形態１にかかる校正指標パターンの一例を示す図である。本実施形態では、校正指標パターン４１１は、市松模様の校正指標４１２が４個ずつ２段に配置されたパターンとなっている。ここで、校正指標の座標は、校正指標の中心位置４１３の座標である。

本実施形態では、車体１の後部１ａの撮像部２ａで撮像される第一の後方画像と、車体１の右側方を含む右後方を撮像した第二の後方画像とを合成し、また、第一の後方画像と、車体１の左側方を含む左後方を撮像した第三の後方画像とを合成してパノラマ画像を生成するため、第一の後方画像と第二の後方画像とが一部重複し、第一の後方画像と第三の後方画像とが一部重複する。このため、校正指標４１２は、この２つの重複領域で撮像されるように、校正指標パターン４１１の両側の端部に近い位置に形成される。

また、本実施形態では、校正指標パターン４１１の両側の端部側に、それぞれ４個の校正指標４１２を配置している。画像合成のために、各撮像部２の光軸が精密に調整されている場合であれば、校正指標４１２は一つでも充分であるが、実際にはそのような精密な軸調整がなされていない場合も多い。このため、本実施形態では、校正指標パターン４１１の両側の端部側に、それぞれ複数個の校正指標４１２を配置することで、撮像部２のそれぞれに対して精密な光軸調整がなされていない場合においても、第一の後方画像、第二の後方画像、第三の後方画像を正確に合成することが可能となる。

なお、校正指標はこれに限定されず、任意の模様を校正指標として用いることができる。また、校正指標パターンを構成する校正指標の数も８個に限定されるものではなく、１個以上であればよい。

通常、ホモグラフィ算出は以下のように行われる。まず、作業者は、車体１に取り付けられた撮像部２ａ，２ｂ，２ｃのそれぞれにより、車体１の後方の鉛直方向に延在する壁面に設置された校正指標パターン４１１を撮像する。ここで、撮像部２ａでは、校正指標パターン４１１の全体が含まれるように撮像される。撮像部２ｂでは、校正指標パターン４１１のうち左側の４つの校正指標４１２が含まれるように撮像される。撮像部２ｃでは、校正指標パターン４１１のうち右側の４つの校正指標４１２が含まれるように撮像される。

そして、ホモグラフィ算出部４０は、撮像部２ａ，２ｂ，２ｃそれぞれによる撮像画像における各校正指標の座標を求め、壁面に設置された校正指標パターン４１１における校正指標の位置から、双方の各校正座標を相互に変換するための行列であるホモグラフィを算出する。ホモグラフィの算出手法は、例えば、特開２００６−１４８７４５号公報等に開示されている公知の手法を用いる。本実施の形態では、校正指標パターンと車体１の後部との距離を変化させながら、多段階ホモグラフィの算出を行っている。

図７は、実施形態１のホモグラフィ算出手法の一例について説明するための図である。本実施形態では、図７に示すように、車体１の後部１ａからの距離が複数段階に変化するように校正指標パターン４１１の設置位置を変化させる。そして、ホモグラフィ算出部４０が各段階での撮像部２ａ，２ｂ，２ｃそれぞれのホモグラフィを上記の手法で算出して、算出されたホモグラフィを各段階での後部１ａから校正指標パターン４１１までの距離と対応づけて、ホモグラフィテーブルに登録する。これにより、図５に示すホモグラフィテーブルが生成される。

変換部４１は、このホモグラフィテーブルから、非接触計測装置１３により検出された障害物までの距離に対応するホモグラフィを取得し、取得したホモグラフィを用いて、第一の後方画像と第二の後方画像と第三の後方画像のそれぞれの切り出し画像を変換する。

画像合成部３４は、変換部４１によって変換された、第一の後方画像と第二の後方画像と第三の後方画像のそれぞれの切り出し画像を合成することで、車体１の後部１ａ（後端部）を視点とするパノラマ形式の合成画像（広角画像、パノラマ画像）を作成する。

警報取得部３６は、障害物検出部３２によって、障害物が検出された場合に、利用者に障害物の存在をより認識させやすくするために、例えば、表示部１０ａに表示する警報、例えば、警報マークや障害物を示すキャラクタやアイコン等をＳＳＤ１１ｄ等の記憶部から読み出す。なお、警報取得部３６は視覚的な警報のみならず、例えば音声による警報を行うための音声データを取得してもよい。例えば、「右斜め後方にオートバイが存在します」等の警報メッセージを取得して音声制御部１１ｆに提供してもよい。

次に、パノラマ画像４２の作成について説明する。前述したように、撮像部２は、それぞれ広角レンズまたは魚眼レンズを備えている。したがって、図１に示すように広い撮像範囲を有する。しかし、広角レンズまたは魚眼レンズで撮像した画像は、周縁部が歪む（湾曲する）ので、画像合成部３４がパノラマ画像４２を作成する場合は、歪みの少ない部分を切り出して利用する。例えば、図９に示すように、車体１の後部１ａに取り付けられた撮像部２ａが撮像した第一の後方画像のうち歪みが比較的少ないほぼ中央部を合成用の第一切出し画像５２とする。また、車体１の右ドアミラー４ａに取り付けられた撮像部２ｂが撮像した第二の後方画像のうち右側面ボディ１ｂが映り込んでいるとともに第一切出し画像５２より右外側の領域を含む部分を合成用の第二切出し画像５０ａとする。同様に、車体１の左ドアミラー４ｂに取り付けられた撮像部２ｃが撮像した第三の後方画像のうち左側面ボディ１ｃが映り込んでいるとともに第一切出し画像５２より左外側の領域を含む部分を合成用の第三切出し画像５０ｂとする。

ここで、複数の画像を用いたパノラマ画像４２は、既知の方法で作成可能なので詳細な説明は省略するが、例えば、第一切出し画像５２、第二切出し画像５０ａ、第三切出し画像５０ｂを、図８に示すように隣接する切出し画像の端部領域がオーバーラップするように切出し範囲を決定する。ここで、パノラマ画像４２は、図８に示すように、画像範囲４２ａ、４２ｂ、４２ｃから構成されるものとする。そして、切出し画像のそれぞれに対して回転処理や視点変換処理、変換部４１によるホモグラフィ変換等の各種画像処理を実行するとともに、各切出し画像のオーバーラップ部分を重ね代として接続することで繋ぎ部分が滑らかな連続性が向上したパノラマ画像４２を作成することができる。本実施形態の場合、各切出し画像をレイヤとして、それぞれを重ねることによりパノラマ画像４２を作成する例を示す。

図８の場合、例えば、第一切出し画像５２を第一レイヤ、第二切出し画像５０ａを第二レイヤ、第三切出し画像５０ｂを第三レイヤとした場合を考える。第一切出し画像５２は、広角レンズまたは魚眼レンズの中央付近の領域を画角θ６で切り出したものである。つまり、第一切出し画像５２は、歪みが少ない画像である。一方、第二切出し画像５０ａは、撮像範囲の周縁部で歪みが大きい右側面ボディ１ｂを含むが、例えば画角θ７で示す領域は広角レンズまたは魚眼レンズの中央に近づくので歪みが軽減される。同様に、第三切出し画像５０ｂは、撮像範囲の周縁部で歪みが大きい左側面ボディ１ｃを含むが、例えば画角θ８で示す領域は広角レンズまたは魚眼レンズの中央に近づくので歪みが軽減される。図９は、後方画像４８の一例である。第一切出し画像５２には、車体１（自車両）の後方を走行する後続車両５６が映っている。また、第二切出し画像５０ａには、車体１の右側面ボディ１ｂおよび後続車両５６が映っている。第三切出し画像５０ｂには、車体１の左側面ボディ１ｃが映っている。

パノラマ画像４２を作成する場合、歪みの少ない第一切出し画像５２をパノラマ画像４２の合成時の最上レイヤ（上層レイヤ）として、歪みを含む第二切出し画像５０ａおよび第三切出し画像５０ｂを下層レイヤとして重ねる。つまり、第二切出し画像５０ａの第一切出し画像５２側および第三切出し画像５０ｂの第一切出し画像５２側の歪みが大きい領域が第一切出し画像５２の下層になるようにすることで、図１０に示すような全体として、歪みの少ないパノラマ画像４２を作成することができる。

ここで、上述したように本実施形態では、車体１の後部１ａと障害物との距離が短い程、第一の後方画像の画角が広くなるような距離ごとに異なるホモグラフィを用いて、切り出し画像の変換を行っている。すなわち、図７に示すように、校正指標パターン４１１を、車体１の後部１ａとの距離が異なるように多段階に配置して、各段階の距離ごとにホモグラフィを算出している。以下、この理由について説明する。

図７には、第一の後方画像の画角を、校正指標パターン４１１の位置ごと、すなわち、車体１の後部１ａの校正指標パターン４１１までの距離ごとに示している。図７に示すように車体１の後部１ａの校正指標パターン４１１までの距離が短くなる程、第一の後方画像の画角は広くなることがわかる。車体１の後部１ａから遠い場合には、画角が狭くなるが多くの範囲の障害物が撮像される。一方、車体１の後部１ａに近い場合には、画角が広くしないと近くの障害物の全体を撮像することは困難となる。

校正指標パターン４１１の位置を一箇所のみで、すなわち、車体１の後部１ａと校正指標パターンとの距離は変化させずに、撮像部２ａ，２ｂ，２ｃのそれぞれに対応するホモグラフィを算出する場合、第一の後方画像、第二の後方画像、第三の後方画像の画角のそれぞれの画角は一つのみとなる。例えば、図７において、校正指標パターン４１１をＰ１の位置の壁面に設置して、撮像部２ａ，２ｂ，２ｃで校正指標パターン４１１を撮像してホモグラフィを算出し、他の位置の校正指標パターン４１１を用いたホモグラフィの算出を行わない場合、第一の後方画像、第二の後方画像、第三の後方画像の画角は、Ｐ１に校正指標パターンを設置した際の画角に固定される。

校正指標パターン４１１の位置を一箇所のみで算出されたホモグラフィを用いて撮像画像の変換を行う場合、図９、１０の例に示すように、車体１の後部１ａから遠方の距離に他の車等の障害物がある場合には、パノラマ画像にも遠方の障害物が現れる。しかしながら、車体１の後部１ａから近くの距離に他の車等の障害物がある場合には、障害物が固定された画角の範囲に入りきらずに、このため、生成されたパノラマ画像に障害物が途切れて現れる場合がある。

ここで、車体１の後部１ａの撮像部２ａは、広角または魚眼のレンズを有しているため、第一の後方画像の周縁部も含めると、近くの位置の障害物の全体が撮像されることが多い。しかしながら、広角または魚眼のレンズで撮像した第一の後方画像の周縁部には歪みが多いため、パノラマ画像生成のための合成に使用できるものではなく、このため、上述のように、第一の後方画像から周縁部を除いた範囲、すなわち歪みの少ない範囲を切り出して、切り出し画像を合成している。このため、切り出し画像に、障害物の全体が現れない場合が生じる。

図１１は、従来の後方画像から切り出した切出し画像の一例を示す図である。図１２は、従来の後方画像から合成したパノラマ画像の一例を示す図である。第一の後方画像の画角が、車体１と障害物（後続車両）５６との距離にかかわらず固定であるため、図１１に示すように、車体１の後部１ａから近くの距離の他の車等の障害物５６は、第一の後方画像の切り出し画像５２からその一部が切り捨てられる場合がある。このため、第一の後方画像の切り出し画像５２、第二の後方画像の切り出し画像５０ｂ、第三の後方画像の切り出し画像５０ａから、距離に無関係なホモグラフィを用いて変換され、生成されるパノラマ画像は、図１２に示すように、近くの障害物５６は一部を欠いて現れ、第一の後方画像の切り出し画像と第二の後方画像の切り出し画像との繋ぎ目が滑らかでなくなる。

このため、本実施形態では、図７に示すように、校正指標パターン４１１と車体１の後部１ａとの距離を複数段階に変化させて、ホモグラフィ算出部４０により各段階の距離ごとのホモグラフィを予め求めている。これにより、校正指標パターン４１１と車体１の後部１ａとの距離が短くなる程、広い画角の画像に変換できるホモグラフィが求められる。そして、本実施形態では、変換部４１が車体１の後部１ａから障害物までの相対距離に応じたホモグラフィを用いて、すなわちホログラフィを切り換えて撮像画像を変換し、画像合成部３４がパノラマ画像を生成する。

図１３は、実施形態１のホモグラフィ切替えの一例について説明するための図である。図１３に示すように、後続車両が符号１３０２の位置にいる場合には、変換部４１は、位置Ｐ２までの距離に対応するホモグラフィを用いて第一の後方画像の切り出し画像、第二の後方画像の切り出し画像、第三の後方画像の切り出し画像を変換する。また、後続車両が符号１３０１の位置のような近い位置にいる場合には、変換部４１は、位置Ｐ１までの距離に対応するホモグラフィを用いて第一の後方画像の切り出し画像、第二の後方画像の切り出し画像、第三の後方画像の切り出し画像を変換する。これにより、第一の後方画像の画角はＰ２の位置における画角より広くなる。

図１４は、実施形態１の後方画像から切り出した切出し画像の一例を示す図である。図１５は、実施形態１の後方画像から合成したパノラマ画像の一例を示す図である。このように、第一の後方画像の画角が広くなるようにホモグラフィで変換されるので、図１４に示すように、障害物５６である後続車両の全体が第一の後方画像に現れることとなり、この結果、図１５に示すように、パノラマ画像においても後続車両５６が途切れることなく全体が現れて、第一の後方画像、第二の後方画像、第三の後方画像の繋ぎ目が滑らかなものとなる。

次に、以上のように構成された本実施形態のパノラマ画像生成処理の一連の流れについて説明する。図１６は、実施形態１にかかるパノラマ画像生成処理の手順の一例を示すフローチャートである。なお、図１６のフローチャートの処理は、所定の制御周期で繰り返し実行されるものとする。

まず、撮像部２は、例えば車体１の電源スイッチがＯＮ状態の場合に、所定のフレームレートで画像データすなわち動画データを撮像して表示制御部１１ｅに提供する。例えば、図１に示すような切出し前の広角の撮像画像を提供する。そして、画像取得部３０は、順次提供される撮像画像（第一の後方画像、第二の後方画像、第三の後方画像）を取得する（Ｓ１１）。続いて、障害物検出部３２は、第一の後方画像、第二の後方画像、第三の後方画像内の障害物の有無を検出する（Ｓ１２）。

そして、障害物が検知された場合には（Ｓ１２：Ｙｅｓ）、非接触計測装置１３は、障害物までの距離（相対距離）を算出する（Ｓ１３）。そして、変換部４１は、計測された距離に対応するホモグラフィをホモグラフィテーブルから取得する（Ｓ１４）。

Ｓ１２において、障害物が検出されなかった場合には（Ｓ１２：Ｎｏ）、変換部４１は標準のホモグラフィを取得する（Ｓ１８）。ここで、標準のホモグラフィは任意に定めることができ、例えば、５ｍの距離に対応するホモグラフィや最も遠い距離に対応するホモグラフィ等を標準のホモグラフィとすることができるが、これに限定されるものではない。

そして、変換部４１は、撮像画像、すなわち第一の後方画像、第二の後方画像、第三の後方画像のそれぞれから上述のように切り出して、各切り出し画像を、Ｓ１４で取得したホモグラフィにより変換する（Ｓ１５）。

次に、画像合成部３４は、Ｓ１５で変換された各切り出し画像を合成して、パノラマ画像を生成する（Ｓ１６）。このとき画像合成部３４は、第一の後方画像の切り出し画像を、最上位レイヤに設定して、画像合成を行う。表示制御部１１ｅは、Ｓ１７で生成されたパノラマ画像を、表示部１０ａに表示する（Ｓ１７）。

このように本実施形態では、校正指標パターン４１１と車体１の後部１ａとの距離を複数段階に変化させて、各段階の距離ごとのホモグラフィを予め求めておく。そして、本実施形態では、変換部４１が車体１の後部１ａから障害物までの相対距離に応じたホモグラフィを用いて、すなわちホログラフィを切り換えて撮像画像を変換し、画像合成部３４がパノラマ画像を生成する。このため、障害物が車体１に近い程、第一の後方画像の画角は広くなり、第一の後方画像、第二の後方画像、第三の後方画像の繋ぎ目を滑らかにして、障害物の全体をパノラマ画像に表示することができる。

また、本実施形態によれば、校正指標パターン４１１と車体１の後部１ａとの距離を複数段階に変化させた各段階の距離ごとのホモグラフィを予め求めておき、走行時にホモグラフィを取得して画像変換を行う。このため、本実施形態によれば、車両の走行中における合成画像の生成処理の負荷を軽減することができる。

（実施形態２）
実施形態１では、距離に応じたホモグラフィを予め算出して予めホモグラフィテーブルに登録しておいたが、この実施形態２では、車両が走行中にホモグラフィを算出してパノラマ画像を生成する。

本実施形態の車両における撮像部２の配置場所と撮像範囲、画像表示システムの構成、画像表示制御装置のＥＣＵ内に実現される画像表示制御部の構成については実施形態１と同様である。

本実施形態のホモグラフィ算出部４０は、車両の走行中において、障害物が検出された場合に、第一の後方画像と第二の後方画像との重複領域および第一の後方画像と前記第三の後方画像との重複領域に、校正用指標としての特徴点を付与し、校正用指標と、撮像部２の位置とに基づいて、ホモグラフィを算出する。ホモグラフィ算出部４０は、走行中に実際の撮像画像を用いてホモグラフィを算出するので、距離が短い程、第一の後方画像の画角が広くなるように変換するホモグラフィが算出されることになる。

変換部４１は、ホモグラフィ算出部４０により算出されたホモグラフィを用いて、第一の後方画像と第二の後方画像と第三の後方画像の各切り出し画像を変換する。

画像取得部３０、障害物検出部３２、画像合成部３４、警報取得部３６、表示制御部１１ｅの機能、構成については実施形態１と同様である。

次に、以上のように構成された本実施形態のパノラマ画像生成処理の一連の流れについて説明する。図１７は、実施形態２にかかるパノラマ画像生成処理の手順の一例を示すフローチャートである。なお、図１７のフローチャートの処理は、所定の制御周期で繰り返し実行されるものとする。

Ｓ１１，Ｓ１２については、実施形態と同様に行われる。Ｓ１２で障害物が検出された場合（Ｓ１２：Ｙｅｓ）、ホモグラフィ算出部４０は、第一の後方画像と第二の後方画像との重複領域および第一の後方画像と第三の後方画像との重複領域に、校正用指標としての特徴点を付与する（Ｓ３２）。そして、ホモグラフィ算出部４０は、ホモグラフィを算出する（Ｓ３２）。

Ｓ１２で障害物が検出されなかった場合には（Ｓ１２：Ｎｏ）、実施形態１と同様に予め定められた標準のホモグラフィを取得する（Ｓ１８）。なお、障害物が検出されなかった場合にも、撮像画像に特徴点を付与してホモグラフィ算出を行うようにホモグラフィ算出部４０を構成してもよい。Ｓ１５以降は実施形態１と同様である。

このように本実施形態では、ホモグラフィ算出部４０は、車両の走行中において、障害物が検出された場合に、第一の後方画像と前記第二の後方画像との重複領域および第一の後方画像と第三の後方画像との重複領域に、校正用指標としての特徴点を付与し、校正用指標と、撮像部２の位置とに基づいて、ホモグラフィを算出する。このため、本実施形態では、走行中にも、距離が短い程、第一の後方画像の画角が広くなるように変換するホモグラフィが算出されることになる。このため、車両の走行中は、後続車両等の障害物との距離が絶えず変化するが、本実施形態では、走行中に距離に応じたホモグラフィを算出して撮像画像の変換を行っているので、車両走行中に障害物との距離が変化した場合でも、第一の後方画像、第二の後方画像、第三の後方画像の繋ぎ目を滑らかにして、より確実に障害物の全体をパノラマ画像に表示することができる。

（実施形態３）
実施形態３では、車両の走行中に、複数の障害物が検出された場合に、それぞれの障害物との距離に応じたパノラマ画像を生成して、切替え表示している。

本実施形態の車両における撮像部２の配置場所と撮像範囲、画像表示システムの構成、画像表示制御装置のＥＣＵ内に実現される画像表示制御部の構成については実施形態１と同様である。

本実施形態の変換部４１は、障害物が複数検出された場合に、検出された複数の障害物ごとに、障害物までの距離に対応するホモグラフィを取得し、取得した複数のホモグラフィを用いて、第一の後方画像と第二の後方画像と第三の後方画像の各切り出し画像とを変換する。

画像合成部３４は、複数の障害物ごとに、各切り出し画像からパノラマ画像を生成する。表示制御部１１ｅは、複数の害物ごとにパノラマ画像を切り換えて表示部１０ａに表示する制御を行う。

次に、以上のように構成された本実施形態のパノラマ画像生成処理の一連の流れについて説明する。図１８は、実施形態３にかかるパノラマ画像生成処理の手順の一例を示すフローチャートである。なお、図１８のフローチャートの処理は、所定の制御周期で繰り返し実行されるものとする。

Ｓ１１，Ｓ１２については、実施形態と同様に行われる。Ｓ１２で障害物が検出された場合（Ｓ１２：Ｙｅｓ）、非接触計測装置１３は、障害物ごとに、車体１からの距離を計測する（Ｓ５１）。そして、変換部４１は、障害物ごとに、各障害物までの距離に応じたホモグラフィを、ホモグラフィテーブルから取得する（Ｓ５２）。これにより障害物までの距離に応じた複数のホモグラフィが取得される。

Ｓ１２で障害物が検出されなかった場合には（Ｓ１２：Ｎｏ）、実施形態１と同様に予め定められた標準のホモグラフィを取得する（Ｓ１８）。

そして、変換部４１は、障害物ごとに、撮像画像、すなわち第一の後方画像、第二の後方画像、第三の後方画像のそれぞれから上述のように切り出して、各切り出し画像を、Ｓ１４で取得したそれぞれのホモグラフィにより変換する（Ｓ５５）。

次に、画像合成部３４は、障害物ごとに、Ｓ５５で変換された各切り出し画像を合成して、パノラマ画像を生成する（Ｓ５６）。これにより複数のパノラマ画像が生成される。表示制御部１１ｅは、Ｓ５６で生成された複数のパノラマ画像を切替えながら表示部１０ａに表示する（Ｓ５７）。表示制御部１１ｅは、複数のパノラマ画像の表示を切り替える際にクロスフェード等の効果を付与して切替え表示を行う。

このように本実施形態では、複数の障害物が検出された場合に、それぞれの障害物との距離に応じたパノラマ画像を生成して、切替え表示している。すなわち、本実施形態では、変換部４１が検出された複数の障害物ごとに、障害物までの距離に対応するホモグラフィを取得し、取得した複数のホモグラフィを用いて、第一の後方画像と第二の後方画像と第三の後方画像の各切り出し画像とを変換し、画像合成部３４が、複数の障害物ごとに、各切り出し画像からパノラマ画像を生成し、表示制御部１１ｅが、複数の害物ごとにパノラマ画像を切り換えて表示部１０ａに表示する。このため、本実施形態によれば、走行中に複数の障害物が検出された場合でも、各障害物までの距離に応じた画角の第一の後方画像が合成された複数のパノラマ画像で障害物の全体を表示させることができる。

なお、本実施形態では、複数の障害物が検出された場合に、予め算出されたホモグラフィを取得して画像変換し、複数のパノラマ画像を生成していたが、実施形態２のように、走行中に所定の演算周期で、各障害物との相対距離に応じたホモグラフィを算出して、複数のパノラマ画像を生成するように変換部４１、画像合成部３４を構成してもよい。この場合には、この場合には、走行中に変化する障害物との相対距離に応じて最適なパノラマ画像を表示することができ、常に障害物の全体を表示させることができる。

また、本実施形態では、複数の障害物が検出された場合に、複数の障害物ごとに、パノラマ画像を生成して切り換えていたが、障害物が一つしか検出されない場合でも、障害物との相対速度や相対距離の変化に応じて、異なる距離に対応した複数のホログラフィから複数のパノラマ画像を生成して、複数のパノラマ画像を切替えて表示するように変換部４１、画像合成部３４を構成しても良い。この場合には、走行中に変化する障害物との相対速度や相対距離に応じて最適なパノラマ画像を表示することができ、常に障害物の全体を表示させることができる。この場合には、さらに、パノラマ画像の切替えタイミングを、障害物との相対速度や相対距離の変化に応じて決定するように表示制御部１１ｅを構成することができる。

本実施形態では、複数の障害物が検出された場合に、複数の障害物ごとに、パノラマ画像を生成して切り換えていたが、障害物が一つしか検出されない場合でも、異なる距離に対応した複数のホログラフィから複数のパノラマ画像を生成して、障害物との相対速度や相対距離の変化に応じて、複数のパノラマ画像を切替えて表示するように変換部４１、画像合成部３４を構成しても良い。この場合には、走行中に変化する障害物との相対速度や相対距離に応じて最適なパノラマ画像を表示することができ、常に障害物の全体を表示させることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 車体
２，２ａ，２ｂ，２ｃ 撮像部
１１ｅ 表示制御部
１０ａ，２４ａ 表示部
１３ 非接触距離計測装置
３０ 画像取得部
３２ 障害物検出部
３４ 画像合成部
３６ 警報取得部
４０ ホモグラフィ算出部
４１ 変換部

Claims (2)

1. 車体の後部から後方を撮像した第一の後方画像と、前記車体の右側方を含む右後方を撮像した第二の後方画像と、前記車体の左側方を含む左後方を撮像した第三の後方画像と、を取得する取得部と、
   前記第一の後方画像、前記第二の後方画像または前記第三の後方画像における障害物の有無を検出する検出部と、
   前記障害物が検出された場合に、前記第一の後方画像と前記第二の後方画像との重複領域および前記第一の後方画像と前記第三の後方画像との重複領域に、校正用指標を付与し、前記校正用指標と、撮像部の位置とに基づいて、前記車体の後部から前記障害物までの距離が短いほど前記第一の後方画像の画角が広くなるホモグラフィを算出するホモグラフィ算出部と、
   前記障害物が検出された場合、前記ホモグラフィ算出部により算出された前記ホモグラフィを用いて、前記第一の後方画像と前記第二の後方画像と前記第三の後方画像とを変換する変換部と、
   前記変換部により変換された前記第一の後方画像と前記第二の後方画像と前記第三の後方画像とを合成して前記車体の後端部を視点とするパノラマ形式の合成画像を生成する画像合成部と、
   前記合成画像を表示装置に表示する制御を行う制御部と、
   を備える画像表示制御装置。
2. 車体の後部から後方を撮像した第一の後方画像と、前記車体の右側方を含む右後方を撮像した第二の後方画像と、前記車体の左側方を含む左後方を撮像した第三の後方画像と、を取得する取得部と、
   前記第一の後方画像、前記第二の後方画像または前記第三の後方画像における障害物の有無を検出する検出部と、
   前記車体の後部から障害物までの距離が短いほど、前記第一の後方画像の画角が広くなるホモグラフィと、前記距離とが対応付けられたホモグラフィテーブルを記憶する記憶部と、
   前記車体の後部から前記障害物までの距離を計測する距離計測部と、
   前記障害物が検出された場合、前記ホモグラフィテーブルから、前記距離計測部により計測された距離に対応するホモグラフィを取得し、取得したホモグラフィを用いて、前記第一の後方画像と前記第二の後方画像と前記第三の後方画像とを変換する変換部と、
   前記変換部により変換された前記第一の後方画像と前記第二の後方画像と前記第三の後方画像とを合成して前記車体の後端部を視点とするパノラマ形式の合成画像を生成する画像合成部と、
   前記合成画像を表示装置に表示する制御を行う制御部と、
   を備え、
   前記変換部は、前記障害物が複数検出された場合に、検出された複数の障害物ごとに、距離に対応するホモグラフィを取得し、取得したホモグラフィを用いて、前記第一の後方画像と前記第二の後方画像と前記第三の後方画像とを変換し、
   前記画像合成部は、前記複数の障害物ごとに前記合成画像を生成し、
   前記制御部は、前記複数の障害物ごとに前記合成画像を切り換えて前記表示装置に表示する制御を行う、画像表示制御装置。

Images