JPWO2018012299A1 - 画像生成装置、画像生成方法、及び、プログラム - Google Patents

Abstract

本技術は、ユーザの注意を、迅速に喚起することができるようにする画像生成装置、画像生成方法、及び、プログラムに関する。統合部は、第１の画像と第２の画像とを統合し、統合画像を生成する。重畳部は、第２の画像に映る物体が、第１の画像に映る物体よりも奥側にある場合に、警告マークを統合画像に重畳し、重畳画像を生成する。本技術は、例えば、サイドミラーや、ルームミラーで観察される画像に相当する画像を提供するCMS(Camera Monitor System)等に適用することができる。

Description

本技術は、画像生成装置、画像生成方法、及び、プログラムに関し、特に、例えば、ユーザの注意を、迅速に喚起することができるようにする画像生成装置、画像生成方法、及び、プログラムに関する。

例えば、特許文献１には、自車両において、車両後部に設置したカメラで撮影された画像と、車両左右のバックミラーに設置したカメラで撮影された画像を変形した画像とを組み合わせて、１つの仮想的な視点から車両後方を観察した様子が映った画像を生成して表示することで、リアリティがある画像を提供するCMS(Camera Monitor System)が提案されている。

ここで、以下、CMSが提供する画像を、CMS画像ともいう。

特許第4762698号公報

自車両において、車両後部に設置したカメラで撮影された画像と、車両左右のバックミラーに設置したカメラで撮影された画像を変形した画像とを組み合わせて、１つの仮想的な視点から車両後方を観察した様子が映った画像を、CMS画像として生成する場合、そのCMS画像では、例えば、車両後部に設置したカメラで撮影された画像に映る走行中の第１の車両に、車両左右のバックミラーに設置したカメラで撮影された画像に映る走行中の第２の車両が隠れ、第２の車両が認識しにくくなることがあり得る。

この場合、自車両を運転するユーザ（ドライバ）は、第２の車両が自車両に近づいてくることの発見が遅れることがあり得る。

本技術は、このような状況に鑑みてなされたものであり、ユーザの注意を、迅速に喚起することができるようにするものである。

本技術の画像生成装置、又は、プログラムは、第１の画像と第２の画像とを統合し、統合画像を生成する統合部と、前記第２の画像に映る物体が、前記第１の画像に映る物体よりも奥側にある場合に、警告マークを前記統合画像に重畳し、重畳画像を生成する重畳部とを備える画像生成装置、又は、そのような画像生成装置としてコンピュータを機能させるためのプログラムである。

本技術の画像生成方法は、第１の画像と第２の画像とを統合し、統合画像を生成することと、前記第２の画像に映る物体が、前記第１の画像に映る物体よりも奥側にある場合に、警告マークを前記統合画像に重畳し、重畳画像を生成することとを含む画像生成方法である。

本技術の画像生成装置、画像生成方法、及び、プログラムにおいては、第１の画像と第２の画像とが統合され、統合画像が生成される。そして、前記第２の画像に映る物体が、前記第１の画像に映る物体よりも奥側にある場合に、警告マークが前記統合画像に重畳され、重畳画像が生成される。

なお、画像生成装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本技術によれば、ユーザの注意を、迅速に喚起することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

車両としての自動車に搭載されるCMSの概要を説明する図である。 リア画像、Lサイド画像、及び、Rサイド画像を統合した統合画像の表示方法の例を示す図である。 車両が高速で走行する場合に表示するCMS画像となる画像を撮影するカメラの、車両への設置位置の例を示す平面図である。 リア画像及びL/Rサイド画像と、リア画像及びL/Rサイド画像を統合することにより生成される統合画像との例を示す図である。 リア画像及びL/Rサイド画像と、リア画像及びL/Rサイド画像を統合することにより生成される統合画像との他の例を示す図である。 リア画像及びL/Rサイド画像の例を示す図である。 L/Rサイド画像をアフィン変換し、アフィン変換後のL/Rサイド画像を、リア画像に合成することで得られる合成画像の例を示す図である。 L/Rサイド画像をアフィン変換し、アフィン変換後のL/Rサイド画像を、リア画像に合成することで得られる合成画像の他の例を示す図である。 合成画像の例を示す図である。 リア画像及びL/Rサイド画像を、CMS画像として表示する表示方法を説明する図である。 道路上の状況の一例を示す平面図である。 オクルージョンアラートとしての画像が表示された統合画像の表示例を示す図である。 オクルージョンアラートとしての画像が表示された統合画像の他の表示例を示す図である。 オクルージョンアラートとしての画像が表示された統合画像のさらに他の表示例を示す図である。 車両が低速で走行する場合に表示するCMS画像となる画像を撮影するカメラの、車両への設置位置の例を示す平面図である。 低速CMS画像となる画像を撮影するカメラの、車両への設置位置の例を示す斜視図である。 低速CMS画像としての統合画像の例を示す図である。 低速CMS画像としての統合画像の他の例を示す図である。 車両が低中速で走行する場合に表示するCMS画像となる画像を撮影するカメラの、車両への設置位置の例を示す斜視図である。 中速CMS画像としての統合画像の第１の例を示す図である。 中速CMS画像としての統合画像の第２の例を示す図である。 中速CMS画像としての統合画像の第３の例を示す図である。 中速CMS画像としての統合画像の第４の例を説明する図である。 中速CMS画像としての統合画像の第５の例を説明する図である。 中速CMS画像としての統合画像の第５の例を示す図である。 本技術を適用した車両の一実施の形態の外観の構成例の概要を示す平面図である。 車両１００に搭載されたCMSの構成例を示すブロック図である。 CMS画像生成部１６５が設定する表示モードの例を示す図である。 CMS画像生成部１６５の構成例を示すブロック図である。 リア画像処理部２１１の構成例を示すブロック図である。 Lサイド画像処理部２１２の構成例を示すブロック図である。 Rサイド画像処理部２１３の構成例を示すブロック図である。 Lリアサイド画像処理部２１４の構成例を示すブロック図である。 Rリアサイド画像処理部２１５の構成例を示すブロック図である。 起立物検出部２５２での起立物の検出に行われるセグメンテーションの概要を説明する図である。 CMS画像生成部１６５が行うCMS画像生成処理の例を説明するフローチャートである。 ステップＳ１０３で行われる表示モード5，6，7の画像生成処理の例を説明するフローチャートである。 ステップＳ１１１−１でリア画像処理部２１１が行うリア画像処理の例を説明するフローチャートである。 ステップＳ１１１−２でLサイド画像処理部２１２が行うLサイド画像処理の例を説明するフローチャートである。 ステップＳ１０４で行われる表示モード4の画像生成処理の例を説明するフローチャートである。 ステップＳ１８１−１でリア画像処理部２１１が行うリア画像処理の例を説明するフローチャートである。 ステップＳ１８１−２でＬリアサイド画像処理部２１４が行うLリアサイド画像処理の例を説明するフローチャートである。 ステップＳ１０５で行われる表示モード2，3の画像生成処理の例を説明するフローチャートである。 ステップＳ２３１−２でLサイド画像処理部２１２が行うLサイド画像処理の例を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

＜車両に搭載されるCMSの概要＞

図１は、車両としての自動車に搭載されるCMSの概要を説明する図である。

CMSでは、車両にカメラが設置され、そのカメラで撮影された画像が、後写鏡を用いて見ることができる画像に相当する画像として表示される。

後写鏡としては、いわゆるルームミラー（クラスIミラー）や、サイドミラー（クラスIIミラー、クラスIIIミラー）等がある。

CMSでは、例えば、車両の後部に、少なくとも車両の後方を撮影する１台のカメラが設置されるとともに、車両のサイドミラーが設置される位置（以下、サイドミラー位置ともいう）に、少なくとも車両の左後方、及び、右後方を撮影する２台のカメラが設置される。

ここで、車両の後部に設置され、車両の後方を撮影するカメラを、以下、リアカメラともいう。また、車両の左及び右のサイドミラー位置に設置されるカメラを、それぞれ、Lサイドカメラ及びRサイドカメラともいう。

さらに、リアカメラで撮影される画像を、リア画像ともいい、Lサイドカメラ及びRサイドカメラで撮影される画像を、それぞれ、Lサイド画像及びRサイド画像ともいう。

また、Lサイドカメラ及びRサイドカメラを、両方まとめて、L/Rサイドカメラとも記載する。同様に、Lサイド画像及びRサイド画像を、両方まとめて、L/Rサイド画像とも記載する。

図１は、リア画像、及び、L/Rサイド画像の表示例を示している。

図１では、リア画像は、ルームミラーを用いて見ることができる画像（ルームミラー画像）に相当する画像になっており、L/Rサイド画像は、サイドミラーを用いて見ることができる画像（サイドミラー画像）に相当する画像になっている。

図１では、車両のフロントウインドシールドガラスの下部のダッシュボードに、横長の表示パネルが設けられており、その表示パネルに、リア画像、及び、L/Rサイド画像が表示されている。

すなわち、図１の表示パネルにおいて、Lサイド画像は、左側のAピラーの近傍に表示され、Rサイド画像は、右側のAピラーの近傍に表示されている。リア画像は、表示パネルの中央よりやや運転席寄りの右側の位置（運転席は、（車両前方に向かって）右側にあることとする）に表示されている。

CMSでは、以上のように、リア画像、Lサイド画像、及び、Rサイド画像を、CMSで表示するCMS画像として、個別に表示する他、リア画像、Lサイド画像、及び、Rサイド画像を、１枚（１フレーム）の統合画像に統合し、その統合画像を、CMS画像として表示することができる。

ここで、（複数の）画像の統合には、画像どうしを、０以上１以下の範囲の重みαでアルファブレンディングする合成や、画像どうしを並べて１枚の画像にする結合、その他の、複数の画像を１枚の画像に変換することが含まれる。

図２は、リア画像、Lサイド画像、及び、Rサイド画像を統合した統合画像の表示方法の例を示す図である。

統合画像は、ルームミラーが設けられる位置P1や、ダッシュボードの中央の位置P2、ダッシュボードの運転席の前方の位置P3等に表示することができる。

CMSにおいて、CMS画像としての統合画像等の表示によって、車両を操縦（運転）するユーザ（ドライバ）に、車両の周辺の状況を提供する場合には、ドライバが、車両の周辺の状況（以下、周辺状況ともいう）を的確に把握することができるように、統合画像の表示を行う必要がある。

また、車両において、インスツルメンツパネル（インスツルメントクラスタ）による各種の情報の提供の他、統合画像の表示による周辺状況の提供等が行われると、ドライバに対して、画像として提供される情報が増加する。

ドライバに画像として提供される情報が増加すると、ドライバは、情報過多になって、ドライバの情報の認知、ひいては、その後の状況判断に影響することがあり得る。

また、車両において、多くの情報が、画像として表示される場合、ドライバは、その多くの情報としての画像を、同時に認識することが困難である。

そこで、ドライバが、例えば、車両を直進させるために、前方に注意して車両を運転している場合には、必要のない情報としての、例えば、車両の後方が映る統合画像については、輝度を低下させることができる。この場合、ドライバの周辺視界に入る統合画像に映る車両の後方の情報（がドライバの認知の対象になること）を抑制することができる。

車両を、進路変更せずに、直進させる場合には、ドライバは、特に、前方に注意すべきである。しかしながら、車両後方の様子が映る統合画像が高輝度で表示されると、その統合画像の表示によって、ドライバの視界周辺が照らされ続け、ドライバの注意が、輝度の高い統合画像に向いて、ドライバの前方への注意を妨害することがあり得る。

そこで、ドライバが、車両を直進させるために、前方に注意している場合には、統合画像の輝度を低下させることで、統合画像の表示がドライバの前方への注意を妨害することを防止することができる。

後写鏡としての光学的なミラーが装備された車両において、ドライバは、後写鏡に映る画像を、無意識に周辺視野で認知することはなく、必要な場合には、後方を確認する意思をもって、後写鏡に視線を向けて、その後写鏡に映る周辺状況を認知する。

一方、CMSが装備された車両において、ドライバの前方への注意を妨害することを防止するために、統合画像の輝度を低下させても、ドライバは、統合画像に視線を向けることで、統合画像に映る周辺状況を認知することができる。

すなわち、CMSが装備された車両において、統合画像の輝度を低下させても、ドライバは、後写鏡が装備された車両と同様の（認知）手順で、周辺状況を認知することができる。

以上から、統合画像等のCMS画像は、輝度を調整して表示することが望ましい。さらに、CMS画像は、視認性等の観点から、コントラストを調整して表示することが望ましいことがある。また、CMS画像は、ドライバの状態に応じて、輝度やコントラストを調整することができる。例えば、CMS画像については、ドライバの視線がCMS画像に向いていない場合には、輝度やコントラストを低くし、ドライバの視線がCMS画像に向いている場合には、輝度やコントラストを高くすることができる。

ところで、車両では、上述したリアカメラ、及び、L/Rサイドカメラの他、車両の様々な位置に、周辺状況を撮影するカメラを設けることができる。

CMSでは、車両に設けられた各カメラで撮影された画像のすべてを、個別に、又は、統合画像の形で、CMS画像として表示することができるが、CMS画像として表示する画像は、適宜、選択的に切り替えることができることが望ましい。

ここで、自車両が、高速（ある程度の速度）で走行する場合の後写鏡の主要な用途としては、例えば、自車両と後方の他の車両との相対関係の確認や、自車両が進路変更するときの、進路変更先側の後方の状況の把握等がある。

また、例えば、自車両が、市街地等を、低中速で走行する場合には、自車両の側方（左右方向）の、比較的近い位置から遠方までの状況を、ドライバが把握することができることが望ましいことがある。

さらに、例えば、自車両が、駐車状態から発進し、低速（徐行）で走行する場合や、駐車状態になるのに、低速で走行する場合、狭隘道路からの抜け出しや、T字路での左折や右折のために低速で走行する場合には、自車両の間近の後方（例えば、車両後部のバンパーの近傍等）や、車両の後部の間近の側方（例えば、車両の後輪の近傍）等の状況を、ドライバが把握することができることが望ましいことがある。

以下、例えば、車両が、高速で走行する場合、市街地等を低中速で走行する場合、及び、駐車等のために低速で走行する（徐行する）場合のそれぞれの場合を例に、それぞれの場合に表示することが適切なCMS画像の例について説明する。

＜車両が高速で走行する場合に表示するCMS画像＞

図３は、車両が高速で走行する場合に表示するCMS画像（以下、高速CMS画像ともいう）となる画像を撮影するカメラの、車両への設置位置の例を示す平面図である。

図３において、例えば、自動車等である（自）車両１０では、その車両１０の後部に、リアカメラ１１が設置され、車両１０の左及び右のサイドミラー位置に、Lサイドカメラ１２及びRサイドカメラ１３が、それぞれ設置されている。

ここで、サイドミラー位置は、水平方向（車両１０の前方に対して左右の方向）については、リアカメラ１１が設置された位置（車両１０の後部の位置）から横方向にずれた位置であるということができる。

リアカメラ１１は、車両１０の後方（真後ろ）を撮影し、第１の画像の一例としてのリア画像を出力する。なお、リアカメラ１１は、例えば、水平画角が比較的広角の150度以上のリア画像を撮影する。

Lサイドカメラ１２は、車両１０の左後方を撮影し、第２の画像の一例としてのLサイド画像を出力する。Rサイドカメラ１３は、車両１０の右後方を撮影し、第２の画像の他の一例としてのRサイド画像を出力する。

リアカメラ１１、Lサイドカメラ１２、及び、Rサイドカメラ１３は、設置位置が異なるので、リア画像、Lサイド画像、及び、Rサイド画像は、それぞれ視点が異なる画像（異なる視点から見た画像）である。

なお、ここでは、説明を簡単にするため、リアカメラ１１、Lサイドカメラ１２、及び、Rサイドカメラ１３は、中心射影の画像を撮影することとする。

ここで、図３において、車両１０は、車線TL1，TL2，TL3を有する３車線の道路のうちの、左から２番目の車線TL2を走行している。

また、図３において、道路には、車線を区分する車線区分線LM1，LM2，LM3，LM4が、左から順に描かれている。

ここで、車線を区分する区画線には、車道中央線や、車線境界線、車道外側線があるが、ここでは、まとめて、車線区分線ということとする。

図３において、車線TL1は、車線区分線LM1とLM2との間の車線であり、車線TL2は、車線区分線LM2とLM3との間の車線である。車線TL3は、車線区分線LM3とLM4との間の車線である。

また、図３では、道路に、実際に描かれている区画線ではないが、後述する図において、リア画像とL/Rサイド画像との対応を分かりやすくするため、道路に、仮想的に描かれている区画線としての仮想ラインVL1が示されている。

図３において、仮想ラインVL１は、車両１０の後方に位置しており、リアカメラ１１、Lサイドカメラ１２、及び、Rサイドカメラ１３のすべてで撮影される。

ここで、本明細書では、特に断らない限り、自車両の前方を向いた状態で、方向を考える。

図４は、リア画像及びL/Rサイド画像と、リア画像及びL/Rサイド画像を統合することにより生成される統合画像との例を示す図である。

図４のリア画像及びL/Rサイド画像には、車両１０の後方の車線TL1ないしTL3、車線区分線LM1ないしLM4、及び、仮想ラインVL1が映っている。なお、説明の便宜上、自車両１０と道路の位置関係については、リアカメラ１１では車線ＴＬ２が映り、Ｌサイドカメラ１２では車線ＴＬ１が映り、Ｒサイドカメラ１３では車線ＴＬ３が映る状態にて説明する。実際の車輌と道路の位置関係は自由に決まるので、本明細書にて記載する位置関係はこの仮想的位置関係に基づくのみであり、走行中に車線を識別して各該当の処理を行う必要は必ずしもない。

リア画像及びL/Rサイド画像を統合して統合画像を生成する方法としては、例えば、リア画像及びL/Rサイド画像のそれぞれに映る同一の被写体の大きさが一致し、かつ、リア画像及びL/Rサイド画像の無限遠点が一致するように、リア画像及びL/Rサイド画像のすべての画像又は一部の画像をアフィン変換し、リア画像及びL/Rサイド画像に映る同一の被写体が重なるように位置合わせを行って、リア画像及びL/Rサイド画像を合成する方法がある。ここで更にリア画像とＬ／Ｒサイド画像を違和感なく連続して合成する為には、自車両１０の走行車線または車輛幅に沿った線、つまり上記車線位置関係の想定で線分ＬＭ２、線分ＬＭ３近傍の線を合成の境界線として合成を行うのが好ましい。

ここで、アフィン変換は、例えば、リア画像及びL/Rサイド画像のすべての画像を対象に行うこともできるし、例えば、L/Rサイド画像だけを対象に行うこともできる。例えば、任意の視点から見た統合画像を生成する場合には、その視点に対する無限遠点に、リア画像及びL/Rサイド画像の無限遠点が一致するように、リア画像及びL/Rサイド画像のすべてがアフィン変換される。また、例えば、リアカメラ１１の設置位置を視点とする統合画像を生成する場合には、L/Rサイド画像の無限遠点が、リア画像の無限遠点に一致するように、L/Rサイド画像がアフィン変換される。

以下では、アフィン変換は、リア画像及びL/Rサイド画像のうちの、L/Rサイド画像を対象に行うこととする。さらに、アフィン変換は、例えば、L/Rサイド画像のそれぞれに映る被写体の大きさが、リア画像に映る同一の被写体に一致し、かつ、リア画像及びL/Rサイド画像の無限遠点IPL及びIPRが、リア画像の無限遠点IPCに一致するように行うこととする。かかるアフィン変換によれば、L/Rサイド画像は、リア画像を撮影するリアカメラ１１の設置位置から見た（撮影された）画像、すなわち、リアカメラ１１の設置位置を視点とする画像に変換される。このアフィン変換は、Ｌ／Ｒサイド画像とリア画像のカメラ焦点距離が同じとなり、且つ車体進行方向の設置位置の違いによる表示の配置を補正し、L/Rサイド画像はリア画像と同一焦点距離のカメラで、かつ、車両１０の進行方向の配置位置が同一のカメラで撮影された画像に相当する画像となる。該当の変換を行う事で、リア画像及びアフィン変換後のL/Rサイド画像において、仮想ラインＶＬ１が合致するように出来る。

なお、アフィン変換によって、被写体をどのような大きさにするかや、どの視点から見た画像に変換するかは、特に限定されるものではない。

また、以下では、説明を簡単にするため、アフィン変換前のリア画像及びL/Rサイド画像においては、同一の被写体の大きさが一致していることとし、したがって、L/Rサイド画像のアフィン変換は、Lサイド画像の無限遠点IPL、及び、Rサイド画像の無限遠点IPRのそれぞれが、リア画像の無限遠点IPCに一致するように行われることとする。

統合画像の生成においては、上述のように、L/Rサイド画像がアフィン変換され、アフィン変換後のL/Rサイド画像が、リア画像との間で位置合わせされて、リア画像と合成されることで、統合画像が生成される。L/Rサイド画像とリア画像との合成では、それぞれのカメラが主として取り込んだ車両後方の範囲を表示する画像として、L/Rサイド画像が、リア画像に上書きの形で合成される。

図４の統合画像において、リア画像に映る車線TL1ないしTL3、車線区分線LM1ないしLM4、及び、仮想ラインVL1と、アフィン変換後のL/Rサイド画像に映る車線TL1ないしTL3、車線区分線LM1ないしLM4、及び、仮想ラインVL1とは、それぞれ一致している。

図５は、リア画像及びL/Rサイド画像と、リア画像及びL/Rサイド画像を統合することにより生成される統合画像との他の例を示す図である。

なお、以下では、図が煩雑になるのを避けるため、車線TL1ないしTL3、車線区分線LM1ないしLM4、及び、仮想ラインVL1を表す符号TL1ないしTL3，LM1ないしLM4、及び、VL1の図示を、省略する。

図５では、道路上に、道路上に起立する起立物obj1，obj2，obj3それぞれとしての自動車、自動二輪車、歩行者が存在する。

そして、リア画像には、起立物obj1及びobj2が映っている。また、Lサイド画像には、起立物obj2が映っており、Rサイド画像には、起立物obj1及びobj3が映っている。

統合画像の生成において、L/Rサイド画像のアフィン変換は、L/Rサイド画像に映る被写体が、すべて、道路上の平面内に存在することを前提に行われる。そのため、アフィン変換の対象のL/Rサイド画像に、道路上の他の車両（自動車や自動二輪車等）や、歩行者、その他の、道路上に起立する起立物が、被写体として映っている場合、アフィン変換後のL/Rサイド画像に映る起立物は、道路に対して傾斜する。

図５では、アフィン変換後のLサイド画像に映る起立物obj2と、アフィン変換後のRサイド画像に映る起立物obj1及びobj3とが、傾斜している。

ここで、統合画像の生成においては、L/Rサイド画像をアフィン変換し、アフィン変換後のL/Rサイド画像を、リア画像との間で位置合わせし、リア画像に合成することで得られる合成画像を、統合画像とすることができる。

さらに、統合画像の生成においては、合成画像の左右に、アフィン変換前のLサイド画像及びRサイド画像（L/Rサイド画像）をそれぞれ並べて結合することにより得られる画像を、統合画像とすることができる。

上述のように、アフィン変換後のL/Rサイド画像に映る起立物は傾斜するので、そのようなアフィン変換後のL/Rサイド画像をリア画像に合成することで得られる合成画像でも、L/Rサイド画像に映っている起立物は傾斜する。

かかる合成画像を含む統合画像、すなわち、合成画像そのもの、又は、合成画像の左右にアフィン変換前のL/Rサイド画像が結合された画像が、CMS画像として表示される場合、ドライバは、不自然に傾いた起立物が映ったCMS画像を見ることになり、違和感を感じるおそれがある。

図６は、リア画像及びL/Rサイド画像の例を示す図である。

図６では、道路上に、起立物obj2及びobj11それぞれとしての自動二輪車及び大型の車両が存在する。

そして、リア画像には、起立物obj2及びobj11が映っており、Lサイド画像には、起立物obj2が映っている。Rサイド画像には、起立物は映っていない。

また、起立物obj2は、起立物obj11の左寄りの後方に位置しており、リア画像では、起立物obj2の一部は、起立物obj11に隠れて見えない状態になっている。

一方、Lサイド画像では、起立物obj2の全体が映っている。

図７は、図６のL/Rサイド画像をアフィン変換し、アフィン変換後のL/Rサイド画像を、図６のリア画像に合成することで得られる合成画像の例を示す図である。

統合画像の生成において、L/Rサイド画像をアフィン変換し、アフィン変換後のL/Rサイド画像を、リア画像との間で位置合わせし、リア画像に合成することで、合成画像を生成する場合には、L/Rサイド画像とリア画像とが重なる重なり部分については、例えば、L/Rサイド画像の重みを1.0とし、リア画像の重みを0.0として、L/Rサイド画像とリア画像とが合成される。

すなわち、アフィン変換後のL/Rサイド画像とリア画像との重なり部分は、L/Rサイド画像で上書きされる。

図７は、上述のように、重なり部分が、L/Rサイド画像で上書きされることで得られる合成画像の例を示している。

L/Rサイド画像とリア画像との重なり部分が、L/Rサイド画像で上書きされることで得られる合成画像では、リア画像において、リア画像の無限遠点IPCと、Lサイドカメラ１２とRサイドカメラ１３とを結ぶ線分に対応する、リア画像の下部の辺上の線分seg1の端点とを結んで構成される３角形の領域re1以外の領域は、L/Rサイド画像で上書きされる。つまり、リア画像は、L/Rサイド画像に大きく映るタイル状の領域で上書きされる。

以上のような、L/Rサイド画像の上書きにより、合成画像では、リア画像に映る起立物の全部や一部が消去されることがある。

図７では、合成画像において、リア画像に映る起立物obj11の一部が、L/Rサイド画像の上書きにより消去され、欠けている。

かかる合成画像を含む統合画像が、CMS画像として表示される場合、ドライバは、不自然に一部が欠けた起立物が映ったCMS画像を見ることになり、違和感を感じるおそれがある。

図８は、図６のL/Rサイド画像をアフィン変換し、アフィン変換後のL/Rサイド画像を、図６のリア画像に合成することで得られる合成画像の他の例を示す図である。

図８では、統合画像の生成において、図７と同様の合成画像が生成される一方で、その合成画像の生成に用いられたリア画像及びアフィン変換後のL/Rサイド画像それぞれから、そのリア画像及びアフィン変換後のL/Rサイド画像それぞれに映る起立物（の画像）が抽出される。

図６のリア画像及びL/Rサイド画像については、例えば、リア画像から、起立物obj11が抽出されるとともに、アフィン変換後のLサイド画像から、起立物obj2が抽出される。

さらに、リア画像から抽出された起立物obj11については、そのリア画像に映る起立物obj11の位置が検出されるとともに、アフィン変換後のLサイド画像から抽出された起立物obj2については、そのフィン変換後のLサイド画像に映る起立物obj2の位置が検出される。

また、リア画像から抽出された起立物obj11、及び、アフィン変換後のLサイド画像から抽出された起立物obj2については、自車両１０からの距離が検出される。

そして、リア画像から抽出された起立物obj11、及び、Lサイド画像から抽出された起立物obj2は、その起立物obj11及びobj2それぞれまでの距離、並びに、起立物obj11及びobj2それぞれの位置に応じて、合成画像にレイヤ合成される。

ここで、画像のレイヤ合成とは、画像を、距離の遠い順に描画するような合成を意味する。したがって、レイヤ合成では、２つの起立物の少なくとも一部が重なる場合、その重なる部分については、２つの起立物のうちの奥側にある起立物は、手前側にある起立物で上書きされる。

また、起立物obj11の合成画像へのレイヤ合成では、起立物obj11は、リア画像に映る起立物obj11の位置に対応する、合成画像上の位置に合成される。同様に、起立物obj2の合成画像への合成では、起立物obj2は、アフィン変換後のLサイド画像に映る起立物obj2の位置に対応する、合成画像上の位置に合成される。

図６では、リア画像に映る起立物obj11は、Lサイド画像に映る起立物obj2よりも手前にある。さらに、リア画像から抽出された起立物obj11と、アフィン変換後のLサイド画像から抽出された起立物obj2とについては、一部が重なる。

そのため、レイヤ合成では、リア画像から抽出された起立物obj11、及び、Lサイド画像から抽出された起立物obj2の重なる部分については、奥側にある起立物obj2が、手前側にある起立物obj11で上書きされる。

以上のように、リア画像及びL/Rサイド画像から、図７と同様の合成画像を生成し、その合成画像に、リア画像及びアフィン変換後のL/Rサイド画像それぞれに映る起立物の抽出領域の画像をレイヤ合成することで、図７に示したような、不自然に一部が欠けた起立物が映ったCMS画像が得られることを防止することができる。

なお、リア画像及びL/Rサイド画像に映る起立物の検出は、例えば、ステレオカメラや、LIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging、laser radar)や、TOF(Time Of Flight)センサ等の距離センサを用い、距離センサによって得られる距離に応じて、起立物が一体的となった領域をセグメンテーションする方法により行うことができる。画像領域のセグメンテーションとは、画像内で一集合体をなす領域を囲う画像処理である。

また、リア画像及びL/Rサイド画像に映る起立物の検出は、例えば、リア画像及びL/Rサイド画像のオプティカルフロー解析やテクスチャ解析等の画像処理により、起立物の領域をセグメンテーションする方法により行うことができる。

さらに、リア画像及びL/Rサイド画像に映る起立物の検出では、例えば、モーションステレオ法を利用して、リア画像及びL/Rサイド画像上の路面（道路）を推定し、路面でない領域を、起立物の領域として検出することができる。

また、車両１０に搭載されたCMSにおいて、リアカメラ１１、Lサイドカメラ１２、及び、Rサイドカメラ１３、その他の車両１０に設置されたカメラで撮影された画像等を用いて、車両１０の上方から、車両１０を含む、車両１０の周辺を俯瞰した俯瞰画像を生成することができる場合には、その俯瞰画像を用いて、リア画像及びL/Rサイド画像に映る起立物の検出を行うことができる。

すなわち、俯瞰画像の、例えば、隣接する２フレームとしての時刻tのフレームと時刻t+1のフレームとについて、時刻t+1のフレームと、時刻tのフレームを車両１０の1時刻分の移動に対応する動きベクトルだけ移動（動き補償）したフレームとの差分SSを求めた場合、路面（道路）の領域の差分SSは、（ほぼ）0になる。そこで、差分SSが閾値以上の領域を、起立物の領域として、俯瞰画像から検出し、その起立物を、リア画像及びL/Rサイド画像から検出することで、リア画像及びL/Rサイド画像に映る起立物の検出を行うことができる。

さらに、リア画像及びL/Rサイド画像に映る起立物までの距離の検出は、例えば、ステレオカメラや、LIDARや、TOFセンサ等の距離センサを用いる方法により行うことができる。

また、リア画像及びL/Rサイド画像に映る起立物までの距離は、例えば、リア画像及びL/Rサイド画像それぞれの複数フレームを対象とした画像処理を行う方法により推定することができる。

リア画像及びL/Rサイド画像に映る起立物の検出や、起立物までの距離の検出は、その他、上述の方法を含む任意の方法を組み合わせて行うことができる。

図９は、合成画像の例を示す図である。

図８で説明したように、合成画像に、リア画像及びアフィン変換後のL/Rサイド画像それぞれに映る起立物をレイヤ合成することで、起立物の一部が欠けることを防止することができる。

但し、図８では、リア画像及びアフィン変換後のL/Rサイド画像それぞれに映る起立物がレイヤ合成される。この場合、アフィン変換後のL/Rサイド画像それぞれに映る起立物は、図５で説明したように傾斜するので、ドライバに違和感を感じさせるおそれがある。

そこで、L/Rサイド画像それぞれに映る起立物については、アフィン変換後のL/Rサイド画像から起立物を抽出するのではなく、アフィン変換前のL/Rサイド画像から起立物を抽出し、そのアフィン変換前のL/Rサイド画像から抽出された起立物を、レイヤ合成に用いることができる。

図９は、アフィン変換前のL/Rサイド画像から抽出された起立物を、レイヤ合成に用いて得られる合成画像の例を示している。

図９では、図６と同様に、リア画像には、起立物obj2及びobj11が映っており、Lサイド画像には、起立物obj2が映っている。Rサイド画像には、起立物は映っていない。

図９では、図８の場合と同様に、図７と同様の合成画像が生成される一方で、リア画像から、起立物obj11が抽出されるとともに、アフィン変換後のLサイド画像から、起立物obj2'が抽出される。

ここで、アフィン変換後のLサイド画像に映る起立物obj2を、起立物obj2'とも記載する。

リア画像から抽出された起立物obj11については、そのリア画像に映る起立物obj11の位置が検出される。アフィン変換後のLサイド画像から抽出された起立物obj2'についても、同様に、そのアフィン変換後のLサイド画像に映る起立物obj2'の位置pos2'が検出される。

また、リア画像から抽出された起立物obj11、及び、アフィン変換後のLサイド画像から抽出された起立物obj2'については、自車両１０からの距離が検出される。

さらに、アフィン変換前のLサイド画像から、起立物obj2が抽出される。

そして、リア画像から抽出された起立物obj11、及び、アフィン変換前のLサイド画像から抽出された起立物obj2が、図８と同様に、合成画像にレイヤ合成される。

すなわち、図９では、アフィン変換後のLサイド画像から抽出された起立物obj2'ではなく、アフィン変換前のLサイド画像から抽出された起立物obj2が、レイヤ合成の対象として、合成画像に合成される。

また、アフィン変換前のLサイド画像から抽出された起立物obj2は、アフィン変換前のLサイド画像に映る起立物obj2の接地位置pos2ではなく、アフィン変換後のLサイド画像に映る起立物obj2'の接地位置pos2'に対応する、合成画像上の接地位置pos2''に合成される。路面との接地位置に関しては以下断らない限り単に位置と記す。

以上のように、アフィン変換前のL/Rサイド画像から抽出された起立物を、アフィン変換後のL/Rサイド画像に映る起立物の位置に対応する、合成画像上の位置にレイヤ合成することで、起立物が不自然に傾斜したCMS画像が得られることを防止することができる。

図１０は、リア画像及びL/Rサイド画像を、CMS画像として表示する表示方法を説明する図である。

リア画像及びL/Rサイド画像を、CMS画像として表示する表示方法は、個別表示と統合表示とに、大きく分けられる。

個別表示では、例えば、図１に示したように、リア画像及びL/Rサイド画像それぞれが、CMS画像として、個別に表示される。リア画像及びL/Rサイド画像それぞれを、CMS画像として、個別に表示する表示方法を、以下、第１の表示方法ともいう。

統合表示では、例えば、図７ないし図９に示したように、リア画像及びL/Rサイド画像を合成した合成画像を含む画像等の、リア画像及びL/Rサイド画像を統合した統合画像が、CMS画像として表示される。

統合表示には、例えば、第２の表示方法、第３の表示方法、及び、第４の表示方法がある。

第２の表示方法では、図７等で説明したように、アフィン変換後のL/Rサイド画像とリア画像とが、そのL/Rサイド画像とリア画像との重なり部分については、L/Rサイド画像で上書きする形で合成され、その結果得られる合成画像を含む統合画像が、CMS画像として表示される。

第２の表示方法では、図７で説明したように、L/Rサイド画像の上書きにより、合成画像では、リア画像に映る起立物の全部や一部が欠ける（消去される）ことがある。

第３の表示方法では、図８で説明したように、合成画像に、リア画像及びアフィン変換後のL/Rサイド画像それぞれに映る起立物がレイヤ合成され、その結果得られる合成画像を含む統合画像が、CMS画像として表示される。

第３の表示方法では、図８で説明したように、アフィン変換後のL/Rサイド画像それぞれに映る起立物が傾斜するので、その起立物がレイヤ合成される合成画像上の起立物も傾斜する。

第４の表示方法では、図９で説明したように、アフィン変換前のL/Rサイド画像から抽出された起立物が、アフィン変換後のL/Rサイド画像に映る起立物の位置に対応する、合成画像上の位置にレイヤ合成され、その結果得られる合成画像を含む統合画像が、CMS画像として表示される。

車両１０に搭載されるCMSにおいて、合成画像を含む統合画像を、CMS画像として表示する場合には、第３の表示方法、又は、第４の表示方法が有用である。

以下では、合成画像を含む統合画像を、CMS画像として表示する場合には、第３の表示方法、又は、第４の表示方法を採用することとする。

ところで、合成画像は、例えば、リア画像を撮影するリアカメラ１１の設置位置を視点とする画像になる。

したがって、サイドミラー位置を視点とする、アフィン変換前のL/Rサイド画像に、全体が映っている起立物であっても、合成画像では、リア画像に映る他の起立物によって、（L/Rサイド画像に全体が映る起立物の）一部又は全部が隠れて見えなくなることがある。

図１１は、道路上の状況の一例を示す平面図である。

図１１では、リアカメラ１１、Lサイドカメラ１２、及び、Rサイドカメラ１３が設置された車両１０に続くように、バス等の起立物obj21、自動二輪車等の起立物obj22、及び、小型車等の起立物obj23が走行している。

起立物obj21は、車両１０の真後ろに位置している。起立物obj22は、起立物obj21の後部の左に位置し、起立物obj23は、起立物obj21の後部の右であって、起立物obj22よりも後ろに位置している。

したがって、（車両１０から）起立物obj21，obj22，obj23までの距離を、L1，L2，L3とそれぞれ表すこととすると、距離L1ないしL3については、式L1<L2<L3の関係がある。

リアカメラ１１で撮影されるリア画像には、起立物obj21ないしobj23が映る。但し、一番手前の起立物obj21については、その起立物obj21の全体が、リア画像に映るが、起立物obj21よりも奥側の起立物obj22及びobj23については、リア画像では、起立物obj22及びobj23の一部が、手前の起立物obj21に隠れ、見えない状態になる。

一方、Lサイドカメラ１２で撮影されるLサイド画像には、起立物obj21及びobj22が映る。車両１０では、Lサイドカメラ１２は、リアカメラ１１よりも左側に設置されているため、起立物obj21の後部の左に位置する起立物obj22については、その全体が（起立物obj21に隠れずに）、Lサイド画像に映る。

Rサイドカメラ１３で撮影されるRサイド画像には、起立物obj21及びobj23が映る。車両１０では、Rサイドカメラ１３は、リアカメラ１１よりも右側に設置されているため、起立物obj21の後部の右に位置する起立物obj23については、その全体が（起立物obj21に隠れずに）、Rサイド画像に映る。

以上のように、Lサイド画像には、起立物obj22の全体が映り、Rサイド画像には、起立物obj23の全体が映る。

しかしながら、かかるL/Rサイド画像をアフィン変換し、アフィン変換後のL/Rサイド画像と、リア画像とを合成し、リア画像に映る起立物obj21、並びに、アフィン変換前又はアフィン変換後のL/Rサイド画像に映る起立物obj22及びobj23をレイヤ合成することにより得られる合成画像は、リア画像を撮影するリアカメラ１１の設置位置を視点とする画像になる。

そのため、合成画像では、リア画像と同様に、起立物obj22及びobj23の一部（又は全部）は、起立物obj21に隠れて、見えない状態になる。

したがって、合成画像を含む統合画像が、CMS画像として表示される場合には、車両１０のドライバは、統合画像を見たときに、一部が起立物obj21に隠れる起立物obj22や起立物obj23に気づきにくいことがあり得る。

以上のように、合成画像において、L/Rサイド画像に全体が映る起立物の少なくとも一部が、リア画像に映る起立物に隠れて見えなくなることは、L/Rサイド画像に映る起立物までの距離が、リア画像に映る起立物までの距離よりも遠い場合、すなわち、L/Rサイド画像に映る起立物が、リア画像に映る起立物よりも奥側にある場合に生じ得る。

そこで、CMSでは、L/Rサイド画像に映る起立物が、リア画像に映る起立物よりも奥側にある場合には、起立物が他の起立物に隠れていることを警告するアラート（以下、オクルージョンアラートともいう）を出力することができる。

図１１では、距離L1ないしL3が、式L1<L2や、式L1<L3を満たす場合に、オクルージョンアラートを出力することができる。

オクルージョンアラートとしては、ブザー音その他の音声の出力や、表示の点滅その他の画像の表示を採用することができる。なお、ブザー音は運転者がモニタに視線移動する事を察知してから鳴らす事で、不用意に頻繁に鳴り響くのを避ける事が出来る。

図１２は、オクルージョンアラートとしての画像が表示された統合画像の表示例を示す図である。

図１２では、合成画像そのものが、統合画像になっており、統合画像は、第３の表示方法（図８、図１０）の統合画像になっている。

また、統合画像としての合成画像には、起立物obj1，obj2，obj3，obj11が映っている。

なお、合成画像の生成に用いられたリア画像には、起立物obj11の全体が映っている。また、合成画像の生成に用いられたLサイド画像には、起立物obj2の全体が映っており、合成画像の生成に用いられたRサイド画像には、起立物obj1及びobj3それぞれの全体が映っている。

また、起立物obj1及びobj2は、起立物obj11より奥側に位置し、起立物obj3は、起立物obj11より手前側に位置している。

そのため、合成画像では、起立物obj3については、その全体が映っているが、起立物obj1及びobj2については、それぞれの一部が、起立物obj11に隠れ、一部が見えなくなっている。

ここで、以下、リア画像に映る起立物を、リア起立物ともいい、L/Rサイド画像に映っている起立物をL/Rサイド起立物ともいう。

車両１０に搭載されたCMSでは、L/Rサイド起立物が、リア起立物よりも奥側に位置している場合、合成画像において一部（又は全部）が見えなくなるL/Rサイド起立物の存在を警告するオクルージョンアラートとしての警告マークを、統合画像に重畳することができる。

図１２では、リア起立物obj11の奥側のLサイド起立物obj2の位置に、オクルージョンアラートとしての警告マークAM2が重畳されるとともに、リア起立物obj11の奥側のRサイド起立物obj1の位置に、オクルージョンアラートとしての警告マークAM1が重畳されている。

警告マークの、統合画像への重畳は、例えば、警告マークの重みを1.0とし、統合画像の重みを0.0として、警告マークと統合画像とを合成することにより行うことができる。

警告マークAM1やAM2によれば、ドライバの注意を、迅速に喚起し、ドライバに、合成画像において一部が見えないRサイド起立物obj1やLサイド起立物obj2の存在を、迅速かつ確実に認識させることができる。

すなわち、警告マークAM1やAM2によれば、ドライバの周辺視野に存在する統合画像に、視線を向けるように、ドライバを促し、ドライバに、Rサイド起立物obj1やLサイド起立物obj2の存在を、迅速かつ確実に認識させることができる。

オクルージョンアラートとしての警告マークとしては、例えば、図１２の警告マークAM1やAM2のような、2色（以上）の縞模様（ゼブラ模様）であって、2色のうちの1色（縞模様の一部）が透明の縞模様の画像を採用することができる。

警告マークとして、1色（一部）が透明の画像を採用することにより、警告マークが、合成画像上の、リア起立物の奥側のL/Rサイド起立物の位置に重畳されても、ドライバは、L/Rサイド起立物を、警告マークの透明な部分から確認することができる。

また、警告マークとしては、透明な部分が移動する画像を採用することができる。すなわち、例えば、見かけ上、理容店のサインポールのような形で、縞模様が移動する画像を、警告マークとして採用することができる。

警告マークとして、透明な部分が移動する画像を採用する場合には、合成画像において、警告マークが重畳された部分において、L/Rサイド起立物の見える部分が変化するので、警告マークが重畳されたL/Rサイド起立物が、どのような被写体であるかを、ドライバが認識しやすくなる。ここで、2色の縞模様の警告マークを統合画像に重畳する際に、半透かしでは無く、縞の有効部としての1色の重畳重みを1.0とし、縞の無効部としての透明な部分の他の1色では逆に統合画像の重みを1.0とする事で警告に注意しつつも背景（統合画像）を鮮明に見えるようにすることが出来るメリットがある。一方、警告マークとしての縞模様を、半透かしで、統合画像に重畳する場合には、統合画像と警告マークとの半透かしでの重畳部分が曖昧になる危険性があると同時に判別認知に知恵をもたらすリスクもある。

なお、統合画像に、警告マークを重畳する場合には、オクルージョンアラートとしての音を、同時に出力することができる。この場合、ユーザの注意を、より喚起することができる。ここで音による警告は、後方における状況が重要な状況、つまり運転者が自車の走行に重要と見なして、統合画像に視線を移して状況把握を開始したか、又は、状況把握を行っている状況で行うのが妥当である。そこで、音によるオクルージョンアラートは運転者の視線や頭部振る舞い解析を行い、運転者が後方確認シーケンスを開始した事に連動し実施する事が出来る。

また、警告マークの色としては、例えば、赤や黄色等の危険を想起させる色、その他の注意の色を採用することができる。

さらに、警告マークは、L/Rサイド起立物が、リア起立物よりも奥側に位置している場合に、常に、統合画像に重畳するのではなく、L/Rサイド起立物が、リア起立物よりも奥側に位置している場合であって、奥側のL/Rサイド起立物が、手前側のリア起立物に隠れる場合に、統合画像に重畳することができる。

また、警告マークは、車両１０が、左又は右に進路変更したならば、L/Rサイド起立物と衝突するかどうかの衝突リスクを判定し、L/Rサイド起立物が、リア起立物よりも奥側に位置している場合であって、衝突リスクがある場合に、統合画像に重畳することができる。

さらに、警告マークは、L/Rサイド起立物が、リア起立物よりも奥側に位置しており、奥側のL/Rサイド起立物が、手前側のリア起立物に隠れる場合であって、衝突リスクがある場合に、統合画像に重畳することができる。

車両１０が、左又は右に進路変更したならば、L/Rサイド起立物と衝突するかどうかの衝突リスクの判定は、例えば、車両１０からL/Rサイド起立物までの距離、及び、車両１０を基準とする（車両１０に対する）L/R起立物の相対速度を用いて行うことができる。

すなわち、衝突リスクの判定は、例えば、L/Rサイド起立物までの距離、及び、L/R起立物の相対速度から、車両１０が左又は右に進路変更したならば、L/Rサイド起立物と衝突するまでの衝突所要時間を推定し、その衝突所要時間に応じて行うことができる。

L/Rサイド起立物までの距離は、ミリ波レーダーや、LIDAR、TOFセンサ（TOF型二次元距離計測装置）、ソナー装置等の距離センサを用いて検出することや、L/Rサイド起立物が映るL/Rサイド画像から推定することができる。

L/R起立物の相対速度は、前記何れかの措置で直接または間接的にL/Rサイド起立物までの距離の時系列から検出（算出）することができる。

図１３は、オクルージョンアラートとしての画像が表示された統合画像の他の表示例を示す図である。

図１３では、図１２の合成画像の左右に、（アフィン変換前の）Lサイド画像及びRサイド画像を、それぞれ並べて結合した画像が、統合画像になっている。

さらに、図１３の統合画像は、合成画像とL/Rサイド画像との間に、その合成画像とL/Rサイド画像とを区切る、所定の幅の分離境界線を有する。

合成画像とL/Rサイド画像と間の分離境界線によれば、ドライバは、統合画像に配置された合成画像とL/Rサイド画像とのそれぞれを、容易に、意識的に分離して認知することができる。

図１２で説明したように、警告マークが、一部が透明の画像である場合には、警告マークが、合成画像上のL/Rサイド起立物の位置に重畳されても、ドライバは、L/Rサイド起立物を、警告マークの透明な部分から確認することができるが、それでも、合成画像上のL/Rサイド起立物は、警告マークの透明でない部分によって隠れる。

合成画像に、L/Rサイド画像を結合して、統合画像を構成する場合には、ドライバは、警告マークが表示されたときに、統合画像の合成画像から、その統合画像に結合されたL/Rサイド画像に視線を移すことにより、L/Rサイド起立物を明確に確認することができる。

なお、合成画像とL/Rサイド画像との間の分離境界線の幅としては、人間工学的に、人が、合成画像とL/Rサイド画像とを意識的に分離して、合成画像からL/Rサイド画像に視線を移し、L/Rサイド画像に映る状況の把握の認知及び思考を行うのに適切な幅を採用することができる。例えば、ドライバの頭部から、（水平方向に）0.5度以上の角度に対応する幅を、分離境界線の幅として採用することができる。

図１４は、オクルージョンアラートとしての画像が表示された統合画像のさらに他の表示例を示す図である。

図１４の統合画像は、図１３と同様に構成される。

但し、図１４の統合画像では、合成画像の生成に用いるアフィン変換後のL/Rサイド画像の無限遠点がリア画像の無限遠点と一致する程度が変化する。

合成画像において、アフィン変換後のL/Rサイド画像の無限遠点がリア画像の無限遠点と一致する程度は、例えば、ドライバの状態に応じて変化させることができる。

例えば、ドライバの頭部の回転移動や平行移動（視点の移動）等に応じて、合成画像において、アフィン変換後のL/Rサイド画像の無限遠点がリア画像の無限遠点と一致する程度を、図１４の両矢印で示すように、シームレスに変化させることができる。

例えば、ドライバが、前方に注意して運転しているときの、ドライバの頭部の状態を、デフォルトの状態ということとすると、デフォルトの状態からの、ドライバの頭部の回転移動や平行移動の移動量が大であるほど、合成画像において、アフィン変換後のL/Rサイド画像の無限遠点がリア画像の無限遠点と一致する程度を小にする（より一致しないようにする）ことができる。

この場合、ドライバの頭部の移動により、合成画像には、例えば、リア起立物obj11に隠れていない状態のLサイド起立物obj2が表示されるので、ドライバは、リア起立物obj11の後方に位置するLサイド起立物obj2を迅速かつ的確に認識することができる。Rサイド起立物obj1についても、同様である。

なお、合成画像では、ドライバの状態に応じて、アフィン変換後のL/Rサイド画像の無限遠点がリア画像の無限遠点と一致する程度を、シームレスに変化させる他、合成画像に用いるL/Rサイド画像を、無限遠点がリア画像の無限遠点と一致するようにアフィン変換したL/Rサイド画像（アフィン変換後のL/Rサイド画像）、又は、そのようなアフィン変換が施される前のL/Rサイド画像（アフィン変換前のL/Rサイド画像）に切り替えることができる。

すなわち、例えば、ドライバの頭部の位置に応じて、合成画像に合成されるL/Rサイド画像を、アフィン変換前のL/Rサイド画像、又は、アフィン変換後のL/Rサイド画像に切り替えることができる。

この場合、例えば、ドライバが、統合画像に、警告マークAM1やAM2が重畳されていることに気づいて、統合画像に視線を向けるように、頭部を移動させたときに、合成画像に合成されるL/Rサイド画像が、アフィン変換後のL/Rサイド画像から、アフィン変換前のL/Rサイド画像に切り替えられる。

したがって、ドライバは、合成画像に合成されたアフィン変換前のL/Rサイド画像により、L/Rサイド起立物を明確に確認することができる。

＜車両が低速で走行する（徐行する）場合に表示するCMS画像＞

図１５は、車両が低速で走行する場合に表示するCMS画像（以下、低速CMS画像ともいう）となる画像を撮影するカメラの、車両への設置位置の例を示す平面図である。

図１６は、低速CMS画像となる画像を撮影するカメラの、車両への設置位置の例を示す斜視図である。

なお、図１５及び図１６において、図３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図１５及び図１６では、図３と同様に、車両１０の後部に、リアカメラ１１が設置されている。さらに、車両１０では、車両１０の後部の左側の位置に、Lリアサイドカメラ１４が設置されているとともに、車両１０の後部の右側の位置に、Rリアサイドカメラ１５が設置されている。

なお、図１５及び図１６では、図３のLサイドカメラ１２及びRサイドカメラ１３の図示は、省略してある。

Lリアサイドカメラ１４は、例えば、水平画角が90ないし100度程度の中心射影の画像を撮影して出力する。ここで、Lリアサイドカメラ１４で撮影される画像を、Lリアサイド画像ともいう。

Lリアサイドカメラ１４は、車両１０の間近の右後方の様子を撮影するため、つまり、Lリアサイド画像に、車両１０の間近の右後方の様子が映るようにするため、車両１０の車幅方向の中心の幅方向中心線WCLに対して、撮影したい方向である右後方と反対側の、車両１０の後部の左側の位置に、光軸を、撮影したい方向（右後方）に向けて設置されている。

なお、Lリアサイドカメラ１４は、例えば、Lリアサイド画像に、車両１０の後部（の一部）が映るように設置される。

Rリアサイドカメラ１５は、例えば、Lリアサイドカメラ１４と同様に、水平画角が90ないし100度程度の中心射影の画像を撮影して出力する。ここで、Rリアサイドカメラ１５で撮影される画像を、Rリアサイド画像ともいう。

Rリアサイドカメラ１５は、幅方向中心線WCLに対して、Lリアサイドカメラ１４と線対称となるように設置されている。

すなわち、Rリアサイドカメラ１５は、車両１０の間近の左後方の様子を撮影するため、つまり、Rリアサイド画像に、車両１０の間近の左後方の様子が映るようにするため、幅方向中心線WCLに対して、撮影したい方向である左後方と反対側の、車両１０の後部の右側の位置に、光軸を、撮影したい方向（左後方）に向けて設置されている。

なお、Rリアサイドカメラ１５は、例えば、Rリアサイド画像に、車両１０の後部（の一部）が映るように設置される。

また、Lリアサイドカメラ１４及びRリアサイドカメラ１５の光軸は、幅方向中心線WCL上で交差する。

以上のように、Lリアサイドカメラ１４及びRサイドカメラ１５を、幅方向中心線WCLに対して、撮影したい方向と反対側の、車両１０の後部の位置に、光軸を、撮影したい方向に向けて設置することで、そのLリアサイドカメラ１４及びRリアサイドカメラ１５の両方によって、車両１０の間近の後方や、車両１０の後部の左右（車両１０の後輪の後ろ側付近等）を含む、車両１０の後方の広角範囲の状況を撮影することができる。つまり、Lリアサイドカメラ１４及びRサイドカメラ１５を、車体後方の片側から斜め方向に設置する事で車輛進行方向後方無限遠方から車体後部を包含できる視野角となる範囲を撮像することができる。

その結果、車両１０の後部について、死角の少ない結合画像を提供することができる。

ここで、図１５及び図１６において、SR1，SR2，SR3は、リアカメラ１１、Lリアサイドカメラ１４、Rリアサイドカメラ１５の撮影範囲を、それぞれ表す。

撮影範囲SR2及びSR3によれば、Lリアサイドカメラ１４及びRリアサイドカメラ１５によって、車両１０の間近の後方を含む、車両１０の後方の広角範囲の状況を撮影することができることを確認することができる。

なお、以下、Lリアサイド画像及びRリアサイド画像を、まとめて、L/Rリアサイド画像ともいう。

図１７は、低速CMS画像としての統合画像の例を示す図である。

図１７では、CMS画像としての統合画像の左側の領域及び右側の領域に、Rリアサイド画像及びLリアサイド画像をそれぞれ配置することで、統合画像が構成される。

すなわち、図１７の統合画像は、Rリアサイド画像及びLリアサイド画像を、それぞれ左右に並べて配置して結合することで生成される。

ここで、"R"リアサイド画像には、車両１０の「左」後方の様子が映るため、Rリアサイド画像は、統合画像の「左」側に配置される。同様に、"L"リアサイド画像には、車両１０の「右」後方の様子が映るため、Lリアサイド画像は、統合画像の「右」側に配置される。

以下、CMS画像としての統合画像のRリアサイド画像が配置される領域を、Rリアサイド画像表示領域ともいい、Lリアサイド画像が配置される領域を、Lリアサイド画像表示領域ともいう。

Rリアサイド画像表示領域には、Rリアサイドカメラ１５で撮影されたRリアサイド画像から、Rリアサイド画像表示領域に対応する画角の範囲が切り出され、その範囲のRリアサイド画像が配置される。同様に、Lリアサイド画像表示領域には、Lリアサイドカメラ１４で撮影されたLリアサイド画像から、Lリアサイド画像表示領域に対応する画角の範囲が切り出され、その範囲のLリアサイド画像が配置される。

Rリアサイド画像表示領域とLリアサイド画像表示領域との境界は、例えば、統合画像の水平方向の中点の位置に固定にすることができる。

また、Rリアサイド画像表示領域とLリアサイド画像表示領域との境界は、例えば、ドライバの頭部の位置や視線の向き等のドライバの状態に応じて、左右方向（水平方向）に移動することができる。

Rリアサイド画像表示領域とLリアサイド画像表示領域との境界が、右側に移動された場合、Rリアサイド画像表示領域は水平方向に拡張し、Lリアサイド画像表示領域は、水平方向に縮小する。

この場合、Rリアサイド画像表示領域に配置されるRリアサイド画像の水平方向の画角が大になり、ドライバは、そのようなRリアサイド画像に映る左後方の広い範囲の状況を確認することができる。

一方、Rリアサイド画像表示領域とLリアサイド画像表示領域との境界が、左側に移動された場合、Rリアサイド画像表示領域は水平方向に縮小し、Lリアサイド画像表示領域は、水平方向に拡張する。

この場合、Lリアサイド画像表示領域に配置されるLリアサイド画像の水平方向の画角が大になり、ドライバは、そのようなLリアサイド画像に映る右後方の広い範囲の状況を確認することができる。

図１８は、低速CMS画像としての統合画像の他の例を示す図である。

図１８では、CMS画像としての統合画像の左側の領域及び右側の領域に、Rリアサイド画像及びLリアサイド画像をそれぞれ配置するとともに、統合画像の中央の領域に、リア画像を配置することで、統合画像が構成される。

すなわち、図１８の統合画像は、Rリアサイド画像及びLリアサイド画像を、それぞれ左右に配置して結合し、その結合により得られる画像の中央に、リア画像を合成（重畳）する生成される。

ここで、結合画像の、リア画像が配置される領域を、リア画像表示領域ともいう。

リア画像表示領域には、リアカメラ１１で撮影されたリア画像から、リア画像表示領域に対応する画角の範囲が切り出され、その範囲のリア画像が配置される。

図１８の結合画像では、図１７の場合と同様に、Rリアサイド画像表示領域とLリアサイド画像表示領域との境界については、統合画像の水平方向の中点の位置に固定にすることもできるし、ドライバの状態に応じて、矢印AR1で示すように、左右方向に移動することもできる。

さらに、図１８の結合画像では、リア画像表示領域を、固定の領域とすることもできるし、可変の領域とすることもできる。

リア画像表示領域を可変の領域とする場合には、例えば、ドライバの頭部の位置等のドライバの状態に応じて、リア画像表示領域の全体を、矢印AR2で示すように、拡張又は縮小することができる。

すなわち、例えば、ドライバの頭部がデフォルト状態から前方に移動した場合には、その移動の移動量に応じて、リア画像表示領域を拡張することができる。この場合、リア画像表示領域に配置されるリア画像の画角が大になり、ドライバは、そのようなリア画像に映る後方の広い範囲の状況を確認することができる。

また、例えば、ドライバの頭部がデフォルト状態から後方に移動した場合には、その移動の移動量に応じて、リア画像表示領域を縮小することができる。

図１７及び図１８の結合画像は、例えば、駐車場への出し入れのために、車両１０を後進させる場合のCTA(Cross Traffic Alert)の用途等に、特に有用である。

＜車両が低中速で走行する場合に表示するCMS画像＞

図１９は、車両が低中速で走行する場合に表示するCMS画像（以下、中速CMS画像ともいう）となる画像を撮影するカメラの、車両への設置位置の例を示す斜視図である。

なお、図１９において、図３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図１９では、図３と同様に、車両１０の後部に、リアカメラ１１が設置されている。さらに、車両１０では、車両１０の左側のサイドミラー位置に、Lサイドカメラ２２が設置されているとともに、車両１０の右側のサイドミラー位置に、Rサイドカメラ２３が設置されている。

Lサイドカメラ２２は、例えば、魚眼カメラ等の、（ほぼ）全天の撮影が可能な全天球カメラで、光軸が車両１０の左方向に向くように設置されている。

Lサイドカメラ２２は、車両１０の左方向に延びる軸回りの全方向（360度）の状況が映った画像を撮影し、Lサイド画像として出力する。Lサイド画像には、車両１０の左前方から左方向、さらには、左方向から左後方に亘る広範囲の状況が映る。

Rサイドカメラ２３は、例えば、Lサイドカメラ２２と同様に、魚眼カメラ等の、全天の撮影が可能な全天球カメラで、光軸が車両１０の右方向DR3に向くように設置されている。

Rサイドカメラ２３は、車両１０の右方向DR3に延びる軸回りの全方向の状況が映った画像を撮影し、Rサイド画像として出力する。Rサイド画像には、車両１０の右前方から右方向、さらには、右方向から右後方に亘る広範囲の状況が映る。

ここで、リアカメラ１１の光軸の方向（車両１０の後方の方向）DR1の、リアカメラ１１の設置位置から所定の距離だけ離れた位置に、方向DR1に垂直な所定サイズの平面を、投影面PPAとして想定する。

また、Rサイドカメラ２３の設置位置から、車両１０の右後方の方向DR2の、Rサイドカメラ２３の設置位置から所定の距離だけ離れた位置に、方向DR2に垂直な所定サイズの平面を、投影面PPBとして想定する。ここで、投影面PPBの縦の長さは、投影面PPAの縦の長さと一致する。投影面PPBの横の長さは、投影面PPAの横の長さと一致するとは限らない。

さらに、Rサイドカメラ２３の設置位置から、車両１０の右方向DR3の、Rサイドカメラ２３の設置位置から所定の距離だけ離れた位置に、曲面状の投影面PPCを想定する。

投影面PPCの縦の長さは、投影面PPA及びPPBの縦の長さと一致する。

投影面PPCは、Rサイドカメラ２３の設置位置を中心とし、所定の距離を半径とする円柱の側面の一部である。

なお、投影面PPCは、例えば、車両１０の右方向DR3が、投影面PPCの左右の端点とRサイドカメラ２３の設置位置とがなす角度θを２等分する方向になるように想定することができる。

いま、リアカメラ１１の設置位置から見て、投影面PPAに投影される中心射影の画像を、PPA画像ということとする。さらに、Rサイドカメラ２３の設置位置から見て、投影面PPBに投影される中心射影の画像を、RPPB画像ということとする。また、Rサイドカメラ２３の設置位置から見て、投影面PPCに投影される円筒射影の画像（円筒投影像）を、RPPC画像ということとする。

PPA画像には、車両１０の後方の状況が映る。RPPB画像には、車両１０の右後方の状況が映る。RPPC画像には、車両１０の右方向DR3（を中心とする角度θに対応する水平方向の範囲）の状況が映る。

PPA画像は、リアカメラ１１で撮影されるリア画像から得ることができる。RPPB画像及びRPPC画像は、Rサイドカメラ２３で撮影されるRサイド画像から得ることができる。

同様に、Lサイドカメラ２２で撮影されるLサイド画像からは、RPPB画像及びRPPC画像に対応する画像を得ることができる。

以下、Lサイド画像から得られる、RPPB画像に対応する画像を、LPPB画像といい、Lサイド画像から得られる、RPPC画像に対応する画像を、LPPC画像という。

RPPB画像には、上述のように、車両１０の右後方の状況が映るので、RPPB画像は、例えば、図３のRサイドカメラ１３で撮影されるRサイド画像に相当する。同様に、LPPB画像は、例えば、図３のLサイドカメラ１２で撮影されるLサイド画像に相当する。

さらに、PPA画像は、リア画像であり、したがって、PPA画像、LPPB画像、及び、RPPB画像によれば、第３の表示方法（図８、図１０）の統合画像や、第４の表示方法（図９、図１０）の統合画像、警告マークが重畳された統合画像（図１２等）、さらには、それらの統合画像に含まれる合成画像を生成することができる。

図２０は、中速CMS画像としての統合画像の第１の例を示す図である。

図２０の統合画像は、PPA画像（リア画像）、LPPB画像、及び、RPPB画像を用いて合成画像を生成し、その合成画像の左側に、LPPB画像及びLPPC画像を並べて結合するとともに、合成画像の右側に、RPPB画像及びRPPC画像を並べて結合することで生成することができる。

図２０の統合画像によれば、ドライバは、車両１０の後方（真後ろ）、左後方、右後方、左方、及び、右方の状況を確認することができる。

また、図２０の結合画像によれば、LPPC画像及びRPPC画像は、円筒射影の画像であるので、車両の左方及び右方の広範囲を映すことができ、ドライバは、そのような広範囲を確認することができる。

なお、統合画像は、LPPB画像及びRPPB画像を配置せずに構成すること、すなわち、合成画像の左隣に、LPPC画像を配置するとともに、合成画像の右隣に、RPPC画像を配置して構成することができる。

また、図２０の統合画像については、PPA画像が合成されている合成画像に代えて、PPA画像（リア画像）そのものを配置することができる。

図２１は、中速CMS画像としての統合画像の第２の例を示す図である。

図２１の統合画像では、図２０の場合と比較して、LPPB画像とLPPC画像との配置位置が入れ替わり、RPPB画像とRPPC画像との配置位置が入れ替わっている。

図２２は、中速CMS画像としての統合画像の第３の例を示す図である。

図２２の統合画像では、合成画像とLPPB画像との間、合成画像とRPPB画像との間、LPPB画像とLPPC画像との間、及び、RPPB画像とRPPC画像との間のそれぞれに、図１３で説明した分離境界線が配置されている。

これにより、ドライバは、統合画像に配置された合成画像、LPPB画像、RPPB画像、LPPC画像、及び、RPPC画像のそれぞれを、容易に、意識的に分離して認知することができる。

なお、図２１の統合画像についても、分離境界線を配置することができる。

図２３は、中速CMS画像としての統合画像の第４の例を説明する図である。

統合画像には、例えば、RPPB画像の下半分について、PPA画像に近い領域ほど、無限遠点が、PPA画像の無限遠点に近づくようにアフィン変換を施したRPPB画像を配置することができる。無限遠点の配置は、実際の車輌に設置されたカメラの視野角に応じて決まり、RPPB画像の「下半分」とは水平線の下部に該当する。

図２３では、RPPB画像の下半分が、ほぼ短冊状に区切られ、PPA画像に近い短冊状の領域ほど、無限遠点がPPA画像の無限遠点に近づくようにアフィン変換（以下、短冊アフィン変換ともいう）が行われている。図示していないが、LPPB画像についても、同様である。

例えば、PPA画像、又は、PPA画像が合成された合成画像の左右に、LPPB画像及びRPPB画像をそれぞれ配置し、LPPB画像の左に、LPPC画像を配置するとともに、RPPB画像の右に、RPPC画像を配置して、統合画像を生成する場合には、PPA画像又は合成画像の左右にそれぞれ配置するLPPB画像及びRPPB画像として、短冊アフィン変換後のLPPB画像及びRPPB画像を採用することにより、LPPB画像及びRPPB画像それぞれからPPA画像又は合成画像にかけて、無限遠点が、PPA画像又は合成画像の無限遠点にシームレスに（徐々に）近づいていく、視覚的な違和感が抑制された統合画像を得ることができる。

図２４は、中速CMS画像としての統合画像の第５の例を説明する図である。

中速CMS画像としての統合画像では、車両１０の周囲を囲む仮想的な境界線である仮想境界線VL10，VL11，VL12，VL13を、円筒射影のLPPC画像及びRPPC画像に重畳することができる。

ここで、仮想境界線VL10は、車両１０において、前方に最も突出している部分に接する左右方向に延びる仮想的な直線であり、仮想境界線VL11は、車両１０において、後方に最も突出している部分に接する左右方向に延びる仮想的な直線である。

仮想境界線VL12は、車両１０において、左方に最も突出している部分に接する前後方向に延びる仮想的な直線であり、仮想境界線VL13は、車両１０において、右方に最も突出している部分に接する前後方向に延びる仮想的な直線である。

図２５は、中速CMS画像としての統合画像の第５の例を示す図である。

図２５の統合画像では、仮想境界線VL10ないしVL13が、円筒射影のLPPC画像及びRPPC画像に重畳されており、かかる点で、図２５の統合画像は、図２０の場合と異なる。

図２５の統合画像によれば、ドライバは、仮想境界線VL10ないしVL13により、道路上にある物体と車両１０との相対的な位置関係を把握することができる。

以上、高速CMS画像、中速CMS画像、及び、低速CMS画像について説明したが、車両１０に搭載されたCMSでは、CMS画像の表示を、高速CMS画像、中速CMS画像、又は、低速CMS画像に、適宜切り替えることができる。

CMS画像の切り替えは、車両１０の速度等の車両１０の状態（車両状態）に応じて行うことができる。また、CMS画像の切り替えは、その他、例えば、ドライバ等による車両１０の操作や、ドライバの頭部の位置や姿勢等のドライバの状態（ドライバ状態）に応じて行うことができる。

ここで、車両１０の操作には、例えば、ステアリング（ハンドル）や、シフトレバー、その他の機械的な操作手段の操作の他、音声やジェスチャによる操作が含まれる。

例えば、ドライバは、狭隘道路から抜け出す場合や、駐車場から出庫する場合等においては、上半身を、安定して着座している姿勢（以下、安定姿勢ともいう）から、意識的に前に移動して、車両の前方の左右を確認する。

ドライバの上半身の前後への移動は、例えば、頭部を上下させる動作等の、ドライバが無意識に行ってしまう可能性が高い動作とは異なり、ドライバが車両の前方の左右を確認する等の明確な意識をもって行う可能性が高い動作である。

また、ドライバの上半身の前後への移動は、ステアリングを持った状態で行われる可能性が高く、動作のばらつきが少ない、いわば定型的な動作であり、比較的、精度良く検出することができる。

そこで、ドライバ状態として、ドライバの上半身の前への移動を検出し、ドライバの上半身の前への移動が検出された場合には、例えば、狭隘道路からの抜け出し時等において、車両の前方の左右の確認に有用な中速CMS画像や低速CMS画像に、CMS画像の表示を切り替えることができる。

なお、ドライバ状態としてのドライバの上半身の前後への移動を検出する方法としては、絶対的な移動量を検出する方法と、所定の短時間ごとに、その短時間内での相対的な移動量を検出する方法がある。CMS画像の表示を、中速CMS画像や低速CMS画像に切り替える場合の、ドライバの上半身の前後への移動の検出には、例えば、短時間ごとに、相対的な移動量を検出する方法を採用することができる。

＜本技術を適用した車両の一実施の形態＞

図２６は、本技術を適用した車両の一実施の形態の外観の構成例の概要を示す平面図である。

例えば、自動車等である（自）車両１００には、CMSが搭載されている。そして、車両１００には、CMSを構成するリアカメラ１１１、Lサイドカメラ１１２、Rサイドカメラ１１３、Lリアサイドカメラ１１４、Rリアサイドカメラ１１５、フロントカメラ１２１、及び、室内カメラ１２２等が設置されている。

リアカメラ１１１は、例えば、図３のリアカメラ１１と同様に、車両１００の後部に設置されている。さらに、リアカメラ１１１は、例えば、図３のリアカメラと同様に、車両１００の後方（真後ろ）を所定のフレームレートで撮影し、その後方の状況が映った中心射影のリア画像を出力する。

Lサイドカメラ１１２は、例えば、図１９のLサイドカメラ２２と同様に、車両１００の左側のサイドミラー位置に設置されている。さらに、Lサイドカメラ１１２は、例えば、図１９のLサイドカメラ２２と同様に、全天の撮影が可能な全天球カメラで、光軸が車両１００の左方向に向くように設置されている。したがって、Lサイドカメラ１１２は、図１９のLサイドカメラ２２と同様に、車両１００の左方向に延びる軸回りの全方向の状況が映った画像を所定のフレームレートで撮影し、Lサイド画像として出力する。

Rサイドカメラ１１３は、例えば、図１９のRサイドカメラ２３と同様に、車両１００の右側のサイドミラー位置に設置されている。さらに、Rサイドカメラ１１３は、例えば、図１９のRサイドカメラ２３と同様に、全天の撮影が可能な全天球カメラで、光軸が車両１００の右方向に向くように設置されている。したがって、Rサイドカメラ１１３は、図１９のLサイドカメラ２３と同様に、車両１００の右方向に延びる軸回りの全方向の状況が映った画像を所定のフレームレートで撮影し、Rサイド画像として出力する。

Lリアサイドカメラ１１４は、例えば、図１５及び図１６のLリアサイドカメラ１４と同様に、Lリアサイドカメラ１１４で撮影したい方向である右後方と反対側の、車両１００の後部の左側の位置に、光軸を、撮影したい方向（右後方）に向けて設置されている。そして、Lリアサイドカメラ１１４は、例えば、図１５及び図１６のLリアサイドカメラ１４と同様に、水平画角が90ないし100度程度の中心射影の画像を所定のフレームレートで撮影し、その結果得られるLリアサイド画像を出力する。

Rリアサイドカメラ１１５は、例えば、図１５及び図１６のRリアサイドカメラ１５と同様に、Rリアサイドカメラ１１５で撮影したい方向である左後方と反対側の、車両１００の後部の右側の位置に、光軸を、撮影したい方向（左後方）に向けて設置されている。そして、Rリアサイドカメラ１１５は、例えば、図１５及び図１６のRリアサイドカメラ１５と同様に、水平画角が90ないし100度程度の中心射影の画像を所定のフレームレートで撮影し、その結果得られるRリアサイド画像を出力する。

フロントカメラ１２１は、例えば、車両１００の前部に設置されている。フロントカメラ１２１は、車両１００の前方を所定のフレームレートで撮影し、その前方の状況が映ったフロント画像を出力する。

室内カメラ１２２は、例えば、バックミラーの位置やステアリングホイルの軸上部位置等に設置されている。室内カメラ１２２は、例えば、車両１００を操縦（運転）するドライバを所定のフレームレートで撮影し、その結果得られる画像を出力する。

なお、車両１００には、リアカメラ１１１、Lサイドカメラ１１２、Rサイドカメラ１１３、Lリアサイドカメラ１１４、Rリアサイドカメラ１１５、フロントカメラ１２１、及び、室内カメラ１２２以外にも、カメラを設置することができる。

＜車両１００に搭載されたCMSの構成例＞

図２７は、車両１００に搭載されたCMSの構成例を示すブロック図である。

図２７において、CMS１５０は、撮影部１６１、距離検出部１６２、車両状態検出部１６３、ドライバ状態検出部１６４、CMS画像生成部１６５、及び、表示部１６６を有する。

撮影部１６１は、リアカメラ１１１、Lサイドカメラ１１２、Rサイドカメラ１１３、Lリアサイドカメラ１１４、Rリアサイドカメラ１１５、フロントカメラ１２１、及び、室内カメラ１２２等を有する。

撮影部１６１において、リアカメラ１１１、Lサイドカメラ１１２、Rサイドカメラ１１３、Lリアサイドカメラ１１４、Rリアサイドカメラ１１５、フロントカメラ１２１、及び、室内カメラ１２２で撮影された画像（リア画像、Lサイド画像、Rサイド画像、Lリアサイド画像、Rリアサイド画像、フロント画像、ドライバを撮影した画像等）は、必要に応じて、ドライバ状態検出部１６４やCMS画像生成部１６５に供給される。

距離検出部１６２は、例えば、ソナーや、レーダー、ステレオカメラ、LIDAR、TOFセンサ、その他の測距が可能なセンサを有する。距離検出部１６２は、測距が可能なセンサの出力を用いて、車両１００の周囲の起立物、その他の物体までの距離を検出し、その距離を表す距離情報を、CMS画像生成部１６５に供給する。また、画像処理によりカメラ単独で距離推定をしても良い。

車両状態検出部１６３には、操作部１５１から操作情報が供給されるとともに、センサ部１６２からセンサ信号が供給される。

ここで、操作部１５１は、例えば、ブレーキペダルや、ステアリング、ウインカーレバー、アクセルペダル、シフトレバー等の、ドライバ等が車両１００の操縦等のために操作する、車両１００に設けられた各種の操作手段である。また、図示していないが、その他スイッチャ―やジェスチャーセンサー等で運転者操作を検出・認識をしてもよい。

操作部１５１は、ドライバ等により操作され、その操作に対応する操作情報を、車両状態検出部１６３、及び、CMS画像生成部１６５に供給する。

センサ部１５２は、ジャイロセンサや加速度センサ等の、車両１００に関する各種の物理量をセンシングする各種のセンサを有し、その各種のセンサが出力するセンサ信号を、車両状態検出部１６３に供給する。

車両状態検出部１６３は、操作部１５１からの操作情報や、センサ部１５２からのセンサ信号に基づき、車両１００の車両状態を検出し、CMS画像生成部１６５に供給する。

車両１００の車両状態としては、例えば、車両１００が、低速、中速、及び、高速のうちのいずれの速度レンジで走行しているかや、車両１００が前進しているか又は後進しているか等がある。

ドライバ状態検出部１６４には、撮影部１６１の室内カメラ１２２から、ドライバ（運転席）を撮影した画像が供給される。

ドライバ状態検出部１６４は、室内カメラ１２２の画像から、ドライバのドライバ状態、すなわち、例えば、ドライバの頭部の位置や、頭部の移動（回転）、視線、姿勢、上半身の位置や、上半身の移動等を検出し、CMS画像生成部１６５に供給する。その他、ジェスチャやToFセンサを用いてドライバの状態検出を行ってもよい。

CMS画像生成部１６５には、上述したように、操作部１５１から操作情報が、車両状態検出部１６３から車両状態が、ドライバ状態検出部１６４からドライバ状態が、それぞれ供給される。

さらに、CMS画像生成部１６５には、撮影部１６１のリアカメラ１１１、Lサイドカメラ１１２、Rサイドカメラ１１３、Lリアサイドカメラ１１４、Rリアサイドカメラ１１５、及び、フロントカメラ１２１から、リア画像、Lサイド画像、Rサイド画像、Lリアサイド画像、Rリアサイド画像、及び、フロント画像がそれぞれ供給される。

CMS画像生成部１６５は、操作部１５１からの操作情報や、車両状態検出部１６３からの車両状態、ドライバ状態検出部１６４からのドライバ状態に応じて、表示モードを設定する。

さらに、CMS画像生成部１６５は、撮影部１６１からのリア画像、Lサイド画像、Rサイド画像、Lリアサイド画像、Rリアサイド画像、及び、フロント画像を用いて、表示モードに応じたCMS画像としての統合画像を生成し、表示部１６６に供給する。

表示部１６６は、例えば、車両１００のフロントガラスに画像を表示するHUD(Head Up Display)や、ダッシュボードに設けられたディスプレイ等であり、CMS画像生成部１６５からのCMS画像としての統合画像等を表示する。

＜表示モード＞

図２８は、CMS画像生成部１６５が設定する表示モードの例を示す図である。

図２８では、表示モードとして、例えば、駐車支援バックギア切り替えモード、市街地低速広域モード、市街地低速サイド分離可変モード、CTAモード、高速サイド分離表示モード、高速中間表示モード、及び、高速標準連続モードがある。

さらに、図２８では、表示モードの遷移は、図中、矢印で表される遷移に制限される。但し、表示モードの遷移は、図２８に矢印で示した遷移に限定されるものではない。すなわち、例えば、表示モードは、任意の表示モードから、他の任意の表示モードに遷移させることができる。

ここで、駐車支援バックギア切り替えモード、市街地低速広域モード、市街地低速サイド分離可変モード、CTAモード、高速サイド分離表示モード、高速中間表示モード、高速標準連続モードを、それぞれ、表示モード1，2，3，4，5，6，7ともいう。

表示モード1では、CMS画像生成部１６５は、車両１００の上方から、車両１００を含む、車両１００の周辺を俯瞰した、いわゆるバードビュー又はサラウンドビューの画像（俯瞰画像）を、表示モード1の画像として生成し、その表示モード1の画像を、CMS画像として出力する。

表示モード2又は3では、CMS画像生成部１６５は、図１９ないし図２５で説明した中速CMS画像としての統合画像を生成して出力する。

すなわち、表示モード2では、CMS画像生成部１６５は、例えば、図２５の統合画像を、表示モード2の統合画像として生成し、その表示モード2の統合画像を、CMS画像として出力する。

表示モード3では、CMS画像生成部１６５は、例えば、図２２の統合画像を、表示モード3の統合画像として生成し、その表示モード3の統合画像を、CMS画像として出力する。

表示モード4では、CMS画像生成部１６５は、図１５ないし図１８で説明した低速CMS画像としての統合画像を生成して出力する。

すなわち、表示モード4では、CMS画像生成部１６５は、例えば、図１８の統合画像を、表示モード4の統合画像として生成し、その表示モード4の統合画像を、CMS画像として出力する。

表示モード5,6、又は、7では、CMS画像生成部１６５は、図１２ないし図１４で説明した高速CMS画像としての統合画像を生成して出力する。

すなわち、表示モード5では、CMS画像生成部１６５は、例えば、図１３の統合画像を、表示モード5の統合画像として生成し、その表示モード5の統合画像を、CMS画像として出力する。

表示モード6では、CMS画像生成部１６５は、例えば、図１４の統合画像を、表示モード6の統合画像として生成し、その表示モード6の統合画像を、CMS画像として出力する。

表示モード7では、CMS画像生成部１６５は、例えば、図１２の統合画像を、表示モード7の統合画像として生成し、その表示モード7の統合画像を、CMS画像として出力する。

CMS画像生成部１６５は、操作部１５１からの操作情報や、車両状態検出部１６３からの車両状態、ドライバ状態検出部１６４からのドライバ状態に応じて、表示モードを設定する。

例えば、操作部１５１からの操作情報が、操作部１５１（図２７）のシフトレバーがバックギアになっていることを表す場合、CMS画像生成部１６５は、表示モードを表示モード1に設定することができる。

また、例えば、車両状態検出部１６３からの車両状態が、車両１００が中速で走行していることを表す場合、CMS画像生成部１６５は、表示モードを、表示モード2又は3に設定することができる。

さらに、例えば、車両状態検出部１６３からの車両状態が、車両１００が低速で走行していることを表す場合、CMS画像生成部１６５は、表示モードを、表示モード4に設定することができる。

また、例えば、車両状態検出部１６３からの車両状態が、車両１００が高速で走行していることを表す場合、CMS画像生成部１６５は、表示モードを、表示モード5，6、又は、7に設定することができる。車両１００が、例えば、パーキング等のために低速で走行している車両状態であることや、市街地走行等のために中速で走行している車両状態にあること、高速道路等で高速で走行している車両状態であることは、例えば、GNSS(Global Navigation Satellite System)やナビゲーション、ナビゲーションプラニング情報を適宜用いて検出することができる。

さらに、例えば、操作部１５１からの操作情報が、操作部１５１が所定の表示モードを指定するように操作されたことを表す場合、CMS画像生成部１６５は、表示モードを、操作部１５１の操作に従った所定の表示モードに設定することができる。

また、例えば、ドライバ状態検出部１６４からのドライバ状態が、ドライバが安定姿勢になっていることを表す場合、CMS画像生成部１６５は、表示モードを、表示モード5，6、又は、7に設定することができる。

さらに、例えば、ドライバ状態検出部１６４からのドライバ状態が、ドライバの上半身が前に移動していることを表す場合、CMS画像生成部１６５は、表示モードを、表示モード2，3、又は、4に設定することができる。

＜CMS画像生成部１６５の構成例＞

図２９は、図２７のCMS画像生成部１６５の構成例を示すブロック図である。

図２９において、CMS画像生成部１６５は、表示モード設定部２０１、リア画像処理部２１１、Lサイド画像処理部２１２、Rサイド画像処理部２１３、Lリアサイド画像処理部２１４、Rリアサイド画像処理部２１５、記憶部２１６、距離情報取得部２１７、位置関係判定部２１８、衝突リスク判定部２１９、統合部２２０、及び、重畳部２２１等を有する。

表示モード設定部２０１には、操作部１５１（図２７）から操作情報が供給される。さらに、表示モード設定部２０１には、車両状態検出部１６３（図２７）から車両状態が供給されるとともに、ドライバ状態検出部１６４（図２７）からドライバ状態が供給される。

表示モード設定部２０１は、操作部１５１からの操作情報、車両状態検出部１６３からの車両状態、及び、ドライバ状態検出部１６４からのドライバ状態のうちの少なくとも１つに応じて、統合画像の表示に関する表示モードを設定し、統合部２２０その他の必要なブロックに供給する。

リア画像処理部２１１には、リアカメラ１１１（図２７）からリア画像が供給される。リア画像処理部２１１は、リアカメラ１１１から供給されるリア画像（の各フレーム）に、表示モードに応じた画像処理を施し、その画像処理後のリア画像や、リア画像に映る起立物（リア起立物）、及び、リア画像上のリア起立物の位置を表す位置情報を、記憶部２１６に供給する。

Lサイド画像処理部２１２には、Lサイドカメラ１１２（図２７）からLサイド画像が供給される。Lサイド画像処理部２１２は、Lサイドカメラ１１２から供給されるLサイド画像（の各フレーム）に、表示モードに応じた画像処理を施し、その画像処理後のLサイド画像や、Lサイド画像に映る起立物（Lサイド起立物）、及び、Lサイド画像上のLサイド起立物の位置を表す位置情報を、記憶部２１６に供給する。

Rサイド画像処理部２１３には、Rサイドカメラ１１３（図２７）からRサイド画像が供給される。Rサイド画像処理部２１３は、Rサイドカメラ１１３から供給されるRサイド画像（の各フレーム）に、表示モードに応じた画像処理を施し、その画像処理後のRサイド画像や、Rサイド画像に映る起立物（Rサイド起立物）、及び、Rサイド画像上のRサイド起立物の位置を表す位置情報を、記憶部２１６に供給する。

Lリアサイド画像処理部２１４には、Lリアサイドカメラ１１４（図２７）からLリアサイド画像が供給される。Lサイド画像処理部２１４は、Lリアサイドカメラ１１４から供給されるLリアサイド画像（の各フレーム）に、表示モードに応じた画像処理を施し、その画像処理後のLリアサイド画像を、記憶部２１６に供給する。

Rリアサイド画像処理部２１５には、Rリアサイドカメラ１１５（図２７）からRリアサイド画像が供給される。Rサイド画像処理部２１５は、Rリアサイドカメラ１１５から供給されるRリアサイド画像（の各フレーム）に、表示モードに応じた画像処理を施し、その画像処理後のRリアサイド画像を、記憶部２１６に供給する。

記憶部２１６は、リア像処理部２１１からのリア画像、リア起立物（の画像）、及び、リア起立物の位置情報を記憶する。さらに、記憶部２１６は、Lサイド画像処理部２１２からのLサイド画像、Lサイド起立物（の画像）、及び、Lサイド起立物の位置情報を記憶する。また、記憶部２１６は、Rサイド画像処理部２１３からのRサイド画像、Rサイド起立物（の画像）、及び、Rサイド起立物の位置情報を記憶する。さらに、記憶部２１６は、Lリアサイド画像処理部２１４からのLリアサイド画像、及び、Rリアサイド画像処理部２１５からのRリアサイド画像を記憶する。

距離情報取得部２１７には、距離検出部１６２（図２７）から、車両１００の周囲の物体までの距離を表す距離情報が供給される。距離情報取得部２１７は、距離検出部１６２から供給される距離情報から、記憶部２１６に記憶された位置情報が表す位置にある起立物（リア起立物、L/Rサイド起立物）の距離情報を取得し、位置関係判定部２１８、衝突リスク判定部２１９、及び、統合部２２０に供給する。

位置関係判定部２１８は、距離情報取得部２１７からの起立物の距離情報に基づいて、リア起立物とL/Rサイド起立物との前後関係を判定する前後関係判定を行う。さらに、位置関係判定部２１８は、距離情報取得部２１７からの起立物の距離情報、及び、記憶部２１６に記憶された起立物の位置情報に基づいて、合成画像において、L/Rサイド起立物が、リア起立物によって隠れるかどうかを判定するオクルージョン判定を行う。

そして、位置関係判定部２１８は、前後関係判定の判定結果、及び、オクルージョン判定の判定結果を、位置関係情報として、重畳部２２１に供給する。

衝突リスク判定部２１９は、距離情報取得部２１７からのL/Rサイド起立物の距離情報に基づいて、車両１００が、左又は右に進路変更したならば、L/Rサイド起立物と衝突するかどうかの衝突リスクを判定する衝突リスク判定を行う。

すなわち、衝突リスク判定部２１９は、例えば、距離情報取得部２１７からのL/Rサイド起立物の距離情報から、L/Rサイド起立物の相対速度を求める。さらに、衝突リスク判定部２１９は、L/Rサイド起立物の距離情報が表すL/Rサイド起立物までの距離、及び、L/Rサイド起立物の相対速度から、車両１００が左又は右に進路変更したならば、L/Rサイド起立物と衝突するまでの衝突所要時間を推定し、その衝突所要時間に応じて、衝突リスク判定を行う。

衝突リスク判定部２１９は、衝突リスク判定の判定結果を、重畳部２２１に供給する。

統合部２２０は、表示モードに応じて、記憶部２１６に記憶されたリア画像、L/Rサイド画像、L/Rリアサイド画像、リア起立物、及び、L/Rサイド起立物のうちの必要な画像を統合して、統合画像を生成し、重畳部２２１に供給（出力）する。

なお、統合部２２０は、統合画像（を構成する合成画像）の生成において、リア起立物、及び、L/Rサイド起立物のレイヤ合成を行う場合には、距離情報取得部２１７からの起立物の距離情報に応じて、リア起立物、及び、L/Rサイド起立物が重なる部分について、奥側にある起立物を、手前側にある起立物で上書きするように、リア起立物、及び、L/Rサイド起立物を合成する。

重畳部２２１は、表示モードに応じて、統合部２２０からの統合画像に、警告マークAM1やAM2（図１２）のような警告マーク、又は、車両１００の周囲を囲む仮想境界線VL10，VL11，VL12，VL13（図２４、図２５）を重畳し、その結果得られる重畳画像を、CMS画像として、表示部１６６（図２７）に出力する。

すなわち、重畳部２２１は、表示モード（図２８）が表示モード1，3、又は、4である場合、統合部２２０からの統合画像を、そのまま、CMS画像として出力する。

また、重畳部２２１は、表示モードが表示モード2である場合、車両１００の周囲を囲む仮想境界線VL10，VL11，VL12，VL13（に対応する線）を重畳し、その結果得られる重畳画像を、CMS画像として出力する。

さらに、重畳部２２１は、表示モードが表示モード5，6、又は、7である場合、位置関係判定部２１８からの位置関係情報や、衝突リスク判定部２１９からの衝突リスク判定の判定結果に応じて、ドライバにL/Rサイド起立物の接近を警告するかどうかを判定する警告判定を行う。

そして、重畳部２２１は、警告判定において、警告が不要であると判定した場合、統合部２２０からの統合画像を、そのまま、CMS画像として出力する。

また、重畳部２２１は、警告判定において、警告が必要であると判定した場合、統合部２２０からの統合画像の、L/Rサイド起立物が存在する位置に、警告マークを重畳し、その結果得られる重畳画像を、CMS画像として出力する。

なお、重畳部２２１は、統合画像の、警告マークを重畳するL/Rサイド起立物が存在する位置を、記憶部２１６に記憶されたL/Rサイド起立物の位置情報から認識する。

図３０は、図２９のリア画像処理部２１１の構成例を示すブロック図である。

リア画像処理部２１１は、画像切り出し部２５１、及び、起立物検出部２５２を有する。

画像切り出し部２５１には、リアカメラ１１１（図２７）からリア画像が供給される。

画像切り出し部２５１は、リアカメラ１１１から供給されるリア画像（以下、元リア画像ともいう）から、表示モードに応じて、その表示モードの統合画像の生成に必要な範囲を切り出し、その範囲のリア画像を、起立物検出部２５２、及び、記憶部２１６（図２９）に供給する。

起立物検出部２５２は、画像切り出し部２５１からのリア画像のオプティカルフロー解析やテクスチャ解析等を行うことにより、リア画像に映るリア起立物の領域のセグメンテーションを行う。

起立物検出部２５２は、セグメンテーションによって、リア画像に映るリア起立物（の画像）、及び、そのリア起立物のリア画像上の位置を表す位置情報を検出し、記憶部２１６に供給する。ここで、セグメンテーションでは、非路面となる起立物の領域抽出が行われる。セグメンテーションで抽出される領域の境界の最下端部が路面接地点と見なせる。移動する起立物は必ず路面接地点をもつ。

図３１は、図２９のLサイド画像処理部２１２の構成例を示すブロック図である。

Lサイド画像処理部２１２は、画像切り出し部２６１、射影方式変換部２６２、起立物検出部２６３、アフィン変換部２６４、及び、変換後位置検出部２６５を有する。

画像切り出し部２６１には、Lサイドカメラ１１２（図２７）からLサイド画像が供給される。

画像切り出し部２６１は、Lサイドカメラ１１２から供給されるLサイド画像（以下、元Lサイド画像ともいう）から、表示モードに応じて、その表示モードの統合画像の生成に必要な範囲を切り出し、その範囲のLサイド画像を、射影方式変換部２６２に供給する。

射影方式変換部２６２は、表示モードに応じて、画像切り出し部２６１からのLサイド画像を、中心射影のLサイド画像や、円筒射影のLサイド画像に変換する、射影方式の変換を行う。

ここで、本実施の形態では、Lサイドカメラ１１２は、全天球カメラであり、Lサイドカメラ１１２で撮影される（元）Lサイド画像は、例えば、等距離射影等の、全天の撮影で採用される射影方式の画像になっている。

射影方式変換部２６２は、以上のような等距離射影のLサイド画像を、中心射影のLサイド画像や、円筒射影のLサイド画像（の一方、又は、両方）に変換する。

射影方式変換部２６２は、中心射影のLサイド画像を、起立物検出部２６３、アフィン変換部２６４、及び、記憶部２１６（図２９）に供給し、円筒射影のLサイド画像を、記憶部２１６に供給する。

起立物検出部２６３は、射影方式変換部２６２からのLサイド画像のオプティカルフロー解析やテクスチャ解析等を行うことにより、Lサイド画像に映るLサイド起立物の領域のセグメンテーションを行う。

起立物検出部２６３は、セグメンテーションによって、Lサイド画像に映るLサイド起立物（の画像）、及び、そのLサイド起立物のLサイド画像上の位置を表す位置情報を検出し、変換後位置検出部２６５、及び、記憶部２１６に供給する。

アフィン変換部２６４は、例えば、射影方式変換部２６２からのLサイド画像の無限遠点を、リア画像の無限遠点に一致させるように、射影方式変換部２６２からのLサイド画像をアフィン変換する。

そして、アフィン変換部２６４は、アフィン変換により得られるアフィン変換後のLサイド画像を、記憶部２１６に供給する。

なお、アフィン変換部２６４では、Lサイド画像の無限遠点を、リア画像の無限遠点に一致させるアフィン変換を行う他、例えば、ドライバの状態に応じて、アフィン変換後のLサイド画像の無限遠点がリア画像の無限遠点と一致する程度を調整したアフィン変換を行うことができる。

また、アフィン変換部２６４は、アフィン変換において、アフィン変換前のLサイド画像の各画素の位置と、アフィン変換後のLサイド画像の各画素の位置とを対応付けた変換テーブルを生成する。アフィン変換の変換テーブルは、アフィン変換部２６４から変換後位置検出部２６５に供給される。

変換後位置検出部２６５は、アフィン変換部２６４からの変換テーブルを用いて、起立物検出部２６３からのLサイド起立物の位置情報（アフィン変換前のLサイド画像に映る起立物の位置情報）から、アフィン変換後のLサイド画像に映るLサイド起立物の位置情報を検出し、記憶部２１６に供給する。

図３２は、図２９のRサイド画像処理部２１３の構成例を示すブロック図である。

Rサイド画像処理部２１３は、画像切り出し部２７１、射影方式変換部２７２、起立物検出部２７３、アフィン変換部２７４、及び、変換後位置検出部２７５を有する。

画像切り出し部２７１ないし変換後位置検出部２７５は、図３１の画像切り出し部２６１ないし変換後位置検出部２６５とそれぞれ同様に構成される。

画像切り出し部２７１ないし変換後位置検出部２７５では、Rサイドカメラ１１３から供給されるRサイド画像（以下、元Rサイド画像ともいう）を対象とする点を除き、画像切り出し部２６１ないし変換後位置検出部２６５とそれぞれ同様の処理が行われる。

図３３は、図２９のLリアサイド画像処理部２１４の構成例を示すブロック図である。

Lリアサイド画像処理部２１４は、画像切り出し部２８１を有する。

画像切り出し部２８１には、Lリアサイドカメラ１１４（図２７）からLリアサイド画像が供給される。

画像切り出し部２８１は、Lリアサイドカメラ１１４から供給されるLリアサイド画像（以下、元Lリアサイド画像ともいう）から、表示モードに応じて、その表示モードの統合画像の生成に必要な範囲を切り出し、その範囲のLリアサイド画像を、記憶部２１６（図２９）に供給する。

図３４は、図２９のRリアサイド画像処理部２１５の構成例を示すブロック図である。

Rリアサイド画像処理部２１５は、画像切り出し部２９１を有する。

画像切り出し部２９１には、Rリアサイドカメラ１１５（図２７）からRリアサイド画像が供給される。

画像切り出し部２８１は、Rリアサイドカメラ１１５から供給されるRリアサイド画像（以下、元Rリアサイド画像ともいう）から、表示モードに応じて、その表示モードの統合画像の生成に必要な範囲を切り出し、その範囲のRリアサイド画像を、記憶部２１６（図２９）に供給する。

図３５は、図３０の起立物検出部２５２での起立物の検出に行われるセグメンテーションの概要を説明する図である。

すなわち、図３５は、リア画像の一例を示している。

図３５において、矢印は、リア画像のオプティカルフロー解析を行うことにより得られるOF(Optical Flow)（を表すベクトル）を表す。

リア画像において、リア画像に映る物体のOFは、その物体の、車両１００に対する相対速度によって異なる。したがって、例えば、道路等の静止している物体のOFと、車両１００以外の車両等の動いている起立物のOFとは異なる。

例えば、道路のOFは、車両１００の速度に対応する大きさで、後方（リア画像の奥側）を向くベクトルになる。また、例えば、車両１００に接近する起立物のOFは、前方（リア画像の手前側）を向くベクトルになり、車両１００の後方を、車両１００と同一速度で走行する起立物のOFは、0ベクトルになる。

したがって、リア画像において、OFが類似する連続した領域は、例えば、自動車や、自動二輪車、歩行者等の、類似するテクスチャを有する１つの物体（集合体）を構成する確率が極めて高い。

そこで、起立物検出部２５２は、リア画像において、車両１００の速度に対応する大きさで、後方を向くOFを、道路のOFとして、リア画像を、道路のOFとは異なるOFであって、類似するOFが分布するひとまとまりの領域に区分するセグメンテーションを行う。

そして、起立物検出部２５２は、セグメンテーションにより得られるひとまとまりの領域を、起立物（の領域）として検出する。

図３１の起立物検出部２６３、及び、図３２の起立物検出部２７３でも、起立物検出部２５２と同様にセグメンテーションを行って、起立物を検出する。セグメンテーションにより抽出した起立物の領域については、自車両１００との相対位置関係が重要であり、自車両１００に最も近い点である最接近点が最も重要である。また、起立物は、その起立物の領域の境界の最下部の位置に直立していると仮定する事が出来る。なお、クレーン車などの特殊な形状の車輌については、車両の道路接地点がセグメンテーションにより検出された（起立物）領域より引き込んでいる事（起立物の領域の境界の最下部でないこと）がある。この場合、起立物の領域の境界の最下部を、車両の道路接地点とすると、その道路接地点は誤差を含む。そこで、車両の道路接地点の検出にあたっては、車両識別を行い、その識別結果に応じて、能動的に車両の道路接地点の誤差を低減するオフセットをはかせるなどの処理を行っても良い。

＜CMS画像生成処理＞

図３６は、図２９のCMS画像生成部１６５が行うCMS画像生成処理の例を説明するフローチャートである。

ステップＳ１０１において、表示モード設定部２０１は、操作部１５１からの操作情報、車両状態検出部１６３からの車両状態、及び、ドライバ状態検出部１６４からのドライバ状態に応じて、表示モードを設定し、統合部２２０その他の必要なブロックに供給して、処理は、ステップＳ１０２に進む。

ステップＳ１０２では、CMS画像生成部１６５（の各ブロック）は、表示モードを判定する。

ステップＳ１０２において、表示モードが、表示モード5，6、又は、7であると判定された場合、処理は、ステップＳ１０３に進み、CMS画像生成部１６５は、表示モード5，6，7の画像生成処理を行い、処理は、ステップＳ１０１に戻る。

ステップＳ１０２において、表示モードが、表示モード4であると判定された場合、処理は、ステップＳ１０４に進み、CMS画像生成部１６５は、表示モード4の画像生成処理を行い、処理は、ステップＳ１０１に戻る。

ステップＳ１０２において、表示モードが、表示モード2又は3であると判定された場合、処理は、ステップＳ１０５に進み、CMS画像生成部１６５は、表示モード2，3の画像生成処理を行い、処理は、ステップＳ１０１に戻る。

ステップＳ１０２において、表示モードが、表示モード1であると判定された場合、処理は、ステップＳ１０６に進み、CMS画像生成部１６５は、撮影部１６１から供給される画像を適宜用いて、表示モード1の画像、すなわち、サラウンドビューの画像を生成する。

そして、CMS画像生成部１６５は、サラウンドビューの画像を、CMS画像として（表示部１６６に）出力し、処理は、ステップＳ１０６からステップＳ１０１に戻る。

図３７は、図３６のステップＳ１０３で行われる表示モード5，6，7の画像生成処理の例を説明するフローチャートである。

ステップＳ１１１において、表示モード5，6，7の画像処理が行われ、処理は、ステップＳ１１２に進む。

ここで、表示モード5，6，7の画像処理としては、ステップＳ１１１−１において、リア画像処理部２１１が、リア画像処理を行う。さらに、ステップＳ１１１−２において、Lサイド画像処理部２１２、Lサイド画像処理を行い、ステップＳ１１１−３において、Rサイド画像処理部２１３、Rサイド画像処理を行う。

ステップＳ１１１−１では、リア画像処理部２１１は、リア画像処理を行うことにより、表示モード5，6、又は、7の統合画像（図１３、図１４、又は、図１２の統合画像）の生成に用いられるリア画像、リア起立物、及び、リア起立物の位置情報を得て出力する。

ステップＳ１１１−２では、Lサイド画像処理部２１２は、Lサイド画像処理を行うことにより、表示モード5，6、又は、7の統合画像の生成に用いられるLサイド画像、Lサイド起立物、及び、Lサイド起立物の位置情報を得て出力する。

ステップＳ１１１−３では、Rサイド画像処理部２１３は、Rサイド画像処理を行うことにより、表示モード5，6、又は、7の統合画像の生成に用いられるRサイド画像、Rサイド起立物、及び、Rサイド起立物の位置情報を得て出力する。

ステップＳ１１２では、記憶部２１６が、直前のステップＳ１１１の表示モード5，6，7の画像処理により得られるリア画像、リア起立物、リア起立物の位置情報、L/Rサイド画像、L/Rサイド起立物、及び、L/Rサイド画像の位置情報を記憶し、処理は、ステップＳ１１３に進む。

ステップＳ１１３では、距離情報取得部２１７は、距離検出部１６２（図２７）から供給される距離情報から、記憶部２１６に記憶された位置情報が表す位置にあるリア起立物、及び、L/Rサイド起立物の距離情報を取得する。そして、距離情報取得部２１７は、リア起立物、及び、L/Rサイド起立物の距離情報を、位置関係判定部２１８、衝突リスク判定部２１９、及び、統合部２２０に供給し、処理は、ステップＳ１１３からステップＳ１１４に進む。

ステップＳ１１４では、衝突リスク判定部２１９は、距離情報取得部２１７からのL/Rサイド起立物の距離情報（の変化）から、L/Rサイド起立物の相対速度（車両１００に対する相対速度）を求める。さらに、衝突リスク判定部２１９は、L/Rサイド起立物の距離情報が表すL/Rサイド起立物までの距離、及び、L/Rサイド起立物の相対速度から、衝突リスク判定を行い、処理は、ステップＳ１１５に進む。

ステップＳ１１５では、位置関係判定部２１８は、距離情報取得部２１７からのリア起立物、及び、L/Rサイド起立物の距離情報、及び、記憶部２１６に記憶されたリア起立物、及び、L/Rサイド起立物の位置情報に基づいて、前後関係判定とオクルージョン判定とを行う。

そして、位置関係判定部２１８は、前後関係判定の判定結果、及び、オクルージョン判定の判定結果を、位置関係情報として、重畳部２２１に供給し、処理は、ステップＳ１１５からステップＳ１１６に進む。

ステップＳ１１６では、統合部２２０は、記憶部２１６に記憶されたリア画像、L/Rサイド画像、リア起立物、及び、L/Rサイド起立物を用いて、表示モード5，6、又は、7の統合画像（図１３、図１４、又は、図１２の統合画像）を生成する。

すなわち、統合部２２０は、記憶部２１６に記憶されたリア画像、及び、アフィン変換後のL/Rサイド画像を合成し、その結果得られる合成画像に、記憶部２１６に記憶されたリア起立物、及び、L/Rサイド起立物を、距離情報取得部２１７からのリア起立物、及び、L/Rサイド起立物の距離情報に応じてレイヤ合成することで、合成画像を生成する。

なお、ここでは、図１０で説明したCMS画像の表示方法として、第４の表示方法を採用することとする。この場合、レイヤ合成には、アフィン変換前のL/Rサイド起立物が、アフィン変換後のL/Rサイド起立物（アフィン変換後のL/Rサイド画像に映るL/Rサイド起立物）の位置情報が表す位置に合成される。

統合部２２０は、以上のようにして合成画像を生成した後、その合成画像に、必要に応じて、記憶部２１６に記憶されたアフィン変換前のL/Rサイド画像を結合することで、表示モード5，6、又は、7の統合画像を生成する。

そして、統合部２２０は、表示モード5，6、又は、7の統合画像を、重畳部２２１に供給し、処理は、ステップＳ１１６からステップＳ１１７に進む。

ステップＳ１１７では、重畳部２２１は、位置関係判定部２１８からの位置関係情報や、衝突リスク判定部２１９からの衝突リスク判定の判定結果に応じて、ドライバにL/Rサイド起立物の接近を警告するかどうかを判定する警告判定を行う。

警告判定において、警告が必要であると判定された場合、すなわち、例えば、L/R起立物が、リア起立物よりも奥側にあり、合成画像において、リア起立物の少なくとも一部が、リア起立物によって隠れ、かつ、車両１００が、左又は右に進路変更したならば、所定の時間内に、L/Rサイド起立物と衝突する可能性が高い場合、重畳部２２１は、統合部２２０からの統合画像に警告マークを重畳する。

すなわち、重畳部２２１は、記憶部２１６に記憶された（アフィン変換後の）L/Rサイド起立物の位置情報に応じて、統合部２２０からの統合画像の、L/Rサイド起立物が存在する位置に、警告マークを重畳し、処理は、ステップＳ１１７からステップＳ１１８に進む。

ステップＳ１１８では、重畳部２２１は、警告マークの重畳により得られる重畳画像を、CMS画像としてに出力し、処理はリターンする。

なお、ステップＳ１１７の警告判定において、警告が不要であると判定された場合、処理は、ステップＳ１１８に進み、重畳部２２１は、統合部２２０からの統合画像を、そのまま、CMS画像として出力する。

図３８は、図３７のステップＳ１１１−１でリア画像処理部２１１が行うリア画像処理の例を説明するフローチャートである。

ステップＳ１３１において、リア画像処理部２１１（図３０）の画像切り出し部２５１は、リアカメラ１１１から供給される元リア画像を取得する。

そして、画像切り出し部２５１は、リアカメラ１１１のカメラパラメータに応じて、元リア画像を修正し、処理は、ステップＳ１３２に進む。

ステップＳ１３２では、画像切り出し部２５１は、元リア画像から、表示モード5，6、又は、7の統合画像の生成に用いる範囲のリア画像を切り出し、起立物検出部２５２、及び、記憶部２１６（図２９）に出力して、処理は、ステップＳ１３３に進む。

ステップＳ１３３では、起立物検出部２５２は、画像切り出し部２５１からのリア画像に、起立物の検出対象となる対象領域としてのROI(Region Of Interest)を設定し、処理は、ステップＳ１３４に進む。

ステップＳ１３４では、起立物検出部２５２は、画像切り出し部２５１からのリア画像の対象領域に対して、オプティカルフロー解析や、テクスチャ解析、トーン解析等を利用したセグメンテーションを行うことにより、リア画像の対象領域内に映るリア起立物の検出を行って（リア起立物の検出を試みて）、処理は、ステップＳ１３５に進む。

すなわち、ステップＳ１３４では、例えば、まず、ステップＳ１３４−１において、起立物検出部２５２は、リア画像の対象領域のオプティカルフロー解析を行う。

さらに、起立物検出部２５２は、対象領域を、オプティカルフロー解析により得られるOF(Optical Flow)を表すベクトルが類似する小領域にクラスタリングする。

また、起立物検出部２５２は、対象領域のクラスタリングにより得られた各小領域のテクスチャ解析やトーン解析等を行うことで、各小領域の特徴量を求め、特徴量が類似する、隣接する小領域どうしをマージすることで、小領域を拡張して、処理は、ステップＳ１３４−１からステップＳ１３４−２に進む。

ステップＳ１３４−２では、起立物検出部２５２は、ステップＳ１３４−１で得られた、小領域を拡張した拡張領域の中で、リア起立物であると推定される拡張領域の境界を検出し、処理は、ステップＳ１３４−３に進む。

ステップＳ１３４−３では、起立物検出部２５２は、対象領域から、ステップＳ１３４−２で境界が検出された拡張領域内の画像を、リア起立物の画像として抽出し、その画像の境界を滑らかにするエッジ処理を行って、ステップＳ１３４の処理は終了する。

ステップＳ１３５では、起立物検出部２５２は、リア画像にリア起立物が映っているかどうかを判定する。

すなわち、ステップＳ１３５では、起立物検出部２５２は、直前のステップＳ１３４のセグメンテーションによって、リア画像からリア起立物を検出することができたかどうかを判定する。

ステップＳ１３５において、リア起立物を検出することができなかったと判定された場合、処理は、ステップＳ１３６及びＳ１３７をスキップして、リターンする。

この場合、起立物検出部２５２は、リア起立物、及び、リア起立物の位置情報を出力しない（出力できない）。

一方、ステップＳ１３５において、リア起立物を検出することができたと判定された場合、処理は、ステップＳ１３６に進み、起立物検出部２５２は、リア画像上のリア起立物の位置を表す位置情報を検出し、処理は、ステップＳ１３７に進む。

ステップＳ１３７では、起立物検出部２５２は、ステップＳ１３４で検出したリア起立物と、ステップＳ１３６で検出したリア起立物の位置情報とを、記憶部２１６（図２９）に出力して、処理はリターンする。

図３９は、図３７のステップＳ１１１−２でLサイド画像処理部２１２が行うLサイド画像処理の例を説明するフローチャートである。

ステップＳ１５１において、Lサイド画像処理部２１２（図３１）の画像切り出し部２６１は、Lサイドカメラ１１２から供給される元Lサイド画像を取得する。

そして、画像切り出し部２６１は、Lサイドカメラ１１２のカメラパラメータに応じて、元Lサイド画像を修正し、処理は、ステップＳ１５２に進む。

ステップＳ１５２では、画像切り出し部２６１は、元Lサイド画像から、表示モード5，6、又は、7の統合画像の生成に用いる範囲のLサイド画像を切り出し、射影方式変換部２６２に供給して、処理は、ステップＳ１５３に進む。

ステップＳ１５３では、射影方式変換部２６２は、画像切り出し部２６１からの切り出し後のLサイド画像を、中心射影のLサイド画像に変換し、起立物検出部２６３、アフィン変換部２６４、及び、記憶部２１６（図２９）に出力して、処理は、ステップＳ１５４に進む。

ステップＳ１５４では、アフィン変換部２６４は、射影方式変換部２６２からのLサイド画像の無限遠点を、リア画像の無限遠点に一致させるように、射影方式変換部２６２からのLサイド画像をアフィン変換するための、アフィン変換前のLサイド画像の各画素の位置と、アフィン変換後のLサイド画像の各画素の位置とを対応付けた変換テーブルを生成する。

さらに、アフィン変換部２６４は、変換テーブルにしたがって、射影方式変換部２６２からのLサイド画像をアフィン変換し、アフィン変換後のLサイド画像を、記憶部２１６（図２９）に出力する。

さらに、アフィン変換部２６４は、変換テーブルを、変換後位置検出部２６５に供給して、処理は、ステップＳ１５４からステップＳ１５５に進む。

なお、表示モードが表示モード6に設定された場合において、図１４で説明したように、ドライバの頭部の移動に応じて、合成画像において、アフィン変換後のL/Rサイド画像の無限遠点がリア画像の無限遠点と一致する程度を、シームレスに変化させるときには、アフィン変換部２６４は、ドライバ状態検出部１６４（図２７）からCMS画像生成部１６５に供給されるドライバ状態に応じて、アフィン変換後のLサイド画像の無限遠点がリア画像の無限遠点と一致する程度を調整して、アフィン変換を行う。

ステップＳ１５５では、起立物検出部２６３は、射影方式変換部２６２からのLサイド画像に、起立物の検出対象となる対象領域としてのROIを設定し、処理は、ステップＳ１５６に進む。

ステップＳ１５６では、起立物検出部２６３は、射影方式変換部２６２からのLサイド画像の対象領域に対して、図３８のステップＳ１３４と同様のセグメンテーションを行うことにより、Lサイド画像の対象領域内に映るLサイド起立物の検出を行って（Lサイド起立物の検出を試みて）、処理は、ステップＳ１５７に進む。

ステップＳ１５７では、起立物検出部２６３は、Lサイド画像にLサイド起立物が映っているかどうかを判定する。

すなわち、ステップＳ１５７では、起立物検出部２６３は、直前のステップＳ１５６のセグメンテーションによって、Lサイド画像からLサイド起立物を検出することができたかどうかを判定する。

ステップＳ１５７において、Lサイド起立物を検出することができなかったと判定された場合、処理は、ステップＳ１５８ないしＳ１６０をスキップして、ステップＳ１６１に進む。

この場合、起立物検出部２６３は、Lサイド起立物、及び、（アフィン変換前の）Lサイド起立物の位置情報を出力しない（出力できない）。さらに、変換後位置検出部２６５も、同様に、（アフィン変換後の）Lサイド起立物の位置情報を出力しない。

一方、ステップＳ１５７において、Lサイド起立物を検出することができたと判定された場合、処理は、ステップＳ１５８に進み、起立物検出部２６３は、Lサイド画像上のLサイド起立物の位置を表す位置情報を検出し、処理は、ステップＳ１５９に進む。

ステップＳ１５９では、起立物検出部２６３は、ステップＳ１５８で検出したLサイド起立物と、ステップＳ１５８で検出したLサイド起立物の位置情報とを、変換後位置検出部２６５、及び、記憶部２１６（図２９）に出力して、処理は、ステップＳ１６０に進む。

ステップＳ１６０では、変換後位置検出部２６５は、アフィン変換部２６４からの変換テーブルを用いて、起立物検出部２６３からのLサイド起立物の位置情報（アフィン変換前のLサイド画像に映る起立物の位置情報）から、アフィン変換後のLサイド画像に映るLサイド起立物（アフィン変換後のLサイド起立物）の位置情報を検出する。そして、変換後位置検出部２６５は、アフィン変換後のLサイド起立物の位置情報を、記憶部２１６に出力して、処理は、ステップＳ１６１に進む。

ステップＳ１６１では、CMS画像生成部１６５は、撮影部１６１を構成するリアカメラ１１１ないし室内カメラ１２２のカメラパラメータを校正するカメラパラメータ校正タイミングになったか、又は、カメラパラメータを校正する校正トリガが、図示せぬブロックから発行されたかどうかを判定する。

ステップＳ１６１において、カメラパラメータ校正タイミングでもないし、校正トリガが発行されてもいないと判定された場合、処理は、ステップＳ１６２をスキップして、リターンする。

また、ステップＳ１６１において、カメラパラメータ校正タイミングであると判定されるか、又は、校正トリガが発行されたと判定された場合、処理は、ステップＳ１６２に進む。

ステップＳ１６３では、CMS画像生成部１６５は、撮影部１６１を構成するリアカメラ１１１ないし室内カメラ１２２のカメラパラメータの校正を所定の方法で行い、処理はリターンする。

なお、図３７のステップＳ１１１−３でRサイド画像処理部２１３が行うRサイド画像処理は、Lサイド画像に代えて、Rサイド画像を対象として処理が行われる点を除き、図３９のLサイド画像処理と同様であるため、その説明は省略する。

図４０は、図３６のステップＳ１０４で行われる表示モード4の画像生成処理の例を説明するフローチャートである。

ステップＳ１８１において、表示モード4の画像処理が行われ、処理は、ステップＳ１８２に進む。

ここで、表示モード4の画像処理としては、ステップＳ１８１−１において、リア画像処理部２１１が、リア画像処理を行う。さらに、ステップＳ１８１−２において、Ｌリアサイド画像処理部２１４が、Lリアサイド画像処理を行い、ステップＳ１８１−３において、Rリアサイド画像処理部２１５が、Rリアサイド画像処理を行う。

ステップＳ１８１−１では、リア画像処理部２１１は、リア画像処理を行うことにより、表示モード4の統合画像（図１８の統合画像）の生成に用いられるリア画像を得て出力する。

ステップＳ１８１−２では、Ｌリアサイド画像処理部２１４は、Lリアサイド画像処理を行うことにより、表示モード4の統合画像の生成に用いられるLリアサイド画像を得て出力する。

ステップＳ１８１−３では、Rリアサイド画像処理部２１５は、Rリアサイド画像処理を行うことにより、表示モード4の統合画像の生成に用いられるRリアサイド画像を得て出力する。

ステップＳ１８２では、記憶部２１６が、直前のステップＳ１８１の表示モード4の画像処理により得られるリア画像、及び、L/Rリアサイド画像を記憶し、処理は、ステップＳ１８３に進む。

ステップＳ１８３では、統合部２２０は、記憶部２１６に記憶されたリア画像、L/Rリアサイド画像を統合し、表示モード4の統合画像（図１８の統合画像）を生成する。

すなわち、統合部２２０は、図１８で説明したように、記憶部２１６に記憶されたRリアサイド画像及びLリアサイド画像を、それぞれ左右に配置して結合することで結合画像を生成する。さらに統合部２２０は、結合画像の中央に、記憶部２１６に記憶されたリア画像を合成（重畳）することで、表示モード4の統合画像（図１８の統合画像）を生成する。

そして、統合部２２０は、表示モード4の統合画像を、重畳部２２１に供給し、処理は、ステップＳ１８４に進む。

ステップＳ１８４では、重畳部２２１は、統合部２２０からの表示モード4の統合画像を、CMS画像としてに出力し、処理はリターンする。

図４１は、図４０のステップＳ１８１−１でリア画像処理部２１１が行うリア画像処理の例を説明するフローチャートである。

ステップＳ１９１において、リア画像処理部２１１（図３０）の画像切り出し部２５１は、リアカメラ１１１から供給される元リア画像を取得する。

そして、画像切り出し部２５１は、リアカメラ１１１のカメラパラメータに応じて、元リア画像を修正し、処理は、ステップＳ１９２に進む。

ステップＳ１９２では、画像切り出し部２５１は、ドライバ状態検出部１６４（図２７）からCMS画像生成部１６５に供給されるドライバ状態に応じて、表示モード4の統合画像（図１８）のリア画像表示領域を設定し、処理は、ステップＳ１９３に進む。

ステップＳ１９３では、画像切り出し部２５１は、元リア画像から、直前のステップＳ１９２で設定したリア画像表示領域に表示する範囲のリア画像を切り出し、記憶部２１６（図２９）に出力して、処理はリターンする。

図４２は、図４０のステップＳ１８１−２でＬリアサイド画像処理部２１４が行うLリアサイド画像処理の例を説明するフローチャートである。

ステップＳ２１１において、Ｌリアサイド画像処理部２１４（図３３）の画像切り出し部２８１は、Lリアサイドカメラ１１４から供給されるLリアサイド画像を取得する。

そして、画像切り出し部２８１は、Lリアサイドカメラ１１４のカメラパラメータに応じて、元Lリアサイド画像を修正し、処理は、ステップＳ２１２に進む。

ステップＳ２１２では、画像切り出し部２８１は、ドライバ状態検出部１６４（図２７）からCMS画像生成部１６５に供給されるドライバ状態に応じて、表示モード4の統合画像（図１８）のLリアサイド画像表示領域を設定し、処理は、ステップＳ２１３に進む。

ステップＳ２１３では、画像切り出し部２８１は、元Lリアサイド画像から、直前のステップＳ２１２で設定したLリアサイド画像表示領域に表示する範囲のLリアサイド画像を切り出し、記憶部２１６（図２９）に出力して、処理はリターンする。

なお、図４０のステップＳ１８１−３でRリアサイド画像処理部２１５（図３５）が行うRリアサイド画像処理は、Lリアサイド画像に代えて、Rリアサイド画像を対象として処理が行われる点を除き、図４２のLリアサイド画像処理と同様であるため、その説明は省略する。

図４３は、図３６のステップＳ１０５で行われる表示モード2，3の画像生成処理の例を説明するフローチャートである。

ステップＳ２３１において、表示モード2，3の画像処理が行われ、処理は、ステップＳ２３２に進む。

ここで、表示モード2，3の画像処理としては、ステップＳ２３１−１において、リア画像処理部２１１が、図３８と同様のリア画像処理を行う。さらに、ステップＳ２３１−２において、Lサイド画像処理部２１２が、Lサイド画像処理を行い、ステップＳ２３１−３において、Rサイド画像処理部２１３が、Rサイド画像処理を行う。

ステップＳ２３１−１では、リア画像処理部２１１は、リア画像処理を行うことにより、表示モード2又は3の統合画像（図２５又は図２２の統合画像）に含まれる合成画像の生成に用いられるPPA画像（図１９）としてのリア画像、リア起立物、及び、リア起立物の位置情報を得て出力する。

ステップＳ２３１−２では、Lサイド画像処理部２１２は、Lサイド画像処理を行うことにより、表示モード2又は3の統合画像の生成に用いられるLサイド画像、Lサイド起立物、及び、Lサイド起立物の位置情報を得て出力する。

ここで、表示モード2又は3の統合画像の生成に用いられるLサイド画像には、図１９及び図２０等で説明したLPPB画像とLPPC画像とが含まれる。また、表示モード2又は3の統合画像の生成に用いられるLサイド起立物は、LPPB画像に映る起立物を意味する。

ステップＳ２３１−３では、Rサイド画像処理部２１３は、Rサイド画像処理を行うことにより、表示モード2又は3の統合画像の生成に用いられるRサイド画像、Rサイド起立物、及び、Rサイド起立物の位置情報を得て出力する。

ここで、表示モード2又は3の統合画像の生成に用いられるRサイド画像には、図１９及び図２０等で説明したRPPB画像とRPPC画像とが含まれる。また、表示モード2又は3の統合画像の生成に用いられるRサイド起立物は、RPPB画像に映る起立物を意味する。

ステップＳ２３２では、記憶部２１６が、直前のステップＳ２３１の表示モード2，3の画像処理により得られるPPA画像としてのリア画像、リア起立物、リア起立物の位置情報、L/Rサイド画像（LPPB画像、LPPC画像、RPPB画像、RPPC画像）、L/Rサイド起立物、及び、L/Rサイド画像の位置情報を記憶し、処理は、ステップＳ２３３に進む。

ステップＳ２３３では、距離情報取得部２１７は、距離検出部１６２（図２７）から供給される距離情報から、記憶部２１６に記憶された位置情報が表す位置にあるリア起立物、及び、L/Rサイド起立物の距離情報を取得する。そして、距離情報取得部２１７は、リア起立物、及び、L/Rサイド起立物の位置情報を、位置関係判定部２１８、及び、統合部２２０に供給し、処理は、ステップ２３３からステップＳ２３４に進む。

ステップＳ２３４では、統合部２２０は、記憶部２１６に記憶されたPPA画像としてのリア画像、L/Rサイド画像（LPPB画像、LPPC画像、RPPB画像、RPPC画像）、リア起立物、及び、L/Rサイド起立物を用いて、表示モード2又は3の統合画像（図２５又は図２２の統合画像）を生成する。

すなわち、統合部２２０は、表示モード5，6，7の画像生成処理（図３７）と同様にして、合成画像を生成する。

具体的には、統合部２２０は、記憶部２１６に記憶されたPPA画像としてのリア画像、及び、アフィン変換後のLPPB画像及びRPPB画像を合成し、その結果得られる合成画像に、記憶部２１６に記憶されたリア起立物、及び、L/Rサイド起立物を、距離情報取得部２１７からのリア起立物、及び、L/Rサイド起立物の距離情報に応じてレイヤ合成することで、合成画像を生成する。

統合部２２０は、以上のようにして合成画像を生成した後、その合成画像に隣接する形で、記憶部２１６に記憶されたアフィン変換前のLPPB画像及びRPPB画像を結合し、さらに、その結合後のLPPB画像及びRPPB画像に隣接する形で、記憶部２１６に記憶されたLPPC画像及びRPPC画像を結合することで、表示モード2又は3の統合画像（図２５又は図２２の統合画像）を生成する。

そして、統合部２２０は、表示モード2又は3の統合画像を、重畳部２２１に供給し、処理は、ステップＳ２３４からステップＳ２３５に進む。

ステップＳ２３５では、重畳部２２１は、表示モードが表示モード2及び3のうちの表示モード2である場合に、車両１００の周囲を囲む仮想境界線VL10，VL11，VL12，VL13に対応する線としての境界マーク（図２４、図２５）を、統合部２２０からの統合画像に重畳し、処理は、ステップＳ２３５からステップＳ２３６に進む。

ステップＳ２３６では、重畳部２２１は、境界マークの重畳により得られる重畳画像を、CMS画像としてに出力し、処理はリターンする。

なお、表示モードが表示モード3である場合、重畳部２２１は、ステップＳ２３５において、統合部２２０からの統合画像に、境界マークを重畳せず、ステップＳ２３６において、統合画像を、そのまま、CMS画像として出力する。

図４４は、図４３のステップＳ２３１−２でLサイド画像処理部２１２が行うLサイド画像処理の例を説明するフローチャートである。

ステップＳ２５１において、Lサイド画像処理部２１２（図３１）の画像切り出し部２６１は、Lサイドカメラ１１２から供給される元Lサイド画像を取得する。

そして、画像切り出し部２６１は、Lサイドカメラ１１２のカメラパラメータに応じて、元Lサイド画像を修正し、処理は、ステップＳ２５２に進む。

ステップＳ２５２では、画像切り出し部２６１は、元Lサイド画像から、表示モード2又は3の統合画像の生成に用いるLPPB画像及びLPPC画像となる範囲の画像を、LPPB範囲画像及びLPPC範囲画像として切り出し、射影方式変換部２６２に供給して、処理は、ステップＳ２５３に進む。

ステップＳ２５３では、射影方式変換部２６２は、画像切り出し部２６１からのLPPB範囲画像を、中心射影のLPPB画像に変換し、起立物検出部２６３、及び、アフィン変換部２６４に供給して、処理は、ステップＳ２５４に進む。

ステップＳ２５４では、アフィン変換部２６４は、射影方式変換部２６２からのLPPB画像の無限遠点を、リア画像の無限遠点に一致させるように、射影方式変換部２６２からのLPPB画像をアフィン変換するための、アフィン変換前のLPPB画像の各画素の位置と、アフィン変換後のLPPB画像の各画素の位置とを対応付けた変換テーブルを生成する。

さらに、アフィン変換部２６４は、変換テーブルにしたがって、射影方式変換部２６２からのLPPB画像をアフィン変換し、アフィン変換後のLPPB画像を、Lサイド画像（の一種）として、記憶部２１６（図２９）に出力する。

さらに、アフィン変換部２６４は、変換テーブルを、変換後位置検出部２６５に供給して、処理は、ステップＳ２５４からステップＳ２５５に進む。

ここで、ステップＳ２５４で、アフィン変換部２６４から記憶部２１６に出力されるアフィン変換後のLPPB画像は、図４３のステップＳ２３４での合成画像の生成に用いられる。

ステップＳ２５５では、起立物検出部２６３は、射影方式変換部２６２からのLPPB画像に、起立物の検出対象となる対象領域としてのROIを設定し、処理は、ステップＳ２５６に進む。

ステップＳ２５６では、起立物検出部２６３は、射影方式変換部２６２からのLPPB画像の対象領域に対して、図３８のステップＳ１３４と同様のセグメンテーションを行うことにより、LPPB画像の対象領域内に映るLサイド起立物の検出を行って（Lサイド起立物の検出を試みて）、処理は、ステップＳ２５７に進む。

ステップＳ２５７では、起立物検出部２６３は、LPPB画像にLサイド起立物が映っているかどうかを判定する。

すなわち、ステップＳ２５７では、起立物検出部２６３は、直前のステップＳ２５６のセグメンテーションによって、LPPB画像からLサイド起立物を検出することができたかどうかを判定する。

ステップＳ２５７において、Lサイド起立物を検出することができなかったと判定された場合、処理は、ステップＳ２５８ないしＳ２６０をスキップして、ステップＳ２６１に進む。

この場合、起立物検出部２６３は、Lサイド起立物、及び、（アフィン変換前の）Lサイド起立物の位置情報を出力しない（出力できない）。さらに、変換後位置検出部２６５も、同様に、（アフィン変換後の）Lサイド起立物の位置情報を出力しない。

一方、ステップＳ２５７において、Lサイド起立物を検出することができたと判定された場合、処理は、ステップＳ２５８に進み、起立物検出部２６３は、LPPB画像上のLサイド起立物の位置を表す位置情報を検出し、処理は、ステップＳ２５９に進む。

ステップＳ２５９では、起立物検出部２６３は、ステップＳ２５６で検出したLサイド起立物と、ステップＳ２５８で検出したLサイド起立物の位置情報とを、記憶部２１６（図２９）に出力して、処理は、ステップＳ２６０に進む。

ステップＳ２６０では、変換後位置検出部２６５は、アフィン変換部２６４からの変換テーブルを用いて、起立物検出部２６４からのLサイド起立物の位置情報（アフィン変換前のLPPB画像に映る起立物の位置情報）から、アフィン変換後のLPPB画像に映るLサイド起立物（アフィン変換後のLサイド起立物）の位置情報を検出する。そして、変換後位置検出部２６５は、アフィン変換後のLサイド起立物の位置情報を、記憶部２１６に出力して、処理は、ステップＳ２６１に進む。

ここで、ステップＳ２６０で、変換後位置検出部２６５から記憶部２１６に出力されるアフィン変換後のLサイド起立物の位置情報は、図４３のステップＳ２３４での合成画像の生成において、（アフィン変換前の）Lサイド起立物のレイヤ合成を行うときに用いられる。

ステップＳ２６１では、射影方式変換部２６２は、（アフィン変換前の）LPPB画像を、そのまま、Lサイド画像として、記憶部２１６に出力する。

又は、ステップＳ２６１では、射影方式変換部２６２は、アフィン変換部２６４に、LPPB画像を対象として、図２３で説明した短冊アフィン変換（LPPB画像の下半分の、PPA画像に近い領域ほど、無限遠点がPPA画像の無限遠点に近づくようなアフィン変換）を行わせ、その短冊アフィン変換後のLPPB画像を、Lサイド画像として、記憶部２１６に出力させる。

ここで、ステップＳ２６１で、射影方式変換部２６２から記憶部２１６に出力されるアフィン変換前のLPPB画像、又は、アフィン変換部２６４から記憶部２１６に出力される短冊アフィン変換後のLPPB画像は、図４３のステップＳ２３４での表示モード2又は3の統合画像（図２５又は図２２の統合画像）の生成において、合成画像に隣接して配置（結合）される。

ステップＳ２６１の後、処理は、ステップＳ２６２に進み、射影方式変換部２６２は、画像切り出し部２６１からのLPPC範囲画像を、円筒射影のLPPC画像に変換し、Lサイド画像（の他の一種）として、記憶部２１６に出力して、処理は、ステップＳ２６３に進む。

ここで、ステップＳ２６２で、射影方式変換部２６２から記憶部２１６に出力される円筒射影のLPPC画像は、図４３のステップＳ２３４での表示モード2又は3の統合画像（図２５又は図２２の統合画像）の生成において、LPPB画像に隣接して配置（結合）される。

ステップＳ２６３及びＳ２６４では、図３９のステップＳ１６１及びＳ１６２とそれぞれ同様の処理が行われ、処理はリターンする。

以上、本技術を、自動車（ガソリン車の他、電気自動車やハイブリッド車等を含む）である車両１００に適用した場合について説明したが、本技術は、自動車の他、例えば、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体や、そのような移動体を操縦する装置等に適用することができる。また、距離や、起立物の検出には、ステレオカメラや、RADAR、LIDAR、TOFセンサ等を用いることができるが、ステレオカメラを用いる場合には、ステレオカメラを構成する、例えば、2台のカメラの光軸が垂直方向に離れるように、ステレオカメラを設置することができる。すなわち、すテレをカメラは、一般に、人の目の配置に準じて、ステレオカメラを構成する2台のカメラの光軸が水平方向に離れるように配置される。本技術に用いるステレオカメラは、ステレオカメラを構成する2台のカメラの光軸が水平方向に離れるように配置しても良いし、2台のカメラの光軸が垂直方向に離れるように配置しても良い。

＜本技術を適用したコンピュータの説明＞

次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

図４５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やROM４０３に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブル記録媒体４１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体４１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク４０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)４０２を内蔵しており、CPU４０２には、バス４０１を介して、入出力インタフェース４１０が接続されている。

CPU４０２は、入出力インタフェース４１０を介して、ユーザによって、入力部４０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)４０３に格納されているプログラムを実行する。あるいは、CPU４０２は、ハードディスク４０５に格納されたプログラムを、RAM(Random Access Memory)４０４にロードして実行する。

これにより、CPU４０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース４１０を介して、出力部４０６から出力、あるいは、通信部４０８から送信、さらには、ハードディスク４０５に記録等させる。

なお、入力部４０７は、キーボードや、マウス、マイク等で構成される。また、出力部４０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

なお、本技術は、以下の構成をとることができる。

＜１＞
第１の画像と第２の画像とを統合し、統合画像を生成する統合部と、
前記第２の画像に映る物体が、前記第１の画像に映る物体よりも奥側にある場合に、警告マークを前記統合画像に重畳し、重畳画像を生成する重畳部と
を備える画像生成装置。
＜２＞
前記重畳部は、前記統合画像において、前記第２の画像に映る物体が、前記第１の画像に映る物体よりも奥側にあり、かつ、前記第２の画像に映る物体の少なくとも一部が、前記第１の画像に映る物体によって隠れる場合に、前記警告マークを、前記統合画像に重畳する
＜１＞に記載の画像生成装置。
＜３＞
前記警告マークは、一部が透明の画像である
＜１＞又は＜２＞に記載の画像生成装置。
＜４＞
前記警告マークは、前記透明の部分が移動する画像である
＜３＞に記載の画像生成装置。
＜５＞
前記警告マークは、縞模様の画像である
＜３＞又は＜４＞に記載の画像生成装置。
＜６＞
前記第１の画像と前記第２の画像とは、異なる視点の画像であり、
前記統合部は、前記第１の画像と、無限遠点が前記第１の画像と一致するようにアフィン変換が施された前記第２の画像とを合成した合成画像を含む画像を、前記統合画像として生成する
＜１＞ないし＜５＞のいずれかに記載の画像生成装置。
＜７＞
前記第１の画像と前記第２の画像とは、異なる視点の画像であり、
前記統合部は、前記合成画像と、アフィン変換前の前記第２の画像とが並んだ画像を、前記統合画像として生成する
＜６＞に記載の画像生成装置。
＜８＞
前記統合画像は、前記合成画像と、アフィン変換前の前記第２の画像との間に、所定の幅の境界線を有する
＜７＞に記載の画像生成装置。
＜９＞
前記第１の画像と前記第２の画像とは、異なる視点の画像であり、
前記統合部は、前記第１の画像と、前記第２の画像とを合成した合成画像を含む画像を、前記統合画像として生成し、
前記合成画像には、無限遠点が前記第１の画像と一致する程度が変化するアフィン変換が施された前記第２の画像が合成される
＜１＞ないし＜５＞のいずれかに記載の画像生成装置。
＜１０＞
前記第１の画像、及び、前記第２の画像は、車両の後方を撮影した画像であり、
アフィン変換後の前記第２の画像の無限遠点が前記第１の画像と一致する程度は、前記車両を操縦するユーザの状態に応じて変化する
＜９＞に記載の画像生成装置。
＜１１＞
前記第１の画像と前記第２の画像とは、異なる視点の画像であり、
前記統合部は、前記第１の画像と、前記第２の画像とを合成した合成画像を含む画像を、前記統合画像として生成し、
前記合成画像には、無限遠点が前記第１の画像と一致するようにアフィン変換が施された前記第２の画像、又は、アフィン変換前の前記第２の画像が合成される
＜１＞ないし＜５＞のいずれかに記載の画像生成装置。
＜１２＞
前記第１の画像、及び、前記第２の画像は、車両の後方を撮影した画像であり、
前記車両を操縦するユーザの状態に応じて、前記合成画像には、無限遠点が前記第１の画像と一致するようにアフィン変換が施された前記第２の画像、又は、アフィン変換前の前記第２の画像が合成される
＜１１＞に記載の画像生成装置。
＜１３＞
前記第１の画像は、車両の後部の位置から、前記車両の後方を撮影した画像であり、
前記第２の画像は、前記後部の位置から横方向にずれた位置から、前記車両の後方を撮影した画像であり、
前記重畳部は、前記第２の画像に映る、前記車両が走行する道路上に起立する起立物が、前記第１の画像に映る、前記道路上に起立する起立物よりも奥側にある場合に、前記警告マークを前記統合画像に重畳する
＜１＞ないし＜１２＞のいずれかに記載の画像生成装置。
＜１４＞
前記統合部は、
前記第１の画像と、無限遠点が前記第１の画像と一致するようにアフィン変換が施された前記第２の画像とを合成し、
前記第１の画像と前記第２の画像とを合成した合成画像に、前記第１の画像から抽出される前記起立物と、前記第２の画像から抽出される前記起立物とを、前記車両から前記起立物までの距離に応じて合成する
ことにより、前記統合画像を生成する
＜１３＞に記載の画像生成装置。
＜１５＞
前記統合部は、前記第１の画像と前記第２の画像とを合成した合成画像の、アフィン変換後の前記第２の画像に映る前記起立物の位置に対応する位置に、アフィン変換前の前記第２の画像から抽出される前記起立物を合成する
＜１４＞に記載の画像生成装置。
＜１６＞
前記統合部は、前記車両の状態、前記車両を操縦するユーザの状態、及び、前記車両に対する操作に関する操作情報のうちの少なくとも１つに応じて設定される表示モードに応じて、
前記第１の画像と、前記第２の画像とを統合した画像、
前記車両の後部の左側の位置から、前記車両の右後方を撮影した画像と、前記車両の後部の右側の位置から、前記車両の左後方を撮影した画像とを統合した画像、
又は、前記第１の画像と、前記車両の横方向を撮影した円筒射影の画像とを統合した画像
を、前記統合画像として生成する
＜１３＞ないし＜１５＞のいずれかに記載の画像生成装置。
＜１７＞
前記統合部は、前記車両の後部の左側の位置から、前記車両の右後方を撮影した画像を右側の領域に配置するとともに、前記車両の後部の右側の位置から、前記車両の左後方を撮影した画像を左側の領域に配置した画像を、前記統合画像として生成し、
前記左側の領域及び右側の領域の境界は、前記ユーザの状態に応じて、左右に移動する
＜１６＞に記載の画像生成装置。
＜１８＞
前記重畳部は、前記車両の周囲を囲む仮想的な境界線を、前記統合画像の前記円筒射影の画像に重畳する
＜１６＞に記載の画像生成装置。
＜１９＞
第１の画像と第２の画像とを統合し、統合画像を生成することと、
前記第２の画像に映る物体が、前記第１の画像に映る物体よりも奥側にある場合に、警告マークを前記統合画像に重畳し、重畳画像を生成することと
を含む画像生成方法。
＜２０＞
第１の画像と第２の画像とを統合し、統合画像を生成する統合部と、
前記第２の画像に映る物体が、前記第１の画像に映る物体よりも奥側にある場合に、警告マークを前記統合画像に重畳し、重畳画像を生成する重畳部と
して、コンピュータを機能させるためのプログラム。

１０ 車両， １１ リアカメラ， １２ Lサイドカメラ， １３ Rサイドカメラ， １４ Lリアサイドカメラ， １５ Rリアサイドカメラ， ２２ Lサイドカメラ， ２３ Rサイドカメラ， １００ 車両， １１１ リアカメラ， １１２ Lサイドカメラ， １１３ Rサイドカメラ， １１４ Lリアサイドカメラ， １１５ Rリアサイドカメラ， １５０ CMS， １５１ 操作部， １５２ センサ部， １６１ 撮影部， １６２ 距離検出部， １６３ 車両状態検出部， １６４ ドライバ状態検出部， １６５ CMS画像生成部， １６６ 表示部， ２０１ 表示モード設定部， ２１１ リア画像処理部， ２１２ Lサイド画像処理部， ２１３ Rサイド画像処理部， ２１４ Lリアサイド画像処理部， ２１５ Rリアサイド画像処理部， ２１６ 記憶部， ２１７ 距離情報取得部， ２１８ 位置関係判定部， ２１９ 衝突リスク判定部， ２２０ 統合部， ２２１ 重畳部， ２５１ 画像切り出し部， ２５２ 起立物検出部， ２６１ 画像切り出し部， ２６２ 射影方式変換部， ２６３ 起立物検出部， ２６４ アフィン変換部， ２６５ 変換後位置検出部， ２７１ 画像切り出し部， ２７２ 射影方式変換部， ２７３ 起立物検出部， ２７４ アフィン変換部， ２７５ 変換後位置検出部， ２８１，２９１ 画像切り出し部， ４０１ バス， ４０２ CPU， ４０３ ROM， ４０４ RAM， ４０５ ハードディスク， ４０６ 出力部， ４０７ 入力部， ４０８ 通信部， ４０９ ドライブ， ４１０ 入出力インタフェース， ４１１ リムーバブル記録媒体

Claims (20)

1. 第１の画像と第２の画像とを統合し、統合画像を生成する統合部と、
   前記第２の画像に映る物体が、前記第１の画像に映る物体よりも奥側にある場合に、警告マークを前記統合画像に重畳し、重畳画像を生成する重畳部と
   を備える画像生成装置。
2. 前記重畳部は、前記統合画像において、前記第２の画像に映る物体が、前記第１の画像に映る物体よりも奥側にあり、かつ、前記第２の画像に映る物体の少なくとも一部が、前記第１の画像に映る物体によって隠れる場合に、前記警告マークを、前記統合画像に重畳する
   請求項１に記載の画像生成装置。
3. 前記警告マークは、一部が透明の画像である
   請求項１に記載の画像生成装置。
4. 前記警告マークは、前記透明の部分が移動する画像である
   請求項３に記載の画像生成装置。
5. 前記警告マークは、縞模様の画像である
   請求項３に記載の画像生成装置。
6. 前記第１の画像と前記第２の画像とは、異なる視点の画像であり、
   前記統合部は、前記第１の画像と、無限遠点が前記第１の画像と一致するようにアフィン変換が施された前記第２の画像とを合成した合成画像を含む画像を、前記統合画像として生成する
   請求項１に記載の画像生成装置。
7. 前記第１の画像と前記第２の画像とは、異なる視点の画像であり、
   前記統合部は、前記合成画像と、アフィン変換前の前記第２の画像とが並んだ画像を、前記統合画像として生成する
   請求項６に記載の画像生成装置。
8. 前記統合画像は、前記合成画像と、アフィン変換前の前記第２の画像との間に、所定の幅の境界線を有する
   請求項７に記載の画像生成装置。
9. 前記第１の画像と前記第２の画像とは、異なる視点の画像であり、
   前記統合部は、前記第１の画像と、前記第２の画像とを合成した合成画像を含む画像を、前記統合画像として生成し、
   前記合成画像には、無限遠点が前記第１の画像と一致する程度が変化するアフィン変換が施された前記第２の画像が合成される
   請求項１に記載の画像生成装置。
10. 前記第１の画像、及び、前記第２の画像は、車両の後方を撮影した画像であり、
    アフィン変換後の前記第２の画像の無限遠点が前記第１の画像と一致する程度は、前記車両を操縦するユーザの状態に応じて変化する
    請求項９に記載の画像生成装置。
11. 前記第１の画像と前記第２の画像とは、異なる視点の画像であり、
    前記統合部は、前記第１の画像と、前記第２の画像とを合成した合成画像を含む画像を、前記統合画像として生成し、
    前記合成画像には、無限遠点が前記第１の画像と一致するようにアフィン変換が施された前記第２の画像、又は、アフィン変換前の前記第２の画像が合成される
    請求項１に記載の画像生成装置。
12. 前記第１の画像、及び、前記第２の画像は、車両の後方を撮影した画像であり、
    前記車両を操縦するユーザの状態に応じて、前記合成画像には、無限遠点が前記第１の画像と一致するようにアフィン変換が施された前記第２の画像、又は、アフィン変換前の前記第２の画像が合成される
    請求項１１に記載の画像生成装置。
13. 前記第１の画像は、車両の後部の位置から、前記車両の後方を撮影した画像であり、
    前記第２の画像は、前記後部の位置から横方向にずれた位置から、前記車両の後方を撮影した画像であり、
    前記重畳部は、前記第２の画像に映る、前記車両が走行する道路上に起立する起立物が、前記第１の画像に映る、前記道路上に起立する起立物よりも奥側にある場合に、前記警告マークを前記統合画像に重畳する
    請求項１に記載の画像生成装置。
14. 前記統合部は、
    前記第１の画像と、無限遠点が前記第１の画像と一致するようにアフィン変換が施された前記第２の画像とを合成し、
    前記第１の画像と前記第２の画像とを合成した合成画像に、前記第１の画像から抽出される前記起立物と、前記第２の画像から抽出される前記起立物とを、前記車両から前記起立物までの距離に応じて合成する
    ことにより、前記統合画像を生成する
    請求項１３に記載の画像生成装置。
15. 前記統合部は、前記第１の画像と前記第２の画像とを合成した合成画像の、アフィン変換後の前記第２の画像に映る前記起立物の位置に対応する位置に、アフィン変換前の前記第２の画像から抽出される前記起立物を合成する
    請求項１４に記載の画像生成装置。
16. 前記統合部は、前記車両の状態、前記車両を操縦するユーザの状態、及び、前記車両に対する操作に関する操作情報のうちの少なくとも１つに応じて設定される表示モードに応じて、
    前記第１の画像と、前記第２の画像とを統合した画像、
    前記車両の後部の左側の位置から、前記車両の右後方を撮影した画像と、前記車両の後部の右側の位置から、前記車両の左後方を撮影した画像とを統合した画像、
    又は、前記第１の画像と、前記車両の横方向を撮影した円筒射影の画像とを統合した画像
    を、前記統合画像として生成する
    請求項１３に記載の画像生成装置。
17. 前記統合部は、前記車両の後部の左側の位置から、前記車両の右後方を撮影した画像を右側の領域に配置するとともに、前記車両の後部の右側の位置から、前記車両の左後方を撮影した画像を左側の領域に配置した画像を、前記統合画像として生成し、
    前記左側の領域及び右側の領域の境界は、前記ユーザの状態に応じて、左右に移動する
    請求項１６に記載の画像生成装置。
18. 前記重畳部は、前記車両の周囲を囲む仮想的な境界線を、前記統合画像の前記円筒射影の画像に重畳する
    請求項１６に記載の画像生成装置。
19. 第１の画像と第２の画像とを統合し、統合画像を生成することと、
    前記第２の画像に映る物体が、前記第１の画像に映る物体よりも奥側にある場合に、警告マークを前記統合画像に重畳し、重畳画像を生成することと
    を含む画像生成方法。
20. 第１の画像と第２の画像とを統合し、統合画像を生成する統合部と、
    前記第２の画像に映る物体が、前記第１の画像に映る物体よりも奥側にある場合に、警告マークを前記統合画像に重畳し、重畳画像を生成する重畳部と
    して、コンピュータを機能させるためのプログラム。

Images