JP7029350B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関し、特に、撮影範囲に車体の一部が含まれた状態で撮影を行う第１カメラと、第１カメラの撮影範囲のうち車体により死角となる範囲を少なくとも撮影可能な第２カメラとの各カメラの撮影画像を処理する画像処理装置、および、当該画像処理装置による画像処理方法に用いて好適なものである。

従来、撮影範囲に車両の車体の一部が含まれた状態で撮影を行う第１カメラの撮影結果に基づく画像と、第１カメラの撮影範囲のうち車体により死角となる範囲を少なくとも撮影可能な第２カメラの撮影結果に基づく画像とを合成することによって、第１カメラの死角が第２カメラの撮影結果によって補われた合成画像を生成し、生成した合成画像を表示する画像処理装置が知られている。ユーザーは、表示装置に表示された合成画像を視認することによって、サイドミラーを視認したときに確認できる風景と同等の風景を確認することができ、さらに、サイドミラーを視認した場合には車体が死角となって視認できない部分も確認することができる。

なお、特許文献１には、車両の側面部に設けられ、車両の後方に向かって撮影を行う右側方カメラ１２０、左側方カメラ１３０の死角に移動体が存在する場合には、そのことを検出した上で、後方カメラ１１０の撮影結果に基づいて、表示装置にその移動体の画像を表示する車両表表示制御装置１０が記載されている。この特許文献１によれば、ユーザーは、表示装置に表示された画像を視認することにより、第１カメラの死角に存在する移動体を認識しつつ、適切に車両の周辺の状況を確認できる。

特開２０１７－１６２１９８号公報

上述した従来の画像処理装置が生成する合成画像では、第１カメラの死角が第２カメラの撮影結果に基づく画像によって補われた状態となる。このため、基本的には、合成画像の全域に車外の風景の画像が記録された状態となり、合成画像に対象物の画像が含まれている場合に、合成画像を視認するユーザーがその対象物までの実際の距離感を認識しづらいという問題があった。

本発明は、このような問題を解決するために成されたものであり、撮影範囲に車体の一部が含まれた状態で撮影を行う第１カメラの撮影結果に基づく画像と、第１カメラの撮影範囲のうち車体により死角となる範囲を少なくとも撮影可能な第２カメラの撮影結果に基づく画像とを合成して生成される合成画像に対象物の画像が含まれる場合に、合成画像を視認するユーザーが対象物との距離感を的確に認識できるようにすることを目的とする。

上記した課題を解決するために、本発明は、第１カメラの死角が第２カメラの撮影結果に基づいて補われるように、第２カメラの第１撮影画像に基づく画像と、第２カメラの第２撮影画像に基づく画像とを合成して合成画像を生成し、合成画像を表示装置に表示する。そして、本発明は、合成画像の生成に際し、合成画像における第１撮影画像に基づく画像と第２撮影画像に基づく画像との境界に沿って、第１撮影画像に基づく車体の輪郭の画像が残るようにすることができ、第１撮影画像および第２撮影画像の少なくとも一方の撮影画像を分析し、合成画像の所定の領域を対象として合成画像が示す風景に所定の対象物が含まれるか否かを判定し、含まれる場合には、合成画像における第１撮影画像に基づく画像と第２撮影画像に基づく画像との境界に沿って、第１撮影画像に基づく車体の輪郭の画像が残るようにし、それ以外の場合には、第１撮影画像に基づく車体の輪郭の画像が残らないようにしている。

上記のように構成した本発明によれば、第１撮影画像に基づく画像と第２撮影画像に基づく画像との境界を明示する車体の輪郭の画像が合成画像に記録される。この車体の輪郭の画像は、合成画像において実際の車体の位置に対応する位置に、固定的な態様で記録されることになるため、ユーザーは、合成画像における自車両の車体の輪郭の画像と、対象物の画像との位置関係を認識することによって、自車両と対象物との実際の距離感を的確に認識できる。

本発明の一実施形態に係る画像処理装置の機能構成例を示すブロック図である。 リアカメラおよび右サイドカメラの設置位置および撮影範囲を示す図である。 リアカメラ撮影画像およびサイドカメラ撮影画像を示す図である。 透過率の変化の態様を説明するための図である。 右側合成画像を示す図である。 本発明の一実施形態に係る画像処理部の動作例を示すフローチャートである。 輪郭消去処理により生成される右側合成画像を示す図である。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態に係る画像処理装置１の機能構成例を示すブロック図である。画像処理装置１は、運転手を含むユーザーが車両の右サイドミラーＭＲまたは左サイドミラーＭＬを視認したときに確認できる風景と同等の風景を、これらミラーを視認したときには車体により遮蔽されて確認できない部分も含めて表示することが可能な装置である。

図１に示すように、画像処理装置１には、右モニター２Ｒ、左モニター２Ｌ、リアカメラ３、右サイドカメラ４Ｒおよび左サイドカメラ４Ｌが接続されている。以下、画像処理装置１が搭載された車両を「自車両」という。

右モニター２Ｒは、自車両のダッシュボードの右端部（車内において右サイドミラーＭＲに近い位置）に設けられた表示パネル（例えば、液晶表示パネルや、有機ＥＬ表示パネル等）である。左モニター２Ｌは、自車両のダッシュボードの左端部（車内において左サイドミラーＭＬに近い位置）に設けられた表示パネル（例えば、液晶表示パネルや、有機ＥＬ表示パネル等）である。右モニター２Ｒおよび左モニター２Ｌは、特許請求の範囲の「表示装置」に相当する。

リアカメラ３は、自車両の後部に設けられた撮影装置である。右サイドカメラ４Ｒは、自車両の前部座席の右サイドドアの右サイドミラーＭＲに設けられた撮影装置である。左サイドカメラ４Ｌは、自車両の前部座席の左サイドドアの左サイドミラーＭＬに設けられた撮影装置である。

図２は、リアカメラ３および右サイドカメラ４Ｒの設置位置および撮影範囲を説明するための図である。以下の説明では、右サイドカメラ４Ｒと左サイドカメラ４Ｌとを区別しない場合は「サイドカメラ４Ｒ，４Ｌ」と表現する。

図２に示すように、リアカメラ３は、自車両の後端において、自車両の幅方向の中央に設けられており、自車両の後方に向かう方向を撮影方向（光軸の方向）として撮影を実行する。図２において、符号ＨＢは、リアカメラ３の撮影範囲を模式的に示している。以下、リアカメラ３の撮影範囲を「リアカメラ撮影範囲ＨＢ」という。リアカメラ３は、魚眼レンズを有する魚眼カメラにより構成されている。リアカメラ３は、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、リアカメラ３が生成し、出力する撮影画像を「リアカメラ撮影画像」という。リアカメラ３は、特許請求の範囲の「第２カメラ」に相当し、リアカメラ撮影画像は、特許請求の範囲の「第２撮影画像」に相当する。

図３（Ａ）は、リアカメラ撮影画像の一例を示している。図３（Ａ）のリアカメラ撮影画像には、１台分の車両が通行可能な道路上で後続する後続車両の画像ＫＺｂ、自車両から相当に離れた場所に位置する建物の画像ＴＭｂ、水平線を表す画像ＳＨｂが記録されている。

図２に示すように、右サイドカメラ４Ｒは、車両の後方に対して、後方に向かうに従って右側に向かうように少しだけ傾いた方向を撮影方向（光軸の方向）として撮影を実行する。図２において、符号ＨＲは、右サイドカメラ４Ｒの撮影範囲を模式的に示している。右サイドカメラ４Ｒは、標準レンズにより撮影を実行する撮影装置であり、その撮影範囲の水平画角は、リアカメラ撮影範囲ＨＢの水平画角よりも小さい。以下、右サイドカメラ４Ｒの撮影範囲を「右サイドカメラ撮影範囲ＨＲ」という。

図２に示すように、右サイドカメラ４Ｒの右サイドカメラ撮影範囲ＨＲには、車両の車体に遮蔽された死角範囲ＤＨが形成される。死角範囲ＤＨについては、車体が遮蔽物となり、風景が撮影されない。リアカメラ３のリアカメラ撮影範囲ＨＢには、死角範囲ＤＨが含まれている。つまり、リアカメラ３は、死角範囲ＤＨの風景を撮影可能である。右サイドカメラ４Ｒは、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、右サイドカメラ４Ｒが生成し、出力する撮影画像を「右サイドカメラ撮影画像」という。

図３（Ｂ）は、図３（Ａ）のリアカメラ撮影画像が生成されたときの環境と同じ環境で右サイドカメラ４Ｒが生成する右サイドカメラ撮影画像の一例を示す図である。図３（Ｂ）に示すように、右サイドカメラ撮影画像の左端部には、自車両の車体の画像ＪＳｒが記録された死角領域ＤＲが形成されている。死角領域ＤＲは、右サイドカメラ４Ｒの右サイドカメラ撮影範囲ＨＲの死角範囲ＤＨ（図２参照）に対応する領域である。右サイドカメラ４Ｒは、車両の特定の位置に固定的に設けられるため、右サイドカメラ撮影画像の全領域における死角領域ＤＲの態様（位置、形状）は一定である。

また、図３（Ｂ）で例示する右サイドカメラ撮影画像には、後続車両の画像ＫＺｒが記録されている。後続車両の画像ＫＺｒは、その一部が自車両の車体の画像ＪＳｒに覆われた状態である。また、右サイドカメラ撮影画像には、建物の画像ＴＭｒが記録されている。建物の画像ＴＭｒは、その一部が自車両の車体の画像ＪＳｒおよび後続車両の画像ＫＺｒに覆われた状態である。また、右サイドカメラ撮影画像には、水平線を表す画像ＳＨｒが記録されている。

左サイドカメラ４Ｌは、右サイドカメラ４Ｒと同一の性能の撮影装置であり、前部座席の左サイドドアに取り付けられた左サイドミラーＭＬに、右サイドカメラ４Ｒと同様の態様で設置されている。左サイドカメラ４Ｌは、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、左サイドカメラ４Ｌが生成し、出力する撮影画像を「左サイドカメラ撮影画像」という。

右サイドカメラ４Ｒおよび左サイドカメラ４Ｌは、特許請求の範囲の「第１カメラ」に相当し、右サイドカメラ撮影画像および左サイドカメラ撮影画像は、特許請求の範囲の「第１撮影画像」に相当する。

図１に示すように、画像処理装置１は、機能構成として、撮影画像取得部１０、画像処理部１１および表示制御部１２を備えている。上記各機能ブロック１０～１２は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１０～１２は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭ等を備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。また、図１に示すように、画像処理装置１は、記憶手段として、画像処理関連情報記憶部１３を備えている。画像処理関連情報記憶部１３は、後述するように、ルックアップテーブル等の画像処理に関する各種情報を記憶する。

撮影画像取得部１０は、リアカメラ３からリアカメラ撮影画像を所定の周期で入力し、取得する。また、撮影画像取得部１０は、右サイドカメラ４Ｒから右サイドカメラ撮影画像を所定の周期で入力し、取得する。また、撮影画像取得部１０は、左サイドカメラ４Ｌから左サイドカメラ撮影画像を所定の周期で入力し、取得する。撮影画像取得部１０は、所定の周期で取得するリアカメラ撮影画像、右サイドカメラ撮影画像および左サイドカメラ撮影画像を、画像処理部１１に出力する。

画像処理部１１は、サイドカメラ４Ｒ，４Ｌの死角がリアカメラ３の撮影結果に基づいて補われるように、撮影画像取得部１０により取得されたサイドカメラ４Ｒ，４Ｌの撮影画像に基づく画像と、リアカメラ３の撮影結果に基づく画像とを合成して合成画像を生成する。合成画像の生成に際し、画像処理部１１は、合成画像におけるサイドカメラ４Ｒ，４Ｌの撮影結果に基づく画像と、補完画像（リアカメラ撮影画像に基づく画像）との境界に沿って、サイドカメラ４Ｒ，４Ｌの撮影結果に基づく車体の輪郭の画像が残るようにする。

以下、画像処理部１１の処理について、右サイドカメラ４Ｒの右サイドカメラ撮影画像およびリアカメラ３のリアカメラ撮影画像に基づいて、右側合成画像（合成画像）を生成する場合を例にして詳述する。なお、画像処理部１１は、右側合成画像の生成と並行して、左サイドカメラ撮影画像およびリアカメラ撮影画像に基づいて左側合成画像を生成する。

画像処理部１１は、撮影画像取得部１０からリアカメラ撮影画像および右サイドカメラ撮影画像を所定の周期で入力し、入力したこれらの撮影画像に基づいて合成画像生成処理を実行する。合成画像生成処理とは、合成画像（本例の場合は、右側合成画像）を生成する処理である。画像処理部１１は、所定の周期で合成画像生成処理を実行して右側合成画像を生成し、生成した右側合成画像を表示制御部１２に出力する。以下、合成画像生成処理について詳述する。なお、以下では、右側合成画像を生成する合成画像生成処理について説明するが、実際には、この処理と同期して左側合成画像を生成する合成画像生成処理が実行される。

合成画像生成処理において、まず、画像処理部１１は、画像処理関連情報記憶部１３に記憶された右側ルックアップテーブルを用いて、撮影画像取得部１０から入力したリアカメラ撮影画像を補完画像に変換する。

右側ルックアップテーブルとは、リアカメラ撮影画像を、「右側仮想カメラが、車体を透過した状態で死角範囲ＤＨを仮想的に撮影することによって生成される撮影画像（＝補完画像）」に変換するために用いられるマッピングテーブルである。右側仮想カメラとは、右サイドカメラ４と同じ撮影方向、撮影範囲の仮想的な撮影装置のことであり、所定の撮影画像を、右サイドカメラ４の視点に視点変換する際に概念的に用いられる。

右側ルックアップテーブルは、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成する全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた対応関係情報を有する。なお、上述したように、右サイドカメラ撮影画像の全領域における死角領域ＤＲの態様（位置、形状）は一定であり、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成する全てのドットのドット位置は事前に特定されている。

右側ルックアップテーブルの対応関係情報は、リアカメラ３の視点を右側仮想カメラの視点に変換するという観点の下、車両座標系におけるリアカメラ３および右側仮想カメラの配置位置および配置角度、リアカメラ３の仕様（投影方法や、画角、ディストーション（レンズの歪み）、解像度等）、右側仮想カメラの仕様、視点変換に用いる投影面の態様、その他の要素を反映して事前に適切に設定されている。画像処理部１１は、右側ルックアップテーブルを用いて、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成するドットの画素値が、リアカメラ撮影画像の対応するドットの画素値によって置き換えられた補完画像を生成する。

補完画像の生成後、画像処理部１１は、生成した補完画像と、右サイドカメラ撮影画像と、画像処理関連情報記憶部１３に記憶されたマスク情報とに基づいて右側合成画像を生成する。

詳述すると、マスク情報とは、右サイドカメラ撮影画像の死角領域ＤＲを構成する全てのドットについて、死角領域ＤＲに補完画像を重畳するときの「補完画像の透過率α」を定義した情報である。本実施形態では、透過率αは、「０」から「１」までの範囲をとる。合成画像の一のドットの画素値をＣ_Ｇとし、当該一のドットに対応する補完画像のドットの画素値をＣ_Ｈとし、当該一のドットに対応する右サイドカメラ撮影画像のドットの画素値をＣ_Ｒとすると、「Ｃ_Ｇ＝（１－α）＊Ｃ_Ｈ＋α＊Ｃ_Ｒ」が成り立つ。式に示す通り、合成画像の一のドットについての透過率αが「１」の場合、当該一のドットの画素値は、右サイドカメラ撮影画像の対応するドットの画素値となり、逆に、透過率αが「０」の場合、当該一のドットの画素値は、補完画像の対応するドットの画素値となる。

図４は、透過率αの変化の態様を説明するための図である。図４（Ａ）は、右側合成画像の全領域における死角領域ＤＲを、斜線により示す図である。図４（Ｂ）は、図４（Ａ）のドットラインＬ１における透過率αの変化を示す図である。

図４（Ｂ）に示すように、位置Ｋ１（透過率α＝「１」）を起点として、左側（補完画像側）に向かうに従って透過率αが徐々に減少していく。位置Ｋ１を起点として位置Ｋ２までの範囲Ｈ１では、透過率αは、小さい範囲（例えば、「０．１」）以内で、緩やかに下降する。この範囲Ｈ１は、右サイドカメラ撮影画像において、後輪の画像ＫＲｒが記録された範囲領域ＴＲ（図３（Ｂ）参照）に対応している。図４（Ｂ）に示すように、透過率αは、位置Ｋ２を起点として、位置Ｋ２から左方に向かうに従って急激に下降して、位置Ｋ３で「０」となり、位置Ｋ３より左方では、「０」の状態が維持される。

画像処理部１１は、マスク情報が示す透過率αに基づいて、右側合成画像の死角領域ＤＲに対応する領域の各ドットについて、補完画像のドットの画素値と右サイドカメラ撮影画像のドットの画素値とをブレンドし、右側合成画像を生成する。

図５は、図３（Ａ）のリアカメラ撮影画像と、図３（Ｂ）の右サイドカメラ撮影画像とに基づいて生成される右側合成画像を示している。図５に示すように、右側合成画像では、右サイドカメラ撮影画像と補完画像との境界に沿って、自車両の車体の輪郭の画像が記録される。また、透過率αは、ドットラインに沿って図４（Ｂ）で説明した態様で変化するため、車体の輪郭の画像には、後輪の画像ＫＲｒが残存した状態となる。

以上の処理が、右側合成画像の生成に際して所定の周期で実行される合成画像生成処理である。上述したように、画像処理部１１は、右側合成画像を生成する合成画像生成処理と同期して左側合成画像を生成する合成画像生成処理を実行する。画像処理部１１は、合成画像生成処理で生成した右側合成画像および左側合成画像を表示制御部１２に出力する。

表示制御部１２は、所定の周期で画像処理部１１から合成画像（右側合成画像および左側合成画像）を入力し、右側合成画像を右モニター２Ｒに表示し、左側合成画像を左モニター２Ｌに表示する。この結果、右モニター２Ｒには、リアカメラ３および右サイドカメラ４Ｒの撮影結果がリアルタイムに反映された動画として、車両の右サイドミラーＭＲを視認したときに確認できる風景と同等の風景が、右サイドミラーＭＲを視認したときには車体により遮蔽されて確認できない部分も含めて表示される。左モニター２Ｌについても同様である。

次に、上述した方法で合成画像生成処理が行われることの意義、効果について説明する。図５に示すように、合成画像生成処理により生成される右側合成画像では、右サイドカメラ撮影画像と補完画像との境界に沿って、自車両の車体の輪郭の画像が記録される。この自車両の車体の輪郭の画像は、合成画像において、実際の車体の輪郭の位置に対応する位置に、固定的な態様で記録される画像である。従って、合成画像が示す風景に含まれる対象物（例えば、後続車両や、歩行者、人間が運転する自転車、車両に走行について何らかの影響を与え得る静止物）について、運転手は、合成画像における自車両の車体の輪郭の画像と対象物の画像との位置関係を認識することによって、自車両と対象物との実際の距離感を的確に認識できる。

特に、本実施形態では、合成画像に、車両の走行に応じて回転する後輪の画像が含まれる（図５参照）。この構成のため、ユーザーは、合成画像を視認したときに、後輪の画像が回転する様子を見て、その部分が車両の輪郭の画像であることを的確に認識できる。

次に、本実施形態に係る画像処理装置１の動作例についてフローチャートを用いて説明する。図６のフローチャートは、リアカメラ撮影画像および右サイドカメラ撮影画像に基づいて右側合成画像を生成する合成画像生成処理の詳細を示すフローチャートである。上述したように、画像処理装置１の画像処理部１１は、所定の周期で合成画像生成処理を実行する。

図６に示すように、合成画像生成処理において、まず、画像処理部１１は、画像処理関連情報記憶部１３に記憶された右側ルックアップテーブルを用いて、撮影画像取得部１０から入力したリアカメラ撮影画像を、補完画像に変換する（ステップＳＡ１）。次いで、画像処理部１１は、ステップＳＡ１で生成した補完画像と、右サイドカメラ撮影画像と、画像処理関連情報記憶部１３に記憶されたマスク情報とに基づいて右側合成画像を生成する（ステップＳＡ２）。

＜変形例＞
次に上記実施形態の変形例について説明する。上記実施形態では、合成画像に、車体の輪郭の画像が常に残る構成であった。一方、本変形例に係る画像処理部１１は、合成画像が示す風景に所定の対象物が含まれる場合には、合成画像における補完画像とサイドカメラ４Ｒ，４Ｌの撮影画像に基づく画像との境界に沿って、サイドカメラ４Ｒ，４Ｌの撮影結果に基づく車体の輪郭の画像が残るようにし、それ以外の場合には、車体の輪郭の画像が残らないようにする。以下、本変形例に係る画像処理部１１による合成画像生成処理について、右サイドカメラ４Ｒの右サイドカメラ撮影画像およびリアカメラ３のリアカメラ撮影画像に基づいて右側合成画像を生成する場合を例にして詳述する。

合成画像生成処理において、まず、画像処理部１１は、リアカメラ撮影画像および右サイドカメラ撮影画像に基づいて合成画像を生成したとした場合に、生成される合成画像が示す風景に自車両との離間距離が所定値（例えば、「１０メートル」）以下の移動体が含まれるか否かを判定する。以下、自車両との離間距離が所定値以下の移動体を「近接移動体」という。

詳述すると、右サイドカメラ撮影画像について、死角領域ＤＲを除く領域に属する画像が示す風景は、合成画像が示す風景に含まれる。また、リアカメラ撮影画像について、死角範囲ＤＨに対応する領域（後に生成される補完画像を構成するドットが分布する領域）に属する画像が示す風景は、合成画像が示す風景に含まれる。これを踏まえ、画像処理部１１は、右サイドカメラ撮影画像の死角領域ＤＲを除く領域、および、リアカメラ撮影画像の死角範囲ＤＨに対応する領域に、近接移動体の画像が含まれているか否かを判定し、含まれている場合は、合成画像が示す風景に近接移動体が含まれると判定する。なお、リアカメラ撮影画像において、死角範囲ＤＨに対応する領域は一定であり、予め定められている。

このように、本実施形態では、画像処理部１１は、右サイドカメラ撮影画像およびリアカメラ撮影画像の双方を分析し、合成画像の全域を対象として合成画像が示す風景に近接移動体（所定の対象物）が含まれるか否かを判定する。

なお、撮影画像に画像が含まれている対象物が移動体であるか否か（＝移動しているか否か）、および、当該対象物の自車両からの距離が所定値以下かどうかの判定について、画像処理部１１は、既存の画像処理技術を用いて適切に判定する。当該対象物までの距離の計測には、ステレオカメラや、レーダー（レーザーレーダーや、ミリ波レーダー等）を用いてもよい。近接移動体は、例えば、自車両に後続する後続車両（自動四輪車に限らず、自動二輪車等の車両を含む）や、歩行者、人が運転する自転車等である。

合成画像が示す風景に近接移動体が含まれる場合、画像処理部１１は、輪郭残存処理を実行して右側合成画像を生成する。一方、合成画像が示す風景に近接移動体が含まれない場合、画像処理部１１は、輪郭消去処理を実行して右側合成画像を生成する。

輪郭残存処理は、第１実施形態と同様、右側ルックアップテーブルに基づいて補完画像を生成し、生成した補完画像と右サイドカメラ撮影画像と画像処理関連情報記憶部１３に記憶されたマスク情報とに基づいて右側合成画像を生成する処理である。輪郭残存処理により生成された右側合成画像は、車体の輪郭の画像が残存する。

輪郭消去処理では、まず、画像処理部１１は、第１実施形態と同様の方法で、右側ルックアップテーブルを利用してリアカメラ撮影画像を補完画像に変換する。次いで、画像処理部１１は、右サイドカメラ撮影画像の死角領域ＤＲが、生成した補完画像によって上書きされるように、右サイドカメラ撮影画像の死角領域ＤＲに対して生成した補完画像を重畳することにより、右側合成画像を生成する。

図７は、輪郭消去処理により生成される右側合成画像の一例を示している。図７では、右サイドカメラ撮影画像と補完画像との境界に破線を引いているが、この破線は、実際には表示されない。図７に示すように、輪郭消去処理により生成される右側合成画像では、右サイドカメラ撮影画像と補完画像との境界に、自車両の車体の輪郭の画像が記録されない。

次に、本変形例に係る方法で合成画像生成処理が行われることの意義、効果について説明する。近接移動体は自車両との接触について留意すべきオブジェクトであり、合成画像が示す風景に近接移動体が含まれる場合、運転手は、その近接移動体と自車両との位置関係を把握しつつ自車両を運転する必要がある。このことを踏まえ、合成画像が示す風景に近接移動体が含まれる場合には、合成画像に自車両の輪郭の画像が残るため、合成画像を視認するユーザーに、自車両の輪郭の画像を使って近接移動体までの距離感を的確に認識させることができる。

一方で、合成画像が示す風景に近接移動体が含まれておらず、合成画像に自車両の輪郭の画像を記録する必要がない場合には、図７に示すように、合成画像に自車両の輪郭の画像が残らないため、合成画像を視認するユーザーに、境界を境にして画像が分断されているとの印象を抱かせないようにすることができる。

すなわち、本実施形態によれば、車体の輪郭の画像を合成画像に含めることによって、車体の輪郭の画像を利用して、近接移動体との距離感をユーザーに認識させることが必要な場合にのみ、車体の輪郭の画像が合成画像に記録された状態とすることができ、境界を明示する画像が不必要に表示されることを抑制することができる。

なお、本変形例では、画像処理部１１は、合成画像が示す風景に、自車両との離間距離が所定値以下の近接移動体が含まれる場合に、輪郭残存処理を実行した。すなわち、本変形例では、特許請求の範囲の「所定の対象物」は、近接移動体であった。

しかしながら、「所定の対象物」は、自車両と離間距離にかかわらず、移動する物体であってもよい。この構成によれば、運転手は、自車両との距離にかかわらず、合成画像が示す風景に移動体が含まれている場合には、自車両の輪郭の画像を利用して、その移動体との距離感を認識可能である。

また、「所定の対象物」は、後続車両（自動四輪車に限らず、自動二輪車等の車両を含む）であってもよい。この構成によれば、検出する対象の移動体が後続車両に限定されるため、対象物を認識するために行われる認識処理の処理負荷の低減を図ることができる。また、「所定の対象物」は、移動体のみならず、静止する物体（駐車時に、隣接する駐車エリアに停車する他の車両等）を含んでいてもよい。

また、本変形例において、画像処理部１１が、合成画像が示す風景に所定の対象物が含まれている場合であって、かつ、自車両の車速が所定値以上の場合に、輪郭残存処理を実行する構成でもよい。ここで、自車両の車速が大きいほど、運転手は、自車両に対する近接移動体の距離感を的確に認識する必要性が高いということが言える。これを踏まえ、この構成によれば、所定の対象物との距離感を運転手に認識させる必要性がより高い場合にのみ、車体の輪郭の画像が合成画像に記録された状態とすることができ、境界を明示する画像が不必要に表示されることをより効果的に抑制することができる。

また、本変形例では、画像処理部１１は、右サイドカメラ撮影画像およびリアカメラ撮影画像の双方を分析し、合成画像の全域を対象として合成画像が示す風景に近接移動体（所定の対象物）が含まれるか否かを判定していた。この点に関し、画像処理部１１が、右サイドカメラ撮影画像を分析し、右サイドカメラ４Ｒの撮影範囲に対応する所定の領域を対象として合成画像が示す風景に近接移動体（所定の対象物）が含まれるか否かを判定する構成でもよい。また、画像処理部１１が、リアカメラ撮影画像を分析し、リアカメラ３の撮影範囲に対応する所定の領域を対象として合成画像が示す風景に近距離導体（所定の対象物）が含まれるか否かを判定する構成でもよい。

以上、本発明の一実施形態を変形例と共に説明したが、上記実施形態は、本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、または、その主要な特徴から逸脱することなく、様々な形で実施することができる。

例えば、上記各実施形態では、リアカメラ３が魚眼カメラにより構成され、サイドカメラ４Ｒ，４Ｌが標準カメラにより構成されていたが、リアカメラ３やサイドカメラ４Ｒ，４Ｌのどのようなカメラにより構成するかは、上記実施形態の例に限定されない。

また、上記各実施形態では、合成画像を表示する表示装置は、右モニター２Ｒおよび左モニター２Ｌであった。しかしながら、合成画像を表示する表示装置は、右モニター２Ｒおよび左モニター２Ｌに限らず、自車両のダッシュボードの中央やセンターコンソール等に設けられた表示パネルや、右サイドミラーＭＲおよび左サイドミラーＭＬに設けられた表示パネル、バックミラーに設けられた表示パネル等であってもよい。自車両のダッシュボードの中央やセンターコンソール等に設けられた表示パネルへの表示に際しては、ユーザーの指示に応じて、右側合成画像と左側合成画像との何れか一方を表示する構成でもよく、表示領域を分割し各画像を同時に表示する構成でもよい。表示装置は、携帯端末であってもよい。

また、サイドカメラ４Ｒ，４Ｌの自車両における設置位置は、上記各実施形態で例示した位置に限られない。例えば、サイドカメラ４Ｒ，４Ｌは、車両の側面であって、車両の前端に近い位置に設けられてもよい。

１ 画像処理装置
２Ｒ 右モニター
２Ｌ 左モニター
３ リアカメラ（第２カメラ）
４Ｒ 右サイドカメラ（第１カメラ）
４Ｌ 左サイドカメラ（第１カメラ）
１０ 撮影画像取得部
１１ 画像処理部
１２ 表示制御部

Claims (9)

1. 車両に搭載され、撮影範囲に前記車両の車体の一部が含まれた状態で撮影を行う第１カメラの第１撮影画像と、前記第１カメラの撮影範囲のうち前記車体により死角となる死角範囲を少なくとも撮影可能な第２カメラの第２撮影画像とを取得する撮影画像取得部と、
   前記第１カメラの死角が前記第２カメラの撮影結果に基づいて補われるように、前記撮影画像取得部により取得された前記第１撮影画像に基づく画像と、前記第２撮影画像に基づく画像とを合成して合成画像を生成する画像処理部と、
   前記画像処理部により生成された前記合成画像を表示装置に表示する表示制御部とを備え、
   前記画像処理部は、
   前記合成画像の生成に際し、前記合成画像における前記第１撮影画像に基づく画像と前記第２撮影画像に基づく画像との境界に沿って、前記第１撮影画像に基づく前記車体の輪郭の画像が残るようにすることができ、
   前記第１撮影画像および前記第２撮影画像の少なくとも一方の撮影画像を分析し、前記合成画像の所定の領域を対象として前記合成画像が示す風景に所定の対象物が含まれるか否かを判定し、含まれる場合には、前記合成画像における前記第１撮影画像に基づく画像と前記第２撮影画像に基づく画像との境界に沿って、前記第１撮影画像に基づく前記車体の輪郭の画像が残るようにし、それ以外の場合には、前記第１撮影画像に基づく前記車体の輪郭の画像が残らないようにする
   ことを特徴とする画像処理装置。
2. 前記画像処理部は、
   前記第１撮影画像および前記第２撮影画像の双方を分析し、前記合成画像の全域を対象として前記合成画像が示す風景に所定の対象物が含まれるか否かを判定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理部は、
   前記合成画像が示す風景に移動体が含まれる場合に、前記境界に沿って前記第１撮影画像に基づく前記車体の輪郭の画像が残るようにする
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像処理装置は、
   前記合成画像が示す風景に、前記車両との離間距離が所定値以下の移動体が含まれる場合に、前記境界に沿って前記第１撮影画像に基づく前記車体の輪郭の画像が残るようにする
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記画像処理装置は、
   前記合成画像が示す風景に前記車両に後続する後続車両が含まれる場合に、前記境界に沿って前記第１撮影画像に基づく前記車体の輪郭の画像が残るようにする
   ことを特徴とする請求項３に記載の画像処理装置。
6. 前記画像処理装置は、
   前記合成画像が示す風景に所定の対象物が含まれる場合であって、前記車両の車速が所定値以上の場合に、前記境界に沿って前記第１撮影画像に基づく前記車体の輪郭の画像が残るようにする
   ことを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
7. 前記画像処理部は、
   前記境界に沿って前記第１撮影画像に基づく前記車体の輪郭の画像が残るようにする場合、前記第１撮影画像に基づく前記車体の輪郭の画像に、前記車両の後輪の画像が含まれるようにする
   ことを特徴とする請求項１から６の何れか１項に記載の画像処理装置。
8. 前記第１カメラは、前記車両の側面部から前記車両の後方に向かう成分を含む方向を撮影するサイドカメラであり、
   前記第２カメラは、前記車両の後部から前記車両の後方を撮影するリアカメラである
   ことを特徴とする請求項１から７に記載の画像処理装置。
9. 画像処理装置の撮影画像取得部が、車両に搭載され、撮影範囲に前記車両の車体の一部が含まれた状態で撮影を行う第１カメラの第１撮影画像と、前記第１カメラの撮影範囲のうち前記車体により死角となる死角範囲を少なくとも撮影可能な第２カメラの第２撮影画像とを取得する第１ステップと、
   前記画像処理装置の画像処理部が、前記第１カメラの死角が前記第２カメラの撮影結果に基づいて補われるように、前記撮影画像取得部により取得された前記第１撮影画像に基づく画像と、前記第２撮影画像に基づく画像とを合成して合成画像を生成する第２ステップと、
   前記画像処理装置の表示制御部が、前記画像処理部により生成された前記合成画像を表示装置に表示する第３ステップとを含み、
   前記第２ステップにおいて、前記画像処理部は、
   前記合成画像における前記第１撮影画像に基づく画像と前記第２撮影画像に基づく画像との境界に沿って、前記第１撮影画像に基づく前記車体の輪郭の画像が残るようにすることができ、
   前記第１撮影画像および前記第２撮影画像の少なくとも一方の撮影画像を分析し、前記合成画像の所定の領域を対象として前記合成画像が示す風景に所定の対象物が含まれるか否かを判定し、含まれる場合には、前記合成画像における前記第１撮影画像に基づく画像と前記第２撮影画像に基づく画像との境界に沿って、前記第１撮影画像に基づく前記車体の輪郭の画像が残るようにし、それ以外の場合には、前記第１撮影画像に基づく前記車体の輪郭の画像が残らないようにする
   ことを特徴とする画像処理方法。
   

Images