JP7263731B2 - 画像処理装置 - Google Patents

Description

本開示は、車両の周辺を撮像した撮像画像を車載ディスプレイに表示させる画像処理装置に関する。

従来、車載カメラを用いて車両の周辺を撮像した周辺画像を車載ディスプレイに表示画像として表示させるシステムが知られている。また、特許文献１に記載されているように、車両に搭載された車載ディスプレイに鳥瞰画像を表示画像として表示し、ドライバに提示することにより、安全な運転を支援するシステムが知られている。当該鳥瞰画像は、複数の車載カメラを用いて車両の周辺を表した画像を、車両の周囲を車両の上方の仮想カメラから映し出したように変換することにより作成される。

特開２００３－１８９２９３号公報

しかしながら、車両の周辺を撮像するために用いられる魚眼カメラや画角がほぼ１８０度となる広角カメラにより撮像された周辺画像においては、画像が歪むため、立体物との距離感が掴みづらい。

また、特許文献１に開示されるように、撮像画像から鳥瞰画像への変換である鳥瞰変換は、撮像画像中のすべての点を路面上に存在する点であるとして撮像画像中において路面であると推定される面に投影する座標変換する。このため、鳥瞰変換では立体物の高さが高くなるほど遠くに存在するように、車載カメラの位置を中心として伸長した形状に変換され、立体物の立体感が損なわれる。

以上示したように、車載ディスプレイに表示された表示画像である周辺画像又は鳥瞰画像を見てドライバが立体物を認識することが困難となる。そして、ドライバは、表示画像において表示された範囲が、自車が走行できる範囲であるか、立体物などが存在し自車が走行できない範囲であるか否かの判断が困難である。

本開示の１つの局面は、表示画像において、車両が走行できる路面を表した走行可能領域と、立体物が存在するなどにより車両が走行できる路面以外を表した走行不可領域との境界の視認性を向上させる技術を提供することにある。

本開示の一態様は、画像処理装置（３０）であって、車両に搭載される。画像処理装置（３０）は、画像取得部（Ｓ１１０）と、領域判定部（Ｓ１３０）と、境界抽出部（Ｓ１４０）と、画像表示部（Ｓ２２０，Ｓ２５０，Ｓ２６０）と、を備える。画像取得部は、当該車両の周辺の範囲を撮像する撮像装置により撮像された画像である撮像画像を取得するように構成される。領域判定部は、撮像画像において車両が走行可能な領域を走行可能領域とし、走行可能領域以外の領域を走行不可領域として、判定するように構成される。境界抽出部は、領域判定部により判定された走行可能領域と走行不可領域との境界である領域境界（Ｌｅ）を抽出するように構成される。画像表示部は、境界抽出部によって抽出された領域境界を境に、走行可能領域と走行不可領域とを区別して表示するように構成さ
れる。

このような構成によれば、車両が走行できる路面を表した走行可能領域と立体物が存在するなどにより車両が走行できる路面以外を表した走行不可領域とが区別して表示される。
これにより、表示画像において、走行可能領域と、走行不可領域との境界の視認性を向上させることができる。

画像処理システムの構成を示すブロック図である。 自車において各撮像装置が搭載される位置の例を表した図である。 表示処理のフローチャートである。 撮像画像における領域境界の抽出を表した図である。 鳥瞰変換のイメージを表した図である。 鳥瞰画像のイメージを表した図である。 鳥瞰画像において領域境界を表示した図である。 鳥瞰画像において走行可能領域を表示した図である。 鳥瞰画像において走行不可領域を表示した図である。 近距離範囲Ｄｎ及び中距離範囲Ｄｍの範囲を表した図である。 前後方向の近接境界点の位置と特定表示画像の対応関係を表した図である。 左右方向の近接境界点の位置と特定表示画像の対応関係を表した図である。 画像選択処理のフローチャートである。 複数の撮像範囲が重複する範囲に近接境界点が存在する場合に表示する特定表示画像を表した図である。 複数の撮像範囲が重複する範囲に近接境界点が存在する場合を表した図である。

以下、図面を参照しながら、本開示の実施形態を説明する。
［１．構成］
画像表示システム１は車両に搭載され、図１に示すように、フロントカメラ１０ａ、リアカメラ１０ｂ、左方カメラ１０ｃ、右方カメラ１０ｄ、表示装置２０及びＥＣＵ３０を備える。なお、以下では、画像表示システム１を備える車両を自車という。

フロントカメラ１０ａ、リアカメラ１０ｂ、左方カメラ１０ｃ及び右方カメラ１０ｄはそれぞれあらかじめ決められた範囲である撮像範囲を撮像するカメラであり、それぞれ基本的な構成は同様である。また、フロントカメラ１０ａ、リアカメラ１０ｂ、左方カメラ１０ｃ及び右方カメラ１０ｄは、それぞれ魚眼カメラ又は広角カメラであり、略１８０度の画角を有する。

また、フロントカメラ１０ａ、リアカメラ１０ｂ、左方カメラ１０ｃ及び右方カメラ１０ｄにより撮像された撮像画像のそれぞれを以下では、前方撮像画像、後方撮像画像、左方撮像画像、右方撮像画像ともいう。

以下では、フロントカメラ１０ａ、リアカメラ１０ｂ、左方カメラ１０ｃ及び右方カメラ１０ｄをそれぞれ区別しないときは、撮像装置１０ともいう。
図２に示すように、フロントカメラ１０ａ及びリアカメラ１０ｂは、自車の前方部分及び自車の後方部分にそれぞれ搭載される。ここで、自車の前方部分とは、例えば、車両のフロントバンパー、自車のルームミラー付近及び自車のインストルメンタルパネル付近などをいう。また、自車の後方部分とは、例えば自車のリアバンパー及びハッチバックのバ
ックドア付近などをいう。左方カメラ１０ｃ及び右方カメラ１０ｄは、自車の側方部分に配置され、例えば、サイドミラーからレンズ部分が露出した状態で内包される。なお、左方カメラ１０ｃ及び右方カメラ１０ｄが配置される位置は、サイドミラーに内包されるものに限定されるものではなく自車の車体の前後方向の中央付近にそれぞれ搭載されてもよい。

フロントカメラ１０ａ、リアカメラ１０ｂ、左方カメラ１０ｃ及び右方カメラ１０ｄは、光軸方向がそれぞれ、自車の前進方向、自車の後進方向、自車の前進方向に対して左側９０°の方向及び自車の前進方向に対して右側９０°の方向を向くように搭載される。

また、フロントカメラ１０ａ及びリアカメラ１０ｂはそれぞれ、例えば自車の前方及び後方の視野角１８０°程度の角度範囲を撮像する。左方カメラ１０ｃ及び右方カメラ１０ｄはそれぞれ、例えば自車の左側方及び右側方の視野角１８０°程度の範囲を撮像する。

フロントカメラ１０ａ及び左方カメラ１０ｃ、左方カメラ１０ｃ及びリアカメラ１０ｂ、リアカメラ１０ｂ及び右方カメラ１０ｄ、右方カメラ１０ｄ及びフロントカメラ１０ａの位置関係を以下では、隣り合う位置関係という。隣り合う位置関係にある撮像装置１０は、互いにその撮像範囲同士が一部重なり合う位置及び方向に設置される。

表示装置２０は、表示画面２１及びタッチパネル２２を備える。
表示画面２１は、画像を表示する。
タッチパネル２２は、自車のドライバが触れることにより行う操作であるタッチ操作が行えるように表示画面２１に重畳して配置される。

表示画面２１により表示可能な画像には、タッチ操作により後述する表示処理を開始するためのボタンを表した表示が含まれる。
表示装置２０は、表示画面２１が自車の運転席からドライバが表示を視認できる位置かつタッチパネル２２をドライバが触れることにより行う操作であるタッチ操作が可能な位置に搭載される。

表示装置２０は、自車に搭載されたカーナビゲーションシステムなどのディスプレイと共用してもよいし、別途自車に搭載されてもよい。
ＥＣＵ３０は、ＣＰＵ３１と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ３２）と、を有する周知のマイクロコンピュータを中心に構成される。ＥＣＵ３０の各種機能は、ＣＰＵ３１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ３２がプログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、ＥＣＵ３０を構成するマイクロコンピュータの数は１つでも複数でもよい。

ＥＣＵ３０は、ＣＰＵ３１がプログラムを実行することで実現されるが、この手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。

［２．処理］
＜表示処理＞
次に、ＣＰＵ３１が実行する表示処理について、図３のフローチャートを用いて説明する。表示処理は、表示装置２０の表示画面２１に表示されたスイッチを操作するタッチ操
作がタッチパネル２２により検出されると実行される。

Ｓ１１０で、ＣＰＵ３１は、各撮像装置１０、すなわち、フロントカメラ１０ａ、リアカメラ１０ｂ、左方カメラ１０ｃ及び右方カメラ１０ｄにより撮像された各撮像画像を取得する。

Ｓ１１０で取得される撮像画像の例を図４に示す。ここで、撮像画像の例としてフロントカメラ１０ａにより撮像された撮像画像である前方撮像画像の例を挙げる。他の各撮像画像である後方撮像画像、左方撮像画像、右方撮像画像についても同様に取得され、以下の処理が行われる。なお、各撮像画像は、図４に示すような広角画像に限られず、通常の目視した場合と同様の画像である通常画像であってもよい。

図４に示すように、撮像画像には以下の領域が含まれる。撮像画像には、例えば、自車の車体を表した領域Ａａ、広角画像を通常画像に合わせた際にデータが存在しない領域Ａｂ、自車が走行可能なフリースペースを表した領域Ａｆ、領域Ａａ、領域Ａｂのいずれにも該当しない領域Ａｏが含まれる。

Ｓ１２０で、ＣＰＵ３１は、Ｓ１１０で取得した各撮像画像それぞれに対して、セマンティックセグメンテーションにより領域の分割を行う。領域の分割を行った画像を以下では分割画像という。また、分割された領域を分割領域という。また、領域の分割は、撮像画像中の各画素の輝度及び色度に基づいて、各画素がアノテーション定義のいずれに属するかを判定することにより行われる。

具体的には、アノテーション定義には、フリースペース領域Ｂｆ、自車領域Ｂａ、無効領域Ｂｂ及び他領域Ｂｏという分類が含まれる。
ここで、フリースペース領域Ｂｆとは、撮像画像中の走行可能な範囲に相当する路面部分を表した領域をいう。自車領域Ｂａとは、撮像画像中に自車の車体の一部が映り込んでいる領域をいう。無効領域Ｂｂとは、撮像画像を長方形の枠に当てはめた際にデータが存在しない領域をいう。他領域Ｂｏとは、フリースペース領域Ｂｆ、自車領域Ｂａ及び無効領域Ｂｂのいずれにも属さない領域をいう。分割領域がいずれのアノテーション定義に属するかは、機械学習により生成された学習データを元に分類される。

例えば、撮像画像は、Ｓ１２０で領域が分割され、分割画像となる。分割画像では、撮像画像がフリースペース領域Ｂｆ、自車領域Ｂａ、無効領域Ｂｂ及び他領域Ｂｏに分割される。

Ｓ１３０で、ＣＰＵ３１は、分割画像において、境界点Ｐｅの抽出を行う。具体的には、下端から上端に向かって上下方向に沿って画素ごとに走査する。ここで、フリースペース領域Ｂｆを走行可能領域とし、それ以外の領域を走行不可領域とし、走行可能領域を表した画素と走行不可領域を表した画素との境界を表した点を境界点Ｐｅとして抽出する。境界点Ｐｅが抽出された分割画像を、以下では走査画像という。

Ｓ１４０で、ＣＰＵ３１は、走査画像に対して、領域境界Ｌｅの抽出を行う処理である領域境界抽出処理を行う。領域境界Ｌｅは、走行可能領域と走行不可領域との境界をいう。具体的には、境界点Ｐｅ同士を結んだ線を領域境界Ｌｅとして抽出する。

Ｓ１５０で、ＣＰＵ３１は、境界点Ｐｅと領域境界Ｌｅとの位置を表した強調表示を撮像画像に重畳することにより、抽出画像を作成する。ここでは、境界点Ｐｅと領域境界Ｌｅとの位置を表した強調表示とは、境界点Ｐｅと領域境界Ｌｅとの位置を目立つように線で示した表示をいう。

なお、強調表示は、境界点Ｐｅと領域境界Ｌｅとの位置を目立つように線で示した表示に限定されるものではなく、可能強調表示を重畳することにより実現されてもよい。ここで、可能強調表示とは、走行可能領域をあらかじめ決められた色で塗りつぶした表示である。一方、柱状障害物２０１～２０５及び壁状障害物２０６，２０７が存在し、走行不可領域であると判定された部分は、塗りつぶされない。

また、走行不可領域を塗りつぶした表示である不可強調表示を重畳してもよい。また、可能強調表示、不可強調表示及び境界強調表示のうちいずれか２つ以上を組み合わせて重畳してもよい。なお、可能強調表示及び不可強調表示を組み合わせて合成する場合、可能強調表示及び不可強調表示をそれぞれ異なる色で表示するなど区別できるような表示態様で重畳してもよい。

ここで、前方撮像画像、後方撮像画像、左方撮像画像及び右方撮像画像のそれぞれに対応する抽出画像をそれぞれ、前方抽出画像、後方抽出画像、左方抽出画像、右方抽出画像ともいう。

Ｓ１６０で、ＣＰＵ３１は、Ｓ１５０で作成された各抽出画像を鳥瞰変換し合成することにより全体鳥瞰画像３００を作成する処理をいう。ここでいう、全体鳥瞰画像３００は、自車の上方から自車の存在する路面を見下ろしたように変換された画像である。

鳥瞰変換は、具体的には、ＣＰＵ３１は図５に示すように自車の存在する平面に対応した面である路面投影面Ｓｒに仮想カメラＰｉから見たように変換することをいう。なお、仮想カメラＰｉは車両の上方に仮想的に設定されるカメラである。また、図５では、フロントカメラ１０ａについて図示しているが、他の撮像装置１０についても同様に仮想カメラＰｉから見たように変換する鳥瞰変換がなされる。

前方抽出画像、後方抽出画像、左方抽出画像及び右方抽出画像それぞれを鳥瞰変換した画像を前方鳥瞰画像３００ａ、後方鳥瞰画像３００ｂ、左方鳥瞰画像３００ｃ及び右方鳥瞰画像３００ｄという。なお、前方鳥瞰画像３００ａ、後方鳥瞰画像３００ｂ、左方鳥瞰画像３００ｃ及び右方鳥瞰画像３００ｄをそれぞれ個別鳥瞰画像ともいう。

そして、ＣＰＵ３１は、図６に示すように各抽出画像を鳥瞰変換した画像である前方鳥瞰画像３００ａ、後方鳥瞰画像３００ｂ、左方鳥瞰画像３００ｃ及び右方鳥瞰画像３００ｄを自車の位置に対して対応する位置に合成する。

ここで、各抽出画像を元に鳥瞰画像が作成されることにより、図７に示すように鳥瞰画像の一部に強調表示が含まれる。すなわち、強調表示が境界点Ｐｅと領域境界Ｌｅとの位置を目立つように線で示した表示である場合には、鳥瞰画像において、柱状障害物２０１～２０５及び壁状障害物２０６，２０７が存在する部分と路面を表した部分との境界である領域境界Ｌｅに線が引かれた表示となる。

なお、強調表示が可能強調表示を重畳する表示である場合には、図８に示すような鳥瞰画像が作成される。すなわち、鳥瞰画像においても、可能強調表示は、走行可能領域をあらかじめ決められた色で塗りつぶした表示である。可能強調表示において、柱状障害物２０１～２０５及び壁状障害物２０６，２０７が存在し、走行不可領域であると判定された部分は、塗りつぶされない。

また、強調表示が不可強調表示を重畳する表示である場合には、図９に示すような鳥瞰画像が作成される。すなわち、鳥瞰画像においても、不可強調表示は、走行不可領域をあ
らかじめ決められた色で塗りつぶされた表示である。不可強調表示において、柱状障害物２０１～２０５及び壁状障害物２０６，２０７が存在し、走行不可領域であると判定された部分が、塗りつぶされる。

重畳画像においても、抽出画像と同様に、可能強調表示、不可強調表示及び境界強調表示のうちいずれか２つ以上を組み合わせて重畳してもよい。なお、可能強調表示及び不可強調表示を組み合わせて合成する場合、可能強調表示及び不可強調表示をそれぞれ異なる色で表示するなど区別できるような表示態様で重畳してもよい。

Ｓ１７０で、ＣＰＵ３１は、Ｓ１４０で抽出された領域境界Ｌｅを構成する各境界点Ｐｅの境界距離の算出を行う。ここでいう境界距離とは、各撮像画像の下端であって各撮像画像の横方向の中心位置を原点として、当該原点と各境界点Ｐｅとの距離をいう。

Ｓ１８０で、ＣＰＵ３１は、複数の撮像装置１０により撮像されたすべての撮像画像において抽出された境界点のうち、算出された境界距離が最も短い境界点を近接境界点Ｎｐとして選択する。なお、近接境界点Ｎｐが複数存在する場合には複数の近接境界点Ｎｐを選択する。

なお、選択する近接境界点Ｎｐが検出されなかった場合、未選択状態としてＳ１９０に処理を移行する。
続いてＣＰＵ３１は、Ｓ１９０からＳ２６０までの処理により、特定表示画像を作成し、表示する。ここでいう特定表示画像とは、鳥瞰画像と併せて表示装置２０に表示される画像であり、近接境界点Ｎｐと自車との相対位置をドライバが認識できるように作成される画像である。

まず、Ｓ１９０で、ＰＵ３１は、近接画像の選択を行う。近接画像とは、Ｓ１８０で選択された近接境界点Ｎｐが含まれる自車の進行方向、自車の左方向又は自車の右方向を表した抽出画像をいう。近接画像の選択を行う処理である画像選択処理の詳細については後述する。

Ｓ２００で、ＣＰＵ３１は、Ｓ１９０で選択された近接画像において近接境界点Ｎｐが近距離範囲Ｄｎに存在するか否かを判定する。ここでいう近距離範囲Ｄｎとは、図１０に示すように車両の周囲に存在する障害物を検出するための範囲であって、例えば、車両から見て車両の前後の車両端から２メートル以内車両の左右の端部から１メートル以内の範囲をいう。なお、近距離範囲Ｄｎの範囲はこのような範囲に限定されるものではなく、車両の周囲に存在する障害物を検出できる範囲であればよい。

ＣＰＵ３１は、Ｓ２００で近接境界点Ｎｐが近距離範囲Ｄｎに存在すると判定した場合には、Ｓ２１０に処理を移行する。
Ｓ２１０で、ＣＰＵ３１は、Ｓ１９０で選択された近接画像を近距離変換する。ここで、近距離変換とは、自車の上方向から鉛直真下方向に向かう方向に仮想カメラＰｉの光軸方向が向き、自車の端部から近距離範囲Ｄｎを含むように拡大して表示する鳥瞰変換である。

Ｓ２２０で、ＣＰＵ３１は、Ｓ２１０で近距離変換された近接画像を近距離画像として、近距離画像をＳ１６０で鳥瞰変換された画像と併せて表示装置２０に表示させ、表示処理を終了する。

一方、Ｓ２００で、近接境界点Ｎｐが近距離範囲Ｄｎに存在しないと判定された場合には、Ｓ２３０に処理を移行する。
Ｓ２３０で、ＣＰＵ３１は、近接境界点Ｎｐが中距離範囲Ｄｍに存在するか否かを判定する。ここでいう中距離範囲Ｄｍとは、図１０に示すように、車両の周囲を歩行する歩行者を検出するために設定される範囲をいう。中距離範囲Ｄｍは、例えば、車両から見て車両の前後の車両端から２メートル以上１０メートル以内かつ車両の左右の端部から１メートル以上５メートル以内の範囲をいう。なお、中距離範囲Ｄｍの範囲はこのような範囲に限定されるものではなく、車両の周囲を歩行する歩行者が検出できる範囲であればよい。

ＣＰＵ３１は、Ｓ２３０で近接境界点Ｎｐが中距離範囲Ｄｍに存在すると判定した場合には、Ｓ２４０に処理を移行する。
Ｓ２４０で、ＣＰＵ３１は、Ｓ１９０で選択された近接画像を中距離変換する。ここで、中距離変換とは、自車の上方向から鉛直下方向に対して斜め４５度だけ傾いた方向に仮想カメラＰｉの光軸方向が向き、中距離範囲Ｄｍの範囲を含むように表示する鳥瞰変換である。

Ｓ２５０で、ＣＰＵ３１は、Ｓ２１０で中距離変換された近接画像を中距離画像として、中距離画像をＳ１６０で鳥瞰変換された画像と併せて表示装置２０に表示させ、表示処理を終了する。

一方、Ｓ２３０で、近接境界点Ｎｐが中距離範囲Ｄｍに存在すると判定された場合、すなわち、近接境界点Ｎｐが近距離範囲Ｄｎにも中距離範囲Ｄｍにも存在しないと判定された場合、Ｓ２６０に処理を移行する。

Ｓ２６０で、ＣＰＵ３１は、Ｓ１５０で領域境界Ｌｅが強調表示された抽出画像をＳ１６０で鳥瞰変換された画像と併せて表示装置２０に表示させ、表示処理を終了する。
Ｓ１９０で、フロントカメラ１０ａにより撮像された撮像画像である前方撮像画像が近接画像として選択された場合に表示装置２０に表示される表示画像の例について図１１を用いて説明する。

図１１に示すように近接境界点Ｎｐが各段の左欄に示すような位置関係に存在する場合に、仮想カメラＰｉの視点が中欄に示すような位置及び向きとなるように、前方撮像画像の座標変換又は抽出画像の取得がなされる。そして、右欄に示すような表示画像が表示装置２０に表示される。表示画像の左側部分には、Ｓ１６０の鳥瞰変換により作成された鳥瞰画像が表示され、表示画像の右側部分には、特定表示画像が表示される。

具体的には、図１１下段左欄に示すように、近接境界点Ｎｐが近距離範囲Ｄｎの範囲内に存在する場合には、下段中欄に示すように、仮想カメラＰｉの位置及び向きは、自車の前方１メートル程度の位置に、鉛直下向きを向くように設定される。そして、前方撮像画像を当該仮想カメラＰｉの向きの画像となるように座標変換することにより自車の端部から前方２メートル以内の範囲が映り込んだ画像である特定表示画像が形成される。なお、特定表示画像において、走行可能領域と走行不可領域との境界部分を表した境界強調表示に相当する表示が重畳表示される。その結果、下段右側に示すような表示画像が表示装置２０に表示される。ここで、表示画像の左側部分には鳥瞰画像が表示され、表示画像の右側部分には、Ｓ２１０で作成された近距離画像が特定表示画像として表示される。

近接境界点Ｎｐが図１１中段左欄に示すように、近接境界点Ｎｐが中距離範囲Ｄｍに存在する場合、中段中欄に示すように、仮想カメラＰｉの位置及び向きが設定される。具体的には仮想カメラＰｉの位置及び向きは、自車においてフロントカメラ１０ａが設置されている位置に、鉛直下方向から自車の前方に向かって斜め４５度だけ傾いた方向に仮想的な光軸が向くように設定される。そして、前方撮像画像を当該仮想カメラＰｉの向きの画像となるように座標変換することにより、自車の端部から前方２メートル以上１０メート
ル以内の範囲が映り込んだ画像である特定表示画像が形成される。その結果、中断右側に示すような表示画像が表示装置２０に表示される。ここで、表示画像の左側部分には鳥瞰画像が表示され、表示画像の右側部分には、Ｓ２１０で作成された中距離画像が特定表示画像として表示される。

近接境界点Ｎｐが図１１上段左欄に示すように、近接境界点Ｎｐが近距離範囲Ｄｎにも中距離範囲Ｄｍにも存在しない場合、上段中欄に示すように、抽出画像が特定画像として設定される。具体的には、Ｓ１４０で領域境界Ｌｅが抽出され、撮像画像に領域境界Ｌｅの位置が重畳表示された画像である抽出画像が特定表示画像として設定される。表示画像の左側部分には鳥瞰画像が表示され、表示画像の右側部分には抽出画像が特定表示画像として表示される。

なお、前方撮像画像に近接境界点Ｎｐが存在する場合について図１１を用いて説明した。リアカメラ１０ｂにより撮像された撮像画像である後方撮像画像に近接境界点Ｎｐが存在する場合は、自車の前方と後方とが反対になるが、それ以外の点について同様である。

一方、Ｓ１９０で、左方カメラ１０ｃにより撮像された撮像画像である左方撮像画像が近接画像として選択された場合に表示装置２０に表示される表示画像の例について図１２を用いて説明する。

Ｓ１９０で、左方カメラ１０ｃにより撮像された撮像画像である左方撮像画像に近接境界点Ｎｐが存在する場合に表示装置２０に表示される表示画像の例について図１２を用いて説明する。

図１１と同様、近接境界点Ｎｐが各段の左欄に示すような位置関係に存在する場合に、仮想カメラＰｉの視点が中欄に示すような位置及び向きとなるように、左方撮像画像の座標変換、又は抽出画像の取得がなされる。そして、右欄に示すような表示画像が表示装置２０に表示される。なお、表示画像の左側部分には、Ｓ１６０の鳥瞰変換により作成された鳥瞰画像が表示され、表示画像の右側部分には、特定表示画像が表示される。

具体的には、図１２下段左欄に示すように、近接境界点Ｎｐが近距離範囲Ｄｎの範囲内に存在する場合には、下段中欄に示すように、仮想カメラＰｉの位置及び向きは、自車の左側前端部の位置に、自車の左後方を向くように設定される。そして、左方撮像画像を座標変換することにより自車の左方の自車の端部から１メートル以内の範囲が映り込んだ特定表示画像が形成される。その結果、下段右側に示すような表示画像が表示装置２０に表示される。ここで、表示画像の左側部分には鳥瞰画像が表示され、表示画像の右側部分には、Ｓ２１０で作成された近距離画像が特定表示画像として表示される。

近接境界点Ｎｐが図１２中段左欄に示すように、近接境界点Ｎｐが中距離範囲Ｄｍに存在する場合、中段中欄に示すように、鉛直下方向から自車の左方に向かって斜め４５度だけ傾いた方向に仮想的な光軸が向くように仮想カメラＰｉの位置が設定される。そして、自車の左方から２～１０ｍの範囲が映り込んだ画像に変換された特定表示画像が形成される。ここで、表示画像の左側部分には鳥瞰画像が表示され、表示画像の右側部分には中距離画像が特定表示画像として表示される。

近接境界点Ｎｐが図１２上段左欄に示すように、近接境界点Ｎｐが近距離範囲Ｄｎ及び中距離範囲Ｄｍに存在しない場合、上段中欄に示すように、抽出画像が特定表示画像として設定される。表示画像の左側部分には鳥瞰画像が表示され、表示画像の右側部分には抽出画像が特定表示画像として表示される。

なお、左方撮像画像に近接境界点Ｎｐが存在する場合について図１２を用いて説明した。右方カメラ１０ｄにより撮像された撮像画像である右方撮像画像に近接境界点Ｎｐが存在する場合は、自車の左方と右方とが反対になるが、それ以外の点について同様である。

可能強調表示、不可強調表示及び境界強調表示が強調範囲画像に相当する。
Ｓ１１０が画像取得部としての処理に相当し、Ｓ１２０が分類部としての処理に相当し、Ｓ１３０が領域判定部としての処理に相当し、Ｓ１４０が境界抽出部としての処理に相当し、Ｓ１５０が境界強調部としての処理に相当する。また、Ｓ１６０が鳥瞰変換部としての処理に相当し、Ｓ１７０が、距離算出部としての処理に相当し、Ｓ１９０～Ｓ２１０及びＳ２３０～Ｓ２４０が特定作成部としての処理に相当する。また、Ｓ２２０，Ｓ２５０及びＳ２６０が画像表示部及び特定表示部としての処理に相当し、Ｓ２１０及びＳ２４０が特定調整部としての処理に相当する。
＜画像選択処理＞
次に、ＣＰＵ３１がＳ１９０で実行する画像選択処理の詳細について図１３を用いて説明する。

Ｓ３１０で、ＣＰＵ３１は、Ｓ１８０での近接境界点Ｎｐの選択において、近接境界点Ｎｐが検出されたか否か判定する。
近接境界点Ｎｐが検出されなかったと判定した場合、Ｓ３２０に処理を移行する。

Ｓ３２０で、ＣＰＵ３１は、進行方向の抽出画像を近接画像として設定し、画像選択処理を終了する。
近接境界点Ｎｐが検出されたと判定した場合、Ｓ３３０に処理を移行する。

Ｓ３３０で、ＣＰＵ３１は、Ｓ１８０で選択された近接境界点Ｎｐが、進行方向を撮像した撮像画像に含まれるか否か判定する。
ここでいう、進行方向を撮像した撮像画像とは、自車が前進する場合には前方撮像画像、自車が後進する場合には、後方撮像画像をいう。自車が前進するか後進するかは、自車のシフトレバーの位置により判定してもよい。例えば、シフトレバーが「Ｄ」の位置にある場合には、自車が前進すると判定してもよい。また、シフトレバーが「Ｒ」の位置にある場合には、自車が後進すると判定してもよい。ここでいう「Ｄ」の位置、「Ｒ」の位置とはそれぞれ、車両を前進させる際にシフトレバーを移動させる位置であるドライブレンジ、車両を後進させる際にシフトレバーを移動させる位置であるリバースレンジをいう。

ＣＰＵ３１は、Ｓ３３０で進行方向を撮像した撮像画像に近接境界点Ｎｐが存在すると判定した場合、Ｓ３２０に処理を移行する。
一方、ＣＰＵ３１は、Ｓ３３０で進行方向を撮像した撮像画像に近接境界点Ｎｐが存在しないと判定した場合、Ｓ３４０に処理を移行する。

Ｓ３４０で、ＣＰＵ３１は、近接境界点Ｎｐが左方撮像画像と右方撮像画像との両方に存在するか否か判定する。すなわち、自車の左側及び右側の両側に自車との距離が同一である近接境界点Ｎｐが存在するか否かを判定する。

ＣＰＵ３１は、Ｓ３４０で、近接境界点Ｎｐが、左方撮像画像と右方撮像画像との両方に存在すると判定した場合、Ｓ３５０に処理を移行する。
Ｓ３５０で、ＣＰＵ３１は、助手席側の撮像装置１０により撮像された抽出画像を近接画像として設定し、画像選択処理を終了する。すなわち、自車が右ハンドルの車両である場合には、左方カメラ１０ｃにより撮像された撮像画像を元に作成された抽出画像が近接画像として設定される。一方、自車が左ハンドルの車両である場合には、右方カメラ１０
ｄにより撮像された撮像画像を元に作成された抽出画像が近接画像として設定される。ＥＣＵ３０の搭載された自車が右ハンドルであるか、左ハンドルであるかは、例えば製造時点に設定されてもよい。

一方、ＣＰＵ３１は、Ｓ３４０で、近接境界点Ｎｐが、左方撮像画像と右方撮像画像との両方に存在しないと判定した場合、左方撮像画像と右方撮像画像のうち、近接境界点Ｎｐを含む抽出画像を近接画像に設定し、画像選択処理を終了する。

検出された近接境界点Ｎｐと近接境界点Ｎｐが含まれる撮像画像との関係を、図１４を用いて説明する。図１４中、○で示した部分が近接境界点Ｎｐが検出された撮像画像を示し、×で示した部分が近接境界点Ｎｐが検出されなかった撮像画像を示す。例えば、一行目の欄は、進行方向に近接境界点Ｎｐが検出され、他の左方撮像画像及び右方撮像画像には近接境界点Ｎｐが検出されなかったことを示している。同様に最下段は、進行方向には近接境界点Ｎｐが検出されず、左方撮像画像と右方撮像画像との両方に近接境界点Ｎｐが検出されたことを示している。すなわち、左右で自車と同じ距離の近接境界点Ｎｐが検出されたことを示している。

進行方向に近接境界点Ｎｐが含まれる場合又は近接境界点Ｎｐが検出されなかった場合については、進行方向を表した抽出画像が近接画像に設定される。
一方、進行方向に近接境界点Ｎｐが検出された場合において、左方撮像画像と右方撮像画像との両方に近接境界点Ｎｐが存在する場合には、運転席とは反対側に配置された助手席側の抽出画像が近接画像に設定される。

左方撮像画像と右方撮像画像との一方に近接境界点Ｎｐが存在する場合には、その近接境界点Ｎｐが存在する一方の抽出画像が近接画像に設定される。
［３．効果］
以上詳述した実施形態によれば、以下の効果を奏する。

（１）上記実施形態によれば、表示装置２０に表示される表示画像である周辺画像及び鳥瞰画像において、車両が走行できる路面を表した走行可能領域と立体物が存在するなどにより車両が走行できる路面以外を表した走行不可領域とが区別して表示される。このため、表示画像において、走行可能領域と、走行不可領域との境界の視認性を向上させることができる。

（２）上記実施形態によれば、鳥瞰画像において、車両が走行できる路面を表した走行可能領域と、立体物が存在するなどにより車両が走行できる路面以外を表した走行不可領域との境界を鳥瞰画像中に強調表示する。このため、鳥瞰画像における走行可能領域と走行不可領域との境界部分の視認性を向上させることができる。ドライバが境界部分を視認しやすくなるため安全性が向上する。

（３）上記実施形態によれば、表示画面２１には、車両の周囲を表した鳥瞰画像に加え、車両の周囲に存在する近接境界点Ｎｐが映り込んだ画像である特定表示画像を表示する。ここで、近接境界点Ｎｐは、例えば車両の周囲において最も近くに存在する立体物の位置を表している。このため、ドライバが注意すべき近接境界点Ｎｐの位置を特定表示画像で確認できるため、安全性を向上させることができる。

（４）上記実施形態によれば画像選択処理により、図１５に示すように撮像装置１０同士の撮像範囲が重複する範囲である重複範囲Ｃｄに近接境界点Ｎｐが存在する場合であっても、画像選択処理により図１４に示すように、近接画像を選択できる。

具体的には、例えば車両が図１５に示すように前進する際に、前方撮像画像と右方撮像画像との重複範囲Ｃｄに近接境界点Ｎｐが存在する場合、画像選択処理により進行方向である前方を撮像した前方撮像画像が優先される。このため、図１４の表の３行目に示すように前方撮像画像を元にした特定表示画像が表示される。進行方向を表した撮像画像を元に作成された特定表示画像を表示することにより、走行不可領域との境界を表す近接境界点Ｎｐに車両が進入することを抑制できる。

さらに、進行方向に近接境界点Ｎｐが存在することなく、左右の両方に近接境界点Ｎｐが存在する場合に助手席側の画像を優先的に表示できる。これにより運転席側から視認することが困難である助手席側を表示により確認できる。

（５）上記実施形態によれば、特定表示画像は、車両の位置と近接境界点Ｎｐの位置との位置関係及び距離に応じて異なる位置及び向きに仮想カメラＰｉの視点が設定される。そして設定された仮想カメラＰｉの位置から見た特定表示画像が表示される。ここで、設定される仮想カメラＰｉの位置及び向きは、近接境界点Ｎｐが特定表示画像中に映り込むように設定されるため、近接境界点Ｎｐをより好適に映し出すことができる。

（６）上記実施形態によれば、セマンティックセグメンテーションにより分類を行い、分類に従って、走行可能領域であるか走行不可領域を判定する。このため、例えば、センサを用いて立体物を検出し、検出した立体物の位置を走行できない領域として画像処理を行うような画像処理装置では、立体物でない部分は、走行できない領域であっても走行不可領域として表示することができない。しかし、本願では、分類にしたがって走行可能であるか否かを判定するため、立体物でなくても走行できない領域を走行不可領域と判定できる。例えば路面の凍結している部分など、立体物でなくても走行しないことが望ましい領域を走行不可領域として設定されるように分類させることで立体物でなくても走行不可領域として認識させることができる。

［４．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施できる。

（１）上記実施形態では、セマンティックセグメンテーションにより、アノテーション定義のいずれに属するかを判定する。ここで、アノテーション定義には、フリースペース領域Ｂｆ、自車領域Ｂａ、無効領域Ｂｂ及び他領域Ｂｏという分類が含まれる。しかし、アノテーション定義に含まれる分類についてはこのような分類に限定されるものではなく、物標及び立体物の種類に対応した分類が設定されてもよい。すなわち、物標及び立体物の種類に対応した分類を設定した後に、それぞれの分類されたものが走行可能領域及び走行不可領域のいずれに該当するかが判定されてもよい。

（２）上記実施形態では、複数の撮像装置１０から撮像画像を取得するが、撮像装置１０の数は複数に限定されるものではなく、一つであってもよい。すなわち、一つの撮像画像に対して上述した鳥瞰変換を行ってもよい。

（３）上記実施形態では表示処理は、表示装置２０の表示画面２１に表示されたスイッチを操作するタッチ操作がタッチパネル２２により検出されると実行される。しかし、表示処理は、タッチパネル２２がタッチ操作を検出下場合に実行されるものに限定されない。例えば、シフトレバーがリバースレンジである「Ｒ」の位置に位置した場合に実行されてもよい。

（４）上記実施形態では、特定表示画像に重畳表示される表示は境界強調表示に相当す
る画像である。しかし、特定表示画像に重畳表示される表示は境界強調表示に相当する画像に限定されるものではなく、可能強調表示及び不可強調表示に相当する画像であってもよく、これらを組み合わせたものであってもよい。

（５）上記実施形態では、近距離変換及び中距離変換は、近接境界点Ｎｐを含む近接画像を元に合成されるが、近距離変換及び中距離変換は近接境界点Ｎｐを含む近接画像以外を元に合成されてもよい。すなわち、各抽出画像を、設定された仮想カメラＰｉの位置からみたように変換し、合成することにより、近接画像を合成してもよい。

（６）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（７）上述したＥＣＵ３０の他、当該ＥＣＵ３０を構成要素とするシステム、当該ＥＣＵ３０としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像作成方法など、種々の形態で本開示を実現することもできる。

１…画像表示システム、１０…撮像装置、１０ａ…フロントカメラ、１０ｂ…リアカメラ、１０ｃ…左方カメラ、１０ｄ…右方カメラ、２０…表示装置、２１…表示画面、２２…タッチパネル、３０…ＥＣＵ、３１…ＣＰＵ、３２…メモリ、３００…全体鳥瞰画像、Ｂａ…自車領域、Ｂｂ…無効領域、Ｃｄ…重複範囲、Ｂｆ…フリースペース領域、Ｄｍ…中距離範囲、Ｄｎ…近距離範囲、Ｂｏ…他領域、Ｌｅ…領域境界、Ｎｐ…近接境界点、Ｐｅ…境界点、Ｐｉ…仮想カメラ、Ｓｒ…路面投影面。

Claims (8)

1. 車両に搭載され、
   当該車両の周辺の範囲を撮像する撮像装置により撮像された画像である撮像画像を取得するように構成された画像取得部（Ｓ１１０）と、
   前記撮像画像において、前記車両が走行可能な領域を走行可能領域とし、前記走行可能領域以外の領域を走行不可領域として判定するように構成された領域判定部（Ｓ１３０）と、
   前記領域判定部により判定された前記走行可能領域と前記走行不可領域との境界である領域境界（Ｌｅ）を抽出するように構成された境界抽出部（Ｓ１４０）と、
   前記境界抽出部によって抽出された前記領域境界を境に、前記走行可能領域と前記走行不可領域とを区別して表示するように構成された画像表示部（Ｓ２２０，Ｓ２５０，Ｓ２６０）と、
   前記境界抽出部により抽出された前記領域境界と、前記車両との距離を算出するように構成された距離算出部（Ｓ１７０）と、
   前記距離算出部により距離が算出された前記領域境界のうち、前記車両との距離が最も近い部分を近接境界点（Ｎｐ）として、前記近接境界点と前記車両との距離に応じて、前記近接境界点が映り込むように前記撮像画像を鳥瞰変換した画像である特定表示画像を作成するように構成された特定作成部（Ｓ１９０～Ｓ２１０，Ｓ２３０～Ｓ２４０）と、
   前記特定作成部により作成された前記特定表示画像を表示するように構成された特定表示部（Ｓ２２０，Ｓ２５０，Ｓ２６０）と、
   前記特定表示画像を映し出す仮想的なカメラを仮想カメラ（Ｐｉ）として、前記近接境界点と前記車両との距離に応じて、前記近接境界点を含むように、当該仮想カメラの仮想的な位置及び光軸方向を調整するように構成された特定調整部（Ｓ２１０，Ｓ２４０）と、
   を備え、
   前記特定調整部は、前記車両の進行方向に前記近接境界点が存在するとき、前記車両と前記近接境界点の距離が近いほど、前記仮想カメラの光軸と路面とが成す角度を直角に近づけるように設定するように構成され、
   前記特定作成部は、前記特定調整部により調整された前記仮想カメラから撮像した画像となるように鳥瞰変換を行うように構成された、
   画像処理装置。
2. 車両に搭載され、
   当該車両の周辺の範囲を撮像する撮像装置により撮像された画像である撮像画像を取得するように構成された画像取得部（Ｓ１１０）と、
   前記撮像画像において、前記車両が走行可能な領域を走行可能領域とし、前記走行可能領域以外の領域を走行不可領域として判定するように構成された領域判定部（Ｓ１３０）と、
   前記領域判定部により判定された前記走行可能領域と前記走行不可領域との境界である領域境界（Ｌｅ）を抽出するように構成された境界抽出部（Ｓ１４０）と、
   前記境界抽出部によって抽出された前記領域境界を境に、前記走行可能領域と前記走行不可領域とを区別して表示するように構成された画像表示部（Ｓ２２０，Ｓ２５０，Ｓ２６０）と、
   前記境界抽出部により抽出された前記領域境界と、前記車両との距離を算出するように構成された距離算出部（Ｓ１７０）と、
   前記距離算出部により距離が算出された前記領域境界のうち、前記車両との距離が最も近い部分を近接境界点（Ｎｐ）として、前記近接境界点と前記車両との距離に応じて、前記近接境界点が映り込むように前記撮像画像を鳥瞰変換した画像である特定表示画像を作成するように構成された特定作成部（Ｓ１９０～Ｓ２１０，Ｓ２３０～Ｓ２４０）と、
   前記特定作成部により作成された前記特定表示画像を表示するように構成された特定表示部（Ｓ２２０，Ｓ２５０，Ｓ２６０）と、
   前記特定表示画像を映し出す仮想的なカメラを仮想カメラ（Ｐｉ）として、前記近接境界点と前記車両との距離に応じて、前記近接境界点を含むように、当該仮想カメラの仮想的な位置及び光軸方向を調整するように構成された特定調整部（Ｓ２１０，Ｓ２４０）と、
   を備え、
   前記特定調整部は、前記車両の側方に前記近接境界点が存在するとき、前記車両と前記近接境界点との距離が所定距離より遠い場合は、前記仮想カメラの位置を前記車両の上方又は前記車両に位置させるとともに、前記所定距離より遠い前記近接境界点の撮像が可能なように前記光軸方向を鉛直下方から前記車両の側方に向かって傾斜させ、一方、前記車両と前記近接境界点との距離が前記所定距離より近い場合は、前記仮想カメラの位置を前記近接境界点が存在する側の前記車両の前端部又は後端部に位置させるとともに、前記光軸方向を前記所定距離より近い前記近接境界点の撮像が可能なように設定するように構成され、
   前記特定作成部は、前記特定調整部により調整された前記仮想カメラから撮像した画像となるように鳥瞰変換を行うように構成された、
   画像処理装置。
3. 請求項１又は請求項２に記載の画像処理装置であって、
   前記近接境界点が前記車両の進行方向と前記車両の側方との両方に存在する場合、前記特定表示部は前記車両の進行方向の前記特定表示画像を優先して表示するように構成された、画像処理装置。
4. 請求項１又は請求項２に記載の画像処理装置であって、
   前記近接境界点が前記車両の進行方向に存在しない、かつ、前記近接境界点が前記車両の左方と右方との両方に存在する場合、前記特定表示部は助手席側の画像を前記特定表示画像として表示するように構成された、
   画像処理装置。
5. 請求項１から請求項４までのいずれか１項に記載の画像処理装置であって、
   前記領域判定部は、前記撮像画像において、セマンティックセグメンテーションを実施し、当該撮像画像を複数の領域に分割し、分割された領域である分割領域のそれぞれに路面かそれ以外かを少なくとも分ける分類を対応付けるように構成された分類部（Ｓ１２０）を備え、
   前記領域判定部は、前記分類部により分類された前記分割領域が前記走行可能領域及び前記走行不可領域のいずれに含まれるかを、当該分割領域に対応付けられた分類により、前記走行可能領域及び前記走行不可領域を判定するように構成された、
   画像処理装置。
6. 請求項１から請求項５までのいずれか１項に記載の画像処理装置であって、
   前記境界抽出部により抽出された前記領域境界の位置が強調される表示である強調表示を前記撮像画像に重畳した画像である抽出画像を作成するように構成された境界強調部（Ｓ１５０）、を更に備える、
   画像処理装置。
7. 請求項６に記載の画像処理装置であって、
   前記境界強調部は、前記走行可能領域及び前記走行不可領域の少なくとも一方と対応した範囲を強調する画像である強調範囲画像を重畳表示するように構成された、
   画像処理装置。
8. 請求項６又は請求項７に記載の画像処理装置であって、
   前記境界強調部により作成された前記抽出画像を前記車両の上方から見た画像である鳥瞰画像に変換する処理である鳥瞰変換を行うように構成された鳥瞰変換部（Ｓ１６０）を更に備え、
   前記画像表示部は、前記鳥瞰変換部により鳥瞰変換された前記鳥瞰画像を表示画像として表示するように構成された、
   画像処理装置。

Images