JPWO2019220557A1 - 車両用画像処理装置および画像処理方法 - Google Patents

Abstract

画像処理装置（１０）において、電子ミラー画像取得部（１１）は、車両の電子ミラー用カメラ（２１）が撮影した電子ミラー画像を取得する。光学ミラー方向取得部（１２）は、車両の光学ミラー（２２）の向きの情報を取得する。光学ミラー視野特定部（１３）は、光学ミラー（２２）の向きに基づいて、電子ミラー画像における、車両の運転者から光学ミラー（２２）を通して見える範囲である光学ミラー（２２）の視野に対応する領域を特定する。合成処理部（１４）は、電子ミラー画像に、光学ミラー（２２）の視野に対応する領域を示す画像である光学ミラー視野画像を合成する。表示処理部（１５）は、光学ミラー視野画像が合成された電子ミラー画像を車両の表示装置（２４）に表示させる。

Description

本発明は、車両の電子ミラーと光学ミラーとの併用システムにおける、光学ミラー用の画像の画像処理に関するものである。

一般的な車両には、例えばサイドミラー（ドアミラーまたはフェンダーミラー）、リアビューミラー（「ルームミラー」とも呼ばれる）など、車両の運転者が後方あるいは側方を視認するための光学ミラーが設けられている。近年、車両の光学ミラーの代替手段として、車両の後方あるいは側方を撮影した画像を車内の表示装置に表示する電子ミラーの開発が進んでいる。電子ミラーは死角の少ない広画角な画像を表示できるという長所があるが、表示された物体の遠近感を把握しにくいという短所もある。そのため、光学ミラーと電子ミラー双方の長所を生かすため、両者を併用したシステムが提案されている（例えば下記の特許文献１）。

特開２００８−０２２１２５号公報

通常、車両の運転者から光学ミラーを通して見える範囲（以下「光学ミラーの視野」という）と、電子ミラー用のカメラが撮影した画像（以下「電子ミラー画像」という）の範囲とは互いに異なる。そのため、光学ミラーと電子ミラーとを併用した場合、光学ミラーに映る鏡像と電子ミラー画像との関係を瞬時に把握するのが難しいことがある。

引用文献１では、この問題を解決するために、電子ミラー画像に映った物体の大きさが、光学ミラーに映った当該物体の大きさと同等になるように、表示装置に電子ミラー画像を拡大して表示する技術が提案されている。しかし、電子ミラー画像を拡大表示すると、表示装置に表示される電子ミラー画像の範囲が狭くなるため、高画角な画像を表示できるという電子ミラーの長所が損なわれる。

本発明は以上のような課題を解決するためになされたものであり、光学ミラーと電子ミラーとを併用した車両用ミラーシステムにおいて、光学ミラーに映る鏡像と画面に表示された電子ミラー画像との関係を運転者が容易に把握できるようにすることを目的とする。

本発明に係る車両用画像処理装置は、車両の電子ミラー用カメラが撮影した電子ミラー画像を取得する電子ミラー画像取得部と、車両の光学ミラーの向きの情報を取得する光学ミラー方向取得部と、光学ミラーの向きに基づいて、電子ミラー画像における、車両の運転者から光学ミラーを通して見える範囲である光学ミラーの視野に対応する領域を特定する光学ミラー視野特定部と、電子ミラー画像に、光学ミラーの視野に対応する領域を示す画像である光学ミラー視野画像を合成する合成処理部と、光学ミラー視野画像が合成された電子ミラー画像を車両の表示装置に表示させる表示処理部と、を備えるものである。

本発明に係る車両用画像処理装置によれば、車両の表示装置に表示される電子ミラー画像に、光学ミラーの視野に対応する領域を示す画像（光学ミラー視野画像）が合成されるため、光学ミラーに映る鏡像と表示装置の画面に表示された電子ミラー画像との関係を運転者に明確に示すことができる。

本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１に係る車両用ミラーシステムの構成を示すブロック図である。 実施の形態１に係る画像処理装置が表示装置に表示させる画面の例を示す図である。 実施の形態１に係る画像処理装置が表示装置に表示させる画面の例を示す図である。 実施の形態１に係る画像処理装置の動作を示すフローチャートである。 実施の形態１に係る画像処理装置が表示装置に表示させる画面の例を示す図である。 実施の形態１に係る画像処理装置が表示装置に表示させる画面の例を示す図である。 実施の形態１に係る画像処理装置が表示装置に表示させる画面の例を示す図である。 実施の形態１に係る画像処理装置が表示装置に表示させる画面の例を示す図である。 実施の形態１に係る画像処理装置が表示装置に表示させる画面の例を示す図である。 実施の形態１に係る画像処理装置が表示装置に表示させる画面の例を示す図である。 実施の形態１の第１の変形例を説明するための図である。 実施の形態１の第２の変形例を説明するための図である。 実施の形態１の第３の変形例を説明するための図である。 実施の形態１の第４の変形例を説明するための図である。 実施の形態１の第４の変形例を説明するための図である。 実施の形態１の第５の変形例を説明するための図である。 実施の形態１の第５の変形例を説明するための図である。 実施の形態１の第６の変形例を説明するための図である。 実施の形態１の第７の変形例を説明するための図である。 画像処理装置のハードウェア構成の例を示す図である。 画像処理装置のハードウェア構成の例を示す図である。 実施の形態２に係る車両用ミラーシステムの構成を示すブロック図である。 電子ミラー画像の撮影範囲と表示領域との関係を示す図である。 電子ミラー画像の撮影範囲と表示領域との関係を示す図である。 実施の形態２に係る画像処理装置の動作を説明するための図である。 実施の形態２に係る画像処理装置の動作を説明するための図である。 実施の形態２に係る画像処理装置の動作を示すフローチャートである。 実施の形態２の第１の変形例を説明するための図である。 実施の形態２の第１の変形例を説明するための図である。 実施の形態２の第２の変形例を説明するための図である。 実施の形態３に係る車両用ミラーシステムの構成を示すブロック図である。 実施の形態３に係る画像処理装置が表示装置に表示させる画面の例を示す図である。 実施の形態３に係る画像処理装置が表示装置に表示させる画面の例を示す図である。 実施の形態３に係る画像処理装置が表示装置に表示させる画面の例を示す図である。 実施の形態３の変形例を説明するための図である。 実施の形態３の変形例を説明するための図である。

＜実施の形態１＞
図１は、実施の形態１に係る車両用ミラーシステムの構成を示すブロック図である。この車両用ミラーシステムは、光学ミラーと電子ミラーとを併用したシステムである。図１のように、当該車両用ミラーシステムは、車両用画像処理装置１０（以下、単に「画像処理装置１０」という）と、それに接続された電子ミラー用カメラ２１、光学ミラー２２、光学ミラー調整装置２３および表示装置２４とを備えている。以下、当該車両用ミラーシステムを搭載した車両を「自車両」といい、自車両以外の車両を「他車両」という。

光学ミラー２２は、例えばサイドミラーやリアビューミラーなど、運転者が自車両の後方あるいは側方を視認するための物理的な鏡である。電子ミラー用カメラ２１は、電子ミラー用の画像（電子ミラー画像）を撮影する撮像装置である。電子ミラー用カメラ２１が撮影する範囲には、運転者から光学ミラー２２を通して見える範囲である光学ミラーの視野が含まれる。すなわち、電子ミラー用カメラ２１は、自車両の後方あるいは側方を、光学ミラーの視野よりも広い画角で撮影する。電子ミラー用カメラ２１が撮影した電子ミラー画像は、画像処理装置１０に入力される。

本実施の形態では、光学ミラー２２は車両の左側のサイドミラーであり、電子ミラー用カメラ２１は車両の左側後方を撮影するものとする。

光学ミラー調整装置２３は、光学ミラー２２の電動駆動装置（例えばリモートコントローラなど）である。運転者は、光学ミラー調整装置２３を操作することで、光学ミラー２２の向きを調整することができる。また、光学ミラー調整装置２３は、光学ミラー２２の現在の向きを記憶しており、画像処理装置１０は光学ミラー２２の向きの情報を光学ミラー調整装置２３から取得することができる。

表示装置２４は、画像処理装置１０が電子ミラー用カメラ２１から取得した電子ミラー画像を表示するためのものであり、例えば液晶表示装置などにより構成される。表示装置２４の設置場所は、運転者から視認しやすい位置が好ましく、例えば自車両のインストルメントパネルやセンターパネルなどが考えられる。

画像処理装置１０は、電子ミラー用カメラ２１から取得した電子ミラー画像を、表示装置２４に表示させる。図１のように、画像処理装置１０は、電子ミラー画像取得部１１、光学ミラー方向取得部１２、光学ミラー視野特定部１３、合成処理部１４および表示処理部１５を備えている。

電子ミラー画像取得部１１は、電子ミラー用カメラ２１が撮影した電子ミラー画像を取得する。光学ミラー方向取得部１２は、光学ミラー２２の向きの情報を、光学ミラー調整装置２３から取得する。

光学ミラー視野特定部１３は、電子ミラー用カメラ２１の撮影範囲を記憶しており、光学ミラー２２の向きに基づいて、電子ミラー画像における光学ミラー２２の視野に対応する領域を特定する。

合成処理部１４は、電子ミラー画像取得部１１が取得した電子ミラー画像に、光学ミラー視野特定部１３が特定した光学ミラー２２の視野に対応する領域を示す画像（以下「光学ミラー視野画像」という）を合成する。表示処理部１５は、光学ミラー視野画像が合成された電子ミラー画像を、表示装置２４に表示させる。

図２に、画像処理装置１０が表示装置２４に表示させる画面の例を示す。ここでは、表示装置２４が、自車両のインストルメントパネル３０内に、メータ３１，３２と共に配置されているものとする。また、図２の左端には、左側のサイドミラーである光学ミラー２２が示されている。

表示装置２４には、光学ミラー２２の視野に対応する領域を示す光学ミラー視野画像４１が合成された電子ミラー画像４０が表示される。図２において、表示装置２４に表示された電子ミラー画像４０には、自車両Ｖ０のボディ側面と、他車両Ｖ１，Ｖ２とが映り込んでいる。

図２のように、表示装置２４に表示された電子ミラー画像４０における光学ミラー視野画像４１の内側の部分は、光学ミラー２２に映った鏡像２２１に対応するものとなる。よって、運転者は、光学ミラー視野画像４１の位置から、表示装置２４に表示された電子ミラー画像４０と光学ミラー２２に映った鏡像２２１との関係を容易に把握することができる。

本実施の形態では、光学ミラー方向取得部１２は、光学ミラー２２の向きの情報を継続的に光学ミラー調整装置２３から取得し、光学ミラー視野特定部１３は、電子ミラー画像における光学ミラー２２の視野に対応する領域を継続的に特定するものとする。そして、合成処理部１４は、電子ミラー画像に光学ミラー視野画像を合成する位置を、光学ミラー２２の視野の動きに合わせて変化させる。

例えば図２の状態から、運転者が光学ミラー調整装置２３を操作して、光学ミラー２２の向きを左へ変化させると、図３のように、表示装置２４の画面上で光学ミラー視野画像４１が左へ移動する。よって、光学ミラー視野画像４１は、電子ミラー画像４０における光学ミラー２２の視野に対応する領域をリアルタイムに示すことができる。

なお、図２および図３に示した電子ミラー画像４０は一例に過ぎず、電子ミラー画像４０はどのような画像でもよい。例えば、電子ミラー画像４０を、サイドミラーの筐体の形状を有する半透過画像としてもよい。また、実施の形態１では、電子ミラー用カメラ２１の撮影範囲は、光学ミラーの視野よりも広いものとしたが、光学ミラーの視野を部分的に含んでいれば、光学ミラーの視野よりも狭くてもよい。

図４は、実施の形態１に係る画像処理装置１０の動作を示すフローチャートである。以下、同図を参照しつつ、画像処理装置１０の動作を説明する。

画像処理装置１０が起動すると、まず、光学ミラー方向取得部１２が、光学ミラー２２の向きの情報を光学ミラー調整装置２３から取得する（ステップＳＴ１０１）。次に、電子ミラー画像取得部１１が、電子ミラー用カメラ２１が撮影した電子ミラー画像を取得する（ステップＳＴ１０２）。

その後、光学ミラー視野特定部１３が、ステップＳＴ１０１で取得した光学ミラー２２の向きに基づいて、ステップＳＴ１０２で取得した電子ミラー画像における光学ミラー２２の視野に対応する領域を特定する（ステップＳＴ１０３）。また、合成処理部１４が、ステップＳＴ１０３で特定された光学ミラー２２の視野に対応する領域を示す光学ミラー視野画像を、電子ミラー画像に合成する（ステップＳＴ１０４）。そして、表示処理部１５が、光学ミラー視野画像が合成された電子ミラー画像を、表示装置２４に表示させる（ステップＳＴ１０５）。

以上のステップＳＴ１０１〜ＳＴ１０５の動作は繰り返し実行される。それにより、表示装置２４に表示される電子ミラー画像と、それに合成された光学ミラー視野画像４１とが、リアルタイムに更新される。

なお、電子ミラー画像における光学ミラーの視野に対応する領域をより明確に示すために、表示処理部１５は、例えば図５のように、光学ミラー視野画像４１の内側と外側とで、電子ミラー画像４０の表示態様（例えば明るさや色合いなど）に差をつけてもよい。

光学ミラー２２の向きによっては、図６や図７のように、光学ミラー視野画像４１の一部が表示装置２４の画面からはみ出すこともある。例えば図８のように、光学ミラー視野画像４１の全部が表示装置２４の画面からはみ出す（光学ミラー視野画像４１が表示装置２４に表示されない）ことも考えられる。その場合には、光学ミラー視野画像４１の全部が表示装置２４の画面からはみ出していることを示す警告画像４２を、表示装置２４に表示させるとよい。

また、近年では、インストルメントパネルの全体が表示装置で構成され、インストルメントパネル内のメータが画像として表示される車両もある。その場合、図９のように、電子ミラー画像４０からはみ出した位置に光学ミラー視野画像４１を表示させることもできる。

図９において、メータ３１，３２は、インストルメントパネル３０としての表示装置２４に表示された画像である。図９のように光学ミラー視野画像４１がメータ３１の画像に重畳表示されるとメータ３１の視認性が悪くなるため、図１０のようにメータ３１の画像の表示位置が、光学ミラー視野画像４１と重畳しないように自動的に移動するようにしてもよい。

［第１の変形例］
実施の形態１では、画像処理装置１０が図４に示したステップＳＴ１０１〜ＳＴ１０５を繰り返し実行する例を示した。それにより、光学ミラー視野画像は、電子ミラー画像における光学ミラー２２の視野に対応する領域をリアルタイムに示すことができる。

しかし、運転者が車両の運転中に光学ミラー２２の向きを変えることは希である。そのため、通常は、画像処理装置１０の光学ミラー方向取得部１２が光学ミラー２２の向きを取得する処理（ステップＳＴ１０１）は、起動時に１回のみ行えば足りる。よって、図１１のフローチャートのように、ステップＳＴ１０５の後はステップＳＴ１０２に戻るようにし、ステップＳＴ１０１が画像処理装置１０の起動時のみに実行され、その後はステップＳＴ１０２〜ＳＴ１０５が繰り返し実行されるようにしてもよい。

［第２の変形例］
一般に、車両のサイドミラーの向きは、サイドミラーの端から１／４程度の範囲に車体が映り、サイドミラーの下から１／２もしくは２／３程度の範囲に路面が映るように調整されるのが標準的である。

本変形例では、図１２に示すように、合成処理部１４が、光学ミラー２２の標準的な視野を示す光学ミラー標準視野画像４３を、光学ミラー視野画像４１とともに電子ミラー画像４０に合成させる。運転者は、光学ミラー視野画像４１が光学ミラー標準視野画像４３に一致するように、光学ミラー２２の向きを調整することで、容易に光学ミラー２２の向きを標準的な向きに設定できる。

［第３の変形例］
電子ミラー用カメラ２１として広画角（例えば２５度）なカメラを採用し、表示装置２４として横幅の広い画面を有する表示装置を採用することで、図１３のような広画角な電子ミラー画像４０を運転者に提示でき、電子ミラーの長所を十分に生かすことができる。

通常、電子ミラー画像４０の画角と光学ミラー２２の視野との差が大きいと、表示装置２４に表示された電子ミラー画像４０と光学ミラー２２に映った鏡像との関係を把握しにくくなる。しかし、本変形例では、電子ミラー画像４０に光学ミラー視野画像４１が合成されているため、運転者は、光学ミラー視野画像４１の位置から、電子ミラー画像４０と光学ミラー２２に映った鏡像との関係を容易に把握することができる。

［第４の変形例］
実施の形態１では、画像処理装置１０に、電子ミラー用カメラ２１、光学ミラー２２および表示装置２４が１つずつ接続される例を示したが、それらはそれぞれ複数個でもよい。例えば図１４は、画像処理装置１０に、光学ミラー２２として左サイドミラー２２Ｌと右サイドミラー２２Ｒとが光学ミラー調整装置２３を介して接続され、電子ミラー用カメラ２１として左側電子ミラー用カメラ２１Ｌと右側電子ミラー用カメラ２１Ｒとが接続され、表示装置２４として左側表示装置２４Ｌと右側表示装置２４Ｒとが接続された、車両用ミラーシステムの例である。

電子ミラー画像取得部１１は、左側電子ミラー用カメラ２１Ｌおよび右側電子ミラー用カメラ２１Ｒが撮影した電子ミラー画像を取得する。以下、左側電子ミラー用カメラ２１Ｌおよび右側電子ミラー用カメラ２１Ｒが撮影した電子ミラー画像を、それぞれ「左側電子ミラー画像」、「右側電子ミラー画像」という。

光学ミラー方向取得部１２は、左サイドミラー２２Ｌおよび右サイドミラー２２Ｒの向きの情報を、光学ミラー調整装置２３から取得する。

光学ミラー視野特定部１３は、左サイドミラー２２Ｌおよび右サイドミラー２２Ｒの向きに基づいて、左側電子ミラー画像における左サイドミラー２２Ｌの視野に対応する領域と、右側電子ミラー画像における右サイドミラー２２Ｒの視野に対応する領域とを特定する。

合成処理部１４は、左側電子ミラー画像４０Ｌに、左サイドミラー２２Ｌの視野に対応する領域を示す画像（以下「左サイドミラー視野画像」という）を合成し、さらに、右側電子ミラー画像４０Ｒに、右サイドミラー２２Ｒの視野に対応する領域を示す画像（以下「右サイドミラー視野画像」という）を合成する。

表示処理部１５は、図１５のように、左サイドミラー視野画像４１Ｌが合成された左側電子ミラー画像４０Ｌを、左側表示装置２４Ｌに表示させ、さらに、右サイドミラー視野画像４１Ｒが合成された右側電子ミラー画像４０Ｒを、右側表示装置２４Ｒに表示させる。

運転者は、左サイドミラー視野画像４１Ｌおよび右サイドミラー視野画像４１Ｒの位置から、左側電子ミラー画像４０Ｌと左サイドミラー２２Ｌに映った鏡像との関係と、右側電子ミラー画像４０Ｒと右サイドミラー２２Ｒに映った鏡像との関係とを、容易に把握することができる。

［第５の変形例］
図１６は、図１５の構成に対し、光学ミラー２２としてさらにリアビューミラー２２Ｂを導入し、電子ミラー用カメラ２１としてさらに自車両の後方を撮影する後方電子ミラー用カメラ２１Ｂを導入したものである。ただし、表示装置２４は、横幅の広い画面を有するものが一台だけ接続されている。

電子ミラー画像取得部１１は、左側電子ミラー用カメラ２１Ｌ、右側電子ミラー用カメラ２１Ｒおよび後方電子ミラー用カメラ２１Ｂが撮影した電子ミラー画像を取得する。以下、後方電子ミラー用カメラ２１Ｂが撮影した電子ミラー画像を「後方電子ミラー画像」という。

光学ミラー方向取得部１２は、左サイドミラー２２Ｌ、右サイドミラー２２Ｒおよびリアビューミラー２２Ｂの向きの情報を、光学ミラー調整装置２３から取得する。

本変形例において、合成処理部１４は、左側電子ミラー画像、右側電子ミラー画像および後方電子ミラー画像を合成して１つのパノラマ画像を生成する。また、光学ミラー視野特定部１３は、左サイドミラー２２Ｌ、右サイドミラー２２Ｒおよびリアビューミラー２２Ｂの向きに基づいて、パノラマ画像における左サイドミラー２２Ｌの視野に対応する領域と、右サイドミラー２２Ｒの視野に対応する領域と、リアビューミラー２２Ｂの視野に対応する領域とを特定する。

さらに、合成処理部１４は、パノラマ画像である電子ミラー画像に、左サイドミラー２２Ｌの視野に対応する領域を示す画像（左サイドミラー視野画像）と、右サイドミラー２２Ｒの視野に対応する領域を示す画像（右サイドミラー視野画像）と、リアビューミラー２２Ｂの視野に対応する領域を示す画像（以下「リアビューミラー視野画像」という）を合成する。

表示処理部１５は、図１７のように、左サイドミラー視野画像４１Ｌ、右サイドミラー視野画像４１Ｒおよびリアビューミラー視野画像４１Ｂが合成されたパノラマ画像である電子ミラー画像４０Ｐを、横幅の広い画面を持つ表示装置２４に表示させる。

運転者は、光学ミラー視野画像４１に表示された左サイドミラー視野画像４１Ｌ、右サイドミラー視野画像４１Ｒおよびリアビューミラー視野画像４１Ｂの位置から、電子ミラー画像４０Ｐと、左サイドミラー２２Ｌ、右サイドミラー２２Ｒおよびリアビューミラー２２Ｂのそれぞれに映った鏡像との関係を容易に把握することができる。

［第６の変形例］
図１８は、実施の形態１の第６の変更例に係る車両用ミラーシステムの構成を示すブロック図である。この車両用ミラーシステムは、図１の構成に対し、画像処理装置１０の構成要素としてアイポイント推定部１６を追加したものである。

アイポイント推定部１６は、光学ミラー２２に対する運転者の目の位置（アイポイント）を推定する。アイポイント推定部１６が、運転者の目の位置を推定する方法は任意でよく、例えば、運転席に設置したカメラで運転者の顔を撮影した画像を解析して推定する方法が考えられる。また、例えば運転席のシートの位置（座面の位置や高さ、背もたれの傾斜角度など）から、運転者の目の位置を推定する簡易的なものでもよい。

本変形例では、光学ミラー視野特定部１３が、電子ミラー画像における光学ミラー２２の視野に対応する領域を、アイポイント推定部１６が推定した運転者の目の位置に基づいて特定する。それによって、電子ミラー画像内のより正確な位置に、光学ミラー視野画像をできるようになる。

［第７の変形例］
光学ミラー２２の種類によっては、光学ミラー調整装置２３に対応していないものもある。例えば、リアビューミラーは、運転者が手で向きを調整するものが一般的である。

光学ミラー２２が光学ミラー調整装置２３に対応しないものである場合、図１９のように、光学ミラー２２の向きを検出するセンサである光学ミラー方向検出センサ２５を導入し、光学ミラー方向取得部１２が、光学ミラー方向検出センサ２５から光学ミラー２２の向きの情報を取得するように構成するとよい。

［ハードウェア構成例］
図２０および図２１は、それぞれ画像処理装置１０のハードウェア構成の例を示す図である。図１に示した画像処理装置１０の構成要素の各機能は、例えば図２０に示す処理回路５０により実現される。すなわち、画像処理装置１０は、車両の電子ミラー用カメラが撮影した電子ミラー画像を取得し、車両の光学ミラーの向きの情報を取得し、光学ミラーの向きに基づいて、電子ミラー画像における、車両の運転者から光学ミラーを通して見える範囲である光学ミラーの視野に対応する領域を特定し、電子ミラー画像に、光学ミラーの視野に対応する領域を示す画像である光学ミラー視野画像を合成し、光学ミラー視野画像が合成された電子ミラー画像を車両の表示装置に表示させる、ための処理回路５０を備える。処理回路５０は、専用のハードウェアであってもよいし、メモリに格納されたプログラムを実行するプロセッサ（中央処理装置（ＣＰＵ：Central Processing Unit）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）とも呼ばれる）を用いて構成されていてもよい。

処理回路５０が専用のハードウェアである場合、処理回路５０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものなどが該当する。画像処理装置１０の構成要素の各々の機能が個別の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。

図２１は、処理回路５０がプログラムを実行するプロセッサ５１を用いて構成されている場合における画像処理装置１０のハードウェア構成の例を示している。この場合、画像処理装置１０の構成要素の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせ）により実現される。ソフトウェア等はプログラムとして記述され、メモリ５２に格納される。プロセッサ５１は、メモリ５２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、画像処理装置１０は、プロセッサ５１により実行されるときに、車両の電子ミラー用カメラが撮影した電子ミラー画像を取得する処理と、車両の光学ミラーの向きの情報を取得する処理と、光学ミラーの向きに基づいて、電子ミラー画像における、車両の運転者から光学ミラーを通して見える範囲である光学ミラーの視野に対応する領域を特定する処理と、電子ミラー画像に、光学ミラーの視野に対応する領域を示す画像である光学ミラー視野画像を合成する処理と、光学ミラー視野画像が合成された電子ミラー画像を車両の表示装置に表示させる処理と、が結果的に実行されることになるプログラムを格納するためのメモリ５２を備える。換言すれば、このプログラムは、画像処理装置１０の構成要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。

ここで、メモリ５２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリー、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

以上、画像処理装置１０の構成要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、画像処理装置１０の一部の構成要素を専用のハードウェアで実現し、別の一部の構成要素をソフトウェア等で実現する構成であってもよい。例えば、一部の構成要素については専用のハードウェアとしての処理回路５０でその機能を実現し、他の一部の構成要素についてはプロセッサ５１としての処理回路５０がメモリ５２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

以上のように、画像処理装置１０は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

＜実施の形態２＞
図２２は、実施の形態２に係る車両用ミラーシステムの構成を示すブロック図である。図２２の車両用ミラーシステムの構成は、図１の構成に対し、画像処理装置１０に操作入力装置２６を接続させると共に、画像処理装置１０の構成要素として電子ミラー調整部１７を追加したものである。

実施の形態２では、電子ミラー用カメラ２１として広画角（例えば２５度）なカメラを採用し、表示装置２４には電子ミラー用カメラ２１が撮影した電子ミラー画像の一部分の領域（以下「表示領域」という）が表示される。図２３に、電子ミラー用カメラ２１の撮影範囲αと、表示装置２４に表示される表示領域βとの関係の例を示す。また、図２４に、電子ミラー用カメラ２１が撮影する電子ミラー画像４０と、電子ミラー画像４０の表示領域４０ａと、光学ミラーの視野に対応する領域（光学ミラー視野画像４１の表示位置）との関係の例を示す。

電子ミラー調整部１７は、電子ミラー用カメラ２１が撮影した電子ミラー画像４０から、表示装置２４に表示させる表示領域４０ａを切り出すトリミングを行う。操作入力装置２６は、電子ミラー調整部１７が電子ミラー画像４０からトリミングする範囲（すなわち図２４におけるβ１，β２の位置）を調整する操作を入力するためのユーザインタフェースである。

運転者は、操作入力装置２６を操作して電子ミラー画像４０内の表示領域４０ａの位置を調整することができる。これにより、実質的に、電子ミラー用カメラ２１の撮影方向の調整と同様の効果が得られる。例えば図２５のように、運転者が、電子ミラー画像４０内の表示領域４０ａを左方向へ移動させると、図２６のように、表示装置２４に表示された電子ミラー画像４０の表示領域４０ａ内の画像は、右方向へシフトする。

図２７は、実施の形態２に係る画像処理装置１０の動作を示すフローチャートである。以下、同図を参照しつつ、画像処理装置１０の動作を説明する。

画像処理装置１０が起動すると、まず、光学ミラー方向取得部１２が、光学ミラー２２の向きの情報を、光学ミラー調整装置２３から取得する（ステップＳＴ２０１）。次に、電子ミラー画像取得部１１が、電子ミラー用カメラ２１が撮影した電子ミラー画像を取得する（ステップＳＴ２０２）。

その後、光学ミラー視野特定部１３が、ステップＳＴ２０１で取得した光学ミラー２２の向きに基づいて、ステップＳＴ２０２で取得した電子ミラー画像における光学ミラー２２の視野に対応する領域を特定する（ステップＳＴ２０３）。また、合成処理部１４が、ステップＳＴ２０３で特定された光学ミラー２２の視野に対応する領域を示す光学ミラー視野画像を、電子ミラー画像に合成する（ステップＳＴ２０４）。

続いて、電子ミラー調整部１７が、電子ミラー画像が合成された電子ミラー画像から、表示領域を切り出すトリミングを行う（ステップＳＴ２０５）。そして、表示処理部１５が、トリミングされた電子ミラー画像の表示領域を、表示装置２４に表示させる（ステップＳＴ２０６）。

以上のステップＳＴ２０１〜ＳＴ２０６の動作は繰り返し実行される。それにより、表示装置２４に表示される電子ミラー画像の表示領域と、それに合成された光学ミラー視野画像４１とがリアルタイムに更新される。なお、ステップＳＴ２０５でトリミングされる電子ミラー画像の表示領域の位置は、運転者が操作入力装置２６を用いて調整可能である。

［第１の変形例］
実施の形態２では、運転者が操作入力装置２６を用いて電子ミラー画像４０内の表示領域４０ａの位置を動かす例を示したが、表示領域４０ａの位置を動かす手段はこれに限られない。

例えば、表示処理部１５が、光学ミラー２２の向きに応じて、電子ミラー画像４０の表示領域４０ａの位置を設定してもよい。具体的には、運転者が光学ミラー調整装置２３を操作して光学ミラー２２の向きを変化させたときに、光学ミラー２２の視野の動きに追従して電子ミラー画像４０の表示領域４０ａが動くようにする。すなわち、図２８のように、電子ミラー画像４０内の表示領域４０ａの位置が、光学ミラー視野画像４１と共に移動する。この場合、電子ミラー画像４０内の表示領域４０ａの位置が変化することで、図２９のように、表示領域４０ａ内の画像はシフトするが、表示装置２４の画面における光学ミラー視野画像４１の位置は変化しない。

図２８および図２９では、電子ミラー画像４０の表示領域４０ａに、光学ミラー２２の視野に対応する領域（光学ミラー視野画像４１）の全体が常に含まれるように、電子ミラー画像４０内の表示領域４０ａの位置が設定される例を示した。しかし、表示領域４０ａの位置は、光学ミラー２２の視野に対応する領域の少なくとも一部が表示領域４０ａに含まれるように設定されればよい。

［第２の変形例］
図３０は、実施の形態２の第２の変更例に係る車両用ミラーシステムの構成を示すブロック図である。この車両用ミラーシステムは、図２２の構成に対し、画像処理装置１０の構成要素として光学ミラー方向制御部１８を追加したものである。

光学ミラー方向制御部１８は、電子ミラー画像４０内の表示領域４０ａの位置に応じて、光学ミラー２２の向きを制御する。具体的には、運転者が操作入力装置２６を操作して表示領域４０ａを移動させたときに、光学ミラー方向制御部１８は、表示領域４０ａに追従して光学ミラー２２の視野に対応する領域（光学ミラー視野画像４１の表示位置）が動くように、光学ミラー２２の向きを設定する。

この場合、電子ミラー画像４０における表示領域４０ａと光学ミラー２２の視野に対応する領域（光学ミラー視野画像４１の表示位置）との関係は、第１の変形例で示した図２８および図２９と同様になる。ただし、第１の変形例では電子ミラー画像４０の表示領域４０ａが光学ミラー視野画像４１に追従して移動したが、第２の変形例では、光学ミラー視野画像４１が電子ミラー画像４０の表示領域４０ａに追従して移動する。

図２８および図２９では、電子ミラー画像４０の表示領域４０ａに、光学ミラー２２の視野に対応する領域（光学ミラー視野画像４１）の全体が常に含まれるように、光学ミラー２２の向きが設定されている。しかし、光学ミラー２２の向きは、光学ミラー２２の視野に対応する領域の少なくとも一部が、電子ミラー画像４０の表示領域４０ａに含まれるように設定されればよい。

＜実施の形態３＞
図３１は、実施の形態３に係る車両用ミラーシステムの構成を示すブロック図である。図３１の車両用ミラーシステムの構成は、図１の構成に対し、画像処理装置１０の構成要素として要注意物検出部１９を追加したものである。

要注意物検出部１９は、電子ミラー画像に映った物体、すなわち電子ミラー用カメラ２１の撮影範囲内に存在する物体のうちから、自車両の走行に影響する恐れのある物体を検出する。以下、自車両の走行に影響する恐れのある物体を「要注意物」という。

要注意物としては様々なものが考えられる。例えば、自車両の車線変更の妨げとなる恐れのある他車両や、右左折時に自車両が巻き込む恐れのある歩行者や自転車、後退時に自車両の後方に存在する障害物などが、要注意物となる。より具体的には、例えば、自車両からの距離が予め定められた閾値以下である物体、あるいは、自車両に接触するまでの時間が予め定められた閾値以下と予測される物体を、要注意物として定義してもよい。ここでは、自車両からの距離が５ｍ以下である物体を、要注意物として定義する。ただし、要注意物の定義はこれに限られない。

要注意物検出部１９が要注意物を検出する方法は任意の方法でよく、例えば、電子ミラー用カメラ２１が撮影した電子ミラー画像を解析して要注意物を検出してもよいし、不図示の車載センサ（例えば、ミリ波レーダ、ソナー、赤外線センサなど）を用いて要注意物を検出してもよい。また、電子ミラー用カメラ２１の撮影範囲に他車両が存在する場合、自車両および他車両の方向指示器の状態を検出して、自車両および他車両の進行方向や走行車線を予測し、その予測結果を加味して、他車両が要注意物であるか否かを判断してもよい。

実施の形態３では、要注意物検出部１９によって要注意物が検出されると、合成処理部１４が、光学ミラー視野画像だけでなく、要注意物の存在を示す注意喚起画像を、電子ミラー画像に合成する。

例えば、図３２のように自車両の後側方を走行していた他車両Ｖ３が、自車両から５ｍ以内に接近すると、要注意物検出部１９が他車両Ｖ３を要注意物として検出する。その場合、合成処理部１４は、図３３のように、他車両Ｖ３の位置を示す注意喚起画像４４を電子ミラー画像４０に合成する。

注意喚起画像４４は、図３３に示した物に限られず、どのような画像でもよい。光学ミラー視野画像４１を注意喚起画像４４として利用することもできる。例えば、要注意物検出部１９により要注意物が検出されたときに、図３４のように光学ミラー視野画像４１の表示態様を変化させれば、光学ミラー視野画像４１は注意喚起画像４４として機能する。具体的には、要注意物が検出されたときに、光学ミラー視野画像４１の色を変化させたり、点滅表示させたりすることが考えられる。

［変形例］
図３５は、実施の形態３の変更例に係る車両用ミラーシステムの構成を示すブロック図である。この車両用ミラーシステムは、図３１の構成に対し、画像処理装置１０の構成要素として光学ミラー方向制御部１８を追加したものである。

光学ミラー方向制御部１８は、要注意物検出部１９が検出した要注意物の位置に応じて、光学ミラー２２の向きを制御する。具体的には、光学ミラー方向制御部１８は、要注意物の少なくとも一部が光学ミラー２２の視野に入るように、光学ミラー２２の向きを設定する。すなわち、光学ミラー方向制御部１８は、電子ミラー画像４０に映る要注意物の少なくとも一部が、光学ミラー視野画像４１の内側に入るように、光学ミラー２２の向きを設定する。

例えば、図３３の状態から、要注意物である他車両Ｖ３が左へ移動すると、光学ミラー方向制御部１８はそれに追従するように光学ミラー２２の方向を調整する。その結果、図３６のように、表示装置２４の画面上で、光学ミラー視野画像４１が他車両Ｖ３の動きに追従して動く。運転者からは、表示装置２４と光学ミラー２２のどちらにも要注意物が見えるため、運転者に要注意物の存在をより確実に認知させることができる。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１０ 画像処理装置、１１ 電子ミラー画像取得部、１２ 光学ミラー方向取得部、１３ 光学ミラー視野特定部、１４ 合成処理部、１５ 表示処理部、１６ アイポイント推定部、１７ 電子ミラー調整部、１８ 光学ミラー方向制御部、１９ 要注意物検出部、２１ 電子ミラー用カメラ、２１Ｌ 左側電子ミラー用カメラ、２１Ｒ 右側電子ミラー用カメラ、２１Ｂ 後方電子ミラー用カメラ、２２ 光学ミラー、２２Ｌ 左サイドミラー、２２Ｒ 右サイドミラー、２２Ｂ リアビューミラー、２２１ 鏡像、２３ 光学ミラー調整装置、２４ 表示装置、２４Ｌ 左側表示装置、２４Ｒ 右側表示装置、２５ 光学ミラー方向検出センサ、２６ 操作入力装置、３０ インストルメントパネル、３１，３２ メータ、４０，４０Ｐ 電子ミラー画像、４０ａ 表示領域、４０Ｌ 左側電子ミラー画像、４０Ｒ 右側電子ミラー画像、４０Ｂ 後方電子ミラー画像、４１ 光学ミラー視野画像、４１Ｌ 左サイドミラー視野画像、４１Ｒ 右サイドミラー視野画像、４１Ｂ リアビューミラー視野画像、４２ 警告画像、４３ 光学ミラー標準視野画像、４４ 注意喚起画像、５０ 処理回路、５１ プロセッサ、５２ メモリ。

本発明に係る車両用画像処理装置は、車両の電子ミラー用カメラが撮影した電子ミラー画像を取得する電子ミラー画像取得部と、車両の光学ミラーの向きの情報を取得する光学ミラー方向取得部と、光学ミラーの向きに基づいて、電子ミラー画像における、車両の運転者から光学ミラーを通して見える範囲である光学ミラーの視野に対応する領域を特定する光学ミラー視野特定部と、電子ミラー画像に、光学ミラーの視野に対応する領域を示す画像である光学ミラー視野画像を合成する合成処理部と、光学ミラー視野画像が合成された電子ミラー画像を車両の表示装置に表示させる表示処理部と、を備え、表示処理部は、電子ミラー画像の一部分である表示領域を表示装置に表示させ、光学ミラーの向きに応じて、電子ミラー画像における表示領域の位置を設定するものである。

Claims (13)

1. 車両の電子ミラー用カメラが撮影した電子ミラー画像を取得する電子ミラー画像取得部と、
   前記車両の光学ミラーの向きの情報を取得する光学ミラー方向取得部と、
   前記光学ミラーの向きに基づいて、前記電子ミラー画像における、前記車両の運転者から前記光学ミラーを通して見える範囲である前記光学ミラーの視野に対応する領域を特定する光学ミラー視野特定部と、
   前記電子ミラー画像に、前記光学ミラーの視野に対応する領域を示す画像である光学ミラー視野画像を合成する合成処理部と、
   前記光学ミラー視野画像が合成された前記電子ミラー画像を前記車両の表示装置に表示させる表示処理部と、
   を備える車両用画像処理装置。
2. 前記光学ミラー方向取得部は、前記光学ミラーの向きの情報を継続的に取得し、
   前記光学ミラー視野特定部は、前記電子ミラー画像における前記光学ミラーの視野に対応する領域を継続的に特定し、
   前記合成処理部は、前記電子ミラー画像に前記光学ミラー視野画像を合成する位置を、前記光学ミラーの視野の動きに合わせて変化させる、
   請求項１に記載の車両用画像処理装置。
3. 前記表示処理部は、前記電子ミラー画像の一部分である表示領域を前記表示装置に表示させ、前記光学ミラーの向きに応じて、前記電子ミラー画像における前記表示領域の位置を設定する、
   請求項１に記載の車両用画像処理装置。
4. 前記表示処理部は、前記電子ミラー画像の前記表示領域に、前記光学ミラーの視野に対応する領域の少なくとも一部が含まれるように、前記表示領域の位置を設定する、
   請求項３に記載の車両用画像処理装置。
5. 前記光学ミラーの向きを制御する光学ミラー方向制御部をさらに備え、
   前記表示処理部は、前記電子ミラー画像の一部分である表示領域を前記表示装置に表示させ、
   前記光学ミラー方向制御部は、前記電子ミラー画像における前記表示領域の位置に応じて、前記光学ミラーの向きを設定する、
   請求項１に記載の車両用画像処理装置。
6. 前記光学ミラー方向制御部は、前記電子ミラー画像の前記表示領域に、前記光学ミラーの視野に対応する領域の少なくとも一部が含まれるように、前記光学ミラーの向きを設定する、
   請求項５に記載の車両用画像処理装置。
7. 前記合成処理部は、前記電子ミラー画像に、前記光学ミラーの標準的な視野を示す光学ミラー標準視野画像をさらに合成する、
   請求項１に記載の車両用画像処理装置。
8. 前記表示処理部は、前記光学ミラー視野画像の内側と外側とで、前記電子ミラー画像の表示態様に差をつける
   請求項１に記載の車両用画像処理装置。
9. 前記電子ミラー画像に写った物体のうちから、前記車両の走行に影響する恐れのある要注意物を検出する要注意物検出部をさらに備え、
   前記合成処理部は、前記電子ミラー画像に、前記要注意物の存在を示す注意喚起画像をさらに合成する、
   請求項１に記載の車両用画像処理装置。
10. 前記光学ミラーの向きを制御する光学ミラー方向制御部をさらに備え、
    前記光学ミラー方向制御部は、前記要注意物の少なくとも一部が前記光学ミラーの視野に入るように前記光学ミラーの向きを設定する、
    請求項９に記載の車両用画像処理装置。
11. 前記車両は前記光学ミラーを複数備え、
    前記合成処理部は、１つの前記電子ミラー画像に、複数の前記光学ミラー視野画像を合成する、
    請求項１に記載の車両用画像処理装置。
12. 前記運転者の目の位置を推定するアイポイント推定部をさらに備え、
    前記光学ミラー視野特定部は、前記アイポイント推定部が推定した前記運転者の目の位置に基づいて、前記光学ミラーの視野に対応する領域を特定する
    請求項１に記載の車両用画像処理装置。
13. 画像処理装置の電子ミラー画像取得部が、車両の電子ミラー用カメラが撮影した電子ミラー画像を取得し、
    前記画像処理装置の光学ミラー方向取得部が、前記車両の光学ミラーの向きの情報を取得し、
    前記画像処理装置の光学ミラー視野特定部が、前記光学ミラーの向きに基づいて、前記電子ミラー画像における、前記車両の運転者から前記光学ミラーを通して見える範囲である前記光学ミラーの視野に対応する領域を特定し、
    前記画像処理装置の合成処理部が、前記電子ミラー画像に、前記光学ミラーの視野に対応する領域を示す画像である光学ミラー視野画像を合成し、
    前記画像処理装置の表示処理部が、前記光学ミラー視野画像が合成された前記電子ミラー画像を前記車両の表示装置に表示させる、
    画像処理方法。

Images