JP6618778B2 - 画像処理装置、情報表示システム、画像処理方法およびプログラム - Google Patents

Description

開示の実施形態は、画像処理装置、情報表示システム、画像処理方法およびプログラムに関する。

従来、車両用の情報表示システムの一種として、車室内に配置された表示部の所定の表示領域に、車両後方を撮影した撮像画像から生成した電子ミラー画像を表示する電子ミラーシステムが知られている（例えば、特許文献１参照）。

特開２０１０−１８８９０３号公報

しかしながら、上述した従来技術を用いた場合、電子ミラー画像は、運転者が実際のバックミラーを視認した場合と比較して違和感があり、運転者に対し、バックミラーに対応する電子ミラー画像であるとすぐに認知させにくいという問題点があった。

実施形態の一態様は、上記に鑑みてなされたものであって、電子ミラーとして機能する表示部の表示領域を、違和感なく運転者に電子ミラーとして認知させることができる画像処理装置、情報表示システム、画像処理方法およびプログラムを提供することを目的とする。

実施形態の一態様に係る画像処理装置は、第１画像生成部と、第２画像生成部と、画像合成部とを備える。前記第１画像生成部は、車両の外部を撮像する撮像部により撮像された前記車両の後方画像を鏡像反転させた後写鏡画像を生成する。前記第２画像生成部は、前記車両の車速に応じた速度で、かつ、前記後写鏡画像とは異なる任意の流れ方向で流れる模様を含む背景画像を生成する。前記画像合成部は、前記背景画像の内側に前記後写鏡画像が配置されるように前記背景画像および前記後写鏡画像を合成する。

実施形態の一態様によれば、電子ミラーとして機能する表示部の表示領域を、違和感なく運転者に電子ミラーとして認知させることができる。

図１Ａは、実施形態に係る画像処理手法の概要を示す図（その１）である。 図１Ｂは、実施形態に係る画像処理手法の概要を示す図（その２）である。 図１Ｃは、実施形態に係る画像処理手法の概要を示す図（その３）である。 図１Ｄは、実施形態に係る画像処理手法の概要を示す図（その４）である。 図１Ｅは、実施形態に係る画像処理手法の概要を示す図（その５）である。 図２は、第１の実施形態に係る情報表示システムのブロック図である。 図３Ａは、背景画像情報に含まれる選択可能な消失点の位置の一例を示す図である。 図３Ｂは、背景画像生成部における背景画像の流れ方向の決定方法を示す図（その１）である。 図３Ｃは、背景画像生成部における背景画像の流れ方向の決定方法を示す図（その２）である。 図４Ａは、背景画像情報に含まれる選択可能な幾何学模様の一例を示す図（その１）である。 図４Ｂは、背景画像情報に含まれる選択可能な幾何学模様の一例を示す図（その２）である。 図４Ｃは、背景画像情報に含まれる選択可能な幾何学模様の一例を示す図（その３）である。 図５は、画像処理装置における各処理の概略図である。 図６は、第１の実施形態に係る画像処理装置が実行する処理手順を示すフローチャートである。 図７Ａは、第２の実施形態に係る情報表示システムのブロック図である。 図７Ｂは、第２の実施形態に係る背景画像生成部のブロック図である。 図８は、第２の実施形態に係る画像処理装置が実行する処理手順を示すフローチャートである。 図９は、実施形態に係る情報表示システムの機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下、添付図面を参照して、本願の開示する画像処理装置、情報表示システム、画像処理方法およびプログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

また、以下では、本実施形態に係る画像処理手法の概要について図１Ａ〜図１Ｅを用いて説明した後に、この画像処理手法を適用した画像処理装置１０およびこれを含む情報表示システム１について、図２〜図９を用いて説明することとする。なお、図１Ａ〜図６を用いた説明では、第１の実施形態について、図７Ａ〜図８を用いた説明では、第２の実施形態について、それぞれ説明する。

また、以下では、情報表示システム１が、通常はバックミラー（後写鏡）に鏡像として映る車両の後方画像を、車載カメラの撮像画像に基づいて生成し、ディスプレイ等の表示部へ表示する、いわゆる「電子ミラー」の機能を提供する場合を主たる例に挙げて説明を進める。なお、バックミラーには、ルームミラー、ドアミラー、フェンダーミラーおよびサイドアンダーミラーのいずれをも含むものとする。これらのバックミラー（後写鏡）のうち、車体の外部に取り付けられるドアミラー、フェンダーミラーおよびサイドアンダーミラー等は、「車体外後写鏡」とも呼ばれる。

まず、本実施形態に係る画像処理手法の概要について、図１Ａ〜図１Ｅを用いて説明する。図１Ａ〜図１Ｅは、実施形態に係る画像処理手法の概要を示す図（その１）〜（その５）である。

図１Ａに示すように、本実施形態に係る情報表示システム１は、例えば車両Ｃの運転支援情報の表示用として構成される。具体的には、情報表示システム１は、表示部４と、画像処理装置１０とを備える。

表示部４は、運転支援情報を車両Ｃの運転者に対して表示する表示領域として機能するデバイスであり、例えば図１Ａに示すように、車両Ｃの運転席前方の運転者の視野へ直接情報を映し出すヘッドアップディスプレイとして構成される。本実施形態では、以下でも、表示部４がヘッドアップディスプレイであるものとして説明を進める。

なお、表示部４は、例えば車両Ｃの車室前方中央のセンターディスプレイ等として構成されてもよい。

画像処理装置１０は、例えばインストルメント・パネル中央の内部等に配置され、表示部４へ出力する運転支援情報としての画像の生成処理を行う。かかる画像は、例えばドアミラーＭＲ，ＭＬにそれぞれ対応する電子ミラー画像として、また例えば車両Ｃの速度等の運行情報を示す画像として生成される。

具体的には、図１Ｂに示すように、本実施形態に係る情報表示システム１は、例えば表示部４の下部右側に、ドアミラーＭＲに対応する電子ミラー画像の表示領域Ｄ１を配置する。また、例えば表示部４の下部左側に、ドアミラーＭＬに対応する電子ミラー画像の表示領域Ｄ２を配置する。また、例えば表示部４の上部中央に、車両Ｃの運行情報としての速度の表示領域Ｄ３を配置する。

ところで、通常、運転者がその視野に実際のバックミラーを捉える場合、運転者からはミラー自体に映る鏡像とミラー周辺の背景とが視認されることとなる。具体的には、図１Ｃに示すように、運転者が、実際のドアミラーＭＲをその視野に捉えた場合、運転者は、ドアミラーＭＲの内側の鏡像Ｍ１と、ドアミラーＭＲの外側の背景Ｂ１とを視認する。

そして、かかる場合において、仮に車両Ｃが前方へ直進移動していれば、鏡像Ｍ１の流れてゆく「流れ方向」は、例えば鏡像Ｍ１の消失点へ向かう方向（流れ方向ｄｍ１）である。これに対し、背景Ｂ１の流れてゆく「流れ方向」は、運転者がドアミラーＭＲを視野に捉えた場合に、車両Ｃの移動方向とは相対的に後方へ流れる景色の移動方向（流れ方向ｄｂ１）である。

すなわち、通常、運転者の視認する鏡像Ｍ１の「流れ方向」と背景Ｂ１の「流れ方向」とは、異なる方向であることが分かる。これは、言い換えれば、背景Ｂ１を模した背景画像の内側に鏡像Ｍ１を模した鏡像画像を配置し、車速に応じた速度で、かつ、車両Ｃの移動方向に応じた鏡像Ｍ１とは異なる「流れ方向」でそれぞれ流れさせれば、運転者が電子ミラー画像として違和感なく受け入れやすいということである。

図１Ｂの説明に戻る。そこで、本実施形態に係る情報表示システム１では、電子ミラーとして機能させる表示領域Ｄ１，Ｄ２につき、背景Ｂ１を模した背景画像の内側に鏡像Ｍ１を模した鏡像画像を配置し、車速に応じた速度で、かつ、車両Ｃの移動方向に応じた鏡像Ｍ１とは異なる「流れ方向」でそれぞれで流れさせることとした。

なお、以下では、ドアミラーＭＲに対応する表示領域Ｄ１を主に例示して説明を行う。ドアミラーＭＬに対応する表示領域Ｄ２については、表示領域Ｄ１と左右対称である点が異なる。なお、これから説明する表示領域Ｄ１，Ｄ２の背景画像Ｂｉ１，Ｂｉ２を便宜上総称する場合、背景画像Ｂｉと言う場合がある。同様に、表示領域Ｄ１，Ｄ２のバックミラー画像Ｍｉ１，Ｍｉ２を便宜上総称する場合、バックミラー画像Ｍｉと言う場合がある。

具体的には図１Ｂに示すように、本実施形態では、表示領域Ｄ１につき、背景画像Ｂｉ１の内側にバックミラー画像（後写鏡画像）Ｍｉ１を配置することとした。バックミラー画像Ｍｉ１は、車両Ｃの撮像部（後述）により撮像された車両Ｃの後方画像を鏡像反転させて生成される。すなわち、バックミラー画像Ｍｉ１は実際の撮像画像に基づくので、流れる速度および流れ方向ｄｍ１については撮像されたままでよい。

一方、背景画像Ｂｉ１は、車両Ｃの車速に応じた速度で、かつ、バックミラー画像Ｍｉ１とは異なる流れ方向ｄｂ１で流れるように生成される。このとき、背景画像Ｂｉ１は、必ずしも実際の撮像画像に基づいて生成される必要はない。

すなわち、背景画像Ｂｉ１の流れ方向ｄｂ１は、運転者に対し、車両Ｃの移動方向に対して相対的に流れる景色の移動方向を少なくとも想起させられればよく、厳密に撮像画像等の流れ方向と一致させる必要はない。したがって、背景画像Ｂｉ１の流れ方向ｄｂ１は、バックミラー画像Ｍｉ１の流れ方向ｄｍ１とは異なる任意の方向でよい。

具体例を図１Ｄに一つ示す。図１Ｄに示すように、情報表示システム１では、例えば車両Ｃが直進する場合の表示領域Ｄ１における背景画像Ｂｉ１の流れ方向ｄｂ１を、表示領域Ｄ１，Ｄ２の中点を消失点Ｐとした、かかる消失点Ｐから放射状に延びる各直線に沿った方向とする。

この場合、表示領域Ｄ１の流れ方向ｄｂ１は、車両Ｃの運転席からの実際の視野において車両Ｃの移動方向に対して相対的に流れる景色の移動方向とは一致しない。しかしながら、左右の電子ミラーとして機能する表示領域Ｄ１，Ｄ２の中央から放射状に拡散あるいは収束する方向へ背景画像を流れさせることで、直進する車両Ｃに対し相対的に流れる景色の移動方向を少なくとも運転者に想起させることができる。

なお、背景画像Ｂｉ１，Ｂｉ２の流れ方向には車両Ｃの舵角に基づく回転等の要素が加味されるが、この点については図３Ａ〜図３Ｃを用いた説明で後述する。また、消失点Ｐの他の例等についても同じく図３Ａ〜図３Ｃを用いた説明で後述する。

また、背景画像Ｂｉ１は、実際の撮像画像に基づく必要はなく、車両Ｃの進行方向に対し相対的に流れる景色の移動方向を少なくとも運転者に想起させられればよいことから、例えば幾何学模様が流れ方向ｄｂ１に沿って移動するような画像であってもよい。

具体例を図１Ｅに一つ示す。図１Ｅに示すように、情報表示システム１では、例えば幾何学模様ａＰ１を含む背景画像Ｂｉ１を生成し、かかる幾何学模様ａＰ１を車速に応じた速度で流れ方向ｄｂ１に沿って移動させる。なお、ここで、幾何学模様ａＰ１は、流れ方向ｄｂ１を示す形状（例えば、矢印）を有していることが好ましい。

このように、流れ方向ｄｂ１を示す形状を有する幾何学模様ａＰ１を車速に応じた速度で移動させる背景画像Ｂｉ１によっても、車両Ｃの進行方向に対し相対的に流れる景色の移動方向を少なくとも運転者に想起させることできる。なお、幾何学模様の他の例については、図４Ａ〜図４Ｃを用いた説明で後述する。

そして、このような背景画像Ｂｉ１の内側に前述のバックミラー画像Ｍｉ１を配置することによって、電子ミラーとして機能する表示領域Ｄ１を、違和感なく運転者に電子ミラーとして認知させることができる。

このように、本実施形態では、車両Ｃの撮像部により撮像された車両Ｃの後方画像を鏡像反転させたバックミラー画像Ｍｉを生成し、車両Ｃの車速に応じた速度で、かつ、バックミラー画像Ｍｉとは異なる任意の流れ方向で流れる背景画像Ｂｉを生成し、背景画像Ｂｉの内側にバックミラー画像Ｍｉが配置されるように合成することとした。

したがって、本実施形態によれば、電子ミラーとして機能する表示領域Ｄ１，Ｄ２を、違和感なく運転者に電子ミラーとして認知させることができる。

以下、上述した画像処理手法によって画像処理を行う画像処理装置１０およびこれを含む情報表示システム１について、さらに具体的に説明する。

（第１の実施形態）
図２は、第１の実施形態に係る情報表示システム１のブロック図である。なお、図２では、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。

換言すれば、図２に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

図２に示すように、情報表示システム１は、操作部２と、表示制御部３と、表示部４と、画像処理装置１０とを備える。情報表示システム１は、車両Ｃに搭載された、撮像部２０、車速センサ３０、舵角センサ４０および路面センサ５０等の各種機器と情報の授受を行う。

情報表示システム１につき、まず画像処理装置１０以外の構成要素から説明する。操作部２は、例えば運転者といった利用者からの入力操作を受け付ける入力デバイスである。Ｈ／Ｗデバイスであっても、Ｓ／Ｗデバイスであってもよい。利用者は、かかる操作部２を介し、前述の消失点Ｐの位置を指定するといった操作や、例えば前述の幾何学模様を選択するといった操作等、背景画像Ｂｉ１，Ｂｉ２の生成に関する情報の入力操作を行うことが可能である。

表示制御部３は、後述する画像処理装置１０によって生成され、出力される電子ミラー画像を受け付け、表示部４へ表示させる。表示部４は、例えば上述したようにヘッドアップディスプレイ等であって、表示制御部３が出力する運転支援情報としての電子ミラー画像を、表示領域Ｄ１，Ｄ２へ表示する。

つづいて画像処理装置１０について説明する。画像処理装置１０は、制御部１１と、記憶部１２とを備える。制御部１１は、設定部１１ａと、バックミラー画像生成部１１ｂと、背景画像生成部１１ｃと、画像合成部１１ｄとをさらに備える。

記憶部１２は、ハードディスクドライブや不揮発性メモリ、レジスタといった記憶デバイスであって、背景画像情報１２ａを記憶する。

制御部１１は、画像処理装置１０の各部を制御する。設定部１１ａは、操作部２を介しての利用者の入力操作を受け付け、入力操作の内容に応じて背景画像情報１２ａを設定する。

背景画像情報１２ａは、背景画像Ｂｉ１，Ｂｉ２の生成に関する情報群であって、前述の消失点Ｐの位置や、前述の幾何学模様が、例えば選択可能に複数パターン含まれる。

バックミラー画像生成部１１ｂは、撮像部２０のうち、車両Ｃの後方撮像用に搭載された後方カメラ２１により撮像された車両Ｃの後方画像を鏡像反転させたバックミラー画像Ｍｉ１，Ｍｉ２を生成する。また、バックミラー画像生成部１１ｂは、生成したバックミラー画像Ｍｉ１，Ｍｉ２を画像合成部１１ｄへ出力する。

背景画像生成部１１ｃは、車速センサ３０、舵角センサ４０、路面センサ５０等の検出値および背景画像情報１２ａに基づき、背景画像Ｂｉ１，Ｂｉ２を生成する。なお、車速センサ３０は、車両Ｃの車速を検出する。また、舵角センサ４０は、車両Ｃの舵角を検出する。また、路面センサ５０は、車両Ｃが移動中の路面の起伏を検出する。

背景画像生成部１１ｃは、これらの検出値および背景画像情報１２ａに基づき、上述したように、車両Ｃの車速に応じた速度で、かつ、バックミラー画像Ｍｉ１，Ｍｉ２とは異なる任意の流れ方向で流れる背景画像Ｂｉ１，Ｂｉ２を生成する。また、背景画像生成部１１ｃは、生成した背景画像Ｂｉ１，Ｂｉ２を画像合成部１１ｄへ出力する。

ここで、図３Ａ〜図４Ｃを用いて、背景画像情報１２ａの一例およびこれに基づく背景画像生成部１１ｃの処理について説明しておく。図３Ａは、背景画像情報１２ａに含まれる選択可能な消失点Ｐの位置の一例を示す図である。

図３Ｂおよび図３Ｃは、背景画像生成部１１ｃにおける背景画像Ｂｉ１，Ｂｉ２の流れ方向の決定方法を示す図（その１）および（その２）である。図４Ａ〜図４Ｃは、背景画像情報１２ａに含まれる選択可能な幾何学模様の一例を示す図（その１）〜（その３）である。

図３Ａに示すように、背景画像情報１２ａには、例えば、表示部４の表示領域Ｄ１，Ｄ２の中点の位置である消失点Ｐ１と、車両Ｃのフロントガラス中央の位置である消失点Ｐ２とが含まれる。なお、消失点Ｐ１は、既に図１Ｄを用いて説明した消失点Ｐに対応する。

そして、消失点Ｐ１が選択された場合、図３Ｂに示すように、背景画像生成部１１ｃは、かかる消失点Ｐ１から放射状に延びる各直線に沿った方向に、例えば舵角センサ４０の検出値に基づく回転角ｄｒおよび車両Ｃの進行方向を加味して、背景画像Ｂｉ１，Ｂｉ２における流れ方向ｄｂ１，ｄｂ２を決定する。

また、消失点Ｐ２が選択された場合、図３Ｃに示すように、背景画像生成部１１ｃは、かかる消失点Ｐ２から放射状に延びる各直線がドアミラーＭＲ，ＭＬに重なる方向に、例えば上記回転角ｄｒおよび車両Ｃの進行方向を加味して、背景画像Ｂｉ１，Ｂｉ２における流れ方向ｄｂ１，ｄｂ２を決定する。

また、背景画像情報１２ａには、図４Ａに示すように、例えば幾何学模様ａＰ１が含まれる。幾何学模様ａＰ１は、流れ方向ｄｂ１，ｄｂ２を示す形状として矢印を有する。また、図４Ｂに示すように、流れ方向ｄｂ１，ｄｂ２を示す、例えば尾を引く流れ星のような形状の幾何学模様ａＰ２が背景画像情報１２ａに含まれてもよい。

また、図４Ｃに示すように、流れ方向ｄｂ１，ｄｂ２を示す矢印ではあるが、曲線を含む幾何学模様ａＰ３が背景画像情報１２ａに含まれてもよい。なお、図４Ａから図４Ｃに例示した幾何学模様は流れ方向を示す形状（矢印）を含んでいるが、かかる形状を含まない円形、矩形、多角形などを背景画像情報１２ａの幾何学模様に採用してもよい。また、所定のマークなどを背景画像情報１２ａの幾何学模様に採用してもよい。

そして、背景画像生成部１１ｃは、例えばこれら幾何学模様ａＰ１〜ａＰ３のうちから選択されたものを用いて、かかる幾何学模様ａＰ１〜ａＰ３が決定した流れ方向ｄｂ１，ｄｂ２に沿って、かつ、車速センサ３０の検出値に応じた速度で移動する背景画像Ｂｉ１，Ｂｉ２を生成する。

なお、例えば、図４Ｃに示す幾何学模様ａＰ３が選択された場合、背景画像生成部１１ｃは、かかる幾何学模様ａＰ３の曲線形状によって、路面センサ５０からの検出値に基づく路面の起伏を表すように背景画像Ｂｉ１，Ｂｉ２を生成してもよい。

図２の説明に戻り、つづいて画像合成部１１ｄについて説明する。画像合成部１１ｄは、背景画像Ｂｉの内側にバックミラー画像Ｍｉが配置されるように、背景画像Ｂｉおよびバックミラー画像Ｍｉを合成する。

ここで、これまでの説明をより分かりやすくするために、バックミラー画像生成部１１ｂ、背景画像生成部１１ｃおよび画像合成部１１ｄにおける各処理を概略的に図５にまとめておく。図５は、画像処理装置１０における各処理の概略図である。

すなわち、図５に示すように、バックミラー画像生成部１１ｂが、撮像部２０の後方カメラ２１により撮像された車両Ｃの後方画像を鏡像反転させたバックミラー画像Ｍｉを生成する（ステップＳ１）。

また、背景画像生成部１１ｃが、車両Ｃの車速に応じた速度で、かつ、バックミラー画像Ｍｉとは異なる任意の流れ方向で流れる背景画像Ｂｉを生成する（ステップＳ２）。

そして、画像合成部１１ｄが、背景画像Ｂｉの内側にバックミラー画像Ｍｉが配置されるように、バックミラー画像Ｍｉと背景画像Ｂｉを合成する（ステップＳ３）。

次に、本実施形態に係る画像処理装置１０が実行する処理手順について、図６を用いて説明する。図６は、第１の実施形態に係る画像処理装置１０が実行する処理手順を示すフローチャートである。

図６に示すように、まず設定部１１ａが、利用者の操作部２を介した入力操作に基づき、背景画像情報１２ａの初期設定を行う（ステップＳ１０１）。そして、電子ミラーの機能がＯＮであるならば（ステップＳ１０２，Ｙｅｓ）、バックミラー画像生成部１１ｂが、撮像部２０から車両Ｃの後方画像を取得し（ステップＳ１０３）、これに基づいてバックミラー画像Ｍｉを生成する（ステップＳ１０４）。

また、背景画像生成部１１ｃは、車速センサ３０から車両Ｃの車速を取得するとともに（ステップＳ１０５）、背景画像Ｂｉの流れ方向を決定する（ステップＳ１０６）。そして、背景画像生成部１１ｃは、ステップＳ１０５およびＳ１０６の処理結果に基づいて背景画像Ｂｉを生成する（ステップＳ１０７）。

そして、画像合成部１１ｄが、バックミラー画像Ｍｉと背景画像Ｂｉを合成し（ステップＳ１０８）、表示制御部３へ出力した後、ステップＳ１０２からの処理を繰り返す。

また、電子ミラーの機能がＯＮでないならば（ステップＳ１０２，Ｎｏ）、処理を終了する。

上述してきたように、第１の実施形態に係る画像処理装置は、バックミラー画像生成部（「第１画像生成部」の一例に相当）と、背景画像生成部（「第２画像生成部」の一例に相当）と、画像合成部とを備える。

バックミラー画像生成部は、車両の外部を撮像する撮像部により撮像された車両の後方画像を鏡像反転させたバックミラー画像（「後写鏡画像」の一例に相当）を生成する。背景画像生成部は、車両の車速に応じた速度で、かつ、バックミラー画像とは異なる任意の流れ方向で流れる背景画像を生成する。画像合成部は、背景画像の内側にバックミラー画像が配置されるように背景画像およびバックミラー画像を合成する。

したがって、第１の実施形態に係る画像処理装置によれば、電子ミラーとして機能する表示部の表示領域を、違和感なく運転者に電子ミラーとして認知させることができる。

ところで、これまでは、背景画像が、撮像部の撮像画像に基づくことなく生成される場合を例に挙げたが、かかる撮像画像に基づき、背景画像を生成してもよい。かかる場合を第２の実施形態として、以下、説明する。

（第２の実施形態）
図７Ａは、第２の実施形態に係る情報表示システム１’のブロック図である。なお、図７Ａは、図２に対応しているため、図２と異なる部分について主に説明する。また、図７Ｂは、第２の実施形態に係る背景画像生成部１１ｃ’のブロック図である。

第２の実施形態に係る情報表示システム１’では、背景画像生成部１１ｃ’が、撮像部２０のうち、例えば、車両Ｃの前方撮像用に搭載された前方カメラ２２により撮像された車両Ｃの前方画像に基づき、背景画像Ｂｉを生成する。

具体的には、背景画像生成部１１ｃ’は、前述の前方画像を、任意の視点位置へ視点変換した視点変換画像を背景画像Ｂｉとして生成する。より具体的には、図７Ｂに示すように、背景画像生成部１１ｃ’は、歪み補正部１１ｃａと、視点変換演算部１１ｃｂとをさらに備える。背景画像Ｂｉに用いられる視点変換画像は、任意の視点位置から任意の視野方向をみた画像であるとも言える。

歪み補正部１１ｃａは、前方カメラ２２から取得した前方画像のレンズ歪みの補正処理を演算によって行う。また、歪み補正部１１ｃａは、補正処理後の前方画像を視点変換演算部１１ｃｂへ出力する。

視点変換演算部１１ｃｂは、歪み補正部１１ｃａから取得した補正処理後の前方画像を、例えば背景画像情報１２ａに含まれる任意の視点位置へ視点変換する演算処理を行う。また、視点変換演算部１１ｃｂは、演算処理後の視点変換画像を、背景画像Ｂｉとして画像合成部１１ｄへ出力する。

なお、任意の視点位置および任意の視野方向は、あらかじめ操作部２を介した利用者の入力操作によって背景画像情報１２ａへ設定することができる。ここで、視点位置は、運転者が車両の運転席に着座した場合の運転者の目の位置に相当する所定位置（以下、「ドライバ視点位置」と言う）が好ましい。また、視野方向は、運転者が運転席に着座した状態で車両のドラミラーＭＲ，ＭＬに自然に視線を向ける方向に相当する所定方向（以下、「ドライバ視野方向」と言う）が好ましい。

しかし、第１の実施形態でも述べたように、背景画像Ｂｉは、運転者に対し、車両Ｃの移動方向に対して相対的に流れる景色の移動方向を少なくとも想起させられればよい。このため、視点位置および視野方向を厳密にドライバ視点位置およびドライバ視野方向に一致させなくてもよく、任意の位置および方向であってよい。また、視点位置および視野方向のいずれか一方のみを、ドライバ視点位置およびドライバ視野方向に一致させてもよい。たとえば、視野方向のみをドライバ視野方向に一致させることで、背景画像Ｂｉの流れ方向ｄｂをより自然なものにすることができる。なお、かかる任意の視点位置および視野方向に応じて視点変換演算されれば、演算処理後の視点変換画像において背景画像Ｂｉの流れ方向ｄｂは、選択された視点位置および視野方向に応じて自動的に決まることとなる。

レンズ歪みの補正のための演算処理や視点変換のための演算処理については、画像処理技術における公知の手法を用いることができるので、ここでの詳細な記載は省略する。

次に、本実施形態に係る画像処理装置１０’が実行する処理手順について、図８を用いて説明する。図８は、第２の実施形態に係る画像処理装置１０’が実行する処理手順を示すフローチャートである。

図８に示すように、まず設定部１１ａが、利用者の操作部２を介した入力操作に基づき、背景画像情報１２ａの初期設定を行う（ステップＳ２０１）。本実施形態では、前述の任意の視点位置および視野方向が設定されることとなる。

そして、電子ミラーの機能がＯＮであるならば（ステップＳ２０２，Ｙｅｓ）、バックミラー画像生成部１１ｂが、撮像部２０から車両Ｃの後方画像を取得し（ステップＳ２０３）、これに基づいてバックミラー画像Ｍｉを生成する（ステップＳ２０４）。

また、背景画像生成部１１ｃ’は、撮像部２０から車両Ｃの前方画像を取得し（ステップＳ２０５）、かかる前方画像を視点変換演算する（ステップＳ２０６）。そして、背景画像生成部１１ｃ’は、視点変換後の視点変換画像を、背景画像Ｂｉとして生成する（ステップＳ２０７）。

そして、画像合成部１１ｄが、バックミラー画像Ｍｉと背景画像Ｂｉを合成し（ステップＳ２０８）、表示制御部３へ出力した後、ステップＳ２０２からの処理を繰り返す。

また、電子ミラーの機能がＯＮでないならば（ステップＳ２０２，Ｎｏ）、処理を終了する。

上述してきたように、第２の実施形態に係る画像処理装置は、バックミラー画像生成部（「第１画像生成部」の一例に相当）と、背景画像生成部（「第２画像生成部」の一例に相当）と、画像合成部とを備える。

バックミラー画像生成部は、車両の外部を撮像する撮像部により撮像された車両の後方画像を鏡像反転させたバックミラー画像（「後写鏡画像」の一例に相当）を生成する。背景画像生成部は、車両の車速に応じた速度で、かつ、バックミラー画像とは異なる任意の流れ方向で流れる背景画像を生成する。画像合成部は、背景画像の内側にバックミラー画像が配置されるように背景画像およびバックミラー画像を合成する。

また、第２の実施形態に係る画像処理装置は、背景画像生成部が、撮像部により撮像された車両の前方画像を、任意の視点位置へ視点変換した視点変換画像を背景画像とする。

したがって、第２の実施形態に係る画像処理装置によれば、電子ミラーとして機能する表示部の表示領域を、違和感なく運転者に電子ミラーとして認知させることができる。

ところで、第１または第２の実施形態に係る情報表示システム１，１’は、図９に一例として示す構成のコンピュータ６００で実現することができる。図９は、実施形態に係る情報表示システム１，１’の機能を実現するコンピュータの一例を示すハードウェア構成図である。

コンピュータ６００は、ＣＰＵ（Central Processing Unit）６１０と、ＲＯＭ（Read Only Memory）６２０と、ＲＡＭ（Random Access Memory）６３０と、ＨＤＤ（Hard Disk Drive）６４０とを備える。また、コンピュータ６００は、メディアインターフェイス（Ｉ／Ｆ）６５０と、通信インターフェイス（Ｉ／Ｆ）６６０と、入出力インターフェイス（Ｉ／Ｆ）６７０とを備える。

なお、コンピュータ６００は、ＳＳＤ（Solid State Drive）を備え、かかるＳＳＤがＨＤＤ６４０の一部または全ての機能を実行するようにしてもよい。また、ＨＤＤ６４０に代えてＳＳＤを設けることとしてもよい。

ＣＰＵ６１０は、ＲＯＭ６２０およびＨＤＤ６４０の少なくとも一方に格納されるプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ６２０は、コンピュータ６００の起動時にＣＰＵ６１０によって実行されるブートプログラムや、コンピュータ６００のハードウェアに依存するプログラムなどを格納する。ＨＤＤ６４０は、ＣＰＵ６１０によって実行されるプログラムおよびかかるプログラムによって使用されるデータ等を格納する。

メディアＩ／Ｆ６５０は、記憶媒体６８０に格納されたプログラムやデータを読み取り、ＲＡＭ６３０を介してＣＰＵ６１０に提供する。ＣＰＵ６１０は、かかるプログラムを、メディアＩ／Ｆ６５０を介して記憶媒体６８０からＲＡＭ６３０上にロードし、ロードしたプログラムを実行する。あるいは、ＣＰＵ６１０は、かかるデータを用いてプログラムを実行する。記憶媒体６８０は、例えばＤＶＤ（Digital Versatile Disc）などの光磁気記録媒体やＳＤカード、ＵＳＢメモリなどである。

通信Ｉ／Ｆ６６０は、ネットワーク６９０を介して他の機器からデータを受信してＣＰＵ６１０に送り、ＣＰＵ６１０が生成したデータを、ネットワーク６９０を介して他の機器へ送信する。あるいは、通信Ｉ／Ｆ６６０は、ネットワーク６９０を介して他の機器からプログラムを受信してＣＰＵ６１０に送り、ＣＰＵ６１０がかかるプログラムを実行する。

ＣＰＵ６１０は、入出力Ｉ／Ｆ６７０を介して、ヘッドアップディスプレイ等の表示部４といった出力部、キーボードやマウス、ボタン等の操作部２といった入力部を制御する。ＣＰＵ６１０は、入出力Ｉ／Ｆ６７０を介して、入力部からデータを取得する。また、ＣＰＵ６１０は、生成したデータを入出力Ｉ／Ｆ６７０を介して表示部４や出力部に出力する。

例えば、コンピュータ６００が情報表示システム１として機能する場合、コンピュータ６００のＣＰＵ６１０は、ＲＡＭ６３０上にロードされたプログラムを実行することにより、設定部１１ａと、バックミラー画像生成部１１ｂと、背景画像生成部１１ｃ，１１ｃ’と、画像合成部１１ｄとを含む画像処理装置１０，１０’の制御部１１，１１’および表示制御部３の各機能を実現する。

コンピュータ６００のＣＰＵ６１０は、例えばこれらのプログラムを記憶媒体６８０から読み取って実行するが、他の例として、他の装置からネットワーク６９０を介してこれらのプログラムを取得してもよい。また、ＨＤＤ６４０は、記憶部１２が記憶する情報を記憶することができる。

ところで、上述した実施形態では、電子ミラー画像中に、実際のバックミラーの外枠を模した外枠画像は含まれない場合を例示したが、かかる外枠画像を含むこととしてもよい。

かかる場合、バックミラー画像生成部は、実際のバックミラーの外枠を模した外枠画像をさらに生成し、この外枠画像によってバックミラー画像の周囲を囲み、画像合成部は、背景画像の内側に外枠画像およびバックミラー画像が配置されるように背景画像、外枠画像およびバックミラー画像を合成すればよい。

また、上述した実施形態では、主にドアミラーを電子ミラーとする場合を例に挙げたが、サイドアンダーミラーやルームミラーを電子ミラーとする場合にも、本実施形態は適用が可能である。

また、上述した実施形態では、背景画像の流れ方向が、少なくとも運転者に対し、車両の移動方向に対して相対的に流れる景色の流れ方向を想起させるものである場合を例に挙げた。しかし、実際のバックミラーを運転者が視野に捉える場合において、車両の移動方向に関わらず、鏡像の周囲に鏡像の周囲とは異なる流れ方向で流れる背景が存在するだけでも、単に鏡像のみを視認する場合に比べて、運転者がバックミラーであると認知できる可能性は高い。

したがって、背景画像は、その流れ方向が車両の移動方向に関わらずランダムなパターンであって、例えば幾何学模様がバックミラー画像の周囲を乱舞するようなものであってもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１，１’ 情報表示システム
２ 操作部
３ 表示制御部
４ 表示部
１０，１０’ 画像処理装置
１１，１１’ 制御部
１１ａ 設定部
１１ｂ バックミラー画像生成部
１１ｃ，１１ｃ' 背景画像生成部
１１ｃａ 歪み補正部
１１ｃｂ 視点変換演算部
１１ｄ 画像合成部
１２ 記憶部
１２ａ 背景画像情報
２０ 撮像部
２１ 後方カメラ
２２ 前方カメラ
３０ 車速センサ
４０ 舵角センサ
５０ 路面センサ
Ｂｉ，Ｂｉ１，Ｂｉ２ 背景画像
Ｃ 車両
Ｄ１〜Ｄ３ 表示領域
ＭＬ、ＭＲ ドアミラー
Ｍｉ，Ｍｉ１，Ｍｉ２ バックミラー画像
Ｐ，Ｐ１，Ｐ２ 消失点
ａＰ１〜ａＰ３ 幾何学模様
ｄｂ，ｄｂ１，ｄｂ２ 流れ方向

Claims (10)

1. 車両の外部を撮像する撮像部により撮像された前記車両の後方画像を鏡像反転させた後写鏡画像を生成する第１画像生成部と、
   前記車両の車速に応じた速度で、かつ、前記後写鏡画像とは異なる任意の流れ方向で流れる模様を含む背景画像を生成する第２画像生成部と、
   前記背景画像の内側に前記後写鏡画像が配置されるように前記背景画像および前記後写鏡画像を合成する画像合成部と
   を備えることを特徴とする画像処理装置。
2. 前記第２画像生成部は、
   前記車両の運転者に対し、少なくとも前記車両の移動方向に対して相対的に流れる景色の移動方向を想起させる方向となるように前記流れ方向を決定すること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記第２画像生成部は、
   幾何学模様を含む前記背景画像を生成し、前記幾何学模様を前記車速に応じた速度および前記流れ方向で移動させること
   を特徴とする請求項１または２に記載の画像処理装置。
4. 前記第２画像生成部は、
   前記流れ方向を示す形状を有する前記幾何学模様を用いること
   を特徴とする請求項３に記載の画像処理装置。
5. 前記第２画像生成部は、
   前記撮像部により撮像された前記車両の前方画像を、任意の視点位置へ視点変換した視点変換画像を前記背景画像とすること
   を特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
6. 前記第１画像生成部は、
   実際の後写鏡の外枠を模した外枠画像をさらに生成して、該外枠画像によって前記後写鏡画像の周囲を囲み、
   前記画像合成部は、
   前記背景画像の内側に前記外枠画像および前記後写鏡画像が配置されるように前記背景画像、前記外枠画像および前記後写鏡画像を合成すること
   を特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
7. 前記第１画像生成部は、
   車体外後写鏡に対応する前記後写鏡画像を生成すること
   を特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
8. 請求項１〜７のいずれか一つに記載の画像処理装置と、
   前記画像処理装置により処理された画像を運転支援情報として表示する表示部と
   を備えることを特徴とする情報表示システム。
9. 車両の外部を撮像する撮像部により撮像された前記車両の後方画像を鏡像反転させた後写鏡画像を生成する第１画像生成工程と、
   前記車両の車速に応じた速度で、かつ、前記後写鏡画像とは異なる任意の流れ方向で流れる模様を含む背景画像を生成する第２画像生成工程と、
   前記背景画像の内側に前記後写鏡画像が配置されるように前記背景画像および前記後写鏡画像を合成する画像合成工程と
   を含むことを特徴とする画像処理方法。
10. 車両の外部を撮像する撮像部により撮像された前記車両の後方画像を鏡像反転させた後写鏡画像を生成する第１画像生成ステップと、
    前記車両の車速に応じた速度で、かつ、前記後写鏡画像とは異なる任意の流れ方向で流れる模様を含む背景画像を生成する第２画像生成ステップと、
    前記背景画像の内側に前記後写鏡画像が配置されるように前記背景画像および前記後写鏡画像を合成する画像合成ステップと
    をコンピュータに実行させることを特徴とするプログラム。

Images