以下、本発明による画像処理装置を車両の駐車操作支援装置に適用した場合の実施形態を、図面を参照しながら説明する。
[第1実施形態]
図1は本発明の第1実施形態に係る画像処理装置を適用した車両の駐車操作支援装置の構成を示すブロック図である。図1中引用符号100で示す本発明の駐車操作支援装置は、図2に示す車両1に搭載される。そして、図1に示す駐車操作支援装置100は、4台のカメラ101a〜101d(請求項中の撮影手段に相当)、画像処理ユニット102、モニタ108(請求項中の表示手段に相当)、制御部109、及び、操作パネル110を有している。
4台のカメラ101a〜101dは、図2に示すように、車両1のフロント中央、左右のドアミラー、及び、リア中央にそれぞれ取り付けられている。各カメラ101a〜101dはそれぞれ図2中の矢印で示す撮影方向で、車両1の周囲をそれぞれ撮影する。各カメラ101a〜101dによる撮影画像の映像信号は、図1に示す画像処理ユニット102にそれぞれ出力される。
画像処理ユニット102は、4つの映像入力部103a〜103d及び入力映像フレームメモリ104a〜104dと、演算部105(請求項中の仮想画像変換手段に相当)、出力映像フレームメモリ106、及び、映像出力部107とを有している。
各映像入力部103a〜103dでは、対応するカメラ101a〜101dから入力される映像信号が、デジタルデータによるRGBのビットマップに展開される。ビットマップに展開された各カメラ101a〜101dによる撮影画像のデジタルデータは、対応する入力映像フレームメモリ104a〜104dにそれぞれ一時的に記憶される。演算部105は、例えば、画像処理用のプロセッサによって構成することができる。この演算部105は、各入力映像フレームメモリ104a〜104dにそれぞれ記憶された撮影画像のデジタルデータに対して視点変換処理を施す。この視点変換処理により、各カメラ101a〜101dの撮影画像のデジタルデータは、任意の視点及び撮影方向から仮想カメラで撮影した仮想画像のデジタルデータに変換されて、出力映像フレームメモリ106に一時的に記憶される。
ここで、演算部105が行う視点変換処理は、例えば、特開2003−281505号公報に記載された手法を用いて行うことができる。図3は、特開2003−281505号公報に記載された視点変換処理の説明図である。この説明図では、図1の各カメラ101a〜101dに対応する実カメラ11の撮影画像のデジタルデータを、実カメラ11とは視点及び撮影方向が異なる仮想カメラ32による仮想の撮影画像(仮想画像)のデジタルデータに変換する場合を示している。
まず、実空間に合わせて仮想空間を設定し、仮想空間上に視点及び撮影方向を合わせて実カメラ11と仮想カメラ32とを配置する。次に、投影面を設定する。図3ではxy平面を投影面に設定しているが、実空間の地形や物体の存在に合わせて、投影面を複数設けてもよい。次に、仮想カメラ32の画素の1つに注目し、注目した画素を画素Vとする。仮想カメラ32の画素Vは面積を持っているので、画素Vの中心点の座標を画素Vの座標とする。仮想カメラ32の視点及び撮影方向の情報と合わせ、投影面と光線35との交点33を求める。次に、交点33から実カメラ11への光線34を考える。光線34の実カメラ11への入射が実カメラ11の撮影範囲内の場合には、光線34が実カメラ11のどの画素に入射するかを計算する。この場合、実カメラ11で撮影される画像について光線34が実カメラ11のどの画素に入射するかを計算する。この光線34が入射する画素を画素Rとすると、画素Vと画素Rとが対応し、画素Vの色及び輝度を画素Rの色及び輝度とする。
なお、光線34の実カメラ11への入射が実カメラ11の撮影範囲外の場合や、光線34が実カメラ11の撮像面に入射しない場合には、交点33は実カメラ11に映っていないので、仮想カメラ32の画素Vには何も映っていないとする。この場合の画素Vの色はシステムのデフォルト値(黒等。もちろん黒以外でもよい)を用いるものとする。
また、画素Vを代表する座標は上記例では1画素につき1点としたが、代表する代表座標を画素V内に複数設けてもよい。この場合には、各代表座標それぞれに対して光線34が実カメラ11のどの画素に入射するかを計算し、得られた複数の色及び輝度をブレンディングし、画素Vの色及び輝度とする。この場合、ブレンディングの比率は等しくする。また、色及び輝度のブレンディンクの手法としてはアルファブレンディング等の手法があり、コンピュータグラフィックの分野では一般的な手法である。
以上の処理を仮想カメラ32の画素すべてについて行ない、仮想カメラ32の各画素の色及び輝度を確定することで仮想カメラ32の画像、即ち、視点変換画像を作成することができ、空間上の実カメラ11の画像、即ち、画像変換画像を視点変換画像へと視点変換することができる。
図1の演算部105は、例えば上述した特開2003−281505号公報に記載された内容による視点変換処理を、各カメラ101a〜101dの撮影映像のデジタルデータに対してそれぞれ行う。視点変換処理された各カメラ101a〜101dの撮影映像のデジタルデータは、演算部105によって出力映像フレームメモリ106の対応するフレームメモリ部分にそれぞれ書き込まれて合成される。これにより、例えば図4の説明図に示す、車両1を上方から俯瞰した仮想画像のデジタルデータが得られる。
なお、図1の演算部105が実際に行う各カメラ101a〜101dの撮影画像のデジタルデータから仮想カメラによる仮想画像のデジタルデータへの視点変換処理において、仮想カメラの各画素とそれに対応する各カメラ101a〜101dの画素との対応付けを予め計算しておいて、例えば、演算部105に内蔵のメモリ、あるいは演算部105に外付けしたメモリにテーブルとして記憶させておいても良い。そのように構成すれば、各カメラ101a〜101dの各画素のデジタルデータを仮想カメラの対応する各画素のデジタルデータに割り付ける処理を行う度に、各カメラ101a〜101dの各画素と仮想カメラの各画素との対応付けを演算部105で計算しなくて済むようになる。つまり、メモリのテーブルを参照して割り付け処理を演算部105に行わせることができる。したがって、例えば視点変換処理後の仮想画像により動画を生成する場合には、上述したテーブルを用いた割り付け処理を行うことで、演算部105の処理の負担を減らし、フレーム落ち等の処理速度不足が演算部105で発生するのを抑制することができる。
また、仮想カメラの特定の画素に対して、2つ以上のカメラ101a〜101dの画素が対応する場合は、予め各カメラ101a〜101dの間で優先順位を決めておき、優先順位の高いカメラの画素のデジタルデータを、対応する仮想カメラの画素のデジタルデータに割り付けるようにしても良い。あるいは、仮想カメラの特定の画素に対応する複数のカメラ101a〜101dの画素のデジタルデータの平均値を、対応する仮想カメラの画素のデジタルデータに割り付けるようにしても良い。
ちなみに、演算部105は、各カメラ101a〜101dのうちいずれか1つからの撮影画像のデジタルデータを、視点変換処理せずにそのまま出力映像フレームメモリ106に書き込むこともある。
出力映像フレームメモリ106に書き込まれた撮影画像や仮想画像のデジタルデータは、所定の読み出し周期で映像出力部107にフレーム単位で読み出され、さらにモニタ108に出力される。これにより、モニタ108には、出力映像フレームメモリ106から読み出された撮影画像又は仮想画像が表示される。
操作パネル110は、モニタ108上のタッチパネルやモニタ108の近傍のスイッチ等によって構成することができる。この操作パネル110は、車両1の運転者によって操作される。運転者は操作パネル110の操作によって、モニタ108に表示される画像(撮影画像又は仮想画像)の視点及び撮影方向の変更要求を入力する。この変更要求は、例えば、変更先の視点及び撮影方向に対応付けて付されたメニュータイトルのボタンを、運転者が押圧操作することによって入力することができる。メニュータイトルとしては、車両1の前方の映像であるフロントサイドビュー、車両1を上方から見下ろした俯瞰映像であるアラウンドビュー、車両1の側方の死角部分の映像であるサイドブラインドビュー、車両1の後方の映像であるリアビュー等がある。入力された変更要求は、操作パネル110から制御部109に入力される。
制御部109は、例えばマイクロプロセッサによって構成されている。制御部109は、操作パネル110から入力された変更要求の内容に応じて、モニタ108に表示される画像の変更後の視点及び撮影方向を演算部105に指示する。
例えば、図4の仮想画像(請求項中の第1画像に相当)がモニタ108に表示されている状態で、モニタ108の表示をリアビューの画像(請求項中の第2画像に相当)に変更する要求が、操作パネル110の操作により入力されたものとする。その場合には、制御部109が演算部105に、仮想カメラの視点及び撮影方向を、図5に示す車両1の真上の符号6Aで示す視点及び撮影方向から、符号6Gで示す視点及び撮影方向に変更させる指示を出力する。
この制御部109からの指示により、演算部105は、上述した視点変換処理によって得る仮想画像の視点及び撮影方向を、図5の符号6A→6B→6C→6D(6E)→6F→6Gの経路で変更させる。この経路は、制御部109が決定して演算部105に指示しても良く、制御部109からの指示を受けた演算部105が決定してもよい。また、経路の決定は、制御部109又は演算部105が内部のメモリに記憶させておいた経路を読み出すことで行っても良く、制御部109又は演算部105が演算することで行っても良い。
ところで、符号6Gで示す変更先の視点及び撮影方向の画像(リアビューの画像)は、運転者が車両1の後ろを振り返って見た視界のような画像である。このような視界の画像は、車両1のリア中央に設置したカメラ101dの撮影画像を、演算部105で視点変換処理することで得られる。但し、カメラ101dの撮影画像では、車両1に対する路肩線と中央線との位置関係が、図4の仮想画像における車両1に対する路肩線と中央線との位置関係とは逆になる。路肩線や中央線の車両1に対する位置関係がモニタ108に表示する画面によって変わると、運転者が画面の表示内容を把握しづらくなる。そこで、リアビューの画像については、演算部105において、視点変換処理の際に左右反転処理も行っている。これにより、図6(g)に示すように、モニタ108に表示される仮想画像の車両1に対する路肩線や中央線の位置関係を、図4の仮想画像における位置関係と同じにしている。
図5の符号6Gの視点における図6(g)のリアビューの画像は、上述したように、左右反転させた仮想画面である。したがって、運転者によるモニタ108の表示内容の把握を容易にするために、符号6Fの区間や符号6Eの視点においてモニタ108に表示する仮想画面も、左右反転させた仮想画像とするのが望ましい。そこで、図5では、符号6E及び符号6Gの各視点にそれぞれ示すカメラ(仮想カメラ)のアイコンを、モニタ108に表示する仮想画像が左右反転であることを示す黒塗りで示している。
なお、黒塗りのカメラのアイコンにおける白い四角の印は、各カメラの上後端の位置を示す。つまり、符号6E及び符号6Gの各視点にそれぞれ示すカメラ(仮想カメラ)は、現実の天地方向とカメラで撮影した画像における天地方向とが一致している。そして、符号6Eの視点から符号6Fの区間を経て符号6Gの視点に仮想カメラが移動する間、モニタ108に表示される仮想画像では、図6(e)〜(g)にそれぞれ示すように、車両1の進行方向における前方が画面の下側に位置し、後方が画面の上側に位置することになる。
一方、図5の符号6Aの視点における図6(a)のアラウンドビューの画像(図4に示す仮想映像と同じ画像)は、演算部105の視点変換処理によって得られた仮想画像のままであって、画面の左右反転は行っていない。したがって、運転者によるモニタ108の表示内容の把握を容易にするためには、符号6Aの視点においてモニタ108に表示する図6(a)のアラウンドビューの画像(図4に示す仮想映像)と同じく、符号6B,6Dの視点や符号6Cの区間においてモニタ108に表示する仮想画像とは、車両1に対する路肩線や中央線の位置関係が統一されていることが望ましい。そのため、演算部105は、符号6B,6Dの視点や符号6Cの区間においてモニタ108に表示する仮想画像を、左右反転させていないものとする。そこで、図5では、符号6B及び符号6Dの各視点にそれぞれ示すカメラ(仮想カメラ)のアイコンを、左右反転させていない画像を得るためのものであることを示す白抜きで示している。
なお、白抜きのカメラのアイコンにおける黒い四角の印は、各カメラの上後端の位置を示す。つまり、符号6B及び符号6Dの各視点にそれぞれ示すカメラ(仮想カメラ)は、現実の天地方向とカメラで撮影した画像における天地方向とが逆転している。そして、符号6Aの視点から符号6Bの視点、さらには、符号6Cの区間を経て符号6Dの視点に仮想カメラが移動する間、モニタ108に表示される仮想画像では、図6(a)〜(d)にそれぞれ示すように、車両1の進行方向における前方が画面の上側に位置し、後方が画面の下側に位置することになる。
したがって、図5の符号6Aの視点から符号6Dの視点までの経路においてモニタ108に表示される仮想画像(請求項中の第1動画に相当)と、符号6Eの視点から符号6Gの視点までの経路においてモニタ108に表示される仮想画像(請求項中の第2動画に相当)とでは、モニタ108の画面における上下方向(天地方向)及び左右方向が反転している。
モニタ108の画面における上下方向(天地方向)や左右方向が反転している2つの仮想画像を続けてモニタ108に表示すると、仮想画像の連続性が損なわれる。このことは、図7のチャートに顕著に現れる。このチャートは、図5に示す経路で仮想カメラの視点及び撮影方向を符号6Aの視点から符号6Gの視点まで移動させた場合の、仮想カメラのピッチ角、X座標(進行方向座標)、Z座標(高さ方向座標)、及び、左右反転の有無の時系列変化を示すチャートである。図7のチャートによれば、仮想カメラのX座標とZ座標は連続するが、仮想カメラのピッチ角と左右反転の有無については連続しなていない。
このように、モニタ108に表示する仮想画像の連続性が損なわれると、モニタ108の画面における上下方向が反転している両仮想画像中の同じ物体を、運転者が対応付けて認識することが非常に困難となる。これでは、駐車操作支援装置100として十分な機能を発揮することができない。
そこで、本実施形態では、図5の符号6Aの視点から符号6Gの視点までの変更経路上の同一点に設定された、モニタ108の画面における仮想画像の上下方向が逆転する図5の符号6Dの視点と符号6Eの視点とにおいて、演算部105が、図6(d),(e)にそれぞれ示すような仮想画像(請求項中の第3画像に相当)を、モニタ108に表示させる構成としている。
図6(d),(e)の仮想画像では共に、画面の全体に車両1の車体の屋根部分1aが表示される。つまり、図6(d)の仮想画像と図6(e)の仮想画像とはそれぞれの表示内容が同じである。そして、図6(d),(e)の仮想画像は、モニタ108の画面の中心(重心)を通る任意の線を対称軸とする線対称画像である。
即ち、演算部105は、図5の符号6Cの区間においてモニタ108に表示される図6(a)〜(c)の動画(第1動画)と、図5の符号6Fの区間においてモニタ108に表示される図6(f),(g)の動画(第2動画)との間に、図6(d),(e)の仮想画像(第3画像)を挿入する動作を行うことになる。
そして、演算部105は、図5の符号6Aの視点から符号6Dの視点まで仮想カメラを車両1の屋根部分1aに接近させるアングルで、モニタ108に図6(a)〜(c)の動画(第1動画)を表示させる。その後、演算部105は、画面の全体に車両1の屋根部分1aが写された図6(d),(e)の仮想画像(第3画像)を、モニタ108に表示させる。さらに、演算部105は、図5の符号6Eの視点から符号6Gの視点まで仮想カメラを車両1の屋根部分1aから離間させるアングルで、モニタ108に図6(f),(g)の動画(第2動画)を表示させる。
なお、図4や図6(a)〜(g)の仮想画像中に表示する車両1の画像は、各カメラ101a〜101dを用いて撮影した実際の撮影画像によるものである必要はない。例えば、演算部105に内蔵又は外付けしたメモリに予め記憶させておいたデータによる車両1のアイコン画像を、図1の出力映像フレームメモリ106に重畳して書き込むことで、仮想画像中に車両1の画像が表示されるようにしても良い。
以上の説明からも明らかなように、本実施形態の車両の駐車操作支援装置100では、カメラ101a〜101d、画像処理ユニット102、及び、モニタ108によって、本発明の画像処理装置が構成されている。
このように構成された本実施形態の画像処理装置では、車両1の屋根部分1aに徐々に近づく図6(a)〜(d)の動画(第1動画)に続けて、画面の全体に屋根部分1aが表示される図6(d)の仮想画像(第3画像)がモニタ108に表示されると、恰も連続する一連の動画であるかのように運転者に視認される。また、図6(e)の仮想画像(第3画像)に続けて、屋根部分1aから徐々に離れる図6(e)〜(g)の動画(第2動画)がモニタ108に表示されると、これもまた、恰も連続する一連の動画であるかのように運転者に視認される。そして、両者の境界(接続点)である図6(d),(e)の仮想画像(第3画像)は、共に車両1の屋根部分1aをモニタ108の画面全体に表示する同じ内容の画像であり、かつ、モニタ108の画面の中心を通る任意の線を対称軸とする線対称画像である。このため、図6(d)の仮想画像から図6,(e)の仮想画像にモニタ108の表示内容が切り替わって、モニタ108の画面における上下方向が実際には反転しても、そのような視覚上の印象を運転者には与えない。
このため、車両1を上方から俯瞰する図5の符号6Aの視点から、車両1の後方を見る図5の符号6Gの視点に、仮想カメラの視点を切り替えるのに伴って、モニタ108に表示される仮想画像が、図6(a)の仮想画像から、モニタ108の画面における仮想画像の上下方向及び左右方向が反転する図6(g)の仮想画像に切り替わる際に、仮想画像の上下方向及び左右方向を一瞬で反転させず、連続的に時間をかけて反転させることができる。このため、モニタ108の画面における仮想画像の上下方向及び左右方向が切り替わった際に、切り替えの前後の仮想画像中に存在する同じ物体やその位置関係を、運転者に容易に認識させることができる。
[第2実施形態]
次に、本発明の第2実施形態に係る画像処理装置を適用した車両の駐車操作支援装置について説明する。第2実施形態に係る駐車操作支援装置は、図1に示す第1実施形態の駐車操作支援装置と同様の構成を有している。そして、図1の制御部109の指示により演算部105が視点変換処理によって得る仮想画像の視点及び撮影方向を変更させる際の経路が、図5に示す第1実施形態の経路とは異なっている。
そして、図4の仮想画像(請求項中の第1画像に相当)がモニタ108に表示されている状態で、モニタ108の表示をリアビューの画像(請求項中の第2画像に相当)に変更する要求が、操作パネル110の操作により入力された場合、第2実施形態では、制御部109が演算部105に、仮想カメラの視点及び撮影方向を、図8に示す車両1の真上の符号7Aで示す視点及び撮影方向から、符号7Fで示す視点及び撮影方向に変更させる指示を出力する。
この制御部109からの指示により、演算部105は、視点変換処理によって得る仮想画像の視点及び撮影方向を、図8の符号7A→7B→7C→7D→7E→7Fの経路で変更させる。この経路は、制御部109が決定して演算部105に指示しても良く、制御部109からの指示を受けた演算部105が決定してもよい。また、経路の決定は、制御部109又は演算部105が内部のメモリに記憶させておいた経路を読み出すことで行っても良く、制御部109又は演算部105が演算することで行っても良い。
ここで、符号7Fで示す変更先の視点及び撮影方向の画像(リアビューの画像)は、運転者が車両1の後ろを振り返って見た視界のような画像であり、図9(f)に示すように、左右反転させた仮想画面である。したがって、運転者によるモニタ108の表示内容の把握を容易にするために、符号7Dや符号7Eの各視点においてモニタ108に表示する仮想画面も、左右反転させた仮想画像とするのが望ましい。そこで、図8では、符号7D、符号7E、及び、符号7Fの各視点にそれぞれ示すカメラ(仮想カメラ)のアイコンを、モニタ108に表示する仮想画像が左右反転であることを示す黒塗りで示している。
なお、黒塗りのカメラのアイコンにおける白い四角の印は、各カメラの上後端の位置を示す。つまり、符号7D、符号7E、及び、符号7Fの各視点にそれぞれ示すカメラ(仮想カメラ)は、現実の天地方向とカメラで撮影した画像における天地方向とが一致している。そして、符号7Dの視点から符号7Eの視点を経て符号7Fの視点に仮想カメラが移動する間、モニタ108に表示される仮想画像では、図9(d)〜(f)にそれぞれ示すように、車両1の進行方向における前方が画面の下側に位置し、後方が画面の上側に位置することになる。
一方、図8の符号7Aの視点における図9(a)のアラウンドビューの画像(図4に示す仮想映像と同じ画像)は、画面の左右反転は行っていない。したがって、運転者によるモニタ108の表示内容の把握を容易にするためには、符号7Aの視点においてモニタ108に表示する図9(a)のアラウンドビューの画像(図4に示す仮想映像)と同じく、符号7B,7Cの視点においてモニタ108に表示する仮想画像とは、車両1に対する路肩線や中央線の位置関係が統一されていることが望ましい。そのため、演算部105は、符号7B,7Cの視点においてモニタ108に表示する仮想画像を、左右反転させていないものとする。そこで、図5では、符号7B及び符号7Cの各視点にそれぞれ示すカメラ(仮想カメラ)のアイコンを、左右反転させていない画像を得るためのものであることを示す白抜きで示している。
なお、白抜きのカメラのアイコンにおける黒い四角の印は、各カメラの上後端の位置を示す。つまり、符号7B及び符号7Cの各視点にそれぞれ示すカメラ(仮想カメラ)は、現実の天地方向とカメラで撮影した画像における天地方向とが逆転している。そして、符号7Aの視点から符号7Bの視点、さらには、符号7Cの視点に仮想カメラが移動する間、モニタ108に表示される仮想画像では、図9(a)〜(c)にそれぞれ示すように、車両1の進行方向における前方が画面の上側に位置し、後方が画面の下側に位置することになる。
したがって、図8の符号7Aの視点から符号7Cの視点までの経路においてモニタ108に表示される仮想画像(請求項中の第1動画に相当)と、符号7Dの視点から符号7Fの視点までの経路においてモニタ108に表示される仮想画像(請求項中の第2動画に相当)とでは、モニタ108の画面における上下方向(天地方向)及び左右方向が反転している。
モニタ108の画面における上下方向(天地方向)や左右方向が反転している2つの仮想画像を続けてモニタ108に表示すると、仮想画像の連続性が損なわれる。このことは、図10のチャートに顕著に現れる。このチャートは、図8に示す経路で仮想カメラの視点及び撮影方向を符号7Aの視点から符号7Fの視点まで移動させた場合の、仮想カメラのピッチ角、X座標(進行方向座標)、Z座標(高さ方向座標)、及び、左右反転の有無の時系列変化を示すチャートである。図10のチャートによれば、仮想カメラのX座標とZ座標は連続するが、仮想カメラのピッチ角と左右反転の有無については連続しなていない。
このように、モニタ108に表示する仮想画像の連続性が損なわれると、モニタ108の画面における上下方向が反転している両仮想画像中の同じ物体を、運転者が対応付けて認識することが非常に困難となる。これでは、駐車操作支援装置100として十分な機能を発揮することができない。
そこで、本実施形態では、図8の符号7Aの視点から符号7Fの視点までの変更経路上の同一点に設定された、モニタ108の画面における仮想画像の上下方向が逆転する図8の符号7Cの視点と符号7Dの視点との間で、演算部105が、図9(c´)に示すような仮想画像(請求項中の第3画像に相当)を、モニタ108に表示させる構成としている。
図9(c´)の仮想画像は、符号7Cの視点における仮想カメラの仮想画像である図9(c)の画像と、符号7Dの視点における仮想カメラの仮想画像である図9(d)の画像とを、重ね合わせて合成した内容の画像である。つまり、図9(c´)の仮想画像では、モニタ108の画面の上下方向中央に路面Sが水平な直線で表示される。そして、路面Sの上下にそれぞれ前方から写した車両1が表示される。路面Sの上に表示される車両1は、図9(c)の画像でモニタ108に表示される、天地方向が画面の上下方向と一致した車両1である。路面Sの下に表示される車両1は、図9(d)の画像でモニタ108に表示される、天地方向が画面の上下方向とは反転した車両1である。よって、図9(c´)の仮想画像は、路面Sの線を対称軸とする線対称画像である。
即ち、演算部105は、図8の符号7Aの視点から符号7Cの視点に仮想カメラの視点及び撮影方向が移動する間にモニタ108に表示される図9(a)〜(c)の動画(第1動画)と、図8の符号7Dの視点から符号7Fの視点に仮想カメラの視点及び撮影方向が移動する間にモニタ108に表示される図9(d)〜(f)の動画(第2動画)との間に、図9(c´)の仮想画像(第3画像)を挿入する動作を行うことになる。
そして、演算部105は、図8の符号7Aの視点から符号7Cの視点まで、車両1の上方の仮想カメラを車両1の前方に移動させるアングルで、モニタ108に図9(a)〜(c)の動画(第1動画)を表示させる。その後、演算部105は、正面から見た車両1が路面Sの上下にそれぞれの天地方向を反転させて写された図9(c´)の仮想画像(第3画像)を、モニタ108に表示させる。さらに、演算部105は、図8の符号7Dの視点から符号7Fの視点まで、車両1の前方の仮想カメラを車両1の後方に移動させるアングルで、モニタ108に図9(d)〜(f)の動画(第2動画)を表示させる。
なお、本実施形態においても、図9(a)〜(f)の仮想画像(図9(c´)の仮想画像も含む)中に表示する車両1の画像は、各カメラ101a〜101dを用いて撮影した実際の撮影画像によるものである必要はない。例えば、演算部105に内蔵又は外付けしたメモリに予め記憶させておいたデータによる車両1のアイコン画像を、図1の出力映像フレームメモリ106に重畳して書き込むことで、仮想画像中に車両1の画像が表示されるようにしても良い。
以上の説明からも明らかなように、本実施形態の車両の駐車操作支援装置100でも、第1実施形態の駐車操作支援装置100と同様に、カメラ101a〜101d、画像処理ユニット102、及び、モニタ108によって、本発明の画像処理装置が構成されている。
このように構成された本実施形態の画像処理装置では、車両1の上方から前方に視点が移動する図9(a)〜(c)の動画(第1動画)に続けて、図9(c)の仮想画像の内容を含む図9(c´)の仮想画像(第3画像)がモニタ108に表示されると、恰も連続する一連の動画であるかのように運転者に視認される。また、車両1の前方から後方に視点が移動する図9(d)〜(f)の動画(第2動画)の前に、図9(d)の仮想画像の内容を含む図9(c´)の仮想画像(第3画像)がモニタ108に表示されると、これもまた、恰も連続する一連の動画であるかのように運転者に視認される。そして、図9(c´)の仮想画像(第3画像)は、その前後にモニタ108に表示される図9(c)と図9(d)の各仮想画像の内容を含んだ画像であり、かつ、路面Sを対称軸とする線対称画像である。そのため、図9(c´)の仮想画像の前後にモニタ108に表示される図9(c)の仮想画像と図9(d)の仮想画像とで、モニタ108の画面における上下方向(天地方向)及び左右方向が反転しても、反転の途中の段階で図9(c´)の仮想画像がモニタ108に表示されることで、反転が瞬時にではなく段階的に行われるような視覚上の印象を運転者に与えることになる。
このため、車両1を上方から俯瞰した図8の符号7Aの視点から、車両1の後方を見る図8の符号7Fの視点に、仮想カメラの視点を切り替えるのに伴って、モニタ108に表示される仮想画像が、図9(a)の仮想画像から、モニタ108の画面における仮想画像の上下方向及び左右方向が反転する図9(f)の仮想画像に切り替わる際に、仮想画像の上下方向及び左右方向を一瞬で反転させず、段階的に時間をかけて反転させることができる。このため、モニタ108の画面における仮想画像の上下方向及び左右方向が切り替わった際に、切り替えの前後の仮想画像中に存在する同じ物体やその位置関係を、運転者に容易に認識させることができる。
上述した第2実施形態の画像処理装置は、端的に言うと、特許請求の範囲の請求項1に記載した本発明において、
前記仮想画像変換手段は、前記第3画像として、前記第1動画及び前記第2動画の各仮想画像に共通して含まれる要素が前記対称軸の両側に互いに上下反転して表示される前記仮想画像を、前記第1動画と前記第2動画との間に挿入させることを特徴とする、
画像処理装置であると言うことができる。
また、このように構成した画像処理装置の技術思想に対しては、特許請求の範囲の請求項3や請求項4に記載した本発明の思想を、さらに予備的に適用することができる。
以上に説明した第1及び第2実施形態の画像処理装置によれば、第1動画と第2動画との間に挿入されて表示手段に表示される第3画像が、第1動画及び第2動画と同一の要素を含む表示内容を、表示手段の画面内の対称軸を境とする線対称画像として表示手段に表示される。このため、第3画像中の表示手段に線対称で表示される要素の存在により、第1動画から第2動画に表示手段の表示内容が切り替わる際に、表示手段における画面の表示方向の反転を連続的な変化として表示させることができる。これにより、表示手段の表示内容が第1動画から第2動画に切り替わる前後で、第1動画内と第2動画内との同一の物体を、容易に対応付けて視認者に認識させることができる。
なお、上述した第1及び第2実施形態では、仮想カメラの視点及び撮影方向を、車両1の上方から車両1を俯瞰する位置及び方向(アラウンドビュー)から車両1の後方を写す位置及び方向(リアビュー)に切り替える場合を例に取って説明した。しかし、本発明は、切り替えの前後でモニタ108の画面における上下方向及び左右方向の少なくとも一方が反転するように、モニタ108に表示する仮想カメラ(又はカメラ101a〜101dのいずれか1つ)の視点及び撮影方向を切り替える場合に、広く適用可能である。