JP6734136B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関する。

車両に設置されたカメラで車両の周囲を撮影し、撮影して得られた画像を車内に表示する画像表示システムが知られている。このような画像表示システムを利用することにより、運転者は車両周辺の様子をリアルタイムに視認性高く確認することができる。特許文献１には、仮想的に設定した視点の位置に応じて、撮影して得られた画像を投影する座標を変形させる構成が開示されている。

特開２０１２−１３８６６０号公報

特許文献１に記載されている発明では、撮影して得られた画像に立体物が含まれている場合に立体物に像歪みが発生する。

本発明の第１の態様によると、画像処理装置は、入力された撮影画像を所定の座標変換情報を用いて座標変換した視点変換画像を生成する視点変換画像生成部と、前記座標変換情報を補正する補正部と、を備え、前記補正部は、前記座標変換情報のうち、前記撮影画像において立体物が存在する領域に対応する情報を補正し、前記視点変換画像生成部は、前記補正部により補正された前記座標変換情報を用いて前記撮影画像の座標変換を行う。

本発明によれば、立体物の像歪みを低減した視点変換画像を生成することができる。

車両２０に搭載される画像処理装置１００のブロック図である。 車両２０を上部から見下ろした図である。 車両２０を側面から見た図である。 カメラ座標系、仮想視点座標系、およびワールド座標系の定義を示す図である。 テーブルデータ１２１の一例を示す図である。 図６（Ａ）は、図２〜３に示す状況における前カメラ１０Ａの撮影画像３０１を示す図である。図６（Ｂ）は、図２〜３に示す状況における仮想視点２５の視点変換画像３１１を示す図である。 距離取得部１１４Ａにより取得される被写体の奥行き情報、すなわち距離画像の一例を示す図である。 図８（Ａ）は図６（Ａ）と同様の撮影画像３０１に、補正対象座標対応点を重畳した図である。図８（Ｂ）は図６（Ｂ）と同様の視点変換画像３１１に、立体物２１の接地点６１の座標Ｐ_０ｖを重畳した図である。 テーブルデータ１２１から補正対象座標対応点を抽出し、補正前後の座標を示した図である。 仮想視点２５の視点変換画像３１１を本提案手法により補正した画像の例を示す図である。 図２〜３に示す状況において、テーブルデータ１２１を補正しない場合の仮想視点２６の視点変換画像１００１を示す図である。 補正結果の一例を示す図である。 画像処理装置１００の動作を表すフローチャートである。 第２の実施の形態における画像処理装置１００のブロック図である。 テーブルデータ１２１Ａの一例を示す図である。 テーブルデータ１２１Ａから補正対象座標対応点を抽出し、補正前後の座標を示した図である。

（第１の実施の形態）
以下、図１〜図１２を参照して、画像処理装置の第１の実施の形態を説明する。

図１は、車両２０に搭載される画像処理装置１００のブロック図である。車両２０は、画像処理装置１００と、前カメラ１０Ａと、左カメラ１０Ｂと、右カメラ１０Ｃと、後カメラ１０Ｄと、距離検出部１１４と、表示部１３とを備える。以下では、前カメラ１０Ａと、左カメラ１０Ｂと、右カメラ１０Ｃと、後カメラ１０Ｄとをまとめて、カメラ１０Ａ〜１０Ｄと呼ぶ。画像処理装置１００は、カメラ１０Ａ〜１０Ｄが撮影した画像を用いて、車両２０の周囲をカメラ１０Ａ〜１０Ｄの設置位置とは異なる仮想的な位置（以下、仮想視点）に仮想的なカメラを設置して撮影した場合に得られる画像（以下、視点変換画像）を表示部１３に出力する。本実施の形態では、車両２０は静止している、または画像処理装置１００の処理が十分高速である、などの理由により画像処理装置１００の処理は、車両２０の移動を考慮する必要がないとする。さらに本実施の形態では、仮想視点は予め設定された複数からユーザが選択するものとし、ユーザは任意に仮想視点を設定できないものとする。

なお以下に説明する第１の実施の形態では、仮想視点に設置する仮想的なカメラの光軸は鉛直下方向、または水平方向を向くものとして説明するが、仮想的なカメラの光軸の向きはこれに限定しない。以下に説明する座標変換の回転軸を１軸追加することにより、仮想的なカメラの光軸の向きを自由に設定できる。

画像処理装置１００は、ＣＰＵなどから構成される制御部１１と、フラッシュメモリやＲＯＭなどから構成される記憶部１２とを備える。

制御部１１は、記憶部１２に記憶されているプログラムを実行することにより、第１画像取得部１１１Ａ、第２画像取得部１１１Ｂ、第３画像取得部１１１Ｃ、第４画像取得部１１１Ｄ、モード切替部１１２、テーブル補正部１１３、距離取得部１１４Ａ、変形合成部１１５、表示制御部１１６およびバス１１７として機能する。以下では、第１画像取得部１１１Ａ、第２画像取得部１１１Ｂ、第３画像取得部１１１Ｃ、および第４画像取得部１１１Ｄをまとめて画像取得部１１１Ａ〜１１１Ｄと呼ぶ。

記憶部１２には、制御部１１により実行されるプログラム、および後述するテーブルデータ１２１が記憶される。テーブルデータ１２１は、俯瞰画像や鳥瞰画像などの視点変換画像を生成する際に用いられるルックアップテーブルであり、画像処理装置１００を含むシステムの設計段階において、車両２０に設置するカメラ１０Ａ〜１０Ｄおよび仮想視点の位置や角度、撮像条件により予め作成される。

第１画像取得部１１１Ａ、第２画像取得部１１１Ｂ、第３画像取得部１１１Ｃ、および第４画像取得部１１１Ｄは、それぞれ前カメラ１０Ａ、左カメラ１０Ｂ、右カメラ１０Ｃ、後カメラ１０Ｄにより撮影される画像を取得する。

モード切替部１１２は、不図示の仮想視点切替えスイッチへの入力を不図示のＣＡＮ（Controller Area Network）を介して取得する。仮想視点切替えスイッチは、仮想視点の位置、および仮想視点に設置される仮想的なカメラの光軸の向きを、予め設定された組み合わせから選択するものである。モード切替部１１２は、取得した仮想視点切替えスイッチへの入力をテーブル補正部１１３に出力する。

テーブル補正部１１３は、モード切替部１１２の出力に基づき、それぞれのカメラに対応するテーブルデータ１２１を記憶部１２から読み込む。すなわち、テーブルデータ１２１はカメラごと、仮想視点ごとに設けられる。また、後述するように距離取得部１１４Ａの出力に基づきテーブルデータ１２１を補正し、補正したテーブルデータを変形合成部１１５に出力する。

距離取得部１１４Ａは、距離検出部１１４が検出した、水平方向および垂直方向に分解能を持った奥行き情報を取得する。以下では、距離取得部１１４Ａが取得する奥行き情報を距離画像と呼ぶ。

変形合成部１１５は、画像取得部１１１Ａ〜１１１Ｄにより取得された撮影画像と、テーブル補正部１１３により補正されたテーブルデータとを用いて、視点変換画像を生成する。

表示制御部１１６は、変形合成部１１５により生成された視点変換画像を表示部１３に出力し表示させる。

バス１１７は、上述した制御部１１の各ブロックにおいて生成もしくは取得された情報が書き込まれまたは読み出される。

表示部１３は、例えばＬＣＤディスプレイやプロジェクタ、または車両２０に搭載されたカーナビゲーション装置の表示部である。表示部１３は表示制御部１１６から出力された情報を表示する。

距離検出部１１４は、車両周囲の物体の奥行き情報を、水平方向および垂直方向に分解能を持った情報として検出する。検出手段としては、レーザレーダ、ソナー、ＴｏＦ（Time of Flight）などの測距デバイスを用いるのでもよいし、ステレオカメラを用いた三角測量、単眼カメラのＳｆＭ（Structure from Motion）により推定するのでもよいし、事前に周囲の立体形状を測量し、ＧＰＳ（Global Positioning System）を用いて自車位置を推定して自車と物体との奥行き情報を求めてもよい。距離検出部１１４の車両２０への取付け位置、および取付け姿勢は既知であり、記憶部１２に格納される。

（動作環境）
図２〜図３は、画像処理装置１００が動作する状況を説明する図である。図２は画像処理装置１００を搭載する車両２０を上部から見下ろした図、図３は車両２０を側面から見た図である。車両２０の前方正面の地面にはマーカー２２が設置され、車両２０の前方左には樹木、すなわち立体物２１がある。図２〜図３に破線で示すカメラは、仮想的に設置されるカメラ、すなわち仮想視点を表している。

車両２０の前部には前カメラ１０Ａが設置され、その光軸は車両２０の前方の路面２３に向けられており、立体物２１および路面上のマーカー２２をその撮影範囲内に捉えている。また同様に、車両２０の左部、右部および後部には、それぞれ左カメラ１０Ｂ、右カメラ１０Ｃ、および後カメラ１０Ｄが設置され、それらの光軸はそれぞれ車両２０の左方、右方、後方の路面２３に向けられている。

カメラ１０Ａ〜１０Ｄは広角のレンズを備え、それぞれ約１８０度の画角を有する。カメラ１０Ａ〜１０Ｄ、および距離検出部１１４の設置位置および設置角度は、車両２０の設計段階において予め定められ既知である。なお、距離取得部１１４Ａは、図２〜図３において、画像処理装置１００に内包されるように示しているが、画像処理装置１００の外部に設置されてもよいし、カメラ１０Ａ〜１０Ｄの各近傍に複数台を設置してもよい。

仮想視点２５は、車両２０の前方上部から真下を撮像し、車両２０の前方を俯瞰する視点である。仮想視点２６は、車両２０の右前方から左前方を望む視点である。以下では、まず図２〜３に示す状況において仮想視点２５から得られる画像の作成方法を説明する。次に、仮想視点２６から得られる画像の作成方法を説明する。ただし画像処理装置１００はカメラ１０Ａ〜１０Ｄを備えるが、前カメラ１０Ａの撮影画像を変換する場合を代表して説明する。

仮想視点２５から得られる画像の作成方法を説明する。
（座標変換）
図４は、カメラ座標系、仮想視点座標系、およびワールド座標系の定義を示す図である。カメラ座標系とは、画像を撮影するカメラを基準とする座標系である。図４には前カメラ１０Ａを基準とするカメラ座標系Ｒの３軸、すなわちＸ_ｒ、Ｙ_ｒ、Ｚ_ｒが図示される。仮想視点座標系とは、モード切替部１１２への入力によって決定される仮想視点を基準とする座標系である。図４には仮想視点２５を基準とする仮想視点座標系Ｖの３軸、すなわちＸ_ｖ、Ｙ_ｖ、Ｚ_ｖが図示される。ワールド座標系は、車両２０が走行する路面を基準に設定された座標系である。図４にはワールド座標系Ｗの３軸、すなわちＸ_ｗ、Ｙ_ｗ、Ｚ_ｗが図示される。Ｘ_ｗおよびＹ_ｗは路面に平行であり、Ｚ_ｗ＝０の平面に路面が含まれる。

カメラ座標系Ｒの１軸であるＺ_ｒは前カメラ１０Ａの光軸と一致、すなわち撮像素子と直交し、他の２軸であるＸ_ｒおよびＹ_ｒは、前カメラ１０Ａの撮像素子の長辺および短辺と平行である。カメラの焦点距離ｚ_ｒを用いて表すと、撮影画像３０１を構成する各画素の位置は、Ｚ_ｒ＝ｚ_ｒに位置するＸ_ｒＹ_ｒ平面上の座標データで表現される。すなわち、カメラ座標系Ｒは、撮影画像３０１の座標系と等しい。

仮想視点座標系の１軸であるＺ_ｖは仮想視点２５に置かれた仮想的なカメラの光軸と一致、すなわち仮想的な撮像素子と直交し、他の２軸であるＸ_ｖおよびＹ_ｖは、仮想的な撮像素子の長辺および短辺と平行である。仮想視点２５に置かれるカメラの焦点距離ｚ_vを用いて表すと、視点変換画像３１１を構成する各画素の位置は、Ｚ_ｖ＝ｚ_ｖに位置するＸ_ｖＹ_ｖ平面上の座標データで表現される。すなわち、仮想視点座標系Ｖは、視点変換画像３１１の座標系と等しい。

ある点Ｐをワールド座標系ＷではＰ_ｗと呼び、その座標を（ｘ_ｗ、ｙ_ｗ、ｚ_ｗ）と表す。前カメラ１０Ａにより点Ｐ_ｗを撮影した際の撮影画像における点ＰをＰ_ｒと呼び、点Ｐ_ｒの座標を（ｘ_ｒ、ｙ_ｒ、ｚ_ｒ）と表す。仮想視点２５から得られる画像における点ＰをＰ_ｖと呼び、Ｐ_ｖの座標を（ｘ_ｖ、ｙ_ｖ、ｚ_ｖ）と表す。

ワールド座標系Ｗにおける点Ｐ_ｗの座標（ｘ_ｗ、ｙ_ｗ、ｚ_ｗ）をカメラ座標系Ｒの点Ｐ_ｒの座標（ｘ_ｒ、ｙ_ｒ、ｚ_ｒ）に座標変換するには、たとえば、式（１）に示すようなアフィン変換が用いられる。

ここで、Ｍｒは、式（２）に示されるような４ｘ４の透視投影変換行列である。

式（２）において、Ｒ_ｒは３ｘ３の回転行列、Ｔ_ｒは１ｘ３の平行移動行列、０は３ｘ１の零行列である。回転行列Ｒ_ｒおよび平行移動行列Ｔ_ｒは、ワールド座標系上でのカメラ１０Ａの設置位置および設置角度、カメラ１０Ａの内部パラメータである焦点距離および撮像素子の有効画素サイズなどに基づいて周知な方法で算出される。

また、ワールド座標系Ｗの点Ｐ_ｗの座標（ｘ_ｗ、ｙ_ｗ、ｚ_ｗ）を仮想視点座標系Ｖの点Ｐ_ｖの座標（ｘ_ｖ、ｙ_ｖ、ｚ_ｖ）に座標変換するには、たとえば、式（３）に示すようなアフィン変換が用いられる。

ここで、Ｍ_ｖは、式（４）に示されるような４ｘ４の透視投影変換行列である。

式（４）において、Ｒ_ｖは３ｘ３の回転行列、Ｔ_ｖは１ｘ３の平行移動行列、０は３ｘ１の零行列である。回転行列Ｒ_ｖおよび平行移動行列Ｔ_ｖは、ワールド座標系上での仮想視点２５の位置および角度、仮想視点２５の仮想的な焦点距離および撮像素子の有効画素サイズなどに基づいて周知な方法で算出される。

上述した式（１）と式（３）とを組み合わせると、カメラ座標系Ｒの点Ｐ_ｒの座標を仮想視点座標系Ｖの点Ｐ_ｖの座標に座標変換するための式（５）が得られる。

式（５）では、透視投影変換行列Ｍ_ｒの逆行列によりカメラ座標系Ｒの点Ｐ_ｒの座標をワールド座標系の点Ｐ_ｗの座標に座標変換し、その点Ｐ_ｗの座標を透視投影変換行列Ｍ_ｖにより仮想視点座標系Ｖの点Ｐ_ｖの座標（ｘ_ｖ、ｙ_ｖ、ｚｖ）に座標変換している。式（５）による座標変換結果を用いて、視点変換画像３１１の点Ｐ_ｖの画素値を、対応する撮影画像３０１の点Ｐ_ｒの画素値から算出することができる。

（テーブルデータ１２１）
記憶部１２に格納されるそれぞれのテーブルデータ１２１は、あらかじめ計算された撮影画像上の点Ｐ_ｒと視点変換画像上の点Ｐ_ｖとの対応関係を複数組について記述したものである。すなわち、カメラ座標系Ｒの所定の点Ｐ_ｒ１の座標（ｘ_ｒ１，ｙ_ｒ１）、Ｐ_ｒ２の座標（ｘ_ｒ２，ｙ_ｒ２）、・・・をそれぞれ上述の式（５）で仮想視点座標系Ｖの対応点への座標に変換して得られたものである。ここで、２つの座標系で対応する点同士、すなわち画素同士の対応関係を座標対応情報と呼び、この座標対応情報がテーブルデータ１２１として作成されている。なお、テーブルデータ１２１においては、カメラ１０Ａの焦点距離等が固定されているものとしてＺ_ｒ座標の情報は省略されている。

以降の説明では、撮影画像３０１および視点変換画像３１１の画素のうち、テーブルデータ１２１に座標対応情報が記憶されている画素を座標対応画素、あるいは座標対応点と呼ぶ。すなわち、撮影画像３０１および視点変換画像３１１には、複数の座標対応点が予め設定されている。テーブルデータ１２１を予め記憶部１２に記憶しておき、視点変換画像３１１を作成する際に参照することで、数式５の演算回数を低減し、座標変換の処理時間を短縮することができる。なお、テーブルデータ１２１に予め記憶しておく座標対応情報が増加するほど、テーブルデータ１２１のデータ量が増加する。テーブルデータ１２１のデータ量を削減するため、撮影画像３０１の一部の画素についてのみ座標対応情報を予め記憶し、他の画素については補間処理により点Ｐ_ｖの画素値を算出する。

図５は、テーブルデータ１２１の一例を示す図である。テーブルデータ１２１は、撮影画像３０１の離散的な画素の座標と、その座標に対応する視点変換画像３１１の画素の座標との対応関係を定義する座標対応テーブルである。図５では、対応関係番号１、２、…、ｎの各画素の座標対応情報が示されている。画像処理装置１００は、撮影画像３０１の各画素の座標ごとにテーブルデータ１２１を参照して、対応する視点変換画像３１１の画素の座標を演算する。

（テーブルデータを用いた処理例）
図６（Ａ）は、図２〜３に示す状況における前カメラ１０Ａの撮影画像３０１を示す図である。図６（Ａ）において格子状に規則的に配置される「×」印は、上述した座標対応画素を表している。図６（Ａ）の下部には前カメラ１０Ａ付近の路面２３やマーカー２２が撮影され、図６（Ａ）の上部ほど前カメラ１０Ａから遠い路面２３が撮影されている。図６（Ａ）の左上部には車両２０の左前方に存在する立体物２１が撮影されている。

図６（Ｂ）は、図２〜３に示す状況における仮想視点２５の視点変換画像３１１を示す図である。図６（Ｂ）における「×」印も、上述した座標対応画素を表している。ただし図６（Ｂ）は後述するテーブルデータ１２１の補正を行わず、記憶部１２に保存されたテーブルデータ１２１をそのまま用いた場合の例である。視点変換画像３１１は、撮影画像３０１を用いて、Ｚ_ｖ＝０の平面に画像を投影し生成しており、視点変換画像３１１のうち立体物２１の像については拡大されるような像歪みを生じている。以下では、テーブルデータ１２１を補正することで像歪みを低減する補正処理を説明する。

なお、図６（Ｂ）の視点変換画像３１１の左下部および右下部の画像は、カメラ１０Ｂおよび１０Ｃから取得された画像の一部を利用して作成されている。カメラ１０Ａが撮像する被写体領域とカメラ１０Ｂが撮像する被写体領域とが重なる領域は、たとえば、二つのカメラ１０Ａおよび１０Ｂから取得した画像をαブレンディングにより合成する。

（補正対象の特定）
図７は、距離取得部１１４Ａにより取得される被写体の奥行き情報、すなわち距離画像６０の一例を示す図である。距離検出部１１４は、一般的なカメラと同様に水平方向・垂直方向に分解能を持ち、この分解能に応じた撮像面上の各位置における被写体の奥行き情報を取得して距離取得部１１４Ａに出力する。距離取得部１１４Ａは、距離検出部１１４からの奥行き情報を取得することで、図７のような距離画像６０を取得することができる。距離画像６０では、たとえば各画素の白から黒の輝度の濃淡により、距離検出部１１４の撮像面上の各位置における被写体の奥行き情報を表している。なお図７では図面の表現の制約により４種類のハッチングを用いて奥行きを表現しているが、距離検出部１１４の奥行きの分解能はより高いものとする。また図７では説明の簡易化のために、距離検出部１１４とカメラ１０Ａとが同一の設置位置、光軸方向および画角を持つものとして距離画像６０を例示している。

距離取得部１１４Ａにより取得される距離画像６０において、図４におけるＺ_ｗ＝０である路面２３および路面上のマーカー２２は、画像下部から上部にかけて奥行き情報が連続的に変化している。一方、立体物２１は画像下部から上部にかけて奥行きの変化がほとんどなく、立体物２１の基部から頂部まで距離検出部１１４からの距離は略同一である。そのため、距離画像６０において奥行き情報が周囲と異なる境界を抽出することにより、高さを持つ立体物、すなわち図７の例における立体物２１を検出することが可能である。また、検出した立体物２１の下方、奥行き情報が周囲と連続的となる接地点６１は、立体物２１と路面２３との交点として検出することができる。以下では、距離画像６０における接地点６１の座標をＰ_０ｄと呼ぶ。

前述のとおり、距離検出部１１４と前カメラ１０Ａとの位置関係および姿勢関係は既知である。そのため、距離検出部１１４により得られた距離画像６０における座標を前カメラ１０Ａにより得られた撮影画像３０１の座標に変換することで、撮影画像３０１上の立体物２１の領域を特定することができる。同様に撮影画像３０１における立体物２１の接地点６１の座標も特定できる。以下では、撮影画像３０１における立体物２１の接地点６１の座標をＰ_０ｒと呼び、視点変換画像における接地点６１の座標をＰ_０ｖと呼ぶ。

テーブル補正部１１３は、撮影画像３０１上の立体物２１の領域に含まれる座標対応点を像歪みを低減するための補正対象として、テーブルデータ１２１を補正する。以下では、補正対象の座標対応点を「補正対象座標対応点」と呼ぶ。ただし補正対象座標対応点は、撮影画像３０１上の立体物２１の領域に含まれるか否かだけでなく、撮影画像３０１の輝度情報を加味して決定してもよい。

図８（Ａ）は、図６（Ａ）と同様の撮影画像３０１に、補正対象ではない座標対応点を図６（Ａ）と同様に「×」として重畳し、補正対象座標対応点を「＊」として重畳した図である。図８（Ｂ）は、図６（Ｂ）と同様の視点変換画像３１１に、立体物２１の接地点６１の座標Ｐ_０ｖを重畳した図である。

（仮想視点２５用のテーブルデータ１２１の補正）
図９は、テーブルデータ１２１から補正対象座標対応点を抽出し、補正前後の座標を示した図である。本実施の形態では、テーブルデータ１２１の各座標対応点に関する座標対応情報のうち、上記の補正対象座標対応点に関する座標対応情報を補正することで、テーブルデータ１２１を補正する。具体的には、補正対象座標対応点ｏ１、ｏ２、ｏ３、・・・、ｏｉについて、これらの視点変換画像上の座標、すなわち仮想視点座標系Ｖにおける座標である、（ｘｖ＿ｏ１，ｙｖ＿ｏ１）、（ｘｖ＿ｏ２，ｙｖ＿ｏ２）、（ｘｖ＿ｏ３，ｙｖ＿ｏ３）、・・・、（ｘｖ＿ｏｉ，ｙｖ＿ｏｉ）を、（ｘｖ＿ｏ１’，ｙｖ＿ｏ１’）、（ｘｖ＿ｏ２’，ｙｖ＿ｏ２’）、（ｘｖ＿ｏ３’，ｙｖ＿ｏ３’）、・・・、（ｘｖ＿ｏｉ’，ｙｖ＿ｏｉ’）にそれぞれ補正する。こうして補正された補正後のテーブルデータ１２１を用いて変形合成部１１５が視点変換画像を生成することにより、図６（Ｂ）に例示した立体物２１の像歪みを低減する。
補正対象座標対応点の座標を補正する一例として、式（６）を示す。

式（６）では、各補正対象座標対応点の視点変換画像上の補正前の座標（ｘ_ｖ，ｙ_ｖ）と接地点Ｐ_０ｖの座標（ｘ_ｏ，ｙ_ｏ）とを重み係数ｗを用いて加重平均することにより、各補正対象座標対応点の補正後の座標（ｘ_ｖ’，ｙ_ｖ’）を算出している。ここで、重み係数ｗは０以上１以下の値であり後述する処理により決定される。

図１０に、ｗ＝０．７５とした視点変換画像の補正結果の一例を示す。図中、立体物２１の像歪みは図６（Ｂ）と比較して低減しており、使用者にとって物体を視認しやすい表示を実現している。ただしこのとき、もともと立体物２１が歪んで表示されていた領域９１は、カメラ１０Ａからは死角となり撮像できていない領域（以下、欠損領域と呼ぶ）である。この欠損領域の表示方法としては、図１０に例示するように画像情報が欠損した領域として表示してもよいし、別のカメラ（例えばカメラ１０Ｂ）が撮像している領域であれば、そのカメラの撮影画像から補完してもよいし、車両２０が移動している状況でかつ過去フレーム画像で撮像しているのであれば、過去フレームの撮影画像から補完してもよい。

重み係数ｗの決定方法は以下のとおりである。すなわち、重み係数ｗは最大の１に近いほど視点変換画像における像歪みが低減されるが、重み係数ｗが大きいほど欠損領域が増加する。そこで、欠損領域が視点変換画像において予め定めた割合、たとえば３０％を超えない最大の重み係数ｗを算出し、これを用いることとする。換言すると、テーブル補正部１１３は、補正前の視点変換画像における立体物２１の面積、すなわち欠損領域の面積と、補正後の視点変換画像における立体物２１の面積との差分が、予め定めた割合（たとえば３０％）に相当する面積に達しない範囲で最大の値となるように、重み係数ｗを設定することができる。

テーブル補正部１１３は、この重み係数ｗと上述した式（６）を用いてテーブルデータ１２１を補正し、補正したテーブルデータを変形合成部１１５に出力する。変形合成部１１５は、補正されたテーブルデータ１２１を用いて仮想視点２５から得られる視点変換画像３１１を作成する。

（仮想視点２６の視点変換画像）
仮想視点２６から得られる画像の作成方法を、仮想視点２５の場合との差異点を中心に説明する。仮想視点２６から得られる画像の作成方法と、仮想視点２５から得られる画像の作成方法との違いは、テーブルデータ１２１の補正方法である。すなわち、補正対象座標対応点の決定方法は同じであるが、補正後の座標の算出方法が異なる。

図１１は、図２〜３に示す状況において、テーブルデータ１２１を補正しない場合の仮想視点２６の視点変換画像１００１を示す図である。図１１では、図６（Ｂ）と同様に立体物２１の像は大きく歪んでいる。テーブル補正部１１３は、テーブルデータ１２１を以下のように補正することにより、図１１に例示した立体物２１の歪みを軽減する。

（仮想視点２６用のテーブルデータ１２１の補正）
テーブル補正部１１３は、まずテーブルデータ１２１を用いて、視点変換画像１００１における立体物２１の接地点６１に対応する点Ｐ_０ｖ（ｘ_ｏ，ｙ_ｏ）の座標を算出する。次に、既知である仮想視点２６と前カメラ１０Ａとの位置関係および姿勢関係、ならびに仮想視点２６に置かれる仮想的なカメラの焦点距離ｚ_ｖに基づき、図１１に示した点Ｐ_ｃ（ｘ_ｃ，ｙ_ｃ）の座標を算出する。すなわち、ワールド座標系Ｗにおける前カメラ１０Ａの座標を、Ｚ_ｖ＝ｚ_ｖに位置するＸ_ｖＹ_ｖ平面上に平行投影した座標、すなわち視点変換画像１００１における前カメラ１０Ａの位置に対応する点Ｐ_ｃ（ｘ_ｃ，ｙ_ｃ）の座標を算出する。そして、点Ｐ_０ｖと点Ｐ_ｃを結ぶ直線Ｌ１と図示水平方向の直線Ｌ２とのなす角度θを得る。路面に対して直立する立体物２１は、視点変換画像１００１において、カメラ１０Ａから見て接地面６１を起点に放射状に歪んで変換される点に注目しているため、このように角度θを求めた。テーブルデータ１２１を補正する一例として、θの回転行列を用いた式（７）を示す。

αおよびβは重み係数であり、０以上１以下の値であり後述する処理により決定される。式（７）では、視点変換画像上の補正前の座標（ｘ_ｖ，ｙ_ｖ）から補正後の座標（ｘ_ｖ’，ｙ_ｖ’）への補正において、重み係数βにより立体物２１を接地点Ｐ_０ｖを回転中心として図示鉛直方向に回転させる度合いを決定し、重み係数αにより接地点Ｐ_０ｖに近づける度合いを決定している。式（７）における処理を換言すると、式（６）に示したように加重平均処理と接地点Ｐ_０ｖを中心とした回転処理を複合したものである。

図１２に、α＝β＝０．７５としたときの補正結果の一例を示す。図１０に示した補正画像と同様に、立体物２１の像歪みを低減している。すなわち本実施形態では、前述のような方法により、テーブルデータ１２１の各座標対応点に関する座標対応情報のうち、立体物の領域に含まれる補正対象座標対応点に関する座標対応情報を補正することで、テーブルデータ１２１が補正される。その結果、図１０および図１２に示すように、像歪みを低減し違和感の少ない映像を提供することが可能となる。なお、図１２では補正前に立体物２１が表示されていた領域は欠損領域９１として表示しているが、別カメラの撮影画像や過去フレームの撮影画像から補完してもよい。

（フローチャート）
以上説明した視点変換画像の作成処理を図１３のフローチャートを用いて説明する。

ステップＳ１２０１では、テーブル補正部１１３は、モード切替部１１２の設定を読み込み、その設定に対応する４つのカメラ１０Ａ〜１０Ｄそれぞれのテーブルデータ１２１を読み込む。次にステップＳ１２０２に進む。

ステップＳ１２０２では、テーブル補正部１１３は、距離検出部１１４が検出した車両２０の周囲の距離情報である距離画像を距離取得部１１４Ａを介して取得し、ステップＳ１２０３に進む。

ステップＳ１２０３では、テーブル補正部１１３は、ステップＳ１２０２において取得した距離画像から立体物を検出する。さらに検出した立体物が存在する距離画像上の領域、および立体物の接地点の座標を記録する。たとえば、図７の左側に示すように下方から上方にかけて距離が変化しない領域があれば立体物として検出する。次にステップＳ１２０４に進む。

ステップＳ１２０４では、ステップＳ１２０３において立体物が検出されたか否かを判断し、立体物が検出されたと判断する場合はステップＳ１２０５に進み、立体物が検出されないと判断する場合はステップＳ１２１０に進む。

ステップＳ１２０５では、ステップＳ１２０３において検出した、距離画像における立体物の領域および立体物の接地点の座標を、撮影画像３０１における立体物の領域および立体物の接地点の座標Ｐ_０ｒに変換する。次にステップＳ１２０６に進む。

ステップＳ１２０６では、ステップＳ１２０１において読み込んだテーブルデータ１２１のうち補正対象となるデータ、すなわちステップＳ１２０５において算出した撮影画像３０１における立体物の領域に含まれるデータを抽出する。次にステップＳ１２０７に進む。

ステップＳ１２０７では、補正モードが俯瞰モードと鳥瞰モードのいずれであるかを判断する。俯瞰モードとは仮想視点に設置される仮想的なカメラの光軸が地面に鉛直な場合に選択されるモードであり、鳥瞰モードとは仮想視点に設置される仮想的なカメラの光軸が地面に鉛直ではない場合に選択されるモードである。本実施の形態では仮想視点２５が設定された場合には俯瞰モードが選択され、仮想視点２６が設定された場合には鳥瞰モードが選択される。俯瞰モードであると判断する場合はステップＳ１２０８に進み、鳥瞰モードであると判断する場合はステップＳ１２０９に進む。

ステップＳ１２０８では、式６を用いてテーブルデータ１２１を補正してステップＳ１２１０に進む。ステップＳ１２０９では、式７を用いてテーブルデータ１２１を補正してステップＳ１２１０に進む。

ステップＳ１２１０では、変形合成部１１５によりテーブル補正部１１３からテーブルデータ１２１を読み込み、画像取得部１１１Ａ〜１１１Ｄにより取得された撮影画像３０１を用いて視点変換画像を生成する。立体物が検出されていた場合は、テーブルデータ１２１はＳ１２０８もしくはＳ１２０９により補正されており、立体物の歪みが低減された視点変換画像が生成される。そして、表示制御部１１６を介して表示部１３に表示する。

上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）画像処理装置１００は、入力された撮影画像３０１を所定の座標変換情報、すなわちテーブルデータ１２１を用いて座標変換した視点変換画像を生成する視点変換画像生成部、すなわち変形合成部１１５と、テーブルデータ１２１を補正するテーブル補正部１１３と、を備える。テーブル補正部１１３は、テーブルデータ１２１のうち、撮影画像３０１において立体物が存在する領域に対応する座標対応情報を補正する。視点変換画像生成部、すなわち変形合成部１１５は、テーブル補正部１１３により補正されたテーブルデータ１２１を用いて撮影画像３０１の座標変換を行う。

画像処理装置１００をこのように構成したので、立体物の像歪みを低減した視点変換画像を生成することができる。また、テーブルデータ１２１のうち立体物が存在する領域に対応する情報に限定して補正しているので、テーブルデータ１２１の全体を補正する場合に比べて処理を高速化できる。

（２）座標変換情報、すなわちテーブルデータ１２１は、撮影画像３０１の座標と視点変換画像の座標との変換テーブルである。そのため変形合成部１１５は、テーブルデータ１２１を参照することで容易に視点変換画像を作成することができる。

（３）座標変換情報、すなわちテーブルデータ１２１は、予め設定された複数の座標対応点の撮影画像３０１の座標系、すなわちカメラ座標系Ｒにおける座標と、他の座標系である仮想視点座標系Ｖにおける座標との対応関係を表す変換テーブルである。テーブル補正部１１３は、撮影画像３０１において立体物が存在する領域、たとえば図７において破線で囲んだ立体物２１の領域、および立体物の接地点Ｐ_０ｄ、たとえば図７における接地点６１を特定する。テーブル補正部１１３は、テーブルデータ１２１において、複数の座標対応点のうち撮影画像３０１において立体物が存在する領域内の座標対応点ｏ１、ｏ２、ｏ３、・・・、ｏｉを補正対象座標対応点として、これらの補正対象座標対応点の仮想視点座標系Ｖにおける座標を、立体物の接地点Ｐ_０ｒに対応する座標対応点の仮想視点座標系Ｖにおける座標Ｐ_０ｖに基づき補正する。そのため、視点変換画像において歪みのない立体物２１の接地点６１を基準としてテーブルデータ１２１を補正することができる。

（４）テーブル補正部１１３は、重み係数ｗを、補正前の他の座標系における立体物の面積と補正後の他の座標系における立体物の面積との差分が、視点変換画像における予め定めた割合、たとえば３０％に相当する面積に達しない最大の値に設定する。そのため、欠損領域を予め定めた割合以下に留めつつ、立体物の像歪みを低減することができる。

（５）テーブル補正部１１３はさらに、他の座標系における座標（ｘ_ｖ’、ｙ_ｖ’）を、立体物の接地点に対応する他の座標系における座標Ｐ_０ｖ（ｘ_ｏ、ｙ_ｏ）を回転中心として回転させた座標に補正する。そのため、視点変換画像において立体物が倒れ込むようむ描画されることを抑制することができる。

（変形例１）
テーブル補正部１１３が距離画像から立体物を検出すると、撮影画像３０１において当該立体物が撮像されている位置に応じて、仮想視点の位置をカメラ１０の近くに変更してもよい。さらに、仮想視点に設置される仮想的なカメラの光軸の向きをカメラ１０の光軸の向きに近づけてもよい。

（変形例２）
テーブル補正部１１３が距離画像から検出した立体物が、複数のカメラにより撮影される領域に存在する場合は、各々の撮影画像３０１から生成される視点変換画像のうち、像歪みのより少ない視点変換画像を選択して本発明の補正処理を適用してもよい。

（変形例３）
画像処理装置１００は、第１〜第４の画像取得部を備えたが、画像取得部を１つのみ備え、複数のカメラから順次画像が入力されてもよい。また、画像処理装置１００に接続されるカメラの数は少なくとも１つあればよく、５以上であってもよい。

（変形例４）
上述した第１の実施の形態は、各カメラ１０Ａ〜１０Ｄ及び距離検出部１１４が毎時刻動作しており、視点変換画像を動画像として表示する場合にも適用することができる。また、車両２０もしくは立体物２１が動くことにより、点Ｐ_０ｖ及び点Ｐ_０ｖが変化している状況でも、適用することができる。その場合は、例えば変換画像において動く立体物の像のブレを防止することを目的として、以下のように演算を行ってもよい。すなわち、テーブル補正部１１３は補正するテーブルデータ１２１の履歴を保存し、次のテーブルデータ１２１の補正時にテーブルデータ１２１の履歴を用いた加重平均などにより、各補正対象座標対応点の補正後の座標（ｘ_ｖ’，ｙ_ｖ’）を算出してもよい。

（第２の実施の形態）
図１４〜図１６を参照して、画像処理装置１００の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、ユーザが仮想視点を自由に設定可能な点で、第１の実施の形態と異なる。

（第２の実施の形態の概要）
第１の実施の形態におけるテーブルデータ１２１は、式（５）により表される撮影画像上の点Ｐ_ｒと視点変換画像上の点Ｐ_ｖとの対応関係を示すものであったが、後述する第２の実施の形態におけるテーブルデータ１２１Ａは、式（１）により表される撮影画像上の点Ｐ_ｒと三次元空間上の点Ｐ_ｗとの対応関係を示すものである。本実施の形態では、テーブルデータ１２１Ａを補正することにより３次元区間上に投影される撮影画像が変形される。変形合成部１１５Ａは、３次元区間上に投影された撮影画像を仮想視点から撮影した画像、すなわち視点変換画像を作成する。

（構成）
図１４は、第２の実施の形態における画像処理装置１００のブロック図である。各ブロックの動作および機能のうち、第１の実施の形態との差異点を説明する。第２の実施の形態における画像処理装置１００は、制御部１１Ａと、記憶部１２Ａとを備える。

制御部１１は、記憶部１２に記憶されているプログラムを実行することにより、第１画像取得部１１１Ａ、第２画像取得部１１１Ｂ、第３画像取得部１１１Ｃ、第４画像取得部１１１Ｄ、モード切替部１１２Ａ、テーブル補正部１１３Ａ、距離取得部１１４Ａ、変形合成部１１５Ａ、表示制御部１１６およびバス１１７として機能する。

記憶部１２Ａには、制御部１１により実行されるプログラム、およびテーブルデータ１２１Ａが記憶される。テーブルデータ１２１Ａは、車両２０が備えるカメラと同じ数、すなわち４つのみ備えられる。第２の実施の形態におけるテーブルデータ１２１Ａは、仮想視点の位置や姿勢等に関する情報を含まないからである。テーブルデータ１２１Ａの構成は後述する。

モード切替部１１２Ａは、ユーザによる不図示の仮想視点設定部への設定を不図示のＣＡＮ（Controller Area Network）を介して取得する。仮想視点設定部は、仮想視点の位置、および仮想視点に設置される仮想的なカメラの光軸の向きを、ユーザが自由に設定できるものである。モード切替部１１２Ａは、取得した仮想視点設定部の設定を変形合成部１１５に出力する。

テーブル補正部１１３Ａは、それぞれのカメラに対応するテーブルデータ１２１を記憶部１２から読み込む。テーブル補正部１１３は、距離取得部１１４Ａの出力に基づき第１の実施の形態と同様にテーブルデータ１２１を補正し、補正したテーブルデータを変形合成部１１５に出力する。

変形合成部１１５Ａは、テーブル補正部１１３により補正されたテーブルデータを用いて、画像取得部１１１Ａ〜１１１Ｄにより取得された撮影画像を３次元空間上に投影する。そして変形合成部１１５は、モード切替部１１２が出力する仮想視点設定部の設定に基づき、３次元空間上に投影された撮影画像を対象に式（３）により表される座標変換処理を行い視点変換画像を取得する。

（テーブルデータ１２１Ａ）
図１５は、テーブルデータ１２１Ａの一例を示す図である。テーブルデータ１２１Ａは、式（１）により表される撮影画像３０１上の点Ｐ_ｒと三次元空間上の点Ｐ_ｗとの対応関係を示すものである。ただし本実施の形態では、３次元空間上の点Ｐ_ｗのＺ_ｗ座標の値は全てゼロである。すなわちテーブルデータ１２１Ａは、撮影画像３０１上の点Ｐ_ｒと三次元空間上のＺ_ｗ＝０の平面上の点Ｐ_ｗとの対応関係を示す。

（テーブルデータ１２１Ａの補正）
図１６は、テーブルデータ１２１Ａから補正対象座標対応点を抽出し、補正前後の座標を示した図である。本実施の形態では、立体物２１の補正対象座標対応点の３次元空間上の座標である、（ｘｗ＿ｏ１，ｙｗ＿ｏ１，ｚｗ＿ｏ１）、（ｘｗ＿ｏ２，ｙｗ＿ｏ２，ｚｗ＿ｏ２）、（ｘｗ＿ｏ３，ｙｗ＿ｏ３，ｚｗ＿ｏ３）、・・・を、（ｘｗ＿ｏ１’，ｙｗ＿ｏ１’，ｚｗ＿ｏ１’）、（ｘｗ＿ｏ２’，ｙｗ＿ｏ２’，ｚｗ＿ｏ２’）、（ｘｗ＿ｏ３’，ｙｗ＿ｏ３’，ｚｗ＿ｏ３’）、・・・に補正する。ただし補正前後のいずれもＺｗ座標はゼロとする。すなわち当該補正は三次元空間上のＺｗ＝０の平面上に限られるものであり、補正に用いる計算式は第１の実施の形態と同様である。

上述した第２の実施の形態によれば、次の作用効果が得られる。
（１）座標変換テーブル１２１は、撮影画像３０１の座標と三次元空間上の座標との変換テーブルである。視点変換画像生成部、すなわち変形合成部１１５は、座標変換テーブル１２１を用いて座標変換した三次元空間上の撮影画像を、さらに座標変換することにより視点変換画像を得る。そのため、事前に想定していない仮想視点がユーザにより設定された場合にも座標変換テーブル１２１を用いて視点変換画像を作成することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するためにシステム全体を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

Ｒ … カメラ座標系
Ｖ … 仮想視点座標系
Ｗ … ワールド座標系
ｗ … 重み係数
１２、１２Ａ … 記憶部
２０ … 車両
２１ … 立体物
２５、２６ … 仮想視点
１００ … 画像処理装置
１１１Ａ〜１１１Ｄ … 画像取得部
１１４ … 距離検出部
１１４Ａ … 距離取得部
１１５ … 変形合成部
１１５Ａ … 変形合成部
１２１、１２１Ａ … テーブルデータ
３０１ … 撮影画像
３１１ … 視点変換画像

Claims (3)

1. 入力された撮影画像を所定の座標変換情報を用いて座標変換した視点変換画像を生成する視点変換画像生成部と、
   前記座標変換情報を補正する補正部と、を備え、
   前記座標変換情報は、予め設定された複数の座標対応点の前記撮影画像の座標系における座標と前記視点変換画像の座標系における座標との対応関係を表す座標変換テーブルであり、
   前記補正部は、
   前記撮影画像において立体物が存在する領域、および前記立体物の接地点を特定し、
   前記座標変換テーブルにおいて、前記複数の座標対応点のうち前記撮影画像において前記立体物が存在する領域内の座標対応点を補正対象座標対応点として、
   前記立体物の接地点に対応する座標対応点の前記視点変換画像上の座標と、前記補正対象座標対応点の前記視点変換画像上の補正前の座標とを、０以上１以下の実数である重み係数を用いて加重平均することにより、前記補正対象座標対応点の前記視点変換画像における座標を補正し、
   前記視点変換画像生成部は、
   前記補正部により補正された前記座標変換情報を用いて前記撮影画像の座標変換を行う、画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記補正部は、前記重み係数を、補正前の前記視点変換画像における前記立体物の面積と補正後の前記視点変換画像における前記立体物の面積との差分が、前記視点変換画像における予め定めた割合に相当する面積に達しない最大の値となるように設定する、画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記補正部はさらに、前記補正対象座標対応点の前記視点変換画像における座標を、前記立体物の接地点に対応する座標対応点の前記視点変換画像における座標を回転中心として回転させた座標に補正する、画像処理装置。

Images