JP6011624B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本明細書で議論される実施態様は、画像処理技術に関するものである。

アラウンドビューモニタや全周囲立体モニタ等と称されている運転支援システムが知られている。このシステムは、車両に設置した複数の車載カメラで得られた車両の周囲の撮像画像を合成して車両周辺の画像を表示するものである。

このシステムでは、まず、車両の前後左右の各部に１台ずつ設置した車載カメラが、図１に例示するような、前カメラ画像１Ｆ、後カメラ画像１Ｂ、左カメラ画像１Ｌ、及び右カメラ画像１Ｒの４枚の画像を撮像する。すると、運転支援システムは、これらの撮像画像１を合成して、図２に俯瞰画像２として例示するような、車両の周囲を当該車両の上方から俯瞰したかのような画像を作成して表示する。なお、俯瞰画像２における前カメラ画像領域２Ｆ、後カメラ画像領域２Ｂ、左カメラ画像領域２Ｌ、及び右カメラ画像領域２Ｒは、それぞれ、前カメラ画像１Ｆ、後カメラ画像１Ｂ、左カメラ画像１Ｌ、及び右カメラ画像１Ｒにおける部分領域を変形したものである。

このシステムにおいて、各カメラが独立にＡＧＣ（Automatic Gain Control：自動利得制御）などの制御を行うと、各カメラでの撮像画像１の間に輝度差が生じ、合成画像における各々の撮像画像１の領域の境界に、輝度の違いによる不連続部分が発生することがある。図２の例では、俯瞰画像２において太線で表現されている、前カメラ画像領域２Ｆ、後カメラ画像領域２Ｂ、左カメラ画像領域２Ｌ、及び右カメラ画像領域２Ｒのそれぞれの境界部分に不連続部分が発生することがある。このような撮像画像１の間の輝度差を解消するには、例えば、各カメラが得た撮像画像１の輝度を、カメラ間での視野の重複部分についての画像領域の画素値に基づいて補正すればよい。このような技術が幾つか知られている。

例えば、第一の技術として、入力画像のうちの重複部分についての画像領域の画素値に基づいて算出される補正係数を用いて輝度補正画像を一旦作成し、この補正画像から合成画像を作成することで境界部の不連続性を軽減するという技術が知られている。また、例えば、第二の技術として、カメラ毎の入力画像に対する視点変換を先に行い、視点変換後の画像上で重複領域の補正係数を推定して補正を行い、その補正後の画像を合成するという技術が知られている（例えば、特許文献１〜特許文献４参照）。

なお、他の背景技術として、車両の周囲に設けた複数台のカメラにより取得されたカメラ画像を合成して、仮想的な視点を任意に変更可能な全周囲画像を生成する技術が知られている（例えば、特許文献５参照）。

特開２００２−２７４４８号公報 特開２００６−１７３９８８号公報 特開２００８−２８５２１号公報 特開２０１０−１１３４２４号公報 国際公開第２０１２／０１７５６０号

前述した第一及び第二の技術では、カメラ毎の撮像画像若しくは視点変換画像に対する補正を行って補正画像の作成を完了させてから、その補正画像の合成が行われる。このような画像処理を行う場合には、撮像画像若しくは視点変換画像と合成画像とをそれぞれ保持しておくための画像メモリに加えて、補正画像を格納するための画像メモリも使用される。また、この画像処理において行われる、撮像画像若しくは視点変換画像のキャプチャ処理と、輝度補正処理と、画像合成処理とは逐次処理になる。ここで、輝度補正処理は、撮像画像若しくは視点変換画像を構成する全ての画素に対して実施される処理であり、この全ての画素に対する輝度補正処理が完了してから、画像合成処理が開始される。このため、このような画像処理を行う場合には、カメラでの画像取得から合成画像の表示までのレイテンシが長くなってしまう。運転の安全が望まれる運転支援装置においては、このレイテンシは短いことが好ましい。

また、例えば、各カメラで得られた画像に対して輝度補正を行わずに合成画像を先に作成し、その後に当該合成画像に対して輝度補正を行う場合について考えてみる。この場合の合成画像には、輝度補正が行われていないため、カメラでの撮像画像の境界部分で輝度差を有している。この場合の画像処理では、合成画像を一旦完成させた後に、画素間の輝度差を解消するための補正値の算出が、合成画像を構成している画素の全てについて行われ、その後に合成画像の輝度補正が行われることとなる。従って、このような画像処理を行う場合には、輝度補正が行われていない合成画像を保持しておくための画像メモリが使用される。また、この画像処理では、合成画像の作成が完了するまで補正値の算出が行えないため、カメラでの画像の取得から合成画像の表示までのレイテンシが長くなる。また、例えば合成画像の視点位置を変更した場合には、合成画像においてのカメラでの撮像画像の境界部分に対応する位置の関係が変化するため、各カメラでの撮像画像に輝度の変化がなくても、補正値の算出をやり直すこととなる。

上述した問題に鑑み、本明細書で後述する画像処理装置は、カメラ間の撮像画像の輝度差を解消して連続的な周囲画像を得る新たな合成手法を提供する。

本明細書で後述する画像処理装置は、対象物を任意の視点から見た合成画像を、当該対象物の周囲の異なる方向を撮像して得られた複数の撮像画像から生成するものである。この合成画像は、三次元空間に定義される複数のポリゴンによって多角形近似されている立体投影面に投影される画像である。この画像処理装置のひとつに、算出部、格納部、及び合成部を備えるものがある。ここで、算出部は、合成画像の生成においてポリゴンの頂点に位置することとなる撮像画像の画素の画素値に対する補正値を、複数の撮像画像の各々の輝度に基づき算出する。格納部は、算出部により算出される補正値を上述の画素毎に格納する。そして、合成部は、撮像画像を構成している画素に対応する合成画像上の画素の画素値を得ることによって、合成画像を生成する。なお、合成部は、全周囲画像上の画素の画素値を、撮像画像を構成している画素の画素値を、当該画素の撮像画像上の位置と、撮像画像と合成画像との対応関係と、格納部に格納されている補正値とに基づき補正することによって得る。

本明細書で後述する画像処理装置によれば、カメラ間の撮像画像の輝度差が解消されている連続的な周囲画像が得られるという効果を奏する。

車載カメラによる撮像画像の例である。 図１の撮像画像を合成して作成される俯瞰画像の例である。 運転支援システムの一実施例の構成を図解したブロック図である。 車載カメラの設置例の説明図である。 立体投影面の形状の例を図解した図である。 入力画像フレームバッファに格納されている撮像画像の例である。 頂点データテーブルのデータ構造の一例である。 ポリゴンデータテーブルのデータ構造の一例である。 合成画像の一例である。 輝度補正テーブルの生成の手順の説明図（その１）である。 輝度補正テーブルの生成の手順の説明図（その２）である。 輝度補正テーブルのデータ構造の一例である。 撮像画像の輝度補正を伴った画像合成処理の説明図（その１）である。 撮像画像の輝度補正を伴った画像合成処理の説明図（その２）である。 撮像画像の輝度補正を伴った画像合成処理の説明図（その３）である。 コンピュータのハードウェア構成例である。 コンピュータにおいて行われる制御処理の処理内容を図解したフローチャートである。

まず図３について説明する。図３は、運転支援システムの一実施例の構成を図解したブロック図である。

この運転支援システムは、画像処理装置１０に、４台のカメラが接続されて構成されている。

４台のカメラ、すなわち、前カメラ３Ｆ、後カメラ３Ｂ、左カメラ３Ｌ、及び右カメラ３Ｒは、図４に図解されているように、それぞれ、車両４の前部、後部、左側部、及び右側部に設置されている。前カメラ３Ｆ、後カメラ３Ｂ、左カメラ３Ｌ、及び右カメラ３Ｒは、対象物の一例である車両４の周囲の異なる方向、すなわち前後左右の各方向を撮像する。そして、それぞれ、図１に例示したような撮像画像１、すなわち、前カメラ画像１Ｆ、後カメラ画像１Ｂ、左カメラ画像１Ｌ、及び右カメラ画像１Ｒを得る。

なお、以下の説明では、特に区別する必要がない場合には、これら４台のカメラを「カメラ３」と総称するものとする。

画像処理装置１０は、上述の撮像画像１から、車両４を任意の視点から見た、車両４の周辺の映像を含む画像を生成して表示するものである。なお、以下の説明では、この画像を「合成画像」と称することとする。

画像処理装置１０は、入力画像フレームバッファ１１、輝度補正テーブル生成部１２、輝度補正テーブル格納部１３、投影面データ格納部１４、視点位置決定部１５、画像合成部１６、及び画像表示部１７を備えている。

入力画像フレームバッファ１１は、カメラ３の各々から出力される撮像画像１を格納する画像用メモリである。

輝度補正テーブル生成部１２は、入力画像フレームバッファ１１に格納されている撮像画像１を参照して、撮像画像１を構成する一部の画素の画素値に対する補正値を、撮像画像１の各々の輝度に基づき算出して、後述する輝度補正テーブルを生成する。

輝度補正テーブル格納部１３は、輝度補正テーブル生成部１２によって生成された輝度補正テーブルを格納するメモリである。

輝度補正テーブル生成部１２による輝度補正テーブルの生成は、入力画像フレームバッファ１１が更新される度、すなわち、例えば、カメラ３の各々から３０毎秒フレームの頻度で撮像画像が入力画像フレームバッファ１１に格納される度に行うようにしてもよい。但し、一般に、撮像画像１のカメラ３間での輝度の違いは激しく変化するものではないので、このようにする代わりに、より少ない頻度、例えば、３０フレーム毎に、輝度補正テーブル生成部１２による輝度補正テーブルの生成が行われるようにしてもよい。なお、このようにする場合には、輝度補正テーブル格納部１３は、最後に生成された輝度補正テーブルを保持しておくようにする。

投影面データ格納部１４は、合成画像の生成処理において撮像画像１の投影が行われる投影面についてのデータが予め格納されているメモリである。

視点位置決定部１５は合成画像をどの視点位置から俯瞰したものとするかを決定する。この視点位置の決定は、例えば、予め登録されている位置からの選択により行うようにしてもよい。また、車両４のステアリング・アクセル・ギアポジション・ブレーキ等の操作量に応じて動的に算出するようにしてもよい。また、この視点位置を離散的に変更する決定を行うようにしてもよく、異なる視点位置間を連続的に変化させる決定を行うようにしてもよい。

画像合成部１６は、撮像画像１を構成している画素の画素値を補正して当該画素に対応する合成画像上の画素の画素値を得ることによって、合成画像を生成する。この撮像画像を構成している画素の画素値の補正は、当該画素の撮像画像１上の位置関係と、撮像画像１と合成画像との対応関係と、輝度補正テーブル格納部１３に格納されている補正値とに基づいて行われる。この画像合成部１６の動作は、後に詳しく説明する。なお、画像合成部１６は、入力画像フレームバッファ１１が更新される度に、上述した合成画像の生成を行う。

画像表示部１７は、画像合成部１６によって合成された合成画像を表示して、車両４の運転者等に提示する。
図３の運転支援システムは以上のように構成されている。

次に、図３の画像処理装置１０おける画像合成部１６が行う画像合成処理について、更に詳細に説明する。

画像合成部１６は、入力画像フレームバッファ１１に格納されている撮像画像１を、三次元空間で定義された立体投影面に投影することによって、合成画像の生成を行う。

図５は、本実施例で使用する立体投影面の形状を、Ｘ、Ｙ、及びＺの直交三次元空間座標系に図解したものである。この立体投影面５は、車両４の周辺の近傍では路面に近似しており、車両４から離れるに従って上方、すなわちＺ軸の正方向に立ち上がっている外に凸の面として、多角形近似したポリゴンにより定義されている。なお、図５の例では、四角形ポリゴンを用いて立体投影面５を定義している。

立体投影面５を定義している各ポリゴンの頂点は、三次元空間における座標値（Ｘ，Ｙ，Ｚ）で表されている。この各ポリゴンの頂点の座標値は、投影面データ格納部１４に格納されている、頂点データテーブルに予め格納しておく。

また、図６は、入力画像フレームバッファ１１に格納されている撮像画像１の例である。なお、図６の撮像画像１には、立体投影面５を定義している各ポリゴンに対応する矩形を表示している。例えば、図５に例示した立体投影面５において斜線が付されているポリゴンは、図６の撮像画像１における左カメラ画像１Ｌに表示されている、斜線が付されているポリゴンと対応している。

本実施例では、前カメラ画像１Ｆ、後カメラ画像１Ｂ、左カメラ画像１Ｌ、及び右カメラ画像１Ｒを、図６に図解されているように、Ｓ及びＴの直交二次元平面座標系上に並べて配置して入力画像フレームバッファ１１に格納しておくようにする。従って、撮像画像１を構成している画素は、当該画素の位置を表す座標値（Ｓ，Ｔ）によって参照される。

前述した頂点データテーブルには、画像合成処理によって撮像画像１を立体投影面５に投影したときに、各ポリゴンの頂点に位置することとなる撮像画像１の画素を示す座標が、更に格納されている。つまり、頂点データテーブルは、撮像画像１と合成画像との対応関係を表している。

図７は、頂点データテーブルのデータ構造の一例を表している。
図７において、「頂点ＩＤ」には、立体投影面５を定義しているポリゴンの頂点を個々に識別する番号が格納される。また、「投影面の頂点座標」には、「頂点ＩＤ」により特定される頂点のＸＹＺ空間における座標値が格納される。そして、「撮像画像の画素の座標」は、「頂点ＩＤ」により特定される頂点に位置することとなる撮像画像１の画素のＳＴ平面における座標値が格納される。

なお、頂点データテーブルにより表される、各頂点のＸＹＺ空間における座標値とＳＴ平面における座標値との関係は、車両４に設置されているカメラ３の設置位置及び視野の向き、並びにカメラ３の内部パラメータを用いて予め算出しておくようにする。なお、この算出の手法は公に知られており、例えば前掲した特許文献５でも説明されている。

立体投影面５は、頂点データテーブルに登録されている頂点の組み合わせにより構成されるポリゴンにより定義される。各ポリゴンを構成する頂点の組み合わせは、投影面データ格納部１４に頂点データテーブルと共に格納されている、ポリゴンデータテーブルに表される。

図８は、ポリゴンデータテーブルのデータ構造の一例を表している。
図８において、「ポリゴンＩＤ」には、立体投影面５を定義している各ポリゴンを個々に識別する番号が格納される。また、「頂点ＩＤ」には、「ポリゴンＩＤ」により特定されるポリゴンを構成する頂点を識別する情報として、頂点データテーブルにおける「頂点ＩＤ」の欄の番号が格納される。

合成画像の生成は、ポリゴンデータテーブルに表されている各ポリゴン、すなわち、立体投影面５を定義している各ポリゴンを、ＸＹＺ空間で定義された任意の合成視点位置で描画することによって行われる。この描画処理は一般的な三次元グラフィクス処理であり、撮像画像１をテクスチャ画像とし、座標（Ｓ，Ｔ）をテクスチャ座標とし、座標値（Ｘ，Ｙ，Ｚ）をポリゴン頂点座標としたテクスチャポリゴン描画処理を画像合成部１６が行う。この描画処理が行われることによって、視点位置決定部１５によって決定された視点位置における合成画像が得られる。図９は、画像合成部１６によって以上のようにして作成される合成画像の一例であり、この合成画像は、直交しているＵ軸及びＶ軸によって定義される二次元平面上に生成される。

但し、本実施例では、画像合成部１６は、撮像画像１の輝度補正を行いながら、上述した画像合成処理を行う。このために、本実施例では、輝度補正テーブル生成部１２により輝度補正テーブルの生成が行われる。

次に、図３の画像処理装置１０における輝度補正テーブル生成部１２による輝度補正テーブルの生成の手順について説明する。

輝度補正テーブル生成部１２は、まず、画像合成部１６による合成画像の生成において隣接することとなる２枚の撮像画像１における、当該２枚の撮像画像１の境界に位置する画素の画素値に対する補正値を算出する。より具体的には、輝度補正テーブル生成部１２は、当該２枚の撮像画像１の境界に位置する画素の輝度を、当該２枚の撮像画像１の各々の輝度の平均値とする値を、補正値として算出する。

まず図１０について説明する。図１０では、図６に提示した、ポリゴンが表示されている撮像画像１における当該ポリゴンの一部の頂点の画素に、白色の四角形の印が付されている。この印が付されている頂点の画素は、画像合成部１６による合成画像の生成において隣接することとなる２枚の撮像画像１の境界に位置する画素である。以降の説明では、この画素を「境界画素」と称することとする。輝度補正テーブル生成部１２は、この境界画素の輝度値を等しくする値を、補正値として算出する。

画像合成部１６により生成される合成画像において、後カメラ画像１Ｂは、右カメラ画像１Ｒ及び左カメラ画像１Ｌと隣接することとなる。ここで、合成画像において後カメラ画像１Ｂと右カメラ画像１Ｒとの境界に位置することとなる各頂点に対応している、後カメラ画像１Ｂにおいての各境界画素の平均輝度値をＬ_B1とし、この各境界画素に対する補正値をＣ_B1とする。また、当該各頂点に対応している、右カメラ画像１Ｒにおいての各境界画素の平均輝度値をＬ_R2とし、この各境界画素に対する補正値をＣ_R2とする。

輝度補正テーブル生成部１２は、この各頂点に位置する合成画像においての各境界画素の平均輝度値Ｌ_BRを、上述した２つの平均輝度値Ｌ_B1及びＬ_R2の平均値としたときの補正値Ｃ_B1及びＣ_R2として算出する。すなわち、輝度補正テーブル生成部１２は、下記の［数１］式を成立させる補正値Ｃ_B1及びＣ_R2を算出する。

この［数１］をＣ_B1及びＣ_R1について解くと下記の［数２］式が得られる。

つまり、輝度補正テーブル生成部１２は、上記の［数２］式の計算を行って補正値Ｃ_B1及びＣ_R2を算出する。

同様に、右カメラ画像１Ｒと前カメラ画像１Ｆとの境界の各頂点に対応している、右カメラ画像１Ｒ及び前カメラ画像１Ｆの各々の各境界画素の平均輝度値をそれぞれＬ_R1及びＬ_F2とし、各境界画素に対する補正値をそれぞれＣ_R1及びＣ_F2とする。また、前カメラ画像１Ｆと左カメラ画像１Ｌとの境界の各頂点に対応している、前カメラ画像１Ｆ及び左カメラ画像１Ｌの各々の各境界画素の平均輝度値をそれぞれＬ_F1及びＬ_L2とし、各境界画素に対する補正値をそれぞれＣ_F1及びＣ_L2とする。更に、左カメラ画像１Ｌと後カメラ画像１Ｂとの境界の各頂点に対応している、左カメラ画像１Ｌ及び後カメラ画像１Ｂの各々の各境界画素の平均輝度値をそれぞれＬ_L1及びＬ_B2とし、各境界画素に対する補正値をそれぞれＣ_L1及びＣ_B2とする。このとき、輝度補正テーブル生成部１２は、下記の［数３］式、［数４］式、及び［数５］式の計算を行って、合成画像を生成した場合に撮像画像１の境界に位置することとなる境界画素についての補正値Ｃ_R1、Ｃ_F2、Ｃ_F1、Ｃ_L2、Ｃ_L1、及びＣ_B2を算出する。

次に、輝度補正テーブル生成部１２は、合成画像が投影される立体投影面５を定義しているポリゴンの各頂点に位置することとなる撮像画像１の各画素に対する補正値を算出する。輝度補正テーブル生成部１２は、この補正値を、当該各画素についての、境界画素に対するＸＹＺ空間での位置関係に応じて、上述のようにして算出された補正値Ｃ_R1、Ｃ_F2、Ｃ_F1、Ｃ_L2、Ｃ_L1、及びＣ_B2を線形補間することによって算出する。この線形補間について、図１１を用いて説明する。

図１１において、ポリゴンの頂点Ｖｎに位置することとなる左カメラ画像１Ｌの画素に対する補正値Ｃｎを算出する。

なお、図１１において、頂点Ｖａは、左カメラ画像１Ｌと後カメラ画像１Ｂとの境界上の頂点のうちで、当該頂点を起点として各ポリゴンの辺を経て頂点Ｖｎに到達する経路において経由することとなる辺の個数が最小のものである。頂点Ｖｂは、左カメラ画像１Ｌと前カメラ画像１Ｆとの境界上の頂点のうちで、当該頂点を起点として各ポリゴンの辺を経て頂点Ｖｎに到達する経路において経由することとなる辺の個数が最小のものである。なお、左カメラ画像１Ｌにおける頂点Ｖａ及び頂点Ｖｂにそれぞれ対応している境界画素に対する補正値を、それぞれＣａ及びＣｂとする。この補正値Ｃａ及びＣｂは、輝度補正テーブル生成部１２が前掲の［数５］式及び［数４］式の計算を行うことによって、既に算出されているものとする。

この場合、輝度補正テーブル生成部１２は、下記の［数６］式の計算を行うことによって、補正値Ｃａ及びＣｂを線形補間して補正値Ｃｎを算出する。

なお、［数６］式において、Ｄ_abは、頂点Ｖａを起点として各ポリゴンの辺を経て頂点Ｖｂに到達する経路の最短経路長を表しており、Ｄ_nbは、頂点Ｖｎを起点として各ポリゴンの辺を経て頂点Ｖｂに到達する経路の最短経路長を表している。この［数６］式の計算行うことにより、立体投影面５の周方向の経路長に応じて滑らかに補間した各頂点の輝度補正値が得られる。

輝度補正テーブル生成部１２は、以上のようにして、撮像画像１の各々について、立体投影面５を定義しているポリゴンの各頂点に位置することとなる撮像画像１の各画素に対する補正値を算出する。輝度補正テーブル生成部１２は、撮像画像１の画素を特定する頂点ＩＤと、当該画素について算出した補正値とを対応付けて、輝度補正テーブルを生成する。

図１２は、輝度補正テーブルのデータ構造の一例を表している。図１２に図解されているように、輝度補正テーブルでは、「頂点ＩＤ」と「補正値」とが対応付けられている。

次に、画像合成部１６が、以上のようにして生成された輝度補正テーブルを用いることによって行う、撮像画像１の輝度補正を伴った画像合成処理について、図１３を参照しながら説明する。

まず、画像合成部１６は、視点位置決定部１５により決定された視点位置に基づく周知の三次元コンピュータグラフィクス処理を実行して、ポリゴンデータテーブルに表されているポリゴンを全て順番に描画する処理を行うことによって、合成画像の生成を行う。

この描画の処理において、描画対象がｉ番目のポリゴンのポリゴンＩＤをＰｉとし、このポリゴンＰｉを構成する４つの頂点の頂点ＩＤをそれぞれ、Ｖ_i1、Ｖ_i2、Ｖ_i3、及びＶ_i4とする。これらの４つの頂点のＸＹＺ空間座標系における三次元座標は、頂点データテーブルに表されている。画像合成部１６は、視野変換、モデリング変換、投影変換などといった各種の幾何変換を施すことによって、ＸＹＺ空間座標系に定義されているこれら４つの頂点は、ＵＶ平面座標系上の４点に変換される。この変換後の４点をＶ_i1’、Ｖ_i2’、Ｖ_i3’、及びＶ_i4’とする。

ここで、頂点Ｖ_i1、Ｖ_i2、Ｖ_i3、及びＶ_i4それぞれのＸＹＺ空間座標系における三次元座標を（ｘ_ij，ｙ_ij，ｚ_ij）（ｊ＝１，２，３，４）とする。また、これら４つの頂点の変換後のＵＶ平面座標系上の点Ｖ_i1’、Ｖ_i2’、Ｖ_i3’、及びＶ_i4’の座標を（ｕ_ij，ｖ_ij）（ｊ＝１，２，３，４）とする。図１３は、この変換の様子を模式的に表したものである。

ここで、ＵＶ平面座標系上に表された４つの頂点により形成される四角形ポリゴンにおける、対向する２組の辺のうちの一方の組の２つの辺を共に第一の比率に内分する直線と他方の組の２つの辺を共に第二の比率に内分する直線との交点に注目する。すなわち、図１４において、描かれている四角形で対向している辺Ｖ_i1’Ｖ_i4’及び辺Ｖ_i2’Ｖ_i3’を共にａ：（１−ａ）に内分する直線と、対向している辺Ｖ_i2’Ｖ_i1’及び辺Ｖ_i3’Ｖ_i4’を共にｂ：（１−ｂ）に内分する直線との交点Ｖに注目する。この交点Ｖの座標（ｕ_ik，ｖ_ik）は、下記の［数７］式で表される。

一方、このＵＶ平面座標系での交点Ｖに対応している、撮像画像１上の点についてのＳＴ平面座標系上の座標（ｓ_ik，ｔ_ik）は、下記の［数８］式で表される。

なお、［数８］式において、（ｓ_ij，ｔ_ij）（ｊ＝１，２，３，４）は、ポリゴンＰｉを構成する４つの頂点に対応する、撮像画像１上での点についてのＳＴ平面座標系上の座標である。これらの座標値は、頂点データテーブルに、４つの頂点の頂点ＩＤ、すなわちＶ_i1、Ｖ_i2、Ｖ_i3、及びＶ_i4にそれぞれ対応付けられて格納されている。

また、画像合成部１６は、交点Ｖに位置することとなる画素に対する補正値Ｃ_ikを、下記の［数９］式により算出する。

なお、［数９］式において、Ｃ_ij（ｊ＝１，２，３，４）は、前述の４つの頂点Ｖ_i1’、Ｖ_i2’、Ｖ_i3’、及びＶ_i4’についての補正値である。これらの補正値は、輝度補正テーブルにおいて、４つの頂点の頂点ＩＤ、すなわちＶ_i1、Ｖ_i2、Ｖ_i3、及びＶ_i4について格納されている。画像合成部１６は、この［数９］式の計算を行うことによって、交点Ｖに位置することとなる画素に対する補正に使用する補正値として、当該４つの各頂点についての補正値の、交点Ｖと当該４つの各頂点との距離の近さに応じた重み付け平均値を算出する。

画像合成部１６は、ＵＶ平面座標系上の前述した点Ｖ（ｕ_ik，ｖ_ik）に位置する画素の画素値Ｇ（ｕ_ik，ｖ_ik）を、下記の［数１０］式の計算を行って求める。

なお、［数１０］式において、Ｐ（ｓ_ik，ｔ_ik）は、上の点についてのＳＴ平面座標系上の座標（ｓ_ik，ｔ_ik）の位置における撮像画像１の画素の画素値である。また、関数Ｃｌｉｐ（）は、引数である画素値を、所定のビット数に丸める関数である。例えば、Ｇ（ｕ_ik，ｖ_ik）及びＰ（ｓ_ik，ｔ_ik）の両者が、光の三原色であるＲＧＢ各色８ビットずつの値で表される場合には、関数Ｃｌｉｐ（）は、引数である画素値を、ＲＧＢ各色８ビットずつの値に丸める処理を行う。

画像合成部１６は、点Ｖ（ｕ_ik，ｖ_ik）について［数７］式が成立するときのａ及びｂの値を求め、得られた値を［数８］式及び［数９］式に代入して式の計算を行う。そして、得られた座標（ｓ_ik，ｔ_ik）及び補正値Ｃ_ikについて、［数１０］式の計算を行って点Ｖ（ｕ_ik，ｖ_ik）に位置する画素の画素値Ｇ（ｕ_ik，ｖ_ik）を求めることによって、合成画像を生成する。

なお、上述した実施例では、立体投影面５を四角形ポリゴンにより定義したが、この定義を、他のポリゴンを用いて行うようにしてもよい。例えば、立体投影面５を三角形ポリゴンで定義した場合には、画像合成部１６は、以下のようにして合成画像の生成を行う。

まず、描画対象がｉ番目のポリゴンのポリゴンＩＤをＰｉとし、このポリゴンＰｉを構成する３つの頂点の頂点ＩＤをそれぞれ、Ｖ_i1、Ｖ_i2、及びＶ_i3とし、これらのＸＹＺ空間座標系における三次元座標を（ｘ_ij，ｙ_ij，ｚ_ij）（ｊ＝１，２，３）とする。これらの３つの頂点のＸＹＺ空間座標系における三次元座標は頂点データテーブルに表されている。また、画像合成部１６が各種の幾何変換を施したときの変換後のＵＶ平面座標系上の３点をＶ_i1’、Ｖ_i2’、及びＶ_i3’とし、これらの座標を（ｕ_ij，ｖ_ij）（ｊ＝１，２，３）とする。

ここで、ＵＶ平面座標系上に表された３つの頂点により形成される三角形ポリゴンにおける１辺を第一の比率に内分する点と当該３つの頂点のうち当該１辺上に存在しない頂点とを結ぶ線分を、第二の比率に内分する点に注目する。すなわち、図１５において、描かれている三角形における辺Ｖ_i1’Ｖ_i3’をａ：（１−ａ）に内分する点と頂点Ｖ_i2’とを結ぶ線分をｂ：（１−ｂ）に内分する点Ｖに注目する。この点Ｖの座標（ｕ_ik，ｖ_ik）は、下記の［数１１］式で表される。

一方、このＵＶ平面座標系での点Ｖに対応している、撮像画像１上の点についてのＳＴ平面座標系上の座標（ｓ_ik，ｔ_ik）は、下記の［数１２］式で表される。

なお、［数１２］式において、（ｓ_ij，ｔ_ij）（ｊ＝１，２，３）は、ポリゴンＰｉを構成する３つの頂点に対応する、撮像画像１上での点についてのＳＴ平面座標系上の座標である。これらの座標値は、頂点データテーブルに、３つの頂点の頂点ＩＤ、すなわちＶ_i1、Ｖ_i2、及びＶ_i3にそれぞれ対応付けられて格納されている。

また、画像合成部１６は、点Ｖに位置することとなる画素に対する補正値Ｃ_ikを、下記の［数１３］式により算出する。

なお、［数１３］式において、Ｃ_ij（ｊ＝１，２，３）は、前述の３つの頂点Ｖ_i1’、Ｖ_i2’、及びＶ_i3’についての補正値であり、輝度補正テーブルにおいて、３つの頂点の頂点ＩＤ、すなわちＶ_i1、Ｖ_i2、及びＶ_i3にそれぞれ格納されている値である。画像合成部１６は、この［数１３］式の計算を行うことによって、点Ｖに位置することとなる画素に対する補正に使用する補正値として、当該３つの各頂点についての補正値の、点Ｖと当該４つの各頂点との距離の近さに応じた重み付け平均値を算出する。

画像合成部１６は、点Ｖ（ｕ_ik，ｖ_ik）について［数１１］式が成立するときのａ及びｂの値を求め、得られた値を［数１２］式及び［数１３］式に代入して式の計算を行う。そして、得られた座標（ｓ_ik，ｔ_ik）及び補正値Ｃ_ikについて、前掲した［数１０］式の計算を行って点Ｖ（ｕ_ik，ｖ_ik）に位置する画素の画素値Ｇ（ｕ_ik，ｖ_ik）を求めることによって、合成画像を生成する。このようにすることによって、立体投影面５が三角形ポリゴンで定義されている場合でも、合成画像が得られる。

そころで、以上までに説明した、図３の運転支援システムにおける画像処理装置１０を、標準的なコンピュータを用いて構成するようにしてもよい。

ここで図１６について説明する。図１６は、画像処理装置１０として動作させることの可能なコンピュータ２０のハードウェア構成例が図解されている。

このコンピュータ２０は、ＭＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ハードディスク装置２４、入力装置２５、表示装置２６、インタフェース装置２７、及び記録媒体駆動装置２８を備えている。なお、これらの構成要素はバスライン２９を介して接続されており、ＭＰＵ２１の管理の下で各種のデータを相互に授受することができる。

ＭＰＵ（Micro Processing Unit）２１は、このコンピュータ２０全体の動作を制御する演算処理装置である。

ＲＯＭ（Read Only Memory）２２は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。ＭＰＵ２１は、この基本制御プログラムをコンピュータ５０の起動時に読み出して実行することにより、このコンピュータ２０の各構成要素の動作制御が可能になる。なお、ＲＯＭ２２として、フラッシュメモリ等の、電力供給の停止に対して記憶データが不揮発性であるメモリを使用してもよい。

ＲＡＭ（Random Access Memory）２３は、ＭＰＵ２１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。ＲＡＭ１１は、入力画像フレームバッファ１１や、輝度補正テーブル格納部１３として機能する。

ハードディスク装置２４は、ＭＰＵ２１によって実行される各種の制御プログラムや各種のデータを記憶しておく記憶装置である。ＭＰＵ２１は、ハードディスク装置２４に記憶されている所定の制御プログラムを読み出して実行することにより、後述する制御処理を行えるようになる。また、ハードディスク装置２４は、投影面データ格納部１４としても機能する。なお、後述する制御処理の実行開始時にハードディスク装置２４から頂点データテーブル及びポリゴンデータテーブルをＭＰＵ５１が読み出してＲＡＭ２３に格納する処理を行うようにして、ＲＡＭ２３を投影面データ格納部１４として機能させるようにしてもよい。

入力装置２５は、例えばキーボード装置やマウス装置であり、コンピュータ２０の使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＭＰＵ２１に送付する。

表示装置２６は例えば液晶ディスプレイであり、ＭＰＵ２１から送付される表示データに応じて各種のテキストや画像を表示する。表示装置２６は、画像表示部１７として機能する。

インタフェース装置２７は、このコンピュータ２０に接続される各種機器との間での各種データの授受の管理を行う。インタフェース装置２７は、例えばカメラ３と接続されて、カメラ３から送られてくる撮像画像１を受信する。

記録媒体駆動装置２８は、可搬型記録媒体３０に記録されている各種の制御プログラムやデータの読み出しを行う装置である。ＭＰＵ２１は、可搬型記録媒体３０に記録されている所定の制御プログラムを、記録媒体駆動装置２８を介して読み出して実行することによって、後述する各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体６０としては、例えばＣＤ−ＲＯＭ（Compact Disc Read Only Memory）やＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）、ＵＳＢ（Universal Serial Bus）規格のコネクタが備えられているフラッシュメモリなどがある。

このようなコンピュータ２０を画像処理装置１０として動作させるには、まず、後述する制御処理の各処理ステップをＭＰＵ２１に行わせるための制御プログラムを作成する。作成された制御プログラムはハードディスク装置２４若しくは可搬型記録媒体３０に予め格納しておく。そして、ＭＰＵ２１に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、ＭＰＵ２１が、図３に図解した画像処理装置１０が備えている各部として機能し、このコンピュータ５０を画像処理装置１０として機能させることが可能になる。

次に、コンピュータ２０を画像処理装置１０として動作させるための制御処理について、図１７を参照しながら説明する。図１７は、この制御処理の処理内容を図解したフローチャートである。

図１７の処理が開始されると、まず、Ｓ１０１において、インタフェース装置２７を制御して、カメラ１から送られてくる撮像画像１の取得を行わせると共に、得られた撮像画像をＲＡＭ２３に格納する処理をＭＰＵ２１が行う。このときのＲＡＭ２３は、図３における入力画像フレームバッファ１１として機能している。

次に、Ｓ１０２では、輝度補正テーブルを作成する処理をＭＰＵ２１が行う。この処理では、ＭＰＵ２１は、合成画像の生成において隣接することとなる２枚の撮像画像１における、当該２枚の撮像画像１の境界に位置する画素の輝度を、当該２枚の撮像画像１の各々の輝度の平均値とする値を、補正値として算出する処理を行う。つまり、この処理は、輝度補正テーブル生成部１２が有している前述の各機能をＭＰＵ２１が提供する処理である。

次に、Ｓ１０３では、Ｓ１０２の処理で生成された輝度補正テーブルをＲＡＭ２３に格納する処理をＭＰＵ２１が行う。このときのＲＡＭ２３は、図３における輝度補正テーブル格納部１３として機能している。

次に説明するＳ１０４からＳ１０７にかけての処理は、画像合成部１６が有している前述の各機能をＭＰＵ２１が提供する処理である。

まず、Ｓ１０４において、投影面データ格納部１４として機能しているハードディスク装置２４若しくはＲＡＭ２３に格納されているポリゴンデータテーブルと頂点データテーブルとのうちのポリゴンデータテーブルを参照する処理をＭＰＵ２１が行う。

次に、Ｓ１０５において、画像合成の処理が未だ施されていないポリゴンについてのデータを取得する処理をＭＰＵ２１が行う。この処理では、当該ポリゴンを構成している頂点の頂点ＩＤのデータがポリゴンデータテーブルから取得され、その頂点ＩＤに対応付けられている座標データが頂点データテーブルから取得される。

次に、Ｓ１０６では、Ｓ１０５の処理により得られたポリゴンについてのデータを用いて、当該ポリゴン内に位置する全ての画素についての画素値を算出する処理をＭＰＵ２１が行う。この処理は、例えば立体投影面５が四角形ポリゴンで定義されている場合に、前掲した［数７］、［数８］、［数９］、及び［数１０］の各式の計算を行って、当該ポリゴン内の全ての点に位置する画素の画素値を算出する処理である。

次に、Ｓ１０７では、ポリゴンデータテーブルに登録されている全てのポリゴンについて、上述したＳ１０６の処理を終えたか否かを判定する処理をＭＰＵ２１が行う。ここで、ＭＰＵ２１は、全てのポリゴンについて処理を終えたと判定したとき（判定結果がＹｅｓのとき）にはＳ１０８に処理を進める。一方、ＭＰＵ２１は、ここで、未処理のポリゴンが残っていると判定したとき（判定結果がＮｏのとき）にはＳ１０５へと処理を戻し、未処理のポリゴンについて、Ｓ１０５及びＳ１０６の処理を行う。

Ｓ１０８では、ポリゴンデータテーブルに登録されている全てのポリゴンについてＳ１０６の処理を全て終えたことによって生成された合成画像を、表示装置２６に表示させる処理をＭＰＵ２１が行う。この処理によって合成画像の表示を行う表示装置２６は、画像表示部１７として機能している。その後、ＭＰＵ２１はＳ１０１へと処理を戻し、カメラ３から送られてくる次のフレームの撮像画像１に対して、上述した処理を行う。

以上の制御処理を行うことによって、コンピュータ２０が画像処理装置１０として動作する。

以上のように、図３の画像処理装置１０は、撮像画像の輝度補正画像を作成しないので、補正画像を格納するためのフレームメモリは備えておらず、また、その作成のための処理負荷が低減されている。例えば、ＮＴＳＣ（National Television System Committee）方式の車載カメラを４台使用して、各７２０×４８０画素のＲＧＢ２４ｂｉｔの撮像画像を得た場合には、４ＭＢのメモリと１フレームあたり１３８万回の画素輝度補正処理とが削減される。

また、図３の画像処理装置１０は、輝度補正前の合成画像の作成も行わないので、そのためのフレームメモリは備えておらず、また、その作成のための処理負荷が低減されている。例えば、ＮＴＳＣ方式の車載カメラを４台使用して、各７２０×４８０画素のＲＧＢ２４ｂｉｔの撮像画像を得た場合には、１ＭＢのメモリが削減される。

また、図３の画像処理装置１０は、三次元空間で定義された立体投影面５上の頂点に対して補正値を作成するので、視点移動が生じても輝度補正テーブルの再計算を行わなくてよい。

１ 撮像画像
１Ｆ 前カメラ画像
１Ｂ 後カメラ画像
１Ｌ 左カメラ画像
１Ｒ 右カメラ画像
２ 俯瞰画像
２Ｆ 前カメラ画像領域
２Ｂ 後カメラ画像領域
２Ｌ 左カメラ画像領域
２Ｒ 右カメラ画像領域
３ カメラ
３Ｆ 前カメラ
３Ｂ 後カメラ
３Ｌ 左カメラ
３Ｒ 右カメラ
４ 車両
５ 立体投影面
１０ 画像処理装置
１１ 入力画像フレームバッファ
１２ 輝度補正テーブル生成部
１３ 輝度補正テーブル格納部
１４ 投影面データ格納部
１５ 視点位置決定部
１６ 画像合成部
１７ 画像表示部
２０ コンピュータ
２１ ＭＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ ハードディスク装置
２５ 入力装置
２６ 表示装置
２７ インタフェース装置
２８ 記録媒体駆動装置
２９ バスライン
３０ 可搬型記録媒体

Claims (6)

1. 対象物を任意の視点から見た合成画像を、該対象物の周囲の異なる方向を撮像して得られた複数の撮像画像から生成する画像処理装置であって、
   前記合成画像は、三次元空間に定義される複数のポリゴンによって多角形近似されている立体投影面に投影される画像であり、
   前記画像処理装置は、
   前記合成画像の生成において前記ポリゴンの頂点に位置することとなる前記撮像画像の画素の画素値に対する補正値を、前記複数の撮像画像の各々の輝度に基づき算出する算出部、
   前記算出部により算出される前記補正値を前記画素毎に格納する格納部、及び
   前記撮像画像を構成している画素の画素値を、該画素の前記撮像画像上の位置と、前記撮像画像と前記合成画像との対応関係と、前記格納部に格納されている前記補正値とに基づき補正して、前記撮像画像を構成している画素に対応する前記合成画像上の画素の画素値を得ることによって、前記合成画像を生成する合成部、
   を備える画像処理装置。
2. 前記算出部は、前記ポリゴンの頂点に位置することとなる前記撮像画像の画素のうちの前記合成部による前記合成画像の生成において隣接することとなる２枚の撮像画像の境界に位置する画素である境界画素の輝度を前記２枚の撮像画像の各々の輝度の平均値とする値を、該境界画素についての前記補正値として算出する請求項１に記載の画像処理装置。
3. 前記算出部は、前記ポリゴンの頂点に位置することとなる前記撮像画像の画素のうちの前記境界画素以外である画素についての前記補正値の算出を、該境界画素以外である画素についての前記境界画素に対する前記三次元空間での位置関係に応じた、前記境界画素についての前記補正値の線形補間によって行う、
   請求項２に記載の画像処理装置。
4. 前記ポリゴンは四角形であり、
   前記ポリゴンの４つの頂点の前記三次元空間における座標値と該４つの頂点に対応している前記撮像画像上の４つの対応点についての前記撮像画像上での座標値とが対応付けられて格納されている頂点データテーブルを更に備え、
   前記合成部は、前記撮像画像における前記４つの対応点を頂点とする四角形における対向する２組の辺のうちの一方の組の２つの辺を共に第一の比率に内分する直線と他方の組の２つの辺を共に第二の比率に内分する直線との交点に位置する画素の画素値を、前記格納部に格納されている前記４つの対応点の各々の前記補正値についての、該交点と該対応点との距離の近さに応じた重み付け平均値を用いて補正して、前記ポリゴンにおける対向する２組の辺のうちの一方の組の２つの辺を共に該第一の比率に内分する直線と他方の組の２つの辺を共に該第二の比率に内分する直線との交点に位置することとなる画素の画素値を得ることによって、前記合成画像を生成する、
   請求項３に記載の画像処理装置。
5. 対象物を任意の視点から見た合成画像を、該対象物の周囲の異なる方向を撮像して得られた複数の撮像画像から生成する画像処理方法であって、
   前記合成画像は、三次元空間に定義される複数のポリゴンによって多角形近似されている立体投影面に投影される画像であり、
   前記画像処理方法は、
   前記合成画像の生成において前記ポリゴンの頂点に位置することとなる前記撮像画像の画素の画素値に対する補正値を、前記複数の撮像画像の各々の輝度に基づき算出して該画素毎に格納部に格納し、
   前記撮像画像を構成している画素の画素値を、該画素の前記撮像画像上の位置と、前記撮像画像と前記合成画像との対応関係と、前記格納部に格納されている前記補正値とに基づき補正して、前記撮像画像を構成している画素に対応する前記合成画像上の画素の画素値を得ることによって、前記合成画像を生成する、
   画像処理方法。
6. 対象物を任意の視点から見た合成画像を、該対象物の周囲の異なる方向を撮像して得られた複数の撮像画像から生成する処理をコンピュータに行わせるプログラムであって、
   前記合成画像は、三次元空間に定義される複数のポリゴンによって多角形近似されている立体投影面に投影される画像であり、
   前記プログラムは、
   前記合成画像の生成において前記ポリゴンの頂点に位置することとなる前記撮像画像の画素の画素値に対する補正値を、前記複数の撮像画像の各々の輝度に基づき算出して該画素毎に前記コンピュータの格納部に格納し、
   前記撮像画像を構成している画素の画素値を、該画素の前記撮像画像上の位置と、前記撮像画像と前記合成画像との対応関係と、前記格納部に格納されている前記補正値とに基づき補正して、前記撮像画像を構成している画素に対応する前記合成画像上の画素の画素値を得ることによって、前記合成画像を生成する、
   処理を前記コンピュータに実行させるプログラム。

Images