JP6403393B2 - 画像生成装置 - Google Patents

Description

本発明は、被操作体に取り付けられた複数のカメラが撮像した複数の入力画像に基づいて出力画像を生成する画像生成装置及びその装置を用いた操作支援システムに関する。

複数のカメラが撮像した複数の入力画像に基づいて生成される出力画像における、複数のカメラの撮像範囲が重複する重複領域に対応する出力画像部分での物体の消失を防止する画像生成装置が知られている（例えば、特許文献１参照。）。

この画像生成装置は、ショベルに取り付けられた３つのカメラが撮像した複数の入力画像に基づいて出力画像を生成する。そして、３つのカメラのうちの２つのカメラのそれぞれの撮像範囲が重複する領域に対応するそれら２つのカメラのそれぞれの入力画像部分は、出力画像において結果的に格子模様を形成するように対応付けられる。格子模様は、第１カメラの位置を波源とする第１の波の山が描く円と、第１の波の谷が描く円と、第２カメラの位置を波源とする第２の波の山が描く円と、第２の波の谷が描く円とによって区切られる格子を単位パタンとし、第１の波及び第２の波によって形成される腹線が通過する単位パタンに対応する出力画像平面上の座標を第１カメラの入力画像平面上の座標に関連付け、第１の波及び第２の波によって形成される節線が通過する単位パタンに対応する出力画像平面上の座標を第２カメラの入力画像平面上の座標に関連付ける。この構成により、特許文献１の画像生成装置は、重複領域に対応する出力画像部分における物体の視認性を維持しながら、その物体の消失を防止できる。

特開２０１０−２５６２９５号公報

しかしながら、上述の画像生成装置は、出力画像の解像度が低い場合、重複領域に対応する出力画像部分の見栄えを低下させる場合がある。

上述の点に鑑み、重複領域に対応する出力画像部分の見栄えを改善できる画像生成装置の提供が望まれる。

本発明の実施例に係る画像生成装置は、被操作体に取り付けられた複数のカメラが撮像した複数の入力画像に基づいて出力画像を生成する画像生成装置であって、前記出力画像は、前記複数のカメラのうちの２つのカメラのそれぞれの撮像範囲が重複する領域に対応する、複数の単位パタン領域で構成される格子模様の出力画像部分を含み、前記単位パタン領域における画素値は、前記２つのカメラのそれぞれが撮像した各入力画像における、前記単位パタン領域における画素に対応する２つの入力画素の画素値を平均化して決定され、該平均化の度合いは前記単位パタン領域における画素の位置に応じて異なる。

上述の手段により、重複領域に対応する出力画像部分の見栄えを改善できる画像生成装置が提供される。

本発明の実施例に係る画像生成装置の構成例を概略的に示すブロック図である。 画像生成装置が搭載されるショベルの構成例を示す図である。 入力画像が投影される空間モデルの一例を示す図である。 空間モデルと処理対象画像平面との間の関係の一例を示す図である。 入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。 座標対応付け手段による座標間の対応付けを説明するための図である。 処理対象画像生成処理及び出力画像生成処理の流れを示すフローチャートである。 出力画像の表示例（その１）である。 出力画像生成手段による補間処理の効果を説明する図である。 補間処理を説明する概略図である。 出力画像生成手段の構成例を示す機能ブロック図である。 補間処理の流れを示すフローチャートである。 垂線交点の座標値の小数部分と第１画素の値の重みαとの関係を示す図である。 出力画像の表示例（その２）である。 同色錯視を説明するための図である。 同色錯視をもたらす明暗パタンを生成する方法の一例を説明するための図である。 図１６の格子模様を出力画像平面上に配置した状態を示す図である。 格子模様形成処理の流れを示すフローチャートである。 図１４で示される出力画像と、図１１の出力画像に同色錯視をもたらす格子模様が適用された出力画像との違いを表す対比図である。 出力画像の表示例（その３）である。 ２つのカメラのそれぞれの撮像範囲の重複領域における物体の消失防止効果を説明するための図である。 図２０で示される出力画像と、図１７の出力画像に同色錯視をもたらす格子模様が適用された出力画像との違いを表す対比図である。 平均化境界処理の流れを示す概略図である。 「場」の値から「重み」の値への変換に用いる変換曲線の一例である。 「場」の値から「重み」の値への変換に用いる変換曲線の別の一例である。 ２種類の単位パタン領域のそれぞれにおける画素に関する重みｗ_Ｂの値の関係を示す図である。 周辺減光対策処理を説明する図である。 サイドエッジ対策処理を説明する図である。 遠方領域パタン化対策処理を説明する図である。 平均化境界処理の効果を説明する図である。 出力画像改善処理の流れを示すフローチャートである。

以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。

図１は、本発明の実施例に係る画像生成装置１００の構成例を概略的に示すブロック図である。

画像生成装置１００は、例えば、建設機械に搭載されたカメラ２が撮像した入力画像に基づいて出力画像を生成し、その出力画像を運転者に提示する装置であって、制御部１、カメラ２、入力部３、記憶部４、及び表示部５で構成される。

図２は、画像生成装置１００が搭載されるショベル６０の構成例を示す図であり、ショベル６０は、クローラ式の下部走行体６１の上に、旋回機構６２を介して、上部旋回体６３を旋回軸ＰＶの周りで旋回自在に搭載している。

また、上部旋回体６３は、その前方左側部にキャブ（運転室）６４を備え、その前方中央部に掘削アタッチメントＥを備え、その右側面、左側面、及び後面にカメラ２（右側方カメラ２Ｒ、左側方カメラ２Ｌ、後方カメラ２Ｂ）を備えている。なお、キャブ６４内の運転者が視認し易い位置には表示部５が設置されている。

次に、画像生成装置１００の各構成要素について説明する。

制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を備えたコンピュータである。制御部１は、例えば、後述する座標対応付け手段１０及び出力画像生成手段１１のそれぞれに対応するプログラムをＲＯＭやＮＶＲＡＭに記憶し、一時記憶領域としてＲＡＭを利用しながら各手段に対応する処理をＣＰＵに実行させる。

カメラ２は、ショベル６０の周辺を映し出す入力画像を取得するための装置であり、例えば、キャブ６４にいる運転者の死角となる領域を撮像できるよう上部旋回体６３の右側面、左側面、及び後面に取り付けられる（図２参照。）。

また、カメラ２は、制御部１からの制御信号に応じて入力画像を取得し、取得した入力画像を制御部１に対して出力する。

入力部３は、操作者が画像生成装置１００に対して各種情報を入力できるようにするための装置であり、例えば、タッチパネル、ボタンスイッチ、ポインティングデバイス、キーボード等である。

記憶部４は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。

表示部５は、画像情報を表示するための装置であり、例えば、建設機械のキャブ６４（図２参照。）内に設置された液晶ディスプレイ又はプロジェクタ等であって、制御部１が出力する各種画像を表示する。

また、画像生成装置１００は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施して出力画像を生成する。そして、画像生成装置１００は、この出力画像を操作者に提示することにより、操作者がショベル６０と周辺障害物との位置関係や距離感を直感的に把握できるようにする。

「処理対象画像」は、入力画像に基づいて生成される画像である。また、処理対象画像は、例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等の画像変換処理の対象となる画像である。また、処理対象画像は、例えば、入力画像を所定の空間モデルに投影した後で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる。空間モデルへの投影は、入力画像を画像変換処理で用いた場合にその入力画像が不自然に表示されてしまうのを防止するために行われる。具体的には、地表を上方から撮像するカメラによる入力画像であってその広い画角により水平方向の画像（例えば、空の部分である。）を含む入力画像を画像変換処理で用いた場合に、空の部分が地表にあるかのように不自然に表示されてしまうのを防止するために行われる。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。

「空間モデル」は、少なくとも、処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面を含む、一又は複数の平面若しくは曲面で構成される、入力画像の投影対象である。なお、処理対象画像平面以外の平面又は曲面は、例えば、処理対象画像平面に平行な平面、又は、処理対象画像平面との間で角度を形成する平面若しくは曲面である。

なお、画像生成装置１００は、処理対象画像を生成することなく、その空間モデルに投影された投影画像に画像変換処理を施すことによって出力画像を生成してもよい。また、投影画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。

図３は、入力画像が投影される空間モデルＭＤの一例を示す図であり、図３（Ａ）は、ショベル６０を側方から見たときのショベル６０と空間モデルＭＤとの間の関係を示し、図３（Ｂ）は、ショベル６０を上方から見たときのショベル６０と空間モデルＭＤとの間の関係を示す。

図３で示されるように、空間モデルＭＤは、略円筒形状を有し、その底面内部の平面領域Ｒ１とその側面内部の曲面領域Ｒ２とを有する。

また、図４は、空間モデルＭＤと処理対象画像平面との間の関係の一例を示す。図４に示すように、処理対象画像平面Ｒ３は、例えば、空間モデルＭＤの平面領域Ｒ１を含む平面である。なお、図４は、明確化のために、空間モデルＭＤを、図３で示すような略円筒形状ではなく、円筒形状で示しているが、空間モデルＭＤは、略円筒形状及び円筒形状の何れであってもよい。以降の図においても同様である。また、処理対象画像平面Ｒ３は、上述のように、空間モデルＭＤの平面領域Ｒ１を含む円形領域であってもよく、空間モデルＭＤの平面領域Ｒ１を含まない環状領域であってもよい。

次に、制御部１が有する各種手段について説明する。

座標対応付け手段１０は、カメラ２が撮像した入力画像が位置する入力画像平面上の座標と、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付けるための手段である。また、座標対応付け手段１０は、例えば、カメラ２に関する各種パラメータと、予め決定された、入力画像平面、空間モデルＭＤ、及び処理対象画像平面Ｒ３の相互の位置関係とに基づいて、入力画像平面上の座標と、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付ける。そして、座標対応付け手段１０は、それらの対応関係を記憶部４の入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１に記憶する。カメラ２に関する各種パラメータは、カメラ２の光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等を含み、予め設定された値であってもよく、入力部３を介して入力される値であってもよい。

なお、座標対応付け手段１０は、処理対象画像を生成しない場合には、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標との対応付け、及び、その対応関係の空間モデル・処理対象画像対応マップ４１への記憶を省略する。

出力画像生成手段１１は、出力画像を生成するための手段であり、例えば、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって、処理対象画像平面Ｒ３上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。そして、出力画像生成手段１１は、その対応関係を記憶部４の処理対象画像・出力画像対応マップ４２に記憶する。そして、出力画像生成手段１１は、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照し、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。各画素の値は、例えば、輝度値、色相値、彩度値等を含む。

また、出力画像生成手段１１は、仮想カメラに関する各種パラメータに基づいて、処理対象画像平面Ｒ３上の座標と出力画像平面上の座標とを対応付け、その対応関係を記憶部４の処理対象画像・出力画像対応マップ４２に記憶する。そして、出力画像生成手段１１は、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照し、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。仮想カメラに関する各種パラメータは、仮想カメラの光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等を含み、予め設定された値であってもよく、入力部３を介して入力される値であってもよい。

なお、出力画像生成手段１１は、仮想カメラの概念を用いることなく、処理対象画像のスケールを変更して出力画像を生成してもよい。

また、出力画像生成手段１１は、処理対象画像を生成しない場合には、施した画像変換処理に応じて空間モデルＭＤ上の座標と出力画像平面上の座標とを対応付ける。そして、出力画像生成手段１１は、入力画像・空間モデル対応マップ４０を参照し、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。この場合、出力画像生成手段１１は、処理対象画像平面Ｒ３上の座標と出力画像平面上の座標との対応付け、及び、その対応関係の処理対象画像・出力画像対応マップ４２への記憶を省略する。

次に、座標対応付け手段１０及び出力画像生成手段１１による具体的な処理の一例について説明する。

座標対応付け手段１０は、例えば、ハミルトンの四元数を用いて、入力画像平面上の座標と空間モデル上の座標とを対応付けることができる。

図５は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。図５において、カメラ２の入力画像平面は、カメラ２の光学中心Ｃを原点とするＵＶＷ直交座標系における一平面として表され、空間モデルは、ＸＹＺ直交座標系における立体面として表される。

最初に、座標対応付け手段１０は、ＸＹＺ座標系の原点を光学中心Ｃ（ＵＶＷ座標系の原点）に並行移動させた上で、Ｘ軸をＵ軸に、Ｙ軸をＶ軸に、Ｚ軸を−Ｗ軸にそれぞれ一致させるようＸＹＺ座標系を回転させる。空間モデル上の座標（ＸＹＺ座標系上の座標）を入力画像平面上の座標（ＵＶＷ座標系上の座標）に変換するためである。なお、−Ｗ軸における符号「−」は、Ｚ軸とは方向が逆であることを意味する。これは、ＵＶＷ座標系がカメラ前方を＋Ｗ方向とし、ＸＹＺ座標系が鉛直下方を−Ｚ方向としていることに起因する。

なお、カメラ２が複数存在する場合、カメラ２のそれぞれが個別のＵＶＷ座標系を有する。そのため、座標対応付け手段１０は、複数のＵＶＷ座標系のそれぞれに対して、ＸＹＺ座標系を並行移動させ且つ回転させる。

上述の変換は、カメラ２の光学中心ＣがＸＹＺ座標系の原点となるようにＸＹＺ座標系を並行移動させた後に、Ｚ軸が−Ｗ軸に一致するよう回転させ、更に、Ｘ軸がＵ軸に一致するよう回転させることによって実現される。座標対応付け手段１０は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。

ところで、あるベクトルＡを別のベクトルＢに一致させるための回転は、ベクトルＡとベクトルＢとが形成する面の法線を軸としてベクトルＡとベクトルＢとが形成する角度だけ回転させる処理に相当する。そのため、その角度をθとすると、ベクトルＡとベクトルＢとの内積から、角度θは、

で表される。

また、ベクトルＡとベクトルＢとが形成する面の法線の単位ベクトルＮは、ベクトルＡとベクトルＢとの外積から

で表される。

なお、四元数は、ｉ、ｊ、ｋをそれぞれ虚数単位とした場合、

を満たす超複素数である。本実施例において、四元数Ｑは、実成分をｔ、純虚成分をａ、ｂ、ｃとして、

で表され、四元数Ｑの共役四元数は、

で表される。

四元数Ｑは、実成分ｔを０（ゼロ）としながら、純虚成分ａ、ｂ、ｃで三次元ベクトル（ａ，ｂ，ｃ）を表現することができ、また、ｔ、ａ、ｂ、ｃの各成分により任意のベクトルを軸とした回転動作を表現することもできる。

更に、四元数Ｑは、連続する複数回の回転動作を統合して一回の回転動作として表現することができ、例えば、任意の点Ｓ（ｓｘ，ｓｙ，ｓｚ）を、任意の単位ベクトルＣ（ｌ，ｍ，ｎ）を軸としながら角度θだけ回転させたときの点Ｄ（ｅｘ，ｅｙ，ｅｚ）を以下のように表現することができる。

ここで、本実施例において、Ｚ軸を−Ｗ軸に一致させる回転を表す四元数をＱｚとすると、ＸＹＺ座標系におけるＸ軸上の点Ｘは、点Ｘ'に移動させられるので、点Ｘ'は、

で表される。

また、本実施例において、Ｘ軸上にある点Ｘ'と原点とを結ぶ線をＵ軸に一致させる回転を表す四元数をＱｘとすると、「Ｚ軸を−Ｗ軸に一致させ、更に、Ｘ軸をＵ軸に一致させる回転」を表す四元数Ｒは、

で表される。

以上により、空間モデル（ＸＹＺ座標系）上の任意の座標Ｐを入力画像平面（ＵＶＷ座標系）上の座標で表現したときの座標Ｐ'は、

で表され、四元数Ｒがカメラ２のそれぞれで不変であることから、座標対応付け手段１０は、以後、この演算を実行するだけで空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換することができる。

空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換した後、座標対応付け手段１０は、カメラ２の光学中心Ｃ（ＵＶＷ座標系上の座標）と空間モデル上の任意の座標ＰをＵＶＷ座標系で表した座標Ｐ'とを結ぶ線分ＣＰ'と、カメラ２の光軸Ｇとが形成する入射角αを算出する。

また、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４（例えば、ＣＣＤ面）に平行で且つ座標Ｐ'を含む平面Ｈにおける、平面Ｈと光軸Ｇとの交点Ｅと座標Ｐ'とを結ぶ線分ＥＰ'と、平面ＨにおけるＵ'軸とが形成する偏角φ、及び線分ＥＰ'の長さを算出する。

カメラの光学系は、通常、像高さｈが入射角α及び焦点距離ｆの関数となっているので、座標対応付け手段１０は、通常射影（ｈ＝ｆｔａｎα）、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等の適切な射影方式を選択して像高さｈを算出する。

その後、座標対応付け手段１０は、算出した像高さｈを偏角φによりＵＶ座標系上のＵ成分及びＶ成分に分解し、入力画像平面Ｒ４の一画素当たりの画素サイズに相当する数値で除算することにより、空間モデルＭＤ上の座標Ｐ（Ｐ'）と入力画像平面Ｒ４上の座標とを対応付けることができる。

なお、入力画像平面Ｒ４のＵ軸方向における一画素当たりの画素サイズをａ_Uとし、入力画像平面Ｒ４のＶ軸方向における一画素当たりの画素サイズをａ_Vとすると、空間モデルＭＤ上の座標Ｐ（Ｐ'）に対応する入力画像平面Ｒ４上の座標（ｕ，ｖ）は、

で表される。

このようにして、座標対応付け手段１０は、空間モデルＭＤ上の座標と、カメラ毎に存在する一又は複数の入力画像平面Ｒ４上の座標とを対応付け、空間モデルＭＤ上の座標、カメラ識別子、及び入力画像平面Ｒ４上の座標を関連付けて入力画像・空間モデル対応マップ４０に記憶する。

また、座標対応付け手段１０は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、座標対応付け手段１０は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算してもよい。

なお、複数の入力画像平面Ｒ４上の座標への対応付けが可能な場合、座標対応付け手段１０は、空間モデルＭＤ上の座標Ｐ（Ｐ'）を、その入射角αが最も小さいカメラに関する入力画像平面Ｒ４上の座標に対応付けるようにしてもよく、操作者が選択した入力画像平面Ｒ４上の座標に対応付けるようにしてもよい。

次に、空間モデルＭＤ上の座標のうち、曲面領域Ｒ２上の座標（Ｚ軸方向の成分を持つ座標）を、ＸＹ平面上にある処理対象画像平面Ｒ３に再投影する処理について説明する。

図６は、座標対応付け手段１０による座標間の対応付けを説明するための図である。また、図６（Ａ）は、一例として通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との間の対応関係を示す図である。図２に示すように、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４上の座標とその座標に対応する空間モデルＭＤ上の座標とを結ぶ線分のそれぞれがカメラ２の光学中心Ｃを通過するようにして、両座標を対応付ける。

図６（Ａ）の例では、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４上の座標Ｋ１を空間モデルＭＤの平面領域Ｒ１上の座標Ｌ１に対応付け、カメラ２の入力画像平面Ｒ４上の座標Ｋ２を空間モデルＭＤの曲面領域Ｒ２上の座標Ｌ２に対応付ける。このとき、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２は共にカメラ２の光学中心Ｃを通過する。

なお、カメラ２が通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、座標対応付け手段１０は、それぞれの射影方式に応じて、カメラ２の入力画像平面Ｒ４上の座標Ｋ１、Ｋ２を空間モデルＭＤ上の座標Ｌ１、Ｌ２に対応付けるようにする。

具体的には、座標対応付け手段１０は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、入力画像平面上の座標と空間モデルＭＤ上の座標とを対応付ける。この場合、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２がカメラ２の光学中心Ｃを通過することはない。

図６（Ｂ）は、空間モデルＭＤの曲面領域Ｒ２上の座標と処理対象画像平面Ｒ３上の座標との間の対応関係を示す図である。図６（Ｂ）に示すように、座標対応付け手段１０は、ＸＺ平面上に位置する平行線群ＰＬであって、処理対象画像平面Ｒ３との間で角度βを形成する平行線群ＰＬを導入し、空間モデルＭＤの曲面領域Ｒ２上の座標とその座標に対応する処理対象画像平面Ｒ３上の座標とが共に平行線群ＰＬのうちの１つに乗るようにして、両座標を対応付ける。

図６（Ｂ）の例では、座標対応付け手段１０は、空間モデルＭＤの曲面領域Ｒ２上の座標Ｌ２と処理対象画像平面Ｒ３上の座標Ｍ２とが共通の平行線に乗るとして、両座標を対応付けるようにする。

なお、座標対応付け手段１０は、空間モデルＭＤの平面領域Ｒ１上の座標を曲面領域Ｒ２上の座標と同様に平行線群ＰＬを用いて処理対象画像平面Ｒ３上の座標に対応付けることが可能であるが、図６（Ｂ）の例では、平面領域Ｒ１と処理対象画像平面Ｒ３とが共通の平面となっているので、空間モデルＭＤの平面領域Ｒ１上の座標Ｌ１と処理対象画像平面Ｒ３上の座標Ｍ１とは同じ座標値を有するものとなっている。

このようにして、座標対応付け手段１０は、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、空間モデルＭＤ上の座標及び処理対象画像平面Ｒ３上の座標を関連付けて空間モデル・処理対象画像対応マップ４１に記憶する。

図６（Ｃ）は、処理対象画像平面Ｒ３上の座標と一例として通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖの出力画像平面Ｒ５上の座標との間の対応関係を示す図である。図６（Ｃ）に示すように、出力画像生成手段１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標とその座標に対応する処理対象画像平面Ｒ３上の座標とを結ぶ線分のそれぞれが仮想カメラ２Ｖの光学中心ＣＶを通過するようにして、両座標を対応付ける。

図６（Ｃ）の例では、出力画像生成手段１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１を処理対象画像平面Ｒ３（空間モデルＭＤの平面領域Ｒ１）上の座標Ｍ１に対応付け、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ２を処理対象画像平面Ｒ３上の座標Ｍ２に対応付ける。このとき、線分Ｍ１−Ｎ１及び線分Ｍ２−Ｎ２は共に仮想カメラ２Ｖの光学中心ＣＶを通過する。

なお、仮想カメラ２Ｖが通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、出力画像生成手段１１は、それぞれの射影方式に応じて、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１、Ｎ２を処理対象画像平面Ｒ３上の座標Ｍ１、Ｍ２に対応付けるようにする。

具体的には、出力画像生成手段１１は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、出力画像平面Ｒ５上の座標と処理対象画像平面Ｒ３上の座標とを対応付ける。この場合、線分Ｍ１−Ｎ１及び線分Ｍ２−Ｎ２が仮想カメラ２Ｖの光学中心ＣＶを通過することはない。

このようにして、出力画像生成手段１１は、出力画像平面Ｒ５上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、出力画像平面Ｒ５上の座標及び処理対象画像平面Ｒ３上の座標を関連付けて処理対象画像・出力画像対応マップ４２に記憶し、座標対応付け手段１０が記憶した入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。

なお、図６（Ｄ）は、図６（Ａ）〜図６（Ｃ）を組み合わせた図であり、カメラ２、仮想カメラ２Ｖ、空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２、並びに、処理対象画像平面Ｒ３の相互の位置関係を示す。

次に、図７を参照しながら、画像生成装置１００が処理対象画像を生成する処理（以下、「処理対象画像生成処理」とする。）、及び、生成した処理対象画像を用いて出力画像を生成する処理（以下、「出力画像生成処理」とする。）について説明する。なお、図７は、処理対象画像生成処理（ステップＳ１〜ステップＳ３）及び出力画像生成処理（ステップＳ４〜ステップＳ６）の流れを示すフローチャートである。また、カメラ２（入力画像平面Ｒ４）、空間モデル（平面領域Ｒ１及び曲面領域Ｒ２）、並びに、処理対象画像平面Ｒ３の配置は予め決定されているものとする。

最初に、制御部１は、座標対応付け手段１０により、処理対象画像平面Ｒ３上の座標と空間モデルＭＤ上の座標とを対応付ける（ステップＳ１）。

具体的には、座標対応付け手段１０は、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度を取得し、処理対象画像平面Ｒ３上の一座標から延びる平行線群ＰＬの１つが空間モデルＭＤの曲面領域Ｒ２と交差する点を算出する。そして、座標対応付け手段１０は、算出した点に対応する曲面領域Ｒ２上の座標を、処理対象画像平面Ｒ３上のその一座標に対応する曲面領域Ｒ２上の一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ４１に記憶する。なお、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度は、記憶部４等に予め記憶された値であってもよく、入力部３を介して操作者が動的に入力する値であってもよい。

また、座標対応付け手段１０は、処理対象画像平面Ｒ３上の一座標が空間モデルＭＤの平面領域Ｒ１上の一座標と一致する場合には、平面領域Ｒ１上のその一座標を、処理対象画像平面Ｒ３上のその一座標に対応する一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ４１に記憶する。

その後、制御部１は、座標対応付け手段１０により、上述の処理によって導き出された空間モデルＭＤ上の一座標と入力画像平面Ｒ４上の座標とを対応付ける（ステップＳ２）。

具体的には、座標対応付け手段１０は、通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の光学中心Ｃの座標を取得し、空間モデルＭＤ上の一座標から延びる線分であり、光学中心Ｃを通過する線分が入力画像平面Ｒ４と交差する点を算出する。そして、座標対応付け手段１０は、算出した点に対応する入力画像平面Ｒ４上の座標を、空間モデルＭＤ上のその一座標に対応する入力画像平面Ｒ４上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ４０に記憶する。

その後、制御部１は、処理対象画像平面Ｒ３上の全ての座標を空間モデルＭＤ上の座標及び入力画像平面Ｒ４上の座標に対応付けたか否かを判定し（ステップＳ３）、未だ全ての座標を対応付けていないと判定した場合には（ステップＳ３のＮＯ）、ステップＳ１及びステップＳ２の処理を繰り返すようにする。

一方、制御部１は、全ての座標を対応付けたと判定した場合には（ステップＳ３のＹＥＳ）、処理対象画像生成処理を終了させた上で出力画像生成処理を開始させ、出力画像生成手段１１により、処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標とを対応付ける（ステップＳ４）。

具体的には、出力画像生成手段１１は、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって出力画像を生成し、施したスケール変換、アフィン変換、又は歪曲変換の内容によって定まる、処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標との間の対応関係を処理対象画像・出力画像対応マップ４２に記憶する。

或いは、出力画像生成手段１１は、仮想カメラ２Ｖを用いて出力画像を生成する場合には、採用した射影方式に応じて処理対象画像平面Ｒ３上の座標から出力画像平面Ｒ５上の座標を算出し、その対応関係を処理対象画像・出力画像対応マップ４２に記憶するようにしてもよい。

或いは、出力画像生成手段１１は、通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖを用いて出力画像を生成する場合には、その仮想カメラ２Ｖの光学中心ＣＶの座標を取得した上で、出力画像平面Ｒ５上の一座標から延びる線分であり、光学中心ＣＶを通過する線分が処理対象画像平面Ｒ３と交差する点を算出する。そして、出力画像生成手段１１は、算出した点に対応する処理対象画像平面Ｒ３上の座標を、出力画像平面Ｒ５上のその一座標に対応する処理対象画像平面Ｒ３上の一座標として導き出し、その対応関係を処理対象画像・出力画像対応マップ４２に記憶するようにしてもよい。

その後、制御部１は、出力画像生成手段１１により、入力画像・空間モデル対応マップ４０、空間モデル・処理対象画像対応マップ４１、及び処理対象画像・出力画像対応マップ４２を参照する。そして、制御部１は、入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との対応関係、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標との対応関係、及び処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標との対応関係を辿る。そして、制御部１は、出力画像平面Ｒ５上の各座標に対応する入力画像平面Ｒ４上の座標で特定される画素が有する値（例えば、輝度値、色相値、彩度値等である。）を取得する。そして、制御部１は、その取得した値を、対応する出力画像平面Ｒ５上の各座標で特定される画素の値として採用する（ステップＳ５）。すなわち、出力画像生成手段１１は、出力画像上の画素の値と入力画像上の画素の値とを関連付けて出力画像を生成する。なお、出力画像平面Ｒ５上の一座標に対して複数の入力画像平面Ｒ４上の複数の座標が対応する場合、出力画像生成手段１１は、それら複数の入力画像平面Ｒ４上の複数の座標で特定される複数の画素のそれぞれの値に基づく統計値（例えば、平均値、最大値、最小値、中間値等である。）を導き出し、出力画像平面Ｒ５上のその一座標で特定される一画素の値としてその統計値を採用するようにしてもよい。

その後、制御部１は、出力画像上の全画素の値を入力画像上の画素の値に対応付けたか否かを判定し（ステップＳ６）、未だ全ての画素の値を対応付けていないと判定した場合には（ステップＳ６のＮＯ）、ステップＳ４及びステップＳ５の処理を繰り返すようにする。

一方、制御部１は、全ての画素の値を対応付けたと判定した場合には（ステップＳ６のＹＥＳ）、出力画像を生成して、この一連の処理を終了させる。

なお、画像生成装置１００は、処理対象画像を生成しない場合には、処理対象画像生成処理を省略し、出力画像生成処理におけるステップＳ４の"処理対象画像平面上の座標"を"空間モデル上の座標"で読み替えるものとする。

以上の構成により、画像生成装置１００は、建設機械と周辺障害物との位置関係を操作者に直感的に把握させることが可能な処理対象画像及び出力画像を生成することができる。

また、画像生成装置１００は、処理対象画像平面Ｒ３から空間モデルＭＤを経て入力画像平面Ｒ４に遡るように座標の対応付けを実行することにより、処理対象画像平面Ｒ３上の各座標を入力画像平面Ｒ４上の一又は複数の座標に確実に対応させることができる。また、画像生成装置１００は、入力画像平面Ｒ４から空間モデルＭＤを経て処理対象画像平面Ｒ３に至る順番で座標の対応付けを実行する場合と比べ、より良質な処理対象画像を迅速に生成することができる。入力画像平面Ｒ４から空間モデルＭＤを経て処理対象画像平面Ｒ３に至る順番で座標の対応付けを実行する場合には、入力画像平面Ｒ４上の各座標を処理対象画像平面Ｒ３上の一又は複数の座標に確実に対応させることができるが、処理対象画像平面Ｒ３上の座標の一部が、入力画像平面Ｒ４上の何れの座標にも対応付けられない場合があり、その場合にはそれら処理対象画像平面Ｒ３上の座標の一部に補間処理等を施す必要があるためである。

また、画像生成装置１００は、空間モデルＭＤの曲面領域Ｒ２に対応する画像のみを拡大或いは縮小する場合には、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度を変更して空間モデル・処理対象画像対応マップ４１における曲面領域Ｒ２に関連する部分のみを書き換えるだけで、入力画像・空間モデル対応マップ４０の内容を書き換えることなく、所望の拡大或いは縮小を実現させることができる。

また、画像生成装置１００は、出力画像の見え方を変更する場合には、スケール変換、アフィン変換又は歪曲変換に関する各種パラメータの値を変更して処理対象画像・出力画像対応マップ４２を書き換えるだけで、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１の内容を書き換えることなく、所望の出力画像（スケール変換画像、アフィン変換画像又は歪曲変換画像）を生成することができる。

同様に、画像生成装置１００は、出力画像の視点を変更する場合には、仮想カメラ２Ｖの各種パラメータの値を変更して処理対象画像・出力画像対応マップ４２を書き換えるだけで、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１の内容を書き換えることなく、所望の視点から見た出力画像（視点変換画像）を生成することができる。

次に、図８を参照しながら、出力画像の構成例について説明する。なお、図８は、ショベル６０に搭載された３台のカメラ２（右側方カメラ２Ｒ、左側方カメラ２Ｌ、及び後方カメラ２Ｂ）の入力画像を用いて生成される出力画像を表示部５に表示させたときの表示例である。

画像生成装置１００は、それら３台のカメラ２のそれぞれの入力画像を空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２上に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成する。そして、画像生成装置１００は、その生成した処理対象画像に画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）を施すことによって出力画像を生成する。そして、画像生成装置１００は、ショベル６０の近傍を上空から見下ろした画像（平面領域Ｒ１における画像）と、ショベル６０から水平方向に周辺を見た画像（処理対象画像平面Ｒ３における画像）とを同時に表示する。

なお、出力画像は、画像生成装置１００が処理対象画像を生成しない場合には、空間モデルＭＤに投影された画像に画像変換処理（例えば、視点変換処理である。）を施すことによって生成される。

また、出力画像は、ショベル６０が旋回動作を行う際の画像を違和感なく表示できるよう、円形にトリミングされ、その円の中心ＣＴＲが空間モデルＭＤの円筒中心軸上で、且つ、ショベル６０の旋回軸ＰＶ上となるように生成されており、ショベル６０の旋回動作に応じてその中心ＣＴＲを軸に回転するように表示される。この場合、空間モデルＭＤの円筒中心軸は、再投影軸と一致するものであってもよく、一致しないものであってもよい。

なお、空間モデルＭＤの半径は、例えば、５メートルであり、平行線群ＰＬが処理対象画像平面Ｒ３との間で形成する角度は、ショベル６０の旋回中心から掘削アタッチメントＥの最大到達距離（例えば１２メートルである。）だけ離れた位置に物体（例えば、作業員である。）が存在する場合にその物体が表示部５で十分大きく（例えば、７ミリメートル以上である。）表示されるように、設定され得る。

更に、出力画像は、ショベル６０のＣＧ画像を、ショベル６０の前方が表示部５の画面上方と一致し、且つ、その旋回中心が中心ＣＴＲと一致するように配置するようにしてもよい。ショベル６０と出力画像に現れる物体との間の位置関係をより分かり易くするためである。なお、出力画像は、方位等の各種情報を含む額縁画像をその周囲に配置するようにしてもよい。

次に、図９を参照して、出力画像で発生するジャギーについて説明する。なお、図９は、出力画像生成手段１１による補間処理の効果を説明する図である。また、図９（Ａ）は入力画像を示し、図９（Ｂ）は補間処理が施されていない出力画像を示し、図９（Ｃ）は補間処理が施された出力画像を示す。また、図９（Ｂ）及び図９（Ｃ）の出力画像は、図９（Ａ）の点線領域Ｇ１で示す入力画像の一部を反時計回りに回転し且つ拡大した画像である。

ジャギーは、ラスター画像の輪郭に見られるギザギザであり、例えば入力画像を回転させて出力画像を生成するために入力画像平面上の実数座標点を整数座標点に変換するときの丸め誤差によって引き起こされる。

具体的には、入力画像上の画素を特定する座標値及び出力画像上の画素を特定する座標値は何れも整数値で表されるが、出力画像平面上の座標に対応する入力画像平面上の座標を導き出す際にその入力画像平面上の座標値を実数値（小数を含む値）として算出する場合がある。この場合、実数値は、例えば、小数点以下が四捨五入されて整数値に変換される。入力画像上の画素を特定する座標値として実数値を用いることができないためである。したがって、出力画像平面上の整数座標点で特定される画素（以下、「出力画素」とする。）は、入力画像平面上の実数座標点の最も近くにある整数座標点で特定される画素に対応付けられる。そして、例えば輝度値の全く異なる２つの画素を特定する２つの整数座標点の間にその実数座標点が存在していたとしても、出力画像上の画素は、入力画像平面上の２つの整数座標点のうちの一方で特定される画素に対応付けられる。そして、それら２つの整数座標点のうちの他方で特定される画素の値が出力画像上の画素の値に反映されることはない。その結果、出力画像に含まれる各画像の輪郭はギザギザに表現されてしまう。

このように、ジャギーは、四捨五入の際の丸め誤差によって引き起こされる。そして、ジャギーは、表示部５の解像度が低い程より顕著なものとなる。

そこで、出力画像生成手段１１は、図１０及び図１１を参照して説明する補間処理を用いてジャギーを軽減させる。

図１０は、補間処理を説明する概略図であり、入力画像平面の一部を示す。入力画像平面は、ＸＹ直交座標系で表され、整数座標点Ａ（０、０）、Ｂ（０、１）、Ｃ（１、１）、Ｄ（１、０）を含む。また、図１１は、出力画像生成手段１１の構成例を示す機能ブロック図である。

本実施例では、図１１に示すように、出力画像生成手段１１は、主に、整数座標点選択部１１０、重み導出部１１１、及び加重平均部１１２を含む。

整数座標点選択部１１０は、出力画素に対応する入力画像平面上の実数座標点（以下、「対応実数座標点」とする。）の近くにある２つ以上の整数座標点から２つの整数座標点を選択する機能要素である。本実施例では、対応実数座標点は、図５及び図６で説明した関係を用いて出力画像生成手段１１が導き出す座標点である。また、本実施例では、整数座標点選択部１１０は、対応実数座標点の周囲にある４つの整数座標点から２つの整数座標点を選択する。具体的には、図１０に示すように、対応実数座標点Ｐ（０．６３、０．１９）の周囲にある４つの整数座標点は、Ａ（０、０）、Ｂ（０、１）、Ｃ（１、１）、及びＤ（１、０）である。そして、整数座標点選択部１１０は、Ａ−Ｂ、Ａ−Ｃ、Ａ−Ｄ、Ｂ−Ｃ、Ｂ−Ｄ、及びＣ−Ｄの６つの組み合わせ（整数座標点のペア）のうちの１つを選択する。

本実施例では、整数座標点選択部１１０は、対応実数座標点Ｐから６つの線分ＡＢ、ＡＣ、ＡＤ、ＢＣ、ＢＤ、ＣＤのそれぞれに垂線を下ろす。そして、整数座標点選択部１１０は、６つの垂線ＰＱ、ＰＲ、ＰＳ、ＰＴ、ＰＵ、ＰＶのうち最も短い垂線ＰＶ及びその垂線ＰＶに関連する線分ＢＤを選択し、さらに線分ＢＤに関連する２つの整数座標点Ｂ、Ｄを選択する。

また、本実施例では、Ｘ軸方向及びＹ軸方向における整数座標点の間隔は値「１」であり、４つの整数座標点Ａ、Ｂ、Ｃ、Ｄは正方形を構成する。そのため、実数座標点Ｑ（０．００、０．１９）及びＳ（１．００、０．１９）のＹ座標の値は何れも対応実数座標点Ｐ（０．６３、０．１９）のＹ座標の値に等しい。同様に、実数座標点Ｒ（０．６３、１．００）及びＴ（０．６３、０．００）のＸ座標の値は対応実数座標点Ｐ（０．６３、０．１９）のＸ座標の値に等しい。

また、実数座標点Ｕ（０．４１、０．４１）は、線分ＡＣ上の実数座標点であるため、整数座標点Ａに対するＸ座標の値の増分とＹ座標の値の増分とが等しい関係にある。同様に、線分ＰＶ上の実数座標点は、対応実数座標点Ｐに対するＸ座標の値の増分とＹ座標の値の増分とが等しい関係にある。

また、実数座標点Ｖ（０．７２、０．２８）は、線分ＢＤ上の実数座標点であるため、整数座標点Ｂに対するＸ座標の値の増分とＹ座標の値の減分とが等しい関係にある。同様に、線分ＵＰ上の実数座標点は、実数座標点Ｕに対するＸ座標の値の増分とＹ座標の値の減分とが等しい関係にある。

具体的には、実数座標点ＵのＸ座標及びＹ座標の値は何れも、対応実数座標点ＰのＸ座標の値とＹ座標の値の合計「０．８２」を二等分した値「０．４１」である。また、実数座標点ＶのＸ座標の値は、値「１」から合計「０．８２」を差し引いた差「０．１８」を二等分した値「０．０９」を対応実数座標点ＰのＸ座標の値「０．６３」に加えた値「０．７２」である。また、実数座標点ＶのＹ座標の値は、差「０．１８」を二等分した値「０．０９」を対応実数座標点ＰのＹ座標の値「０．１９」に加えた値「０．２８」である。

このように、実数座標点Ｑ〜Ｖの座標値は、対応実数座標点Ｐの座標値から直接的に、或いは、加算、減算、二等分といった簡単な演算によって導き出される。そのため、対応実数座標点の周囲にある４つの整数座標点から２つの整数座標点を選択する上述の選択方法は、二進数演算に適した選択方法である。

重み導出部１１１は、選択された２つの整数座標点で特定される２つの画素（以下、「入力画素」とする。）の値から出力画素の値を決定する際の各入力画素の値の重みを導き出す機能要素である。

本実施例では、重み導出部１１１は、２つの整数座標点Ｂ、Ｄが選択された場合、線分ＢＤの長さに対する線分ＢＶの長さの比率を、整数座標点Ｄで特定される入力画素の値の重みαとして導き出す。また、重み導出部１１１は、線分ＢＤの長さに対する線分ＶＤの長さの比率を、整数座標点Ｂで特定される入力画素の値の重みβ（＝１−α）として導き出す。

具体的には、図１０に示すように、実数座標点ＶのＸ座標の値の小数部分は、線分ＡＤの長さ「１」に対する線分ＡＷの長さの比率に相当する。なお、実数座標点Ｗは、線分ＡＤに対して実数座標点Ｖから下ろした垂線の交点である。そして、線分ＢＤの長さに対する線分ＢＶの長さの比率は、線分ＡＤの長さに対する線分ＡＷの長さの比率に等しい。そのため、重み導出部１１１は、実数座標点ＶのＸ座標の値の小数部分を、整数座標点Ｄで特定される入力画素の値の重みαとして採用する。また、重み導出部１１１は、実数座標点ＶのＹ座標の値の小数部分を、整数座標点Ｂで特定される入力画素の値の重みβとして採用する。なお、実数座標点ＶのＹ座標の値の小数部分は、値「１」から実数座標点ＶのＸ座標の値の小数部分を差し引いた値であり、１−αに相当する。このように、重み導出部１１１は、重みα、βを対応実数座標点Ｐの座標値から直接的に導き出し、比の計算等の比較的複雑な演算を省略できる。

加重平均部１１２は、２つの入力画素の値を加重平均する機能要素である。本実施例では、加重平均部１１２は、重み導出部１１１が導き出した重みα、βを用いて２つの入力画素の値を加重平均する。具体的には、加重平均部１１２は、２つの入力画素のうちの一方（以下、「第１画素」とする。）の値に重みαを乗算し、出力画素の値における第１画素の値の寄与分を算出する。また、加重平均部１１２は、２つの入力画素のうちの他方（以下、「第２画素」とする。）の値に重みβを乗算し、出力画素の値における第２画素の値の寄与分を算出する。そして、加重平均部１１２は、第１画素の値の寄与分と第２画素の値の寄与分の合計である２つの入力画素の値の加重平均を出力画素の値として導き出す。

例えば、整数座標点Ｂ、Ｄで特定される２つの入力画素のそれぞれの輝度値を加重平均する場合、加重平均部１１２は、実数座標点Ｖの座標値を用いる。具体的には、加重平均部１１２は、整数座標点Ｄで特定される入力画素（第１画素）の輝度値に対して、実数座標点ＶのＸ座標の値の小数部分（重みα）を乗算して第１画素の輝度値の寄与分を算出する。また、加重平均部１１２は、整数座標点Ｂで特定される入力画素（第２画素）の輝度値に対して、実数座標点ＶのＹ座標の値の小数部分（重みβ）を乗算して第２画素の輝度値の寄与分を算出する。そして、加重平均部１１２は、第１画素の輝度値の寄与分と第２画素の輝度値の寄与分とを合計することで出力画素の輝度値を導き出す。

また、上述の実施例では、垂線ＰＶが最短となる場合について説明したが、他の垂線が最短となる場合についても同様の説明が適用される。

なお、上述の補間方法は、対応実数座標点Ｐが４つの整数座標点Ａ〜Ｄ以外の位置に存在する場合に適用される。そのため、出力画像生成手段１１は、対応実数座標点Ｐが整数座標点Ａ〜Ｄの何れかの位置に存在する場合には、２つの整数座標点の選択、重みの導出、及び加重平均の演算を実行することなく、整数座標点としての対応実数座標点Ｐで特定される１つの入力画素の値をそのまま出力画素の値として採用する。また、６つの垂線のうちの最短のものが２つ以上存在する場合に対しては、出力画像生成手段１１は、それら同じ長さの垂線のうちの何れを選択するかを予め決めておく。例えば、出力画像生成手段１１は、予め設定された優先順位に基づいて１つの垂線を選択してもよい。また、上述の補間方法は、対応実数座標点ＰのＸ座標及びＹ座標の値が何れも０以上１以下の場合に適用されているが、ｉ以上ｉ＋１以下（ｉは整数）の場合にも同様に適用される。

次に、図１２を参照して、出力画像生成手段１１が２つの入力画素の値を用いて１つの出力画素の値を導き出す補間処理の流れについて説明する。なお、図１２は、補間処理の流れを示すフローチャートである。出力画像生成手段１１は、例えば、図７のステップＳ５においてこの補間処理を実行する。また、以下のフローでは、垂線ＰＶが最短となる場合について説明するが、他の垂線が最短となる場合についても同様の説明が適用される。

最初に、整数座標点選択部１１０は、対応実数座標点Ｐの周囲の４つの整数座標点Ａ〜Ｄから２つの整数座標点Ｂ、Ｄを選択する（ステップＳ５１）。具体的には、整数座標点選択部１１０は、対応実数座標点Ｐから６つの線分ＡＢ、ＡＣ、ＡＤ、ＢＣ、ＢＤ、ＣＤのそれぞれに垂線を下ろす。そして、整数座標点選択部１１０は、６つの垂線ＰＱ、ＰＲ、ＰＳ、ＰＴ、ＰＵ、ＰＶのうち最も短い垂線ＰＶ及びその垂線ＰＶに関連する線分ＢＤを選択し、さらに線分ＢＤに関連する２つの整数座標点Ｂ、Ｄを選択する。

その後、整数座標点選択部１１０は、選択した２つの整数座標点Ｂ、Ｄを結ぶ線分ＢＤに対して対応実数座標点Ｐから下ろした垂線ＰＶの垂線交点（実数座標点）Ｖの座標値を導き出す（ステップＳ５２）。

なお、整数座標点選択部１１０は、対応実数座標点Ｐの位置（座標値）と最短垂線との対応関係を表す最短垂線参照テーブルを用いて整数座標点のペアを選択してもよい。具体的には、最短垂線参照テーブルは、ｍ行ｍ列の配列であり、隣接する整数座標点の間をｍ等分したときの補間処理に対応する。なお、ｍは２以上の自然数であり、好適には二進数演算に最適な２のべき乗数（例えば１６）である。この最短垂線参照テーブルにより、整数座標点選択部１１０は、対応実数座標点Ｐの座標値から整数座標点のペアを一意に導き出すことができる。また、最短垂線参照テーブルは、対応実数座標点Ｐの位置（座標値）と垂線交点の位置（座標値）との対応関係を保持していてもよい。この場合、整数座標点選択部１１０は、対応実数座標点Ｐの座標値から垂線交点の座標値を一意に導き出すことができる。

その後、重み導出部１１１は、垂線交点の座標値に基づいて重みα、βを導き出す（ステップＳ５３）。具体的には、重み導出部１１１は、垂線交点のＸ座標の値の小数部分を、整数座標点Ｄで特定される第１画素の値の重みαとして採用する。また、重み導出部１１１は、垂線交点のＹ座標の値の小数部分を、整数座標点Ｂで特定される第２画素の値の重みβとして採用する。

なお、重み導出部１１１は、二進数演算に適するように垂線交点のＸ座標及びＹ座標のそれぞれの小数部分をｎ段階で表現してもよい。同様に、重み導出部１１１は、十進数で０以上１以下の実数値を有する重みαをｎ段階で表現してもよい。なお、ｎは２のべき乗数であり、例えば、２５６である。この場合、整数座標点選択部１１０は、垂線交点のＸ座標及びＹ座標のそれぞれの小数部分を２５６段階（８ビット）で量子化した状態で導き出す。重みαについても同様である。

図１３は、垂線交点のＸ座標の小数部分ｄｘ及びＹ座標の小数部分ｄｙと、第１画素の値の重みαとの関係を示す図である。なお、ｄｘ、ｄｙ、及びαは何れも０〜２５５の範囲内の十進数の整数、すなわち８ビットで表現可能な値である。また、図１３の値「２５５」は、理論的には値「２５６」であるところ、垂線交点の座標値の小数部分を８ビットで表現するために値「２５６」の代わりに使用される。

図１３に示すように、第１画素を特定する整数座標点が整数座標点Ａであり、第２画素を特定する整数座標点が整数座標点Ｄの場合、第１画素の値の重みαは（２５５−ｄｘ）で表される。また、第１画素を特定する整数座標点が整数座標点Ｂであり、第２画素を特定する整数座標点が整数座標点Ｄの場合、第１画素の値の重みαは、｛２５５−（２５５−ｄｙ＋ｄｘ）／２｝で表される。他の組み合わせについても同様である。なお、値「２」による除算は、１回の右シフト演算によって実現される。

その後、加重平均部１１２は、２つの整数座標点で特定される２つの入力画素の値を加重平均して出力画素の値を導き出す（ステップＳ５４）。具体的には、加重平均部１１２は、第１画素の値の重みαに基づいて出力画素の値を導き出す。例えば、第１画素がＹＣｂＣｒ方式の色データ（Ｙ１、Ｃｂ１、Ｃｒ１）を有し、第２画素が色データ（Ｙ２、Ｃｂ２、Ｃｒ２）を有する場合を考える。なお、Ｙ１、Ｙ２は輝度信号であり、例えば、２５６段階（８ビット）のレベルを有する。また、Ｃｂ１、Ｃｂ２、Ｃｒ１、Ｃｒ２は色差信号であり、例えば、２５６段階（８ビット）のレベルを有する。この場合、出力画素の輝度信号Ｙは、Ｙ＝｛α×Ｙ１＋（２５５−α）×Ｙ２｝／２５６で表される。また、出力画素の色差信号Ｃｂは、Ｃｂ＝｛α×Ｃｂ１＋（２５５−α）×Ｃｂ２｝／２５６で表され、色差信号Ｃｒは、Ｃｒ＝｛α×Ｃｒ１＋（２５５−α）×Ｃｒ２｝／２５６で表される。なお、値「２５６」の代わりに値「２５５」を用いるのは上述の理由による。また、値「２５６」による除算は、８回の右シフト演算によって実現される。

以上の構成により、画像生成装置１００は、対応実数座標点Ｐの周囲の４つの整数座標点のうちの２つの整数座標点で特定される２つの入力画素のそれぞれの値を加重平均することで出力画素の値を導き出す。そのため、演算負荷の増大を押さえながらも画質を向上させることができる。例えば、画像生成装置１００は、色の再現性を高めることで画質を向上させることができる。そのため、ショベル６０に搭載されたカメラ２が撮像した入力画像に基づいて生成される出力画像において、ショベルの旋回、走行、掘削作業等に起因するカメラ２の振動に応じて発生するジャギーを目立たなくすることができる。

また、画像生成装置１００で実行される補間処理は、バイリニア補間のように対応実数座標点Ｐの周囲の４つの整数座標点で特定される４つの入力画素のそれぞれの値を加重平均する処理に比べ、加重平均処理の実行回数を３回から１回に削減でき、演算時間を短縮できる。また、画像生成装置１００で実行される補間処理は、ＦＰＧＡ等による組込実装に適した低演算量を実現できる。そのため、画像生成装置１００は、除算回路等の搭載を回避できる。

次に、図１４〜図１９を参照しながら、画像生成装置１００が入力画像間の明るさ（輝度）の差を際立たせないようにする処理について説明する。

図１４は、ショベル６０に搭載された三台のカメラ２（左側方カメラ２Ｌ、右側方カメラ２Ｒ、及び後方カメラ２Ｂ）のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。

画像生成装置１００は、それら三台のカメラ２のそれぞれの入力画像を空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２上に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成し、その生成した処理対象画像に画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）を施すことによって出力画像を生成して、ショベル６０の近傍を上空から見下ろした画像（平面領域Ｒ１における画像）と、ショベル６０から水平方向に周辺を見た画像（処理対象画像平面Ｒ３における画像）とを同時に表示している。

図１４において、左側方カメラ２Ｌの入力画像及び後方カメラ２Ｂの入力画像はそれぞれ、ショベル６０の周囲における同じ場所を異なる角度から撮像した重複部分を含むが、それら重複部分はそれぞれ、各カメラに関する照明環境等の違いにより異なる明るさで撮像されており、その輝度が異なるものとなっている。右側方カメラ２Ｒの入力画像と後方カメラ２Ｂの入力画像との間の重複部分についても同様である。

そのため、それら３つの入力画像に基づいて生成される出力画像は、その出力画像平面上の座標が複数の入力画像平面上の座標に対応付け可能な場合に、その出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられるものとすると、同じ場所を撮像しているにもかかわらず、左側方カメラ２Ｌの入力画像に基づく出力画像上の領域と後方カメラ２Ｂの入力画像に基づく出力画像上の領域との間の境界（図の一点鎖線で囲まれる領域Ｒ６参照。）、及び、右側方カメラ２Ｒの入力画像に基づく出力画像上の領域と後方カメラ２Ｂの入力画像に基づく出力画像上の領域との間の境界（図の一点鎖線で囲まれる領域Ｒ７参照。）のところでその輝度が急激に変化することとなり、その出力画像を見た運転者に不自然さを感じさせてしまうこととなる。

そこで、画像生成装置１００は、チェッカーシャドー錯視（同色錯視）による効果を利用して、入力画像間の輝度の差を際立たせないようにする。

図１５は、同色錯視を説明するための図（Edward H. Adelson、"Checker shadow illusion"、１９９５年、インターネット＜URL: http://web.mit.edu/persci/people/adelson/checkershadow_illusion.html＞）であり、図１５（Ａ）は、同色錯視をもたらすために利用されるチェッカーパタン（格子模様）を示し、図１５（Ｂ）は、チェッカーパタン（格子模様）上の点Ｐ１〜点Ｐ３及び点Ｐ４〜点Ｐ６における輝度の推移を表すグラフを示す。

図１５（Ａ）で示されるように、点Ｐ２を含む単位パタンの輝度よりも高い輝度を有する２つの単位パタン（点Ｐ１を含む単位パタン及び点Ｐ３を含む単位パタンである。）で挟まれたその点Ｐ２を含む単位パタンの輝度は、点Ｐ５を含む単位パタンの輝度よりも低い輝度を有する２つの単位パタン（点Ｐ４を含む単位パタン及び点Ｐ６を含む単位パタンである。）で挟まれたその点Ｐ５を含む単位パタンの輝度よりも低いように見える。

しかしながら、この輝度の差は、それぞれの単位パタンが格子模様を形成していること、及び、点Ｐ４〜点Ｐ６を含む単位パタン群が物体ＯＢＪの影に入っていることを認識している観察者の錯視によるものであり、実際には、図１５（Ｂ）で示されるように、点Ｐ２を含む単位パタンの輝度は、点Ｐ５を含む単位パタンの輝度に等しいものとなっている。

このように、その観察者は、点Ｐ１、点Ｐ３、及び点Ｐ５のそれぞれを含む単位パタンが同じ輝度を有し、点Ｐ２、点Ｐ４、及び点Ｐ６のそれぞれを含む単位パタンが同じ輝度を有するものと錯覚することとなる。

図１６は、同色錯視をもたらす明暗パタンを生成する方法の一例を説明するための図であり、２つの波源（例えば、右側方カメラ２Ｒ及び後方カメラ２Ｂである。なお、右側方カメラ２Ｒが図の左側に示されているが、これは図の明瞭化のためであり、ここでは、図の右斜め上方が、ショベル６０の後方に対応するものとする。）から山（実線円）及び谷（破線円）を形成しながら拡がって互いに干渉する２つの波を示す。

また、図１６において、２つの扇形領域２Ｒａ、２Ｂａはそれぞれ、右側方カメラ２Ｒの撮像範囲、及び、後方カメラ２Ｂの撮像範囲を示し、太い実線で表される腹線ＡＮＬは、２つの波が互いに強め合う点を連ねた線を示し、太い破線で表される節線ＮＬは、２つの波が互いに弱め合う点を連ねた線を示す。なお、腹線ＡＮＬ及び節線ＮＬは、図１６で示されるように、交互に現れることとなる。

また、図１６において、右側方カメラ２Ｒを波源として拡がる波の１つの谷が描く線（破線円）と、その１つの谷の次に発生する１つの山が描く線（実線円）と、後方カメラ２Ｂを波源として拡がる波の１つの谷が描く線（破線円）と、その１つの谷の次に発生する１つの山が描く線（実線円）とで定められる菱形状の領域のそれぞれは、単位パタン領域ＬＴを形成するものとする。

図１６で示される複数の単位パタン領域ＬＴが出力画像平面上に描かれたものとし、単位パタン領域ＬＴのうちの腹線ＡＮＬが通過する（灰色で塗り潰される）単位パタン領域ＬＴ１に後方カメラ２Ｂの入力画像が対応付けられ、且つ、単位パタン領域ＬＴのうちの節線ＮＬが通過する（白色で塗り潰される）単位パタン領域ＬＴ２に右側方カメラ２Ｒの入力画像が対応付けられるものとすると、平均輝度がそれぞれ異なる２つの入力画像は、同色錯視をもたらす格子模様を形成できる。

なお、単位パタン領域ＬＴのうちの腹線ＡＮＬが通過する（灰色で塗り潰される）単位パタン領域ＬＴ１に右側方カメラ２Ｒの入力画像が対応付けられ、且つ、単位パタン領域ＬＴのうちの節線ＮＬが通過する（白色で塗り潰される）単位パタン領域ＬＴ２に後方カメラ２Ｂの入力画像が対応付けられる場合も同様に、平均輝度がそれぞれ異なる２つの入力画像は、同色錯視をもたらす格子模様を形成できる。

また、図１６の格子模様は、波長及び位相が等しい２つの波を用いて形成されるが、波長及び位相の一方又は双方が異なる２つの波を用いて形成されてもよい。単位パタン領域ＬＴ１、ＬＴ２のサイズや形状を柔軟に調整できるようにするためである。

図１７は、図１６で示される格子模様を出力画像平面（平面領域Ｒ１）上に配置した状態を示し、ショベル６０のＣＧ画像の右後方（図の右下方向）にある、右側方カメラ２Ｒの撮像範囲と後方カメラ２Ｂの撮像範囲との重複領域に配置される格子模様と、ショベル６０のＣＧ画像の左後方（図の左下方向）にある、左側方カメラ２Ｌの撮像範囲と後方カメラ２Ｂの撮像範囲との重複領域に配置される格子模様とを示す。

図１７において、右側方カメラ２Ｒの撮像範囲と後方カメラ２Ｂの撮像範囲との重複領域に配置される格子模様は、例えば、（灰色で塗り潰される）単位パタン領域ＬＴ１に右側方カメラ２Ｒの入力画像が対応付けられ、（白色で塗り潰される）単位パタン領域ＬＴ２に後方カメラ２Ｂの入力画像が対応付けられるものとする。

また、左側方カメラ２Ｌの撮像範囲と後方カメラ２Ｂの撮像範囲との重複領域に配置される格子模様は、例えば、（灰色で塗り潰される）単位パタン領域ＬＴ３に左側方カメラ２Ｌの入力画像が対応付けられ、（白色で塗り潰される）単位パタン領域ＬＴ４に後方カメラ２Ｂの入力画像が対応付けられるものとする。

図１８は、画像生成装置１００が、２つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像平面上の各座標に、それら２つのカメラの何れか一方の入力画像平面上の座標を対応付け、同色錯視をもたらす格子模様を形成する処理（以下、「格子模様形成処理」とする。）の流れを示すフローチャートである。

画像生成装置１００の制御部１は、例えば、座標対応付け手段１０により、図７の処理対象画像生成処理のステップＳ２において、空間モデルＭＤの平面領域Ｒ１上の一座標と複数の入力画像平面上の座標との対応付けが可能な場合に、空間モデルＭＤの平面領域Ｒ１上の一座標と２つのカメラのそれぞれに対応する２つの入力画像平面のうちの１つにおける一座標とを対応付ける際に、この格子模様形成処理を実行するものとする。

最初に、制御部１は、２つのカメラ（例えば、右側方カメラ２Ｒ及び後方カメラ２Ｂである。）の撮像範囲が重複する領域に対応する、空間モデルＭＤの平面領域Ｒ１上の一座標を取得する（ステップＳ１１）。

次に、制御部１は、２つのカメラのそれぞれにおける光学中心の座標を取得する（ステップＳ１２）。

次に、制御部１は、ステップＳ１１で取得した空間モデルＭＤにおける平面領域Ｒ１上の一座標に対応付けるカメラを選択する（ステップＳ１３）。

具体的には、制御部１は、右側方カメラ２Ｒの光学中心の座標を（Ｘ_cam1、Ｙ_cam1）とし、後方カメラ２Ｂの光学中心の座標を（Ｘ_cam2、Ｙ_cam2）とし、対応付けの対象である空間モデルＭＤの平面領域Ｒ１上の一座標を（Ｘ_target、Ｙ_target）とし、右側方カメラ２Ｒを波源として拡がる波の波長をλ_１［ｍｍ］、位相をＰ_１［ｒａｄ］とし、後方カメラ２Ｂを波源として拡がる波の波長をλ_２［ｍｍ］、位相をＰ_２［ｒａｄ］とすると、

で表される条件式が真である場合、その平面領域Ｒ１上の一座標に対応付けるカメラとして右側方カメラ２Ｒを選択し、上述の条件式が偽である場合、その平面領域Ｒ１上の一座標に対応付けるカメラとして後方カメラ２Ｂを選択する。

なお、制御部１は、上述の条件式が真である場合に、その平面領域Ｒ１上の一座標に対応付けるカメラとして後方カメラ２Ｂを選択し、上述の条件式が偽である場合に、その平面領域Ｒ１上の一座標に対応付けるカメラとして右側方カメラ２Ｒを選択するようにしてもよい。

なお、上述の条件式は、平面領域Ｒ１上の座標（Ｘ_target、Ｙ_target）が、図１７で示される単位パタン領域ＬＴ１に含まれるか、或いは、単位パタン領域ＬＴ２に含まれるかの判定式に相当する。

また、本実施例において、制御部１は、光学中心の座標が二次元座標であり、波源から発生する波が平面波であるという前提で、平面領域Ｒ１上の一座標（二次元座標）と２つのカメラのそれぞれの光学中心の座標（平面領域Ｒ１を含む平面上に投影された二次元座標）との間の二次元距離に基づいてカメラを選択するが、光学中心の座標を（高さ情報を含む）三次元座標とし、波源から発生する波を球面波としながら、平面領域Ｒ１上の一座標（三次元座標）と２つのカメラのそれぞれの光学中心の座標（三次元座標）との間の三次元距離に基づいてカメラを選択するようにしてもよい。

また、本実施例において、制御部１は、２つのカメラ（例えば、右側方カメラ２Ｒ及び後方カメラ２Ｂである。）の撮像範囲が重複する領域に対応する、空間モデルＭＤの平面領域Ｒ１上の一座標に対応付けるカメラを選択しているが、２つのカメラの撮像範囲が重複する領域に対応する、処理対象画像平面Ｒ３上の一座標に対応付けるカメラを選択するようにしてもよい。

この場合、制御部１は、処理対象画像平面Ｒ３上の一座標（二次元座標）と２つのカメラのそれぞれの光学中心の座標（処理対象画像平面Ｒ３を含む平面上に投影された二次元座標）との間の二次元距離に基づいてカメラを選択するようにしてもよく、処理対象画像平面Ｒ３上の一座標（三次元座標）と２つのカメラのそれぞれの光学中心の座標（三次元座標）との間の三次元距離に基づいてカメラを選択するようにしてもよい。なお、処理対象画像平面Ｒ３は、平面領域Ｒ１を含むものであってもよい。

その後、制御部１は、座標対応付け手段１０により、選択したカメラの入力画像平面上の一座標と、空間モデルＭＤの平面領域Ｒ１上の一座標とを対応付け（ステップＳ１４）、空間モデルＭＤ上の座標、カメラ識別子、及び入力画像平面上の座標を関連付けて入力画像・空間モデル対応マップ４０に記憶する。

その後、制御部１は、２つのカメラの撮像範囲が重複する領域に対応する、空間モデルＭＤの平面領域Ｒ１上の全ての座標を、２つのカメラのうちの１つの入力画像平面上の座標に対応付けたか否かを判定し（ステップＳ１５）、未だ全ての座標を対応付けていないと判定した場合には（ステップＳ１５のＮＯ）、ステップＳ１１〜ステップＳ１４の処理を繰り返すようにする。

一方、制御部１は、全ての座標を対応付けたと判定した場合には（ステップＳ１５のＹＥＳ）、この格子模様形成処理を終了させる。

なお、上述において、制御部１は、２つのカメラの撮像範囲が重複する領域に対応する、空間モデルＭＤの平面領域Ｒ１上の各座標、又は、処理対象画像平面Ｒ３上の各座標を、２つのカメラのうちの１つの入力画像平面上の座標に対応付けるようにするが、更に、２つのカメラの撮像範囲が重複する領域に対応する、空間モデルＭＤの曲面領域Ｒ２上の各座標を、２つのカメラのうちの１つの入力画像平面上の座標に対応付けるようにしてもよい。

このように、制御部１は、上述のような条件式を用いて空間モデルＭＤ上の各座標を２つのカメラのうちの１つの入力画像平面上の座標に容易に対応付けることができ、適切な格子模様を生成することができる。

図１９は、図１４で示される出力画像と、図１４の出力画像に同色錯視をもたらす格子模様が適用された出力画像との違いを表す対比図であり、図１９（Ａ）が図１４で示される出力画像を示し、図１９（Ｂ）が同色錯視をもたらす格子模様が適用された出力画像を示す。

左側方カメラ２Ｌの入力画像に基づく出力画像上の領域と後方カメラ２Ｂの入力画像に基づく出力画像上の領域との間の境界を含む図１９（Ａ）の一点鎖線で囲まれた領域Ｒ６は、顕著な輝度の違いを提示しているが、左側方カメラ２Ｌの入力画像に基づく出力画像上の領域と後方カメラ２Ｂの入力画像に基づく出力画像上の領域とが格子模様となって混在する図１９（Ｂ）の一点鎖線で囲まれた領域Ｒ８は、その輝度の違いが目立たなくなっており、その領域Ｒ８を含む出力画像を見た運転者に不自然さを感じさせ難くしている。

同様に、右側方カメラ２Ｒの入力画像に基づく出力画像上の領域と後方カメラ２Ｂの入力画像に基づく出力画像上の領域との間の境界を含む図１９（Ａ）の一点鎖線で囲まれた領域Ｒ７は、顕著な輝度の違いを提示しているが、右側方カメラ２Ｒの入力画像に基づく出力画像上の領域と後方カメラ２Ｂの入力画像に基づく出力画像上の領域とが格子模様となって混在する図１９（Ｂ）の一点鎖線で囲まれた領域Ｒ９は、その輝度の違いが目立たなくなっており、その領域Ｒ９を含む出力画像を見た運転者に不自然さを感じさせ難くしている。

次に、図２０〜図２２を参照しながら、画像生成装置１００が、２つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像部分を生成する際にその出力画像部分にある物体が消失するのを防止する処理について説明する。

図２０は、ショベル６０に搭載された三台のカメラ２（左側方カメラ２Ｌ、右側方カメラ２Ｒ、及び後方カメラ２Ｂ）のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。

画像生成装置１００は、それら三台のカメラ２のそれぞれの入力画像平面上の座標を空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２上の座標に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成し、その生成した処理対象画像に画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）を施すことによって出力画像を生成して、ショベル６０の近傍を上空から見下ろした画像（平面領域Ｒ１における画像）と、ショベル６０から水平方向に周辺を見た画像（処理対象画像平面Ｒ３における画像）とを表示している。

図２０において、右側方カメラ２Ｒの入力画像、及び、後方カメラ２Ｂの入力画像はそれぞれ、右側方カメラ２Ｒの撮像範囲と後方カメラ２Ｂの撮像範囲との重複領域内に人物（右側方カメラ２Ｒの入力画像における二点鎖線で囲まれる領域Ｒ１０、及び、後方カメラ２Ｂの入力画像における二点鎖線で囲まれる領域Ｒ１１参照。）を捉えている。

しかしながら、それら右側方カメラ２Ｒの入力画像、及び、後方カメラ２Ｂの入力画像に基づいて生成される出力画像は、その出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられるものとすると、図２０で示されるように、その重複領域内の人物を消失させてしまうこととなる（出力画像内の一点鎖線で囲まれる領域Ｒ１２参照。）。

そこで、画像生成装置１００は、同色錯視をもたらすために形成される格子模様を利用して、２つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像部分を生成する際にその出力画像部分にある物体が消失するのを防止するものとする。

図２１は、２つのカメラのそれぞれの撮像範囲の重複領域における物体の消失防止効果を説明するための図であり、図２１（Ａ）は、図１６で示される同色錯視をもたらすための格子模様を形成するための波の図を示し、図２１（Ｂ）は、図２１（Ａ）の一部拡大図を示す。

図２１（Ａ）において、破線で囲まれる投影像ＰＲＪ１は、後方カメラ２Ｂの入力画像における物体ＯＢＪ１の像が、路面画像を生成するための視点変換によって、その後方カメラ２Ｂとその物体ＯＢＪ１とを結ぶ線の延長方向に伸長されたもの（後方カメラ２Ｂの入力画像を用いてその出力画像部分における路面画像を生成した場合に表示される像である。）を表す。

また、破線で囲まれる投影像ＰＲＪ２は、右側方カメラ２Ｒの入力画像における物体ＯＢＪ１の像が、路面画像を生成するための視点変換によって、その右側方カメラ２Ｒとその物体ＯＢＪ１とを結ぶ線の延長方向に伸長されたもの（右側方カメラ２Ｒの入力画像を用いてその出力画像部分における路面画像を生成した場合に表示される像である。）を表す。

なお、投影像ＰＲＪ１及び投影像ＰＲＪ２は、最終的な出力画像上にそのままの状態で表示されることはなく、図２１（Ｂ）で示されるように、一部が切り欠かれた状態で表示されることとなる。

また、図２１（Ａ）において、投影像ＰＲＪ１を表す破線領域のうち、灰色で塗り潰された部分は、腹線ＡＮＬが通過する単位パタン領域ＬＴ１（図１６参照。）との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には後方カメラ２Ｂの入力画像平面上の座標（物体ＯＢＪ１の像を形成する領域内の座標）が対応付けられることを示す。

一方、投影像ＰＲＪ１を表す破線領域のうち、白色で塗り潰された部分は、節線ＮＬが通過する単位パタン領域ＬＴ２（図１６参照。）との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には右側方カメラ２Ｒの入力画像平面上の座標（物体ＯＢＪ１の像を形成しない領域内の座標）が対応付けられることを示す。

なお、投影像ＰＲＪ１を表す破線領域のうち、灰色で塗り潰された部分に対応する出力画像上の各座標に、右側方カメラ２Ｒの入力画像平面上の座標（物体ＯＢＪ１の像を形成しない領域内の座標）が対応付けられ、投影像ＰＲＪ１を表す破線領域のうち、白色で塗り潰された部分に対応する出力画像上の各座標に、後方カメラ２Ｂの入力画像平面上の座標（物体ＯＢＪ１の像を形成する領域内の座標）が対応付けられるようにしてもよい。

この場合、投影像ＰＲＪ１は、図２１（Ｂ）で示されるように、その伸長方向に直交する円（後方カメラ２Ｂの位置を波源とする波の山及び谷が描く円である。）の一部をその境界線として含む単位パタン領域ＬＴ２によって切り欠かれることとなるが、隣接する単位パタン領域ＬＴ１が互いに頂点を接触させているので繊切り状に分断され難く、単位パタン領域ＬＴ２のそれぞれがその伸長方向に直交する円の一部を含むため、その輪郭も認識され易いはっきりした状態で保存されることとなる。

また、投影像ＰＲＪ１は、物体ＯＢＪ１の高さが高い程、カメラから遠ざかる方向により長く伸長され、且つ、カメラから遠ざかる程、より大きく拡大される傾向を有するが、単位パタン領域ＬＴ１及びＬＴ２は何れもカメラから遠ざかる程、その投影像ＰＲＪ１と同じ度合いで、より大きく拡大していくので、その切り欠き状態もほぼ均一に維持されることとなる。

また、図２１（Ａ）において、投影像ＰＲＪ２を表す破線領域のうち、黒色で塗り潰された部分は、節線ＮＬが通過する単位パタン領域ＬＴ２（図１６参照。）との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には右側方カメラ２Ｒの入力画像平面上の座標（物体ＯＢＪ１の像を形成する領域内の座標）が対応付けられることを示す。

一方、投影像ＰＲＪ２を表す破線領域のうち、白色で塗り潰された部分は、腹線ＡＮＬが通過する単位パタン領域ＬＴ１（図１６参照。）との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には後方カメラ２Ｂの入力画像平面上の座標（物体ＯＢＪ１の像を形成しない領域内の座標）が対応付けられることを示す。

なお、投影像ＰＲＪ２を表す破線領域のうち、黒色で塗り潰された部分に対応する出力画像上の各座標に後方カメラ２Ｂの入力画像平面上の座標（物体ＯＢＪ１の像を形成しない領域内の座標）が対応付けられ、投影像ＰＲＪ２を表す破線領域のうち、白色で塗り潰された部分に対応する出力画像上の各座標に右側方カメラ２Ｒの入力画像平面上の座標（物体ＯＢＪ１の像を形成する領域内の座標）が対応付けられるようにしてもよい。

この場合、投影像ＰＲＪ２は、投影像ＰＲＪ１と同様に、図２１（Ｂ）で示されるように、その伸長方向に直交する円（右側方カメラ２Ｒの位置を波源とする波の山及び谷が描く円である。）の一部をその境界線として含む単位パタン領域ＬＴ１によって切り欠かれることとなるが、隣接する単位パタン領域ＬＴ２が互いに頂点を接触させているので繊切り状に分断され難く、単位パタン領域ＬＴ１のそれぞれがその伸長方向に直交する円の一部を含むため、その輪郭も認識され易いはっきりした状態で保存されることとなる。

また、投影像ＰＲＪ２は、投影像ＰＲＪ１と同様に、物体ＯＢＪ１の高さが高い程、カメラから遠ざかる方向により長く伸長され、且つ、カメラから遠ざかる程、より大きく拡大される傾向を有するが、単位パタン領域ＬＴ１及びＬＴ２は何れもカメラから遠ざかる程、その投影像ＰＲＪ２と同じ度合いで、より大きく拡大していくので、その切り欠き状態もほぼ均一に維持されることとなる。

図２２は、図２０で示される出力画像と、図２０の出力画像に同色錯視をもたらす格子模様が適用された出力画像との違いを表す対比図であり、図２２（Ａ）が図２０で示される出力画像を示し、図２２（Ｂ）が同色錯視をもたらす格子模様が適用された出力画像を示す。

右側方カメラ２Ｒの入力画像に基づく出力画像上の領域と後方カメラ２Ｂの入力画像に基づく出力画像上の領域との間の境界を含む図２２（Ａ）の一点鎖線で囲まれた領域Ｒ１３は、人物が消失した状態を提示しているが、右側方カメラ２Ｒの入力画像に基づく出力画像上の領域と後方カメラ２Ｂの入力画像に基づく出力画像上の領域とが格子模様となって混在する図２２（Ｂ）の一点鎖線で囲まれた領域Ｒ１４は、人物を消失させることなく、その人物を認識し易い状態で提示し、その領域Ｒ１４を含む出力画像を見た運転者にその人物の存在を確実に認識させることができるようにしている。

以上の構成により、画像生成装置１００は、同色錯視をもたらすための格子模様を利用することにより、２つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像部分を生成する際にその出力画像部分にある物体が消失するのを防止することができる。また、画像生成装置１００は、２つの入力画像のそれぞれの部分領域が櫛歯状に交互に配置されるように２つの入力画像を繋ぎ合わせる場合に比べ、その重複領域に対応する出力画像部分にある物体の投影像の輪郭を視認し易い形で保存でき、その一部が切り欠かれることとなるその物体の投影像を、運転者がより認識し易い状態で表示することができる。

しかしながら、画像生成装置１００は、格子模様を利用する限り、その投影像の断片化による見栄えの悪化を受け入れざるを得ない。特に、出力画像の解像度が低い場合、単位パタン領域ＬＴ１、ＬＴ２の細部が劣化するため、ノイズの発生等による見栄えの悪化はより顕著となる。その結果、投影像の輪郭を視認し易い形で保存するという本来の設計意図を発揮できない場合が生じ得る。

なお、格子模様を利用せずに、重複領域に対応する出力画像部分を生成する際に後方カメラ２Ｂの入力画像における画素の値と右側方カメラ２Ｒの入力画像における画素の値とを平均化した場合、制御部１は、投影像の断片化による見栄えの悪化を防止できるが、投影像の半透明化により投影像の視認性を悪化させてしまう。また、そもそも格子模様を利用しなければ格子模様による上述の効果を実現できないため、このような平均化をそのまま採用することはできない。

そこで、画像生成装置１００の制御部１は、投影像の視認性を維持しながらも見栄えの悪化を防止するために、単位パタン領域ＬＴ１、ＬＴ２のそれぞれの細部における画素の値を調整する。具体的には、制御部１は、後方カメラ２Ｂの入力画像における画素の値と右側方カメラ２Ｒの入力画像における画素の値とを加重平均して単位パタン領域ＬＴ１、ＬＴ２を形成する画素の値を導き出す。なお、本実施例では、制御部１は、補間処理の際に利用した加重平均部１１２を利用し、後方カメラ２Ｂの入力画像における画素の値と右側方カメラ２Ｒの入力画像における画素の値との加重平均を導き出すことができる。この構成により、制御部１は、格子模様と平均化とを併用し、その出力画像部分の視認性を維持しながら見栄えの低下を防止できる。なお、格子模様による視認性の改善と平均化による見栄えの改善とはトレードオフの関係にある。具体的には、各画素の値として採用される加重平均値が単純平均値に近づくほど見栄えは改善されるが視認性は低下する。格子模様による断片化が解消されるが、投影像が半透明化するためである。そのため、制御部１は、以下で説明するように、各画素の位置に応じて加重平均の際に用いる重み係数を適切に調整することで視認性と見栄えのバランスを図るようにする。

図２３は、重複領域に対応する出力画像部分の見栄えを改善するために制御部１が後方カメラ２Ｂの入力画像における画素の値と側方カメラ２Ｌ、２Ｒの入力画像における画素の値とを加重平均する処理（以下、「平均化境界処理」とする。）の流れを示す概略図である。なお、以下では、説明の便宜上、後方カメラ２Ｂの入力画像における画素の値と右側方カメラ２Ｒの入力画像における画素の値とを加重平均する場合を説明する。しかしながら、後方カメラ２Ｂの入力画像における画素の値と左側方カメラ２Ｌの入力画像における画素の値とを加重平均する場合にも同様の説明が適用され得る。

最初に、制御部１は、出力画像平面に「場」を設定する。「場」とは、時空（出力画像平面上）の各点に関連する物理量である。「場」では、座標を指定すればある１つの物理量が定まる。上述の

は「場」の一例であり、右側方カメラ２Ｒの位置を波源とする波と後方カメラ２Ｂの位置を波源とする波の合成波の振幅に関する物理量である。なお、（Ｘ_cam1、Ｙ_cam1）は右側方カメラ２Ｒの光学中心の座標を表し、（Ｘ_cam2、Ｙ_cam2）は後方カメラ２Ｂの光学中心の座標を表し、（Ｘ_target、Ｙ_target）は空間モデルＭＤの平面領域Ｒ１上の一座標を表し、λ_１は右側方カメラ２Ｒを波源として拡がる波の波長［ｍｍ］を表し、Ｐ_１は右側方カメラ２Ｒを波源として拡がる波の位相［ｒａｄ］を表し、λ_２は後方カメラ２Ｂを波源として拡がる波の波長［ｍｍ］を表し、Ｐ_２は後方カメラ２Ｂを波源として拡がる波の位相［ｒａｄ］を表す。

本実施例では、制御部１は、上述の式で表される場を設定する。この場合、「場」の値ｆは、−１≦ｆ≦１で表される。そして、図１７に示す単位パタン領域ＬＴ１内の「場」の値ｆは０＜ｆ≦１で表され、単位パタン領域ＬＴ２内の「場」の値ｆは−１≦ｆ≦０で表される。

また、制御部１は、右側方カメラ２Ｒの位置を波源とする波と後方カメラ２Ｂの位置を波源とする波の合成波の振幅に関する物理量である

を「場」として設定してもよい。この場合、「場」の値ｆは、−１≦ｆ≦１で表される。そして、図１７に示す単位パタン領域ＬＴ１内の「場」の値ｆは０＜ｆ≦１で表され、単位パタン領域ＬＴ２内の「場」の値ｆは−１≦ｆ≦０で表される。

その後、制御部１は、「場」の値ｆを「重み」の値ｗに変換する。「重み」は、加重平均の際に用いる重み係数である。本実施例では、制御部１は、「場」の値ｆを、後方カメラ２Ｂの入力画像における画素値の「重み」の値ｗ_Ｂに変換する。また、値ｗ_Ｂは、右側方カメラ２Ｒの入力画像における画素値の「重み」の値ｗ_Ｒと相補的な関係にあり、値ｗ_Ｂと値ｗ_Ｒの合計は常に一定とされ、値ｗ_Ｂが増加すると値ｗ_Ｒが減少する。

図２４は、「場」の値ｆから「重み」の値ｗ_Ｂへの変換に用いる変換曲線の一例である。図２４の変換曲線は、

で表され、例えば重複領域に対応する出力画像部分における格子模様のコントラストを強める際に用いられる。なお、Ａ_０は、急峻さを表すパラメータであり、例えば、０＜Ａ_０≦０．１２である。

図２５は、「場」の値ｆから「重み」の値ｗ_Ｂへの変換に用いる変換曲線の別の一例である。図２５の変換曲線は、ｗ＝Ａ_１ｆ^３＋（１−Ａ_１）ｆで表され、例えば重複領域に対応する出力画像部分における格子模様のコントラストを弱める際に用いられる。なお、Ａ_１は、急峻さを表すパラメータであり、例えば、０≦Ａ_１≦１であり、Ａ_１＝０のときに線形となる。

また、現段階では、「重み」の値ｗ_Ｂは、−１以上＋１以下の値となるように変換される。後続の処理で使用される際の便宜のためである。この変換には、丸め処理（最小値、最大値で制限）、スケール変換（線形変換）等が用いられる。

また、上述の「場」及び変換曲線を用いた場合、単位パタン領域ＬＴ１内の画素の値は、後方カメラ２Ｂの入力画像における画素値の重みｗ_Ｂが右側方カメラ２Ｒの入力画像における画素値の重みｗ_Ｒ以上となる状態で導き出される。すなわち、後方カメラ２Ｂの入力画像における画素値の影響（寄与度）が右側方カメラ２Ｒの入力画像における画素値の影響（寄与度）以上となるように導き出される。また、単位パタン領域ＬＴ２内の画素の値は、右側方カメラ２Ｒの入力画像における画素値の重みｗ_Ｒが後方カメラ２Ｂの入力画像における画素値の重みｗ_Ｂ以上となる状態で導き出される。すなわち、右側方カメラ２Ｒの入力画像における画素値の影響（寄与度）が後方カメラ２Ｂの入力画像における画素値の影響（寄与度）以上となるように導き出される。

なお、単位パタン領域ＬＴ１内の画素に関して重みｗ_Ｒが重みｗ_Ｂ以上となる状態で導き出され、且つ、単位パタン領域ＬＴ２内の画素に関して重みｗ_Ｂが重みｗ_Ｒ以上となる状態で導き出されてもよい。また、単位パタン領域ＬＴ１内の画素に関する重みｗ_Ｂ、ｗ_Ｒは、画素毎に異なる値であってもよく同じ値であってもよい。単位パタン領域ＬＴ２内の画素に関する重みｗ_Ｂ、ｗ_Ｒについても同様である。

更に、単位パタン領域ＬＴ１内の全ての画素に関する重みｗ_Ｂが重みｗ_Ｒ以上で、且つ単位パタン領域ＬＴ２内の全ての画素に関する重みｗ_Ｒが重みｗ_Ｂ以上となる必要はなく、単位パタン領域ＬＴ１内の各画素に関する重みｗ_Ｂの平均値が重みｗ_Ｒの平均値以上となり、且つ単位パタン領域ＬＴ２内の各画素に関する重みｗ_Ｒの平均値が重みｗ_Ｂの平均値以上となるような変換曲線を用いて重みｗ_Ｂ、ｗ_Ｒが導き出されてもよい。単位パタン領域ＬＴ１内の画素に関する重みｗ_Ｒが重みｗ_Ｂ以上となる状態で導き出され、且つ、単位パタン領域ＬＴ２内の画素に関する重みｗ_Ｂが重みｗ_Ｒ以上となる状態で導き出される場合も同様である。

図２６は、単位パタン領域ＬＴ１における画素に関する重みｗ_Ｂの値と単位パタン領域ＬＴ２における画素に関する重みｗ_Ｂの値との関係を示す図である。具体的には、図２６（Ａ）は、単位パタン領域ＬＴ１及び単位パタン領域ＬＴ２における各画素の配置を示す図であり、単位パタン領域ＬＴ１は画素Ｇ１〜Ｇ５を含み、単位パタン領域ＬＴ２は画素Ｇ６〜Ｇ１０を含む。本実施例では、画素Ｇ１、Ｇ５は、単位パタン領域ＬＴ１の周縁部にある画素であり、画素Ｇ３は、単位パタン領域ＬＴ１の中心部にある画素であり、画素Ｇ２、Ｇ４は、単位パタン領域ＬＴ１の中心部と周縁部との間の中間部にある画素である。

同様に、画素Ｇ６、Ｇ１０は、単位パタン領域ＬＴ２の周縁部にある画素であり、画素Ｇ８は、単位パタン領域ＬＴ２の中心部にある画素であり、画素Ｇ７、Ｇ９は、単位パタン領域ＬＴ２の中心部と周縁部との間の中間部にある画素である。

また、図２６（Ｂ）及び図２６（Ｃ）は、図２６（Ａ）の各画素に関する重みｗ_Ｂの値を示し、図２６（Ｂ）は、単位パタン領域ＬＴ１における重みｗ_Ｂの値の推移を表す推移線ＴＬ１（破線）と、単位パタン領域ＬＴ２における重みｗ_Ｂの値の推移を表す推移線ＴＬ２（一点鎖線）とが、単位パタン領域ＬＴ１と単位パタン領域ＬＴ２との境界線ＢＬを値ゼロで横切る際に連続的となる例を示す。なお、図２６（Ｂ）に示す例は、２種類の単位パタン領域の境界が比較的目立たない出力画像をもたらす。また、図２６（Ｃ）は、推移線ＴＬ１、ＴＬ２が境界線ＢＬを横切る際に不連続となる例を示す。なお、図２６（Ｃ）に示す例は、２種類の単位パタン領域の境界が比較的目立つ出力画像をもたらす。

具体的には、図２６（Ｂ）は、単位パタン領域ＬＴ１に含まれる画素Ｇ１〜Ｇ５のそれぞれに関する重みｗ_Ｂの値が０以下、すなわち重みｗ_Ｒ以下であることを示し、且つ、単位パタン領域ＬＴ２に含まれる画素Ｇ６〜Ｇ１０のそれぞれに関する重みｗ_Ｂの値が０以上、すなわち重みｗ_Ｒ以上であることを示す。

また、図２６（Ｃ）は、単位パタン領域ＬＴ１に含まれる画素Ｇ１及びＧ５並びに単位パタン領域ＬＴ２に含まれる画素Ｇ７〜Ｇ９のそれぞれに関する重みｗ_Ｂの値が０以上、すなわち重みｗ_Ｒ以上であることを示し、且つ、単位パタン領域ＬＴ１に含まれる画素Ｇ２〜Ｇ４並びに単位パタン領域ＬＴ２に含まれる画素Ｇ６及びＧ１０のそれぞれに関する重みｗ_Ｂの値が０以下、すなわち重みｗ_Ｒ以下であることを示す。

また、図２６（Ｂ）及び図２６（Ｃ）の何れにおいても、推移線ＴＬ１の軌跡は、推移線ＴＬ２の軌跡の正負を反転させた関係にある。具体的には、単位パタン領域ＬＴ１の中心から輪郭に向かう際の重みｗ_Ｂの推移線ＴＬ１の軌跡は、単位パタン領域ＬＴ２の中心から輪郭に向かう際の重みｗ_Ｂの推移線ＴＬ２の軌跡の正負を反転させた関係にある。重みｗ_Ｒについても同様である。

その後、制御部１は、導き出した「重み」の値ｗ_Ｂを必要に応じて修正する。本実施例では、制御部１は、加算修正及び乗算修正を実行する。加算修正は、「重み」の値ｗ_Ｂに加算修正値を加算する処理である。加算修正値は、望ましくは、「重み」の値ｗ_Ｂの最大値と最小値とを反転できる大きさを有し、「重み」の値ｗ_Ｂが−１以上１以下の場合、−２以上２以下の値を取り得る。本実施例では、加算修正値の値が大きいほど、「重み」の値ｗ_Ｂが大きくなり、後方カメラ２Ｂの入力画像における画素値の影響が大きくなる。乗算処理は、「重み」の値ｗ_Ｂに乗算修正値を乗算する処理である。乗算修正値は、０以上１以下の値を取り得る。本実施例では、乗算修正値の値が小さいほど、「重み」の値ｗ_Ｂがゼロ（中間値）に近づき、出力画像における画素値は、後方カメラ２Ｂの入力画像における画素値と右側方カメラ２Ｒの入力画像における画素値との単純平均に近づく。そして、乗算修正値の値がゼロのときに値ｗ_Ｂが値ｗ_Ｒと等しくなり、値ｗ_Ｂ及び値ｗ_Ｒを用いて算出される加重平均値は単純平均値となる。

本実施例では、制御部１は、加算修正の一例である周辺減光対策処理を実行する。図２７は、周辺減光対策処理を説明する図である。周辺減光対策処理は、周辺光量の低下に起因する入力画像の周辺部の暗さを目立たなくする処理である。

具体的には、制御部１は、後方カメラ２Ｂの入力画像における画素の位置に応じた加算修正値Ｃ_Ｂ１を導き出し、導き出した加算修正値Ｃ_Ｂ１を０以上１以下の値に丸め処理（最小値０、最大値１で制限）した後に−２を乗じた値を、対応する「重み」の値ｗ_Ｂに加算する。なお、加算修正値Ｃ_Ｂ１に−２（負値）を乗ずるのは、後方カメラ２Ｂの入力画像の周辺部における画素値の重みの値ｗ_Ｂを小さくしてその画素値の影響を小さくするためである。

加算修正値Ｃ_Ｂ１は、以下の式で表される。なお、Ｂ_０は急峻さを表すパラメータであり、例えば、１≦Ｂ_０≦５２である。また、ｒは後方カメラ２Ｂの入力画像の中心点からの半径［ピクセル］を表す。また、Ｂ_１は加算修正値Ｃ_Ｂ１が値１に達するときのｒの値を表し、本実施例では４００［ピクセル］である。

同様に、制御部１は、右側方カメラ２Ｒの入力画像における画素の位置に応じた加算修正値Ｃ_Ｒ１（図示省略。）を導き出し、導き出した加算修正値Ｃ_Ｒ１を０以上１以下の値に丸め処理（最小値０、最大値１で制限）した後に＋２を乗じた値を、対応する「重み」の値ｗ_Ｂに加算する。なお、加算修正値Ｃ_Ｒ１に＋２（正値）を乗ずるのは、後方カメラ２Ｂの入力画像における画素値の重みの値ｗ_Ｂを大きくしてその画素値の影響を大きくすることで、右側方カメラ２Ｒの入力画像の周辺部における画素値の影響を小さくするためである。

また、制御部１は、加算修正の別の一例であるサイドエッジ対策処理を実行する。図２８は、サイドエッジ対策処理を説明する図である。サイドエッジ対策処理は、一方の入力画像の側端部の画素に対応する出力画像上の画素が、他方の入力画像の画素に対応する出力画像上の画素に隣接したときの画素値の急激な変化を目立たなくする処理である。

具体的には、制御部１は、後方カメラ２Ｂの入力画像における画素の位置に応じた加算修正値Ｃ_Ｂ２を導き出し、導き出した加算修正値Ｃ_Ｂ２を０以上１以下の値に丸め処理（最小値０、最大値１で制限）した後に−２を乗じた値を、対応する「重み」の値ｗ_Ｂに加算する。なお、加算修正値Ｃ_Ｂ２に−２（負値）を乗ずるのは、後方カメラ２Ｂの入力画像の側端部における画素値の重みの値ｗ_Ｂを小さくしてその画素値の影響を小さくするためである。

加算修正値Ｃ_Ｂ２は、以下の式で表される。なお、Ｂ_２は急峻さを表すパラメータであり、例えば、０≦Ｂ_２≦１である。また、ｘは後方カメラ２Ｂの入力画像の中心点からの水平距離［ピクセル］を表す。また、Ｂ_３は加算修正値Ｃ_Ｂ２が値１に達するときのｘの値を表し、本実施例では±３２０［ピクセル］である。

同様に、制御部１は、右側方カメラ２Ｒの入力画像における画素の位置に応じた加算修正値Ｃ_Ｒ２（図示省略。）を導き出し、導き出した加算修正値Ｃ_Ｒ２を０以上１以下の値に丸め処理（最小値０、最大値１で制限）した後に＋２を乗じた値を、対応する「重み」の値ｗ_Ｂに加算する。なお、加算修正値Ｃ_Ｒ２に＋２（正値）を乗ずるのは、後方カメラ２Ｂの入力画像における画素値の重みの値ｗ_Ｂを大きくしてその画素値の影響を大きくすることで、右側方カメラ２Ｒの入力画像の側端部における画素値の影響を小さくするためである。

また、制御部１は、乗算修正の一例である遠方領域パタン化対策処理を実行する。図２９は、遠方領域パタン化対策処理を説明する図である。なお、図中の白色は、「重み」の値ｗ_Ｂが−１であることを表し、図中の黒色は、「重み」の値ｗ_Ｂが＋１であることを表し、図中の中間色は、「重み」の値ｗ_Ｂが−１より大きく＋１より小さいことを表す。遠方領域パタン化対策処理は、重複領域に対応する出力画像部分の遠方領域（空間モデルＭＤの中心から遠い領域）における格子模様を目立たなくする処理である。具体的には、遠方領域パタン化対策処理は、遠方領域における画素の値として採用される加重平均値を単純平均値に近づける。すなわち、乗算修正値をゼロに近づけることによって値ｗ_Ｂを値ｗ_Ｒに近づける。そのため、遠方領域パタン化対策処理は、重複領域に対応する出力画像部分の遠方領域以外の領域における立体物像の視認性を維持しながら、遠方領域における立体物像の見栄えを改善できる。なお、遠方領域では、見下ろし画像としての性質が弱まるため中心に近い領域に比べて立体物像の消失が発生しにくい。そのため、画素値として採用される加重平均値が単純平均値に近づいたとしても、出力画像を視認する操作者は、立体物像の存在を適切に認識できる。

具体的には、制御部１は、出力画像における画素の位置に応じた乗算修正値Ｃ_Ｐを導き出し、導き出した乗算修正値Ｃ_Ｐを、対応する「重み」の値ｗ_Ｂに乗算する。遠方領域における画素の値を、後方カメラ２Ｂの入力画像における画素の値と右側方カメラ２Ｒの入力画像における画素の値との単純平均に近づけるためである。

乗算修正値Ｃ_Ｐは、以下の式で表される。なお、Ｂ_４は急峻さを表すパラメータであり、例えば、０≦Ｂ_４≦１０である。また、Ｒは空間モデルＭＤの中心点からの半径［ピクセル］を表す。また、Ｂ_５は乗算修正値Ｃ_Ｐが変曲点に達するときのＲの値を表し、本実施例では１５０［ピクセル］である。

このように、制御部１は、加算修正及び乗算修正を実行して「重み」の値ｗ_Ｂを修正する。本実施例では、制御部１は、以下の式で示すように「重み」の値ｗ_Ｂを修正する。なお、以下の式において値ｗ'_Ｂは修正後の値を表す。

なお、制御部１は、周辺減光対策処理、サイドエッジ対策処理、及び遠方領域パタン化対策処理の少なくとも１つを省略してもよい。例えば、制御部１は、周辺減光対策処理、サイドエッジ対策処理、及び遠方領域パタン化対策処理の全てを省略してもよく、周辺減光対策処理又はサイドエッジ対策処理を省略してもよい。

その後、制御部１は、修正した「重み」の値ｗ'_Ｂをハードウェアに実装可能な形式に換算する。本実施例では、制御部１は、「重み」の値ｗ'_Ｂを０以上２５５以下の値にスケール変換する。二進数演算に適した値とするためである。

また、制御部１は、後方カメラ２Ｂの入力画像における画素値の「重み」の値ｗ'_Ｂと右側方カメラ２Ｒの入力画像における画素値の「重み」の値ｗ'_Ｒとの合計が２５５となるように値ｗ'_Ｂ、ｗ'_Ｒを導き出す。なお、値ｗ'_Ｒは、修正した「重み」の値ｗ'_Ｂから導き出される値である。

例えば、制御部１は、後方カメラ２Ｂの入力画像における画素値の「重み」の値ｗ'_Ｂが最大値である２５５であれば、右側方カメラ２Ｒの入力画像における画素値の「重み」の値ｗ'_Ｒを最小値である０とする。この場合、制御部１は、右側方カメラ２Ｒの入力画像における画素値の寄与度をゼロとし、後方カメラ２Ｂの入力画像における画素値をそのまま出力画像の画素値として用いる。

或いは、制御部１は、値ｗ'_Ｂが最小値である０であれば、値ｗ'_Ｒを最大値である２５５とする。この場合、制御部１は、後方カメラ２Ｂの入力画像における画素値の寄与度をゼロとし、右側方カメラ２Ｒの入力画像における画素値をそのまま出力画像の画素値として用いる。

或いは、制御部１は、値ｗ'_Ｂが１５３であれば、値ｗ'_Ｒを１０２とする。この場合、制御部１は、後方カメラ２Ｂの入力画像における画素値の寄与度と右側方カメラ２Ｒの入力画像における画素値の寄与度との比が３：２となるように出力画像の画素値を決定する。

本実施例では、後方カメラ２Ｂの入力画像における画素値と右側方カメラ２Ｒの入力画像における画素値との加重平均は、制御部１の出力画像生成手段１１における加重平均部１１２（図１１参照。）を用いて実行される。加重平均部１１２は、後方カメラ２Ｂの入力画像における画素値の重みｗ'_Ｂに基づいて出力画像における画素値を導き出す。例えば、後方カメラ２Ｂの入力画像における画素値がＹＣｂＣｒ方式の色データ（Ｙ３、Ｃｂ３、Ｃｒ３）を有し、右側方カメラ２Ｒの入力画像における画素値が色データ（Ｙ４、Ｃｂ４、Ｃｒ４）を有する場合を考える。なお、Ｙ３、Ｙ４は輝度信号であり、例えば、２５６段階（８ビット）のレベルを有する。また、Ｃｂ３、Ｃｂ４、Ｃｒ３、Ｃｒ４は色差信号であり、例えば、２５６段階（８ビット）のレベルを有する。この場合、輝度信号Ｙは、Ｙ＝｛ｗ'_Ｂ×Ｙ３＋（２５５−ｗ'_Ｂ）×Ｙ４｝／２５６で表される。また、色差信号Ｃｂは、Ｃｂ＝｛ｗ'_Ｂ×Ｃｂ３＋（２５５−ｗ'_Ｂ）×Ｃｂ４｝／２５６で表され、色差信号Ｃｒは、Ｃｒ＝｛ｗ'_Ｂ×Ｃｒ３＋（２５５−ｗ'_Ｂ）×Ｃｒ４｝／２５６で表される。なお、値「２５６」の代わりに値「２５５」を用いるのは上述の理由による。また、値「２５６」による除算は、８回の右シフト演算によって実現される。この構成により、画像生成装置１００は、補間処理における加重平均と同様、平均化境界処理における加重平均に関してもＦＰＧＡ等による組込実装に適した低演算量を実現できる。そのため、画像生成装置１００は、補間処理に加えて平均化境界処理を実装する場合であっても、除算回路等の搭載を回避できる。

図３０は、平均化境界処理の効果を説明する図であり、図３０（Ａ）は、平均化境界処理を適用せずに格子模様形成処理を適用して生成された出力画像の１例を示す。また、図３０（Ｂ）は、平均化境界処理を適用して生成された出力画像の１例であり、重複領域に対応する出力画像部分において後方カメラ２Ｂの入力画像における画素値と側方カメラ２Ｌ、２Ｒの入力画像における画素値とが加重平均された状態を示す。また、図３０（Ｃ）は、平均化境界処理を適用して生成された出力画像の別の１例であり、重複領域に対応する出力画像部分において後方カメラ２Ｂの入力画像における画素値と側方カメラ２Ｌ、２Ｒの入力画像における画素値とが単純平均された状態を示す。なお、画像生成装置１００は、平均化境界処理を適用して図３０（Ａ）に示す出力画像を生成することもできる。

図３０に示すように、重複領域に対応する出力画像部分における立体物像の視認性は、図３０（Ａ）において最も高く、図３０（Ｂ）、図３０（Ｃ）の順に低下する。すなわち、操作者は、図３０（Ａ）に示す出力画像において重複領域に対応する出力画像部分の立体物像を最もはっきりと視認でき、図３０（Ｂ）、図３０（Ｃ）に示す出力画像では、加重平均又は単純平均による画素値の混合により立体物像がぼやけて立体物像を視認しにくくなる。

一方で、重複領域に対応する出力画像部分の見栄えは、図３０（Ｃ）において最も良く、図３０（Ｂ）、図３０（Ａ）の順に低下する。すなわち、操作者は、図３０（Ｃ）に示す出力画像では格子模様に煩わされることはないが、図３０（Ｂ）、図３０（Ａ）に示す出力画像では、格子模様の存在により不自然さを感じる場合がある。

上述の性質を踏まえ、画像生成装置１００の操作者は、ショベルの作業環境、天候、周囲の明るさ等に応じて、トレードオフの関係にある視認性と見栄えのバランスを自由に調整できる。その結果、操作者は、出力画像の見栄えを必要に応じて改善できる。

次に、図３１を参照して、出力画像生成手段１１が出力画像における画素の位置に応じて平均化境界処理と補間処理とを選択的に実行して出力画像を改善する処理（以下、「出力画像改善処理」とする。）の流れについて説明する。なお、図３１は、出力画像改善処理の流れを示すフローチャートである。また、出力画像生成手段１１は、例えば、図７のステップＳ５において図１２の補間処理を単独で実行する代わりに、この出力画像改善処理を実行する。

最初に、出力画像生成手段１１は、画素値を導き出そうとする画素が、重複領域に対応する出力画像部分に属するか否かを判定する（ステップＳ６１）。

重複領域に対応する出力画像部分に属すると判定した場合（ステップＳ６１のＹＥＳ）、出力画像生成手段１１は平均化境界処理を実行する（ステップＳ６２）。

一方で、重複領域に対応する出力画像部分に属さないと判定した場合（ステップＳ６１のＮＯ）、出力画像生成手段１１は補間処理を実行する（ステップＳ６３）。

なお、平均化境界処理における加重平均と補間処理における加重平均は何れも出力画像生成手段１１の加重平均部１１２によって実行される。本実施例では、加重平均部１１２は、それら２つを特に区別することなく、二進数演算を用いて加重平均を実行する。具体的には、加重平均部１１２は、補間処理では、重みαを用いて１つの入力画像における２つの画素値を加重平均し、平均化境界処理では、重みｗを用いて２つの入力画像における２つの画素値を加重平均する。そのため、画像生成装置１００は、平均化境界処理における加重平均のための機能要素と、補間処理における加重平均のための機能要素とを別々に用意する必要はない。この構成は、出力画像生成手段１１がＦＰＧＡで実現される場合等、制御部１のリソースに一定の制限がある場合に有効である。

以上の構成により、画像生成装置１００は、出力画像平面に設定される「場」の値を用いて一方のカメラの入力画像における画素値の重みと他方のカメラの入力画像における画素値の重みとを調整可能に決定する。なお、「場」の値は、撮像範囲が一部重複する２つのカメラのうちの一方のカメラを波源とする波と他方のカメラを波源とする波の合成波の振幅に関する物理量である。そして、一方のカメラの入力画像における画素値と他方のカメラの入力画像における画素値とを加重平均することで重複領域に対応する出力画像部分における画素の値を導き出す。そのため、トレードオフの関係にある出力画像の視認性と見栄えとのバランスを自由に調整でき、必要に応じて出力画像部分の見栄えを改善できる。

また、制御部１は、上述の２つの波の合成波の振幅に関する物理量である「場」の値を、一方のカメラの入力画像における画素値の「重み」の値に変換する。また、他方のカメラの入力画像における画素値の「重み」の値を、一方のカメラの入力画像における画素値の「重み」の値から導き出す。また、一方のカメラの入力画像における画素値の「重み」の値、及び、他方のカメラの入力画像における画素値の「重み」の値を何れも所定範囲（例えば０以上２５５以下）内の値に変換する。また、一方のカメラの入力画像における画素値の「重み」の値と、他方のカメラの入力画像における画素値の「重み」の値の合計を常に一定（例えば２５５）に維持する。そのため、画像生成装置１００は、平均化境界処理における加重平均に関し、ＦＰＧＡ等による組込実装に適した低演算量を実現できる。

また、制御部１は、所定の変換曲線を用いて、「場」の値を一方のカメラの入力画像における画素値の「重み」の値に変換する。そのため、画像生成装置１００は、重複領域に対応する出力画像部分における各画素に関し、２つのカメラの位置関係に基づいて２つのカメラのそれぞれの入力画像における画素値の「重み」の値を一意に決定できる。

また、制御部１は、２つの入力画像のそれぞれの周辺部の画素の値の重みを低めに修正する。そのため、画像生成装置１００は、重複領域に対応する出力画像部分において、周辺光量の低下に起因する入力画像の周辺部の暗さを目立たなくすることができる。

また、制御部１は、２つの入力画像のそれぞれの側端部の画素の値の重みを低めに修正する。そのため、画像生成装置１００は、重複領域に対応する出力画像部分において、一方の入力画像の側端部の画素に対応する出力画像上の画素が、他方の入力画像の画素に対応する出力画像上の画素に隣接したときの画素値の急激な変化を目立たなくすることができる。

また、制御部１は、重複領域に対応する出力画像部分の遠方領域における画素に関し、一方のカメラの入力画像の画素値の重みが、他方のカメラの入力画像の画素値の重みに近づくように、２つの入力画像のそれぞれの画素値の重みを修正する。そのため、画像生成装置１００は、遠方領域における格子模様を目立たなくすることができる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述の実施例において、画像生成装置１００は、「場」の値ｆ、「重み」の値ｗ、加算修正値Ｃ_Ｂ１、Ｃ_Ｒ１、Ｃ_Ｂ２、Ｃ_Ｒ２、乗算修正値Ｃ_Ｐ、修正した「重み」の値ｗ'等の各種値を演算式を用いて導き出してもよく、予め用意しておいた参照テーブルを用いて導き出してもよい。

また、画像生成装置１００は、「重み」の値ｗ、加算修正値Ｃ_Ｂ１、Ｃ_Ｒ１、Ｃ_Ｂ２、Ｃ_Ｒ２、乗算修正値Ｃ_Ｐ等を所定範囲内の値に変換する場合、丸め処理のほか、スケール変換等を用いてもよい。また、個々の演算時に個別に変換処理を行ってもよいし、いくつかの連続する演算の後に変換処理を行ってもよい。

また、画像生成装置１００は、空間モデルとして円筒状の空間モデルＭＤを採用するが、多角柱等の他の柱状の形状を有する空間モデルを採用してもよく、底面及び側面の二面から構成される空間モデルを採用してもよく、或いは、側面のみを有する空間モデルを採用してもよい。

また、画像生成装置１００は、バケット、アーム、ブーム、旋回機構等の可動部材を備えながら自走する建設機械にカメラと共に搭載され、周囲画像をその運転者に提示しながらその建設機械の移動及びそれら可動部材の操作を支援する操作支援システムに組み込まれているが、産業用機械若しくは固定式クレーン等のように可動部材を有するが自走はしない他の被操作体にカメラと共に搭載され、それら他の被操作体の操作を支援する操作支援システムに組み入れられてもよい。

１・・・制御部 ２・・・カメラ ２Ｌ・・・左側方カメラ ２Ｒ・・右側方カメラ ２Ｂ・・後方カメラ ３・・・入力部 ４・・・記憶部 ５・・・表示部 １０・・・座標対応付け手段 １１・・・出力画像生成手段 ４０・・・入力画像・空間モデル対応マップ ４１・・・空間モデル・処理対象画像対応マップ ４２・・・処理対象画像・出力画像対応マップ ６０・・・ショベル ６１・・・下部走行体 ６２・・・旋回機構 ６３・・・上部旋回体 ６４・・・キャブ １１０・・・整数座標点選択部 １１１・・・重み導出部 １１２・・・加重平均部

Claims (8)

1. 被操作体に取り付けられた複数のカメラが撮像した複数の入力画像に基づいて出力画像を生成する画像生成装置であって、
   前記出力画像は、前記複数のカメラのうちの２つのカメラのそれぞれの撮像範囲が重複する領域に対応する、複数の単位パタン領域で構成される格子模様の出力画像部分を含み、
   前記単位パタン領域における画素値は、前記２つのカメラのそれぞれが撮像した各入力画像における、前記単位パタン領域における画素に対応する２つの入力画素の画素値を平均化して決定され、該平均化の度合いは前記単位パタン領域における画素の位置に応じて異なる、
   画像生成装置。
2. 前記複数のカメラは、第一カメラと第二カメラを含み、
   前記単位パタン領域は、
   前記第一カメラが撮像した第一入力画像における画素値の重みである第一重みが、前記第二カメラが撮像した第二入力画像における画素値の重みである第二重み以上である第一単位パタン領域と、
   前記第一重みが前記第二重み以下である第二単位パタン領域と、を含み、
   前記格子模様は、前記第一単位パタン領域と前記第二単位パタン領域とが交互に配置されることで生成される、
   請求項１に記載の画像生成装置。
3. 前記第一重み及び前記第二重みは、前記第一カメラの位置を波源とする第一の波と前記第二カメラの位置を波源とする第二の波との合成波の振幅に関する物理量に応じて決まり、
   前記物理量は、前記第一カメラの位置と、前記第二カメラの位置と、前記第一の波の波長及び位相と、前記第二の波の波長及び位相とに基づいて算出される、
   請求項２に記載の画像生成装置。
4. 前記第一単位パタン領域における画素値は、前記第一単位パタン領域の中心部に近い画素ほど前記第一入力画像における画素値の寄与度が前記第二入力画像における画素値の寄与度よりも高く、
   前記第二単位パタン領域における画素値は、前記第二単位パタン領域の中心部に近い画素ほど前記第二入力画像における画素値の寄与度が前記第一入力画像における画素値の寄与度よりも高い、
   請求項２又は３に記載の画像生成装置。
5. 前記第一単位パタン領域における前記第一重みの推移を表す第一推移線は、前記第一単位パタン領域の中心部で前記第一入力画像における画素値の寄与度が最大となるように凸状となり、
   前記第二単位パタン領域における前記第一重みの推移を表す第二推移線は、前記第二単位パタン領域の中心部で前記第二入力画像における画素値の寄与度が最大となるように凸状となり、
   前記第一推移線の凸方向と前記第二推移線の凸方向は互いに逆向きである、
   請求項２乃至４の何れかに記載の画像生成装置。
6. 前記単位パタン領域における各画素の画素値に関し、前記第一重みと前記第二重みの合計は一定であり、前記第一重み及び前記第二重みの一方が増加すると他方が減少する、
   請求項２乃至５の何れかに記載の画像生成装置。
7. 前記第一入力画像及び前記第二入力画像のそれぞれの周辺部及び側端部の少なくとも一方における画素値の重みは、中心部の画素値の重みよりも低めに修正される、
   請求項２乃至６の何れか一項に記載の画像生成装置。
8. 前記格子模様は、前記被操作体から遠いほど目立たなくなるように生成される、
   請求項１乃至７の何れか一項に記載の画像生成装置。