WO2011129276A1

WO2011129276A1 - 画像生成装置及び操作支援システム

Info

Publication number: WO2011129276A1
Application number: PCT/JP2011/058898
Authority: WO
Inventors: 芳永清田
Original assignee: 住友重機械工業株式会社
Priority date: 2010-04-12
Filing date: 2011-04-08
Publication date: 2011-10-20
Also published as: EP2560140A1; JP2011221865A; KR20130008606A; US20130033494A1; JP5550970B2; EP2560140B1; US8593454B2; KR101475583B1; EP2560140A4; CN102792334B; CN102792334A

Abstract

　画像生成装置（１００）は、被操作体(６０)に取り付けられた複数の撮像部(２Ｂ，２Ｒ)が撮像した複数の入力画像に基づいて出力画像を生成する。座標対応付け部(１０)は、中心軸と側面とを有する柱状の空間モデル(ＭＤ)における座標と、複数の入力画像が位置する複数の入力画像平面のそれぞれにおける座標とを対応付ける。出力画像生成部(１１)は、柱状の空間モデルにおける座標を介して、複数の入力画像平面のそれぞれにおける座標の値と出力画像が位置する出力画像平面における座標の値とを対応付けて出力画像を生成する。柱状の空間モデルの中心軸と側面との間の距離は、撮像部（２Ｂ，２Ｒ）の設置位置に応じて決定される。

Description

画像生成装置及び操作支援システム

　本発明は、被操作体に取り付けられた複数の撮像手段が撮像した複数の入力画像に基づいて出力画像を生成する画像生成装置及びその装置を用いた操作支援システムに関する。

　カメラからの入力画像を、三次元空間上の所定の空間モデルにマッピングし、そのマッピングした空間データを参照しながら、その三次元空間における任意の仮想視点から見た視点変換画像を生成して表示する画像生成装置が知られている（例えば、特許文献１参照）。

　特許文献１に開示された画像生成装置は、車両に搭載されたカメラが撮像した画像を、その車両を囲む複数の平面又は曲面で構成される立体的な空間モデルに投影する。画像生成装置は、その空間モデルに投影された画像を用いて、視点変換画像を生成し、生成した視点変換画像を運転者に対して表示する。視点変換画像とは、路面を真上から見た状態を仮想的に映し出す路面画像と水平方向を映し出す水平画像とを組み合わせた画像である。これにより、画像生成装置は、車両を運転する運転者がその視点変換画像を見たときに、その視点変換画像における物体と、車外にある実際の物体とを違和感なく対応付けることができる。

特許第３２８６３０６号明細書

　特許文献１に開示された画像生成装置は、カメラが撮像した路面上の特徴点に基づいて空間モデルを作成し、車両の移動（その車両とその特徴点との間の位置関係の変化）に応じてその空間モデルを修正する。空間モデルを作成したり修正したりする際に、二つのカメラのそれぞれの撮像範囲が重複する領域における物体が空間モデルへの投影の際に画像から消失してしまうという問題は考慮されていない。したがって、そのような画像の消失を防止するために空間モデルを修正しないため、重複する領域における物体を含む視点変換画像を適切に生成することができない。

　そこで、本発明は、二つのカメラのそれぞれの撮像範囲が重複する領域における物体が画像から消失するのを防止する空間モデルを用いて出力画像を生成する画像生成装置及びその装置を用いた操作支援システムを提供することを目的とする。

　上述の目的を達成するために、本発明の一実施態様によれば、被操作体に取り付けられた複数の撮像部が撮像した複数の入力画像に基づいて出力画像を生成する画像生成装置であって、該被操作体を取り囲むように配置される空間モデルであり、中心軸と側面とを有する柱状の空間モデルにおける座標と、該複数の入力画像のそれぞれが位置する複数の入力画像平面のそれぞれにおける座標とを対応付ける座標対応付け部と、該柱状の空間モデルにおける座標を介して、該複数の入力画像平面のそれぞれにおける座標の値と該出力画像が位置する出力画像平面における座標の値とを対応付けて該出力画像を生成する出力画像生成部と、を備え、該柱状の空間モデルの中心軸と側面との間の距離は、該撮像部の設置位置に応じて決定されることを特徴とする画像生成装置が提供される。

　本発明の他の実施態様によれば、被操作体の移動又は操作を支援する操作支援システムであって、上述の画像生成装置と、該画像生成装置が生成する出力画像を表示する表示部とを備えることを特徴とする操作支援システムが提供される。

　本発明によれば、二つのカメラのそれぞれの撮像範囲が重複する領域における物体が画像から消失するのを防止する空間モデルを用いて出力画像を生成する画像生成装置及びその装置を用いた操作支援システムを提供することができる。

本発明の一実施例による画像生成装置の概略構成を示すブロック図である。画像生成装置が搭載されるショベルの側面図である。入力画像が投影される空間モデルの側面図である。図３Ａに示す空間モデルの平面図である。空間モデルと処理対象画像平面との間の関係を示す斜視図である。入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。通常射影を採用したカメラの入力画像平面上の座標と空間モデルＭＤ上の座標との間の対応関係を示す図である。空間モデルＭＤの曲面領域上の座標と処理対象画像平面上の座標との間の対応関係を示す図である。処理対象画像平面上の座標と、通常射影を採用する仮想カメラの出力画像平面上の座標との間の対応関係を示す図である。カメラ、仮想カメラ、空間モデルＭＤの平面領域及び曲面領域、並びに、処理対象画像平面の相互の位置関係を示す図である。ＸＺ平面上に位置する平行線群と処理対象画像平面との間で角度βが形成される状態を示す図である。ＸＺ平面上に位置する平行線群と処理対象画像平面との間で角度β１が形成される状態を示す図である。ＸＺ平面上に位置する補助線群の全てがＺ軸上の始点から処理対象画像平面に向かって延在する状態を示す図である。補助線群の全てがＺ軸上の始点から処理対象画像平面に向かって延在する状態を示す図である。ＸＺ平面上に位置する平行線群と処理対象画像平面との間で角度βが形成された状態を示す図である。ＸＺ平面上に位置する平行線群と処理対象画像平面との間で角度β２が形成された状態を示す図である。ＸＺ平面上に位置する平行線群と処理対象画像平面との間で角度βが形成された状態を示す図である。処理対象画像生成処理及び出力画像生成処理のフローチャートである。一つの棒状の物体が存在する場合において、カメラと空間モデルとの間の位置関係を説明するための平面図である。一つの棒状の物体が存在する場合において、カメラと空間モデルとの間の位置関係を説明するための斜視図である。一つの棒状の物体が存在する場合において生成された処理対象画像を説明するための平面図である。二つの棒状の物体が存在する場合において、カメラと空間モデルとの間の位置関係を説明するための平面図である。二つの棒状の物体が存在する場合において、カメラと空間モデルとの間の位置関係を説明するための斜視図である。二つの棒状の物体が存在する場合において生成された処理対象画像を説明するための平面図である。二つの棒状の物体が存在する他の場合において、カメラと空間モデルとの間の位置関係を説明するための平面図である。二つの棒状の物体が存在する他の場合において、カメラと空間モデルとの間の位置関係を説明するための斜視図である。二つの棒状の物体が存在する他の場合において生成された処理対象画像を説明するための平面図である。出力画像の表示例を示す図である。ショベルを上方から見たときのカメラの撮像範囲と空間モデルとの間の位置関係を示す図である。空間モデルを斜め上方から見たときのカメラの撮像範囲と空間モデルとの間の位置関係を示す図である。図１６Ａ，１６Ｂで示されるように設置されたカメラが撮像した入力画像に基づいて画像生成装置が生成する処理対象画像を示す図である。図１６Ａ，１６Ｂに示されるように設置されたカメラが撮像した入力画像に基づいて画像生成装置が生成する処理対象画像の一例を示す図である。図１６Ａ，１６Ｂに示されるように設置されたカメラが撮像した入力画像に基づいて画像生成装置が生成する処理対象画像の他の例を示す図である。空間モデルの半径が取り得る値の範囲を決定する手順の一例を説明するために、ショベル６０を上方から見た平面図である。空間モデルの半径が取り得る値の範囲を決定する手順の一例を説明するために、ショベルを側方から見た側面図である。カメラの撮像範囲と空間モデルとの間の位置関係を説明するための平面図である。

　以下、図面を参照しながら、本発明の実施形態について説明する。

　図１は、本発明の一実施形態による画像生成装置の概略構成を概略的示すブロック図である。

　一実施形態による画像生成装置１００は、例えば、建設機械に搭載されたカメラ２が撮影した入力画像に基づいて主鶴尾句画像を生成し、その出力画像を運転者に提示する。図１に示すように、画像生成装置１００は、制御部１、カメラ２、入力部３、記憶部４、及び表示部５を含む。

　図２は、画像生成装置１００が搭載されるショベル６０の側面図である。ショベル６０は、クローラ式の下部走行体６１、旋回機構６２、及び、上部旋回体６３を有する。上部旋回体６３は、下部走行体６１の上に旋回機構６２を介して、旋回軸ＰＶの周りで旋回自在に搭載されている。

　上部旋回体６３の前方左側部にキャブ（運転室）６４が設けられ、前方中央部には、掘削アタッチメントＥが設けられる。上部旋回体６３の右側面及び後面にカメラ２（右側方カメラ２Ｒ、後方カメラ２Ｂ）が設けられる。キャブ６４内の運転者が視認し易い位置には表示部５が設置されている。

　次に、画像生成装置１００の各構成要素について説明する。

　制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を備えたコンピュータを含む。例えば、後述する座標対応付け部１０及び出力画像生成部１１のそれぞれに対応するプログラムがＲＯＭやＮＶＲＡＭに格納される。ＣＰＵは、一時記憶領域としてＲＡＭを利用しながら、各手段に対応するプログラムを実行して処理を行なう。

　カメラ２は、ショベル６０の周辺を映し出す入力画像を取得するための装置であり、右側方カメラ２Ｒ及び後方カメラ２Ｂを含む。右側方カメラ２Ｒ及び後方カメラ２Ｂは、例えば、キャブ６４にいる運転者の死角となる領域を撮影できるよう上部旋回体６３の右側面及び後面に取り付けられる（図２参照）。右側方カメラ２Ｒ及び後方カメラ２Ｂの各々は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide　Semiconductor）等の撮像素子を備えている。なお、カメラ２は、上部旋回体６３の右側面及び後面以外の位置（例えば、前面及び左側面である。）に取り付けられていてもよく、広い範囲を撮影できるよう広角レンズ又は魚眼レンズが装着されていてもよい。

　カメラ２は、制御部１からの制御信号に応じて入力画像を取得し、取得した入力画像を制御部１に対して出力する。なお、カメラ２は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力画像を制御部１に対して出力する。ただし、カメラ２は、取得した入力画像を補正せずに、そのまま制御部１に対して出力してもよい。その場合には、制御部１が見掛け上の歪曲やアオリを補正する。

　入力部３は、操作者が画像生成装置１００に対して各種情報を入力できるようにするための装置であり、例えば、タッチパネル、ボタンスイッチ、ポインティングデバイス、キーボード等を含む。

　記憶部４は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等を含む。

　表示部５は、画像情報を表示するための装置であり、例えば、建設機械のキャブ６４（図２参照）内に設置された液晶ディスプレイ又はプロジェクタを含むである。表示部５は、制御部１が出力する各種画像を表示する。

　また、画像生成装置１００は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施すことによって周辺障害物との位置関係や距離感を直感的に把握できるようにする出力画像を生成した上で、その出力画像を運転者に提示してもよい。

　「処理対象画像」は、入力画像に基づいて生成される画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理）の対象となる画像である。例えば、地表を上方から撮像するカメラによる入力画像であってその広い画角により水平方向の画像（例えば、空の部分である。）を含む入力画像を画像変換処理で用いる場合がある。そのような場合には、その水平方向の画像が不自然に表示されないように（例えば、空の部分が地表にあるものとして扱われないように）、その入力画像を所定の空間モデルに投影する。そして、空間モデルに投影された投影画像を別の二次元平面に再投影することによって画像変換処理に適した画像を得ることができる。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。

　「空間モデル」は、入力画像の投影対象であり、少なくとも、処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面（例えば、処理対象画像平面に平行な平面、又は、処理対象画像平面との間で角度を形成する平面若しくは曲面）を含む。

　なお、画像生成装置１００は、処理対象画像を生成することなく、その空間モデルに投影された投影画像に画像変換処理を施すことによって出力画像を生成してもよい。また、投影画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。

　図３Ａ，３Ｂは、入力画像が投影される空間モデルＭＤの一例を示す図である。図３Ａは、ショベル６０を側方から見たときのショベル６０と空間モデルＭＤとの間の関係を示し、図３Ｂは、ショベル６０を上方から見たときのショベル６０と空間モデルＭＤとの間の関係を示す。

　図３Ａ、３Ｂに示されるように、空間モデルＭＤは半円筒形状を有する。半円筒形状の底面内部は平面領域Ｒ１含み、側面内部は曲面領域Ｒ２を含む。

　図４は、空間モデルＭＤと処理対象画像平面との間の関係の一例を示す図である。図４において、処理対象画像平面Ｒ３は、例えば、空間モデルＭＤの平面領域Ｒ１を含む平面である。なお、図４では明確化のために、空間モデルＭＤを、図３で示すような半円筒形状とは異なり、円筒形状で示しているが、空間モデルＭＤは、半円筒形状及び円筒形状の何れであってもよい。これは、以降の図においても同様である。また、処理対象画像平面Ｒ３は、上述のように、空間モデルＭＤの平面領域Ｒ１を含む円形領域であってもよく、空間モデルＭＤの平面領域Ｒ１を含まない環状領域であってもよい。

　次に、制御部１が有する座標対応付け部１０及び出力画像生成部１１について説明する。

　座標対応付け部１０は、カメラ２が撮像した入力画像が位置する入力画像平面上の座標（入力座標と称することもある）と、空間モデルＭＤ上の座標（空間座標と称することもある）と、処理対象画像平面Ｒ３上の座標（投影座標と称することもある）とを対応付けるために設けられている。例えば、予め設定された、或いは、入力部３を介して入力される、カメラ２の光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等のカメラ２に関する各種パラメータと、予め決定された、入力画像平面、空間モデルＭＤ、及び処理対象画像平面Ｒ３の相互の位置関係とに基づいて、入力画像平面上の座標と、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付ける。それらの対応関係は、記憶部４の入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１に格納される。

　なお、座標対応付け部１０は、処理対象画像を生成しない場合には、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標との対応付け、及び、その対応関係の空間モデル・処理対象画像対応マップ４１への格納を省略する。

　出力画像生成部１１は、出力画像を生成するための手段である。出力画像生成部１１は、例えば、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって、処理対象画像平面Ｒ３上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。対応関係は記憶部４の処理対象画像・出力画像対応マップ４２に格納される。出力画像生成部１１は、座標対応付け部１０に格納された入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）と入力画像における各画素の値とを関連付けて出力画像を生成する。

　また、出力画像生成部１１は、予め設定された、或いは、入力部３を介して入力される、仮想カメラの光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等の各種パラメータに基づいて、処理対象画像平面Ｒ３上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。対応関係は記憶部４の処理対象画像・出力画像対応マップ４２に記憶される。そして、出力画像生成部１１は、座標対応付け部１０に格納された入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）と入力画像における各画素の値とを関連付けて出力画像を生成する。

　なお、出力画像生成部１１は、仮想カメラの概念を用いることなく、処理対象画像のスケールを変更して出力画像を生成するようにしてもよい。

　また、出力画像生成部１１は、処理対象画像を生成しない場合には、施した画像変換処理に応じて空間モデルＭＤ上の座標と出力画像平面上の座標とを対応付ける。そして、出力画像生成部１１は、入力画像・空間モデル対応マップ４０を参照しながら、出力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）と入力画像における各画素の値とを関連付けて出力画像を生成する。この場合、出力画像生成手段１１は、処理対象画像平面Ｒ３上の座標と出力画像平面上の座標との対応付け、及び、その対応関係の処理対象画像・出力画像対応マップ４２への格納を省略する。

　次に、座標対応付け部１０及び出力画像生成部１１により行なわれる処理の一例について説明する。

　座標対応付け部１０は、例えば、ハミルトンの四元数を用いて、入力画像平面上の入力座標と空間モデル上の空間座標とを対応付けることができる。

　図５は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。カメラ２の入力画像平面は、カメラ２の光学中心Ｃを原点とするＵＶＷ直交座標系における一平面として表され、空間モデルは、ＸＹＺ直交座標系における立体面として表される。

　最初に、座標対応付け部１０は、空間モデル上の座標（ＸＹＺ座標系上の座標）を入力画像平面上の座標（ＵＶＷ座標系上の座標）に変換するため、ＸＹＺ座標系の原点を光学中心Ｃ（ＵＶＷ座標系の原点）に並行移動させた上で、Ｘ軸をＵ軸に、Ｙ軸をＶ軸に、Ｚ軸を－Ｗ軸にそれぞれ一致させるようＸＹＺ座標系を回転させる。ここで、符号「－」は方向が逆であることを意味する。これは、ＵＶＷ座標系がカメラ前方を＋Ｗ方向とし、ＸＹＺ座標系が鉛直下方を－Ｚ方向としていることに起因する。

　カメラ２が複数存在する場合、カメラ２のそれぞれが個別のＵＶＷ座標系を有する。これにより、座標対応付け部１０は、複数のＵＶＷ座標系のそれぞれに対して、ＸＹＺ座標系を並行移動させ且つ回転させる。

　上述の変換は、カメラ２の光学中心ＣがＸＹＺ座標系の原点となるようにＸＹＺ座標系を並行移動させた後に、Ｚ軸が－Ｗ軸に一致するよう回転させ、更に、Ｘ軸がＵ軸に一致するよう回転させることによって実現される。したがって、座標対応付け部１０は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏める。

　ところで、あるベクトルＡを別のベクトルＢに一致させるための回転は、ベクトルＡとベクトルＢとが張る面の法線を軸としてベクトルＡとベクトルＢとが形成する角度だけ回転させる処理に相当する。回転させる角度をθとすると、ベクトルＡとベクトルＢとの内積から、角度θは以下のように表される。

　また、ベクトルＡとベクトルＢとが張る面の法線の単位ベクトルＮは、ベクトルＡとベクトルＢとの外積から以下のように表される。

　なお、四元数は、ｉ、ｊ、ｋをそれぞれ虚数単位とした場合、以下の条件を満たす超複素数である。

　本実施例において、四元数Ｑは、実成分をｔ、純虚成分をａ、ｂ、ｃとして、以下のように表される。

　したがって、四元数Ｑの共役四元数は、以下のように表される。

　四元数Ｑは、実成分ｔを０（ゼロ）としながら、純虚成分ａ、ｂ、ｃで三次元ベクトル（ａ，ｂ，ｃ）を表現することがでる。また、ｔ、ａ、ｂ、ｃの各成分により任意のベクトルを軸とした回転動作を表現することもできる。

　更に、四元数Ｑは、連続する複数回の回転動作を統合して一回の回転動作として表現することがでる。例えば、任意の点Ｓ（ｓｘ，ｓｙ，ｓｚ）を、任意の単位ベクトルＣ（ｌ，ｍ，ｎ）を軸としながら角度θだけ回転させたときの点Ｄ（ｅｘ，ｅｙ，ｅｚ）を以下のように表現することができる。

　ここで、本実施例において、Ｚ軸を－Ｗ軸に一致させる回転を表す四元数をＱ_ｚとすると、ＸＹＺ座標系におけるＸ軸上の点Ｘは、点Ｘ’に移動させられる。したがって、点Ｘ’は以下のように表される。

　また、本実施例において、Ｘ軸上にある点Ｘ’と原点とを結ぶ線をＵ軸に一致させる回転を表す四元数をＱ_ｘとすると、「Ｚ軸を－Ｗ軸に一致させ、更に、Ｘ軸をＵ軸に一致させる回転」を表す四元数Ｒは、以下のように表される。

　以上により、空間モデル（ＸＹＺ座標系）上の任意の座標Ｐを入力画像平面（ＵＶＷ座標系）上の座標で表現したときの座標Ｐ’は、以下のように表される。

　四元数Ｒがカメラ２のそれぞれで不変であることから、座標対応付け部１０は、以後、この演算を実行するだけで空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換することができる。

　空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換した後、座標対応付け部１０は、カメラ２の光学中心Ｃ（ＵＶＷ座標系上の座標）と空間モデル上の任意の座標ＰをＵＶＷ座標系で表した座標Ｐ’とを結ぶ線分ＣＰ’と、カメラ２の光軸Ｇとが形成する入射角αを算出する。

　また、座標対応付け部１０は、カメラ２の入力画像平面Ｒ４（例えば、ＣＣＤ面）に平行で且つ座標Ｐ’を含む平面Ｈにおける、平面Ｈと光軸Ｇとの交点Ｅと座標Ｐ’とを結ぶ線分ＥＰ’と、平面ＨにおけるＵ’軸とが形成する偏角φ、及び線分ＥＰ’の長さを算出する。

　カメラの光学系は、通常、像高さｈが入射角α及び焦点距離ｆの関数となっている。したがって、座標対応付け部１０は、通常射影（ｈ＝ｆｔａｎα）、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等の適切な射影方式を選択して像高さｈを算出する。

　その後、座標対応付け部１０は、算出した像高さｈを偏角φによりＵＶ座標系上のＵ成分及びＶ成分に分解し、入力画像平面Ｒ４の一画素当たりの画素サイズに相当する数値で除算する。これにより、座標対応付け部１０は、空間モデルＭＤ上の座標Ｐ（Ｐ’）と入力画像平面Ｒ４上の座標とを対応付けることができる。

　なお、入力画像平面Ｒ４のＵ軸方向における一画素当たりの画素サイズをａ_Ｕとし、入力画像平面Ｒ４のＶ軸方向における一画素当たりの画素サイズをａ_Ｖとすると、空間モデルＭＤ上の座標Ｐ（Ｐ’）に対応する入力画像平面Ｒ４上の座標（ｕ，ｖ）は、以下のように表される。

　このようにして、座標対応付け部１０は、空間モデルＭＤ上の座標と、カメラ毎に存在する一又は複数の入力画像平面Ｒ４上の座標とを対応付け、且つ、空間モデルＭＤ上の座標、カメラ識別子、及び入力画像平面Ｒ４上の座標を関連付けて、対応関連を入力画像・空間モデル対応マップ４０に格納する。

　座標対応付け部１０は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を提供する。しかしながら、座標対応付け部１０は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。

　複数の入力画像平面Ｒ４上の座標への対応付けが可能な場合、座標対応付け部１０は、空間モデルＭＤ上の座標Ｐ（Ｐ’）を、その入射角αが最も小さいカメラに関する入力画像平面Ｒ４上の座標に対応付けるようにしてもよく、あるいは、操作者が選択した入力画像平面Ｒ４上の座標に対応付けるようにしてもよい。

　次に、空間モデルＭＤ上の座標のうち、曲面領域Ｒ２上の座標（Ｚ軸方向の成分を持つ座標）を、ＸＹ平面上にある処理対象画像平面Ｒ３に再投影する処理について説明する。

　図６Ａ，６Ｂは、座標対応付け部１０による座標間の対応付けを説明するための図である。図６Ａは、一例として通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との間の対応関係を示す図である。座標対応付け部１０は、カメラ２の入力画像平面Ｒ４上の座標とその座標に対応する空間モデルＭＤ上の座標とを結ぶ線分のそれぞれがカメラ２の光学中心Ｃを通過するようにして、両座標を対応付ける。

　図６Ａに示す例では、座標対応付け部１０は、カメラ２の入力画像平面Ｒ４上の座標Ｋ１を空間モデルＭＤの平面領域Ｒ１上の座標Ｌ１に対応付け、カメラ２の入力画像平面Ｒ４上の座標Ｋ２を空間モデルＭＤの曲面領域Ｒ２上の座標Ｌ２に対応付ける。このとき、線分Ｋ１－Ｌ１及び線分Ｋ２－Ｌ２は共にカメラ２の光学中心Ｃを通過する。

　なお、カメラ２が通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等）を採用した場合、座標対応付け部１０は、それぞれの射影方式に応じて、カメラ２の入力画像平面Ｒ４上の座標Ｋ１、Ｋ２を空間モデルＭＤ上の座標Ｌ１、Ｌ２に対応付ける。

　具体的には、座標対応付け部１０は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等）に基づいて、入力画像平面上の座標と空間モデルＭＤ上の座標とを対応付ける。この場合、線分Ｋ１－Ｌ１及び線分Ｋ２－Ｌ２がカメラ２の光学中心Ｃを通過することはない。

　図６Ｂは、空間モデルＭＤの曲面領域Ｒ２上の座標と処理対象画像平面Ｒ３上の座標との間の対応関係を示す図である。座標対応付け部１０は、ＸＺ平面上に位置する平行線群ＰＬであって、処理対象画像平面Ｒ３との間で角度βを形成する平行線群ＰＬを導入し、空間モデルＭＤの曲面領域Ｒ２上の座標とその座標に対応する処理対象画像平面Ｒ３上の座標とが共に平行線群ＰＬのうちの一つに乗るようにして、両座標を対応付ける。

　図６Ｂに示す例では、座標対応付け部１０は、空間モデルＭＤの曲面領域Ｒ２上の座標Ｌ２と処理対象画像平面Ｒ３上の座標Ｍ２とが共通の平行線に乗るとして、両座標を対応付ける。

　座標対応付け部１０は、空間モデルＭＤの平面領域Ｒ１上の座標を曲面領域Ｒ２上の座標と同様に平行線群ＰＬを用いて処理対象画像平面Ｒ３上の座標に対応付けることができる。ただし、図６Ｂに示す例では、平面領域Ｒ１と処理対象画像平面Ｒ３とが共通の平面となっているので、空間モデルＭＤの平面領域Ｒ１上の座標Ｌ１と処理対象画像平面Ｒ３上の座標Ｍ１とは同じ座標値を有する。

　このようにして、座標対応付け部１０は、空間モデルＭＤ上の空間座標と、処理対象画像平面Ｒ３上の投影座標とを対応付け、且つ、空間モデルＭＤ上の座標及び処理対象画像Ｒ３上の座標を関連付けて、空間モデル・処理対象画像対応マップ４１に格納する。

　図６Ｃは、処理対象画像平面Ｒ３上の座標と一例として通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖの出力画像平面Ｒ５上の座標との間の対応関係を示す図である。出力画像生成部１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標とその座標に対応する処理対象画像平面Ｒ３上の座標とを結ぶ線分のそれぞれが仮想カメラ２Ｖの光学中心ＣＶを通過するように、両座標を対応付ける。

　図６Ｃに示す例では、出力画像生成部１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１を処理対象画像平面Ｒ３（空間モデルＭＤの平面領域Ｒ１）上の座標Ｍ１に対応付け、且つ、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ２を処理対象画像平面Ｒ３上の座標Ｍ２に対応付ける。このとき、線分Ｍ１－Ｎ１及び線分Ｍ２－Ｎ２は共に仮想カメラ２Ｖの光学中心ＣＶを通過する。

　仮想カメラ２Ｖが通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用している場合、出力画像生成部１１は、それぞれの射影方式に応じて、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１、Ｎ２を処理対象画像平面Ｒ３上の座標Ｍ１、Ｍ２に対応付ける。

　具体的には、出力画像生成部１１は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等）に基づいて、出力画像平面Ｒ５上の座標と処理対象画像平面Ｒ３上の座標とを対応付ける。この場合、線分Ｍ１－Ｎ１及び線分Ｍ２－Ｎ２が仮想カメラ２Ｖの光学中心ＣＶを通過することはない。

　このようにして、出力画像生成部１１は、出力画像平面Ｒ５上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、且つ、出力画像平面Ｒ５上の座標及び処理対象画像Ｒ３上の座標を関連付けて処理対象画像・出力画像対応マップ４２に格納する。そして、出力画像生成部１１は、座標対応付け部１０に格納された入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。

　なお、図６Ｄは、図６Ａ～図６Ｃを組み合わせた図であり、カメラ２、仮想カメラ２Ｖ、空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２、並びに、処理対象画像平面Ｒ３の相互の位置関係を示す。

　次に、図７Ａ，７Ｂを参照しながら、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標とを対応付けるために座標対応付け部１０が導入する平行線群ＰＬの作用について説明する。

　図７Ａは、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度βが形成される場合の図である。図７Ｂは、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度β１（β１＞β）が形成される場合の図である。図７Ａ及び図７Ｂにおける空間モデルＭＤの曲面領域Ｒ２上の座標Ｌａ～Ｌｄは、処理対象画像平面Ｒ３上の座標Ｍａ～Ｍｄにそれぞれ対応する。図７Ａにおける座標Ｌａ～Ｌｄの間隔は、図７Ｂにおける座標Ｌａ～Ｌｄの間隔にそれぞれ等しい。なお、説明を簡単にするために平行線群ＰＬはＸＺ平面上に存在するものとしているが、実際には、Ｚ軸上の全ての点から処理対象画像平面Ｒ３に向かって放射状に延びるように存在する。なお、この場合のＺ軸を「再投影軸」と称する。

　図７Ａ及び図７Ｂに示されるように、処理対象画像平面Ｒ３上の座標Ｍａ～Ｍｄの間隔は、平行線群ＰＬと処理対象画像平面Ｒ３との間の角度が増大するにつれて線形的に減少する。すなわち、座標Ｍａ～Ｍｄの間隔は、空間モデルＭＤの曲面領域Ｒ２と座標Ｍａ～Ｍｄのそれぞれとの間の距離とは関係なく一様に減少する。一方、図７Ａ，７Ｂに示す例では処理対象画像平面Ｒ３上の座標群への変換が行われないので、空間モデルＭＤの平面領域Ｒ１上の座標群の間隔は変化しない。

　これら座標群の間隔の変化は、出力画像平面Ｒ５（図６Ｃ参照）上の画像部分のうち、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する画像部分のみが線形的に拡大或いは縮小されることを意味する。

　次に、図８Ａ，８Ｂを参照しながら、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標とを対応付けるために座標対応付け部１０が導入する平行線群ＰＬの代替例について説明する。

　図８Ａは、ＸＺ平面上に位置する補助線群ＡＬの全てがＺ軸上の始点Ｔ１から処理対象画像平面Ｒ３に向かって延びる場合の図である。図８Ｂは、補助線群ＡＬの全てがＺ軸上の始点Ｔ２（Ｔ２＞Ｔ１）から処理対象画像平面Ｒ３に向かって延びる場合の図である。図８Ａ及び図８Ｂにおける空間モデルＭＤの曲面領域Ｒ２上の座標Ｌａ～Ｌｄは、処理対象画像平面Ｒ３上の座標Ｍａ～Ｍｄにそれぞれ対応する。図８Ａに示す例では、座標Ｍｃ、Ｍｄは、処理対象画像平面Ｒ３の領域外となるため図示されていない。図８Ａにおける座標Ｌａ～Ｌｄの間隔は、図８Ｂにおける座標Ｌａ～Ｌｄの間隔にそれぞれ等しいものとする。なお、補助線群ＡＬは、説明を便宜上目的のためにＸＺ平面上に存在しているとしているが、実際には、Ｚ軸上の任意の一点から処理対象画像平面Ｒ３に向かって放射状に在している。なお、図７Ａ，７Ｂに示す例と同様に、この場合のＺ軸を「再投影軸」と称する。

　図８Ａ及び図８Ｂに示されるように、処理対象画像平面Ｒ３上の座標Ｍａ～Ｍｄの間隔は、補助線群ＡＬの始点と原点Ｏとの間の距離（高さ）が増大するにつれて非線形的に減少する。すなわち、空間モデルＭＤの曲面領域Ｒ２と座標Ｍａ～Ｍｄのそれぞれとの間の距離が大きいほど、それぞれの間隔の減少幅が大きくなる。一方、図８Ａ，８Ｂに示す例では処理対象画像平面Ｒ３上の座標群への変換が行われないので、空間モデルＭＤの平面領域Ｒ１上の座標群の間隔は変化しない。

　これら座標群の間隔の変化は、平行線群ＰＬのときと同様に、出力画像平面Ｒ５（図６Ｃ参照）上の画像部分のうち、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する画像部分のみが非線形的に拡大或いは縮小されることを意味する。

　このようにして、画像生成装置１００は、空間モデルＭＤの平面領域Ｒ１に投影された画像に対応する出力画像の画像部分（例えば、路面画像）に影響を与えることなく、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する出力画像の画像部分（例えば、水平画像）を線形的に或いは非線形的に拡大或いは縮小させることができる。これにより、ショベル６０の近傍の路面画像（ショベル６０を真上から見たときの仮想画像）に影響を与えることなく、ショベル６０の周囲に位置する物体（ショベル６０から水平方向に周囲を見たときの画像における物体）を迅速且つ柔軟に拡大或いは縮小させることができ、ショベル６０の死角領域の視認性を向上させることができる。

　次に、図９Ａ，９Ｂ及び図１０を参照しながら、空間モデルＭＤに投影された画像から直接的に出力画像を生成する場合と、空間モデルＭＤに投影された画像を処理対象画像に再投影しその再投影された処理対象画像から出力画像を生成する場合との違いについて説明する。

　図９Ａは、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度βが形成される場合の図であり、図９Ｂは、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度β２（β２＜β）が形成される場合の図である。図９Ａにおける空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２、処理対象画像平面Ｒ３、並びに、通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖの出力画像平面Ｒ５及び光学中心ＣＶの位置と、図９Ｂのそれぞれとは、共通するものとする。

　図９Ａ及び図９Ｂにおいて、平面領域Ｒ１を含む処理対象画像平面Ｒ３上の座標Ｍ１は、出力画像平面Ｒ５上の座標Ｎ１に対応し、曲面領域Ｒ２上の座標Ｌ２は、処理対象画像平面Ｒ３上の座標Ｍ２、及び出力画像平面Ｒ５上の座標Ｎ２に対応する。距離Ｄ１（Ｄ３）は、出力画像平面Ｒ５の中心点（仮想カメラ２Ｖの光軸ＧＶとの交点）と座標Ｎ１との間のＸ軸上の距離を示す。距離Ｄ２（Ｄ４）は、出力画像平面Ｒ５の中心点と座標Ｎ２との間のＸ軸上の距離を示す。

　図９Ａ及び図９Ｂに示されるように、平行線群ＰＬと処理対象画像平面Ｒ３との間の角度がβのときの距離Ｄ２（図９Ａ参照）は、その角度が減少するにつれて増大し、その角度がβ２のときに距離Ｄ４（図９Ｂ参照）となる。その角度がβのときの距離Ｄ１（図９Ａ参照）は、その角度の変化にかかわらず一定であり、その角度がβ２のときの距離Ｄ３（図９Ｂ参照）に等しい。

　このように距離Ｄ２が距離Ｄ４に変化すること、及び、距離Ｄ１（Ｄ３）が不変であることは、図７Ａ，７Ｂ及び図８Ａ，８Ｂを用いて説明した作用と同様に、出力画像平面Ｒ５上の画像部分のうち、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する画像部分（例えば、水平画像である。）のみが拡大或いは縮小されることを意味する。

　なお、空間モデルＭＤに投影された画像に基づいて直接的に出力画像を生成した場合には、空間モデルＭＤの平面領域Ｒ１と曲面領域Ｒ２とを別々に取り扱うことができないため（別々に拡大縮小処理の対象とすることができないため）、曲面領域Ｒ２に投影された画像に対応する出力画像平面Ｒ５上の画像部分のみを拡大或いは縮小することはできない。

　図１０は、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度βが形成される場合の図である。図１０は、通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖの光学中心ＣＶを空間モデルＭＤの外側に移動させたときの状態（光学中心ＣＶのＸ座標の値を平面領域Ｒ１の半径よりも大きくした状態）を示す。

　図１０に示されるように、出力画像生成部１１は、処理対象画像平面Ｒ３（平面領域Ｒ１）上の座標Ｍ１と出力画像平面Ｒ５上の座標Ｎ１とを、線分Ｍ１－Ｎ１が光学中心ＣＶを通るように対応付け、且つ、曲面領域Ｒ２上の座標Ｌ２に対応する処理対象画像平面Ｒ３上の座標Ｍ２と出力画像平面Ｒ５上の座標Ｎ２とを、線分Ｍ２－Ｎ２が光学中心ＣＶを通るように対応付ける。これにより、空間モデルＭＤの曲面領域Ｒ２に投影された画像から直接的に出力画像を生成する場合のように、円筒の側壁外面を見ることとなって適切な出力画像を生成できないという問題（空間モデルＭＤ上の座標と出力画像平面Ｒ５上の座標とを対応付けることができないという問題）が引き起こされず、適切な出力画像を生成することができる。

　なお、図９Ａ，９Ｂ及び図１０を参照しながら、通常射影を採用する仮想カメラ２Ｖに関して説明したが、通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用した仮想カメラ２Ｖについても同様である。その場合、出力画像生成部１１は、処理対象画像平面Ｒ３（平面領域Ｒ１）上の座標Ｍ１と出力画像平面Ｒ５上の座標Ｎ１とを、線分Ｍ１－Ｎ１が光学中心ＣＶを通るように（関数ｈ＝ｆｔａｎαに従って）対応付ける代わりに、それぞれの射影方式に対応する関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に従って出力画像平面Ｒ５上の座標と処理対象画像平面Ｒ３上の座標とを対応付ける。この場合、線分Ｍ１－Ｎ１は仮想カメラ２Ｖの光学中心ＣＶを通過しない。

　次に、図１１を参照しながら、画像生成装置１００が処理対象画像を生成する処理（以下、「処理対象画像生成処理」とする）、及び、生成した処理対象画像を用いて出力画像を生成する処理（以下、「出力画像生成処理」とする。）について説明する。図１１は、処理対象画像生成処理（ステップＳ１～ステップＳ３）及び出力画像生成処理（ステップＳ４～ステップＳ６）のフローチャートである。カメラ２（入力画像平面Ｒ４）、空間モデル（平面領域Ｒ１及び曲面領域Ｒ２）、並びに、処理対象画像平面Ｒ３の配置は予め決定されているものとする。

　最初に、制御部１は、座標対応付け部１０により、処理対象画像平面Ｒ３上の座標と空間モデルＭＤ上の座標とを対応付ける（ステップＳ１）。

　具体的には、座標対応付け部１０は、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度を取得し、処理対象画像平面Ｒ３上の一座標から延びる平行線群ＰＬの一つが空間モデルＭＤの曲面領域Ｒ２と交差する点を算出す。そして、座標対応付け部１０は、算出した点に対応する曲面領域Ｒ２上の座標を、処理対象画像平面Ｒ３上のその一座標に対応する曲面領域Ｒ２上の一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ４１に格納する。平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度は、記憶部４等に予め格納された値であってもよく、入力部３を介して操作者が動的に入力する値であってもよい。

　処理対象画像平面Ｒ３上の一座標が空間モデルＭＤの平面領域Ｒ１上の一座標と一致する場合には、座標対応付け部１０は、平面領域Ｒ１上のその一座標を、処理対象画像平面Ｒ３上のその一座標に対応する一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ４１に格納する。

　その後、制御部１は、座標対応付け部１０により、上述の処理によって導き出された空間モデルＭＤ上の一座標と入力画像平面Ｒ４上の座標とを対応付ける（ステップＳ２）。

　具体的には、座標対応付け部１０は、通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の光学中心Ｃの座標を取得し、空間モデルＭＤ上の一座標から延びる線分であり、光学中心Ｃを通過する線分が入力画像平面Ｒ４と交差する点を算出する。そして、座標対応付け部１０は、算出した点に対応する入力画像平面Ｒ４上の座標を、空間モデルＭＤ上のその一座標に対応する入力画像平面Ｒ４上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ４０に格納する。

　その後、制御部１は、処理対象画像平面Ｒ３上の全ての座標を空間モデルＭＤ上の座標及び入力画像平面Ｒ４上の座標に対応付けたか否かを判定する（ステップＳ３）。未だ全ての座標を対応付けていないと判定された場合には（ステップＳ３のＮＯ）、ステップＳ１及びステップＳ２の処理が繰り返される。

　一方、制御部１は、全ての座標を対応付けたと判定された場合には（ステップＳ３のＹＥＳ）、処理対象画像生成処理を終了させた上で出力画像生成処理を開始させる。これにより、出力画像生成部１１は、処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標とを対応付ける（ステップＳ４）。

　具体的には、出力画像生成部１１は、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって出力画像を生成する。そして、出力画像生成部１１は、施したスケール変換、アフィン変換、又は歪曲変換の内容によって定まる、処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標との間の対応関係を、処理対象画像・出力画像対応マップ４２に格納する。

　或いは、仮想カメラ２Ｖを用いて出力画像を生成する場合には、出力画像生成部１１は、採用した射影方式に応じて対象処理画像平面Ｒ３上の座標から出力画像平面Ｒ５上の座標を算出し、その対応関係を処理対象画像・出力画像対応マップ４２に格納することとしてもよい。

　或いは、通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖを用いて出力画像を生成する場合には、出力画像生成部１１は、その仮想カメラ２Ｖの光学中心ＣＶの座標を取得した上で、出力画像平面Ｒ５上の一座標から延びる線分であり、光学中心ＣＶを通過する線分が処理対象画像平面Ｒ３と交差する点を算出してもよい。そして、出力画像生成部１１は、算出した点に対応する処理対象画像平面Ｒ３上の座標を、出力画像平面Ｒ５上のその一座標に対応する処理対象画像平面Ｒ３上の一座標として導き出し、その対応関係を処理対象画像・出力画像対応マップ４２に格納してもよい。

　その後、制御部１は、出力画像生成部１１により、入力画像・空間モデル対応マップ４０、空間モデル・処理対象画像対応マップ４１、及び処理対象画像・出力画像対応マップ４２を参照しながら、入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との対応関係、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標との対応関係、及び処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標との対応関係を辿り、出力画像平面Ｒ５上の各座標に対応する入力画像平面Ｒ４上の座標が有する値（例えば、輝度値、色相値、彩度値等である。）を取得する。そして、制御部１は、その取得した値を、対応する出力画像平面Ｒ５上の各座標の値として採用する（ステップＳ５）。なお、出力画像平面Ｒ５上の一座標に対して複数の入力画像平面Ｒ４上の複数の座標が対応する場合、出力画像生成部１１は、それら複数の入力画像平面Ｒ４上の複数の座標のそれぞれの値に基づく統計値（例えば、平均値、最大値、最小値、中間値等である。）を導き出し、出力画像平面Ｒ５上のその一座標の値としてその統計値を採用するようにしてもよい。

　その後、制御部１は、出力画像平面Ｒ５上の全ての座標の値を入力画像平面Ｒ４上の座標の値に対応付けたか否かを判定する（ステップＳ６）。未だ全ての座標の値を対応付けていないと判定された場合には（ステップＳ６のＮＯ）、ステップＳ４及びステップＳ５の処理が繰り返される。

　一方、制御部１は、全ての座標の値を対応付けたと判定した場合には（ステップＳ６のＹＥＳ）、出力画像を生成して、この一連の処理を終了させる。

　なお、画像生成装置１００は、処理対象画像を生成しない場合には、処理対象画像生成処理を省略し、出力画像生成処理におけるステップＳ４の“処理対象画像平面上の座標”を“空間モデル上の座標”と読み替える。

　以上の構成により、画像生成装置１００は、建設機械と周辺障害物との位置関係を操作者に直感的に把握させることが可能な処理対象画像及び出力画像を生成することができる。

　画像生成装置１００は、処理対象画像平面Ｒ３から空間モデルＭＤを経て入力画像平面Ｒ４に遡るように座標の対応付けを実行することにより、処理対象画像平面Ｒ３上の各座標を入力画像平面Ｒ４上の一又は複数の座標に確実に対応させることがでる。したがって、入力画像平面Ｒ４から空間モデルＭＤを経て処理対象画像平面Ｒ３に至る順番で座標の対応付けを実行する場合と比べ、より良質な処理対象画像を迅速に生成することができる。なお、入力画像平面Ｒ４から空間モデルＭＤを経て処理対象画像平面Ｒ３に至る順番で座標の対応付けを実行する場合には、入力画像平面Ｒ４上の各座標を処理対象画像平面Ｒ３上の一又は複数の座標に確実に対応させることができるが、処理対象画像平面Ｒ３上の座標の一部が、入力画像平面Ｒ４上の何れの座標にも対応付けられない場合がある。そのような場合には、それら処理対象画像平面Ｒ３上の座標の一部に補間処理等を施す必要がある。

　また、空間モデルＭＤの曲面領域Ｒ２に対応する画像のみを拡大或いは縮小する場合には、画像生成装置１００は、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度を変更して空間モデル・処理対象画像対応マップ４１における曲面領域Ｒ２に関連する部分のみを書き換えるだけで、入力画像・空間モデル対応マップ４０の内容を書き換えることなく、所望の拡大或いは縮小を実現させることができる。

　また、出力画像の見え方を変更する場合には、画像生成装置１００は、スケール変換、アフィン変換又は歪曲変換に関する各種パラメータの値を変更して処理対象画像・出力画像対応マップ４２を書き換えるだけで、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１の内容を書き換えることなく、所望の出力画像（スケール変換画像、アフィン変換画像又は歪曲変換画像）を生成することができる。

　同様に、出力画像の視点を変更する場合には、画像生成装置１００は、仮想カメラ２Ｖの各種パラメータの値を変更して処理対象画像・出力画像対応マップ４２を書き換えるだけで、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１の内容を書き換えることなく、所望の視点から見た出力画像（視点変換画像）を生成することができる。

　次に、図１２Ａ～図１４Ｃを参照しながら、カメラ２（右側方カメラ２Ｒ、後方カメラ２Ｂ）と空間モデルＭＤとの間の位置関係について説明する。

　図１２Ａは、図３Ｂと同様に、ショベル６０を上方から見たときのカメラ２と空間モデルＭＤとの間の位置関係を示す図である。図１２Ｂは、図４と同様に、空間モデルＭＤを斜め上方から見たときのカメラ２と空間モデルＭＤとの間の位置関係を示す図である。図１２Ｃは、画像生成装置１００が生成する処理対象画像を示す図である。

　図１２Ｂで最良に示されるように、円筒状の空間モデルＭＤの円筒中心軸は、再投影軸及びショベル６０の旋回軸ＰＶ（Ｚ軸）に一致し、Ｙ軸上には、Ｚ軸方向に平行に延びる棒状の物体ＯＢＪが存在する。

　図１２Ｂにおいて、後方カメラ２Ｂの光軸Ｇ１及び右側方カメラ２Ｒの光軸Ｇ２はそれぞれ、空間モデルＭＤの平面領域Ｒ１及び処理対象画像平面Ｒ３が位置する平面（ＸＹ平面）と交差する。また、光軸Ｇ１と光軸Ｇ２とは、円筒中心軸（再投影軸）上の点Ｊ１で交差する。なお、光軸Ｇ１と光軸Ｇ２とは、ＸＹ平面に平行な一平面に投影されたときの成分のそれぞれが円筒中心軸（再投影軸）上の点で交差するものであれば、ねじれの位置の関係にあってもよい。

　後方カメラ２Ｂの光学中心から円筒中心軸（再投影軸）に下ろした垂線は、右側方カメラ２Ｒの光学中心から円筒中心軸（再投影軸）に下ろした垂線と互いに垂直な関係にある。なお、本実施例では、それら二つの垂線は、平面領域Ｒ１及び処理対象画像平面Ｒ３が位置する平面と平行な一平面上に存在しながら点Ｊ２で直交しているが、二つの垂線はそれぞれ別の平面上に位置し、ねじれの位置の関係にあるものであってもよい。

　図１２Ａ及び図１２Ｂに示されたカメラ２と空間モデルＭＤとの間の位置関係により、画像生成装置１００は、図１２Ｃに示されるように処理対象画像を生成することができる。すなわち、図１２Ｃでは、Ｙ軸上においてＺ軸方向に平行に延びる棒状の物体ＯＢＪが、平面領域Ｒ１に投影された画像に対応する路面画像部分でＹ軸方向に平行な方向（右側方カメラ２Ｒの光学中心と物体ＯＢＪ上の点とを通る直線の方向）に延在する。また、図１２Ｃでは、棒状の物体ＯＢＪは、曲面領域Ｒ２に投影された画像に対応する水平画像部分で同じくＹ軸方向に平行な方向（再投影軸上の点（平行線群ＰＬ又は補助線群ＡＬの始点）と物体ＯＢＪ上の点とを通る直線の方向）に延在する。言い換えれば、物体ＯＢＪは、路面画像部分と水平画像部分との間の境界で折れ曲がらず、直線状に延在する。

　図１３Ａ～１３Ｃは、それぞれ図１２Ａ～１２Ｃと同様の図である。図１３Ａ～１３Ｃに示す例では、円筒状の空間モデルＭＤの円筒中心軸は、再投影軸及びショベル６０の旋回軸ＰＶ（Ｚ軸）に一致し、Ｙ軸上には、Ｚ軸方向に平行に延びる棒状の物体ＯＢＪが存在する。更に、右側方カメラ２Ｒの光軸Ｇ２の方向にも、ＸＹ平面からＺ軸方向に平行に延びる棒状の物体ＯＢＪ１が存在する。

　図１３Ｂにおいて、後方カメラ２Ｂの光軸Ｇ１及び右側方カメラ２Ｒの光軸Ｇ２はそれぞれ、図１２Ｂに示す位置関係と同様、空間モデルＭＤの平面領域Ｒ１及び処理対象画像平面Ｒ３が位置する平面（ＸＹ平面）と交差する。また、光軸Ｇ１と光軸Ｇ２とは、円筒中心軸（再投影軸）上の点Ｊ１で交差する。なお、ＸＹ平面に平行な一平面に投影されたときの成分のそれぞれが円筒中心軸（再投影軸）上の点で交差するものであれば、光軸Ｇ１と光軸Ｇ２とはねじれの位置の関係にあってもよい。

　一方、後方カメラ２Ｂの光学中心から円筒中心軸（再投影軸）に下ろした垂線は、右側方カメラ２Ｒの光学中心から円筒中心軸（再投影軸）に下ろした垂線と互いに垂直な関係とはならない。後方カメラ２Ｂの光学中心から円筒中心軸（再投影軸）に下ろした垂線は、右側方カメラ２Ｒの光学中心からその垂線に下ろした垂線と円筒中心軸（再投影軸）上にない点Ｊ２で直交する。本実施例では、後方カメラ２Ｂ及び右側方カメラ２Ｒの光学中心は、平面領域Ｒ１及び処理対象画像平面Ｒ３が位置する平面と平行な一平面上に存在している。ただし、後方カメラ２Ｂ及び右側方カメラ２Ｒの光学中心は、それぞれ別の平面上に位置し、互いの垂線がねじれの位置の関係にあるものであってもよい。

　図１３Ａ及び図１３Ｂに示されたカメラ２と空間モデルＭＤとの間の位置関係により、画像生成装置１００は、図１３Ｃに示されるように、処理対象画像を生成する。図１３Ｃでは、Ｙ軸上においてＺ軸方向に平行に延びる棒状の物体ＯＢＪは、平面領域Ｒ１に投影された画像に対応する路面画像部分でＹ軸方向から僅かに離れる方向（右側方カメラ２Ｒの光学中心と物体ＯＢＪ上の点とを通る直線の方向）に延在する。また、棒状の物体ＯＢＪは、曲面領域Ｒ２に投影された画像に対応する水平画像部分でＹ軸方向に平行な方向（再投影軸上の点（平行線群ＰＬ又は補助線群ＡＬの始点）と物体ＯＢＪ上の点とを通る直線の方向）に延在する。言い換えれば、物体ＯＢＪは、路面画像部分と水平画像部分との間の境界で僅かに折れ曲がっている。

　一方、図１３Ｃに示されるように、右側方カメラ２Ｒの光軸Ｇ２の方向にあるＺ軸方向に平行に延びる棒状の物体ＯＢＪ１は、平面領域Ｒ１に投影された画像に対応する路面画像部分で光軸Ｇ２方向に平行な方向（右側方カメラ２Ｒの光学中心と物体ＯＢＪ上の点とを通る直線の方向）に延在する。また、棒状の物体ＯＢＪ１は、曲面領域Ｒ２に投影された画像に対応する水平画像部分で同じく光軸Ｇ２方向に平行な方向（再投影軸上の点（平行線群ＰＬ又は補助線群ＡＬの始点）と物体ＯＢＪ１上の点とを通る直線の方向）に延在する。言い換えれば、物体ＯＢＪ１は、路面画像部分と水平画像部分との間の境界で折れ曲がることなく、直線状に延在する。

　図１４Ａ～１４Ｃは、それぞれ図１２Ａ～１２Ｃと同様の図である。図１４Ａ～１４Ｃに示す例では、円筒状の空間モデルＭＤの円筒中心軸は、再投影軸及びショベル６０の旋回軸ＰＶ（Ｚ軸）に一致し、Ｙ軸上には、Ｚ軸方向に平行に延びる棒状の物体ＯＢＪが存在する。更に、右側方カメラ２Ｒの光軸Ｇ２の方向にも、ＸＹ平面からＺ軸方向に平行に延びる棒状の物体ＯＢＪ２が存在する。

　図１４Ｂにおいて、後方カメラ２Ｂの光軸Ｇ１及び右側方カメラ２Ｒの光軸Ｇ２はそれぞれ、図１２Ｂに示す位置関係と同様、空間モデルＭＤの平面領域Ｒ１及び処理対象画像平面Ｒ３が位置する平面（ＸＹ平面）と交差する。また、後方カメラ２Ｂの光学中心から円筒中心軸（再投影軸）に下ろした垂線は、右側方カメラ２Ｒの光学中心から円筒中心軸（再投影軸）に下ろした垂線と互いに垂直な関係である。本実施例では、後方カメラ２Ｂ及び右側方カメラ２Ｒの光学中心は、平面領域Ｒ１及び処理対象画像平面Ｒ３が位置する平面と平行な一平面上に存在する。ただし、後方カメラ２Ｂ及び右側方カメラ２Ｒの光学中心はそれぞれ別の平面上に位置し、互いの垂線がねじれの位置の関係にあるものであってもよい。

　一方、光軸Ｇ１と光軸Ｇ２とは、円筒中心軸（再投影軸）上で交差することなく、円筒中心軸（再投影軸）上にない点Ｊ１で交差する。なお、ＸＹ平面に平行な一平面に投影されたときの成分のそれぞれが円筒中心軸（再投影軸）上にない点で交差するものであれば、光軸Ｇ１と光軸Ｇ２とはねじれの位置の関係にあってもよい。

　図１４Ａ及び図１４Ｂで示されたカメラ２と空間モデルＭＤとの間の位置関係により、画像生成装置１００は、図１４（Ｃ）に示されるように処理対象画像を生成する。図１４Ｃでは、右側方カメラ２Ｒの光軸Ｇ２の方向にあるＺ軸方向に平行に延びる棒状の物体ＯＢＪ２が、平面領域Ｒ１に投影された画像に対応する路面画像部分で光軸Ｇ２方向に平行な方向（右側方カメラ２Ｒの光学中心と物体ＯＢＪ上の点とを通る直線の方向）に延在する。また、棒状の物体ＯＢＪ２は、曲面領域Ｒ２に投影された画像に対応する水平画像部分でＹ軸方向にほぼ平行な方向（再投影軸上の点（平行線群ＰＬ又は補助線群ＡＬの始点）と物体ＯＢＪ２上の点とを通る直線の方向）に延在する。言い換えれば、物体ＯＢＪ２は、路面画像部分と水平画像部分との間の境界で僅かに折れ曲がっている。

　一方、図１４Ｃに示されるように、Ｙ軸上においてＺ軸方向に平行に延びる棒状の物体ＯＢＪは、平面領域Ｒ１に投影された画像に対応する路面画像部分でＹ軸方向に平行な方向（右側方カメラ２Ｒの光学中心と物体ＯＢＪ上の点とを通る直線の方向）に延在する。また、棒状の物体ＯＢＪは、曲面領域Ｒ２に投影された画像に対応する水平画像部分で同じくＹ軸方向に平行な方向（再投影軸上の点（平行線群ＰＬ又は補助線群ＡＬの始点）と物体ＯＢＪ上の点とを通る直線の方向）に延在する。言い換えれば、物体ＯＢＪは、路面画像部分と水平画像部分との間の境界で折れ曲がることなく、直線状に延在する。

　以上のように、画像生成装置１００は、空間モデルＭＤの円筒中心軸（再投影軸）とカメラの光軸とを交差させるようにして空間モデルＭＤを配置することによって、カメラの光軸方向にある物体が路面画像部分と水平画像部分との間の境界で折れ曲がることがないように、処理対象画像を生成することができる。なお、この利点は、カメラが一台のみの場合にもカメラが三台以上の場合にも得ることができる。

　また、画像生成装置１００は、後方カメラ２Ｂ及び右側方カメラ２Ｒの光学中心のそれぞれから空間モデルＭＤの円筒中心軸（再投影軸）に下ろした垂線のそれぞれが互いに垂直となるようにして空間モデルＭＤを配置することによって、ショベル６０の右真横及び真後ろにある物体が路面画像部分と水平画像部分との間の境界で折れ曲がることがないように、処理対象画像を生成することができる。なお、この利点は、カメラが三台以上の場合にも得ることができる。

　なお、図１２Ａ～図１４Ｃに示されるカメラ２（右側方カメラ２Ｒ、後方カメラ２Ｂ）と空間モデルＭＤとの間の位置関係及び作用効果は、画像生成装置１００が処理対象画像を生成する場合に対応するものであるが、画像生成装置１００が処理対象画像を生成しない場合（処理対象画像平面Ｒ３が存在しない場合）にも同様な作用効果を得ることができる。この場合、図１２Ｃ、図１３Ｃ、及び図１４Ｃに示す処理対象画像は、空間モデルＭＤに投影された画像を用いて生成される出力画像で読み替えられる。

　図１５は、ショベル６０に搭載された二台のカメラ２（右側方カメラ２Ｒ及び後方カメラ２Ｂ）の入力画像を用いて生成される出力画像を表示部５に表示させたときの表示例である。画像生成装置１００は、入力画像の一部を空間モデルＭＤの平面領域Ｒ１に投影し、且つ、入力画像の別の一部を空間モデルＭＤの曲面領域Ｒ２に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成する。画像生成装置１００は、生成した処理対象画像に基づいて、平面領域Ｒ１に投影された画像に対応する、ショベル６０の近傍を上空から見下ろす画像と、曲面領域Ｒ２に投影された画像に対応する、すなわち、処理対象画像平面Ｒ３に再投影された画像に対応する、ショベル６０から水平方向に周辺を見た画像とを組み合わせて表示する。

　なお、画像生成装置１００が処理対象画像を生成しない場合には、出力画像は、空間モデルＭＤに投影された画像に画像変換処理（例えば、視点変換処理）を施すことによって生成される。

　出力画像は、ショベル６０が旋回動作を行う際の画像を違和感なく表示できるよう、円形にトリミングされる。すなわち、出力画像は、円の中心ＣＴＲが空間モデルＭＤの円筒中心軸上にあり、且つ、ショベル６０の旋回軸ＰＶ上となるように生成されており、ショベル６０の旋回動作に応じてその中心ＣＴＲを軸に回転するように表示される。この場合、空間モデルＭＤの円筒中心軸は、再投影軸と一致するものであってもよく、一致しないものであってもよい。

　空間モデルＭＤの半径は、例えば、５メートルである。平行線群ＰＬが処理対象画像平面Ｒ３との間で形成する角度、又は、補助線群ＡＬの始点高さは、ショベル６０の旋回中心から掘削アタッチメントＥの最大到達距離（例えば１２メートル）だけ離れた位置に物体（例えば、作業員）が存在する場合に、その物体が表示部５で十分大きく（例えば、７ミリメートル以上）表示されるように、設定することができる。

　更に、出力画像は、ショベル６０のＣＧ画像を、ショベル６０の前方が表示部５の画面上方と一致し、且つ、その旋回中心が中心ＣＴＲと一致するように配置するようにしてもよい。これは、ショベル６０と出力画像に現れる物体との間の位置関係をより分かり易くするためである。なお、出力画像は、方位等の各種情報を含む額縁画像をその周囲に配置するようにしてもよい。

　この状態において、画像生成装置１００は、図９Ａ，９Ｂに示されるように、平面領域Ｒ１に投影された画像に対応する出力画像における画像部分に影響を与えることなく、曲面領域Ｒ２に投影され更に処理対象画像平面Ｒ３に再投影された画像に対応する出力画像における画像部分のみを拡大或いは縮小することができる。また、図１０に示されるように、曲面領域Ｒ２に投影され更に処理対象画像平面Ｒ３に再投影された画像に対応する出力画像における画像部分を真上から見下ろすべく、その画像部分を表示部５の画面領域における任意の位置（例えば、中央）に移動させることもできる。

　次に、図１６Ａ，１６Ｂ，１６Ｃを参照しながら、カメラ２（後方カメラ２Ｂ、右側方カメラ２Ｒ）の撮像範囲と空間モデルＭＤとの間の位置関係について説明する。

　図１６Ａは、ショベル６０を上方から見たときのカメラ２の撮像範囲と空間モデルＭＤとの間の位置関係を示す図であり、図１６Ｂは、空間モデルＭＤを斜め上方から見たときのカメラ２の撮像範囲と空間モデルＭＤとの間の位置関係を示す図である。図１６Ｃは、図１６Ａ及び図１６Ｂで示されるように設置されたカメラ２が撮像した入力画像に基づいて画像生成装置１００が生成する処理対象画像を示す図である。

　図１６Ｂに最良に示されるように、円筒状の空間モデルＭＤの円筒中心軸は、再投影軸及びショベル６０の旋回軸ＰＶ（Ｚ軸）に一致している。ショベル６０の周辺には、路面からＺ軸方向（鉛直上方）に平行に延びる二本の棒状の物体ＯＢＪ３、ＯＢＪ４が存在する。

　旋回軸ＰＶと物体ＯＢＪ３との間の距離は、空間モデルＭＤの半径より小さい。旋回軸ＰＶと物体ＯＢＪ４との間の距離は、空間モデルＭＤの半径より大きい。

　図１６Ａにおいて、後方カメラ２Ｂの撮像範囲は、扇形の一点鎖線で表され、右側方カメラ２Ｒの撮像範囲は、扇形の破線で表される。物体ＯＢＪ３は、後方カメラ２Ｂの撮像範囲と右側方カメラ２Ｒの撮像範囲とが重複する領域（以下、「撮像範囲重複領域」とする。）内であり、且つ空間モデルＭＤの曲面領域Ｒ２の内側にある空間に含まれる。物体ＯＢＪ４は、撮像範囲重複領域内であり且つ空間モデルＭＤの曲面領域Ｒ２の外側にある空間に含まれる。

　後方カメラ２Ｂが撮像した入力画像のうち撮像範囲重複領域に対応する入力画像部分の座標は、その一部分が空間モデルＭＤにおける平面領域Ｒ１の一領域ＤＧ１（図１６Ａ参照）及び曲面領域Ｒ２の一領域ＤＹ１（図１６Ｂ参照）における座標に関連付けられる。その他の部分（本来ならば、空間モデルＭＤにおける平面領域Ｒ１の一領域ＤＧ２（図１６Ａ参照）及び曲面領域Ｒ２の一領域ＤＹ２（図１６Ｂ参照）における座標に関連付けられ得る部分）は空間モデルＭＤ上の座標には関連付けられない。これは、右側方カメラ２Ｒが撮像した入力画像のうち撮像範囲重複領域に対応する入力画像部分の一部分における座標が、その一領域ＤＧ２、ＤＹ２における座標に関連付けられるからである。

　同様に、右側方カメラ２Ｒが撮像した入力画像のうち撮像範囲重複領域に対応する入力画像部分の座標は、その一部分が空間モデルＭＤにおける平面領域Ｒ１の一領域ＤＧ２（図１６Ａ参照）及び曲面領域Ｒ２の一領域ＤＹ２（図１６Ｂ参照）における座標に関連付けられる。その他の部分（本来ならば、空間モデルＭＤにおける平面領域Ｒ１の一領域ＤＧ１（図１６Ａ参照）及び曲面領域Ｒ２の一領域ＤＹ１（図１６Ｂ参照）における座標に関連付けられ得る部分）は、空間モデルＭＤ上の座標には関連付けられない。これは、後方カメラ２Ｂが撮像した入力画像のうち撮像範囲重複領域に対応する入力画像部分の一部分における座標が、その一領域ＤＧ１、ＤＹ１における座標に関連付けられるからである。

　なお、空間モデルＭＤにおける曲面領域Ｒ２の一領域ＤＹ１、ＤＹ２は、それぞれ、図１７又は図１８に示されるように、処理対象画像平面Ｒ３上の一領域ＤＷ１、ＤＷ２に関連付けられる。

　上述の関連付けにより、撮像範囲重複領域内であり且つ空間モデルＭＤの曲面領域Ｒ２の内側にある空間に含まれる物体ＯＢＪ３を表す、後方カメラ２Ｂ及び右側方カメラ２Ｒのそれぞれが撮像して得られる入力画像部分は、空間モデルＭＤにおける平面領域Ｒ１の領域ＤＧ１及びＤＧ２のそれぞれに投影される。この投影画像において、物体ＯＢＪ３のうち、路面と接する僅かな部分が路面パターンとして残り、路面から延びるその他の大部分（物体ＯＢＪ３を水平方向から見た画像部分であり、路面パターンとして扱われない部分）は消失する（図１６Ｃ参照）。

　一方、上述の関連付けにより、撮像範囲重複領域内であり且つ空間モデルＭＤの曲面領域Ｒ２の外側にある空間に含まれる物体ＯＢＪ４を表す、後方カメラ２Ｂ及び右側方カメラ２Ｒのそれぞれが撮像した入力画像部分は、空間モデルＭＤの曲面領域Ｒ２における領域ＤＹ１及びＤＹ２のそれぞれに投影される。更に、物体ＯＢＪ４は、処理対象画像平面Ｒ３の領域ＤＷ１及びＤＷ２のそれぞれに投影されて、二つの物体ＯＢＪ４－１、ＯＢＪ４－２に分かれて領域ＤＷ１及びＤＷ２にそれぞれに現れる（図１６Ｃ参照）。

　図１７及び図１８を参照しながら、カメラ２（後方カメラ２Ｂ、右側方カメラ２Ｒ）の撮像範囲と空間モデルＭＤとの間の位置関係の説明を続ける。

　図１７及び図１８は、図１６Ｃと同様に、図１６Ａ及び図１６Ｂに示されるように設置されたカメラ２が撮像した入力画像に基づいて画像生成装置１００が生成する処理対象画像を示す図である。図１７及び図１８に示す例は、空間モデルＭＤの曲面領域Ｒ２の配置（空間モデルＭＤの半径）が異なる点で互いに相違するが、その他の点では同じである。

　図１７に示す空間モデルＭＤは、後方カメラ２Ｂの撮像範囲及び右側方カメラ２Ｒの撮像範囲の重複が始まる点と空間モデルＭＤの円筒中心軸との間の距離が空間モデルＭＤの半径と一致するように形成される。空間モデルＭＤの平面領域Ｒ１において領域ＤＧ１及びＤＧ２は存在せず、その結果、物体ＯＢＪ３の消失が発生しない。

　具体的には、図１６Ａにおいて空間モデルＭＤにおける曲面領域Ｒ２の内側の空間に存在する物体ＯＢＪ３は、図１７においては曲面領域Ｒ２の外側の空間に存在している。図１７に示されるように、撮像範囲重複領域内であり且つ空間モデルＭＤの曲面領域Ｒ２の外側にある空間に含まれる物体ＯＢＪ３を表す、後方カメラ２Ｂ及び右側方カメラ２Ｒのそれぞれが撮像した入力画像部分は、空間モデルＭＤの曲面領域Ｒ２における領域ＤＹ１及びＤＹ２のそれぞれに投影される。更に、物体ＯＢＪ３は、処理対象画像平面Ｒ３の領域ＤＷ１及びＤＷ２のそれぞれに投影されて、二つの物体ＯＢＪ３－１、ＯＢＪ３－２に分かれて領域ＤＷ１及びＤＷ２にそれぞれ現れる。したがって、物体ＯＢＪ３は、消失を免れる。

　一方、図１８に示す空間モデルＭＤは、図１６Ａにおいて空間モデルＭＤにおける曲面領域Ｒ２の外側の空間に存在していた物体ＯＢＪ４が、その曲面領域Ｒ２の内側の空間に含まれるように空間モデルＭＤの半径を増大させて形成される。その結果、平面領域Ｒ１（路面画像として表示される領域）を拡大させることができるが、その拡大された平面領域Ｒ１における領域ＤＧ１、ＤＧ２において、物体ＯＢＪ３に加え、物体ＯＢＪ４をも消失させてしまう。

　このように、画像生成装置１００は、空間モデルＭＤの半径が大きい程、撮像範囲重複領域においてショベル６０からより遠い位置に存在する物体までを消失させる。一方、空間モデルＭＤの半径が小さい程、撮像範囲重複領域においてショベル６０からより近い位置に存在する物体までを二つに分けて表示するという傾向を有する。

　上述の傾向を考慮しながら、画像生成装置１００は、空間モデルＭＤの最適な半径を導き出すこととなる。

　例えば、ショベル６０の上部旋回体６３に取り付けられるカメラ２は、ショベル６０の周辺で作業する作業者の標準的な身長に比べて高い位置（例えば、２メートルの高さ）に設置される。この場合、ショベル６０から一定の距離範囲内にいる作業者を俯瞰する画像が取得されるので、画像生成装置１００は、それら撮像された作業者の画像を立体物ではなく路面パターンとして扱うことができる。ここで、これより低い位置にカメラを設置した場合は、作業者を水平方向から撮像するので、作業者の画像を違和感なく表示するために作業者を立体物として扱わざるを得ない。このような場合に比べ、カメラ２を作業者の身長に比べて高い位置に設置した場合は、空間モデルＭＤの半径を増大させその曲面領域Ｒ２の内側の空間にそれら作業者を含めたとしても、作業者の画像の消失を抑制することができる。

　以上のように、画像生成装置１００は、カメラの設置位置（例えば、設置高さ）に応じて空間モデルＭＤの半径を決定することで、二つのカメラの撮像範囲重複領域内に存在する物体の消失を抑制しながら、違和感のない出力画像を生成することができる。

　図１９Ａ，１９Ｂは、空間モデルＭＤの半径が取り得る値の範囲を決定する手順の一例を説明するための図である。図１９Ａは、ショベル６０を上方から見たときの平面図であり、図１９Ｂは、ショベル６０を側方から見たときの側面図である。

　図１９Ａ及び図１９Ｂは、後方カメラ２Ｂの光軸Ｇ１及び右側方カメラ２Ｒの光軸Ｇ２のそれぞれが路面と交差し、空間モデルＭＤの円筒中心軸上の点Ｊ１で交差することを示す。後方カメラ２Ｂ及び右側方カメラ２Ｒは、ショベル６０の車体からはみ出さないように、且つ、車体近傍の路面を撮像できるように斜め下向きにその車体に取り付けられ、その車体の一部をも含めて撮像する。

　最初に、空間モデルＭＤの半径が取り得る値の最小値を決定する手順について説明する。

　後方カメラ２Ｂ及び右側方カメラ２Ｒはそれぞれ、図１９Ａに示されるように、斜線ハッチングで示される撮像範囲を有する。目の粗い斜線ハッチングが後方カメラ２Ｂの撮像範囲に対応し、目の細かい斜線ハッチングが右側方カメラ２Ｒの撮像範囲に対応する。撮像範囲のそれぞれは、図１９Ｂに示されるように、ショベル６０の車体の影に隠れて撮像できない領域を有する。図１９Ａ，１９Ｂにおいて、この領域は、黒色で塗り潰された領域であり、領域ＤＳ１が後方カメラ２Ｒに対応し、領域ＤＳ２が右側方カメラ２Ｒに対応する。なお、領域ＤＳ１、ＤＳ２は、出力画像で表示される場合には、ショベル６０の車体の影に隠れて撮像できない領域であることを操作者が認識できるように、警告色（例えば、黒色）で塗り潰されてもよい。

　領域ＤＳ１、ＤＳ２はそれぞれ、図１９Ａで示されるように、ショベル６０から所定距離だけ離れた位置に、車体の影に隠れることなく撮像が可能な範囲と車体の影に隠れて撮像ができない範囲とを区切る境界線ＢＬ１、ＢＬ２を路面上に描くことで、設定される。所定距離は、後方カメラ２Ｒ及び右側方カメラ２Ｒのそれぞれの設置位置によって決まる距離である。

　境界線ＢＬ１、ＢＬ２は、撮像範囲重複領域（二種類の斜線ハッチングが重なる領域）内にある交点ＰＴ１で交差する。この交点ＰＴ１と円筒中心軸との間の距離が、空間モデルＭＤの半径が取り得る値の最小値として採用される。これにより、ショベル６０の周囲に存在する作業者の画像の消失（僅かな路面画像だけを残して消失する状態を含む）を防止することのできる投影対象としての曲面領域であり、空間モデルＭＤの曲面領域Ｒ２のうちで最も小さい半径を有する曲面領域Ｒ２ｍｉｎ（一点鎖線の円で示される領域）が与えられる。

　次に、空間モデルＭＤの半径が取り得る値の最大値を決定する手順について説明する。

　人物ＰＳＮは、空間モデルＭＤの半径が取り得る値の最大値を導き出すために用いられる円柱状の仮想物である。人物ＰＳＮは、所定の大きさ（例えば、上方から見たときの外径が６００ミリメートル）を有し、撮像範囲重複領域内にある交点ＰＴ１の外側（円筒中心軸から見て半径方向の外側）に隣接して配置される。

　後方カメラ２Ｂ及び右側方カメラ２Ｒはそれぞれ、図１９Ａに示されるように、それぞれの光学中心を通り、人物ＰＳＮが示す円の接線となる補助線ＥＬ１、ＥＬ２を描く。

　補助線ＥＬ１、ＥＬ２は、撮像範囲重複領域内にある交点ＰＴ２で交差する。交点ＰＴ２と円筒中心軸との間の距離が、空間モデルＭＤの半径が取り得る値の最大値として採用される。これにより、ショベル６０の周囲に存在する作業者の画像の消失を防止可能な投影対象としての曲面領域であり、空間モデルＭＤの曲面領域Ｒ２のうちで最も大きい半径を有する曲面領域Ｒ２ｍａｘ（二点鎖線の円で示される領域）が与えられる。

　以上のように空間モデルの半径が取り得る値の範囲を決定することにより、実際に採用される空間モデルＭＤの曲面領域Ｒ２を、曲面領域Ｒ２ｍｉｎよりも大きく且つ曲面領域Ｒ２ｍａｘよりも小さく設定する。この場合、図１９Ａ，１９Ｂに示す人物ＰＳＮを用いてその最も消失され易い条件がシミュレートされている、ショベル６０の周囲に存在する作業者の画像は、少なくとも体の一部（典型的にはその頭部である。）が二つに分けられて曲面領域Ｒ２に投影される。したがって、人物ＰＳＮの画像の完全な消失を免れることができる。

　また、ショベル６０をカメラ２が撮像する方向に走行させる場合、ショベル６０の運転者は、ショベル６０を旋回させる場合に比べ、その進行方向が出力画像においてより分かり易く表示されることを重視する。したがって、画像生成装置１００は、空間モデルＭＤの半径を増大させ路面画像として表示される領域を増大させて、ショベル６０の進行方向にある物体とショベル６０との間の距離をより分かり易くする出力画像を表示することが好まし。

　一方、ショベル６０を旋回させる場合、ショベル６０の運転者は、ショベル６０をカメラ２が撮像する方向に走行させる場合に比べ、その旋回方向が出力画像においてより分かり易く表示されることを重視する。したがって、画像生成装置１００は、空間モデルＭＤの半径を低減させ撮像範囲重複領域におけるショベル６０周辺の物体の消失を防止できるような出力画像を表示することが好ましい。例えば、画像生成装置１００は、撮像範囲重複領域におけるショベル６０周辺の物体を二つに分けて二重に表示する。

　半径が異なる二つの空間モデルを用いて生成されるこれら二つの処理対象画像を使い分けるために、画像生成装置１００は、ショベル６０を走行させる場合に表示する出力画像（以下、「走行用出力画像」と称する）とショベル６０を旋回させる場合に表示する出力画像（以下、「旋回用出力画像」と称する）とを運転者が選択して表示できるようにしてもよい。或いは、ショベル６０が走行を開始したときに旋回用出力画像を走行用出力画像に自動的に切り替え、ショベル６０が停止したときに走行用出力画像を旋回用出力画像に自動的に切り替えるようにしてもよい。

　このように、画像生成装置１００は、ショベル６０の操作状況に応じて空間モデルＭＤの半径を決定することで、ショベル６０の動作に適した、違和感のない出力画像を生成することができる。

　更に、画像生成装置１００は、上部旋回体６３のコーナー部に取り付けられた物体検知センサ（例えば、レーザレーダセンサ、超音波センサ等）の出力に基づいて、撮像範囲重複領域に物体が存在するか否かを判定する。或いは、画像生成装置１００は、撮像範囲重複領域に存在する物体までの距離を検出し、その判定結果又は検出結果に応じて空間モデルＭＤの半径を決定してもよい。

　この場合、画像生成装置１００は、例えば、撮像範囲重複領域内に存在する最寄りの物体までの距離を空間モデルＭＤの半径として採用してもよい。或いは、画像生成装置１００は、撮像範囲重複領域内に存在する物体であり、その物体と円筒中心軸との間の距離が所定値（カメラの設置位置（例えば、設置高さ）に応じて決定される値）以上となる最寄りの物体までの距離を空間モデルＭＤの半径として採用してもよい。これは、その距離が所定値未満となる物体の画像は、路面パターンとして扱われ、消失を免れるからである。

　次に、図２０を参照しながら、画像生成装置１００が、撮像範囲重複領域に対応する入力画像を、その他の領域に対応する入力画像と区別可能に表示する機能について説明する。なお、図２０は、図１８と同様に、処理対象画像の表示例を示す図である。図２９において、カメラ２の配置、空間モデルＭＤの配置、及び物体ＯＢＪ３、ＯＢＪ４の配置は、図１７に示す例と同じである。

　図２０において、画像生成装置１００は、後方カメラ２Ｂが撮像した撮像範囲重複領域に対応する画像部分に関連付けられる、処理対象画像平面Ｒ３上の一領域ＤＷ１における画像部分をその他の画像部分と区別可能に強調表示する。

　この場合、画像生成装置１００は、右側方カメラ２Ｒが撮像した撮像範囲重複領域に対応する画像部分に関連付けられる、処理対象画像平面Ｒ３上の一領域ＤＷ２における画像部分については、強調表示を行わない。

　領域ＤＷ１、ＤＷ２に現れる物体ＯＢＪ３－１、ＯＢＪ３－２は、実際に二つの物体が存在することを表しているのではなく、一つの物体ＯＢＪ３が二つに分かれて二重に表示されているに過ぎない。このため、画像生成装置１００は、領域ＤＷ１、ＤＷ２のうちの一方のみを強調表示することによって、その領域が撮像範囲重複領域に対応するものであることを運転者に認識させることができる。更に、画像生成装置１００は、領域ＤＷ１に現れる物体ＯＢＪ３－１と領域ＤＷ２に現れる物体ＯＢＪ３－２とが共に一つの物体ＯＢＪ３に由来するものであることを運転者に認識させることができる。物体ＯＢＪ４－１、ＯＢＪ４－２についても同様である。

　なお、画像生成装置１００は、処理対象画像平面Ｒ３上の領域ＤＷ１、ＤＷ２の双方における画像部分を強調表示してもよい。

　また、画像生成装置１００は、例えば、処理対象画像平面Ｒ３上の領域ＤＷ１、ＤＷ２の双方又は一方の輝度を増大或いは低減させることによってその領域を強調表示するようにしてもよい。あるいは、画像生成装置１００は、処理対象画像平面Ｒ３上の領域ＤＷ１、ＤＷ２の双方又は一方のカラー画像をモノクロ画像にする（グレースケール化する）ことによってその領域を強調表示してもよい。

　また、画像生成装置１００は、処理対象画像平面Ｒ３上の一領域ＤＷ１における画像部分と、処理対象画像平面Ｒ３上の一領域ＤＷ２における画像部分と、その他の画像部分との三者を区別可能に表示するようにしてもよい。処理対象画像平面Ｒ３上の一領域ＤＷ１における画像部分は、後方カメラ２Ｂが撮像した撮像範囲重複領域に対応する画像部分に関連付けられる部分である。また、処理対象画像平面Ｒ３上の一領域ＤＷ２における画像部分は、右側方カメラ２Ｒが撮像した撮像範囲重複領域に対応する画像部分に関連付けられる部分である。

　なお、図１６Ａ～図２０で示されるカメラ２（右側方カメラ２Ｒ、後方カメラ２Ｂ）の撮像範囲と空間モデルＭＤとの間の位置関係及び作用効果は、画像生成装置１００が処理対象画像を生成する場合に得られるものである。ただし、画像生成装置１００が処理対象画像を生成しない場合（処理対象画像平面Ｒ３が存在しない場合）でも同様の作用効果を得ることができる。この場合、図１６Ｃ、図１７、図１８、及び図２０における処理対象画像は、空間モデルＭＤに投影された画像を用いて生成される出力画像で読み替えられる。

　上述の実施例において、画像生成装置１００は、空間モデルとして円筒状の空間モデルＭＤを採用しているが、画像生成装置１００は、多角柱等の他の柱状の形状を有する空間モデルを採用してもよく、底面及び側面の二面から構成される空間モデルを採用してもよい。或いは、画像生成装置１００は、側面のみを有する空間モデルを採用してもよい。

　上述の画像生成装置１００は、バケット、アーム、ブーム、旋回機構等の可動部材を備えながら自走する建設機械にカメラと共に搭載され、周囲画像をその運転者に提示しながらその建設機械の移動及びそれら可動部材の操作を支援する操作支援システムに組み込まれている。しかし、画像生成装置１００は、産業用機械若しくは固定式クレーン等のように可動部材を有するが自走はしない他の機械（被操作体）にカメラと共に搭載され、その機械の操作を支援する操作支援システムに組み入れられてもよい。

　本発明は具体的に開示された上述の実施形態に限定されるものではなく、本発明の範囲を逸脱することなく、種々の変形例及び改良例がなされるであろう。

　本出願は、２０１０年４月１２日出願の優先権主張日本国特許出願第２０１０－０９１６５７号に基づくものであり、その全内容は本出願に援用される。

　本発明は、複数の入力画像に基づいて出力画像を生成する画像生成装置及びその装置を用いた操作支援システムに適用可能である。

　１　制御部
　２　カメラ
　２Ｒ　右側方カメラ
　２Ｂ　後方カメラ
　３　入力部
　４　記憶部
　５　表示部
　１０　座標対応付け部
　１１　出力画像生成部
　４０　入力画像・空間モデル対応マップ
　４１　空間モデル・処理対象画像対応マップ
　４２　処理対象画像・出力画像対応マップ
　６０　ショベル
　６１　下部走行体
　６２　旋回機構
　６３　上部旋回体
　６４　キャブ

Claims

　被操作体に取り付けられた複数の撮像部が撮像した複数の入力画像に基づいて出力画像を生成する画像生成装置であって、
　前記被操作体を取り囲むように配置される空間モデルであり、中心軸と側面とを有する柱状の空間モデルにおける座標と、前記複数の入力画像のそれぞれが位置する複数の入力画像平面のそれぞれにおける座標とを対応付ける座標対応付け部と、
　前記柱状の空間モデルにおける座標を介して、前記複数の入力画像平面のそれぞれにおける座標の値と前記出力画像が位置する出力画像平面における座標の値とを対応付けて前記出力画像を生成する出力画像生成部と、を備え、
　前記柱状の空間モデルの中心軸と側面との間の距離は、前記撮像部の設置位置に応じて決定されることを特徴とする画像生成装置。
　請求項１記載の画像生成装置であって、
　前記被操作体は、走行及び旋回が可能な機械であり、
　前記柱状の空間モデルの中心軸と側面との間の距離は、走行のときよりも旋回のときのほうが小さくなるように設定されることを特徴とする画像生成装置。
　請求項１記載の画像生成装置であって、
　前記複数の撮像部のうちの二つのそれぞれの撮像範囲が重複する領域に対応する前記複数の撮像部のうちの二つのそれぞれの入力画像部分は、他の入力画像部分と区別可能に表示されることを特徴とする画像生成装置。
　請求項１記載の画像生成装置であって、
　前記複数の撮像手段のうちの二つのそれぞれの撮像範囲が重複する領域に対応する前記複数の撮像手段のうちの二つのそれぞれの入力画像部分のうちの一方は、該入力画像部分のうちの他方、及び他の入力画像部分と区別可能に表示されることを特徴とする画像生成装置。
　請求項１記載の画像生成装置であって、
　前記座標対応付け部は、画像変換処理の対象となる処理対象画像が位置する処理対象画像平面における座標と、前記柱状の空間モデルにおける座標とを対応付け、
　前記出力画像生成部は、前記処理対象画像平面における座標と前記柱状の空間モデルにおける座標とを介して、前記入力画像平面における座標の値と前記出力画像平面における座標の値とを対応付けて前記出力画像を生成する、
　ことを特徴とする画像生成装置。
　請求項１記載の画像生成装置であって、
　前記座標対応付け部による対応付けにより得られた対応関係情報をマップ情報として格納する記憶部を更に有することを特徴とする画像生成装置。
　被操作体の移動又は操作を支援する操作支援システムであって、
　請求項１記載の画像生成装置と、
　該画像生成装置が生成する出力画像を表示する表示部と
　を備えることを特徴とする操作支援システム。
　請求項７記載の操作支援システムであって、
　前記表示部は、前記被操作体を移動させ或いは操作するための操作室に設置されることを特徴とする操作支援システム。