JP5638494B2 - 画像生成方法、画像生成装置、及び操作支援システム - Google Patents

Description

本発明は、旋回動作可能な被操作体に取り付けられる撮像手段が撮像する入力画像に基づいて出力画像を生成する画像生成方法、画像生成装置、及びその装置を用いた操作支援システムに関する。

従来、カメラからの入力画像を、三次元空間上の所定の空間モデルにマッピングし、そのマッピングした空間データを参照しながら、その三次元空間における任意の仮想視点から見た視点変換画像を生成して表示する画像生成装置が知られている（例えば、特許文献１参照。）。

この画像生成装置は、車両に搭載されたカメラが撮像した画像を、その車両を囲む複数の平面又は曲面で構成される立体的な空間モデルに投影し、その空間モデルに投影した画像を用いて視点変換画像（路面を真上から見た状態を仮想的に映し出す路面画像と水平方向を映し出す水平画像とを組み合わせた画像である。）を生成し、生成した視点変換画像を運転者に対して表示する。

これにより、この画像生成装置は、車両を運転する運転者がその視点変換画像を見たときに、その視点変換画像における物体と、車外にある実際の物体とを違和感なく対応付けられるようにしている。

特許第３２８６３０６号明細書

しかしながら、特許文献１に記載の画像生成装置は、車両に搭載されることを前提としており、旋回動作が可能な作業機械等の被操作体への搭載を想定していないため、旋回時に見易い出力画像を生成することができない。

上述の点に鑑み、本発明は、旋回動作可能な被操作体に取り付けられる撮像手段が撮像する入力画像に基づいて旋回時に見易い出力画像を生成する画像生成方法、画像生成装置、及びその装置を用いた操作支援システムを提供することを目的とする。

上述の目的を達成するために、本発明の実施例に係る画像生成装置は、旋回動作可能な被操作体に取り付けられた撮像手段が撮像する入力画像に基づいて出力画像を生成する画像生成装置であって、前記被操作体の旋回状態を検出する旋回状態検出手段と、前記被操作体のＣＧ画像を前記出力画像上に重畳表示するＣＧ画像表示制御手段と、前記出力画像の更新状態を制御する出力画像更新制御手段と、を備え、前記旋回状態検出手段が旋回の開始を検出した場合に、前記出力画像更新制御手段は前記出力画像の更新を停止させ、前記ＣＧ画像表示制御手段は前記ＣＧ画像を前記出力画像上で旋回させることを特徴とする。

また、本発明の実施例に係る操作支援システムは、被操作体の移動又は操作を支援する操作支援システムであって、上述の画像生成装置と、前記被操作体を移動させ或いは操作するための操作室に設置され、該画像生成装置が生成する画像を表示する表示部と、を備えることを特徴とする。

また、本発明の実施例に係る画像生成方法は、旋回動作可能な被操作体に取り付けられた撮像手段が撮像する入力画像に基づいて出力画像を生成する画像生成方法であって、前記被操作体の旋回状態を検出する旋回状態検出ステップと、前記被操作体のＣＧ画像を前記出力画像上に重畳表示するＣＧ画像表示制御ステップと、前記出力画像の更新状態を制御する出力画像更新制御ステップと、を備え、前記旋回状態検出ステップにおいて旋回の開始が検出された場合に、前記出力画像更新制御ステップにおいて前記出力画像の更新を停止させると共に、前記ＣＧ画像表示制御ステップにおいて前記ＣＧ画像を前記出力画像上で旋回させることを特徴とする。

上述の手段により、本発明は、旋回動作可能な被操作体に取り付けられる撮像手段が撮像する入力画像に基づいて旋回時に見易い出力画像を生成する画像生成方法、画像生成装置、及びその装置を用いた操作支援システムを提供することができる。

本発明に係る画像生成装置の構成例を概略的に示すブロック図である。 画像生成装置が搭載されるショベルの構成例を示す図である。 入力画像が投影される空間モデルの一例を示す図である。 空間モデルと処理対象画像平面との間の関係の一例を示す図である。 入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。 座標対応付け手段による座標間の対応付けを説明するための図である。 平行線群の作用を説明するための図（その１）である。 補助線群の作用を説明するための図である。 平行線群の作用を説明するための図（その２）である。 平行線群の作用を説明するための図（その３）である。 処理対象画像生成処理及び出力画像生成処理の流れを示すフローチャートである。 カメラと空間モデルとの間の位置関係を説明するための図（その１）である。 カメラと空間モデルとの間の位置関係を説明するための図（その２）である。 カメラと空間モデルとの間の位置関係を説明するための図（その３）である。 出力画像の表示例である。 旋回時画像制御手段の構成例を示すブロック図である。 第一旋回時画像制御処理の流れを示すフローチャートである。 第一旋回時画像制御処理にしたがって上部旋回体の旋回時に表示部に表示される出力画像の推移を示す図である。 第二旋回時画像制御処理にしたがって上部旋回体の旋回時に表示部に表示される出力画像の推移を示す図である。

以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。

図１は、本発明に係る画像生成装置の構成例１００を概略的に示すブロック図である。

画像生成装置１００は、例えば、建設機械に搭載されたカメラ２が撮影した入力画像に基づいて出力画像を生成しその出力画像を運転者に提示する装置であって、制御部１、カメラ２、入力部３、記憶部４、及び表示部５で構成される。

図２は、画像生成装置１００が搭載されるショベル６０の構成例を示す図であり、ショベル６０は、クローラ式の下部走行体６１の上に、旋回機構６２を介して、上部旋回体６３を旋回軸ＰＶの周りで旋回自在に搭載している。

また、上部旋回体６３は、その前方左側部にキャブ（運転室）６４を備え、その前方中央部に掘削アタッチメントＥを備え、その右側面、左側面、及び後面にカメラ２（右側方カメラ２Ｒ、左側方カメラ２Ｌ、後方カメラ２Ｂ）を備えている。なお、キャブ６４内の運転者が視認し易い位置には表示部５が設置されているものとする。

次に、画像生成装置１００の各構成要素について説明する。

制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を備えたコンピュータであって、例えば、後述する座標対応付け手段１０、出力画像生成手段１１、及び旋回時画像制御手段１２のそれぞれに対応するプログラムをＲＯＭやＮＶＲＡＭに記憶し、一時記憶領域としてＲＡＭを利用しながら各手段に対応する処理をＣＰＵに実行させる。

カメラ２は、ショベル６０の周辺を映し出す入力画像を取得するための装置であり、例えば、キャブ６４にいる運転者の死角となる領域を撮影できるよう上部旋回体６３の右側面、左側面、及び後面に取り付けられる（図２参照。）、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子を備えた右側方カメラ２Ｒ、左側方カメラ２Ｌ、及び後方カメラ２Ｂである。なお、カメラ２は、上部旋回体６３の右側面、左側面、及び後面以外の位置（例えば、前面である。）に取り付けられていてもよく、広い範囲を撮影できるよう広角レンズ又は魚眼レンズが装着されていてもよい。

また、カメラ２は、制御部１からの制御信号に応じて入力画像を取得し、取得した入力画像を制御部１に対して出力する。なお、カメラ２は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力画像を制御部１に対して出力するが、その見掛け上の歪曲やアオリを補正していない入力画像をそのまま制御部１に対して出力してもよい。その場合には、制御部１がその見掛け上の歪曲やアオリを補正することとなる。

入力部３は、操作者が画像生成装置１００に対して各種情報を入力できるようにするための装置であり、例えば、タッチパネル、ボタンスイッチ、ポインティングデバイス、キーボード等である。

記憶部４は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。

表示部５は、画像情報を表示するための装置であり、例えば、建設機械のキャブ６４（図２参照。）内に設置された液晶ディスプレイ又はプロジェクタ等であって、制御部１が出力する各種画像を表示する。

また、画像生成装置１００は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施すことによって周辺障害物との位置関係や距離感を直感的に把握できるようにする出力画像を生成した上で、その出力画像を運転者に提示するようにしてもよい。

「処理対象画像」は、入力画像に基づいて生成される、画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）の対象となる画像であり、例えば、地表を上方から撮像するカメラによる入力画像であってその広い画角により水平方向の画像（例えば、空の部分である。）を含む入力画像を画像変換処理で用いる場合に、その水平方向の画像が不自然に表示されないよう（例えば、空の部分が地表にあるものとして扱われないよう）その入力画像を所定の空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる、画像変換処理に適した画像である。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。

「空間モデル」は、少なくとも、処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面（例えば、処理対象画像平面に平行な平面、又は、処理対象画像平面との間で角度を形成する平面若しくは曲面である。）を含む、一又は複数の平面若しくは曲面で構成される、入力画像の投影対象である。

なお、画像生成装置１００は、処理対象画像を生成することなく、その空間モデルに投影された投影画像に画像変換処理を施すことによって出力画像を生成するようにしてもよい。また、投影画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。

図３は、入力画像が投影される空間モデルＭＤの一例を示す図であり、図３（Ａ）は、ショベル６０を側方から見たときのショベル６０と空間モデルＭＤとの間の関係を示し、図３（Ｂ）は、ショベル６０を上方から見たときのショベル６０と空間モデルＭＤとの間の関係を示す。

図３で示されるように、空間モデルＭＤは、半円筒形状を有し、その底面内部の平面領域Ｒ１とその側面内部の曲面領域Ｒ２とを有する。

また、図４は、空間モデルＭＤと処理対象画像平面との間の関係の一例を示す図であり、処理対象画像平面Ｒ３は、例えば、空間モデルＭＤの平面領域Ｒ１を含む平面である。なお、図４は、明確化のために、空間モデルＭＤを、図３で示すような半円筒形状ではなく、円筒形状で示しているが、空間モデルＭＤは、半円筒形状及び円筒形状の何れであってもよいものとする。以降の図においても同様である。また、処理対象画像平面Ｒ３は、上述のように、空間モデルＭＤの平面領域Ｒ１を含む円形領域であってもよく、空間モデルＭＤの平面領域Ｒ１を含まない環状領域であってもよい。

次に、制御部１が有する各種手段について説明する。

座標対応付け手段１０は、カメラ２が撮像した入力画像が位置する入力画像平面上の座標と、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付けるための手段であり、例えば、予め設定された、或いは、入力部３を介して入力される、カメラ２の光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等のカメラ２に関する各種パラメータと、予め決定された、入力画像平面、空間モデルＭＤ、及び処理対象画像平面Ｒ３の相互の位置関係とに基づいて、入力画像平面上の座標と、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、それらの対応関係を記憶部４の入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１に記憶する。

なお、座標対応付け手段１０は、処理対象画像を生成しない場合には、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標との対応付け、及び、その対応関係の空間モデル・処理対象画像対応マップ４１への記憶を省略する。

出力画像生成手段１１は、出力画像を生成するための手段であり、例えば、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって、処理対象画像平面Ｒ３上の座標と出力画像が位置する出力画像平面上の座標とを対応付け、その対応関係を記憶部４の処理対象画像・出力画像対応マップ４２に記憶し、座標対応付け手段１０がその値を記憶した入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）と入力画像における各画素の値とを関連付けて出力画像を生成する。

また、出力画像生成手段１１は、予め設定された、或いは、入力部３を介して入力される、仮想カメラの光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等の各種パラメータに基づいて、処理対象画像平面Ｒ３上の座標と出力画像が位置する出力画像平面上の座標とを対応付け、その対応関係を記憶部４の処理対象画像・出力画像対応マップ４２に記憶し、座標対応付け手段１０がその値を記憶した入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）と入力画像における各画素の値とを関連付けて出力画像を生成する。

なお、出力画像生成手段１１は、仮想カメラの概念を用いることなく、処理対象画像のスケールを変更して出力画像を生成するようにしてもよい。

また、出力画像生成手段１１は、処理対象画像を生成しない場合には、施した画像変換処理に応じて空間モデルＭＤ上の座標と出力画像平面上の座標とを対応付け、入力画像・空間モデル対応マップ４０を参照しながら、出力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）と入力画像における各画素の値とを関連付けて出力画像を生成する。この場合、出力画像生成手段１１は、処理対象画像平面Ｒ３上の座標と出力画像平面上の座標との対応付け、及び、その対応関係の処理対象画像・出力画像対応マップ４２への記憶を省略する。

旋回時画像制御手段１２は、上部旋回体６３の旋回時における出力画像の表示部５への表示態様を制御する手段である。なお、旋回時画像制御手段１２の詳細については後述する。

次に、座標対応付け手段１０及び出力画像生成手段１１による具体的な処理の一例について説明する。

座標対応付け手段１０は、例えば、ハミルトンの四元数を用いて、入力画像平面上の座標と空間モデル上の座標とを対応付けることができる。

図５は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図であり、カメラ２の入力画像平面は、カメラ２の光学中心Ｃを原点とするＵＶＷ直交座標系における一平面として表され、空間モデルは、ＸＹＺ直交座標系における立体面として表されるものとする。

最初に、座標対応付け手段１０は、空間モデル上の座標（ＸＹＺ座標系上の座標）を入力画像平面上の座標（ＵＶＷ座標系上の座標）に変換するため、ＸＹＺ座標系の原点を光学中心Ｃ（ＵＶＷ座標系の原点）に並行移動させた上で、Ｘ軸をＵ軸に、Ｙ軸をＶ軸に、Ｚ軸を−Ｗ軸（符号「−」は方向が逆であることを意味する。これは、ＵＶＷ座標系がカメラ前方を＋Ｗ方向とし、ＸＹＺ座標系が鉛直下方を−Ｚ方向としていることに起因する。）にそれぞれ一致させるようＸＹＺ座標系を回転させる。

なお、カメラ２が複数存在する場合、カメラ２のそれぞれが個別のＵＶＷ座標系を有することとなるので、座標対応付け手段１０は、複数のＵＶＷ座標系のそれぞれに対して、ＸＹＺ座標系を並行移動させ且つ回転させることとなる。

上述の変換は、カメラ２の光学中心ＣがＸＹＺ座標系の原点となるようにＸＹＺ座標系を並行移動させた後に、Ｚ軸が−Ｗ軸に一致するよう回転させ、更に、Ｘ軸がＵ軸に一致するよう回転させることによって実現されるので、座標対応付け手段１０は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。

ところで、あるベクトルＡを別のベクトルＢに一致させるための回転は、ベクトルＡとベクトルＢとが張る面の法線を軸としてベクトルＡとベクトルＢとが形成する角度だけ回転させる処理に相当し、その角度をθとすると、ベクトルＡとベクトルＢとの内積から、角度θは、

で表されることとなる。

また、ベクトルＡとベクトルＢとが張る面の法線の単位ベクトルＮは、ベクトルＡとベクトルＢとの外積から

で表されることとなる。

なお、四元数は、ｉ、ｊ、ｋをそれぞれ虚数単位とした場合、

を満たす超複素数であり、本実施例において、四元数Ｑは、実成分をｔ、純虚成分をａ、ｂ、ｃとして、

で表されるものとし、四元数Ｑの共役四元数は、

で表されるものとする。

四元数Ｑは、実成分ｔを０（ゼロ）としながら、純虚成分ａ、ｂ、ｃで三次元ベクトル（ａ，ｂ，ｃ）を表現することができ、また、ｔ、ａ、ｂ、ｃの各成分により任意のベクトルを軸とした回転動作を表現することもできる。

更に、四元数Ｑは、連続する複数回の回転動作を統合して一回の回転動作として表現することができ、例えば、任意の点Ｓ（ｓｘ，ｓｙ，ｓｚ）を、任意の単位ベクトルＣ（ｌ，ｍ，ｎ）を軸としながら角度θだけ回転させたときの点Ｄ（ｅｘ，ｅｙ，ｅｚ）を以下のように表現することができる。

ここで、本実施例において、Ｚ軸を−Ｗ軸に一致させる回転を表す四元数をＱ_ｚとすると、ＸＹＺ座標系におけるＸ軸上の点Ｘは、点Ｘ’に移動させられるので、点Ｘ’は、

で表されることとなる。

また、本実施例において、Ｘ軸上にある点Ｘ’と原点とを結ぶ線をＵ軸に一致させる回転を表す四元数をＱ_ｘとすると、「Ｚ軸を−Ｗ軸に一致させ、更に、Ｘ軸をＵ軸に一致させる回転」を表す四元数Ｒは、

で表されることとなる。

以上により、空間モデル（ＸＹＺ座標系）上の任意の座標Ｐを入力画像平面（ＵＶＷ座標系）上の座標で表現したときの座標Ｐ’は、

で表されることとなり、四元数Ｒがカメラ２のそれぞれで不変であることから、座標対応付け手段１０は、以後、この演算を実行するだけで空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換することができる。

空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換した後、座標対応付け手段１０は、カメラ２の光学中心Ｃ（ＵＶＷ座標系上の座標）と空間モデル上の任意の座標ＰをＵＶＷ座標系で表した座標Ｐ’とを結ぶ線分ＣＰ’と、カメラ２の光軸Ｇとが形成する入射角αを算出する。

また、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４（例えば、ＣＣＤ面）に平行で且つ座標Ｐ’を含む平面Ｈにおける、平面Ｈと光軸Ｇとの交点Ｅと座標Ｐ’とを結ぶ線分ＥＰ’と、平面ＨにおけるＵ’軸とが形成する偏角φ、及び線分ＥＰ’の長さを算出する。

カメラの光学系は、通常、像高さｈが入射角α及び焦点距離ｆの関数となっているので、座標対応付け手段１０は、通常射影（ｈ＝ｆｔａｎα）、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等の適切な射影方式を選択して像高さｈを算出する。

その後、座標対応付け手段１０は、算出した像高さｈを偏角φによりＵＶ座標系上のＵ成分及びＶ成分に分解し、入力画像平面Ｒ４の一画素当たりの画素サイズに相当する数値で除算することにより、空間モデルＭＤ上の座標Ｐ（Ｐ’）と入力画像平面Ｒ４上の座標とを対応付けることができる。

なお、入力画像平面Ｒ４のＵ軸方向における一画素当たりの画素サイズをａ_Ｕとし、入力画像平面Ｒ４のＶ軸方向における一画素当たりの画素サイズをａ_Ｖとすると、空間モデルＭＤ上の座標Ｐ（Ｐ’）に対応する入力画像平面Ｒ４上の座標（ｕ，ｖ）は、

で表されることとなる。

このようにして、座標対応付け手段１０は、空間モデルＭＤ上の座標と、カメラ毎に存在する一又は複数の入力画像平面Ｒ４上の座標とを対応付け、空間モデルＭＤ上の座標、カメラ識別子、及び入力画像平面Ｒ４上の座標を関連付けて入力画像・空間モデル対応マップ４０に記憶する。

また、座標対応付け手段１０は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、座標対応付け手段１０は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。

なお、複数の入力画像平面Ｒ４上の座標への対応付けが可能な場合、座標対応付け手段１０は、空間モデルＭＤ上の座標Ｐ（Ｐ’）を、その入射角αが最も小さいカメラに関する入力画像平面Ｒ４上の座標に対応付けるようにしてもよく、操作者が選択した入力画像平面Ｒ４上の座標に対応付けるようにしてもよい。

次に、空間モデルＭＤ上の座標のうち、曲面領域Ｒ２上の座標（Ｚ軸方向の成分を持つ座標）を、ＸＹ平面上にある処理対象画像平面Ｒ３に再投影する処理について説明する。

図６は、座標対応付け手段１０による座標間の対応付けを説明するための図であり、図６（Ａ）は、一例として通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との間の対応関係を示す図であって、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４上の座標とその座標に対応する空間モデルＭＤ上の座標とを結ぶ線分のそれぞれがカメラ２の光学中心Ｃを通過するようにして、両座標を対応付ける。

図６（Ａ）の例では、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４上の座標Ｋ１を空間モデルＭＤの平面領域Ｒ１上の座標Ｌ１に対応付け、カメラ２の入力画像平面Ｒ４上の座標Ｋ２を空間モデルＭＤの曲面領域Ｒ２上の座標Ｌ２に対応付ける。このとき、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２は共にカメラ２の光学中心Ｃを通過する。

なお、カメラ２が通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、座標対応付け手段１０は、それぞれの射影方式に応じて、カメラ２の入力画像平面Ｒ４上の座標Ｋ１、Ｋ２を空間モデルＭＤ上の座標Ｌ１、Ｌ２に対応付けるようにする。

具体的には、座標対応付け手段１０は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、入力画像平面上の座標と空間モデルＭＤ上の座標とを対応付ける。この場合、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２がカメラ２の光学中心Ｃを通過することはない。

図６（Ｂ）は、空間モデルＭＤの曲面領域Ｒ２上の座標と処理対象画像平面Ｒ３上の座標との間の対応関係を示す図であり、座標対応付け手段１０は、ＸＺ平面上に位置する平行線群ＰＬであって、処理対象画像平面Ｒ３との間で角度βを形成する平行線群ＰＬを導入し、空間モデルＭＤの曲面領域Ｒ２上の座標とその座標に対応する処理対象画像平面Ｒ３上の座標とが共に平行線群ＰＬのうちの一つに乗るようにして、両座標を対応付ける。

図６（Ｂ）の例では、座標対応付け手段１０は、空間モデルＭＤの曲面領域Ｒ２上の座標Ｌ２と処理対象画像平面Ｒ３上の座標Ｍ２とが共通の平行線に乗るとして、両座標を対応付けるようにする。

なお、座標対応付け手段１０は、空間モデルＭＤの平面領域Ｒ１上の座標を曲面領域Ｒ２上の座標と同様に平行線群ＰＬを用いて処理対象画像平面Ｒ３上の座標に対応付けることが可能であるが、図６（Ｂ）の例では、平面領域Ｒ１と処理対象画像平面Ｒ３とが共通の平面となっているので、空間モデルＭＤの平面領域Ｒ１上の座標Ｌ１と処理対象画像平面Ｒ３上の座標Ｍ１とは同じ座標値を有するものとなっている。

このようにして、座標対応付け手段１０は、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、空間モデルＭＤ上の座標及び処理対象画像Ｒ３上の座標を関連付けて空間モデル・処理対象画像対応マップ４１に記憶する。

図６（Ｃ）は、処理対象画像平面Ｒ３上の座標と一例として通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖの出力画像平面Ｒ５上の座標との間の対応関係を示す図であり、出力画像生成手段１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標とその座標に対応する処理対象画像平面Ｒ３上の座標とを結ぶ線分のそれぞれが仮想カメラ２Ｖの光学中心ＣＶを通過するようにして、両座標を対応付ける。

図６（Ｃ）の例では、出力画像生成手段１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１を処理対象画像平面Ｒ３（空間モデルＭＤの平面領域Ｒ１）上の座標Ｍ１に対応付け、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ２を処理対象画像平面Ｒ３上の座標Ｍ２に対応付ける。このとき、線分Ｍ１−Ｎ１及び線分Ｍ２−Ｎ２は共に仮想カメラ２Ｖの光学中心ＣＶを通過する。

なお、仮想カメラ２Ｖが通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、出力画像生成手段１１は、それぞれの射影方式に応じて、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１、Ｎ２を処理対象画像平面Ｒ３上の座標Ｍ１、Ｍ２に対応付けるようにする。

具体的には、出力画像生成手段１１は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、出力画像平面Ｒ５上の座標と処理対象画像平面Ｒ３上の座標とを対応付ける。この場合、線分Ｍ１−Ｎ１及び線分Ｍ２−Ｎ２が仮想カメラ２Ｖの光学中心ＣＶを通過することはない。

このようにして、出力画像生成手段１１は、出力画像平面Ｒ５上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、出力画像平面Ｒ５上の座標及び処理対象画像Ｒ３上の座標を関連付けて処理対象画像・出力画像対応マップ４２に記憶し、座標対応付け手段１０が記憶した入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。

なお、図６（Ｄ）は、図６（Ａ）〜図６（Ｃ）を組み合わせた図であり、カメラ２、仮想カメラ２Ｖ、空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２、並びに、処理対象画像平面Ｒ３の相互の位置関係を示す。

次に、図７を参照しながら、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標とを対応付けるために座標対応付け手段１０が導入する平行線群ＰＬの作用について説明する。

図７（Ａ）は、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度βが形成される場合の図であり、図７（Ｂ）は、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度β１（β１＞β）が形成される場合の図である。また、図７（Ａ）及び図７（Ｂ）における空間モデルＭＤの曲面領域Ｒ２上の座標Ｌａ〜Ｌｄのそれぞれは、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれに対応するものとし、図７（Ａ）における座標Ｌａ〜Ｌｄのそれぞれの間隔は、図７（Ｂ）における座標Ｌａ〜Ｌｄのそれぞれの間隔と等しいものとする。なお、平行線群ＰＬは、説明目的のためにＸＺ平面上に存在するものとしているが、実際には、Ｚ軸上の全ての点から処理対象画像平面Ｒ３に向かって放射状に延びるように存在するものとする。なお、この場合のＺ軸を「再投影軸」と称することとする。

図７（Ａ）及び図７（Ｂ）で示されるように、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれの間隔は、平行線群ＰＬと処理対象画像平面Ｒ３との間の角度が増大するにつれて線形的に減少する（空間モデルＭＤの曲面領域Ｒ２と座標Ｍａ〜Ｍｄのそれぞれとの間の距離とは関係なく一様に減少する。）。一方で、空間モデルＭＤの平面領域Ｒ１上の座標群は、図７の例では、処理対象画像平面Ｒ３上の座標群への変換が行われないので、座標群の間隔が変化することはない。

これら座標群の間隔の変化は、出力画像平面Ｒ５（図６参照。）上の画像部分のうち、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する画像部分のみが線形的に拡大或いは縮小されることを意味する。

次に、図８を参照しながら、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標とを対応付けるために座標対応付け手段１０が導入する平行線群ＰＬの代替例について説明する。

図８（Ａ）は、ＸＺ平面上に位置する補助線群ＡＬの全てがＺ軸上の始点Ｔ１から処理対象画像平面Ｒ３に向かって延びる場合の図であり、図８（Ｂ）は、補助線群ＡＬの全てがＺ軸上の始点Ｔ２（Ｔ２＞Ｔ１）から処理対象画像平面Ｒ３に向かって延びる場合の図である。また、図８（Ａ）及び図８（Ｂ）における空間モデルＭＤの曲面領域Ｒ２上の座標Ｌａ〜Ｌｄのそれぞれは、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれに対応するものとし（図８（Ａ）の例では、座標Ｍｃ、Ｍｄは、処理対象画像平面Ｒ３の領域外となるため図示されていない。）、図８（Ａ）における座標Ｌａ〜Ｌｄのそれぞれの間隔は、図８（Ｂ）における座標Ｌａ〜Ｌｄのそれぞれの間隔と等しいものとする。なお、補助線群ＡＬは、説明目的のためにＸＺ平面上に存在するものとしているが、実際には、Ｚ軸上の任意の一点から処理対象画像平面Ｒ３に向かって放射状に延びるように存在するものとする。なお、図７と同様、この場合のＺ軸を「再投影軸」と称することとする。

図８（Ａ）及び図８（Ｂ）で示されるように、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれの間隔は、補助線群ＡＬの始点と原点Ｏとの間の距離（高さ）が増大するにつれて非線形的に減少する（空間モデルＭＤの曲面領域Ｒ２と座標Ｍａ〜Ｍｄのそれぞれとの間の距離が大きいほど、それぞれの間隔の減少幅が大きくなる。）。一方で、空間モデルＭＤの平面領域Ｒ１上の座標群は、図８の例では、処理対象画像平面Ｒ３上の座標群への変換が行われないので、座標群の間隔が変化することはない。

これら座標群の間隔の変化は、平行線群ＰＬのときと同様、出力画像平面Ｒ５（図６参照。）上の画像部分のうち、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する画像部分のみが非線形的に拡大或いは縮小されることを意味する。

このようにして、画像生成装置１００は、空間モデルＭＤの平面領域Ｒ１に投影された画像に対応する出力画像の画像部分（例えば、路面画像である。）に影響を与えることなく、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する出力画像の画像部分（例えば、水平画像である。）を線形的に或いは非線形的に拡大或いは縮小させることができるので、ショベル６０の近傍の路面画像（ショベル６０を真上から見たときの仮想画像）に影響を与えることなく、ショベル６０の周囲に位置する物体（ショベル６０から水平方向に周囲を見たときの画像における物体）を迅速且つ柔軟に拡大或いは縮小させることができ、ショベル６０の死角領域の視認性を向上させることができる。

次に、図９及び図１０を参照しながら、空間モデルＭＤに投影された画像から直接的に出力画像を生成する場合と、空間モデルＭＤに投影された画像を処理対象画像に再投影しその再投影された処理対象画像から出力画像を生成する場合との違いを説明する。

図９（Ａ）は、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度βが形成される場合の図であり、図９（Ｂ）は、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度β２（β２＜β）が形成される場合の図である。また、図９（Ａ）における空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２、処理対象画像平面Ｒ３、並びに、通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖの出力画像平面Ｒ５及び光学中心ＣＶの位置と、図９（Ｂ）のそれぞれとは、共通するものとする。

また、図９（Ａ）及び図９（Ｂ）において、平面領域Ｒ１を含む処理対象画像平面Ｒ３上の座標Ｍ１は、出力画像平面Ｒ５上の座標Ｎ１に対応し、曲面領域Ｒ２上の座標Ｌ２は、処理対象画像平面Ｒ３上の座標Ｍ２、及び出力画像平面Ｒ５上の座標Ｎ２に対応し、距離Ｄ１（Ｄ３）は、出力画像平面Ｒ５の中心点（仮想カメラ２Ｖの光軸ＧＶとの交点）と座標Ｎ１との間のＸ軸上の距離を示し、距離Ｄ２（Ｄ４）は、出力画像平面Ｒ５の中心点と座標Ｎ２との間のＸ軸上の距離を示す。

図９（Ａ）及び図９（Ｂ）で示されるように、平行線群ＰＬと処理対象画像平面Ｒ３との間の角度がβのときの距離Ｄ２（図９（Ａ）参照。）は、その角度が減少するにつれて増大し、その角度がβ２のときに距離Ｄ４（図９（Ｂ）参照。）となるが、その角度がβのときの距離Ｄ１（図９（Ａ）参照。）は、その角度の変化にかかわらず一定であり、その角度がβ２のときの距離Ｄ３（図９（Ｂ）参照。）に等しい。

このように距離Ｄ２が距離Ｄ４に変化すること、及び、距離Ｄ１（Ｄ３）が不変であることは、図７及び図８で説明した作用と同様に、出力画像平面Ｒ５上の画像部分のうち、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する画像部分（例えば、水平画像である。）のみが拡大或いは縮小されることを意味する。

なお、空間モデルＭＤに投影された画像に基づいて直接的に出力画像を生成した場合には、空間モデルＭＤの平面領域Ｒ１と曲面領域Ｒ２とを別々に取り扱うことができないため（別々に拡大縮小処理の対象とすることができないため）、曲面領域Ｒ２に投影された画像に対応する出力画像平面Ｒ５上の画像部分のみを拡大或いは縮小することができないこととなる。

図１０は、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度βが形成される場合の図であり、通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖの光学中心ＣＶを空間モデルＭＤの外側（光学中心ＣＶのＸ座標の値を平面領域Ｒ１の半径よりも大きくした状態をいう。）に移動させたときの状態を示す。

図１０で示されるように、出力画像生成手段１１は、処理対象画像平面Ｒ３（平面領域Ｒ１）上の座標Ｍ１と出力画像平面Ｒ５上の座標Ｎ１とを、線分Ｍ１−Ｎ１が光学中心ＣＶを通るように対応付け、また、曲面領域Ｒ２上の座標Ｌ２に対応する処理対象画像平面Ｒ３上の座標Ｍ２と出力画像平面Ｒ５上の座標Ｎ２とを、線分Ｍ２−Ｎ２が光学中心ＣＶを通るように対応付けるので、空間モデルＭＤの曲面領域Ｒ２に投影された画像から直接的に出力画像を生成する場合のように、円筒の側壁外面を見ることとなって適切な出力画像を生成できないという問題（空間モデルＭＤ上の座標と出力画像平面Ｒ５上の座標とを対応付けることができないという問題）を引き起こすことなく、適切な出力画像を生成することができる。

なお、図９及び図１０は、通常射影を採用する仮想カメラ２Ｖに関する説明であるが、通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する仮想カメラ２Ｖについても同様の説明が適用され、その場合、出力画像生成手段１１は、処理対象画像平面Ｒ３（平面領域Ｒ１）上の座標Ｍ１と出力画像平面Ｒ５上の座標Ｎ１とを、線分Ｍ１−Ｎ１が光学中心ＣＶを通るように（関数ｈ＝ｆｔａｎαに従って）対応付ける代わりに、それぞれの射影方式に対応する関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に従って出力画像平面Ｒ５上の座標と処理対象画像平面Ｒ３上の座標とを対応付ける。この場合、線分Ｍ１−Ｎ１が仮想カメラ２Ｖの光学中心ＣＶを通過することはない。

次に、図１１を参照しながら、画像生成装置１００が処理対象画像を生成する処理（以下、「処理対象画像生成処理」とする。）、及び、生成した処理対象画像を用いて出力画像を生成する処理（以下、「出力画像生成処理」とする。）について説明する。なお、図１１は、処理対象画像生成処理（ステップＳ１〜ステップＳ３）及び出力画像生成処理（ステップＳ４〜ステップＳ６）の流れを示すフローチャートである。また、カメラ２（入力画像平面Ｒ４）、空間モデル（平面領域Ｒ１及び曲面領域Ｒ２）、並びに、処理対象画像平面Ｒ３の配置は予め決定されているものとする。

最初に、制御部１は、座標対応付け手段１０により、処理対象画像平面Ｒ３上の座標と空間モデルＭＤ上の座標とを対応付ける（ステップＳ１）。

具体的には、座標対応付け手段１０は、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度を取得し、処理対象画像平面Ｒ３上の一座標から延びる平行線群ＰＬの一つが空間モデルＭＤの曲面領域Ｒ２と交差する点を算出し、算出した点に対応する曲面領域Ｒ２上の座標を、処理対象画像平面Ｒ３上のその一座標に対応する曲面領域Ｒ２上の一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ４１に記憶する。なお、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度は、記憶部４等に予め記憶された値であってもよく、入力部３を介して操作者が動的に入力する値であってもよい。

また、座標対応付け手段１０は、処理対象画像平面Ｒ３上の一座標が空間モデルＭＤの平面領域Ｒ１上の一座標と一致する場合には、平面領域Ｒ１上のその一座標を、処理対象画像平面Ｒ３上のその一座標に対応する一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ４１に記憶する。

その後、制御部１は、座標対応付け手段１０により、上述の処理によって導き出された空間モデルＭＤ上の一座標と入力画像平面Ｒ４上の座標とを対応付ける（ステップＳ２）。

具体的には、座標対応付け手段１０は、通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の光学中心Ｃの座標を取得し、空間モデルＭＤ上の一座標から延びる線分であり、光学中心Ｃを通過する線分が入力画像平面Ｒ４と交差する点を算出し、算出した点に対応する入力画像平面Ｒ４上の座標を、空間モデルＭＤ上のその一座標に対応する入力画像平面Ｒ４上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ４０に記憶する。

その後、制御部１は、処理対象画像平面Ｒ３上の全ての座標を空間モデルＭＤ上の座標及び入力画像平面Ｒ４上の座標に対応付けたか否かを判定し（ステップＳ３）、未だ全ての座標を対応付けていないと判定した場合には（ステップＳ３のＮＯ）、ステップＳ１及びステップＳ２の処理を繰り返すようにする。

一方、制御部１は、全ての座標を対応付けたと判定した場合には（ステップＳ３のＹＥＳ）、処理対象画像生成処理を終了させた上で出力画像生成処理を開始させ、出力画像生成手段１１により、処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標とを対応付ける（ステップＳ４）。

具体的には、出力画像生成手段１１は、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって出力画像を生成し、施したスケール変換、アフィン変換、又は歪曲変換の内容によって定まる、処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標との間の対応関係を処理対象画像・出力画像対応マップ４２に記憶する。

或いは、出力画像生成手段１１は、仮想カメラ２Ｖを用いて出力画像を生成する場合には、採用した射影方式に応じて対象処理画像平面Ｒ３上の座標から出力画像平面Ｒ５上の座標を算出し、その対応関係を処理対象画像・出力画像対応マップ４２に記憶するようにしてもよい。

或いは、出力画像生成手段１１は、通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖを用いて出力画像を生成する場合には、その仮想カメラ２Ｖの光学中心ＣＶの座標を取得した上で、出力画像平面Ｒ５上の一座標から延びる線分であり、光学中心ＣＶを通過する線分が処理対象画像平面Ｒ３と交差する点を算出し、算出した点に対応する処理対象画像平面Ｒ３上の座標を、出力画像平面Ｒ５上のその一座標に対応する処理対象画像平面Ｒ３上の一座標として導き出し、その対応関係を処理対象画像・出力画像対応マップ４２に記憶するようにしてもよい。

その後、制御部１は、出力画像生成手段１１により、入力画像・空間モデル対応マップ４０、空間モデル・処理対象画像対応マップ４１、及び処理対象画像・出力画像対応マップ４２を参照しながら入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との対応関係、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標との対応関係、及び処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標との対応関係を辿り、出力画像平面Ｒ５上の各座標に対応する入力画像平面Ｒ４上の座標が有する値（例えば、輝度値、色相値、彩度値等である。）を取得し、その取得した値を、対応する出力画像平面Ｒ５上の各座標の値として採用する（ステップＳ５）。なお、出力画像平面Ｒ５上の一座標に対して複数の入力画像平面Ｒ４上の複数の座標が対応する場合、出力画像生成手段１１は、それら複数の入力画像平面Ｒ４上の複数の座標のそれぞれの値に基づく統計値（例えば、平均値、最大値、最小値、中間値等である。）を導き出し、出力画像平面Ｒ５上のその一座標の値としてその統計値を採用するようにしてもよい。

その後、制御部１は、出力画像平面Ｒ５上の全ての座標の値を入力画像平面Ｒ４上の座標の値に対応付けたか否かを判定し（ステップＳ６）、未だ全ての座標の値を対応付けていないと判定した場合には（ステップＳ６のＮＯ）、ステップＳ４及びステップＳ５の処理を繰り返すようにする。

一方、制御部１は、全ての座標の値を対応付けたと判定した場合には（ステップＳ６のＹＥＳ）、出力画像を生成して、この一連の処理を終了させる。

なお、画像生成装置１００は、処理対象画像を生成しない場合には、処理対象画像生成処理を省略し、出力画像生成処理におけるステップＳ４の“処理対象画像平面上の座標”を“空間モデル上の座標”で読み替えるものとする。

以上の構成により、画像生成装置１００は、建設機械と周辺障害物との位置関係を操作者に直感的に把握させることが可能な処理対象画像及び出力画像を生成することができる。

また、画像生成装置１００は、処理対象画像平面Ｒ３から空間モデルＭＤを経て入力画像平面Ｒ４に遡るように座標の対応付けを実行することにより、処理対象画像平面Ｒ３上の各座標を入力画像平面Ｒ４上の一又は複数の座標に確実に対応させることができ、入力画像平面Ｒ４から空間モデルＭＤを経て処理対象画像平面Ｒ３に至る順番で座標の対応付けを実行する場合と比べ（この場合には、入力画像平面Ｒ４上の各座標を処理対象画像平面Ｒ３上の一又は複数の座標に確実に対応させることができるが、処理対象画像平面Ｒ３上の座標の一部が、入力画像平面Ｒ４上の何れの座標にも対応付けられない場合があり、その場合にはそれら処理対象画像平面Ｒ３上の座標の一部に補間処理等を施す必要がある。）、より良質な処理対象画像を迅速に生成することができる。

また、画像生成装置１００は、空間モデルＭＤの曲面領域Ｒ２に対応する画像のみを拡大或いは縮小する場合には、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度を変更して空間モデル・処理対象画像対応マップ４１における曲面領域Ｒ２に関連する部分のみを書き換えるだけで、入力画像・空間モデル対応マップ４０の内容を書き換えることなく、所望の拡大或いは縮小を実現させることができる。

また、画像生成装置１００は、出力画像の見え方を変更する場合には、スケール変換、アフィン変換又は歪曲変換に関する各種パラメータの値を変更して処理対象画像・出力画像対応マップ４２を書き換えるだけで、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１の内容を書き換えることなく、所望の出力画像（スケール変換画像、アフィン変換画像又は歪曲変換画像）を生成することができる。

同様に、画像生成装置１００は、出力画像の視点を変更する場合には、仮想カメラ２Ｖの各種パラメータの値を変更して処理対象画像・出力画像対応マップ４２を書き換えるだけで、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１の内容を書き換えることなく、所望の視点から見た出力画像（視点変換画像）を生成することができる。

次に、図１２〜図１４を参照しながら、カメラ２と空間モデルＭＤとの間の位置関係について説明する。なお、図１２〜図１４では、説明の便宜上、右側方カメラ２Ｒ及び後方カメラ２Ｂの２つのカメラと空間モデルＭＤとの間の位置関係を説明するが、左側方カメラ２Ｌを加えた３つのカメラが存在する場合や４つ以上のカメラが存在する場合にも同様の説明が適用される。

図１２（Ａ）は、図３（Ｂ）と同様に、ショベル６０を上方から見たときのカメラ２と空間モデルＭＤとの間の位置関係を示す図であり、図１２（Ｂ）は、図４と同様に、空間モデルＭＤを斜め上方から見たときのカメラ２と空間モデルＭＤとの間の位置関係を示す図であり、図１２（Ｃ）は、画像生成装置１００が生成する処理対象画像を示す図である。

また、図１２（Ｂ）で最も分かり易く示されるように、円筒状の空間モデルＭＤの円筒中心軸は、再投影軸及びショベル６０の旋回軸ＰＶ（Ｚ軸）に一致するものとし、Ｙ軸上には、Ｚ軸方向に平行に延びる棒状の物体ＯＢＪが存在するものとする。

図１２（Ｂ）において、後方カメラ２Ｂの光軸Ｇ１及び右側方カメラ２Ｒの光軸Ｇ２はそれぞれ、空間モデルＭＤの平面領域Ｒ１及び処理対象画像平面Ｒ３が位置する平面（ＸＹ平面）と交差し、また、光軸Ｇ１と光軸Ｇ２とは、円筒中心軸（再投影軸）上の点Ｊ１で交差するものとする。なお、光軸Ｇ１と光軸Ｇ２とは、ＸＹ平面に平行な一平面に投影されたときの成分のそれぞれが円筒中心軸（再投影軸）上の点で交差するものであれば、ねじれの位置の関係にあってもよい。

また、後方カメラ２Ｂの光学中心から円筒中心軸（再投影軸）に下ろした垂線は、右側方カメラ２Ｒの光学中心から円筒中心軸（再投影軸）に下ろした垂線と互いに垂直な関係にあるものとする。なお、本実施例では、それら二つの垂線は、平面領域Ｒ１及び処理対象画像平面Ｒ３が位置する平面と平行な一平面上に存在しながら点Ｊ２で直交しているが、それぞれ別の平面上に位置し、ねじれの位置の関係にあるものであってもよい。

図１２（Ａ）及び図１２（Ｂ）で示されたカメラ２と空間モデルＭＤとの間の位置関係により、画像生成装置１００は、図１２（Ｃ）で示されるように、Ｙ軸上においてＺ軸方向に平行に延びる棒状の物体ＯＢＪが、平面領域Ｒ１に投影された画像に対応する路面画像部分でＹ軸方向に平行な方向（右側方カメラ２Ｒの光学中心と物体ＯＢＪ上の点とを通る直線の方向）に延在し、且つ、曲面領域Ｒ２に投影された画像に対応する水平画像部分で同じくＹ軸方向に平行な方向（再投影軸上の点（平行線群ＰＬ又は補助線群ＡＬの始点）と物体ＯＢＪ上の点とを通る直線の方向）に延在するよう（すなわち、路面画像部分と水平画像部分との間の境界で折れ曲がることなく）、処理対象画像を生成することができる。

図１３（Ａ）〜（Ｃ）は、図１２（Ａ）〜（Ｃ）と同様の図であり、円筒状の空間モデルＭＤの円筒中心軸は、再投影軸及びショベル６０の旋回軸ＰＶ（Ｚ軸）に一致するものとし、Ｙ軸上には、Ｚ軸方向に平行に延びる棒状の物体ＯＢＪが存在し、更に、右側方カメラ２Ｒの光軸Ｇ２の方向にも、ＸＹ平面からＺ軸方向に平行に延びる棒状の物体ＯＢＪ１が存在するものとする。

図１３（Ｂ）において、後方カメラ２Ｂの光軸Ｇ１及び右側方カメラ２Ｒの光軸Ｇ２はそれぞれ、図１２の位置関係と同様、空間モデルＭＤの平面領域Ｒ１及び処理対象画像平面Ｒ３が位置する平面（ＸＹ平面）と交差し、また、光軸Ｇ１と光軸Ｇ２とは、円筒中心軸（再投影軸）上の点Ｊ１で交差するものとする。なお、光軸Ｇ１と光軸Ｇ２とは、ＸＹ平面に平行な一平面に投影されたときの成分のそれぞれが円筒中心軸（再投影軸）上の点で交差するものであれば、ねじれの位置の関係にあってもよい。

一方、後方カメラ２Ｂの光学中心から円筒中心軸（再投影軸）に下ろした垂線は、右側方カメラ２Ｒの光学中心から円筒中心軸（再投影軸）に下ろした垂線と互いに垂直な関係とはならず、後方カメラ２Ｂの光学中心から円筒中心軸（再投影軸）に下ろした垂線が、右側方カメラ２Ｒの光学中心からその垂線に下ろした垂線と円筒中心軸（再投影軸）上にない点Ｊ２で直交するものとする。なお、本実施例では、後方カメラ２Ｂ及び右側方カメラ２Ｒの光学中心は、平面領域Ｒ１及び処理対象画像平面Ｒ３が位置する平面と平行な一平面上に存在しているが、それぞれ別の平面上に位置し、互いの垂線がねじれの位置の関係にあるものであってもよい。

図１３（Ａ）及び図１３（Ｂ）で示されたカメラ２と空間モデルＭＤとの間の位置関係により、画像生成装置１００は、図１３（Ｃ）で示されるように、Ｙ軸上においてＺ軸方向に平行に延びる棒状の物体ＯＢＪが、平面領域Ｒ１に投影された画像に対応する路面画像部分でＹ軸方向から僅かに離れる方向（右側方カメラ２Ｒの光学中心と物体ＯＢＪ上の点とを通る直線の方向）に延在し、且つ、曲面領域Ｒ２に投影された画像に対応する水平画像部分でＹ軸方向に平行な方向（再投影軸上の点（平行線群ＰＬ又は補助線群ＡＬの始点）と物体ＯＢＪ上の点とを通る直線の方向）に延在するよう（すなわち、路面画像部分と水平画像部分との間の境界で僅かに折れ曲がって）、処理対象画像を生成することとなる。

一方で、画像生成装置１００は、図１３（Ｃ）で示されるように、右側方カメラ２Ｒの光軸Ｇ２の方向にあるＺ軸方向に平行に延びる棒状の物体ＯＢＪ１が、平面領域Ｒ１に投影された画像に対応する路面画像部分で光軸Ｇ２方向に平行な方向（右側方カメラ２Ｒの光学中心と物体ＯＢＪ上の点とを通る直線の方向）に延在し、且つ、曲面領域Ｒ２に投影された画像に対応する水平画像部分で同じく光軸Ｇ２方向に平行な方向（再投影軸上の点（平行線群ＰＬ又は補助線群ＡＬの始点）と物体ＯＢＪ上の点とを通る直線の方向）に延在するよう（すなわち、路面画像部分と水平画像部分との間の境界で折れ曲がることなく）、処理対象画像を生成することができる。

図１４（Ａ）〜（Ｃ）は、図１２（Ａ）〜（Ｃ）と同様の図であり、円筒状の空間モデルＭＤの円筒中心軸は、再投影軸及びショベル６０の旋回軸ＰＶ（Ｚ軸）に一致するものとし、Ｙ軸上には、Ｚ軸方向に平行に延びる棒状の物体ＯＢＪが存在するものとし、更に、右側方カメラ２Ｒの光軸Ｇ２の方向にも、ＸＹ平面からＺ軸方向に平行に延びる棒状の物体ＯＢＪ２が存在するものとする。

図１４（Ｂ）において、後方カメラ２Ｂの光軸Ｇ１及び右側方カメラ２Ｒの光軸Ｇ２はそれぞれ、図１２の位置関係と同様、空間モデルＭＤの平面領域Ｒ１及び処理対象画像平面Ｒ３が位置する平面（ＸＹ平面）と交差し、後方カメラ２Ｂの光学中心から円筒中心軸（再投影軸）に下ろした垂線は、右側方カメラ２Ｒの光学中心から円筒中心軸（再投影軸）に下ろした垂線と互いに垂直な関係であるものとする。なお、本実施例では、後方カメラ２Ｂ及び右側方カメラ２Ｒの光学中心は、平面領域Ｒ１及び処理対象画像平面Ｒ３が位置する平面と平行な一平面上に存在するが、それぞれ別の平面上に位置し、互いの垂線がねじれの位置の関係にあるものであってもよい。

一方、光軸Ｇ１と光軸Ｇ２とは、円筒中心軸（再投影軸）上で交差することなく、円筒中心軸（再投影軸）上にない点Ｊ１で交差するものとする。なお、光軸Ｇ１と光軸Ｇ２とは、ＸＹ平面に平行な一平面に投影されたときの成分のそれぞれが円筒中心軸（再投影軸）上にない点で交差するものであれば、ねじれの位置の関係にあってもよい。

図１４（Ａ）及び図１４（Ｂ）で示されたカメラ２と空間モデルＭＤとの間の位置関係により、画像生成装置１００は、図１４（Ｃ）で示されるように、右側方カメラ２Ｒの光軸Ｇ２の方向にあるＺ軸方向に平行に延びる棒状の物体ＯＢＪ２が、平面領域Ｒ１に投影された画像に対応する路面画像部分で光軸Ｇ２方向に平行な方向（右側方カメラ２Ｒの光学中心と物体ＯＢＪ上の点とを通る直線の方向）に延在し、且つ、曲面領域Ｒ２に投影された画像に対応する水平画像部分でＹ軸方向にほぼ平行な方向（再投影軸上の点（平行線群ＰＬ又は補助線群ＡＬの始点）と物体ＯＢＪ２上の点とを通る直線の方向）に延在するよう（すなわち、路面画像部分と水平画像部分との間の境界で僅かに折れ曲がって）、処理対象画像を生成することとなる。

一方、画像生成装置１００は、図１４（Ｃ）で示されるように、Ｙ軸上においてＺ軸方向に平行に延びる棒状の物体ＯＢＪが、平面領域Ｒ１に投影された画像に対応する路面画像部分でＹ軸方向に平行な方向（右側方カメラ２Ｒの光学中心と物体ＯＢＪ上の点とを通る直線の方向）に延在し、且つ、曲面領域Ｒ２に投影された画像に対応する水平画像部分で同じくＹ軸方向に平行な方向（再投影軸上の点（平行線群ＰＬ又は補助線群ＡＬの始点）と物体ＯＢＪ上の点とを通る直線の方向）に延在するよう（すなわち、路面画像部分と水平画像部分との間の境界で折れ曲がることなく）、処理対象画像を生成することができる。

このように、画像生成装置１００は、空間モデルＭＤの円筒中心軸（再投影軸）とカメラの光軸とを交差させるようにして空間モデルＭＤを配置することによって、カメラの光軸方向にある物体が路面画像部分と水平画像部分との間の境界で折れ曲がることがないように、処理対象画像を生成することができる。なお、この利点は、カメラが一台のみの場合にもカメラが三台以上の場合にも当てはまる。

また、画像生成装置１００は、後方カメラ２Ｂ及び右側方カメラ２Ｒの光学中心のそれぞれから空間モデルＭＤの円筒中心軸（再投影軸）に下ろした垂線のそれぞれが互いに垂直となるようにして空間モデルＭＤを配置することによって、ショベル６０の右真横及び真後ろにある物体が路面画像部分と水平画像部分との間の境界で折れ曲がることがないように、処理対象画像を生成することができる。なお、この利点は、カメラが三台以上の場合にも当てはまる。

なお、図１２〜図１４で示されるカメラ２（右側方カメラ２Ｒ、後方カメラ２Ｂ）と空間モデルＭＤとの間の位置関係及び作用効果は、画像生成装置１００が処理対象画像を生成する場合に対応するものであるが、画像生成装置１００が処理対象画像を生成しない場合（処理対象画像平面Ｒ３が存在しない場合）にも当てはまるものであり、この場合、図１２（Ｃ）、図１３（Ｃ）、及び図１４（Ｃ）の処理対象画像は、空間モデルＭＤに投影された画像を用いて生成される出力画像で読み替えられるものとする。

図１５は、ショベル６０に搭載された３台のカメラ２（右側方カメラ２Ｒ、左側方カメラ２Ｌ、及び後方カメラ２Ｂ）の入力画像を用いて生成される出力画像を表示部５に表示させたときの表示例であり、画像生成装置１００は、入力画像の一部を空間モデルＭＤの平面領域Ｒ１に投影し、且つ、入力画像の別の一部を空間モデルＭＤの曲面領域Ｒ２に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成し、その生成した処理対象画像に基づいて、平面領域Ｒ１に投影された画像に対応する、ショベル６０の近傍を上空から見下ろす画像と、曲面領域Ｒ２に投影された画像に対応する、すなわち、処理対象画像平面Ｒ３に再投影された画像に対応する、ショベル６０から水平方向に周辺を見た画像とを組み合わせて表示している。

なお、出力画像は、画像生成装置１００が処理対象画像を生成しない場合には、空間モデルＭＤに投影された画像に画像変換処理（例えば、視点変換処理である。）を施すことによって生成されるものとする。

また、出力画像は、ショベル６０の周囲の画像を違和感なく表示できるよう、円形にトリミングされ、その円の中心ＣＴＲが空間モデルＭＤの円筒中心軸上で、且つ、ショベル６０の旋回軸ＰＶ上となるように生成される。この場合、空間モデルＭＤの円筒中心軸は、再投影軸と一致するものであってもよく、一致しないものであってもよい。

なお、空間モデルＭＤの半径は、例えば、５メートルであり、平行線群ＰＬが処理対象画像平面Ｒ３との間で形成する角度、又は、補助線群ＡＬの始点高さは、ショベル６０の旋回中心から掘削アタッチメントＥの最大到達距離（例えば１２メートルである。）だけ離れた位置に物体（例えば、作業員である。）が存在する場合にその物体が表示部５で十分大きく（例えば、７ミリメートル以上である。）表示されるように、設定され得る。

更に、出力画像は、ショベル６０のＣＧ（Computer Graphic）画像７０を、掘削アタッチメントＥの向きが表示部５の画面上方と一致し、且つ、その旋回中心が中心ＣＴＲと一致するように配置する。ショベル６０と出力画像に現れる物体との間の位置関係をより分かり易くするためである。なお、出力画像は、方位等の各種情報を含む額縁画像をその周囲に配置するようにしてもよい。

この状態において、画像生成装置１００は、図９で示されるように、平面領域Ｒ１に投影された画像に対応する出力画像における画像部分に影響を与えることなく、曲面領域Ｒ２に投影され更に処理対象画像平面Ｒ３に再投影された画像に対応する出力画像における画像部分のみを拡大或いは縮小させたり、図１０で示されるように、曲面領域Ｒ２に投影され更に処理対象画像平面Ｒ３に再投影された画像に対応する出力画像における画像部分を真上から見下ろすべく、その画像部分を表示部５の画面領域における任意の位置（例えば、中央）に移動させたりすることができる。

ここで、図１６〜図１８を参照しながら、上部旋回体６３の旋回時における出力画像の表示部５への表示について詳細に説明する。なお、図１６は、旋回時画像制御手段１２の構成例を示すブロック図である。

図１６に示すように、旋回時画像制御手段１２は、例えば、旋回状態検出手段１２０、ＣＧ画像表示制御手段１２１、及び出力画像更新制御手段１２２で構成される。

旋回状態検出手段１２０は、上部旋回体６３の旋回状態を検出する機能要素であり、例えば、旋回操作レバー（図示せず。）の出力に基づいて、操作者による上部旋回体６３の旋回操作が行われたか否かを検出する。また、旋回状態検出手段１２０は、旋回操作レバーの出力に基づいて、上部旋回体６３の旋回方向、旋回速度、旋回角度等を検出してもよい。なお、旋回状態検出手段１２０は、旋回機構６２に取り付けられた旋回機構６２の旋回状態を検出するレゾルバ（図示せず。）の出力に基づいて、上部旋回体６３の旋回方向、旋回速度、旋回角度等を検出してもよい。

また、旋回状態検出手段１２０は、カメラ２が撮像した入力画像、又は、出力画像生成手段１１が生成する出力画像における被写体の動きに基づいて、上部旋回体６３の旋回方向、旋回速度、旋回角度等を検出してもよい。具体的には、旋回状態検出手段１２０は、入力画像又は出力画像に対してオプティカルフローを適用し、上部旋回体６３の旋回方向、旋回速度、旋回角度等を検出してもよい。

ＣＧ画像表示制御手段１２１は、ショベル６０のＣＧ画像７０の表示態様を制御する機能要素であり、例えば、上部旋回体６３の旋回時に、上部旋回体６３の旋回に合わせてＣＧ画像７０を中心ＣＴＲ周りに旋回させる。

ＣＧ画像７０は、例えば、ショベル６０のうちの上部旋回体６３を簡略化して表現した画像である。

ＣＧ画像表示制御手段１２１は、掘削アタッチメントＥの状態に合わせてその掘削アタッチメントＥに相当する部分の画像を伸縮させてもよい。具体的には、ＣＧ画像表示制御手段１２１は、ブームを上昇させたりアームを閉じたりしたときにその掘削アタッチメントＥに相当する部分の画像を短縮し、ブームを下降させたりアームを開いたりしたときにその掘削アタッチメントＥに相当する部分の画像を伸長する。

また、ＣＧ画像表示制御手段１２１は、旋回状態検出手段１２０の検出結果に応じて、ＣＧ画像７０の旋回を制御する。具体的には、ＣＧ画像表示制御手段１２１は、旋回状態検出手段１２０が検出する上部旋回体６３の旋回方向及び旋回速度に合致するようにＣＧ画像７０の旋回方向及び旋回速度を制御する。

出力画像更新制御手段１２２は、所定のフレームレートで更新されるリアルタイム画像としての出力画像の更新の継続・停止を制御する機能要素である。

出力画像更新制御手段１２２は、例えば、旋回状態検出手段１２０の検出結果に応じて出力画像の更新の継続・停止を切り換える。具体的には、出力画像更新制御手段１２２は、旋回状態検出手段１２０により上部旋回体６３の旋回の開始が検出された場合に、出力画像の更新を停止させる。その後、出力画像更新制御手段１２２は、旋回状態検出手段１２０により上部旋回体６３の旋回の停止が検出された場合に、出力画像の更新を再開させる。

次に、図１７及び図１８を参照しながら、旋回時画像制御手段１２が上部旋回体６３の旋回時に出力画像の表示態様を制御する処理（以下、「第一旋回時画像制御処理」とする。）の流れについて説明する。なお、図１７は、第一旋回時画像制御処理の流れを示すフローチャートである。また、図１８は、第一旋回時画像制御処理にしたがって上部旋回体６３の旋回時に表示部５に表示される出力画像の推移を示す図である。なお、旋回時画像制御手段１２は、ショベル６０が稼働中、所定周期で繰り返しこの第一旋回時画像制御処理を実行する。

最初に、旋回時画像制御手段１２は、旋回状態検出手段１２０により、上部旋回体６３の旋回が開始されたか否かを判定する（ステップＳ１１）。

上部旋回体６３の旋回が開始されていないと判定した場合（ステップＳ１１のＮＯ）、旋回時画像制御手段１２は、今回の第一旋回時画像制御処理を終了させる。

図１８（Ａ）は、上部旋回体６３の旋回が開始されていないときに表示部５に表示される出力画像の一例を示し、図１５に対応する。また、図１８（Ａ）は、ＣＧ画像７０から見て右斜め上方向に物体７１に対応する画像が存在し、ＣＧ画像７０から見て右斜め下方向に物体７２に対応する画像が存在する状態を示す。なお、領域Ｒ６は、カメラ２によって撮像されていない領域を示す。ショベル６０の前方は操作者が肉眼で視認可能であるためショベル６０の前方にはカメラが設置されていないためである。但し、画像生成装置１００はこの構成に限定されず、ショベル６０の前方にもカメラが設置された構成を採用してもよい。この場合、領域Ｒ６は存在せず、画像生成装置１００は、ショベル６０を中心とした全方位の出力画像を表示部５に表示する。

一方、上部旋回体６３の旋回が開始されたと判定した場合（ステップＳ１１のＹＥＳ）、旋回時画像制御手段１２は、出力画像更新制御手段１２２により、出力画像の更新を停止させ（ステップＳ１２）、ＣＧ画像表示制御手段１２１により、出力画像内でＣＧ画像７０を中心ＣＴＲ周りに旋回させる（ステップＳ１３）。出力画像の更新を停止させるのは、出力画像を見易くするためである。具体的には、出力画像の更新を停止させずに上部旋回体６３を旋回させると、出力画像は、上部旋回体６３の旋回方向とは反対の方向に回転する。例えば、上部旋回体６３を右方向に旋回させると、出力画像は、表示部５において左方向（反時計回り）に回転する。このような表示は、ＣＧ画像７０の出力画像内での旋回状態に対して表示されている出力画像の位置関係がずれるため、操作者に違和感を与えるおそれがある。旋回時画像制御手段１２は、操作者にこのような違和感を与えるのを防止するため、出力画像の更新を停止させる。

図１８（Ｂ）は、上部旋回体６３が右方向に９０度旋回するときに表示部５に表示される出力画像の状態を示す。また、破線で示すＣＧ画像は、画面上方向を向いていたＣＧ画像７０が、９０度旋回後の状態に相当する画面右方向を向くＣＧ画像７０に推移することを表し、実際には表示されない。但し、ＣＧ画像表示制御手段１２１は、旋回開始前のＣＧ画像を旋回中のＣＧ画像７０とは別にそのまま表示させておいてもよい。旋回開始直後からの旋回角度をより分かり易く表示するためである。なお、ＣＧ画像７０の右方向（時計回り）の回転速度は、旋回状態検出手段１２０が検出した上部旋回体６３の右方向の旋回速度に一致するように調整される。出力画像を見た操作者が上部旋回体６３の旋回方向、旋回速度、旋回角度等を正確且つ容易に認識できるようにするためである。

また、図１８（Ｂ）は、出力画像更新制御手段１２２により出力画像の更新が停止されているため、図１８（Ａ）の状態と比べ、物体７１及び物体７２の位置が変化していないことを示す。

この場合、旋回時画像制御手段１２は、上部旋回体６３が旋回中であることを表すテキストメッセージやシンボル画像を出力画像上に表示させるようにしてもよく、出力画像の更新が停止されていることを表すテキストメッセージやシンボル画像を表示させるようにしてもよい。表示部５に表示されている出力画像がリアルタイム画像でないことを操作者に認識させるためである。

また、制御部１は、出力画像の更新が停止された場合であっても、カメラ２が撮像した入力画像に基づいて、ショベル６０の周辺の物体と旋回中の上部旋回体６３との接近を検知するようにしてもよい。更新が停止された出力画像には現れない物体と上部旋回体６３との接触を防止するためである。なお、制御部１は、出力画像の更新が停止されたか否かにかかわらず、カメラ２が撮像した入力画像に基づいて、ショベル６０の周辺の物体と旋回中の上部旋回体６３との接近を検知するようにしてもよい。また、制御部１は、図示しないレーダセンサや赤外線センサ等の出力に基づいてショベル６０の周辺の物体と旋回中の上部旋回体６３との接近を検知するようにしてもよい。

制御部１は、ショベル６０の周辺の物体と旋回中の上部旋回体６３との接近が検知された場合、警報や警告メッセージを音声出力し、警告メッセージを表示部５に表示する。旋回時画像制御手段１２は、ショベル６０の周辺の物体と旋回中の上部旋回体６３との接近が検知された場合、出力画像の更新を再開させ、現在の状況をリアルタイムに表示する。上部旋回体６３に接近する物体を操作者が確実に認識できるようにするためである。

その後、旋回時画像制御手段１２は、旋回状態検出手段１２０により、上部旋回体６３の旋回が停止されたか否かを判定する（ステップＳ１４）。

上部旋回体６３の旋回が停止されていないと判定した場合（ステップＳ１４のＮＯ）、旋回時画像制御手段１２は、ＣＧ画像表示制御手段１２１により、出力画像内でのＣＧ画像７０の旋回を継続させる。

一方、上部旋回体６３の旋回が停止されたと判定した場合（ステップＳ１４のＹＥＳ）、旋回時画像制御手段１２は、ＣＧ画像表示制御手段１２１により、ＣＧ画像７０を旋回開始前の状態に復帰させ（ステップＳ１５）、出力画像更新制御手段１２２により、出力画像の更新を再開させる（ステップＳ１６）。

具体的には、旋回時画像制御手段１２は、ＣＧ画像表示制御手段１２１により、ＣＧ画像７０が画面上方向を向くようにＣＧ画像７０の配置を瞬時に切り換える。また、旋回時画像制御手段１２は、この切り換えとほぼ同時に出力画像の更新を再開させ、カメラ２が撮像した画像が再びリアルタイムで表示部５に表示されるようにする。

図１８（Ｃ）は、上部旋回体６３が右方向に９０度旋回して停止したときに表示部５に表示される出力画像の状態を示す。また、図１８（Ｃ）は、図１８（Ａ）及び図１８（Ｂ）においてＣＧ画像７０から見て右斜め上方向にあった物体７１に対応する画像、及び、右斜め下方向にあった物体７２に対応する画像のそれぞれが、ＣＧ画像から見て左斜め上方向、右斜め上方向に移動した状態を示す。上部旋回体６３の旋回により物体７１及び物体７２と上部旋回体６３との間の位置関係が変化したためである。なお、破線で示すＣＧ画像は旋回停止直前の上部旋回体６３の配置を表し、破線で示す２つの矩形は出力画像の更新が再開される直前の物体７１及び物体７２のそれぞれに対応する画像の配置を表すが、何れも実際には表示されない。

次に、図１９を参照しながら、旋回時画像制御手段１２が上部旋回体６３の旋回時に出力画像の表示態様を制御する処理の別の一例（以下、「第二旋回時画像制御処理」とする。）について説明する。なお、図１９は、第二旋回時画像制御処理にしたがって上部旋回体６３の旋回時に表示部５に表示される出力画像の推移を示す図であり、図１８に対応する。また、旋回時画像制御手段１２は、ショベル６０が稼働中、所定周期で繰り返しこの第二旋回時画像制御処理を実行する。

図１９に示す第二旋回時画像制御処理は、下部走行体６１の前進方向を画面上方向に一致させる点で、第一旋回時画像制御処理と相違する。具体的には、下部走行体６１の向きと上部旋回体６３の旋回位置（旋回方向、旋回角度）に基づいて、画像処理により、下部走行体６１の前進方向を画面上方向に一致させるように出力画像を変換した上で表示部５に表示している。図１８に示す第一旋回時画像制御処理は、掘削アタッチメントＥの延在方向、すなわち、操作者の向きを画面上方向に一致させるためである。しかしながら、第二旋回時画像制御処理は、その他の点に関しては、第一旋回時画像制御処理と同様であるため、以下では相違点のみを詳細に説明する。

図１９（Ａ）は、上部旋回体６３の旋回が開始されていないときに表示部５に表示される出力画像の状態を示す。また、図１９（Ａ）は、ＣＧ画像７０から見て左斜め上方向に物体７３に対応する画像が存在し、ＣＧ画像７０から見て右斜め下方向に物体７４に対応する画像が存在する状態を示す。なお、領域Ｒ６は、カメラ２によって撮像されていない領域を示す。但し、画像生成装置１００は、ショベル６０の前方にもカメラが設置された構成を採用してもよい。その場合、領域Ｒ６は存在しない。

図１９（Ｂ）は、上部旋回体６３が右方向に９０度旋回するときに、表示部５に表示される出力画像の状態を示す。また、破線で示すＣＧ画像は、左斜め下方向を向いていたＣＧ画像７０が、９０度旋回後の状態に相当する左斜め上方向を向くＣＧ画像７０に推移することを表し、実際には表示されない。但し、ＣＧ画像表示制御手段１２１は、旋回開始前のＣＧ画像を旋回中のＣＧ画像７０とは別にそのまま表示させておいてもよい。旋回開始直後からの旋回角度をより分かり易く表示するためである。なお、ＣＧ画像の右方向（時計回り）の回転速度は、旋回状態検出手段１２０が検出した上部旋回体６３の右方向の旋回速度に一致するように調整される。出力画像を見た操作者が上部旋回体６３の旋回方向、旋回速度、旋回角度等を正確且つ容易に認識できるようにするためである。

また、図１９（Ｂ）は、出力画像更新制御手段１２２により出力画像の更新が停止されているため、図１９（Ａ）の状態と比べ、物体７３及び物体７４の位置が変化していないことを示す。

図１９（Ｃ）は、上部旋回体６３が右方向に９０度旋回して停止したときに表示部５に表示される出力画像の状態を示す。なお、破線で示す矩形は出力画像の更新が再開される直前の物体７３に対応する画像の配置を表すが、実際には表示されない。

また、図１９（Ｃ）は、ＣＧ画像７０から見て左斜め下方向にあった領域Ｒ６が左斜め上方向に移動した状態を示す。これは、第二旋回時画像制御処理では、下部走行体６１の前進方向が画面上方向に一致するよう、出力画像が制御されるためである。したがって、旋回状態検出手段１２０により上部旋回体６３の旋回の停止が検出された場合であっても、ＣＧ画像表示制御手段１２１は、ＣＧ画像７０を旋回開始前の状態に復帰させない。その結果、旋回状態検出手段１２０により上部旋回体６３の旋回の停止が検出され、出力画像更新制御手段１２２により出力画像の更新が再開されると、左斜め下方向にあった領域Ｒ６は、上部旋回体６３の旋回後の向きに合わせて、左斜め上方向に移動する。

以上の構成により、画像生成装置１００は、旋回時画像制御手段１２により上部旋回体６３の旋回に合わせて出力画像上のＣＧ画像７０を旋回させるので、旋回状態を操作者に容易に認識させることができ、操作者にとって見易い出力画像を生成することができる。

また、画像生成装置１００は、旋回時画像制御手段１２により上部旋回体６３の旋回中に出力画像の更新を停止させるので、旋回中に出力画像が旋回方向とは反対の方向に回転することによって操作者に違和感を抱かせてしまうのを防止することができる。

なお、旋回時画像制御手段１２は、画像処理により、旋回方向とは反対の方向への出力画像の回転を見かけ上相殺した上で、出力画像の更新を継続させてもよい。この場合、旋回時画像制御手段１２は、旋回中に出力画像が旋回方向とは反対の方向に回転するのを防止しながらも、リアルタイム画像を表示部５に表示させることができる。

また、画像生成装置１００は、旋回時画像制御手段１２により、上部旋回体６３の旋回方向、旋回速度、及び旋回角度に合わせて出力画像上のＣＧ画像７０を旋回させるので、旋回状態を操作者に正確に認識させることができる。

また、画像生成装置１００は、旋回状態検出手段１２０が旋回の停止を検出した場合に、ＣＧ画像表示制御手段１２１により、旋回させたＣＧ画像７０を旋回前の状態に復帰させた上で、出力画像更新制御手段１２２により、停止させた出力画像の更新を再開させる。その結果、画像生成装置１００は、上部旋回体６３の旋回が停止した後、操作者を混乱させることなく速やかにリアルタイム画像の表示を再開させることができる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述の実施例において、画像生成装置１００は、空間モデルとして円筒状の空間モデルＭＤを採用するが、多角柱等の他の柱状の形状を有する空間モデルを採用してもよく、底面及び側面の二面から構成される空間モデルを採用してもよく、或いは、側面のみを有する空間モデルを採用してもよい。

また、画像生成装置１００は、バケット、アーム、ブーム、旋回機構等の可動部材を備えながら自走する建設機械にカメラと共に搭載され、周囲画像をその運転者に提示しながらその建設機械の移動及びそれら可動部材の操作を支援する操作支援システムに組み込まれているが、産業用機械若しくは固定式クレーン等のように旋回動作可能な可動部材を有するが自走はしない他の被操作体にカメラと共に搭載され、それら他の被操作体の操作を支援する操作支援システムに組み入れられてもよい。

１・・・制御部 ２・・・カメラ ２Ｒ・・右側方カメラ ２Ｌ・・・左側方カメラ ２Ｂ・・後方カメラ ３・・・入力部 ４・・・記憶部 ５・・・表示部 １０・・・座標対応付け手段 １１・・・出力画像生成手段 １２・・・旋回時画像制御手段 ４０・・・入力画像・空間モデル対応マップ ４１・・・空間モデル・処理対象画像対応マップ ４２・・・処理対象画像・出力画像対応マップ ６０・・・ショベル ６１・・・下部走行体 ６２・・・旋回機構 ６３・・・上部旋回体 ６４・・・キャブ ７０・・・ＣＧ画像 ７１〜７４・・・物体 １２０・・・旋回状態検出手段 １２１・・・ＣＧ画像表示制御手段 １２２・・・出力画像更新制御手段

Claims (5)

1. 旋回動作可能な被操作体に取り付けられた撮像手段が撮像する入力画像に基づいて出力画像を生成する画像生成装置であって、
   前記被操作体の旋回状態を検出する旋回状態検出手段と、
   前記被操作体のＣＧ画像を前記出力画像上に重畳表示するＣＧ画像表示制御手段と、
   前記出力画像の更新状態を制御する出力画像更新制御手段と、を備え、
   前記旋回状態検出手段が旋回の開始を検出した場合に、前記出力画像更新制御手段は前記出力画像の更新を停止させ、前記ＣＧ画像表示制御手段は前記ＣＧ画像を前記出力画像上で旋回させる、
   ことを特徴とする画像生成装置。
2. 前記ＣＧ画像表示制御手段は、前記旋回状態検出手段が検出する旋回方向、旋回速度、及び旋回角度に応じて前記ＣＧ画像を前記出力画像上で旋回させる、
   ことを特徴とする請求項１に記載の画像生成装置。
3. 前記旋回状態検出手段が旋回の停止を検出した場合に、前記ＣＧ画像表示制御手段は旋回させた前記ＣＧ画像を旋回前の状態に復帰させ、前記出力画像更新制御手段は停止させた前記出力画像の更新を再開させる、
   ことを特徴とする請求項１又は２に記載の画像生成装置。
4. 被操作体の移動又は操作を支援する操作支援システムであって、
   請求項１乃至３の何れか一項に記載の画像生成装置と、
   前記被操作体を移動させ或いは操作するための操作室に設置され、該画像生成装置が生成する画像を表示する表示部と、
   を備えることを特徴とする操作支援システム。
5. 旋回動作可能な被操作体に取り付けられた撮像手段が撮像する入力画像に基づいて出力画像を生成する画像生成方法であって、
   前記被操作体の旋回状態を検出する旋回状態検出ステップと、
   前記被操作体のＣＧ画像を前記出力画像上に重畳表示するＣＧ画像表示制御ステップと、
   前記出力画像の更新状態を制御する出力画像更新制御ステップと、を備え、
   前記旋回状態検出ステップにおいて旋回の開始が検出された場合に、前記出力画像更新制御ステップにおいて前記出力画像の更新を停止させると共に、前記ＣＧ画像表示制御ステップにおいて前記ＣＧ画像を前記出力画像上で旋回させる、
   ことを特徴とする画像生成方法。