JP6073182B2 - 舗装機械用画像生成装置及び舗装機械用操作支援システム - Google Patents

Description

本発明は、舗装機械に取り付けられた複数のカメラが撮像した複数の入力画像に基づいて出力画像を生成する舗装機械用画像生成装置及びその装置を用いた舗装機械用操作支援システムに関する。

従来、ホッパ内部を撮像するカメラと、ホッパの左外側周辺部を撮像するカメラと、ホッパの右外側周辺部を撮像するカメラとを備えるアスファルトフィニッシャの運転者支援装置が知られている（例えば、特許文献１参照）。

特開２００９−１９３５３号公報

特許文献１のアスファルトフィニッシャは、車体幅方向に変位可能な運転席から視認できる位置に各カメラで撮像された映像を映し出すモニタを備える。そして、運転者支援装置は、車体幅方向における運転席の位置に応じてモニタに映し出される映像を自動的に切り換える。その結果、運転者支援装置は、運転席の位置に応じて変化する死角領域を運転者が容易に視認できるようにする。

しかしながら、特許文献１の運転者支援装置は、ホッパの周囲の死角領域を運転者が視認できるようにするのみであり、アスファルトフィニッシャの周囲にある他の死角領域を運転者に視認させることができない。そのため、特許文献１の運転者支援装置は、アスファルトフィニッシャの運転を支援するには不十分である。

上述の点に鑑み、本発明は、周囲の死角領域をより分かり易く提示する舗装機械用画像生成装置及び舗装機械用操作支援システムを提供することを目的とする。

上述の目的を達成するために、本発明の実施例に係る舗装機械用画像生成装置は、ホッパ部及びスクリード部を備える舗装機械に取り付けられた複数の撮像手段が撮像した入力画像に基づいて出力画像を生成する舗装機械用画像生成装置であって、前記舗装機械の周囲に配置される空間モデルにおける座標と、前記入力画像が位置する入力画像平面における座標とを対応付ける座標対応付け手段と、前記空間モデルにおける座標を介して、前記入力画像平面における座標の値と前記出力画像が位置する出力画像平面における座標の値とを対応付けて前記出力画像を生成する出力画像生成手段と、を備え、前記空間モデルは、前記ホッパ部の位置に対応し且つ路面より高い位置に設定される路面に平行なホッパ部平面領域を含み、前記出力画像生成手段は、前記出力画像における前記ホッパ部の画像と前記スクリード部の画像との大小関係を、実際の前記ホッパ部と前記スクリード部との大小関係に合わせる。

また、本発明の実施例に係る舗装機械用操作支援システムは、舗装機械の移動又は操作を支援する操作支援システムであって、上述の舗装機械用画像生成装置と、前記舗装機械を移動させ或いは操作するための操作部の周辺に設置され、該舗装機械用画像生成装置が生成する出力画像を表示する表示部と、を備える。

上述の手段により、本発明は、周囲の死角領域をより分かり易く提示する舗装機械用画像生成装置及び舗装機械用操作支援システムを提供することができる。

本発明に係る画像生成装置の構成例を概略的に示すブロック図である。 画像生成装置が搭載されるアスファルトフィニッシャの構成例を示す図である。 入力画像が投影される空間モデルの一例を示す図である。 図３の空間モデルと処理対象画像平面との間の関係の一例を示す図である。 入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。 座標対応付け手段による座標間の対応付けを説明するための図である。 平行線群の作用を説明するための図である。 補助線群の作用を説明するための図である。 処理対象画像生成処理及び出力画像生成処理の流れを示すフローチャートである。 出力画像の表示例（その１）である。 出力画像の表示例（その２）である。 出力画像の表示例（その３）である。 格子模様を生成する方法の一例を説明するための図である。 図１３の格子模様を出力画像平面上に配置した状態を示す図である。 格子模様形成処理の流れを示すフローチャートである。 出力画像の表示例（その４）である。 二つのカメラのそれぞれの撮像範囲の重複領域における物体の消失防止効果を説明するための図である。 図１６で示される出力画像と、図１６の出力画像に格子模様が適用された出力画像との違いを表す対比図である。 入力画像が投影される空間モデルの別の一例を示す図である。 図１９の空間モデルと処理対象画像平面との間の関係の一例を示す図である。 出力画像の表示例（その５）である。 出力画像の表示例（その６）である。

以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。

図１は、本発明に係る画像生成装置の構成例１００を概略的に示すブロック図である。

画像生成装置１００は、例えば、舗装機械に搭載されたカメラ２が撮像した入力画像に基づいて出力画像を生成しその出力画像を運転者に提示する装置である。本実施例では、画像生成装置１００は、舗装機械としてのアスファルトフィニッシャ６０に搭載され、主に、制御部１、カメラ２、入力部３、記憶部４、及び表示部５で構成される。

図２は、画像生成装置１００が搭載されるアスファルトフィニッシャ６０の構成例を示す図であり、図２（Ａ）が左側面図を示し、図２（Ｂ）が上面図を示し、図２（Ｃ）が後面図を示す。

アスファルトフィニッシャ６０は、主に、トラクタ部６１、ホッパ部６２、及びスクリード部６３で構成される。

トラクタ部６１は、アスファルトフィニッシャ６０を走行させるための機構である。本実施例では、トラクタ部６１は、走行用油圧モータを用いて４つのホイールを回転させてアスファルトフィニッシャ６０を移動させる。走行用油圧モータ（図示せず。）は、ディーゼルエンジン等の原動機（図示せず。）が駆動する油圧ポンプ（図示せず。）から作動油の供給を受けて回転する。また、トラクタ部６１の上部には運転席６４及び操作部６５を含むキャブが配置される。

また、トラクタ部６１には、右側部、左側部、及び前部にカメラ２（右側部カメラ２Ｒ、左側部カメラ２Ｌ、前部カメラ２Ｆ）が取り付けられる。なお、キャブ内の運転者が視認し易い位置には表示部５が設置される。また、本実施例では、トラクタ部６１から見たホッパ部６２の方向を前方とし、トラクタ部６１から見たスクリード部６３の方向を後方とする。

ホッパ部６２は、アスファルト合材を受け入れるための機構であり、本実施例では、油圧シリンダ（図示せず。）によって車幅方向に開閉可能に構成される。アスファルトフィニッシャ６０は、通常、ホッパ部６２を全開状態にしてダンプカー（図示せず。）の荷台からアスファルト合材を受け入れる。なお、図２は、ホッパ部６２が全開状態であることを示す。そして、ホッパ部６２内のアスファルト合材が減少するとホッパ部６２を閉じ、ホッパ部６２の内壁付近にあったアスファルト合材をホッパ部６２の中央部に集めてスクリード部６３に給送できるようにする。

スクリード部６３は、アスファルト合材を敷き均すための機構であり、本実施例では、油圧シリンダ（図示せず。）によって、鉛直方向に昇降可能に、且つ、車幅方向に伸縮可能に構成される。具体的には、スクリード部６３の幅は、車幅方向に伸長された場合に、トラクタ部６１の幅より大きい。

次に、画像生成装置１００の各構成要素について説明する。

制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を備えたコンピュータであって、例えば、後述する座標対応付け手段１０及び出力画像生成手段１１のそれぞれに対応するプログラムをＲＯＭやＮＶＲＡＭに記憶し、一時記憶領域としてＲＡＭを利用しながら各手段に対応する処理をＣＰＵに実行させる。

カメラ２は、アスファルトフィニッシャ６０の周辺を映し出す入力画像を取得するための装置であり、例えば、キャブにいる運転者の死角領域を撮像できるようトラクタ部６１に取り付けられる。

死角領域は、例えば、ホッパ部６２の内部空間（特に、トラクタ部６１に近い部分）、ホッパ部６２を閉じたときのホッパ部６２の前端の左右隅部の外側の空間、アスファルトフィニッシャ６０の左右の側部近辺の路面に近い空間（特に、車幅方向でキャブの反対側にある空間であり、例えば、本実施例のようにキャブが車幅方向右側に設置されている場合にはアスファルトフィニッシャ６０の左側部近辺の路面に近い空間である。）等を含む。

また、カメラ２は、トラクタ部６１の右側部、左側部、及び前部以外の位置（例えば、後部である。）に取り付けられていてもよく、広い範囲を撮像できるよう広角レンズ又は魚眼レンズが装着されていてもよい。また、カメラ２は、ホッパ部６２に取り付けられてもよく、スクリード部６３に取り付けられてもよい。

本実施例では、カメラ２は、前部カメラ２Ｆ、左側部カメラ２Ｌ、及び右側部カメラ２Ｒを含む。前部カメラ２Ｆは、図２（Ａ）及び図２（Ｂ）に示すように、トラクタ部６１の前部上端に取り付けられ、その光軸２ＦＸが進行方向前方に延び、且つ、路面との間に側面視で角度α（例えば６５度である。）を形成するように取り付けられる。また、左側部カメラ２Ｌは、図２（Ａ）〜図２（Ｃ）に示すように、トラクタ部６１の左側部上端に取り付けられ、その光軸２ＬＸが、トラクタ部６１の左側面との間に上面視で角度β（例えば７０度である。）を形成し、且つ、路面との間に背面視で角度γを形成するように取り付けられる。右側部カメラ２Ｒは、左右を逆にして、左側部カメラ２Ｌと同様に取り付けられる。なお、図２（Ｂ）の破線で囲まれる領域２ＦＡは、前部カメラ２Ｆの撮像範囲を示し、一点鎖線で囲まれる領域２ＬＡは、左側部カメラ２Ｌの撮像範囲を示し、二点鎖線で囲まれる領域２ＲＡは、右側部カメラ２Ｒの撮像範囲を示す。

また、カメラ２は、トラクタ部６１から延びる取り付け用ステーに取り付けられてもよく、取り付け用ステーを介さずにトラクタ部６１に直接的に取り付けられてもよく、トラクタ部６１に埋め込まれてもよい。

また、カメラ２は、制御部１からの制御信号に応じて入力画像を取得し、取得した入力画像を制御部１に対して出力する。なお、カメラ２は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力画像を制御部１に対して出力してもよく、その見掛け上の歪曲やアオリを補正していない入力画像をそのまま制御部１に対して出力してもよい。そのまま出力した場合には、制御部１がその見掛け上の歪曲やアオリを補正する。

このようにして、カメラ２は、アスファルトフィニッシャ６０の左側方及び右側方並びにホッパ部６２の内部及び周辺にある複数の死角領域を含む連続する領域がその撮像範囲に含まれるように入力画像を取得する。

入力部３は、運転者を含む操作者が画像生成装置１００に対して各種情報を入力できるようにするための装置であり、例えば、タッチパネル、ボタンスイッチ等である。

記憶部４は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。

表示部５は、画像情報を表示するための装置であり、例えば、キャブ内に設置された液晶ディスプレイ等であって、制御部１が出力する各種画像を表示する。

また、画像生成装置１００は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施すことによって周辺障害物との位置関係や距離感を直感的に把握できるようにする出力画像を生成した上で、その出力画像を操作者に提示するようにしてもよい。

「処理対象画像」は、入力画像に基づいて生成される、画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）の対象となる画像であり、例えば、地表を上方から撮像するカメラによる入力画像であってその広い画角により水平方向の画像（例えば、空の部分である。）を含む入力画像を画像変換処理で用いる場合に、その水平方向の画像が不自然に表示されないよう（例えば、空の部分が地表にあるものとして扱われないよう）その入力画像を所定の空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる、画像変換処理に適した画像である。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。

「空間モデル」は、少なくとも、処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面（例えば、処理対象画像平面に平行な平面、又は、処理対象画像平面との間で角度を形成する平面若しくは曲面である。）を含む、一又は複数の平面若しくは曲面で構成される、入力画像の投影対象である。

なお、画像生成装置１００は、処理対象画像を生成することなく、その空間モデルに投影された投影画像に画像変換処理を施すことによって出力画像を生成するようにしてもよい。また、投影画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。

図３は、入力画像が投影される空間モデルＭＤの一例を示す図であり、図３（Ａ）は、アスファルトフィニッシャ６０を左側方から見たときのアスファルトフィニッシャ６０と空間モデルＭＤとの間の関係を示し、図３（Ｂ）は、アスファルトフィニッシャ６０を上方から見たときのアスファルトフィニッシャ６０と空間モデルＭＤとの間の関係を示し、図３（Ｃ）は、アスファルトフィニッシャ６０を後方から見たときのアスファルトフィニッシャ６０と空間モデルＭＤとの間の関係を示す。

図３で示されるように、空間モデルＭＤは、路面に平行な第１平面領域Ｒ１と、路面と交差する第２平面領域Ｒ２とを有する。

第１平面領域Ｒ１は、主に、視点変換処理によって路面画像（撮像範囲を上から見た画像）を生成するために用いられる入力画像投影対象である。本実施例では、図３（Ａ）及び図３（Ｃ）に示すように、第１平面領域Ｒ１は、路面から距離Ｄ１（例えば１２００ｍｍである。）の高さに設定される。これは、ホッパ部６２の画像（以下、「ホッパ部画像」とする。）を含む入力画像から路面画像を生成する際にそのホッパ部画像が過度に大きく表示されてしまいその路面画像を見た操作者に違和感を抱かせてしまうのを防止するためである。具体的には、視点変換処理によって生成される路面画像は、実際の三次元空間において第１平面領域Ｒ１の高さより高い位置にある物体を大きく表示し、第１平面領域Ｒ１の高さより低い位置にある物体を小さく表示する傾向を有する。そのため、視点変換処理によって生成される路面画像では、第１平面領域Ｒ１の高さを路面と同じ高さとした場合には、路面から所定の高さ（以下、「ホッパ部高さ」とする。）にあるホッパ部６２の画像が必要以上に大きく表示される。一方で、視点変換処理によって生成される路面画像は、第１平面領域Ｒ１の高さをホッパ部高さと同じ高さとした場合には、ホッパ部画像を必要以上に大きくすることなく表示できる。この場合、ホッパ部高さより低い位置にある物体は小さく表示されるが、そのホッパ部６２の周辺の路面画像を見た操作者に違和感を抱かせてしまうことはない。但し、第１平面領域Ｒ１は、路面と同じ高さに設置されてもよい。

第２平面領域Ｒ２は、主に、視点変換処理によって遠景画像（前部カメラ２Ｆ側からアスファルトフィニッシャ６０の進行方向を見たときの画像）を生成するために用いられる入力画像投影対象である。また、第２平面領域Ｒ２は、アスファルトフィニッシャ６０の進行方向前端に配置される。本実施例では、第２平面領域Ｒ２は、ホッパ部６２の前端のところに設定される。また、第２平面領域Ｒ２は、路面に対して垂直に、且つ、アスファルトフィニッシャ６０の進行方向に対して垂直に設定される。ホッパ部６２の画像が第１平面領域Ｒ１に投影されるようにするためである。具体的には、ホッパ部６２の内部を上から見たときの画像と、ホッパ部６２の外側前方を横（後方）から見たときの画像とを操作者が視認できるようにするためである。

また、図４は、空間モデルＭＤと処理対象画像平面との間の関係の一例を示す図であり、処理対象画像平面Ｒ３は、例えば、空間モデルＭＤの第１平面領域Ｒ１を含む平面である。

次に、制御部１が有する各種手段について説明する。

座標対応付け手段１０は、カメラ２が撮像した入力画像が位置する入力画像平面上の座標と、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付けるための手段であり、例えば、予め設定された、或いは、入力部３を介して入力される、カメラ２の光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等のカメラ２に関する各種パラメータと、予め決定された、入力画像平面、空間モデルＭＤ、及び処理対象画像平面Ｒ３の相互の位置関係とに基づいて、入力画像平面上の座標と、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、それらの対応関係を記憶部４の入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１に記憶する。

なお、座標対応付け手段１０は、処理対象画像を生成しない場合には、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標との対応付け、及び、その対応関係の空間モデル・処理対象画像対応マップ４１への記憶を省略する。

出力画像生成手段１１は、出力画像を生成するための手段であり、例えば、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって、処理対象画像平面Ｒ３上の座標と出力画像が位置する出力画像平面上の座標とを対応付け、その対応関係を記憶部４の処理対象画像・出力画像対応マップ４２に記憶し、座標対応付け手段１０がその値を記憶した入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）と入力画像における各画素の値とを関連付けて出力画像を生成する。

また、出力画像生成手段１１は、予め設定された、或いは、入力部３を介して入力される、仮想カメラの光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等の各種パラメータに基づいて、処理対象画像平面Ｒ３上の座標と出力画像が位置する出力画像平面上の座標とを対応付け、その対応関係を記憶部４の処理対象画像・出力画像対応マップ４２に記憶し、座標対応付け手段１０がその値を記憶した入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）と入力画像における各画素の値とを関連付けて出力画像を生成する。

なお、出力画像生成手段１１は、仮想カメラの概念を用いることなく、処理対象画像のスケールを変更して出力画像を生成するようにしてもよい。

また、出力画像生成手段１１は、処理対象画像を生成しない場合には、施した画像変換処理に応じて空間モデルＭＤ上の座標と出力画像平面上の座標とを対応付け、入力画像・空間モデル対応マップ４０を参照しながら、出力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）と入力画像における各画素の値とを関連付けて出力画像を生成する。この場合、出力画像生成手段１１は、処理対象画像平面Ｒ３上の座標と出力画像平面上の座標との対応付け、及び、その対応関係の処理対象画像・出力画像対応マップ４２への記憶を省略する。

次に、座標対応付け手段１０及び出力画像生成手段１１による具体的な処理の一例について説明する。

座標対応付け手段１０は、例えば、ハミルトンの四元数を用いて、入力画像平面上の座標と空間モデル上の座標とを対応付けることができる。

図５は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図であり、カメラ２の入力画像平面は、カメラ２の光学中心Ｃを原点とするＵＶＷ直交座標系における一平面として表され、空間モデルは、ＸＹＺ直交座標系における立体面として表されるものとする。

最初に、座標対応付け手段１０は、空間モデル上の座標（ＸＹＺ座標系上の座標）を入力画像平面上の座標（ＵＶＷ座標系上の座標）に変換するため、ＸＹＺ座標系の原点を光学中心Ｃ（ＵＶＷ座標系の原点）に並行移動させた上で、Ｘ軸をＵ軸に、Ｙ軸をＶ軸に、Ｚ軸を−Ｗ軸（符号「−」は方向が逆であることを意味する。これは、ＵＶＷ座標系がカメラ前方を＋Ｗ方向とし、ＸＹＺ座標系が鉛直下方を−Ｚ方向としていることに起因する。）にそれぞれ一致させるようＸＹＺ座標系を回転させる。

なお、カメラ２が複数存在する場合、カメラ２のそれぞれが個別のＵＶＷ座標系を有することとなるので、座標対応付け手段１０は、複数のＵＶＷ座標系のそれぞれに対して、ＸＹＺ座標系を並行移動させ且つ回転させることとなる。

上述の変換は、カメラ２の光学中心ＣがＸＹＺ座標系の原点となるようにＸＹＺ座標系を並行移動させた後に、Ｚ軸が−Ｗ軸に一致するよう回転させ、更に、Ｘ軸がＵ軸に一致するよう回転させることによって実現されるので、座標対応付け手段１０は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。

ところで、あるベクトルＡを別のベクトルＢに一致させるための回転は、ベクトルＡとベクトルＢとが張る面の法線を軸としてベクトルＡとベクトルＢとが形成する角度だけ回転させる処理に相当し、その角度をθとすると、ベクトルＡとベクトルＢとの内積から、角度θは、

で表されることとなる。

また、ベクトルＡとベクトルＢとが張る面の法線の単位ベクトルＮは、ベクトルＡとベクトルＢとの外積から

で表されることとなる。

なお、四元数は、ｉ、ｊ、ｋをそれぞれ虚数単位とした場合、

を満たす超複素数であり、本実施例において、四元数Ｑは、実成分をｔ、純虚成分をａ、ｂ、ｃとして、

で表されるものとし、四元数Ｑの共役四元数は、

で表されるものとする。

四元数Ｑは、実成分ｔを０（ゼロ）としながら、純虚成分ａ、ｂ、ｃで三次元ベクトル（ａ，ｂ，ｃ）を表現することができ、また、ｔ、ａ、ｂ、ｃの各成分により任意のベクトルを軸とした回転動作を表現することもできる。

更に、四元数Ｑは、連続する複数回の回転動作を統合して一回の回転動作として表現することができ、例えば、任意の点Ｓ（ｓｘ，ｓｙ，ｓｚ）を、任意の単位ベクトルＣ（ｌ，ｍ，ｎ）を軸としながら角度θだけ回転させたときの点Ｄ（ｅｘ，ｅｙ，ｅｚ）を以下のように表現することができる。

ここで、本実施例において、Ｚ軸を−Ｗ軸に一致させる回転を表す四元数をＱｚとすると、ＸＹＺ座標系におけるＸ軸上の点Ｘは、点Ｘ'に移動させられるので、点Ｘ'は、

で表されることとなる。

また、本実施例において、Ｘ軸上にある点Ｘ'と原点とを結ぶ線をＵ軸に一致させる回転を表す四元数をＱｘとすると、「Ｚ軸を−Ｗ軸に一致させ、更に、Ｘ軸をＵ軸に一致させる回転」を表す四元数Ｒは、

で表されることとなる。

以上により、空間モデル（ＸＹＺ座標系）上の任意の座標Ｐを入力画像平面（ＵＶＷ座標系）上の座標で表現したときの座標Ｐ'は、

で表されることとなり、四元数Ｒがカメラ２のそれぞれで不変であることから、座標対応付け手段１０は、以後、この演算を実行するだけで空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換することができる。

空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換した後、座標対応付け手段１０は、カメラ２の光学中心Ｃ（ＵＶＷ座標系上の座標）と空間モデル上の任意の座標ＰをＵＶＷ座標系で表した座標Ｐ'とを結ぶ線分ＣＰ'と、カメラ２の光軸Ｇとが形成する入射角αを算出する。

また、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４（例えば、ＣＣＤ面）に平行で且つ座標Ｐ'を含む平面Ｈにおける、平面Ｈと光軸Ｇとの交点Ｅと座標Ｐ'とを結ぶ線分ＥＰ'と、平面ＨにおけるＵ'軸とが形成する偏角φ、及び線分ＥＰ'の長さを算出する。

カメラの光学系は、通常、像高さｈが入射角α及び焦点距離ｆの関数となっているので、座標対応付け手段１０は、通常射影（ｈ＝ｆｔａｎα）、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等の適切な射影方式を選択して像高さｈを算出する。

その後、座標対応付け手段１０は、算出した像高さｈを偏角φによりＵＶ座標系上のＵ成分及びＶ成分に分解し、入力画像平面Ｒ４の一画素当たりの画素サイズに相当する数値で除算することにより、空間モデルＭＤ上の座標Ｐ（Ｐ'）と入力画像平面Ｒ４上の座標とを対応付けることができる。

なお、入力画像平面Ｒ４のＵ軸方向における一画素当たりの画素サイズをａ_Ｕとし、入力画像平面Ｒ４のＶ軸方向における一画素当たりの画素サイズをａ_Ｖとすると、空間モデルＭＤ上の座標Ｐ（Ｐ'）に対応する入力画像平面Ｒ４上の座標（ｕ，ｖ）は、

このようにして、座標対応付け手段１０は、空間モデルＭＤ上の座標と、カメラ毎に存在する一又は複数の入力画像平面Ｒ４上の座標とを対応付け、空間モデルＭＤ上の座標、カメラ識別子、及び入力画像平面Ｒ４上の座標を関連付けて入力画像・空間モデル対応マップ４０に記憶する。

また、座標対応付け手段１０は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、座標対応付け手段１０は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。

なお、複数の入力画像平面Ｒ４上の座標への対応付けが可能な場合、座標対応付け手段１０は、空間モデルＭＤ上の座標Ｐ（Ｐ'）を、その入射角αが最も小さいカメラに関する入力画像平面Ｒ４上の座標に対応付けるようにしてもよく、操作者が選択した入力画像平面Ｒ４上の座標に対応付けるようにしてもよい。

次に、空間モデルＭＤ上の座標のうち、第２平面領域Ｒ２上の座標（Ｚ軸方向の成分を持つ座標）を、ＸＹ平面上にある処理対象画像平面Ｒ３に再投影する処理について説明する。

図６は、座標対応付け手段１０による座標間の対応付けを説明するための図であり、図６（Ａ）は、一例として通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との間の対応関係を示す図であって、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４上の座標とその座標に対応する空間モデルＭＤ上の座標とを結ぶ線分のそれぞれがカメラ２の光学中心Ｃを通過するようにして、両座標を対応付ける。

図６（Ａ）の例では、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４上の座標Ｋ１を空間モデルＭＤの第１平面領域Ｒ１上の座標Ｌ１に対応付け、カメラ２の入力画像平面Ｒ４上の座標Ｋ２を空間モデルＭＤの第２平面領域Ｒ２上の座標Ｌ２に対応付ける。このとき、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２は共にカメラ２の光学中心Ｃを通過する。

なお、カメラ２が通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、座標対応付け手段１０は、それぞれの射影方式に応じて、カメラ２の入力画像平面Ｒ４上の座標Ｋ１、Ｋ２を空間モデルＭＤ上の座標Ｌ１、Ｌ２に対応付けるようにする。

具体的には、座標対応付け手段１０は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標とを対応付ける。この場合、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２がカメラ２の光学中心Ｃを通過することはない。

図６（Ｂ）は、空間モデルＭＤの第２平面領域Ｒ２上の座標と処理対象画像平面Ｒ３上の座標との間の対応関係を示す図であり、座標対応付け手段１０は、ＸＺ平面上に位置する平行線群ＰＬであって、処理対象画像平面Ｒ３との間で角度βを形成する平行線群ＰＬを導入し、空間モデルＭＤの第２平面領域Ｒ２上の座標とその座標に対応する処理対象画像平面Ｒ３上の座標とが共に平行線群ＰＬのうちの一つに乗るようにして、両座標を対応付ける。

図６（Ｂ）の例では、座標対応付け手段１０は、空間モデルＭＤの第２平面領域Ｒ２上の座標Ｌ２と処理対象画像平面Ｒ３上の座標Ｍ２とが共通の平行線に乗るとして、両座標を対応付けるようにする。

なお、座標対応付け手段１０は、空間モデルＭＤの第１平面領域Ｒ１上の座標を第２平面領域Ｒ２上の座標と同様に平行線群ＰＬを用いて処理対象画像平面Ｒ３上の座標に対応付けることが可能であるが、図６（Ｂ）の例では、第１平面領域Ｒ１と処理対象画像平面Ｒ３とが共通の平面となっているので、空間モデルＭＤの第１平面領域Ｒ１上の座標Ｌ１と処理対象画像平面Ｒ３上の座標Ｍ１とは同じ座標値を有するものとなっている。

このようにして、座標対応付け手段１０は、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、空間モデルＭＤ上の座標及び処理対象画像Ｒ３上の座標を関連付けて空間モデル・処理対象画像対応マップ４１に記憶する。

図６（Ｃ）は、処理対象画像平面Ｒ３上の座標と一例として通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖの出力画像平面Ｒ５上の座標との間の対応関係を示す図であり、出力画像生成手段１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標とその座標に対応する処理対象画像平面Ｒ３上の座標とを結ぶ線分のそれぞれが仮想カメラ２Ｖの光学中心ＣＶを通過するようにして、両座標を対応付ける。

図６（Ｃ）の例では、出力画像生成手段１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１を処理対象画像平面Ｒ３（空間モデルＭＤの第１平面領域Ｒ１）上の座標Ｍ１に対応付け、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ２を処理対象画像平面Ｒ３上の座標Ｍ２に対応付ける。このとき、線分Ｍ１−Ｎ１及び線分Ｍ２−Ｎ２は共に仮想カメラ２Ｖの光学中心ＣＶを通過する。

なお、仮想カメラ２Ｖが通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、出力画像生成手段１１は、それぞれの射影方式に応じて、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１、Ｎ２を処理対象画像平面Ｒ３上の座標Ｍ１、Ｍ２に対応付けるようにする。

具体的には、出力画像生成手段１１は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、出力画像平面Ｒ５上の座標と処理対象画像平面Ｒ３上の座標とを対応付ける。この場合、線分Ｍ１−Ｎ１及び線分Ｍ２−Ｎ２が仮想カメラ２Ｖの光学中心ＣＶを通過することはない。

このようにして、出力画像生成手段１１は、出力画像平面Ｒ５上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、出力画像平面Ｒ５上の座標及び処理対象画像Ｒ３上の座標を関連付けて処理対象画像・出力画像対応マップ４２に記憶し、座標対応付け手段１０が記憶した入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。

なお、図６（Ｄ）は、図６（Ａ）〜図６（Ｃ）を組み合わせた図であり、カメラ２、仮想カメラ２Ｖ、空間モデルＭＤの第１平面領域Ｒ１及び第２平面領域Ｒ２、並びに、処理対象画像平面Ｒ３の相互の位置関係を示す。

次に、図７を参照しながら、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標とを対応付けるために座標対応付け手段１０が導入する平行線群ＰＬの作用について説明する。

図７（Ａ）は、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度βが形成される場合の図であり、図７（Ｂ）は、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度β１（β１＞β）が形成される場合の図である。また、図７（Ａ）及び図７（Ｂ）における空間モデルＭＤの第２平面領域Ｒ２上の座標Ｌａ〜Ｌｄのそれぞれは、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれに対応するものとし、図７（Ａ）における座標Ｌａ〜Ｌｄのそれぞれの間隔は、図７（Ｂ）における座標Ｌａ〜Ｌｄのそれぞれの間隔と等しいものとする。なお、平行線群ＰＬは、説明目的のためにＸＺ平面上に存在するものとしているが、実際には、Ｚ軸上の全ての点から処理対象画像平面Ｒ３に向かって放射状に延びるように存在するものとする。なお、この場合のＺ軸を「再投影軸」と称することとする。

図７（Ａ）及び図７（Ｂ）で示されるように、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれの間隔は、平行線群ＰＬと処理対象画像平面Ｒ３との間の角度が増大するにつれて線形的に減少する（空間モデルＭＤの第２平面領域Ｒ２と座標Ｍａ〜Ｍｄのそれぞれとの間の距離とは関係なく一様に減少する。）。一方で、空間モデルＭＤの第１平面領域Ｒ１上の座標群は、図７の例では、処理対象画像平面Ｒ３上の座標群への変換が行われないので、座標群の間隔が変化することはない。

これら座標群の間隔の変化は、出力画像平面Ｒ５（図６参照。）上の画像部分のうち、空間モデルＭＤの第２平面領域Ｒ２に投影された画像に対応する画像部分のみが線形的に拡大或いは縮小されることを意味する。

次に、図８を参照しながら、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標とを対応付けるために座標対応付け手段１０が導入する平行線群ＰＬの代替例について説明する。

図８（Ａ）は、ＸＺ平面上に位置する補助線群ＡＬの全てがＺ軸上の始点Ｔ１から処理対象画像平面Ｒ３に向かって延びる場合の図であり、図８（Ｂ）は、補助線群ＡＬの全てがＺ軸上の始点Ｔ２（Ｔ２＞Ｔ１）から処理対象画像平面Ｒ３に向かって延びる場合の図である。また、図８（Ａ）及び図８（Ｂ）における空間モデルＭＤの第２平面領域Ｒ２上の座標Ｌａ〜Ｌｄのそれぞれは、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれに対応するものとし（図８（Ａ）の例では、座標Ｍｃ、Ｍｄは、処理対象画像平面Ｒ３の領域外となるため図示されていない。）、図８（Ａ）における座標Ｌａ〜Ｌｄのそれぞれの間隔は、図８（Ｂ）における座標Ｌａ〜Ｌｄのそれぞれの間隔と等しいものとする。なお、補助線群ＡＬは、説明目的のためにＸＺ平面上に存在するものとしているが、実際には、Ｚ軸上の任意の一点から処理対象画像平面Ｒ３に向かって放射状に延びるように存在するものとする。なお、図７と同様、この場合のＺ軸を「再投影軸」と称することとする。

図８（Ａ）及び図８（Ｂ）で示されるように、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれの間隔は、補助線群ＡＬの始点と原点Ｏとの間の距離（高さ）が増大するにつれて非線形的に減少する（空間モデルＭＤの第２平面領域Ｒ２と座標Ｍａ〜Ｍｄのそれぞれとの間の距離が大きいほど、それぞれの間隔の減少幅が大きくなる。）。一方で、空間モデルＭＤの第１平面領域Ｒ１上の座標群は、図８の例では、処理対象画像平面Ｒ３上の座標群への変換が行われないので、座標群の間隔が変化することはない。

これら座標群の間隔の変化は、平行線群ＰＬのときと同様、出力画像平面Ｒ５（図６参照。）上の画像部分のうち、空間モデルＭＤの第２平面領域Ｒ２に投影された画像に対応する画像部分のみが非線形的に拡大或いは縮小されることを意味する。

このようにして、画像生成装置１００は、空間モデルＭＤの第１平面領域Ｒ１に投影された画像に対応する出力画像の画像部分（例えば、路面画像である。）に影響を与えることなく、空間モデルＭＤの第２平面領域Ｒ２に投影された画像に対応する出力画像の画像部分（例えば、遠景画像である。）を線形的に或いは非線形的に拡大或いは縮小させることができるので、アスファルトフィニッシャ６０の左右の近傍の路面画像（アスファルトフィニッシャ６０を真上から見たときの仮想画像）に影響を与えることなく、アスファルトフィニッシャ６０の前方に位置する物体（アスファルトフィニッシャ６０から水平方向に前方を見たときの画像における物体）を迅速且つ柔軟に拡大或いは縮小させることができ、アスファルトフィニッシャ６０の死角領域の視認性を向上させることができる。

次に、図９を参照しながら、画像生成装置１００が処理対象画像を生成する処理（以下、「処理対象画像生成処理」とする。）、及び、生成した処理対象画像を用いて出力画像を生成する処理（以下、「出力画像生成処理」とする。）について説明する。なお、図９は、処理対象画像生成処理（ステップＳ１〜ステップＳ３）及び出力画像生成処理（ステップＳ４〜ステップＳ６）の流れを示すフローチャートである。また、カメラ２（入力画像平面Ｒ４）、空間モデルＭＤ（第１平面領域Ｒ１及び第２平面領域Ｒ２）、並びに、処理対象画像平面Ｒ３の配置は予め決定されているものとする。また、画像生成装置１００は、カメラ２が入力画像を取得する度に、処理対象画像生成処理及び出力画像生成処理を実行する。

最初に、制御部１は、座標対応付け手段１０により、処理対象画像平面Ｒ３上の座標と空間モデルＭＤ上の座標とを対応付ける（ステップＳ１）。

具体的には、座標対応付け手段１０は、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度を取得し、処理対象画像平面Ｒ３上の一座標から延びる平行線群ＰＬの一つが空間モデルＭＤの第２平面領域Ｒ２と交差する点を算出し、算出した点に対応する第２平面領域Ｒ２上の座標を、処理対象画像平面Ｒ３上のその一座標に対応する第２平面領域Ｒ２上の一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ４１に記憶する。なお、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度は、記憶部４等に予め記憶された値であってもよく、入力部３を介して操作者が動的に入力する値であってもよい。

また、座標対応付け手段１０は、処理対象画像平面Ｒ３上の一座標が空間モデルＭＤの第１平面領域Ｒ１上の一座標と一致する場合には、第１平面領域Ｒ１上のその一座標を、処理対象画像平面Ｒ３上のその一座標に対応する一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ４１に記憶する。

その後、制御部１は、座標対応付け手段１０により、上述の処理によって導き出された空間モデルＭＤ上の一座標と入力画像平面Ｒ４上の座標とを対応付ける（ステップＳ２）。

具体的には、座標対応付け手段１０は、通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の光学中心Ｃの座標を取得し、空間モデルＭＤ上の一座標から延びる線分であり、光学中心Ｃを通過する線分が入力画像平面Ｒ４と交差する点を算出し、算出した点に対応する入力画像平面Ｒ４上の座標を、空間モデルＭＤ上のその一座標に対応する入力画像平面Ｒ４上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ４０に記憶する。

その後、制御部１は、処理対象画像平面Ｒ３上の全ての座標を空間モデルＭＤ上の座標及び入力画像平面Ｒ４上の座標に対応付けたか否かを判定し（ステップＳ３）、未だ全ての座標を対応付けていないと判定した場合には（ステップＳ３のＮＯ）、ステップＳ１及びステップＳ２の処理を繰り返すようにする。

一方、制御部１は、全ての座標を対応付けたと判定した場合には（ステップＳ３のＹＥＳ）、処理対象画像生成処理を終了させた上で出力画像生成処理を開始させ、出力画像生成手段１１により、処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標とを対応付ける（ステップＳ４）。

具体的には、出力画像生成手段１１は、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって出力画像を生成し、施したスケール変換、アフィン変換、又は歪曲変換の内容によって定まる、処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標との間の対応関係を処理対象画像・出力画像対応マップ４２に記憶する。

或いは、出力画像生成手段１１は、仮想カメラ２Ｖを用いて出力画像を生成する場合には、採用した射影方式に応じて処理対象画像平面Ｒ３上の座標から出力画像平面Ｒ５上の座標を算出し、その対応関係を処理対象画像・出力画像対応マップ４２に記憶するようにしてもよい。

或いは、出力画像生成手段１１は、通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖを用いて出力画像を生成する場合には、その仮想カメラ２Ｖの光学中心ＣＶの座標を取得した上で、出力画像平面Ｒ５上の一座標から延びる線分であり、光学中心ＣＶを通過する線分が処理対象画像平面Ｒ３と交差する点を算出し、算出した点に対応する処理対象画像平面Ｒ３上の座標を、出力画像平面Ｒ５上のその一座標に対応する処理対象画像平面Ｒ３上の一座標として導き出し、その対応関係を処理対象画像・出力画像対応マップ４２に記憶するようにしてもよい。

その後、制御部１は、出力画像生成手段１１により、入力画像・空間モデル対応マップ４０、空間モデル・処理対象画像対応マップ４１、及び処理対象画像・出力画像対応マップ４２を参照しながら入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との対応関係、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標との対応関係、及び処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標との対応関係を辿り、出力画像平面Ｒ５上の各座標に対応する入力画像平面Ｒ４上の座標が有する値（例えば、輝度値、色相値、彩度値等である。）を取得し、その取得した値を、対応する出力画像平面Ｒ５上の各座標の値として採用する（ステップＳ５）。なお、出力画像平面Ｒ５上の一座標に対して複数の入力画像平面Ｒ４上の複数の座標が対応する場合、出力画像生成手段１１は、それら複数の入力画像平面Ｒ４上の複数の座標のそれぞれの値に基づく統計値（例えば、平均値、最大値、最小値、中間値等である。）を導き出し、出力画像平面Ｒ５上のその一座標の値としてその統計値を採用するようにしてもよい。

その後、制御部１は、出力画像平面Ｒ５上の全ての座標の値を入力画像平面Ｒ４上の座標の値に対応付けたか否かを判定し（ステップＳ６）、未だ全ての座標の値を対応付けていないと判定した場合には（ステップＳ６のＮＯ）、ステップＳ４及びステップＳ５の処理を繰り返すようにする。

一方、制御部１は、全ての座標の値を対応付けたと判定した場合には（ステップＳ６のＹＥＳ）、出力画像を生成して、この一連の処理を終了させる。

なお、画像生成装置１００は、処理対象画像を生成しない場合には、処理対象画像生成処理を省略し、出力画像生成処理におけるステップＳ４の"処理対象画像平面上の座標"を"空間モデル上の座標"で読み替えるものとする。

以上の構成により、画像生成装置１００は、複数のカメラが取得する入力画像を合成して、アスファルトフィニッシャ６０と作業員等を含む周辺障害物との位置関係を操作者に直感的に把握させることが可能な処理対象画像及び出力画像を生成することができる。

また、画像生成装置１００は、ホッパ部６２の全部、及び、スクリード部６３の左右端を含む連続する領域を上から見た路面画像を出力画像の一部として表示する。これにより、操作者は、運転席６４から離れることなく、アスファルトフィニッシャ６０の周囲にある死角領域を視認することができる。その結果、画像生成装置１００は、アスファルトフィニッシャ６０の安全性及び操作性を向上させることができる。具体的には、画像生成装置１００は、ホッパ部６２内のアスファルト合材の残量、舗装予定の路面における地物（例えば、マンホールである。）の位置等を操作者に提示できる。また、画像生成装置１００は、アスファルトフィニッシャ６０の周辺で作業する作業員の位置を操作者に提示できる。そのため、操作者は、表示部５を見て地物や作業員の位置を確認した上で、ホッパ部６２の開閉、スクリード部６３の伸縮、スクリード部６３の昇降等の各種操作を実行できる。また、操作者は、作業員とホッパ部６２、スクリード部６３、又はダンプカーとの関係で危険を察知した場合には、各種操作の中止、アスファルトフィニッシャ６０の停止等を行うことができる。

また、画像生成装置１００は、処理対象画像平面Ｒ３から空間モデルＭＤを経て入力画像平面Ｒ４に遡るように座標の対応付けを実行することにより、処理対象画像平面Ｒ３上の各座標を入力画像平面Ｒ４上の一又は複数の座標に確実に対応させることができ、入力画像平面Ｒ４から空間モデルＭＤを経て処理対象画像平面Ｒ３に至る順番で座標の対応付けを実行する場合と比べ（この場合には、入力画像平面Ｒ４上の各座標を処理対象画像平面Ｒ３上の一又は複数の座標に確実に対応させることができるが、処理対象画像平面Ｒ３上の座標の一部が、入力画像平面Ｒ４上の何れの座標にも対応付けられない場合があり、その場合にはそれら処理対象画像平面Ｒ３上の座標の一部に補間処理等を施す必要がある。）、より良質な処理対象画像を迅速に生成することができる。

また、画像生成装置１００は、空間モデルＭＤの第２平面領域Ｒ２に対応する画像のみを拡大或いは縮小する場合には、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度を変更して空間モデル・処理対象画像対応マップ４１における第２平面領域Ｒ２に関連する部分のみを書き換えるだけで、入力画像・空間モデル対応マップ４０の内容を書き換えることなく、所望の拡大或いは縮小を実現させることができる。

また、画像生成装置１００は、出力画像の見え方を変更する場合には、スケール変換、アフィン変換又は歪曲変換に関する各種パラメータの値を変更して処理対象画像・出力画像対応マップ４２を書き換えるだけで、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１の内容を書き換えることなく、所望の出力画像（スケール変換画像、アフィン変換画像又は歪曲変換画像）を生成することができる。

同様に、画像生成装置１００は、出力画像の視点を変更する場合には、仮想カメラ２Ｖの各種パラメータの値を変更して処理対象画像・出力画像対応マップ４２を書き換えるだけで、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１の内容を書き換えることなく、所望の視点から見た出力画像（視点変換画像）を生成することができる。

図１０及び図１１は、アスファルトフィニッシャ６０に搭載された三台のカメラ２（左側部カメラ２Ｌ、右側部カメラ２Ｒ、及び前部カメラ２Ｆ）の入力画像を用いて生成される出力画像を表示部５に表示させたときの表示例である。なお、図１０の出力画像は、ホッパ部６２が全開のときのアスファルトフィニッシャ６０の状態を示し、図１１は、ホッパ部６２が閉じたときのアスファルトフィニッシャ６０の状態を示す。

画像生成装置１００は、それら三台のカメラ２のそれぞれの入力画像を空間モデルＭＤの第１平面領域Ｒ１及び第２平面領域Ｒ２上に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成する。そして、画像生成装置１００は、その生成した処理対象画像に画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）を施すことによって出力画像を生成する。出力画像は、アスファルトフィニッシャ６０の近傍を上空から見下ろした画像（第１平面領域Ｒ１における画像）と、アスファルトフィニッシャ６０から水平方向に前方を見た画像（処理対象画像平面Ｒ３における画像）とを同時に表示する。

なお、出力画像は、画像生成装置１００が処理対象画像を生成しない場合には、空間モデルＭＤに投影された画像に画像変換処理（例えば、視点変換処理である。）を施すことによって生成される。

更に、出力画像は、望ましくは、アスファルトフィニッシャ６０のトラクタ部６１のＣＧ画像６１ＣＧを、アスファルトフィニッシャ６０の前方が表示部５の画面上方と一致するように配置する。アスファルトフィニッシャ６０と出力画像に現れる物体との間の位置関係をより分かり易くするためである。なお、出力画像は、方位等の各種情報を含む額縁画像をその周囲に配置するようにしてもよい。

次に、図１２〜図１５を参照しながら、画像生成装置１００が入力画像間の重複領域における画像の不自然さを際立たせないようにする処理（以下、「重複領域修正処理」とする。）について説明する。

図１２は、アスファルトフィニッシャ６０に搭載された三台のカメラ２（左側部カメラ２Ｌ、右側部カメラ２Ｒ、及び前部カメラ２Ｆ）のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。なお、左側部カメラ２Ｌの入力画像は、ホッパ部６２の左側の画像６２Ｌ、及び、スクリード部６３の左側の画像６３Ｌを含む。また、右側部カメラ２Ｒの入力画像は、ホッパ部６２の右側の画像６２Ｒ、及び、スクリード部６３の左側の画像６３Ｒを含む。また、前部カメラ２Ｆの入力画像は、ホッパ部６２の左側の画像６２Ｌ及び右側の画像６２Ｒを含む。

画像生成装置１００は、それら三台のカメラ２のそれぞれの入力画像を空間モデルＭＤの第１平面領域Ｒ１及び曲面領域Ｒ２上に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成する。そして、画像生成装置１００は、その生成した処理対象画像に画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）を施すことによって出力画像を生成する。このようにして、画像生成装置１００は、アスファルトフィニッシャ６０の近傍を上空から見下ろした画像（第１平面領域Ｒ１における画像）と、アスファルトフィニッシャ６０から水平方向に前方を見た画像（処理対象画像平面Ｒ３における画像）とを同時に表示する。

図１２において、左側部カメラ２Ｌの入力画像及び前部カメラ２Ｆの入力画像はそれぞれ、アスファルトフィニッシャ６０の周囲における同じ場所を異なる角度から撮像した重複部分を含む。右側部カメラ２Ｒの入力画像と前部カメラ２Ｆの入力画像との間の重複部分についても同様である。

そのため、それら三つの入力画像に基づいて生成される出力画像は、その出力画像平面上の座標が複数の入力画像平面上の座標に対応付け可能な場合に、その出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられるものとすると、不自然な出力画像を生成してしまう。具体的には、左側部カメラ２Ｌの入力画像に基づく出力画像上の領域と前部カメラ２Ｆの入力画像に基づく出力画像上の領域との間の境界、及び、右側部カメラ２Ｒの入力画像に基づく出力画像上の領域と前部カメラ２Ｆの入力画像に基づく出力画像上の領域との間の境界のところで、ホッパ部６２の形状が歪（不連続）になり、その出力画像を見た操作者に不自然さを感じさせてしまうこととなる。また、図１６を参照して後述するように、それらの境界付近に存在する物体の画像を出力画像から消失させてしまう。

そこで、画像生成装置１００は、重複領域修正処理を実行する。図１３は、重複領域修正処理の一例を説明するための図であり、二つの波源（例えば、左側部カメラ２Ｌ及び前部カメラ２Ｆである。）から山（実線円）及び谷（破線円）を形成しながら拡がって互いに干渉する二つの波を示す。

また、図１３において、二つの扇形領域２Ｌａ、２Ｆａはそれぞれ、左側部カメラ２Ｌの撮像範囲、及び、前部カメラ２Ｆの撮像範囲を示し、太い実線で表される腹線ＡＮＬは、二つの波が互いに強め合う点を連ねた線を示し、太い破線で表される節線ＮＬは、二つの波が互いに弱め合う点を連ねた線を示す。なお、腹線ＡＮＬ及び節線ＮＬは、図１３で示されるように、交互に現れることとなる。

また、図１３において、左側部カメラ２Ｌを波源として拡がる波の一つの谷が描く線（破線円）と、その一つの谷の次に発生する一つの山が描く線（実線円）と、前部カメラ２Ｆを波源として拡がる波の一つの谷が描く線（破線円）と、その一つの谷の次に発生する一つの山が描く線（実線円）とで定められる菱形状の領域のそれぞれは、単位パタン領域ＬＴを形成するものとする。

図１３で示される複数の単位パタン領域ＬＴが出力画像平面上に描かれたものとし、単位パタン領域ＬＴのうちの腹線ＡＮＬが通過する（灰色で塗り潰される）単位パタン領域ＬＴ１に前部カメラ２Ｆの入力画像が対応付けられ、且つ、単位パタン領域ＬＴのうちの節線ＮＬが通過する（白色で塗り潰される）単位パタン領域ＬＴ２に左側部カメラ２Ｌの入力画像が対応付けられるものとすると、二つの入力画像は、格子模様を形成する。

なお、単位パタン領域ＬＴのうちの腹線ＡＮＬが通過する（灰色で塗り潰される）単位パタン領域ＬＴ１に左側部カメラ２Ｌの入力画像が対応付けられ、且つ、単位パタン領域ＬＴのうちの節線ＮＬが通過する（白色で塗り潰される）単位パタン領域ＬＴ２に前部カメラ２Ｆの入力画像が対応付けられる場合も同様に、二つの入力画像は、格子模様を形成する。

また、図１３の格子模様は、波長及び位相が等しい二つの波を用いて形成されるが、波長及び位相の一方又は双方が異なる二つの波を用いて形成されてもよい。単位パタン領域ＬＴ１、ＬＴ２のサイズや形状を柔軟に調整できるようにするためである。

図１４は、図１３で示される格子模様を出力画像平面上に配置した状態を示し、トラクタ部６１のＣＧ画像６１ＣＧの右前方（図の右上方向）にある、右側部カメラ２Ｒの撮像範囲と前部カメラ２Ｆの撮像範囲との重複領域に配置される格子模様と、トラクタ部６１のＣＧ画像６１ＣＧの左前方（図の左上方向）にある、左側部カメラ２Ｌの撮像範囲と前部カメラ２Ｆの撮像範囲との重複領域に配置される格子模様とを示す。

図１４において、右側部カメラ２Ｒの撮像範囲と前部カメラ２Ｆの撮像範囲との重複領域に配置される格子模様は、例えば、（灰色で塗り潰される）単位パタン領域ＬＴ１に右側部カメラ２Ｒの入力画像が対応付けられ、（白色で塗り潰される）単位パタン領域ＬＴ２に前部カメラ２Ｆの入力画像が対応付けられるものとする。

また、左側部カメラ２Ｌの撮像範囲と前部カメラ２Ｆの撮像範囲との重複領域に配置される格子模様は、例えば、（灰色で塗り潰される）単位パタン領域ＬＴ３に左側部カメラ２Ｌの入力画像が対応付けられ、（白色で塗り潰される）単位パタン領域ＬＴ４に前部カメラ２Ｆの入力画像が対応付けられるものとする。

図１５は、画像生成装置１００が、二つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像平面上の各座標に、それら二つのカメラの何れか一方の入力画像平面上の座標を対応付けて格子模様を形成する処理（以下、「格子模様形成処理」とする。）の流れを示すフローチャートである。

画像生成装置１００の制御部１は、例えば、座標対応付け手段１０により、図９の処理対象画像生成処理のステップＳ２において、空間モデルＭＤの第１平面領域Ｒ１上の一座標と複数の入力画像平面上の座標との対応付けが可能な場合に、空間モデルＭＤの第１平面領域Ｒ１上の一座標と二つのカメラのそれぞれに対応する二つの入力画像平面のうちの一つにおける一座標とを対応付ける際に、この格子模様形成処理を実行するものとする。

最初に、制御部１は、二つのカメラ（例えば、右側部カメラ２Ｒ及び前部カメラ２Ｆである。）の撮像範囲が重複する領域に対応する、空間モデルＭＤの第１平面領域Ｒ１上の一座標を取得する（ステップＳ１１）。

次に、制御部１は、二つのカメラのそれぞれにおける光学中心の座標を取得する（ステップＳ１２）。

次に、制御部１は、ステップＳ１１で取得した空間モデルＭＤにおける第１平面領域Ｒ１上の一座標に対応付けるカメラを選択する（ステップＳ１３）。

具体的には、制御部１は、右側部カメラ２Ｒの光学中心の座標を（Ｘ_cam1、Ｙ_cam1）とし、前部カメラ２Ｆの光学中心の座標を（Ｘ_cam2、Ｙ_cam2）とし、対応付けの対象である空間モデルＭＤの第１平面領域Ｒ１上の一座標を（Ｘ_target、Ｙ_target）とすると、

で表される条件式が真である場合、その第１平面領域Ｒ１上の一座標に対応付けるカメラとして右側部カメラ２Ｒを選択し、上述の条件式が偽である場合、その第１平面領域Ｒ１上の一座標に対応付けるカメラとして前部カメラ２Ｆを選択する。

なお、制御部１は、上述の条件式が真である場合に、その第１平面領域Ｒ１上の一座標に対応付けるカメラとして前部カメラ２Ｆを選択し、上述の条件式が偽である場合に、その第１平面領域Ｒ１上の一座標に対応付けるカメラとして右側部カメラ２Ｒを選択するようにしてもよい。

なお、上述の条件式は、第１平面領域Ｒ１上の座標（Ｘ_target、Ｙ_target）が、図１４で示される単位パタン領域ＬＴ１に含まれるか、或いは、単位パタン領域ＬＴ２に含まれるかの判定式に相当する。

また、本実施例において、制御部１は、光学中心の座標が二次元座標であり、波源から発生する波が平面波であるという前提で、第１平面領域Ｒ１上の一座標（二次元座標）と二つのカメラのそれぞれの光学中心の座標（第１平面領域Ｒ１を含む平面上に投影された二次元座標）との間の二次元距離に基づいてカメラを選択するが、光学中心の座標を（高さ情報を含む）三次元座標とし、波源から発生する波を球面波としながら、第１平面領域Ｒ１上の一座標（三次元座標）と二つのカメラのそれぞれの光学中心の座標（三次元座標）との間の三次元距離に基づいてカメラを選択するようにしてもよい。

また、本実施例において、制御部１は、二つのカメラ（例えば、右側部カメラ２Ｒ及び前部カメラ２Ｆである。）の撮像範囲が重複する領域に対応する、空間モデルＭＤの第１平面領域Ｒ１上の一座標に対応付けるカメラを選択しているが、二つのカメラの撮像範囲が重複する領域に対応する、第２平面領域Ｒ２上の一座標に対応付けるカメラ、及び、処理対象画像平面Ｒ３上の一座標に対応付けるカメラについても同様に選択できる。

この場合、制御部１は、処理対象画像平面Ｒ３上の一座標（二次元座標）と二つのカメラのそれぞれの光学中心の座標（処理対象画像平面Ｒ３を含む平面上に投影された二次元座標）との間の二次元距離に基づいてカメラを選択するようにしてもよく、処理対象画像平面Ｒ３上の一座標（三次元座標）と二つのカメラのそれぞれの光学中心の座標（三次元座標）との間の三次元距離に基づいてカメラを選択するようにしてもよい。なお、処理対象画像平面Ｒ３は、第１平面領域Ｒ１を含むものであってもよい。

その後、制御部１は、座標対応付け手段１０により、選択したカメラの入力画像平面上の一座標と、空間モデルＭＤの第１平面領域Ｒ１上の一座標とを対応付け（ステップＳ１４）、空間モデルＭＤ上の座標、カメラ識別子、及び入力画像平面上の座標を関連付けて入力画像・空間モデル対応マップ４０に記憶する。

その後、制御部１は、二つのカメラの撮像範囲が重複する領域に対応する、空間モデルＭＤの第１平面領域Ｒ１上の全ての座標を、二つのカメラのうちの一つの入力画像平面上の座標に対応付けたか否かを判定し（ステップＳ１５）、未だ全ての座標を対応付けていないと判定した場合には（ステップＳ１５のＮＯ）、ステップＳ１１〜ステップＳ１４の処理を繰り返すようにする。

一方、制御部１は、全ての座標を対応付けたと判定した場合には（ステップＳ１５のＹＥＳ）、この格子模様形成処理を終了させる。

このように、制御部１は、上述のような条件式を用いて空間モデルＭＤ上の各座標を二つのカメラのうちの一つの入力画像平面上の座標に容易に対応付けることができ、適切な格子模様を生成することができる。

ここで再び図１２を参照すると、左側部カメラ２Ｌの入力画像に基づく出力画像上の領域と前部カメラ２Ｆの入力画像に基づく出力画像上の領域との間の境界を含む図１２の一点鎖線で囲まれた領域Ｒ６は、上述のように生成される格子模様により、ホッパ部６２の形状が歪（不連続）になるのを抑制し、その領域Ｒ６を含む出力画像を見た操作者に不自然さを感じさせ難くしている。右側部カメラ２Ｒの入力画像に基づく出力画像上の領域と前部カメラ２Ｆの入力画像に基づく出力画像上の領域との間の境界を含む図１２の一点鎖線で囲まれた領域Ｒ７についても同様である。

なお、上述の実施例では、ホッパ部６２の後端の左右隅部が格子模様を形成する領域に含まれるが、画像生成装置１００は、ホッパ部６２の後端の左右隅部が格子模様を形成する領域に含まれないようにしてもよい。具体的には、画像生成装置１００は、ホッパ部６２の開閉を制御する油圧シリンダの状態を検出してホッパ部６２の開閉状態を検知する。その上で、画像生成装置１００は、ホッパ部６２の開閉状態に応じて決まる、ホッパ部６２の後端の左右隅部が位置する空間モデルＭＤ上の領域に、前部カメラ２Ｆの入力画像を投影する。そして、画像生成装置１００は、ホッパ部６２の後端の左右隅部の外側に対応する空間モデルＭＤ上の領域に格子模様が形成されるようにする。その結果、画像生成装置１００は、ホッパ６２の形状が歪（不連続）になるのを防止しながら重複領域を適切に表示できる。

次に、図１６〜図１８を参照しながら、画像生成装置１００が、二つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像部分を生成する際にその出力画像部分にある物体が消失するのを防止する処理について説明する。

図１６は、アスファルトフィニッシャ６０に搭載された三台のカメラのうちの左側部カメラ２Ｌ及び前部カメラ２Ｆのそれぞれの撮像範囲の重複領域における入力画像部分と、それら入力画像部分を用いて生成される出力画像部分とを示す図である。

図１６において、左側部カメラ２Ｌの入力画像部分Ｒ１０、及び、前部カメラ２Ｆの入力画像部分Ｒ１１はそれぞれ、左側部カメラ２Ｌの撮像範囲と前部カメラ２Ｆの撮像範囲との重複領域内に属する画像部分であり、人物を捉えている。

しかしながら、それら左側部カメラ２Ｌの入力画像部分Ｒ１０、及び、前部カメラ２Ｆの入力画像部分Ｒ１１に基づいて生成される出力画像部分Ｒ１２は、その出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられるものとすると、図１６で示されるように、その重複領域内の人物を消失させてしまう。

そこで、画像生成装置１００は、上述の格子模様を利用して、二つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像部分を生成する際にその出力画像部分にある物体が消失するのを防止する。

図１７は、二つのカメラのそれぞれの撮像範囲の重複領域における物体の消失防止効果を説明するための図であり、図１７（Ａ）は、図１３で示される格子模様を形成するための波の図を示し、図１７（Ｂ）は、図１７（Ａ）の一部拡大図を示す。

図１７（Ａ）において、点線で囲まれる投影像ＰＲＪ１は、前部カメラ２Ｆの入力画像における物体ＯＢＪ１の像が、路面画像を生成するための視点変換によって、その前部カメラ２Ｆとその物体ＯＢＪ１とを結ぶ線の延長方向に伸長されたもの（前部カメラ２Ｆの入力画像部分Ｒ１１を用いてその出力画像部分Ｒ１２における路面画像を生成した場合に表示される像である。）を表す。

また、点線で囲まれる投影像ＰＲＪ２は、左側部カメラ２Ｌの入力画像における物体ＯＢＪ１の像が、路面画像を生成するための視点変換によって、その左側部カメラ２Ｌとその物体ＯＢＪ１とを結ぶ線の延長方向に伸長されたもの（右側部カメラ２Ｒの入力画像部分Ｒ１０を用いてその出力画像部分Ｒ１２における路面画像を生成した場合に表示される像である。）を表す。

なお、投影像ＰＲＪ１及び投影像ＰＲＪ２は、最終的な出力画像上にそのままの状態で表示されることはなく、図１７（Ｂ）で示されるように、一部が切り欠かれた状態で表示されることとなる。

また、図１７（Ａ）において、投影像ＰＲＪ１を表す破線領域のうち、灰色で塗り潰された部分は、腹線ＡＮＬが通過する単位パタン領域ＬＴ１（図１３参照。）との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には前部カメラ２Ｆの入力画像平面上の座標（物体ＯＢＪ１の像を形成する領域内の座標）が対応付けられることを示す。

一方、投影像ＰＲＪ１を表す破線領域のうち、白色で塗り潰された部分は、節線ＮＬが通過する単位パタン領域ＬＴ２（図１３参照。）との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には左側部カメラ２Ｌの入力画像平面上の座標（物体ＯＢＪ１の像を形成しない領域内の座標）が対応付けられることを示す。

なお、投影像ＰＲＪ１を表す破線領域のうち、灰色で塗り潰された部分に対応する出力画像上の各座標に、左側部カメラ２Ｌの入力画像平面上の座標（物体ＯＢＪ１の像を形成しない領域内の座標）が対応付けられ、投影像ＰＲＪ１を表す破線領域のうち、白色で塗り潰された部分に対応する出力画像上の各座標に、前部カメラ２Ｆの入力画像平面上の座標（物体ＯＢＪ１の像を形成する領域内の座標）が対応付けられるようにしてもよい。

この場合、投影像ＰＲＪ１は、図１７（Ｂ）で示されるように、その伸長方向に直交する円（前部カメラ２Ｆの位置を波源とする波の山及び谷が描く円である。）の一部をその境界線として含む単位パタン領域ＬＴ２によって切り欠かれることとなるが、隣接する単位パタン領域ＬＴ１が互いに頂点を接触させているので繊切り状に分断され難く、単位パタン領域ＬＴ２のそれぞれがその伸長方向に直交する円の一部を含むため、その輪郭も認識され易いはっきりした状態で保存されることとなる。

また、投影像ＰＲＪ１は、物体ＯＢＪ１の高さが高い程、カメラから遠ざかる方向により長く伸長され、且つ、カメラから遠ざかる程、より大きく拡大される傾向を有するが、単位パタン領域ＬＴ１及びＬＴ２は何れもカメラから遠ざかる程、その投影像ＰＲＪ１と同じ度合いで、より大きく拡大していくので、その切り欠き状態もほぼ均一に維持されることとなる。

また、図１７（Ａ）において、投影像ＰＲＪ２を表す破線領域のうち、黒色で塗り潰された部分は、節線ＮＬが通過する単位パタン領域ＬＴ２（図１３参照。）との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には左側部カメラ２Ｌの入力画像平面上の座標（物体ＯＢＪ１の像を形成する領域内の座標）が対応付けられることを示す。

一方、投影像ＰＲＪ２を表す破線領域のうち、白色で塗り潰された部分は、腹線ＡＮＬが通過する単位パタン領域ＬＴ１（図１３参照。）との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には前部カメラ２Ｆの入力画像平面上の座標（物体ＯＢＪ１の像を形成しない領域内の座標）が対応付けられることを示す。

なお、投影像ＰＲＪ２を表す破線領域のうち、黒色で塗り潰された部分に対応する出力画像上の各座標に前部カメラ２Ｆの入力画像平面上の座標（物体ＯＢＪ１の像を形成しない領域内の座標）が対応付けられ、投影像ＰＲＪ２を表す破線領域のうち、白色で塗り潰された部分に対応する出力画像上の各座標に左側部カメラ２Ｌの入力画像平面上の座標（物体ＯＢＪ１の像を形成する領域内の座標）が対応付けられるようにしてもよい。

この場合、投影像ＰＲＪ２は、投影像ＰＲＪ１と同様に、図１７（Ｂ）で示されるように、その伸長方向に直交する円（右側部カメラ２Ｒの位置を波源とする波の山及び谷が描く円である。）の一部をその境界線として含む単位パタン領域ＬＴ１によって切り欠かれることとなるが、隣接する単位パタン領域ＬＴ２が互いに頂点を接触させているので繊切り状に分断され難く、単位パタン領域ＬＴ１のそれぞれがその伸長方向に直交する円の一部を含むため、その輪郭も認識され易いはっきりした状態で保存されることとなる。

また、投影像ＰＲＪ２は、投影像ＰＲＪ１と同様に、物体ＯＢＪ１の高さが高い程、カメラから遠ざかる方向により長く伸長され、且つ、カメラから遠ざかる程、より大きく拡大される傾向を有するが、単位パタン領域ＬＴ１及びＬＴ２は何れもカメラから遠ざかる程、その投影像ＰＲＪ２と同じ度合いで、より大きく拡大していくので、その切り欠き状態もほぼ均一に維持されることとなる。

図１８は、図１６で示される出力画像部分Ｒ１２と、図１６の出力画像に格子模様が適用された出力画像部分Ｒ１３との違いを表す対比図であり、図１８左図が図１６で示される出力画像部分Ｒ１２を示し、図１８右図が格子模様による出力画像部分Ｒ１３を示す。

左側部カメラ２Ｌの入力画像部分Ｒ１０に基づく出力画像上の領域と前部カメラ２Ｆの入力画像部分Ｒ１１に基づく出力画像上の領域との間の境界を含む図１８左図の出力画像部分Ｒ１２は、人物が消失した状態を提示しているが、左側部カメラ２Ｌの入力画像部分Ｒ１０に基づく出力画像上の領域と前部カメラ２Ｆの入力画像部分Ｒ１１に基づく出力画像上の領域とが格子模様となって混在する図１８右図の出力画像部分Ｒ１３は、人物を消失させることなく、その人物を認識し易い状態で提示し、その出力画像部分Ｒ１３を含む出力画像を見た操作者にその人物の存在を確実に認識させることができるようにしている。

以上の構成により、画像生成装置１００は、格子模様を利用することにより、二つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像部分を生成する際にその出力画像部分にある物体が消失するのを防止することができ、二つの入力画像のそれぞれの部分領域が櫛歯状に交互に配置されるように二つの入力画像を繋ぎ合わせる場合に比べ、その一部が切り欠かれることとなるその物体の投影像を、操作者がより認識し易い状態で表示することができる。

なお、上述の実施例において、画像生成装置１００は、路面から距離Ｄ１（例えば１２００ｍｍである。）の高さに設定される第１平面領域Ｒ１を含む空間モデルＭＤを用いて出力画像を生成する。これは、ホッパ部画像を含む入力画像から路面画像を生成する際にそのホッパ部画像が過度に大きく表示されてしまいその路面画像を見た操作者に違和感を抱かせてしまうのを防止するためである。具体的には、視点変換処理によって生成される路面画像は、実際の三次元空間において第１平面領域Ｒ１の高さより高い位置にある物体を大きく表示し、第１平面領域Ｒ１の高さより低い位置にある物体を小さく表示する傾向を有する。そのため、視点変換処理によって生成される路面画像では、第１平面領域Ｒ１の高さを路面と同じ高さとした場合には、路面から所定の高さ（ホッパ部高さ）にあるホッパ部６２の画像が必要以上に大きく表示される。一方で、視点変換処理によって生成される路面画像は、第１平面領域Ｒ１の高さをホッパ部高さと同じ高さとした場合には、ホッパ部画像を必要以上に大きくすることなく表示できる。

しかしながら、空間モデルＭＤを用いることによってホッパ部高さより低い位置にあるスクリード部６３の画像（以下、「スクリード部画像」とする。）が小さく表示されると、ホッパ部画像及びスクリード部画像を含む出力画像を見た操作者は、違和感を抱くおそれがある。伸張状態のスクリード部６３の幅は、実際には、全開状態のホッパ部６２の幅より大きいにもかかわらず（図２（Ｂ）参照。）、図１０で示されるように、出力画像では、スクリード部画像の幅がホッパ部画像の幅より小さく表示されてしまうためである。

そこで、画像生成装置１００は、空間モデルＭＤの構成を変更することによって、ホッパ部画像が過度に大きく表示されてしまうのを防止しながら、スクリード部６３の画像が過度に小さく表示されてしまうのを防止する。すなわち、画像生成装置１００は、空間モデルＭＤの構成を変更することによって、出力画像におけるホッパ部画像の幅とスクリード部画像の幅との大小関係が実際のホッパ部６２の幅とスクリード部６３の幅との大小関係に合うように出力画像を生成することができる。

図１９は、ホッパ部画像の幅とスクリード部画像の幅との大小関係が実際の大小関係に合うようにその構成が変更された空間モデルＭＤＡを示す図であり、図３に対応する。図１９（Ａ）は、アスファルトフィニッシャ６０を左側方から見たときのアスファルトフィニッシャ６０と空間モデルＭＤＡとの間の関係を示し、図１９（Ｂ）は、アスファルトフィニッシャ６０を上方から見たときのアスファルトフィニッシャ６０と空間モデルＭＤＡとの間の関係を示し、図１９（Ｃ）は、アスファルトフィニッシャ６０を後方から見たときのアスファルトフィニッシャ６０と空間モデルＭＤＡとの間の関係を示す。

図１９で示されるように、空間モデルＭＤＡは、ホッパ部平面領域Ｒ１ａ、スクリード部平面領域Ｒ１ｂ、接続面領域Ｒ１ｃ、及び第２平面領域Ｒ２を有する。なお、第２平面領域Ｒ２は、空間モデルＭＤにおける第２平面領域Ｒ２と同じである。

ホッパ部平面領域Ｒ１ａは、ホッパ部６２の位置に対応し且つ路面より高い位置に設定される路面に平行な平面領域である。本実施例では、ホッパ部平面領域Ｒ１ａは、空間モデルＭＤにおける第１平面領域Ｒ１と同様、路面から距離Ｄ１（例えば１２００ｍｍである。）の高さに設定される。

また、本実施例では、アスファルトフィニッシャ６０の進行方向におけるホッパ部平面領域Ｒ１ａの長さＤ２はホッパ部６２の長さにほぼ等しい。しかしながら、ホッパ部平面領域Ｒ１ａの長さＤ２は、ホッパ部６２の長さより長くてもよい。その場合、ホッパ部平面領域Ｒ１ａは、トラクタ部６１の一部を含むように進行方向後方に延長されてもよい。

スクリード部平面領域Ｒ１ｂは、スクリード部６３の位置に対応する、路面に平行な平面領域である。本実施例では、スクリード部平面領域Ｒ１ｂは、路面と同じ高さに設定される。但し、スクリード部平面領域Ｒ１ｂは、ホッパ部平面領域Ｒ１ａより低い位置であれば路面より高い位置に設定されてもよい。また、スクリード部平面領域Ｒ１ｂは、路面より低い位置に設定されてもよい。

また、本実施例では、アスファルトフィニッシャ６０の進行方向におけるスクリード部平面領域Ｒ１ｂの長さＤ３は、スクリード部６３の長さにほぼ等しい。しかしながら、スクリード部平面領域Ｒ１ｂの長さＤ３は、スクリード部６３の長さより長くてもよい。その場合、スクリード部平面領域Ｒ１ｂは、トラクタ部６１の一部を含むように進行方向前方に延長されてもよい。

接続面領域Ｒ１ｃは、ホッパ部平面領域Ｒ１ａとスクリード部平面領域Ｒ１ｂとを接続する面領域である。また、接続面領域Ｒ１ｃの路面からの距離は、ホッパ部平面領域Ｒ１ａの路面からの距離とスクリード部平面領域Ｒ１ｂの路面からの距離との間で変化する。本実施例では、接続面領域Ｒ１ｃは、ホッパ部平面領域Ｒ１ａとスクリード部平面領域Ｒ１ｂとを接続する平面領域である。具体的には、接続面領域Ｒ１ｃは、路面から距離Ｄ１の高さに設定されるホッパ部平面領域Ｒ１ａと、路面の高さに設定されるスクリード部平面領域Ｒ１ｂとの間でその高さを一定の割合で連続的に変化させる傾斜平面領域である。但し、接続面領域Ｒ１ｃは、その高さを連続的に且つ段階的に変化させるよう、傾斜角度の異なる複数の傾斜平面で構成されてもよい。或いは、接続面領域Ｒ１ｃは、その高さを断続的に且つ段階的に変化させるよう、路面に平行な複数の平面と路面と交差する複数の平面とで構成されてもよい。或いは、接続面領域Ｒ１ｃは、１又は複数の曲面で構成されてもよく、１又は複数の曲面と１又は複数の平面との組み合わせで構成されてもよい。

図２０は、空間モデルＭＤＡと処理対象画像平面との間の関係の一例を示す図であり、図４に対応する。本実施例では、処理対象画像平面Ｒ３Ａは、例えば、空間モデルＭＤＡのホッパ部平面領域Ｒ１ａ、スクリード部平面領域Ｒ１ｂ、及び接続面領域Ｒ１ｃを含む平面である。

次に、図２１及び図２２を参照して、空間モデルＭＤを用いて生成される出力画像と、空間モデルＭＤＡを用いて生成される出力画像との違いについて説明する。

なお、図２１は、ホッパ部６２が全開のときのアスファルトフィニッシャ６０の状態を示し、図２１（Ａ）が実際のアスファルトフィニッシャ６０の上面図であり、図２１（Ｂ）が空間モデルＭＤＡを用いて生成される出力画像であり、図２１（Ｃ）が空間モデルＭＤを用いて生成される出力画像である。

また、図２２は、ホッパ部６２が全閉のときのアスファルトフィニッシャ６０の状態を示し、図２２（Ａ）が空間モデルＭＤＡを用いて生成される出力画像であり、図２２（Ｂ）が空間モデルＭＤを用いて生成される出力画像である。

また、図２１の破線領域Ａ６２ａは、全開状態にあるホッパ部６２の画像の大きさを表し、図２１（Ｂ）の出力画像と図２１（Ｃ）の出力画像とで同じ大きさを有する。また、図２２の破線領域Ａ６２ｂは、全閉状態にあるホッパ部６２の画像の大きさを表し、図２２（Ａ）の出力画像と図２２（Ｂ）の出力画像とで同じ大きさを有する。なお、ホッパ部６２の画像は、過度に大きく表示されないよう、路面より高い位置に設定されるホッパ部平面領域Ｒ１ａを用いて生成される。

また、図２１及び図２２における破線領域Ａ６３は、伸張状態にあるスクリード部６３の画像の大きさを表す。また、破線領域Ａ６３は、図２１（Ｂ）の出力画像と図２２（Ａ）の出力画像とで同じ大きさを有し、図２１（Ｃ）の出力画像と図２２（Ｂ）の出力画像とで同じ大きさを有する。

また、図２２（Ａ）及び図２２（Ｂ）のドットパターンで示す領域ＡＳは、スクリード部６３の前方の路面上に撒かれた敷設前のアスファルト材の拡がり具合を表す。

なお、破線領域Ａ６２ａ、Ａ６２ｂ、Ａ６３を区切る破線、及び、領域ＡＳを表すドットパターンは、説明のみを目的とするものであり、出力画像に表示されることはない。

図２１（Ｃ）で示されるように、空間モデルＭＤを用いて生成される出力画像では、伸張状態にあるスクリード部６３の画像の幅が、全開状態にあるホッパ部６２の画像の幅より小さく表示され、図２１（Ａ）で示されるような実際の大小関係とは異なる大小関係が表示される。これに対し、図２１（Ｂ）で示されるように、空間モデルＭＤＡを用いて生成される出力画像では、伸張状態にあるスクリード部６３の画像の幅が、全開状態にあるホッパ部６２の画像の幅より大きく表示され、図２１（Ａ）で示されるような実際の大小関係に合う大小関係が表示される。

同様に、図２２（Ｂ）で示されるように、空間モデルＭＤを用いて生成される出力画像では、伸張状態にあるスクリード部６３の画像の幅が、全閉状態にあるホッパ部６２の画像の幅より僅かに大きく表示される程度であり、実際の大小関係（図示せず。）と異なる大小関係が表示される。これに対し、図２２（Ａ）で示されるように、空間モデルＭＤＡを用いて生成される出力画像では、伸張状態にあるスクリード部６３の画像の幅が、全閉状態にあるホッパ部６２の画像の幅より顕著に大きく表示され、実際の大小関係に合う大小関係が表示される。

このように、画像生成装置１００は、空間モデルＭＤＡを用いて出力画像を生成することにより、空間モデルＭＤによる効果に加え、ホッパ部画像の幅とスクリード部画像の幅との大小関係を実際の大小関係に合わせることができるという追加的な効果を実現できる。また、画像生成装置１００は、出力画像における敷設前のアスファルト材の拡がり具合を大きく表示することとなり、敷設前のアスファルト材の拡がり具合の視認性を大幅に向上させることができるという追加的な効果を実現できる。その結果、画像生成装置１００は、アスファルトフィニッシャ６０とその周囲にある物体との位置関係に加え、ホッパ部６２の開閉状態、スクリード部６３の伸張状態等のアスファルトフィニッシャ６０自身の状態、及び、敷設前のアスファルト材の拡がり具合をより分かり易く操作者に提示することができ、アスファルトフィニッシャ６０の安全性、操作性をさらに向上させることができる。なお、「ホッパ部画像の幅とスクリード部画像の幅との大小関係を実際の大小関係に合わせる」は、ホッパ部画像の幅とスクリード部画像の幅との比を、実際のホッパ部６２の幅と実際のスクリード部６３の幅との比に正確に合わせることを含む。また、ホッパ部画像の幅は、路面より高い位置に設定されるホッパ部平面領域Ｒ１ａによって、過度に大きくならないように既に調整されている。

また、上述の実施例において、画像生成装置１００は、路面からの距離が異なる２つの平面領域（ホッパ部平面領域Ｒ１ａ及びスクリード部平面領域Ｒ１ｂ）を含む空間モデルＭＤＡを用いてホッパ部画像の幅とスクリード部画像の幅との大小関係を実際の大小関係に合わせるようにする。しかしながら、本発明はこの構成に限定されるものではない。例えば、画像生成装置１００は、路面に平行な平面領域（第１平面領域Ｒ１）を１つだけ含む空間モデルＭＤを用いて、或いは、路面からの距離が等しいホッパ部平面領域Ｒ１ａ及びスクリード部平面領域Ｒ１ｂを含む空間モデルを用いて、ホッパ部画像の幅とスクリード部画像の幅との大小関係を実際の大小関係に合わせるようにしてもよい。これらの場合、画像生成装置１００は、路面に平行な平面領域に投影されたスクリード部画像に画像変換処理（例えばスケール変換である。）を施すことによって出力画像におけるスクリード部画像を拡大してもよい。なお、画像生成装置１００は、空間モデルＭＤＡを用いて出力画像を生成する場合に、スクリード部平面領域Ｒ１ｂに投影されたスクリード部画像に画像変換処理（例えばスケール変換である。）を施すことによって出力画像におけるスクリード部画像を拡大してもよい。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。

例えば、画像生成装置１００は、グースアスファルト合材を用いるグースアスファルトフィニッシャに搭載されてもよい。

１・・・制御部 ２・・・カメラ ２Ｌ・・・左側部カメラ ２Ｒ・・右側部カメラ ２Ｆ・・前部カメラ ３・・・入力部 ４・・・記憶部 ５・・・表示部 １０・・・座標対応付け手段 １１・・・出力画像生成手段 ４０・・・入力画像・空間モデル対応マップ ４１・・・空間モデル・処理対象画像対応マップ ４２・・・処理対象画像・出力画像対応マップ ６０・・・アスファルトフィニッシャ ６１・・・トラクタ部 ６２・・・ホッパ部 ６３・・・スクリード部 ６４・・・運転席 ６５・・・操作部

Claims (8)

1. ホッパ部及びスクリード部を備える舗装機械に取り付けられた複数の撮像手段が撮像した入力画像に基づいて出力画像を生成する舗装機械用画像生成装置であって、
   前記舗装機械の周囲に配置される空間モデルにおける座標と、前記入力画像が位置する入力画像平面における座標とを対応付ける座標対応付け手段と、
   前記空間モデルにおける座標を介して、前記入力画像平面における座標の値と前記出力画像が位置する出力画像平面における座標の値とを対応付けて前記出力画像を生成する出力画像生成手段と、を備え、
   前記空間モデルは、前記ホッパ部の位置に対応し且つ路面より高い位置に設定される路面に平行なホッパ部平面領域を含み、
   前記出力画像生成手段は、前記出力画像における前記ホッパ部の画像と前記スクリード部の画像との大小関係を、実際の前記ホッパ部と前記スクリード部との大小関係に合わせる、
   舗装機械用画像生成装置。
2. 前記座標対応付け手段は、更に、画像変換処理の対象となる処理対象画像が位置する処理対象画像平面における座標と、前記空間モデルにおける座標とを対応付け、
   前記出力画像生成手段は、前記処理対象画像平面における座標と前記空間モデルにおける座標とを介して、前記入力画像平面における座標の値と前記出力画像平面における座標の値とを対応付けて前記出力画像を生成する、
   請求項１に記載の舗装機械用画像生成装置。
3. 前記空間モデルは、前記スクリード部の位置に対応する路面に平行なスクリード部平面領域を含み、
   前記ホッパ部平面領域の路面からの距離は、前記スクリード部平面領域の路面からの距離より大きい、
   請求項１又は２に記載の舗装機械用画像生成装置。
4. 前記空間モデルは、前記ホッパ部平面領域と前記スクリード部平面領域とを接続する接続面領域を含み、
   前記接続面領域の路面からの距離は、前記ホッパ部平面領域の路面からの距離と前記スクリード部平面領域の路面からの距離との間で変化する、
   請求項３に記載の舗装機械用画像生成装置。
5. 前記出力画像における前記スクリード部の画像は拡大表示される、
   請求項１乃至４の何れか一項に記載の舗装機械用画像生成装置。
6. 前記空間モデルは、前記ホッパ部の前端のところで路面に垂直に且つ進行方向に垂直に設定される別の平面領域を含む、
   請求項１乃至５の何れか一項に記載の舗装機械用画像生成装置。
7. 前記複数の撮像手段の撮像範囲は、前記ホッパ部の全部、及び、前記スクリード部の左右端を含む、前記舗装機械周辺の連続する領域である、
   請求項１乃至６の何れか一項に記載の舗装機械用画像生成装置。
8. 舗装機械の移動又は操作を支援する操作支援システムであって、
   請求項１乃至７の何れか一項に記載の舗装機械用画像生成装置と、
   前記舗装機械を移動させ或いは操作するための操作部の周辺に設置され、該舗装機械用画像生成装置が生成する出力画像を表示する表示部と、
   を備えることを特徴とする舗装機械用操作支援システム。