WO2014073282A1 - 舗装機械用画像生成装置及び舗装機械用操作支援システム - Google Patents
舗装機械用画像生成装置及び舗装機械用操作支援システム Download PDFInfo
- Publication number
- WO2014073282A1 WO2014073282A1 PCT/JP2013/076196 JP2013076196W WO2014073282A1 WO 2014073282 A1 WO2014073282 A1 WO 2014073282A1 JP 2013076196 W JP2013076196 W JP 2013076196W WO 2014073282 A1 WO2014073282 A1 WO 2014073282A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- plane
- coordinates
- coordinate
- output image
- Prior art date
Links
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
- E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
- E01C19/00—Machines, tools or auxiliary devices for preparing or distributing paving materials, for working the placed materials, or for forming, consolidating, or finishing the paving
- E01C19/004—Devices for guiding or controlling the machines along a predetermined path
-
- E—FIXED CONSTRUCTIONS
- E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
- E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
- E01C19/00—Machines, tools or auxiliary devices for preparing or distributing paving materials, for working the placed materials, or for forming, consolidating, or finishing the paving
- E01C19/48—Machines, tools or auxiliary devices for preparing or distributing paving materials, for working the placed materials, or for forming, consolidating, or finishing the paving for laying-down the materials and consolidating them, or finishing the surface, e.g. slip forms therefor, forming kerbs or gutters in a continuous operation in situ
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- E—FIXED CONSTRUCTIONS
- E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
- E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
- E01C2301/00—Machine characteristics, parts or accessories not otherwise provided for
Landscapes
- Engineering & Computer Science (AREA)
- Architecture (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Road Paving Machines (AREA)
Abstract
アスファルトフィニッシャ(60)に取り付けられた三つのカメラ(2F、2L、2R)のそれぞれが撮像した入力画像に基づいて出力画像を生成する舗装機械用画像生成装置(100)は、アスファルトフィニッシャ(60)の周囲に配置される空間モデルMDにおける座標と入力画像が位置する入力画像平面における座標とを対応付ける座標対応付け手段(10)と、空間モデル(MD)における座標を介して、入力画像平面における座標の値と出力画像が位置する出力画像平面における座標の値とを対応付けて出力画像を生成する出力画像生成手段(11)とを備える。空間モデル(MD)は、路面に平行な第1平面領域(R1)と、路面と交差する第2平面領域(R2)とを含み、第2平面領域(R2)は、アスファルトフィニッシャ(60)の進行方向前端に設定される。
Description
本発明は、舗装機械に取り付けられた複数のカメラが撮像した複数の入力画像に基づいて出力画像を生成する舗装機械用画像生成装置及びその装置を用いた舗装機械用操作支援システムに関する。
従来、ホッパ内部を撮像するカメラと、ホッパの左外側周辺部を撮像するカメラと、ホッパの右外側周辺部を撮像するカメラとを備えるアスファルトフィニッシャの運転者支援装置が知られている(例えば、特許文献1参照)。
特許文献1のアスファルトフィニッシャは、車幅方向に変位可能な運転席から視認できる位置に各カメラで撮像された映像を映し出すモニタを備える。そして、運転者支援装置は、車幅方向における運転席の位置に応じてモニタに映し出される映像を自動的に切り換える。その結果、運転者支援装置は、運転席の位置に応じて変化する死角領域を運転者が容易に視認できるようにする。
しかしながら、特許文献1の運転者支援装置は、ホッパの周囲の死角領域を運転者が視認できるようにするのみであり、アスファルトフィニッシャの周囲にある他の死角領域を運転者に視認させることができない。そのため、特許文献1の運転者支援装置は、アスファルトフィニッシャの運転を支援するには不十分である。
上述の点に鑑み、周囲の死角領域をより分かり易く提示する舗装機械用画像生成装置及び舗装機械用操作支援システムを提供することが望ましい。
本発明の実施例に係る舗装機械用画像生成装置は、舗装機械に取り付けられた複数の撮像手段が撮像した入力画像に基づいて出力画像を生成する画像生成装置であって、前記舗装機械の周囲に配置される空間モデルにおける座標と、前記入力画像が位置する入力画像平面における座標とを対応付ける座標対応付け手段と、前記空間モデルにおける座標を介して、前記入力画像平面における座標の値と前記出力画像が位置する出力画像平面における座標の値とを対応付けて前記出力画像を生成する出力画像生成手段と、を備え、前記空間モデルは、路面に平行な第1平面領域と、路面と交差する第2平面領域とを含み、前記第2平面領域は、前記舗装機械の進行方向前端に設定される。
また、本発明の実施例に係る舗装機械用操作支援システムは、舗装機械の移動又は操作を支援する操作支援システムであって、上述の舗装機械用画像生成装置と、前記舗装機械を移動させ或いは操作するための操作部の周辺に設置され、該舗装機械用画像生成装置が生成する出力画像を表示する表示部と、を備える。
上述の手段により、周囲の死角領域をより分かり易く提示する舗装機械用画像生成装置及び舗装機械用操作支援システムが提供される。
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
図1は、本発明の実施例に係る画像生成装置の構成例を概略的に示すブロック図である。
画像生成装置100は、例えば、舗装機械に搭載されたカメラ2が撮像した入力画像に基づいて出力画像を生成しその出力画像を運転者に提示する装置である。本実施例では、画像生成装置100は、舗装機械としてのアスファルトフィニッシャ60に搭載され、主に、制御部1、カメラ2、入力部3、記憶部4、及び表示部5で構成される。
図2は、画像生成装置100が搭載されるアスファルトフィニッシャ60の構成例を示す図であり、図2(A)が左側面図を示し、図2(B)が上面図を示し、図2(C)が後面図を示す。
アスファルトフィニッシャ60は、主に、トラクタ部61、ホッパ部62、及びスクリード部63で構成される。
トラクタ部61は、アスファルトフィニッシャ60を走行させるための機構である。本実施例では、トラクタ部61は、走行用油圧モータを用いて4つのホイールを回転させてアスファルトフィニッシャ60を移動させる。走行用油圧モータ(図示せず。)は、ディーゼルエンジン等の原動機(図示せず。)が駆動する油圧ポンプ(図示せず。)から作動油の供給を受けて回転する。また、トラクタ部61の上部には運転席64及び操作部65を含むキャブが配置される。
また、トラクタ部61には、右側部、左側部、及び前部にカメラ2(右側部カメラ2R、左側部カメラ2L、前部カメラ2F)が取り付けられる。なお、キャブ内の運転者が視認し易い位置には表示部5が設置される。また、本実施例では、トラクタ部61から見たホッパ部62の方向を前方とし、トラクタ部61から見たスクリード部63の方向を後方とする。
ホッパ部62は、アスファルト合材を受け入れるための機構であり、本実施例では、油圧シリンダ(図示せず。)によって車幅方向に開閉可能に構成される。アスファルトフィニッシャ60は、通常、ホッパ部62を全開状態にしてダンプカー(図示せず。)の荷台からアスファルト合材を受け入れる。なお、図2は、ホッパ部62が全開状態であることを示す。そして、ホッパ部62内のアスファルト合材が減少するとホッパ部62を閉じ、ホッパ部62の内壁付近にあったアスファルト合材をホッパ部62の中央部に集めてスクリード部63に給送できるようにする。
スクリード部63は、アスファルト合材を敷き均すための機構であり、本実施例では、油圧シリンダ(図示せず。)によって、鉛直方向に昇降可能に、且つ、車幅方向に伸縮可能に構成される。具体的には、スクリード部63の幅は、車幅方向に伸長された場合に、トラクタ部61の幅より大きい。
次に、画像生成装置100の各構成要素について説明する。
制御部1は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、NVRAM(Non-Volatile Random Access Memory)等を備えたコンピュータである。制御部1は、例えば、後述する座標対応付け手段10及び出力画像生成手段11のそれぞれに対応するプログラムをROMやNVRAMに記憶し、一時記憶領域としてRAMを利用しながら各手段に対応する処理をCPUに実行させる。
カメラ2は、アスファルトフィニッシャ60の周辺を映し出す入力画像を取得するための装置であり、例えば、キャブにいる運転者の死角領域を撮像できるようトラクタ部61に取り付けられる。
死角領域は、例えば、ホッパ部62の内部空間(特に、トラクタ部61に近い部分)、ホッパ部62を閉じたときのホッパ部62の前端の左右隅部の外側の空間、アスファルトフィニッシャ60の左右の側部近辺の路面に近い空間(特に、車幅方向で車体中心軸に対してキャブの反対側にある空間であり、例えば、本実施例のようにキャブが車体中心軸に対して車幅方向右側に設置されている場合にはアスファルトフィニッシャ60の左側部近辺の路面に近い空間である。)等を含む。
また、カメラ2は、トラクタ部61の右側部、左側部、及び前部以外の位置(例えば、後部である。)に取り付けられていてもよく、広い範囲を撮像できるよう広角レンズ又は魚眼レンズが装着されていてもよい。また、カメラ2は、ホッパ部62に取り付けられてもよく、スクリード部63に取り付けられてもよい。
本実施例では、カメラ2は、前部カメラ2F、左側部カメラ2L、及び右側部カメラ2Rを含む。前部カメラ2Fは、図2(A)及び図2(B)に示すように、トラクタ部61の前部上端に取り付けられ、その光軸2FXが進行方向前方に延び、且つ、路面との間に側面視で角度α(例えば65度である。)を形成するように取り付けられる。また、左側部カメラ2Lは、図2(A)~図2(C)に示すように、トラクタ部61の左側部上端に取り付けられ、その光軸2LXが、トラクタ部61の左側面との間に上面視で角度β(例えば70度である。)を形成し、且つ、路面との間に背面視で角度γを形成するように取り付けられる。右側部カメラ2Rは、左右を逆にして、左側部カメラ2Lと同様に取り付けられる。
また、カメラ2は、トラクタ部61から延びる取り付け用ステーに取り付けられてもよく、取り付け用ステーを介さずにトラクタ部61に直接的に取り付けられてもよく、トラクタ部61に埋め込まれてもよい。
また、カメラ2は、制御部1からの制御信号に応じて入力画像を取得し、取得した入力画像を制御部1に対して出力する。なお、カメラ2は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲(distortion)やアオリ(tilt and shift)を補正した補正済みの入力画像を制御部1に対して出力してもよい。また、カメラ2は、その見掛け上の歪曲やアオリを補正していない入力画像をそのまま制御部1に対して出力してもよい。そのまま出力した場合には、制御部1がその見掛け上の歪曲やアオリを補正する。
このようにして、カメラ2は、アスファルトフィニッシャ60の左側方及び右側方並びにホッパ部62の内部及び周辺にある複数の死角領域を含む連続する領域がその撮像範囲に含まれるように入力画像を取得する。
入力部3は、運転者を含む操作者が画像生成装置100に対して各種情報を入力できるようにするための装置であり、例えば、タッチパネル、ボタンスイッチ等である。
記憶部4は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。
表示部5は、画像情報を表示するための装置であり、例えば、キャブ内に設置された液晶ディスプレイ等であって、制御部1が出力する各種画像を表示する。
また、画像生成装置100は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施すことによって周辺障害物との位置関係や距離感を直感的に把握できるようにする出力画像を生成した後で、その出力画像を操作者に提示するようにしてもよい。
「処理対象画像」は、入力画像に基づいて生成される、画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)の対象となる画像である。画像生成装置100は、例えば、地表を上方から撮像するカメラによる入力画像であってその広い画角により水平方向の画像(例えば、空の部分である。)を含む入力画像を画像変換処理で用いる場合がある。その場合に、画像生成装置100は、その水平方向の画像が不自然に表示されないよう(例えば、空の部分が地表にあるものとして扱われないよう)その入力画像を所定の空間モデルに投影する。その後、画像生成装置100は、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって、画像変換処理に適した画像である処理対象画像を得る。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
「空間モデル」は、少なくとも、処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面(例えば、処理対象画像平面に平行な平面、又は、処理対象画像平面との間で角度を形成する平面若しくは曲面である。)を含む、一又は複数の平面若しくは曲面で構成される、入力画像の投影対象である。
なお、画像生成装置100は、処理対象画像を生成することなく、その空間モデルに投影された投影画像に画像変換処理を施すことによって出力画像を生成してもよい。また、投影画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
図3は、入力画像が投影される空間モデルMDの一例を示す図であり、図3(A)は、アスファルトフィニッシャ60を左側方から見たときのアスファルトフィニッシャ60と空間モデルMDとの間の関係を示し、図3(B)は、アスファルトフィニッシャ60を上方から見たときのアスファルトフィニッシャ60と空間モデルMDとの間の関係を示し、図3(C)は、アスファルトフィニッシャ60を後方から見たときのアスファルトフィニッシャ60と空間モデルMDとの間の関係を示す。
図3(A)~図3(C)で示されるように、空間モデルMDは、路面に平行な第1平面領域R1と、路面と交差する第2平面領域R2とを有する。
第1平面領域R1は、主に、視点変換処理によって路面画像(撮像範囲を上から見た画像)を生成するために用いられる入力画像投影対象である。本実施例では、図3(A)及び図3(C)に示すように、第1平面領域R1は、路面から距離D1(例えば1200mmである。)の高さに設定される。これは、ホッパ部62の画像(以下、「ホッパ部画像」とする。)を含む入力画像から路面画像を生成する際にそのホッパ部画像が過度に大きく表示されてしまいその路面画像を見た操作者に違和感を抱かせてしまうのを防止するためである。具体的には、視点変換処理によって生成される路面画像は、実際の三次元空間において第1平面領域R1の高さより高い位置にある物体を大きく表示し、第1平面領域R1の高さより低い位置にある物体を小さく表示する傾向を有する。そのため、視点変換処理によって生成される路面画像では、第1平面領域R1の高さを路面と同じ高さとした場合には、路面から所定の高さ(以下、「ホッパ部高さ」とする。)にあるホッパ部62の画像が必要以上に大きく表示される。一方で、視点変換処理によって生成される路面画像は、第1平面領域R1の高さをホッパ部高さと同じ高さとした場合には、ホッパ部画像を必要以上に大きくすることなく表示できる。この場合、ホッパ部高さより低い位置にある物体は小さく表示されるが、その路面画像を見た操作者に違和感を抱かせてしまうことはない。そのため、第1平面領域R1は、例えば、ホッパ部高さに設置される。但し、第1平面領域R1は、路面と同じ高さに設置されてもよい。
第2平面領域R2は、主に、視点変換処理によって遠景画像(前部カメラ2F側からアスファルトフィニッシャ60の進行方向を見たときの画像)を生成するために用いられる入力画像投影対象である。また、第2平面領域R2は、アスファルトフィニッシャ60の進行方向前端に配置される。本実施例では、第2平面領域R2は、ホッパ部62の前端のところに設定される。また、第2平面領域R2は、路面に対して垂直に、且つ、アスファルトフィニッシャ60の進行方向に対して垂直に設定される。ホッパ部62の画像が第1平面領域R1に投影されるようにするためである。具体的には、ホッパ部62の内部を上から見たときの画像と、ホッパ部62の外側前方を横(後方)から見たときの画像とを操作者が視認できるようにするためである。
また、図4は、空間モデルMDと処理対象画像平面との間の関係の一例を示す図であり、処理対象画像平面R3は、例えば、空間モデルMDの第1平面領域R1を含む平面である。
次に、制御部1が有する各種手段について説明する。
座標対応付け手段10は、カメラ2が撮像した入力画像が位置する入力画像平面上の座標と、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付けるための手段である。座標対応付け手段10は、例えば、予め設定された、或いは、入力部3を介して入力されるカメラ2に関する各種パラメータと、予め決定された、入力画像平面、空間モデルMD、及び処理対象画像平面R3の相互の位置関係とに基づいて、入力画像平面上の座標と、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付ける。なお、カメラ2に関する各種パラメータは、カメラ2の光学中心、焦点距離、CCDサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等を含む。そして、座標対応付け手段10は、それらの対応関係を記憶部4の入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41に記憶する。
なお、座標対応付け手段10は、処理対象画像を生成しない場合には、空間モデルMD上の座標と処理対象画像平面R3上の座標との対応付け、及び、その対応関係の空間モデル・処理対象画像対応マップ41への記憶を省略する。
出力画像生成手段11は、出力画像を生成するための手段である。出力画像生成手段11は、例えば、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって、処理対象画像平面R3上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。そして、出力画像生成手段11は、その対応関係を記憶部4の処理対象画像・出力画像対応マップ42に記憶する。そして、出力画像生成手段11は、座標対応付け手段10がその値を記憶した入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値(例えば、輝度値、色相値、彩度値等である。)と入力画像における各画素の値とを関連付けて出力画像を生成する。
また、出力画像生成手段11は、予め設定された、或いは、入力部3を介して入力される仮想カメラに関する各種パラメータに基づいて、処理対象画像平面R3上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。なお、仮想カメラに関する各種パラメータは、仮想カメラの光学中心、焦点距離、CCDサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等を含む。そして、出力画像生成手段11は、その対応関係を記憶部4の処理対象画像・出力画像対応マップ42に記憶する。そして、出力画像生成手段11は、座標対応付け手段10がその値を記憶した入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値(例えば、輝度値、色相値、彩度値等である。)と入力画像における各画素の値とを関連付けて出力画像を生成する。
なお、出力画像生成手段11は、仮想カメラの概念を用いることなく、処理対象画像のスケールを変更して出力画像を生成するようにしてもよい。
また、出力画像生成手段11は、処理対象画像を生成しない場合には、施した画像変換処理に応じて空間モデルMD上の座標と出力画像平面上の座標とを対応付ける。そして、出力画像生成手段11は、入力画像・空間モデル対応マップ40を参照しながら、出力画像における各画素の値(例えば、輝度値、色相値、彩度値等である。)と入力画像における各画素の値とを関連付けて出力画像を生成する。この場合、出力画像生成手段11は、処理対象画像平面R3上の座標と出力画像平面上の座標との対応付け、及び、その対応関係の処理対象画像・出力画像対応マップ42への記憶を省略する。
次に、座標対応付け手段10及び出力画像生成手段11による具体的な処理の一例について説明する。
座標対応付け手段10は、例えば、ハミルトンの四元数を用いて、入力画像平面上の座標と空間モデル上の座標とを対応付けることができる。
図5は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。図5において、カメラ2の入力画像平面は、カメラ2の光学中心Cを原点とするUVW直交座標系における一平面として表され、空間モデルは、XYZ直交座標系における立体面として表される。
最初に、座標対応付け手段10は、空間モデル上の座標(XYZ座標系上の座標)を入力画像平面上の座標(UVW座標系上の座標)に変換する。そのため、座標対応付け手段10は、XYZ座標系の原点を光学中心C(UVW座標系の原点)に並行移動させた後で、X軸をU軸に、Y軸をV軸に、Z軸を-W軸(符号「-」は方向が逆であることを意味する。これは、UVW座標系がカメラ前方を+W方向とし、XYZ座標系が鉛直下方を-Z方向としていることに起因する。)にそれぞれ一致させるようXYZ座標系を回転させる。
なお、カメラ2が複数存在する場合、カメラ2のそれぞれが個別のUVW座標系を有するので、座標対応付け手段10は、複数のUVW座標系のそれぞれに対して、XYZ座標系を並行移動させ且つ回転させる。
上述の変換は、カメラ2の光学中心CがXYZ座標系の原点となるようにXYZ座標系を並行移動させた後に、Z軸が-W軸に一致するようXYZ座標系を回転させ、更に、X軸がU軸に一致するようXYZ座標系を回転させることによって実現される。そのため、座標対応付け手段10は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。
ところで、あるベクトルAを別のベクトルBに一致させるための回転は、ベクトルAとベクトルBとが形成する面の法線を軸としてベクトルAとベクトルBとが形成する角度だけベクトルAを回転させる処理に相当する。そして、その角度をθとすると、ベクトルAとベクトルBとの内積から、角度θは、
また、ベクトルAとベクトルBとが形成する面の法線の単位ベクトルNは、ベクトルAとベクトルBとの外積から
なお、四元数は、i、j、kをそれぞれ虚数単位とした場合、
四元数Qは、実成分tを0(ゼロ)としながら、純虚成分a、b、cで三次元ベクトル(a,b,c)を表現することができ、また、t、a、b、cの各成分により任意のベクトルを軸とした回転動作を表現することもできる。
更に、四元数Qは、連続する複数回の回転動作を統合して一回の回転動作として表現することができる。四元数Qは、例えば、任意の点S(sx,sy,sz)を、任意の単位ベクトルC(l,m,n)を軸としながら角度θだけ回転させたときの点D(ex,ey,ez)を以下のように表現することができる。
また、本実施例において、X軸上にある点X’と原点とを結ぶ線をU軸に一致させる回転を表す四元数をQxとすると、「Z軸を-W軸に一致させ、更に、X軸をU軸に一致させる回転」を表す四元数Rは、
以上により、空間モデル(XYZ座標系)上の任意の座標Pを入力画像平面(UVW座標系)上の座標で表現したときの座標P’は、
空間モデル(XYZ座標系)上の座標を入力画像平面(UVW座標系)上の座標に変換した後、座標対応付け手段10は、線分CP’と、カメラ2の光軸Gとが形成する入射角αを算出する。なお、線分CP’は、カメラ2の光学中心C(UVW座標系上の座標)と空間モデル上の任意の座標PをUVW座標系で表した座標P’とを結ぶ線分である。
また、座標対応付け手段10は、平面Hと光軸Gとの交点Eと座標P’とを結ぶ線分EP’と、平面HにおけるU’軸とが形成する偏角φ、及び線分EP’の長さを算出する。なお、平面Hは、カメラ2の入力画像平面R4(例えば、CCD面)に平行で且つ座標P’を含む平面である。
カメラの光学系は、通常、像高さhが入射角α及び焦点距離fの関数となっている。そのため、座標対応付け手段10は、通常射影(h=ftanα)、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等の適切な射影方式を選択して像高さhを算出する。
その後、座標対応付け手段10は、算出した像高さhを偏角φによりUV座標系上のU成分及びV成分に分解し、入力画像平面R4の一画素当たりの画素サイズに相当する数値で除算する。これにより、座標対応付け手段10は、空間モデルMD上の座標P(P’)と入力画像平面R4上の座標とを対応付けることができる。
なお、入力画像平面R4のU軸方向における一画素当たりの画素サイズをaUとし、入力画像平面R4のV軸方向における一画素当たりの画素サイズをaVとする。この場合、空間モデルMD上の座標P(P’)に対応する入力画像平面R4上の座標(u,v)は、
このようにして、座標対応付け手段10は、空間モデルMD上の座標と、カメラ毎に存在する一又は複数の入力画像平面R4上の座標とを対応付け、空間モデルMD上の座標、カメラ識別子、及び入力画像平面R4上の座標を関連付けて入力画像・空間モデル対応マップ40に記憶する。
また、座標対応付け手段10は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、座標対応付け手段10は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算してもよい。
なお、複数の入力画像平面R4上の座標への対応付けが可能な場合、座標対応付け手段10は、空間モデルMD上の座標P(P’)を、その入射角αが最も小さいカメラに関する入力画像平面R4上の座標に対応付けてもよく、操作者が選択した入力画像平面R4上の座標に対応付けてもよい。
次に、空間モデルMD上の座標のうち、第2平面領域R2上の座標(Z軸方向の成分を持つ座標)を、XY平面上にある処理対象画像平面R3に再投影する処理について説明する。
図6は、座標対応付け手段10による座標間の対応付けを説明するための図である。また、図6(A)は、一例として通常射影(h=ftanα)を採用するカメラ2の入力画像平面R4上の座標と空間モデルMD上の座標との間の対応関係を示す。図6(A)において、座標対応付け手段10は、カメラ2の入力画像平面R4上の座標とその座標に対応する空間モデルMD上の座標とを結ぶ線分のそれぞれがカメラ2の光学中心Cを通過するようにして、両座標を対応付ける。
図6(A)の例では、座標対応付け手段10は、カメラ2の入力画像平面R4上の座標K1を空間モデルMDの第1平面領域R1上の座標L1に対応付け、カメラ2の入力画像平面R4上の座標K2を空間モデルMDの第2平面領域R2上の座標L2に対応付ける。このとき、線分K1-L1及び線分K2-L2は共にカメラ2の光学中心Cを通過する。
なお、カメラ2が通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用する場合、座標対応付け手段10は、それぞれの射影方式に応じて、カメラ2の入力画像平面R4上の座標K1、K2を空間モデルMD上の座標L1、L2に対応付ける。
具体的には、座標対応付け手段10は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に基づいて、入力画像平面上の座標と空間モデルMD上の座標とを対応付ける。この場合、線分K1-L1及び線分K2-L2がカメラ2の光学中心Cを通過することはない。
図6(B)は、空間モデルMDの第2平面領域R2上の座標と処理対象画像平面R3上の座標との間の対応関係を示す。図6(B)において、座標対応付け手段10は、XZ平面上に位置する平行線群PLであって、処理対象画像平面R3との間で角度βを形成する平行線群PLを導入する。そして、座標対応付け手段10は、空間モデルMDの第2平面領域R2上の座標とその座標に対応する処理対象画像平面R3上の座標とが共に平行線群PLのうちの一つの上に配置されるようにして、両座標を対応付ける。
図6(B)の例では、座標対応付け手段10は、空間モデルMDの第2平面領域R2上の座標L2と処理対象画像平面R3上の座標M2とが共通の平行線上に配置されるとして、両座標を対応付けるようにする。
なお、座標対応付け手段10は、空間モデルMDの第1平面領域R1上の座標を第2平面領域R2上の座標と同様に平行線群PLを用いて処理対象画像平面R3上の座標に対応付けることが可能である。しかしながら、図6(B)の例では、第1平面領域R1と処理対象画像平面R3とが共通の平面となっているので、平行線群PLを用いる必要はない。空間モデルMDの第1平面領域R1上の座標L1と処理対象画像平面R3上の座標M1とは同じ座標値を有するためである。
このようにして、座標対応付け手段10は、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付け、空間モデルMD上の座標及び処理対象画像平面R3上の座標を関連付けて空間モデル・処理対象画像対応マップ41に記憶する。
図6(C)は、処理対象画像平面R3上の座標と一例として通常射影(h=ftanα)を採用する仮想カメラ2Vの出力画像平面R5上の座標との間の対応関係を示す。図6(C)において、出力画像生成手段11は、仮想カメラ2Vの出力画像平面R5上の座標とその座標に対応する処理対象画像平面R3上の座標とを結ぶ線分のそれぞれが仮想カメラ2Vの光学中心CVを通過するようにして、両座標を対応付ける。
図6(C)の例では、出力画像生成手段11は、仮想カメラ2Vの出力画像平面R5上の座標N1を処理対象画像平面R3(空間モデルMDの第1平面領域R1)上の座標M1に対応付け、仮想カメラ2Vの出力画像平面R5上の座標N2を処理対象画像平面R3上の座標M2に対応付ける。このとき、線分M1-N1及び線分M2-N2は共に仮想カメラ2Vの光学中心CVを通過する。
なお、仮想カメラ2Vが通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用する場合、出力画像生成手段11は、それぞれの射影方式に応じて、仮想カメラ2Vの出力画像平面R5上の座標N1、N2を処理対象画像平面R3上の座標M1、M2に対応付ける。
具体的には、出力画像生成手段11は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に基づいて、出力画像平面R5上の座標と処理対象画像平面R3上の座標とを対応付ける。この場合、線分M1-N1及び線分M2-N2が仮想カメラ2Vの光学中心CVを通過することはない。
このようにして、出力画像生成手段11は、出力画像平面R5上の座標と、処理対象画像平面R3上の座標とを対応付け、出力画像平面R5上の座標及び処理対象画像平面R3上の座標を関連付けて処理対象画像・出力画像対応マップ42に記憶する。そして、出力画像生成手段11は、座標対応付け手段10が記憶した入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。
なお、図6(D)は、図6(A)~図6(C)を組み合わせた図であり、カメラ2、仮想カメラ2V、空間モデルMDの第1平面領域R1及び第2平面領域R2、並びに、処理対象画像平面R3の相互の位置関係を示す。
次に、図7を参照しながら、空間モデルMD上の座標と処理対象画像平面R3上の座標とを対応付けるために座標対応付け手段10が導入する平行線群PLの作用について説明する。
図7(A)は、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度βが形成される場合の図であり、図7(B)は、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度β1(β1>β)が形成される場合の図である。また、図7(A)及び図7(B)における空間モデルMDの第2平面領域R2上の座標La~Ldのそれぞれは、処理対象画像平面R3上の座標Ma~Mdのそれぞれに対応する。また、図7(A)における座標La~Ldのそれぞれの間隔は、図7(B)における座標La~Ldのそれぞれの間隔と等しい。なお、平行線群PLは、説明目的のためにXZ平面上に存在するものとしているが、実際には、Z軸上の全ての点から処理対象画像平面R3に向かって放射状に延びるように存在する。なお、この場合のZ軸を「再投影軸」と称する。
図7(A)及び図7(B)で示されるように、処理対象画像平面R3上の座標Ma~Mdのそれぞれの間隔は、平行線群PLと処理対象画像平面R3との間の角度が増大するにつれて線形的に減少する(空間モデルMDの第2平面領域R2と座標Ma~Mdのそれぞれとの間の距離とは関係なく一様に減少する。)。一方で、空間モデルMDの第1平面領域R1上の座標群は、図7の例では、処理対象画像平面R3上の座標群への変換が行われないので、座標群の間隔が変化することはない。
これら座標群の間隔の変化は、出力画像平面R5(図6参照。)上の画像部分のうち、空間モデルMDの第2平面領域R2に投影された画像に対応する画像部分のみが線形的に拡大或いは縮小されることを意味する。
次に、図8を参照しながら、空間モデルMD上の座標と処理対象画像平面R3上の座標とを対応付けるために座標対応付け手段10が導入する平行線群PLの代替例について説明する。
図8(A)は、XZ平面上に位置する補助線群ALの全てがZ軸上の始点T1から処理対象画像平面R3に向かって延びる場合の図であり、図8(B)は、補助線群ALの全てがZ軸上の始点T2(T2>T1)から処理対象画像平面R3に向かって延びる場合の図である。また、図8(A)及び図8(B)における空間モデルMDの第2平面領域R2上の座標La~Ldのそれぞれは、処理対象画像平面R3上の座標Ma~Mdのそれぞれに対応する(図8(A)の例では、座標Mc、Mdは、処理対象画像平面R3の領域外となるため図示されていない。)。また、図8(A)における座標La~Ldのそれぞれの間隔は、図8(B)における座標La~Ldのそれぞれの間隔と等しい。なお、補助線群ALは、説明目的のためにXZ平面上に存在するものとしているが、実際には、Z軸上の任意の一点から処理対象画像平面R3に向かって放射状に延びるように存在する。なお、図7と同様、この場合のZ軸を「再投影軸」と称する。
図8(A)及び図8(B)で示されるように、処理対象画像平面R3上の座標Ma~Mdのそれぞれの間隔は、補助線群ALの始点と原点Oとの間の距離(高さ)が増大するにつれて非線形的に減少する(空間モデルMDの第2平面領域R2と座標Ma~Mdのそれぞれとの間の距離が大きいほど、それぞれの間隔の減少幅が大きくなる。)。一方で、空間モデルMDの第1平面領域R1上の座標群は、図8の例では、処理対象画像平面R3上の座標群への変換が行われないので、座標群の間隔が変化することはない。
これら座標群の間隔の変化は、平行線群PLのときと同様、出力画像平面R5(図6参照。)上の画像部分のうち、空間モデルMDの第2平面領域R2に投影された画像に対応する画像部分のみが非線形的に拡大或いは縮小されることを意味する。
このようにして、画像生成装置100は、空間モデルMDの第1平面領域R1に投影された画像に対応する出力画像の画像部分(例えば、路面画像である。)に影響を与えることなく、空間モデルMDの第2平面領域R2に投影された画像に対応する出力画像の画像部分(例えば、遠景画像である。)を線形的に或いは非線形的に拡大或いは縮小させることができる。そのため、アスファルトフィニッシャ60の左右の近傍の路面画像(アスファルトフィニッシャ60を真上から見たときの仮想画像)に影響を与えることなく、アスファルトフィニッシャ60の前方に位置する物体(アスファルトフィニッシャ60から水平方向に前方を見たときの画像における物体)を迅速且つ柔軟に拡大或いは縮小させることができ、アスファルトフィニッシャ60の死角領域の視認性を向上させることができる。
次に、図9を参照しながら、画像生成装置100が処理対象画像を生成する処理(以下、「処理対象画像生成処理」とする。)、及び、生成した処理対象画像を用いて出力画像を生成する処理(以下、「出力画像生成処理」とする。)について説明する。なお、図9は、処理対象画像生成処理(ステップS1~ステップS3)及び出力画像生成処理(ステップS4~ステップS6)の流れを示すフローチャートである。また、カメラ2(入力画像平面R4)、空間モデル(第1平面領域R1及び第2平面領域R2)、並びに、処理対象画像平面R3の配置は予め決定されている。また、画像生成装置100は、カメラ2が入力画像を取得する度に、処理対象画像生成処理及び出力画像生成処理を実行する。
最初に、制御部1の座標対応付け手段10は、処理対象画像平面R3上の座標と空間モデルMD上の座標とを対応付ける(ステップS1)。
具体的には、座標対応付け手段10は、平行線群PLと処理対象画像平面R3との間に形成される角度を取得し、処理対象画像平面R3上の一座標から延びる平行線群PLの一つが空間モデルMDの第2平面領域R2と交差する点を算出する。そして、座標対応付け手段10は、算出した点に対応する第2平面領域R2上の座標を、処理対象画像平面R3上のその一座標に対応する第2平面領域R2上の一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ41に記憶する。なお、平行線群PLと処理対象画像平面R3との間に形成される角度は、記憶部4等に予め記憶された値であってもよく、入力部3を介して操作者が動的に入力する値であってもよい。
また、座標対応付け手段10は、処理対象画像平面R3上の一座標が空間モデルMDの第1平面領域R1上の一座標と一致する場合には、第1平面領域R1上のその一座標を、処理対象画像平面R3上のその一座標に対応する一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ41に記憶する。
その後、制御部1の座標対応付け手段10は、上述の処理によって導き出された空間モデルMD上の一座標と入力画像平面R4上の座標とを対応付ける(ステップS2)。
具体的には、座標対応付け手段10は、通常射影(h=ftanα)を採用するカメラ2の光学中心Cの座標を取得し、空間モデルMD上の一座標から延びる線分であり、光学中心Cを通過する線分が入力画像平面R4と交差する点を算出する。そして、座標対応付け手段10は、算出した点に対応する入力画像平面R4上の座標を、空間モデルMD上のその一座標に対応する入力画像平面R4上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ40に記憶する。
その後、制御部1は、処理対象画像平面R3上の全ての座標を空間モデルMD上の座標及び入力画像平面R4上の座標に対応付けたか否かを判定する(ステップS3)。そして、制御部1は、未だ全ての座標を対応付けていないと判定した場合には(ステップS3のNO)、ステップS1及びステップS2の処理を繰り返す。
一方、制御部1は、全ての座標を対応付けたと判定した場合には(ステップS3のYES)、処理対象画像生成処理を終了させた後で出力画像生成処理を開始させる。そして、制御部1の出力画像生成手段11は、処理対象画像平面R3上の座標と出力画像平面R5上の座標とを対応付ける(ステップS4)。
具体的には、出力画像生成手段11は、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって出力画像を生成する。そして、出力画像生成手段11は、施したスケール変換、アフィン変換、又は歪曲変換の内容によって定まる、処理対象画像平面R3上の座標と出力画像平面R5上の座標との間の対応関係を処理対象画像・出力画像対応マップ42に記憶する。
或いは、出力画像生成手段11は、仮想カメラ2Vを用いて出力画像を生成する場合には、採用した射影方式に応じて処理対象画像平面R3上の座標から出力画像平面R5上の座標を算出し、その対応関係を処理対象画像・出力画像対応マップ42に記憶してもよい。
或いは、出力画像生成手段11は、通常射影(h=ftanα)を採用する仮想カメラ2Vを用いて出力画像を生成する場合には、その仮想カメラ2Vの光学中心CVの座標を取得する。その後、出力画像生成手段11は、出力画像平面R5上の一座標から延びる線分であり、光学中心CVを通過する線分が処理対象画像平面R3と交差する点を算出する。そして、出力画像生成手段11は、算出した点に対応する処理対象画像平面R3上の座標を、出力画像平面R5上のその一座標に対応する処理対象画像平面R3上の一座標として導き出し、その対応関係を処理対象画像・出力画像対応マップ42に記憶してもよい。
その後、制御部1の出力画像生成手段11は、入力画像・空間モデル対応マップ40、空間モデル・処理対象画像対応マップ41、及び処理対象画像・出力画像対応マップ42を参照しながら入力画像平面R4上の座標と空間モデルMD上の座標との対応関係、空間モデルMD上の座標と処理対象画像平面R3上の座標との対応関係、及び処理対象画像平面R3上の座標と出力画像平面R5上の座標との対応関係を辿る。そして、出力画像生成手段11は、出力画像平面R5上の各座標に対応する入力画像平面R4上の座標が有する値(例えば、輝度値、色相値、彩度値等である。)を取得し、その取得した値を、対応する出力画像平面R5上の各座標の値として採用する(ステップS5)。なお、出力画像平面R5上の一座標に対して複数の入力画像平面R4上の複数の座標が対応する場合、出力画像生成手段11は、それら複数の入力画像平面R4上の複数の座標のそれぞれの値に基づく統計値(例えば、平均値、最大値、最小値、中間値等である。)を導き出し、出力画像平面R5上のその一座標の値としてその統計値を採用してもよい。
その後、制御部1は、出力画像平面R5上の全ての座標の値を入力画像平面R4上の座標の値に対応付けたか否かを判定する(ステップS6)。そして、制御部1は、未だ全ての座標の値を対応付けていないと判定した場合には(ステップS6のNO)、ステップS4及びステップS5の処理を繰り返す。
一方、制御部1は、全ての座標の値を対応付けたと判定した場合には(ステップS6のYES)、出力画像を生成して、この一連の処理を終了させる。
なお、画像生成装置100は、処理対象画像を生成しない場合には、処理対象画像生成処理を省略する。この場合、出力画像生成処理におけるステップS4の“処理対象画像平面上の座標”は、“空間モデル上の座標”で読み替えられる。
以上の構成により、画像生成装置100は、複数のカメラが取得する入力画像を合成して、アスファルトフィニッシャ60と作業員等を含む周辺障害物との位置関係を操作者に直感的に把握させることが可能な処理対象画像及び出力画像を生成することができる。
また、画像生成装置100は、ホッパ部62の全部、及び、スクリード部63の左右端を含む連続する領域を上から見た路面画像を出力画像の一部として表示する。これにより、操作者は、運転席64から離れることなく、アスファルトフィニッシャ60の周囲にある死角領域を視認することができる。その結果、画像生成装置100は、アスファルトフィニッシャ60の安全性及び操作性を向上させることができる。具体的には、画像生成装置100は、ホッパ部62内のアスファルト合材の残量、舗装予定の路面における地物(例えば、マンホールである。)の位置等を操作者に提示できる。また、画像生成装置100は、アスファルトフィニッシャ60の周辺で作業する作業員の位置を操作者に提示できる。そのため、操作者は、表示部5を見て地物や作業員の位置を確認した後で、ホッパ部62の開閉、スクリード部63の伸縮、スクリード部63の昇降等の各種操作を実行できる。また、操作者は、作業員とホッパ部、スクリード部、又はダンプカーとの関係で危険を察知した場合には、各種操作の中止、アスファルトフィニッシャの停止等を行うことができる。
また、画像生成装置100は、処理対象画像平面R3から空間モデルMDを経て入力画像平面R4に遡るように座標の対応付けを実行する。これにより、画像生成装置100は、処理対象画像平面R3上の各座標を入力画像平面R4上の一又は複数の座標に確実に対応させることができる。そのため、画像生成装置100は、入力画像平面R4から空間モデルMDを経て処理対象画像平面R3に至る順番で座標の対応付けを実行する場合と比べ、より良質な処理対象画像を迅速に生成することができる。なお、入力画像平面R4から空間モデルMDを経て処理対象画像平面R3に至る順番で座標の対応付けを実行する場合には、画像生成装置100は、入力画像平面R4上の各座標を処理対象画像平面R3上の一又は複数の座標に確実に対応させることができる。しかしながら、処理対象画像平面R3上の座標の一部が、入力画像平面R4上の何れの座標にも対応付けられない場合がある。その場合にはそれら処理対象画像平面R3上の座標の一部に補間処理等を施す必要がある。
また、画像生成装置100は、空間モデルMDの第2平面領域R2に対応する画像のみを拡大或いは縮小する場合には、平行線群PLと処理対象画像平面R3との間に形成される角度を変更して空間モデル・処理対象画像対応マップ41における第2平面領域R2に関連する部分のみを書き換えるだけでよい。すなわち、画像生成装置100は、入力画像・空間モデル対応マップ40の内容を書き換えることなく、所望の拡大或いは縮小を実現できる。
また、画像生成装置100は、出力画像の見え方を変更する場合には、スケール変換、アフィン変換又は歪曲変換に関する各種パラメータの値を変更して処理対象画像・出力画像対応マップ42を書き換えるだけでよい。すなわち、画像生成装置100は、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41の内容を書き換えることなく、所望の出力画像(スケール変換画像、アフィン変換画像又は歪曲変換画像)を生成できる。
同様に、画像生成装置100は、出力画像の視点を変更する場合には、仮想カメラ2Vの各種パラメータの値を変更して処理対象画像・出力画像対応マップ42を書き換えるだけでよい。すなわち、画像生成装置100は、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41の内容を書き換えることなく、所望の視点から見た出力画像(視点変換画像)を生成できる。
図10及び図11は、アスファルトフィニッシャ60に搭載された三台のカメラ2(左側部カメラ2L、右側部カメラ2R、及び前部カメラ2F)の入力画像を用いて生成される出力画像を表示部5に表示させたときの表示例である。なお、図10の出力画像は、ホッパ部62が全開のときのアスファルトフィニッシャ60の状態を示し、図11は、ホッパ部62が閉じたときのアスファルトフィニッシャ60の状態を示す。
画像生成装置100は、それら三台のカメラ2のそれぞれの入力画像を空間モデルMDの第1平面領域R1及び第2平面領域R2上に投影する。その後、画像生成装置100は、その投影画像を処理対象画像平面R3に再投影して処理対象画像を生成する。そして、画像生成装置100は、その生成した処理対象画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力画像を生成する。出力画像は、アスファルトフィニッシャ60の近傍を上空から見下ろした画像(第1平面領域R1における画像)と、アスファルトフィニッシャ60から水平方向に前方を見た画像(処理対象画像平面R3における画像)とを同時に表示する。
なお、出力画像は、画像生成装置100が処理対象画像を生成しない場合には、空間モデルMDに投影された画像に画像変換処理(例えば、視点変換処理である。)を施すことによって生成される。
更に、出力画像は、望ましくは、アスファルトフィニッシャ60のトラクタ部61のコンピュータグラフィックス(CG)画像61CGを、アスファルトフィニッシャの前方が表示部5の画面上方と一致するように配置する。アスファルトフィニッシャ60と出力画像に現れる物体との間の位置関係をより分かり易くするためである。なお、出力画像は、方位等の各種情報を含む額縁画像をその周囲に配置してもよい。
次に、図12~図15を参照しながら、画像生成装置100が入力画像間の重複領域における画像の不自然さを際立たせないようにする処理(以下、「重複領域修正処理」とする。)について説明する。
図12は、アスファルトフィニッシャ60に搭載された三台のカメラ2(左側部カメラ2L、右側部カメラ2R、及び前部カメラ2F)のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。なお、左側部カメラ2Lの入力画像は、ホッパ部62の左側の画像62L、及び、スクリード部63の左側の画像63Lを含む。また、右側部カメラ2Rの入力画像は、ホッパ部62の右側の画像62R、及び、スクリード部63の右側の画像63Rを含む。また、前部カメラ2Fの入力画像は、ホッパ部62の左側の画像62L及び右側の画像63Rを含む。
画像生成装置100は、それら三台のカメラ2のそれぞれの入力画像を空間モデルMDの第1平面領域R1及び第2平面領域R2上に投影した後でその投影画像を処理対象画像平面R3に再投影して処理対象画像を生成する。そして、画像生成装置100は、その生成した処理対象画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力画像を生成する。このようにして、画像生成装置100は、アスファルトフィニッシャ60の近傍を上空から見下ろした画像(平面領域R1における画像)と、アスファルトフィニッシャ60から水平方向に前方を見た画像(処理対象画像平面R3における画像)とを同時に表示する。
図12において、左側部カメラ2Lの入力画像及び前部カメラ2Fの入力画像はそれぞれ、アスファルトフィニッシャ60の周囲における同じ場所を異なる角度から撮像した重複部分を含む。右側部カメラ2Rの入力画像と前部カメラ2Fの入力画像との間の重複部分についても同様である。
そのため、それら三つの入力画像に基づいて生成される出力画像は、その出力画像平面上の座標が複数の入力画像平面上の座標に対応付け可能な場合に、その出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられると、不自然に見えてしまう。具体的には、左側部カメラ2Lの入力画像に基づく出力画像上の領域と前部カメラ2Fの入力画像に基づく出力画像上の領域との間の境界、及び、右側部カメラ2Rの入力画像に基づく出力画像上の領域と前部カメラ2Fの入力画像に基づく出力画像上の領域との間の境界のところで、ホッパ部62の形状が歪(不連続)になる。そして、その出力画像を見た操作者に不自然さを感じさせてしまう。また、図16を参照して後述するように、それらの境界付近に存在する物体の画像を出力画像から消失させてしまう。
そこで、画像生成装置100は、重複領域修正処理を実行する。図13は、重複領域修正処理の一例を説明するための図である。図13は、二つの波源(例えば、左側部カメラ2L及び前部カメラ2Fである。)から山(実線円)及び谷(破線円)を形成しながら拡がって互いに干渉する二つの波を示す。
また、図13において、二つの扇形領域2La、2Faはそれぞれ、左側部カメラ2Lの撮像範囲、及び、前部カメラ2Fの撮像範囲を示し、太い実線で表される腹線ANLは、二つの波が互いに強め合う点を連ねた線を示し、太い破線で表される節線NLは、二つの波が互いに弱め合う点を連ねた線を示す。なお、腹線ANL及び節線NLは、図13で示されるように、交互に現れる。
また、図13において、左側部カメラ2Lを波源として拡がる波の一つの谷が描く線(破線円)と、その一つの谷の次に発生する一つの山が描く線(実線円)と、前部カメラ2Fを波源として拡がる波の一つの谷が描く線(破線円)と、その一つの谷の次に発生する一つの山が描く線(実線円)とで定められる菱形状の領域のそれぞれは、単位パタン領域LTを形成する。
図13で示される複数の単位パタン領域LTが出力画像平面上に描かれ、単位パタン領域LTのうちの腹線ANLが通過する(灰色で塗り潰される)単位パタン領域LT1に前部カメラ2Fの入力画像が対応付けられ、且つ、単位パタン領域LTのうちの節線NLが通過する(白色で塗り潰される)単位パタン領域LT2に左側部カメラ2Lの入力画像が対応付けられると、二つの入力画像は、格子模様を形成する。
なお、単位パタン領域LTのうちの腹線ANLが通過する(灰色で塗り潰される)単位パタン領域LT1に左側部カメラ2Lの入力画像が対応付けられ、且つ、単位パタン領域LTのうちの節線NLが通過する(白色で塗り潰される)単位パタン領域LT2に前部カメラ2Fの入力画像が対応付けられる場合も同様に、二つの入力画像は、格子模様を形成する。
また、図13の格子模様は、波長及び位相が等しい二つの波を用いて形成されるが、波長及び位相の一方又は双方が異なる二つの波を用いて形成されてもよい。単位パタン領域LT1、LT2のサイズや形状を柔軟に調整できるようにするためである。
図14は、図13で示される格子模様を出力画像平面上に配置した状態を示し、トラクタ部61のCG画像61CGの右前方(図の右上方向)にある、右側部カメラ2Rの撮像範囲と前部カメラ2Fの撮像範囲との重複領域に配置される格子模様と、トラクタ部61のCG画像61CGの左前方(図の左上方向)にある、左側部カメラ2Lの撮像範囲と前部カメラ2Fの撮像範囲との重複領域に配置される格子模様とを示す。
図14において、右側部カメラ2Rの撮像範囲と前部カメラ2Fの撮像範囲との重複領域に配置される格子模様は、例えば、(灰色で塗り潰される)単位パタン領域LT1に右側部カメラ2Rの入力画像が対応付けられ、(白色で塗り潰される)単位パタン領域LT2に前部カメラ2Fの入力画像が対応付けられる。
また、左側部カメラ2Lの撮像範囲と前部カメラ2Fの撮像範囲との重複領域に配置される格子模様は、例えば、(灰色で塗り潰される)単位パタン領域LT3に左側部カメラ2Lの入力画像が対応付けられ、(白色で塗り潰される)単位パタン領域LT4に前部カメラ2Fの入力画像が対応付けられる。
図15は、画像生成装置100が、二つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像平面上の各座標に、それら二つのカメラの何れか一方の入力画像平面上の座標を対応付けて格子模様を形成する処理(以下、「格子模様形成処理」とする。)の流れを示すフローチャートである。
画像生成装置100の制御部1は、例えば、図9の処理対象画像生成処理のステップS2において、空間モデルMDの第1平面領域R1上の一座標と複数の入力画像平面上の座標との対応付けが可能な場合に、この格子模様形成処理を実行する。具体的には、制御部1の座標対応付け手段10は、空間モデルMDの第1平面領域R1上の一座標と二つのカメラのそれぞれに対応する二つの入力画像平面のうちの一つにおける一座標とを対応付ける際に、この格子模様形成処理を実行する。
最初に、制御部1は、二つのカメラ(例えば、右側部カメラ2R及び前部カメラ2Fである。)の撮像範囲が重複する領域に対応する、空間モデルMDの第1平面領域R1上の一座標を取得する(ステップS11)。
次に、制御部1は、二つのカメラのそれぞれにおける光学中心の座標を取得する(ステップS12)。
次に、制御部1は、ステップS11で取得した空間モデルMDにおける第1平面領域R1上の一座標に対応付けるカメラを選択する(ステップS13)。
具体的には、右側部カメラ2Rの光学中心の座標が(Xcam1、Ycam1)であり、前部カメラ2Fの光学中心の座標が(Xcam2、Ycam2)であり、対応付けの対象である空間モデルMDの第1平面領域R1上の一座標が(Xtarget、Ytarget)である場合を想定する。この場合、制御部1は、
なお、制御部1は、上述の条件式が真である場合に、その第1平面領域R1上の一座標に対応付けるカメラとして前部カメラ2Fを選択し、上述の条件式が偽である場合に、その第1平面領域R1上の一座標に対応付けるカメラとして右側部カメラ2Rを選択してもよい。
なお、上述の条件式は、第1平面領域R1上の座標(Xtarget、Ytarget)が、図14で示される単位パタン領域LT1に含まれるか、或いは、単位パタン領域LT2に含まれるかの判定式に相当する。
また、本実施例において、制御部1は、光学中心の座標が二次元座標であり、波源から発生する波が平面波であるという前提で、第1平面領域R1上の一座標(二次元座標)と二つのカメラのそれぞれの光学中心の座標(第1平面領域R1を含む平面上に投影された二次元座標)との間の二次元距離に基づいてカメラを選択する。しかしながら、制御部1は、光学中心の座標を(高さ情報を含む)三次元座標とし、波源から発生する波を球面波としながら、第1平面領域R1上の一座標(三次元座標)と二つのカメラのそれぞれの光学中心の座標(三次元座標)との間の三次元距離に基づいてカメラを選択してもよい。
また、本実施例において、制御部1は、二つのカメラ(例えば、右側部カメラ2R及び前部カメラ2Fである。)の撮像範囲が重複する領域に対応する、空間モデルMDの第1平面領域R1上の一座標に対応付けるカメラを選択する。しかしながら、制御部1は、二つのカメラの撮像範囲が重複する領域に対応する、第2平面領域R2上の一座標に対応付けるカメラ、及び、処理対象画像平面R3上の一座標に対応付けるカメラについても同様に選択できる。
この場合、制御部1は、処理対象画像平面R3上の一座標(二次元座標)と二つのカメラのそれぞれの光学中心の座標(処理対象画像平面R3を含む平面上に投影された二次元座標)との間の二次元距離に基づいてカメラを選択してもよく、処理対象画像平面R3上の一座標(三次元座標)と二つのカメラのそれぞれの光学中心の座標(三次元座標)との間の三次元距離に基づいてカメラを選択してもよい。なお、処理対象画像平面R3は、第1平面領域R1を含むものであってもよい。
その後、制御部1の座標対応付け手段10は、選択したカメラの入力画像平面上の一座標と、空間モデルMDの第1平面領域R1上の一座標とを対応付け(ステップS14)、空間モデルMD上の座標、カメラ識別子、及び入力画像平面上の座標を関連付けて入力画像・空間モデル対応マップ40に記憶する。
その後、制御部1は、二つのカメラの撮像範囲が重複する領域に対応する、空間モデルMDの第1平面領域R1上の全ての座標を、二つのカメラのうちの一つの入力画像平面上の座標に対応付けたか否かを判定する(ステップS15)。そして、制御部1は、未だ全ての座標を対応付けていないと判定した場合には(ステップS15のNO)、ステップS11~ステップS14の処理を繰り返す。
一方、制御部1は、全ての座標を対応付けたと判定した場合には(ステップS15のYES)、この格子模様形成処理を終了させる。
このように、制御部1は、上述のような条件式を用いて空間モデルMD上の各座標を二つのカメラのうちの一つの入力画像平面上の座標に容易に対応付けることができ、適切な格子模様を生成することができる。
ここで再び図12を参照すると、左側部カメラ2Lの入力画像に基づく出力画像上の領域と前部カメラ2Fの入力画像に基づく出力画像上の領域との間の境界を含む図12の一点鎖線で囲まれた領域R6が示されている。領域R6は、上述のように生成される格子模様により、ホッパ部62の形状が歪(不連続)になるのを抑制し、その領域R6を含む出力画像を見た操作者が感じる不自然さを和らげる。右側部カメラ2Rの入力画像に基づく出力画像上の領域と前部カメラ2Fの入力画像に基づく出力画像上の領域との間の境界を含む図12の一点鎖線で囲まれた領域R7についても同様である。
なお、上述の実施例では、ホッパ部62の後端の左右隅部が格子模様を形成する領域に含まれるが、画像生成装置100は、ホッパ部62の後端の左右隅部が格子模様を形成する領域に含まれないようにしてもよい。具体的には、画像生成装置100は、ホッパ部62の開閉を制御する油圧シリンダの状態を検出してホッパ部62の開閉状態を検知する。そして、画像生成装置100は、ホッパ部62の開閉状態に応じて決まる、ホッパ部62の後端の左右隅部が位置する空間モデルMD上の領域に、前部カメラ2Fの入力画像を投影する。そして、画像生成装置100は、ホッパ部62の後端の左右隅部の外側に対応する空間モデルMD上の領域に格子模様が形成されるようにする。その結果、画像生成装置100は、ホッパ部62の形状が歪(不連続)になるのを防止しながら重複領域を適切に表示できる。
次に、図16~図18を参照しながら、画像生成装置100が、二つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像部分を生成する際にその出力画像部分にある物体が消失するのを防止する処理について説明する。
図16は、アスファルトフィニッシャ60に搭載された三台のカメラのうちの左側部カメラ2L及び前部カメラ2Fのそれぞれの撮像範囲の重複領域における入力画像部分と、それら入力画像部分を用いて生成される出力画像部分とを示す。
図16において、左側部カメラ2Lの入力画像部分R10、及び、前部カメラ2Fの入力画像部分R11はそれぞれ、左側部カメラ2Lの撮像範囲と前部カメラ2Fの撮像範囲との重複領域内に属する画像部分であり、人物を捉えている。
しかしながら、それら左側部カメラ2Lの入力画像部分R10、及び、前部カメラ2Fの入力画像部分R11に基づいて生成される出力画像部分R12は、その出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられると、図16で示されるように、その重複領域内の人物を消失させてしまう。
そこで、画像生成装置100は、上述の格子模様を利用して、二つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像部分を生成する際にその出力画像部分にある物体が消失するのを防止する。
図17は、二つのカメラのそれぞれの撮像範囲の重複領域における物体の消失防止効果を説明するための図であり、図17(A)は、図13で示される格子模様を形成するための波の図を示し、図17(B)は、図17(A)の一部拡大図を示す。
図17(A)において、破線で囲まれる投影像PRJ1は、前部カメラ2Fの入力画像における物体OBJ1の像が、路面画像を生成するための視点変換によって、その前部カメラ2Fとその物体OBJ1とを結ぶ線の延長方向に伸長されたもの(前部カメラ2Fの入力画像部分R11を用いてその出力画像部分R12における路面画像を生成した場合に表示される像である。)を表す。
また、破線で囲まれる投影像PRJ2は、左側部カメラ2Lの入力画像における物体OBJ1の像が、路面画像を生成するための視点変換によって、その左側部カメラ2Lとその物体OBJ1とを結ぶ線の延長方向に伸長されたもの(左側部カメラ2Lの入力画像部分R10を用いてその出力画像部分R12における路面画像を生成した場合に表示される像である。)を表す。
なお、投影像PRJ1及び投影像PRJ2は、最終的な出力画像上にそのままの状態で表示されることはなく、図17(B)で示されるように、一部が切り欠かれた状態で表示される。
また、図17(A)において、投影像PRJ1を表す破線領域のうち、灰色で塗り潰された部分は、腹線ANLが通過する単位パタン領域LT1(図13参照。)との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には前部カメラ2Fの入力画像平面上の座標(物体OBJ1の像を形成する領域内の座標)が対応付けられることを示す。
一方、投影像PRJ1を表す破線領域のうち、白色で塗り潰された部分は、節線NLが通過する単位パタン領域LT2(図13参照。)との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には左側部カメラ2Lの入力画像平面上の座標(物体OBJ1の像を形成しない領域内の座標)が対応付けられることを示す。
なお、投影像PRJ1を表す破線領域のうち、灰色で塗り潰された部分に対応する出力画像上の各座標に、左側部カメラ2Lの入力画像平面上の座標(物体OBJ1の像を形成しない領域内の座標)が対応付けられ、投影像PRJ1を表す破線領域のうち、白色で塗り潰された部分に対応する出力画像上の各座標に、前部カメラ2Fの入力画像平面上の座標(物体OBJ1の像を形成する領域内の座標)が対応付けられてもよい。
この場合、投影像PRJ1は、図17(B)で示されるように、その伸長方向に直交する円(前部カメラ2Fの位置を波源とする波の山及び谷が描く円である。)の一部をその境界線として含む単位パタン領域LT2によって切り欠かれる。しかしながら、投影像PRJ1は、隣接する単位パタン領域LT1、LT2が互いに頂点を接触させているので繊切り状に分断され難い。また、単位パタン領域LT2のそれぞれがその伸長方向に直交する円の一部を含むため、投影像PRJ1の輪郭も認識され易いはっきりした状態で保存される。
また、投影像PRJ1は、物体OBJ1の高さが高い程、カメラから遠ざかる方向により長く伸長され、且つ、カメラから遠ざかる程、より大きく拡大される傾向を有する。しかしながら、単位パタン領域LT1及びLT2は何れもカメラから遠ざかる程、その投影像PRJ1と同じ度合いで、より大きく拡大していくので、投影像PRJ1の切り欠き状態もほぼ均一に維持される。
また、図17(A)において、投影像PRJ2を表す破線領域のうち、黒色で塗り潰された部分は、節線NLが通過する単位パタン領域LT2(図13参照。)との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には左側部カメラ2Lの入力画像平面上の座標(物体OBJ1の像を形成する領域内の座標)が対応付けられることを示す。
一方、投影像PRJ2を表す破線領域のうち、白色で塗り潰された部分は、腹線ANLが通過する単位パタン領域LT1(図13参照。)との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には前部カメラ2Fの入力画像平面上の座標(物体OBJ1の像を形成しない領域内の座標)が対応付けられることを示す。
なお、投影像PRJ2を表す破線領域のうち、黒色で塗り潰された部分に対応する出力画像上の各座標に前部カメラ2Fの入力画像平面上の座標(物体OBJ1の像を形成しない領域内の座標)が対応付けられ、投影像PRJ2を表す破線領域のうち、白色で塗り潰された部分に対応する出力画像上の各座標に左側部カメラ2Lの入力画像平面上の座標(物体OBJ1の像を形成する領域内の座標)が対応付けられてもよい。
この場合、投影像PRJ2は、投影像PRJ1と同様に、図17(B)で示されるように、その伸長方向に直交する円(左側部カメラ2Lの位置を波源とする波の山及び谷が描く円である。)の一部をその境界線として含む単位パタン領域LT1によって切り欠かれる。しかしながら、投影像PRJ2は、隣接する単位パタン領域LT1、LT2が互いに頂点を接触させているので繊切り状に分断され難い。また、単位パタン領域LT1のそれぞれがその伸長方向に直交する円の一部を含むため、投影像PRJ2の輪郭も認識され易いはっきりした状態で保存される。
また、投影像PRJ2は、投影像PRJ1と同様に、物体OBJ1の高さが高い程、カメラから遠ざかる方向により長く伸長され、且つ、カメラから遠ざかる程、より大きく拡大される傾向を有する。しかしながら、単位パタン領域LT1及びLT2は何れもカメラから遠ざかる程、その投影像PRJ2と同じ度合いで、より大きく拡大していくので、投影像PRJ2の切り欠き状態もほぼ均一に維持される。
図18は、図16で示される出力画像部分R12と、図16の出力画像部分R12に格子模様が適用された場合の出力画像部分R13との違いを表す対比図であり、図18左図が図16で示される出力画像部分R12を示し、図18右図が格子模様が適用された出力画像部分R13を示す。
左側部カメラ2Lの入力画像部分R10に基づく出力画像上の領域と前部カメラ2Fの入力画像部分R11に基づく出力画像上の領域との間の境界を含む図18左図の出力画像部分R12は、人物が消失した状態を提示している。しかしながら、左側部カメラ2Lの入力画像部分R10に基づく出力画像上の領域と前部カメラ2Fの入力画像部分R11に基づく出力画像上の領域とが格子模様となって混在する図18右図の出力画像部分R13は、人物を消失させることなく、その人物を認識し易い状態で提示している。そのため、その出力画像部分R13を含む出力画像を見た操作者は、その人物の存在を確実に認識できる。
以上の構成により、画像生成装置100は、格子模様を利用することにより、二つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像部分を生成する際にその出力画像部分にある物体が消失するのを防止できる。そのため、画像生成装置100は、二つの入力画像のそれぞれの部分領域が櫛歯状に交互に配置されるように二つの入力画像を繋ぎ合わせる場合に比べ、その一部が切り欠かれる物体の投影像を、操作者がより認識し易い状態で表示できる。
なお、上述の実施例において、画像生成装置100は、路面から距離D1(例えば1200mmである。)の高さに設定される第1平面領域R1を含む空間モデルMDを用いて出力画像を生成する。これは、ホッパ部画像を含む入力画像から路面画像を生成する際にそのホッパ部画像が過度に大きく表示されてしまいその路面画像を見た操作者に違和感を抱かせてしまうのを防止するためである。具体的には、視点変換処理によって生成される路面画像は、実際の三次元空間において第1平面領域R1の高さより高い位置にある物体を大きく表示し、第1平面領域R1の高さより低い位置にある物体を小さく表示する傾向を有する。そのため、視点変換処理によって生成される路面画像では、第1平面領域R1の高さを路面と同じ高さとした場合には、路面から所定の高さ(ホッパ部高さ)にあるホッパ部62の画像が必要以上に大きく表示される。一方で、視点変換処理によって生成される路面画像は、第1平面領域R1の高さをホッパ部高さと同じ高さとした場合には、ホッパ部画像を必要以上に大きくすることなく表示できる。
しかしながら、空間モデルMDを用いることによってホッパ部高さより低い位置にあるスクリード部63の画像(以下、「スクリード部画像」とする。)が小さく表示されると、ホッパ部画像及びスクリード部画像を含む出力画像を見た操作者は、違和感を抱くおそれがある。伸張状態のスクリード部63の幅は、実際には、全開状態のホッパ部62の幅より大きいにもかかわらず(図2(B)参照。)、図10で示されるように、出力画像では、スクリード部画像の幅がホッパ部画像の幅より小さく表示されてしまうためである。
そこで、画像生成装置100は、空間モデルMDの構成を変更することによって、ホッパ部画像が過度に大きく表示されてしまうのを防止しながら、スクリード部63の画像が過度に小さく表示されてしまうのを防止する。すなわち、画像生成装置100は、空間モデルMDの構成を変更することによって、出力画像におけるホッパ部画像の幅とスクリード部画像の幅との大小関係が実際のホッパ部62の幅とスクリード部63の幅との大小関係に合うように出力画像を生成することができる。
図19は、ホッパ部画像の幅とスクリード部画像の幅との大小関係が実際の大小関係に合うようにその構成が変更された空間モデルMDAを示す図であり、図3に対応する。図19(A)は、アスファルトフィニッシャ60を左側方から見たときのアスファルトフィニッシャ60と空間モデルMDAとの間の関係を示し、図19(B)は、アスファルトフィニッシャ60を上方から見たときのアスファルトフィニッシャ60と空間モデルMDAとの間の関係を示し、図19(C)は、アスファルトフィニッシャ60を後方から見たときのアスファルトフィニッシャ60と空間モデルMDAとの間の関係を示す。
図19(A)~図19(C)で示されるように、空間モデルMDAは、ホッパ部平面領域R1a、スクリード部平面領域R1b、接続面領域R1c、及び第2平面領域R2を有する。なお、第2平面領域R2は、空間モデルMDにおける第2平面領域R2と同じである。
ホッパ部平面領域R1aは、ホッパ部62の位置に対応し且つ路面より高い位置に設定される、路面に平行な平面領域である。本実施例では、ホッパ部平面領域R1aは、空間モデルMDにおける第1平面領域R1と同様、路面から距離D1(例えば1200mmである。)の高さに設定される。
また、本実施例では、アスファルトフィニッシャ60の進行方向におけるホッパ部平面領域R1aの長さD2はホッパ部62の長さにほぼ等しい。しかしながら、ホッパ部平面領域R1aの長さD2は、ホッパ部62の長さより長くてもよい。その場合、ホッパ部平面領域R1aは、トラクタ部61の一部を含むように進行方向後方に延長されてもよい。
スクリード部平面領域R1bは、スクリード部63の位置に対応する、路面に平行な平面領域である。本実施例では、スクリード部平面領域R1bは、路面と同じ高さに設定される。但し、スクリード部平面領域R1bは、ホッパ部平面領域R1aより低い位置であれば路面より高い位置に設定されてもよい。また、スクリード部平面領域R1bは、路面より低い位置に設定されてもよい。
また、本実施例では、アスファルトフィニッシャ60の進行方向におけるスクリード部平面領域R1bの長さD3は、スクリード部63の長さにほぼ等しい。しかしながら、スクリード部平面領域R1bの長さD3は、スクリード部63の長さより長くてもよい。その場合、スクリード部平面領域R1bは、トラクタ部61の一部を含むように進行方向前方に延長されてもよい。
接続面領域R1cは、ホッパ部平面領域R1aとスクリード部平面領域R1bとを接続する面領域である。また、接続面領域R1cの路面からの距離は、ホッパ部平面領域R1aの路面からの距離とスクリード部平面領域R1bの路面からの距離との間で変化する。本実施例では、接続面領域R1cは、ホッパ部平面領域R1aとスクリード部平面領域R1bとを接続する平面領域である。具体的には、接続面領域R1cは、路面から距離D1の高さに設定されるホッパ部平面領域R1aと、路面の高さに設定されるスクリード部平面領域R1bとの間でその高さを一定の割合で連続的に変化させる傾斜平面領域である。但し、接続面領域R1cは、その高さを連続的に且つ段階的に変化させるよう、傾斜角度の異なる複数の傾斜平面で構成されてもよい。或いは、接続面領域R1cは、その高さを断続的に且つ段階的に変化させるよう、路面に平行な複数の平面と路面と交差する複数の平面とで構成されてもよい。或いは、接続面領域R1cは、1又は複数の曲面で構成されてもよく、1又は複数の曲面と1又は複数の平面との組み合わせで構成されてもよい。
図20は、空間モデルMDAと処理対象画像平面との間の関係の一例を示す図であり、図4に対応する。本実施例では、処理対象画像平面R3Aは、例えば、空間モデルMDAのホッパ部平面領域R1a、スクリード部平面領域R1b、及び接続面領域R1cを含む3つの平面の組み合わせである。
次に、図21及び図22を参照して、空間モデルMDを用いて生成される出力画像と、空間モデルMDAを用いて生成される出力画像との違いについて説明する。
なお、図21は、ホッパ部62が全開のときのアスファルトフィニッシャ60の状態を示し、図21(A)が実際のアスファルトフィニッシャ60の上面図であり、図21(B)が空間モデルMDAを用いて生成される出力画像であり、図21(C)が空間モデルMDを用いて生成される出力画像である。
また、図22は、ホッパ部62が全閉のときのアスファルトフィニッシャ60の状態を示し、図22(A)が空間モデルMDAを用いて生成される出力画像であり、図22(B)が空間モデルMDを用いて生成される出力画像である。
また、図21の破線領域A62aは、全開状態にあるホッパ部62の画像の大きさを表し、図21(B)の出力画像と図21(C)の出力画像とで同じ大きさを有する。また、図22の破線領域A62bは、全閉状態にあるホッパ部62の画像の大きさを表し、図22(A)の出力画像と図22(B)の出力画像とで同じ大きさを有する。なお、図21、図22におけるホッパ部62の画像は、過度に大きく表示されないよう、路面より高い位置に設定される第1平面領域R1、ホッパ部平面領域R1aを用いて生成される。
また、図21及び図22における破線領域A63は、伸張状態にあるスクリード部63の画像の大きさを表す。また、破線領域A63は、図21(B)の出力画像と図22(A)の出力画像とで同じ大きさを有し、図21(C)の出力画像と図22(B)の出力画像とで同じ大きさを有する。
また、図22(A)及び図22(B)のドットパターンで示す領域ASは、スクリード部63の前方の路面上に撒かれた敷設前のアスファルト材の拡がり具合を表す。
なお、破線領域A62a、A62b、A63を区切る破線、及び、領域ASを表すドットパターンは、説明のみを目的とするものであり、出力画像に表示されることはない。
図21(C)で示されるように、空間モデルMDを用いて生成される出力画像では、伸張状態にあるスクリード部63の画像の幅が、全開状態にあるホッパ部62の画像の幅より小さく表示され、図21(A)で示されるような実際の大小関係とは異なる大小関係が表示される。これに対し、図21(B)で示されるように、空間モデルMDAを用いて生成される出力画像では、伸張状態にあるスクリード部63の画像の幅が、全開状態にあるホッパ部62の画像の幅より大きく表示され、図21(A)で示されるような実際の大小関係に合う大小関係が表示される。
同様に、図22(B)で示されるように、空間モデルMDを用いて生成される出力画像では、伸張状態にあるスクリード部63の画像の幅が、全閉状態にあるホッパ部62の画像の幅より僅かに大きく表示される程度であり、実際の大小関係(図示せず。)と異なる大小関係が表示される。これに対し、図22(A)で示されるように、空間モデルMDAを用いて生成される出力画像では、伸張状態にあるスクリード部63の画像の幅が、全閉状態にあるホッパ部62の画像の幅より顕著に大きく表示され、実際の大小関係に合う大小関係が表示される。
このように、画像生成装置100は、空間モデルMDAを用いて出力画像を生成することにより、空間モデルMDによる効果に加え、ホッパ部画像の幅とスクリード部画像の幅との大小関係を実際の大小関係に合わせることができるという追加的な効果を実現できる。また、画像生成装置100は、出力画像における敷設前のアスファルト材の拡がり具合を大きく表示することとなり、敷設前のアスファルト材の拡がり具合の視認性を大幅に向上させることができるという追加的な効果を実現できる。その結果、画像生成装置100は、アスファルトフィニッシャ60とその周囲にある物体との位置関係に加え、ホッパ部62の開閉状態、スクリード部63の伸張状態等のアスファルトフィニッシャ60自身の状態、及び、敷設前のアスファルト材の拡がり具合をより分かり易く操作者に提示することができ、アスファルトフィニッシャ60の安全性、操作性をさらに向上させることができる。なお、「ホッパ部画像の幅とスクリード部画像の幅との大小関係を実際の大小関係に合わせる」は、ホッパ部画像の幅とスクリード部画像の幅との比を、実際のホッパ部62の幅と実際のスクリード部63の幅との比に正確に合わせることを含む。また、ホッパ部画像の幅は、路面より高い位置に設定されるホッパ部平面領域R1aによって、過度に大きくならないように既に調整されている。
また、上述の実施例において、画像生成装置100は、路面からの距離が異なる2つの平面領域(ホッパ部平面領域R1a及びスクリード部平面領域R1b)を含む空間モデルMDAを用いてホッパ部画像の幅とスクリード部画像の幅との大小関係を実際の大小関係に合わせるようにする。しかしながら、本発明はこの構成に限定されるものではない。例えば、画像生成装置100は、路面に平行な平面領域(第1平面領域R1)を1つだけ含む空間モデルMDを用いて、或いは、路面からの距離が等しいホッパ部平面領域R1a及びスクリード部平面領域R1bを含む空間モデルを用いて、ホッパ部画像の幅とスクリード部画像の幅との大小関係を実際の大小関係に合わせるようにしてもよい。これらの場合、画像生成装置100は、路面に平行な平面領域に投影されたスクリード部画像に画像変換処理(例えばスケール変換である。)を施すことによって出力画像におけるスクリード部画像を拡大してもよい。なお、画像生成装置100は、空間モデルMDAを用いて出力画像を生成する場合に、スクリード部平面領域R1bに投影されたスクリード部画像に画像変換処理(例えばスケール変換である。)を施すことによって出力画像におけるスクリード部画像を拡大してもよい。
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
例えば、画像生成装置100は、グースアスファルト合材を用いるグースアスファルトフィニッシャに搭載されてもよい。
また、本願は、2012年11月8日に出願した日本国特許出願2012-246577号に基づく優先権、及び、2013年4月26日に出願した日本国特許出願2013-094451号に基づく優先権を主張するものであり、それらの日本国特許出願の全内容を本願に参照により援用する。
1・・・制御部 2・・・カメラ 2L・・・左側部カメラ 2R・・右側部カメラ 2F・・前部カメラ 3・・・入力部 4・・・記憶部 5・・・表示部 10・・・座標対応付け手段 11・・・出力画像生成手段 40・・・入力画像・空間モデル対応マップ 41・・・空間モデル・処理対象画像対応マップ 42・・・処理対象画像・出力画像対応マップ 60・・・アスファルトフィニッシャ 61・・・トラクタ部 62・・・ホッパ部 63・・・スクリード部 64・・・運転席 65・・・操作部
Claims (14)
- 舗装機械に取り付けられた複数の撮像手段が撮像した入力画像に基づいて出力画像を生成する舗装機械用画像生成装置であって、
前記舗装機械の周囲に配置される空間モデルにおける座標と、前記入力画像が位置する入力画像平面における座標とを対応付ける座標対応付け手段と、
前記空間モデルにおける座標を介して、前記入力画像平面における座標の値と前記出力画像が位置する出力画像平面における座標の値とを対応付けて前記出力画像を生成する出力画像生成手段と、を備え、
前記空間モデルは、路面に平行な第1平面領域と、路面と交差する第2平面領域とを含み、
前記第2平面領域は、前記舗装機械の進行方向前端に設定される、
舗装機械用画像生成装置。 - 前記座標対応付け手段は、更に、画像変換処理の対象となる処理対象画像が位置する処理対象画像平面における座標と、前記空間モデルにおける座標とを対応付け、
前記出力画像生成手段は、前記処理対象画像平面における座標と前記空間モデルにおける座標とを介して、前記入力画像平面における座標の値と前記出力画像平面における座標の値とを対応付けて前記出力画像を生成する、
請求項1に記載の舗装機械用画像生成装置。 - 前記舗装機械は、進行方向前方にホッパ部を備え、
前記第2平面領域は、前記ホッパ部の前端のところで路面に垂直に且つ進行方向に垂直に設定される、
請求項1に記載の舗装機械用画像生成装置。 - 前記第1平面領域は、路面から所定の高さに設定される、
請求項3に記載の舗装機械用画像生成装置。 - 前記舗装機械は、進行方向後方にスクリード部を備え、
前記複数の撮像手段の撮像範囲は、前記ホッパ部の全部、及び、前記スクリード部の左右端を含む、前記舗装機械の周辺の連続する領域である、
請求項4に記載の舗装機械用画像生成装置。 - 舗装機械の移動又は操作を支援する操作支援システムであって、
請求項1に記載の舗装機械用画像生成装置と、
前記舗装機械を移動させ或いは操作するための操作部の周辺に設置され、該舗装機械用画像生成装置が生成する出力画像を表示する表示部と、
を備えることを特徴とする舗装機械用操作支援システム。 - ホッパ部及びスクリード部を備える舗装機械に取り付けられた複数の撮像手段が撮像した入力画像に基づいて出力画像を生成する舗装機械用画像生成装置であって、
前記舗装機械の周囲に配置される空間モデルにおける座標と、前記入力画像が位置する入力画像平面における座標とを対応付ける座標対応付け手段と、
前記空間モデルにおける座標を介して、前記入力画像平面における座標の値と前記出力画像が位置する出力画像平面における座標の値とを対応付けて前記出力画像を生成する出力画像生成手段と、を備え、
前記空間モデルは、前記ホッパ部の位置に対応し且つ路面より高い位置に設定される路面に平行なホッパ部平面領域を含み、
前記出力画像生成手段は、前記出力画像における前記ホッパ部の画像と前記スクリード部の画像との大小関係を、実際の前記ホッパ部と前記スクリード部との大小関係に合わせる、
舗装機械用画像生成装置。 - 前記座標対応付け手段は、更に、画像変換処理の対象となる処理対象画像が位置する処理対象画像平面における座標と、前記空間モデルにおける座標とを対応付け、
前記出力画像生成手段は、前記処理対象画像平面における座標と前記空間モデルにおける座標とを介して、前記入力画像平面における座標の値と前記出力画像平面における座標の値とを対応付けて前記出力画像を生成する、
請求項7に記載の舗装機械用画像生成装置。 - 前記空間モデルは、前記スクリード部の位置に対応する路面に平行なスクリード部平面領域を含み、
前記ホッパ部平面領域の路面からの距離は、前記スクリード部平面領域の路面からの距離より大きい、
請求項7に記載の舗装機械用画像生成装置。 - 前記空間モデルは、前記ホッパ部平面領域と前記スクリード部平面領域とを接続する接続面領域を含み、
前記接続面領域の路面からの距離は、前記ホッパ部平面領域の路面からの距離と前記スクリード部平面領域の路面からの距離との間で変化する、
請求項9に記載の舗装機械用画像生成装置。 - 前記出力画像における前記スクリード部の画像は拡大表示される、
請求項7に記載の舗装機械用画像生成装置。 - 前記空間モデルは、前記ホッパ部の前端のところで路面に垂直に且つ進行方向に垂直に設定される別の平面領域を含む、
請求項7に記載の舗装機械用画像生成装置。 - 前記複数の撮像手段の撮像範囲は、前記ホッパ部の全部、及び、前記スクリード部の左右端を含む、前記舗装機械の周辺の連続する領域である、
請求項7に記載の舗装機械用画像生成装置。 - 舗装機械の移動又は操作を支援する操作支援システムであって、
請求項7に記載の舗装機械用画像生成装置と、
前記舗装機械を移動させ或いは操作するための操作部の周辺に設置され、該舗装機械用画像生成装置が生成する出力画像を表示する表示部と、
を備えることを特徴とする舗装機械用操作支援システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201380040773.6A CN104520508B (zh) | 2012-11-08 | 2013-09-27 | 铺装机械用图像生成装置以及铺装机械用操作支援系统 |
EP13852912.8A EP2918725B1 (en) | 2012-11-08 | 2013-09-27 | Image generation device for paving machine and operation assistance system for paving device |
US14/670,524 US9255364B2 (en) | 2012-11-08 | 2015-03-27 | Image generating apparatus for paving machine and operation support system for paving machine |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-246577 | 2012-11-08 | ||
JP2012246577A JP5917371B2 (ja) | 2012-11-08 | 2012-11-08 | 舗装機械用画像生成装置及び舗装機械用操作支援システム |
JP2013-094451 | 2013-04-26 | ||
JP2013094451A JP6073182B2 (ja) | 2013-04-26 | 2013-04-26 | 舗装機械用画像生成装置及び舗装機械用操作支援システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/670,524 Continuation US9255364B2 (en) | 2012-11-08 | 2015-03-27 | Image generating apparatus for paving machine and operation support system for paving machine |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014073282A1 true WO2014073282A1 (ja) | 2014-05-15 |
Family
ID=50684399
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/076196 WO2014073282A1 (ja) | 2012-11-08 | 2013-09-27 | 舗装機械用画像生成装置及び舗装機械用操作支援システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9255364B2 (ja) |
EP (1) | EP2918725B1 (ja) |
CN (1) | CN104520508B (ja) |
WO (1) | WO2014073282A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3064646A1 (de) * | 2015-03-04 | 2016-09-07 | Dynapac GmbH | Strassenbaumaschine und verfahren zum betreiben einer selbstfahrenden strassenbaumschine |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11707882B2 (en) | 2013-06-23 | 2023-07-25 | Robert A. Flitsch | Methods and apparatus for mobile additive manufacturing of advanced roadway systems |
US9988772B2 (en) * | 2013-06-23 | 2018-06-05 | Robert A. Flitsch | Methods and apparatus for mobile additive manufacturing of advanced structures and roadways |
US11338505B2 (en) | 2013-06-23 | 2022-05-24 | Robert A. Flitsch | Methods and apparatus for mobile additive manufacturing of advanced roadway systems |
US20230321897A1 (en) * | 2013-06-23 | 2023-10-12 | Robert A. Flitsch | Methods and apparatus for mobile additive manufacturing of advanced roadway systems |
US9724877B2 (en) | 2013-06-23 | 2017-08-08 | Robert A. Flitsch | Methods and apparatus for mobile additive manufacturing of advanced structures and roadways |
PL2982951T3 (pl) * | 2014-08-05 | 2019-04-30 | Voegele Ag J | Moduł termograficzny dla układarki |
EP2990531A1 (de) | 2014-08-27 | 2016-03-02 | Joseph Vögele AG | System für Straßenfertiger mit einer Temperaturmessvorrichtung, Verfahren zur Bestimmung eines Abkühlverhaltens und computerlesbares Speichermedium |
US11505902B2 (en) | 2015-04-15 | 2022-11-22 | Robert A. Flitsch | Methods, materials and apparatus for mobile additive manufacturing of advanced structures and roadways |
WO2020036594A1 (en) | 2018-08-14 | 2020-02-20 | Flitsch Robert | Methods and apparatus for mobile additive manufacturing |
EP3106562A1 (en) * | 2015-06-19 | 2016-12-21 | TF-Technologies A/S | Correction unit |
FR3053192A1 (fr) * | 2016-06-23 | 2017-12-29 | Orange | Procede de transmission d'un signal numerique pour un systeme a au moins un relais half-duplex dynamique a logique selective, produit programme et dispositif relais correspondants |
EP3276079B1 (en) | 2016-07-26 | 2021-07-14 | Caterpillar Paving Products Inc. | Control system for a road paver |
EP3543402A1 (de) | 2018-03-19 | 2019-09-25 | Joseph Vögele AG | Baumaschine zum erstellen oder bearbeiten einer strasse |
US10407844B1 (en) | 2018-04-23 | 2019-09-10 | Caterpillar Paving Products Inc. | Material feed system for a paving machine |
CN112488913A (zh) * | 2020-11-27 | 2021-03-12 | 杭州海康威视数字技术股份有限公司 | 数据处理方法、装置及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0477608U (ja) * | 1990-11-13 | 1992-07-07 | ||
JP2009019353A (ja) | 2007-07-10 | 2009-01-29 | Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd | 舗装機械の運転者支援装置 |
JP2011071919A (ja) * | 2009-09-28 | 2011-04-07 | Sumitomo Heavy Ind Ltd | 周囲画像提示装置及び操作支援システム |
WO2012043522A1 (ja) * | 2010-09-29 | 2012-04-05 | 日立建機株式会社 | 作業機械の周囲監視装置 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2681885B1 (fr) * | 1991-10-01 | 1998-09-04 | Colas Sa | Dispositif d'epandage d'une emulsion d'accrochage d'enrobes butumineux ou de fluides analogues, et machine de construction de chaussees comportant un tel dispositif. |
US5670935A (en) * | 1993-02-26 | 1997-09-23 | Donnelly Corporation | Rearview vision system for vehicle including panoramic view |
EP2309453A3 (en) * | 1998-07-31 | 2012-09-26 | Panasonic Corporation | Image displaying apparatus and image displaying method |
KR100866450B1 (ko) * | 2001-10-15 | 2008-10-31 | 파나소닉 주식회사 | 차량 주위 감시 장치 및 그 조정 방법 |
JP3871614B2 (ja) * | 2002-06-12 | 2007-01-24 | 松下電器産業株式会社 | 運転支援装置 |
US7424133B2 (en) * | 2002-11-08 | 2008-09-09 | Pictometry International Corporation | Method and apparatus for capturing, geolocating and measuring oblique images |
JP4899340B2 (ja) * | 2004-08-02 | 2012-03-21 | 日産自動車株式会社 | 運転感覚調整装置及び運転感覚調整方法 |
CN100566406C (zh) * | 2005-02-15 | 2009-12-02 | 松下电器产业株式会社 | 周边监视装置和周边监视方法 |
JP4606336B2 (ja) * | 2005-02-21 | 2011-01-05 | 株式会社オートネットワーク技術研究所 | 車両周辺視認装置 |
JP4934308B2 (ja) * | 2005-10-17 | 2012-05-16 | 三洋電機株式会社 | 運転支援システム |
JP2007262868A (ja) * | 2006-03-30 | 2007-10-11 | Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd | 舗装機械への舗装材供給装置 |
DE102006052779A1 (de) * | 2006-11-09 | 2008-05-15 | Bayerische Motoren Werke Ag | Verfahren zur Erzeugung eines Gesamtbilds der Umgebung eines Kraftfahrzeugs |
US8050458B2 (en) * | 2007-06-18 | 2011-11-01 | Honda Elesys Co., Ltd. | Frontal view imaging and control device installed on movable object |
EP2006448A1 (de) * | 2007-06-21 | 2008-12-24 | Leica Geosystems AG | Einbauzug zum erstellen einer Belagschicht aus Beton- oder Asphalt-Material |
DE102008034594B4 (de) * | 2008-07-25 | 2021-06-24 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges |
JP5483997B2 (ja) * | 2009-10-28 | 2014-05-07 | 本田技研工業株式会社 | 脚式移動ロボットの制御装置 |
JP5362639B2 (ja) * | 2010-04-12 | 2013-12-11 | 住友重機械工業株式会社 | 画像生成装置及び操作支援システム |
JP5135380B2 (ja) * | 2010-04-12 | 2013-02-06 | 住友重機械工業株式会社 | 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム |
US8730233B2 (en) * | 2010-04-19 | 2014-05-20 | Caterpillar Inc. | Mesh estimation of terrain |
CN102182137A (zh) * | 2011-02-25 | 2011-09-14 | 广州飒特电力红外技术有限公司 | 路面缺陷检测系统及方法 |
EP2562309B1 (de) * | 2011-08-22 | 2014-04-02 | Joseph Vögele AG | Straßenfertiger mit Messvorrichtung |
US9225942B2 (en) * | 2012-10-11 | 2015-12-29 | GM Global Technology Operations LLC | Imaging surface modeling for camera modeling and virtual view synthesis |
-
2013
- 2013-09-27 WO PCT/JP2013/076196 patent/WO2014073282A1/ja active Application Filing
- 2013-09-27 EP EP13852912.8A patent/EP2918725B1/en active Active
- 2013-09-27 CN CN201380040773.6A patent/CN104520508B/zh active Active
-
2015
- 2015-03-27 US US14/670,524 patent/US9255364B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0477608U (ja) * | 1990-11-13 | 1992-07-07 | ||
JP2009019353A (ja) | 2007-07-10 | 2009-01-29 | Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd | 舗装機械の運転者支援装置 |
JP2011071919A (ja) * | 2009-09-28 | 2011-04-07 | Sumitomo Heavy Ind Ltd | 周囲画像提示装置及び操作支援システム |
WO2012043522A1 (ja) * | 2010-09-29 | 2012-04-05 | 日立建機株式会社 | 作業機械の周囲監視装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3064646A1 (de) * | 2015-03-04 | 2016-09-07 | Dynapac GmbH | Strassenbaumaschine und verfahren zum betreiben einer selbstfahrenden strassenbaumschine |
Also Published As
Publication number | Publication date |
---|---|
US20150197900A1 (en) | 2015-07-16 |
EP2918725B1 (en) | 2019-06-26 |
CN104520508B (zh) | 2017-06-30 |
US9255364B2 (en) | 2016-02-09 |
EP2918725A4 (en) | 2015-11-11 |
EP2918725A1 (en) | 2015-09-16 |
CN104520508A (zh) | 2015-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2014073282A1 (ja) | 舗装機械用画像生成装置及び舗装機械用操作支援システム | |
JP5497617B2 (ja) | 画像生成装置及び操作支援システム | |
US8593454B2 (en) | Image generation device and operation support system | |
JP6029306B2 (ja) | 作業機械用周辺監視装置 | |
US8848981B2 (en) | Processing-target image generation device, processing-target image generation method and operation support system | |
US9881412B2 (en) | Image generation device and operation support system | |
US20130033493A1 (en) | Image generation device and operation support system | |
JP6073182B2 (ja) | 舗装機械用画像生成装置及び舗装機械用操作支援システム | |
JP6324665B2 (ja) | 作業機械用周辺監視装置 | |
JP5752631B2 (ja) | 画像生成方法、画像生成装置、及び操作支援システム | |
JP5805574B2 (ja) | 作業機械用周辺監視装置 | |
JP5917371B2 (ja) | 舗装機械用画像生成装置及び舗装機械用操作支援システム | |
JP6873889B2 (ja) | ショベル及びショベルの周囲画像生成装置 | |
JP2014224411A (ja) | 作業機械用周辺監視装置 | |
JP6355298B2 (ja) | 画像生成装置及びショベル | |
JP5808677B2 (ja) | 画像生成装置及び操作支援システム | |
JP6246185B2 (ja) | ショベル | |
JP2020002773A (ja) | ショベル及びショベルの周囲画像生成装置 | |
JP2014123955A (ja) | ショベル |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13852912 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2013852912 Country of ref document: EP |