JP6302624B2 - 画像生成装置 - Google Patents

画像生成装置 Download PDF

Info

Publication number
JP6302624B2
JP6302624B2 JP2013091803A JP2013091803A JP6302624B2 JP 6302624 B2 JP6302624 B2 JP 6302624B2 JP 2013091803 A JP2013091803 A JP 2013091803A JP 2013091803 A JP2013091803 A JP 2013091803A JP 6302624 B2 JP6302624 B2 JP 6302624B2
Authority
JP
Japan
Prior art keywords
image
coordinates
plane
reprojection
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013091803A
Other languages
English (en)
Other versions
JP2014216797A (ja
Inventor
芳永 清田
芳永 清田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Priority to JP2013091803A priority Critical patent/JP6302624B2/ja
Priority to CN201480007789.1A priority patent/CN104982031B/zh
Priority to PCT/JP2014/054347 priority patent/WO2014174884A1/ja
Priority to EP14788579.2A priority patent/EP2991343B1/en
Publication of JP2014216797A publication Critical patent/JP2014216797A/ja
Priority to US14/878,150 priority patent/US10621743B2/en
Application granted granted Critical
Publication of JP6302624B2 publication Critical patent/JP6302624B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/12—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Description

本発明は、入力画像に基づいて、出力画像を生成する画像生成装置に関する。
従来、カメラからの入力画像を、三次元空間上の所定の空間モデルにマッピングし、そのマッピングした空間データを参照しながら、その三次元空間における任意の仮想視点から見た視点変換画像を生成して表示する画像生成装置が知られている（例えば、特許文献１参照。）。
この画像生成装置は、車両に搭載されたカメラが撮像した画像を、その車両を囲む複数の平面又は曲面で構成される立体的な空間モデルに投影し、その空間モデルに投影した画像を用いて視点変換画像（路面を真上から見た状態を仮想的に映し出す路面画像と水平方向を仮想的に映し出す水平画像とを組み合わせた画像である。）を生成し、生成した視点変換画像を運転者に対して表示する。
これにより、この画像生成装置は、車両を運転する運転者がその視点変換画像を見たときに、その視点変換画像における物体と、車外にある実際の物体とを違和感なく対応付けられるようにしている。
また、特許文献１に記載されるような画像生成装置に比べ、出力画像を調整する際の柔軟性を向上させることができる画像生成装置が知られている（特許文献２参照。）。
特許第３２８６３０６号明細書 特許第５１３５３８０号明細書
本発明は、出力画像の調整をさらに容易にする画像生成装置を提供することを目的とする。
上述の目的を達成するために、本発明の実施例に画像生成装置は、複数のカメラが撮像した複数の入力画像に基づいて、出力画像を生成する画像生成装置であって、各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルにおける座標と、前記空間モデルに投影された画像が再投影される再投影平面における座標とを対応付け、且つ、前記空間モデル上の第１座標と該第１座標に対応する前記再投影平面上の第２座標とを結ぶ直線である再投影線の前記空間モデルの中心軸である再投影軸に対する傾きを入力画像毎に決定して前記出力画像を調整する制御装置を備え、前記制御装置は、一つの入力画像に関する前記直線のそれぞれが前記再投影軸から前記再投影平面に向かって延び且つ前記再投影平面に垂直な平面において平行となるよう、或いは、一つの入力画像に関する前記直線のそれぞれが単一の所定点を通るよう、前記空間モデル上の座標と前記再投影平面上の座標とを対応付け、且つ、前記再投影平面における各入力画像に対応する画像部分の境界線上で、各入力画像における所定地物を表す画像に対応する前記再投影平面上の各座標が一致するように前記直線の傾きを入力画像毎に決定する。
上述の手段により、本発明は、出力画像の調整をさらに容易にする画像生成装置を提供することができる。
本発明の実施例に係る画像生成装置の構成例を概略的に示すブロック図である。 図１の画像生成装置が搭載されるジブクレーンの構成例を示す図である。 入力画像が投影される空間モデルの一例を示す図（その１）である。 空間モデルと処理対象画像平面との間の関係の一例を示す図である。 入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。 座標対応付け部による座標間の対応付けを説明するための図である。 平行線群の作用を説明するための図である。 補助線群の作用を説明するための図である。 処理対象画像生成処理及び出力画像生成処理の流れを示すフローチャートである。 ジブクレーンの走行体に取り付けられる８台のカメラの配置図である。 図１０の８台のカメラの撮像範囲の概略図である。 図１０の８台のカメラの入力画像から部分画像を経て出力画像を生成する処理の流れを示すブロック図である。 図１２の処理における入力画像、部分画像、及び出力画像の例を示す図である。 走行体監視画像の特徴を説明する図である。 出力画像と再投影角度との関係を説明する図（その１）である。 出力画像調整処理の流れを示すフローチャートである。 空間モデルと再投影線との関係を示す模式図である。 本発明の実施例に係る画像生成装置が搭載されるショベルの構成例を示す図である。 入力画像が投影される空間モデルの一例を示す図（その２）である。 図１８のショベルに搭載された３台のカメラのそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。 出力画像と再投影角度との関係を説明する図（その２）である。
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
図１は、本発明の実施例に係るジブクレーンに搭載される画像生成装置１００の構成例を概略的に示すブロック図である。
画像生成装置１００は、ジブクレーンの周辺を監視する周辺監視装置の一例であり、主に、制御装置１、カメラ２、記憶装置４、無線通信装置５ａ、５ｂ、及び表示装置６で構成される。具体的には、画像生成装置１００は、ジブクレーンに搭載されるカメラ２が撮像した入力画像に基づいて出力画像を生成しその出力画像を表示装置６に表示する。
図２は、画像生成装置１００が搭載されるジブクレーン６０の構成例を示す図であり、図２左図がジブクレーン６０の側面視であり、図２右図がジブクレーン６０の前面視である。
ジブクレーン６０は、屋外に設置される走行クレーンであり、主に、レールＲＡ上を走行する走行体６１と、走行体６１上に設置される塔体６２と、塔体６２上に設置される旋回体６３と、旋回体６３に取り付けられるジブ６４とを有する。
走行体６１は、一対の脚部６１ａ、６１ｂとそれら一対の脚部６１ａ、６１ｂを接続する桁部６１ｃとで構成される門型形状のフレームを有し、駆動源６１ｄによって駆動される。旋回体６３は、図２の状態において、−Ｘ側端部の＋Ｙ側に運転室６３ａを備え、−Ｘ側端部の中央部にジブ６４が取り付けられる。なお、走行体６１には制御装置１、カメラ２、及び無線通信装置５ａが設置され、旋回体６３には無線通信装置５ｂが設置され、運転室６３ａ内の操作者が視認し易い位置には表示装置６が設置される。
次に、画像生成装置１００の各構成要素について説明する。
制御装置１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を備えたコンピュータである。本実施例では、制御装置１は、走行体６１又は塔体６２に設置され、例えば、後述する座標対応付け部１０、画像生成部１１、及び画像調整部１２のそれぞれの機能要素に対応するプログラムをＲＯＭやＮＶＲＡＭに記憶し、一時記憶領域としてＲＡＭを利用しながら各機能要素に対応する処理をＣＰＵに実行させる。なお、制御装置１は、旋回体６３に設置されてもよい。
カメラ２は、ジブクレーン６０の周囲を映し出す入力画像を取得するための装置であり、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子で構成される。本実施例では、カメラ２は、例えば、運転室６３ａにいる操作者の死角となる領域を撮像できるよう、走行体６１に取り付けられる複数の走行体用カメラ（後述）を含む。なお、カメラ２は、広い範囲を撮像できるよう広角レンズ又は魚眼レンズが装着されてもよい。
また、カメラ２は、制御装置１からの制御信号に応じて入力画像を取得し、取得した入力画像を制御装置１に対して出力する。なお、カメラ２は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力画像を制御装置１に対して出力する。また、カメラ２は、その見掛け上の歪曲やアオリを補正していない入力画像をそのまま制御装置１に対して出力してもよい。その場合には、制御装置１がその見掛け上の歪曲やアオリを補正する。
記憶装置４は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。
無線通信装置５ａ、５ｂは、情報を無線で送受信するための装置である。本実施例では、無線通信装置５ａは、走行体６１に設置され、制御装置１に有線接続される。また、無線通信装置５ｂは、旋回体６３に設置され、表示装置６に有線接続される。そして、無線通信装置５ａは、カメラ２の入力画像に基づいて制御装置１が生成する出力画像を無線通信装置５ｂに対して無線で送信する。無線通信装置５ｂは、無線通信装置５ａから送信される出力画像を無線で受信すると、受信した出力画像を表示装置６に対して出力する。なお、無線通信装置５ａ、５ｂは、制御装置１とカメラ２との間に配置されてもよい。この場合、無線通信装置５ａは、走行体６１又は塔体６２に設置され、カメラ２に有線接続される。また、無線通信装置５ｂは、旋回体６３に設置され、旋回体６３に設置された制御装置１に有線接続される。この構成により、画像生成装置１００は、有線接続を採用する際に生じるケーブルの取り回し、ケーブルの保護等に関する問題を排除できる。例えば、塔体６２には、運転者若しくは作業者の昇降用の階段、エレベータ等が設置される。また、塔体６２には、走行体６１に設置される機器と旋回体６３に設置される機器とを繋ぐ多くの配線が設置される。そのため、さらなるケーブルを設置するためのスペースの確保が困難な場合がある。このような状況においても、画像生成装置１００は、無線通信装置５ａ、５ｂを用いることにより、カメラ２と表示装置６との間で画像を送受信できる。
表示装置６は、画像情報を表示するための装置であり、例えば、ジブクレーン６０の運転室６３ａ（図２参照。）内に設置される液晶ディスプレイ又はプロジェクタ等であって、制御装置１が出力する各種画像を表示する。
また、画像生成装置１００は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施すことによって周囲の物体との位置関係や距離感を直感的に把握できるようにする出力画像を生成し、その出力画像を表示装置６上に表示させてもよい。
「処理対象画像」は、入力画像に基づいて生成される、画像変換処理（例えば、スケール変換処理、アフィン変換処理、歪曲変換処理、視点変換処理等である。）の対象となる画像である。具体的には、「処理対象画像」は、例えば、地表を上方から撮像するカメラによる入力画像であってその広い画角により水平方向の画像（例えば、空の部分である。）を含む入力画像から生成される、画像変換処理に適した画像である。より具体的には、画像生成装置１００は、その水平方向の画像が不自然に表示されないよう（例えば、空の部分が地表にあるものとして扱われないよう）その入力画像を所定の空間モデルに投影する。そして、画像生成装置１００は、その空間モデルに投影した投影画像を別の二次元平面に再投影することによって処理対象画像を生成する。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
「空間モデル」は、入力画像の投影対象である。具体的には、「空間モデル」は、少なくとも、処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面を含む、一又は複数の平面若しくは曲面で構成される。処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面は、例えば、処理対象画像平面に平行な平面、又は、処理対象画像平面との間で角度を形成する平面若しくは曲面である。
なお、画像生成装置１００は、処理対象画像を生成することなく、その空間モデルに投影された投影画像に画像変換処理を施すことによって出力画像を生成するようにしてもよい。また、投影画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
図３は、入力画像が投影される空間モデルＭＤの一例を示す図であり、図３左図は、走行体６１を側方から見たときの走行体６１と空間モデルＭＤとの間の関係を示し、図３右図は、走行体６１を上方から見たときの走行体６１と空間モデルＭＤとの間の関係を示す。
図３に示すように、空間モデルＭＤは、円筒形状を有し、その底面内側の平面領域Ｒ１とその側面内側の曲面領域Ｒ２とを有する。
また、図４は、空間モデルＭＤと処理対象画像平面Ｒ３との間の関係の一例を示す図であり、処理対象画像平面Ｒ３は、例えば、空間モデルＭＤの平面領域Ｒ１を含む平面である。また、処理対象画像平面Ｒ３は、上述のように、空間モデルＭＤの平面領域Ｒ１を含む円形領域であってもよく、空間モデルＭＤの平面領域Ｒ１を含まない環状領域であってもよい。
次に、制御装置１が有する各種機能要素について説明する。
座標対応付け部１０は、カメラ２が撮像した入力画像が位置する入力画像平面上の座標と、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付けるための手段である。本実施例では、座標対応付け部１０は、例えば、予め設定された、或いは、動的に入力されるカメラ２に関する各種パラメータと、予め決定された、入力画像平面、空間モデルＭＤ、及び処理対象画像平面Ｒ３の相互の位置関係とに基づいて、入力画像平面上の座標と、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付ける。なお、カメラ２に関する各種パラメータは、例えば、カメラ２の光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等である。そして、座標対応付け部１０は、それらの対応関係を記憶装置４の入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１に記憶する。
なお、座標対応付け部１０は、処理対象画像を生成しない場合には、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標との対応付け、及び、その対応関係の空間モデル・処理対象画像対応マップ４１への記憶を省略する。
画像生成部１１は、出力画像を生成するための手段である。本実施例では、画像生成部１１は、例えば、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって、処理対象画像平面Ｒ３上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。そして、画像生成部１１は、その対応関係を記憶装置４の処理対象画像・出力画像対応マップ４２に記憶する。そして、画像生成部１１は、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。各画素の値は、例えば、輝度値、色相値、彩度値等である。
例えば、画像生成部１１は、予め設定された、或いは、動的に入力される仮想カメラに関する各種パラメータに基づいて、処理対象画像平面Ｒ３上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。なお、仮想カメラに関する各種パラメータは、例えば、仮想カメラの光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等である。そして、画像生成部１１は、その対応関係を記憶装置４の処理対象画像・出力画像対応マップ４２に記憶する。そして、画像生成部１１は、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。
なお、画像生成部１１は、仮想カメラの概念を用いることなく、処理対象画像のスケールを変更して出力画像を生成してもよい。
また、画像生成部１１は、処理対象画像を生成しない場合には、施した画像変換処理に応じて空間モデルＭＤ上の座標と出力画像平面上の座標とを対応付ける。そして、画像生成部１１は、入力画像・空間モデル対応マップ４０を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。この場合、画像生成部１１は、処理対象画像平面Ｒ３上の座標と出力画像平面上の座標との対応付け、及び、その対応関係の処理対象画像・出力画像対応マップ４２への記憶を省略する。
画像調整部１２は、画像生成装置１００が生成する出力画像を調整するための手段である。本実施例では、画像調整部１２は、入力画像における所定地物を表す画像に対応する空間モデルＭＤ上の座標とその空間モデルＭＤ上の座標に対応する処理対象画像平面Ｒ３上の座標とを結ぶ再投影線（後述）を入力画像毎に導き出す。そして、画像調整部１２は、その再投影線の傾き（例えば、鉛直線に対する角度であり、以下、「再投影角度」とする。）を入力画像毎に決定して処理対象画像を調整する。また、画像調整部１２は、各入力画像における所定地物を表す画像に対応する処理対象画像平面Ｒ３上の各座標と空間モデルＭＤの再投影軸（後述）との間の距離が等しくなるように再投影角度を入力画像毎に決定する。なお、「各入力画像における所定地物を表す画像」は、各入力画像に跨って存在し得る地物を表す画像であり、例えば、水平線、地平線等の無限遠線を表す画像、ジブクレーン６０の周辺にある壁面に水平に描かれた線を表す画像、路面に描かれた線を表す画像等を含む。また、画像調整部１２による処理対象画像の調整についてはその詳細を後述する。
次に、座標対応付け部１０及び画像生成部１１による具体的な処理の一例について説明する。
座標対応付け部１０は、例えば、ハミルトンの四元数を用いて、入力画像平面上の座標と空間モデル上の座標とを対応付けることができる。
図５は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。カメラ２の入力画像平面は、カメラ２の光学中心Ｃを原点とするＵＶＷ直交座標系における一平面として表される。空間モデルは、ＸＹＺ直交座標系における立体面として表される。
最初に、座標対応付け部１０は、ＸＹＺ座標系の原点を光学中心Ｃ（ＵＶＷ座標系の原点）に並行移動させた上で、Ｘ軸をＵ軸に、Ｙ軸をＶ軸に、Ｚ軸を−Ｗ軸にそれぞれ一致させるようＸＹＺ座標系を回転させる。空間モデル上の座標（ＸＹＺ座標系上の座標）を入力画像平面上の座標（ＵＶＷ座標系上の座標）に変換するためである。なお、「−Ｗ軸」の符号「−」は、Ｚ軸の方向と−Ｗ軸の方向が逆であることを意味する。これは、ＵＶＷ座標系がカメラ前方を＋Ｗ方向とし、ＸＹＺ座標系が鉛直下方を−Ｚ方向としていることに起因する。
なお、カメラ２が複数存在する場合、カメラ２のそれぞれが個別のＵＶＷ座標系を有するので、座標対応付け部１０は、複数のＵＶＷ座標系のそれぞれに対して、ＸＹＺ座標系を並行移動させ且つ回転させる。
上述の変換は、カメラ２の光学中心ＣがＸＹＺ座標系の原点となるようにＸＹＺ座標系を並行移動させた後に、Ｚ軸が−Ｗ軸に一致するよう回転させ、更に、Ｘ軸がＵ軸に一致するよう回転させることによって実現される。そのため、座標対応付け部１０は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。
ところで、あるベクトルＡを別のベクトルＢに一致させるための回転は、ベクトルＡとベクトルＢとが張る面の法線を軸としてベクトルＡとベクトルＢとが形成する角度だけ回転させる処理に相当する。そして、その角度をθとすると、ベクトルＡとベクトルＢとの内積から、角度θは、
で表される。
また、ベクトルＡとベクトルＢとが張る面の法線の単位ベクトルＮは、ベクトルＡとベクトルＢとの外積から
で表されることとなる。
なお、四元数は、ｉ、ｊ、ｋをそれぞれ虚数単位とした場合、
を満たす超複素数であり、本実施例において、四元数Ｑは、実成分をｔ、純虚成分をａ、ｂ、ｃとして、
で表され、四元数Ｑの共役四元数は、
で表される。
四元数Ｑは、実成分ｔを０（ゼロ）としながら、純虚成分ａ、ｂ、ｃで三次元ベクトル（ａ，ｂ，ｃ）を表現することができ、また、ｔ、ａ、ｂ、ｃの各成分により任意のベクトルを軸とした回転動作を表現することもできる。
更に、四元数Ｑは、連続する複数回の回転動作を統合して一回の回転動作として表現することができる。具体的には、四元数Ｑは、例えば、任意の点Ｓ（ｓｘ，ｓｙ，ｓｚ）を、任意の単位ベクトルＣ（ｌ，ｍ，ｎ）を軸としながら角度θだけ回転させたときの点Ｄ（ｅｘ，ｅｙ，ｅｚ）を以下のように表現することができる。
ここで、本実施例において、Ｚ軸を−Ｗ軸に一致させる回転を表す四元数をＱｚとすると、ＸＹＺ座標系におけるＸ軸上の点Ｘは、点Ｘ'に移動させられるので、点Ｘ'は、
で表される。
また、本実施例において、Ｘ軸上にある点Ｘ'と原点とを結ぶ線をＵ軸に一致させる回転を表す四元数をＱｘとすると、「Ｚ軸を−Ｗ軸に一致させ、更に、Ｘ軸をＵ軸に一致させる回転」を表す四元数Ｒは、
で表される。
以上により、空間モデル（ＸＹＺ座標系）上の任意の座標Ｐを入力画像平面（ＵＶＷ座標系）上の座標で表現したときの座標Ｐ'は、
で表される。また、四元数Ｒがカメラ２のそれぞれで不変であることから、座標対応付け部１０は、以後、この演算を実行するだけで空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換することができる。
空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換した後、座標対応付け部１０は、線分ＣＰ'と、カメラ２の光軸Ｇとが形成する入射角αを算出する。なお、線分ＣＰ'は、カメラ２の光学中心Ｃ（ＵＶＷ座標系上の座標）と空間モデル上の任意の座標ＰをＵＶＷ座標系で表した座標Ｐ'とを結ぶ線分である。
また、座標対応付け部１０は、カメラ２の入力画像平面Ｒ４（例えば、ＣＣＤ面）に平行で且つ座標Ｐ'を含む平面Ｈにおける偏角φ、及び線分ＥＰ'の長さを算出する。なお、線分ＥＰ'は、平面Ｈと光軸Ｇとの交点Ｅと、座標Ｐ'とを結ぶ線分であり、偏角φは、平面ＨにおけるＵ'軸と線分ＥＰ'とが形成する角度である。
カメラの光学系は、通常、像高さｈが入射角α及び焦点距離ｆの関数となっている。そのため、座標対応付け部１０は、通常射影（ｈ＝ｆｔａｎα）、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等の適切な射影方式を選択して像高さｈを算出する。
その後、座標対応付け部１０は、算出した像高さｈを偏角φによりＵＶ座標系上のＵ成分及びＶ成分に分解し、入力画像平面Ｒ４の一画素当たりの画素サイズに相当する数値で除算する。これにより、座標対応付け部１０は、空間モデルＭＤ上の座標Ｐ（Ｐ'）と入力画像平面Ｒ４上の座標とを対応付けることができる。
なお、入力画像平面Ｒ４のＵ軸方向における一画素当たりの画素サイズをａＵとし、入力画像平面Ｒ４のＶ軸方向における一画素当たりの画素サイズをａＶとすると、空間モデルＭＤ上の座標Ｐ（Ｐ'）に対応する入力画像平面Ｒ４上の座標（ｕ，ｖ）は、
このようにして、座標対応付け部１０は、空間モデルＭＤ上の座標と、カメラ毎に存在する一又は複数の入力画像平面Ｒ４上の座標とを対応付け、空間モデルＭＤ上の座標、カメラ識別子、及び入力画像平面Ｒ４上の座標を関連付けて入力画像・空間モデル対応マップ４０に記憶する。
また、座標対応付け部１０は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、座標対応付け部１０は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。
なお、複数の入力画像平面Ｒ４上の座標への対応付けが可能な場合、座標対応付け部１０は、空間モデルＭＤ上の座標Ｐ（Ｐ'）を、その入射角αが最も小さいカメラに関する入力画像平面Ｒ４上の座標に対応付けるようにしてもよく、操作者が選択した入力画像平面Ｒ４上の座標に対応付けるようにしてもよい。
次に、空間モデルＭＤ上の座標のうち、曲面領域Ｒ２上の座標（Ｚ軸方向の成分を持つ座標）を、ＸＹ平面上にある処理対象画像平面Ｒ３に再投影する処理について説明する。
図６は、座標対応付け部１０による座標間の対応付けを説明するための図である。Ｆ６Ａは、一例として通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との間の対応関係を示す図である。座標対応付け部１０は、カメラ２の入力画像平面Ｒ４上の座標とその座標に対応する空間モデルＭＤ上の座標とを結ぶ線分のそれぞれがカメラ２の光学中心Ｃを通過するようにして、両座標を対応付ける。
Ｆ６Ａの例では、座標対応付け部１０は、カメラ２の入力画像平面Ｒ４上の座標Ｋ１を空間モデルＭＤの平面領域Ｒ１上の座標Ｌ１に対応付け、カメラ２の入力画像平面Ｒ４上の座標Ｋ２を空間モデルＭＤの曲面領域Ｒ２上の座標Ｌ２に対応付ける。このとき、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２は共にカメラ２の光学中心Ｃを通過する。
なお、カメラ２が通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、座標対応付け部１０は、それぞれの射影方式に応じて、カメラ２の入力画像平面Ｒ４上の座標Ｋ１、Ｋ２を空間モデルＭＤ上の座標Ｌ１、Ｌ２に対応付ける。
具体的には、座標対応付け部１０は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、入力画像平面上の座標と空間モデルＭＤ上の座標とを対応付ける。この場合、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２がカメラ２の光学中心Ｃを通過することはない。
Ｆ６Ｂは、空間モデルＭＤの曲面領域Ｒ２上の座標と処理対象画像平面Ｒ３上の座標との間の対応関係を示す図である。座標対応付け部１０は、ＸＺ平面上に位置する再投影線群としての平行線群ＰＬであって、Ｚ軸との間で角度γを形成する平行線群ＰＬを導入する。そして、座標対応付け部１０は、空間モデルＭＤの曲面領域Ｒ２上の座標とその座標に対応する処理対象画像平面Ｒ３上の座標とが共に平行線群ＰＬのうちの一つに乗るようにして、両座標を対応付ける。
Ｆ６Ｂの例では、座標対応付け部１０は、空間モデルＭＤの曲面領域Ｒ２上の座標Ｌ２と処理対象画像平面Ｒ３上の座標Ｍ２とが共通の平行線に乗るとして、両座標を対応付ける。
なお、座標対応付け部１０は、空間モデルＭＤの平面領域Ｒ１上の座標を曲面領域Ｒ２上の座標と同様に平行線群ＰＬを用いて処理対象画像平面Ｒ３上の座標に対応付けることも可能である。しかしながら、Ｆ６Ｂの例では、平面領域Ｒ１と処理対象画像平面Ｒ３とが共通の平面となっている。そのため、空間モデルＭＤの平面領域Ｒ１上の座標Ｌ１と処理対象画像平面Ｒ３上の座標Ｍ１とは同じ座標値を有する。
このようにして、座標対応付け部１０は、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、空間モデルＭＤ上の座標及び処理対象画像平面Ｒ３上の座標を関連付けて空間モデル・処理対象画像対応マップ４１に記憶する。
Ｆ６Ｃは、処理対象画像平面Ｒ３上の座標と、一例として通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖの出力画像平面Ｒ５上の座標との間の対応関係を示す図である。画像生成部１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標とその座標に対応する処理対象画像平面Ｒ３上の座標とを結ぶ線分のそれぞれが仮想カメラ２Ｖの光学中心ＣＶを通過するようにして、両座標を対応付ける。
Ｆ６Ｃの例では、画像生成部１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１を処理対象画像平面Ｒ３（空間モデルＭＤの平面領域Ｒ１）上の座標Ｍ１に対応付け、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ２を処理対象画像平面Ｒ３上の座標Ｍ２に対応付ける。このとき、線分Ｍ１−Ｎ１及び線分Ｍ２−Ｎ２は共に仮想カメラ２Ｖの光学中心ＣＶを通過する。
なお、仮想カメラ２Ｖが通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、画像生成部１１は、それぞれの射影方式に応じて、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１、Ｎ２を処理対象画像平面Ｒ３上の座標Ｍ１、Ｍ２に対応付ける。
具体的には、画像生成部１１は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、出力画像平面Ｒ５上の座標と処理対象画像平面Ｒ３上の座標とを対応付ける。この場合、線分Ｍ１−Ｎ１及び線分Ｍ２−Ｎ２が仮想カメラ２Ｖの光学中心ＣＶを通過することはない。
このようにして、画像生成部１１は、出力画像平面Ｒ５上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、出力画像平面Ｒ５上の座標及び処理対象画像平面Ｒ３上の座標を関連付けて処理対象画像・出力画像対応マップ４２に記憶する。そして、画像生成部１１は、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。
なお、Ｆ６Ｄは、Ｆ６Ａ〜Ｆ６Ｃを組み合わせた図であり、カメラ２、仮想カメラ２Ｖ、空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２、並びに、処理対象画像平面Ｒ３の相互の位置関係を示す。
次に、図７を参照しながら、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標とを対応付けるために座標対応付け部１０が導入する平行線群ＰＬの作用について説明する。
図７左図は、ＸＺ平面上に位置する平行線群ＰＬとＺ軸との間で角度γが形成される場合の図である。一方、図７右図は、ＸＺ平面上に位置する平行線群ＰＬとＺ軸との間で角度γ１（γ１＞γ）が形成される場合の図である。また、図７左図及び図７右図における空間モデルＭＤの曲面領域Ｒ２上の座標Ｌａ〜Ｌｄのそれぞれは、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれに対応する。また、図７左図における座標Ｌａ〜Ｌｄのそれぞれの間隔は、図７右図における座標Ｌａ〜Ｌｄのそれぞれの間隔と等しい。なお、平行線群ＰＬは、説明目的のためにＸＺ平面上に存在するものとしているが、実際には、Ｚ軸上の全ての点から処理対象画像平面Ｒ３に向かって放射状に延びるように存在する。なお、この場合のＺ軸を「再投影軸」と称する。
図７左図及び図７右図で示されるように、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれの間隔は、平行線群ＰＬと再投影軸との間の角度γが減少するにつれて線形的に減少する。すなわち、空間モデルＭＤの曲面領域Ｒ２と座標Ｍａ〜Ｍｄのそれぞれとの間の距離とは関係なく一様に減少する。一方で、空間モデルＭＤの平面領域Ｒ１上の座標群は、図７の例では、処理対象画像平面Ｒ３上の座標群への変換が行われないので、座標群の間隔が変化することはない。
これら座標群の間隔の変化は、出力画像平面Ｒ５（図６参照。）上の画像部分のうち、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する画像部分のみが線形的に拡大或いは縮小されることを意味する。
次に、図８を参照しながら、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標とを対応付けるために座標対応付け部１０が導入する平行線群ＰＬの代替例について説明する。
図８左図は、ＸＺ平面上に位置する再投影線群としての補助線群ＡＬの全てがＺ軸上の始点Ｔ１から処理対象画像平面Ｒ３に向かって延びる場合の図である。一方、図８右図は、補助線群ＡＬの全てがＺ軸上の始点Ｔ２（Ｔ２＞Ｔ１）から処理対象画像平面Ｒ３に向かって延びる場合の図である。また、図８左図及び図８右図における空間モデルＭＤの曲面領域Ｒ２上の座標Ｌａ〜Ｌｄのそれぞれは、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれに対応する。なお、図８左図の例では、座標Ｍｃ、Ｍｄは、処理対象画像平面Ｒ３の領域外となるため図示されていない。また、図８左図における座標Ｌａ〜Ｌｄのそれぞれの間隔は、図８右図における座標Ｌａ〜Ｌｄのそれぞれの間隔と等しい。なお、補助線群ＡＬは、説明目的のためにＸＺ平面上に存在するものとしているが、実際には、Ｚ軸上の任意の一点から処理対象画像平面Ｒ３に向かって放射状に延びるように存在する。なお、図７と同様、この場合のＺ軸を「再投影軸」と称する。
図８左図及び図８右図で示されるように、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれの間隔は、補助線群ＡＬの始点と原点Ｏとの間の距離（高さ）が増大するにつれて非線形的に減少する。すなわち、空間モデルＭＤの曲面領域Ｒ２と座標Ｍａ〜Ｍｄのそれぞれとの間の距離が大きいほど、それぞれの間隔の減少幅が大きくなる。一方で、空間モデルＭＤの平面領域Ｒ１上の座標群は、図８の例では、処理対象画像平面Ｒ３上の座標群への変換が行われないので、座標群の間隔が変化することはない。
これら座標群の間隔の変化は、平行線群ＰＬのときと同様、出力画像平面Ｒ５（図６参照。）上の画像部分のうち、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する画像部分のみが非線形的に拡大或いは縮小されることを意味する。
このようにして、画像生成装置１００は、空間モデルＭＤの平面領域Ｒ１に投影された画像に対応する出力画像の画像部分（例えば、路面画像である。）に影響を与えることなく、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する出力画像の画像部分（例えば、水平画像である。）を線形的に或いは非線形的に拡大或いは縮小させることができる。そのため、画像生成装置１００は、走行体６１の近傍の路面画像（走行体６１を真上から見たときの仮想画像）に影響を与えることなく、走行体６１の周囲に位置する物体（走行体６１から水平方向に周囲を見たときの画像における物体）を迅速且つ柔軟に拡大或いは縮小させることができ、ジブクレーン６０の死角領域の視認性を向上させることができる。
次に、図９を参照しながら、画像生成装置１００が処理対象画像を生成する処理（以下、「処理対象画像生成処理」とする。）、及び、生成した処理対象画像を用いて出力画像を生成する処理（以下、「出力画像生成処理」とする。）について説明する。なお、図９は、処理対象画像生成処理（ステップＳ１〜ステップＳ３）及び出力画像生成処理（ステップＳ４〜ステップＳ６）の流れを示すフローチャートである。また、カメラ２（入力画像平面Ｒ４）、空間モデル（平面領域Ｒ１及び曲面領域Ｒ２）、並びに、処理対象画像平面Ｒ３の配置は予め決定されている。
最初に、制御装置１は、座標対応付け部１０により、処理対象画像平面Ｒ３上の座標と空間モデルＭＤ上の座標とを対応付ける（ステップＳ１）。
具体的には、座標対応付け部１０は、平行線群ＰＬと再投影軸との間に形成される再投影角度を取得する。そして、座標対応付け部１０は、処理対象画像平面Ｒ３上の一座標から延びる平行線群ＰＬの一つが空間モデルＭＤの曲面領域Ｒ２と交差する点を算出する。そして、座標対応付け部１０は、算出した点に対応する曲面領域Ｒ２上の座標を、処理対象画像平面Ｒ３上のその一座標に対応する曲面領域Ｒ２上の一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ４１に記憶する。また、本実施例では、平行線群ＰＬと再投影軸との間に形成される再投影角度は、画像調整部１２によってカメラ毎（入力画像毎）に決定される値である。なお、再投影角度は、記憶装置４等に予め記憶された値であってもよく、入力部３を介して操作者が動的に入力する値であってもよい。
また、座標対応付け部１０は、処理対象画像平面Ｒ３上の一座標が空間モデルＭＤの平面領域Ｒ１上の一座標と一致する場合には、平面領域Ｒ１上のその一座標を、処理対象画像平面Ｒ３上のその一座標に対応する一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ４１に記憶する。
その後、制御装置１は、座標対応付け部１０により、上述の処理によって導き出された空間モデルＭＤ上の一座標と入力画像平面Ｒ４上の座標とを対応付ける（ステップＳ２）。
具体的には、座標対応付け部１０は、通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の光学中心Ｃの座標を取得する。そして、座標対応付け部１０は、空間モデルＭＤ上の一座標から延びる線分であり、光学中心Ｃを通過する線分が入力画像平面Ｒ４と交差する点を算出する。そして、座標対応付け部１０は、算出した点に対応する入力画像平面Ｒ４上の座標を、空間モデルＭＤ上のその一座標に対応する入力画像平面Ｒ４上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ４０に記憶する。
その後、制御装置１は、処理対象画像平面Ｒ３上の全ての座標を空間モデルＭＤ上の座標及び入力画像平面Ｒ４上の座標に対応付けたか否かを判定する（ステップＳ３）。そして、制御装置１は、未だ全ての座標を対応付けていないと判定した場合には（ステップＳ３のＮＯ）、ステップＳ１及びステップＳ２の処理を繰り返す。
一方、制御装置１は、全ての座標を対応付けたと判定した場合には（ステップＳ３のＹＥＳ）、処理対象画像生成処理を終了させた上で出力画像生成処理を開始させる。そして、制御装置１は、画像生成部１１により、処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標とを対応付ける（ステップＳ４）。
具体的には、画像生成部１１は、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって出力画像を生成する。そして、画像生成部１１は、施したスケール変換、アフィン変換、又は歪曲変換の内容によって定まる、処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標との間の対応関係を処理対象画像・出力画像対応マップ４２に記憶する。
或いは、画像生成部１１は、仮想カメラ２Ｖを用いて出力画像を生成する場合には、採用した射影方式に応じて処理対象画像平面Ｒ３上の座標から出力画像平面Ｒ５上の座標を算出し、その対応関係を処理対象画像・出力画像対応マップ４２に記憶するようにしてもよい。
或いは、画像生成部１１は、通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖを用いて出力画像を生成する場合には、その仮想カメラ２Ｖの光学中心ＣＶの座標を取得する。そして、画像生成部１１は、出力画像平面Ｒ５上の一座標から延びる線分であり、光学中心ＣＶを通過する線分が処理対象画像平面Ｒ３と交差する点を算出する。そして、画像生成部１１は、算出した点に対応する処理対象画像平面Ｒ３上の座標を、出力画像平面Ｒ５上のその一座標に対応する処理対象画像平面Ｒ３上の一座標として導き出す。このようにして、画像生成部１１は、その対応関係を処理対象画像・出力画像対応マップ４２に記憶するようにしてもよい。
その後、制御装置１の画像生成部１１は、入力画像・空間モデル対応マップ４０、空間モデル・処理対象画像対応マップ４１、及び処理対象画像・出力画像対応マップ４２を参照する。そして、画像生成部１１は、入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との対応関係、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標との対応関係、及び処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標との対応関係を辿る。そして、画像生成部１１は、出力画像平面Ｒ５上の各座標に対応する入力画像平面Ｒ４上の座標が有する値（例えば、輝度値、色相値、彩度値等である。）を取得し、その取得した値を、対応する出力画像平面Ｒ５上の各座標の値として採用する（ステップＳ５）。なお、出力画像平面Ｒ５上の一座標に対して複数の入力画像平面Ｒ４上の複数の座標が対応する場合、画像生成部１１は、それら複数の入力画像平面Ｒ４上の複数の座標のそれぞれの値に基づく統計値を導き出し、出力画像平面Ｒ５上のその一座標の値としてその統計値を採用してもよい。統計値は、例えば、平均値、最大値、最小値、中間値等である。
その後、制御装置１は、出力画像平面Ｒ５上の全ての座標の値を入力画像平面Ｒ４上の座標の値に対応付けたか否かを判定する（ステップＳ６）。そして、制御装置１は、未だ全ての座標の値を対応付けていないと判定した場合には（ステップＳ６のＮＯ）、ステップＳ４及びステップＳ５の処理を繰り返す。
一方、制御装置１は、全ての座標の値を対応付けたと判定した場合には（ステップＳ６のＹＥＳ）、出力画像を生成して、この一連の処理を終了させる。
なお、画像生成装置１００は、処理対象画像を生成しない場合には、処理対象画像生成処理を省略する。この場合、出力画像生成処理におけるステップＳ４の"処理対象画像平面上の座標"は、"空間モデル上の座標"で読み替えられる。
以上の構成により、画像生成装置１００は、走行体６１の周囲の物体と走行体６１との位置関係を操作者に直感的に把握させることが可能な処理対象画像及び出力画像を生成することができる。
また、画像生成装置１００は、処理対象画像平面Ｒ３から空間モデルＭＤを経て入力画像平面Ｒ４に遡るように座標の対応付けを実行する。これにより、画像生成装置１００は、処理対象画像平面Ｒ３上の各座標を入力画像平面Ｒ４上の一又は複数の座標に確実に対応させることができる。そのため、画像生成装置１００は、入力画像平面Ｒ４から空間モデルＭＤを経て処理対象画像平面Ｒ３に至る順番で座標の対応付けを実行する場合と比べ、より良質な処理対象画像を迅速に生成することができる。
なお、入力画像平面Ｒ４から空間モデルＭＤを経て処理対象画像平面Ｒ３に至る順番で座標の対応付けを実行する場合であっても、入力画像平面Ｒ４上の各座標を処理対象画像平面Ｒ３上の一又は複数の座標に確実に対応させることができる。しかしながら、処理対象画像平面Ｒ３上の座標の一部が、入力画像平面Ｒ４上の何れの座標にも対応付けられない場合があり、その場合にはそれら処理対象画像平面Ｒ３上の座標の一部に補間処理等を施す必要がある。
また、画像生成装置１００は、空間モデルＭＤの曲面領域Ｒ２に対応する画像のみを拡大或いは縮小する場合には、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される再投影角度を変更して空間モデル・処理対象画像対応マップ４１における曲面領域Ｒ２に関連する部分のみを書き換えるだけで、入力画像・空間モデル対応マップ４０の内容を書き換えることなく、所望の拡大或いは縮小を実現させることができる。
また、画像生成装置１００は、出力画像の見え方を変更する場合には、スケール変換、アフィン変換又は歪曲変換に関する各種パラメータの値を変更して処理対象画像・出力画像対応マップ４２を書き換えるだけで、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１の内容を書き換えることなく、所望の出力画像（スケール変換画像、アフィン変換画像又は歪曲変換画像）を生成することができる。
同様に、画像生成装置１００は、出力画像の視点を変更する場合には、仮想カメラ２Ｖの各種パラメータの値を変更して処理対象画像・出力画像対応マップ４２を書き換えるだけで、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１の内容を書き換えることなく、所望の視点から見た出力画像（視点変換画像）を生成することができる。
次に、図１０〜図１４を参照しながら、走行体６１に取り付けられる８台のカメラの入力画像を用いて画像生成装置１００が出力画像としての走行体監視画像を生成する処理について説明する。なお、図１０は、ジブクレーン６０の走行体６１の上面視、側面視、及び前面視を用いた８台のカメラの配置図である。また、図１１は、走行体６１の上面視、側面視、及び前面視を用いた８台のカメラの撮像範囲の概略図である。また、図１２は、８つの入力画像から４つの部分画像を経て１つの出力画像を生成する処理の流れを示すブロック図である。また、図１３は、図１２の処理における入力画像、部分画像、及び出力画像の例を示す図である。また、図１４は、走行体監視画像の特徴を説明する図である。
図１０に示すように、ジブクレーン６０の走行体６１には８台のカメラ２−１〜２−８が取り付けられる。具体的には、走行体６１の上面視Ｆ１０Ａ、側面視Ｆ１０Ｂ、及び前面視Ｆ１０Ｃで示すように、走行体６１には、脚部６１ａの外側（＋Ｙ側）を撮像する２つのカメラ２−１、２−５と、レール延在方向の一方の側（＋Ｘ側）を撮像するカメラ２−２と、一対の脚部６１ａ、６１ｂの間の空間を撮像する２つのカメラ２−３、２−７と、レール延在方向の他方の側（−Ｘ側）を撮像するカメラ２−６と、脚部６１ｂの外側（−Ｙ側）を撮像する２つのカメラ２−４、２−８とが取り付けられる。
カメラ２−１は、桁部６１ｃの＋Ｙ側の上端部に取り付けられ、図１１の上面視Ｆ１１Ａ及び前面視Ｆ１１Ｃにおける二点鎖線で示す光軸を有し、その光軸は点ＣＰ１において路面と交差する。また、上面視Ｆ１１Ａ及び前面視Ｆ１１Ｃにおける粗いドットパターンで示す領域ＣＲ１は、カメラ２−１の撮像範囲の一部を表す。なお、図１１では、図の明瞭化のため、カメラの図示を省略する。また、側面視Ｆ１１Ｂは、上面視Ｆ１１Ａにおける点線で示す鉛直面をＤＢ方向から見た部分断面図であり、前面視Ｆ１１Ｃは、側面視Ｆ１１Ｂにおける点線で示す鉛直面をＤＣ方向から見た部分断面図である。また、側面視Ｆ１１Ｂでは、図の明瞭化のため、脚部６１ａ、６１ｂの一部の図示を省略する。
カメラ２−２は、桁部６１ｃの下面に取り付けられ、上面視Ｆ１１Ａ及び側面視Ｆ１１Ｂにおける破線で示す光軸を有し、その光軸は点ＣＰ２において路面と交差する。また、上面視Ｆ１１Ａ及び側面視Ｆ１１Ｂにおける左下がり斜線パターンで示す領域ＣＲ２は、カメラ２−２の撮像範囲の一部を表す。なお、上面視Ｆ１１Ａにおける領域ＣＲ１−２は、カメラ２−１の撮像範囲とカメラ２−２の撮像範囲とが重複する領域を表す。また、カメラ２−２は、桁部６１ｃの上面又は側面に取り付けられてもよい。
カメラ２−３は、桁部６１ｃの下面に取り付けられ、側面視Ｆ１１Ｂにおける一点鎖線で示す光軸を有し、その光軸は点ＣＰ３において路面と交差する。また、上面視Ｆ１１Ａ、側面視Ｆ１１Ｂ、及び前面視Ｆ１１Ｃにおける右下がり斜線パターンで示す領域ＣＲ３は、カメラ２−３の撮像範囲の一部を表す。なお、上面視Ｆ１１Ａ及び側面視Ｆ１１Ｂにおける領域ＣＲ２−３は、カメラ２−２の撮像範囲とカメラ２−３の撮像範囲とが重複する領域を表す。
カメラ２−４は、桁部６１ｃの−Ｙ側の上端部に取り付けられ、上面視Ｆ１１Ａ及び前面視Ｆ１１Ｃにおける二点鎖線で示す光軸を有し、その光軸は点ＣＰ４において路面と交差する。また、上面視Ｆ１１Ａ及び前面視Ｆ１１Ｃにおける粗いドットパターンで示す領域ＣＲ４は、カメラ２−４の撮像範囲の一部を表す。なお、上面視Ｆ１１Ａにおける領域ＣＲ２−４は、カメラ２−２の撮像範囲とカメラ２−４の撮像範囲とが重複する領域を表す。
カメラ２−５は、桁部６１ｃの＋Ｙ側の上端部に取り付けられ、上面視Ｆ１１Ａにおける二点鎖線で示す光軸を有し、その光軸は点ＣＰ５において路面と交差する。また、上面視Ｆ１１Ａにおける細かいドットパターンで示す領域ＣＲ５は、カメラ２−５の撮像範囲の一部を表す。なお、上面視Ｆ１１Ａにおける領域ＣＲ１−５は、カメラ２−１の撮像範囲とカメラ２−５の撮像範囲とが重複する領域を表す。
カメラ２−６は、桁部６１ｃの下面に取り付けられ、上面視Ｆ１１Ａ及び側面視Ｆ１１Ｂにおける破線で示す光軸を有し、その光軸は点ＣＰ６において路面と交差する。また、上面視Ｆ１１Ａ及び側面視Ｆ１１Ｂにおける右下がり斜線パターンで示す領域ＣＲ６は、カメラ２−６の撮像範囲の一部を表す。なお、上面視Ｆ１１Ａにおける領域ＣＲ５−６は、カメラ２−５の撮像範囲とカメラ２−６の撮像範囲とが重複する領域を表す。また、カメラ２−６は、桁部６１ｃの上面又は側面に取り付けられてもよい。
カメラ２−７は、桁部６１ｃの下面に取り付けられ、側面視Ｆ１１Ｂにおける一点鎖線で示す光軸を有し、その光軸は点ＣＰ７において路面と交差する。また、上面視Ｆ１１Ａ及び側面視Ｆ１１Ｂにおける左下がり斜線パターンで示す領域ＣＲ７は、カメラ２−７の撮像範囲の一部を表す。なお、上面視Ｆ１１Ａ及び側面視Ｆ１１Ｂにおける領域ＣＲ６−７は、カメラ２−６の撮像範囲とカメラ２−７の撮像範囲とが重複する領域を表す。
カメラ２−８は、桁部６１ｃの−Ｙ側の上端部に取り付けられ、上面視Ｆ１１Ａにおける二点鎖線で示す光軸を有し、その光軸は点ＣＰ８において路面と交差する。また、上面視Ｆ１１Ａにおける細かいドットパターンで示す領域ＣＲ８は、カメラ２−８の撮像範囲の一部を表す。なお、上面視Ｆ１１Ａにおける領域ＣＲ６−８は、カメラ２−６の撮像範囲とカメラ２−８の撮像範囲とが重複する領域を表す。また、上面視Ｆ１１Ａにおける領域ＣＲ４−８は、カメラ２−４の撮像範囲とカメラ２−８の撮像範囲とが重複する領域を表す。
上述のように配置される８台のカメラ２−１〜２−８はそれぞれ、制御装置１に対して入力画像Ｇ１〜Ｇ８を出力する。
次に、図１２及び図１３を参照しながら、８台のカメラ２−１〜２−８が出力する８つの入力画像Ｇ１〜Ｇ８から４つの部分画像を経て１つの出力画像を生成する処理の流れについて説明する。
本実施例では、制御装置１は、３つの入力画像を用いて、最終的な出力画像の一部を構成する部分画像の１つを生成する部分画像生成装置としての３画像合成装置２０−１〜２０−４と、４つの部分画像を用いて１つの出力画像を生成する出力画像生成装置としての４画像合成装置２１−１とを有する。
なお、図１３上段は、８台のカメラ２−１〜２−８のそれぞれが出力する８つの入力画像Ｇ１〜Ｇ８の例を示す。また、図１３中段は、４台の３画像合成装置２０−１〜２０−４のそれぞれが出力する４つの部分画像（中間画像）Ｇ１１〜Ｇ１４の例を示す。また、図１３下段は、４画像合成装置２１−１が出力する出力画像Ｇ２０の例を示す。
３画像合成装置２０−１は、カメラ２−１からの入力画像Ｇ１と、カメラ２−２からの入力画像Ｇ２と、カメラ２−３からの入力画像Ｇ３とに基づいて中間画像Ｇ１１を生成する。そして、３画像合成装置２０−１は、生成した中間画像Ｇ１１を４画像合成装置２１−１に対して出力する。
同様に、３画像合成装置２０−２は、カメラ２−２からの入力画像Ｇ２と、カメラ２−３からの入力画像Ｇ３と、カメラ２−４からの入力画像Ｇ４とに基づいて中間画像Ｇ１２を生成する。また、３画像合成装置２０−３は、カメラ２−５からの入力画像Ｇ５と、カメラ２−６からの入力画像Ｇ６と、カメラ２−７からの入力画像Ｇ７とに基づいて中間画像Ｇ１３を生成する。また、３画像合成装置２０−４は、カメラ２−６からの入力画像Ｇ６と、カメラ２−７からの入力画像Ｇ７と、カメラ２−８からの入力画像Ｇ８とに基づいて中間画像Ｇ１４を生成する。そして、３画像合成装置２０−２、２０−３、２０−４は、生成した中間画像Ｇ１２、Ｇ１３、Ｇ１４を４画像合成装置２１−１に対して出力する。
４画像合成装置２１−１は、３画像合成装置２０−１〜２０−４からの部分画像（中間画像）Ｇ１１〜Ｇ１４に基づいて出力画像Ｇ２０を生成する。そして、４画像合成装置２１−１は、無線通信装置５ａ、５ｂを介して、生成した出力画像Ｇ２０を表示装置６に対して出力する。
その結果、図１３中段の中間画像Ｇ１１は、入力画像Ｇ１の一部が対応付けられる画像部分Ｇ１Ｐと、入力画像Ｇ２の一部が対応付けられる画像部分Ｇ２Ｐ１と、入力画像Ｇ３の一部が対応付けられる画像部分Ｇ３Ｐ１とを含む。
また、図１３中段の中間画像Ｇ１２は、入力画像Ｇ２の別の一部が対応付けられる画像部分Ｇ２Ｐ２と、入力画像Ｇ３の別の一部が対応付けられる画像部分Ｇ３Ｐ２と、入力画像Ｇ４の一部が対応付けられる画像部分Ｇ４Ｐとを含む。
また、図１３中段の中間画像Ｇ１３は、入力画像Ｇ５の一部が対応付けられる画像部分Ｇ５Ｐと、入力画像Ｇ６の一部が対応付けられる画像部分Ｇ６Ｐ１と、入力画像Ｇ７の一部が対応付けられる画像部分Ｇ７Ｐ１とを含む。
また、図１３中段の中間画像Ｇ１４は、入力画像Ｇ６の別の一部が対応付けられる画像部分Ｇ６Ｐ２と、入力画像Ｇ７の別の一部が対応付けられる画像部分Ｇ７Ｐ２と、入力画像Ｇ８の一部が対応付けられる画像部分Ｇ８Ｐとを含む。
また、図１３下段の出力画像Ｇ２０は、中間画像Ｇ１１〜Ｇ１４のそれぞれが対応付けられる画像部分Ｇ１１Ｐ〜Ｇ１４Ｐを含む。
ここで、図１３及び図１４を参照しながら、画像生成装置１００によって生成される出力画像Ｇ２０の詳細について説明する。なお、図１４は、出力画像Ｇ２０の一例であり、図１３下段の出力画像Ｇ２０に対応する。また、図１４中の点線で示す円は、空間モデルＭＤの平面領域Ｒ１と処理対象画像平面Ｒ３との間の境界を表す。また、図１４中の点線で示す４つの線分ＬＳ１〜ＬＳ４は、走行体６１の側方を撮像する側方用カメラ（カメラ２−１、２−４、２−５、２−８）の入力画像の一部が対応付けられる画像部分と、レールＲＡに沿った遠方の走行路を撮像する遠方用カメラ（カメラ２−２、２−６）の入力画像の一部が対応付けられる画像部分との間の境界線を表す。また、図１４中の白丸は、空間モデルＭＤの円筒中心ＣＴＲを表す。なお、図１４中の点線及び白丸は、実際の出力画像Ｇ２０では表示されない。
図１３及び図１４に示すように、画像生成装置１００は、８台のカメラ２−１〜２−８のそれぞれの入力画像を空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２上に投影し、曲面領域Ｒ２に投影した画像を処理対象画像平面Ｒ３に再投影する。そして、画像生成装置１００は、平面領域Ｒ１に投影した画像と処理対象画像平面Ｒ３に再投影した画像とに基づいて出力画像Ｇ２０を生成する。
具体的には、画像生成装置１００は、空間モデルＭＤを底面が四半円となる４つの部分空間モデルに分割し、且つ、処理対象画像平面Ｒ３を対応する４つの部分処理対象画像平面に分割する。そして、画像生成装置１００は、３台のカメラの入力画像を１つの部分空間モデルの平面領域及び曲面領域に投影し、曲面領域に投影した画像を対応する部分処理対象画像平面に再投影する（図１３中段参照。）。そして、画像生成装置１００は、４つの平面領域に投影した画像と４つの部分処理対象画像平面に再投影した画像とに基づいて出力画像Ｇ２０を生成する（図１３下段参照。）。このようにして、画像生成装置１００は、走行体６１の近傍を上空から見下ろした画像（平面領域Ｒ１における画像）と、走行体６１から水平方向に周囲を見た画像（処理対象画像平面Ｒ３における画像）とを同時に表示する走行体監視画像を出力画像Ｇ２０として生成する。
また、本実施例では、画像生成装置１００は、図１３及び図１４に示すように、一対の脚部６１ａ、６１ｂの間の空間の路面画像（画像部分Ｇ３Ｐ１、Ｇ３Ｐ２、Ｇ７Ｐ１、Ｇ７Ｐ２）と、走行体６１の側方の空間の画像（画像部分Ｇ１Ｐ、Ｇ４Ｐ、Ｇ５Ｐ、Ｇ８Ｐ）とを直接的に隣接させる。すなわち、画像生成装置１００は、走行体６１の脚部６１ａ、６１ｂがあたかも存在しないように出力画像Ｇ２０を生成する。
また、本実施例では、画像生成装置１００は、図１４に示すように、走行体６１のＸ軸方向長さと空間モデルＭＤの円筒の直径とが一致するように出力画像Ｇ２０を生成する。また、画像生成装置１００は、その円筒面が脚部６１ａ、６１ｂの両端部（上面視における脚部６１ａの２つの端部と脚部６１ｂの２つの端部の合計４つの端部）を通過するように出力画像Ｇ２０を生成する。
さらに、本実施例では、画像生成装置１００は、図１４で示すように、円筒中心ＣＴＲと脚部６１ａの上面視における＋Ｘ側の端部とを通る直線の一部である線分ＬＳ１を画像部分Ｇ１Ｐと画像部分Ｇ２Ｐ１との境界線（図１３中段参照。）に設定する。同様に、画像生成装置１００は、円筒中心ＣＴＲと脚部６１ｂの上面視における＋Ｘ側の端部とを通る直線の一部である線分ＬＳ２を画像部分Ｇ４Ｐと画像部分Ｇ２Ｐ２との境界線（図１３中段参照。）に設定する。また、画像生成装置１００は、円筒中心ＣＴＲと脚部６１ａの上面視における−Ｘ側の端部とを通る直線の一部である線分ＬＳ３を画像部分Ｇ５Ｐと画像部分Ｇ６Ｐ１との境界線（図１３中段参照。）に設定する。また、画像生成装置１００は、円筒中心ＣＴＲと脚部６１ｂの上面視における−Ｘ側の端部とを通る直線の一部である線分ＬＳ４を画像部分Ｇ８Ｐと画像部分Ｇ６Ｐ２との境界線（図１３中段参照。）に設定する。なお、円筒中心ＣＴＲは、カメラ２−２、２−３、２−６、２−７の取り付け位置である。この画像配置により、画像生成装置１００は、画像部分Ｇ２Ｐ１、Ｇ２Ｐ２、Ｇ６Ｐ１、Ｇ６Ｐ２（図１３中段参照。）において、脚部６１ａ、６１ｂの端部を円筒中心ＣＴＲから見た水平画像を表示でき、脚部６１ａ、６１ｂの端部の延在方向外側を操作者に提示できる。
以上の構成により、画像生成装置１００が搭載されるジブクレーン６０は、走行体監視画像を操作者に提示することによって、ジブクレーン６０の操作者による安全確認を促進できる。その結果、ジブクレーン６０は、操作者が走行体６１を走行させる際の周辺障害物（人、車両等である。）と走行体６１との衝突を防止できる。また、ジブクレーン６０は、一対の脚部６１ａ、６１ｂの間の空間内の様子を操作者に提示することによって、操作者が走行体６１を走行させる際の、その空間内における周辺障害物（人、車両等である。）と走行体６１との衝突を防止できる。また、ジブクレーン６０は、一対の脚部６１ａ、６１ｂのそれぞれの外側の空間の様子を操作者に提示することによって、操作者が走行体６１を走行させる際の、その外側の空間における周辺障害物（人、車両等である。）と走行体６１との衝突を防止できる。
また、画像生成装置１００は、レールＲＡに沿った遠方の走行路を撮像する遠方用カメラと、走行体６１の一対の脚部６１ａ、６１ｂの間にある近傍の走行路の路面を撮像する近傍用カメラとを別々に用意する。具体的には、画像生成装置１００は、遠方用カメラとしてカメラ２−２及び２−６を備え、近傍用カメラとしてカメラ２−３及び２−７を備える。そのため、画像生成装置１００は、遠方の走行路の撮像環境（例えば、周囲の明るさである。）と、近傍の走行路の撮像環境とが異なる場合であっても、個々のカメラのオートゲインコントロール機能、デイナイト機能等を有効に利用できる。すなわち、画像生成装置１００は、一方の撮像環境への適応のために他方の撮像環境への適応が犠牲になるのを防止できる。例えば、一対の脚部６１ａ、６１ｂの間の空間の明るさが一対の脚部６１ａ、６１ｂの外側の空間の明るさと異なる場合に１つのカメラでそれら明るさの異なる２つの空間を撮像すると、何れか一方の空間に対応する画像部分が露出オーバー又は露出アンダーとなる。しかしながら、明るさの異なる２つの空間を別々のカメラで撮像すれば、２つの空間のそれぞれに対応する画像部分を適正露出で撮像できる。
また、本実施例では、図１１の側面視Ｆ１１Ｂに示すように、路面高さにおける、交点ＣＰ２と交点ＣＰ３との間の距離Ｄ２−３、交点ＣＰ６と交点ＣＰ７との間の距離Ｄ６−７、及び、交点ＣＰ３と交点ＣＰ７との間の距離Ｄ３−７が、走行体６１のＸ軸方向長さを３等分するように、４台のカメラ２−２、２−３、２−６、及び２−７が配置される。入力画像の画素数を一定とした場合、距離Ｄ２−３が大きくなると、画像部分Ｇ２Ｐ１、Ｇ２Ｐ２の解像度が低下するためであり、距離Ｄ３−７が大きくなると、画像部分Ｇ３Ｐ１、Ｇ３Ｐ２、Ｇ７Ｐ１、Ｇ７Ｐ２の解像度が低下するためであり、また、距離Ｄ６−７が大きくなると、画像部分Ｇ６Ｐ１、Ｇ６Ｐ２の解像度が低下するためである。なお、交点ＣＰ２は、カメラ２−２の光軸と路面との交点であり、交点ＣＰ３は、カメラ２−３の光軸と路面との交点であり、交点ＣＰ６は、カメラ２−６の光軸と路面との交点であり、交点ＣＰ７は、カメラ２−７の光軸と路面との交点である。このカメラ配置により、画像生成装置１００は、画像部分Ｇ２Ｐ１、Ｇ２Ｐ２、Ｇ３Ｐ１、Ｇ３Ｐ２、Ｇ６Ｐ１、Ｇ６Ｐ２、Ｇ７Ｐ１、及びＧ７Ｐ２における解像度を高め、各カメラの入力画像を効率的に利用できる。
また、本実施例では、図１１の前面視Ｆ１１Ｃに示すように、右下がり斜線パターンで示すカメラ２−３の撮像範囲ＣＲ３は、一対の脚部６１ａ、６１ｂの対向する２つの内壁６１ａ１、６１ｂ１の下部領域を含むように設定される。具体的には、カメラ２−３の撮像範囲ＣＲ３は、例えば、仮に脚部６１ａ、６１ｂが存在しなければ、路面高さにおいてカメラ２−１の撮像範囲ＣＲ１及びカメラ２−４の撮像範囲ＣＲ４と接するように設定される。この場合、下部領域の高さＨ１は、例えば２メートルである。このカメラ配置により、画像生成装置１００は、内壁６１ａ１、６１ｂ１に沿うように存在する人の頭部を確実に入力画像内に捉えることができ、その人の足下のみを捉えるといった状況が発生してしまうのを回避できる。その結果、画像生成装置１００は、内壁６１ａ１、６１ｂ１に沿うように存在する物体（特に人物）の上面視を出力画像に表示することができ、その物体が出力画像から消失するのを抑制或いは防止できる。
また、上述の実施例において、画像生成装置１００は、４台の３画像合成装置を用いて４つの部分画像を生成した後、４画像合成装置を用いてそれら４つの部分画像を合成して出力画像を生成する。このように、画像生成装置１００は、同じ構成を有する複数台の画像合成装置を利用することによって、カメラ台数の変化に柔軟に対応することができる。また、画像生成装置１００は、同じ構成を有する複数台の画像合成装置を利用することによって、複数の入力画像から１つの出力画像を生成するために必要な画像合成装置の全体としてのコストを低減させることができる。また、画像生成装置１００は、画像の合成を複数の画像合成装置に分担させることによって、出力画像生成の高速化、リアルタイム化をより容易に実現できるようにする。しかしながら、本発明はこの構成に限定されるものではない。例えば、画像生成装置１００は、部分画像を生成することなく、８つの入力画像から直接的に１つの出力画像を生成してもよい。或いは、画像生成装置１００は、２つの入力画像又は４つ以上の入力画像を用いて１つの部分画像を生成する画像合成装置を用いてもよく、２つ、３つ、又は５つ以上の部分画像を用いて１つの出力画像を生成する画像合成装置を用いてもよい。また、画像生成装置１００は、３画像合成装置、４画像合成装置、及び５画像合成装置の組み合わせといったように、部分画像を生成する際に、受け入れる入力画像の数が異なる２種類以上の画像合成装置を併用してもよい。
また、画像生成装置１００は、走行体６１に取り付けられた８台の走行体用カメラ（カメラ２−１〜２−８）のそれぞれが出力する８つの入力画像Ｇ１〜Ｇ８から走行体監視画像Ｇ２０を生成する。しかしながら、本発明はこの構成に限定されるものではない。例えば、画像生成装置１００は、８台のカメラ２−１〜２−８のうちの１又は複数のカメラを省略してもよい。例えば、画像生成装置１００は、遠方用カメラ（カメラ２−２、２−６）を省略してもよく、近傍用カメラ（カメラ２−３、２−７）を省略してもよく、或いは、側方用カメラ（カメラ２−１、２−４、２−５、２−８）を省略してもよい。
次に、図１５を参照して、制御装置１が出力画像を調整する処理について説明する。なお、図１５は、出力画像と再投影角度との関係を説明する図であり、図１５左図が画像調整部１２による調整前の出力画像Ｇ２０Ｂを含み、図１５右図が画像調整部１２による調整後の出力画像Ｇ２０を含む。また、出力画像Ｇ２０Ｂ、Ｇ２０の下の図は、空間モデルＭＤとカメラ２−１、２−２に関する再投影線ＲＬ１、ＲＬ２との関係を示す模式図である。なお、図の明瞭化のため、その他のカメラに関する再投影線等の図示を省略する。
図１５において、画像部分Ｇ１Ｐと画像部分Ｇ２Ｐ１との境界線である線分ＬＳ１上に配置される座標ＰＴ１は、画像部分Ｇ１Ｐにおける無限遠線（地平線、水平線）に相当する曲線ＨＬ１（点線）と線分ＬＳ１との交点を表す。また、線分ＬＳ１上に配置される座標ＰＴ２は、画像部分Ｇ２Ｐ１における無限遠線に相当する曲線ＨＬ２（一点鎖線）と線分ＬＳ１との交点を表す。また、曲線ＨＬ１、ＨＬ２は、無限遠線が実際に見えているか否かにかかわらず、仮に遮蔽物が存在しなかった場合に見える無限遠線の位置を表す。また、曲線ＨＬ１、ＨＬ２は、円筒形状を有する空間モデルＭＤを用いて生成される処理対象画像の画像部分Ｇ１Ｐ、Ｇ２Ｐ１における無限遠線に相当するために円弧状の曲線となっている。しかしながら、無限遠線に相当する線は、必ずしも曲線になるとは限らない。例えば、直方体形状の空間モデルを用いて処理対象画像が生成される場合、無限遠線に相当する線は直線となる。なお、線分ＬＳ１、座標ＰＴ１、ＰＴ２、曲線ＨＬ１、ＨＬ２、円筒中心ＣＴＲ、カメラ２−１、２−２は、説明のための線図であり、出力画像Ｇ２０Ｂ、Ｇ２０上に実際に表示されることはない。
図１５左図に示すように、画像調整部１２による調整前、すなわち、カメラ２−１に関する再投影線ＲＬ１の再投影角度γとカメラ２−２に関する再投影線ＲＬ２の再投影角度γとが等しいという条件下では、曲線ＨＬ１及び曲線ＨＬ２は不連続となる。これは、カメラ２−１の設置高さＨＴ１が、カメラ２−２の設置高さＨＴ２と異なることに起因する。
具体的には、再投影線ＲＬ１、ＲＬ２は、円筒中心（再投影軸）ＣＴＲに対して角度γを形成する平行線群を構成する。そして、再投影線ＲＬ１、ＲＬ２は、座標ＰＰ１、ＰＰ２において空間モデルＭＤの曲面領域Ｒ２と交差し、座標ＰＴ１、ＰＴ２において処理対象画像平面Ｒ３と交差する。なお、座標ＰＰ１の高さは、カメラ２−１の座標とカメラ２−１から見た無限遠点とを通る直線が空間モデルＭＤの曲面領域Ｒ２と交差する点の高さに対応する。同様に、座標ＰＰ２の高さは、カメラ２−２の座標とカメラ２−２から見た無限遠点とを通る直線が空間モデルＭＤの曲面領域Ｒ２と交差する点の高さに対応する。すなわち、座標ＰＰ１、ＰＰ２の高さは、カメラ２−１、２−２から見た無限遠線の位置に対応し、カメラ２−１、２−２の高さＨＴ１、ＨＴ２に相当する。
換言すると、再投影線ＲＬ１は、カメラ２−１の入力画像平面における無限遠線に相当する線上の座標に対応する空間モデルＭＤの曲面領域Ｒ２上の座標ＰＰ１と、その座標ＰＰ１に対応する処理対象画像平面上の座標ＰＴ１とを結ぶ直線である。また、再投影線ＲＬ２は、カメラ２−２の入力画像平面における無限遠線に相当する線上の座標に対応する空間モデルＭＤの曲面領域Ｒ２上の座標ＰＰ２と、その座標ＰＰ２に対応する処理対象画像平面上の座標ＰＴ２とを結ぶ直線である。
そして、各カメラ（各入力画像）における再投影角度γが共通であるため、座標ＰＴ１と再投影軸ＣＴＲとの間の距離は、座標ＰＴ２と再投影軸ＣＴＲとの間の距離より大きい。すなわち、座標ＰＴ１と座標ＰＴ２とが一致しない。その結果、曲線ＨＬ１及び曲線ＨＬ２は不連続となる。
一方、図１５右図に示すように、画像調整部１２による調整後、すなわち、カメラ２−１に関する再投影線ＲＬ１の再投影角度γ１とカメラ２−２に関する再投影線ＲＬ２の再投影角度γ２とが個別に決定されるという条件下では、曲線ＨＬ１及び曲線ＨＬ２は連続となり得る。
本実施例では、画像調整部１２は、座標ＰＴ１と再投影軸ＣＴＲとの間の距離が、座標ＰＴ２と再投影軸ＣＴＲとの間の距離と等しくなるよう、すなわち、座標ＰＴ１と座標ＰＴ２とが一致するよう、再投影角度γ１、γ２を個別に決定する。
具体的には、画像調整部１２は、入力装置（図示せず。）を用いて操作者が入力する所望の無限遠線位置（例えば、曲線ＨＬ１、ＨＬ２と再投影軸ＣＴＲとの間の距離である。）を取得する。そして、画像調整部１２は、取得した無限遠線位置に基づいて座標ＰＴ１、ＰＴ２を決定する。そして、画像調整部１２は、新たに決定した座標ＰＴ１と座標ＰＰ１とを通る直線である再投影線ＲＬ１と再投影軸ＣＴＲとの間に形成される角度を再投影角度γ１として導き出す。同様に、画像調整部１２は、新たに決定した座標ＰＴ２と座標ＰＰ２とを通る直線である再投影線ＲＬ２と再投影軸ＣＴＲとの間に形成される角度を再投影角度γ２として導き出す。
このようにして、画像調整部１２は、操作者の入力操作に応じて再投影角度をカメラ毎（入力画像毎）に決定し、所望の無限遠線位置で曲線ＨＬ１と曲線ＨＬ２とが連続となるようにする。すなわち、複数の画像部分のそれぞれにおける無限遠線に相当する位置が連続となるようにする。
次に、図１６を参照して、制御装置１が出力画像を調整する処理（以下、「出力画像調整処理」とする。）の流れについて説明する。なお、図１６は、出力画像調整処理の流れを示すフローチャートであり、制御装置１は、例えば、操作者の入力操作に応じてこの出力画像調整処理を実行する。
最初に、制御装置１の画像調整部１２は、無限遠線位置を取得する（ステップＳ１１）。本実施例では、操作者は、出力画像Ｇ２０Ｂ（図１５参照。）を見ながらタッチパネルを用いて無限遠線に相当する部分を表示させたい位置をタッチ入力する。画像調整部１２は、タッチ入力された座標から、カメラ２−１の入力画像に関連する処理対象画像中の画像部分における座標ＰＴ１を決定し、且つ、カメラ２−２の入力画像に関連する処理対象画像中の画像部分における座標ＰＴ２を決定する。
具体的には、画像調整部１２は、タッチ入力された座標と再投影軸ＣＴＲとの間の距離が、座標ＰＴ１と再投影軸ＣＴＲとの間の距離に等しく、且つ、座標ＰＴ２と再投影軸ＣＴＲとの間の距離に等しくなるように、座標ＰＴ１、ＰＴ２を決定する。
その後、画像調整部１２は、無限遠線位置に対応する再投影線をカメラ毎（入力画像毎）に導き出す（ステップＳ１２）。本実施例では、画像調整部１２は、座標ＰＴ１と座標ＰＰ１とを通る直線をカメラ２−１に関する再投影線ＲＬ１として導き出す。また、画像調整部１２は、座標ＰＴ２と座標ＰＰ２とを通る直線をカメラ２−２に関する再投影線ＲＬ２として導き出す。また、画像調整部１２は、他のカメラ（少なくとも、出力画像Ｇ２０における水平画像部分を構成する入力画像を出力するカメラを含む。）に関する再投影線を同様に導き出す。
その後、画像調整部１２は、再投影角度をカメラ毎（入力画像毎）に導き出す（ステップＳ１３）。本実施例では、画像調整部１２は、再投影線ＲＬ１と再投影軸ＣＴＲとの間に形成される角度を再投影角度γ１として導き出す。また、画像調整部１２は、再投影線ＲＬ２と再投影軸ＣＴＲとの間に形成される角度を再投影角度γ２として導き出す。他のカメラに関する再投影線についても同様である。
その後、制御装置１の座標対応付け部１０は、画像調整部１２が決定した各カメラ（各入力画像）に関する再投影角度に基づいて記憶装置４における各種対応マップを更新する（ステップＳ１４）。
その後、制御装置１の画像生成部１１は、座標対応付け部１０が更新した各種対応マップに基づいて処理対象画像を生成する（ステップＳ１５）。本実施例では、画像生成部１１は、図９の処理対象画像生成処理を実行する。
次に、図１７を参照して、出力画像調整処理の別の例について説明する。なお、図１７は、空間モデルＭＤとカメラ２−１、２−２に関する再投影線ＲＬ１、ＲＬ２との関係を示す模式図であり、図１５の一部に対応する。なお、図１７の例は、無限遠線位置の代わりに、走行体６１の近傍にある所定の地物の位置を用いる点で図１５の例と相違する。
具体的には、図１７は、複数の画像部分のそれぞれにおける、走行体６１の周囲にある壁面に水平に描かれた白線を表す画像部分が連続となるように、各カメラ（各入力画像）の再投影角度を決定する場合の模式図である。なお、壁面と再投影軸ＣＴＲとの間の距離は既知であり、且つ、固定である。
この場合、操作者は、出力画像を見ながらタッチパネルを用いてその白線を表す画像部分を表示させたい位置をタッチ入力する。画像調整部１２は、タッチ入力された座標から、カメラ２−１の入力画像に関連する処理対象画像中の画像部分における座標ＰＴ１ａを決定し、且つ、カメラ２−２の入力画像に関連する処理対象画像中の画像部分における座標ＰＴ２ａを決定する。
具体的には、画像調整部１２は、タッチ入力された座標と再投影軸ＣＴＲとの間の距離が、座標ＰＴ１ａと再投影軸ＣＴＲとの間の距離に等しく、且つ、座標ＰＴ２ａと再投影軸ＣＴＲとの間の距離に等しくなるように、座標ＰＴ１ａ、ＰＴ２ａを決定する。
その後、画像調整部１２は、座標ＰＴ１ａと座標ＰＰ１ａとを通る直線をカメラ２−１に関する再投影線ＲＬ１ａとして導き出す。また、画像調整部１２は、座標ＰＴ２ａと座標ＰＰ２ａとを通る直線をカメラ２−２に関する再投影線ＲＬ２ａとして導き出す。また、画像調整部１２は、他のカメラに関する再投影線を同様に導き出す。
なお、座標ＰＰ１ａの高さは、カメラ２−１の座標と白線の座標ＴＧ１とを通る直線が空間モデルＭＤの曲面領域Ｒ２と交差する点の高さに対応する。また、座標ＰＰ２ａの高さは、カメラ２−２の座標と白線の座標ＴＧ１とを通る直線が空間モデルＭＤの曲面領域Ｒ２と交差する点の高さに対応する。このように、図１７の例は、座標ＰＰ１、ＰＰ２の高さがカメラ２−１、２−２の高さＨＴ１、ＨＴ２に相当する図１５の例と相違する。
その後、画像調整部１２は、再投影線ＲＬ１ａと再投影軸ＣＴＲとの間に形成される角度を再投影角度δ１として導き出す。また、画像調整部１２は、再投影線ＲＬ２ａと再投影軸ＣＴＲとの間に形成される角度を再投影角度δ２として導き出す。他のカメラに関する再投影線についても同様である。
その後、座標対応付け部１０は、画像調整部１２が決定した各カメラ（各入力画像）に関する再投影角度に基づいて記憶装置４における各種対応マップを更新する。そして、画像生成部１１は、座標対応付け部１０が更新した各種対応マップに基づいて処理対象画像を生成する。
以上の構成により、画像生成装置１００は、操作者が再投影角度をカメラ毎（入力画像毎）に直感的に調整できるようにする。そのため、画像生成装置１００は、設置高さの異なる複数のカメラ（複数の入力画像）のそれぞれに対応する出力画像中の複数の画像部分における無限遠線に相当する位置を連続させることができる。その結果、画像生成装置１００は、例えば、複数の画像部分の空の見え方を統一でき、出力画像の見映えを向上させることができる。
また、画像生成装置１００は、操作者による一回の操作入力に応じて複数のカメラの再投影角度を纏めて調整できるようにする。そのため、画像生成装置１００は、複数のカメラの設置高さが共通の場合であっても、すなわち、出力画像中の複数の画像部分における無限遠線に相当する位置が既に連続している場合であっても、その無限遠線に相当する位置を、その連続性を維持しながら、容易に移動させることができる。
また、画像生成装置１００は、無限遠線位置を操作者に入力させることによって出力画像中の複数の画像部分における無限遠線に相当する位置を連続させ或いは移動させることができる。また、再投影角度という間接的な値ではなく、無限遠線位置という直接的な値を操作者に入力させることによって、出力画像中の複数の画像部分における無限遠線に相当する位置を連続させ或いは移動させることができる。その結果、画像生成装置１００は、無限遠線に相当する位置の調整に関する操作性を向上させることができる。
また、画像生成装置１００は、走行体６１の近傍にある所定の地物を表示させたい位置を操作者に入力させることによって、出力画像中の複数の画像部分におけるその所定の地物に相当する位置を連続させ或いは移動させることができる。また、再投影角度という間接的な値ではなく、その所定の地物を表示させたい位置という直接的な値を操作者に入力させることによって、出力画像中の複数の画像部分におけるその所定の地物に相当する位置を連続させ或いは移動させることができる。その結果、画像生成装置１００は、走行体６１の近傍にある所定の地物に相当する位置の調整に関する操作性を向上させることができる。
また、画像生成装置１００は、空間モデルＭＤの大きさ（例えば、円筒半径である。）の操作者による調整を許容する。この場合、画像生成装置１００は、例えば空間モデルＭＤの円筒半径が変更されたときに各カメラ（各入力画像）に関する再投影角度を更新して出力画像中の複数の画像部分における無限遠線又は走行体６１の近傍にある所定の地物の連続性を維持する。その結果、画像生成装置１００は、出力画像中の複数の画像部分における無限遠線又は走行体６１の近傍にある所定の地物の連続性を維持しながら、水平画像領域及び路面画像領域の配分比率を変更できる。
次に、図１８〜図２１を参照して、画像生成装置１００Ａをショベル７０に適用した場合について説明する。なお、ショベル７０に搭載される画像生成装置１００Ａの構成は、カメラ配置を除き、ジブクレーン６０に搭載される画像生成装置１００の構成と共通する。そのため、共通部分の説明を省略しながら、相違点であるカメラ配置について説明する。
図１８は、画像生成装置１００Ａが搭載されるショベル７０の構成例を示す図であり、図１８左図はその側面図を示し、図１８右図はその上面図を示す。
ショベル７０は、クローラ式の下部走行体７１の上に旋回機構７２を介して上部旋回体７３を搭載する。上部旋回体７３は、旋回軸ＰＶの周りで旋回自在となるように搭載される。
また、上部旋回体７３は、その前方左側部にキャブ（運転室）７４を備え、その前方中央部に掘削アタッチメントＥを備え、左側面、右側面、及び後面にカメラ２（左側方カメラ２Ｌ、右側方カメラ２Ｒ、後方カメラ２Ｂ）を備える。また、図１８右図の一点鎖線で示す領域ＣＬ、ＣＲ、ＣＢは、それぞれ、左側方カメラ２Ｌ、右側方カメラ２Ｒ、後方カメラ２Ｂの撮像空間を表す。なお、本実施例では、左側方カメラ２Ｌの設置高さは、右側方カメラ２Ｒの設置高さと同じであり、後方カメラ２Ｂの設置高さより高い。また、キャブ７４内の運転者が視認し易い位置には表示装置６が設置されている。また、本実施例では、表示装置６は、無線通信装置を介することなく制御装置１に接続される。
図１９は、入力画像が投影される空間モデルＭＤの一例を示す図であり、図１９左図は、ショベル７０を側方から見たときのショベル７０と空間モデルＭＤとの間の関係を示し、図１９右図は、ショベル７０を上方から見たときのショベル７０と空間モデルＭＤとの間の関係を示す。
図１９に示すように、空間モデルＭＤは、ジブクレーン６０の場合と同様、円筒形状を有し、その底面内側の平面領域Ｒ１とその側面内側の曲面領域Ｒ２とを有する。また、処理対象画像平面Ｒ３（図示せず。）は、図４に示すジブクレーン６０の場合の空間モデルＭＤと同様、空間モデルＭＤの平面領域Ｒ１を含む円形領域であってもよく、空間モデルＭＤの平面領域Ｒ１を含まない環状領域であってもよい。
図２０は、ショベル７０に搭載された３台のカメラ２（左側方カメラ２Ｌ、右側方カメラ２Ｒ、及び後方カメラ２Ｂ）のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。
画像生成装置１００Ａは、それら３台のカメラ２のそれぞれの入力画像平面上の座標を空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２上の座標に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成する。そして、画像生成装置１００Ａは、その生成した処理対象画像に画像変換処理（例えば、スケール変換処理、アフィン変換処理、歪曲変換処理、視点変換処理等である。）を施すことによって出力画像を生成する。そして、画像生成装置１００Ａは、ショベル７０の近傍を上空から見下ろした画像（平面領域Ｒ１における画像）と、ショベル７０から水平方向に周辺を見た画像（処理対象画像平面Ｒ３における画像）とを表示する。

図２１は、出力画像と再投影角度との関係を説明する図である。具体的には、図２１上図は、画像調整部１２による調整前の出力画像を示し、図１５の出力画像Ｇ２０Ｂに対応する。また、図２１下図は、画像調整部１２による調整後の出力画像を示し、図１５の出力画像Ｇ２０に対応する。
図２１上図において、曲線ＨＬ１０（点線）は、出力画像の左側方画像（左側方カメラ２Ｌの入力画像に基づく画像部分）における無限遠線に相当する。また、曲線ＨＬ１１（一点鎖線）は、出力画像の後方画像（後方カメラ２Ｂの入力画像に基づく画像部分）における無限遠線に相当する。また、曲線ＨＬ１２（点線）は、出力画像の右側方画像（右側方カメラ２Ｒの入力画像に基づく画像部分）における無限遠線に相当する。なお、曲線ＨＬ１０、ＨＬ１１、ＨＬ１２、再投影軸ＣＴＲは、説明のための線図であり、出力画像上に実際に表示されることはない。
図２１上図に示すように、画像調整部１２による調整前、すなわち、３台のカメラのそれぞれに関する再投影線の再投影角度が共通という条件下では、曲線ＨＬ１０、ＨＬ１２と曲線ＨＬ１１とは不連続となる。これは、後方カメラ２Ｂの設置高さが、左側方カメラ２Ｌ、右側方カメラ２Ｒの設置高さと異なることに起因する。
一方、図２１下図に示すように、画像調整部１２による調整後、すなわち、３台のカメラのそれぞれに関する再投影線の再投影角度が個別に決定されるという条件下では、曲線ＨＬ１０、ＨＬ１１、及びＨＬ１２は連続となり得る。
本実施例では、画像調整部１２は、入力装置（図示せず。）を用いて操作者が入力する所望の無限遠線位置（例えば、曲線ＨＬ１０、ＨＬ１１、ＨＬ１２と再投影軸ＣＴＲとの間の距離である。）を取得する。そして、画像調整部１２は、取得した無限遠線位置に基づいて３台のカメラのそれぞれに関する再投影線の再投影角度を個別に決定する。
このようにして、画像調整部１２は、操作者の入力操作に応じて再投影角度をカメラ毎（入力画像毎）に決定し、所望の無限遠線位置で曲線ＨＬ１０、ＨＬ１１、及びＨＬ１２が連続となるようにする。すなわち、左側方画像、後方画像、及び右側方画像のそれぞれにおける無限遠線に相当する位置が連続となるようにする。
以上の構成により、ショベル７０に搭載される画像生成装置１００Ａは、ジブクレーン６０に搭載される画像生成装置１００と同様の効果を実現することができる。
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
例えば、上述の実施例において、画像生成装置１００は、空間モデルとして円筒状の空間モデルＭＤを採用するが、多角柱等の他の柱状の形状を有する空間モデルを採用してもよく、底面及び側面の二面から構成される空間モデルを採用してもよく、或いは、側面のみを有する空間モデルを採用してもよい。
また、上述の実施例では、画像生成装置１００は、レール上を走行するジブクレーン６０に搭載される。そして、画像生成装置１００は、走行体監視画像を操作者に提示しながら走行体６１の移動を支援する操作支援システムを構成する。しかしながら、画像生成装置１００は、レール上を走行する他の屋外用の走行クレーンに搭載され、走行クレーンの操作を支援する操作支援システムを構成してもよい。さらに、画像生成装置１００は、バケットエレベータ又はグラブバケットを用いた連続アンローダ等、レール上を走行するアンローダに搭載され、アンローダの操作を支援する操作支援システムを構成してもよい。
また、画像生成装置１００Ａは、バケット、アーム、ブーム、旋回機構等の可動部材を備えながら自走する建設機械に搭載され、周囲画像をその運転者に提示しながらその建設機械の移動及びそれら可動部材の操作を支援する操作支援システムを構成するが、産業用機械若しくは固定式クレーン等のように可動部材を有するが自走はしない他の被操作体に搭載され、それら他の被操作体の操作を支援する操作支援システムを構成してもよい。
１・・・制御装置 ２、２−１〜２−８、２−１１〜２−１６、２−２１〜２−２８、２Ｂ、２Ｌ、２Ｒ・・・カメラ ４・・・記憶装置 ５ａ、５ｂ・・・無線通信装置 ６・・・表示装置 １０・・・座標対応付け部 １１・・・画像生成部 １２・・・画像調整部 ２０−１〜２０−４、２０−１１〜２０−１４・・・３画像合成装置 ２１−１、２１−１１・・・４画像合成装置 ４０・・・入力画像・空間モデル対応マップ ４１・・・空間モデル・処理対象画像対応マップ ４２・・・処理対象画像・出力画像対応マップ ６０・・・ジブクレーン ６１・・・走行体 ６１ａ、６１ｂ・・・脚部 ６１ｃ・・・桁部 ６１ｄ・・・駆動源 ６２・・・塔体 ６３・・・旋回体 ６３ａ・・・運転室 ６４・・・ジブ ７０・・・ショベル ７１・・・下部走行体 ７２・・・旋回機構 ７３・・・上部旋回体 ７４・・・キャブ １００、１００Ａ・・・画像生成装置

Claims (7)

  1. 複数のカメラが撮像した複数の入力画像に基づいて、出力画像を生成する画像生成装置であって、
    各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルにおける座標と、前記空間モデルに投影された画像が再投影される再投影平面における座標とを対応付け、且つ、
    前記空間モデル上の第１座標と該第１座標に対応する前記再投影平面上の第２座標とを結ぶ直線である再投影線の前記空間モデルの中心軸である再投影軸に対する傾きを入力画像毎に決定して前記出力画像を調整する制御装置を備え、
    前記制御装置は、一つの入力画像に関する前記直線のそれぞれが前記再投影軸から前記再投影平面に向かって延び且つ前記再投影平面に垂直な平面において平行となるよう前記空間モデル上の座標と前記再投影平面上の座標とを対応付け、且つ、
    前記再投影平面における各入力画像に対応する画像部分の境界線上で、各入力画像における所定地物を表す画像に対応する前記再投影平面上の各座標が一致するように前記直線の傾きを入力画像毎に決定する、
    画像生成装置。
  2. 複数のカメラが撮像した複数の入力画像に基づいて、出力画像を生成する画像生成装置であって、
    各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルにおける座標と、前記空間モデルに投影された画像が再投影される再投影平面における座標とを対応付け、且つ、
    前記空間モデル上の第１座標と該第１座標に対応する前記再投影平面上の第２座標とを結ぶ直線である再投影線の前記空間モデルの中心軸である再投影軸に対する傾きを入力画像毎に決定して前記出力画像を調整する制御装置を備え、
    前記制御装置は、一つの入力画像に関する前記直線のそれぞれが単一の所定点を通るよう前記空間モデル上の座標と前記再投影平面上の座標とを対応付け、且つ、前記再投影平面における各入力画像に対応する画像部分の境界線上で、各入力画像における所定地物を表す画像に対応する前記再投影平面上の各座標が一致するように前記直線の傾きを入力画像毎に決定する、
    画像生成装置。
  3. 複数のカメラが撮像した複数の入力画像に基づいて、出力画像を生成する画像生成装置であって、
    各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルにおける座標と、前記空間モデルに投影された画像が再投影される再投影平面における座標と、前記出力画像が位置する出力画像平面における座標とを対応付け、且つ、前記空間モデル上の第１座標と該第１座標に対応する前記再投影平面上の第２座標とを結ぶ直線である再投影線の前記空間モデルの中心軸である再投影軸に対する傾きを入力画像毎に個別に決定して前記出力画像を調整する制御装置を備える、
    画像生成装置。
  4. 高さの異なる位置に配置された複数のカメラが撮像した複数の入力画像に基づいて、出力画像を生成する画像生成装置であって、
    前記画像生成装置は、各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルにおける座標と、前記空間モデルに投影された画像が再投影される再投影平面における座標と、前記出力画像が位置する出力画像平面における座標とを対応付け、
    前記空間モデル上の第１座標と該第１座標に対応する前記再投影平面上の第２座標とを結ぶ直線である再投影線の前記空間モデルの中心軸である再投影軸に対する傾きは、前記出力画像上で各入力画像における所定地物を表す画像が連続するように、入力画像毎に個別に調整されている、
    画像生成装置。
  5. 各入力画像における所定地物は、各カメラから見た無限遠線である、
    請求項１乃至４の何れか一項に記載の画像生成装置。
  6. 複数の前記カメラは、ジブクレーンの走行体に取り付けられ、
    前記出力画像は、前記走行体の近傍を上空から見下ろした画像の周囲に、前記走行体から水平方向に周囲を見た画像を表示し、且つ、水平線を円弧状に表示する、
    請求項１乃至５の何れか一項に記載の画像生成装置。
  7. 複数の前記カメラは、ジブクレーンの走行体に取り付けられ、該走行体の一対の脚部の外側を撮像する第１カメラと、該一対の脚部の間の空間を撮像する第２カメラと、前記走行体が走行するレールの延在方向を撮像する第３カメラとを含む、
    請求項１乃至６の何れか一項に記載の画像生成装置。
JP2013091803A 2013-04-24 2013-04-24 画像生成装置 Active JP6302624B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013091803A JP6302624B2 (ja) 2013-04-24 2013-04-24 画像生成装置
CN201480007789.1A CN104982031B (zh) 2013-04-24 2014-02-24 处理对象图像生成装置、处理对象图像生成方法及操作支援系统
PCT/JP2014/054347 WO2014174884A1 (ja) 2013-04-24 2014-02-24 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
EP14788579.2A EP2991343B1 (en) 2013-04-24 2014-02-24 Image to be processed generating device, image to be processed generating method, and operation assistance system
US14/878,150 US10621743B2 (en) 2013-04-24 2015-10-08 Processing-target image creating device, processing-target image creating method, and operation assisting system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013091803A JP6302624B2 (ja) 2013-04-24 2013-04-24 画像生成装置

Publications (2)

Publication Number Publication Date
JP2014216797A JP2014216797A (ja) 2014-11-17
JP6302624B2 true JP6302624B2 (ja) 2018-03-28

Family

ID=51791469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013091803A Active JP6302624B2 (ja) 2013-04-24 2013-04-24 画像生成装置

Country Status (5)

Country Link
US (1) US10621743B2 (ja)
EP (1) EP2991343B1 (ja)
JP (1) JP6302624B2 (ja)
CN (1) CN104982031B (ja)
WO (1) WO2014174884A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016225865A (ja) 2015-06-01 2016-12-28 東芝アルパイン・オートモティブテクノロジー株式会社 俯瞰画像生成装置
KR102343651B1 (ko) * 2016-05-13 2021-12-28 소니그룹주식회사 생성 장치 및 생성 방법, 그리고, 재생 장치 및 재생 방법
JP2018050119A (ja) * 2016-09-20 2018-03-29 国立大学法人 東京大学 作業車両の表示システム
CN109964245A (zh) * 2016-12-06 2019-07-02 深圳市大疆创新科技有限公司 用于校正广角图像的系统和方法
JP6760146B2 (ja) * 2017-03-09 2020-09-23 株式会社タダノ クレーン
JP7143578B2 (ja) * 2017-10-17 2022-09-29 株式会社タダノ 作業車両
JP7315303B2 (ja) * 2018-01-26 2023-07-26 株式会社アイシン 画像処理装置
US10593014B2 (en) * 2018-03-26 2020-03-17 Ricoh Company, Ltd. Image processing apparatus, image processing system, image capturing system, image processing method
CN112930557A (zh) * 2018-09-26 2021-06-08 相干逻辑公司 任何世界视图生成
TWI811523B (zh) * 2019-03-19 2023-08-11 日商住友重機械工業股份有限公司 支援裝置、支援方法、支援程式及廠房
CN113011274B (zh) * 2021-02-24 2024-04-09 南京三百云信息科技有限公司 图像识别方法、装置、电子设备及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3286306B2 (ja) 1998-07-31 2002-05-27 松下電器産業株式会社 画像生成装置、画像生成方法
US6195204B1 (en) * 1998-08-28 2001-02-27 Lucent Technologies Inc. Compact high resolution panoramic viewing system
JP2002083285A (ja) * 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
JP3871614B2 (ja) * 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
JP2008312004A (ja) * 2007-06-15 2008-12-25 Sanyo Electric Co Ltd カメラシステム及び機械装置
JP5292874B2 (ja) * 2007-12-17 2013-09-18 富士通株式会社 車両用画像処理装置、車両用画像処理プログラム、車両用画像処理方法
JP4629131B2 (ja) * 2008-09-03 2011-02-09 大日本印刷株式会社 画像変換装置
US20120069153A1 (en) * 2009-05-25 2012-03-22 Panasonic Corporation Device for monitoring area around vehicle
JP5550970B2 (ja) * 2010-04-12 2014-07-16 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5362639B2 (ja) * 2010-04-12 2013-12-11 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5090496B2 (ja) * 2010-04-12 2012-12-05 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5135380B2 (ja) * 2010-04-12 2013-02-06 住友重機械工業株式会社 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
JP5544277B2 (ja) * 2010-10-29 2014-07-09 株式会社日立情報通信エンジニアリング 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム
JP2012147149A (ja) * 2011-01-11 2012-08-02 Aisin Seiki Co Ltd 画像生成装置
JP2012191380A (ja) * 2011-03-10 2012-10-04 Panasonic Corp カメラ、画像変換装置、及び画像変換方法

Also Published As

Publication number Publication date
US20160035110A1 (en) 2016-02-04
EP2991343A1 (en) 2016-03-02
US10621743B2 (en) 2020-04-14
CN104982031B (zh) 2019-01-11
CN104982031A (zh) 2015-10-14
EP2991343B1 (en) 2019-06-12
EP2991343A4 (en) 2016-05-25
JP2014216797A (ja) 2014-11-17
WO2014174884A1 (ja) 2014-10-30

Similar Documents

Publication Publication Date Title
JP6302624B2 (ja) 画像生成装置
JP6029306B2 (ja) 作業機械用周辺監視装置
JP6324763B2 (ja) クレーン
JP2014183500A (ja) 作業機械用周辺監視装置
JP6321977B2 (ja) 重機用周辺監視装置
WO2011129276A1 (ja) 画像生成装置及び操作支援システム
JP6456584B2 (ja) 作業機械用周辺監視装置
JP5135380B2 (ja) 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
JP5362639B2 (ja) 画像生成装置及び操作支援システム
JP6324665B2 (ja) 作業機械用周辺監視装置
JP5090496B2 (ja) 画像生成装置及び操作支援システム
JP6740259B2 (ja) 作業機械
JP6169381B2 (ja) ショベル
WO2015111262A1 (ja) 画像生成装置及び操作支援システム
JP5805574B2 (ja) 作業機械用周辺監視装置
JP2013205956A (ja) 画像生成方法、画像生成装置、及び操作支援システム
JP2017223111A (ja) ショベル
JP6257918B2 (ja) ショベル
JP6295026B2 (ja) ショベル
JP6482750B2 (ja) ショベル
JP5808679B2 (ja) 画像生成装置及び操作支援システム
JP2020188474A (ja) ショベル
JP2019071677A (ja) ショベル

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180305

R150 Certificate of patent or registration of utility model

Ref document number: 6302624

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150