JP6763913B2 - 作業機械用周辺監視装置及びショベル - Google Patents

Description

本発明は、作業機械の状態を周囲の人に知らせる機能を備える作業機械用周辺監視装置に関する。

従来、油圧掘削機の始動状態、旋回状態、走行状態等を周囲の人に知らせるための表示器を備えた油圧掘削機が知られている（例えば、特許文献１参照。）

特開２００２−３２７４６９号公報

しかしながら、特許文献１の表示器は、油圧掘削機の状態を油圧掘削機側から周囲の人に一方的に知らせるだけのものである。そのため、油圧掘削機の周囲で作業する作業者は、その表示器を見て油圧掘削機の状態が分かったとしても、油圧掘削機又はその操作者が作業者の存在に気付いているとは限らないため、油圧掘削機の周囲で安心して作業を続けることができない。このように、特許文献１の表示器は、油圧掘削機の操作者が作業者の存在に気付いているか、或いは、油圧掘削機と作業者とが接近した場合に油圧掘削機がどのような状態になるかといった、作業者が知りたい情報を十分に提示できていない。

上述の点に鑑み、本発明は、作業機械の周囲に存在する人に作業機械の状態をより適切に知らせることができる作業機械用周辺監視装置を提供することを目的とする。

上述の目的を達成するために、本発明の実施例に係る作業機械用周辺監視装置は、作業機械の周辺から視認可能な報知部を備える作業機械の周辺監視装置であって、前記作業機械が作業可能状態にあるか否かを判定する作業機械状態判定手段と、前記作業機械の周囲における人の存否を判定する人存否判定手段と、前記報知部を制御する報知部制御手段と、前記作業機械による作業の許否を決定する作業許否決定手段と、を備え、前記報知部制御手段は、前記作業機械が作業可能状態にあると判定された場合と前記作業機械が作業可能状態にないと判定された場合とで前記報知部の報知状態を異なる状態にし、前記作業許否決定手段は、前記人存否判定手段の判定結果に基づいて前記作業機械による作業の許否を決定する。

上述の手段により、本発明は、作業機械の周囲に存在する人に作業機械の状態をより適切に知らせることができる作業機械用周辺監視装置を提供することができる。

本発明の実施例に係る画像生成装置の構成例を概略的に示すブロック図である。 画像生成装置が搭載されるショベルの構成例を示す図である。 入力画像が投影される空間モデルの一例を示す図である。 空間モデルと処理対象画像平面との間の関係の一例を示す図（その１）である。 入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。 座標対応付け手段による座標間の対応付けを説明するための図である。 平行線群の作用を説明するための図である。 補助線群の作用を説明するための図である。 処理対象画像生成処理及び出力画像生成処理の流れを示すフローチャートである。 出力画像の表示例（その１）である。 画像生成装置が搭載されるショベルの上面図である。 ショベルに搭載された３台のカメラのそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図（その１）である。 ２つのカメラのそれぞれの撮像空間の重複部分における物体の消失を防止する画像消失防止処理を説明するための図である。 図１２で示される出力画像と、図１２の出力画像に画像消失防止処理を適用することで得られる出力画像との違いを表す対比図である。 ショベルに搭載された３台のカメラのそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図（その２）である。 空間モデルと処理対象画像平面との間の関係の一例を示す図（その２）である。 第１出力画像切換処理で切り換えられる２つの出力画像の関係を説明する図である。 第２出力画像切換処理で切り換えられる３つの出力画像の関係を説明する図である。 人存否判定手段の判定結果と、出力画像の内容との対応関係を示す対応表である。 第１警報制御処理の流れを示すフローチャートである。 第１警報制御処理中に表示される出力画像の推移の一例を示す図である。 第２警報制御処理の流れを示すフローチャートである。 第２警報制御処理中に表示される出力画像の推移の一例を示す図である。 作業機械状態判定処理の流れを示すフローチャートである。 作業開始時警報制御処理の流れを示すフローチャートである。 第１報知部制御処理の流れを示すフローチャートである。 作業許否決定処理の流れを示すフローチャートである。 第２報知部制御処理の流れを示すフローチャートである。 周辺監視装置の別の構成例を概略的に示すブロック図である。

以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。

図１は、本発明の実施例に係る画像生成装置１００の構成例を概略的に示すブロック図である。

画像生成装置１００は、作業機械の周辺を監視する作業機械用周辺監視装置の１例であり、制御部１、カメラ２、入力部３、記憶部４、表示部５、人検出センサ６、警報出力部７、ゲートロックレバー８、イグニッションスイッチ９、報知部２０で構成される。具体的には、画像生成装置１００は、作業機械に搭載されたカメラ２が撮像した入力画像に基づいて出力画像を生成しその出力画像を操作者に提示する。また、画像生成装置１００は、人検出センサ６の出力に基づいて、提示すべき出力画像の内容を切り換える。

図２は、画像生成装置１００が搭載される作業機械としてのショベル６０の構成例を示す図であり、ショベル６０は、クローラ式の下部走行体６１の上に、旋回機構６２を介して、上部旋回体６３を旋回軸ＰＶの周りで旋回自在に搭載している。

また、上部旋回体６３は、その前方左側部にキャブ（運転室）６４を備え、その前方中央部に掘削アタッチメントＥを備え、その右側面及び後面にカメラ２（右側方カメラ２Ｒ、後方カメラ２Ｂ）、人検出センサ６（右側方人検出センサ６Ｒ、後方人検出センサ６Ｂ）、及び報知部２０（左側方報知部２０Ｌ、右側方報知部２０Ｒ、後方報知部２０Ｂ）を備えている。なお、キャブ６４内の操作者が視認し易い位置には表示部５が設置されている。また、キャブ６４内には、警報出力部７（右側方警報出力部７Ｒ、後方警報出力部７Ｂ）、ゲートロックレバー８、イグニッションスイッチ９が設置されている。

次に、画像生成装置１００の各構成要素について説明する。

制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を備えたコンピュータである。本実施例では、制御部１は、例えば、後述する座標対応付け手段１０、画像生成手段１１、人存否判定手段１２、警報制御手段１３、作業機械状態判定手段１４、報知部制御手段１５、及び作業許否決定手段１６のそれぞれに対応するプログラムをＲＯＭやＮＶＲＡＭに記憶し、一時記憶領域としてＲＡＭを利用しながら各手段に対応する処理をＣＰＵに実行させる。

カメラ２は、ショベル６０の周囲を映し出す入力画像を取得するための装置である。本実施例では、カメラ２は、例えば、キャブ６４にいる操作者の死角となる領域を撮像できるよう上部旋回体６３の右側面及び後面に取り付けられる右側方カメラ２Ｒ及び後方カメラ２Ｂである（図２参照。）。また、カメラ２は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子を備える。なお、カメラ２は、上部旋回体６３の右側面及び後面以外の位置（例えば、前面及び左側面である。）に取り付けられていてもよく、広い範囲を撮像できるよう広角レンズ又は魚眼レンズが装着されていてもよい。

また、カメラ２は、制御部１からの制御信号に応じて入力画像を取得し、取得した入力画像を制御部１に対して出力する。なお、カメラ２は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力画像を制御部１に対して出力する。また、カメラ２は、その見掛け上の歪曲やアオリを補正していない入力画像をそのまま制御部１に対して出力してもよい。その場合には、制御部１がその見掛け上の歪曲やアオリを補正する。

入力部３は、操作者が画像生成装置１００に対して各種情報を入力できるようにするための装置であり、例えば、タッチパネル、ボタンスイッチ、ポインティングデバイス、キーボード等である。

記憶部４は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。

表示部５は、画像情報を表示するための装置であり、例えば、ショベル６０のキャブ６４（図２参照。）内に設置された液晶ディスプレイ又はプロジェクタ等であって、制御部１が出力する各種画像を表示する。

人検出センサ６は、ショベル６０の周囲に存在する人を検出するための装置である。本実施例では、人検出センサ６は、例えば、キャブ６４にいる操作者の死角となる領域に存在する人を検出できるよう上部旋回体６３の右側面及び後面に取り付けられる（図２参照。）。

人検出センサ６は、人以外の物体から人を区別して検出するセンサであり、例えば、対応する監視空間内のエネルギ変化を検出するセンサであって、焦電型赤外線センサ、ボロメータ型赤外線センサ、赤外線カメラ等の出力信号を利用した動体検出センサを含む。本実施例では、人検出センサ６は、焦電型赤外線センサを用いたものであり、動体（移動する熱源）を人として検出する。また、右側方人検出センサ６Ｒの監視空間は、右側方カメラの撮像空間に含まれ、後方人検出センサ６Ｂの監視空間は、後方カメラ２Ｂの撮像空間に含まれる。

なお、人検出センサ６は、カメラ２と同様、上部旋回体６３の右側面及び後面以外の位置（例えば、前面及び左側面である。）に取り付けられてもよく、上部旋回体６３の前面、左側面、右側面、及び後面のうちの何れか１つに取り付けられていてもよく、全ての面に取り付けられていてもよい。

警報出力部７は、ショベル６０の操作者に対する警報を出力する装置である。例えば、警報出力部７は、音及び光の少なくとも一方を出力する警報装置であり、ブザー、スピーカ等の音声出力装置、ＬＥＤ、フラッシュライト等の発光装置を含む。本実施例では、警報出力部７は、警報音を出力するブザーであり、キャブ６４の右側内壁に取り付けられる右側方警報出力部７Ｒ、及び、キャブ６４の後側内壁に取り付けられる後方警報出力部７Ｂで構成される（図２参照。）。

ゲートロックレバー８は、ショベル６０の状態を切り換える装置である。本実施例では、ゲートロックレバー８は、ショベル６０を作業不可状態とするロック状態と、ショベル６０を作業可能状態とするロック解除状態とを有する。なお、「作業可能状態」は、操作者がショベル６０を操作できる状態を意味し、「作業不可状態」は、操作者がショベル６０を操作できない状態を意味する。ゲートロックレバー８は、自身の現在の状態を表す信号を所定周期で繰り返し制御部１に対して出力する。

具体的には、操作者は、ゲートロックレバー８を引き上げてほぼ水平にすることによりゲートロックレバー８をロック解除状態とし、ゲートロックレバー８を押し下げることによりゲートロックレバー８をロック状態とする。

ロック解除状態において、ゲートロックレバー８は、キャブ６４の乗降口を遮って操作者がキャブ６４から退出するのを規制しながら、キャブ６４内の図示しない操作レバー及び操作ペダル等（以下、「操作ペダル等」とする。）による操作を有効にして操作者がショベル６０を操作できるようにする。

一方、ロック状態において、ゲートロックレバー８は、キャブ６４の乗降口を開放して操作者がキャブ６４から退出するのを許容しながら、キャブ６４内の操作レバー等による操作を無効にして操作者がショベル６０を操作できないようにする。

より具体的には、ゲートロックレバー８は、ロック状態においてゲートロック弁を閉状態とし、ロック解除状態においてゲートロック弁を開状態とする。ゲートロック弁は、コントロールバルブ（図示せず。）と操作レバー等との間の油路の間に設けられる切換弁である。また、コントロールバルブは、図示しない油圧ポンプと各種油圧アクチュエータとの間の作動油の流れを制御する流量制御弁である。ゲートロック弁は、閉状態において、コントロールバルブと操作レバー等との間の作動油の流れを遮断して操作レバー等を無効にする。また、ゲートロック弁は、開状態において、コントロールバルブと操作レバー等との間で作動油を連通させて操作レバー等を有効にする。

イグニッションスイッチ９は、ショベル６０の状態を切り換える装置である。本実施例では、イグニッションスイッチ９は、ショベル６０を作業不可状態とするオフ状態と、ショベル６０を作業可能状態とするオン状態とを有する。イグニッションスイッチ９は、自身の現在の状態を表す信号を所定周期で繰り返し制御部１に対して出力する。

具体的には、操作者は、イグニッションスイッチ９を押下することによりイグニッションスイッチ９のオン状態とオフ状態とを切り換える。

オン状態において、イグニッションスイッチ９は、エンジンを始動させることによって、コントロールバルブと操作レバー等との間の油路に作動油を供給するコントロールポンプを始動させる。そして、イグニッションスイッチ９は、キャブ６４内の操作レバー等による操作を有効にして操作者がショベル６０を操作できるようにする。

一方、オフ状態において、イグニッションスイッチ９は、エンジンを停止させることによって、コントロールポンプを停止させる。そして、イグニッションスイッチ９は、キャブ６４内の操作レバー等による操作を無効にして操作者がショベル６０を操作できないようにする。

報知部２０は、ショベル６０の状態を周囲の人に報知する装置である。本実施例では、報知部２０は、ＬＥＤ、フラッシュライト等で構成されるインジケータランプであり、周囲の人が視認できるよう上部旋回体６３の左側面、右側面、及び後面に取り付けられる（図２参照。）。なお、報知部２０は、例えば、上部旋回体６３の前面を含むショベル６０の外表面等、周囲の人が視認できる任意の位置に取り付けられてもよい。また、報知部２０は、カメラ２に取り付けるように構成されてもよい。

また、画像生成装置１００は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施すことによって周囲の物体との位置関係や距離感を直感的に把握できるようにする出力画像を生成した上で、その出力画像を操作者に提示するようにしてもよい。

「処理対象画像」は、入力画像に基づいて生成される、画像変換処理（例えば、スケール変換処理、アフィン変換処理、歪曲変換処理、視点変換処理等である。）の対象となる画像である。具体的には、「処理対象画像」は、例えば、地表を上方から撮像するカメラによる入力画像であってその広い画角により水平方向の画像（例えば、空の部分である。）を含む入力画像から生成される、画像変換処理に適した画像である。より具体的には、その水平方向の画像が不自然に表示されないよう（例えば、空の部分が地表にあるものとして扱われないよう）その入力画像を所定の空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって生成される。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。

「空間モデル」は、入力画像の投影対象である。具体的には、「空間モデル」は、少なくとも、処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面を含む、一又は複数の平面若しくは曲面で構成される。処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面は、例えば、処理対象画像平面に平行な平面、又は、処理対象画像平面との間で角度を形成する平面若しくは曲面である。

なお、画像生成装置１００は、処理対象画像を生成することなく、その空間モデルに投影された投影画像に画像変換処理を施すことによって出力画像を生成するようにしてもよい。また、投影画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。

図３は、入力画像が投影される空間モデルＭＤの一例を示す図であり、図３左図は、ショベル６０を側方から見たときのショベル６０と空間モデルＭＤとの間の関係を示し、図３右図は、ショベル６０を上方から見たときのショベル６０と空間モデルＭＤとの間の関係を示す。

図３で示されるように、空間モデルＭＤは、半円筒形状を有し、その底面内側の平面領域Ｒ１とその側面内側の曲面領域Ｒ２とを有する。

また、図４は、空間モデルＭＤと処理対象画像平面との間の関係の一例を示す図であり、処理対象画像平面Ｒ３は、例えば、空間モデルＭＤの平面領域Ｒ１を含む平面である。なお、図４は、明確化のために、空間モデルＭＤを、図３で示すような半円筒形状ではなく、円筒形状で示しているが、空間モデルＭＤは、半円筒形状及び円筒形状の何れであってもよい。以降の図においても同様である。また、処理対象画像平面Ｒ３は、上述のように、空間モデルＭＤの平面領域Ｒ１を含む円形領域であってもよく、空間モデルＭＤの平面領域Ｒ１を含まない環状領域であってもよい。

次に、制御部１が有する各種手段について説明する。

座標対応付け手段１０は、カメラ２が撮像した入力画像が位置する入力画像平面上の座標と、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付けるための手段である。本実施例では、座標対応付け手段１０は、例えば、予め設定された、或いは、入力部３を介して入力されるカメラ２に関する各種パラメータと、予め決定された、入力画像平面、空間モデルＭＤ、及び処理対象画像平面Ｒ３の相互の位置関係とに基づいて、入力画像平面上の座標と、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付ける。なお、カメラ２に関する各種パラメータは、例えば、カメラ２の光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等である。そして、座標対応付け手段１０は、それらの対応関係を記憶部４の入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１に記憶する。

なお、座標対応付け手段１０は、処理対象画像を生成しない場合には、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標との対応付け、及び、その対応関係の空間モデル・処理対象画像対応マップ４１への記憶を省略する。

画像生成手段１１は、出力画像を生成するための手段である。本実施例では、画像生成手段１１は、例えば、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって、処理対象画像平面Ｒ３上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。そして、画像生成手段１１は、その対応関係を記憶部４の処理対象画像・出力画像対応マップ４２に記憶する。そして、画像生成手段１１は、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。各画素の値は、例えば、輝度値、色相値、彩度値等である。

また、画像生成手段１１は、予め設定された、或いは、入力部３を介して入力される仮想カメラに関する各種パラメータに基づいて、処理対象画像平面Ｒ３上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。なお、仮想カメラに関する各種パラメータは、例えば、仮想カメラの光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等である。そして、画像生成手段１１は、その対応関係を記憶部４の処理対象画像・出力画像対応マップ４２に記憶する。そして、画像生成手段１１は、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。

なお、画像生成手段１１は、仮想カメラの概念を用いることなく、処理対象画像のスケールを変更して出力画像を生成するようにしてもよい。

また、画像生成手段１１は、処理対象画像を生成しない場合には、施した画像変換処理に応じて空間モデルＭＤ上の座標と出力画像平面上の座標とを対応付ける。そして、画像生成手段１１は、入力画像・空間モデル対応マップ４０を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。この場合、画像生成手段１１は、処理対象画像平面Ｒ３上の座標と出力画像平面上の座標との対応付け、及び、その対応関係の処理対象画像・出力画像対応マップ４２への記憶を省略する。

また、画像生成手段１１は、人存否判定手段１２の判定結果に基づいて出力画像の内容を切り換える。なお、画像生成手段１１による出力画像の切り換えについてはその詳細を後述する。

人存否判定手段１２は、作業機械の周囲に設定される複数の監視空間のそれぞれにおける人の存否を判定する手段である。本実施例では、人存否判定手段１２は、人検出センサ６の出力に基づいてショベル６０の周囲の人の存否を判定する。

また、人存否判定手段１２は、カメラ２が撮像した入力画像に基づいて作業機械の周囲に設定される複数の監視空間のそれぞれにおける人の存否を判定してもよい。具体的には、人存否判定手段１２は、オプティカルフロー、パターンマッチング等の画像処理技術を用いて作業機械の周囲の人の存否を判定してもよい。なお、人存否判定手段１２は、カメラ２とは別の画像センサの出力に基づいて作業機械の周囲の人の存否を判定してもよい。

或いは、人存否判定手段１２は、人検出センサ６の出力とカメラ２等の画像センサの出力とに基づいて作業機械の周囲に設定される複数の監視空間のそれぞれにおける人の存否を判定してもよい。

警報制御手段１３は、警報出力部７を制御する手段である。本実施例では、警報制御手段１３は、人存否判定手段１２の判定結果に基づいて、或いは、人存否判定手段１２の判定結果と作業機械状態判定手段１４の判定結果とに基づいて、警報出力部７を制御する。なお、警報制御手段１３による警報出力部７の制御についてはその詳細を後述する。

作業機械状態判定手段１４は、作業機械の状態を判定する手段である。本実施例では、作業機械状態判定手段１４は、ショベル６０が作業可能状態にあるか否かを判定する。なお、作業機械状態判定手段１４によるショベル６０の状態の判定についてはその詳細を後述する。

報知部制御手段１５は、報知部２０を制御する手段である。本実施例では、報知部制御手段１５は、作業機械状態判定手段１４の判定結果に基づいて、或いは、人存否判定手段１２の判定結果と作業機械状態判定手段１４の判定結果とに基づいて、報知部２０を制御する。なお、報知部制御手段１５による報知部２０の制御についてはその詳細を後述する。

作業許否決定手段１６は、ショベル６０の作業を許可するか否かを決定する手段である。本実施例では、作業許否決定手段１６は、人存否判定手段１２の判定結果に基づいてショベル６０の作業の許否を決定する。なお、作業許否決定手段１６によるショベル６０の作業の許否の決定についてはその詳細を後述する。

次に、座標対応付け手段１０及び画像生成手段１１による具体的な処理の一例について説明する。

座標対応付け手段１０は、例えば、ハミルトンの四元数を用いて、入力画像平面上の座標と空間モデル上の座標とを対応付けることができる。

図５は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。カメラ２の入力画像平面は、カメラ２の光学中心Ｃを原点とするＵＶＷ直交座標系における一平面として表される。空間モデルは、ＸＹＺ直交座標系における立体面として表される。

最初に、座標対応付け手段１０は、ＸＹＺ座標系の原点を光学中心Ｃ（ＵＶＷ座標系の原点）に並行移動させた上で、Ｘ軸をＵ軸に、Ｙ軸をＶ軸に、Ｚ軸を−Ｗ軸にそれぞれ一致させるようＸＹＺ座標系を回転させる。空間モデル上の座標（ＸＹＺ座標系上の座標）を入力画像平面上の座標（ＵＶＷ座標系上の座標）に変換するためである。なお、「−Ｗ軸」の符号「−」は、Ｚ軸の方向と−Ｗ軸の方向が逆であることを意味する。これは、ＵＶＷ座標系がカメラ前方を＋Ｗ方向とし、ＸＹＺ座標系が鉛直下方を−Ｚ方向としていることに起因する。

なお、カメラ２が複数存在する場合、カメラ２のそれぞれが個別のＵＶＷ座標系を有するので、座標対応付け手段１０は、複数のＵＶＷ座標系のそれぞれに対して、ＸＹＺ座標系を並行移動させ且つ回転させる。

上述の変換は、カメラ２の光学中心ＣがＸＹＺ座標系の原点となるようにＸＹＺ座標系を並行移動させた後に、Ｚ軸が−Ｗ軸に一致するよう回転させ、更に、Ｘ軸がＵ軸に一致するよう回転させることによって実現される。そのため、座標対応付け手段１０は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。

ところで、あるベクトルＡを別のベクトルＢに一致させるための回転は、ベクトルＡとベクトルＢとが張る面の法線を軸としてベクトルＡとベクトルＢとが形成する角度だけ回転させる処理に相当する。そして、その角度をθとすると、ベクトルＡとベクトルＢとの内積から、角度θは、

で表される。

また、ベクトルＡとベクトルＢとが張る面の法線の単位ベクトルＮは、ベクトルＡとベクトルＢとの外積から

で表されることとなる。

なお、四元数は、ｉ、ｊ、ｋをそれぞれ虚数単位とした場合、

を満たす超複素数であり、本実施例において、四元数Ｑは、実成分をｔ、純虚成分をａ、ｂ、ｃとして、

で表され、四元数Ｑの共役四元数は、

で表される。

四元数Ｑは、実成分ｔを０（ゼロ）としながら、純虚成分ａ、ｂ、ｃで三次元ベクトル（ａ，ｂ，ｃ）を表現することができ、また、ｔ、ａ、ｂ、ｃの各成分により任意のベクトルを軸とした回転動作を表現することもできる。

更に、四元数Ｑは、連続する複数回の回転動作を統合して一回の回転動作として表現することができる。具体的には、四元数Ｑは、例えば、任意の点Ｓ（ｓｘ，ｓｙ，ｓｚ）を、任意の単位ベクトルＣ（ｌ，ｍ，ｎ）を軸としながら角度θだけ回転させたときの点Ｄ（ｅｘ，ｅｙ，ｅｚ）を以下のように表現することができる。

ここで、本実施例において、Ｚ軸を−Ｗ軸に一致させる回転を表す四元数をＱｚとすると、ＸＹＺ座標系におけるＸ軸上の点Ｘは、点Ｘ'に移動させられるので、点Ｘ'は、

で表される。

また、本実施例において、Ｘ軸上にある点Ｘ'と原点とを結ぶ線をＵ軸に一致させる回転を表す四元数をＱｘとすると、「Ｚ軸を−Ｗ軸に一致させ、更に、Ｘ軸をＵ軸に一致させる回転」を表す四元数Ｒは、

で表される。

以上により、空間モデル（ＸＹＺ座標系）上の任意の座標Ｐを入力画像平面（ＵＶＷ座標系）上の座標で表現したときの座標Ｐ'は、

で表される。また、四元数Ｒがカメラ２のそれぞれで不変であることから、座標対応付け手段１０は、以後、この演算を実行するだけで空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換することができる。

空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換した後、座標対応付け手段１０は、線分ＣＰ'と、カメラ２の光軸Ｇとが形成する入射角αを算出する。なお、線分ＣＰ'は、カメラ２の光学中心Ｃ（ＵＶＷ座標系上の座標）と空間モデル上の任意の座標ＰをＵＶＷ座標系で表した座標Ｐ'とを結ぶ線分である。

また、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４（例えば、ＣＣＤ面）に平行で且つ座標Ｐ'を含む平面Ｈにおける偏角φ、及び線分ＥＰ'の長さを算出する。なお、線分ＥＰ'は、平面Ｈと光軸Ｇとの交点Ｅと、座標Ｐ'とを結ぶ線分であり、偏角φは、平面ＨにおけるＵ'軸と線分ＥＰ'とが形成する角度である。

カメラの光学系は、通常、像高さｈが入射角α及び焦点距離ｆの関数となっている。そのため、座標対応付け手段１０は、通常射影（ｈ＝ｆｔａｎα）、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等の適切な射影方式を選択して像高さｈを算出する。

その後、座標対応付け手段１０は、算出した像高さｈを偏角φによりＵＶ座標系上のＵ成分及びＶ成分に分解し、入力画像平面Ｒ４の一画素当たりの画素サイズに相当する数値で除算する。これにより、座標対応付け手段１０は、空間モデルＭＤ上の座標Ｐ（Ｐ'）と入力画像平面Ｒ４上の座標とを対応付けることができる。

なお、入力画像平面Ｒ４のＵ軸方向における一画素当たりの画素サイズをａ_Ｕとし、入力画像平面Ｒ４のＶ軸方向における一画素当たりの画素サイズをａ_Ｖとすると、空間モデルＭＤ上の座標Ｐ（Ｐ'）に対応する入力画像平面Ｒ４上の座標（ｕ，ｖ）は、

で表される。

このようにして、座標対応付け手段１０は、空間モデルＭＤ上の座標と、カメラ毎に存在する一又は複数の入力画像平面Ｒ４上の座標とを対応付け、空間モデルＭＤ上の座標、カメラ識別子、及び入力画像平面Ｒ４上の座標を関連付けて入力画像・空間モデル対応マップ４０に記憶する。

また、座標対応付け手段１０は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、座標対応付け手段１０は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。

なお、複数の入力画像平面Ｒ４上の座標への対応付けが可能な場合、座標対応付け手段１０は、空間モデルＭＤ上の座標Ｐ（Ｐ'）を、その入射角αが最も小さいカメラに関する入力画像平面Ｒ４上の座標に対応付けるようにしてもよく、操作者が選択した入力画像平面Ｒ４上の座標に対応付けるようにしてもよい。

次に、空間モデルＭＤ上の座標のうち、曲面領域Ｒ２上の座標（Ｚ軸方向の成分を持つ座標）を、ＸＹ平面上にある処理対象画像平面Ｒ３に再投影する処理について説明する。

図６は、座標対応付け手段１０による座標間の対応付けを説明するための図である。Ｆ６Ａは、一例として通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との間の対応関係を示す図である。座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４上の座標とその座標に対応する空間モデルＭＤ上の座標とを結ぶ線分のそれぞれがカメラ２の光学中心Ｃを通過するようにして、両座標を対応付ける。

Ｆ６Ａの例では、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４上の座標Ｋ１を空間モデルＭＤの平面領域Ｒ１上の座標Ｌ１に対応付け、カメラ２の入力画像平面Ｒ４上の座標Ｋ２を空間モデルＭＤの曲面領域Ｒ２上の座標Ｌ２に対応付ける。このとき、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２は共にカメラ２の光学中心Ｃを通過する。

なお、カメラ２が通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、座標対応付け手段１０は、それぞれの射影方式に応じて、カメラ２の入力画像平面Ｒ４上の座標Ｋ１、Ｋ２を空間モデルＭＤ上の座標Ｌ１、Ｌ２に対応付ける。

具体的には、座標対応付け手段１０は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、入力画像平面上の座標と空間モデルＭＤ上の座標とを対応付ける。この場合、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２がカメラ２の光学中心Ｃを通過することはない。

Ｆ６Ｂは、空間モデルＭＤの曲面領域Ｒ２上の座標と処理対象画像平面Ｒ３上の座標との間の対応関係を示す図である。座標対応付け手段１０は、ＸＺ平面上に位置する平行線群ＰＬであって、処理対象画像平面Ｒ３との間で角度βを形成する平行線群ＰＬを導入する。そして、座標対応付け手段１０は、空間モデルＭＤの曲面領域Ｒ２上の座標とその座標に対応する処理対象画像平面Ｒ３上の座標とが共に平行線群ＰＬのうちの一つに乗るようにして、両座標を対応付ける。

Ｆ６Ｂの例では、座標対応付け手段１０は、空間モデルＭＤの曲面領域Ｒ２上の座標Ｌ２と処理対象画像平面Ｒ３上の座標Ｍ２とが共通の平行線に乗るとして、両座標を対応付ける。

なお、座標対応付け手段１０は、空間モデルＭＤの平面領域Ｒ１上の座標を曲面領域Ｒ２上の座標と同様に平行線群ＰＬを用いて処理対象画像平面Ｒ３上の座標に対応付けることも可能である。しかしながら、Ｆ６Ｂの例では、平面領域Ｒ１と処理対象画像平面Ｒ３とが共通の平面となっている。そのため、空間モデルＭＤの平面領域Ｒ１上の座標Ｌ１と処理対象画像平面Ｒ３上の座標Ｍ１とは同じ座標値を有する。

このようにして、座標対応付け手段１０は、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、空間モデルＭＤ上の座標及び処理対象画像平面Ｒ３上の座標を関連付けて空間モデル・処理対象画像対応マップ４１に記憶する。

Ｆ６Ｃは、処理対象画像平面Ｒ３上の座標と、一例として通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖの出力画像平面Ｒ５上の座標との間の対応関係を示す図である。画像生成手段１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標とその座標に対応する処理対象画像平面Ｒ３上の座標とを結ぶ線分のそれぞれが仮想カメラ２Ｖの光学中心ＣＶを通過するようにして、両座標を対応付ける。

Ｆ６Ｃの例では、画像生成手段１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１を処理対象画像平面Ｒ３（空間モデルＭＤの平面領域Ｒ１）上の座標Ｍ１に対応付け、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ２を処理対象画像平面Ｒ３上の座標Ｍ２に対応付ける。このとき、線分Ｍ１−Ｎ１及び線分Ｍ２−Ｎ２は共に仮想カメラ２Ｖの光学中心ＣＶを通過する。

なお、仮想カメラ２Ｖが通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、画像生成手段１１は、それぞれの射影方式に応じて、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１、Ｎ２を処理対象画像平面Ｒ３上の座標Ｍ１、Ｍ２に対応付ける。

具体的には、画像生成手段１１は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、出力画像平面Ｒ５上の座標と処理対象画像平面Ｒ３上の座標とを対応付ける。この場合、線分Ｍ１−Ｎ１及び線分Ｍ２−Ｎ２が仮想カメラ２Ｖの光学中心ＣＶを通過することはない。

このようにして、画像生成手段１１は、出力画像平面Ｒ５上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、出力画像平面Ｒ５上の座標及び処理対象画像平面Ｒ３上の座標を関連付けて処理対象画像・出力画像対応マップ４２に記憶する。そして、画像生成手段１１は、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。

なお、Ｆ６Ｄは、Ｆ６Ａ〜Ｆ６Ｃを組み合わせた図であり、カメラ２、仮想カメラ２Ｖ、空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２、並びに、処理対象画像平面Ｒ３の相互の位置関係を示す。

次に、図７を参照しながら、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標とを対応付けるために座標対応付け手段１０が導入する平行線群ＰＬの作用について説明する。

図７左図は、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度βが形成される場合の図である。一方、図７右図は、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度β１（β１＞β）が形成される場合の図である。また、図７左図及び図７右図における空間モデルＭＤの曲面領域Ｒ２上の座標Ｌａ〜Ｌｄのそれぞれは、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれに対応する。また、図７左図における座標Ｌａ〜Ｌｄのそれぞれの間隔は、図７右図における座標Ｌａ〜Ｌｄのそれぞれの間隔と等しい。なお、平行線群ＰＬは、説明目的のためにＸＺ平面上に存在するものとしているが、実際には、Ｚ軸上の全ての点から処理対象画像平面Ｒ３に向かって放射状に延びるように存在する。なお、この場合のＺ軸を「再投影軸」と称する。

図７左図及び図７右図で示されるように、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれの間隔は、平行線群ＰＬと処理対象画像平面Ｒ３との間の角度が増大するにつれて線形的に減少する。すなわち、空間モデルＭＤの曲面領域Ｒ２と座標Ｍａ〜Ｍｄのそれぞれとの間の距離とは関係なく一様に減少する。一方で、空間モデルＭＤの平面領域Ｒ１上の座標群は、図７の例では、処理対象画像平面Ｒ３上の座標群への変換が行われないので、座標群の間隔が変化することはない。

これら座標群の間隔の変化は、出力画像平面Ｒ５（図６参照。）上の画像部分のうち、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する画像部分のみが線形的に拡大或いは縮小されることを意味する。

次に、図８を参照しながら、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標とを対応付けるために座標対応付け手段１０が導入する平行線群ＰＬの代替例について説明する。

図８左図は、ＸＺ平面上に位置する補助線群ＡＬの全てがＺ軸上の始点Ｔ１から処理対象画像平面Ｒ３に向かって延びる場合の図である。一方、図８右図は、補助線群ＡＬの全てがＺ軸上の始点Ｔ２（Ｔ２＞Ｔ１）から処理対象画像平面Ｒ３に向かって延びる場合の図である。また、図８左図及び図８右図における空間モデルＭＤの曲面領域Ｒ２上の座標Ｌａ〜Ｌｄのそれぞれは、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれに対応する。なお、図８左図の例では、座標Ｍｃ、Ｍｄは、処理対象画像平面Ｒ３の領域外となるため図示されていない。また、図８左図における座標Ｌａ〜Ｌｄのそれぞれの間隔は、図８右図における座標Ｌａ〜Ｌｄのそれぞれの間隔と等しい。なお、補助線群ＡＬは、説明目的のためにＸＺ平面上に存在するものとしているが、実際には、Ｚ軸上の任意の一点から処理対象画像平面Ｒ３に向かって放射状に延びるように存在する。なお、図７と同様、この場合のＺ軸を「再投影軸」と称する。

図８左図及び図８右図で示されるように、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれの間隔は、補助線群ＡＬの始点と原点Ｏとの間の距離（高さ）が増大するにつれて非線形的に減少する。すなわち、空間モデルＭＤの曲面領域Ｒ２と座標Ｍａ〜Ｍｄのそれぞれとの間の距離が大きいほど、それぞれの間隔の減少幅が大きくなる。一方で、空間モデルＭＤの平面領域Ｒ１上の座標群は、図８の例では、処理対象画像平面Ｒ３上の座標群への変換が行われないので、座標群の間隔が変化することはない。

これら座標群の間隔の変化は、平行線群ＰＬのときと同様、出力画像平面Ｒ５（図６参照。）上の画像部分のうち、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する画像部分のみが非線形的に拡大或いは縮小されることを意味する。

このようにして、画像生成装置１００は、空間モデルＭＤの平面領域Ｒ１に投影された画像に対応する出力画像の画像部分（例えば、路面画像である。）に影響を与えることなく、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する出力画像の画像部分（例えば、水平画像である。）を線形的に或いは非線形的に拡大或いは縮小させることができる。そのため、画像生成装置１００は、ショベル６０の近傍の路面画像（ショベル６０を真上から見たときの仮想画像）に影響を与えることなく、ショベル６０の周囲に位置する物体（ショベル６０から水平方向に周囲を見たときの画像における物体）を迅速且つ柔軟に拡大或いは縮小させることができ、ショベル６０の死角領域の視認性を向上させることができる。

次に、図９を参照しながら、画像生成装置１００が処理対象画像を生成する処理（以下、「処理対象画像生成処理」とする。）、及び、生成した処理対象画像を用いて出力画像を生成する処理（以下、「出力画像生成処理」とする。）について説明する。なお、図９は、処理対象画像生成処理（ステップＳ１〜ステップＳ３）及び出力画像生成処理（ステップＳ４〜ステップＳ６）の流れを示すフローチャートである。また、カメラ２（入力画像平面Ｒ４）、空間モデル（平面領域Ｒ１及び曲面領域Ｒ２）、並びに、処理対象画像平面Ｒ３の配置は予め決定されている。

最初に、制御部１は、座標対応付け手段１０により、処理対象画像平面Ｒ３上の座標と空間モデルＭＤ上の座標とを対応付ける（ステップＳ１）。

具体的には、座標対応付け手段１０は、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度を取得する。そして、座標対応付け手段１０は、処理対象画像平面Ｒ３上の一座標から延びる平行線群ＰＬの一つが空間モデルＭＤの曲面領域Ｒ２と交差する点を算出する。そして、座標対応付け手段１０は、算出した点に対応する曲面領域Ｒ２上の座標を、処理対象画像平面Ｒ３上のその一座標に対応する曲面領域Ｒ２上の一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ４１に記憶する。なお、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度は、記憶部４等に予め記憶された値であってもよく、入力部３を介して操作者が動的に入力する値であってもよい。

また、座標対応付け手段１０は、処理対象画像平面Ｒ３上の一座標が空間モデルＭＤの平面領域Ｒ１上の一座標と一致する場合には、平面領域Ｒ１上のその一座標を、処理対象画像平面Ｒ３上のその一座標に対応する一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ４１に記憶する。

その後、制御部１は、座標対応付け手段１０により、上述の処理によって導き出された空間モデルＭＤ上の一座標と入力画像平面Ｒ４上の座標とを対応付ける（ステップＳ２）。

具体的には、座標対応付け手段１０は、通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の光学中心Ｃの座標を取得する。そして、座標対応付け手段１０は、空間モデルＭＤ上の一座標から延びる線分であり、光学中心Ｃを通過する線分が入力画像平面Ｒ４と交差する点を算出する。そして、座標対応付け手段１０は、算出した点に対応する入力画像平面Ｒ４上の座標を、空間モデルＭＤ上のその一座標に対応する入力画像平面Ｒ４上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ４０に記憶する。

その後、制御部１は、処理対象画像平面Ｒ３上の全ての座標を空間モデルＭＤ上の座標及び入力画像平面Ｒ４上の座標に対応付けたか否かを判定する（ステップＳ３）。そして、制御部１は、未だ全ての座標を対応付けていないと判定した場合には（ステップＳ３のＮＯ）、ステップＳ１及びステップＳ２の処理を繰り返す。

一方、制御部１は、全ての座標を対応付けたと判定した場合には（ステップＳ３のＹＥＳ）、処理対象画像生成処理を終了させた上で出力画像生成処理を開始させる。そして、制御部１は、画像生成手段１１により、処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標とを対応付ける（ステップＳ４）。

具体的には、画像生成手段１１は、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって出力画像を生成する。そして、画像生成手段１１は、施したスケール変換、アフィン変換、又は歪曲変換の内容によって定まる、処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標との間の対応関係を処理対象画像・出力画像対応マップ４２に記憶する。

或いは、画像生成手段１１は、仮想カメラ２Ｖを用いて出力画像を生成する場合には、採用した射影方式に応じて処理対象画像平面Ｒ３上の座標から出力画像平面Ｒ５上の座標を算出し、その対応関係を処理対象画像・出力画像対応マップ４２に記憶するようにしてもよい。

或いは、画像生成手段１１は、通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖを用いて出力画像を生成する場合には、その仮想カメラ２Ｖの光学中心ＣＶの座標を取得する。そして、画像生成手段１１は、出力画像平面Ｒ５上の一座標から延びる線分であり、光学中心ＣＶを通過する線分が処理対象画像平面Ｒ３と交差する点を算出する。そして、画像生成手段１１は、算出した点に対応する処理対象画像平面Ｒ３上の座標を、出力画像平面Ｒ５上のその一座標に対応する処理対象画像平面Ｒ３上の一座標として導き出す。このようにして、画像生成手段１１は、その対応関係を処理対象画像・出力画像対応マップ４２に記憶するようにしてもよい。

その後、制御部１の画像生成手段１１は、入力画像・空間モデル対応マップ４０、空間モデル・処理対象画像対応マップ４１、及び処理対象画像・出力画像対応マップ４２を参照する。そして、画像生成手段１１は、入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との対応関係、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標との対応関係、及び処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標との対応関係を辿る。そして、画像生成手段１１は、出力画像平面Ｒ５上の各座標に対応する入力画像平面Ｒ４上の座標が有する値（例えば、輝度値、色相値、彩度値等である。）を取得し、その取得した値を、対応する出力画像平面Ｒ５上の各座標の値として採用する（ステップＳ５）。なお、出力画像平面Ｒ５上の一座標に対して複数の入力画像平面Ｒ４上の複数の座標が対応する場合、画像生成手段１１は、それら複数の入力画像平面Ｒ４上の複数の座標のそれぞれの値に基づく統計値を導き出し、出力画像平面Ｒ５上のその一座標の値としてその統計値を採用してもよい。統計値は、例えば、平均値、最大値、最小値、中間値等である。

その後、制御部１は、出力画像平面Ｒ５上の全ての座標の値を入力画像平面Ｒ４上の座標の値に対応付けたか否かを判定する（ステップＳ６）。そして、制御部１は、未だ全ての座標の値を対応付けていないと判定した場合には（ステップＳ６のＮＯ）、ステップＳ４及びステップＳ５の処理を繰り返す。

一方、制御部１は、全ての座標の値を対応付けたと判定した場合には（ステップＳ６のＹＥＳ）、出力画像を生成して、この一連の処理を終了させる。

なお、画像生成装置１００は、処理対象画像を生成しない場合には、処理対象画像生成処理を省略する。この場合、出力画像生成処理におけるステップＳ４の"処理対象画像平面上の座標"は、"空間モデル上の座標"で読み替えられる。

以上の構成により、画像生成装置１００は、ショベル６０の周囲の物体とショベル６０との位置関係を操作者に直感的に把握させることが可能な処理対象画像及び出力画像を生成することができる。

また、画像生成装置１００は、処理対象画像平面Ｒ３から空間モデルＭＤを経て入力画像平面Ｒ４に遡るように座標の対応付けを実行する。これにより、画像生成装置１００は、処理対象画像平面Ｒ３上の各座標を入力画像平面Ｒ４上の一又は複数の座標に確実に対応させることができる。そのため、画像生成装置１００は、入力画像平面Ｒ４から空間モデルＭＤを経て処理対象画像平面Ｒ３に至る順番で座標の対応付けを実行する場合と比べ、より良質な処理対象画像を迅速に生成することができる。入力画像平面Ｒ４から空間モデルＭＤを経て処理対象画像平面Ｒ３に至る順番で座標の対応付けを実行する場合には、入力画像平面Ｒ４上の各座標を処理対象画像平面Ｒ３上の一又は複数の座標に確実に対応させることができる。しかしながら、処理対象画像平面Ｒ３上の座標の一部が、入力画像平面Ｒ４上の何れの座標にも対応付けられない場合があり、その場合にはそれら処理対象画像平面Ｒ３上の座標の一部に補間処理等を施す必要がある。

また、画像生成装置１００は、空間モデルＭＤの曲面領域Ｒ２に対応する画像のみを拡大或いは縮小する場合には、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度を変更して空間モデル・処理対象画像対応マップ４１における曲面領域Ｒ２に関連する部分のみを書き換えるだけで、入力画像・空間モデル対応マップ４０の内容を書き換えることなく、所望の拡大或いは縮小を実現させることができる。

また、画像生成装置１００は、出力画像の見え方を変更する場合には、スケール変換、アフィン変換又は歪曲変換に関する各種パラメータの値を変更して処理対象画像・出力画像対応マップ４２を書き換えるだけで、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１の内容を書き換えることなく、所望の出力画像（スケール変換画像、アフィン変換画像又は歪曲変換画像）を生成することができる。

同様に、画像生成装置１００は、出力画像の視点を変更する場合には、仮想カメラ２Ｖの各種パラメータの値を変更して処理対象画像・出力画像対応マップ４２を書き換えるだけで、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１の内容を書き換えることなく、所望の視点から見た出力画像（視点変換画像）を生成することができる。

図１０は、ショベル６０に搭載された二台のカメラ２（右側方カメラ２Ｒ及び後方カメラ２Ｂ）の入力画像を用いて生成される出力画像を表示部５に表示させたときの表示例である。

画像生成装置１００は、それら二台のカメラ２のそれぞれの入力画像を空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２上に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成する。そして、画像生成装置１００は、その生成した処理対象画像に画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）を施すことによって出力画像を生成する。このようにして、画像生成装置１００は、ショベル６０の近傍を上空から見下ろした画像（平面領域Ｒ１における画像）と、ショベル６０から水平方向に周囲を見た画像（処理対象画像平面Ｒ３における画像）とを同時に表示する出力画像を生成する。以下では、このような出力画像を周辺監視用仮想視点画像と称する。

なお、周辺監視用仮想視点画像は、画像生成装置１００が処理対象画像を生成しない場合には、空間モデルＭＤに投影された画像に画像変換処理（例えば、視点変換処理である。）を施すことによって生成される。

また、周辺監視用仮想視点画像は、ショベル６０が旋回動作を行う際の画像を違和感なく表示できるよう、円形にトリミングされ、その円の中心ＣＴＲが空間モデルＭＤの円筒中心軸上で、且つ、ショベル６０の旋回軸ＰＶ上となるように生成される。そのため、周辺監視用仮想視点画像は、ショベル６０の旋回動作に応じてその中心ＣＴＲを軸に回転するように表示される。この場合、空間モデルＭＤの円筒中心軸は、再投影軸と一致するものであってもよく、一致しないものであってもよい。

なお、空間モデルＭＤの半径は、例えば、５メートルである。また、平行線群ＰＬが処理対象画像平面Ｒ３との間で形成する角度、又は、補助線群ＡＬの始点高さは、ショベル６０の旋回中心から掘削アタッチメントＥの最大到達距離（例えば１２メートルである。）だけ離れた位置に物体（例えば、作業者である。）が存在する場合にその物体が表示部５で十分大きく（例えば、７ミリメートル以上である。）表示されるように、設定され得る。

更に、周辺監視用仮想視点画像は、ショベル６０のＣＧ画像を、ショベル６０の前方が表示部５の画面上方と一致し、且つ、その旋回中心が中心ＣＴＲと一致するように配置してもよい。ショベル６０と出力画像に現れる物体との間の位置関係をより分かり易くするためである。なお、周辺監視用仮想視点画像は、方位等の各種情報を含む額縁画像をその周囲に配置してもよい。

次に、図１１〜図１４を参照しながら、画像生成装置１００が生成する周辺監視用仮想視点画像の詳細について説明する。

図１１は、画像生成装置１００を搭載するショベル６０の上面図である。図１１に示す実施例では、ショベル６０は、３台のカメラ２（左側方カメラ２Ｌ、右側方カメラ２Ｒ、及び後方カメラ２Ｂ）と３台の人検出センサ６（左側方人検出センサ６Ｌ、右側方人検出センサ６Ｒ、及び後方人検出センサ６Ｂ）と３台の報知部２０（左側方報知部２０Ｌ、右側方報知部２０Ｒ、及び後方報知部２０Ｂ）とを備える。なお、図１１の一点鎖線で示す領域ＣＬ、ＣＲ、ＣＢは、それぞれ、左側方カメラ２Ｌ、右側方カメラ２Ｒ、後方カメラ２Ｂの撮像空間を示す。また、図１１の点線で示す領域ＺＬ、ＺＲ、ＺＢは、それぞれ、左側方人検出センサ６Ｌ、右側方人検出センサ６Ｒ、後方人検出センサ６Ｂの監視空間を示す。また、ショベル６０は、キャブ６４内に、表示部５と、３台の警報出力部７（左側方警報出力部７Ｌ、右側方警報出力部７Ｒ、及び後方警報出力部７Ｂ）と、ゲートロックレバー８と、イグニッションスイッチ９とを備える。

なお、本実施例では、人検出センサ６の監視空間がカメラ２の撮像空間よりも狭いが、人検出センサ６の監視空間は、カメラ２の撮像空間と同じでもよく、カメラ２の撮像空間より広くてもよい。また、人検出センサ６の監視空間は、カメラ２の撮像空間内において、ショベル６０の近傍に位置するが、ショベル６０からより遠い領域にあってもよい。また、人検出センサ６の監視空間は、カメラ２の撮像空間が重複する部分において、重複部分を有する。例えば、右側方カメラ２Ｒの撮像空間ＣＲと後方カメラ２Ｂの撮像空間ＣＢとの重複部分において、右側方人検出センサ６Ｒの監視空間ＺＲは、後方人検出センサ６Ｂの監視空間ＺＢと重複する。しかしながら、人検出センサ６の監視空間は、重複が生じないように配置されてもよい。

図１２は、ショベル６０に搭載された３台のカメラ２のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。

画像生成装置１００は、３台のカメラ２のそれぞれの入力画像を空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２上に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成する。また、画像生成装置１００は、生成した処理対象画像に画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）を施すことによって出力画像を生成する。その結果、画像生成装置１００は、ショベル６０の近傍を上空から見下ろした画像（平面領域Ｒ１における画像）と、ショベル６０から水平方向に周囲を見た画像（処理対象画像平面Ｒ３における画像）とを同時に表示する周辺監視用仮想視点画像を生成する。なお、周辺監視用仮想視点画像の中央に表示される画像は、ショベル６０のＣＧ画像６０ＣＧである。

図１２において、右側方カメラ２Ｒの入力画像、及び、後方カメラ２Ｂの入力画像はそれぞれ、右側方カメラ２Ｒの撮像空間と後方カメラ２Ｂの撮像空間との重複部分内に人物を捉えている（右側方カメラ２Ｒの入力画像における二点鎖線で囲まれる領域Ｒ１０、及び、後方カメラ２Ｂの入力画像における二点鎖線で囲まれる領域Ｒ１１参照。）。

しかしながら、出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられるものとすると、出力画像は、重複部分内の人物を消失させてしまう（出力画像内の一点鎖線で囲まれる領域Ｒ１２参照。）。

そこで、画像生成装置１００は、重複部分に対応する出力画像部分において、後方カメラ２Ｂの入力画像平面上の座標が対応付けられる領域と、右側方カメラ２Ｒの入力画像平面上の座標が対応付けられる領域とを混在させ、重複部分内の物体が消失するのを防止する。

図１３は、２つのカメラのそれぞれの撮像空間の重複部分における物体の消失を防止する画像消失防止処理の一例であるストライプパタン処理を説明するための図である。

Ｆ１３Ａは、右側方カメラ２Ｒの撮像空間と後方カメラ２Ｂの撮像空間との重複部分に対応する出力画像部分を示す図であり、図１２の点線で示す矩形領域Ｒ１３に対応する。

また、Ｆ１３Ａにおいて、灰色で塗り潰された領域ＰＲ１は、後方カメラ２Ｂの入力画像部分が配置される画像領域であり、領域ＰＲ１に対応する出力画像平面上の各座標には後方カメラ２Ｂの入力画像平面上の座標が対応付けられる。

一方、白色で塗り潰された領域ＰＲ２は、右側方カメラ２Ｒの入力画像部分が配置される画像領域であり、部分ＰＲ２に対応する出力画像平面上の各座標には右側方カメラ２Ｒの入力画像平面上の座標が対応付けられる。

本実施例では、領域ＰＲ１と領域ＰＲ２とが縞模様（ストライプパタン処理）を形成するように配置され、領域ＰＲ１と領域ＰＲ２とが縞状に交互に並ぶ部分の境界線は、ショベル６０の旋回中心を中心とする水平面上の同心円によって定められる。

Ｆ１３Ｂは、ショベル６０の右斜め後方の空間領域の状況を示す上面図であり、後方カメラ２Ｂ及び右側方カメラ２Ｒの双方によって撮像される空間領域の現在の状況を示す。また、Ｆ１３Ｂは、ショベル６０の右斜め後方に棒状の立体物ＯＢが存在することを示す。

Ｆ１３Ｃは、Ｆ１３Ｂが示す空間領域を後方カメラ２Ｂ及び右側方カメラ２Ｒで実際に撮像して得られた入力画像に基づいて生成される出力画像の一部を示す。

具体的には、画像ＯＢ１は、後方カメラ２Ｂの入力画像における立体物ＯＢの画像が、路面画像を生成するための視点変換によって、後方カメラ２Ｂと立体物ＯＢとを結ぶ線の延長方向に伸長されたものを表す。すなわち、画像ＯＢ１は、後方カメラ２Ｂの入力画像を用いて出力画像部分における路面画像を生成した場合に表示される立体物ＯＢの画像の一部である。

また、画像ＯＢ２は、右側方カメラ２Ｒの入力画像における立体物ＯＢの画像が、路面画像を生成するための視点変換によって、右側方カメラ２Ｒと立体物ＯＢとを結ぶ線の延長方向に伸長されたものを表す。すなわち、画像ＯＢ２は、右側方カメラ２Ｒの入力画像を用いて出力画像部分における路面画像を生成した場合に表示される立体物ＯＢの画像の一部である。

このように、画像生成装置１００は、重複部分において、後方カメラ２Ｂの入力画像平面上の座標が対応付けられる領域ＰＲ１と、右側方カメラ２Ｒの入力画像平面上の座標が対応付けられる領域ＰＲ２とを混在させる。その結果、画像生成装置１００は、１つの立体物ＯＢに関する２つの画像ＯＢ１及び画像ＯＢ２の双方を出力画像上に表示させ、立体物ＯＢが出力画像から消失するのを防止する。

図１４は、図１２の出力画像と、図１２の出力画像に画像消失防止処理（ストライプパタン処理）を適用することで得られる出力画像との違いを表す対比図であり、図１４上図が図１２の出力画像を示し、図１４下図が画像消失防止処理（ストライプパタン処理）を適用した後の出力画像を示す。図１４上図における一点鎖線で囲まれる領域Ｒ１２では人物が消失しているのに対し、図１４下図における一点鎖線で囲まれる領域Ｒ１４では人物が消失せずに表示されている。

なお、画像生成装置１００は、ストライプパタン処理の代わりに、メッシュパタン処理、平均化処理等を適用して重複部分内の物体の消失を防止してもよい。具体的には、画像生成装置１００は、平均化処理により、２つのカメラのそれぞれの入力画像における対応する画素の値（例えば、輝度値である。）の平均値を、重複部分に対応する出力画像部分の画素の値として採用する。或いは、画像生成装置１００は、メッシュパタン処理により、重複部分に対応する出力画像部分において、一方のカメラの入力画像における画素の値が対応付けられる領域と、他方のカメラの入力画像における画素の値が対応付けられる領域とを網模様（メッシュパタン）を形成するように配置させる。これにより、画像生成装置１００は、重複部分内の物体が消失するのを防止する。

次に、図１５〜図１７を参照して、画像生成手段１１が、人存否判定手段１２の判定結果に基づいて出力画像の内容を切り換える処理（以下、「第１出力画像切換処理」とする。）について説明する。なお、図１５は、ショベル６０に搭載された３台のカメラ２のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図であり、図１２に対応する。また、図１６は、第１出力画像切換処理で用いられる空間モデルＭＤと処理対象画像平面Ｒ３との間の関係の一例を示す図であり、図４に対応する。また、図１７は、第１出力画像切換処理で切り換えられる２つの出力画像の関係を説明する図である。

図１５に示すように、画像生成装置１００は、３台のカメラ２のそれぞれの入力画像を空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２上に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成する。また、画像生成装置１００は、生成した処理対象画像に画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）を施すことによって出力画像を生成する。その結果、画像生成装置１００は、ショベル６０の近傍を上空から見下ろした画像と、ショベル６０から水平方向に周囲を見た画像とを同時に表示する周辺監視用仮想視点画像を生成する。

また、図１５において、左側方カメラ２Ｌ、後方カメラ２Ｂ、及び右側方カメラ２Ｒのそれぞれの入力画像は、作業者が３人ずつ存在する状態を示す。また、出力画像は、ショベル６０の周囲に９人の作業者が存在する状態を示す。

なお、空間モデルＭＤの平面領域Ｒ１の高さは、ショベル６０の接地面である路面に相当する高さに設定されている。そのため、図１５の平面領域Ｒ１における画像では、９人の作業者のそれぞれの接地位置とショベル６０のＣＧ画像６０ＣＧとの間の距離は、９人の作業者のそれぞれとショベル６０との間の実際の距離を正確に表している。しかしながら、作業者の画像は、接地位置（足下）から遠ざかるにつれて大きくなるように表示される。特に、図１５に示すように、作業者の頭部は、ショベル６０のＣＧ画像６０ＣＧの大きさと比べても顕著に大きく表示されている。そのため、図１５の出力画像を見たショベル６０の操作者は、ショベル６０と作業者との間の距離が実際の距離よりも大きいと錯覚するおそれがある。

そこで、画像生成手段１１は、人存否判定手段１２により、左側方監視空間ＺＬ、後方監視空間ＺＢ、及び右側方監視空間ＺＲの何れかに人が存在すると判定された場合、出力画像の内容を切り換える。本実施例では、画像生成手段１１は、空間モデルＭＤの平面領域Ｒ１の高さを、路面に相当する高さから人の頭の高さに相当する高さ（以下、「頭高さ」とする。）に切り換える。なお、頭高さは、予め設定される値であり、例えば１５０ｃｍである。但し、頭高さは、動的に決定される値であってもよい。例えば、画像生成装置１００は、人検出センサ６等の出力に基づいてショベル６０の周囲に存在する作業者の高さ（身長）を検出できる場合、検出した身長に基づいて頭高さを決定してもよい。具体的には、ショベル６０に最も近い作業者の身長に応じて頭高さを決定してもよく、ショベル６０の周囲に存在する複数の作業者の身長の統計値（最大値、最小値、平均値等）に応じて頭高さを決定してもよい。

ここで、図１６及び図１７を参照して、路面に相当する高さの平面領域Ｒ１を有する図４の空間モデルＭＤと、頭高さの平面領域Ｒ１Ｍを有する頭高さ基準空間モデルＭＤＭとの関係について説明する。なお、図１６上図は、空間モデルＭＤと、平面領域Ｒ１を含む処理対象画像平面Ｒ３との関係を示し、図１６下図は、頭高さ基準空間モデルＭＤＭと、頭高さ基準平面領域Ｒ１Ｍを含む頭高さ基準処理対象画像平面Ｒ３Ｍとの関係を示す。また、図１７において、出力画面Ｄ１は、空間モデルＭＤを用いて生成される路面高さ基準の周辺監視用仮想視点画像であり、出力画像Ｄ２は、空間モデルＭＤＭを用いて生成される頭高さ基準の周辺監視用仮想視点画像である。なお、画像Ｄ３は、路面高さ基準の周辺監視用仮想視点画像と頭高さ基準の周辺監視用仮想視点画像との大きさの違いを表す説明用の画像である。また、路面高さ基準の周辺監視用仮想視点画像における画像部分Ｄ１０の大きさは、頭高さ基準の周辺監視用仮想視点画像の大きさに対応する。

図１６に示すように、頭高さ基準平面領域Ｒ１Ｍ及び頭高さ基準処理対象画像平面Ｒ３Ｍの高さは、路面の高さに相当する平面領域Ｒ１Ｍ及び処理対象画像平面Ｒ３の高さに比べ、頭高さＨＴだけ高い。

その結果、図１７に示すように、頭高さ基準の周辺監視用仮想視点画像である出力画像Ｄ２は、頭高さＨＴに存在する作業者の身体部分（頭）とショベル６０との距離が、作業者とショベル６０との間の実際の距離を表すように表示される。これにより、画像生成装置１００は、出力画像を見たショベル６０の操作者が、ショベル６０と作業者との間の距離を実際の距離よりも大きめに捉えてしまうのを防止できる。

なお、図１６に示すように、画像部分Ｄ１０に対応する空間モデルＭＤＭ上の領域Ｄ１０Ｍは、頭高さ基準平面領域Ｒ１Ｍに含まれる。すなわち、頭高さ基準の周辺監視用仮想視点画像は、頭高さ基準処理対象画像平面Ｒ３Ｍの環状部分（頭高さ基準平面領域Ｒ１Ｍ以外の部分）に再投影される入力画像部分を利用しない。そのため、本実施例では、画像生成装置１００は、領域Ｄ１０Ｍ以外の領域における座標の対応付けを省略する。

以上の構成により、画像生成装置１００は、人存否判定手段１２の判定結果に基づいて出力画像の内容を切り換える。具体的には、画像生成装置１００は、ショベル６０の周囲に人が存在すると判定した場合に、路面高さ基準の周辺監視用仮想視点画像を頭高さ基準の周辺監視用仮想視点画像に切り換える。その結果、画像生成装置１００は、ショベル６０の周囲に作業者を検出した場合に、ショベル６０と作業者との間の距離をより正確にショベル６０の操作者に伝えることができる。なお、画像生成装置１００は、その後にショベル６０の周囲に人が存在しないと判定した場合には、頭高さ基準の周辺監視用仮想視点画像を路面高さ基準の周辺監視用仮想視点画像に切り換える。ショベル６０の操作者がショベル６０の周囲をより広範囲に監視できるようにするためである。

次に、図１８を参照して、画像生成手段１１が、人存否判定手段１２の判定結果に基づいて出力画像の内容を切り換える別の処理（以下、「第２出力画像切換処理」とする。）について説明する。なお、図１８は、第２出力画像切換処理で切り換えられる３つの出力画像の関係を説明する図である。

画像生成装置１００は、２つのカメラのそれぞれの撮像空間の重複部分における物体の消失を防止するストライプパタン処理、メッシュパタン処理、平均化処理等の画像消失防止処理を実行する。具体的には、画像生成装置１００は、画像消失防止処理により、重複部分に対応する出力画像部分において、２つのカメラのそれぞれの入力画像平面上の座標が対応付けられる領域を混在させることによって重複部分における物体の消失を防止する。しかしながら、画像消失防止処理は、重複部分における物体の視認性を低下させてしまうという問題がある。

そこで、画像生成手段１１は、人存否判定手段１２の判定結果に応じて出力画像の内容を切り換える。本実施例では、画像生成手段１１は、人が存在すると判定された監視空間に対応するカメラを優先カメラとし、人が存在しないと判定された監視空間に対応するカメラを被優先カメラとする。なお、優先カメラの撮像空間と被優先カメラの撮像空間は重複部分を有する。そして、画像生成手段１１は、優先カメラと被優先カメラとを決定できない場合には、画像消失防止処理を適用した周辺監視用仮想視点画像を生成する。一方で、画像生成手段１１は、優先カメラと被優先カメラとを決定できた場合には、画像消失防止処理を適用することなく、重複部分に対応する出力画像部分に優先カメラの入力画像平面上の座標を対応付けることによって周辺監視用仮想視点画像を生成する。

具体的には、画像生成手段１１は、左側方監視空間ＺＬ、後方監視空間ＺＢ、及び右側方監視空間ＺＲの全てで人が存在すると判定された場合に、画像消失防止処理を適用した周辺監視用仮想視点画像を生成する。何れのカメラも優先カメラとはなり得ず、何れのカメラも被優先カメラとはなり得ないためである。すなわち、何れかのカメラを優先カメラとした場合には重複部分内の人を消失させてしまうおそれがあるためである。

また、画像生成手段１１は、左側方監視空間ＺＬ、後方監視空間ＺＢ、及び右側方監視空間ＺＲの全てで人が存在しないと判定された場合にも、画像消失防止処理を適用した周辺監視用仮想視点画像を生成する。何れかのカメラを優先カメラとしながら表示すべき対象が存在しないためである。但し、この場合には、画像生成手段１１は、画像消失防止処理を適用することなく、重複部分に対応する出力画像部分に何れか一方のカメラの入力画像平面上の座標を対応付けることによって周辺監視用仮想視点画像を生成してもよい。そもそも消失のおそれがある物体が存在しないためであり、また、画像消失防止処理を省略することで制御部１の処理負荷を低減できるためである。

図１８の出力画像Ｄ１１は、左側方監視空間ＺＬ、後方監視空間ＺＢ、及び右側方監視空間ＺＲの全てで人が存在すると判定された場合に生成される、画像消失防止処理が適用された周辺監視用仮想視点画像を示す。この場合、画像生成手段１１は、左側方撮像空間ＣＬと後方撮像空間ＣＢの重複部分に対応する出力画像部分Ｒ１５に、左側方カメラ２Ｌの入力画像平面上の座標が対応付けられる領域と、後方カメラ２Ｂの入力画像平面上の座標が対応付けられる領域とを混在させる。また、画像生成手段１１は、右側方撮像空間ＣＲと後方撮像空間ＣＢの重複部分に対応する出力画像部分Ｒ１６に、右側方カメラ２Ｒの入力画像平面上の座標が対応付けられる領域と、後方カメラ２Ｂの入力画像平面上の座標が対応付けられる領域とを混在させる。出力画像部分Ｒ１５、Ｒ１６での作業者の消失を防止するためである。

一方で、画像生成手段１１は、左側方監視空間ＺＬに人が存在すると判定され、且つ、後方監視空間ＺＢに人が存在しないと判定された場合には、左側方カメラ２Ｌを優先カメラとし、後方カメラ２Ｂを被優先カメラとする。すなわち、画像生成手段１１は、左側方撮像空間ＣＬと後方撮像空間ＣＢの重複部分に対応する出力画像部分Ｒ１５に左側方カメラ２Ｌの入力画像平面上の座標を対応付ける。

また、画像生成手段１１は、右側方監視空間ＺＲに人が存在すると判定され、且つ、後方監視空間ＺＢに人が存在しないと判定された場合には、右側方カメラ２Ｒを優先カメラとし、後方カメラ２Ｂを被優先カメラとする。すなわち、画像生成手段１１は、右側方撮像空間ＣＲと後方撮像空間ＣＢの重複部分に対応する出力画像部分Ｒ１６に右側方カメラ２Ｒの入力画像平面上の座標を対応付ける。

図１８の出力画像Ｄ１２は、左側方監視空間ＺＬ及び右側方監視空間ＺＲに人が存在すると判定され、且つ、後方監視空間ＺＢに人が存在しないと判定された場合に生成される側方カメラ優先の周辺監視用仮想視点画像を示す。この場合、画像生成手段１１は、左側方カメラ２Ｌ及び右側方カメラ２Ｒのそれぞれを優先カメラとし、後方カメラ２Ｂを被優先カメラとする。そして、画像生成手段１１は、左側方撮像空間ＣＬと後方撮像空間ＣＢの重複部分に対応する出力画像部分Ｒ１５に左側方カメラ２Ｌの入力画像平面上の座標を対応付け、右側方撮像空間ＣＲと後方撮像空間ＣＢの重複部分に対応する出力画像部分Ｒ１６に右側方カメラ２Ｌの入力画像平面上の座標を対応付ける。その結果、画像生成手段１１は、出力画像部分Ｒ１７Ｐに左側方カメラ２Ｌの入力画像平面上の座標を対応付け、出力画像部分Ｒ１８Ｐに右側方カメラ２Ｒの入力画像平面上の座標を対応付け、出力画像部分Ｒ１９Ｎに後方カメラ２Ｂの入力画像平面上の座標を対応付ける。

また、画像生成手段１１は、左側方監視空間ＺＬに人が存在しないと判定され、且つ、後方監視空間ＺＢに人が存在すると判定された場合には、左側方カメラ２Ｌを被優先カメラとし、後方カメラ２Ｂを優先カメラとする。すなわち、画像生成手段１１は、左側方撮像空間ＣＬと後方撮像空間ＣＢの重複部分に対応する出力画像部分Ｒ１５に後方カメラ２Ｂの入力画像平面上の座標を対応付ける。

また、画像生成手段１１は、右側方監視空間ＺＲに人が存在しないと判定され、且つ、後方監視空間ＺＢに人が存在すると判定された場合には、右側方カメラ２Ｒを被優先カメラとし、後方カメラ２Ｂを優先カメラとする。すなわち、画像生成手段１１は、右側方撮像空間ＣＲと後方撮像空間ＣＢの重複部分に対応する出力画像部分Ｒ１６に後方カメラ２Ｂの入力画像平面上の座標を対応付ける。

図１８の出力画像Ｄ１３は、左側方監視空間ＺＬ及び右側方監視空間ＺＲに人が存在しないと判定され、且つ、後方監視空間ＺＢに人が存在すると判定された場合に生成される、後方カメラ優先の周辺監視用仮想視点画像を示す。この場合、画像生成手段１１は、左側方カメラ２Ｌ及び右側方カメラ２Ｒのそれぞれを被優先カメラとし、後方カメラ２Ｂを優先カメラとする。そして、画像生成手段１１は、左側方撮像空間ＣＬと後方撮像空間ＣＢの重複部分に対応する出力画像部分Ｒ１５に後方カメラ２Ｂの入力画像平面上の座標を対応付け、右側方撮像空間ＣＲと後方撮像空間ＣＢの重複部分に対応する出力画像部分Ｒ１６にも後方カメラ２Ｂの入力画像平面上の座標を対応付ける。その結果、画像生成手段１１は、出力画像部分Ｒ１７Ｎに左側方カメラ２Ｌの入力画像平面上の座標を対応付け、出力画像部分Ｒ１８Ｎに右側方カメラ２Ｒの入力画像平面上の座標を対応付け、出力画像部分Ｒ１９Ｐに後方カメラ２Ｂの入力画像平面上の座標を対応付ける。

なお、図１８に示すように、出力画像部分Ｒ１７Ｐは、出力画像部分Ｒ１７Ｎに出力画像部分Ｒ１５を加えた部分に相当し、出力画像部分Ｒ１８Ｐは、出力画像部分Ｒ１８Ｎに出力画像部分Ｒ１６を加えた部分に相当する。また、出力画像部分Ｒ１９Ｐは、出力画像部分Ｒ１９Ｎに出力画像部分Ｒ１５及び出力画像部分Ｒ１６を加えた部分に相当する。

図１９は、人存否判定手段１２の判定結果と、出力画像の内容との対応関係を示す対応表である。なお、○印は、人存否判定手段１２により人が存在すると判定されたことを表し、×印は、人が存在しないと判定されたことを表す。

パターンＡは、左側方監視空間ＺＬのみで人が存在すると判定され、後方監視空間ＺＢ及び右側方監視空間ＺＲでは人が存在しないと判定された場合に、図１８の出力画像Ｄ１２に示すような側方カメラ優先の周辺監視用仮想視点画像が生成されることを表す。

パターンＢは、右側方監視空間ＺＲのみで人が存在すると判定され、左側方監視空間ＺＬ及び後方監視空間ＺＢでは人が存在しないと判定された場合に、図１８の出力画像Ｄ１２に示すような側方カメラ優先の周辺監視用仮想視点画像が生成されることを表す。

パターンＣは、左側方監視空間ＺＬ及び右側方監視空間ＺＲで人が存在すると判定され、後方監視空間ＺＢでは人が存在しないと判定された場合に、図１８の出力画像Ｄ１２に示すような側方カメラ優先の周辺監視用仮想視点画像が生成されることを表す。

パターンＤは、左側方監視空間ＺＬ及び後方監視空間ＺＢで人が存在すると判定され、右側方監視空間ＺＲでは人が存在しないと判定された場合に、図１８の出力画像Ｄ１３に示すような後方カメラ優先の周辺監視用仮想視点画像が生成されることを表す。

パターンＥ〜Ｇは、左側方監視空間ＺＬ及び右側方監視空間ＺＲの少なくとも一方と後方監視空間ＺＢとで人が存在すると判定された場合に、図１８の出力画像Ｄ１１に示すような画像消失防止処理を適用した周辺監視用仮想視点画像が生成されることを表す。

パターンＨは、左側方監視空間ＺＬ、後方監視空間ＺＢ、及び右側方監視空間ＺＲの全てで人が存在しないと判定された場合に、図１８の出力画像Ｄ１１に示すような画像消失防止処理を適用した周辺監視用仮想視点画像が生成されることを表す。

以上の構成により、画像生成装置１００は、人存否判定手段１２の判定結果に基づいて出力画像の内容を切り換える。具体的には、画像生成装置１００は、優先カメラと被優先カメラを決定できない場合には、画像消失防止処理を適用した周辺監視用仮想視点画像を生成する。一方で、画像生成手段１１は、優先カメラと被優先カメラとを決定できる場合には、画像消失防止処理を適用することなく、重複部分に対応する出力画像部分に優先カメラの入力画像平面上の座標を対応付けることによって周辺監視用仮想視点画像を生成する。その結果、画像生成装置１００は、２つのカメラのそれぞれの撮像空間の重複部分に存在する作業者をより鮮明に表示することができる。

また、上述の実施例では、画像生成装置１００は、左側方カメラ２Ｌ及び右側方カメラ２Ｒを優先カメラとし、後方カメラ２Ｂを被優先カメラとする側方カメラ優先の周辺監視用仮想視点画像を生成する。或いは、画像生成装置１００は、左側方カメラ２Ｌ及び右側方カメラ２Ｒを被優先カメラとし、後方カメラ２Ｂを優先カメラとする後方カメラ優先の周辺監視用仮想視点画像を生成する。しかしながら、本発明は、この構成に限定されるものではない。例えば、画像生成装置１００は、出力画像部分Ｒ１５に左側方カメラ２Ｌ及び後方カメラ２Ｂの何れか一方の入力画像平面上の座標を対応付けながらも、出力画像部分Ｒ１６に画像消失防止処理を適用してもよい。また、画像生成装置１００は、出力画像部分Ｒ１６に右側方カメラ２Ｒ及び後方カメラ２Ｂの何れか一方の入力画像平面上の座標を対応付けながらも、出力画像部分Ｒ１５に画像消失防止処理を適用してもよい。

また、画像生成装置１００は、第１出力画像切換処理と第２出力画像切換処理とを組み合わせてもよい。

また、上述の実施例では、画像生成装置１００は、１つのカメラの撮像空間に１つの人検出センサの監視空間を対応させるが、複数のカメラの撮像空間に１つの人検出センサの監視空間を対応させてもよく、１つのカメラの撮像空間に複数の人検出センサの監視空間を対応させてもよい。

また、上述の実施例では、画像生成装置１００は、人存否判定手段１２の判定結果が変わった瞬間に出力画像の内容を切り換える。しかしながら、本発明はこの構成に限定されるものではない。例えば、画像生成装置１００は、人存否判定手段１２の判定結果が変わってから出力画像の内容を切り換えるまでに所定の遅延時間を設定してもよい。出力画像の内容が頻繁に切り換えられるのを抑制するためである。

次に、図２０及び図２１を参照しながら、警報制御手段１３が人存否判定手段１２の判定結果に基づいて警報出力部７を制御する処理（以下、「第１警報制御処理」とする。）について説明する。なお、図２０は、第１警報制御処理の流れを示すフローチャートであり、図２１は、第１警報制御処理中に表示される出力画像の推移の一例を示す。なお、警報制御手段１３は、所定周期で繰り返しこの第１警報制御処理を実行する。

最初に、人存否判定手段１２は、ショベル６０の周囲に人が存在するか否かを判定する（ステップＳ１１）。このとき、画像生成手段１１は、例えば、図２１の出力画像Ｄ２１に示すような路面高さ基準の周辺監視用仮想視点画像を生成して表示する。

ショベル６０の周囲に人が存在すると判定した場合（ステップＳ１１のＹＥＳ）、人存否判定手段１２は、検出信号を警報制御手段１３に対して出力する。検出信号を受けた警報制御手段１３は、警報を開始させるための警報開始信号を警報出力部７に対して出力し、警報出力部７から警報を出力させる（ステップＳ１２）。

本実施例では、警報出力部７は、警報音を出力する。そして、画像生成手段１１は、例えば、図２１の出力画像Ｄ２２に示すように、路面高さ基準の周辺監視用仮想視点画像を頭高さ基準の周辺監視用仮想視点画像に切り換えて表示する。具体的には、人存否判定手段１２は、後方監視空間ＺＢに作業者Ｐ１が存在すると判定した場合に警報制御手段１３に対して検出信号を通知する。そして、警報制御手段１３は、左側方警報出力部７Ｌ、後方警報出力部７Ｂ、及び右側方警報出力部７Ｒに対して警報開始信号を出力し、３つ全ての警報出力部から警報音を出力させる。また、画像生成手段１１は、頭高さ基準の周辺監視用仮想視点画像上に警報停止ボタンＧ１を重畳表示する。警報停止ボタンＧ１は、入力部３としてのタッチパネルとの協働によって構成されるソフトウェアボタンである。操作者は、警報停止ボタンＧ１を押下することによって警報音を停止させることができる。なお、警報停止ボタンＧ１は、表示部５の近傍に設置されるハードウェアボタンであってもよい。この場合、画像生成手段１１は、警報停止ボタンＧ１としてのハードウェアボタンを押下することによって警報を停止させることができる旨を表すテキストメッセージを周辺監視用仮想視点画像に重畳表示してもよい。また、画像生成手段１１は、ショベル６０の周囲に人が存在すると判定された場合であっても、図２１の出力画像Ｄ２３に示すように、路面高さ基準の周辺監視用仮想視点画像をそのまま用いながら警報停止ボタンＧ１を重畳表示してもよい。

一方、ショベル６０の周囲に人が存在しないと判定した場合（ステップＳ１１のＮＯ）、人存否判定手段１２は、警報制御手段１３に対して検出信号を出力しない。そのため、警報制御手段１３は、警報出力部７に対して警報開始信号を出力しない。また、警報制御手段１３は、既に警報を出力させている場合であっても、警報を停止させるための警報停止信号を警報出力部７に対して出力することはない。

その後、警報制御手段１３は、警報停止ボタンＧ１が押下されたか否かを判定する（ステップＳ１３）。そして、警報停止ボタンＧ１が押下されたと判定した場合（ステップＳ１３のＹＥＳ）、警報制御手段１３は、警報停止信号を警報出力部７に対して出力し、警報出力部７からの警報の出力を停止させる（ステップＳ１４）。また、画像生成手段１１は、頭高さ基準の周辺監視用仮想視点画像を表示している場合には、頭高さ基準の周辺監視用仮想視点画像を路面高さ基準の周辺監視用仮想視点画像に切り換えて表示する。

一方、警報停止ボタンＧ１が押下されていないと判定した場合（ステップＳ１３のＮＯ）、警報制御手段１３は、警報停止信号を警報出力部７に対して出力しない。すなわち、警報制御手段１３が出力させた警報は、その後に人存否判定手段１２がショベル６０の周囲に人が存在しないと判定した場合であっても、警報停止ボタンＧ１が押下されるまで停止しない。また、画像生成手段１１は、頭高さ基準の周辺監視用仮想視点画像を表示している場合には、頭高さ基準の周辺監視用仮想視点画像の表示を継続させる。

なお、警報制御手段１３は、警報停止ボタンＧ１が押下される前であっても、人存否判定手段１２がショベル６０の周囲に人が存在しないと判定した場合には、警報の内容を変更してもよい。具体的には、警報制御手段１３は、既に出力している警報音の強弱、高低、出力間隔等を変更してもよく、或いは、既に発光させている警報ランプの強弱、発光色、発光間隔等を変更してもよい。警報を受ける操作者が、人存否判定手段１２により人が存在すると判定されている場合と、人が存在しないと判定されている場合とを区別できるようにするためである。

以上の構成により、画像生成装置１００は、監視空間内に人が存在すると判定した場合に警報を出力し、操作者が警報を停止させる意思を示すまでは、その警報を停止させない。すなわち、画像生成装置１００は、監視空間内に存在していた人がその監視空間内から退出した場合、或いは、監視空間内に存在する人を検出し損ねた場合であっても警報を停止させることはない。そのため、画像生成装置１００は、ショベル６０の周囲の監視空間に存在していた作業者が監視空間外に退出したことの確認を操作者に促すことができる。

また、画像生成装置１００は、人存否判定手段１２が動体検出センサに基づいて作業者（動体）の存否を判定する構成において、監視空間内で作業者が静止したことに応じて警報を停止させてしまうのを防止できる。また、画像生成装置１００は、人存否判定手段１２がオプティカルフローを用いて作業者（動体）の存否を判定する構成において、監視空間内で作業者が静止したことに応じて警報を停止させてしまうのを防止できる。なお、動体検出センサ及びオプティカルフローは、静止物を検出対象とせず、作業者が監視空間内で静止したことと作業者が監視空間から退出したこととを区別しない。そのため、人が存在しないと判定した時点で警報を停止させる構成では、監視空間内に作業者が存在するにもかかわらず警報を停止させてしまうおそれがある。これに対し、画像生成装置１００は、監視空間内に作業者が存在するおそれがある場合には警報を停止させないようにすることによってショベル６０の操作者の注意を喚起することができる。

次に、図２２〜図２５を参照して、警報制御手段１３が人存否判定手段１２の判定結果と、作業機械状態判定手段１４の判定結果とに基づいて警報出力部７を制御する処理（以下、「第２警報制御処理」とする。）について説明する。なお、図２２は、第２警報制御処理の流れを示すフローチャートであり、図２３は、第２警報制御処理中に表示される出力画像の推移の一例を示す。また、図２４は、作業機械状態判定手段１４が作業機械の状態を判定する処理（以下、「作業機械状態判定処理」とする。）の流れを示すフローチャートであり、図２５は、作業不能状態から作業可能状態への切り替わり時に警報制御手段１３が警報出力部７を制御する処理（以下、「作業開始時警報制御処理」とする。）の流れを示すフローチャートである。なお、警報制御手段１３は、所定周期で繰り返し第２警報制御処理を実行し、作業機械状態判定手段１４は、所定周期で繰り返し作業機械状態判定処理を実行する。また、警報制御手段１３は、作業不能状態から作業可能状態への切り替わり時に作業開始時警報制御処理を実行する。

最初に、人存否判定手段１２は、ショベル６０の周囲に人が存在するか否かを判定する（ステップＳ２１）。このとき、画像生成手段１１は、表示部５が起動している場合には、例えば、図２３の出力画像Ｄ３１に示すような路面高さ基準の周辺監視用仮想視点画像を生成して表示する。

ショベル６０の周囲に人が存在すると判定した場合（ステップＳ２１のＹＥＳ）、人存否判定手段１２は、作業機械状態判定手段１４による判定の結果（後述の図２４参照。）を参照する（ステップＳ２２）。この場合、人存否判定手段１２は、ゲートロックレバー８をロック状態に固定してもよい。具体的には、人存否判定手段１２は、操作者がゲートロックレバー８を引き上げることができないようにしてもよく、ゲートロックレバー８が引き上げられたとしてもロック解除状態とならないようにしてもよい。

作業機械状態判定手段１４によりショベル６０が作業可能状態にあると判定された場合（ステップＳ２２のＹＥＳ）、人存否判定手段１２は、検出信号を警報制御手段１３に対して出力する。検出信号を受けた警報制御手段１３は、警報を出力させるための警報開始信号を警報出力部７に対して出力し、警報出力部７から警報を出力させる（ステップＳ２３）。

本実施例では、警報出力部７は、警報音を出力する。具体的には、人存否判定手段１２は、左側方監視空間ＺＬに人（ここでは作業者Ｐ１０〜Ｐ１２である。）が存在すると判定した場合に警報制御手段１３に対して左側方検出信号を通知する。そして、警報制御手段１３は、左側方警報出力部７Ｌ、後方警報出力部７Ｂ、及び右側方警報出力部７Ｒに対して警報開始信号を出力し、３つ全ての警報出力部から警報音を出力させる。この場合、制御部１は、表示部５が起動していない場合には表示部５を起動させる。そして、画像生成手段１１は、図２１の出力画像Ｄ２２に示すように、路面高さ基準の周辺監視用仮想視点画像を頭高さ基準の周辺監視用仮想視点画像に切り換えて警報停止ボタンＧ１を重畳表示する。また、画像生成手段１１は、図２１の出力画像Ｄ２３に示すように、路面高さ基準の周辺監視用仮想視点画像上に警報停止ボタンＧ１を重畳表示してもよい。この場合、警報制御手段１３は、警報停止ボタンＧ１が押下されるまで、ショベル６０による作業を禁止してもよい。具体的には、警報制御手段１３は、ゲートロック弁を閉状態にし、コントロールバルブと操作レバー等との間の作動油の流れを遮断して操作レバー等を無効にしてもよい。

また、作業機械状態判定手段１４によりショベル６０が作業可能状態にないと判定された場合（ステップＳ２２のＮＯ）、人存否判定手段１２は、検出信号を警報制御手段１３に対して出力せず、ＮＶＲＡＭ等に用意された人検出フラグの値を「１」（オン）に設定する（ステップＳ２４）。なお、人検出フラグは、初期値として値「０」（オフ）が設定されており、検出フラグの値「１」（オン）は人を検出したことを表し、検出フラグの値「０」（オフ）は人を検出していないことを表す。この時点では、警報制御手段１３は、検出信号を受けないため、警報開始信号を警報出力部７に対して出力することはなく、警報出力部７から警報を出力させることもない。また、警報制御手段１３は、既に警報出力部７に対して警報開始信号を出力していた場合にはそれら警報出力部７に対して警報停止信号を出力してもよい。また、画像生成手段１１は、表示部５が起動している場合には、ショベル６０の周囲に人が存在すると判定されているにもかかわらず、人が存在しないと判定された場合と同様の出力画像を表示する。具体的には、画像生成手段１１は、例えば図２３の出力画像Ｄ３２に示すような路面高さ基準の周辺監視用仮想視点画像を表示する。但し、画像生成手段１１は、路面高さ基準の周辺監視用仮想視点画像を頭高さ基準の周辺監視用仮想視点画像に切り換えてもよい。

一方、ショベル６０の周囲に人が存在しないと判定した場合（ステップＳ２１のＮＯ）、人存否判定手段１２は、作業機械状態判定手段１４による判定の結果を参照することはなく、警報制御手段１３に対して検出信号を出力することもない。

この場合、画像生成手段１１は、既に警報が出力されている場合には、ショベル６０の周囲に人が存在いないと判定されているにもかかわらず、人が存在すると判定された場合と同様の出力画像を表示する。具体的には、画像生成手段１１は、例えば図２３の出力画像Ｄ３３に示すような頭高さ基準の周辺監視用仮想視点画像を警報停止ボタンＧ１と共に表示する。但し、画像生成手段１１は、頭高さ基準の周辺監視用仮想視点画像を、図２３の出力画像Ｄ３４に示すような路面高さ基準の周辺監視用仮想視点画像に切り換えてもよい。

その後、警報制御手段１３は、既に警報が出力されている場合には、警報停止ボタンＧ１が押下されたか否かを監視する（ステップＳ２５）。そして、警報停止ボタンＧ１が押下されたと判定した場合（ステップＳ２５のＹＥＳ）、警報制御手段１３は、警報停止信号を警報出力部７に対して出力し、警報出力部７からの警報の出力を停止させる（ステップＳ２６）。また、画像生成手段１１は、頭高さ基準の周辺監視用仮想視点画像（出力画像Ｄ３３参照。）を表示している場合には、頭高さ基準の周辺監視用仮想視点画像を路面高さ基準の周辺監視用仮想視点画像（出力画像Ｄ３１参照。）に切り換えて表示する。

一方、警報停止ボタンＧ１が押下されていないと判定した場合（ステップＳ２５のＮＯ）、警報制御手段１３は、警報停止信号を警報出力部７に対して出力しない。すなわち、警報制御手段１３が出力させた警報は、その後に人存否判定手段１２がショベル６０の周囲に人が存在しないと判定した場合であっても、警報停止ボタンＧ１が押下されるまで停止しない。また、画像生成手段１１は、頭高さ基準の周辺監視用仮想視点画像（出力画像Ｄ３３参照。）を表示している場合には、その頭高さ基準の周辺監視用仮想視点画像の表示を継続させる。

なお、警報制御手段１３は、警報停止ボタンＧ１が押下される前であっても、人存否判定手段１２がショベル６０の周囲に人が存在しないと判定した場合には、警報の内容を変更してもよい。具体的には、警報制御手段１３は、既に出力している警報音の強弱、高低、出力間隔等を変更してもよく、或いは、既に発光させている警報ランプの強弱、発光色、発光間隔等を変更してもよい。警報を受ける操作者が、人存否判定手段１２により人が存在すると判定されている場合と、人が存在しないと判定されている場合とを区別できるようにするためである。

次に、図２４を参照して、作業機械状態判定手段１４による作業機械状態判定処理について説明する。

最初に、作業機械状態判定手段１４は、イグニッションスイッチ９の出力に基づいて、イグニッションスイッチ９がオン状態にあるか否かを判定する（ステップＳ３１）。

イグニッションスイッチ９がオン状態にあると判定した場合（ステップＳ３１のＹＥＳ）、作業機械状態判定手段１４は、ゲートロックレバー８の出力に基づいてゲートロックレバー８がロック解除状態にあるか否かを判定する（ステップＳ３２）。

ゲートロックレバー８がロック解除状態にあると判定した場合（ステップＳ３２のＹＥＳ）、作業機械状態判定手段１４は、ショベル６０が作業可能状態にあると判定する（ステップＳ３３）。

一方、イグニッションスイッチ９がオン状態にないと判定した場合（ステップＳ３１のＮＯ）、或いは、ゲートロックレバー８がロック解除状態にないと判定した場合（ステップＳ３２のＮＯ）、作業機械状態判定手段１４は、ショベル６０が作業可能状態にない、すなわち、ショベル６０が作業不可状態にあると判定する（ステップＳ３４）。

その後、作業機械状態判定手段１４は、ＮＶＲＡＭ等に用意された作業可能フラグの値を判定結果に応じて設定する。人存否判定手段１２は、図２２に示す第２警報制御処理のステップＳ２２においてこの作業可能フラグの値を参照し、参照した値に基づいて警報出力の有無を判断する。なお、作業可能フラグは、初期値として値「０」（オフ）が設定されており、作業可能フラグの値「１」（オン）は作業可能であることを表し、作業可能フラグの値「０」（オフ）は作業不可であることを表す。

なお、作業機械状態判定手段１４は、ゲートロックレバー８及びイグニッションスイッチ９の何れか一方の状態のみに基づいてショベル６０が作業可能状態にあるか否かを判定してもよい。

次に、図２５を参照して、警報制御手段１３による作業開始時警報制御処理について説明する。

最初に、警報制御手段１３は、人検出フラグの値を参照する（ステップＳ４１）。そして、人検出フラグの値が「１」オンであると判定した場合（ステップＳ４１のＹＥＳ）、警報制御手段１３は、警報開始信号を警報出力部７に対して出力し、警報出力部７から警報を出力させる（ステップＳ４２）。具体的には、警報制御手段１３は、人存否判定手段１２により、現時点においてショベル６０の周囲に人が存在しないと判定された場合であっても警報を出力させる。本実施例では、警報制御手段１３は、左側方警報出力部７Ｌ、後方警報出力部７Ｂ、及び右側方警報出力部７Ｒに対して警報開始信号を出力し、３つ全ての警報出力部から警報音を出力させる。この場合、警報制御手段１３は、警報の出力が停止されるまで、ショベル６０による作業を禁止してもよい。具体的には、警報制御手段１３は、ゲートロック弁を閉状態にし、コントロールバルブと操作レバー等との間の作動油の流れを遮断して操作レバー等を無効にしてもよい。

その後、警報制御手段１３は、警報開始後の経過時間を計測し、警報開始後に所定時間（例えば２秒間である。）が経過したか否かを判定する（ステップＳ４３）。

警報開始後に所定時間が経過していないと判定した場合（ステップＳ４３のＮＯ）、警報制御手段１３は、所定時間が経過するまで待機する。

一方、警報開始後に所定時間が経過したと判定した場合（ステップＳ４３のＹＥＳ）、警報制御手段１３は、警報停止信号を警報出力部７に対して出力し、警報出力部７からの警報の出力を停止させる（ステップＳ４４）。また、警報制御手段１３は、人検出フラグの値を「０」（オフ）にリセットする（ステップS４５）。なお、警報制御手段１３は、警報停止ボタンＧ１が押下されるまで警報を停止させないようにしてもよい。

以上の構成により、画像生成装置１００は、監視空間内に人が存在すると判定した場合であってもショベル６０が作業不可状態の場合には警報を出力しない。そのため、画像生成装置１００は、ショベル６０が作業不可状態にある場合に不要な警報が出力されてしまうのを防止できる。

一方で、画像生成装置１００は、現時点において監視空間内に人が存在しないと判定した場合であっても、ショベル６０が作業不可状態にある間に作業者が監視範囲内に進入していた場合には警報を出力する。そのため、画像生成装置１００は、ショベル６０の周囲の監視空間に存在していた作業者が監視空間外に退出したことの確認を操作者に促すことができる。

また、上述の作業開始時警報制御処理では、警報制御手段１３は、人検出フラグの値が「１」（オン）でありさえすれば警報を出力させる。しかしながら、本発明はこの構成に限定されるものではない。例えば、警報制御手段１３は、人検知フラグの値が「１」（オン）に設定された時点からの経過時間が所定時間以上であれば警報を出力させないようにしてもよい。或いは、人存否判定手段１２は、人検知フラグの値を「１」（オン）に設定した時点からの経過時間が所定時間に達した場合に人検知フラグの値を「０」（オフ）にリセットしてもよい。あまりにも古い検出記録に基づいて警報を出力させてしまうのを防止するためである。

また、画像生成装置１００は、人存否判定手段１２が動体検出センサに基づいて作業者（動体）の存否を判定する場合、ショベル６０が作業不可状態にあるときに監視空間内に進入して静止している作業者を、ショベル６０が作業可能状態になったときに検出し損ね、ショベル６０の操作者がその作業者に気付かないままショベル６０による作業を開始してしまうのを防止できる。

また、画像生成装置１００は、人存否判定手段１２がオプティカルフローを用いて作業者（動体）の存否を判定する場合に、ショベル６０が作業不可状態にあるときに監視空間内に進入して静止している作業者を、ショベル６０が作業可能状態になったときに検出し損ね、ショベル６０の操作者がその作業者に気付かないままショベル６０による作業を開始してしまうのを防止できる。

なお、動体検出センサ及びオプティカルフローは、静止物を検出対象とせず、作業者が監視空間内で静止したことと作業者が監視空間から退出したこととを区別しない。そのため、現時点において監視空間内に人が存在しないと判定した場合には如何なる場合も警報を出力させない構成では、ショベル６０が作業可能状態となる前に監視空間内に進入して静止している作業者が存在するにもかかわらずショベル６０の作業を許容してしまうおそれがある。これに対し、画像生成装置１００は、監視空間内に作業者が存在するおそれがある場合には警報を出力することによってショベル６０の操作者の注意を喚起することができる。

また、上述の第２警報制御処理において、画像生成装置１００は、ショベル６０が作業不可状態にある場合にも表示部５に出力画像を表示させるが、表示部５に出力画像を表示させないようにしてもよい。ショベル６０が作業不可状態にある場合には、ショベル６０と作業者が接触するおそれがなく、操作者は、出力画像を通じてショベル６０の周囲を監視する必要もないためである。

次に、図２６を参照して、報知部制御手段１５が人存否判定手段１２の判定結果に基づいて報知部２０を制御する処理（以下、「第１報知部制御処理」とする。）について説明する。なお、図２６は、図１１に示すショベル６０に搭載される画像生成装置１００で実行される第１報知部制御処理の流れを示すフローチャートであり、報知部制御手段１５は、所定周期で繰り返しこの第１報知部制御処理を実行する。

最初に、報知部制御手段１５は、作業機械状態判定手段１４の判定結果を参照して、ショベル６０が作業可能状態にあるか否かを判定する（ステップＳ５１）。

ショベル６０が作業可能状態にあると判定した場合（ステップＳ５１のＹＥＳ）、報知部制御手段１５は、報知部２０に対して作業可能状態信号を出力し、ショベル６０が作業可能状態にあることを報知させる（ステップＳ５２）。本実施例では、報知部制御手段１５は、報知部２０としての３つのインジケータランプを赤色で発光させ、ショベル６０が作業可能状態にあることを周囲の人に知らせるようにする。また、報知部制御手段１５は、インジケータランプを点灯させてもよく点滅させてもよい。なお、以下では、報知部２０のこの状態を「作業可能報知状態」とする。

一方、ショベル６０が作業可能状態にないと判定した場合（ステップＳ５１のＮＯ）、報知部制御手段１５は、報知部２０に対して作業不可状態信号を出力し、ショベル６０が作業不可状態にあることを報知させる（ステップＳ５３）。本実施例では、報知部制御手段１５は、報知部２０としての３つのインジケータランプを緑色で発光させ、ショベル６０が作業可能状態にないこと、すなわち、ショベル６０が作業不可状態にあることを周囲の人に知らせるようにする。また、報知部制御手段１５は、インジケータランプを点灯させてもよく点滅させてもよい。なお、以下では、報知部２０のこの状態を「作業不可報知状態」とする。

次に、図２７を参照して、作業許否決定手段１６が人存否判定手段１２の判定結果に基づいてショベル６０による作業の許否を決定する処理（以下、「作業許否決定処理」とする。）について説明する。なお、図２７は、図１１に示すショベル６０に搭載される画像生成装置１００で実行される作業許否決定処理の流れを示すフローチャートであり、作業許否決定手段１６は、所定周期で繰り返しこの作業許否決定処理を実行する。

最初に、作業許否決定手段１６は、作業機械状態判定手段１４の判定結果を参照して、ショベル６０が作業可能状態にあるか否かを判定する（ステップＳ６１）。

ショベル６０が作業可能状態にあると判定した場合（ステップＳ６１のＹＥＳ）、作業許否決定手段１６は、人存否判定手段１２の判定結果を参照して、ショベル６０の周囲に人が存在するか否かを判定する（ステップＳ６２）。

ショベル６０の周囲に人が存在すると判定した場合（ステップＳ６２のＹＥＳ）、作業許否決定手段１６は、ショベル６０による作業を禁止する（ステップＳ６３）。具体的には、作業許否決定手段１６は、例えば、ゲートロック弁に対して作業禁止信号を出力し、コントロールバルブと操作レバー等との間の作動油の流れを遮断して操作レバー等を無効にすることによって、ショベル６０による作業を禁止する。この場合、作業許否決定手段１６は、ゲートロックレバー８がロック解除状態であっても、ショベル６０による作業を禁止する。但し、作業許否決定手段１６は、警報制御手段１３が出力させた警報が停止された場合等、所定の条件が満たされた場合に、ショベル６０による作業の禁止を解除してもよい。

一方、ショベル６０の周囲に人が存在しないと判定した場合（ステップＳ６２のＮＯ）、作業許否決定手段１６は、ショベル６０による作業を許可する（ステップＳ６４）。具体的には、作業許否決定手段１６は、例えば、ゲートロック弁に対して作業許可信号を出力し、コントロールバルブと操作レバー等との間で作動油を連通させて操作レバー等を有効にすることによって、ショベル６０による作業を許可する。

なお、ショベル６０が作業可能状態にないと判定した場合（ステップＳ６１のＮＯ）、作業許否決定手段１６は、ショベル６０による作業の許否を決定することなく、今回の作業許否決定処理を終了する。ショベル６０による作業が既に禁止されているためである。

以上の構成により、画像生成装置１００は、ショベル６０が作業可能状態にあるか否かをショベル６０の周囲の人に知らせることができる。また、画像生成装置１００は、ショベル６０の周囲に人が存在する場合には、ショベル６０が作業可能状態であっても、ショベル６０による作業を禁止することができる。また、作業可能報知状態にある報知部２０を見た人は、仮にショベル６０に接近したとしても、ショベル６０の周囲に人が存在する場合にはショベル６０による作業が禁止されるため、ショベル６０が不意に動き出すことがないのを認識できる。そのため、作業可能報知状態にある報知部２０を見た人は、安心してショベル６０に接近することができる。また、作業不可報知状態にある報知部２０を見た人は、ショベル６０の周囲に人が存在するか否かにかかわらずショベル６０による作業が禁止されているため、ショベル６０が不意に動き出すことがないのを認識できる。そのため、作業不可報知状態にある報知部２０を見た人は、安心してショベル６０に接近することができる。このようにして、画像生成装置１００は、ショベル６０の周囲に存在する人にショベル６０の状態をより適切に知らせることができる。

次に、図２８を参照して、報知部制御手段１５が人存否判定手段１２の判定結果と、作業機械状態判定手段１４の判定結果とに基づいて報知部２０を制御する処理（以下、「第２報知部制御処理」とする。）について説明する。なお、図２８は、図１１に示すショベル６０に搭載される画像生成装置１００で実行される第２報知部制御処理の流れを示すフローチャートであり、報知部制御手段１５は、所定周期で繰り返しこの第２報知部制御処理を実行する。また、作業許否決定手段１６は、報知部制御手段１５による第２報知部制御処理と並行して、所定周期で繰り返し作業許否決定処理を実行する。

最初に、報知部制御手段１５は、作業機械状態判定手段１４の判定結果を参照して、ショベル６０が作業可能状態にあるか否かを判定する（ステップＳ７１）。

ショベル６０が作業可能状態にあると判定した場合（ステップＳ７１のＹＥＳ）、報知部制御手段１５は、人存否判定手段１２の判定結果を参照して、ショベル６０の周囲に人が存在するか否かを判定する（ステップＳ７２）。

ショベル６０の周囲に人が存在すると判定した場合（ステップＳ７２のＹＥＳ）、報知部制御手段１５は、報知部２０に対して作業可能・人検出状態信号を出力し、ショベル６０が作業可能状態にあり、且つ、人検出センサ６によって人が検出された状態（以下、「人検出状態」とする。）であることを報知させる（ステップＳ７３）。本実施例では、報知部制御手段１５は、報知部２０としての３つのインジケータランプを赤色で発光させ、ショベル６０が作業可能状態にあり且つ人検出状態にあることを周囲の人に知らせるようにする。また、報知部制御手段１５は、インジケータランプを点灯させてもよく点滅させてもよい。なお、以下では、報知部２０のこの状態を「作業可能・人検出報知状態」とする。また、この場合、ショベル６０による作業は、作業許否決定手段１６により禁止される。但し、作業許否決定手段１６は、警報制御手段１３が出力させた警報が停止された場合等、所定の条件が満たされた場合に、ショベル６０による作業の禁止を解除してもよい。

一方、ショベル６０の周囲に人が存在しないと判定した場合（ステップＳ７２のＮＯ）、報知部制御手段１５は、報知部２０に対して作業可能・人非検出状態信号を出力し、ショベル６０が作業可能状態にあり、且つ、人検出センサ６によって人が検出されていない状態（以下、「人非検出状態」とする。）であることを報知させる（ステップＳ７４）。本実施例では、報知部制御手段１５は、報知部２０としての３つのインジケータランプを黄色で発光させ、ショベル６０が作業可能状態にあり且つ人非検出状態にあることを周囲の人に知らせるようにする。また、報知部制御手段１５は、インジケータランプを点灯させてもよく点滅させてもよい。なお、以下では、報知部２０のこの状態を「作業可能・人非検出報知状態」とする。また、この場合、ショベル６０による作業は、作業許否決定手段１６により許可される。

なお、ショベル６０が作業可能状態にないと判定した場合（ステップＳ７１のＮＯ）、報知部制御手段１５は、報知部２０に対して作業不可状態信号を出力して制御部２０を作業不可報知状態とし、ショベル６０が作業不可状態であることを報知させる（ステップＳ７５）。本実施例では、報知部制御手段１５は、報知部２０としての３つのインジケータランプを緑色で発光させ、ショベル６０が作業不可状態にあることを周囲の人に知らせるようにする。また、報知部制御手段１５は、インジケータランプを点灯させてもよく点滅させてもよい。

また、報知部制御手段１５は、ショベル６０が作業可能状態にないと判定した場合であっても、人存否判定手段１２の判定結果を参照して、ショベル６０の周囲に人が存在するか否かを判定してもよい。

この場合、報知部制御手段１５は、ショベル６０の周囲に人が存在すると判定したときに報知部２０に対して作業不可・人検出状態信号を出力し、ショベル６０が作業不可状態であり且つ人検出状態であることを報知させてもよい。具体的には、報知部制御手段１５は、例えば、報知部２０としての３つのインジケータランプを橙色で発光させ、ショベル６０が作業不可状態であり且つ人検出状態にあることを周囲の人に知らせるようにしてもよい。また、報知部制御手段１５は、インジケータランプを点灯させてもよく点滅させてもよい。なお、以下では、報知部２０のこの状態を「作業不可・人検出報知状態」とする。

また、報知部制御手段１５は、ショベル６０の周囲に人が存在しないと判定したときに報知部２０に対して作業不可・人非検出状態信号を出力し、ショベル６０が作業不可状態であり且つ人非検出状態であることを報知させてもよい。具体的には、報知部制御手段１５は、例えば、報知部２０としての３つのインジケータランプを青色で発光させ、ショベル６０が作業不可状態であり且つ人非検出状態にあることを周囲の人に知らせるようにしてもよい。また、報知部制御手段１５は、インジケータランプを点灯させてもよく点滅させてもよい。なお、以下では、報知部２０のこの状態を「作業不可・人非検出報知状態」とする。

このように、報知部制御手段１５は、個々の報知部２０（インジケータランプ）で３つの報知状態（作業不可報知状態、作業可能・人検出報知状態、及び作業可能・人非検出報知状態）を区別できるように個々の報知部２０を制御する。また、報知部制御手段１５は、個々の報知部２０（インジケータランプ）で４つの報知状態（作業不可・人検出報知状態、作業不可・人非検出報知状態、作業可能・人検出報知状態、及び作業可能・人非検出報知状態）を区別できるように個々の報知部２０を制御してもよい。

或いは、画像生成装置１００は、３つの報知部２０とは別に、人存否判定手段１２の判定結果をショベル６０の周囲の人に知らせるための３つの追加的な報知部（図示せず。）を備えるようにしてもよい。この場合、報知部制御手段１５は、作業不可報知状態と作業可能報知状態とを区別できるように報知部２０のそれぞれの報知状態を制御し、人検出状態と人非検出状態とを区別できるように追加的な報知部のそれぞれの報知状態を制御する。

以上の構成により、画像生成装置１００は、ショベル６０が作業可能状態にあるか否かをショベル６０の周囲の人に知らせることができると同時に、ショベル６０が人検出状態にあるか否かをショベル６０の周囲の人に知らせることができる。その結果、報知部２０を見た人は、ショベル６０が作業可能状態にあるか否かとは別に、自身がショベル６０によって検出されているか否かを知ることができる。また、画像生成装置１００は、ショベル６０の周囲に人が存在する場合には、ショベル６０が作業可能状態であっても、ショベル６０による作業を禁止することができる。また、作業可能・人検出報知状態又は作業可能・人非検出報知状態にある報知部２０を見た人は、仮にショベル６０に接近したとしても、ショベル６０の周囲に人が存在する場合にはショベル６０による作業が禁止されるため、ショベル６０が不意に動き出すことがないのを認識できる。そのため、作業可能・人検出報知状態又は作業可能・人非検出報知状態にある報知部２０を見た人は、安心してショベル６０に接近することができる。また、作業不可・人検出報知状態又は作業不可・人非検出報知状態にある報知部２０を見た人は、ショベル６０の周囲に人が存在するか否かにかかわらずショベル６０による作業が禁止されているため、ショベル６０が不意に動き出すことがないのを認識できる。そのため、作業不可・人検出報知状態又は作業不可・人非検出報知状態にある報知部２０を見た人は、安心してショベル６０に接近することができる。このようにして、画像生成装置１００は、ショベル６０の周囲に存在する人にショベル６０の状態をより適切に知らせることができる。

また、上述の実施例では、報知部２０は、発光色を変えることによって複数の報知状態を区別可能に報知するが、表示する文字情報等を変えることによって複数の報知状態を区別可能に報知してもよい。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述の実施例において、画像生成装置１００は、空間モデルとして円筒状の空間モデルＭＤを採用するが、多角柱等の他の柱状の形状を有する空間モデルを採用してもよく、底面及び側面の二面から構成される空間モデルを採用してもよく、或いは、側面のみを有する空間モデルを採用してもよい。

また、画像生成装置１００は、バケット、アーム、ブーム、旋回機構等の可動部材を備えながら自走するショベルに、カメラ及び人検出センサと共に搭載される。そして、画像生成装置１００は、周囲画像をその操作者に提示しながらそのショベルの移動及びそれら可動部材の操作を支援する操作支援システムを構成する。しかしながら、画像生成装置１００は、フォークリフト、アスファルトフィニッシャ等のように旋回機構を有しない作業機械に、カメラ及び人検出センサと共に搭載されてもよい。或いは、画像生成装置１００は、産業用機械若しくは固定式クレーン等のように可動部材を有するが自走はしない作業機械に、カメラ及び人検出センサと共に搭載されてもよい。そして、画像生成装置１００は、それら作業機械の操作を支援する操作支援システムを構成してもよい。

また、周辺監視装置は、カメラ２及び表示部５を含む画像生成装置１００を１例として説明されたが、カメラ２、表示部５等による画像表示機能を含まない装置として構成されてもよい。例えば、第１報知部制御処理又は第２報知部制御処理を実行する装置としての周辺監視装置１００Ａは、図２９に示すように、カメラ２、入力部３、記憶部４、表示部５、座標対応付け手段１０、画像生成手段１１、及び警報制御手段１３を省略してもよい。

１・・・制御部 ２・・・カメラ ２Ｌ・・・左側方カメラ ２Ｒ・・右側方カメラ ２Ｂ・・後方カメラ ３・・・入力部 ４・・・記憶部 ５・・・表示部 ６・・・人検出センサ ６Ｌ・・・左側方人検出センサ ６Ｒ・・・右側方人検出センサ ６Ｂ・・・後方人検出センサ ７・・・警報出力部 ７Ｌ・・・左側方警報出力部 ７Ｂ・・・後側方警報出力部 ７Ｒ・・・右側方警報出力部 ８・・・ゲートロックレバー ９・・・イグニッションスイッチ １０・・・座標対応付け手段 １１・・・画像生成手段 １２・・・人存否判定手段 １３・・・警報制御手段 １４・・・作業機械状態判定手段 １５・・・報知部制御手段 １６・・・作業許否決定手段 ２０・・・報知部 ４０・・・入力画像・空間モデル対応マップ ４１・・・空間モデル・処理対象画像対応マップ ４２・・・処理対象画像・出力画像対応マップ ６０・・・ショベル ６１・・・下部走行体 ６２・・・旋回機構 ６３・・・上部旋回体 ６４・・・キャブ １００・・・画像生成装置 １００Ａ・・・周辺監視装置

Claims (8)

1. 作業機械用周辺監視装置であって、
   作業機械の周辺を監視手段により監視し、周囲に監視対象が存在すると判定すると、前記作業機械に搭載されている複数の油圧アクチュエータの状態を操作有効状態から操作無効状態に切り換える切換弁を制御する制御部と、
   前記制御部とは別に、手動で、前記作業機械に搭載されている前記複数の油圧アクチュエータの状態を、操作無効状態或いは操作有効状態、に切り換えることができる手動装置と、を備え、
   前記手動装置は、流量制御弁と操作手段との間の油路状態を、遮断状態或いは連通状態にする前記切換弁を操作できるゲートロックレバーであり、
   前記作業機械に搭載されている前記複数の油圧アクチュエータの状態が前記制御部による操作無効状態になっている場合、前記ゲートロックレバーによって操作有効状態にする操作をしても、前記作業機械に搭載されている前記複数の油圧アクチュエータの状態は操作有効状態にならない、
   作業機械用周辺監視装置。
2. 作業機械用周辺監視装置であって、
   作業機械の周辺を監視手段により監視し、周囲に監視対象が存在すると判定すると、前記作業機械に搭載されている複数の油圧アクチュエータの状態を操作有効状態から操作無効状態に切り換える切換弁を制御する制御部と、
   前記制御部とは別に、手動で、前記作業機械に搭載されている前記複数の油圧アクチュエータの状態を、操作無効状態或いは操作有効状態、に切り換えることができる手動装置と、を備え、
   前記手動装置は、流量制御弁と操作手段との間の油路状態を、遮断状態或いは連通状態にする前記切換弁を操作できるゲートロックレバーであり、
   前記ゲートロックレバーの位置が、前記作業機械に搭載されている前記複数の油圧アクチュエータの状態が操作有効状態となる位置にあり、前記制御部によって前記作業機械に搭載されている前記複数の油圧アクチュエータの状態を操作無効状態とする判断をした場合、操作無効状態にすることを優先し、前記切換弁を遮断状態とする、
   作業機械用周辺監視装置。
3. 前記切換弁は、コントロールバルブと前記複数の操作手段との間の油路に設けられており、
   前記コントロールバルブは、油圧ポンプと前記複数の油圧アクチュエータとの間の作動油の流れを制御するように構成されている、
   請求項１又は２に記載の作業機械用周辺監視装置。
4. 前記ゲートロックレバーの位置が、前記作業機械に搭載されている前記複数の油圧アクチュエータの状態が操作有効状態となる位置にあり、前記制御部によって前記作業機械に搭載されている前記複数の油圧アクチュエータの状態を操作無効状態とする判断をした場合、操作無効状態にすることを優先し、前記切換弁を遮断状態とする、
   請求項１に記載の作業機械用周辺監視装置。
5. 前記ゲートロックレバーは、
   前記作業機械のキャブ内に設けられており、
   前記キャブの乗降口を遮らず、且つ、前記作業機械に搭載されている前記複数の油圧アクチュエータの状態を操作無効状態にする、第１位置と、前記キャブの乗降口を遮り、且つ、前記作業機械に搭載されている前記複数の油圧アクチュエータの状態を操作有効状態にする、第２位置と、を手動で切り替えできるように構成されている、
   請求項１乃至４の何れかに記載の作業機械用周辺監視装置。
6. 前記制御部は、周囲に監視対象が存在すると判定すると、前記切換弁を遮断状態にする、
   請求項１乃至５の何れかに記載の作業機械用周辺監視装置。
7. 前記監視手段は、カメラ、人検出センサ、人以外の物体から人を区別して検出するセンサ、エネルギ変化を検出するセンサ、焦電型赤外線センサ、ボロメータ型赤外線センサ、赤外線カメラ、動体検出センサ、画像センサの少なくとも１つを含む、
   請求項１乃至６の何れかに記載の作業機械用周辺監視装置。
8. 下部走行体と、
   前記下部走行体に旋回可能に搭載される上部旋回体と、
   請求項１乃至７の何れかに記載の作業機械用周辺監視装置と、を備えた、
   ショベル。