JP5128566B2 - 周囲画像提示装置及び操作支援システム - Google Patents

Description

本発明は、被操作体に搭載されたカメラが撮影した原画像内の一部分を視点変換することによって生成される視点変換画像と被操作体自身を表す仮想画像とを用いて被操作体の周囲の状態をその操作者に提示する周囲画像提示装置に関し、特に、その視点変換の対象となる原画像内の範囲をその被操作体の作業領域の変化に応じて変化させる周囲画像提示装置に関する。

従来、車載カメラが撮影した原画像を視点変換することによって生成される俯瞰画像と車両自身を表すＣＧ（Computer Graphic）画像とを用いて車両の周囲の状態を運転者に提示する車載周囲死角表示システムが知られている（例えば、特許文献１参照。）。

この車載周囲死角表示システムは、接近センサの出力に基づいて車両近傍の障害物の有無を判定し、車両の近傍に障害物が存在する場合には、その障害物を含む俯瞰画像を、その障害物を含まないより狭い範囲を映す俯瞰画像とその障害物を映す視点変換前の画像との組み合わせから成る組み合わせ画像に切り換えて運転者がその障害物を瞬時に把握できるようにしている。

特開２００７−３３６２３０号公報

しかしながら、特許文献１に記載の車載周囲死角表示システムは、車両の近傍に障害物が存在する場合には上述のような態様で画像を切り換えるものの、基本的には、車両近傍の所定範囲を俯瞰画像で映し出しているに過ぎず、その俯瞰画像が映し出す範囲の大きさを変えることはないので、運転者が視認すべき範囲をその運転者に提示できない場合や必要以上の範囲をその運転者に提示してしまう場合がある。

上述の点に鑑み、本発明は、視点変換画像を用いて、被操作体の操作者が視認すべき周囲の状況をより適切に提示できる周囲画像提示装置及びその周囲画像提示装置を用いた操作支援システムを提供することを目的とする。

上述の目的を達成するために、本発明の実施例に係る周囲画像提示装置は、被操作体に搭載されたカメラが撮影した原画像に基づいて生成される生成画像と該被操作体を表す仮想画像とを用いて該被操作体の周囲の状態を映し出す周囲画像を操作者に提示する周囲画像提示装置であって、前記被操作体の作業領域を検出する作業領域検出手段と、前記原画像内の一部分を視点変換することによって前記生成画像としての視点変換画像を生成する視点変換画像生成手段と、前記生成画像が映し出す範囲に対応する前記原画像内の範囲を、前記被操作体の作業領域の変化に応じて変化させる生成画像対応範囲調節手段と、前記原画像内の一部分を抽出することによって前記生成画像としての抽出画像を生成する抽出画像生成手段と、を備え、前記抽出画像生成手段は、前記原画像内の一部分を抽出することによって前記生成画像としての遠方水平画像を生成し、前記視点変換画像生成手段は、前記原画像内の一部分を視点変換することによって前記生成画像としての近傍俯瞰画像を生成し、前記生成画像対応範囲調節手段は、前記被操作体の作業領域の変化に応じて、前記遠方水平画像及び前記近傍俯瞰画像のそれぞれが映し出す範囲に対応する前記原画像内の範囲を変化させる。これにより、本実施例に係る周囲画像提示装置は、視点変換の対象となる原画像内の範囲を被操作体の作業領域の変化に応じて変化させるので、被操作体の操作者が視認すべき周囲の状況をより適切に提示することができる。また、本実施例に係る周囲画像提示装置は、被操作体の作業領域の変化に応じて、被操作体の近傍を俯瞰できる近傍俯瞰画像、及び被操作体の遠方を水平に視認できる遠方水平画像のそれぞれが映し出す原画像内の範囲を相互に関連付けて変化させるので、被操作体の操作者が認識すべき周囲の状況を更に適切に提示することができる。

また、前記視点変換画像生成手段は、前記原画像内の一部分を視点変換することによって前記生成画像としての近傍仰視画像を生成するようにしてもよい。これにより、本実施例に係る周囲画像提示装置は、被操作体の作業領域の変化に応じて、被操作体の近傍を仰ぎ見ることができる近傍仰視画像が映し出す原画像内の範囲を変化させるので、被操作体の操作者が認識すべき周囲の状況を更に適切に提示することができる。

また、本発明の実施例に係る周囲画像提示装置は、被操作体に搭載されたカメラが撮影した原画像に基づいて生成される生成画像と該被操作体を表す仮想画像とを用いて該被操作体の周囲の状態を映し出す周囲画像を操作者に提示する周囲画像提示装置であって、前記被操作体の作業領域を検出する作業領域検出手段と、前記原画像内の一部分を視点変換することによって前記生成画像としての視点変換画像を生成する視点変換画像生成手段と、前記生成画像が映し出す範囲に対応する前記原画像内の範囲を、前記被操作体の作業領域の変化に応じて変化させる生成画像対応範囲調節手段と、を備え、前記視点変換画像生成手段は、前記原画像内の一部分を視点変換することによって前記生成画像としての近傍仰視画像を生成する。これにより、本実施例に係る周囲画像提示装置は、視点変換の対象となる原画像内の範囲を被操作体の作業領域の変化に応じて変化させるので、被操作体の操作者が視認すべき周囲の状況をより適切に提示することができる。また、本実施例に係る周囲画像提示装置は、被操作体の作業領域の変化に応じて、被操作体の近傍を仰ぎ見ることができる近傍仰視画像が映し出す原画像内の範囲を変化させるので、被操作体の操作者が認識すべき周囲の状況を更に適切に提示することができる。

また、前記被操作体は、アタッチメントを有する上部旋回体を備えた建設機械であり、前記作業領域検出手段は、前記建設機械の旋回半径を検出し、前記生成画像対応範囲調節手段は、前記旋回半径の変化に応じて、前記生成画像が映し出す範囲に対応する前記原画像内の範囲を変化させるものであってもよい。これにより、本実施例に係る周囲画像提示装置は、建設機械の旋回半径の変化に応じて、建設機械の近傍を俯瞰できる近傍俯瞰画像、建設機械の近傍を仰ぎ見ることができる近傍仰視画像、又は、建設機械の遠方を水平に視認できる遠方水平画像等の生成画像のそれぞれが映し出す原画像内の範囲を変化させるので、建設機械の運転者が認識すべき周囲の状況を更に適切に提示することができる。

また、本発明の実施例に係る操作支援システムは、被操作体の移動又は操作を支援する操作支援システムであって、上述のような周囲画像提示装置と、前記被操作体を移動させ或いは操作するための操作室に設置され、該周囲画像提示装置により生成された視点変換画像を表示する表示部と、を備えることを特徴とする。これにより、本実施例に係る操作支援システムは、視点変換の対象となる原画像内の範囲を被操作体の作業領域の変化に応じて変化させ被操作体の操作者が視認すべき周囲の状況をより適切に提示しながら、その被操作体の移動又は操作を支援することができる。

上述の手段により、本発明は、視点変換画像を用いて、被操作体の操作者が視認すべき周囲の状況をより適切に提示できる周囲画像提示装置及びその周囲画像提示装置を用いた操作支援システムを提供することができる。

本発明に係る周囲画像提示装置の構成例を概略的に示すブロック図である。 図１の周囲画像提示装置が搭載されるショベルの構成例を示す図である。 ショベルの作業領域を説明するための図である。 カメラが撮影した原画像の例を示す図（その１）である。 周囲画像の例を示す図（その１）である。 周囲画像の例を示す図（その２）である。 カメラが撮影した原画像の例を示す図（その２）である。 周囲画像の例を示す図（その３）である。 周囲画像提示処理の流れを示すフローチャートである。

以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。

図１は、本発明に係る周囲画像提示装置の構成例１００を概略的に示すブロック図であり、周囲画像提示装置１００は、例えば、建設機械に搭載されたカメラ２が撮影した原画像内の一部分を視点変換することによって生成される近傍俯瞰画像と、その原画像内にある別の部分を視点変換することなく抽出することによって生成される遠方水平画像と、建設機械自身を表す仮想ＣＧ画像とを用いて建設機械の周囲の状態を運転者に提示する装置であって、制御部１、カメラ２、作業領域検出部３、記憶部４、及び表示部５で構成される。

図２は、周囲画像提示装置１００が搭載されるショベル６０の構成例を示す図であり、ショベル６０は、クローラ式の下部走行体６１の上に、旋回機構６２を介して、上部旋回体６３をＸ軸周りに旋回自在に搭載している。

また、上部旋回体６３は、その前方左側部にキャブ（運転室）６４を備え、その前方中央部に、ブーム６５、アーム６６及びバケット６７、並びに、それらのそれぞれを駆動するアクチュエータとしてのブームシリンダ６８、アームシリンダ６９及びバケットシリンダ７０から構成される掘削アタッチメントＥを備える。

周囲画像提示装置１００は、例えば、掘削アタッチメントＥの姿勢に基づいて決定されるショベル６０の旋回半径の変化に応じて、その近傍俯瞰画像を生成するために用いられる原画像内の範囲（画素群で構成される範囲である。）、及びその遠方水平画像を生成するために用いられる原画像内の範囲（画素群で構成される範囲である。）を調節し、且つ、その仮想ＣＧ画像の大きさを調節しながら、ショベル６０の運転者が視認すべきショベル６０の周囲の状態を、その運転者が直感的に認識し易い態様で提示できるようにする。

次に、周囲画像提示装置１００の各構成要素について説明する。

制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を備えたコンピュータであって、例えば、後述する作業領域検出手段１０、視点変換画像生成手段１１、抽出画像生成手段１２、生成画像対応範囲調節手段１３、及び周囲画像提示手段１４のそれぞれに対応するプログラムをＲＯＭやＮＶＲＡＭに記憶し、一時記憶領域としてＲＡＭを利用しながら各手段に対応する処理をＣＰＵに実行させる。

カメラ２は、ショベル６０の周辺を映し出す原画像を取得するための装置であり、例えば、キャブ６４にいる運転者の死角となる領域を撮影できるよう上部旋回体６３の右側面及び後面に取り付けられる（図２参照。）、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子を備えた右側方カメラ２Ｒ及び後方カメラ２Ｂである。なお、カメラ２は、上部旋回体６３の右側面及び後面以外の位置（例えば、前面及び左側面である。）に取り付けられていてもよく、広い範囲を撮影できるよう広角レンズ又は魚眼レンズが装着されていてもよい。

また、カメラ２は、制御部１からの制御信号に応じて原画像を取得し、取得した原画像を制御部１に対して出力する。なお、カメラ２は、魚眼レンズ又は広角レンズを用いて原画像を取得した場合には、それらレンズを用いることによって生じる歪曲やアオリを補正した補正済みの原画像を制御部１に対して出力するが、歪曲やアオリを補正していない原画像をそのまま制御部１に対して出力してもよい。その場合には、制御部１が歪曲やアオリを補正することとなる。

作業領域検出部３は、被操作体の作業領域を検出するための装置であり、例えば、ブーム６５の上部旋回体６３に対する起伏角、アーム６６のブーム６５に対する開閉角、及びバケット６７のアーム６６に対する開閉角のそれぞれを検出する角度センサ等、掘削アタッチメントＥの現在の姿勢を検出するための各種センサである。

記憶部４は、視点変換テーブル４０及び抽出テーブル４１を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。

また、記憶部４は、ショベル６０を表す仮想ＣＧ画像を記憶し、後述の周囲画像提示手段１４がその仮想ＣＧ画像を様々な大きさで表示部５に表示できるようにしてもよい。

視点変換テーブル４０は、カメラ２が取得した原画像上の二次元座標（各画素の座標）と視点変換画像（後述の視点変換画像生成手段１１が生成する画像であり原画像の一部を視点変換することによって生成される画像である。）上の二次元座標（各画素の座標）との間の対応関係を表す対応マップであり、原画像上の座標点（画素）と視点変換画像上の座標点（画素）とが一対一で対応するものであってもよく、一対多、多対一、又は多対多で対応するものであってもよい。

抽出テーブル４１は、カメラ２が取得した原画像上の二次元座標（各画素の座標）と抽出画像（後述の抽出画像生成手段１２が生成する画像であり原画像の一部を視点変換することなく抽出することによって生成される画像である。）上の二次元座標（各画素の座標）との間の対応関係を表す対応マップであり、原画像上の座標点（画素）と抽出画像上の座標点（画素）とが一対一で対応するものであってもよく、一対多、多対一、又は多対多で対応するものであってもよい。

また、視点変換テーブル４０及び抽出テーブル４１は、複数の段階に分けられるショベル６０の作業領域の大きさのそれぞれに対応するよう、複数準備されているものとする。

表示部５は、画像情報を表示するための装置であり、例えば、建設機械のキャブ６４（図２参照。）内に設置された液晶ディスプレイ又はプロジェクタ等であって、制御部１が出力する各種画像を表示する。

次に、制御部１が有する各種手段について説明する。

作業領域検出手段１０は、被操作体の作業領域を検出するための手段であり、例えば、作業領域検出部３が出力する、ブーム６５の上部旋回体６３に対する起伏角、アーム６６のブーム６５に対する開閉角、及びバケット６７のアーム６６に対する開閉角に基づいて、ショベル６０の掘削アタッチメントＥを旋回させたときに掘削アタッチメントＥが到達可能な領域（例えば、旋回半径や旋回高さである。）を検出する。

図３は、ショベル６０の作業領域を説明するための図であり、図３（Ａ）は、旋回半径Ｒ１及び旋回高さＨ１を有するショベル６０の作業領域を示し、図３（Ｂ）は、旋回半径Ｒ２及び旋回高さＨ２を有するショベル６０の作業領域を示す。

視点変換画像生成手段１１は、カメラ２が撮影した原画像から生成画像としての視点変換画像を生成するための手段であり、例えば、作業領域検出手段１０が検出したショベル６０の旋回半径に対応する視点変換テーブルを記憶部４から読み出して参照しながら、右側方カメラ２Ｒ及び後方カメラ２Ｂのそれぞれが撮影した原画像の一部における各画素の属性値（例えば、輝度、色相、及び彩度である。）を、上空の仮想視点からショベル６０の近傍を見下ろした画像である近傍俯瞰画像における対応する画素の属性値に割り当てることによって、近傍俯瞰画像を合成する。なお、視点変換画像生成手段１１は、必要に応じて、画素補間、画素間引き、画素合成等を行いながら、視点変換画像を生成するようにしてもよい。

また、視点変換画像生成手段１１は、作業領域検出手段１０が検出したショベル６０の旋回半径に対応する別の視点変換テーブルを記憶部４から読み出して参照しながら、右側方カメラ２Ｒ及び後方カメラ２Ｂのそれぞれが撮影した原画像の一部における各画素の属性値を、路面付近の仮想視点からショベル６０の近傍を見上げた画像である近傍仰視画像における対応する画素の属性値に割り当てることによって、近傍仰視画像を合成するようにしてもよい。

抽出画像生成手段１２は、カメラ２が撮影した原画像から生成画像としての抽出画像を生成するための手段であり、例えば、作業領域検出手段１０が検出したショベル６０の旋回半径に対応する抽出テーブルを記憶部４から読み出して参照しながら、右側方カメラ２Ｒ及び後方カメラ２Ｂのそれぞれが撮影した原画像の一部における各画素の属性値（例えば、輝度、色相、及び彩度である。）を視点変換することなく抽出し、ショベル６０の遠方を水平に見た遠方水平画像を生成する。なお、抽出画像生成手段１２も、視点変換画像生成手段１１と同様に、必要に応じて、画素補間、画素間引き、画素合成等を行いながら、抽出画像を生成するようにしてもよい。

生成画像対応範囲調節手段１３は、生成画像が映し出す範囲に対応する原画像内の範囲（以下、「生成画像対応範囲」とする。）を調節するための手段であり、例えば、作業領域検出手段１０が検出したショベル６０の旋回半径が増大するにつれて、生成画像（近傍俯瞰画像及び遠方水平画像）のそれぞれに対応する生成画像対応範囲を拡大させ、ショベル６０の周囲のより広い近傍範囲を映し出す近傍俯瞰画像、及びその近傍俯瞰画像に対応する遠方水平画像を周囲画像提示装置１００が提示できるようにする。

具体的には、生成画像対応範囲調節手段１３は、作業領域検出手段１０が検出するショベル６０の旋回半径の変化に応じて、近傍俯瞰画像を生成するためにこれまで参照していた視点変換テーブルを、変化後の旋回半径に対応する別の視点変換テーブルに切り換え、切り換えられた視点変換テーブルに基づいて、変化後の旋回半径に対応する近傍俯瞰画像を生成できるようにする。

同様に、生成画像対応範囲調節手段１３は、作業領域検出手段１０が検出するショベル６０の旋回半径の変化に応じて、遠方水平画像を抽出するためにこれまで参照していた抽出テーブルを、変化後の旋回半径に対応する別の抽出テーブルに切り換え、切り換えられた抽出テーブルに基づいて、変化後の旋回半径に対応する（すなわち、変化後の近傍俯瞰画像に滑らかにつなぎ合わせられる）遠方水平画像を抽出できるようにする。

周囲画像提示手段１４は、周囲画像を提示するための手段であり、例えば、視点変換画像生成手段１１が生成した近傍俯瞰画像と、抽出画像生成手段１２が生成した遠方水平画像と、上部旋回体６３の上面後部を表す仮想ＣＧ画像とを所定の配置で組み合わせて周囲画像を生成し、生成したその周囲画像を表示部５に表示する。

周囲画像提示手段１４は、例えば、画面上方をショベル６０の前方に一致させた近傍俯瞰画像を表示し、画面右方を鉛直上方に一致させた右側方遠方水平画像をその近傍俯瞰画像の右側に隣接させて表示し、且つ、画面下方を鉛直上方に一致させた後方遠方水平画像をその近傍俯瞰画像の下側に隣接させて表示する。近傍俯瞰画像と右側方遠方水平画像及び後方遠方水平画像とを滑らかにつなぎ合わせ、それら画像が個別に映し出す被写体の位置関係を運転者が直感的に認識できるようにするためである。

図４は、カメラ２が撮影した原画像の例を示す図であり、図４（Ａ）は、右側方カメラ２Ｒが撮影した原画像の例を示し、図４（Ｂ）は、後方カメラ２Ｂが撮影した原画像の例を示す。なお、ショベル６０の周囲にある路面は、白い線、白い丸、黒い丸、白い矩形で構成される模様を有するものとする。

図４（Ａ）において、点線で囲まれた範囲ＶＲ_ｍｉｎは、ショベル６０が旋回半径Ｒ１（図３（Ａ）参照。）を有する場合に、視点変換画像生成手段１１が近傍俯瞰画像を生成するために視点変換する画像範囲であり、点線で囲まれた範囲ＦＲ_ｍｉｎは、ショベル６０が旋回半径Ｒ１（図３（Ａ）参照。）を有する場合に、抽出画像生成手段１２が右側方遠方水平画像を生成するために抽出する画像範囲である。

また、図４（Ａ）において、一点鎖線で囲まれた範囲ＶＲ_ｍａｘは、ショベル６０が旋回半径Ｒ２（図３（Ｂ）参照。）を有する場合に、視点変換画像生成手段１１が近傍俯瞰画像を生成するために視点変換する画像範囲であり、一点鎖線で囲まれた範囲ＦＲ_ｍａｘは、ショベル６０が旋回半径Ｒ２（図３（Ｂ）参照。）を有する場合に、抽出画像生成手段１２が右側方遠方水平画像を生成するために抽出する画像範囲である。

同様に、図４（Ｂ）において、点線で囲まれた範囲ＶＢ_ｍｉｎは、ショベル６０が旋回半径Ｒ１（図３（Ａ）参照。）を有する場合に、視点変換画像生成手段１１が近傍俯瞰画像を生成するために視点変換する画像範囲であり、点線で囲まれた範囲ＦＢ_ｍｉｎは、ショベル６０が旋回半径Ｒ１（図３（Ａ）参照。）を有する場合に、抽出画像生成手段１２が後方遠方水平画像を生成するために抽出する画像範囲である。

また、図４（Ｂ）において、一点鎖線で囲まれた範囲ＶＢ_ｍａｘは、ショベル６０が旋回半径Ｒ２（図３（Ｂ）参照。）を有する場合に、視点変換画像生成手段１１が近傍俯瞰画像を生成するために視点変換する画像範囲であり、一点鎖線で囲まれた範囲ＦＢ_ｍａｘは、ショベル６０が旋回半径Ｒ２（図３（Ｂ）参照。）を有する場合に、抽出画像生成手段１２が後方遠方水平画像を生成するために抽出する画像範囲である。

図５は、表示部５に表示される周囲画像の例を示す図であり、図５（Ａ）は、ショベル６０が旋回半径Ｒ１（図３（Ａ）参照。）を有する場合に対応する周囲画像であって、図４で示される二つの原画像に基づいて合成される近傍俯瞰画像ＢＶ１、右側方カメラ２Ｒが撮影した原画像から抽出される右側方遠方水平画像ＳＶ１、及び後方カメラ２Ｂが撮影した原画像から抽出される後方遠方水平画像ＲＶ１、並びに、上部旋回体６３の上面後部を表す仮想ＣＧ画像ＣＧ１で構成される周囲画像を示す。なお、後方遠方水平画像ＲＶ１は、その被写体の位置関係を運転者が直感的に認識できるよう、左右反転されているものとする。

図５（Ａ）で示されるように、近傍俯瞰画像ＢＶ１は、ショベル６０の旋回半径Ｒ１に対応する所定の範囲を映し出し、右側方遠方水平画像ＳＶ１及び後方遠方水平画像ＲＶ１は、近傍俯瞰画像ＢＶ１が映し出す範囲に滑らかにつなぎ合わされる範囲を映し出すようにする。なお、周囲画像提示装置１００は、図５（Ａ）で示されるように、ショベル６０の旋回半径Ｒ１によって描かれる円環を近傍俯瞰画像ＢＶ１上に重複表示させるようにしてもよい。ショベル６０の作業領域と周辺物との間の位置関係を運転者に分かり易く提示するためである。

図５（Ｂ）は、図５（Ａ）で示される周囲画像の変形例であり、後方遠方水平画像ＲＶ１が上下反転されている点で相違するが、その他の点で共通する。

このように、ショベル６０の運転者が直感的に周囲の状況を把握できるよう、運転者の好みに合わせて周囲画像の提示方法を変更できるようにしてもよい。

図６は、表示部５に表示される周囲画像の別の例を示す図であり、図６（Ａ）は、ショベル６０が旋回半径Ｒ２（図３（Ｂ）参照。）を有する場合に対応する周囲画像であって、図４で示される二つの原画像に基づいて合成される近傍俯瞰画像ＢＶ２、右側方カメラ２Ｒが撮影した原画像から抽出される右側方遠方水平画像ＳＶ２、及び後方カメラ２Ｂが撮影した原画像から抽出される後方遠方水平画像ＲＶ２、並びに、上部旋回体６３の上面後部を表す仮想ＣＧ画像ＣＧ２で構成される周囲画像を示す。なお、後方遠方水平画像ＲＶ２は、その被写体の位置関係を運転者が直感的に認識できるよう、左右反転されているものとする。

図６（Ａ）で示されるように、近傍俯瞰画像ＢＶ２は、ショベル６０の旋回半径Ｒ２に対応する所定の範囲を映し出し、右側方遠方水平画像ＳＶ２及び後方遠方水平画像ＲＶ２は、近傍俯瞰画像ＢＶ２が映し出す範囲に滑らかにつなぎ合わされる範囲を映し出すようにする。

具体的には、近傍俯瞰画像ＢＶ２は、旋回半径Ｒ１に対応する近傍俯瞰画像ＢＶ１（図５（Ａ）参照。）に比べ、映し出す範囲がショベル６０の右方向及び後ろ方向に拡大されている。

また、右側方遠方水平画像ＳＶ２は、旋回半径Ｒ１に対応する右側方遠方水平画像ＢＶ１（図５（Ａ）参照。）に比べ、映し出す範囲が、ショベル６０の右方向に遠ざけられ、且つ、ショベル６０の後ろ方向に拡大されている。

同様に、後方遠方水平画像ＲＶ２は、旋回半径Ｒ１に対応する後方遠方水平画像ＲＶ１（図５（Ａ）参照。）に比べ、映し出す範囲が、ショベル６０の後ろ方向に遠ざけられ、且つ、ショベル６０の右方向に拡大されている。

また、周囲画像提示装置１００は、図６（Ａ）で示されるように、ショベル６０の旋回半径Ｒ２によって描かれる円環を近傍俯瞰画像ＢＶ２上に重複表示させるようにしてもよい。ショベル６０の作業領域と周辺物との間の位置関係を運転者に分かり易く提示するためである。なお、図６（Ａ）は、ショベル６０の旋回半径Ｒ１によって描かれる円環を比較のために示しているが、この円環が近傍俯瞰画像ＢＶ２上に重複表示されることはない。

図６（Ｂ）は、図６（Ａ）で示される周囲画像の変形例であり、後方遠方水平画像ＲＶ２が上下反転されている点で相違するが、その他の点で共通する。

図７は、カメラ２が撮影した原画像の別の例を示す図であり、図７（Ａ）は、右側方カメラ２Ｒが撮影した原画像の例を示し、図７（Ｂ）は、後方カメラ２Ｂが撮影した原画像の例を示す。なお、ショベル６０の周囲の路面には白い線で示される模様が描かれ、ショベル６０の周囲の上空には灰色の線で示される電線が張られているものとする。

図８は、表示部５に表示される周囲画像の更に別の例を示す図であり、図８（Ａ）は、ショベル６０が旋回半径Ｒ１及び旋回高さＨ１（図３（Ａ）参照。）を有する場合に対応する周囲画像であって、図７で示される二つの原画像に基づいて合成される近傍俯瞰画像ＢＶ３、右側方カメラ２Ｒが撮影した原画像から抽出される右側方遠方水平画像ＳＶ３、右側方カメラ２Ｒが撮影した原画像から生成される右側方近傍仰視画像ＳＵＶ３、後方カメラ２Ｂが撮影した原画像から抽出される後方遠方水平画像ＲＶ３、及び後方カメラ２Ｒが撮影した原画像から生成される後方近傍仰視画像ＲＵＶ３、並びに、上部旋回体６３の上面後部を表す仮想ＣＧ画像ＣＧ３で構成される周囲画像を示す。なお、後方遠方水平画像ＲＶ３及び後方近傍仰視画像ＲＵＶ３は、その被写体の位置関係を運転者が直感的に認識できるよう、左右反転されているものとする。

図８（Ｂ）は、図８（Ａ）で示される周囲画像の変形例であり、後方遠方水平画像ＲＶ３及び後方近傍仰視画像ＲＵＶ３が上下反転されて画面右方向に僅かに移動させられている点で相違するが、その他の点で共通する。

同様に、図８（Ｃ）は、図８（Ａ）で示される周囲画像の変形例であり、右側方近傍仰視画像ＳＵＶ３及び後方近傍仰視画像ＲＵＶ３の代わりに、図７で示される二つの原画像に基づいて合成される近傍仰視画像ＵＶ４を、近傍俯瞰画像ＢＶ３の左側に隣接して表示した点で相違するが、その他の点で共通する。

また、周囲画像提示装置１００は、図８（Ａ）〜図８（Ｃ）で示されるように、ショベル６０の旋回半径Ｒ１によって描かれる円環を近傍俯瞰画像ＢＶ３、右側方近傍仰視画像ＳＵＶ３、後方近傍仰視画像ＲＵＶ３、及び近傍仰視画像ＵＶ４上に重複表示させ、且つ、ショベル６０の旋回高さＨ１によって描かれる直線を右側方遠方水平画像ＳＶ３及び後方遠方水平画像ＲＶ３上に重複表示させるようにしてもよい。ショベル６０の作業領域と周辺物との間の位置関係を運転者に分かり易く提示するためである。

次に、図９を参照しながら、周囲画像提示装置１００が周囲画像を表示部５に表示する処理（以下、「周囲画像提示処理」とする。）について説明する。なお、図９は、周囲画像提示処理の流れを示すフローチャートであり、周囲画像提示装置１００は、所定間隔で繰り返しこの周囲画像提示処理を実行するものとする。

最初に、制御部１は、右側方カメラ２Ｒ及び後方カメラ２Ｂのそれぞれが撮影した原画像を取得し（ステップＳ１）、作業領域検出手段１０により作業領域検出部３の出力に基づいてショベル６０の現在の旋回半径を導き出す（ステップＳ２）。

その後、制御部１は、生成画像対応範囲調節手段１３により、ショベル６０の現在の旋回半径に対応する視点変換テーブル４０を記憶部４から読み出し、視点変換画像生成手段１１により、右側方カメラ２Ｒによる原画像の一部と後方カメラ２Ｂによる原画像の一部とを組み合わせて近傍俯瞰画像を生成する（ステップＳ３）。

また、制御部１は、生成画像対応範囲調節手段１３により、ショベル６０の現在の旋回半径に対応する抽出テーブル４１を記憶部４から読み出し、抽出画像生成手段１２により、右側方カメラ２Ｒによる原画像の一部を抽出して右側方遠方水平画像を生成し、且つ、後方カメラ２Ｂによる原画像の一部を抽出して後方遠方水平画像を生成する（ステップＳ４）。

その後、制御部１は、周囲画像提示手段１４により、記憶部４に記憶された、ショベル６０の上部旋回体６３の上面後部を表す仮想ＣＧ画像を用いて、ショベル６０の現在の旋回半径に対応する大きさの仮想ＣＧ画像を生成する（ステップＳ５）。

その後、制御部１は、その仮想ＣＧ画像と、視点変換画像生成手段１１が生成した近傍俯瞰画像と、抽出画像生成手段１２が生成した右側方遠方水平画像及び後方遠方水平画像とを組み合わせて周囲画像を生成し、生成した周囲画像を表示部５に表示する（ステップＳ６）。

以上の構成により、周囲画像提示装置１００は、近傍俯瞰画像、右側方遠方水平画像、及び後方遠方水平画像のそれぞれが映し出す範囲に対応する原画像内の生成画像対応範囲をショベル６０の旋回半径の変化に応じて変化させるので、ショベル６０の現在の姿勢に適した周囲画像をショベル６０の運転者に提示することができる。

また、周囲画像提示装置１００は、複数の生成画像を一画面に表示するので、運転者に表示の切り換えを強いることもなく、ショベル６０の周囲の状況を運転者に迅速に認識させることができる。

また、周囲画像提示装置１００は、ショベル６０を表す仮想ＣＧ画像を生成画像上に表示するので、ショベル６０と生成画像が映し出す被写体との間の位置関係を運転者に直感的に認識させることができる。

また、周囲画像提示装置１００は、ショベル６０の近傍を仰ぎ見ることができる近傍仰視画像を表示するので、ショベル６０のアタッチメントの上部が接触する可能性のある物を運転者に容易に認識させることができる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述の実施例において、周囲画像提示装置１００は、視点変換テーブル４０又は抽出テーブル４１を用いて近傍俯瞰画像又は遠方水平画像を生成するが、視点変換テーブル４０又は抽出テーブル４１を記憶部４に予め記憶しておく代わりに、視点変換関数又は抽出関数を用いながら原画像上の座標点と生成画像上の座標点とをリアルタイムに対応付けて近傍俯瞰画像又は遠方水平画像を生成するようにしてもよい。

また、上述の実施例において、周囲画像提示装置１００は、抽出画像生成手段１２により、視点変換を実行することなく原画像の一部をそのまま抽出することによって遠方水平画像を生成するが、視点変換画像生成手段１１により、原画像の一部を視点変換して遠方水平画像を生成するようにしてもよい。

また、上述の実施例において、周囲画像提示装置１００は、二台のカメラ（右側方カメラ２Ｒ及び後方カメラ２Ｂ）が撮影した二つの原画像から一つの近傍俯瞰画像と二つの遠方水平画像とを生成しているが、一台のカメラが撮影した一つの原画像から一つの近傍俯瞰画像と二つの遠方水平画像を生成するようにしてもよい。

また、上述の実施例において、周囲画像提示装置１００は、ショベル６０の右側方及び後方を映し出す画像を提示するが、ショベル６０の左側方や前方といった別の方向を映し出す画像を追加的に提示するようにしてもよく、ショベル６０の周囲全体を映し出す画像を提示するようにしてもよい。その場合においても、周囲画像提示装置１００は、左側方遠方水平画像を近傍俯瞰画像の左側に隣接させて表示し、前方遠方水平画像を近傍俯瞰画像の上側に隣接させて表示するというように、それら追加的な画像を適切に配置することによって、それら追加的な画像が個別に映し出す被写体の位置関係を運転者が直感的に認識できるようにする。

また、上述の実施例において、周囲画像提示装置１００は、バケット、アーム、ブーム、旋回機構等の可動部材を備えながら自走する建設機械にカメラと共に搭載され、周囲画像をその運転者に提示しながらその建設機械の移動及びそれら可動部材の操作を支援する操作支援システムに組み込まれているが、産業用機械若しくは固定式クレーン等のように可動部材を有するが自走はしない、作業領域が可変である他の被操作体にカメラと共に搭載され、それら他の被操作体の作業領域の変化に応じて近傍俯瞰画像及び遠方水平画像のそれぞれが映し出す範囲を変化させながらそれら他の被操作体の操作を支援する操作支援システムに組み入れられてもよい。

１ 制御部
２、２Ｂ、２Ｒ カメラ
３ 作業領域検出部
４ 記憶部
５ 表示部
１０ 作業領域検出手段
１１ 視点変換画像生成手段
１２ 抽出画像生成手段
１３ 生成画像対応範囲調節手段
１４ 周囲画像提示手段
４０ 視点変換テーブル
４１ 抽出テーブル
１００ 周囲画像提示装置

Claims (5)

1. 被操作体に搭載されたカメラが撮影した原画像に基づいて生成される生成画像と該被操作体を表す仮想画像とを用いて該被操作体の周囲の状態を映し出す周囲画像を操作者に提示する周囲画像提示装置であって、
   前記被操作体の作業領域を検出する作業領域検出手段と、
   前記原画像内の一部分を視点変換することによって前記生成画像としての視点変換画像を生成する視点変換画像生成手段と、
   前記生成画像が映し出す範囲に対応する前記原画像内の範囲を、前記被操作体の作業領域の変化に応じて変化させる生成画像対応範囲調節手段と、
   前記原画像内の一部分を抽出することによって前記生成画像としての抽出画像を生成する抽出画像生成手段と、を備え、
   前記抽出画像生成手段は、前記原画像内の一部分を抽出することによって前記生成画像としての遠方水平画像を生成し、
   前記視点変換画像生成手段は、前記原画像内の一部分を視点変換することによって前記生成画像としての近傍俯瞰画像を生成し、
   前記生成画像対応範囲調節手段は、前記被操作体の作業領域の変化に応じて、前記遠方水平画像及び前記近傍俯瞰画像のそれぞれが映し出す範囲に対応する前記原画像内の範囲を変化させる、
   周囲画像提示装置。
2. 前記視点変換画像生成手段は、前記原画像内の一部分を視点変換することによって前記生成画像としての近傍仰視画像を生成する、
   請求項１に記載の周囲画像提示装置。
3. 被操作体に搭載されたカメラが撮影した原画像に基づいて生成される生成画像と該被操作体を表す仮想画像とを用いて該被操作体の周囲の状態を映し出す周囲画像を操作者に提示する周囲画像提示装置であって、
   前記被操作体の作業領域を検出する作業領域検出手段と、
   前記原画像内の一部分を視点変換することによって前記生成画像としての視点変換画像を生成する視点変換画像生成手段と、
   前記生成画像が映し出す範囲に対応する前記原画像内の範囲を、前記被操作体の作業領域の変化に応じて変化させる生成画像対応範囲調節手段と、を備え、
   前記視点変換画像生成手段は、前記原画像内の一部分を視点変換することによって前記生成画像としての近傍仰視画像を生成する、
   周囲画像提示装置。
4. 前記被操作体は、アタッチメントを有する上部旋回体を備えた建設機械であり、
   前記作業領域検出手段は、前記建設機械の旋回半径を検出し、
   前記生成画像対応範囲調節手段は、前記旋回半径の変化に応じて、前記生成画像が映し出す範囲に対応する前記原画像内の範囲を変化させる、
   ことを特徴とする請求項１乃至３の何れか一項に記載の周囲画像提示装置。
5. 被操作体の移動又は操作を支援する操作支援システムであって、
   請求項１乃至４の何れか一項に記載の周囲画像提示装置と、
   前記被操作体を移動させ或いは操作するための操作室に設置され、該周囲画像提示装置により生成された視点変換画像を表示する表示部と、
   を備えることを特徴とする操作支援システム。