JP6256874B2 - 建設機械用俯瞰画像表示装置 - Google Patents

Description

本発明は建設機械に搭載される俯瞰画像表示装置に関する。

緊急災害復旧工事において、遠隔操作仕様の建設機械を遠隔で操作する場合、操作者は工事場所より、充分離れた安全な場所から操作する必要がある。
工事範囲が狭い箇所では目視にて操作が可能であるが、通常は建設機械に搭載したビデオカメラからの画像、移動カメラ車からの画像、固定カメラからの画像などを操作者に提示させて遠隔操作を行うことで工事が可能となる。
但し、これらのカメラは、建設機械が移動や旋回する都度、死角が発生する可能性が高く、遠隔操作を行なう上で不利がある。
一方、従来から、乗用車の周辺を撮像する複数のカメラを設け、各カメラから供給される画像を処理し、乗用車の上方から見たような俯瞰画像を作成して、運転者に提供する運転支援装置が提供されている（特許文献１参照）。
したがって、このような俯瞰画像を作成して表示する俯瞰画像表示装置を建設機械に適用することが考えられる。
この場合、複数のカメラは、建設機械の適宜箇所に取着されることになる。

特開２００６−１２１５８７号公報

ところで、建設機械は、地盤を走行する本体と、本体に設けられ建設作業を行なう建設用作業部材とを備えている。
例えば、バックホウの場合、地盤を走行する本体には、ブームが連結され、ブームの先端にアームが連結され、アームの先端にバケットが連結されており、これらブーム、アーム、バケットが建設用作業部材を構成している。
前述した複数のカメラのうち、例えば、本体の前方を撮影するカメラは、その撮影範囲に建設用作業部材が位置することにより建設用作業部材の陰となった部分が撮像不能な死角領域となってしまう。
そのため、俯瞰画像表示装置が生成する俯瞰画像には、上記の死角領域が含まれることになり、俯瞰画像にも建設用作業部材に対応する死角領域が発生するため、正確な俯瞰画像を表示させる上で不利となる。
本発明はこのような事情に鑑みなされたものであり、その目的は、建設機械の建設用作業部材の影響を受けることなく正確な俯瞰画像を表示する上で有利な建設機械用俯瞰画像表示装置を提供することにある。

上述の目的を達成するため、本発明は、地盤を走行する本体と、前記本体に設けられた建設用作業部材とを備える建設機械に搭載された複数のカメラと、前記カメラから得られる前記建設機械の周囲の撮像画像に基づいて前記建設機械を中心とした建設機械全周の俯瞰画像を生成する俯瞰画像生成手段と、前記俯瞰画像生成手段により生成された俯瞰画像を表示する表示手段とを備える建設機械用俯瞰画像表示装置であって、前記複数のカメラは、撮影範囲に前記建設用作業部材が位置することにより前記建設用作業部材の陰となった部分が撮像不能な死角領域となる複数の特定カメラを含み、前記複数の特定カメラは、それら複数の特定カメラから得られる撮像画像を合成した場合に、前記死角領域が無い特定撮像画像を得るに足る撮影範囲を撮像するように前記本体の互いに異なる箇所に設置され、前記複数の特定カメラから得られた撮像画像を合成することで前記特定撮像画像を生成する画像合成手段を設け、前記俯瞰画像生成手段による前記俯瞰画像の生成は、前記特定撮像画像を用いることにより前記建設用作業部材の画像が消去された前記俯瞰画像を得るようになされることを特徴とする。

本発明によれば、建設機械の本体に搭載された複数の特定カメラから得られた撮像画像を合成することで特定撮像画像を生成し、特定撮像画像を用いることにより建設機械の建設用作業部材の画像が消去された俯瞰画像を表示するようにした。したがって、建設機械の建設用作業部材の影響を受けることなく正確な俯瞰画像を表示する上で有利となる。

実施の形態の建設機械用俯瞰画像表示装置が適用されたバックホウの側面図である。 バックホウの平面図である。 バックホウを遠隔制御により無人運転させる遠隔制御システムの構成を示すブロック図である。 建設用作業部材が消去された第１の俯瞰画像の一例を示す図である。 建設用作業部材が消去されない第２の俯瞰画像の一例を示す図である。 建設機械側ユニットの複数のカメラおよび制御部の構成を示すブロック図である。 建設機械側ユニットの制御部の機能ブロック図である。 建設機械用俯瞰画像表示装置の動作フローチャートである。

（実施の形態）
以下、本実施の形態について図面を参照して説明する。
まず、本発明に係る建設機械用俯瞰画像表示装置が搭載される建設機械について説明する。
本実施の形態では、緊急災害復旧工事などの危険な工事場所で使用される建設機械が遠隔制御により無人運転されるバックホウである場合について説明する。
この場合、操作者は工事場所より、充分離れた安全な場所からバックホウを遠隔操作することになる。

まず、バックホウの構成について説明する。
図１、図２に示すように、バックホウ１０は、下部走行体１２と、上部旋回体１４と、ブーム１６と、アーム１８と、バケット２０を含んで構成される。

下部走行体１２は、クローラ１２０２の回転により地盤Ｇ上を走行する。
上部旋回体１４は、下部走行体１２の上部に旋回軸を中心に水平旋回可能に設けられている。
したがって、本実施の形態では、下部走行体１２および上部旋回体１４が、地盤Ｇを走行する本体１０Ａを構成している。
上部旋回体１４には操作室１４０２が設けられ、操作室１４０２には、下部走行体１２の走行、上部旋回体１４の旋回、ブーム１６の揺動、アーム１８の揺動、バケット２０の揺動などを操作するための何れも不図示の操作レバーや操作ペダルなどの複数の操作装置が設置されている。

ブーム１６は、その基端が水平方向に延在する支軸を介して上部旋回体１４に揺動可能に支持されている。
アーム１８は、その基端が水平方向に延在する支軸を介してブーム１６の先端に揺動可能に支持されている。
バケット２０は、その基端が水平方向に延在する支軸を介してアーム１８の先端に揺動可能に支持されている。
上部旋回体１４とブーム１６との間には、ブーム１６を揺動させるブームシリンダ１６０２が設けられている。
ブーム１６とアーム１８との間には、アーム１８を揺動させるアームシリンダ１８０２が設けられている。
アーム１８とバケット２０との間には、バケット２０を揺動させるバケットシリンダ２００２が設けられている。
これらブームシリンダ１６０２、アームシリンダ１８０２、バケットシリンダ２００２は油圧シリンダである。
したがって、ブームシリンダ１６０２が伸縮することにより上部旋回体１４に対してブーム１６が揺動される。
また、アームシリンダ１８０２が伸縮することによりブーム１６に対してアーム１８が揺動される。
また、バケットシリンダ２００２が伸縮することによりアーム１８に対してバケット２０が揺動される。
本実施の形態では、ブーム１６と、アーム１８と、バケット２０とが、建設用作業部材１０Ｂを構成している。

次に、バックホウ１０を遠隔制御する遠隔制御システムについて説明する。
図３は、遠隔制御システムの構成を示すブロック図である。
遠隔制御システム３０は、遠隔操作ユニット３２と、建設機械側ユニット３４とを備えている。
遠隔操作ユニット３２は、バックホウ１０が作業を行なう作業現場から離れた箇所に設けられている。
遠隔操作ユニット３２は、操作部３６と、表示部３８と、制御部４０と、通信部４２とを含んで構成されている。
操作部３６は、作業者が建設機械の遠隔制御を行なうために操作するものであり、例えば、ジョイスティックや操作スイッチなどから構成されている。
また、本実施の形態では、操作部３６は、後述する第１の俯瞰画像と第２の俯瞰画像を選択的に表示部３８に表示させるための設定操作を行なう際に操作される操作スイッチを含んで構成されている。
表示部３８は、建設機械側ユニット３４から送信される図４、図５に示すような俯瞰画像を表示するものであり、液晶表示装置などのディスプレイで構成されている。
本実施の形態では、表示部３８が表示手段を構成している。
制御部４０は、操作部３６になされた操作に対応する操作指令を生成し通信部４２に供給すると共に、建設機械側ユニット３４から送信された俯瞰画像を通信部４２を介して受け付け表示部３８に供給するものである。
通信部４２は、建設機械側ユニット３４の通信部５０との間で操作指令および俯瞰画像の通信を行なうものである。
これら２つの通信部４２、５０は無線回線で結ばれている。
無線回線としては、例えばＳＳ無線など従来公知の様々な無線回線が使用可能であり、無線回線の種類、構成、方式は任意である。また、複数種類の無線回線を組み合わせたり、あるいは、１以上の中継局を設けるなどしてもよい。

建設機械側ユニット３４は、バックホウ１０に設けられ、駆動部４４と、複数のカメラ４６と、制御部４８と、通信部５０とを含んで構成されている。
駆動部４４は、バックホウ１０の前記各操作装置を駆動するものであり、エアシリンダやモータなど従来公知の様々なアクチュエータが使用可能である。
複数のカメラ４６は、第１前方カメラ４６０２Ａ、第２前方カメラ４６０２Ｂ、後方カメラ４６０４、左方カメラ４６０６、右方カメラ４６０８の合計５つのカメラで構成されている。

図１、図２に示すように、第１前方カメラ４６０２Ａ、第２前方カメラ４６０２Ｂは、上部旋回体１４の前部に搭載されバックホウ１０の前方を撮像するものである。
より詳細には、第１前方カメラ４６０２Ａは、上部旋回体１４の前部のうち、ブーム１６よりも左側の箇所に搭載され、第２前方カメラ４６０２Ｂは、上部旋回体１４の前部のうち、ブーム１６よりも右側の箇所に搭載されている。
本実施の形態では、第１前方カメラ４６０２Ａ、第２前方カメラ４６０２Ｂは、撮影範囲に建設用作業部材１０Ｂが位置することにより建設用作業部材１０Ｂの陰となった部分が撮像不能な死角領域となる特定カメラを構成している。
そして、第１前方カメラ４６０２Ａ、第２前方カメラ４６０２Ｂは、それらカメラ４６０２Ａ、４６０２Ｂから得られる撮像画像を合成した場合に、前記の死角領域が無い特定撮像画像を得るに足る撮影範囲を撮像するように本体１０Ａの互いに異なる箇所に設置されている。
なお、本実施の形態では、複数のカメラ４６のうち、第１前方カメラ４６０２Ａ、第２前方カメラ４６０２Ｂを除く残りの後方カメラ４６０４、左方カメラ４６０６、右方カメラ４６０８は、それらの撮影領域に建設用作業部材１０Ｂが位置することがないカメラとなっている。

後方カメラ４６０４は、上部旋回体１４の後部に搭載されバックホウ１０の後方を撮像するものである。
左方カメラ４６０６は、上部旋回体１４の左側部に搭載されバックホウ１０の左方を撮像するものである。
右方カメラ４６０８は、上部旋回体１４の右側部に搭載されバックホウ１０の右方を撮像するものである。
本実施の形態では、各カメラ４６の画角は１８０度である。
なお、後述する俯瞰画像を生成できれば、各カメラ４６の画角は１８０度未満でもよい。しかしながら、各カメラ４６の画角を１８０度とし、上記のように上部旋回体１４の前後左右にカメラ４６をそれぞれ設置することにより、上部旋回体１４（バックホウ１０）の周辺の全周にわたる画像を効率よくかつ死角を発生させることなく得ることができ、俯瞰画像を正確に生成する上で有利となる。
また、各カメラ４６は、各カメラ４６の光軸が鉛直軸回りおよび水平軸回りに調節可能となるように、不図示の雲台を介して上部旋回体１４に取着されている。

図６に示すように、制御部４８は、コンピュータによって構成されている。
コンピュータは、ＣＰＵ４８０２と、不図示のインターフェース回路およびバスライン４８０１を介して接続されたＲＯＭ４８０４、ＲＡＭ４８０６、ハードディスク装置４８０８、キーボード４８１０、マウス４８１２、ディスプレイ４８１４、入出力インターフェース４８１６などを有している。
ＲＯＭ４８０４は所定の制御プログラムなどを格納し、ＲＡＭ４８０６はワーキングエリアを提供するものである。
ハードディスク装置４８０８は、後述する画像合成手段５２、俯瞰画像生成手段５４、を実現するためのプログラムを格納している。
キーボード４８１０およびマウス４８１２は、操作者による操作入力を受け付けるものである。
ディスプレイ４８１４は、画像を表示するものであり、例えば、液晶表示装置などで構成されている。
入出力インターフェース４８１６は、周辺装置との間でデータの授受を行うものであり、本実施の形態では、各カメラ４６から撮像画像を受け付けるものである。
制御部４８は、遠隔操作ユニット３２から送信された操作指令を前記通信部５０を介して受け付けると共に、その操作指令に基づいて駆動部４４を制御することでバックホウ１０の前記各操作装置を操作するものである。
また、制御部４８は、ＣＰＵ４８０２が前記プログラムを実行することによって、図７に示すように、画像合成手段５２、俯瞰画像生成手段５４を実現するものである。

画像合成手段５２は、第１前方カメラ４６０２Ａ、第２前方カメラ４６０２Ｂから得られた撮像画像を合成することで前記の特定撮像画像を生成するものである。
このような複数の撮像画像を合成する手法として従来公知の様々な画像処理手法が使用可能である。

俯瞰画像生成手段５４は、各カメラ４６から供給されるバックホウ１０の周囲の撮像画像に基づいてバックホウ１０を中心としたバックホウ１０全周の俯瞰画像（図４、図５）を生成し、それら撮像画像を通信部５０を介して遠隔操作ユニット３２の通信部４２に送信するものである。
俯瞰画像生成手段５４による俯瞰画像の生成は、各カメラ４６から得られた撮像画像を視点変換処理して得た視点変換画像を組み合わせることによりなされるが、このような視点変換処理や視点変換画像の組み合わせの処理として、従来公知の様々な方法が採用可能である。

また、俯瞰画像生成手段５４は、建設用作業部材１０Ｂの画像を消去した第１の俯瞰画像（図４）と、建設用作業部材１０Ｂの画像を消去しない第２の俯瞰画像（図５）との双方を生成可能に構成されている。
すなわち、俯瞰画像生成手段５４は、以下の２つの機能を有している。
１）第１前方カメラ４６０２Ａ、第２前方カメラ４６０２Ｂ、後方カメラ４６０４、左方カメラ４６０６、右方カメラ４６０８から得られた画像と、画像合成手段５２により生成された特定撮像画像とを用いることにより建設用作業部材１０Ｂの画像が消去された第１の俯瞰画像を生成する機能。
２）画像合成手段５２により生成された特定撮像画像を用いることなく、第１前方カメラ４６０２Ａ、第２前方カメラ４６０２Ｂ、後方カメラ４６０４、左方カメラ４６０６、右方カメラ４６０８から得られた画像を用いて、建設用作業部材１０Ｂの画像を消去しない第２の俯瞰画像を生成する機能。

また、俯瞰画像生成手段５４は、操作部３６による設定操作に応じて第１の俯瞰画像と第２の俯瞰画像とを選択的に表示部３８に供給するものである。
すなわち、俯瞰画像生成手段５４は、遠隔操作ユニット３２から送信された操作部３６による設定操作に対応する操作指令を通信部５０を介して受け付けると共に、その操作指令に基づいて第１の俯瞰画像と第２の俯瞰画像とを選択的に表示部３８に供給するものである。

本実施の形態では、遠隔操作ユニット３２の表示部４８、制御部４０、通信部４２と、建設機械側ユニット３４の通信部５０、制御部４８、各カメラ４６とによって、建設機械用俯瞰画像表示装置が構成されている。

次に、建設機械用俯瞰画像表示装置の動作について図８のフローチャートを参照して説明する。
予め、各カメラ４６の光軸の鉛直軸回りの角度および水平軸回りの角度は、俯瞰画像が正確に得られるようにキャリブレーションされているものとする。
なお、キャリブレーションの方法は、以下の１）、２）に例示するように従来公知の様々な方法が採用可能である。
１）バックホウ１０が設置された地盤Ｇ上に描かれた白線や地盤Ｇ上に垂直に設置された箱尺などの対象物を各カメラ４６で撮像して得られた画像が画面上に表示された基準線に合致するように各カメラ４６の光軸調整を行ない、俯瞰画像が正確に得られるようにする。
２）上記対象物を各カメラ４６で撮像した得られた画像に基づいて俯瞰画像が正確に得られるように俯瞰画像生成手段５４における俯瞰画像生成処理に用いられる所定のパラメータ（俯瞰画像を生成するために必要なカメラ軸に関するパラメータ）をソフトウェアにより調整する。

俯瞰画像生成手段５４は、操作部３６による第１の俯瞰画像または第２の俯瞰画像の設定操作を受け付ける（ステップＳ１０）。
設定操作が第１の俯瞰画像に対応するものであった場合、俯瞰画像生成手段５４は、建設用作業部材１０Ｂの画像を消去した第１の俯瞰画像を生成して、通信部５０、４２を介して遠隔操作ユニット３２の表示部３８に供給する（ステップＳ１２）。
一方、設定操作が第２の俯瞰画像に対応するものであった場合、俯瞰画像生成手段５４は、建設用作業部材１０Ｂの画像を消去しない第２の俯瞰画像を生成して、通信部５０、４２を介して遠隔操作ユニット３２の表示部３８に供給する（ステップＳ１４）。
遠隔操作ユニット３２側では、供給された第１の俯瞰画像あるいは第２の俯瞰画像を表示部３８によって表示させる（ステップＳ１６）。

以上説明したように本実施の形態によれば、バックホウ１０の本体１０Ａに複数の特定カメラ４６０２Ａ、４６０２Ｂを設け、複数の特定カメラ４６０２Ａ、４６０２Ｂから得られた撮像画像を合成することで特定撮像画像を生成し、特定撮像画像を用いることにより建設用作業部材１０Ｂの画像が消去された俯瞰画像を表示するようにした。
したがって、建設機械１０の建設用作業部材１０Ｂの影響を受けることなく正確な俯瞰画像を表示する上で有利となる。

また、本実施の形態では、建設用作業部材１０Ｂの画像を消去した第１の俯瞰画像と、建設用作業部材１０Ｂの画像を消去しない第２の俯瞰画像との双方を選択的に表示するようにした。
したがって、例えば、建設用作業部材１０Ｂと建設機械１０の周辺の構造物やがれきなどの物体との位置関係を正確に表示する必要がある場合は、建設用作業部材１０Ｂが表示されるように第２の俯瞰画像を表示させるようにすればよい。
また、建設機械１０の周囲の地盤Ｇの状態を正確に表示する必要がある場合は、建設用作業部材１０Ｂが非表示となるように第１の俯瞰画像を表示させるようにすればよい。
すなわち、建設機械１０の利用状況、あるいは、建設機械１０の周辺の状況に応じて、建設用作業部材１０Ｂの非表示と表示を選択できるため、建設機械用俯瞰画像表示装置の利便性の向上を図る上で有利となる。

なお、本実施の形態では、特定カメラが第１前方カメラ４６０２Ａ、第２前方カメラ４６０２Ｂの２つのカメラで構成されている場合について説明したが、特定カメラは、３つ以上であってもよい。
要するに、複数の特定カメラは、それら複数の特定カメラから得られる撮像画像を合成した場合に、死角領域が無い特定撮像画像を得るに足る撮影範囲を撮像するように本体の互いに異なる箇所に設置されていればよく、特定カメラの数は限定されない。
また、本実施の形態では、バックホウ１０が遠隔操作可能なものである場合について説明したが、バックホウ１０は、作業員が乗り込んで直接操作するものであってもよい。この場合、表示手段はバックホウ１０を操作する作業員が視認可能となるように設ければよく、例えば、表示手段として制御部４８のディスプレイ４８１４を用いるなど任意である。
また、建設機械は、バックホウ１０に限定されるものではなく、複数のカメラ４６の撮影範囲に死角を発生させる建設用作業部材を有するものであればよい。
例えば、建設機械が本体に連結されたブームを有する移動式クレーンである場合、建設用作業部材はブームとなる。

１０ バックホウ（建設機械）
１０Ａ 本体
１０Ｂ 建設用作業部材
３８ 表示部（表示手段）
４６ カメラ
４６０２Ａ 第１前方カメラ（特定カメラ）
４６０２Ｂ 第２前方カメラ（特定カメラ）
４６０４ 後方カメラ
４６０６ 左方カメラ
４６０８ 右方カメラ
４８ 制御部
５２ 画像合成手段
５４ 俯瞰画像生成手段

Claims (4)

1. 地盤を走行する本体と、前記本体に設けられた建設用作業部材とを備える建設機械に搭載された複数のカメラと、
   前記カメラから得られる前記建設機械の周囲の撮像画像に基づいて前記建設機械を中心とした建設機械全周の俯瞰画像を生成する俯瞰画像生成手段と、
   前記俯瞰画像生成手段により生成された俯瞰画像を表示する表示手段とを備える建設機械用俯瞰画像表示装置であって、
   前記複数のカメラは、撮影範囲に前記建設用作業部材が位置することにより前記建設用作業部材の陰となった部分が撮像不能な死角領域となる複数の特定カメラを含み、
   前記複数の特定カメラは、それら複数の特定カメラから得られる撮像画像を合成した場合に、前記死角領域が無い特定撮像画像を得るに足る撮影範囲を撮像するように前記本体の互いに異なる箇所に設置され、
   前記複数の特定カメラから得られた撮像画像を合成することで前記特定撮像画像を生成する画像合成手段を設け、
   前記俯瞰画像生成手段による前記俯瞰画像の生成は、前記特定撮像画像を用いることにより前記建設用作業部材の画像が消去された前記俯瞰画像を得るようになされる、
   ことを特徴とする建設機械用俯瞰画像表示装置。
2. 前記俯瞰画像生成手段は、前記建設用作業部材の画像を消去した第１の俯瞰画像と、前記建設用作業部材の画像を消去しない第２の俯瞰画像との双方を生成可能に構成されると共に、設定操作に応じて前記第１の俯瞰画像と前記第２の俯瞰画像とを選択的に前記表示手段に供給する、
   ことを特徴とする請求項１記載の建設機械用俯瞰画像表示装置。
3. 前記建設機械は、基端が前記本体に連結されたブームと、前記ブームの先端に連結されたアームと、前記アームの先端に連結されたバケットを含むバックホウであり、
   前記建設用作業部材は、前記ブームと前記アームと前記バケットを含む、
   ことを特徴とする請求項１または２記載の建設機械用俯瞰画像表示装置。
4. 前記建設機械は、基端が前記本体に連結されたブームを有するクレーンであり、
   前記建設用作業部材は、前記ブームである、
   ことを特徴とする請求項１または２記載の建設機械用俯瞰画像表示装置。

Images