JP7366702B2

JP7366702B2 - 合成距離画像の作成方法、土砂採取モニター用画像の作成方法、及び、合成距離画像の作成装置

Info

Publication number: JP7366702B2
Application number: JP2019207334A
Authority: JP
Inventors: 孝仁坂西; 克己宮川; 駿古谷; 模那小口
Original assignee: Kumagai Gumi Co Ltd
Current assignee: Kumagai Gumi Co Ltd
Priority date: 2019-11-15
Filing date: 2019-11-15
Publication date: 2023-10-23
Anticipated expiration: 2039-11-15
Also published as: JP2021079762A

Description

本発明は、例えば、建設機械の遠隔操作用のモニター画面に表示される画像の作成方法とその装置に関するもので、特に、作業現場の距離感を把握することのできる画像の作成に関する。

一般に、遠隔操作で建設作業をする際には、車載カメラや作業付近カメラで撮影した画像（以下、カメラ画像という）をモニターに表示し、オペレータがこの表示されたカメラ画像を参照して、建設機械を遠隔操作することが行われている。
その際、オペレータは、複数台のカメラとモニターにより、作業場所の距離感（奥行き感）をつかむようにしていた。これは、モニターに表示されるカメラ画像が二次元画像であるため、奥行き感がつかみにくいためである。
しかし、複数のカメラ画像を用いた場合でも、奥行き感の精度は、オペレータのセンスや経験によるところが大きいため、遠隔操作作業の作業効率は低いものとなっていた。
一方、車両自動運転等では、歩行者などの障害物との距離を計測するため、複数台のカメラを用いて撮影した画像をステレオ処理して、撮影した画像（カメラ画像）を当該車両から障害物までの距離を表す画像（距離画像）に変換する技術が知られている（例えば、特許文献１参照）。

特開２００８－３０４２４８号公報

しかしながら、上記の距離画像は、一般に、距離により色付けされた画像なので、通常のカメラ画像に比較して、被写体が見づらいといった問題点があった。

本発明は、上記従来の問題点に鑑みてなされたもので、作業現場における距離感を把握し易いカメラ画像を作成する方法を提供することを目的とする。

本発明は、複数台のカメラで撮影したカメラ画像と、前記カメラ画像を用いて作成された距離画像とを合成した合成距離画像を作成する方法であって、前記複数台のカメラのうちの２台のカメラでステレオ画像を撮影するステップと、前記撮影されたステレオ画像を用いて、前記２台のカメラのうちの一方のカメラで撮影されたカメラ画像を距離画像に変換するステップと、前記一方のカメラで撮影されたカメラ画像の所定の領域、または、所定の被写体を指定するステップと、前記距離画像から前記指定された所定の領域、または、所定の被写体の距離データを抽出するステップと、前記抽出された距離データと前記一方のカメラで撮影されたカメラ画像とを合成した合成距離画像を作成するステップと、前記作成された合成距離画像を、モニター用画像として表示装置の表示画面に表示するステップと、を備えたことを特徴とする。
このように、撮影されたカメラ画像のうちの必要な箇所のみを距離画像として表示するようにしたので、従来の距離画像に比較して、画像の見やすさを大幅に改善することができるだけでなく、カメラ画像と距離画像との切換えも不要となる。したがって、この合成距離画像を、例えば、遠隔操作作業のモニター画面に表示するカメラ画像とすれば、作業効率を大幅に向上させることができる。
なお、遠隔操作作業のモニターに適用する場合には、ステレオ撮影する一対のカメラを複数箇所に設置して、異なる視点から合成距離画像を取得し、これらの合成距離画像をモニター画面に表示すれば、被写体に対する距離感をより確実に把握できる。
また、前記表示装置として、作業員が装着可能な表示手段であるウェアブル端末を用いたので、ディスプレイ、キーボード等が不要となり、入出力装置もシンプルになるので、装置の省スペース化を図ることができる。このとき、ウェアブル端末として、メガネタイプのウェアブル端末を使用すれば、目の視点から画像が確認できるので、被写体に対する距離感の把握が更に容易となる。

また、本発明は、集積場所に積上げられた土砂と、前記土砂と前記土砂を採取する採取手段とを複数台のカメラで撮影したカメラ画像から、前記土砂と前記採取手段との距離を把握するためのモニター用画像を作成する方法であって、前記複数台のカメラのうちの２台のカメラで、前記土砂と前記採取手段とを被写体としたステレオ画像を撮影するステップと、前記撮影されたステレオ画像を用いて、前記２台のカメラのうちの一方のカメラで撮影されたカメラ画像を距離画像に変換するステップと、前記一方のカメラで撮影されたカメラ画像の、少なくとも前記土砂と前記採取手段とを含む所定の領域を指定するステップと、前記距離画像から前記指定された所定の領域の距離データを抽出するステップと、
前記抽出された距離データと前記一方のカメラで撮影されたカメラ画像とを合成した合成距離画像を作成するステップと、前記作成された合成距離画像を、モニター用画像として表示装置の表示画面に表示するステップと、を備えたことを特徴とする。
このように、土砂と採取手段とが映っている領域のみを距離画像とした画像をモニター用画像として表示するようにしたので、カメラ画像と距離画像との切換えも不要となるだけでなく、土砂と採取手段との距離感を確実に把握することができる。

また、本発明は、カメラ画像と距離画像とを合成した合成距離画像を作成する合成距離画像の作成装置であって、対象物を撮影する２台のカメラと、前記２台のカメラでステレオ撮影された前記対象物のステレオ画像から、前記対象物と予め設定された観測点との距離を算出する距離算出手段と、前記距離算出手段で算出された前記対象物と予め設定された観測点との距離のデータを用いて、前記２台のカメラのうちの一方のカメラで撮影されたカメラ画像を距離画像に変換する画像変換手段と、前記一方のカメラで撮影されたカメラ画像の所定の領域、または、所定の被写体を指定する変換部指定手段と、前記距離画像から前記指定された所定の領域、または、所定の被写体の距離データを抽出する抽出手段と、前記抽出された距離データと前記一方のカメラで撮影されたカメラ画像とを合成した合成距離画像を作成する画像合成手段と、前記作成された合成距離画像を、モニター用画像として表示画面に表示する表示装置と、を備えたことを特徴とする。
このような構成を採ることにより、従来の距離画像に比較して、画像の見やすさを大幅に改善することのできる画像を作成する装置を得ることができる。

なお、前記発明の概要は、本発明の必要な全ての特徴を列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。この明細書において、コンクリートは、モルタルも含むものとする。

本実施の形態に係るずり運搬車両操作システムを示す図である。カメラ画像、距離画像、及び、合成距離画像の一例を示す図である。合成距離画像の作成方法を示すフローチャートである。合成距離画像の作成方法を示す図である。

図１（ａ），（ｂ）は、ずり運搬用車両操作システム１を示す図で、２はトンネル、３はショベルカー、４はダンプトラック、５はステレオカメラ、６は画像処理装置、７は表示装置、８は車両制御装置である。
ずり運搬用車両操作システム１は、トンネル２を掘削したときに発生した土砂（以下、ずりｚという）をショベルカー３により採取し、これをダンプトラック４の荷台４１に積み込んで、トンネル２の図示しない坑口近傍まで運搬するもので、遠隔操作室１０にて、図示しないオペレータが、作業現場を撮影したカメラ画像と、ステレオ撮影したステレオ画像を用いて作成された距離画像とを合成した合成距離画像を参照しながら、ショベルカー３を遠隔操作してずりｚを採取する。なお、ショベルカー３、車両制御装置８により遠隔操作される。また、本例では、ダンプトラック４については遠隔操作をしていないが、ダンプトラック４についても遠隔操作してもよい。
なお、以下、ずりｚを集積場所に集めて積上げたものをずり山Ｚという。
ステレオカメラ５はショベルカー３に設置され、画像処理装置６、表示装置７、及び、車両制御装置８は、遠隔操作室１０に設置される。
遠隔操作室１０は、トンネル２内もしくは地上などのトンネル切羽２１から離れた箇所に設置されるが、ずり山Ｚの近傍の、ショベルカー３の採取作業が目視困難な箇所にて、オペレータが、ショベルカー３の遠隔操作を行ってもよい。

合成距離画像は、ステレオカメラ５、画像処理装置６、及び、表示装置７を用いて作成される。
ステレオカメラ５は、ショベルカー３の本体３１に設置された同一仕様の２台のカメラ（右カメラ５Ｒと左カメラ５Ｌ）を備え、ショベルカー３の本体３１の前方にあるショベルカー３のブーム３２、アーム３３、バケット３４、及び、ずり山Ｚなどを被写体として撮影する。本例では、ステレオカメラ５を、本体３１の前方に設置されたカメラ台３５に搭載した。なお、本体３１とは、無限軌道などの走行手段３６に、回転台３７を介して搭載されて、ブーム３２、アーム３３、及び、バケット３４を支持する旋回部を指す。
ここで、前方とは、本体３１が回転していないときのショベルカー３の進行方向（図１の切羽２１の方向）を指す。
図１（ｂ）に示すように、カメラ台３５は、ショベルカー３の本体３１の前方に立設された基台３５ａと、右カメラ５Ｒと左カメラ５Ｌとは平行等位になるように支持する支持部３５ｂとを備える。本例では、支持部３５ｂを基台３５ａに取付ける際に、ステレオカメラ５の光軸がやや上方を向くように取付けているが、支持部３５ｂを基台３５ａに、上下方向及び左右方向に回転可能に取付けるようにし、遠隔操作にて、ステレオカメラ５の撮影方向を変更できるようにしてもよい。
また、右カメラ５Ｒと左カメラ５Ｌとは、距離の測定か可能なように、光軸、カメラ間距離、レンズ歪も含めて、予めキャリブレーションされているものとする。

画像処理装置６は、距離算出手段６１と、距離画像作成手段６２と、変換部指定手段である入力手段６３と、距離データ抽出手段６４と、合成距離画像作成手段６５とを備え、カメラ画像（ここでは、右カメラ５Ｒで撮影されたカメラ画像）と、右カメラ５Ｒと左カメラ５Ｌとにより撮影された画像（ステレオ画像）から作成した距離画像とを合成した合成距離画像を作成する。
距離算出手段６１では、図２（ａ）に示す、右カメラ５Ｒにより撮影された画像（右画像ＧＲ）と、左カメラ５Ｌにより撮影された画像（左画像ＧＬ）とから、カメラ（ここでは、右カメラ５Ｒ）と被写体との距離ｚ_rを算出する。
具体的には、左右のカメラ５Ｒ，５Ｌのカメラ間隔、右画像ＧＲと左画像ＧＬのそれぞれの被写体の座標、左右のカメラ５Ｒ，５Ｌの焦点距離、及び、上記のカメラ間隔に起因するシフト量である視差とから、三角測量の原理に基づいて、被写体から右カメラ５Ｒの焦点までの距離ｚ_rを算出する。図２（ａ）では、の被写体は、ずり山Ｚ、ショベルカー３のアーム３３とバケット３４、及び、トンネル２の切羽２１とトンネル側壁２２とトンネル底面２３である。
なお、距離画像を作成するための距離データとしては、上記距離ｚ_rを用いてもよいが、本例では、この距離ｚ_rを、予め設定されたショベルカー３の本体３１の基準位置（例えば、本体３１の中心など）からの距離Ｚ_rに変換し、この変換された距離Ｚ_rを、距離画像作成手段６２に送るようにしている。
距離画像作成手段６２では、右画像ＧＲの座標（ｘ_r，ｙ_r）を含む画素の色を、予め設定した、前記の座標（ｘ_r，ｙ_r）の位置における距離Ｚの大きさに対応する色に変換することで、距離により色付けされた画像である距離画像ＧＺを作成する。
図２（ｂ）は距離画像ＧＺの一例を示す図で、被写体との距離Ｚ_rが小さい（ショベルカー３の本体３１に近い）ほど濃く表示し、距離Ｚ_rが大きい（ショベルカー３の本体３１から遠い）ほど薄く表示した。なお、カラー画像とする場合には、ショベルカー３の本体３１近いほど赤に近い色とし、ショベルカー３の本体３１から遠いほど青に近い色とす
ればよい。

入力手段６３は、右画像ＧＲ中の、距離画像に変換したい領域を指定するもので、本例では、表示装置７に装着されたマウスを用いた。
具体的には、図２（ｃ）の左側の図に示すように、右画像ＧＲを表示装置７のディスプレイ７Ｇ上に表示し、オペレータがマウスを動かすことで、右画像ＧＲの所定の領域Ｆを指定する。所定の領域は、矩形や円の枠が好適に用いられる。
距離データ抽出手段６４は、図２（ｃ）の右側の図に示すように、距離画像作成手段６２で作成した距離画像ＧＺのデータから、入力手段６３により指定された所定の領域Ｆｚ内の距離データを抽出して、合成距離画像作成手段６５に送る。なお、距離データは、カラー画像とする場合には、領域内の各画素の色データである。
合成距離画像作成手段６５では、図２（ｄ）に示すように、右画像ＧＲの所定の領域Ｆの画素データ（撮影データ）を、距離データ抽出手段６４で抽出された距離データに置き換えることで、所定の領域Ｆのみが距離データで、残りの部分が撮影データである画像、すなわち、距離画像とカメラで撮影されたカメラ画像とを合成した合成距離画像ＧＧを作成する。
表示装置７は、右画像ＧＲ、及び、合成距離画像ＧＧを、表示装置７のディスプレイ７Ｇに表示する。
車両制御装置８は、遠隔操作室１０に設置されて、ショベルカー３を遠隔操作する。

次に、ずり運搬用車両操作システム１の動作について、図３（ａ）のフローチャートを参照して説明する。
はじめに、ショベルカー３とダンプトラック４とを、ずり山がある地点(以下、現場という)まで移動させる（ステップＳ１０）。本例では、ショベルカー３を自動運転とし、ダンプトラック４については、運転手が走行させる形態とした。
次に、ステレオカメラ５により、現場の映像をステレオ撮影して合成距離画像を作成し、この合成距離画像を遠隔操作室１０の表示装置７のディスプレイ７Ｇ上に表示する（ステップＳ１１）。表示画面では、ずり山Ｚの一部とショベルカー３のバケット３４及びアーム３３とが写っている箇所を距離画像で表示する。合成距離画像の作成手順については、後述する。
オペレータは、ディスプレイ７Ｇに表示された距離画像を見ながら、ショベルカー３を遠隔操作して、ずり山Ｚからずりｚを採取して、ダンプトラック４の荷台４１に積み込む（ステップＳ１２）。
次に、ダンプトラック４に所定量のずりｚが積み込まれた否かを判定する（ステップＳ１３）。判定は、例えば、ダンプトラック４に荷重センサーを設置し、所定の重量が積み込まれたか否かを判定してもよいし、バケット３４による積込回数で判定してもよい。あるいは、ダンプトラック４の運転手が目視で判定してもよい。
ダンプトラック４に所定量のずりｚが積み込まれていない場合には、ステップＳ１１に戻って、ずりｚの積み込みを継続する。一方、ダンプトラック４に所定量のずりｚが積み込まれたと判定された場合には、ステップＳ１４に進み、ずりｚの回収が終了したか否かを判定する。判定は、にオペレータが、表示装置７のディスプレイ７Ｇ上に表示された右カメラ５Ｒもしくは左カメラ５Ｌのカメラ画像を参照して行う。
ずりｚの回収が終了していない場合には、ダンプトラック４を交代させる（ステップＳ１５）。具体的には、ずりｚが積み込まれたダンプトラック４をトンネル２の坑口付近に移動させるとともに、空のダンプトラック４を現場まで移動させる。
ずりｚの回収が終了した場合には、ずりｚが積み込まれたダンプトラック４をトンネル２の坑口付近まで戻すとともに、ショベルカー３とを遠隔操作にて回収して、作業を終了する。

次に、ステップＳ１１の距離画像の作成方法及び表示方法について、図３（ｂ）のフローチャートを参照して説明する。
まず、右カメラ５Ｒと左カメラ５Ｌとにより、少なくとも、ショベルカー３のバケット３４と切羽２１の手前に堆積されたずり山Ｚをステレオ撮影する（ステップＳ１１１）。なお、左右のカメラ画像には、ずりｚを採取する箇所である、ずり山Ｚの上側とバケット３４及びアーム３３の一部（バケット３４との接続部）とが映っていればよい。
次に、図４（ａ）に示すように、ステレオ撮影された左右のカメラ画像ＧＲ，ＧＬを用いて、一方のカメラ（ここでは、右カメラ５Ｒ）で撮影したカメラ画像に写っている被写体と右カメラとの距離ｚ_rを算出する（ステップＳ１１２）。本例では、この算出した距離ｚ_rを、予め設定されたショベルカー３の本体３１の中心からの距離Ｚ_rに変換するようにしている。
次に、右画像ＧＲの画素の色を、距離Ｚの大きさに対応する色に変換して距離画像ＧＺを作成する（ステップＳ１１３）。ここでは、座標（ｘ_r，ｙ_r）の位置における距離はＺ_rなので、右画像ＧＲの各座標（ｘ_r，ｙ_r）を含む画素は、それぞれ、距離Ｚ_rに対応する色に色付けされる。
ステップＳ１１４では、図４（ｂ）の左上の図に示すように、右画像ＧＲを表示装置７のディスプレイ７Ｇ上に表示するとともに、右画像ＧＲ中の所定の領域Ｆを指定する。
ステップＳ１１５では、図４（ｂ）の左下の図に示すように、ステップＳ１１３で作成した距離画像ＧＺから、ステップＳ１１４で指定された所定の領域Ｆｚの距離データを抽出する。
次に、図４（ｂ）の右図に示すように、ステップＳ１１５で抽出された距離データとカメラで撮影されたカメラ画像とを合成した合成距離画像を作成（ステップＳ１１６）した後、この合成距離画像をディスプレイ７Ｇ上に表示する（ステップＳ１１７）。

以上、本発明を実施の形態及び実施例を用いて説明したが、本発明の技術的範囲は前記実施の形態に記載の範囲には限定されない。前記実施の形態に、多様な変更または改良を加えることが可能であることが当業者にも明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。

例えば、前記実施の形態では、ステレオカメラ５をショベルカー３の本体３１の前方中央に１台設けたが、前方の左右にも設けるなど、複数台用いるようにすれば、複数の視点からショベルカー３の動きを把握することができる。
また、ステレオカメラ５の設置位置も、本体３１の前方だけでなく、ショベルカー３の本体３１の後方であってもよいし、本体３１の後方のみであってもよい。この場合も、作業場所の奥行き感をつかむには、ステレオカメラ５を複数台とすることが好ましい。これにより、ずり山Ｚとバケット３４との距離だけでなく、バケット３４とトンネル側壁２２との距離や、バケット３４とダンプトラック４の荷台４１との距離なども把握できる。
また、前記実施の形態では、右画像ＧＲの領域Ｆを距離画像としたが、予め右画像ＧＲを複数の領域に分割して番号付けしておき、指定された領域の番号（単数、もしくは、複数）の領域を距離画像としてもよい。
あるいは、ずり山Ｚ，アーム３３、バケット３４などの被写体を指定し、指定された被写体のみを距離画像としてもよい。但し、この場合には、予め、深層学習などの画像認識の手法を用いて被写体を認識させておく必要があることはいうまでもない。
また、前記実施の形態では、合成距離画像ＧＧを表示装置７のディスプレイ７Ｇ上に表示したが、ウェアブル端末メガネ等のウェアブル端末の画像として表示してもよい。これにより、ディスプレイ７Ｇ等が不要になるので、省スペース化が図れる。

また、前記実施の形態では、合成距離画像ＧＧを遠隔操作のモニターとして使用したが、合成距離画像ＧＧの使用例はこれに限るものではなく、例えば、トンネルの切羽や掘削面の管理に適用して、注目すべき箇所を距離画像とした合成距離画像をモニター画像とすれば、切羽や掘削面の凹凸状態を容易に把握することができる。
また、本発明の合成距離画像を、作業現場における機械と作業者との距離空間の把握に適用すれば、機械と作業者との距離が把握しやすくなるので、作業の安全性を更に向上させることができる。
また、本発明の合成距離画像は、クレーンと吊下げた荷物との距離の確認（上から見たときの、荷物の着地の確認）や、クレーンで吊下げた荷物と作業者との距離の確認（水平方向の距離確認）にも適用可能である。

１ずり運搬用車両操作システム、２トンネル、２１切羽、３ショベルカー、
３１ショベルカーの本体、３２ブーム、３３アーム、３４バケット、
３５カメラ台、３６走行手段、３７回転台、４ダンプトラック、
５ステレオカメラ、５Ｒ右カメラ、５Ｌ左カメラ、６画像処理装置、
６１距離算出手段、６２距離画像作成手段、６３入力手段、
６４距離データ抽出手段、６５合成距離画像作成手段、７表示装置、
７Ｇディスプレイ、８車両制御装置、１０遠隔操作室、Ｚずり山、ｚずり。

Claims

複数台のカメラで撮影したカメラ画像と、前記カメラ画像を用いて作成された距離画像とを合成した合成距離画像を作成する方法であって、
前記複数台のカメラのうちの２台のカメラでステレオ画像を撮影するステップと、
前記撮影されたステレオ画像を用いて、前記２台のカメラのうちの一方のカメラで撮影されたカメラ画像を距離画像に変換するステップと、
前記一方のカメラで撮影されたカメラ画像の所定の領域、または、所定の被写体を指定するステップと、
前記距離画像から前記指定された所定の領域、または、所定の被写体の距離データを抽出するステップと、
前記抽出された距離データと前記一方のカメラで撮影されたカメラ画像とを合成した合成距離画像を作成するステップと、
前記作成された合成距離画像を、モニター用画像として表示装置の表示画面に表示するステップと、
を備えたことを特徴とする合成距離画像の作成方法。
前記表示装置として、ウェアブル端末を用いたことを特徴とする請求項１に記載の合成距離画像の作成方法。
集積場所に積上げられた土砂と、前記土砂と前記土砂を採取する採取手段とを複数台のカメラで撮影したカメラ画像から、前記土砂と前記採取手段との距離を把握するためのモニター用画像を作成する方法であって、
前記複数台のカメラのうちの２台のカメラで、前記土砂と前記採取手段とを被写体としたステレオ画像を撮影するステップと、
前記撮影されたステレオ画像を用いて、前記２台のカメラのうちの一方のカメラで撮影されたカメラ画像を距離画像に変換するステップと、
前記一方のカメラで撮影されたカメラ画像の、少なくとも前記土砂と前記採取手段とを含む所定の領域を指定するステップと、
前記距離画像から前記指定された所定の領域の距離データを抽出するステップと、
前記抽出された距離データと前記一方のカメラで撮影されたカメラ画像とを合成した合成距離画像を作成するステップと、
前記作成された合成距離画像を、モニター用画像として表示装置の表示画面に表示するステップと、
を備えたことを特徴とする土砂採取モニター用画像の作成方法。
カメラ画像と距離画像とを合成した合成距離画像を作成する装置であって、
対象物を撮影する２台のカメラと、
前記２台のカメラでステレオ撮影された前記対象物のステレオ画像から、前記対象物と予め設定された観測点との距離を算出する距離算出手段と、
前記距離算出手段で算出された前記対象物と予め設定された観測点との距離のデータを用いて、前記２台のカメラのうちの一方のカメラで撮影されたカメラ画像を距離画像に変換する画像変換手段と、
前記一方のカメラで撮影されたカメラ画像の所定の領域、または、所定の被写体を指定する変換部指定手段と、
前記距離画像から前記指定された所定の領域、または、所定の被写体の距離データを抽出する抽出手段と、
前記抽出された距離データと前記一方のカメラで撮影されたカメラ画像とを合成した合成距離画像を作成する画像合成手段と、
前記作成された合成距離画像を、モニター用画像として表示画面に表示する表示装置と、
を備えたことを特徴とする合成距離画像の作成装置。