JP7366702B2 - 合成距離画像の作成方法、土砂採取モニター用画像の作成方法、及び、合成距離画像の作成装置 - Google Patents
合成距離画像の作成方法、土砂採取モニター用画像の作成方法、及び、合成距離画像の作成装置 Download PDFInfo
- Publication number
- JP7366702B2 JP7366702B2 JP2019207334A JP2019207334A JP7366702B2 JP 7366702 B2 JP7366702 B2 JP 7366702B2 JP 2019207334 A JP2019207334 A JP 2019207334A JP 2019207334 A JP2019207334 A JP 2019207334A JP 7366702 B2 JP7366702 B2 JP 7366702B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- camera
- creating
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002131 composite material Substances 0.000 title claims description 47
- 238000000034 method Methods 0.000 title claims description 23
- 239000013049 sediment Substances 0.000 title claims 5
- 238000005070 sampling Methods 0.000 title claims 3
- 238000012544 monitoring process Methods 0.000 title claims 2
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000004576 sand Substances 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000005527 soil sampling Methods 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 238000013075 data extraction Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 1
- 239000004567 concrete Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000004570 mortar (masonry) Substances 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
本発明は、例えば、建設機械の遠隔操作用のモニター画面に表示される画像の作成方法とその装置に関するもので、特に、作業現場の距離感を把握することのできる画像の作成に関する。
一般に、遠隔操作で建設作業をする際には、車載カメラや作業付近カメラで撮影した画像(以下、カメラ画像という)をモニターに表示し、オペレータがこの表示されたカメラ画像を参照して、建設機械を遠隔操作することが行われている。
その際、オペレータは、複数台のカメラとモニターにより、作業場所の距離感(奥行き感)をつかむようにしていた。これは、モニターに表示されるカメラ画像が二次元画像であるため、奥行き感がつかみにくいためである。
しかし、複数のカメラ画像を用いた場合でも、奥行き感の精度は、オペレータのセンスや経験によるところが大きいため、遠隔操作作業の作業効率は低いものとなっていた。
一方、車両自動運転等では、歩行者などの障害物との距離を計測するため、複数台のカメラを用いて撮影した画像をステレオ処理して、撮影した画像(カメラ画像)を当該車両から障害物までの距離を表す画像(距離画像)に変換する技術が知られている(例えば、特許文献1参照)。
その際、オペレータは、複数台のカメラとモニターにより、作業場所の距離感(奥行き感)をつかむようにしていた。これは、モニターに表示されるカメラ画像が二次元画像であるため、奥行き感がつかみにくいためである。
しかし、複数のカメラ画像を用いた場合でも、奥行き感の精度は、オペレータのセンスや経験によるところが大きいため、遠隔操作作業の作業効率は低いものとなっていた。
一方、車両自動運転等では、歩行者などの障害物との距離を計測するため、複数台のカメラを用いて撮影した画像をステレオ処理して、撮影した画像(カメラ画像)を当該車両から障害物までの距離を表す画像(距離画像)に変換する技術が知られている(例えば、特許文献1参照)。
しかしながら、上記の距離画像は、一般に、距離により色付けされた画像なので、通常のカメラ画像に比較して、被写体が見づらいといった問題点があった。
本発明は、上記従来の問題点に鑑みてなされたもので、作業現場における距離感を把握し易いカメラ画像を作成する方法を提供することを目的とする。
本発明は、複数台のカメラで撮影したカメラ画像と、前記カメラ画像を用いて作成された距離画像とを合成した合成距離画像を作成する方法であって、前記複数台のカメラのうちの2台のカメラでステレオ画像を撮影するステップと、前記撮影されたステレオ画像を用いて、前記2台のカメラのうちの一方のカメラで撮影されたカメラ画像を距離画像に変換するステップと、前記一方のカメラで撮影されたカメラ画像の所定の領域、または、所定の被写体を指定するステップと、前記距離画像から前記指定された所定の領域、または、所定の被写体の距離データを抽出するステップと、前記抽出された距離データと前記一方のカメラで撮影されたカメラ画像とを合成した合成距離画像を作成するステップと、前記作成された合成距離画像を、モニター用画像として表示装置の表示画面に表示するステップと、を備えたことを特徴とする。
このように、撮影されたカメラ画像のうちの必要な箇所のみを距離画像として表示するようにしたので、従来の距離画像に比較して、画像の見やすさを大幅に改善することができるだけでなく、カメラ画像と距離画像との切換えも不要となる。したがって、この合成距離画像を、例えば、遠隔操作作業のモニター画面に表示するカメラ画像とすれば、作業効率を大幅に向上させることができる。
なお、遠隔操作作業のモニターに適用する場合には、ステレオ撮影する一対のカメラを複数箇所に設置して、異なる視点から合成距離画像を取得し、これらの合成距離画像をモニター画面に表示すれば、被写体に対する距離感をより確実に把握できる。
また、前記表示装置として、作業員が装着可能な表示手段であるウェアブル端末を用いたので、ディスプレイ、キーボード等が不要となり、入出力装置もシンプルになるので、装置の省スペース化を図ることができる。このとき、ウェアブル端末として、メガネタイプのウェアブル端末を使用すれば、目の視点から画像が確認できるので、被写体に対する距離感の把握が更に容易となる。
このように、撮影されたカメラ画像のうちの必要な箇所のみを距離画像として表示するようにしたので、従来の距離画像に比較して、画像の見やすさを大幅に改善することができるだけでなく、カメラ画像と距離画像との切換えも不要となる。したがって、この合成距離画像を、例えば、遠隔操作作業のモニター画面に表示するカメラ画像とすれば、作業効率を大幅に向上させることができる。
なお、遠隔操作作業のモニターに適用する場合には、ステレオ撮影する一対のカメラを複数箇所に設置して、異なる視点から合成距離画像を取得し、これらの合成距離画像をモニター画面に表示すれば、被写体に対する距離感をより確実に把握できる。
また、前記表示装置として、作業員が装着可能な表示手段であるウェアブル端末を用いたので、ディスプレイ、キーボード等が不要となり、入出力装置もシンプルになるので、装置の省スペース化を図ることができる。このとき、ウェアブル端末として、メガネタイプのウェアブル端末を使用すれば、目の視点から画像が確認できるので、被写体に対する距離感の把握が更に容易となる。
また、本発明は、集積場所に積上げられた土砂と、前記土砂と前記土砂を採取する採取手段とを複数台のカメラで撮影したカメラ画像から、前記土砂と前記採取手段との距離を把握するためのモニター用画像を作成する方法であって、前記複数台のカメラのうちの2台のカメラで、前記土砂と前記採取手段とを被写体としたステレオ画像を撮影するステップと、前記撮影されたステレオ画像を用いて、前記2台のカメラのうちの一方のカメラで撮影されたカメラ画像を距離画像に変換するステップと、前記一方のカメラで撮影されたカメラ画像の、少なくとも前記土砂と前記採取手段とを含む所定の領域を指定するステップと、前記距離画像から前記指定された所定の領域の距離データを抽出するステップと、
前記抽出された距離データと前記一方のカメラで撮影されたカメラ画像とを合成した合成距離画像を作成するステップと、前記作成された合成距離画像を、モニター用画像として表示装置の表示画面に表示するステップと、を備えたことを特徴とする。
このように、土砂と採取手段とが映っている領域のみを距離画像とした画像をモニター用画像として表示するようにしたので、カメラ画像と距離画像との切換えも不要となるだけでなく、土砂と採取手段との距離感を確実に把握することができる。
前記抽出された距離データと前記一方のカメラで撮影されたカメラ画像とを合成した合成距離画像を作成するステップと、前記作成された合成距離画像を、モニター用画像として表示装置の表示画面に表示するステップと、を備えたことを特徴とする。
このように、土砂と採取手段とが映っている領域のみを距離画像とした画像をモニター用画像として表示するようにしたので、カメラ画像と距離画像との切換えも不要となるだけでなく、土砂と採取手段との距離感を確実に把握することができる。
また、本発明は、カメラ画像と距離画像とを合成した合成距離画像を作成する合成距離画像の作成装置であって、対象物を撮影する2台のカメラと、前記2台のカメラでステレオ撮影された前記対象物のステレオ画像から、前記対象物と予め設定された観測点との距離を算出する距離算出手段と、前記距離算出手段で算出された前記対象物と予め設定された観測点との距離のデータを用いて、前記2台のカメラのうちの一方のカメラで撮影されたカメラ画像を距離画像に変換する画像変換手段と、前記一方のカメラで撮影されたカメラ画像の所定の領域、または、所定の被写体を指定する変換部指定手段と、前記距離画像から前記指定された所定の領域、または、所定の被写体の距離データを抽出する抽出手段と、前記抽出された距離データと前記一方のカメラで撮影されたカメラ画像とを合成した合成距離画像を作成する画像合成手段と、前記作成された合成距離画像を、モニター用画像として表示画面に表示する表示装置と、を備えたことを特徴とする。
このような構成を採ることにより、従来の距離画像に比較して、画像の見やすさを大幅に改善することのできる画像を作成する装置を得ることができる。
このような構成を採ることにより、従来の距離画像に比較して、画像の見やすさを大幅に改善することのできる画像を作成する装置を得ることができる。
なお、前記発明の概要は、本発明の必要な全ての特徴を列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。この明細書において、コンクリートは、モルタルも含むものとする。
図1(a),(b)は、ずり運搬用車両操作システム1を示す図で、2はトンネル、3はショベルカー、4はダンプトラック、5はステレオカメラ、6は画像処理装置、7は表示装置、8は車両制御装置である。
ずり運搬用車両操作システム1は、トンネル2を掘削したときに発生した土砂(以下、ずりzという)をショベルカー3により採取し、これをダンプトラック4の荷台41に積み込んで、トンネル2の図示しない坑口近傍まで運搬するもので、遠隔操作室10にて、図示しないオペレータが、作業現場を撮影したカメラ画像と、ステレオ撮影したステレオ画像を用いて作成された距離画像とを合成した合成距離画像を参照しながら、ショベルカー3を遠隔操作してずりzを採取する。なお、ショベルカー3、車両制御装置8により遠隔操作される。また、本例では、ダンプトラック4については遠隔操作をしていないが、ダンプトラック4についても遠隔操作してもよい。
なお、以下、ずりzを集積場所に集めて積上げたものをずり山Zという。
ステレオカメラ5はショベルカー3に設置され、画像処理装置6、表示装置7、及び、車両制御装置8は、遠隔操作室10に設置される。
遠隔操作室10は、トンネル2内もしくは地上などのトンネル切羽21から離れた箇所に設置されるが、ずり山Zの近傍の、ショベルカー3の採取作業が目視困難な箇所にて、オペレータが、ショベルカー3の遠隔操作を行ってもよい。
ずり運搬用車両操作システム1は、トンネル2を掘削したときに発生した土砂(以下、ずりzという)をショベルカー3により採取し、これをダンプトラック4の荷台41に積み込んで、トンネル2の図示しない坑口近傍まで運搬するもので、遠隔操作室10にて、図示しないオペレータが、作業現場を撮影したカメラ画像と、ステレオ撮影したステレオ画像を用いて作成された距離画像とを合成した合成距離画像を参照しながら、ショベルカー3を遠隔操作してずりzを採取する。なお、ショベルカー3、車両制御装置8により遠隔操作される。また、本例では、ダンプトラック4については遠隔操作をしていないが、ダンプトラック4についても遠隔操作してもよい。
なお、以下、ずりzを集積場所に集めて積上げたものをずり山Zという。
ステレオカメラ5はショベルカー3に設置され、画像処理装置6、表示装置7、及び、車両制御装置8は、遠隔操作室10に設置される。
遠隔操作室10は、トンネル2内もしくは地上などのトンネル切羽21から離れた箇所に設置されるが、ずり山Zの近傍の、ショベルカー3の採取作業が目視困難な箇所にて、オペレータが、ショベルカー3の遠隔操作を行ってもよい。
合成距離画像は、ステレオカメラ5、画像処理装置6、及び、表示装置7を用いて作成される。
ステレオカメラ5は、ショベルカー3の本体31に設置された同一仕様の2台のカメラ(右カメラ5Rと左カメラ5L)を備え、ショベルカー3の本体31の前方にあるショベルカー3のブーム32、アーム33、バケット34、及び、ずり山Zなどを被写体として撮影する。本例では、ステレオカメラ5を、本体31の前方に設置されたカメラ台35に搭載した。なお、本体31とは、無限軌道などの走行手段36に、回転台37を介して搭載されて、ブーム32、アーム33、及び、バケット34を支持する旋回部を指す。
ここで、前方とは、本体31が回転していないときのショベルカー3の進行方向(図1の切羽21の方向)を指す。
図1(b)に示すように、カメラ台35は、ショベルカー3の本体31の前方に立設された基台35aと、右カメラ5Rと左カメラ5Lとは平行等位になるように支持する支持部35bとを備える。本例では、支持部35bを基台35aに取付ける際に、ステレオカメラ5の光軸がやや上方を向くように取付けているが、支持部35bを基台35aに、上下方向及び左右方向に回転可能に取付けるようにし、遠隔操作にて、ステレオカメラ5の撮影方向を変更できるようにしてもよい。
また、右カメラ5Rと左カメラ5Lとは、距離の測定か可能なように、光軸、カメラ間距離、レンズ歪も含めて、予めキャリブレーションされているものとする。
ステレオカメラ5は、ショベルカー3の本体31に設置された同一仕様の2台のカメラ(右カメラ5Rと左カメラ5L)を備え、ショベルカー3の本体31の前方にあるショベルカー3のブーム32、アーム33、バケット34、及び、ずり山Zなどを被写体として撮影する。本例では、ステレオカメラ5を、本体31の前方に設置されたカメラ台35に搭載した。なお、本体31とは、無限軌道などの走行手段36に、回転台37を介して搭載されて、ブーム32、アーム33、及び、バケット34を支持する旋回部を指す。
ここで、前方とは、本体31が回転していないときのショベルカー3の進行方向(図1の切羽21の方向)を指す。
図1(b)に示すように、カメラ台35は、ショベルカー3の本体31の前方に立設された基台35aと、右カメラ5Rと左カメラ5Lとは平行等位になるように支持する支持部35bとを備える。本例では、支持部35bを基台35aに取付ける際に、ステレオカメラ5の光軸がやや上方を向くように取付けているが、支持部35bを基台35aに、上下方向及び左右方向に回転可能に取付けるようにし、遠隔操作にて、ステレオカメラ5の撮影方向を変更できるようにしてもよい。
また、右カメラ5Rと左カメラ5Lとは、距離の測定か可能なように、光軸、カメラ間距離、レンズ歪も含めて、予めキャリブレーションされているものとする。
画像処理装置6は、距離算出手段61と、距離画像作成手段62と、変換部指定手段である入力手段63と、距離データ抽出手段64と、合成距離画像作成手段65とを備え、カメラ画像(ここでは、右カメラ5Rで撮影されたカメラ画像)と、右カメラ5Rと左カメラ5Lとにより撮影された画像(ステレオ画像)から作成した距離画像とを合成した合成距離画像を作成する。
距離算出手段61では、図2(a)に示す、右カメラ5Rにより撮影された画像(右画像GR)と、左カメラ5Lにより撮影された画像(左画像GL)とから、カメラ(ここでは、右カメラ5R)と被写体との距離zrを算出する。
具体的には、左右のカメラ5R,5Lのカメラ間隔、右画像GRと左画像GLのそれぞれの被写体の座標、左右のカメラ5R,5Lの焦点距離、及び、上記のカメラ間隔に起因するシフト量である視差とから、三角測量の原理に基づいて、被写体から右カメラ5Rの焦点までの距離zrを算出する。図2(a)では、の被写体は、ずり山Z、ショベルカー3のアーム33とバケット34、及び、トンネル2の切羽21とトンネル側壁22とトンネル底面23である。
なお、距離画像を作成するための距離データとしては、上記距離zrを用いてもよいが、本例では、この距離zrを、予め設定されたショベルカー3の本体31の基準位置(例えば、本体31の中心など)からの距離Zrに変換し、この変換された距離Zrを、距離画像作成手段62に送るようにしている。
距離画像作成手段62では、右画像GRの座標(xr,yr)を含む画素の色を、予め設定した、前記の座標(xr,yr)の位置における距離Zの大きさに対応する色に変換することで、距離により色付けされた画像である距離画像GZを作成する。
図2(b)は距離画像GZの一例を示す図で、被写体との距離Zrが小さい(ショベルカー3の本体31に近い)ほど濃く表示し、距離Zrが大きい(ショベルカー3の本体31から遠い)ほど薄く表示した。なお、カラー画像とする場合には、ショベルカー3の本体31近いほど赤に近い色とし、ショベルカー3の本体31から遠いほど青に近い色とす
ればよい。
距離算出手段61では、図2(a)に示す、右カメラ5Rにより撮影された画像(右画像GR)と、左カメラ5Lにより撮影された画像(左画像GL)とから、カメラ(ここでは、右カメラ5R)と被写体との距離zrを算出する。
具体的には、左右のカメラ5R,5Lのカメラ間隔、右画像GRと左画像GLのそれぞれの被写体の座標、左右のカメラ5R,5Lの焦点距離、及び、上記のカメラ間隔に起因するシフト量である視差とから、三角測量の原理に基づいて、被写体から右カメラ5Rの焦点までの距離zrを算出する。図2(a)では、の被写体は、ずり山Z、ショベルカー3のアーム33とバケット34、及び、トンネル2の切羽21とトンネル側壁22とトンネル底面23である。
なお、距離画像を作成するための距離データとしては、上記距離zrを用いてもよいが、本例では、この距離zrを、予め設定されたショベルカー3の本体31の基準位置(例えば、本体31の中心など)からの距離Zrに変換し、この変換された距離Zrを、距離画像作成手段62に送るようにしている。
距離画像作成手段62では、右画像GRの座標(xr,yr)を含む画素の色を、予め設定した、前記の座標(xr,yr)の位置における距離Zの大きさに対応する色に変換することで、距離により色付けされた画像である距離画像GZを作成する。
図2(b)は距離画像GZの一例を示す図で、被写体との距離Zrが小さい(ショベルカー3の本体31に近い)ほど濃く表示し、距離Zrが大きい(ショベルカー3の本体31から遠い)ほど薄く表示した。なお、カラー画像とする場合には、ショベルカー3の本体31近いほど赤に近い色とし、ショベルカー3の本体31から遠いほど青に近い色とす
ればよい。
入力手段63は、右画像GR中の、距離画像に変換したい領域を指定するもので、本例では、表示装置7に装着されたマウスを用いた。
具体的には、図2(c)の左側の図に示すように、右画像GRを表示装置7のディスプレイ7G上に表示し、オペレータがマウスを動かすことで、右画像GRの所定の領域Fを指定する。所定の領域は、矩形や円の枠が好適に用いられる。
距離データ抽出手段64は、図2(c)の右側の図に示すように、距離画像作成手段62で作成した距離画像GZのデータから、入力手段63により指定された所定の領域Fz内の距離データを抽出して、合成距離画像作成手段65に送る。なお、距離データは、カラー画像とする場合には、領域内の各画素の色データである。
合成距離画像作成手段65では、図2(d)に示すように、右画像GRの所定の領域Fの画素データ(撮影データ)を、距離データ抽出手段64で抽出された距離データに置き換えることで、所定の領域Fのみが距離データで、残りの部分が撮影データである画像、すなわち、距離画像とカメラで撮影されたカメラ画像とを合成した合成距離画像GGを作成する。
表示装置7は、右画像GR、及び、合成距離画像GGを、表示装置7のディスプレイ7Gに表示する。
車両制御装置8は、遠隔操作室10に設置されて、ショベルカー3を遠隔操作する。
具体的には、図2(c)の左側の図に示すように、右画像GRを表示装置7のディスプレイ7G上に表示し、オペレータがマウスを動かすことで、右画像GRの所定の領域Fを指定する。所定の領域は、矩形や円の枠が好適に用いられる。
距離データ抽出手段64は、図2(c)の右側の図に示すように、距離画像作成手段62で作成した距離画像GZのデータから、入力手段63により指定された所定の領域Fz内の距離データを抽出して、合成距離画像作成手段65に送る。なお、距離データは、カラー画像とする場合には、領域内の各画素の色データである。
合成距離画像作成手段65では、図2(d)に示すように、右画像GRの所定の領域Fの画素データ(撮影データ)を、距離データ抽出手段64で抽出された距離データに置き換えることで、所定の領域Fのみが距離データで、残りの部分が撮影データである画像、すなわち、距離画像とカメラで撮影されたカメラ画像とを合成した合成距離画像GGを作成する。
表示装置7は、右画像GR、及び、合成距離画像GGを、表示装置7のディスプレイ7Gに表示する。
車両制御装置8は、遠隔操作室10に設置されて、ショベルカー3を遠隔操作する。
次に、ずり運搬用車両操作システム1の動作について、図3(a)のフローチャートを参照して説明する。
はじめに、ショベルカー3とダンプトラック4とを、ずり山がある地点(以下、現場という)まで移動させる(ステップS10)。本例では、ショベルカー3を自動運転とし、ダンプトラック4については、運転手が走行させる形態とした。
次に、ステレオカメラ5により、現場の映像をステレオ撮影して合成距離画像を作成し、この合成距離画像を遠隔操作室10の表示装置7のディスプレイ7G上に表示する(ステップS11)。表示画面では、ずり山Zの一部とショベルカー3のバケット34及びアーム33とが写っている箇所を距離画像で表示する。合成距離画像の作成手順については、後述する。
オペレータは、ディスプレイ7Gに表示された距離画像を見ながら、ショベルカー3を遠隔操作して、ずり山Zからずりzを採取して、ダンプトラック4の荷台41に積み込む(ステップS12)。
次に、ダンプトラック4に所定量のずりzが積み込まれた否かを判定する(ステップS13)。判定は、例えば、ダンプトラック4に荷重センサーを設置し、所定の重量が積み込まれたか否かを判定してもよいし、バケット34による積込回数で判定してもよい。あるいは、ダンプトラック4の運転手が目視で判定してもよい。
ダンプトラック4に所定量のずりzが積み込まれていない場合には、ステップS11に戻って、ずりzの積み込みを継続する。一方、ダンプトラック4に所定量のずりzが積み込まれたと判定された場合には、ステップS14に進み、ずりzの回収が終了したか否かを判定する。判定は、にオペレータが、表示装置7のディスプレイ7G上に表示された右カメラ5Rもしくは左カメラ5Lのカメラ画像を参照して行う。
ずりzの回収が終了していない場合には、ダンプトラック4を交代させる(ステップS15)。具体的には、ずりzが積み込まれたダンプトラック4をトンネル2の坑口付近に移動させるとともに、空のダンプトラック4を現場まで移動させる。
ずりzの回収が終了した場合には、ずりzが積み込まれたダンプトラック4をトンネル2の坑口付近まで戻すとともに、ショベルカー3とを遠隔操作にて回収して、作業を終了する。
はじめに、ショベルカー3とダンプトラック4とを、ずり山がある地点(以下、現場という)まで移動させる(ステップS10)。本例では、ショベルカー3を自動運転とし、ダンプトラック4については、運転手が走行させる形態とした。
次に、ステレオカメラ5により、現場の映像をステレオ撮影して合成距離画像を作成し、この合成距離画像を遠隔操作室10の表示装置7のディスプレイ7G上に表示する(ステップS11)。表示画面では、ずり山Zの一部とショベルカー3のバケット34及びアーム33とが写っている箇所を距離画像で表示する。合成距離画像の作成手順については、後述する。
オペレータは、ディスプレイ7Gに表示された距離画像を見ながら、ショベルカー3を遠隔操作して、ずり山Zからずりzを採取して、ダンプトラック4の荷台41に積み込む(ステップS12)。
次に、ダンプトラック4に所定量のずりzが積み込まれた否かを判定する(ステップS13)。判定は、例えば、ダンプトラック4に荷重センサーを設置し、所定の重量が積み込まれたか否かを判定してもよいし、バケット34による積込回数で判定してもよい。あるいは、ダンプトラック4の運転手が目視で判定してもよい。
ダンプトラック4に所定量のずりzが積み込まれていない場合には、ステップS11に戻って、ずりzの積み込みを継続する。一方、ダンプトラック4に所定量のずりzが積み込まれたと判定された場合には、ステップS14に進み、ずりzの回収が終了したか否かを判定する。判定は、にオペレータが、表示装置7のディスプレイ7G上に表示された右カメラ5Rもしくは左カメラ5Lのカメラ画像を参照して行う。
ずりzの回収が終了していない場合には、ダンプトラック4を交代させる(ステップS15)。具体的には、ずりzが積み込まれたダンプトラック4をトンネル2の坑口付近に移動させるとともに、空のダンプトラック4を現場まで移動させる。
ずりzの回収が終了した場合には、ずりzが積み込まれたダンプトラック4をトンネル2の坑口付近まで戻すとともに、ショベルカー3とを遠隔操作にて回収して、作業を終了する。
次に、ステップS11の距離画像の作成方法及び表示方法について、図3(b)のフローチャートを参照して説明する。
まず、右カメラ5Rと左カメラ5Lとにより、少なくとも、ショベルカー3のバケット34と切羽21の手前に堆積されたずり山Zをステレオ撮影する(ステップS111)。なお、左右のカメラ画像には、ずりzを採取する箇所である、ずり山Zの上側とバケット34及びアーム33の一部(バケット34との接続部)とが映っていればよい。
次に、図4(a)に示すように、ステレオ撮影された左右のカメラ画像GR,GLを用いて、一方のカメラ(ここでは、右カメラ5R)で撮影したカメラ画像に写っている被写体と右カメラとの距離zrを算出する(ステップS112)。本例では、この算出した距離zrを、予め設定されたショベルカー3の本体31の中心からの距離Zrに変換するようにしている。
次に、右画像GRの画素の色を、距離Zの大きさに対応する色に変換して距離画像GZを作成する(ステップS113)。ここでは、座標(xr,yr)の位置における距離はZrなので、右画像GRの各座標(xr,yr)を含む画素は、それぞれ、距離Zrに対応する色に色付けされる。
ステップS114では、図4(b)の左上の図に示すように、右画像GRを表示装置7のディスプレイ7G上に表示するとともに、右画像GR中の所定の領域Fを指定する。
ステップS115では、図4(b)の左下の図に示すように、ステップS113で作成した距離画像GZから、ステップS114で指定された所定の領域Fzの距離データを抽出する。
次に、図4(b)の右図に示すように、ステップS115で抽出された距離データとカメラで撮影されたカメラ画像とを合成した合成距離画像を作成(ステップS116)した後、この合成距離画像をディスプレイ7G上に表示する(ステップS117)。
まず、右カメラ5Rと左カメラ5Lとにより、少なくとも、ショベルカー3のバケット34と切羽21の手前に堆積されたずり山Zをステレオ撮影する(ステップS111)。なお、左右のカメラ画像には、ずりzを採取する箇所である、ずり山Zの上側とバケット34及びアーム33の一部(バケット34との接続部)とが映っていればよい。
次に、図4(a)に示すように、ステレオ撮影された左右のカメラ画像GR,GLを用いて、一方のカメラ(ここでは、右カメラ5R)で撮影したカメラ画像に写っている被写体と右カメラとの距離zrを算出する(ステップS112)。本例では、この算出した距離zrを、予め設定されたショベルカー3の本体31の中心からの距離Zrに変換するようにしている。
次に、右画像GRの画素の色を、距離Zの大きさに対応する色に変換して距離画像GZを作成する(ステップS113)。ここでは、座標(xr,yr)の位置における距離はZrなので、右画像GRの各座標(xr,yr)を含む画素は、それぞれ、距離Zrに対応する色に色付けされる。
ステップS114では、図4(b)の左上の図に示すように、右画像GRを表示装置7のディスプレイ7G上に表示するとともに、右画像GR中の所定の領域Fを指定する。
ステップS115では、図4(b)の左下の図に示すように、ステップS113で作成した距離画像GZから、ステップS114で指定された所定の領域Fzの距離データを抽出する。
次に、図4(b)の右図に示すように、ステップS115で抽出された距離データとカメラで撮影されたカメラ画像とを合成した合成距離画像を作成(ステップS116)した後、この合成距離画像をディスプレイ7G上に表示する(ステップS117)。
以上、本発明を実施の形態及び実施例を用いて説明したが、本発明の技術的範囲は前記実施の形態に記載の範囲には限定されない。前記実施の形態に、多様な変更または改良を加えることが可能であることが当業者にも明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。
例えば、前記実施の形態では、ステレオカメラ5をショベルカー3の本体31の前方中央に1台設けたが、前方の左右にも設けるなど、複数台用いるようにすれば、複数の視点からショベルカー3の動きを把握することができる。
また、ステレオカメラ5の設置位置も、本体31の前方だけでなく、ショベルカー3の本体31の後方であってもよいし、本体31の後方のみであってもよい。この場合も、作業場所の奥行き感をつかむには、ステレオカメラ5を複数台とすることが好ましい。これにより、ずり山Zとバケット34との距離だけでなく、バケット34とトンネル側壁22との距離や、バケット34とダンプトラック4の荷台41との距離なども把握できる。
また、前記実施の形態では、右画像GRの領域Fを距離画像としたが、予め右画像GRを複数の領域に分割して番号付けしておき、指定された領域の番号(単数、もしくは、複数)の領域を距離画像としてもよい。
あるいは、ずり山Z,アーム33、バケット34などの被写体を指定し、指定された被写体のみを距離画像としてもよい。但し、この場合には、予め、深層学習などの画像認識の手法を用いて被写体を認識させておく必要があることはいうまでもない。
また、前記実施の形態では、合成距離画像GGを表示装置7のディスプレイ7G上に表示したが、ウェアブル端末メガネ等のウェアブル端末の画像として表示してもよい。これにより、ディスプレイ7G等が不要になるので、省スペース化が図れる。
また、ステレオカメラ5の設置位置も、本体31の前方だけでなく、ショベルカー3の本体31の後方であってもよいし、本体31の後方のみであってもよい。この場合も、作業場所の奥行き感をつかむには、ステレオカメラ5を複数台とすることが好ましい。これにより、ずり山Zとバケット34との距離だけでなく、バケット34とトンネル側壁22との距離や、バケット34とダンプトラック4の荷台41との距離なども把握できる。
また、前記実施の形態では、右画像GRの領域Fを距離画像としたが、予め右画像GRを複数の領域に分割して番号付けしておき、指定された領域の番号(単数、もしくは、複数)の領域を距離画像としてもよい。
あるいは、ずり山Z,アーム33、バケット34などの被写体を指定し、指定された被写体のみを距離画像としてもよい。但し、この場合には、予め、深層学習などの画像認識の手法を用いて被写体を認識させておく必要があることはいうまでもない。
また、前記実施の形態では、合成距離画像GGを表示装置7のディスプレイ7G上に表示したが、ウェアブル端末メガネ等のウェアブル端末の画像として表示してもよい。これにより、ディスプレイ7G等が不要になるので、省スペース化が図れる。
また、前記実施の形態では、合成距離画像GGを遠隔操作のモニターとして使用したが、合成距離画像GGの使用例はこれに限るものではなく、例えば、トンネルの切羽や掘削面の管理に適用して、注目すべき箇所を距離画像とした合成距離画像をモニター画像とすれば、切羽や掘削面の凹凸状態を容易に把握することができる。
また、本発明の合成距離画像を、作業現場における機械と作業者との距離空間の把握に適用すれば、機械と作業者との距離が把握しやすくなるので、作業の安全性を更に向上させることができる。
また、本発明の合成距離画像は、クレーンと吊下げた荷物との距離の確認(上から見たときの、荷物の着地の確認)や、クレーンで吊下げた荷物と作業者との距離の確認(水平方向の距離確認)にも適用可能である。
また、本発明の合成距離画像を、作業現場における機械と作業者との距離空間の把握に適用すれば、機械と作業者との距離が把握しやすくなるので、作業の安全性を更に向上させることができる。
また、本発明の合成距離画像は、クレーンと吊下げた荷物との距離の確認(上から見たときの、荷物の着地の確認)や、クレーンで吊下げた荷物と作業者との距離の確認(水平方向の距離確認)にも適用可能である。
1 ずり運搬用車両操作システム、2 トンネル、21 切羽、3 ショベルカー、
31 ショベルカーの本体、32 ブーム、33 アーム、34 バケット、
35 カメラ台、36 走行手段、37 回転台、4 ダンプトラック、
5 ステレオカメラ、5R 右カメラ、5L 左カメラ、6 画像処理装置、
61 距離算出手段、62 距離画像作成手段、63 入力手段、
64 距離データ抽出手段、65 合成距離画像作成手段、7 表示装置、
7G ディスプレイ、8 車両制御装置、10 遠隔操作室、Z ずり山、z ずり。
31 ショベルカーの本体、32 ブーム、33 アーム、34 バケット、
35 カメラ台、36 走行手段、37 回転台、4 ダンプトラック、
5 ステレオカメラ、5R 右カメラ、5L 左カメラ、6 画像処理装置、
61 距離算出手段、62 距離画像作成手段、63 入力手段、
64 距離データ抽出手段、65 合成距離画像作成手段、7 表示装置、
7G ディスプレイ、8 車両制御装置、10 遠隔操作室、Z ずり山、z ずり。
Claims (4)
- 複数台のカメラで撮影したカメラ画像と、前記カメラ画像を用いて作成された距離画像とを合成した合成距離画像を作成する方法であって、
前記複数台のカメラのうちの2台のカメラでステレオ画像を撮影するステップと、
前記撮影されたステレオ画像を用いて、前記2台のカメラのうちの一方のカメラで撮影されたカメラ画像を距離画像に変換するステップと、
前記一方のカメラで撮影されたカメラ画像の所定の領域、または、所定の被写体を指定するステップと、
前記距離画像から前記指定された所定の領域、または、所定の被写体の距離データを抽出するステップと、
前記抽出された距離データと前記一方のカメラで撮影されたカメラ画像とを合成した合成距離画像を作成するステップと、
前記作成された合成距離画像を、モニター用画像として表示装置の表示画面に表示するステップと、
を備えたことを特徴とする合成距離画像の作成方法。 - 前記表示装置として、ウェアブル端末を用いたことを特徴とする請求項1に記載の合成距離画像の作成方法。
- 集積場所に積上げられた土砂と、前記土砂と前記土砂を採取する採取手段とを複数台のカメラで撮影したカメラ画像から、前記土砂と前記採取手段との距離を把握するためのモニター用画像を作成する方法であって、
前記複数台のカメラのうちの2台のカメラで、前記土砂と前記採取手段とを被写体としたステレオ画像を撮影するステップと、
前記撮影されたステレオ画像を用いて、前記2台のカメラのうちの一方のカメラで撮影されたカメラ画像を距離画像に変換するステップと、
前記一方のカメラで撮影されたカメラ画像の、少なくとも前記土砂と前記採取手段とを含む所定の領域を指定するステップと、
前記距離画像から前記指定された所定の領域の距離データを抽出するステップと、
前記抽出された距離データと前記一方のカメラで撮影されたカメラ画像とを合成した合成距離画像を作成するステップと、
前記作成された合成距離画像を、モニター用画像として表示装置の表示画面に表示するステップと、
を備えたことを特徴とする土砂採取モニター用画像の作成方法。 - カメラ画像と距離画像とを合成した合成距離画像を作成する装置であって、
対象物を撮影する2台のカメラと、
前記2台のカメラでステレオ撮影された前記対象物のステレオ画像から、前記対象物と予め設定された観測点との距離を算出する距離算出手段と、
前記距離算出手段で算出された前記対象物と予め設定された観測点との距離のデータを用いて、前記2台のカメラのうちの一方のカメラで撮影されたカメラ画像を距離画像に変換する画像変換手段と、
前記一方のカメラで撮影されたカメラ画像の所定の領域、または、所定の被写体を指定する変換部指定手段と、
前記距離画像から前記指定された所定の領域、または、所定の被写体の距離データを抽出する抽出手段と、
前記抽出された距離データと前記一方のカメラで撮影されたカメラ画像とを合成した合成距離画像を作成する画像合成手段と、
前記作成された合成距離画像を、モニター用画像として表示画面に表示する表示装置と、
を備えたことを特徴とする合成距離画像の作成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019207334A JP7366702B2 (ja) | 2019-11-15 | 2019-11-15 | 合成距離画像の作成方法、土砂採取モニター用画像の作成方法、及び、合成距離画像の作成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019207334A JP7366702B2 (ja) | 2019-11-15 | 2019-11-15 | 合成距離画像の作成方法、土砂採取モニター用画像の作成方法、及び、合成距離画像の作成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021079762A JP2021079762A (ja) | 2021-05-27 |
JP7366702B2 true JP7366702B2 (ja) | 2023-10-23 |
Family
ID=75963925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019207334A Active JP7366702B2 (ja) | 2019-11-15 | 2019-11-15 | 合成距離画像の作成方法、土砂採取モニター用画像の作成方法、及び、合成距離画像の作成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7366702B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022044155A (ja) * | 2020-09-07 | 2022-03-17 | 株式会社Subaru | 画像処理装置 |
WO2024009832A1 (ja) * | 2022-07-05 | 2024-01-11 | ソニーセミコンダクタソリューションズ株式会社 | システム及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006318059A (ja) | 2005-05-10 | 2006-11-24 | Olympus Corp | 画像処理装置、画像処理方法、および画像処理用プログラム |
JP2014224410A (ja) | 2013-05-16 | 2014-12-04 | 住友建機株式会社 | 作業機械用周辺監視装置 |
JP2020002718A (ja) | 2018-06-29 | 2020-01-09 | 株式会社小松製作所 | 表示制御装置、および表示制御方法 |
-
2019
- 2019-11-15 JP JP2019207334A patent/JP7366702B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006318059A (ja) | 2005-05-10 | 2006-11-24 | Olympus Corp | 画像処理装置、画像処理方法、および画像処理用プログラム |
JP2014224410A (ja) | 2013-05-16 | 2014-12-04 | 住友建機株式会社 | 作業機械用周辺監視装置 |
JP2020002718A (ja) | 2018-06-29 | 2020-01-09 | 株式会社小松製作所 | 表示制御装置、および表示制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021079762A (ja) | 2021-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2799630B1 (en) | Image display device for shovel | |
EP2899496B1 (en) | Periphery-information acquisition device for vehicle | |
AU2022209235B2 (en) | Display control device and display control method | |
JP5108350B2 (ja) | 油圧ショベルの作業量計測方法および作業量計測装置 | |
WO2017061518A1 (ja) | 施工管理システム、施工管理方法、及び管理装置 | |
CN103890282A (zh) | 作业机械的周围监视装置 | |
US10997889B2 (en) | Display control device, display control method, program, and display system | |
JP7366702B2 (ja) | 合成距離画像の作成方法、土砂採取モニター用画像の作成方法、及び、合成距離画像の作成装置 | |
AU2019292458B2 (en) | Display control system, display control device, and display control method | |
JP7071203B2 (ja) | 作業機械 | |
AU2019292457B2 (en) | Display control device, display control system, and display control method | |
AU2022241486A1 (en) | Display control system and display control method | |
JP2016065422A (ja) | 外界認識装置および外界認識装置を用いた掘削機械 | |
JP2016181119A (ja) | 移動機器の周囲状況提示システム | |
KR101144727B1 (ko) | 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템 | |
WO2020121933A1 (ja) | 建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置 | |
EP3499438A1 (en) | Method and system providing augmented reality for mining operations | |
JP2020183696A (ja) | 建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置 | |
US20220412049A1 (en) | Work assisting server and method for selecting imaging device | |
JP6815462B2 (ja) | 形状計測システム及び形状計測方法 | |
JP6616149B2 (ja) | 施工方法、作業機械の制御システム及び作業機械 | |
JP6689763B2 (ja) | ショベル | |
JP6598552B2 (ja) | 位置計測システム | |
JP6915181B1 (ja) | 刃口境界部判定システム及びプログラム | |
JP6689945B2 (ja) | ショベル及びショベルの表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220909 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231011 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7366702 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |