JP6605241B2 - 遠隔操縦システム - Google Patents
遠隔操縦システム Download PDFInfo
- Publication number
- JP6605241B2 JP6605241B2 JP2015135981A JP2015135981A JP6605241B2 JP 6605241 B2 JP6605241 B2 JP 6605241B2 JP 2015135981 A JP2015135981 A JP 2015135981A JP 2015135981 A JP2015135981 A JP 2015135981A JP 6605241 B2 JP6605241 B2 JP 6605241B2
- Authority
- JP
- Japan
- Prior art keywords
- remote control
- bucket
- control device
- arm
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Operation Control Of Excavators (AREA)
- Component Parts Of Construction Machinery (AREA)
- Selective Calling Equipment (AREA)
Description
特許文献1には、以下のように走行中の車両を遠隔操縦する際に操作性の低下を補うシステムが開示されている。すなわち、走行中の車両に搭載したカメラの映像が遠隔制御装置に表示されるまでの遅延時間を推定し、推定した遅延時間に応じてカメラの映像に重畳して例えば、車両の旋回操作基準点などを表示するマーカーの位置を調整する。
本発明は、作業機械を遠隔操縦する際、操作指令に対する作業機械の動作を遠隔制御装置側のモニタに表示するシステムに関する。このシステムでは、カメラで撮影して得た作業機械の映像信号を符号化映像信号にエンコードし、通信により遠隔制御装置に送信し、符号化映像信号をデコードしてモニタ表示する。その際、種々の原因で操作指令に対する表示画像に遅延が発生する。そこで、本発明では、遅延の発生が避けられない映像の表示に先駆けて、エンコード・デコード処理が不要なセンサ情報などに基づき作業機械の動作開始などを報知するものである。
以下、図1〜8を参照して、本発明による遠隔操縦システムの第1の実施の形態を説明する。
図1および図2は、遠隔操縦システム1の構成を示すブロック図である。遠隔操縦システム1は、地理的に離れた2つの地点、すなわち動作地点と操作地点にある複数の機器から構成される。動作地点とは、図1に示すように遠隔操縦される油圧ショベル100が動作する地点である。操作地点とは、図2に示すように遠隔制御装置70が設置される地点である。2つの地点間のデータの授受は通信ネットワーク15を介して行われる。
以下、図1、図2の順に構成を説明する。
(油圧ショベルの構成)
油圧ショベル100は、下部走行体100Aと、旋回モータ101と、上部旋回体100Bと、ブーム102Aと、アーム102Bと、バケット102Cと、車体コントローラ50と、コントロールバルブ110と、比例弁111とを備える。下部走行体100Aは、走行モータ105Rおよび走行モータ105Lを備える。走行モータ105Rおよび走行モータ105Lは、下部走行体100Aを駆動させる。旋回モータ101は、上部旋回体100Bを旋回駆動させる。
コントロールバルブ110は、これらのシリンダ103A〜103Cやモータ101、105R、105Lの駆動を個々に制御する複数のバルブ要素を備える。後述するD/A変換器54からの駆動信号により駆動されるパイロットバルブとしての比例弁111は、コントロールバルブ110のバルブ要素のそれぞれに駆動信号を与える。
油圧ショベル100は、ブーム角検出器104Aと、アーム角検出器104Bと、バケット角検出器104Cと、旋回角検出器104Dとを備える。ブーム角検出器104Aは、ブーム102Aの回転角度を検出してこれに比例した電気信号を出力する。アーム角検出器104Bは、アーム102Bの回転角度を検出してこれに比例した電気信号を出力する。バケット角検出器104Cは、バケット102Cの回転角度を検出してこれに比例した電気信号を出力する。旋回角検出器104Dは、上部旋回体100Bの旋回角度を検出してこれに比例した電気信号を出力する。以下では、ブーム角検出器104A、アーム角検出器104B、バケット角検出器104C、および旋回角検出器104Dをまとめて角度検出器104と呼ぶ。
車体コントローラ50は、油圧ショベル100に内蔵され、遠隔制御装置70から受信する操作信号に基づき比例弁111を制御して被駆動部102の駆動を制御する。詳細な説明は省くが、油圧ショベル100の搭載した操作レバーによっても被駆動部102が駆動される。車体コントローラ50は、演算を行うCPU51と、演算結果等を記憶するRAM52と、CPU51の処理手順を記憶するROM53と、比例弁111にアナログ信号を出力するD/A変換器54と、アナログ信号を取得するA/D変換器55と、車載画像送信部5Aと、車載通信部57とを備える。
D/A変換器54は、CPU51からの指令に基づき比例弁111に動作指令を出力する。すなわち、CPU51を起点として、D/A変換器54、比例弁111、およびコントロールバルブ110が動作することにより、被駆動部102が駆動される。しかし、一般の油圧ショベルにおいて、被駆動部102の質量が大きいため、D/A変換器54が比例弁111に動作指令である電気信号を出力してから被駆動部102の動作が開始するまでに0.2秒程度の時間を要することが多い。
上述したように、車載カメラ4により撮影された映像がエンコードされ、遠隔制御装置70に送信される時間より角度検出器104が検出する角度信号が遠隔制御装置70に送信される時間の方が短い。
遠隔操縦システム1は、車載カメラ4および外部カメラ2を備える。これらのカメラの視点は、油圧ショベル100の運転室からの視点、および少し離れた位置から油圧ショベル100の全体を俯瞰する視点である。
油圧ショベル100は、バケット102C付近を撮影する車載カメラ4を備える。車載カメラ4は上部旋回体100Bに備えられる運転室の上部に設けられ、車載カメラ4の光軸はバケット102Cの動作軸と交差する。すなわち、車載カメラ4はバケット102Cを斜めから観察するので、撮影して得られた映像からバケット102Cの奥行き方向の位置を容易に把握できる。
車載カメラ4および外部カメラ2は常時撮影を行っており、遠隔制御装置70からの動作指令にかかわらず、遠隔制御装置70に撮影して得られた映像を送信する。
遠隔操縦システム1は、操作地点の油圧ショベル100と通信を行うために、車載通信部57と、外部通信部13Bと、通信中継器13Cとを備える。車載通信部57と、外部通信部13Bと、通信中継器13Cとは、それぞれ無線アンテナ14A〜Cを備える。通信中継器13Cは、車載通信部57、および外部通信部13Bと無線により短距離の通信を行う。
図2に示すように、通信中継器13Cは、通信ネットワーク15を経由して操作地点の通信中継器13Cと通信を行う。通信ネットワーク15とは、構内LAN、インターネット回線、または専用通信回線である。
遠隔制御装置70は、所要の演算を行うCPU71と、CPU71の演算結果等を記憶するRAM72と、CPU71の処理手順を記憶するROM73と、スイッチ81の操作情報入力を取り込むDI74と、操作レバー80の信号をディジタル値に変換するA/D変換器75と、エンコードされた映像信号をデコードする画像受信部78A,78Bと、運転室視点モニタ82Aおよび俯瞰用モニタ82Bに映像を出力するモニタ出力部76と、操作地点と通信を行う通信部77とを備える。
ROM73には、後述する指令送信プログラム73Aと、姿勢描画プログラム73Bと、表示属性表73Cとが保存される。指令送信プログラム73A、および姿勢描画プログラム73Bは、RAM72に展開されてCPU71により実行される。
モニタ出力部76は、画像受信部78A,78Bが出力する映像信号に、CPU71が出力する映像を重畳して運転室視点モニタ82A、および俯瞰用モニタ82Bに出力する。
オペレータは、運転室視点モニタ82Aおよび俯瞰用モニタ82Bを見ながら操作レバー80を操作する。
姿勢描画プログラム73Bは、油圧ショベル100に取り付けられた角度検出器104の出力を用いて油圧ショベル100の姿勢を推定する。姿勢描画プログラム73Bはさらに、車載カメラ4の取付け位置・姿勢に基づき、車載カメラ4に撮影された画像内における被駆動部102の位置および姿勢を推定し、その外形を表す線図(以下、「推定線画」とも言う)をモニタ出力部76に出力する。推定線画の描画に用いられる線種は、後述する表示属性表73Cを用いて決定される。
姿勢描画プログラム73Bの演算は短時間、たとえば1ms以内に終了するため、上述した油圧ショベルの画像が車載カメラ4により撮影し、油圧ショベルの映像が運転室モニタに映し出されるよりも早い。従って、ある瞬間に油圧ショベル100が動いた場合に、その動きを車載カメラ4が撮影してその映像が運転室視点モニタ82Aから出力されるよりも先に、角度検出器104の出力に基づく姿勢描画プログラム73Bの推定結果が運転室視点モニタ82Aから出力される。
表示属性表73Cは、姿勢描画プログラム73Bが推定した油圧ショベル100の外形を描画する推定線画の線種の決定に用いられる表である。線種は、表示属性表73C、およびRAM72に保存される最終操作時刻toと最終受信時刻trとから決定される。最終操作時刻toは、操作信号を最後に出力した時刻であり、最終受信時刻trは操作信号に対する受信応答ACKを受信した時刻である。
図4を用いて、遠隔操縦システム1の動作例を説明する。
図4(A)〜(F)は、運転室視点モニタ82Aに表示される被駆動部102を示す図である。図4(D)を一例で説明すると、車載カメラ4により撮影されたアーム102Bとバケット102Cの実映像は斜線で示すアーム実画像102BGとバケット実画像102CGで示される。一方、姿勢描画プログラム73Bが推定する被駆動部102の位置・姿勢は、破線で示すアーム推定画像102BS、バケット推定線画102CSで示される。推定線画102BS,102CSの線種は、上述したように、図3に例示した表示属性表73Cを参照して決定される。なお、図4(A)〜(F)の右上にドットで示す領域はブーム102Aの一部の実映像である。
以下、図5〜8を参照して油圧ショベル100の車体コントローラ50が実行するプログラム、および遠隔制御装置70が実行するプログラムの動作を説明する。
図5は、遠隔制御装置70が実行する指令送信プログラム73Aの処理内容を示すフローチャートである。以下で説明する各ステップの実行主体は、遠隔制御装置70のCPU71である。遠隔制御装置70は、オペレータにより操作レバー80が操作されると、以下の動作を行う指令送信プログラム73Aを実行する。
ステップS700において、遠隔制御装置70は、A/D変換器75からオペレータによる操作レバー80の操作を電圧値として取得し、ステップS701に進む。
ステップS701において、遠隔制御装置70は、ステップS700において読み込んだ電圧値に対して既知のスケーリング変換を行い、電圧値を操作レバー80が操作された角度を示す数値に変換してステップS702に進む。
ステップS704において、遠隔制御装置70は、最終操作時刻toを現在時刻に更新し、ステップS700に戻る。
図6は、油圧ショベル100の車体コントローラ50が実行する車体操作プログラム53Aの処理内容を示すフローチャートである。以下で説明する各ステップの実行主体は、車体コントローラ50のCPU51である。車体コントローラ50は、車載通信部57が遠隔制御装置70から操作データを受信するたびに、以下の動作を行う車体情報送信プログラム53Bを実行する。換言すると、図5のステップS702が実行されるたびに、車体情報送信プログラム53Bが実行される。
ステップS500において、車体コントローラ50は、車載通信部57からCPU51に操作データを読み込み、ステップS501に進む。
ステップS502において、車体コントローラ50は、受信した角度を示す数値に基づきD/A変換器54に動作指令を出力し、ステップS503に進む。
ステップS503において、車体コントローラ50は、遠隔制御装置70に操作データを正常に受信したことを知らせるために、ACK信号を送信し、図6により動作が表されるプログラムを終了する。
図7は、油圧ショベル100の車体コントローラ50が実行する車体情報送信プログラム53Bの処理内容を示すフローチャートである。以下で説明する各ステップの実行主体は、車体コントローラ50のCPU51である。車体コントローラ50は、短い時間間隔ごと、たとえば0.01秒ごとに以下の動作を行う車体情報送信プログラム53Bを実行する。
ステップS510において、車体コントローラ50は、ブーム角検出器104A、アーム角検出器104B、バケット角検出器104C、および旋回角検出器104Dから角度を表す検出信号を電圧値として読み込み、ステップS511に進む。
ステップS512において、車体コントローラ50は、ステップS511において変換した4つの角度を車体情報として遠隔制御装置70に送信し、図7により動作が表されるプログラムを終了する。
図8は、遠隔制御装置70が実行する姿勢描画プログラム73Bの処理内容を示すフローチャートである。以下で説明する各ステップの実行主体は、遠隔制御装置70のCPU71である。遠隔制御装置70は、油圧ショベル100から車体情報またはACK信号を受信すると図8により動作が表されるプログラムを実行する。
ステップS710において、遠隔制御装置70は、受信したデータが、車体情報およびACK信号のいずれであるかを判断する。車体情報であると判断する場合はステップS711に進み、ACK信号であると判断する場合はステップS721に進む。
ステップS713において、遠隔制御装置70は、表示属性表73Cを参照し、最終操作時刻to、および最終受信時刻trに基づき、推定線画の表示に用いる線種を決定し、ステップS714に進む。
受信したデータがACK信号であると判断される場合に実行されるステップS721において、遠隔制御装置70は、最終受信時刻trを現在時刻に更新して図8により動作が表されるプログラムを終了する。
(1)遠隔操縦システム1は、遠隔制御装置70、および遠隔制御装置70と通信ネットワーク15により接続される作業機械、すなわち油圧ショベル100を備える。油圧ショベル100の少なくとも被駆動部102が遠隔制御装置70から操作される。遠隔制御装置70は、油圧ショベル100の少なくとも被駆動部102を操作する操作信号を生成する信号生成部、すなわちA/D変換器75と、作業機械に操作信号を送信し、作業機械の動作に関する情報、および符号化された被駆動部102の映像信号を受信する通信部77とを備える。遠隔制御装置70はさらに、符号化された被駆動部102の映像信号を復号化するデコード部と、デコード部が復号化した映像信号に基づく実映像を表示する表示部、すなわち運転室視点モニタ82Aと、デコード部における処理を経ずに、作業機械の動作に関する情報に基づいて操作信号による作業機械の動作を報知する報知部、すなわち運転室視点モニタ82Aとを備える。
そのため、オペレータは作業機械に操作指令が伝達されたことを映像の更新、すなわち映像の変化に先んじて知ることができる。たとえば、オペレータが入力操作を行ったにもかかわらず被駆動部102の実映像が変化しないと、入力操作が受け付けられていないと誤解して過大な入力を行う恐れがある。しかし本システムによれば、入力が伝達されたことが運転室視点モニタ82Aに表示される被駆動部102の外形線の線種が変化することにより、換言すると推定線画の変化により報知されるので、過大な入力がされる恐れがない。さらに、操作信号が届いているか否かの確認が可能となり、遠隔操縦システム1のトラブルシュートにも有効に機能する。
そのため、ACK信号を送信することにより作業機械が動作するのを待たずに迅速な応答が得られる。作業機械が動作したことによる変化をセンサで計測し、計測結果を送信することにより、動作が確実に行われたことを示すことができる。
運転室視点モニタ82Aは、実映像および推定線画を表示する。
そのため、被駆動部102がこれからどのように動作するかを、撮影した実映像よりも早期に、なおかつ視覚的に報知することができる。
そのため、算出された被駆動部102の位置・姿勢は、撮影した被駆動部102の実映像に重畳されて表示するので、オペレータは被駆動部102の動作方向や動作量を的確に把握できる。
そのため、油圧ショベル100は、遠隔制御装置70と協調して動作を行う。
(1)被駆動部102の全体に同一の表示属性を割り当てたが、個別に表示属性を割り当ててもよい。すなわち、ブーム102A、アーム102B、バケット102Cについて個別に最終操作時刻to、および最終受信時刻trを管理する。そして、ブーム102A、アーム102B、バケット102Cについて別々に線種を決定し、運転室視点モニタ82Aに表示する。これにより、ブーム102A、アーム102B、バケット102Cそれぞれの応答特性を把握することができる。
(3)油圧ショベル100が実行する車体操作プログラム53Aは、操作指令を正常に受信したことを示すACK信号に代えて、被駆動部102へ駆動指令を出力したことを遠隔制御装置70に送信してもよい。
(4)車載カメラ4は、遠隔制御装置70からの指令により動作可能であってもよい。すなわち、車載カメラ4がパン・チルト・ズーム機能を備え、遠隔制御装置70から操作可能であってもよい。この場合は、車載カメラ4により撮影される被駆動部102の位置および姿勢の推定(図8のステップS712)において、パン・チルト・ズームの設定値を参酌する。
(6)車載通信部57と、外部通信部13Bと、通信中継器13Cとの通信は、無線に限定されない。いずれか1か所、または複数が有線による通信を行ってもよい。
(7)遠隔操縦システム1は、通信中継器13Cを備えずに、車載通信部57、および外部通信部13Bが直接に通信部77と通信を行ってもよい。
(8)遠隔制御装置70は、油圧ショベル100を遠隔操縦したが遠隔操縦する対象はこれに限定されない。遠隔制御装置70が遠隔操縦を行う対象は、ホイールローダーやクレーンなどの、他の作業機械でもよい。
図9〜12を参照して、本発明にかかる遠隔操縦システム1の第2の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、運転室視点モニタ82Aに描画する実映像に重畳して表示する情報が第1の実施の形態と異なる。
図9は、第2の実施の形態における遠隔操縦システム1の構成を示すブロック図である。図9は、第1の実施の形態の図2に相当する。
第2に実施の形態における遠隔操縦システム1の構成は、遠隔制御装置70のROM73にさらに表示色表73Dが保存されている点が第1の実施の形態と主に異なる。また、ROM73に保存されている姿勢描画プログラム73Bの動作も異なる。
図10は、表示色表73Dの一例を示す図である。角速度の大きさと、それに対応する色および明るさが示されている。たとえば、角速度が0度付近であれば無色が選択され、角速度が大きくなると順に暗い赤、明るい赤へと変化する。角速度が0度から小さくなると、すなわちマイナス方向に大きくなると、暗い青、明るい青へと変化する。このとき、角速度のプラスとマイナスは、予め角度検出器104の動作方向に応じて設定する。本実施の形態では、アームやバケットを本体側に巻き込む方向をプラスと設定する。
遠隔制御装置70は、油圧ショベル100から受信する車体情報に基づき、運転室視点モニタ82Aのモニタ画像として、図11のような入力操作を示す画像情報を被駆動部102の実映像に重畳して表示する。オペレータによる入力操作を示す四方向矢印800L、800Rの外枠の線種と、操作方向を示すハッチングの色を以下のように決定する。
遠隔制御装置70は、第1の実施の形態において推定線画の線種を決定した手法を用いて、入力操作を示す表示の外枠の線種を決定する。すなわち、表示属性表73C、およびRAM72に保存される最終操作時刻toと最終受信時刻trとから線種を決定する。
遠隔制御装置70は、油圧ショベル100から受信した角度検出器104の検出した角度を対象に微分演算を行い、角速度を求める。遠隔制御装置70は、図10の表示色表73Dを参照して算出した微分値より求めた角速度に対応する色および明るさを決定し、操作方向を示すハッチングに用いる。
図11は、オペレータがアーム102Bを伸ばす操作を行っている場合の、運転室視点モニタ82Aの表示の一例である。図中の斜線で示すハッチング部は、車載カメラ4により撮影された被駆動部102の映像を示している。図中の2つの四方向矢印800L、800Rは、姿勢描画プログラム73Bにより作成された、オペレータによる入力操作を示す表示である。2つの四方向矢印800L、800Rの外枠は、破線を用いて表示されている。四方向矢印800Lの左方向のみが明るい青によりハッチングされ、四方向矢印800Lの他の方向、および四方向矢印800Rの全ての方向はハッチングされていない。
図12は、第1の実施の形態における図8のフローチャートに代わって、遠隔制御装置70が実行する姿勢描画プログラム73Bの処理内容を示すフローチャートである。遠隔制御装置70は、油圧ショベル100から車体情報またはACK信号を受信すると図12により動作が表されるプログラムを実行する。ここで、車体情報とは、ブーム角検出器104A、アーム角検出器104B、バケット角検出器104C、および旋回角検出器104Dの検出する角度を含む情報である。
ステップS731において、遠隔制御装置70は、今回受信した角度情報、および過去に受信した角度情報を用いて、ブーム角、アーム角、バケット角、旋回角の微分演算を行いステップS732に進む。
ステップS713aにおいて、遠隔制御装置70は、表示属性表73Cを参照し、最終操作時刻to、および最終受信時刻trに基づき、四方向矢印800L、800Rの外枠の表示に用いる線種を決定し、ステップS733に進む。
ステップS734において、遠隔制御装置70は、ステップS733において作成した四方向矢印800L、800Rの画像をモニタ出力部76に出力し、図12により動作が表されるプログラムを終了する。
(1)遠隔制御装置70は、受信した車体情報を用いてオペレータによる操作レバー80への操作入力を推定し、推定した操作入力を2つの四方向矢印800L、800Rとして運転室視点モニタ82Aに出力する。
そのため、オペレータは入力が正しく伝達されていることを、視覚的に確認することができる。
(2)遠隔制御装置70は、受信した車体情報を用いて被駆動部102の動作の有無および変化率の大きさを判断し、色および明るさを用いて運転室視点モニタ82Aに出力する。
そのため、形状だけでなく色と明るさの多彩な情報を用いて直感的に分かりやすく報知することができる。
(1)操作レバー80の推定操作表示に代えて、バケット102Cが移動する方向を表示してもよい。たとえば、図13に示すように運転室視点モニタ82Aに四方向矢印810を表示し、車体情報に基づきバケット102Cが移動する方向の矢印を他と異なる態様で表示してもよい。図13の例では、バケット102Cが左に移動することを示している。
(2)操作レバー80の推定操作表示に代えて、バケット102Cのクラウド・ダンプ動作を矢印で表示してもよい。たとえば、図14に示すように運転室視点モニタ82Aに、ダンプ動作を示す外向き矢印820Uと、クラウド動作を示す内向き矢印820Dを表示可能とする。遠隔制御装置70は、車体情報に基づきバケット102Cの動作にあわせて、外向き矢印820Uまたは内向き矢印820Dを表示してもよい。
さらに、動作中であることを運転室視点モニタ82Aに表示する代わりに、不図示のランプ、ブザー、または振動子を用いてオペレータに報知してもよい。動作しているか否かの判定は各部位の方向や動作速度を判定するシステムに比べて判定処理負荷が小さいが、動きだしの判定や衝突判定には有効であり、画像遅延の影響を低減した遠隔操作が可能となる。
(5)四方向矢印800L、800Rの外枠の線種は、最終操作時刻toと最終受信時刻trからの経過時間によらず一定の表示としてもよい。たとえば、常に四方向矢印800L、800Rの外枠の線種は破線として、ハッチング表示を行う四方向矢印800L、800Rの個所、およびハッチングの色・明るさを変化させてもよい。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
70 … 遠隔制御装置
77 … 通信部
78A … 画像受信部(デコード部)
82A … 運転室視点モニタ(報知部、表示部)
100 … 油圧ショベル(作業機械)
102 … 被駆動部
102A … ブーム(被駆動部)
102B … アーム(被駆動部)
102C … バケット(被駆動部)
104 … 角度検出器(センサ)
104A … ブーム角検出器(センサ)
104B … アーム角検出器(センサ)
104C … バケット角検出器(センサ)
Claims (2)
- 遠隔制御装置、および前記遠隔制御装置とネットワークにより接続される作業機械を備え、前記作業機械に設けられ、アームおよびバケットを有する被駆動部が、少なくとも前記遠隔制御装置からの操作信号に基づいて操作される遠隔操縦システムにおいて、
前記作業機械は、
前記アームの回転角度を検出するアーム角検出器と、
前記バケットの回転角度を検出するバケット角検出器と、を備え、
前記遠隔制御装置は、
前記操作信号を生成する信号生成部と、
前記作業機械に前記操作信号を送信し、前記アーム角検出器から出力された前記アームの回転角度に比例した電気信号および前記バケット角検出器から出力された前記バケットの回転角度に比例した電気信号、ならびに符号化された前記アームおよび前記バケットそれぞれの映像信号を受信する通信部と、
符号化された前記アームおよび前記バケットそれぞれの映像信号を復号化するデコード部と、
前記デコード部における復号化処理を経ずに、前記アーム角検出器および前記バケット角検出器それぞれの出力に基づき前記アームおよび前記バケットそれぞれの姿勢を推定し、この推定に基づく推定線画を生成する姿勢推定部と、
モニタに映像を出力するモニタ出力部と、を備え、
前記モニタ出力部は、前記デコード部が復号化した映像信号に基づく実映像に対して前記姿勢推定部によって推定された推定線画を重畳させて前記モニタに出力する
遠隔操縦システム。 - 請求項1に記載の遠隔操縦システムにおいて、
前記作業機械は、前記アームおよび前記バケットを撮影する撮像部を備え、
前記遠隔制御装置の前記姿勢推定部は、推定した前記アームおよび前記バケットそれぞれの姿勢ならびに前記撮像部の取付け位置および姿勢に基づき、前記撮像部で撮影された画像内における前記アームおよび前記バケットそれぞれの位置および姿勢を推定し、推定した前記アームおよび前記バケットそれぞれの外形を示す推定線画を生成する
遠隔操縦システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015135981A JP6605241B2 (ja) | 2015-07-07 | 2015-07-07 | 遠隔操縦システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015135981A JP6605241B2 (ja) | 2015-07-07 | 2015-07-07 | 遠隔操縦システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017022433A JP2017022433A (ja) | 2017-01-26 |
JP6605241B2 true JP6605241B2 (ja) | 2019-11-13 |
Family
ID=57889916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015135981A Active JP6605241B2 (ja) | 2015-07-07 | 2015-07-07 | 遠隔操縦システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6605241B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107119739A (zh) * | 2017-05-24 | 2017-09-01 | 成都跟驰科技有限公司 | 基于vr设备的挖掘机远程控制方法 |
JP6824856B2 (ja) * | 2017-09-29 | 2021-02-03 | 株式会社小松製作所 | 表示制御装置および表示制御方法 |
JP6933545B2 (ja) * | 2017-10-04 | 2021-09-08 | 株式会社小松製作所 | 作業車両、制御装置、および作業車両の制御方法 |
JP7063036B2 (ja) * | 2018-03-23 | 2022-05-09 | コベルコ建機株式会社 | 建設機械 |
JP6965852B2 (ja) * | 2018-08-31 | 2021-11-10 | 株式会社豊田自動織機 | 産業車両用遠隔操作システム |
AU2019371691A1 (en) | 2018-10-31 | 2021-02-25 | Komatsu Ltd. | Display control system and display control method |
JP7159797B2 (ja) * | 2018-11-09 | 2022-10-25 | コベルコ建機株式会社 | 作業選択システム及び作業選択方法 |
KR102090409B1 (ko) * | 2018-12-27 | 2020-03-17 | 한양대학교 에리카산학협력단 | 과부하 방지를 위한 원격 제어 굴삭기의 제어 장치 및 방법 |
JP7206956B2 (ja) * | 2019-01-28 | 2023-01-18 | コベルコ建機株式会社 | 作業機械 |
JP7287045B2 (ja) * | 2019-03-26 | 2023-06-06 | コベルコ建機株式会社 | 遠隔操作システム |
JP7376440B2 (ja) * | 2019-12-19 | 2023-11-08 | コベルコ建機株式会社 | 遠隔操作装置および遠隔操作システム |
EP4053346A4 (en) * | 2019-12-19 | 2023-01-11 | Kobelco Construction Machinery Co., Ltd. | REMOTE CONTROL DEVICE AND REMOTE CONTROL SYSTEM |
EP4115307A4 (en) * | 2020-03-04 | 2024-04-03 | Fort Robotics, Inc. | SECURE WIRELESS COMMUNICATION OF ROBOTIC SECURITY STATUS INFORMATION |
WO2024059132A1 (en) | 2022-09-13 | 2024-03-21 | Fort Robotics, Inc. | Method for decreasing probability of undetected errors on large messages over a black channel |
JP2024062209A (ja) * | 2022-10-24 | 2024-05-09 | 株式会社クボタ | 農業作業車及び制御システム |
JP2024080009A (ja) * | 2022-12-01 | 2024-06-13 | 株式会社小松製作所 | 操作システムおよび操作支援方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4830809B2 (ja) * | 2006-11-24 | 2011-12-07 | ソニー株式会社 | 遠隔制御装置および遠隔制御方法 |
JP2008144379A (ja) * | 2006-12-06 | 2008-06-26 | Shin Caterpillar Mitsubishi Ltd | 遠隔操縦作業機の画像処理システム |
JP5950607B2 (ja) * | 2012-02-15 | 2016-07-13 | 株式会社フジタ | 遠隔操作システム |
JPWO2014077046A1 (ja) * | 2012-11-13 | 2017-01-05 | ソニー株式会社 | 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム |
-
2015
- 2015-07-07 JP JP2015135981A patent/JP6605241B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017022433A (ja) | 2017-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6605241B2 (ja) | 遠隔操縦システム | |
JP4977667B2 (ja) | 作業機械の視野補助装置 | |
JP5868681B2 (ja) | 遠隔操縦車両システム | |
JP6972692B2 (ja) | 作業機械の周囲監視システム | |
US10721397B2 (en) | Image processing system using predefined stitching configurations | |
WO2021124654A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
JP7076501B2 (ja) | 作業車 | |
WO2020170526A1 (ja) | 作業機械用表示システム | |
WO2021153187A1 (ja) | 作業支援サーバおよび作業支援システム | |
JP7376440B2 (ja) | 遠隔操作装置および遠隔操作システム | |
AU2018201213B2 (en) | Command for underground | |
JP2012065225A (ja) | 車載用画像処理装置、周辺監視装置、および、車両 | |
JP6824856B2 (ja) | 表示制御装置および表示制御方法 | |
US20220412049A1 (en) | Work assisting server and method for selecting imaging device | |
EP3926107A1 (en) | A system, an off-board controller and method therein for remote operation of a working machine comprising a tool | |
JP2020002709A (ja) | 作業機械 | |
CN115210434A (zh) | 作业辅助服务器、作业辅助方法 | |
JP4300060B2 (ja) | 監視システム及び監視端末 | |
WO2021106278A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
WO2021020292A1 (ja) | 表示システム、遠隔操作システム、及び表示方法 | |
WO2020202426A1 (ja) | 制御ユニット及び自動動作システム | |
WO2021124858A1 (ja) | 遠隔操作装置および遠隔操作システム | |
WO2023100533A1 (ja) | 画像表示システム、遠隔操作支援システムおよび画像表示方法 | |
CN212515472U (zh) | 基于无线通信的无人驾驶系统和车辆 | |
JP7537222B2 (ja) | 画像提供システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20160914 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20161012 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161130 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180622 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190523 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190604 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190802 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191016 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6605241 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |