JP7318258B2

JP7318258B2 - 遠隔操作システムおよび遠隔操作サーバ

Info

Publication number: JP7318258B2
Application number: JP2019058104A
Authority: JP
Inventors: 真輝大谷; 均佐々木; 誠司佐伯; 洋一郎山▲崎▼
Original assignee: Kobelco Construction Machinery Co Ltd
Current assignee: Kobelco Construction Machinery Co Ltd
Priority date: 2019-03-26
Filing date: 2019-03-26
Publication date: 2023-08-01
Anticipated expiration: 2039-03-26
Also published as: WO2020194882A1; EP3923569A4; EP3923569B1; CN113615164A; JP2020161933A; EP3923569A1; US20220186465A1; US11732440B2

Description

本発明は、作業機械等を遠隔操作するためのシステムに関する。

作業機械を遠隔操作する技術が提案されている（例えば、特許文献１参照）。

特開２０１６－０７６８０１号公報

しかし、作業機械の遠隔操作のスキルに劣る一のオペレータが、そのスキルを向上させる観点から、スキルに優れた他のオペレータによる作業機械の遠隔操作態様を把握することが好ましい。

そこで、本発明は、一のオペレータが他のオペレータによる作業機械の遠隔操作態様を把握する観点から、適当な情報を当該一のオペレータに対して提供しうるシステムを提供することを目的とする。

本発明は、作動機構の少なくとも一部を含む環境を撮像する撮像装置を有している作業機械と、前記作業機械の前記撮像装置により取得された撮像画像データに応じた環境画像を表示する第１画像出力装置および第２画像出力装置と、前記第１画像出力装置を備える第１遠隔操作装置と、前記第１遠隔操作装置を操作するオペレータの視線を検知する視線検知器と、前記第２画像出力装置を備える第２遠隔操作装置と、を備えている遠隔操作システムに関する。
前記視線検知器により検知された前記オペレータの視線を基に前記第１画像出力装置に表示されている前記環境画像における前記オペレータの注目領域を特定し、前記第２画像出力装置に表示されている前記環境画像に特定した前記注目領域をその周囲の画像領域とは異なる形態で表示させる。

当該構成の遠隔操作システムによれば、第２遠隔操作装置を通じて作業機械を操作する一のオペレータが、第１遠隔操作装置を通じて作業機械を操作する他のオペレータによる作業機械の遠隔操作態様として、当該他のオペレータの注目している対象を把握する観点から、画像出力装置に表示される環境画像のうち周囲の画像領域よりも強調的に表示されている指定画像領域を適当な情報として当該一のオペレータに対して提供しうる。

本発明は、作動機構および当該作動機構の少なくとも一部を含む環境を撮像する撮像装置を有している作業機械と、無線通信機能を用いて前記作業機械の前記撮像装置により取得された撮像画像データに応じた環境画像を表示する画像出力装置および前記作業機械を遠隔操作するための操作機構を有している第１遠隔操作装置および第２遠隔操作装置のそれぞれとの相互通信機能を有する遠隔操作サーバに関する。
前記遠隔操作サーバは、前記第１隔操作装置を操作するオペレータの視線に応じた視線検知データを基に前記第１画像出力装置に表示されている前記環境画像における前記オペレータの注目領域を特定し、前記第２画像出力装置に表示されている前記環境画像に特定した前記注目領域をその周囲の画像領域とは異なる形態で表示させる。

当該構成の遠隔操作サーバによれば、第２遠隔操作装置を通じて作業機械を操作する一のオペレータが、第１遠隔操作装置を通じて作業機械を操作する他のオペレータによる作業機械の遠隔操作態様として、当該他のオペレータの注目している対象を把握する観点から、画像出力装置に表示される環境画像のうち周囲の画像領域よりも強調的に表示されている指定画像領域を適当な情報として当該一のオペレータに対して提供しうる。

本発明の一実施形態としての遠隔操作システムの構成に関する説明図。作業機械の構成に関する説明図。第１遠隔操作装置の構成に関する説明図。本発明の一実施形態としての遠隔操作システムの機能に関する説明図。第１画像出力装置における画像出力態様に関する説明図。第２画像出力装置における画像出力の第１態様に関する説明図。第２画像出力装置における画像出力の第２態様に関する説明図。第２画像出力装置における画像出力の第３態様に関する説明図。第２画像出力装置における画像出力の第４態様に関する説明図。本発明の他の実施形態としての遠隔操作システムに関する説明図。

（構成）
図１に示されている本発明の一実施形態としての遠隔操作システムは、第１遠隔操作装置１０と、第２遠隔操作装置２０と、作業機械４０と、を備えている。共通の作業機械４０の遠隔操作主体は、第１遠隔操作装置１０および第２遠隔操作装置２０の間で切り替え可能である。

（作業機械の構成）
作業機械４０は、作業機械制御装置４００と、撮像装置４０１と、無線通信機器４０２と、作動機構４４０と、を備えている。作業機械制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

作業機械４０は、例えばクローラショベル（建設機械）であり、図２に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ（運転室）４２２が設けられている。上部旋回体４２０の前方中央部には作業アタッチメント４４０が設けられている。

作動機構としての作業アタッチメント４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業アタッチメント４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

撮像装置４０１は、例えばキャブ４２２の内部に設置され、キャブ４２２のフロントウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。

第１遠隔操作装置１０を構成する操作レバー（後述）に対応する実機側操作レバーと、遠隔操作室から各操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットと、がキャブ４２２に設けられている。

（第１遠隔操作装置の構成）
第１遠隔装置１０は、第１クライアント制御装置１００と、第１入力インターフェース１１０と、第１出力インターフェース１２０と、を備えている。第１クライアント制御装置１００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。第１入力インターフェース１１０は、第１操作機構１１１と、視線検知器１１２と、を備えている。第１出力インターフェース１２０は、第１画像出力装置１２１と、第１無線通信機器１２２と、を備えている。

第１操作機構１１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、ブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）はアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）はバケットシリンダ４４６を動かすために操作される。

第１操作機構１１１を構成する各操作レバーは、例えば、図３に示されているように、オペレータが着座するためのシート１１００の周囲に配置されている。シート１１００は、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態でもよい。

シート１１００の前方に左右のクローラに応じた左右一対の走行レバー１１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図３に示されているシート１１００の右側フレームの前方に設けられている右側操作レバー１１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図３に示されているシート１１００の左側フレームの前方に設けられている左側操作レバー１１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

第１画像出力装置１２１は、例えば図３に示されているように、シート１１００の右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置１２１１、前方画像出力装置１２１２および左斜め前方画像出力装置１２１３により構成されている。当該画像出力装置１２１１～１２１３は、スピーカ（音声出力装置）をさらに備えていてもよい。

視線検知器１１２は、シート１１００に着座したオペレータの目の基準点（動かない部分）に対する動点（動く部分）の位置に基づいて、当該オペレータの視線を検知する。基準点として「目頭」の位置を定め、動点として「虹彩」の位置を定める場合、視線検知器１１２は、一または複数の可視光カメラにより構成される。基準点として「角膜反射」の位置を定め、動点として「瞳孔」の位置を定める場合、視線検知器１１２は、赤外線ＬＥＤおよび赤外線カメラの一または複数の組により構成される。オペレータの目の動きに加えてオペレータの頭部の動きが検知され、視線検知器１１２の位置および姿勢がオペレータの視線をとらえるのに最適な位置および姿勢に変更されてもよい。この場合、複数の視線検知器１１２のうちオペレータの視線をとらえるのに最適な一の視線検知器１１２が切り替えられてもよい。

視線検知器１１２により取得された撮像画像において、第１オペレータの目の基準点および動点のそれぞれに対応する画素領域が定められる。当該画素領域に対応する実空間位置が定められることで、実空間におけるオペレータの視線を表わすベクトル（始点位置および終点位置）が定められる。目の実空間位置を定めるために付加的に測距センサが用いられてもよい。実空間における画像出力装置１２１１～１２１３のそれぞれの表示画像座標系を表わす平面において、当該ベクトルとの交点が、オペレータの視線が向けられている表示画像における注目領域の中心として定められる。

（第２遠隔操作装置の構成）第２遠隔操作装置２０は、第２クライアント制御装置２００と、第２入力インターフェース２１０と、第２出力インターフェース２２０と、を備えている。第２クライアント制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。第２入力インターフェース２１０は、第２操作機構２１１を備えている。第２出力インターフェース２２０は、第２画像出力装置２２１と、第２無線通信機器２２２と、を備えている。

第２遠隔操作装置２０の詳細な構成は、視線検知器１１２が省略されていること、および、後述する第２クライアント制御装置２００の機能のほかは第１遠隔操作装置１０の構成とほぼ同様であるため、説明を省略する（図３参照）。

（機能）
第１遠隔操作装置１０において、第１オペレータにより所定の操作が行われる（図４／ＳＴＥＰ１０２）。所定の操作は、例えば、第１入力インターフェース１１０または第１操作機構１１１を構成するボタンまたは操作レバーの操作である。これに応じて、第１クライアント制御装置１００により、第１無線通信機器１２２を通じて、第１遠隔操作装置１０から作業機械４０に対して操作開始指令が送信される（図４／ＳＴＥＰ１０４）。

同様に、第２遠隔操作装置２０において、第２オペレータにより所定の操作が行われる（図４／ＳＴＥＰ２０２）。所定の操作は、例えば、第２入力インターフェース２１０または第２操作機構２１１を構成するボタンまたは操作レバーの操作である。これに応じて、第２クライアント制御装置２００により、第２無線通信機器２２２を通じて、第２遠隔操作装置２０から作業機械４０に対して操作開始指令が送信される（図４／ＳＴＥＰ２０４）。

作業機械４０において、作業機械制御装置４００により無線通信機器４０２を通じて操作開始指令が受信される（図４／ＳＴＥＰ４０２）。これに応じて、作業機械制御装置４００が撮像装置４０１に指令を出力し、当該指令に応じて撮像装置４０１により撮像画像が取得される（図４／ＳＴＥＰ４０４）。作業機械制御装置４００により、無線通信機器４０２を通じて、当該撮像画像を表わす撮像画像データが第１遠隔操作装置１０および第２遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ４０６）。

第１遠隔操作装置１０において、第１クライアント制御装置１００により、第１無線通信機器１２２を通じて撮像画像データが受信される（図４／ＳＴＥＰ１０６）。第１クライアント制御装置１００により、撮像画像データに応じた環境画像（撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な環境画像）が第１画像出力装置１２１に表示される（図４／ＳＴＥＰ１０８）。同様に、第２遠隔操作装置２０において、第２クライアント制御装置２００により、第２無線通信機器２２２を通じて撮像画像データが受信される（図４／ＳＴＥＰ２０６）。第２クライアント制御装置２００により、撮像画像データに応じた環境画像が第２画像出力装置２２１に表示される（図４／ＳＴＥＰ２０８）。これにより、例えば、図５に示されているように、作動機構としての作業アタッチメント４４０の一部であるブーム４４１、アーム４４３、バケット４４５およびアームシリンダ４４４が含まれている環境画像が第１画像出力装置１２１および第２画像出力装置２２１のそれぞれに表示される。

第１遠隔操作装置１０において、第１オペレータにより第１操作機構１１１が操作され（図４／ＳＴＥＰ１１０）、これに応じて、第１クライアント制御装置１００により、第１無線通信機器１２２を通じて、当該操作態様に応じた操作指令が作業機械４０に対して送信される（図４／ＳＴＥＰ１１２）。

作業機械４０において、作業機械制御装置４００により無線通信機器４０２を通じて操作指令が受信される（図４／ＳＴＥＰ４０８）。これに応じて、作業機械制御装置４００により、作業アタッチメント４４０等の動作が制御される（図４／ＳＴＥＰ４１０）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４２０を旋回させたうえでバケット４４５から土を落とす作業が実行される。

第１遠隔操作装置１０において、視線検知器１１２により第１オペレータの視線が検知される（図４／ＳＴＥＰ１１４）。これにより、第１画像出力装置１２１に表示されている環境画像における当該第１オペレータの注目領域が特定される。第１クライアント制御装置１００により、第１無線通信機器１２２を通じて、当該視線検知結果に応じた視線検知データが第２遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１６）。

第２遠隔操作装置２０において、第２クライアント制御装置２００により、第２無線通信機器２２２を通じて視線検知データが受信される（図４／ＳＴＥＰ２１０）。第２クライアント制御装置２００により、当該視線検知データにより特定される画像領域が他の画像領域よりも強調されて第２画像出力装置２２１に表示される（図４／ＳＴＥＰ２１２）。例えば、第１オペレータの視線、ひいては環境画像の注目領域がバケット４４５に相当する画像領域である場合、当該画像領域が「指定画像領域」として周囲の画像領域よりも目立つように強調表示される。

図６Ａに示されているように、ポインタなどの図形がバケット４４５に相当する画像領域を含む指定画像領域Ｓに重畳表示されてもよい。図６Ｂに示されているように、バケット４４５に相当する指定画像領域Ｓを囲む円図形などの図形が表示されてもよい。図６Ｃに示されているように、バケット４４５に相当する画像領域を含む矩形状の指定画像領域Ｓの画質が他の画像領域の画質よりも高くされてもよい。これにより、指定画像領域Ｓがカラー画像で表示される一方で他の画像領域がグレースケール画像で表示されてもよい。また、指定画像領域Ｓが他の画像領域よりも高解像度の画像で表示されてもよい。図６Ｄに示されているように、バケット４４５に相当する画像領域を含む矩形状の指定画像領域Ｓの明度が他の画像領域の明度よりも高くされてもよい。

（効果）
当該構成の遠隔操作システムによれば、第２遠隔操作装置２０を通じて作業機械４０を操作する第２オペレータが、第１遠隔操作装置１０を通じて作業機械４０を操作する第１オペレータによる作業機械４０の遠隔操作態様として、当該第１オペレータの注目している対象を把握する観点から、第２画像出力装置２２１に表示される環境画像のうち周囲の画像領域よりも強調的に表示されている指定画像領域を適当な情報として当該第２オペレータに対して提供しうる（図４／ＳＴＥＰ２１２および図６Ａ～図６Ｄ参照）。第２オペレータは、第２画像出力装置２２１に表示された環境画像において強調表示された指定画像領域の視認を通じて、第１オペレータによる操作レバーの動かし方または操作態様を認識することができる。

（本発明の他の実施形態）
前記実施形態では、第１遠隔操作装置１０、第２遠隔操作装置２０および作業機械４０が無線通信方式にしたがって直接的に相互通信したが、他の実施形態として、図７に示されている遠隔操作サーバ３０を介して第１遠隔操作装置１０、第２遠隔操作装置２０および作業機械４０が間接的に相互通信してもよい。

遠隔操作サーバ３０は、第１サーバ演算処理要素３１と、第２サーバ演算処理要素３２と、を備えている。第１サーバ演算処理要素３１は、第１遠隔操作装置１０において検知されたオペレータの視線に応じた視線検知データを、第１遠隔操作装置１０から受信する。第２サーバ演算処理要素３２は、視線検知データを第２遠隔操作装置２０に対して送信することにより、第２画像出力装置２２１に指定画像領域を、その周囲の画像領域とは異なる形態で表示させる（図６Ａ～図６Ｄ参照）。

１０‥第１遠隔操作装置、２０‥第２遠隔操作装置、３０‥遠隔操作サーバ、３１‥第１サーバ演算処理要素、３２‥第２サーバ演算処理要素、４０‥作業機械、１００‥第１クライアント制御装置、１１０‥第１入力インターフェース、１１１‥第１操作機構、１１２‥視線検知器、１２０‥第１出力インターフェース、１２１‥第１画像出力装置、１２２‥第１無線通信機器、２００‥第２クライアント制御装置、２１０‥第２入力インターフェース、２１１‥第２操作機構、２２０‥第２出力インターフェース、２２１‥第２画像出力装置、２２２‥第２無線通信機器、４０１‥撮像装置、４０２‥無線通信機器、４４０‥作業アタッチメント（作動機構）。

Claims

作動機構を有している作業機械を遠隔操作するための遠隔操作システムであって、
前記作動機構の少なくとも一部を含む環境を撮像するように前記作業機械に備えられる撮像装置と、
前記撮像装置により取得された撮像画像データに応じた環境画像を表示する第１画像出力装置および第２画像出力装置と、
前記第１画像出力装置を備える第１遠隔操作装置と、
前記第１遠隔操作装置を操作するオペレータの視線を検知する視線検知器と、
前記第２画像出力装置を備える第２遠隔操作装置と、を備え、
前記視線検知器により検知された前記オペレータの視線を基に前記第１画像出力装置に表示されている前記環境画像における前記オペレータの注目領域を特定し、前記第２画像出力装置に表示されている前記環境画像に特定した前記注目領域をその周囲の画像領域とは異なる形態で表示させることを特徴とする遠隔操作システム。
作動機構の少なくとも一部を含む環境を撮像する撮像装置を有している作業機械と、第１画像出力装置を備えている第１遠隔操作装置および第２画像出力装置を備えている第２遠隔操作装置のそれぞれとの相互通信機能を有する遠隔操作サーバであって、
前記第１画像出力装置および前記第２画像出力装置は、前記撮像装置により取得された撮像画像データに応じた環境画像を表示するものであり、
前記遠隔操作サーバは、前記第１遠隔操作装置を操作するオペレータの視線に応じた視線検知データを基に前記第１画像出力装置に表示されている前記環境画像における前記オペレータの注目領域を特定し、前記第２画像出力装置に表示されている前記環境画像に特定した前記注目領域をその周囲の画像領域とは異なる形態で表示させることを特徴とする遠隔操作サーバ。