JP4229827B2 - 遠隔操作システム - Google Patents

Description

この発明は、連続画像を撮像し連続画像データとして操作装置に無線通信すると共に、操作装置からの動作指示により動作を変更する作業装置と、作業装置からの連続画像データを受け取ると共に、作業装置に動作指示を出す操作装置からなる遠隔操作システムに関する。

従来、遠隔操作システムに関して、例えば、特開平７−３０６１５５号公報に示される原子力細管を検査するロボット装置では、撮像素子を設けた移動ユニットの移動時に画像信号の輪郭信号を送信し、受信し復号された輪郭信号をもとにデータベースを利用して対応する画像データを探し出し、輪郭内を埋めて擬似画像を作成するようにし、また静止時には高精細信号を送信することにより、移動時の大まかな状況把握と静止時の高精細画像の撮像が行えるようにした構成のものが開示されている。また、特開平１１−３２０４６７号公報に開示された危険箇所の診断/ 測定や薬剤散布等を行なうロボット装置では、作業用ロボット本体と遠隔操作ボックスやテレビモニタとの間を、制御用と画像観察用とを分けて通信している態様が示されている。
特開平７−３０６１５５号公報 特開平１１−３２０４６７号公報

無線通信により動画像の転送と遠隔操作を行うシステムの場合、特に動画像を見ながら操作を行う状況での画像処理と通信方式の課題として、
・通信遅延時間削減と操作対象範囲の精細な画像の入手の両立
・通信エラーに対する耐性向上
が挙げられている。

従来例における具体的な課題としては、特開平７−３０６１５５号公報に開示されている手法を応用して制御時に画像信号の輪郭信号をもとに画像を形成する場合、操作対象は操作により状況が変化するため、過去のデータベースには適合する画像がない可能性が高い。その場合、適切な画像を再現できず、操作性に問題が発生する。一方、特開平１１−３２０４６７号公報には、遠隔操作用の通信方法として、制御データ用と画像データ用の別々の通信回路を用いて、画像伝送と制御を無関係に行なうようにした手法が示されているが、上記課題への具体的解決手法は示されていない。

また、ブルーツース等の公知の双方向通信方式を適用した場合、本発明に係る遠隔操作システムは動画像を観察しながら無線により遠隔操作を行うものであるため、通信は作業装置と操作装置の２装置間に固定された通信となり、更に相互の通信データ量に関しては作業装置から操作装置への動画データの量が圧倒的に多いアンバランスな状態になっている。したがって、ブルーツース等の双方向通信方式は、複数装置間の自由な接続と切り離しを行い、転送されるデータ量もバランスが取れるように接続認証や通信路の振り分けを行うため通信に無駄が生じるという上記問題点を解決する手法とは言えない。

本発明は、従来の遠隔操作システムにおける上記問題点を解消するためになされたもので、対象物に対して作業を行う作業装置と該作業装置を遠隔操作する操作装置との間の効率的なデータ通信を行うことが可能な遠隔操作システムを提供することを目的とする。

上記課題を解決するため、請求項１に係る発明は、対象物に対して作業を行う作業装置と、該作業装置と離隔して設けられ、該作業装置を遠隔操作する操作装置とからなり、前記作業装置は、対象物に対して作業を行う作業器具を駆動する駆動手段と、対象物を作業器具と共に撮像して画像データを生成する撮像手段と、前記操作装置との通信を行う第１の通信手段と、送信するデータを符号化する第１の符号化手段と、受信したデータを復号化する第１の復号化手段と、第１の画像処理手段と、当該作業装置内の各手段を制御する第１の制御手段とを有し、前記操作装置は、入力された指示に基づき、前記作業装置の操作に係る操作データを作成する操作データ作成手段と、前記作業装置と通信を行う第２の通信手段と、送信するデータを符号化する第２の符号化手段と、受信したデータを復号化する第２の復号化手段と、前記作業装置からの画像データを表示する表示手段と、第２の画像処理手段と、当該操作装置内の各手段を制御する第２の制御手段とを有する遠隔操作システムであって、当該遠隔操作システムは、作業器具に係る操作データと画像データとの、相互の通信を許可する操作モードと、画像データのみの通信を許可する観察モードとを設定するモード設定手段を有し、前記モード設定手段による前記操作モードにおける指示入力時からその指示に対応する画像の表示までの時間が前記モード設定手段による前記観察モードにおける指示入力時からその指示に対応する画像の表示までの時間よりも短くなるように、前記第１の制御手段は、前記第１の符号化手段に対して前記操作モード設定時には遅延時間の短縮可能なフレーム内圧縮方式を、前記観察モード設定時には遅延時間は大きいが符号量の削減により低消費電力化が可能なフレーム間圧縮方式を、それぞれ設定するようにした遠隔操作システムにおいて、前記操作モード設定時において、前記第１の制御手段は、前記画像データを複数の画像ブロックに、各画像ブロックを区別するためのＩＤ情報を付して分割し、各画像ブロック毎に符号化して送信させ、前記第２の制御手段は、前記ＩＤ情報に基づき、通信エラーが検出された画像ブロックに対する再送信の要求信号を前記作業装置に送信させると共に、所定時間内に再送信され得なかった画像ブロック及び再度通信エラーが検出された画像ブロックに対しては、前記ＩＤ情報を記憶しておき、次フレームの画像データの受信において、記憶されていた前記ＩＤ情報と同じ画像ブロックに通信エラーが検出された場合には、再送信の優先度を上げることを特徴とするものである。

請求項２に係る発明は、請求項１に係る遠隔操作システムにおいて、前記操作モード設定時において、前記第１の制御手段は、前記作業器具の動作に応じて前記画像データに前記作業器具の先端部に対応する主要領域とそれ以外の周辺領域を設定し、前記主要領域と前記周辺領域とを個々に符号化して送信させ、前記第２の制御手段は、受信した画像データの通信エラーを検出して通信エラーレートとして記憶し、該記憶通信エラーレートに基づき同時性重視の場合は過去の通信エラーレートの最高値に近い値を、画質重視の場合は過去の通信エラーレートの最低値に近い値を設定し、その設定通信エラーレートに基づき、前記主要領域の表示の更新速度を確保可能な前記周辺領域に対する第１の符号化手段の符号量を求め、この符号量以下の符号量に対応する圧縮率に係る操作データを前記作業装置に送信することを特徴とするものである。

請求項３に係る発明は、請求項１に係る遠隔操作システムにおいて、前記操作モード設定時において、前記第２の制御手段は、指示入力時から前記作業器具による対応する作業が開始されるまでの時間に対して予め設定された遅延時間と、指示入力時から前記第２の通信手段による前記操作データの通信開始までの経過時間との差分にかかる情報を前記作業装置に送信し、前記第１の制御手段は、前記差分情報に応じて、前記作業器具による作業開始までの時間を、前記予め設定された遅延時間に揃えるように遅延させることを特徴とするものである。

請求項１に係る発明によれば、作業器具に係る操作データと画像データとの、相互の通信を許可する操作モード、及び画像データのみの通信を許可する観察モードという機能が異なる２つのモードを用意し、モード設定手段により適宜、この２つのモード間の切り換えを行うことにより、操作と観察とで、作業装置と操作装置との間の効率的なデータ通信を行うことが可能となる。また操作モードにおける指示入力時からその指示に対応する画像の表示までの時間が観察モードにおける指示入力時からその指示に対応する画像の表示までの時間よりも短くなるように、観察モードにおいては、符号化効率は良いが数フレームに跨がった情報を用いて符号化を行うために処理に伴う遅延時間が大きいフレーム間圧縮方式が、操作モードにおいては、フレーム間圧縮方式とは逆の特性を持つフレーム内圧縮方式が、それぞれ第１の制御手段により、第１の符号化手段に対して設定されることにより、観察モードでは符号量の削減により通信量が削減されて低消費電力化が可能となり、操作モードでは遅延時間の短縮により操作性の向上が可能となる。また操作モード設定時には、第１の制御手段により、画像データが複数の画像ブロックに、各画像ブロックを区別するためのＩＤ情報が付されて分割され、各画像ブロック毎に符号化されて送信され、第２の制御手段により、ＩＤ情報に基づき、通信エラーが検出された画像ブロックに対する再送信の要求信号が作業装置に送信されると共に、所定時間内に再送信され得なかった画像ブロック及び再度通信エラーが検出された画像ブロックに対してはＩＤ情報が記憶され、次フレームの画像データの受信において、記憶されていた前記ＩＤ情報と同じ画像ブロックに通信エラーが検出された場合には、再送信の優先度を上げることにより、画像データ内に時間的に不一致の箇所は発生するが、解像度の低下が引き起こされることが避けられ、また通信エラーによって転送されなかった画像ブロックは、再送信の優先度が上がるため、２フレーム連続で同じ領域が更新されないという事態を低減させることができ、同一画像データ内での表示タイミングのずれは、１フレーム経過時間以内に押さえることが可能となる。

また請求項２に係る発明によれば、操作モード設定時には、第１の制御手段により、作業器具の動作に応じて画像データに作業器具の先端部に対応する主要領域とそれ以外の周辺領域とが設定され、主要領域と周辺領域とが個々に符号化されて送信され、第２の制御手段により、受信した画像データの通信エラーが検出されて通信エラーレートとして記憶され、記憶されている通信エラーレートに基づいて同時性重視の場合は過去の通信エラーレートの最高値に近い値を、画質重視の場合は過去の通信エラーレートの最低値に近い値を設定し、その設定通信エラーレートに基づき、主要領域の表示の更新速度を確保可能な周辺領域の符号量が求められ、この符号量以下の符号量に対応する圧縮率に係る操作データが前記作業装置に送信されることにより、通信エラーが頻発する状況でも、周辺領域の符号化方法を変更して符号量が削減されて転送されることとなり、操作をする上で重要な、主要領域の表示の更新速度を優先して確保することが可能となるため、操作性を向上させることができる。

また請求項３に係る発明によれば、操作モード設定時には、第２の制御手段により、指示入力時から作業器具による対応する作業が開始されるまでの時間に対して予め設定された遅延時間と、指示入力時から第２の通信手段による操作データの通信開始までの経過時間との差分にかかる情報が作業装置に送信され、第１の制御手段により、差分情報に応じて、作業器具による作業開始までの時間が、前記予め設定された遅延時間に揃えるように遅延されることにより、操作者が指示を出してから、実際に作業が開始されるまで時間を、操作データの通信状態にかかわらず一定時間に保つことが可能となり、操作性の向上を図ることができる。

次に、本発明を実施するための最良の形態について説明する。

本発明に係る遠隔操作システムの実施例の概略構成を図１及び図２に基づいて説明する。本実施例は、本発明を、固体撮像素子による撮影機能とアーム等の機構部材（メカ機構）による駆動機能を持った作業装置（超小型ロボット）と、作業装置からの撮影画像の受信／表示とメカ機構の操作指示を行う操作装置との間を無線通信で行うシステムに適用した場合を例示している。

本実施例における作業装置は、動画像の撮像のみを作業装置で行い、操作装置で画像の表示／記録を行う観察モードと、動画像の撮影とメカ機構の駆動を作業装置で行い、メカ機構の操作指示と指示用の画像表示を操作装置で行う操作モードとを持っている。操作モードでは、メカ機構の操作指示を迅速に行うため、画像表示のリアルタイム性が求められる。また、観察モードでは、リアルタイム性よりも、作業装置の省電力性が重視されており、画像データを効率よく符号化して符号量を削減し通信に伴う電力消費を抑えることが求められている。

図１は、本実施例における作業装置の構成を示すブロック図である。まず、図１に示した作業装置における画像データの送信について説明する。図１において、撮像ユニット１はレンズと固体撮像素子（ＣＭＯＳセンサ等）の組み合わせで構成されており、撮像ユニット１からはＲＧＢのデジタル化された画像データが画像処理回路ａ-2に送られる。画像処理回路ａ-2では、制御回路12の指示に従って、ＲＧＢデータをＹＣデータに変換するＹＣ生成や、ＹＣ生成後の画像データの並べ替え等の画像処理を行った後、符号化回路３に画像データを送るようになっている。

符号化回路３は、画像処理回路ａ-2からの画像データにＪＰＥＧ圧縮処理を施して、誤り検出符号付加回路４に圧縮処理後の画像データを送る。誤り検出符号付加回路４は、代表的な誤り検出符号のＣＲＣ符号を、与えられた画像データに対して付加し、送信バッファａ-5に送る。送信バッファａ-5に書き込まれた画像データは、変調回路ａ-6及びアンテナａ-7を通って空中に放射され、操作装置に伝達される。

次に、図１に示した作業装置における制御データの送受信について説明する。作業装置は、操作装置からの制御命令や確認応答の受信と、命令内容の確認や自身の状態通知のための送信が、制御データの送受信により行われる。制御データの送信については、制御回路12が送信内容を、誤り検出符号付加回路４に書き込むと、書き込まれた制御データに応じたＣＲＣコードが付加されて、送信バッファａ-5に送られる。送信バッファａ-5に書き込まれた制御データは、画像データと同様に、変調回路ａ-6及びアンテナａ-7を通って空中に放射され、操作装置に伝達される。

制御データの受信については、アンテナａ-7が受信した操作装置からの制御命令は、復調回路ａ-8により復調されデジタル信号に変換された後、受信バッファａ-10 に書き込まれる。受信バッファａ-10 の内容は、制御回路12によって読み出されると同時に誤り検出回路ａ-9にも加えられ、誤り検出処理が行われて、検出結果が制御回路12に通知される。制御データにより操作装置から指示された内容に応じて、作業装置のメカ機構13の制御や、電源ユニット11によるスリープモード等の省電力化の実行等が実施される。

図２は、本実施例における操作装置の構成を示すブロック図である。まず、図２に示した操作装置における画像データの受信／表示処理について説明する。アンテナｂ-14 で受信された画像データは、復調回路ｂ-15 により復調され、デジタル化されて受信バッファｂ-16 に書き込まれる。受信バッファｂ-16 に書き込まれた画像データは、誤り検出回路ｂ-17 によりＣＲＣコードがチェックされて、通信に伴う伝送エラーがチェックされると共に、ＣＲＣコード以外のデータが復号回路18に書き込まれる。

復号回路18で、ＹＣデータに戻された画像データは、データバス19を介してワークメモリ26に書き込まれる。誤り検出回路ｂ-17 により検出されたエラー情報も、データバス19を介してワークメモリ26に書き込まれる。ワークメモリ26上の画像データは、データバス19を介して画像処理回路ｂ-27 に読み込まれ、表示に適した画像データに変換されて表示メモリ20に書き込まれる。表示メモリ20の画像データは表示回路21に読み出されて、表示用のＬＣＤ22上に表示される。画像データを記録する場合、ワークメモリ26上の画像データは、画像処理回路ｂ-27 により所望のデータ形式に変換された後、メモリーカード等のデータ記録媒体23に記録される。

次に、図２に示した操作装置における制御データの送受信について説明する。操作装置では、作業装置への制御命令や確認応答の送信と、作業装置に出した命令の確認用メッセージや作業装置の状態通知の受信が行われる。まず、操作者が操作部材24を通して行った命令内容を、ＣＰＵ25が検知して解釈し、作業装置が行うべき内容をワークメモリ26上にを書き込む。書き込まれた内容に応じ作業装置への通知が必要になった時点で、ＣＰＵ25は、制御データを送信バッファｂ-28 に書き込む。書き込まれる制御データにはすでに、ＣＰＵ25により誤り検出用のＣＲＣコードが付加されている。送信バッファｂ-28 に書き込まれた制御データは、変調回路ｂ-29 及びアンテナｂ-14 を通って空中に放射され、操作装置に伝達される

次に、図２に示した操作装置における制御データの受信に付いて説明する。アンテナｂ-14 により受信された制御データは、復調回路ｂ-15 によりデジタルデータに変換されて受信バッファｂ-16 に書き込まれる。受信バッファｂ-16 から読み出された制御データは、画像データと同様に、誤り検出回路ｂ-17 により伝送誤りの発生が検査され、ＣＲＣコード以外の部分が復号回路18に加えられる。復号回路18では、画像データの場合と異なり、何も処理を受けずに、データバス19を介してワークメモリ26に書き込まれる。誤り検出回路ｂ-17 で検出された誤り情報も、ワークメモリ26に書き込まれる。

図３は、操作モードでの操作装置上のＬＣＤ22の表示画面を示した図である。図３に示した表示画面は、作業装置が操作アームを駆動している状況を示しており、操作アーム31ａ，31ｂの先端部分を主要領域32ａ，32ｂとしている状態が示されている。主要領域32ａ，32ｂ以外の部分は周辺領域32ｃとして処理されている。操作モードでは、操作アーム等のメカ機構の制御を、表示画像を見ながら行うため、表示画像にリアルタイム性が求められる。しかしながら、本実施例の如く、無線通信にて画像を伝送している場合、通信容量に制約があるため、全画面データを高フレームレートで伝送することは不可能である。そのため、本実施例においては、表示画像を主要領域32ａ，32ｂと周辺領域32ｃに分けて、主要領域32ａ，32ｂのデータを高速に伝送し、周辺領域32ｃのデータは、フレームレートを落とすか、解像度を下げて伝送している。主要領域32ａ，32ｂと周辺領域32ｃの区分けは、例えば操作アームを使用している場合には、図３に示した如く操作アーム31ａ，31ｂの先端部分の周辺エリアを主要領域32ａ，32ｂとして設定している。

図４は、主要領域の指定を更に具体的に説明するための図である。本実施例では、撮像ユニット-1の固体撮像素子は、 648×488 の有効画素を持つ固体撮像素子を使用しており、画像処理回路ａ-2の処理後は、図４に示す如く 640×480 画素の表示を行う画像データが出力されている。以降、本実施例の説明においては、画像データの構成を、 640×480 として説明を行う。

図４に示した如く、作業装置では、 640×480 の画像データを、縦横に10分割し、64×48の画像データからなる 100個の画像ブロック32に分けて処理を行っている。主要領域32ａ，32ｂと周辺領域32ｃの指定も、この画像ブロック単位に行なわれている。図４では、主要領域32ａ，32ｂとして２本のアームに対応して、２×２のブロックと３×４のブロックの２ヶ所、合計16ブロックが指定されている。この主要領域32ａ，32ｂの指定は、操作アーム31ａ，31ｂの移動に応じて変更される。

図５は、操作アームが出ていない状態での主要領域と周辺領域の指定の例を示している。この例では、主要領域として中央の４×４の合計16ブロックを指定している。そして、周辺領域（84ブロック）としては、４つの周辺領域Ａ，Ｂ，Ｃ，Ｄを示している。主要領域のブロック数の変更は可能であるが、説明を簡単にするため、ここでは主要領域のブロック数を16として説明を行う。

図６は、操作モードの撮像／表示方法の中で、周辺領域での解像度を変えずに、表示レートを下げることにより主要領域のフレームレート確保と遅延時間の低減を図る場合における画像データの転送動作を示すタイミングチャートである。図６のタイミングチャートでは、図５に示した領域分けをもとに動作説明を行っている。撮像動作が開始されると、図６に示すように、先ず、主要領域−周辺領域Ａ−周辺領域Ｂ−周辺領域Ｃ−周辺領域Ｄの順に作業装置から１画面分の画像データが送信されてくる。操作装置は、周辺領域Ｄの画像を受け取ると、表示用の画像の作成を開始し、表示を行う。このときの表示では、主要領域も周辺領域も同じ撮像動作時点（撮−１）でのデータ（主要−１，周辺−１）が表示されている。

作業装置は、周辺領域Ｄのデータの送信が終了すると、次の撮像動作（撮−２）を行う。撮−２の撮像動作で得られた画像も主要画像と周辺画像として転送されるが、先ず主要領域が転送された後、周辺領域Ａが転送され、周辺領域Ａの転送終了後、次の撮像動作（撮−３）が行われる。撮−２の撮像動作での主要領域のデータを受信した操作装置は、直ぐに復号、画像処理の各処理を実行し、表示メモリ20上の主要領域のデータを書き換える。この動作により、図６に示すタイミングで主要領域の表示は、撮−２の撮像動作によるデータ（主要−２）に書き換わる。この時点では、転送された周辺領域Ａのデータは、ワークメモリ26に記憶されるだけで、表示メモリ20には書き込まれない。

撮−３の撮像動作終了後、撮−３の撮像動作で得られた主要領域のデータが転送され、その後、撮−２の撮像動作で得られた周辺領域Ｂの転送が行なわれる。画像データは、画像処理回路ａ-2内のフレームメモリに記憶されており、例えば、撮−３の撮影動作後の処理では、転送の終了した主要領域のデータは書き換えられるが、周辺領域のデータは書き換えられずに残っている。操作装置では、撮−２の撮像動作の場合と同様に主要領域の表示データのみが主要−３に書き換えられる。同様にして、図６における撮−５の撮像動作が終了し、主要領域（主要−５）と周辺領域Ｄのデータ転送が終了した時点で、ワークメモリ26内に、撮−２の撮像動作での周辺領域Ａ，Ｂ，Ｃ，Ｄのデータが完備される。これらの周辺領域Ａ〜Ｄの画像データが読み出され、表示メモリ20上の周辺領域の画像データが撮−２の撮像動作時のデータ（周辺−２）に書き換えられる。次の撮像動作（撮−６）の画像データは、周辺領域の転送が終了しているので、画像処理回路ａ-2内のフレームメモリに全て記録され、同様に転送が行われる。

図６のタイミングチャートに示した動作とは異なるが、作業装置において、画像処理回路ａ-2内のフレームメモリのデータを撮像動作のたびに全て書き換えた場合、周辺領域Ａ−Ｄには、時間的に不一致が生ずる。しかしながら、周辺領域各々の時間遅れは減少するので、操作者の判断により選択可能にしている。

図７は、操作モードの撮像／表示方法の中で、周辺領域の解像度を下げることにより主要領域のフレームレート確保と遅延時間の低減を図る場合における画像データの転送動作を示すタイミングチャートである。この画像データの転送動作の場合、周辺領域のフレームレートが図６に示した動作の場合に比べて上がる効果がある。図７に示した動作は、画像処理回路ａ-2において、周辺領域の画像データを、１／４に間引いている。これにより周辺領域のデータ量が１／４となり、周辺領域のフレームレートが確保されている。撮像動作が開始されると、図７に示すように、主要領域−周辺領域の順に作業装置から操作装置に画像データが送信されてくる。

前記の如く、周辺領域のデータ量は、各々１／４に落ちているので、図示の如く、主要領域−周辺領域の１組の転送で１画面分のデータ転送が終了する。操作装置は、図６に示した動作の場合と異なり、画像データを受け取るたびに、対応する部分の表示データを作成し書き換えている。例えば、撮−１の撮像動作の終了後、主要領域のデータの受信が終了すると直ぐに、主要領域の表示データを作成し表示する。この場合、周辺領域のデータは揃っていないので、周辺領域はブルーバック状態になっている。主要領域に続いて周辺領域のデータが送られてくるので、周辺領域のデータの受信後直ぐに表示データを作成し表示する。このような動作により、主要領域と周辺領域の表示状態は、図７に示すようなタイミングで行われることとなる。なお、１／４間引き処理は、画像処理回路ａ-2で行われるが、この間引き処理は公知のアルゴリズムで行われる。

図８は、画像データの転送を更に具体的に説明するための図である。前記の如く、画像データは、64×48の画素を１ブロックとして、ブロックを単位に行われている。図８により、1 ブロック分の画像データに対して行われる各種の処理について、具体的に説明する。まず、撮像ユニット１から出力される１ブロック分の画素データから、画像処理回路ａ-2により、64×48画素の輝度（Ｙ）データと64×48画素の色（Ｃb ，Ｃr ）データが作成される（正確には、ブロックの周囲の画素データもＹＣ生成に使用するが、その手法は公知であるので説明を省略する）。

画像処理回路ａ-2からの画像データは、符号化回路３によりＪＰＥＧ圧縮される。ＪＰＥＧ圧縮後の符号は可変長となり、画像データにより増減するが、ここでは、約１／10に圧縮されて、 615バイトになるものとして説明を進める。 615バイトの画像データに対して、４バイトのヘッダが付けられる。ヘッダ情報としては、どのブロックの画像データかを示すブロックＩＤ情報、画像データか制御データかを示すデータ種別情報、ＣＲＣを付けた転送単位であるサブブロックの個数等の情報が付けられる。（サブブロックについては、後で説明を行う）。

上記の如く、画像データは、符号化回路３から、 615＋４バイト（ 619ＢＹＴＥ）データとして誤り検出符号付加回路４に出力される。誤り検出符号付加回路４では、ビット単位の処理が行われる。本実施例においては、256bit毎に16bit のＣＲＣコードが付加されている。この 256＋16bit の組をサブブロックとしており、サブブロック単位で伝送誤りが検出される。但し、同一ブロックのデータ転送中に1 個でもサブブロックの伝送誤りが発生すると、ブロック全体の再送処理を行うため、サブブロック単位でのヘッダは設けていない。 619バイトは、約20個のサブブロックになる。サブブロックの個数は圧縮後のデータ量の増減により変動するが、此処では20個として説明を行う。

上記の如く、サブブロックの個数は符号化回路３から画像データが出力された時点で確定するため、サブブロックの個数がヘッダ情報としてつけることが可能である。誤り検出符号付加回路４からは、1 ブロックが20個のサブブロックデータとして、送信バッファａ-5に出力される。

図９は、領域（主要領域、周辺領域）単位でのデータ転送態様とデータ構造を説明するための図である。前記の如く、主要領域は16ブロック、Ａ〜Ｄの周辺領域は、それぞれ21ブロックで構成されており、領域単位での通信が行われている。領域単位で行われる通信は、図９に示すように画像データの通常転送と、制御データ転送、及び制御データ転送で通知された画像データの再転送である。まず最初に、図９において通常転送期間として示される16あるいは21ブロックの画像データの転送が行われる。１ブロックの構成は、図８に関して説明を行った通り、20個のサブブロックからなっている。

次いで、制御データの転送が行われる。通信期間は１ブロック分である。制御データの詳細は、後で図12を用いて説明を行う。最後に再転送が行われる。再転送期間は、図９では最大３ブロック分として示しているが、通信エラーの状況に応じて可変される。再転送されるブロックの設定は、操作装置からの制御データにより指定される。再転送でエラーが発生した場合、周辺領域の場合、再々転送要求は行わないが、主要領域の場合、次の周辺領域の再転送期間に最優先で再転送を行う。周辺領域で再転送が必要なブロックが多い場合、操作装置は前回の転送でも送れなかった位置に対応するブロックを優先して再転送とする。これらの処理により、主要領域のリアルタイム性確保と周辺領域で極端に更新の遅れるブロックが出ないようにしている。

次に、再転送期間の増減方法について、図10，図11を用いて説明する。前記の如く、再転送期間はエラー状況に応じて変更している。エラーが少ない状況で再転送期間を長く設けるのは時間を無駄に使うことになり、一方エラーが多い状況で再転送期間が短ければ、未転送ブロックが増えて見苦しい表示になる。そこで、操作装置では、発生したエラーの状態から将来のエラー状況を予測し、それに応じて制御データに作業装置の符号化回路３での圧縮率の調整値を乗せて転送し、符号量を増減させる。この制御により１ブロックデータの転送に必要なサブブロックの数を減少させ、図９に示したデータ転送における通常転送期間を短くして、再転送期間を長く設定できるようにしている。

図10は、予想される通信エラーレートと設定する目標符号量を示す図である。予想される通信エラーレートが上昇すると目標符号量が下がるが、通信エラーレートが限界値（er−lim ）を超えると、画質の低下の影響が大きいので、通信エラーレートが限界値（er−lim ）を超えても、目標符号量は通信エラーレートの限界値（er−lim ）に対応する限界値（min ）以下には下がらないようにしている。本実施例において、エラー検出は、前記サブブロックにつけられたＣＲＣコードによって行っており、エラーとなったサブブロックの数をもとにエラーレートを算出している。本実施例においては、エラー検出コードとして、ＣＲＣコードを用いているが、エラー訂正能力もあるリードソロモン符合等のエラー訂正符号を用い、エラー検出のみを行っても同様の効果を得ることが可能である。

リードソロモン符号を用いた場合では、バイト単位の処理がなされるので、ＣＲＣコード16bit の代わりに、リードソロモン符号２Byteが付加される。又、エラー訂正符号によるエラー訂正とＣＲＣコードによるエラー検出を組み合わせることも可能である。この場合は、例えばサブブロックのデータ部分の256bit中の16〜32bit （２〜４Byte）をリードソロモン符号用として使用し、その外側にＣＲＣコードを配置するという様な構成になる。その場合、リードソロモン符号によるエラー訂正を行った後、ＣＲＣコードによりリードソロモン符号による誤訂正を検出し、誤訂正を検出した場合、前記の場合と同様にブロック単位の再転送を行うことになる。

通信エラーが多い場合、リードソロモン符号を用いることにより、再転送が減り転送効率が上がるが、エラーが少ない場合、リードソロモン符号用の付加バイト分転送効率が落ちることになるので、装置の種類に応じた選択が必要となる。リードソロモン符号については公知であるので、ここでの説明は省略する。

図11は、通信エラーレートの予想方法を説明するための図である。過去（ｔ−６〜ｔ−１）のエラーレートと直近（ｔ０）のエラーレート（ｔ０−er）から、将来（ｔ１）のエラーレートを予測している。操作者が同時性重視の選択をした場合、再転送期間を長く取るため、通信エラーレートの予測値は、図11に示すように、期間の平均値等も考慮の上、過去の最高値に近い値（ｔ１−er−ｑ）に設定される。一方、画質重視を選択した場合、過去の最低値に近い値（ｔ１−er−ｔ）に設定される。

次に、図12を用いて、制御データの構造について説明する。制御データには、前記の如く、再転送ブロックの指定やメカ機構13の制御等に用いられるデータであるので、通信エラーの影響をなくすための工夫がなされている。制御データは、操作装置から作業装置への命令データ転送と、作業装置から操作装置への確認データ転送と、操作装置から作業装置への承認データ転送が１組となって行われる。一回の制御データの転送では、図示の如く1 組のデータ転送用期間と３組分の繰り返し（再転送）用の期間が用意されている。例えば、再転送ブロックの指定では、操作装置から作業装置への命令データ転送で対象となるブロックが指定され、作業装置から操作装置への確認データ転送で同じブロックを送ることにより作業装置に伝わったことを通知し、操作装置から作業装置への承認データ転送で開始が指示される。

この処理の何処かでエラーが発生した場合、エラーコードが出力されて転送が打ち切られ、次の繰り返し期間で再度、最初から通信が行われる。命令データ転送と確認データ転送の期間は、図示の如く、272bit×２の期間であり、各々通信可能なデータ量は64Byte分となる。承認データ転送期間は、272bitの期間であり、各々通信可能なデータ量は32Byte分となる。上記構成のため、制御データの通信期間は、サブブロック20個分に相当し、画像データの１ブロック分の転送期間に近い値になっている。

本実施例の制御データの中には、操作部材24により動作が指示されてから作業装置のメカ機構13が動作を開始するまでのタイミングを一致させ操作性を向上させる目的で設定される“目標遅れ時間”と言う項目のデータがある。操作者によるメカ機構13の操作を安定して行わせるために、操作者が操作指示を出してから実際にメカ機構13が動作を開始するまでの時間である「最大遅れ時間」が予め定められている。この最大遅れ時間と、実際の操作命令の発生から制御データ転送開始までの経過時間（再送信が発生していれば、操作命令の発生から再送信までに経過した時間）とから、目標である最大遅れ時間までメカ機構13の操作を遅らせる時間を計算し、この計算された時間を「目標遅れ時間」として作業装置に転送され、制御回路12がメカ機構13の動作開始を目標遅れ時間分だけ遅らせることにより、操作者が操作してから実際にメカ機構13が動作を開始するまでの遅れ時間を前記最大遅れ時間に揃えることを可能にしている。本実施例においては、前記制御データ転送の最大遅れ時間は、各領域（主要領域、周辺領域）単位でのデータ転送の最長時間になる。但し、この機能は操作開始を遅い方に揃えることになるので、この機能は選択性にしており、出来るだけ早く制御を開始する（目標遅れ時間＝０）モードも選択可能になっている。

最後に、図13，図14を用いて、観察モードでのデータ転送について説明する。前記の如く、本実施例においては、操作装置で画像の表示／記録を行う観察モードを持っている。観察モードにおいては、前記の如く符号量の削減が求められており、本実施例においては、図13に示すように、符号化回路３に操作モード用と観察モード用の２つの符号化回路３ａ，３ｂを持ち、セレクタ３ｃ，３ｄにより切り換えて使用している。

観察モード用の符号化回路３ａは、フレーム間圧縮を行うことにより符号量を削減する、例えばＭＰＥＧ方式の回路が使用されている。フレーム間圧縮方式は、撮影される画像の状態にも拠るが、ＪＰＥＧの様なフレーム内圧縮方式に比べ同じ解像度での符号量が著しく削減でき、表示のリアルタイム性を必要としない用途では、大きな効果を発揮する。

図14は、観察モードでの撮像／表示の動作態様を説明するタイミング図である。説明を簡単にするため、観察モード用の符号化回路３ａは、５フレーム単位でフレーム間圧縮を行う場合を例示している。この場合、図示の如く、符号化回路３ａが少なくても５フレーム分のデータを読み終えないと処理は終了しないので、１〜５フレームの符号化処理の終了は、６番目の撮像動作（撮−６）の開始後になる。その後、画像データ伝送や復号処理が行われるため、操作端末での表示の遅れは、６フレーム以上となる。観察モードでは、この程度の遅れは問題にならないが、操作モードでは操作性に支障をきたすので、前記の如く、操作モード用符号化回路３ｂを用いて別の符号化方法を取っている。

本発明に係る遠隔操作システムの実施例における作業装置の構成を示すブロック図である。 本発明に係る遠隔操作システムの実施例における操作装置の構成を示すブロック図である。 操作モード時における操作装置のＬＣＤの表示画面の表示例を示す説明図である。 図３に示した主要領域の指定態様を示す説明図である。 作業装置において操作アームが出ていない状態での主要領域と周辺領域の指定例を示す説明図である。 操作モード時における画像データの転送動作を説明するためのタイミングチャートである。 操作モード時における画像データの他の転送動作を説明するためのタイミングチャートである。 画像データの処理経過を詳細に示す説明図である。 領域単位でのデータ転送態様とデータ構造を示す説明図である。 予想通信エラーレートに対して設定する目標符号量を示す図である。 通信エラーレートの予想方法を示す説明図である。 制御データの構造を示す説明図である。 図１に示した作業装置における符号化回路の構成を示すブロック図である。 観察モード時における撮像／表示の動作態様を示すタイミングチャートである。

符号の説明

１ 撮像ユニット
２ 画像処理回路ａ
３ 符号化回路
４ 誤り検出符号付加回路
５ 送信バッファａ
６ 変調回路ａ
７ アンテナａ
８ 復調回路ａ
９ 誤り検出回路ａ
10 受信バッファａ
11 電源ユニット
12 制御回路
13 メカ機構
14 アンテナｂ
15 復調回路ｂ
16 受信バッファｂ
17 誤り検出回路ｂ
18 復号回路
19 データバス
20 表示メモリ
21 表示回路
22 ＬＣＤ
23 データ記録媒体
24 操作部材
25 ＣＰＵ
26 ワークメモリ
27 画像処理回路ｂ
28 送信バッファｂ
29 変調回路ｂ
31ａ，31ｂ 操作アーム
32ａ，32ｂ 主要領域
32ｃ 周辺領域
33 画像ブロック

Claims (3)

1. 対象物に対して作業を行う作業装置と、該作業装置と離隔して設けられ、該作業装置を遠隔操作する操作装置とからなり、前記作業装置は、対象物に対して作業を行う作業器具を駆動する駆動手段と、対象物を作業器具と共に撮像して画像データを生成する撮像手段と、前記操作装置との通信を行う第１の通信手段と、送信するデータを符号化する第１の符号化手段と、受信したデータを復号化する第１の復号化手段と、第１の画像処理手段と、当該作業装置内の各手段を制御する第１の制御手段とを有し、前記操作装置は、入力された指示に基づき、前記作業装置の操作に係る操作データを作成する操作データ作成手段と、前記作業装置と通信を行う第２の通信手段と、送信するデータを符号化する第２の符号化手段と、受信したデータを復号化する第２の復号化手段と、前記作業装置からの画像データを表示する表示手段と、第２の画像処理手段と、当該操作装置内の各手段を制御する第２の制御手段とを有する遠隔操作システムであって、当該遠隔操作システムは、作業器具に係る操作データと画像データとの、相互の通信を許可する操作モードと、画像データのみの通信を許可する観察モードとを設定するモード設定手段を有し、前記モード設定手段による前記操作モードにおける指示入力時からその指示に対応する画像の表示までの時間が前記モード設定手段による前記観察モードにおける指示入力時からその指示に対応する画像の表示までの時間よりも短くなるように、前記第１の制御手段は、前記第１の符号化手段に対して前記操作モード設定時には遅延時間の短縮可能なフレーム内圧縮方式を、前記観察モード設定時には遅延時間は大きいが符号量の削減により低消費電力化が可能なフレーム間圧縮方式を、それぞれ設定するようにした遠隔操作システムにおいて、前記操作モード設定時において、前記第１の制御手段は、前記画像データを複数の画像ブロックに、各画像ブロックを区別するためのＩＤ情報を付して分割し、各画像ブロック毎に符号化して送信させ、前記第２の制御手段は、前記ＩＤ情報に基づき、通信エラーが検出された画像ブロックに対する再送信の要求信号を前記作業装置に送信させると共に、所定時間内に再送信され得なかった画像ブロック及び再度通信エラーが検出された画像ブロックに対しては、前記ＩＤ情報を記憶しておき、次フレームの画像データの受信において、記憶されていた前記ＩＤ情報と同じ画像ブロックに通信エラーが検出された場合には、再送信の優先度を上げることを特徴とする遠隔操作システム。
2. 前記操作モード設定時において、前記第１の制御手段は、前記作業器具の動作に応じて前記画像データに前記作業器具の先端部に対応する主要領域とそれ以外の周辺領域を設定し、前記主要領域と前記周辺領域とを個々に符号化して送信させ、前記第２の制御手段は、受信した画像データの通信エラーを検出して通信エラーレートとして記憶し、該記憶通信エラーレートに基づき同時性重視の場合は過去の通信エラーレートの最高値に近い値を、画質重視の場合は過去の通信エラーレートの最低値に近い値を設定し、その設定通信エラーレートに基づき、前記主要領域の表示の更新速度を確保可能な前記周辺領域に対する第１の符号化手段の符号量を求め、この符号量以下の符号量に対応する圧縮率に係る操作データを前記作業装置に送信することを特徴とする請求項１に係る遠隔操作システム。
3. 前記操作モード設定時において、前記第２の制御手段は、指示入力時から前記作業器具による対応する作業が開始されるまでの時間に対して予め設定された遅延時間と、指示入力時から前記第２の通信手段による前記操作データの通信開始までの経過時間との差分にかかる情報を前記作業装置に送信し、前記第１の制御手段は、前記差分情報に応じて、前記作業器具による作業開始までの時間を、前記予め設定された遅延時間に揃えるように遅延させることを特徴とする請求項１に係る遠隔操作システム。

Images