JP7034494B2 - 感覚付与装置、ロボット制御システム、ロボット制御方法及びプログラム - Google Patents
感覚付与装置、ロボット制御システム、ロボット制御方法及びプログラム Download PDFInfo
- Publication number
- JP7034494B2 JP7034494B2 JP2019518832A JP2019518832A JP7034494B2 JP 7034494 B2 JP7034494 B2 JP 7034494B2 JP 2019518832 A JP2019518832 A JP 2019518832A JP 2019518832 A JP2019518832 A JP 2019518832A JP 7034494 B2 JP7034494 B2 JP 7034494B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- state information
- operator
- sensation
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J3/00—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
図1は、本発明の一実施形態に係るロボットシステム1の概略的な構成を示すブロック図である。
ロボットシステム1は、n(nは2以上の整数であるとする。)個の端末装置21-1~21-nと、n個のロボット31-1~31-nと、n個のロボット制御装置41-1~41-nと、ネットワーク51と、を備える。ネットワーク51は、例えば、インターネットであるが、他の任意のネットワークであってもよい。ネットワーク51は、例えば、有線のネットワークが用いられてもよく、無線のネットワークが用いられてもよく、又は、有線と無線の両方を含むネットワークが用いられてもよい。
図2は、本発明の一実施形態に係る端末装置21-1の概略的な構成を示すブロック図である。端末装置21-1は、ユーザ11-1の状態を検出するとともに、ユーザ11-1に対して各種の感覚を付与する感覚付与装置として機能する。端末装置21-1がユーザ11-1に付与する感覚は任意であるが、例えば視覚、聴覚、触覚、又は力覚である。端末装置21-1は、ロボット制御装置41-1を介して取得したロボット31-1の状態に基づく感覚をユーザ11-1に付与する。
図3は、本発明の一実施形態に係るロボット制御装置41-1の概略的な構成を示すブロック図である。ロボット制御装置41-1は、通信部211と、バッファ212と、ロボット駆動部213と、検出部214と、制御部215と、を備える。通信部211は、受信部231と、送信部232と、を備える。制御部215は、CPUと、ROM及びRAMを含む記憶部251と、を備える。
端末装置21-1は、ユーザ11-1の状態を検出部111により検出し、検出されたデータを含む操作者状態情報を、ネットワーク51を介してロボット制御装置41-1に送信する。ロボット制御装置41-1は、端末装置21-1から送信された操作者状態情報をネットワーク51を介して受信し、受信された操作者状態情報に基づいてロボット駆動部213によりロボット31-1を駆動させる。ロボット31-1は、ロボット制御装置41-1のロボット駆動部213により駆動されて動作する。
図4は、本発明の一実施形態に係る端末装置21-1及びロボット制御装置41-1におけるバッファによる遅延時間の調整方法を説明するための図である。図4は、ユーザ11-1と、端末装置21-1の構成部である頭部機器311、指部機器312-1~312-2、胴部機器313-1~313-2と、端末装置21-1の構成部であるバッファ112を示している。また、図4は、ロボット31-1と、ロボット制御装置41-1の構成部である視覚機器411、音響機器412-1~412-2、指部機器413-1~413-2と、ロボット制御装置41-1の構成部であるバッファ212を示している。
LatM = LatMu + LatMr + LatMm ・・(1)
[数2]
LatN = LatNr + LatNu + LatNm ・・(2)
RTT = LatM + LatN ・・(3)
このRTTが大きくなると、ユーザ11-1はめまいを感じて気分が悪くなる場合がある。RTTの変動量が大きい場合にも、ユーザ11-1は気分が悪くなる場合がある。
LatMu ~ LatNu ・・(4)
[数5]
LatMr ~ LatNr ・・(5)
ユーザ11-1の側とロボット31-1の側との間の往復の遅延時間の変動を抑制することにより操作性が向上するとしても、遅延時間が長いと、ユーザ11-1が違和感を抱くことがある。特に、ユーザ11-1が操作をしてから、ユーザ11-1の操作に応じて変化した後の姿勢でロボット31-1が撮影した映像をユーザ11-1が視認するまでの遅延時間が長いと、ユーザ11-1がめまいを感じやすくなる。そこで、端末装置21は、仮想的な感覚をユーザ11-1に付与することができるように構成されている。以下、端末装置21が仮想的な感覚として、ロボット31-1が視認している画像を推定することにより生成された仮想的な視認画像をユーザ11-1に視認させる実施の形態を例示する。仮想的な感覚は仮想的な視覚に限らず、仮想的な聴覚、仮想的な触覚、又は仮想的な力覚等の他の感覚であってもよい。
本実施形態では、ロボット制御装置41-1から端末装置21-1に向かう第2のセッションは、映像データ、音響データ、及び触覚データを含む。それぞれのメディアのデータの処理速度に応じて、それぞれのメディアのデータの遅延時間が異なり得る。これらのメディアのなかで、映像のデータの遅延時間が最も大きい。このため、本実施形態では、端末装置21-1の制御部115及びロボット制御装置41-1の制御部215は、映像データに含まれる各画像フレームに付与されている時間情報を遅延時間の参照値として使用する。
端末装置21-1とロボット制御装置41-1との間で送受信するデータは、伝送中に消失してしまう場合がある。このような場合にもユーザ11-1が意図したとおりにロボット31-1が動作するように、またユーザ11-1の操作性を向上させるために、端末装置21-1の制御部115は、バッファ112に記憶されたデータを用いて消失したデータを補間してもよい。これにより、端末装置21-1の制御部115は、例えば、一部のデータが消失した場合においても、消失していない他のデータに基づいて消失したデータを推定して再現することができる。
以上のように、本実施形態に係るロボットシステム1は、テレイグジスタンスにおいて、バッファ112及びバッファ212を用いて、遅延を補償することで、高品質なロボット制御を実現することができる。ロボットシステム1は、例えば操作者状態情報及びロボット状態情報を一時的にバッファ112及びバッファ212に蓄積させることで、送信部131が操作者状態情報を送信してから受信部132がロボット状態情報を受信するまでに要する遅延時間の変動量を所定の範囲内に抑えることができる。このようにすることで、ロボットシステム1を使用するユーザ11-1がロボット31-1を操作しやすくなる。
ロボットシステム1においては、複数のユーザが1個の共通のロボットを制御してもよい。一例として、3人のユーザ11-1~11-3が1個のロボット31-1を制御する場合を示す。本例では、3人のユーザ11-1~11-3のそれぞれの端末装置21-1~21-3が、時分割でロボット制御装置41-1と通信することで、ロボット31-1を制御する。例えば、ロボット31-1が複数の可動部分を備えており、3人のユーザ11-1~11-3が、それぞれ、異なる可動部分を制御する。複数の可動部分は、例えば、複数のアームである。
ロボットシステム1においては、1人のユーザが複数のロボットを制御してもよい。一例として、1人のユーザ11-1が3個のロボット31-1~31-3を制御する場合を示す。本例では、1人のユーザ11-1の端末装置21-1が、3個のロボット制御装置41-1~41-3と時分割で通信することで、3個のロボット31-1~31-3を制御する。
ロボットシステム1は、ネットワーク51を介して端末装置21-1~21-n、およびロボット制御装置41-1~41-nに接続された管理装置をさらに備えていてもよい。管理装置は例えばサーバである。
ロボットシステム1においては、端末装置(図1の例では、端末装置21-1~21-n)が、ユーザ(図1の例では、ユーザ11-1~11-n)に関するデータを、ネットワーク(図1の例では、ネットワーク51)を介してロボット制御装置(図1の例では、ロボット制御装置41-1~41-n)に送信する。そして、ロボット制御装置が当該データに基づいてロボット(図1の例では、ロボット31-1~31-n)を制御する。
Claims (12)
- ロボットを操作する操作者の状態を示す操作者状態情報を前記ロボットに向けて送信する送信部と、
前記ロボットの状態を示すロボット状態情報を前記ロボットから受信する受信部と、
前記操作者に所定の感覚を付与する感覚付与部と、
前記送信部が前記操作者状態情報を送信してから前記受信部が前記ロボット状態情報を受信するまでに要する遅延時間が所定の時間以下である場合に、前記ロボット状態情報に基づく感覚を前記操作者に付与するように前記感覚付与部を制御し、前記遅延時間が前記所定の時間よりも長い場合に、推定された前記ロボットの状態を示す仮想状態情報に基づく感覚を前記操作者に付与するように前記感覚付与部を制御する制御部と、
を有し、
前記制御部は、前記仮想状態情報に基づく第1感覚と、前記仮想状態情報に基づく感覚を前記操作者に付与した後に前記受信部が受信した前記ロボット状態情報に基づく第2感覚との間に所定の大きさ以上の差がある場合、前記第1感覚と前記第2感覚との間を補間する感覚を前記操作者に付与するように前記感覚付与部を制御する、
感覚付与装置。 - ロボットを操作する操作者の状態を示す操作者状態情報を前記ロボットに向けて送信する送信部と、
前記ロボットの状態を示すロボット状態情報を前記ロボットから受信する受信部と、
前記操作者に所定の感覚を付与する感覚付与部と、
前記送信部が前記操作者状態情報を送信してから前記受信部が前記ロボット状態情報を受信するまでに要する遅延時間が所定の時間以下である場合に、前記ロボット状態情報に基づく感覚を前記操作者に付与するように前記感覚付与部を制御し、前記遅延時間が前記所定の時間よりも長い場合に、推定された前記ロボットの状態を示す仮想状態情報に基づく感覚を前記操作者に付与するように前記感覚付与部を制御する制御部と、
を有し、
前記制御部は、それぞれ異なる状態に対応する複数の前記仮想状態情報を記憶する記憶部を有し、前記複数の仮想状態情報のうち、前記操作者状態情報が示す操作内容に基づいて特定される前記ロボットの位置に対応する前記仮想状態情報に基づく感覚を前記操作者に付与するように前記感覚付与部を制御し、
前記制御部は、前記送信部が前記操作者状態情報を送信してから前記受信部が前記ロボット状態情報を受信するまでの遅延の要因を特定し、特定した前記要因に基づいて、前記記憶部に記憶された前記仮想状態情報に基づく感覚を前記操作者に付与するように前記感覚付与部を制御するか、ネットワークを介して受信した前記仮想状態情報に基づく感覚を前記操作者に付与するように前記感覚付与部を制御するかを決定する、
感覚付与装置。 - 前記制御部は、前記複数の仮想状態情報から一の仮想状態情報を選択するために、直前の前記操作者状態情報が示す前記操作者の状態と、最新の前記操作者状態情報が示す前記操作者の状態とに基づいて、前記操作者が操作をした後に前記ロボットがどのような状態になっているかを推定し、推定した前記ロボットの状態に対応する一の仮想状態情報を選択する、
請求項2に記載の感覚付与装置。 - 前記制御部は、前記感覚付与部に付与させた前記ロボット状態情報に基づく感覚の内容を示す感覚履歴情報を前記記憶部に記憶させ、直前に記憶させた前記感覚履歴情報が示す感覚の内容に基づいて、前記複数の仮想状態情報から、前記操作者に感覚を付与するために用いる仮想状態情報を選択する、
請求項2又は3に記載の感覚付与装置。 - 前記受信部が受信した一以上の前記ロボット状態情報を一時的に記憶した後に、前記一以上のロボット状態情報を順次、前記感覚付与部に出力するバッファ部をさらに有し、
前記制御部は、前記バッファ部に蓄積された前記一以上のロボット状態情報の量が閾値未満になった場合に、前記仮想状態情報に基づく感覚を前記操作者に付与するように前記感覚付与部を制御する、
請求項1から4のいずれか一項に記載の感覚付与装置。 - 前記受信部が受信した一以上の前記ロボット状態情報を一時的に記憶した後に、前記一以上のロボット状態情報を順次、前記感覚付与部に出力するバッファ部をさらに有し、
前記制御部は、前記送信部が前記操作者状態情報を送信してから前記受信部が前記ロボット状態情報を受信するまでに要する遅延時間の変動量が所定の範囲内に収まるように、前記バッファ部に一時的に記憶する前記ロボット状態情報の量を制御する、
請求項1から4のいずれか一項に記載の感覚付与装置。 - ロボットを操作する操作者の状態を示す操作者状態情報をネットワークに送信する感覚付与装置と、
前記ネットワークを介して受信した前記操作者状態情報に基づいて前記ロボットを制御するロボット制御装置と、
前記ネットワークを介してロボット制御装置及び前記感覚付与装置と通信可能な管理装置と、
を備え、
前記感覚付与装置は、
ロボットを操作する操作者の状態を示す操作者状態情報を前記ロボットに向けて送信する送信部と、
前記ロボットの状態を示すロボット状態情報を前記ロボットから受信する受信部と、
前記操作者に所定の感覚を付与する感覚付与部と、
前記送信部が前記操作者状態情報を送信してから前記受信部が前記ロボット状態情報を受信するまでに要する遅延時間が所定の時間以下である場合に、前記ロボット状態情報に基づく感覚を前記操作者に付与するように前記感覚付与部を制御し、前記遅延時間が前記所定の時間よりも長い場合に、推定された前記ロボットの状態を示す仮想状態情報に基づく感覚を前記操作者に付与するように前記感覚付与部を制御する制御部と、
を有し、
前記管理装置は、
前記遅延時間を特定する遅延特定部と、
前記遅延特定部が特定した前記遅延時間を前記制御部に通知する通知部と、
を有し、
前記遅延特定部は、前記遅延時間が発生している要因を特定し、
前記通知部は、前記遅延特定部が特定した前記要因が前記ネットワークの伝送遅延である場合に、前記感覚付与装置に対して、前記仮想状態情報に基づく感覚を前記操作者に付与するように指示し、
前記感覚付与装置の前記制御部は、前記仮想状態情報に基づく感覚を前記操作者に付与するように前記感覚付与部を制御する、
ロボット制御システム。 - 前記通知部は、前記遅延特定部が特定した前記要因が前記ロボットの動作遅延である場合に、前記ロボット制御装置に対して、仮想状態情報を前記感覚付与装置に送信するように指示し、
前記感覚付与装置の前記制御部は、前記ロボット制御装置から受信した前記仮想状態情報に基づく感覚を前記操作者に付与するように前記感覚付与部を制御する、
請求項7に記載のロボット制御システム。 - コンピュータが実行する、
ロボットを操作する操作者の状態を示す操作者状態情報を前記ロボットに向けて送信するステップと、
前記操作者状態情報を送信してから前記ロボットの状態を示すロボット状態情報を受信するまでに要する遅延時間が所定の時間以下であるか否かを判定するステップと、
前記遅延時間が前記所定の時間以下である場合に、前記ロボット状態情報に基づく感覚を前記操作者に付与し、前記遅延時間が前記所定の時間よりも長い場合に、推定された前記ロボットの状態を示す仮想状態情報に基づく感覚を前記操作者に付与するステップと、
を有し、
前記仮想状態情報に基づく感覚を前記操作者に付与するステップにおいて、前記仮想状態情報に基づく第1感覚と、前記仮想状態情報に基づく感覚を前記操作者に付与した後に受信した前記ロボット状態情報に基づく第2感覚との間に所定の大きさ以上の差がある場合、前記第1感覚と前記第2感覚との間を補間する感覚を前記操作者に付与する、
ロボット制御方法。 - コンピュータが実行する、
ロボットを操作する操作者の状態を示す操作者状態情報を前記ロボットに向けて送信するステップと、
前記操作者状態情報を送信してから前記ロボットの状態を示すロボット状態情報を受信するまでに要する遅延時間が所定の時間以下であるか否かを判定するステップと、
前記遅延時間が前記所定の時間以下である場合に、前記ロボット状態情報に基づく感覚を前記操作者に付与し、前記遅延時間が前記所定の時間よりも長い場合に、推定された前記ロボットの状態を示す仮想状態情報に基づく感覚を前記操作者に付与するステップと、
を有し、
前記仮想状態情報に基づく感覚を前記操作者に付与するステップにおいて、
前記操作者状態情報を送信してから前記ロボット状態情報を受信するまでの遅延の要因を特定し、特定した前記要因に基づいて、それぞれ異なる状態に対応する複数の前記仮想状態情報を記憶する記憶部に記憶された前記仮想状態情報に基づく感覚を前記操作者に付与するか、ネットワークを介して受信した前記仮想状態情報に基づく感覚を前記操作者に付与するかを決定し、特定した前記要因が前記ネットワークの伝送遅延である場合に、前記記憶部に記憶された前記複数の仮想状態情報のうち、前記操作者状態情報が示す操作内容に基づいて特定される前記ロボットの位置に対応する前記仮想状態情報に基づく感覚を前記操作者に付与する、
ロボット制御方法。 - コンピュータに、
ロボットを操作する操作者の状態を示す操作者状態情報を前記ロボットに向けて送信するステップと、
前記操作者状態情報を送信してから前記ロボットの状態を示すロボット状態情報を受信するまでに要する遅延時間が所定の時間以下であるか否かを判定するステップと、
前記遅延時間が前記所定の時間以下である場合に、前記ロボット状態情報に基づく感覚を前記操作者に付与し、前記遅延時間が前記所定の時間よりも長い場合に、推定された前記ロボットの状態を示す仮想状態情報に基づく感覚を前記操作者に付与するステップと、
を実行させ、
前記仮想状態情報に基づく感覚を前記操作者に付与するステップにおいて、前記仮想状態情報に基づく第1感覚と、前記仮想状態情報に基づく感覚を前記操作者に付与した後に受信した前記ロボット状態情報に基づく第2感覚との間に所定の大きさ以上の差がある場合、前記第1感覚と前記第2感覚との間を補間する感覚を前記操作者に付与させる、
プログラム。 - コンピュータに、
ロボットを操作する操作者の状態を示す操作者状態情報を前記ロボットに向けて送信するステップと、
前記操作者状態情報を送信してから前記ロボットの状態を示すロボット状態情報を受信するまでに要する遅延時間が所定の時間以下であるか否かを判定するステップと、
前記遅延時間が前記所定の時間以下である場合に、前記ロボット状態情報に基づく感覚を前記操作者に付与し、前記遅延時間が前記所定の時間よりも長い場合に、推定された前記ロボットの状態を示す仮想状態情報に基づく感覚を前記操作者に付与するステップと、
を実行させ、
前記仮想状態情報に基づく感覚を前記操作者に付与するステップにおいて、
前記操作者状態情報を送信してから前記ロボット状態情報を受信するまでの遅延の要因を特定させ、特定した前記要因に基づいて、それぞれ異なる状態に対応する複数の前記仮想状態情報を記憶する記憶部に記憶された前記仮想状態情報に基づく感覚を前記操作者に付与するか、ネットワークを介して受信した前記仮想状態情報に基づく感覚を前記操作者に付与するかを決定させ、特定した前記要因が前記ネットワークの伝送遅延である場合に、前記記憶部に記憶された前記複数の仮想状態情報のうち、前記操作者状態情報が示す操作内容に基づいて特定される前記ロボットの位置に対応する前記仮想状態情報に基づく感覚を前記操作者に付与させる、
プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017098532 | 2017-05-17 | ||
JP2017098532 | 2017-05-17 | ||
PCT/JP2018/018883 WO2018212225A1 (ja) | 2017-05-17 | 2018-05-16 | 感覚付与装置、ロボット制御システム、ロボット制御方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018212225A1 JPWO2018212225A1 (ja) | 2020-03-26 |
JP7034494B2 true JP7034494B2 (ja) | 2022-03-14 |
Family
ID=64273987
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019518832A Active JP7034494B2 (ja) | 2017-05-17 | 2018-05-16 | 感覚付与装置、ロボット制御システム、ロボット制御方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11541546B2 (ja) |
EP (1) | EP3626403A4 (ja) |
JP (1) | JP7034494B2 (ja) |
CN (1) | CN110678300A (ja) |
WO (1) | WO2018212225A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6971955B2 (ja) * | 2018-12-05 | 2021-11-24 | 三菱電機株式会社 | ロボット遠隔操作装置 |
WO2020136769A1 (ja) * | 2018-12-26 | 2020-07-02 | 三菱電機株式会社 | ロボット制御装置、ロボット制御学習装置、及びロボット制御方法 |
WO2020191033A1 (en) * | 2019-03-18 | 2020-09-24 | Case Western Reserve University | Systems and methods for human-machine integration |
JP2020170934A (ja) * | 2019-04-03 | 2020-10-15 | Telexistence株式会社 | 制御装置、ネットワーク制御方法、及びプログラム |
KR102538666B1 (ko) * | 2020-12-04 | 2023-06-01 | 주식회사 팀그릿 | 무선조종 장난감의 원격 제어 방법 및 그 장치 |
CN115225682B (zh) * | 2021-04-15 | 2024-01-19 | 本田技研工业株式会社 | 管理服务器、远程操作系统、远程操作方法以及存储介质 |
WO2024018922A1 (ja) * | 2022-07-19 | 2024-01-25 | ソニーグループ株式会社 | 信号処理装置、信号処理方法、プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001025986A (ja) | 1999-07-12 | 2001-01-30 | Mitsubishi Electric Corp | ロボットの遠隔操作装置 |
JP2005177958A (ja) | 2003-12-24 | 2005-07-07 | Olympus Corp | 遠隔操作システム |
US20110306986A1 (en) | 2009-03-24 | 2011-12-15 | Min Kyu Lee | Surgical robot system using augmented reality, and method for controlling same |
JP2015047666A (ja) | 2013-09-02 | 2015-03-16 | トヨタ自動車株式会社 | 遠隔操作装置、及び操作画像表示方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS57121487A (en) | 1981-01-14 | 1982-07-28 | Kogyo Gijutsuin | System of operating manipulator |
JPS6229196A (ja) | 1985-07-31 | 1987-02-07 | 株式会社日立製作所 | リフロ−はんだ付方法およびその装置 |
US9005199B2 (en) * | 2010-06-10 | 2015-04-14 | Ethicon Endo-Surgery, Inc. | Heat management configurations for controlling heat dissipation from electrosurgical instruments |
DE102010062648A1 (de) * | 2010-12-08 | 2012-06-14 | Kuka Roboter Gmbh | Telepräsenzsystem |
WO2016073557A1 (en) * | 2014-11-04 | 2016-05-12 | The University Of North Carolina At Chapel Hill | Minimal-latency tracking and display for matching real and virtual worlds |
NZ745790A (en) * | 2016-03-15 | 2023-04-28 | Magic Leap Inc | Direct light compensation technique for augmented reality system |
-
2018
- 2018-05-16 JP JP2019518832A patent/JP7034494B2/ja active Active
- 2018-05-16 EP EP18802159.6A patent/EP3626403A4/en active Pending
- 2018-05-16 WO PCT/JP2018/018883 patent/WO2018212225A1/ja unknown
- 2018-05-16 CN CN201880032636.0A patent/CN110678300A/zh active Pending
-
2019
- 2019-11-15 US US16/684,624 patent/US11541546B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001025986A (ja) | 1999-07-12 | 2001-01-30 | Mitsubishi Electric Corp | ロボットの遠隔操作装置 |
JP2005177958A (ja) | 2003-12-24 | 2005-07-07 | Olympus Corp | 遠隔操作システム |
US20110306986A1 (en) | 2009-03-24 | 2011-12-15 | Min Kyu Lee | Surgical robot system using augmented reality, and method for controlling same |
JP2015047666A (ja) | 2013-09-02 | 2015-03-16 | トヨタ自動車株式会社 | 遠隔操作装置、及び操作画像表示方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110678300A (zh) | 2020-01-10 |
EP3626403A4 (en) | 2021-03-10 |
JPWO2018212225A1 (ja) | 2020-03-26 |
WO2018212225A1 (ja) | 2018-11-22 |
EP3626403A1 (en) | 2020-03-25 |
US20200078950A1 (en) | 2020-03-12 |
US11541546B2 (en) | 2023-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7034494B2 (ja) | 感覚付与装置、ロボット制御システム、ロボット制御方法及びプログラム | |
US9900688B2 (en) | Beamforming audio with wearable device microphones | |
WO2017183319A1 (ja) | ロボットおよび筐体 | |
US10871822B2 (en) | Image generation apparatus, image generation system, and image generation method | |
JP7239916B2 (ja) | 遠隔操作システム、情報処理方法、及びプログラム | |
WO2018225187A1 (ja) | 情報処理システム、情報処理装置、サーバ装置、画像提供方法および画像生成方法 | |
JP6580516B2 (ja) | 処理装置および画像決定方法 | |
WO2017183294A1 (ja) | アクチュエータ装置 | |
JP6969577B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US11810219B2 (en) | Multi-user and multi-surrogate virtual encounters | |
JP2017216643A (ja) | アクチュエータ装置 | |
CN107251527A (zh) | 共享的场景对象同步 | |
CN111448536B (zh) | 数据替换装置、终端及数据替换程序 | |
WO2017183292A1 (ja) | 処理装置および画像決定方法 | |
WO2019176035A1 (ja) | 画像生成装置、画像生成システム、および画像生成方法 | |
JP2016181856A (ja) | 会議システム | |
JP6615716B2 (ja) | ロボットおよび筐体 | |
US11327576B2 (en) | Information processing apparatus, information processing method, and program | |
WO2017183293A1 (ja) | 位相差増幅装置 | |
WO2020204072A1 (ja) | 制御装置、ネットワーク制御方法、及びプログラム | |
US20230410348A1 (en) | Object Detection Outside a User Field-of-View | |
WO2021230364A1 (ja) | 遠隔制御システムとその遠隔作業装置、映像処理装置およびプログラム | |
Inoue et al. | Enhancing bodily expression and communication capacity of telexistence robot with augmented reality | |
JP2019220147A (ja) | データ差し替え装置、端末、およびデータ差し替えプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7034494 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |