JP6665506B2 - 遠隔操作装置、方法及びプログラム - Google Patents
遠隔操作装置、方法及びプログラム Download PDFInfo
- Publication number
- JP6665506B2 JP6665506B2 JP2015241163A JP2015241163A JP6665506B2 JP 6665506 B2 JP6665506 B2 JP 6665506B2 JP 2015241163 A JP2015241163 A JP 2015241163A JP 2015241163 A JP2015241163 A JP 2015241163A JP 6665506 B2 JP6665506 B2 JP 6665506B2
- Authority
- JP
- Japan
- Prior art keywords
- obstacles
- received
- identified
- movable
- travel route
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 45
- 230000000007 visual effect Effects 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/01—Mobile robot
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/46—Sensing device
- Y10S901/47—Optical
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Description
805 コンピュータ装置
810 プロセッサ
815 メモリ
Claims (18)
- ユーザにより入力された走行経路に基づいて移動可能な第2の装置を遠隔操作する第1の装置であって、
前記移動可能な第2の装置から受信した視覚データを表示する表示部と、
ユーザにより前記視覚データ上に描画入力された前記移動可能な第2の装置の走行経路を受信し、前記移動可能な第2の装置のセンサデータから1つ以上の障害物を識別し、受信された前記走行経路が識別された1つ以上の前記障害物と交差する少なくとも1つの部分を有することを判定し、受信された前記走行経路とは異なる1つ以上の部分を備える代替走行経路を前記表示部に提供するプロセッサと、
を含む、第1の装置。 - 前記表示部は、前記移動可能な第2の装置から受信した視覚データ上に受信された前記走行経路を重ねて表示し、
前記プロセッサは、識別された1つ以上の前記障害物の近接閾値内にある受信された前記走行経路の1つ以上の部分を、前記表示部上で強調する、
請求項1に記載の第1の装置。 - 前記プロセッサは前記移動可能な第2の装置へ命令を送信し、前記命令は、前記識別された1つ以上の障害物からの距離に対する速度に関連するマッピング関数に基づく速度で受信された前記走行経路を走行させることを含む、請求項2に記載の第1の装置。
- 前記表示部は、前記移動可能な第2の装置から受信した視覚データ上に受信された前記走行経路を重ねて表示し、
前記プロセッサは、識別された1つ以上の前記障害物と交差する受信された前記走行経路の1つ以上の部分を前記表示部上で強調する、
請求項1に記載の第1の装置。 - 前記プロセッサは識別された1つ以上の前記障害物を前記表示部上で強調する、請求項1に記載の第1の装置。
- 前記プロセッサは、前記移動可能な第2の装置の位置と識別された1つ以上の前記障害物とに基づいて、前記移動可能な第2の装置から受信した視覚データ上に重ねて表示する1つ以上のオーバーレイを取り出す、請求項1〜請求項5の何れか1項に記載の第1の装置。
- ユーザにより入力された走行経路に基づいて移動可能装置を遠隔操作する方法であって、
プロセッサが、
移動可能装置から受信した視覚データ上にユーザにより描画入力された移動可能装置の走行経路を受信し、
前記移動可能装置のセンサデータから1つ以上の障害物を識別し、
受信された前記走行経路が識別された1つ以上の前記障害物と交差する少なくとも1つの部分を有することを判定し、
受信された前記走行経路とは異なる、1つ以上の部分を備える代替走行経路を表示部上に提供する、
方法。 - 前記表示部上で、前記移動可能装置から受信した視覚データの上に受信された前記走行経路を重ねて表示し、
前記表示部上で、識別された1つ以上の前記障害物の近接閾値内にある受信された前記走行経路の1つ以上の部分を強調する、
ことをさらに含む、請求項7に記載の方法。 - 前記移動可能装置へ命令を送信することをさらに含み、
前記命令は、識別された1つ以上の前記障害物からの距離に対する速度に関連するマッピング関数に基づく速度で前記受信された走行経路を走行させることを含む、請求項8に記載の方法。 - 前記表示部上で、前記移動可能装置から受信した視覚データの上に受信された前記走行経路を重ねて表示し、
前記表示部上で、識別された1つ以上の障害物と交差する受信された前記走行経路の1つ以上の部分を強調する、
ことをさらに含む、請求項7に記載の方法。 - 前記表示部上で識別された1つ以上の障害物を強調する、
ことをさらに含む、請求項7に記載の方法。 - 前記移動可能装置の位置と識別された1つ以上の前記障害物とに基づいて、前記移動可能装置からの視覚データ上に重ねて表示する1つ以上のオーバーレイを取り出す、
ことをさらに含む、請求項7〜請求項11の何れか1項に記載の方法。 - ユーザにより入力された走行経路に基づいて移動可能装置を遠隔操作するためのプログラムであって、
移動可能装置から受信した視覚データ上にユーザにより描画入力された移動可能装置の走行経路を受信し、
前記移動可能装置のセンサデータから障害物を識別し、
受信された前記走行経路が識別された1つ以上の前記障害物と交差する少なくとも1つの部分を有することを判定し、
受信された前記走行経路とは異なる1つ以上の部分を備える代替走行経路を表示部上に提供する、
処理をコンピュータに実行させるためのプログラム。 - 前記処理は、
前記表示部上で、前記移動可能装置から受信した視覚データの上に受信された前記走行経路を重ねて表示し、
前記表示部上で、識別された1つ以上の前記障害物の近接閾値内にある受信された前記走行経路の1つ以上の部分を強調する、
ことをさらに含む、
請求項13に記載のプログラム。 - 前記処理は、前記移動可能装置へ命令を送信する、ことをさらに含み、
前記命令は、識別された1つ以上の前記障害物からの距離に対する速度に関連するマッピング関数に基づく速度で受信された前記走行経路を走行させることを含む、
請求項14に記載のプログラム。 - 前記処理は、
前記表示部上で、前記移動可能装置から受信した視覚データの上に受信された前記走行経路を重ねて表示し、
前記表示部上で、識別された1つ以上の前記障害物と交差する受信された前記走行経路の1つ以上の部分を強調する、
ことをさらに含む、
請求項13に記載のプログラム。 - 前記処理は、識別された1つ以上の前記障害物を前記表示部上で強調する、ことを含む、請求項13に記載のプログラム。
- 前記処理は、前記移動可能装置の位置と前記識別された1つ以上の障害物とに基づいて、前記移動可能装置からの視覚データ上に重ねて表示する1つ以上のオーバーレイを取り出す、ことをさらに含む、請求項13〜請求項17の何れか1項に記載のプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/852,246 | 2015-09-11 | ||
US14/852,246 US9684305B2 (en) | 2015-09-11 | 2015-09-11 | System and method for mobile robot teleoperation |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017054475A JP2017054475A (ja) | 2017-03-16 |
JP6665506B2 true JP6665506B2 (ja) | 2020-03-13 |
Family
ID=58257357
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015241163A Active JP6665506B2 (ja) | 2015-09-11 | 2015-12-10 | 遠隔操作装置、方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9684305B2 (ja) |
JP (1) | JP6665506B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10046459B2 (en) * | 2015-11-16 | 2018-08-14 | Abb Schweiz Ag | Three-dimensional visual servoing for robot positioning |
US20170309070A1 (en) * | 2016-04-20 | 2017-10-26 | Sangiovanni John | System and method for very large-scale communication and asynchronous documentation in virtual reality and augmented reality environments |
WO2018191514A1 (en) | 2017-04-12 | 2018-10-18 | Marble Robot, Inc. | Method for sensor data processing |
US10919152B1 (en) | 2017-05-30 | 2021-02-16 | Nimble Robotics, Inc. | Teleoperating of robots with tasks by mapping to human operator pose |
US11203118B1 (en) * | 2018-06-12 | 2021-12-21 | A9.com | Systems and methods to implement preferred pathways in mobile robots |
US10816994B2 (en) * | 2018-10-10 | 2020-10-27 | Midea Group Co., Ltd. | Method and system for providing remote robotic control |
WO2020160431A1 (en) * | 2019-02-01 | 2020-08-06 | Google Llc | Generating a robot control policy from demonstrations |
JP7273566B2 (ja) * | 2019-03-19 | 2023-05-15 | パナソニックホールディングス株式会社 | ロボット、ロボットの制御方法及びプログラム |
KR102243179B1 (ko) * | 2019-03-27 | 2021-04-21 | 엘지전자 주식회사 | 이동 로봇 및 그 제어방법 |
EP4114623A4 (en) * | 2020-03-06 | 2024-03-20 | Edda Technology, Inc. | METHOD AND SYSTEM FOR OBSTACLE AVOIDANCE IN ROBOT PATH PLANNING USING DEPTH SENSORS |
US11302077B2 (en) | 2020-05-29 | 2022-04-12 | Snap Inc. | Augmented reality guidance that generates guidance markers |
JP2023054935A (ja) * | 2021-10-05 | 2023-04-17 | 三菱ロジスネクスト株式会社 | 遠隔操作システム |
US20230192129A1 (en) * | 2021-12-21 | 2023-06-22 | Waymo Llc | User Interface Techniques for Recommending Remote Assistance Actions |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5204814A (en) * | 1990-11-13 | 1993-04-20 | Mobot, Inc. | Autonomous lawn mower |
JPH11149315A (ja) * | 1997-11-19 | 1999-06-02 | Mitsubishi Heavy Ind Ltd | ロボット制御システム |
JP4425170B2 (ja) * | 2005-03-31 | 2010-03-03 | セコム株式会社 | 移動ロボット及び移動ロボットによる監視システム |
JP4968684B2 (ja) * | 2007-12-10 | 2012-07-04 | 本田技研工業株式会社 | 目標経路設定支援システム |
WO2009089369A1 (en) * | 2008-01-08 | 2009-07-16 | Raytheon Sarcos, Llc | Point and go navigation system and method |
JP5215740B2 (ja) * | 2008-06-09 | 2013-06-19 | 株式会社日立製作所 | 移動ロボットシステム |
JP5339990B2 (ja) * | 2009-03-31 | 2013-11-13 | アルパイン株式会社 | ナビゲーション装置およびその混雑状況表示方法 |
JP5171723B2 (ja) * | 2009-04-27 | 2013-03-27 | アルプス電気株式会社 | 障害物検知装置、および当該装置を搭載した車両 |
US9323250B2 (en) * | 2011-01-28 | 2016-04-26 | Intouch Technologies, Inc. | Time-dependent navigation of telepresence robots |
US8718837B2 (en) * | 2011-01-28 | 2014-05-06 | Intouch Technologies | Interfacing with a mobile telepresence robot |
-
2015
- 2015-09-11 US US14/852,246 patent/US9684305B2/en active Active
- 2015-12-10 JP JP2015241163A patent/JP6665506B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017054475A (ja) | 2017-03-16 |
US20170075348A1 (en) | 2017-03-16 |
US9684305B2 (en) | 2017-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6665506B2 (ja) | 遠隔操作装置、方法及びプログラム | |
US11906312B2 (en) | Localizing transportation requests utilizing an image based transportation request interface | |
EP3950235B1 (en) | Self-propelled robot path planning method, self-propelled robot and storage medium | |
US20190250601A1 (en) | Aircraft flight user interface | |
CN108137096B (zh) | 用于停放车辆的系统 | |
EP3178617B1 (en) | Hybrid reality based i-bot navigation and control | |
KR20180050823A (ko) | 3차원의 도로 모델을 생성하는 방법 및 장치 | |
US9702722B2 (en) | Interactive 3D navigation system with 3D helicopter view at destination | |
US20140028716A1 (en) | Method and electronic device for generating an instruction in an augmented reality environment | |
US11100602B2 (en) | System and method for geometrical user interactions via three-dimensional mapping | |
KR20180067724A (ko) | 이동형 원격현전 로봇과의 인터페이싱 | |
US12033244B2 (en) | Map driven augmented reality | |
US20200109962A1 (en) | Method and system for generating navigation data for a geographical location | |
US9459115B1 (en) | Unobstructed map navigation using animation | |
JP6448804B2 (ja) | 表示制御装置、表示装置および表示制御方法 | |
US20210348927A1 (en) | Information processing apparatus, information processing method, and recording medium | |
JP2017015593A (ja) | 表示制御方法、表示制御プログラム、情報処理端末及びヘッドマウントディスプレイ | |
KR102383567B1 (ko) | 시각 정보 처리 기반의 위치 인식 방법 및 시스템 | |
US11321864B1 (en) | User guided mode for measurement purposes | |
Chen et al. | Design and Implementation of AMR Robot Based on RGBD, VSLAM and SLAM | |
US11656089B2 (en) | Map driven augmented reality | |
JP2018169787A (ja) | 自律型モビリティシステムおよび自律型モビリティの制御方法 | |
CN111750888A (zh) | 信息交互方法、装置、电子设备和计算机可读存储介质 | |
US10735902B1 (en) | Method and computer program for taking action based on determined movement path of mobile devices | |
KR20220126550A (ko) | 증강현실 뷰를 사용하는 경로 안내 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181022 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190814 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190820 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200203 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6665506 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |