KR20140040094A - 이동형 원격현전 로봇과의 인터페이싱 - Google Patents
이동형 원격현전 로봇과의 인터페이싱 Download PDFInfo
- Publication number
- KR20140040094A KR20140040094A KR1020137020195A KR20137020195A KR20140040094A KR 20140040094 A KR20140040094 A KR 20140040094A KR 1020137020195 A KR1020137020195 A KR 1020137020195A KR 20137020195 A KR20137020195 A KR 20137020195A KR 20140040094 A KR20140040094 A KR 20140040094A
- Authority
- KR
- South Korea
- Prior art keywords
- robot
- tag
- telepresence
- remote
- map
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 81
- 238000000034 method Methods 0.000 claims abstract description 78
- 230000009471 action Effects 0.000 claims abstract description 35
- 238000013507 mapping Methods 0.000 claims abstract description 21
- 239000003607 modifier Substances 0.000 claims abstract description 5
- 238000004891 communication Methods 0.000 claims description 113
- 230000033001 locomotion Effects 0.000 claims description 95
- 238000005259 measurement Methods 0.000 claims description 23
- 238000004091 panning Methods 0.000 claims description 21
- 230000004044 response Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 14
- 238000012986 modification Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 230000003334 potential effect Effects 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 230000002093 peripheral effect Effects 0.000 abstract description 3
- 230000006399 behavior Effects 0.000 description 53
- 238000001514 detection method Methods 0.000 description 39
- 238000010586 diagram Methods 0.000 description 27
- 238000012545 processing Methods 0.000 description 18
- 238000003860 storage Methods 0.000 description 17
- 230000009466 transformation Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 14
- 238000004590 computer program Methods 0.000 description 13
- 238000007667 floating Methods 0.000 description 13
- 230000004807 localization Effects 0.000 description 11
- 238000003032 molecular docking Methods 0.000 description 11
- 230000003993 interaction Effects 0.000 description 10
- 239000011521 glass Substances 0.000 description 9
- 230000005484 gravity Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 230000008447 perception Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000002347 injection Methods 0.000 description 6
- 239000007924 injection Substances 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000002441 reversible effect Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000001131 transforming effect Effects 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 208000006011 Stroke Diseases 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 238000005096 rolling process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004043 responsiveness Effects 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 235000014676 Phragmites communis Nutrition 0.000 description 1
- 238000012356 Product development Methods 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009223 counseling Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
- B25J11/009—Nursing, e.g. carrying sick persons, pushing wheelchairs, distributing drugs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0095—Manipulators transporting wafers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
- G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/01—Mobile robot
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/46—Sensing device
- Y10S901/47—Optical
Abstract
원격현전 로봇은 구동 시스템과, 제어 시스템과, 이미징 시스템, 및 매핑 모듈(mapping module)을 포함할 수 있다. 매핑 모듈은 일 영역의 평면도 지도 및 그 영역과 결부된 태그에 액세스할 수 있다. 다양한 실시예에서, 각 태그는 태그 좌표와, 태그 주석(tag annotation)을 포함할 수 있는 태그 정보를 포함할 수 있다. 태그 식별 시스템은 현재 위치의 기설정 범위 내의 태그를 식별할 수 있고, 제어 시스템은 그 태그 정보가 원격현전 로봇 동작 수정부(action modifier)를 포함하는 식별된 태그에 기초하여 동작을 실행할 수 있다. 원격현전 로봇은 하부에 독립적으로 상부를 회전시킬 수 있다. 원격 터미널은 조종자가, 라이브 비디오 피드에서 목적지를 선택하는, 평면도 지도 상에서 목적지를 선택하는, 또는 조이스틱 혹은 다른 주변장치를 사용하는 것을 포함하는 제어 방법의 임의의 조합을 사용하여 원격현전 로봇을 제어할 수 있게 한다.
Description
본 개시는 이동형 원격현전 로봇에 관한 것이다.
로봇은 일반적으로 컴퓨터 또는 전자 프로그래밍에 의해 유도되는 전기-기계식 장치이다. 원격현전 로봇(telepresence robot)은 그 주변 환경을 따라 이동할 수 있는 능력을 가지며 하나의 물리적인 장소에 국한되지 않는다. 오늘날 흔히 사용되는 원격현전 로봇의 일례로는 AGV(automated/automatic guided vehicle: 무인 유도 차량)이 있다. AGV는 일반적으로 바닥에 있는 마커 또는 와이어를 따라가는 또는 운행(navigation)을 위해 비젼 시스템 혹은 레이저를 사용하는 원격현전 로봇이다. 원격현전 로봇은 산업계, 군사용, 및 보안 환경에서 찾을 수 있다. 이들은 엔터테인먼트 용으로 또는 가정내 보조(home assistance)와 같은 특정 임무를 수행하기 위한 소비재(consumer product)로도 나오고 있다.
본 발명의 원격현전 로봇은 산업계, 군사용, 및 보안 환경과, 엔터테인먼트 용으로 또는 가정내 보조와 같은 특정 임무를 수행하기 위한 소비재 등에 사용하기 위한 것이다.
본 개시의 일 양태는 로컬 터미널과 리모트 원격현전 로봇을 포함하는 원격현전 로봇 시스템을 제공한다. 로컬 터미널은 전자 디스플레이와, 프로세서, 및 프로세서와 통신 상태에 있는 메모리를 포함하며, 메모리는 프로세서에 의해 실행 가능한 명령어(instructions)를 포함한다. 실행 가능한 명령어는: 프로세서가 로봇 작동 표면(operating surface)의 로봇 운행 가능 구역(robot-navigable area)을 나타내는 평면도 지도의 적어도 일부를 검색하게 하고; 복수의 태그들 중 적어도 하나의 태그를 검색할 수 있게 하는데, 복수의 태그 각각은 태그의 상대 위치를 기술하는 태그 좌표 및 태그 주석(tag annotation)을 포함할 수 있는 태그 정보를 포함하며; 리모트 원격현전 로봇의 이미징 시스템으로부터 비디오 피드(video feed)를 수신하고; 포지셔닝 정보를 수신하며; 리모트 원격현전 로봇의 이미징 시스템으로부터의 비디오 피드를 디스플레이하고; 평면도 지도 상의 원격현전 로봇의 현재 위치의 표시와 함께 평면도 지도를 디스플레이하며; 태그 좌표를 사용하여 비디오 피드와 평면도 지도 중 적어도 하나의 위에 적어도 하나의 태그의 태그 주석의 표현(rendition)을 디스플레이하고; 리모트 원격현전 로봇에 하나 이상의 명령을 전송하도록 구성될 수 있다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가: 평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드 사이의 왜곡(예를 들면, 2차원 좌표계와 3차원 좌표계 사이의 좌표 변환)을 결정하고; 비디오 피드에 대한 적어도 하나의 태그의 관점과 위치를 기술하는 관점 데이터(perspective data) 및 해당 비디오 좌표를 결정하기 위해 적어도 하나의 태그의 태그 좌표에 왜곡을 적용하며; 태그 비디오 좌표를 사용하여 비디오 피드 상에 오버레이(overlay)된 적어도 하나의 태그의 태그 주석의 3차원 표현을 디스플레이하도록 구성된다.
몇몇 실시예에서, 태그 주석의 3차원 표현은 리모트 원격현전 로봇의 현재 위치 및 비디오 피드에 대한 적어도 하나의 태그의 관점을 기초로 동적으로 재렌더링(re-rendered)될 수 있다.
몇몇 실시예에서, 태그 주석의 3차원 표현은 비디오 피드에서 검출된 물체에 대해 비디오 피드에 오버레이될 수 있다.
몇몇 실시예에서, 태그 주석의 3차원 표현은 비디오 피드에서 검출된 벽을 따라서 오버레이될 수 있다.
몇몇 실시예에서, 적어도 하나의 태그의 태그 정보는 원격현전 로봇 동작 수정부(action modifier)를 포함하며, 로봇 동작 수정부는 적어도 하나의 태그의 태그 좌표의 기설정 범위 내에 있는 원격현전 로봇에 응답하여 제1의 동작을 실행하도록 원격현전 로봇의 제어 시스템에 실행 명령어를 제공하도록 구성될 수 있다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 프로세서가 원격현전 로봇이 적어도 하나의 태그의 태그 좌표의 기설정 범위 내에 있을 때 원격현전 로봇의 제어 시스템에 실행 명령어를 전송하도록 또한 구성된다.
몇몇 실시예에서, 로봇 동작 수정부는 원격현전 로봇의 제어 시스템이 제1의 동작을 실행해야 하는 시간 및 평면도 지도 상의 위치 중 하나와 관련된 명령어를 또한 포함한다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가: 리모트 원격현전 로봇이 이동한 경로를 형성하는 평면도 지도에 대한 좌표의 시퀀스를 수신하고; 경로를 형성하는 이 좌표의 시퀀스를 태그 좌표 및 태그 주석을 포함할 수 있는 태그 정보를 포함하는 경로 태그(path tag)로 저장하며; 리모트 원격현전 로봇이 태그 좌표의 기설정 거리 내에 도달하게 될 때 경로 태그를 검색하고; 태그 좌표를 사용하여 비디오 피드 및 평면도 지도의 적어도 하나의 위에 경로 태그의 태그 주석의 표현을 디스플레이하도록 구성된다.
몇몇 실시예에서, 원격현전 로봇의 로컬 터미널은 적어도 하나의 사용자 입력 장치를 더 포함하며, 경로를 형성하는 좌표의 시퀀스는 이 사용자 입력 장치에 의해 제공될 수 있다.
몇몇 실시예에서, 경로를 형성하는 좌표의 시퀀스는 리모트 원격현전 로봇에 의해 제공될 수 있다.
몇몇 실시예에서, 원격현전 로봇은 원격현전 로봇 시스템의 로컬 터미널과 리모트 원격현전 로봇 사이의 통신을 용이하게 하도록 구성된 통신 시스템을 더 포함한다.
몇몇 실시예에서, 로컬 터미널은 적어도 하나의 사용자 입력 장치를 더 포함하고, 사용자 입력 장치는 사용자가 리모트 원격현전 로봇의 이미징 시스템으로부터의 비디오 피드 및 평면도 지도 중 적어도 하나에 리모트 원격현전 로봇의 희망 목적지의 표시를 제공할 수 있도록 구성될 수 있으며, 리모트 원격현전 로봇에 전송된 명령은 희망 목적지를 포함한다.
몇몇 실시예에서, 로봇의 경로를 형성하는 좌표의 시퀀스는 적어도 부분적으로 적어도 하나의 태그와 결부된 태깅 정보(tagging information)를 기초로 할 수 있다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가 리모트 원격현전 로봇의 현재 위치와 원격현전 로봇의 희망 목적지 사이에 로봇의 경로를 생성할 수 있도록 평면도 지도에 대해 좌표의 시퀀스를 결정하도록 구성되고, 리모트 원격현전 로봇에 전송된 명령은 로봇의 경로를 형성하는 좌표의 시퀀스를 포함한다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가 평면도 지도 상에 오버레이된 로봇의 경로를 형성하는 좌표의 시퀀스를 디스플레이 하도록 구성된다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가: 평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드 사이의 왜곡(예를 들면, 2차원 좌표계와 3차원 좌표계 사이의 좌표 변환)을 결정하고; 비디오 피드에 대한 좌표의 시퀀스의 관점과 위치를 기술하는 관점 데이터 및 해당 비디오 좌표를 결정하기 위해 로봇의 경로를 형성하는 좌표의 시퀀스에 왜곡을 적용하며; 비디오 피드 상에 오버레이된 로봇의 경로를 형성하는 좌표의 시퀀스의 3차원 표현을 디스플레이하도록 구성된다.
몇몇 실시예에서, 로봇의 경로를 형성하는 좌표의 시퀀스의 3차원 표현은 비디오 피드에서 검출된 바닥에 대해 비디오 피드 상에 오버레이될 수 있다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가: 리모트 원격현전 로봇의 운행 시스템으로부터 평면도 지도에 대한 좌표의 시퀀스를 수신하게 하는데, 좌표의 시퀀스는 리모트 원격현전 로봇의 현재 위치와 리모트 원격현전 로봇의 희망 목적지 사이에 로봇의 경로를 형성하고; 평면도 지도 상에 오버레이된 로봇의 경로를 형성하는 좌표의 시퀀스를 디스플레이하도록 구성된다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가: 평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드와 평면도 지도 사이의 왜곡(예를 들면, 2차원 좌표계와 3차원 좌표계 사이의 좌표 변환)을 결정하고; 비디오 피드에 대한 좌표의 시퀀스의 관점과 위치를 기술하는 관점 데이터 및 해당 비디오 좌표를 결정하기 위해 로봇의 경로를 형성하는 좌표의 시퀀스에 왜곡을 적용하며; 비디오 피드에 오버레이된 로봇의 경로를 형성하는 좌표의 시퀀스의 3차원 표현을 디스플레이하도록 구성된다.
몇몇 실시예에서, 로봇의 경로를 형성하는 좌표의 시퀀스의 3차원 표현은 비디오 피드에서 검출된 바닥에 대해 비디오 피드 상에 오버레이될 수 있다.
몇몇 실시예에서, 태그 정보는: 무선 통신 신호의 가용성(availability), 리모트 원격현전 로봇이 이동해야 하는 속도, 관심 지점의 위치, 사람의 위치, 도킹 스테이션의 위치, 휴지(rest) 구역의 위치, 유리 벽의 위치, 램프(경사면)의 위치, 물체의 위치, 조밀한 구역을 운행하기 위한 최적의 경로, 혼잡 구역을 운행하기 위한 최적의 경로, 및 리모트 원격현전 로봇이 실행해야 하는 동작 중 어느 하나와 관련된 정보를 포함한다.
몇몇 실시예에서, 태그 정보는 위치, 경로, 및/또는 부피에 관한 것일 수 있으며, 제어 시스템은 위치, 경로, 및/또는 부피에 대해 동작을 실행하도록 구성될 수 있다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가 리모트 원격현전 로봇의 센서 시스템에 의해 검출된 장애물의 평면도 지도 상의 좌표를 수신하도록 구성된다.
몇몇 실시예에서, 평면도 지도와 복수의 태그는 원격 저장된다.
몇몇 실시예에서, 평면도 지도와 복수의 태그는 리모트 원격현전 로봇 내에 저장된다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가 평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드 사이의 왜곡(예를 들면, 2차원 좌표계와 3차원 좌표계 사이의 좌표 변환)을 결정하고; 평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터의 비디오 피드의 혼합 도면을 포함하는 하이브리드 지도(hybrid map view)를 생성하도록 구성된다.
몇몇 실시예에서, 하이브리드 지도는 비디오 피드에 오버레이된 평면도 지도의 3차원 표시를 포함한다.
몇몇 실시예에서, 원격현전 로봇 시스템의 로컬 터미널은 적어도 하나의 사용자 입력 장치를 포함하고, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가: 평면도 지도 상의 리모트 원격현전 로봇의 가상 위치(virtual location)에 대해 렌더링된 미리보기(rendered look ahead)를 위한 요청을 적어도 하나의 사용자 입력 장치를 통해 수신하고; 평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드 사이의 왜곡(예를 들면, 2차원 좌표계와 3차원 좌표계 사이의 좌표 변환)을 결정하며; 리모트 원격현전 로봇의 가상 위치에 기초한 가상의 3차원 비디오 피드를 생성하며; 리모트 원격현전 로봇의 가상 위치에 기초한 가상의 3차원 비디오 피드를 디스플레이하도록 구성된다.
몇몇 실시예에서, 적어도 하나의 태그의 태그 정보는 보호 구역(protected region)을 규정하는 평면도 지도에 대한 좌표의 집합을 포함하며, 적어도 하나의 태그의 태그 주석은 보호 구역의 존재를 나타내도록 구성될 수 있다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가: 새로운 태그를 생성하기 위한 요청을 수신하고; 새로운 태그의 상대 위치를 기술하는 태그 좌표와 태그 주석을 포함할 수 있는 태그 정보를 새로운 태그와 결부시키며; 태그 좌표를 사용하여 비디오 피드와 평면도 지도 중 적어도 하나에 새로운 태그의 태그 주석의 표현을 디스플레이하도록 구성된다.
몇몇 실시예에서, 새로운 태그를 생성하기 위한 요청은 리모트 원격현전 로봇에 의해 생성될 수 있다.
몇몇 실시예에서, 새로운 태그를 생성하기 위한 요청은 비디오 피드에서 검출된 물체를 기초로 자동으로 생성될 수 있다.
몇몇 실시예에서, 새로운 태그는 검출된 물체가 비디오 피드에 더 이상 존재하지 않게 되면 종료되도록 구성된 임시 태그(temperary tag)일 수 있다.
몇몇 실시예에서, 물체는 사람일 수 있으며, 새로운 태그의 태그 정보는 그 사람과 결부된 식별 정보를 포함한다.
몇몇 실시예에서, 물체는 사람일 수 있으며, 새로운 태그의 태그 정보는 그 사람에 대해 리모트 원격현전 로봇이 실행할 수 있는 잠재적인 동작을 포함한다.
몇몇 실시예에서, 새로운 태그를 생성하기 위한 요청은 원격현전 로봇의 로컬 터미널과 통신 상태에 있는 사용자 입력 장치에 의해 생성될 수 있다.
몇몇 실시예에서, 새로운 태그를 생성하기 위한 요청은 비디오 피드에 대해 이루어질 수 있다.
몇몇 실시예에서, 새로운 태그를 생성하기 위한 요청은 평면도 지도에 대해 이루어질 수 있다.
몇몇 실시예에서, 새로운 태그를 생성하기 위한 요청은 리모트 원격현전 로봇의 현재 위치에 대해 이루어질 수 있다.
몇몇 실시예에서, 태그 정보는: 무선 통신 신호의 가용성, 리모트 원격현전 로봇이 이동해야 하는 속도, 관심 지점의 위치, 사람의 위치, 도킹 스테이션의 위치, 휴지 구역의 위치, 유리 벽의 위치, 램프(경사면)의 위치, 물체의 위치, 조밀한 구역을 운행하기 위한 최적의 경로, 혼잡 구역을 운행하기 위한 최적의 경로, 및 리모트 원격현전 로봇이 실행해야 하는 동작 중 어느 하나와 관련된 정보를 포함한다.
다른 실시예에서는, 원격현전 로봇이 원격 터미널과 통신을 행할 수 있다. 원격현전 로봇은 구동 명령어에 따라 원격현전 로봇을 이동시키도록 구성된 구동 시스템과; 구동 시스템과 통신 상태에 있는 제어 시스템으로서, 구동 시스템이 원격현전 로봇을 이동시키도록 구동 명령어를 발생시키도록 구성된 제어 시스템과; 제어 시스템과 통신 상태에 있는 이미징 시스템과; 제어 시스템과 통신 상태에 있는 매핑 모듈(mapping module)로서, 매핑 모듈은 지도 데이터 소스(map data source)에 액세스하도록 구성되고, 지도 데이터 소스는 로봇 작동 표면의 로봇 운행 가능 영역을 나타내는 평면도 지도를 포함하는, 매핑 모듈과; 복수의 태그로서, 각 태그는 태그의 상대 위치를 기술하는 태그 좌표와 태그 주석을 포함할 수 있는 태그 정보를 포함하는 데이터 구조인, 복수의 태그와; 평면도 지도에 대해 현재 위치를 제공하도록 구성된 제어 시스템과 통신 상태에 있는 포지셔닝 시스템과; 원격현전 로봇의 운행 경로와 관련된 적어도 하나의 태그를 식별하도록 구성된 태그 식별 시스템과; 제어 시스템과 원격 터미널 사이의 통신을 용이하게 하도록 구성된 통신 시스템을 포함할 수 있으며, 제어 시스템은 그 태그 정보가 원격현전 로봇 동작 수정부를 포함하는 식별된 태그에 기초하여 동작을 실행하도록 구성될 수 있다.
몇몇 실시예에서, 식별된 태그의 태깅 정보는 제어 시스템이 동작을 실행해야 하는 시간과 평면도 지도 상의 위치 중 하나와 관련된 명령어를 포함한다.
몇몇 실시예에서, 제어 시스템은 이미징 시스템으로부터의 비디오 피드를 통신 시스템을 통하여 원격 터미널에 전송하도록 구성될 수 있으며, 제어 시스템은 통신 시스템을 통하여 원격 터미널로부터 평면도 지도 상의 희망 목적지의 표시를 수신하도록 구성될 수 있다.
몇몇 실시예에서, 원격현전 로봇은 원격현전 로봇 부근의 장애물을 식별하도록 구성된 복수의 센서와, 복수의 센서와 통신 상태에 있으며 제어 시스템과 통신 상태에 있는 장애물 회피 시스템을 더 포함할 수 있으며, 제어 시스템은 또한 원격현전 로봇 부근의 장애물을 회피하기 위해 추가적인 구동 명령어를 생성하도록 구성될 수 있다.
몇몇 실시예에서, 복수의 센서는 근접 센서와, 접촉 센서와, 주행거리 측정 센서, 및 3차원 이미지 센서 중 적어도 하나를 포함한다.
몇몇 실시예에서, 복수의 센서는 장애물의 3차원 점유공간을 포함하는 포인트 클라우드(point cloud)를 형성하는 3차원 이미지 센서를 포함할 수 있으며, 구동 명령어는 장애물의 3차원 점유공간을 회피하도록 구성될 수 있다.
몇몇 실시예에서, 원격현전 로봇은 제어 시스템과 통신 상태에 있는 지도 생성 시스템을 더 포함할 수 있으며, 지도 생성 시스템은 로봇 작동 표면의 평면도 지도를 자율적으로 생성하도록 구성되며, 제어 시스템은 원격현전 로봇이 로봇 작동 표면 전체에 이동하면서 복수의 측정치를 획득하도록 하는 구동 명령어를 생성하고, 지도 생성 시스템은 평면도 지도를 생성하기 위해 이 복수의 측정치를 사용한다.
몇몇 실시예에서, 원격현전 로봇은 평면도 지도 상의 현재의 위치로부터 평면도 지도 상의 희망 위치로의 좌표의 시퀀스를 포함하는 운행 경로를 생성하도록 구성된 운행 시스템을 더 포함할 수 있다.
몇몇 실시예에서, 원격현전 로봇은 검출된 장애물의 평면도 지도에 대한 좌표를 통신 시스템을 통하여 원격 터미널에 전송할 수 있다.
몇몇 실시예에서, 운행 경로를 형성하는 좌표의 시퀀스는 적어도 부분적으로 식별된 태그와 결부된 태깅 정보를 기초로 할 수 있다.
몇몇 실시예에서, 운행 시스템은 복수의 잠재적인 운행 경로로부터 하나의 운행 경로를 선택함으로써 운행 경로를 생성하도록 구성되고, 원격현전 로봇의 운행 경로에 관련된 태그는 복수의 잠재적인 운행 경로와 결부되며, 운행 시스템은 적어도 부분적으로는 식별된 관련 태그를 기초로 하여 운행 경로를 선택하도록 구성된다.
몇몇 실시예에서, 운행 경로를 형성하는 좌표의 시퀀스는 통신 시스템을 통하여 원격 터미널에 전송된다.
몇몇 실시예에서, 원격현전 로봇은 새로운 태그가 좌표의 시퀀스, 운행 경로에 관련된 태깅 정보, 및 운행 경로에 관련된 태그 주석을 포함하도록, 운행 경로를 형성하는 좌표의 시퀀스를 사용하여 새로운 태그를 생성하도록 구성될 수 있다.
몇몇 실시예에서, 복수의 태그 각각의 태그 정보는: 무선 통신 신호의 가용성, 리모트 원격현전 로봇이 이동해야 하는 속도, 관심 지점의 위치, 사람의 위치, 도킹 스테이션의 위치, 휴지 영역의 위치, 유리 벽의 위치, 램프(경사면)의 위치, 물체의 위치, 조밀한 구역을 운행하기 위한 최적의 경로, 혼잡 구역을 운행하기 위한 최적의 경로, 및 리모트 원격현전 로봇이 실행해야 하는 동작 중 어느 하나와 관련된 정보를 포함한다.
몇몇 실시예에서, 제어 시스템은 또한 평면도 지도 상의 현재 위치로부터 평면도 지도 상의 희망 목적지로의 운행 경로를 수신하도록 구성될 수 있으며, 제어 시스템은 또한 구동 시스템이 운행 경로를 기초로 원격현전 로봇을 희망 목적지로 이동시키도록 하는 구동 명령어를 생성하도록 구성될 수 있다.
몇몇 실시예에서, 통신 시스템은 원격현전 로봇과 원격 터미널 사이의 통신의 두절을 검출하도록 구성될 수 있으며, 제어 시스템은 또한 통신의 두절 중에도 원격현전 로봇이 희망 목적지로 자율적으로 이동하도록 하는 구동 명령어를 지속적으로 생성하도록 구성될 수 있다.
몇몇 실시예에서, 지도 데이터 소스는 매핑 모듈이 통신 시스템을 통하여 지도 데이터 소스에 액세스할 수 있게 구성될 수 있도록 원격 저장될 수 있다.
몇몇 실시예에서, 지도 데이터 소스는 매핑 모듈이 내부 지도 데이터 소스에 액세스할 수 있게 구성될 수 있도록, 원격현전 로봇 내에 저장될 수 있다.
몇몇 실시예에서, 내부 지도 데이터 소스는 원격 저장된 지도 데이터 소스와 동기화(synchronize)될 수 있다.
몇몇 실시예에서, 포지셔닝 시스템은 또한 평면도 지도에 대한 로봇의 자세를 제공하도록 구성될 수 있다.
몇몇 실시예에서, 원격현전 로봇은: 새로운 태그의 상대 위치를 기술하는 태그 좌표를 평면도 지도와 이미징 시스템에 의해 생성된 비디오 피드 중 어느 하나에 대해 결부시킴으로써; 태그 정보를 새로운 태그와 결부시킴으로써; 및 태그 주석을 새로운 태그와 결부시킴으로써 새로운 태그를 생성하도록 구성될 수 있다.
몇몇 실시예에서, 새로운 태그는 원격현전 로봇이 비디오 피드에서 물체를 식별하는 것에 응답하여 생성될 수 있다.
몇몇 실시예에서, 물체는 사람일 수 있으며, 새로운 태그의 태그 정보는 그 사람과 결부된 식별 정보를 포함한다.
몇몇 실시예에서, 물체는 사람일 수 있으며, 새로운 태그의 태그 정보는 그 사람에 대해 리모트 원격현전 로봇이 실행할 수 있는 잠재적인 동작을 포함한다.
몇몇 실시예에서, 태그 정보는: 무선 통신 신호의 가용성, 리모트 원격현전 로봇이 이동해야 하는 속도, 관심 지점의 위치, 사람의 위치, 도킹 스테이션의 위치, 휴지 영역의 위치, 유리 벽의 위치, 램프의 위치, 물체의 위치, 조밀한 구역을 운행하기 위한 최적의 경로, 혼잡 구역을 운행하기 위한 최적의 경로, 및 리모트 원격현전 로봇이 실행해야 하는 동작 중 어느 하나와 관련된 정보를 포함한다.
몇몇 실시예에서, 원격현전 로봇 시스템은 포지셔닝 시스템과 통신 상태에 있는 RFID 리더를 더 포함할 수 있으며, 포지셔닝 시스템은 복수의 RFID 칩을 평면도 지도 상의 대응하는 복수의 좌표와 결부시키며, 포지셔닝 시스템은 적어도 부분적으로 RFID 리더의 범위 내의 하나 이상의 RFID 칩의 위치를 기초로 원격현전 로봇의 현재 위치를 결정하도록 구성될 수 있다.
본 발명의 시스템과 방법에는 다양한 제어 방법이 이용될 수 있다. 예를 들면, 원격현전 로봇 시스템의 로컬 터미널은: 전자 디스플레이와; 전자 디스플레이 인터페이스와 통신 상태에 있는 프로세서와; 프로세서와 통신 상태에 있는 메모리로서, 메모리는 프로세서가: 로봇 작동 표면의 로봇 운행 가능 구역을 나타내는 평면도 지도의 적어도 일부를 검색하고; 제1의 관점에서 리모트 원격현전 로봇의 이미징 시스템으로부터 비디오 피드를 수신하며; 평면도 지도에 대해 리모트 원격현전 로봇의 포지셔닝 시스템으로부터 현재 위치를 수신하고; 리모트 원격현전 로봇의 이미징 시스템으로부터의 비디오 피드를 디스플레이하며; 평면도 지도 상의 원격현전 로봇의 현재 위치의 표시와 함께 평면도 지도를 디스플레이하고; 리모트 원격현전 로봇에 명령을 전송하도록 구성된 프로세서에 의해 실행 가능한 명령어를 포함하는 메모리와; 프로세서와 통신 상태에 있는 사용자 입력 장치로서, 사용자 입력 장치는 사용자가 리모트 원격현전 로봇의 이동을 선택할 수 있도록 구성되고, 이동의 선택은: 비디오 피드에 대해서; 평면도 지도에 대해서; 및, 리모트 원격현전 로봇의 현재 위치에 대한 적어도 4개의 가능한 방향들 중 하나의 방향으로 리모트 원격현전 로봇을 증분적으로 전진시킴으로써, 리모트 원격현전 로봇의 목적지를 선택하는 것을 포함하는 사용자 입력 장치를 포함할 수 있다.
몇몇 실시예에서, 이동의 선택은 비디오 피드 내의 일 지점을 선택함으로써 비디오 피드의 다른 관점을 선택하는 것을 포함한다. 이 모드는 비디오 피드 상에서 보이는 지점에 이르는 중간 거리에 사용될 수 있다.
몇몇 실시예에서, 이동의 선택은 평면도 지도 내의 일 지점을 선택함으로써 비디오 피드의 다른 관점을 선택하는 것을 포함한다. 이 모드는 비디오 피드 상에서 보이지 않는 지점에 이르는 더 원거리(예를 들면, 방들 사이의 저 먼쪽 복도 등)에 사용될 수 있다. 몇몇 실시예에서, 이동의 선택은 수동 제어로서 조이스틱 또는 메타 조이스틱(meta joystick)을 사용하는 것을 포함한다. 이 모드는 마이크로/더 미세한 조정을 위해, 즉 사람/환자에 매우 근접한 방에서 사용될 수 있다.
몇몇 실시예에서, 이동의 선택은 리모트 원격현전 로봇이 현재 위치에 머물러 있는 동안에 이미징 시스템을 증분적으로 패닝(panning) 또는 틸팅(tilting)시킴으로써 비디오 피드의 다른 관점을 선택하는 것을 포함한다.
몇몇 실시예에서, 이동의 선택은 리모트 원격현전 로봇의 하부(lower portion)와 리모트 원격현전 로봇의 상부(upper portion) 중 어느 하나를 회전시키는 것과 관련될 수 있다.
몇몇 실시예에서, 모드들 사이에서 스위칭하는 방법이 있을 수 있는데, 즉 헤드/이미징 시스템의 이동 또는 리모트 원격현전 로봇의 베이스/하부의 이동을 제어하도록 선택할 수 있는 다중 모드 사용자 인터페이스가 있을 수 있다.
몇몇 실시예에서, 헤드/이미징 시스템의 이동의 제어가 선택되면, 마우스를 통한 위치 기반의 박스줌 헤드의 운동(box-zoom head motion) 또는 마우스를 통한 속도 기반의 헤드의 운동을 선택할 수 있는 옵션이 있을 수 있다.
몇몇 실시예에서, 리모트 원격현전 로봇의 베이스/하부의 제어가 선택되면, 이하의 것들 중 하나로부터 선택할 수 있는 옵션이 있을 수 있다: (1) 클릭-온(click-on) 지도, 즉 탑다운(top down) 지도 보기 및 타겟 목적지의 클릭 또는 목적지 목록으로부터의 선택; (2) 클릭-온 비디오, 즉 비디오에서의 위치를 클릭할 수 있게 하고 그곳에서 로봇을 구동할 수 있게 하는 위치 기반의 제어; (3) 조이스틱 또는 메타 조이스틱, 예를 들면 마우스에 의한 속도 기반의 제어 또는 전진, 좌측, 우측 등을 지정하는 화살표.
몇몇 실시예에서, 로봇 베이스가 이동하는 동안에 사용자에 의해 항상 액세스될 필요가 있는 기능/정보는: (1) 리모트 뷰(remote view), 즉 로봇이 향하는 곳(뷰는 사용자가 안전하게 조작할 수 있도록 의미있는 시작 정보를 제공하기에 충분한 크기여야 한다); (2) 감시 제어 모드에서, 필요에 따라 취소/중단(cancel/abort) 작업에 대한 오버라이드(override) 기능의 잠재적인 필요성을 포함한다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가: 사용자 입력 장치로부터 리모트 원격현전 로봇의 목적지의 선택을 수신하고; 리모트 원격현전 로봇의 현재 위치와 리모트 원격현전 로봇의 선택된 목적지 사이에 운행 경로를 생성하기 위해 평면도 지도에 대한 좌표의 시퀀스를 결정하며; 운행 경로를 형성하는 좌표의 시퀀스를 포함하는 명령을 리모트 원격현전 로봇에 전송하도록 구성된다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가 평면도 지도에 오버레이된 운행 경로를 형성하는 좌표의 시퀀스를 디스플레이하도록 구성된다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가: 평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드 사이의 왜곡(예를 들면, 2차원 좌표계와 3차원 좌표계 사이의 좌표 변환)을 결정하고; 비디오 피드에 대한 좌표의 시퀀스의 관점과 위치를 기술하는 관점 데이터 및 해당 비디오 좌표를 결정하기 위해 운행 경로를 형성하는 좌표의 시퀀스에 왜곡을 적용하며; 비디오 피드에 오버레이된 운행 경로를 형성하는 좌표의 시퀀스의 3차원 표현을 디스플레이하도록 구성된다.
몇몇 실시예에서, 운행 경로를 형성하는 좌표의 시퀀스의 3차원 표현은 비디오 피드에서 검출된 바닥에 대해 비디오 피드에 오버레이될 수 있다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가: 사용자 입력 장치로부터 리모트 원격현전 로봇의 목적지의 선택을 수신하고; 평면도 지도에 대한 목적지 좌표를 리모트 원격현전 로봇에 전송하는 것으로, 목적지 좌표는 선택된 목적지에 대응하며; 리모트 원격현전 로봇의 운행 시스템으로부터 평면도 지도에 대한 좌표의 시퀀스를 수신하는 것으로, 좌표의 시퀀스는 리모트 원격현전 로봇의 현재 위치와 리모트 원격현전 로봇의 희망 목적지 사이의 운행 경로를 형성하며; 평면도 지도에 오버레이된 운행 경로를 형성하는 좌표의 시퀀스를 디스플레이하도록 구성된다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가: 평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드 사이의 왜곡(예를 들면, 2차원 좌표계와 3차원 좌표계 사이의 좌표 변환)을 결정하고; 비디오 피드에 대한 좌표의 시퀀스의 관점과 위치를 기술하는 관점 데이터 및 해당 비디오 좌표를 결정하기 위해 운행 경로를 형성하는 좌표의 시퀀스에 왜곡을 적용하며; 비디오 피드에 오버레이된 운행 경로를 형성하는 좌표의 시퀀스의 3차원 표현을 디스플레이하도록 구성된다.
몇몇 실시예에 있어서, 운행 경로를 형성하는 좌표의 시퀀스의 3차원 표현은 비디오 피드에서 검출된 바닥에 대해 비디오 피드에 오버레이될 수 있다.
몇몇 실시예에 있어서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가 리모트 원격현전 로봇의 센서 시스템에 의해 검출된 장애물의 평면도 지도 상의 좌표를 수신하도록 구성된다.
몇몇 실시예에서, 평면도 지도는 원격 저장된다.
몇몇 실시예에서, 평면도 지도는 리모트 원격현전 로봇 내에 저장된다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가 평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드 사이의 왜곡(예를 들면, 2차원 좌표계와 3차원 좌표계 사이의 좌표 변환)을 결정하고; 평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터의 비디오 피드의 혼합 도면을 포함하는 하이브리드 지도를 생성하도록 구성된다.
몇몇 실시예에서, 하이브리드 지도는 비디오 피드에 오버레이된 평면도 지도의 3차원 표시를 포함한다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가: 평면도 지도 상의 리모트 원격현전 로봇의 가상 위치에 대해 렌더링된 미리보기를 위한 요청을 입력 장치를 통하여 수신하고; 평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드 사이의 왜곡(예를 들면, 2차원 좌표계와 3차원 좌표계 사이의 좌표 변환)을 결정하며; 리모트 원격현전 로봇의 가상 위치에 기초한 가상의 3차원 비디오 피드를 생성하며; 리모트 원격현전 로봇의 가상 위치에 기초한 가상의 3차원 비디오 피드를 디스플레이하도록 구성된다.
몇몇 실시예에서, 로봇은 사람과 같이 보이도록 상부와 하부를 독립적으로 언와인드(unwind) 및/또는 제어하도록 구성될 수 있다. 예를 들면, 원격현전 로봇은: 상부와; 상부에 회전 가능하게 결합된 하부와; 구동 명령어에 따라 원격현전 로봇을 이동시키도록 구성된 구동 시스템과; 구동 시스템과 통신 상태에 있는 제어 시스템으로서, 구동 시스템이 원격현전 로봇을 이동시키도록 구동 명령어를 생성하도록 구성된 제어 시스템과; 상부와 하부를 독립적으로 회전시킴으로써 제1의 진행방향으로부터 제2의 진행방향으로 로봇을 회전시키도록 구성된 회전 시스템을 포함할 수 있다.
몇몇 실시예에서, 회전 시스템은: 로봇의 상부를 제2의 진행방향 쪽으로 회전시키고; 로봇의 상부가 로봇의 하부에 대해 로봇의 상부의 패닝 한계(panning limit)에 도달하였음을 검출하며; 로봇의 상부의 패닝 한계에서 제2의 진행방향 쪽으로 로봇의 하부를 회전시키기를 시작하고; 로봇의 상부가 제2의 진행방향에 도달하였음을 검출하며; 로봇의 상부가 제2의 진행방향을 유지하도록 로봇의 상부를 동시에 반대방향으로 회전시키면서 로봇의 하부를 제2의 진행방향 쪽으로 계속하여 회전시킴으로써, 로봇을 제2의 진행방향 쪽으로 회전시키도록 구성될 수 있다.
몇몇 실시예에서, 패닝 한계는 상부가 로봇의 하부에 대해 물리적으로 더 이상 회전할 수 없을 때 도달될 수 있다.
몇몇 실시예에서, 패닝 한계는 상부가 하부에 대해 기설정 회전 각도로 어긋나 있을 때 도달될 수 있다.
몇몇 실시예에서, 패닝 한계는 상부가 하부에 대해 어긋나는 각도 및 상부가 하부에 대해 어긋나는 시간(length of time)의 함수일 수 있다,
몇몇 실시예에서, 회전 시스템은: 로봇의 상부를 제1의 회전 속도로 제2의 진행방향 쪽으로 회전시키고; 로봇의 하부를 제2의 회전 속도로 제2의 진행방향 쪽으로 회전시키며; 로봇의 상부가 제2의 진행방향에 도달하였음을 검출하고; 로봇의 상부가 제2의 진행방향을 유지하도록 로봇의 상부를 동시에 반대방향으로 회전시키면서 로봇의 하부를 제2의 진행방향 쪽으로 계속하여 회전시킴으로써, 로봇을 제2의 진행방향 쪽으로 회전시키도록 구성될 수 있다.
몇몇 실시예에서, 원격현전 로봇은 제어 시스템과 통신 상태에 있는 이미징 시스템과, 평면도 지도에 대해 로봇의 현재 위치 및 평면도 지도에 대해 상부의 현재 정렬상태를 제공하도록 구성된 제어 시스템과 통신 상태에 있는 포지셔닝 시스템을 더 포함할 수 있으며, 제어 시스템은 원격 터미널이 평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드 사이의 왜곡(예를 들면, 2차원 좌표계와 3차원 좌표계 사이의 좌표 변환)을 결정하고; 비디오 피드에 대한 태그의 관점과 위치를 기술하는 관점 데이터 및 해당 비디오 좌표를 결정하기 위해 평면도 지도와 결부된 좌표를 갖는 태그에 왜곡을 적용하며; 비디오 좌표를 사용하여 비디오 피드에 오버레이된 태그의 3차원 표현을 디스플레이하도록, 이미징 시스템으로부터의 비디오 피드, 로봇의 현재 위치, 및 상부의 현재 정렬상태를 원격 터미널에 전송하도록 구성될 수 있다.
전술한 실시예는 로봇 및/또는 로컬 터미널의 관점에서 기술되었다. 전술한 실시예가 시스템으로 구현되고, 시스템에 의해 행해지는 방법으로 변경되거나, 또는 시스템에 의해 실행될 수 있는 컴퓨터 판독 가능 매체로 실시될 수 있음이 당해업자에게는 자명할 것이다. 예를 들면, 로봇의 진행방향을 변경하는 방법은 로봇의 제어 시스템에 진행방향을 전송하는 단계로서, 구동 시스템과 통신 상태에 있는 로봇의 제어 시스템은 구동 명령어에 따라 로봇을 이동시키도록 구성되는 단계와, 로봇의 하부에 독립적으로 로봇의 상부를 진행방향 쪽으로 회전시키는 단계를 포함할 수 있다.
몇몇 실시예에서, 리모트 원격현전 로봇을 제어하는 방법은 로봇 작동 표면의 로봇 운행 가능 구역을 나타내는 평면도 지도의 적어도 일부를 검색하는 단계와; 복수의 태그들 중 적어도 하나의 태그를 검색하는 단계로서, 복수의 태그 각각은 태그의 상대 위치를 기술하는 태그 좌표와 태그 정보를 포함하는, 검색하는 단계와; 리모트 원격현전 로봇의 이미징 시스템으로부터 비디오 피드를 수신하는 단계와; 리모트 원격현전 로봇의 현재 위치와 결부된 포지셔닝 정보를 수신하는 단계와; 전자 디스플레이를 통하여 리모트 원격현전 로봇의 이미징 시스템으로부터의 비디오 피드를 디스플레이하는 단계와; 전자 디스플레이를 통하여, 태그 좌표를 사용하여 비디오 피드 상의 적어도 하나의 태그 정보의 표현을 디스플레이하는 단계; 및, 리모트 원격현전 로봇에 명령을 전송하는 단계를 포함할 수 있다. 원격현전 로봇을 제어하는 방법은: 평면도 지도의 적어도 일부를 검색하는 단계와; 복수의 태그들 중 적어도 하나의 태그를 검색하는 단계로서, 각 태그는 태그의 상대 위치를 기술하는 태그 좌표와 태그 정보를 포함하는 데이터 구조인, 검색하는 단계와; 평면도 지도에 대해 현재 위치를 결정하는 단계와; 원격현전 로봇의 운행 경로와 관련된 복수의 태그들 중 적어도 하나의 태그를 식별하는 단계와; 그 태그 정보가 원격현전 로봇의 동작 수정부를 포함하는 식별된 태그를 기초로 동작을 실행하는 단계를 포함한다.
몇몇 실시예에서, 원격현전 로봇을 제어하는 방법은: 로봇 작동 표면의 로봇 운행 가능 구역을 나타내는 평면도 지도의 적어도 일부를 검색하는 단계와; 제1의 관점에서 리모트 원격현전 로봇의 이미징 시스템으로부터 비디오 피드를 수신하는 단계와; 리모트 원격현전 로봇의 현재 위치와 결부된 포지셔닝 데이터를 수신하는 단계와; 리모트 원격현전 로봇의 이미징 시스템으로부터 비디오 피드를 디스플레이하는 단계와; 리모트 원격현전 로봇에 명령을 전송하는 단계; 및, 사용자 입력 장치 이동으로부터 복수의 이동 선택을 수신하는 단계를 포함할 수 있으며, 이동 선택은: (1) 비디오 피드에 대해서; (2) 평면도 지도에 대해서; 및/또는 (3) 리모트 원격현전 로봇의 현재 위치에 대해 한 방향으로 리모트 원격현전 로봇를 증분적으로 전진시킴으로써 이루어진다.
본 개시의 하나 이상의 구현예의 상세사항이 첨부된 도면에 개시되고 아래에 기술되어 있다. 다른 양태, 특징, 및 이점은 상세한 설명, 도면 및 특허청구범위로부터 분명해질 것이다.
전술한 바와 같이, 본 개시는 이동형 원격현전 로봇을 제공하는 효과를 갖는다.
도 1은 예시적인 원격현전 로봇의 사시도.
도 2는 예시적인 원격현전 로봇의 입면 사시도.
도 3a 내지 도 3c는 예시적인 원격현전 로봇의 개략도.
도 4a는 이동형 인간 인터페이스 로봇의 예시적인 베이스의 정면 사시도.
도 4b는 도 4a에 도시된 베이스의 배면 사시도.
도 4c는 도 4a에 도시된 베이스의 평면도.
도 4d는 원격현전 로봇의 예시적인 베이스의 평면 개략도.
도 4e는 원격현전 로봇의 예시적인 구동 시스템의 저면 사시도.
도 4f는 도 4e에 도시된 구동 시스템의 평면 사시도.
도 5는 원격현전 로봇의 제어기에 의해 실행되는 예시적인 제어 시스템의 개략도.
도 6a는 로못의 종점 서버와 통신 상태에 있는 복수의 로봇을 포함하는 예시적인 로봇 시스템의 개략도.
도 6b는 로봇 또는 터미널에 의해 실행되는 원격조종 소프트웨어 애플리케이션을 도시한 도면.
도 6c는 반자율적인 원격현전 로봇의 운행을 제어하는 사용자 인터페이스의 스크린숏(screenshot)의 일 실시예를 도시한 도면.
도 6d는 지도 윈도우(map window)에 할당된 스크린의 상대 구역이 증대된, 스크린숏을 도시한 도면.
도 7은 예시적인 로봇 시스템 아키텍쳐의 개략도.
도 8a는 예시적인 점유공간 지도의 개략도.
도 8b는 작업 구역의 현장(scene)의 시계(視界)를 갖는 원격현전 로봇의 개략도.
도 8c는 예시적인 배치 지도(layout map)의 개략도.
도 8d는 도 8c에 도시된 배치 지도에 대응하는 예시적인 로봇 지도의 개략도.
도 8e는 배치 지도와 로봇 지도를 사용하여 환경 주변을 운행하기 위해 원격현전 로봇을 조종하는 조종의 예시적인 배열을 제공하는 도면.
도 8f는 비디오 피드와 평면도 지도 사이의 왜곡을 결정하기 위해 로봇 위치와 관점을 사용하는 방법을 도시한 도면.
도 9a는 복도에 위치한 로봇으로부터의 예시적인 원격 비디오 뷰(video view)의 개략도.
도 9b는 호실을 나타내는 지도와 함께, 도 9a에 도시된 원격 비디오 뷰가 통합된 예시적인 하이브리드 지도의 개략도.
도 10a는 원격현전 소프트웨어 애플리케이션의 원격 비디오 윈도우의 예시적인 리모트 뷰(remote view)를 제공하는 도면.
도 10b는 도 10a의 리모트 뷰에 의해 도시된 구역의 예시적인 지도의 개략도.
도 10c는 원격현전 소프트웨어 애플리케이션의 예시적인 미리보기 뷰의 개략도.
도 10d는 로봇 아이콘과 해당 카메라의 시계가 있는 도 10b에 도시된 지도의 개략도.
도 10e는 원격현전 소프트웨어 애플리케이션의 예시적인 미리보기 뷰의 개략도.
도 10f는 로봇 아이콘과 해당 카메라의 시계가 있는 도 10b에 도시된 지도의 개략도.
도 10g는 원격현전 소프트웨어 애플리케이션의 미리보기 루틴에 대한 작업의 예시적인 배열을 제공하는 도면.
도 11a는 사용자가 식별된 운행 가능 구역 내에서 로봇의 목적지를 특정할 수 있게 하는 예시적인 사용자 인터페이스의 개략도.
도 11b는 로봇을 목적지로 운행하는 방법에 대한 작업의 예시적인 배열을 제공하는 도면.
도 11c는 사용자에게 램프가 로봇의 목적지로 선택되었음을 통보하는 예시적인 사용자 인터페이스의 개략도.
도 11d는 사용자에게 장애물이 로봇의 목적지로 선택되었음을 통보하는 예시적인 사용자 인터페이스의 개략도.
도 12는 사용자가 식별된 운행 가능 구역 내에서 로봇 구동 경로를 특정할 수 있게 하는 예시적인 사용자 인터페이스의 개략도.
도 13은 하이퍼태그(hyper-tag)와 문맥 민감 명령(context sensitive command)이 통합된 예시적인 사용자 인터페이스의 개략도.
도 14는 사람에게 센서의 시계를 유지하는 예시적인 원격현전 로봇의 사시도.
도 15a는 하이퍼태그를 포함하는 예시적인 3차원 지도의 개략도.
도 15b는 하이퍼태그를 포함하는 예시적인 2차원 지도의 개략도.
도 16a는 예시적인 로봇 시스템의 개략도.
도 16b는 지도 데이터 소스와의 예시적인 상호작용의 개략도.
도 16c는 로봇 제어 시스템과 지도 데이터 소스 사이의 예시적인 상호작용의 개략도.
도 16d는 예시적인 로봇 시스템의 개략도.
도 17은 원격현전 로봇에 대응하는 증강된 오버레이(augmented overlay)를 포함하는 예시적인 사용자 인터페이스의 개략도.
도 18은 로봇 동작의 예시적인 시퀀스의 개략도.
도 19는 원격현전 로봇으로부터 수신된 원격 비디오 피드에 오버레이된 스크린 지시기(screen indicator)를 갖는 예시적인 사용자 인터페이스의 개략도.
도 20a 내지 도 20c는 로봇의 통신 두절로부터 회복하는 동작의 예시적인 배열을 제공하는 도면.
다양한 도면에서 동일 참조 부호는 동일 요소를 지칭한다.
도 2는 예시적인 원격현전 로봇의 입면 사시도.
도 3a 내지 도 3c는 예시적인 원격현전 로봇의 개략도.
도 4a는 이동형 인간 인터페이스 로봇의 예시적인 베이스의 정면 사시도.
도 4b는 도 4a에 도시된 베이스의 배면 사시도.
도 4c는 도 4a에 도시된 베이스의 평면도.
도 4d는 원격현전 로봇의 예시적인 베이스의 평면 개략도.
도 4e는 원격현전 로봇의 예시적인 구동 시스템의 저면 사시도.
도 4f는 도 4e에 도시된 구동 시스템의 평면 사시도.
도 5는 원격현전 로봇의 제어기에 의해 실행되는 예시적인 제어 시스템의 개략도.
도 6a는 로못의 종점 서버와 통신 상태에 있는 복수의 로봇을 포함하는 예시적인 로봇 시스템의 개략도.
도 6b는 로봇 또는 터미널에 의해 실행되는 원격조종 소프트웨어 애플리케이션을 도시한 도면.
도 6c는 반자율적인 원격현전 로봇의 운행을 제어하는 사용자 인터페이스의 스크린숏(screenshot)의 일 실시예를 도시한 도면.
도 6d는 지도 윈도우(map window)에 할당된 스크린의 상대 구역이 증대된, 스크린숏을 도시한 도면.
도 7은 예시적인 로봇 시스템 아키텍쳐의 개략도.
도 8a는 예시적인 점유공간 지도의 개략도.
도 8b는 작업 구역의 현장(scene)의 시계(視界)를 갖는 원격현전 로봇의 개략도.
도 8c는 예시적인 배치 지도(layout map)의 개략도.
도 8d는 도 8c에 도시된 배치 지도에 대응하는 예시적인 로봇 지도의 개략도.
도 8e는 배치 지도와 로봇 지도를 사용하여 환경 주변을 운행하기 위해 원격현전 로봇을 조종하는 조종의 예시적인 배열을 제공하는 도면.
도 8f는 비디오 피드와 평면도 지도 사이의 왜곡을 결정하기 위해 로봇 위치와 관점을 사용하는 방법을 도시한 도면.
도 9a는 복도에 위치한 로봇으로부터의 예시적인 원격 비디오 뷰(video view)의 개략도.
도 9b는 호실을 나타내는 지도와 함께, 도 9a에 도시된 원격 비디오 뷰가 통합된 예시적인 하이브리드 지도의 개략도.
도 10a는 원격현전 소프트웨어 애플리케이션의 원격 비디오 윈도우의 예시적인 리모트 뷰(remote view)를 제공하는 도면.
도 10b는 도 10a의 리모트 뷰에 의해 도시된 구역의 예시적인 지도의 개략도.
도 10c는 원격현전 소프트웨어 애플리케이션의 예시적인 미리보기 뷰의 개략도.
도 10d는 로봇 아이콘과 해당 카메라의 시계가 있는 도 10b에 도시된 지도의 개략도.
도 10e는 원격현전 소프트웨어 애플리케이션의 예시적인 미리보기 뷰의 개략도.
도 10f는 로봇 아이콘과 해당 카메라의 시계가 있는 도 10b에 도시된 지도의 개략도.
도 10g는 원격현전 소프트웨어 애플리케이션의 미리보기 루틴에 대한 작업의 예시적인 배열을 제공하는 도면.
도 11a는 사용자가 식별된 운행 가능 구역 내에서 로봇의 목적지를 특정할 수 있게 하는 예시적인 사용자 인터페이스의 개략도.
도 11b는 로봇을 목적지로 운행하는 방법에 대한 작업의 예시적인 배열을 제공하는 도면.
도 11c는 사용자에게 램프가 로봇의 목적지로 선택되었음을 통보하는 예시적인 사용자 인터페이스의 개략도.
도 11d는 사용자에게 장애물이 로봇의 목적지로 선택되었음을 통보하는 예시적인 사용자 인터페이스의 개략도.
도 12는 사용자가 식별된 운행 가능 구역 내에서 로봇 구동 경로를 특정할 수 있게 하는 예시적인 사용자 인터페이스의 개략도.
도 13은 하이퍼태그(hyper-tag)와 문맥 민감 명령(context sensitive command)이 통합된 예시적인 사용자 인터페이스의 개략도.
도 14는 사람에게 센서의 시계를 유지하는 예시적인 원격현전 로봇의 사시도.
도 15a는 하이퍼태그를 포함하는 예시적인 3차원 지도의 개략도.
도 15b는 하이퍼태그를 포함하는 예시적인 2차원 지도의 개략도.
도 16a는 예시적인 로봇 시스템의 개략도.
도 16b는 지도 데이터 소스와의 예시적인 상호작용의 개략도.
도 16c는 로봇 제어 시스템과 지도 데이터 소스 사이의 예시적인 상호작용의 개략도.
도 16d는 예시적인 로봇 시스템의 개략도.
도 17은 원격현전 로봇에 대응하는 증강된 오버레이(augmented overlay)를 포함하는 예시적인 사용자 인터페이스의 개략도.
도 18은 로봇 동작의 예시적인 시퀀스의 개략도.
도 19는 원격현전 로봇으로부터 수신된 원격 비디오 피드에 오버레이된 스크린 지시기(screen indicator)를 갖는 예시적인 사용자 인터페이스의 개략도.
도 20a 내지 도 20c는 로봇의 통신 두절로부터 회복하는 동작의 예시적인 배열을 제공하는 도면.
다양한 도면에서 동일 참조 부호는 동일 요소를 지칭한다.
원격현전 로봇은 원격 의료 상담, 가정내 보조, 상업적 보조 등을 제공하는 내과의 또는 의료계 종사자와 같이, 다양한 서비스를 제공하기 위해 인간과 상호작용 또는 인터페이스할 수 있다. 가정내 보조의 예로서, 원격현전 로봇은 투약 처방의 유지, 이동 보조, 통신 보조(예를 들면, 화상 회의, 원거리 통신, 인터넷 액세스 등), 가정 또는 현장 모니터링(내부 및/또는 외부), 개인 모니터링, 및/또는 개인 응급 응답 시스템(PERS: personal emergency response system)을 포함하나 이에 국한되지 않는, 노인들의 일상 업무를 도와줄 수 있다. 상업적 보조의 경우에, 원격현전 로봇은 (예를 들면, 병원 환경에서) 화상 회의, POS(point of sale) 단말기, 상호작용식 정보/마케팅 단말기 등을 제공할 수 있다.
도 1 내지 도 3b를 참조하면, 몇몇 구현예에 있어서, 원격현전 로봇(100)은 전방 구동 방향(F)을 규정하는 로봇 몸체(또는 섀시)(110)를 포함한다. 로봇(100)은 구동 시스템(200)(도 4d)과, 인터페이싱 모듈(300), 및 센서 시스템(400)을 또한 포함하며, 이들 각각은 로봇 몸체(110)에 의해 지지되며 로봇의 동작 및 이동을 조정하는 제어기(500)(도 5)와 통신 상태에 있다. 전원(105)(예를 들면, 배터리)이 로봇 몸체(110)에 구비될 수 있으며, 이들 구성요소 각각과 전기통신 상태에 있으며 필요에 따라 전력을 공급할 수 있다.
로봇 몸체(110)는 도시된 예에서 베이스(120)와, 베이스(120)로부터 아래쪽으로 연장된 적어도 하나의 다리(130), 및 적어도 하나의 다리(130)에 의해 지지되는 몸통(140)을 포함한다. 베이스(120)는 구동 시스템(200)을 지지할 수 있다. 로봇 몸체(하부)(110)는 몸통(140)에 의해 지지되는 목(150)을 또한 포함한다. 목(150)은 머리(head)(상부)(160)를 지지하며, 머리(160)는 인터페이싱 모듈(300)의 적어도 일부를 지지한다. 베이스(120)는 기계적인 안정성을 유지하기 위한 베이스(120)의 낮은 무게중심(CGB) 및 로봇(100)의 낮은 전체 무게중심(CGR)을 유지하기 위해 {예를 들면, 전원(150)(배터리)을 지지함으로써} 충분한 무게를 갖는다.
도 2 및 도 4a 내지 도 4c를 참조하면, 몇몇 실시예에서 베이스(120)는 3변 대칭 형상(trilaterally symmetric shape)(예를 들면, 평면도 지도에서는 삼각형)을 형성한다. 예를 들면, 베이스(120)는 3변 형상의 베이스(120)(도 4a 참조)의 각각의 다리에 대응하는 제1, 제2, 및 제3의 베이스 몸체부(124a, 124b, 124c)를 갖는 베이스 몸체(124)를 지지하는 베이스 섀시(122)를 포함할 수 있다. 각각의 베이스 몸체부(124a, 124b, 124c)는 물체와의 접촉에 응답하여 베이스 섀시(122)에 대해 독립적으로 이동할 수 있도록 베이스 섀시(122)에 의해 이동 가능하게 지지될 수 있다. 베이스(120)의 3변 대칭 형상은 로봇(100) 주변에서 360° 충돌 검출을 가능케 한다. 각각의 베이스 몸체부(124a, 124b, 124c)는 베이스 섀시(122)에 대해 해당 베이스 몸체부(124a, 124b, 124c)의 이동을 검출하는 관련 접촉 센서{예를 들면, 정전용량형 센서, 리드 스위치(read switch) 등}을 구비할 수 있다.
몇몇 실시예에서, 구동 시스템(200)은 로봇(100)의 전방향 및/또는 홀로노믹 운동 제어를 제공한다. 본 명세서에서 사용되는 "전방향(omni-directional)"이라는 용어는 실질적으로 임의의 평면상 방향으로, 즉 옆으로(측면으로), 전/후, 및 회전운동할 수 있는 능력을 지칭한다. 이들 방향은 본 명세서에서 일반적으로 각각 x, y, 및 θz로 지칭된다. 또한, "홀로노믹(holonomic)"이라는 용어는 용어의 문헌상 사용과 실질적으로 일관된 방식으로 사용되며, 3의 평면 자유도, 즉 2개의 병진운동 및 하나의 회전운동으로 평면 방향에서 이동할 수 있는 능력을 지칭한다. 그래서 홀로노믹 로봇은 실질적으로 임의의 비율의 3개의 평면 속도(측방향, 전/후, 및 회전)로 이루어진 하나의 속도로 평면상 방향으로 이동할 수 있는 능력과 함께, 실질적으로 연속적인 방식으로 이들 비율을 변경할 수 있는 능력을 갖는다.
로봇(100)은 휠에 의한 이동성을 이용하여 인간적인 환경(예를 들면, 두 발을 가진 걷는 점유자를 위해 전형적으로 설계된 환경)에서 동작할 수 있다. 몇몇 실시예에서, 구동 시스템(200)은 수직축(Z)을 중심으로 등간격으로 이격된(예를 들면 120° 이격된) (즉, 3변 대칭의) 제1, 제2, 및 제3의 구동 휠(210a, 210b, 210c)을 포함하나; 다른 배치도 또한 가능하다. 도 4d를 참조하면, 구동 휠(210a, 210b, 210c)은 횡방향의 아치형 구름 표면{즉, 구름 방향(DR)에 횡방향 또는 수직한 방향으로의 곡면 윤곽}을 형성할 수 있으며, 이는 홀로노믹 구동 시스템(200)의 조작성에 도움을 줄 수 있다. 각 구동 휠(210a, 210b, 210c)은 다른 구동 모터(220a, 220b, 220c)에 독립적으로 전진 및/또는 후진 방향으로 구동 휠(210a, 210b, 210c)을 구동할 수 있는 각각의 구동 모터(220a, 220b, 220c)에 결합된다. 각 구동 모터(220a-c)는 각각 인코더(encoder)를 구비할 수 있으며, 인코더는 제어기(500)에 휠 회전 피드백을 제공한다. 몇몇 실시예에서, 각 구동 휠(210a, 210b, 210c)은 정삼각형의 세 꼭지점 각각에 또는 근접하게 장착되며, 각 삼각형 꼭지점의 각(角) 이등분선(angle bisector)에 수직한 구동 방향(전진 및 후진 방향)을 갖는다. 전진 구동 방향(F)에 의한 3변 대칭 홀로노믹 베이스(120)의 구동은, 로봇(100)이 갇힘 또는 혼잡상태로부터 자율적인 탈출을 위해 비전진 구동 방향으로 전이할 수 있게 하며 그리고 나서 탈출이 해소되고 나면 전진 구동 방향(F)을 따라 구동하도록 회전 및/또는 병진운동할 수 있게 한다.
도 4e와 도 4f를 참조하면, 몇몇 실시예에서, 구동 시스템(200)은 평면도 지도로 봤을 때 정사각형 또는 직사각형 형상(예를 들면, Z축으로부터 등간격 이격된)으로 배열된 제1, 제2, 제3, 및 제4의 구동 휠(210a-d)를 포함한다. 구동 시스템(200)은 홀로노믹 방식으로 동작할 수 있으며, 그에 따라 연속동작을 허용한다. 각 구동 휠(210a-d)은 다른 구동 모터(220a-d)에 독립적으로 전진 및/또는 후진 방향으로 구동 휠(210a-d)을 구동할 수 있는 각각의 구동 모터(220a-d)에 결합된다. 각 구동 모터(220a-d)는 각각 인코더를 구비할 수 있으며, 인코더는 제어기(500)에 휠 회전 피드백을 제공한다. 베이스 섀시(122)는 구동 모터(220a-d)와, 대응하여 결합된 구동 휠(210a-d)을 지지한다.
도 2에 예시된 바와 같은 몇몇 실시예에서, 제1의 구동 휠(210a)은 전진 구동 방향(F)을 따라서 선단(leading) 구동 휠로 배치되고, 나머지 2개의 구동 휠(210b, 210c)은 뒤따르게 된다. 이러한 배치에서, 전진 구동하기 위해, 제어기(500)는 제1의 구동 휠(210a)이 전진 구동 방향(F)을 따라 미끄러지는 동안에 제2 및 제3의 구동 휠(210b, 210c)은 동일 속도로 전진 구름 방향으로 구동하게 하는 구동 명령을 발할 수 있다. 또한, 이러한 구동 휠 배치는 로봇(100)이 갑자기 멈춰설 수 있게 한다{예를 들면, 전진 구동 방향(F)과 반대로 급속한 음의 가속도(negative acceleration)을 발생시킨다}. 이는 3개의 휠을 갖는 설계의 자연스런 동적 불안정성에 기인한다. 만약 전진 구동 방향(F)이 2개의 전진 구동 휠 사이의 각의 이등분선을 따라서 이루어졌다면, 갑작스런 멈춤은 로봇(100)을 넘어뜨려서는 그 2개의 "전방" 휠에 대해 선회하게 하는 토크를 발생했을 것이다. 대신에, 갑작스럽게 멈춰서야 할 필요가 있는 경우에, 하나의 구동 휠(210a)에 의한 전진 이동은 자연스럽게 로봇(100)을 지지하거나 또는 앞쪽으로 넘어지는 것을 방지한다. 하지만, 정지 상태로부터 가속할 때는, 제어기(500)가 그 전체적인 무게중심(CGR)으로부터 로봇(100)의 관성 모멘트(I)를 고려할 수 있다.
구동 시스템(200)의 몇몇 실시예에서, 각 구동 휠(210a, 210b, 210)은 로봇(100)의 X 및 Y축에 직교하는 수직축(Z)을 중심으로 반경방향으로 정렬된 구름 방향(rolling direction: DR)을 갖는다. 제1의 구동 휠(210a)은 전진 구동 방향(F)을 따라서 선단 구동 휠로 배치될 수 있으며, 나머지 2개의 구동 휠(210b, 10c)은 뒤따르게 된다. 이러한 배치에서, 전진 구동하기 위해, 제어기(500)는 제1의 구동 휠(210a)이 전진 구름 방향으로 구동되게 하고 제2 및 제3의 구동 휠(210b, 210c)은 제1의 구동 휠(210a)과 동일 속도이지만 반대 방향으로 구동되게 하는 구동 명령을 발할 수 있다.
다른 구현예에서, 구동 시스템(200)은 2개의 구동 휠(210a, 210b) 사이의 각의 각 이등분선이 로봇(100)의 전진 구동 방향(F)과 정렬되도록 제1 및 제2의 구동 휠(210a, 210b)이 위치되게 배치될 수 있다. 이러한 배치에서, 전진 구동하기 위해, 제어기(500)는 제1 및 제2의 구동 휠(210a, 210b)이 전진 구름 방향으로 및 동일 속도로 구동되게 하는 한편, 제3의 구동 휠(210c)이 반대 방향으로 구동되거나 또는 아이들 상태로 유지되어 제1 및 제2의 구동 휠(210a, 210b) 뒤에서 끌려가도록 하는 구동 명령을 발할 수 있다. 전진 구동하면서 좌측 또는 우측으로 회전하기 위해, 제어기(500)는 해당하는 제1 또는 제2의 구동 휠(210a, 210b)이 상대적으로 더 신속한/더 느린 속도로 구동되게 하는 명령을 발할 수 있다. 다른 구동 시스템 배치도 또한 이용될 수 있다. 구동 휠(210a, 210b, 210c)은 원통형, 원형, 타원형, 또는 다각형 윤곽을 형성할 수 있다.
다시 도 1 내지 도 3b를 참조하면, 베이스(120)는 이 베이스(120)로부터 Z 방향으로 위쪽으로 연장된 적어도 하나의 다리(130)를 지지한다. 다리(130)는 베이스(120)에 대해 몸통(140)을 승강시키기 위해 가변 높이를 갖도록 구성될 수 있다. 몇몇 실시예에서, 각각의 다리(130)는 서로에 대해 이동하는(예를 들면, 텔레스코픽, 선형, 및/또는 각 이동으로) 제1 및 제2의 다리부(132, 134)를 포함한다. 서로에 대해서 및 상대적으로 더 큰 베이스 사출부로부터 텔레스코픽 방식으로 (포개어지게) 이동하는 점점 더 작은 직경의 사출부를 갖는 대신에, 제2의 다리부(134)는 도시된 예에서 제1의 다리부(132)의 위로 텔레시코픽 방식으로 (포개어지게) 이동하며, 그에 따라 다른 구성요소가 제2의 다리부(134)를 따라 배치될 수 있게 하며 잠재적으로는 제2의 다리부(134)와 함께 베이스(120)에 비교적 가까운 근접위치까지 이동할 수 있게 한다. 다리(130)는 제1의 다리부(132)에 대해 제2의 다리부를 이동시키기 위한 액추에이터 조립체를 포함할 수 있다. 액추에이터 조립체(136)는 제어기에 위치 피드백을 제공하는 인코더 및 리프트 모터와 통신 상태에 있는 모터 구동기를 포함할 수 있다.
일반적으로, 텔레스코픽 배치는 다리(130) 전체의 무게중심(CGL)을 가능한 한 낮게 유지하기 위해 베이스(120)에서 비교적 더 큰 사출부로부터 위로 텔레스코픽 방식으로 (포개어지게) 이동하는 점점 더 작은 직경의 사출부를 포함한다. 또한, 다리(130)가 완전히 펼쳐졌을 때, 베이스(120)에서 겪게되는 더 큰 토크를 감당하기 위해 바닥에는 더 강한 및/또는 더 큰 구성 요소가 배치될 수 있다. 하지만, 이러한 방법은 두 가지 문제를 초래한다. 첫 번째로, 상대적으로 더 작은 구성요소가 다리(130)의 상단부에 배치되게 되면, 빗물, 먼지, 또는 다른 입자가 아래로 사출부로 구르거나 떨어져서는, 사출부 사이의 공간으로 들어가며, 그에 따라 사출부의 포개어짐을 방해하게 된다. 이는 다리(130)의 온전한 이동성/관절 운동성을 여전히 유지하기에는 매우 난감한 밀봉 문제를 발생시킨다. 두 번째로, 로봇(100)에는 유상하중(payload) 또는 액세서리를 장착하는 것이 바람직할 수 있다. 액세서리를 장착하는 하나의 흔한 장소는 몸통(140)의 상단부이다. 제2의 다리부(134)가 제1의 다리부에 대해 텔레스코픽 방식으로 이동하게 되면, 액세서리와 구성요소는 이들이 몸통(140)과 함께 이동될 필요가 있는 경우에는 제2의 다리부(134) 전체보다 더 위에만 장착될 수 있게 된다. 그렇지 않으면, 제2의 다리부(134)에 장착된 임의의 구성요소는 다리(130)의 텔리스코픽 이동을 제한하게 된다.
제2의 다리부(134)를 제1의 다리부(132)의 위로 텔레스코픽 방식으로 이동하게 함으로써, 제2의 다리부(134)는 베이스(120)에 대해 수직으로 이동할 수 있는 추가적인 유상하중 부착 지점을 제공하게 된다. 이러한 유형의 배치는 물 또는 공기중의 입자가 몸통(140)을 따라 흘러내려서는 다리부(132, 134) 사이의 공간으로 들어가는 일 없이 각 다리부(132, 134) 외부로 흐르게 한다. 이는 다리(130)의 임의의 조인트의 밀봉을 크게 단순화시킨다. 또한, 몸통(140) 및/또는 제2의 다리부(134)의 유상하중/액세서리 장착 특징부는 항상 노출되며, 다리(130)가 어떻게 펼쳐지든지 간에 이용 가능하게 된다.
도 2를 참조하면, 다리(130)는 몸통(140)을 지지하며, 몸통은 베이스(120)의 위로 연장되는 어깨(soulder: 142)를 구비할 수 있다. 도시된 예에서, 몸통(140)은 어깨(142)의 적어도 일부를 형성하는 (예를 들면, 베이스 쪽으로의) 하향 또는 바닥 표면(144)과 반대의 상향 또는 상부 표면(146)(도 3a 참조)을 가지며, 그 사이에 측면 표면(148)이 연장된다. 몸통(140)은 다리(들)(130)에 의해 지지되는 중앙부(141) 및 다리(들)(130)의 측방향 경계 너머로 측방향으로 연장되며, 그에 따라 하향 표면(144)을 형성하는 돌출부(overhanging portion)를 제공하게 되는 주변 자유부(peripheral free portion: 143)를 갖는 원형 또는 타원형 형태와 같이 다양한 형상 또는 기하학적 구조를 가질 수 있다. 몇몇 예에서, 몸통(140)은 어깨를 한정하는 다각형 또는 다른 복합 형상을 한정하며, 어깨는 베이스(120)의 위로 다리(들)(130) 너머로 연장되는 돌출부를 제공한다.
로봇(100)은 유상하중을 수용하기 위한 하나 이상의 액세서리 포트(170)(예를 들면, 기계적인 및/또는 전기적인 접속 지점)를 포함할 수 있다. 액세서리 포트(170)는, 수용된 유상하중이 센서 시스템(400)의 센서들을 방해하거나 가리지 않도록 {예를 들면, 몸통(140)의 바닥 및/또는 상부 표면(144, 146) 등에} 배치될 수 있다.
몸통(140)의 외부 표면은 사용자로부터 터치식 명령을 수신할 수 있도록 사용자에 의한 접촉 또는 터치에 민감할 수 있다. 예를 들면, 사용자가 몸통(140)의 상부 표면(146)을 터치하게 되면, 로봇(100)은 {예를 들면, 몸통(140)을 지지하는 다리(130)의 높이를 낮춤으로써} 바닥에 대해 몸통의 높이를 낮추도록 반응한다. 유사하게, 사용자가 몸통(140)의 바닥 표면(144)을 터치하게 되면, 로봇(100)은 {예를 들면, 몸통(140)을 지지하는 다리(130)의 높이를 높임으로써} 바닥에 대해 몸통(140)의 높이를 높이도록 반응한다. 또한, 몸통(140)의 측면 표면(들)(148)의 전방, 후방, 좌측 또는 우측에 대한 사용자의 터치에 따라, 로봇(100)은 수신된 터치 명령(예를 들면, 각각 후진, 전진, 좌측, 및 우측)의 대응 방향으로 이동하도록 반응한다. 몸통(140)의 외부 표면(들)은 사용자의 접촉을 검출하는 제어기와 통신 상태에 있는 정전용량형 센서(capacitive sensor)를 포함할 수 있다.
다시 도 1 내지 도 3b를 참조하면, 몸통(140)은 목(150)을 지지하며, 목(150)은 몸통(140)에 대해 머리(160)의 패닝(panning) 및 틸팅(tilting)을 제공한다. 도시된 예에서, 목(150)은 로테이터(152)와 틸터(tilter: 154)를 포함한다. 로테이터(152)는 약 90°와 약 360°사이의 소정 범위의 (예를 들면, Z축을 중심으로) 각 이동(angular movement: θR)을 제공할 수 있다. 다른 범위도 물론 가능하다. 또한 몇몇 실시예에서, 로테이터(152)는 머리(160)와 로봇(100)의 나머지 부분 사이의 전기 통신을 유지하면서 무제한적인 횟수의 회전으로 몸통(140)에 대해 머리(160)의 연속적인 360°회전을 가능케 하는 전기 커넥터 또는 접점을 포함한다. 틸터(154)는 머리(160)와 로봇(100)의 나머지 부분 사이의 전기 통신을 유지하면서 몸통(140)에 대해 머리(160)의 회전을 가능케 하는 유사한 전기 커넥터 또는 접점을 포함할 수 있다. 로테이터(152)는 링{예를 들면, 치형 링 랙(toothed ring rack)}에 결합되거나 또는 계합되는 로테이터 모터를 포함할 수 있다. 틸터(154)는 로터(152)에 독립적으로 몸통(140)에 대해 (예를 들면, Y축을 중심으로) 소정의 각도(θT)로 머리를 이동시킬 수 있다. 몇몇 예에서, 틸터(154)는 틸터 모터를 포함하며, 틸터 모터는 Z축에 대해 ±90°의 각도(θT)의 사이에서 머리(160)를 이동시킨다. ±45° 등과 같은 다른 범위도 또한 가능하다. 로봇(100)은 이 로봇(100)의 안정된 이동성을 유지시키기 위해 다리(들)(130)와, 몸통(140)과, 목(150), 및 머리(160)가 베이스(120)의 주변경계 내에서 유지되도록 구성될 수 있다.
머리(160)는 사용자로부터 터치식 명령을 수신할 수 있도록 사용자에 의한 접촉 또는 터치에 민감할 수 있다. 예를 들어, 사용자가 머리(160)를 전방쪽으로 당기면, 헤드(160)는 소극적 저항(passive resistance)으로 전방쪽으로 틸팅되며 그리고 나서 그 위치를 유지하게 된다. 또한, 사용자가 머리(160)를 수직으로 아래쪽으로 밀면/당기면, 몸통(140)은 {다리(130)의 길이를 줄임을 통해서} 머리(160)를 낮출 수 있다. 머리(160) 및/또는 목(150)은 사용자의 접촉 또는 조작을 감지하는 접촉 센서(165) 및/또는 스트레인 게이지(strain gauge)를 포함할 수 있다.
몇몇 구현예에서, 머리(160)는 인터페이싱 모듈(300)의 하나 이상의 부분을 지지한다. 머리(160)는 웹 패드(web pad) 또는 태블릿 PC라고도 불리며 각각 터치 스크린(312)을 가질 수 있는 하나 이상의 컴퓨팅 태블릿(310)을 착탈 가능하게 수용하는 독(dock: 302)을 포함할 수 있다. 웹 패드(310)는 전방, 후방 또는 위쪽으로 향할 수 있다. 몇몇 구현예에서, 웹 패드(310)는 터치 스크린, 선택적인 I/O(예를 들면, 마이크로 USB 등과 같은 커넥터 및/또는 버튼), 프로세서, 및 프로세서와 통신 상태에 있는 메모리를 포함한다. 예시적인 웹 패드(310)는 애플사(Apple Inc.)의 애플 아이패드를 포함한다. 몇몇 예에서, 웹 패드(310)는 로봇(100)을 제어함에 있어서 제어기(500)로 기능하거나 또는 제어기(500)를 보조한다. 터치 스크린은 사용자 입력을 수신하고 터치 상호작용식인 그래픽 사용자 인터페이스(GUI)를 제공하기 위해 사용자의 터치 지점을 검출, 모니터링, 및/또는 재생할 수 있다. 몇몇 예에서, 웹 패드(310)는 사용자로 하여금 언제 웹 패드가 로봇(100)으로부터 제거되었는지를 알 수 있게 하는 터치 스크린 호출기(caller)를 포함한다.
인터페이싱 모듈(300)은 머리(160)에 배치된 카메라(320)를 포함할 수 있으며(예를 들어, 도 3a 참조), 카메라(320)는 머리(160)의 높은 관망 지점(elevated vantage point)으로부터 비디오를 캡쳐하는데 사용될 수 있다(예를 들면, 화상 회의), 도 2에 도시된 예에서, 카메라(320)는 목(150)에 배치된다. 몇몇 예에서, 카메라(320)는 웹 패드(310)가 머리(160)로부터 분리되거나 또는 도킹 분리될 때에만 작동된다. 웹 패드(310)가 머리(160)에 독(302) 내에 부착되거나 또는 도킹{및 선태적으로 카메라(320)를 덮을}될 때는, 로봇(100)은 비디오를 캡쳐하기 위해 웹 패드(310)의 카메라를 사용할 수 있다. 이러한 경우에, 카메라(320)는 도킹된 웹 패드(310)의 뒤에 배치될 수 있으며, 웹 패드(310)가 머리(160)로부터 분리 또는 도킹 해제될 때 활성 상태(active state)에 들어가고, 웹 패드(310)가 머리(160)에 부착 또는 도킹될 때에 비활성(inactive) 상태로 들어갈 수 있다.
로봇(100)은 인터페이싱 모듈(300)을 통하여{예를 들면, 웹 패드(310), 카메라(320), 마이크로폰(330), 및/또는 스피커(340)를 사용하여} 화상 회의(예를 들면, 24 fps 이상)를 제공할 수 있다. 화상 회의는 다자간에 이루어질 수 있다. 로봇(100)은 머리(160)가 사용자의 얼굴과 마주하도록 조작함으로써 화상 회의의 양자(兩者)간에 시선을 맞추게 할 수 있다. 또한 로봇(100)은 5°미만의 응시 각도(gaze angle)을 가질 수 있다{예를 들면, 머리(160)의 전방쪽 면에 수직한 축으로부터의 각도}. 로봇(100) 상의 적어도 하나의 3차원 이미지 센서(450) 및/또는 카메라(320)는 보디 랭귀지를 포함하여 실물 크기의 이미지를 캡쳐할 수 있다. 제어기(500)는 오디오와 비디오를 {예를 들면, 50 ms 미만의 차(差)로} 동기화할 수 있다. 카메라(320)는 웹 패드(310)로부터 떨어져서 적어도 1°의 자유도 내에서 이동 가능하다. 머리(160)는 화상 회의를 디스플레이하는 웹 패드(310) 근처에서 머리(160)로부터 사운드를 발하도록 하나 이상의 스피커(340)를 포함할 수 있다.
인터페이싱 모듈(300)은 사운드 입력을 수신하기 위한 마이크로폰(330)(또는 마이크로폰 어레이)과, 사운드 출력을 제공하기 위해 로봇 몸체(110)에 배치된 하나 이상의 스피커(340)를 포함할 수 있다.
도 1 내지 도 3c를 참조하면, 신뢰적이며 확실한 자율 이동(autonomous movement)을 달성하기 위해, 센서 시스템(400)은, 로봇(100)이 그 로봇 환경에서 취하게 되는 동작에 대해 지능형 결정(intelligent decision)을 내리기에 충분한 로봇 환경의 인식(perception)을 생성할 수 있도록 서로 연계되어 사용될 수 있는 여러가지 다른 유형의 센서를 포함할 수 있다. 센서 시스템(400)은 로봇 몸체(110)에 의해 지지되는 하나 이상의 유형의 센서를 포함할 수 있으며, 이는 장애물 검출 장애물 회피(ODOA: obstacle detection obstacle avoidance) 센서, 통신 센서, 운행 센서 등을 포함할 수 있다. 예를 들면, 이들 센서는 근접 센서, 접촉 센서, 3차원 이미징/깊이 지도 센서, 카메라(예를 들면, 가시광선 및/또는 적외선 카메라), 소나(sonar), 레이더, 원거리 목표물의 리 및/또는 다른 정보를 파악하기 위해 산란광의 특성을 측정하는 광학 원격 감지를 수반할 수 있는 라이다(LIDAR: light detection and ranging), 레이더(LADAR:Laser Detection and Ranging) 등을 포함하나 이에 국한되지 않는다. 몇몇 구현예에서, 센서 시스템(400)은 거리측정 소나 센서(410){예를 들면, 베이스(120)의 둘레를 따라서 9개}, 근접 클리프 검출기(420), 접촉 센서(430)(도 4a), 레이저 스캐너(440), 하나 이상의 3차원 이미징/깊이 센서(450), 및 이미징 소나(460)를 포함한다.
몇몇 구현예에서, 센서 시스템(400)은 임의의 근처의 또는 침투성 장애물을 검출하기 위해 제어기(500)와 통신 상태에 있으며 로봇(100)의 하나 이상의 구역 또는 부분에 배열된{예를 들면, 로봇 몸체(110)의 베이스 몸체부(124a, 124b, 124c)에 또는 그 근처에 배치된} 근접 센서(410, 420)의 세트 또는 어레이를 포함한다. 근접 센서(410, 420)는, 물체가 로봇(100)의 소정 범위 내에 있을 때 제어기(500)에 신호를 제공하는 수렴형 적외선(IR) 방사체-센서 요소, 소나 센서, 초음파 센서, 및/또는 이미지 센서(예를 들면, 3D 깊이 지도 이미지 센서)를 포함할 수 있다.
도 4a 내지 도 4c에 도시된 예에서, 로봇(100)은 몸체(120)의 베이스(124) 둘레에 (예를 들면, 실질적으로 등간격으로) 배치되며 상향 시계(upward field of view)로 배열된 소나 유형의 근접 센서(410)의 어레이를 포함한다. 제1, 제2, 및 제3의 소나 근접 센서(410a, 410b, 410c)는 제1의 (전방) 베이스 몸체부(124a)에 또는 그 근처에 배치되고, 이들 소나 근접 센서들 중 적어도 하나는 몸체(120)의 제1의 베이스(124a)의 반경방향 최외측 가장자리(125a)에 가까이 있다. 제4, 제5, 및 제6의 소나 근접 센서(410d, 410e, 410f)는 제2의 (우측) 베이스 몸체부(124b)에 또는 그 근처에 배치되고, 이들 소나 근접 센서들 중 적어도 하나는 몸체(120)의 제2의 베이스(124b)의 반경방향 최외측 가장자리(125b)에 가까이 있다. 제7, 제8, 및 제9의 소나 근접 센서(410g, 410h, 410i)는 제3의 (좌측) 베이스 몸체부(124c)에 또는 그 근처에 배치되고, 이들 소나 근접 센서들 중 적어도 하나는 몸체(120)의 제3의 베이스(124c)의 반경방향 최외측 가장자리(125c)에 가까이 있다. 이러한 구성은 적어도 3개의 검출 구역을 제공한다.
몇몇 예에서, 몸체(120)의 베이스(124) 둘레에 배치된 소나 근접 센서(410)의 집합(예를 들면, 410a-410i)은 위쪽으로(예를 들어, 실질적으로 Z 방향으로) 향하고 또한 선택적으로 Z축으로부터 외측으로 각지게 배치됨으로써, 로봇(100)의 둘레에 검출 커튼(412)을 생성한다. 각각의 소나 근접 센서(410a-410i)는 소나 방사를 위쪽으로 또는 적어도 로봇 몸체(110)의 다른 부분 쪽으로는 향하지 않게 유도하는{예를 들면, 그 자신에 대해 로봇 몸체(110)의 이동을 검출하지는 않도록} 가리개 또는 방사 가이드(414)를 구비할 수 있다. 방사 가이드(414)는 쉘(shell) 또는 쉘 절반부의 형상을 형성할 수 있다. 도시된 예에서, 몸체(120)의 베이스(124)는 다리(130) 너머로 측방향으로 연장되며, 소나 근접 센서(410)(예를 들면, 410a-410i)는 다리(130)의 둘레를 따라(예를 들면, 실질적으로 몸체(120)의 베이스(124)의 둘레를 따라) 몸체(120)의 베이스(124)에 배치된다. 또한 위쪽으로 향하는 소나 근접 센서(410)는 다리(130)의 둘레를 따라 연속적인 또는 실질적으로 연속적인 소나 검출 커튼(412)을 형성할 수 있도록 이격된다. 소나 검출 커튼(412)은 테이블 상부면, 선반 등과 같이 높은 위치의 측방향으로 돌출한 부분을 갖는 장애물을 검출하는데 사용될 수 있다.
위쪽으로 보는 소나 근접 센서(410)는 테이블 상부면과 같이 주로 수평 평면으로 있는 물체를 보는 능력을 제공한다. 이들 물체는 그 종횡비(aspect ratio)로 인해 레이저 스캐너(440) 또는 이미징 센서(450)와 같은 센서 시스템의 다른 센서에 의해서는 놓칠 수 있으며, 이는 로봇(100)에 문제를 초래할 수 있다. 베이스(120)의 둘레를 따라 배열된 위쪽으로 보는 소나 근접 센서(410)는 이러한 유형의 물체/장애물을 보거나 검출하는 수단을 제공한다. 또한, 소나 근접 센서(410)는 로봇(100)의 몸통(140) 또는 머리(160)에 의해 가려지거나 방해되지 않도록, 그래서 로봇(100) 그 자체의 부분을 감지하는 거짓 긍정(flase positive)을 초래하지 않도록, 베이스 둘레의 가장 넓은 지점의 둘레에 약간 외측으로 기울어지게 배치될 수 있다. 몇몇 구현예에서, 소나 근접 센서(410)는 이 소나 근접 센서(410)의 시계(視界) 외부에 몸통(140) 정도의 부피를 남겨두고 그에 따라 바스킷(360)과 같은 장착된 유상하중 또는 액세서리를 자유롭게 수용하도록 (위쪽으로 및 외측으로) 배치된다. 소나 근접 센서(410)는 가시적인 은폐(visual concealment)를 제공하고 어떠한 외부 특징부도 장애물에 걸리거나 부딪히지 않도록 베이스 몸체(124) 안으로 함몰될 수 있다.
센서 시스템(400)은 후진시에 장애물을 검출하기 위해 (예를 들면, 전방 구동 방향(F)에 반대의) 후방쪽으로 향하는 하나 이상의 소나 근접 센서(410)(예를 들면, 후방 근접 센서(410j))를 포함할 수 있다. 후방 소나 근접 센서(410j)는 그 소나 검출계(detection field)(412)를 안내하기 위해 방사 가이드(414)를 포함할 수 있다. 또한, 후방 소나 근접 센서(410j)는 로봇(100)과 후방 소나 근접 센서(410j)의 시계 내의 검출된 물체 사이의 거리를 결정하기 위해(예를 들면, "후진" 경보로서) 거리측정에 사용될 수 있다. 몇몇 예에서, 후방 소나 근접 센서(410j)는 하우징 형태에 어떠한 가시적인 또는 기능적인 불규칙성도 제공하지 않도록 몸체(120)의 베이스(124) 내에 함몰되게 장착된다.
도 2와 도 4b를 참조하면, 몇몇 구현예에서, 로봇(100)은 구동 휠(210a, 210b, 210c)이 절벽(예를 들면, 계단)에 맞닥뜨리기 전에 절벽 검출이 가능하도록 구동 휠(210a, 210b, 210c) 근처에 또는 그 주위에 배열된 절벽 근접 센서(420)를 포함한다. 예를 들면, 절벽 근접 센서(420)는 베이스 몸체(124a-c)의 반경방향 최외측 가장자리(125a-c)의 각각에 또는 그 근처에 및 그 사이의 지점에 배치될 수 있다. 몇몇 경우에, 절벽 감지는 바닥이 예상되는 지점에서 적외선(IR) 근접 또는 실제 거리측정 감지를 사용하여, 중첩되는 방사계(emission field) 및 검출계를 가지며 그에 따라 검출 구역을 갖도록 서로를 향해 소정 각도를 갖는 적외선 방사체(422)와 적외선 검출기(424)를 사용하여 구현된다. IR 근접 감지는 비교적 좁은 시계를 가질 수 있으며, 신뢰성을 위해 표면 알베도(albedo)에 의존하며, 표면마다 변하는 거리측정 정확도를 가질 수 있다. 그 결과, 로봇(100) 상의 복수의 지점으로부터 절벽을 적절히 검출하기 위해, 복수의 개별 센서가 로봇(100)의 둘레를 따라 배치될 수 있다. 또한, IR 근접 기반의 센서는 전형적으로 로봇(100)이 문지방을 오르고 난 직후와 같이 절벽과 안전한 이벤트 사이를 구분할 수 없다.
절벽 근접 센서(420)는 로봇(100)이 일단(一團)의 계단에 맞닥뜨렸을 때와 같이, 바닥의 하강 모서리(falling edge)에 맞닥뜨렸을 때를 검출할 수 있다. (제어 시스템을 실행하는) 제어기(500)는 모서리가 검출되었을 때 로봇(100)이 그 이동 방향을 변경하는 것과 같이 동작(조치)을 취하게 하는 거동을 실행할 수 있다. 몇몇 구현예에서, 센서 시스템(400)은 하나 이상의 제2의 절벽 센서(예를 들면, 절벽 감지 및 선택적으로 다른 유형의 감지 용도로 구성된 다른 센서)를 포함한다. 절벽 검출 근접 센서(420)는 절벽의 조기 검출을 제공하고, 실제 절벽과 (문지방을 넘는 것과 같이) 안전한 이벤트 사이를 구별하는 데이터를 제공하며, 그 시계가 로봇 몸체(110)로부터 떨어진 영역 및 로봇 몸체(110)의 적어도 일부를 포함하도록 위치되게 배열될 수 있다. 몇몇 구현예에서, 제어기(500)는 지지 작업 표면(예를 들면, 바닥)의 가장자리, 작업 표면의 가장자리를 통과하고 나서의 거리의 증가, 및/또는 로봇 몸체(110)와 작업 표면사이의 거리의 증가를 식별 및 검출하는 절벽 검출 루틴을 실행한다. 이러한 구현은 다음의 것을 가능케 한다: 1) 잠재적인 절벽의 조기 검출(이는 미지의 환경에서는 더 신속한 이동 속도를 가능케 함); 2) 제어기(500)가 절벽 이벤트가 진정으로 안전하지 않은지 또는 (예를 들면, 문지방을 올라서 넘는 것과 같이) 안전하게 건널 수 있는지를 알 수 있도록 절벽 검출 근접 센서(420)로부터 절벽 이미징 정보를 수신하게 됨으로 인한 자율 이동성의 신뢰성의 증가; 3) (예를 들면, 가장자리 검출 대(versus) 좁은 시계를 갖는 복수의 개별 IR 근접 센서의 사용으로 인한) 절벽의 거짓 긍정의 감소. "휠 드롭(wheel drop)" 센서로서 배열된 추가적인 센서가 중복용(redundancy)으로 및 거리측정 카메라가 소정 유형의 절벽을 신뢰성있게 검출할 수 없는 상황을 검출하기 위해 사용될 수 있다.
문지방 및 계단 검출은 로봇(100)이 오를 수 있는 문지방을 건너거나 또는 너무 높은 계단을 회피하는 것을 효과적으로 계획할 수 있게 한다. 이는 로봇(100)이 안전하게 건널 수 있거나 건널 수 없는 작업 표면상의 임의의 물체에 대해서도 동일하게 적용될 수 있다. 로봇(100)이 오를 수 있다고 판단하는 그러한 장애물 또는 문지방의 경우에, 그 높이를 아는 것은 로봇(100)이 필요하다고 판단되는 경우에 적절히 속도를 낮출 수 있게 하며, 급가속으로 인한 불안정성을 최소화하고 원활함을 극대화할 수 있도록 원활한 전이를 가능게 한다. 몇몇 구현예에서, 문지방 및 계단 검출은 기하학적 구조의 인식와 함께 작업 표면 위의 물체의 높이를 기초로 한다(예를 들면, 문지방 또는 전기 케이블과 양말과 같은 작은 물체 사이의 구분). 문지방은 가장자리 검출에 의해서 인식될 수 있다. 제어기(500)는 절벽 검출 근접 센서(420)로부터 이미징 데이터를 수신하고, 가장자리 검출 루틴을 실행하며, 가장자리 검출 루틴의 결과에 기초하여 구동 명령을 발할 수 있다. 제어기(500)는 물체를 식별하기 위해 패턴 인식도 또한 사용할 수 있다. 문지방 검출은 원활한 계단 오름 능력을 극대화하기 위해 로봇(100)이 문지방에 대한 그 배향(背向)을 변경할 수 있게 한다.
근접 센서(410, 420)는 단독으로 기능할 수도 있고, 또는 이와 달리, 중복용도로 하나 이상의 접촉 센서(430)(예를 들면, 충돌 스위치)와 조합되어 기능할 수도 있다. 예를 들면, 로봇 몸체(110)에 있는 하나 이상의 접촉 또는 충돌 센서(430)는 로봇(100)이 물리적으로 장애물에 맞닥뜨렸는지를 검출할 수 있다. 이러한 센서는 언제 장애물에 맞닥뜨렸는지를 판단하기 위해 로봇(100) 내의 물리적인 변위 또는 커패시턴스와 같은 물리적 특성을 이용할 수 있다. 몇몇 구현예에서, 베이스(120)의 각 베이스 몸체부(124a, 124b, 124c)는 베이스 섀시(122)(예를 들면, 도 4a 참조)에 대해 해당 베이스 몸체부(124a, 124b, 124c)의 이동을 검출하는 관련 접촉 센서(430)(예를 들면, 정전용량형 센서, 리드 스위치 등)를 갖는다. 예를 들면, 몸체(120-c)의 각 베이스(124a)는 3방향 충돌 검출을 제공할 수 있도록 베이스 섀시(122)의 Z축에 대해 반경방향으로 이동할 수 있다.
다시 도 1 내지 도 4c를 참조하면, 몇몇 구현예에서, 센서 시스템(400)은 로봇 몸체(110)의 전방 부분에 장착되며 제어기(500)와 통신 상태에 있는 레이저 스캐너(440)를 포함한다. 도시된 예에서, 레이저 스캐너(440)는 (예를 들면, 로봇의 구동 방향(F)을 따라 최대의 이미징 범위를 갖도록) 몸체(120)의 제1의 베이스(124a)에 또는 그 위에서 전방을 향하게 몸체(120)의 베이스(124)에 장착된다. 또한, 삼각형 베이스(120)의 전방 첨단부에 또는 그 근처에의 레이저 스캐너의 배치는 로봇 베이스의 외부 각도(예를 들면, 300°)가 레이저 스캐너(440)의 시계(442)(예를 들면, ~285°)보다 더 크며, 그에 따라 베이스(120)가 레이저 스캐너(440)의 검출 시계(442)를 가리거나 방해하는 것을 방지함을 의미한다. 레이저 스캐너(440)는 레이저 스캐너의 임의의 부분이 (예를 들면, 미적 관점에서 및 장애물에 걸리는 것을 최소화하기 위해) 베이스 몸체(124) 너머로 튀어나오는 것을 최소화할 수 있도록, 그 시계를 가리는 일 없이 가능한 한 깊이 베이스 몸체(124) 내에 함몰되어 장착될 수 있다.
레이저 스캐너(440)는 레이저 스캐너(440)로부터 수신된 신호를 이용하여 로봇(100) 및 제어기(500)의 주변의 영역을 스캔하며, 스캐닝된 영역의 물체의 지도 또는 주변환경 지도를 생성한다. 제어기(500)는 운행, 장애물 검출, 및 장애물 회피를 위해 물체의 지도를 사용할 수 있다. 또한, 제어기(500)는 물체의 지도를 생성하기 위해서 및/또는 운행을 위해 센서 시스템(400)의 다른 센서들로부터 감각 입력을 이용할 수 있다.
몇몇 예에서, 레이저 스캐너(440)는 스캐닝 LIDAR이며, 이는 하나의 영역을 1차원적으로 "주" 스캔 라인으로 신속하게 스캔하는 레이저와, 위상차(phase difference) 또는 라인에 생성된 각 픽셀에 깊이(depth)를 할당하는 다른 기법(스캐닝 평면에서 2차원적 깊이 라인을 반송함)을 사용하는 TOF(time of flight) 이미징 요소를 사용할 수 있다. 3차원 지도를 생성하기 위해, LIDAR는 (예를 들면, 스캐너를 "기울임"으로써) 제2의 방향으로 "보조" 스캔을 행할 수 있다. 이러한 기계적인 스캐닝 기법은 보충되는 경우가 아니라면, "플래시" LIDAR/LADAR 및 "스위스 레인저(Swiss Ranger)" 유형의 초점 평면 이미징 요소 센서와 같은 기술, (인코딩된 발광체 또는 발광 레이저에 의해) 각 픽셀에 깊이를 제공하기 위해, 또는 심지어는 각 픽셀에 일련의 깊이를 제공하기 위해 픽셀의 전체적인 2차원 매트릭스를 위한 TOF 계산을 허용하기 위해 반도체 적층을 사용하는 기법에 의해 보완될 수 있다.
센서 시스템(400)은 제어기(500)와 통신 상태에 있는 하나 이상의 3차원 이미지 센서(450)를 포함할 수 있다. 3차원 이미지 센서(450)가 제한된 시계를 갖는 경우에, 제어기(500) 또는 센서 시스템(400)은 확실한 장애물 검출/장애물 회피(ODOA)를 행하기 위해 상대적으로 더 넓은 시계를 생성하기 위해 병치(倂置) 스캐닝 방식으로 3차원 이미지 센서(450a)를 작동시킬 수 있다. 도 1 내지 도 3b를 참조하면, 몇몇 구현예에서, 로봇(100)은 (예를 들면, 로봇의 구동 방향(F)을 따라서 최대의 이미징 범위를 갖도록) 시계가 전진 구동 방향(F)을 따라서 이루어지는 상태로, 로봇 몸체(110)의 전방 부분에 장착된 스캐닝 3차원 이미지 센서(450a)를 포함한다. 스캐닝 3차원 이미지 센서(450a)는 일차적으로 ODOA 용으로 사용될 수 있다. 도시된 예에서, 스캐닝 3차원 이미지 센서(450a)는 예를 들면, 사용자가 스캐닝 3차원 이미지 센서(450a)에 접촉하는 것을 방지하기 위해 도 2에 도시된 바와 같이, 어깨(142)의 아래에서 몸통(140)에 또는 바닥 표면(144) 상에서 몸통(140) 내에 함몰되게 장착된다(예를 들면, 바닥 표면(144)에 동일 높이로 또는 그 너머로). 스캐닝 3차원 이미지 센서(450)는 (예를 들면, 베이스(120) 또는 로봇 몸체(110)의 다른 부분에 의한 방해에 의한) ODOA를 위해 로봇(100)의 전방에서 하향 시계(452)를 갖도록 로봇 몸체(110)로부터 실질적으로 아래쪽으로 그리고 이로부터 멀어지게 향하도록 배치될 수 있다. 몸통(140)의 전방 가장자리에 또는 그 근처에의 스캐닝 3차원 이미지 센서(450a)의 배치는 3차원 이미지 센서(450)의 시계(예를 들면, ~285°)가 3차원 이미지 센서(450)에 대한 몸통(140)의 외부 표면 각도(예를 들면, 300°)보다 더 작을 수 있게 하며, 그에 따라 몸통(140)이 스캐닝 3차원 이미지 센서(450a)의 검출 시계(452)를 가리거나 방해하지 않게 할 수 있다. 또한, 스캐닝 3차원 이미지 센서(450a)(및 그 관련 액추에이터)는 (예를 들면, 또한 미적 관점에서 및 장애물에 걸리는 것을 최소화하기 위해) 그 시계를 가리는 일 없이 가능한 한 깊게 몸통(140) 내에 함몰되게 장착될 수 있다. 스캐닝 3차원 이미지 센서(450a)의 산만한 스캐닝 이동은 사용자에게 보이지 않으며, 그에 따라 덜 산만한 상호작용 경험을 초래한다. 돌출한 센서 또는 특징부와 달리, 함몰된 스캐닝 3차원 이미지 센서(450a)는 실질적으로 어떠한 이동부도 몸통(140)의 경계부 너머로 돌출하지 않으므로 특히 이동 또는 스캐닝할 때, 주변환경과의 의도치 않는 상호작용(사람, 장애물에 걸리는 등)을 할 가능성이 적게 된다.
몇몇 구현예에서, 센서 시스템(400)은 몸체(120)의 베이스(124)와, 다리(130)와, 목(150), 및/또는 머리(160)에 배치된 추가적인 3차원 이미지 센서(450)를 포함한다. 도 1에 도시된 예에서, 로봇(100)은 몸체(120)의 베이스(124)와, 몸통(140), 및 머리(160) 상의 3차원 이미지 센서(450)를 포함한다. 도 3a에 도시된 예에서, 로봇(100)은 몸체(120)의 베이스(124)와, 몸통(140), 및 머리(160) 상의 3차원 이미지 센서(450)를 포함한다. 도 3b에 도시된 예에서, 로봇(100)은 다리(130)와, 몸통(140), 및 목(150) 상의 3차원 이미지 센서(450)를 포함한다. 다른 구성도 또한 가능하다. (예를 들면, 목(150)에 및 머리(160)의 위에 있는) 하나의 3차원 이미지 센서(450)는 사람 인식, 동작 인식, 및/또는 화상 회의용으로 사용될 수 있는 한편, (예를 들면, 베이스(120) 및/또는 다리(130)에 있는) 다른 3차원 이미지 센서(450)는 운행 및/또는 장애물 검출 및 장애물 회피용으로 사용될 수 있다.
목(150) 및/또는 머리(160)에 배치된 전방으로 향하는 3차원 이미지 센서(450)는 로봇(100) 주변의 사람, 얼굴, 및/또는 사람들의 동작 인식용으로 사용될 수 있다. 예를 들면, 머리(160)에 있는 3차원 이미지 센서(450)로부터의 신호 입력을 사용하여, 제어기(500)는 본/캡쳐한 사용자의 얼굴의 3차원 지도를 생성하고, 생성된 3차원 지도를 사람들의 얼굴의 알려진 3차원 이미지와 비교하며, 알려진 3차원 얼굴 이미지들 중 하나와의 일치(매치)를 판단함으로써 사용자를 인식할 수 있다. 안면 인식은 사용자를 로봇(100)의 허용된 사용자로 인증하는데 사용될 수 있다. 또한, 하나 이상의 3차원 이미지 센서(450)는 로봇(100)이 본 사람의 동작을 판단하기 위해서, 및 선택적으로 판단된 동작(들)(예를 들면, 손으로 가리키기, 손 흔들기, 및/또는 수신호)을 기초로 하여 반응하는데 사용될 수 있다. 예를 들면, 제어기(500)는 인식된 특정 방향으로의 손으로 가리키기에 응답하여 구동 명령을 발할 수 있다.
3차원 이미지 센서(450)는 다음과 같은 유형의 데이터를 생성할 수 있다: (i) 깊이 지도, (ii) 반사율 기반의 강도 이미지(intensity image), 및/또는 (iii) 보통 강도 이미지. 3차원 이미지 센서(450)는 이미지 패턴 매칭, 광원으로부터 방출되고 타겟으로부터 반사된 광에 대한 위상 지연 이동(phase delay shift) 및/또는 TOF의 측정에 의해 이러한 데이터를 획득할 수 있다.
몇몇 구현예에서, 프로세서(예를 들면, 로봇 제어기(500))에서 실행 가능한 추론 또는 제어 소프트웨어는 센서 시스템(400)에 의해 생성된 다양한 데이터 유형을 사용하여 실행된 알고리즘의 조합을 사용한다. 추론 소프트웨어는 센서 시스템(400)으로부터 수집된 데이터를 처리하며, 로봇(100)이 예를 들면 장애물에 충돌하는 일 없이 이동할 수 있는 운행 결정을 내리는 데이터를 출력한다. 로봇의 주변환경의 이미징 데이터를 소정 시간에 걸쳐 축적함으로써, 추론 소프트웨어는 3차원 이미지 센서(450)의 깊이 측정치(depth measurements)를 개선할 수 있도록 감지된 이미지(들)의 선택된 세그먼트에 효과적인 방법을 적용할 수 있다. 이는 적절한 시간 및 공간 평균화 기법을 이용하는 것을 포함할 수 있다.
로봇의 무충돌 이동의 실행에 대한 신뢰도는: (i) 소정 시간에 걸쳐 높은 수준의 추론에 의해 성립된 신뢰도 수준과 (ii) 분석을 위해 3가지의 주요 유형의 데이터: (a) 깊이 이미지, (b) 활성 조도(illumination) 이미지, 및 (c) 주위의 조도 이미지를 축적하는 깊이 지각 센서(depth-perceptive sensor)를 기초로 할 수 있다. 상이한 유형의 데이터를 인식하는 알고리즘은 깊이 지각 이미지 센서(450)에 의해 획득된 이미지 각각에서 실행될 수 있다. 집합된 데이터는 단 한 종류의 데이터를 사용하는 시스템에 비해 신뢰도 수준을 향상시킬 수 있다.
3차원 이미지 센서(450)는 하나 이상의 물체를 포함하는 로봇(100) 주변의 현장(예를 들면, 방 또는 작업 영역의 센서 뷰 부분)으로부터 깊이 및 휘도 데이터를 포함하는 이미지를 획득할 수 있다. 제어기(500)는 현장으로부터 캡쳐된 반사광을 기초로 물체에 대한 점유공간 데이터를 결정하도록 구성될 수 있다. 또한 제어기(500)는 몇몇 예에서, 장애물(즉, 현장의 물체)을 회피하여 운행하기 위해 적어도 부분적으로 점유공간 데이터에 기초하여 구동 시스템(200)에 구동 명령을 발한다. 3차원 이미지 센서(450)는 로봇(100)이 현장 내의 어떠한 물체에도 충돌하지 않고 그 현장을 운행하도록 제어기(500)에 의한 실시간 결정을 위해 현장의 깊이 이미지를 반복적으로 캡쳐할 수 있다. 예를 들면, 이미지 데이터가 3차원 이미지 센서에 의해 획득되는 깊이 속도 또는 횟수는 3차원 이미지 센서(450)의 셔터 속도에 의해 제어될 수 있다. 또한, 제어기(500)는 이 제어기(500)에 근접 물체 또는 위험을 통보하는 (예를 들면, 근접 센서(410, 420)와 같은 센서 시스템(400)의 다른 센서 구성요소로부터) 이벤트 트리거(event trigger)를 수신할 수 있다. 제어기(500)는 이벤트 트리거에 응답하여, 3차원 이미지 센서(450)로 하여금 깊이 이미지가 캡쳐되고 점유공간 정보가 획득되는 횟수를 증가시키도록 할 수 있다.
몇몇 구현예에서, 로봇은 로봇(100) 주변 영역의 음향 이미징(acoustic imaging)을 위한 소나 스캐너(460)를 포함한다. 도 1 및 도 2에 도시된 예에서, 소나 스캐너(460)는 몸체(120)의 베이스(124)의 전방 부분에 배치된다.
도 1 내지 도 3b를 참조하면, 몇몇 구현예에서, 로봇(100)은 중복 감지(redundant sensing)를 위한 레이저 스캐너 또는 레이저 거리 측정기(440)와 함께 안전을 위한 후방으로 향한 소나 근접 센서(410j)를 사용하며, 양자 모두는 지면(G)에 평행하게 배향된다. 로봇(100)은 로봇(100) 주변의 환경의 확실한 감지를 제공하기 위해 제1 및 제2의 3차원 이미지 센서(450a, 450b)(깊이 카메라)를 포함할 수 있다. 제1의 3차원 이미지 센서(450a)는 몸통(140)에 장착되며 지면(G)에 대해 고정된 각도로 아래쪽으로 향한다. 제1의 3차원 이미지 센서(450a)를 아래쪽으로 각지게 함으로써, 로봇(100)은 로봇(100)의 바로 전방 또는 인접한 영역에서 조밀한 센서 범위를 수신하는데, 이는 전진 방향으로의 로봇(100)의 단기(短期) 이동과 관련된다. 후방으로 향한 소나(410j)는 로봇이 후방으로 이동할 때 물체의 검출을 제공한다. 후방 이동이 로봇(100)에 전형적인 경우라면, 로봇(100)은 로봇의 바로 후방 또는 인접한 영역에서 조밀한 센서 범위를 제공하기 위해 아래쪽으로 및 후방으로 향한 제3의 3차원 이미지 센서(450)를 포함할 수 있다.
제2의 3차원 이미지 센서(450b)는 머리(160)에 장착되며, 머리(160)는 목(150)을 통해서 패닝(panning) 및 틸팅(tiling)될 수 있다. 제2의 3차원 이미지 센서(450b)는 원격 구동에 유용할 수 있는데, 이는 인간 조종자가 로봇(100)이 어디로 가는지를 볼 수 있게 하기 때문이다. 목(150)은 근거리 및 원거리의 물체 모두를 볼 수 있도록 조종자로 하여금 제2의 3차원 이미지 센서(450b)를 틸팅 및/또는 패닝할 수 있게 한다. 제2의 3차원 이미지 센서(450b)의 패닝은 관련 수평 시계(horizontal field of view)를 증대시킨다. 고속 이동 중에, 로봇(100)은 2개의 3차원 이미지 센서(450a, 450b) 모두의 전체 또는 통합 시계를 증대시키고, 로봇(100)이 장애물을 회피할 수 있는 충분한 시간을 주기 위해(고속은 일반적으로 장애물에 반응하기 위한 더 적은 시간을 의미하므로), 제2의 3차원 이미지 센서(450b)를 아래쪽으로 약간 틸팅시킬 수 있다. 저속에서, 로봇(100)은 이 로봇(100)이 뒤따르고자 하는 사람을 추적하기 위해 제2의 3차원 이미지 센서(450b)를 위쪽으로 또는 지면(G)에 실질적으로 평행하게 틸팅시킬 수 있다. 또한, 비교적 저속으로 구동하는 동안에, 로봇(100)은 이 로봇(100) 주변의 그 시계를 증대시키기 위해 제2의 3차원 이미지 센서(450b)를 패닝할 수 있다. 제1의 3차원 이미지 센서(450a)는 로봇이 구동될 때 그 지각 범위를 확장하기 위해 고정 상태로 유지될 수 있다(예를 들면, 베이스(120)에 대해 움직이지 않는다). 추가적으로 및/또는 이와 달리, 제1의 3차원 이미지 센서(450a)는 로봇이 조작중일 때 로봇 주변의 잠재적인 장애물을 검출하기 위해 저속으로 스캔할 수 있다. 몇몇 예에서, 제1의 3차원 센서(450a)의 시계를 최적화하기 위해, 제1의 3차원 이미지 센서(450a)의 높이가 예컨대 Z-리프트(Z-lift)의 이용을 통해서 위쪽으로 조절될 수 있다.
몇몇 구현예에서, 3차원 이미지 센서들(450) 중 적어도 하나는 지면으로부터 1 또는 2피트보다 더 높은 높이에서 (또는 지면 위의 약 1 또는 2 피트의 높이에서) 로봇(100)에 위치되고 (전방향 구동 시스템(200)을 통하여) 로봇의 이동 방향에서 바닥 평면(floor plane)을 포함하는 공간의 체적으로부터 포인트 클라이드를 획득하도록 배향된 (스페클(speckle) 또는 TOF 카메라와 같은) 체적측정 포인트 클라우드 이미징 장치(volumetric point cloud imaging device)일 수 있다. 도 1과 도 3에 도시된 예에서, 제1의 3차원 이미지 센서(450a)는 지면으로부터 1 또는 2피트보다 더 높은 높이에서 베이스(120)에 위치될 수 있으며, (예를 들면, 장애물 검출 및 장애물 회피를 위해) 구동 중에 바닥을 포함하는 체적의 이미지(예를 들면, 체적측정 포인트 클라우드)를 캡쳐하기 위해 전진 구동 방향(F)을 따라 배향될 수 있다. 제2의 3차원 이미지 센서(450b)는 로봇(100)에 인접한 공간의 체적으로부터 골조 인식(skeletal recognition) 및 해상도 포인트 클라우드를 획득하기 위해 (예를 들면, 지면으로부터 약 3 또는 4피트보다 더 높은 위치에서) 머리(160)에 장착 도시되어 있다. 제어기(500)는 캡쳐된 체적측정 포인트 클라우드의 데이터를 분석하기 위해 골조/디지털 인식 소프트웨어를 실행할 수 있다.
도 3a 내지 도 4c를 참조하면, 센서 시스템(400)은 로봇(100)의 전체적인 무게중심(CGR)에 대해 로봇(100)의 관성 모멘트를 측정 및 모니터하기 위해 제어기(500)와 통신 상태에 있는 관성측정 장비(IMU: inertial measurement unit)(470)을 포함할 수 있다.
제어기(500)는 정상적인 방해받지 않는 작동에 대응하는 한계치 신호로부터 IMU(470)로부터의 피드백에 있어서의 임의의 편차(deviation)를 모니터할 수 있다. 예를 들면, 로봇이 직립 위치로부터 기울기 시작하면, 이는 "무엇에 걸리거나" 또는 달리 방해를 받거나, 또는 누군가가 갑자기 무거운 유상하중을 추가했을 수 있다. 이러한 경우에, 로봇(100)의 안전한 작동을 보장하기 위해 긴급 조치(회피 조작, 재캘리브레이션, 및/또는 가청/시각 경고를 발함을 포함하나 이에 국한되지 않는)를 취하는 것이 필요할 수 있다.
로봇(100)은 인간 환경에서 작동할 수 있으므로, 인간과 상호작용할 수 있으며 인간을 위해 설계된(및 로봇 제약이 없는) 공간에서 작동할 수 있다. 로봇(100)은 예컨대 칵테일 파티나 분주한 병원과 같이, 혼잡하거나, 제약을 받거나, 또는 매우 역동적인 환경에 있을 때는 그 구동 속도 및 가속도를 제한할 수 있다. 하지만, 로봇(100)은 긴 빈 복도와 같이 비교적 고속으로 구동해도 안전하고, 그러면서도 무언가가 로봇의 이동 경로를 가로지를 때 갑작스럽게 감속할 수 있는 상황에 부닥뜨릴 수 있다.
정지상태로부터 가속할 때, 제어기(500)는 로봇의 넘어짐을 방지하기 위해 그 전체적인 무게중심(CGR)으로부터 로봇(100)의 관성 모멘트를 고려할 수 있다. 제어기(500)는 그 현재의 관성 모멘트를 포함하여, 그 자세의 모델을 사용할 수 있다. 유상하중이 지지되면, 제어기(500)는 전체적인 무게중심(CGR)에 대한 하중 영향을 측정하고 로봇의 관성 모멘트의 이동을 모니터할 수 있다. 예를 들면, 몸통(140) 및/또는 목(150)은 변형률(strain)을 측정하기 위한 스트레인 게이지를 포함할 수 있다. 이것이 가능하지 않으면, 제어기(500)는 실험적으로 안전 한계를 결정하기 위해 구동 휠(210)에 시험용 토크 명령을 인가하고 IMU(470)를 사용하여 로봇의 실제 선형 및 각 가속도를 측정할 수 있다.
급감속시에, 제2 및 제3의 구동 휠(210b, 210c)(후방 휠)에 가해진 하중은 감소되는 한편, 제1의 구동 휠(210a)(전방 휠)은 전방 구동 방향으로 미끄러지며 로봇(100)을 지지한다. 제2 및 제3의 구동 휠(210b, 210c)(후방 휠)의 하중이 비대칭이면, 로봇(100)은 "한쪽으로 쏠릴(yaw)"수 있으며 이는 동적 안정성을 저감시킨다. IMU(470)(예를 들면, 자이로(gyro))는 이러한 한쪽으로의 쏠림을 검출하기 위해 사용될 수 있으며 로봇(100)을 재배향(reorient)하도록 제2 및 제3의 구동 휠(210b, 210c)(후방 휠)을 조정한다.
도 5를 참조하면, 몇몇 구현예에서, 제어기(500)는 제어 시스템(510)을 실행시키며, 이 제어 시스템(510)은 서로 통신 상태에 있는 거동 시스템(behavior system: 510a)과 제어 중재 시스템(510b)을 포함한다. 제어 중재 시스템(510b)은 애플리케이션(520)이 제어 시스템(510)에 동적으로 추가 및 제거될 수 있게 하며, 애플리케이션(520)이 각각 다른 애플리케이션(520)에 대해 알 필요없이 로봇(100)을 제어하는 것을 용이하게 한다. 즉, 제어 중재 시스템(510b)은 애플리케이션(520)과 로봇(100)의 리소스(resource: 530) 사이에 간단한 우선화된 제어 메커니즘(simple prioritized control mechanism)을 제공한다. 리소스(530)는 구동 시스템(200)과, 센서 시스템(400), 및/또는 임의의 유상하중 또는 제어기(500)와 통신 상태에 있는 제어가능 장치를 포함할 수 있다.
애플리케이션(520)은 로봇(100)(예를 들면, 프로세서)에서 동시 구동되고 동시에 로봇(100)을 제어하기 위해, 로봇(100)의 메모리에 저장되거나 로봇(100)과 통신할 수 있다. 애플리테이션(520)은 거동 시스템(behavior system: 510a)의 거동(512)에 액세스할 수 있다. 독립적으로 배치된 애플리케이션(520)은 실행시간(runtime)에 동적으로 통합되며 로봇(100)의 로봇 리소스(530)(예를 들면, 구동 시스템(200), 팔(들), 머리(들) 등)를 공유한다. 실행시간에 애플리케이션(520)들 간에 로봇 리소스(530)를 동적으로 공유하기 위해 저수준 폴리시(low-level policy)가 구현된다. 폴리시는 어느 애플리케이션(520)이 그 애플리케이션(520)에 의해 요구되는 로봇 리소스(530)의 제어를 가질 지를 결정한다(예를 들면, 폴리시는 애플리케이션(520) 간에 우선순위 계층구조를 생성한다). 애플리케이션(520)은 동적으로 개시 및 정지할 수 있으며, 서로 전적으로 독립적으로 구동될 수 있다. 제어 시스템(510)은 또한 서로 보조하기 위해 서로 통합될 수 있는 복합 거동(complex behavior: 512)을 허용할 수 있다.
제어 중재 시스템(510b)은 하나 이상의 리소스 제어기(540)와, 로봇 매니저(550), 및 하나 이상의 제어 아비터(control arbiter: 560)을 포함한다. 이들 구성요소는 공통의 프로세스 또는 컴퓨터에 있을 필요는 없으며, 어느 특정한 순서로 시작될 필요도 없다. 리소스 제어기(540) 구성요소는 애플리케이션(520)을 위해 제어 중재 시스템(510b)에 인터페이스를 제공한다. 모든 애플리케이션(520)에는 이러한 구성요소의 사례(instance)가 있다. 리소스 제어기(540)는 인증(authentication), 분산 리소스 제어 아비터, 명령 버퍼링(command buffering) 등의 복잡성을 발췌 및 요약한다. 로봇 매니저(550)는 어느 애플리케이션(520)이 임의의 특정 시간에 어떤 로봇 리소스(530)의 독점적인 제어를 갖는지를 제어함으로써, 애플리케이션(520)의 우선순위를 조정한다. 이는 정보의 중앙 조정자이므로, 로봇마다 단 하나의 로봇 매니저(550)의 사례가 있다. 로봇 매니저(550)는 리소스 제어기(540)의 선형 우선순위 순서(linear prioritized order)를 갖는 우선순위 폴리시를 이행하며, 하드웨어 제어를 제공하는 리소스 제어 아비터(560)를 추적한다. 제어 아비터(560)는 모든 애플리케이션(520)으로부터 명령을 수신하고, 애플리케이션의 우선순위에 기초하여 단일 명령을 생성하며, 그 결부 리소스(530)를 위해 이를 발행한다. 제어 아비터(560)는 또한 그 결부 리소스(530)로부터 상태 피드백을 수신하고는 애플리케이션(520)에 이를 되전송한다. 로봇 리소스(530)는 하나 이상의 하드웨어 제어를 갖는 기능성 모듈(예를 들면, 액추에이터, 구동 시스템, 및 그 그룹)의 네트워크일 수 있다. 제어 아비터(560)의 명령은 특정 동작을 수행하기 위한 리소스(530)에 특정된다.
제어기(500) 상에서 실행 가능한 동역학적 모델(dynamics model: 570)은 현재 로봇의 상태에 액세스하기 위해 무게중심(CG), 관성 모멘트, 및 로봇(100)의 다양한 부분의 관성의 외적(cross product)를 계산하도록 구성될 수 있다. 동역학적 모델(570)은 이들 구성요소의 형상, 무게, 및/또는 관성 모멘트를 또한 모델링할 수 있다. 몇몇 예에서, 동역학적 모델(570)은 로봇(100)의 다양한 무게중심을 산출하기 위해 IMU(470) 또는 로봇(100)에 배치된 것(예를 들면, 가속도계 및/또는 자이로)의 일부와 통신을 행하며 제어기(500)와 통신 상태에 있다. 동역학적 모델(570)은 로봇(100)과 그 구성요소의 작동 한계를 결정하기 위해 다른 프로그램(520) 또는 거동(512)과 함께 제어기(500)에 의해 사용될 수 있다.
각 애플리케이션(520)은 동작 선택 엔진(580)과 리소스 제어기(540), 동작 선택 엔진(580)에 접속된 하나 이상의 거동(512), 및 동작 선택 엔진(580)에 접속된 하나 이상의 동작 모델(590)을 갖는다. 거동 시스템(510a)은 예측 모델링을 제공하며, 로봇 동작의 가능한 결과를 평가함으로써 거동(512)으로 하여금 합작으로 로봇의 동작을 결정할 수 있게 한다. 몇몇 예에서, 거동(512)은 다수의 리소스로부터의 감각 피드백을 선험적(a-priori) 한계 및 정보와 결합하여 로봇의 허용 가능한 동작에 대한 평가 피드백(evaluation feedback)으로 되게 하는 계층구조식, 상태 평가 기능을 제공하는 플러그인(plug-in) 구성요소이다. 거동(512)은 애플리케이션(520)에 플러그인될 수 있으므로(예를 들면, 애플리케이션(520) 내부에 또는 외부에 상주), 이들은 애플리케이션(520) 또는 제어 시스템(510)의 임의의 다른 부분을 변경시킬 필요없이 제거되거나 추가될 수 있다. 각 거동(512)은 스탠드얼론 폴리시(standalone policy)이다. 거동(512)을 더 강력하게 하기 위해, 복합 조합 기능(complex combination function)을 가질 수 있도록 다수의 거동(512)의 출력을 함께 다른 거동의 입력에 부착할 수 있다. 거동(512)은 로봇의 전체 인식범위의 관리 가능한 부분을 구현하기 위한 것이다.
동작 선택 엔진(580)은 제어 시스템(510)의 조정 요소이며, 모든 거동(512)의 입력이 주어지면 최상의 동작을 검색하는 고속의 최적화된 동작 선택 사이클(예측/정정 사이클)을 구동한다. 동작 선택 엔진(580)은 3개의 단계: 지명(nomination), 동작 선택 검색, 및 완료를 갖는다. 지명 단계에서, 각 거동(512)에는 동작 선택 사이클이 시작되었다는 것이 통보되며, 사이클 개시 시간, 현재 상태, 및 로봇 액추에이터 공간의 한계가 제공된다. 내부 폴리시 또는 외부 입력에 기초하여, 각 거동(512)은 이 동작 선택 사이클에 참여하기를 원하는지 여부를 결정하게 된다. 이 단계에서, 그 입력이 로봇(100)에서 실행될 명령의 선택에 영향을 미치는 활성 거동 프리미티브(active behavior primitive)의 목록이 생성된다.
동작 선택 검색 단계에서, 동작 선택 엔진(580)은 동작 공간(action space)이라고도 불리는 가용 동작 공간으로부터 실행가능 결과를 생성한다. 동작 선택 엔진(580)은 미래의 시계(time horizon)에 의한 상이한 시간 단계(time steps)에서 각 명령의 동작을 시뮬레이션한 결과로서 (한계 내에서) 실행 가능 명령의 집합체(pool) 및 그 대응하는 결과를 제공하기 위해 동작 모델(590)을 이용한다. 동작 선택 엔진(580)은 거동(512)의 결과 평가에 기초하여 선호되는 결과를 산출하고, 그 대응하는 명령을 제어 중재 시스템(510b)에 전송하며, 동작 모델(590)에 그 선택된 명령을 피드백으로 통보한다.
완료 단계에서, 공동으로 최고의 점수를 받은 결과에 대응하는 명령들이 서로 통합되어 전체 명령(overall command)으로 되며, 이는 로봇 리소스(530) 상에서의 실행을 위해 리소스 제어기(540)에 제공된다. 최상의 결과는 미래의 평가 사이클에 사용될 수 있도록 활성 거동(512)에 피드백으로 제공된다.
센서 시스템(400)으로부터 수신된 센서 신호는 동작을 실행하기 위해 하나 이상의 거동(512)과의 상호작용을 유발할 수 있다. 예를 들면, 제어 시스템(510)을 사용하여, 제어기(500)는 그 자신 및 로봇(100)이 인식하고 있는 로봇(100) 주변의 임의의 물체에 충돌하는 것을 회피하는 효율적인 방식으로 각 로봇 구성요소의 조정된 이동을 실행하기 위해, 대응하는 동작 공간(예를 들면, 가능한 동작의 집합 또는 그 특정 구성요소를 위한 동작)으로부터 각 로봇 구성요소(예를 들면, 모터 또는 액추에이터)를 위한 동작(또는 이동 명령)을 선택한다. 제어기(500)는 그 전체 내용이 본 명세서에 참고로 병합된 2010년 2월 16일자로 제출된 미국 특허출원 일련번호 제 61/305,069호에 기재된 바와 같이, EtherIO 네트워크와 같은 로봇 네트워크를 통하여 조정된 명령을 발할 수 있다.
도 6a는 브리지(bridge: 602)와 통신 상태에 있는 하나 이상의 원격현전 로봇(100)을 갖는 예시적인 로봇 시스템(600)의 개략도를 제공하며, 브리지(602)는 로컬 로봇 종점 서버(604a) 및 (예를 들면, 클라우드 컴퓨팅 서비스(720)(도 7 참조)와 같은) 원격 종점 서버(604b)와 통신을 행한다. 로컬 로봇 종점 서버(604a)는 로컬 기술자 전산 장치(606)와 통신을 행하고, 원격 종점 서버(604b)는 원격 조종자 전산 장치(608)와 통신을 행한다.
도 2와 도 4c를 참조하면, 몇몇 구현예에서, 로봇(100)은 복수의 안테나를 포함한다. 도시된 예에서, 로봇(100)은 제1의 안테나(490a)와 제2의 안테나(490b)를 포함하며, 양자 모두는 베이스(120)에 배치된다(안테나는 다리(130), 몸통(140), 목(150), 및/또는 머리(160)와 같이 로봇(100)의 다른 임의의 부분에 배치될 수도 있다). 복수의 안테나의 사용은 확실한 신호 수신 및 전송을 제공한다. 복수의 안테나의 사용은 로봇(100)에 MIMO(multiple-input and multiple-output)를 제공하며, 이는 통신 성능을 향상시키기 위해 송신기 및/또는 수신기에 복수의 안테나를 사용한다. MIMO는 추가적인 대역 또는 전송 출력 없이 데이터 전송률 및 링크 범위에 있어서 실질적인 증가를 제공한다. 이는 더 높은 스펙트럼 효율(대역의 헤르쯔당 더 많은 비트수) 및 링크 신뢰도 또는 다이버시티(diversity)(패이딩 저감)에 의해 달성된다. 이러한 특성으로 인해, MIMO는 IEEE 802.11n(Wifi), 4G, 3GPP LTE, WiMAX 및 HSPA+와 같은 현대의 통신 표준에 있어서 중요한 부분이다. 또한, 로봇(100)은 근처의 다른 전자 장치를 위한 Wi-Fi 브리지, 허브 또는 핫스팟으로 기능할 수 있다. 로봇(100)의 이동성 및 MIMO의 사용은 로봇이 비교적 신뢰적인 Wi-Fi 브리지(602)로 기능할 수 있게 한다.
도 6a와 도 6b를 참조하면, 원격조종 소프트웨어 애플리케이션(601)은 로봇 제어기(500), 로컬 로봇 종점 서버(604a), 원격 종점 서버(604b), 로컬 기술자 전산 장치(606), 및 원격 조종자 전산 장치(608) 중 적어도 하나에서 실행된다. 몇몇 예에서, 원격조종 소프트웨어 애플리케이션(601)의 일부는 하나 이상의 전술한 장치에서 실행된다. 원격조종 소프트웨어 애플리케이션(601)은 로봇(100)의 원격현전 특징을 통하여 한 명 이상의 사용자가 (예를 들면, 로봇(100)을 구동하기 위해) 로봇(100) 및/또는 원격적으로 다른 사람들 또는 로봇(100) 근처의 물체와 상호작용할 수 있다.
도 6c는 로봇(100)의 운행, 원격현전, 및/또는 다른 양태를 제어하기 위해, 웹 패드(310)의 터치 스크린(312) 및/또는 원격 조종자 전산 장치(608)와 같이 디스플레이 상에 렌더링될 수 있는 원격조종 소프트웨어 애플리케이션(601)의 예시적인 사용자 인터페이스(605)의 개략도를 제공한다. 사용자 인터페이스(605)는 환자(614)의 비디오 피드와 같은 리모트 뷰(remote view: 612)를 디스플레이하는 원격 비디오 피드 윈도우(610)를 포함한다. 비디오 피드는 로봇(100) 상의 카메라들(320, 450) 중 하나에 의해 생성될 수 있다. 사용자 인터페이스(605)는 로봇(100)이 작동 중인 로컬 영역의 지도(622)를 갖는 평면도 지도 위도우(620)를 디스플레이할 수 있다. 도시된 예에서, 평면도 지도 윈도우(620)에 디스플레이된 지도(622)는 2차원 탑다운(top-down) 지도(622a)(도 6d)이지만; 다른 유형의 지도도 또한 가능하다. 사용자 인터페이스(605)는 (로봇(100)으로부터 멀리 떨어진) 사용자의 비디오 피드와 같은, 로컬 뷰(local view: 632)를 디스플레이하는 로컬 비디오 윈도우(630)도 또한 포함할 수 있다. 로컬 비디오 윈도우(630)에 디스플레이된 비디오 피드는 로봇(100)에 전송될 수 있으며, 로봇(100) 상의 웹 패드(310)와 같은 디스플레이 장치를 사용하여 환자(614)에게 딧플레이할 수 있다.
대시보드(dashboard: 640)는 로봇(100)의 배향, 로봇의 배터리의 충전상태의 표시, 무선 데이터 신호의 세기의 표시, 및/또는 네트워크 품질과 관련된 정보를 제공할 수 있다. 로봇(100)의 배향은 몸통(140) 또는 베이스(120)에 대해 로봇(100)의 머리(160)의 배향을 디스플레이하는 아이콘(642)에 의해 표시될 수 있다. 이러한 표시는 관심 항목을 보기 위해서 로봇(100)을 방향 전환함에 있어서 사용자에 도움을 줄 수 있다. 로봇의 머리(160)의 운동 범위는 제한될 수 있다. 따라서, 소정 구현예에서는 머리(160)의 회전 위치 및 머리(160)의 운동 범위의 표시가 디스플레이될 수 있다.
매체 제어(647)는 사용자로 하여금 다양한 유형의 매체를 사용하여 환자(614)와 상호작용할 수 있게 하고 사용자와 환자(614)의 상호작용을 기록하는 매체를 획득 및 저장할 수 있다. 매체 제어(647)는 사용자로 하여금 예를 들면 환자(614)에게 질병 상태 또는 절차에 대해 교육시키는데 사용될 수 있는 오디오 및/또는 비디오 클립을 재생하게 할 수 있다. 다양한 상태를 기록하기 위해 로봇(100)의 카메라(320, 450)를 사용하여 정사진(still photograph)이 획득될 수 있다. 또한 로봇(100)은 사용자와 환자(614)의 상호작용을 기록하는 오디오(예를 들면, 마이크로폰(330)을 사용하여) 또는 비디오(예를 들면, 카메라(320)를 사용하여)를 기록할 수 있고, 획득된 오디오/비디오를 선택적으로 제어기(500)의 메모리에 저장할 수 있으며, 및/또는 획득된 오디오/비디오를 원격 장치 또는 클라우드 서비스에 전송할 수 있다.
몇몇 구현예에서, 매체 제어(647)는 사용자로 하여금 일시적인 접속 문제를 관리할 수 있게 한다. 예를 들면, 예기치 않은 세션의 두절시에, 비디오 녹화가 시작될 수 있다. 로봇(100)은 비디오를 녹화하고 이를 제어기(500)의 로컬 메모리와 같은 로컬 메모리에 저장하는 것을 지속할 수 있다. 예기치 않은 두절시에, "세션 종료 - 비디오 녹화 지속..."과 같은 메시지가 로봇에 의해 디스플레이될 수 있다. 아래의 버튼에 "녹화 중지"의 제목이 디스플레이될 수 있다. 로봇 측의 간호사가 (예를 들면, 터치 스크린(312) 상의) "녹화 중지" 버튼을 터치하고는 로컬 녹화를 종료할 수 있다. 그렇지 않으면, 특정된 시간 동안에 녹화가 지속될 수 있다. 동일한 사용자가 특정된 시간 동안에 다시 로봇(100)에 로그인하면, 원격 스테이션의 녹화 버튼은 녹화가 진행 중임을 보여줄 수 있다. 로봇의 로컬 녹화가 완료되면, 연결 해제된 사용자가 액세스할 수 있는 원격 스테이션 또는 다른 지점에 비디오 파일을 전송하기 시작할 수 있다. 따라서, 사용자는 세션이 중단된 시간 동안에 어떤 일이 벌여졌는지를 볼 수 있다.
도 6c에 도시된 예에서, 원격 비디오 피드 윈도우(610)는 디스플레이 영역의 비교적 큰 부분을 차지한다. 사용자 인터페이스(605)는 640×480 픽셀 해상도의 원격 비디오 피드 윈도우(610), 320×240 픽셀 해상도의 로컬 비디오 윈도우(630), 및 530×200 픽셀 해상도의 평면도 지도 윈도우(620)를 가질 수 있다. 따라서, 이러한 뷰는 사용자가 환자(614)와 통신을 행하고 있을 때 및/또는 로봇(100)을 수동으로 구동하고 있을 때 가장 적합할 수 있다. 도 6c에 도시된 디폴트 사용자 인터페이스(605a)의 배치는 사용자로 하여금 평면도 지도 윈도우(620)와 원격 비디오 피드 윈도우(610)의 콘텐츠를 서로 맞바꿀 수 있게 한다. 예를 들면, 평면도 지도 윈도우(620)를 더블 클릭함으로써 이러한 뷰가 맞바뀔 수 있다. 원격 비디오 피드 윈도우(610)를 더블 클릭함으로써 윈도우들은 나중에 다시 되바뀔 수 있다.
사용자에 의해 행해지는 업무에 적합한 경우에 다른 양태의 스크린 배치가 디스플레이될 수 있다. 도 6d에 도시된 예에서, 반자율(semi-autonoous) 운행을 사용하여 하나의 위치로부터 다른 위치로 로봇(100)이 이동하도록 유도하는 것을 예측함에 따라, 평면도 지도 윈도우(620)의 크기가 증대된다. 예를 들면, 도 6c에 도시된 사용자 인터페이스(605, 605a)는 환자의 상호작용을 위한 디폴트 상태가 될 수 있고, 도 6d에 도시된 사용자 인터페이스(605, 605b)는 로봇의 운행을 위한 다른 상태가 될 수 있다.
사용자 인터페이스의 지도 보기 스위치 버튼(645)은 사용자로 하여금 상대적으로 더 큰 평면도 지도 윈도우(620)를 포함하는 다른 양태의 사용자 인터페이스(605b)를 불러올 수 있게 한다. 예를 들면, 도 6d에 도시된 사용자 인터페이스(605b)는 주로 로봇(100)을 수동으로 구동하는데 또는 희망 목적지로 자율적으로 운행하는데 사용될 수 있다. 지도 보기 스위치 버튼(645)을 다시 클릭하면, 사용자를 다시 디폴트 사용자 인터페이스(605a)로 되돌아가게 하며, 이는 의료 상담을 행할 때에 사용될 수 있다. 따라서, 사용자는 원하는 바에 따라 평면도 지도 윈도우(620)를 강조하거나 또는 덜 강조할 수 있다(예를 들면, 최대화하거나 또는 최소화할 수 있다). 원격 비디오 피드 윈도우(610) 및 로컬 비디오 윈도우(630)와 같은, 다른 양태의 사용자 인터페이스(605b)에 도시된 소정의 윈도우도 또한 디스플레이된다. 몇몇 예에서, 평면도 지도 윈도우(620)는 880×700의 픽셀 해상도로 디스플레이될 수 있고, 원격 비디오 피드 윈도우(610)는 320×240의 픽셀 해상도로 디스플레이될 수 있으며, 로컬 비디오 윈도우(630)는 160×120의 픽셀 해상도로 디스플레이될 수 있다.
도 6d를 참조하면, 평면도 지도 윈도우(620)는 로컬 환경 내에서 로봇(100)의 위치를 지정하는 로봇 위치 아이콘(650)을 제공할 수 있다. 사용자는 로봇이 선택된 지점으로 반자율적으로 또는 자율적으로 운행하도록 하기 위해 디스플레이된 지도(622) 상의 한 지점을 클릭하거나 터치할 수 있다. 몇몇 예에서, 사용자는 커서가 평면도 지도 윈도우(620)의 위에 있을 때 마우스 휠을 사용하여 또는 터치 스크린(312) 상에 디스플레이되었을 때 터치 동작에 의해 줌인(zoom-in: 확대) 또는 줌아웃(zoom-out: 축소)할 수 있다.
SLAM(simultaneous localization and mapping) 기술은 로컬 환경의 지도를 작성하고 지도 상에 로봇(100)을 위치 설정하기 위해 레이저 거리측정 스캐너, 주행거리 측정, 음향 거리 측정기(acoustic range finder), 또는 이들 모두를 사용할 수 있다. 로봇이 소정 환경을 지나감에 따라 (예를 들면, 카메라(320) 또는 3차원 이미지 센서(450)를 통하여) 로봇(100)에 의해 녹화된 이미지는 (예를 들면, 제어기(500)의) 내부 데이터베이스에 및/또는 원격 데이터베이스(예를 들면, 클라우드 서비스)에 저장될 수 있다. 로봇(100)이 현재 데이터베이스에 있는 이미지를 재획득했을 때, 알고리즘은 로봇의 현재 위치를 그 랜드마크(landmark)가 처음으로 데이터베이스에 입력되었을 때 기록된 것으로 재설정한다. 이 방법은 휠 인코더(wheel encoder) 주행거리 측정의 내재적인 드리프트(drift)를 상쇄하는 것에 도움을 준다. 시스템은 RFID 칩 및/또는 무선 액세스 포인트의 삼각법을 또한 이용할 수 있다. 게다가, 특정 호실의 이름 또는 식별 번호가 지도 상의 위치와 결부될 수 있다. 이미지 데이터는 소정 시간에 걸쳐 축적될 수 있으며, 비용 절감 또는 공간 절감으로서, 로봇(100)은 각각 원격 데이터 스토리지 및/또는 이미지 데이터를 저장 및/또는 처리하기 위한 원격 처리를 이용할 수 있다. 예를 들면, RFID 리더는 로봇의 현재 위치를 식별하기 위해 평면도 지도 상의 좌표와 결부된 RFID 칩을 검출할 수 있다. "RFID 칩"은 당해 업자가 이해하고 있는 바와 같이 RFID 장치 또는 RFID "태그"를 포함할 수 있다. RFID 칩은 수동, 능동, 또는 배터리 보조식 수동(BAP) RFID 칩으로 실시될 수 있다.
도 7은 로봇(100)(제어기(500) 또는 구동 시스템(200)과 같은, 그 일부)과, (예를 들면, 머리(160)에 탈착 가능하게 또는 고정 부착된) 전산 장치(310)와, 클라우드(720)(즉, 클라우드 컴퓨팅 서비스), 및 포털(portal: 730)을 포함할 수 있는 예시적인 로봇 시스템 아키텍쳐(700)의 개략도를 제공한다. 전산 장치(310)는 보안, 의약 준수(medicine compliance), 원격현전, 행동거지 지도, 소셜 네트워킹, 능동 경보(active alarm), 가정 관리 등을 위한 (예를 들면, 메모리에 저장되고 프로세서에서 실행되는) 소프트웨어 애플리케이션를 포함할 수 있는 하나 이상의 로봇 애플리케이션(710)을 실행할 수 있다. 전산 장치(310)는 통신 능력(예를 들면, 보안 무선 접속 및/또는 셀룰러 통신)과, 정확한 애플리케이션 개발 툴과, 음성 인식, 및 사람 또는 물체 식별 능력을 제공할 수 있다. 전산 장치(310)는 몇몇 예에서 구글사(Google Inc.)가 제공하는 안드로이드(Android), 애플사(Apple Inc.)가 제공하는 iOS, 또는 다른 스마트폰 운영체계와 같은 상호작용/COMS 특화된 운영체계, 또는 RSS A2와 같은 특화된 로봇 운영체계를 이용한다.
클라우드(720)는 클라우드 컴퓨팅 및/또는 클라우드 스토리지 능력을 제공한다. 클라우드 컴퓨팅은 인터넷 기반의 컴퓨팅을 제공할 수 있으며, 이에 의해 공유 서버가 온디맨드(on demand)로 리소스, 소프트웨어, 및 데이터를 컴퓨터 또는 다른 장치에 제공한다. 예를 들면, 클라우드(720)는, 서비스 추상화 계층(service abstraction layer) 및 그 위에 인스턴스와된 서버 가상 머신을 통한 하이퍼텍스트 전송 프로토콜 래퍼(hypertext transfer protocol wrapper)를 포함할 수 있는 적어도 하나의 서버 전산 장치를 포함하는 클라우드 컴퓨팅 서비스일 수 있다. 서버 전산 장치는 HTTP 요청을 분석하고 HTTP 응답을 전송하도록 구성될 수 있다. 클라우드 컴퓨팅은 데이터와 애플리케이션을 유지하기 위해 인터넷과 중앙 원격 서버를 사용하는 기술일 수 있다. 클라우드 컴퓨팅은 사용자로 하여금 설치할 필요없이 애플리케이션(710)에 액세스 및 사용할 수 있게 하고 인터넷 액세스를 갖는 임의의 컴퓨터에서 개인 파일에 액세스할 수 있게 한다. 클라우드 컴퓨팅은 스토리지, 메모리, 프로세싱, 및 대역을 중앙 집중화함으로써 상대적으로 더 효율적인 컴퓨팅을 가능케 한다. 클라우드(720)는 (예를 들면, CPU 및 메모리 사용을 자유롭게 함으로써) 로봇 하드웨어 요건을 저감하면서, 확장 가능한, 온디맨드 컴퓨팅 파워, 스토리지, 및 대역을 제공할 수 있다. 로봇의 클라우드(720) 접속성은 로봇(100)을 베이스 스테이션으로 되돌려보낼 필요없이 로봇 작동 및 사용 이력에 대한 자동 데이터 수집을 가능케 한다. 또한, 소정 시간에 걸친 지속적인 데이터 수집은 마케팅, 제품 개발, 및 지원용으로 사용될 수 있는 풍부한 데이터를 산출할 수 있다.
클라우드 스토리지(722)는 일반적으로 제3자(third party)에 의해 호스트되는 다수의 가상 서버에 데이터가 저장되는 네트워크화된 컴퓨터 데이터 스토리지의 모델일 수 있다. 로봇(100)과 클라우드(720) 사이에 통신을 제공함으로써, 로봇에 의해 수집된 정보는 웹 기반의 정보 포털을 통하여 인가된 사용자가 안전하게 볼 수 있다.
포털(730)은 개인 정보, 가정 상태 정보, 및 로봇 상태 정보와 같은 정보를 수집 및/또는 제공하는 웹 기반의 사용자 포털일 수 있다. 정보는 사용자 및/또는 로봇(100)에 추가적인 기능 및 리소스를 제공할 수 있도록 제3자 정보와 통합될 수 있다. 로봇 시스템 아키텍쳐((700)는 능동적(proactive) 데이터 수집을 용이하게 할 수 있다. 예를 들면, 전산 정치(310)에서 실행되는 애플리케이션(700)은 로봇(100)에 의해 수행되는 동작 및/또는 (센서 시스템(400)을 사용하여) 로봇(100)이 본 사람 또는 환경에 대해 데이터를 수집하고 보고할 수 있다. 이 데이터는 로봇(100)의 고유 자산일 수 있다.
"조밀 데이터(dense data)" 대 "성긴 데이터(sparse data)" 및 "조밀 특징부" 대 "성긴 특징부"는 본 명세서에서 공간 데이터 집합에 대해 지칭된다. 당해 업자가 이러한 용어를 해석하는 의미를 제한하거나 축소하는 일 없이, "조밀" 대 "성긴"은 일반적으로 공간 표현(spatial representation)당 많은 데이터 포인트 대 적은 데이터 포인트를 의미하며, 특히 다음을 의미할 수 있다:
(i) 2차원 이미지 데이터 또는 2차원 이미지 및 범위를 포함하는 3차원 "이미지"의 문맥에서, "조밀" 이미지 데이터는 픽셀로 실질적으로 완전히 채워지거나 또는 실질적으로 손실 없이 픽셀로 래스터되고(rasterized) 및/또는 (실질적으로 압축되지 않은, 미가공(raw), 또는 무손실 압축 이미지를 포함하는) 원래의 이미지 캡쳐로부터 아티팩트(artifact)될 수 있는 이미지 데이터를 포함하는 한편, "성긴" 이미지는 정량화되고, 샘플링되고, 손실성 압축되고, 벡터화되고, (예를 들면, 슈퍼픽셀, 노드, 모서리, 표면, 관심 지점, 복셀(voxel)로) 세그먼트화되거나, 또는 달리 원래의 캡쳐로부터 해상도에 있어서 물질적으로 저화되거나, 또는 이미지를 재현하기 위해 픽셀로 래스터함에 있어서 보간(interpolate)되어야 하는 이미지를 말한다;
(ii) 2차원 또는 3차원 특징의 문맥에서, "조밀 특징부"는 검출 방법의 해상도로 실질적으로 제한되지 않는 방식으로 채워지는 특징부, 검출 및 기록되는 모든 것, 및/또는 서브이미지 위의 많은 특징부(HOG, 소형 파형(wavelet))를 수집하기 위해 인식되는 검출기에 의해 인식되는 특징부일 수 있고; "성긴 특징부"는 개수, 특징 입력의 개수, 측방향 억제, 및/또는 특징 선택에 있어서 의도적으로 제한될 수 있으며, 및/또는 이미지(해리스 코너(Harris corner), 모서리, 시 토마시(Shi-Tomasi))에 있어서 제한된 개수의 고립 지점을 식별하기 위해 인식되는 검출기에 의해 인식될 수 있다.
3차원 환경 구조와 관련하여, 로봇(100)은 작업 표면(5)을 이동하면서 로봇(100) 주변의 현장(10)의 조밀 이미지(701)와 같은 이미지를 획득할 수 있다. 몇몇 구현예에서, 로봇(100)은 조밀 이미지(701)를 획득하기 위해 카메라(320) 및/또는 이미지 센서(450)(예를 들면, 체적측정 포인트 클라우드 이미징 장치)를 사용한다. 카메라(320) 및/또는 이미지 센서(450)와 통신 상태에 있는 제어기(500)는 가속도계 데이터 트레이스, 주행거리 측정 데이터, 및/또는 타임스탬프와 함께 센서 시스템(400)으로부터의 기타 데이터와 같은, 정보를 조밀 이미지(701)와 결부시킬 수 있다(예를 들면, 조밀 이미지(701)를 데이터와 함께 마크업 표시 또는 태그를 붙인다). 몇몇 예에서, 로봇(100)은 조밀 이미지(701)의 스트리밍 시퀀스를 캡쳐하고는 조밀 이미지 시퀀스를 마크업 데이터로 표시함으로써, 마크업된 조밀 이미지 시퀀스를 제공한다. 클라우드 서비스(720)는 수신된 이미지 데이터(701)를 처리하고는 처리된 데이터 집합을 로봇 제어기(500)에 회신할 수 있으며, 로봇 제어기(500)는 현장(10) 주변을 이동시키기 위해 수신된 처리된 데이터 집합에 기초하여 구동 시스템(200)에 구동 명령을 발할 수 있다.
클라우드 서비스(720)는 저장된 이미지 데이터 집합(703)을 현장(10)(환경)의 조밀한 3차원 지도 또는 모델(705)로 처리하고 그리고 나서 이 조밀한 3차원 지도 또는 모델(705)을 2차원 높이 지도(707)로 단순화하기 위해 다양한 오프라인(off-line) 방법들 중 하나를 실행할 수 있으며, 2차원 높이 지도(707)는 각 포인트에 높이 데이터를 갖는 (예를 들면, 2차원 지형도와 유사한) 2차원 지도일 수 있다. 몇몇 예에서, 2차원 높이 지도(707)는 Z 데이터와 함께 X 및 Y 좌표를 갖는 지형도이다. 각각의 X, Y 좌표는 하나 이상의 Z 포인트(즉, 높이 데이터)를 가질 수 있다. 각 X, Y 좌표에 대해 다수의 Z 포인트(예를 들면, 수 백 또는 수 천 개의 Z 포인트)를 가질 수 있는 조밀한 3차원 지도와 달리, 2차원 높이 지도(707)는 예컨대 2 내지 20 사이(예를 들면, 10)와 같이 각 X, Y 좌표에 대해 한계 개수 미만의 Z 포인드를 가질 수 있다. 사무실에 있는 테이블의 3차원 지도로부터 얻어진 2차원 높이 지도(707)는 테이블을 따라서의 각 X, Y 좌표에 대해 테이블 판의 바닥 표면에 대한 하나의 제1의 Z 포인트와 테이블 판의 상부 표면에 대한 하나의 제2의 Z 포인트를 나타낼 수 있다. 이 정보는 로봇(100)으로 하여금 테이블 판의 아래를 통과할 수 있는지를 판단할 수 있게 한다. 각 X, Y 좌표에 대한 연속적인 범위의 Z 포인트의 조밀 데이터 집합으로부터 검출된 물체(12)를 나타내는 선택된 개수의 Z 포인트의 성긴 데이터 집합으로 Z 포인트를 저감시킴으로써, 로봇(100)은 클라우드 서비스(720)에 의해 사용되는 3차원 지도보다 상대적으로 더 작은 크기를 갖는 2차원 높이 지도(707)를 수신할 수 있다. 이는 다시 로봇(100)으로 하여금 클라우드 서비스(720)에 이용 가능한 확장 가능한 메모리 공간에 비해 실용적이며 비용 효율적인 크기를 갖는 로컬 메모리에 2차원 높이 지도(707)를 저장할 수 있게 한다. 로봇(100)은 클라우드(720)로부터 2차원 높이 지도(707)를 수신하며, 이는 로봇(100) 및 결부된 제어기(500)에 현장(10)에서의 추후의 작업을 위한 운행 데이터를 제공한다.
3차원 지도 데이터의 압축에 대한 추가적인 방법 및 특징은 IEEE/RSJ International Conference On Intelligent Robots and Systems, 2006의 R. Triebel, P. Pfaff 및 W. Bargard에 의한 "Multi-Level Surface Maps for Outdoor Terrain Mapping and Loop Closing"에 에 개시되어 있으며, 상기 문헌은 본 명세서에 그 전체가 참고로 병합되어 있다.
클라우드(720)는 로봇(100)에 달리 로봇(100)에서는 실용적이거나 비용 효과적이지 않을 수 있는 리소스의 온디맨드 확장성(예를 들면, 전산, 처리, 메모리 등)을 제공한다. 예를 들면, 클라우드(720)는 상대적으로 많은 양의 데이터(701)를 저장 및/또는 처리하기 위한 제1의 크기로 확장되는 확장가능 클라우드 스토리지(722)를 제공할 수 있으며, 이는 단기간 동안에만 사용되고 그리고 나서 폐기되며, 다시 제2의 크기로 축소될 수 있다. 또한, 클라우드(720)는 상대적으로 복잡한 계산 또는 달리 로봇에서는 가능하지 않을 수 있는 "브루트 포스(brute force)" 알고리즘을 실행하기 위한 컴퓨터 처리 능력을 제공할 수 있다. 컴퓨터 처리 능력과 메모리를 확장 가능 클라우드(720)에 배치함으로써, 로봇(100)은 상대적으로 적은 전산 능력 및 메모리를 갖는 제어기(500)를 사용할 수 있으며, 그에 따라 비용 효과적인 해법을 제공한다. 또한, 로봇(100)은 비실시간 또는 시간이 촉박하지 않은 업무를 처리 및 추후 회수를 위해 클라우드(720)에 이관하면서, 장애물 회피와 같은 실시간 업무를 (제어기(500) 또는 웹 패드(310)에서) 실행할 수 있다.
클라우드(720)는 저장된 이미지 데이터 집합(703)을 3D 표현으로 처리하기 위해 하나 이상의 필터(예를 들면, 번들 조정, RANSAC, 기대치 최대화(Expectation Maximization: EM), SAM, 또는 다른 3D 구조 예측 알고리즘)를 실행할 수 있다. 처리되어 조밀한 3차원 지도(705)가 생성 또는 업데이트되고 나면, 이미지 데이터 집합(703)은 클라우드 스토리지(722)로부터 폐기될 수 있으며, 그 결과 리소스를 자유롭게 하고 클라우드(720)가 그에 따라 재조정될 수 있게 한다. 그 결과, 로봇(100)은 클라우드 기반의 리소스의 사용으로 인해 이미지 데이터 집합(703)의 저장 및 처리를 다루기 위해 온-보드 스토리지 및 처리를 자체에 구비할 필요가 없다. 클라우드(720)는 처리된 운행 데이터(701) 또는 지도(707)(예를 들면, 압축된 2차원 높이 지도)를 로봇(100)에 반송할 수 있으며, 로봇(100)은 이를 상대적으로 더 간단한 로컬화(localization) 및 운행 처리를 위해 사용할 수 있다.
3차원 재구성의 추가적인 방법 및 특징은 Fifth International Conference on three-dimensional Digital Imaging and Modeling, 2005의 J. Repko 및 M. Pollefeys에 의한 "3D Models from Extended Uncalibrated Video Sequences: Addressing Key-frame Selection and Projective Drift"에 개시되어 있으며, 상기 문헌은 본 명세서에 그 전체가 참고로 병합되어 있다.
도 8a와 도 8b를 참조하면, 몇몇 상황에서, 로봇(100)은 현장(10) 및/또는 작업 표면(5)의 물체(12)의 점유공간 지도(800)를 수신하거나, 로봇 제어기(500)는 소정 시간에 걸친 이미지 센서(450)(예를 들면, 제2의 3차원 이미지 센서(450b))로부터 수신된 이미지 데이터 및/또는 이미지 깊이 데이터에 기초하여 점유공간 지도(800)를 생성한다(그리고 업데이트할 수 있다). SLAM은 동시에 그 현재 위치를 계속적으로 추적하면서 (선험적으로 알지 못하는) 미지의 환경 또는 현장(10) 내에서 점유공간 지도(800)를 작성하기 위해, 또는 (주어진 지도로부터 선험적으로 아는) 알려진 환경 내에서 점유공간 지도(800)를 업데이트하기 위해 로봇(100)에 의해 사용될 수 있는 기법이다.
제어기(500)는 사용자 인터페이스(605)에 지도(622)를 디스플레이하기 위해, 점유공간 지도(800)를 원격현전 소프트웨어 애플리케이션(601)에 전송할 수 있다. 사용자 인터페이스 지도(622)는 부분적으로 또는 전체적으로 점유공간 지도(800)로부터 유도될 수 있다. 게다가, 도 7을 또한 참조하면, 원격현전 소프트웨어 애플리케이션(601)은 클라우드 서비스(720)를 통하여 점유공간 지도(800)의 주기적인 업데이트를 수신할 수 있다. 예를 들면, 클라우드 서비스(720)는 사용자 인터페이스 지도(622)를 생성하기 위해 로봇(100) 주변의 현장(10)의 조밀한 3차원 지도 또는 모델(705) 및/또는 단순화된 2차원 높이 지도(707)를 원격현전 소프트웨어 애플리케이션(601)에 제공할 수 있다. 다른 예에서, 클라우드 서비스(720)는 조밀한 3차원 지도 또는 모델(705) 또는 2차원 높이 지도(707)에 기초하여 사용자 인터페이스 지도(622)를 원격현전 소프트웨어 애플리케이션(601)에 제공한다.
다시 도 8a와 도 8b를 참조하면, 지도(800)는 환경 내에서 위치를 결정하고 계획 및 운행을 위한 환경을 묘사하기 위해 사용될 수 있다. 지도(800)는 지각 형태로부터 얻어진 정보를 기록하고 이를 현재의 지각 집합(set of perceptions)과 비교함으로써 실체 위치의 평가를 지원한다. 위치의 평가를 보조함에 있어서의 지도(800)의 이점은 현재의 지각의 정확도와 품질이 저하됨에 따라 증가한다. 지도(800)는 일반적으로 지도(800)가 제공되거나 생성된 시점에서의 상태를 나타낸다. 이는 반드시 지도(800)가 사용되는 시점에서의 환경의 상태와 일치되는 것은 아니다. 다른 로컬화 기법으로는 MonoSLAM(monocular visual SLAM) 및 MonoSLAM 해법을 위한 확장 칼만 필터(EKF: extended Kalman filter)를 사용한 구현이 포함된다.
제어기(500)는 캡쳐된 이미지의 로컬 특징부를 검출 및 기술하기 위해 SIFT(scale-invariant feature transform)를 실행할 수 있다. 이미지 내의 임의의 물체(12)에 대해, 물체(12)의 "특징부 기술(feature description)"을 제공하기 위해 물체(12) 상의 관심 지점이 추출될 수 있다. 트레이닝 이미지(training image)로부터 추출된 이러한 기술은 많은 다른 물체를 포함하는 테스트 이미지에서 물체(12)를 위치 파악하고자 할 때 물체(12)를 식별하는데 사용될 수 있다. 신뢰적인 인식을 이행하기 위해, 트레이닝 이미지로부터 추출된 특징부는 이미지 축척, 잡음 및 조명에 있어서의 변화시에도 검출 가능함이 중요하다. 이러한 지점은 보통 물체의 가장자리와 같이, 이미지의 높은 콘트라스트 영역에 놓인다. 물체의 인식 및 검출을 위해, 로봇(100)은 위치, 축척 및 회전에 대해 변치 않으며 또한 아핀 변환(affine transformation)(축척, 회전, 변형, 및 위치에 있어서의 변화) 및 조명의 변화에 강인한 고유한 핵심 지점을 찾기 위해 SIFT를 이용할 수 있다. 몇몇 구현예에서, 로봇(100)은 (예를 들면, 상이한 조건 하에서, 상이한 각도로부터 등) 현장(10) 또는 물체(12)의 복수의 이미지를 (카메라(320) 및/또는 이미지 센서(450)를 사용하여) 캡쳐하고는 이들 이미지를 매트릭스(행렬) 형태와 같이 저장한다. 로봇(100)은 비교, 필터 등에 의해 새로운 이미지를 식별하기 위해 저장된 이미지에 액세스할 수 있다. 예를 들면, SIFT 특징부는 입력 이미지로부터 얻어질 수 있으며, (이전에 캡쳐된) 트레이닝 이미지로부터 얻어진 SIFT 특징부 데이터베이스에 매치될 수 있다. 특징부 매칭은 유클리드 거리(Euclidean-distance) 기반의 최단거리 이웃(nearest neighbor) 방법을 통하여 행해질 수 있다. 동일 물체에 속하는 특징들은 집단화(clustering)하고 집단화 과정에서 남겨진 특징들은 거절함으로써 물체의 식별을 증가시키기 위해 허프 트랜스폼(Hough transform)이 사용될 수 있다. SURF(speeded up robust feature)는 강인한 이미지 검출기 및 기술자(descriptor)일 수 있다.
현장(10)(예를 들면, 로봇(100) 주변의 환경) 내에서의 로봇(100)의 로컬화 외에, 로봇(100)은 센서 시스템(400)을 사용하여 연결 공간(예를 들면, 작업 표면(5)) 내의 다른 지점으로 이동할 수 있다. 로봇(100)은 로봇(100) 주변의 근접 영역을 매핑하고 상대적으로 가까운 물체(12)를 식별하기 위해 (예를 들면, 도 1과 도 3에 도시된 바와 같이 몸통(140)의 하부면에 장착된) 근거리 유형의 이미지 센서(450a)와, 로봇(100) 주변의 상대적으로 넓은 영역을 매핑하고 상대적으로 멀리 떨어진 물체(12)를 식별하기 위해 (예를 들면, 도 1과 도 3에 도시된 바와 같이 머리(160)에 장착된) 장거리 유형의 이미지 센서(450b)를 포함할 수 있다. 로봇(100)은 현장(10) 내에서 알려진 물체(12)를 식별할 뿐만 아니라 차단부(16)(예를 들면, 물체(12)가 어느 곳에 있어야 하는지 또는 있지 않아야 하는지, 하지만 현재의 관망 지점으로부터는 확인될 수 없는)를 위해 점유공간 지도(800)를 사용할 수 있다. 로봇(100)은 새로운 물체(12)의 위치 또는 차단부(16)의 임의의 물체(12)를 확인하기 위해 현장(10) 내의 차단부(16) 또는 새로운 물체(12)를 등록하고는 이 차단부(16) 또는 새로운 물체(12)를 우회하도록 시도할 수 있다. 또한 점유공간 지도(800)를 사용하여, 로봇(100)은 현장(10) 내의 물체(12)의 이동을 결정 및 추적할 수 있다. 예를 들면, 이미지 센서(450, 450a, 450b)는 현장(10) 내의 물체(12)의 매핑된 위치를 검출하지 못하면서도 현장(10) 내의 물체(12)의 새로운 위치를 검출할 수 있다. 로봇(100)은 이전 물체(12)의 위치를 차단부(16)로 등록하고는 물체(12)의 위치를 확인하기 위해 차단부(16)를 우회하도록 시도할 수 있다. 로봇(100)은 새로운 이미지 깊이 데이터를 이전의 이미지 깊이 데이터(예를 들면, 지도(800))와 비교하고는 현장(10) 내의 물체(12)의 위치의 신뢰도 수준을 할당할 수 있다. 현장(10) 내의 물체(12)의 위치의 신뢰도 수준은 한계 시간 후에 타임 아웃될 수 있다. 센서 시스템(400)은 이 센서 시스템(400)의 각 이미징 사이클 후에 각 물체(12)의 위치 신뢰도 수준을 업데이트할 수 있다. 몇몇 예에서, 차단부 검출 기간 내에 검출된 새로운 차단부(16)(예를 들면, 점유공간 지도(800)에서 보이지 않는 물체(12))는 현장(10) 내의 "라이브(live)" 물체(12)(예를 들면, 움직이는 물체(12))를 나타낼 수 있다.
몇몇 구현예에서, 현장(10) 내에서 검출된 제1의 물체(12a) 뒤에 위치한 제2의 관심 물체(12b)는 현장(10) 내에서 차단부(16)로서 초기에는 검출되지 않을 수 있다. 차단부(16)는 이미지 센서(450, 450a, 450b)에 의해 용이하게 검출되지 않거나 또는 보이지 않을 수 있는 현장(10) 내의 영역일 수 있다. 도시된 예에서, 로봇(100)의 센서 시스템(400)(또는 예를 들면, 이미지 센서(450, 450a, 450b)와 같은 그 일부)은 현장(10)을 보기 위한 (0도 내지 360도 사이의 임의의 각도일 수 있는) 시야각(θV)을 갖는 시계(field of view: 452)를 갖는다. 몇몇 예에서, 이미지 센서(450)는 360도의 시야각(θV)을 위한 전방향 광학장치를 포함할 수 있는 한편, 다른 예에서는 이미지 센서(450, 450a, 450b)가 360도 미만(예를 들면, 약 45도 내디 180도 사이)의 시야각(θV)을 갖는다. 시야각(θV)이 360도 미만인 예에서, 이미지 센서(450, 450a, 450b)(또는 그 구성요소)는 360도의 시야각(θV)을 달성하기 위해 로봇 몸체(110)에 대해 회전할 수 있다. 몇몇 구현예에서, 이미지 센서(450, 450a, 450b) 또는 그 일부는 로봇 몸체(110) 및/또는 구동 시스템(200)에 대해 이동할 수 있다. 또한, 제2의 물체(12b)를 검출하기 위해, 로봇(100)은 제2의 물체(12b)의 검출을 가능케 하는 관망 지점을 얻기 위해 (예를 들어, 작업 표면(5) 상에서 병진운동 및/또는 회전운동함으로써) 하나 이상의 방향으로 현장(10) 주변을 구동함으로써 이미지 센서(450, 450a, 450b)를 이동시킬 수 있다. 로봇의 이동 또는 이미지 센서(450, 450a, 450b) 또는 그 일부의 독립적인 이동은 단안(單眼: monocular)의 난점도 또한 해소할 수 있다.
작업 영역(5)에서의 물체(12)의 검출된 위치 또는 추적된 움직임에 신뢰도 수준이 할당될 수 있다. 예를 들면, 점유공간 지도(800)를 생성 또는 업데이트함에 따라, 제어기(500)는 지도(800) 상의 각 물체(12)에 신뢰도 수준을 할당할 수 있다. 신뢰도 수준은 물체(12)가 지도(800) 상에 표시된 바와 같이 실제로 작업 영역(5) 내에 위치해 있을 확률에 직접 비례할 수 있다. 신뢰도 수준은 물체를 검출하는데 사용된 센서의 개수 및 유형과 같은, 다수의 변수에 의해 결정될 수 있다. 예를 들면, 접촉 센서(430)는 로봇(100)에 의한 물체(12)와의 실제 접촉을 감지하므로 가장 높은 신뢰도 수준을 제공할 수 있다. 이미지 센서(450)는 다른 신뢰도 수준을 제공할 수 있으며, 이 신뢰도 수준은 근접 센서(430)보다 더 높을 수 있다. 센서 시스템(400)의 2개 이상의 센서로부터 수신된 데이터는 어떤 단일 센서보다도 상대적으로 더 높은 신뢰도 수준을 제공하도록 합쳐지거나 누적될 수 있다.
주행거리 측정은 소정 시간에 걸친 위치에 있어서의 변화(이동 거리)를 예측하기 위한 액추에이터의 이동으로부터의 데이터의 사용을 말한다. 몇몇 예에서, 휠의 회전수, 및 그에 따른 로봇(100)에 의해 이동된 거리를 측정하기 위해 인코더가 구동 시스템(200)에 배치된다. 제어기(500)는 물체의 위치에 대한 신뢰도 수준을 평가함에 있어서 주행거리 측정을 사용할 수 있다. 몇몇 구현예에서, 센서 시스템(400)은 로봇(100)에 의해 이동된 거리를 검출하기 위해 주행거리 측정기 및/또는 각속도 센서(예를 들면, 자이로스코프 또는 IMU(470))를 포함한다. 자이로스코프는 각운동량 보존 법치에 따라 배향을 측정 또는 유지하는 장치이다. 제어기(500)는 작업 영역(5) 및/또는 점유공간 지도(800) 내의 로봇(100)의 위치를 결정하기 위해 주행거리 측정기 및/또는 각속도 센서로부터 각각 수신된 주행거리 측정 및/또는 자이로 신호를 사용할 수 있다. 몇몇 예에서, 제어기(500)는 추측 항법(dead reckoning)을 이용한다. 추측 항법은 이전에 산출된 위치를 기초로 하여 그 위치를 시간 경과에 대해 알려지거나 추정된 속도 및 경로에 기초하여 이동시키면서 현재의 위치를 추정하는 방법이다. (예를 들면, 주행거리 측정기, 자이로스코프를 통한) 작업 영역(5) 내에서의 로붓의 위치와 함께 (센서 시스템(400)을 통한) 작업 영역(5) 내의 하나 이상의 물체(12)의 감지 위치를 앎으로써, 제어기(500)는 (주행거리 측정기 또는 자이로스코프의 미사용에 대해) 점유공간 지도(800) 및 작업 영역(5)에서의 물체(12)의 위치 또는 이동에 대해 상대적으로 더 높은 신뢰도 수준을 평가할 수 있다.
휠의 운동에 기초한 주행거리 측정은 전기적인 잡음을 갖는다(electrically noisy). 제어기(500)는 휠의 주행거리 측정과 연계하여 또는 그 대신에 스캔 매칭(scan matching)을 이용할 수 있다. 스캔 매칭의 사용은 정확도의 개선 및/또는 연산 부담(computational burden)을 저감시킬 수 있다. 이러한 실시예에서, LIDAR 및/또는 다른 지도제작 방법을 사용하여 얻어진 2개의 부분 지도가 단일 지도로 병합될 수 있다. 2개 이상의 부분 지도는 알려진 스캐닝 지점을 사용하여 병합될 수 있다. 이와 달리, 2개 이상의 부분 지도는 부분 스캔에 대한 기하학적 특징을 사용하여 병합될 수도 있다. 제어기(500)는 가시적인 주행거리 측정을 통해 구동 시스템(200)의 휠에 기초한 주행거리 측정에 독립적으로, 로봇의 이동을 계산하기 위해 로봇(100) 주변의 환경 또는 현장(10)의 이미지 센서(450)로부터 이미지 데이터를 수신할 수 있다. 가시적인 주행거리 측정은 이미지 센서(450)의 이동을 산출하기 위해 광학 흐름(optical flow)을 사용하는 것을 수반할 수 있다. 제어기(500)는 휠에 기초한 주행거리 측정에 있어서의 임의의 오류를 수정하고, 그에 따라 개선된 지도제작 및 동작 제어를 가능케 하기 위해 이미지 센서(450)로부터의 이미징 데이터에 기초하여 계산된 동작을 이용할 수 있다. 가시적인 주행거리 측정은 이미지 센서(450)가 캡쳐된 이미지(들) 내의 특징부를 추적할 수 없게 되면 저 텍스쳐(low-texture) 또는 저 조도(low-light) 현장(10)에서 한계를 가질 수 있다.
본 명세서에 기재된 것과 조합될 수 있는 주행거리 측정 및 이미징 시스템에 대한 다른 상세사항 및 특징은 ("시계 깊이(depth-of-field)" 이미징 시스템을 기술하는) 미국특허 제 US 7,158,317호 및 (파면 코딩 간섭 대비 이미징 시스템(wavefront coding interference contrast imaging systme)을 기술하는) 미국특허 제 US 7,115,849호에서 찾을 수 있으며, 상기 문헌은 그 전체 내용이 본 명세서에 참고로 병합되어 있다.
도 8c와 도 8d를 참조하면, 로봇이 그 작업을 하게 될 건물에 익숙하지 않으면, 로봇은 자율 운행을 위해 둘러보도록 할 수 있거나 또는 건물(예를 들면, 호실 및 복도의 위치)의 지도가 제공될 수 있다. 예를 들면, 병원에서는 로봇이 각 환자의 호실, 간호사실 등의 위치를 알아야 할 필요가 있다. 몇몇 구현예에서, 로봇(500)은 도 8c에 도시된 것과 같은 평면도 지도(810)를 수신하며, 평면도 지도(800)을 익히도록 트레이닝될 수 있다. 예를 들면, 건물 주위로 로봇(100)을 유도하면서, 로봇(100)은 평면도 지도(810) 상의 위치에 대응하는 특정 위치를 기록할 수 있다. 로봇(100)은 평면도 지도(810)를 웹 패드(310) 상에 디스플레이할 수 있으며, 사용자가 로봇(100)을 특정 위치로 데려가면, 사용자는 평면도 지도(810) 상의 그 위치를 (예를 들면, 웹 패드(310)의 터치 스크린 또는 다른 포인팅 디바이스를 사용하여) 태그를 붙일 수 있다. 사용자는 호실 이름 또는 호실 번호와 같이, 태그가 붙여진 위치에 라벨을 입력하도록 선택될 수 있다. 태그 부착시에, 로봇(100)은 도 8d에 도시된 것과 같이 평면도 지도(810) 상의 지점과 로봇 지도(820) 상의 대응 지점을 갖는 태그를 저장할 수 있다. 예시된 바와 같이, 로봇 지도(820)는 평면도 지도(810)와 유사한 2차원 평면도 지도일 수 있다. 다른 양태의 실시예에서, 로봇 지도(820)는 평면도 지도(810)와 유사한 2차원 평면도 지도에 대응하는 지반면(ground level)을 포함하는 3차원 지도일 수 있다.
센서 시스템(400)을 사용하여, 로봇(100)은 돌아다니면서 로봇 지도(820)를 작성할 수 있다. 예를 들면, 센서 시스템(400)은 로봇(100)이 얼마나 멀리 이동했는지 및 이동 방향에 대한 정보를 제공할 수 있다. 로봇 지도(820)는 평면도 지도(810)에 제공된 벽 외에 고정 장애물을 포함할 수 있다. 로봇(100)은 자율 운행을 실행하기 위해 로봇 지도(820)를 사용할 수 있다. 로봇 지도(820)에서 "벽"은 예를 들면 해당 복도에서 벽을 따라서 검출된 패킹용 판재(packing crate) 및/또는 다양한 칸막이 공간 내부에서 검출된 가구로 인해 완전히 직선으로 보이지 않을 수 있다. 또한, 평면도 지도(810)와 로봇 지도(820) 사이에 회전 및 해상도 차(差)가 존재할 수 있다.
도 8e를 참조하면, 몇몇 구현예에서, 원격현전 소프트웨어 애플리케이션(601)은 사용자로 하여금 평면도 지도(810)에 태그(662)를 붙일 수 있게 하는 태깅 뷰(tagging view: 660)를 디스플레이한다. 평면도 지도(810)는 평면도 지도 윈도우(620)에 의해 디스플레이된 것과 동일한 지도일 수도 있고, 운행을 목적으로 내부적으로 사용되는 다른 지도일 수도 있다.
사용자, 원격 터미널, 및/또는 로봇은 지도 위치에 구동 위험, 장애물, 로봇 보조 등과 같은 정보를 표시하기 위해 평면도 지도(810) 및/또는 로봇 지도(820)의 특정 위치에 태그(662)를 삽입할 수 있다. 예를 들면, 사용자는 평면도 지도(810)의 특정 위치에 태그(662)를 드래그 앤 드롭(drag and drop)할 수 있다. 본 명세서에 기술되는 바와 같이, 태그는 한 지점 또는 한 구역과 결부된 태그 좌표, 태그의 용도를 규정하는 태그 정보, 태그의 유형, 태그의 성질, 태그와 연관된 사용자 및/또는 로봇에 대한 지시문, 및/또는 태그와 관련된 기타 정보를 포함할 수 있으며, 마지막으로 태그는 이 태그에 대응하는 2차원 및/또는 3차원 그래픽 또는 텍스트를 포함하는 태그 주석(tag annotation)을 포함할 수 있다. 태그 주석의 일례는 로봇이 들어가서는 안 되는 영역을 나타내는 태그 정보를 포함하는 태그와 결부된 8각형 적색 정지 표시(red stop sign)이다. 태그 주석은 인간 및/또는 기계 판독 가능할 수 있다. 태그 좌표는 점(points), 직선, 평면, 표면, 체적, 및/또는 2.5D 또는 하이브리드 표면일 수 있다. 태그는 임의의 개수의 추가적인 필드(field) 및/또는 매개변수를 갖는 데이터 구조로 형성될 수 있다. 예를 들면, 태그는 시간, 스케쥴링, 공간 좌표, 및/또는 기설정 기능에 대한 트리거와 결부된 필드를 포함한다.
본 명세서에서 사용되는 주석(annotation)이라는 용어는 텍스트, 단어, 또는 기타 언어 표현을 포함한다. 따라서, 태그 주석은 사진(그림), 그래픽 이미지, 그림 그래프(pictograph), 하이어 주석(hieroannotation), 비언어 심벌일 수 있다. 또한, 태그 주석은 단어, 문자, 문구(phrase), 또는 기타 텍스트 형태일 수 있다. 예를 들면, 간호사실과 결부된 태그는 간호사들 이름을 나타내는 텍스트 표현을 포함하는 태그 주석을 포함할 수 있다. 간호사들 이름의 텍스트 표현은 2차원 텍스트일 수도 있고, 3차원 텍스트일 수도 있다. 이와 달리, 간호사실과 결부된 태그 주석은 큰 글자로 N, 또는 간호사실을 나타내는 심벌(예를 들면, 간호사 모자 또는 간호사 심벌)일 수 있다.
태그(662)는 상대적으로 양호한 신호 수신을 갖는 영역을 나타내는 WLAN 웜 태그(warm tag)(662a)와 상대적으로 불량한(약한) 신호 수신을 갖는 영역을 나타내는 WLAN 콜드 태그(cold tag)(662b)를 포함할 수 있다. 로봇(100)은 상대적으로 불량한 무선 신호 수신을 갖는 영역은 회피하면서 상대적으로 양호한 무선 신호 수신을 갖는 영역을 통하여 하나의 위치로부터 다른 위치로 운행하기 위해 이 정보를 사용할 수 있다.
저 소통량 태그(low traffic tag: 662c)는 상대적으로 적은 소통량(사람 및/또는 로봇)을 갖는 영역을 나타낸다. 로봇(100)은 상대적으로 높은 소통량을 갖는 영역을 통과하는 대신에, 상대적으로 저 소통량을 갖는 영역을 통과하는 이동 경로를 선택할 수 있다. 또한, 로봇(100)이 고 소통량 영역을 통하여 이동해야 하면, 로봇(100)은 그 영역을 충돌없이 성공적으로 운행하기 위해 하나 이상의 특정 장애물 검출 장애물 회피(ODOA) 거동을 실행할 수 있다.
독 태그(dock tag: 662d)는 로봇 도킹 스테이션의 위치를 나타낸다. 저 배터리(low battery) 이벤트는 제어기(500)에 재충전을 하라고 신호를 보낼 수 있다. 로봇(100)은 재충전을 위한 로봇 도킹 스테이션을 찾기 위해 독 태그(662d)가 부착된 지도 위치를 사용할 수 있다. 예를 들면, 평면도 지도(810)와 로봇 지도(820)(도 8c 및 도 8d) 사이의 산출된 왜곡을 적용함으로써, 로봇(100)은 로봇 도킹 스테이션과 도킹하기 위해 그 태그 부착된 위치로 운행할 수 있도록 태그 부착된 배치 지도 위치(814)에 대응하는 로봇 지도 위치(824)를 결정할 수 있다. 왜곡의 산출은 동일한 좌표계를 사용하는 두 지도 사이의 왜곡을 결정하는 것을 포함할 수 있다. 로봇 지도(820)와 평면도 지도(810)는 모두 2차원일 수 있으며, 그래서 왜곡의 결정은 상이한 차원간의 좌표 변환을 결정하는 것을 요하지 않을 수 있다.
어떤 태그(662)는 장애물 또는 특수 통과 영역을 나타내는데 사용될 수 있다. 예를 들면, 유리 태그(662e)는 유리 벽, 창문, 또는 문의 위치를 나타낸다. 로봇(100)은 적외선 근접 센서가 유리 구조물을 검출하지 못할 수 있으므로 태그 부착된 유리 구조물을 회피하기 위해 이 정보를 사용할 수 있다. 램프 태그(662f)는 바닥 램프(floor ramp)의 위치를 나타낸다. 원거리에 대해, 로봇(100)은 램프를 장애물로 검출할 수 있는데, 이는 램프가 한계치 통과 높이보다 더 높은 수직 높이를 갖는 것처럼 보일 수 있기 때문이다. 태그 부착된 램프에 접근하면, 로봇(100)은 램프를 성공적으로 통과하기 위해 램프 또는 통과 거동을 실행할 수 있다. 밀착 태그(tight tag: 662g)는 상대적으로 좁은 복도 또는 통행로의 위치를 나타낸다. 로봇(100)은 갇히는 상황을 회피하기 위해 이러한 영역을 회피할 수 있다.
저속 태그(slow tag:662h)는 로봇(100)이 상대적으로 저속으로 구동되는 위치 또는 영역을 나타낸다. 이 위치 또는 영역은 고 소통량 영역과 일치할 수 있다. 회피 태그(avoid tag: 662i)는 로봇(100)이 회피해야 하는(즉, 통과하지 말아야 하는) 위치 또는 영역을 나타낸다. 몇몇 구현예에서, 회피 태그(662i)는 동작 모드에 종속적일 수 있다. 예를 들면, 회피 태그(662i)는 로봇이 완전한 자율 모드로 작동중일 때만 적용할 수 있다. 원격 조종시에, 회피 태그(662i)는 로봇에 의해 효과적으로 무시될 수 있다. 수술실 사용자 인터페이스(OR UI: operating room user interface) 태그(662j)는 병원의 수술실 위치 또는 영역을 나타낼 수 있다. 로봇(100)은 OR 영역으로 들어감에 따라 원격현전 지원을 제공하고 및/또는 특정 사용자 인터페이스(예를 들면, OR UI)를 디스플레이할 수 있도록 수술실을 찾기 위해 이 태그를 사용할 수 있다. 트레이닝 태그(training tag: 662k)는 로봇(100)이 그 주변환경(10)을 익히도록 트레이닝하기 위해 복도 및 호실과 같은 일반 위치를 표시하는데 사용될 수 있다.
수동 엘리베이터 태그(662l)는 로봇(100)이 사용자로 하여금 로봇이 엘리베이터 안으로 들어가는/나오는 것을 돕도록 해야 하는 엘리베이터의 위치를 나타낸다. 수동 엘리베이터 절충(negotiation)은 원격 사용자 조종 또는 로봇 로컬 사용자 가이드를 기초로 할 수 있다. 원격 사용자 조종의 경우에, 원격 사용자는 로봇(100)에 (예를 들면, 조이스틱을 사용하여) 구동 명령을 제공할 수 있다. 로봇-로컬 사용자 가이드의 경우에, 로봇(100)에 인접한 사람이 로봇(100)을 물리적으로 터치할 수 있고, 이러한 터치에 응답하여, 로봇(100)은 따라 이동한다. 본 명세서에 기술된 것과 조합될 수 있는 사용자 터치에 대한 로봇 응답성에 관한 특징은 2011년 2월 22일자로 제출된, 특허출원 일련번호 제13/032,390호에서 찾을 수 있으며, 상기 문헌은 그 전체가 참고로 본 명세서에 병합되어 있다.
자동 엘리베이터 태그(662m)는 로봇(100)이 자율적으로 운행할 수 있는(들어가고 나올 수 있는) 엘리베이터의 위치를 나타낸다. 로봇(100)은 넘어지는 것을 회피하도록 엘리베이터 안으로 들어가고 나오기 위해 한계치 통과 거동(512d)(도 5)을 실행할 수 있다. 본 명세서에 기술된 것과 조합될 수 있는 사용자 터치에 대한 로봇 응답성에 관한 특징은 2011년 11월 9일자로 제출된 특허출원 일련번호 PCT/US11/59910에서 찾을 수 있으며, 상기 문헌은 그 전체가 참고로 본 명세서에 병합되어 있다.
우측 유지 태그(662n)는 로봇(100)이 우측으로 유지해야 하는 지도 위치 또는 영역을 나타낸다. 사용자는 고 소통량 복도와 같은, 특정 복도를 따라 이 태그를 배치할 수 있다. 우측 유지 태그(662n)에 응답하여 로봇(100)은 태그 부착 영역을 구동하면서 벽을 따라서 유지하는 벽 추종 거동(wall following behavior)을 실행할 수 있다.
지도 트레이닝 후에, 사용자가 로봇(100)을 소정 위치로 보내기를 원하면, 사용자는 라벨/태그(622)를 참조(예를 들면, 웹 패드(310)에 디스플레이된 위치 텍스트 박스에 라벨 또는 태그를 입력)할 수 있거나, 또는 로봇(100)이 웹 패드(310) 상에서 사용자에게 평면도 지도(810)를 디스플레이할 수 있고 사용자는 평면도 지도(810) 상의 위치를 선택할 수 있다. 사용자가 태그 부착된 배치 지도 위치(814)를 선택하면, 로봇(100)은 로봇 지도(820) 상의 해당 로봇 지도 위치(824)를 용이하게 결정할 수 있으며, 선택된 위치(814)로 운행하도록 진행할 수 있다.
몇몇 구현예에서, 로봇 제어기(500)는 제1의 영역을 이동하면서 제1의 거동(512)을 실행할 수 있고, 그리고 나서 결부된 로봇 거동 수정부(robot behavior modifier)를 갖는 태그와 결부된 제2의 영역을 이동하면서 제2의 거동(512)을 실행할 수 있다. 예를 들면, 사람 추종 거동(512b)을 실행하면서, 로봇 제어기는 그 거동(512b)의 실행을 멈추거나 또는 램프 태그(662f) 또는 자동 엘리베이터 태그(622m)가 부착된 지도 위치(814)에 이름에 따라 한계치 통과 거동(512d)을 동시에 실행할 수도 있다.
평면도 지도(810)에서 선택된 위치가 태그 부착된 위치(814)가 아니면, 로봇(100)은 로봇 지도(820) 상에서 대응하는 위치(824)를 결정한다. 몇몇 구현예에서, 로봇(100)은 존재하는 태그 부착된 위치를 사용하여 평면도 지도(810)와 로봇 지도(820) 사이에 축척 크기(scaling size), 원점 매핑, 및 회전을 계산하며, 그리고 나서 계산된 매개변수들을 적용하여 (예를 들면, 아핀 변환 또는 좌표를 사용하여) 로봇 지도 위치를 결정한다.
로봇 지도(820)는 평면도 지도(810)와 동일한 배향 및 축척이 아닐 수 있다. 게다가, 배치 지도는 축척에 맞춰지지 않을 수 있으며, 지도 영역마다 변하는 왜곡을 가질 수 있다. 예를 들면, 호텔, 사무실, 및 병원에서 전형적으로 볼 수 있는 화재 대피 지도를 스캐닝하여 생성된 평면도 지도(810)는 보통 축척에 맞춰 그려지지는 않으며, 심지어는 지도의 상이한 구역에서 상이한 축척을 가질 수도 있다. 로봇 지도(820)는 그 자체의 오류를 가질 수 있다. 예를 들면, 로봇 지도(820) 상의 위치는 거리 측정으로서 휠의 회전을 계수함으로써 산출되었을 수 있으며, 바닥이 약간 미끄러웠거나 또는 코너를 돌면서 여분의 휠 회전이 발생하였다면, 부정확한 회전 계산은 로봇(100)으로 하여금 매핑된 물체의 부정확한 위치를 산출하게 할 수 있다.
평면도 지도(810) 상의 소정 지점(814)을 로봇 지도(820) 상의 대응하는 지점(824)으로 매핑하는 방법은 배치 지도 지점을 포함하는 (예를 들면, 한계 반경 내의) 영역에서 평면도 지도(810)와 로봇 지도(820) 사이의 (동일한 2차원 좌표계에서의) 국부 왜곡(local distortion)을 계산하기 위해 기존의 태그 부착된 지점(812)을 사용하는 단계를 포함할 수 있다. 이 방법은 대응하는 로봇 지도 지점(824)을 찾기 위해 배치 지도 지점(814)에 왜곡 계산을 적용하는 단계를 더 포함한다. 예를 들면 로봇에게 그 현재 위치를 묻기 위해, 로봇 지도(820) 상의 소정 지점으로부터 시작하여 평면도 지도(810)의 해당 지점을 찾기를 원하면, 역으로 행해질 수 있다.
임의의 매우 다양한 태그 체계 및 데이터 구조가 사용될 수 있다. 예를 들면, 태그는 태그의 용도, 태그 매개변수, 및 태그 특성(일반적으로 "태그 정보")을 특정하는 핵심 값의 쌍(雙)의 형태의 특성을 포함할 수 있다. 아래의 표 1은 특정 예를 제공한다.
| 필드 이름 | 데이터 유형 | 설명 |
| tagID | 정수 | 전술한 태그 표에 있는 태그 항목의 ID |
| name(이름) | 텍스트 | 매개변수 이름 |
| value(값) | 텍스트 | 매개변수 값 |
영역과 결부된 태그는 그 용도를 특정하고 그 영역과 결부된 거동에 영향을 미치는 매개변수를 특정하는 그 태그와 결부된 특징을 가질 수 있다. 이들 핵심 값의 쌍은 아래의 표 2에 있는 예와 유사한 데이터 구조를 사용하여 저장될 수 있다.
| 필드 이름 | 데이터 유형 | 설명 |
| regionID | 정수 | 전술한 영역 표에 있는 영역 항목의 ID |
| name | 텍스트 | 매개변수 이름 |
| value | 텍스트 | 매개변수 값 |
각 태그의 데이터 구조는 태그 좌표와, (태그의 2차원 및/또는 3차원 그래픽 표현과 같은) 태그 주석을 포함할 수 있는 태그 정보를 포함할 수 있다. 아래의 표 3은 태그의 데이터 구조의 특정 예를 제공한다.
| 필드 이름 | 데이터 유형 | 설명 |
| id | 정수 | 데이터베이스의 태그에 대한 전범위에 걸쳐 고유한 식별자 |
| mapId | 정수 | 태그가 속하는 로봇 지도의 식별자 |
| timestamp (타임스탬프) |
부동소수점(float) | 언제 태그가 생성되었는지를 나타내는 타임스탬프 |
| poseX | 부동소수점 | 로봇 지도의 좌표계에서의 태그의 X 좌표 |
| poseY | 부동소수점 | 로봇 지도의 좌표계에서의 태그의 Y 좌표 |
| poseZ | 부동소수점 | 로봇 지도의 좌표계에서의 태그의 Z 좌표 |
| poseXr | 부동소수점 | X축에 대한 태그의 회전 |
| poseYr | 부동소수점 | Y축에 대한 태그의 회전 |
| poseZr | 부동소수점 | Z축에 대한 태그의 회전 |
| name | 텍스트 | 태그의 인간 판독 가능 식별자 |
| annotation (주석) |
이미지 | 2D 및/또는 3D 그래픽 표현 |
본 명세서에서 기술되는 바와 같이, 태그는 특정 지점보다는 지도 상의 영역에 결부될 수 있다. 태그 정보와 태그 사이에는 다대일(many-to-one)의 관계를 가질 수 있다. 영역과 결부된 태그에 대한 데이터 구조의 특정 예가 아래의 표 4에 제공되어 있다.
| 필드 이름 | 데이터 유형 | 설명 |
| id | 정수 | 데이터베이스의 영역에 대한 전범위에 걸쳐 고유한 식별자 |
| mapId | 정수 | 영역이 속하는 로봇 지도의 식별자 |
| timestamp | 부동소수점 | 언제 영역이 생성되었는지를 나타내는 타임스탬프 |
| poseX | 부동소수점 | 로봇 지도와 동일한 좌표계에서의 영역의 중심의 X 좌표 |
| poseY | 부동소수점 | 로봇 지도와 동일한 좌표계에서의 영역의 중심의 Y 좌표 |
| poseZ | 부동소수점 | 로봇 지도와 동일한 좌표계에서의 영역의 중심의 Z 좌표 |
| poseXr | 부동소수점 | X축에 대한 영역의 회전 |
| poseYr | 부동소수점 | Y축에 대한 영역의 회전 |
| poseZr | 부동소수점 | Z축에 대한 영역의 회전 |
| name | 텍스트 | 영역의 인간 판독 가능 식별자 |
| annotation | 이미지 | 2D 및/또는 3D 그래픽 표현 |
몇몇 예에서, 영역의 기하학적 형상은 그 중심의 컴포넌트들로 세분화될 수 있으며, 많은 물체의 위치 및 회전이 신속하게 업데이트될 수 있도록 하기 위해 중심으로부터 편심된다. CPU 리소스가 허용하면, 최종 좌표의 경계 상자(bounding box)(중심의 자세에 의해 지도의 좌표계로 변환된, 중심에 대한 다각형의 지점들)는 R*-트리 또는 유사한 데이터 구조를 사용하여 인덱싱될 수 있다. 영역의 다각형을 포함하는 지점들은 광선 추적(ray-tracing) 알고리즘을 기초로 한 PIP(point-in-polygon) 테스트를 용이하게 하기 위해 시계(또는 반시계) 방향으로 저장될 수 있다.
예로서, 저속 구역인 영역을 나타내는 태그는 아래의 표 5에 제공된 바와 같은 데이터 구조를 가질 수 있다.
| 이름 | 값 |
| type | speedZone |
| subtype | explicit (명시적) |
| maxXVelocity | 0.75 |
| maxYVelocity | 0.0 |
| maxThetaVelocity | 0.75 |
표 5는 제한 속도가 영역 그 자체와 결부된 값을 기초로 명시적으로 설정된 저속 구역 태그의 예를 예시한다. 이와 달리, 영역은 로봇이 그 영역을 저속 구역으로 해석하도록 하는 방식으로 규정될 수도 있다. 예를 들면 아래의 표 6에서, 로봇은 교차로로 규정된 영역을 저속 구역으로 해석하며 기설정 속도로 그 속도를 낮추게 된다.
| 이름 | 값 |
| type | speedZone |
| subtype | intersection (교차로) |
지도 상의 지점 또는 영역에 결부된 태그는 태그 좌표, 태그 정보, 및 임의의 다양한 종류의 태그 주석을 포함할 수 있다. 또한, 태그는 위에서 표 1 내지 6에 예시된 것들을 포함하는, 매우 다양한 종류의 데이터 유형을 사용하여 구현될 수 있다. 태그 정보 및 태그 주석이라는 용어는 본 명세서에서 개별 요소로 지칭된다. 하지만, 다양한 실시예에 따르면, 태그 주석은 태그 정보의 일부일 수 있다. 구체적으로 데이터 구조는 태그 주석에 대해 구별되는 필드를 포함할 수도 있고 포함하지 않을 수도 있다. 대신에, 태그 정보에 대한 데이터 구조의 필드는 태그 주석을 병합할 수도 있다.
도 8f는 평면도 지도(810)와 로봇 지도(820)를 사용하여 소정 환경 주변을 운행하기 위해 로봇(100)을 작동시키는 동작의 예시적인 배열(800f)을 제공한다. 동작은 로봇(100)의 환경에 대응하는 평면도 지도(810)를 수신하는 단계(802f)와, 환경 내의 로봇(100)을 평면도 지도(810) 상의 배치 지도 위치(812)로 이동시키는 단계(804f)와, 환경에 대응하며 로봇(100)에 의해 생성된 로봇 지도(820) 상에 로봇 지도 위치(822)를 기록하는 단계(806f)와, 기록된 로봇 지도 위치(822) 및 대응하는 배치 지도 위치(812)를 사용하여 로봇 지도(820)와 평면도 지도(810)의 사이에 (2차원) 왜곡을 결정하는 단계(808f)와, 대응하는 타겟 로봇 지도 위치(824)를 결정하기 위해 결정된 왜곡을 타겟 배치 지도 위치(814)에 적용하는 단계(810f)를 을 포함하며, 그에 따라 로봇이 평면도 지도(810) 상의 선택된 위치(814)로 운행할 수 있게 한다. 몇몇 구현예에서, 동작은 존재하는 태그 부착된 위치를 사용하여 평면도 지도(810)와 로봇 지도(820)의 사이에 축척 크기, 원점 매핑, 및 회전을 결정하는 단계와, 선택된 타켓 배치 지도 위치(814)에 대응하는 로봇 지도 위치를 결정하는 단계를 포함한다. 동작은 로봇 지도 위치를 해석하기 위해 결정된 축척 크기, 원점 매핑, 및 회전에 아핀(affine) 변환을 적용하는 단계를 포함할 수 있다. 임의의 상기 동작들은 정확도 및/또는 효율을 높이기 위해 임의의 횟수 반복될 수 있다. 예를 들면, 환경 내에서 로봇(100)을 이동시키는 단계(804f)와 로봇 지도 위치를 기록하는 단계(806f)는 후속 변환 및 배치 지도와 로봇 지도 사이의 계산을 위해 충분한 상관(相關) 지점을 수집할 수 있도록 복수 회 반복될 수 있다.
본 개시와 조합될 수 있는 다른 상세사항 및 특징은 2011년 11월 16일자로 제출된 PCT 국제출원 일련번호 제 PCT/US11/60935호에서 찾을 수 있으며, 상기 문헌은 그 전체가 본 명세서에 참고로 병합되어 있다.
도 9a와 도 9b를 참조하면, 몇몇 구현예에서, 원격조종 소프트웨어 애플리케이션(601)은 지도 윈도우(620)에 하이브리드 3차원 이미지 지도(622b)(하이브리드 지도)를 디스플레이한다. 하이브리드 지도(622b)는 원격 비디오 피드 윈도우(610)에 디스플레이되는 원격 뷰(612)와, 평면도 지도 윈도우(620)(도 6d)에 디스플레이되는 2차원 탑다운 지도(622a)와 같은 평면도 지도(810)의 조합일 수 있다. 도 9a는 로봇(100)이 복도에 위치될 때 사용자가 볼 수 있는 원격 비디오 뷰(612)를 예시한다. 도 9b는 평면도 지도(810)가 원격 뷰(612)에 맞도록 부분적으로 오버레이되고 수정된 하이브리드 지도(622b)를 예시하며, 로봇(100)의 시계 내의 영역의 호실 번호 및/또는 호실 유형을 나타낸다. 라이브 비디오 피드를 보게 되면, 사용자는 윈도우의 위에 커서를 위치시킬 수 있고 스크롤 휠을 위로 움직이기 시작할 수 있다. 전이(transition) 과정 동안에, (로봇(100)의 카메라(320)로부터의) 조망 비디오 뷰는 원격 비디오 뷰(612)와 지도(622) 사이에서 점진적으로 전이된다. 지도(622)는 조망 원격 비디오 뷰(612)를 매핑할 수 있도록 전이의 개시시에 완전히 와핑(warping)되며, 그리고는 전이의 말단부에 그 와핑되지 않은 뷰로 점진적으로 되돌아간다. 그래서 마우스 휠이 30% 위로 움직이면, 사용자는 70%의 비디오와 30%의 지도를 포함하는 오버랩된 이미지를 보게 되고, 비디오 부분은 30% 디와핑(de-warping)되는 한편, 지도는 70% 와핑된다. 이러한 구현은 단일의 뷰가 유동적으로 조망 원격 비디오 뷰(612)와 지도(622) 모두를 나타낼 수 있게 한다.
하이브리드 지도(622b)를 제공하기 위해, 원격조종 소프트웨어 애플리케이션(601)은 로봇 지도(820)의 기록된 로봇 지도 위치(822) 및 대응하는 배치 지도 위치(812)를 사용하여 원격 뷰(612)와 평면도 지도(810)의 사이에(2차원 좌표와 3차원 좌표 사이의) 왜곡을 결정할 수 있으며, 그리고 나서 평면도 지도(810)가 원격 뷰(612)에 맞도록 결정된 왜곡을 적용할 수 있다. 몇몇 구현예에서, 왜곡을 결정하는 것은 예를 들면, 결정된 축척 크기, 원점 매핑, 및 회전에 아핀 변환을 적용함으로써 평면도 지도(810)와 원격 뷰(612)의 사이에 축척 크기, 원점 매핑, 및 회전을 결정하는 것을 포함한다. 2차원 평면도 지도와 3차원 비디오 피드 사이에 왜곡을 결정하는 것은 상이한 좌표계 사이의 좌표 변환을 결정하는 것을 포함할 수 있다.
도 6d와 도 10a 내지 10e를 참조하면, 몇몇 구현예에서, 사용자 인터페이스(605)는 지도 윈도우(620), 전용의 개별 윈도우, 또는 다른 윈도우에 표시된 미리보기 뷰(612a)의 디스플레이를 발생시키는 미리보기 명령(624)을 제공한다. 로봇(100)을 구동하면서, 사용자는 미리보기 명령(624)을 불러올 수 있는데, 이는 로봇(100)이 물리적으로 이동하는 것을 정지시키는 한편, 원격조종 소프트웨어 애플리케이션(601)은 로봇(100)이 마치 그 구동 경로를 따라 계속적으로 움직이고 있었던 것처럼 제안된 로봇의 구동 경로의 조망도를 제공하는 제작된 미리보기 뷰(612a)를 생성 및 디스플레이한다. 이는 벽의 위치와 같은 지도 데이터를 사용하며 로봇(100)의 가상 위치에 기초하여 조망 "가상 현실" 뷰를 구성함으로써 달성될 수 있다. 예를 들면, 원격현전 소프트웨어 애플리케이션(601)은 미리보기 뷰(612a)를 구성하기 위해 평면도 지도(810), 로봇 지도(820), 및/또는 저장된 이미지 데이터(701)(도 7)을 사용할 수 있다. 도 7에 도시된 예와 같이 클라우드 컴퓨팅 서비스(720)를 이용하는 로봇의 경우에, 원격현전 소프트웨어 애플리케이션(601)과 선택적으로 로봇(100)은 클라우드 컴퓨팅 서비스(720)와 통신을 행할 수 있으며, 이 클라우드 컴퓨팅 서비스(720)는 저장된 이미지 데이터(701), 3차원 지도(705), 및/또는 2차원 높이 지도(707)(또는 달리 2.5D 하이브리드 지도)에 기초하여 미리보기 뷰(612a)를 구성할 수 있으며, 그리고 나서 지도 윈도우(620)에 표시하기 위해 미리보기 뷰(612a)를 제공할 수 있다. 이러한 구현은 원격현전 소프트웨어 애플리케이션(601)으로 하여금 클라우드 서비스의 확장 가능한 컴퓨터 처리 및 데이터 저장 능력(예를 들면, 클라우드 서비스(720)는 데이터를 처리하기 위해 탄력적으로 확장될 수 있고 그리고 나중에 다시 축소될 수 있다)을 이용할 수 있게 하며, 그에 따라 원격현전 소프트웨어 애플리케이션(601)를 실행하는 전산 장치에 대한 처리 및 메모리 요건을 저감시킨다.
도 10a는 원격현전 소프트웨어 애플리케이션(601)의 원격 비디오 피드 윈도우(610)의 예시적인 원격 뷰(612)를 도시한다. 도 10b는 지도 윈도우(620)에 디스플레이된 상보적인 지도(622)를 예시한다. 지도(622)는 로봇의 카메라(320)에 대한 카메라 시계(322)와 함께 로봇 아이콘(650)으로 표시된 로봇(100)의 현재 위치를 제공한다. 도 10c와 도 10e는 원격 비디오 피드 윈도우(610)에 디스플레이된 예시적인 미리보기 뷰(612a)를 제공한다. 원격 비디오 피드 윈도우(610)는 예를 들면 원격 비디오 피드 윈도우(610)의 코너에 위치된 PIP(picture-in-picture) 윈도우에 로봇 카메라(320)로부터의 원격 뷰(612)를 계속하여 디스플레이할 수 있다. 도 10d와 도 10f는 지도 윈도우(620)에 디스플레이된 예시적인 지도(622)를 제공한다. 미리보기 명령을 실행하면서, 원격현전 소프트웨어 애플리케이션(601)은 로봇의 카메라의 시계(322)와 함께 로봇의 현재 위치에 로봇 아이콘(650)을 표시할 수 있다. 부가적으로 또는 이에 대신하여, 원격현전 소프트웨어 애플리케이션(601)은 예측된 미리보기 카메라 시계(322a)와 함께 미리보기 경로를 따라 이동하는 가상의 로봇 아이콘(650a)을 평면도 지도 윈도우(620)에 표시할 수 있다.
몇몇 구현예에서, 사용자가 원격현전 소프트웨어 애플리케이션(601)과 통신 상태에 있는 조이스틱을 사용하여 복도를 따라 로봇(100)을 구동함에 따라, 사용자는 (예를 들면, 사용자 인터페이스(605) 상의 해당 버튼 또는 조이스틱을 선택함으로써) 미리보기 명령(624)을 불러올 수 있다. 예를 들면, 복도에서 모퉁이로부터 50 피트(약 15.2m) 떨어진 위치에서, 사용자는 미리보기 명령(624)을 불러올 수 있으며, 그에 따라 미리보기 뷰(612a)가 생성되고 복도를 따라서의 로봇(100)의 추가적인 이동이 정지된다. 하지만, 사용자는 미리보기 모드로 계속하여 로봇(100)을 가상으로 이동시킬 수 있다. 사용자 인터페이스(605)는 동일 위치에서 동일 복도의 미리보기 뷰(612a)(예를 들면, 3차원 모델)를 디스플레이할 수 있다. 사용자가 미리보기 모드로 전방으로 구동하면서, 50 피트(약 15.2m) 진행하고는, 좌회전하고서, 계속하여 구동함에 따라, 사용자는 3차원 모델/미리보기 뷰(612a)에서 그 길을 따라서 있는 호실과 다른 복도의 위치를 볼 수 있다. 몇몇 예에서, 처음 30 피트(약 9.1m)의 "가상" 구동의 경우에, 원격현전 소프트웨어 애플리케이션(601)은 (가상 위치와 일치되도록 더 확대되고 조망 와핑된, 정지상태의 물리적인 로봇으로부터의) 실제 뷰와 3차원 모델/미리보기 뷰(612a)의 혼합분을 디스플레이할 수 있다.
도 10g는 원격현전 소프트웨어 애플리케이션(601)의 미리보기 모드를 실행하기 위한 동작의 예시적인 배열(1000)을 제공한다. 이 동작은 미리보기 모드(플라이스루(flythrough) 모드라고도 지칭됨)를 개시하는 단계(1002)와, 로봇(100)의 현재 자세 및/또는 좌표와 같은, 로봇(100)의 실제 로컬화를 체킹하는 단계(1004)를 포함한다. 로봇(100)은 그 센서 시스템(400)의 수신된 센서 신호에 기초하여 그 로컬화를 결정하고, 그리고 나서 이 로컬화를 원격현전 소프트웨어 애플리케이션(601) 및/또는 클라우드 컴퓨팅 서비스(720)에 전달할 수 있다. 이 작업은 로봇(100)의 가상 로컬화 및/또는 자세를 생성하는 단계(1006)를 더 포함한다. 원격현전 소프트웨어 애플리케이션(601) 또는 클라우드 컴퓨팅 서비스(720)는 가상 로컬화 및/또는 자세를 생성하기 위해 로봇(100) 및 이미지 데이터(701)(도 7)(예를 들면, 체적측정 포인트 클라우드 이미지 데이터)와 결부된 동역학적 모델(570)(도 5)을 사용할 수 있다. 이 작업은 산출된 가상 로봇 로컬화에 대응하는 3차원 렌더링 데이터에 액세스하는 단계(1008)와 로봇(100) 및/또는 로봇(100) 주변의 로컬 환경의 3차원 렌더링을 생성하는 단계(1010)를 포함할 수 있다. 이는 원격현전 소프트웨어 애플리케이션(601)에 의해 원격 비디오 피드 윈도우(610)에 디스플레이될 수 있는 로컬 3차원 모델/미리보기 뷰(612a)를 구성하기 위해, 이미지 데이터(701)(예를 들면, 체적측정 포인트 클라우드 이미지 데이터) 및/또는 로컬에 저장되거나 또는 클라우드 스토리지(722)에 원격 저장된 3차원 지도(705)에 액세스하는 것을 수반할 수 있다. 또한, 이는 지도 윈도우(620)에서 가상 로봇 아이콘(650a)으로 예시된 로봇(100)의 3차원 모델과 예측된 미리보기 카메라의 시계(322a)를 생성하는 것을 수반할 수 있다. 이 동작은 디스플레이된 미리보기 뷰(612a) 또는 1인칭 관점(POV: point of view)을 업데이트하는 단계(1012)와, 로봇(100)이 미리보기 모드로 가상적으로 이동함에 따라 로봇(100)의 가상 로컬화/자세를 업데이트하는 단계를 포함할 수 있다. 단계들(1008 내지 1014)은 미리보기/플라이스루(flythrough) 모드가 종료(1016)될 때까지 (예를 들면, 주기적으로) 반복될 수 있다.
도 11a를 참조하면, 몇몇 구현예에서, 원격현전 소프트웨어 애플리케이션(601)의 사용자 인터페이스(605)는 원격 비디오 피드 윈도우(610)(또는 다른 윈도우)에 원격 운행 뷰(612b)를 디스플레이할 수 있다. 원격 운행 뷰(612b)는 원격 뷰(612)의 라이브 비디오 피드 위에 렌더링된 운행 가능 영역(616)을 가질 수 있다. 사용자는 원격 뷰(612)와 원격 운행 뷰(612b) 사이에서 전환할 수 있다. 운행 가능 영역(616)은 평면도 지도 및/또는 로봇 지도(820)를 기초로 결정될 수 있다. 운행 가능 영역(616)은 장애물을 제외하고, 로봇 카메라(들)(320, 450)의 시계(832)에 의해 경계지어진 영역으로 도시될 수 있다. 또한, 운행 가능 영역(616)은 이 운행 가능 영역이 장애물 또는 다른 방해물이 없다고 사용자에게 전하는 색상 또는 다른 신호로 채워질 수 있다.
배치 지도 상의 운행 가능 영역은 로봇의 내부 장애물 지도의 정보에 기초하여 강조될 수 있다. 일 실시예에서, 운행 가능 영역은 이미지에서 백색(흰색) 픽셀로 식별될 수 있다. 로봇은 로봇 지도 상에서의 그 위치 및 3D 깊이 카메라의 위치 및 배향을 회신할 수 있다. 프로세서는 비디오 스크린 상의 어느 픽셀이 지반 평면(ground plane)을 나타내는지를 결정하기 위해 로봇의 위치와 머리의 카메라의 운동학적 상태(예를 들면, 팬 및 틸트 각도)를 사용할 수 있다. 즉, 프로세서는 비디오 피드 상에서 각 지반면 픽셀에 대한 좌표를 산출하기 위해 로봇 위치와 비디오 피드의 관점을 이용할 수 있다. 운행 가능 영역을 나타내는 백색 픽셀은 그 다음에 비디오 피드 상의 지반면 픽셀에 오버레이될 수 있다. 따라서, 로봇 및/또는 로봇을 제어하는 사용자는 백색 픽셀을 따라감으로써 운행 가능 영역을 식별할 수 있다. 다른 양태의 실시예에서는, 다른 색의 픽셀 또는 다른 식별 마크가 사용될 수 있다. 백색 픽셀 대신에 다른 형태의 데이터 구조 또는 마크가 사용될 수 있다. 특히, 로봇의 POV(관점)에서, 운행 가능한 지반면 픽셀의 좌표는 로봇이 인식할 수 있도록 구성되는 한 임의의 다양한 방식으로 태그화될 수 있다.
사용자는 운행 가능한 영역(616)에서 로봇 목적지(618)를 선택할 수 있으며, 이는 원격현전 소프트웨어 애플리케이션(601)으로 하여금 선택된 로봇 목적지(618)에 대응하는 위치로 이동하도록 로봇(100)에 구동 명령을 발하게 한다. 도시된 예에서, 사용자 인터페이스(605)의 원격 비디오 피드 윈도우(610)는 병원의 병실에서 로봇(100)의 원격 운행 뷰(612b)를 제공한다. 사용자는 로봇 목적지(618)를 환자의 침대 옆 병실 내의 위치로 선택한다. 원격현전 소프트웨어 애플리케이션(601)은 원격 운행 뷰(612b) 상의 선택된 로봇 목적지(618)와 대응하는 로봇 지도 위치(824) 사이의 (동일 차원내 및/또는 차원들 간에) 왜곡을 결정하기 위해, 평면도 지도(810), 로봇 지도(820), 3차원 지도(705), 2차원 (또는 2.5D 하이브리드) 높이 지도(707), 및/또는 저장된 이미지 데이터(701)를 사용할 수 있다. 원격현전 소프트웨어 애플리케이션(601)은 그 다음에 이동 중인 사람들과 같은 임의의 장애물을 회피하도록 그 센서 시스템(400) 및 거동 시스템(510a)을 사용하여, 로봇 지도 위치(824)로 자율적으로 또는 반자율적으로 이동하도록 로봇(100)에 구동 명령을 발할 수 있다.
일례에서, 로봇 API 호출로부터 PNG, JPG, 또는 TIFF 이미지와 같은 이미지로서 지도가 반송될 수 있다. 로봇은 이미지 내의 장애물의 윤곽을 형성하는 픽셀(예를 들면, 검정색 픽셀)을 검출하기 위해 이미지를 처리할 수 있다. 장애물의 윤곽을 형성하는 픽셀을 처리하기 위해 곡선 맞춤(curve fitting) 알고리즘이 사용될 수 있다. 산출되는 곡선(들)은 그 다음에 장애물 지도를 생성하는데 사용될 수 있다. 장애물 검출을 더 향상시키고 및/또는 검출된 장애물 윤곽에 맞는 곡선의 정확도를 향상시키기 위해 추가 처리가 행해질 수 있다. 예를 들면, 곡선이 닫혀져서는 원과 유사한 형상을 형성하면, 장애물 지도는 단순히 원을 그 대체부로 사용할 수 있다. 유사한 아이디어가 직사각형 또는 타원형과 같은 형상, 사람, 얼굴, 및/또는 다양한 관점으로부터 알려진 물체의 형상의 데이터베이스에 근접한 물체에 적용될 수 있다.
사용자 인터페이스(605)는 센서 시계(442, 452) 내(3차원 이미징 센서의 시계(452) 및/또는 레이저 스캐너 시계(442) 내)의 장애물의 근접도를 디스플레이하는 근접 센서 윈도우(670)를 제공할 수 있다.
몇몇 구현예에서, 사용자는 회피 태그(662, 662i)를 사용하여 원격 비디오 피드 윈도우(610) 및/또는 평면도 지도 윈도우(620)(도시하지 않음) 상의 보호 영역/구역을 표시할 수 있다. 보호 구역은 로봇(100)에 의해 물체(12)로 처리될 수 있으며, 그에 따라 보호 구역은 자율 운행 중에 회피될 수 있다. 보호 구역은 정교한 장비 주변에 넓은 간격을 형성하는 것을 돕기 위해, 또는 로봇이 이러한 영역을 확실히 회피하도록 하기 위해 사용될 수 있다. 사용자는 태깅 뷰(tagging view: 660)의 평면도 지도(810) 상에 또는 원격 운행 뷰(612b) 상에 회피 태그(662, 662i)를 배치할 수 있다. 또한, 사용자는 원격 운행 뷰(612b)에 다른 태그(662)를 배치할 수 있다. 원격현전 소프트웨어 애플리케이션(601)은 원격 운행 뷰(612b)와 평면도 지도(810) 및/또는 로봇 지도(820) 사이에 왜곡을 해석할 수 있으며, 그에 따라 로봇 지도(820)을 업데이트할 수 있다.
예를 들면, 평면도 지도와 비디오 피드 사이에 왜곡을 결정하는 것은 운행 뷰(612b), 평면도 지도(810), 및/또는 로봇 지도(820) 중 임의의 것의 좌표 지점들 사이에 변환 매핑을 생성하는 것을 포함할 수 있다. 비디오 피드에서 지반면의 제한 영역을 오버레이하는 것과 유사하게, 2차원 지도의 지반면은 로봇에 의해 제공된 비디오 피드에서 검출된 지반면에 효과적으로 좌표 매핑될 수 있다.
도 11b는 선택된 로봇 목적지(618)로의 로봇 운행(예를 들면, 반자율)의 방법에 대한 동작의 예시적인 배열(1100)의 플로우차트를 도시한다. 본 방법은 로봇(100)의 시계(322, 442, 452) 내의 운행 가능 영역(616)을 식별하는 단계(1102)를 포함한다. 운행 가능 영역(616)의 식별은 로봇(100)의 센서 시스템(400)을 사용하여 달성될 수 있다. 본 방법은 예를 들면, 원격 운행 뷰(612b) 상에 경계지어진 영역(예를 들면, 색상 또는 패턴이 채워진 강조된 경계)을 디스플레이함으로써, 사용자 인터페이스(605) 상에 운행 가능 영역(616)을 시각적으로 표시하는 단계(1104)를 또한 포함한다. 본 방법은 로봇 목적지(618)의 사용자 선택을 수신하는 단계(1106)와 로봇 목적지(618)가 식별된 운행 가능 영역(616) 내에 있는지 여부를 판단하는 단계(1108)를 포함할 수 있다. 로봇 목적지가 식별된 운행 가능 영역(616) 밖에 있으면, 본 방법은 사용자에게 운행 가능 영역(616) 내의 유효한 로봇 목적지(618)를 촉구하는 단계(1110)를 포함한다. 로봇 목적지(618)가 식별된 운행 가능 영역(616) 내에 있으면, 본 방법은 로봇 목적지(618)로의 경로를 결정하는 단계(1112)를 포함할 수 있다. 이는 원격 운행 뷰(612b)와 로봇 지도(820) 사이의 왜곡을 결정하는 것과 그리고 나서 선택된 로봇 목적지(618)에 대응하는 로봇 지도 위치(824)를 해석하는 것을 수반할 수 있다. 본 방법은 로봇(100)이 로봇 목적지(618)로 (자율적으로 또는 반자율적으로) 운행하게 하는 단계(1114)를 포함한다.
도 11c와 도 11d는 사용자가 운행 가능 영역(616) 너머로 또는 (실제 또는 로봇(100)이 인식한) 장애물(1120)에 로봇 목적지(618)를 선택한 경우의 예시적인 원격 운행 뷰(612b)를 도시한다. 도 11c에 도시된 예에서는, 사용자가 인식된 장애물(1120a), 즉 램프(1122)에 로봇 목적지(618)를 선택하였다. 원거리에서, 로봇 센서(400)는 램프(1122)를 장애물로 인식할 수 있는데, 이는 원거리에서는 램프(1122)가 로봇(100)의 한계치 통과 높이보다 높은 인식된 높이를 갖고 있을 수 있기 때문이다. 또한, 로봇 거동 시스템(510a)은 한계치 통과 높이보다 더 높은 높이를 갖는 장애물을 나타내는 센서 시스템(400)의 센서 신호로 인해 야기된 센서 결과에 응답하여 ODOA 거동(512c)를 실행할 수 있다. 평면도 지도(810) 및/또는 로봇 지도(820)를 사용하여, 로봇(100)은 환경에 대한 그 로컬 인식이 부정확할 수 있다는 것과, 램프(1122)는 실제 장애물이 아니라 인식된 장애물(1120a)이라는 것을 결정할 수 있다.
램프(1122)가 운행 가능 영역(616) 내에 있기는 하나, 원격현전 소프트웨어 애플리케이션(601)은 램프(1122) 상의 로봇 목적지(618)는 정지하기에는 안전하지 않은 위치에 있음을 결정할 수 있다. 원격현전 소프트웨어 애플리케이션(601)은 경고 대화상자(alear dialog box: 1130)를 디스플레이하여, 선택된 로봇 목적지가 정지하기에는 안전하지 않음을 알릴 수 있다. 도시된 예에서, 경고 대화상자(1130)는 사용자가 로봇 목적지(618)로 램프(1122)를 선택하였다는 것을 나타내며, 램프(1122) 바로 직전의 대안적인 로봇 목적지(619)를 제안한다. 로봇(100)을 램프(1122) 상에 정지시키는 것은, 로봇(100)이 넘어지거나 램프(1122)를 굴러내리게 되면 로봇(100) 근처의 사람들과 로봇(100) 그 자체에 위험할 수 있다. 로봇 목적지(618)가 램프(1122) 상에 있음을 결정함으로써, 원격현전 소프트웨어 애플리케이션(601)은 이러한 로봇 목적지(618)를 금지하고 및/또는 안전한 대안적인 목적지(619), 본 경우에는 램프(1122) 직전을 제안할 수 있다.
도 11d를 참조하면, 사용자가 실제 장애물(1120b)를 선택하면, 원격현전 소프트웨어 애플리케이션(601)은 경고 대화상자(1130)를 디스플레이하여, 선택된 로봇 목적지(618)가 운행 가능 영역(616)의 외부에 있거나 또는 장애물(1120)임을 알릴 수 있다. 도시된 예에서, 경고 대화상자(1130)는 사용자가 장애물(1120b)을 로봇 목적지(618)로 선택하였음을 나타내고, 장애물(1120b) 바로 직전을 대안적인 로봇 목적지(619)로 제안한다.
도 12를 참조하면, 몇몇 구현예에서, 원격현전 소프트웨어 애플리케이션(601)의 사용자 인터페이스(605)에 의해 디스플레이되는 원격 운행 뷰(612b)는 사용자로 하여금 로봇 경로(652)를 운행 가능 영역(616) 내의 선택된 로봇 목적지(618)로 특정할 수 있게 한다. 사용자는 다양한 입력 장치를 사용하여 로봇 경로(652)를 특정할 수 있다. 예를 들어, 터치 스크린 디스플레이 상에서, 사용자는 현재의 로봇 위치를 나타내는 로봇 아이콘(650)으로부터 로봇 목적지(618)로 그 손가락 또는 스타일러스를 드래그할 수 있다. 다른 예에서, 사용자는 규정된 로봇 경로(652)를 따라 (예를 들면, 마우스 또는 터치 동작을 이용하여) 로봇 아이콘(650)을 로봇 목적지(618)로 드래그할 수 있다. 도시된 예에서, 사용자는 이 사용자로 하여금 운행 가능 영역(616) 내에서 행해지는 동작은 로봇 경로(652)로 해석되어야 한다는 것을 나타낼 수 있게 하는, 사용자 인터페이스(605) 상의 경로 설정 버튼(set path buttong: 1202)을 선택할 수 있다. 사용자는 원격 비디오 피드 윈도우(610) 내에서 로봇 경로(652)를 추적할 수 있다. 유사하게, 사용자는 지도 윈도우(620)에 2차원 지도(622a)로서 디스플레이된 평면도 지도(810) 상에 로봇 경로(652)를 선택할 수 있다. 로봇 경로(652)를 설정하고 난 후에, 사용자는 로봇(100)이 움직이도록 하기 위해 진행 버튼(go button: 1204)을 누를 수 있다. 유사하게, 로봇(100)의 동작을 멈추기 위해 정지 버튼(1208)이 사용될 수 있다. 경로 해소 버튼(clear path button: 1206)은 원격 운행 뷰(612b)로부터 설정된 로봇 경로(652)를 삭제하거나 해소할 수 있다.
디스플레이 윈도우는 마우스가 위로 이동하면 드러나는 플라이아웃(fly-out) 아이콘 패널을 포함할 수 있다. 예를 들면, 이 아이콘 패널은 윈도의 좌측 상단으로부터 튀어나온다. 이 아이콘 패널은 사용자로 하여금 수동 구동, 구동 클릭, 및 머리 이동 아이콘을 선택할 수 있게 한다. 일 실시예에서, 사용자는 스페이스 바(space bar)를 사용하여 차례로 아이콘들을 바꿀 수 있다. 수동 구동은 사용자로 하여금 목적지 클릭 및/또는 경로 클릭 및 드래그를 할 수 있게 한다. 지도 상에 경로를 그리고 난 후에, 사용자는 (마우스의) 우측 버튼을 클릭하여 팝업 메뉴로부터 "경로 저장"을 선택할 수 있다. 이들은 경로에 대한 이름을 줄 수 있다. 나중에 사용자는 "경로 불러오기"를 할 수 있으며, 로봇은 경로의 시작점으로 운행하고는 지정된 경로를 따라 목적지로 운행하게 된다. 경로는 태그 좌표와 태그 정보를 포함하는 태그 데이터 구조로 저장될 수 있다. 태그 경로는 그 길을 따라 복수의 정류점(stop: 정지점)을 포함한다. 경로를 그릴 때, 사용자는 경로를 따라서 중간 지점(way points)을 나타낼 수 있다. 몇몇 실시예에서, 중간 지점은 정지 사인을 포함하는 태그 주석에 의해 표현될 수 있다. 나중에 경로를 이동할 때, 하나의 중간 지점에 이름에 따라, 로봇은 "정지" 버튼을 반짝일 수 있으며, 그러면 경로는 연한석으로 되고 및/또는 반투명으로 될 수 있다. 이 지점에서 사용자는 참고하여 로컬 구동(local driving)을 행할 수 있으며, 그리고 나서 경로를 재개하기 위해 "진행" 버튼을 클릭한다. 따라서, 내과의는 선호하는 순서로 및 미리 계획된 경로로 모든 호실과 부서를 들르는, 그 저녁 회진을 위한 경로를 저장할 수 있다.
머리 모드(head mode)에서, 사용자는 로봇의 머리(상부)를 상자(박스)의 중심에 또는 상자 내의 물체에 중심을 맞추기 위해 비디오 피드의 일부에 상자 또는 윤곽선을 그릴 수 있다. 또한, 사용자는 로봇의 머리(상부) 및/또는 로봇 전체의 진행방향을 변경하기 위해 하나의 위치를 클릭할 수 있다. 로봇의 베이스(하부) 및 머리(상부)를 독립적으로 제어하기 위해 다양한 버튼 및 주변 제어 토글(toggle)이 사용될 수 있다. 예를 들어, 머리 모드에서 시프트 키를 누르고 있으면, 커서가 스크린 상에서 손모양 아이콘(hand icon)으로 되게 하며 사용자로 하여금 머리의 관점(viewpoint)을 잡아서 드래그할 수 있게 한다.
몇몇 실시예에서, 로봇의 운행을 제어하기 위해 별모양 아이콘(star icon)이 사용될 수 있다. 별모양 아이콘은 임의의 다양한 지도에 디스플레이될 수 있으며, 로봇의 방향 및/또는 속도를 변경하기 위해 사용자에 의해 선택적으로 이동될 수 있다. 별모양 아이콘 대신에 다른 아이콘도 사용될 수 있다.
도 12로 돌아가면, 가상 조이스틱 윈도우(680)는 원하는 경로(652)를 특정하기 위해 또는 로봇(100)을 수동으로 제어하기 위해 다른 입력 장치를 제공할 수 있다. 가상 조이스틱 윈도우(680)는 로봇 배향 지시기(robot orientation indicator: 682)와 운행 벡터(684)를 디스플레이할 수 있다. 사용자는 운행 벡터(684)를 사용하여 로봇(100)의 방향 및 속도를 제어할 수 있다. 가상 조이스틱은 태블릿 컴퓨터와 같이 마우스 또는 종래의 조이스틱을 전형적으로 구비하지 않을 수 있는 장치의 사용자에 의한 로봇(100)의 제어를 용이하게 할 수 있다.
가상 조이스틱 윈도우(680)에는 "스티칭된(stitched)" 비디오 이미지가 디스플레이될 수 있다. "스티치" 비디오 및 이미지는 로봇(100)의 전방에 있는 라이브 다운로드 포인팅 카메라(320, 450)를 사용해서 및 로봇(100)의 후방에 있는 라이브 다운로드 포인팅 카메라를 사용하여 생성될 수 있다. 사용자는 로봇의 이동 방향 및 구동 속도를 특정하기 위해 로봇 동작 지시기(686) 위를 (예를 들면, 마우스 또는 터치 동작을 사용하여) 잡아서 드래그할 수 있다. 가상 조이스틱 윈도우(680)로부터 로봇(100)을 구동하는 것은 마우스 기반의 또는 가상 조이스틱 구동을 위한 원격 비디오 피드 윈도우(610)를 사용하는 것보다 이점을 갖는다. 구체적으로 이러한 뷰(view)는 사용자가 원격 비디오 피드 윈도우(610)에 디스플레이된 비디오 피드를 사용하여 로봇(100)을 구동할 때 겪을 수 있는 로봇 머리(160)의 회전에 의거한 인식 문제, 깊이 정보의 결여, 및 렌즈 왜곡을 저감할 수 있다.
사용자로 하여금 원격 비디오 피드 윈도우(610) 내에서 원하는 경로를 특정할 수 있게 하는 것 외에, 사용자는 지도 윈도우(620)에 디스플레이된 지도(622) 상에서 로봇 경로(652)를 특정할 수 있다. 평면도 지도(620)에서 로봇 경로(652)를 특정하는 것은 로봇(100)으로 하여금 더 먼 거리에 걸쳐서 운행할 수 있게 하며, 그에 따라 로봇(100)이 이동 중일 때에는 사용자가 다른 업무를 행할 수 있도록 자유롭게 할 수 있다. 지도 윈도우(620)에 도시된 지도(622)의 디스플레이되는 영역과 줌(zoom)을 조작하기 위해 다양한 제어가 또한 제공될 수 있다. 슬라이더(1210)를 사용하여 원하는 줌을 특정할 수 있으며, 원하는 영역은 영역 팬 제어(area pan control: 1212)를 사용하여 디스플레이될 수 있다.
따라서, 비전문적인 사용자도 다양한 운행 방법 및 제어의 임의의 조합을 사용하여 하나의 위치로부터 다른 위치로 운행할 수 있다. 예를 들면, 장거리 이동에서, 사용자는 평면도 지도 상의 목적지를 클릭할 수 있고, 로봇은 자율적으로 그 선택된 위치로 운행할 수 있다. 중거리 이동에 있어서, 사용자는 로봇의 시계 내의 위치의 비디오 윈도우 내의 목적지를 선택할 수 있다. 근거리 이동에 있어서, 사용자는 마우스, 조이스틱, 가상 조이스틱, 또는 메타-조이스틱을 사용하여 로봇의 운행 경로, 회전, 머리의 이동 등을 수동으로 제어할 수 있다.
도 13은 사용자에 의해 선택 가능한 하이퍼태그(hyper-tag)(1310) 및/또는 문맥 민감 명령(context sensitive command)을 받아들이는 원격 운행 뷰(612b)를 디스플레이하는, 최대화된 원격 비디오 피드 윈도우(610)를 갖는 원격현전 소프트웨어 애플리케이션(601)의 예시적인 사용자 인터페이스(605)를 도시한다. 사용자 인터페이스(605)는 로컬 비디오 윈도우(630) 및 원격 비디오 피드 윈도우(610) 상에 오버레이된 평면도 지도 윈도우(620)를 포함한다. 도시된 예에서, 평면도 지도 윈도우(620)는 3차원 지도(622c)를 디스플레이한다. 3차원 지도(622c)는 로봇(100)으로 하여금 3차원 지도(612c) 상의 선택된 로봇 목적지(618)로 반자율적으로 운행하도록 하기 위해 사용자에 의해 이용될 수 있다. 몇몇 구현예에서, 원격 운행 뷰(612b)에는 가상의 3차원 그리드(1302)가 디스플레이된다. 평면도 지도(810)와 로봇 지도(820) 사이에 산출된 왜곡을 이용하여, 원격현전 소프트웨어 애플리케이션(601)은 3차원 지도(622c)를 오버레이하기 위해 라이브 비디오 피드에서 바닥 표면(5)의 위치를 결정할 수 있다. 사용자는 로봇(100)이 선택된 그리드 스퀘어(grid square:1304)로 자율적으로 운행하도록 하기 위해 가상 그리드(virtual grid:1302) 상에 그리드 스퀘어(1304)를 로봇 목적지(618)로 선택할 수 있다. 가상의 3차원 그리드(1302)는 로봇(100)의 위치 설정에 있어서 개선된 정확도를 가능케 할 수 있다.
도시된 예에서, 문맥 민감 동작을 제공하는 다양한 하이퍼태그(태그)(1310)가 사용자에게 디스플레이 및 이용가능할 수 있다. 문맥 민감 동작은 접근 명령(approach command: 1312) 및 추종 명령(1314)을 포함한다. 이들 문맥 민감 동작은 로봇(100)의 시계(322, 442, 452) 내에 사람(1330)의 식별시에 생성될 수 있다. 사용자는 사람(1330)의 앞에 로봇(100)을 위치시키기 위해 접근 명령(1312)을 불러올 수 있다. 접근 명령(1312)은 로봇 거동 시스템(510a)에 의한 접근 거동(512a)(도 5)의 실행을 유발할 수 있으며, 이로써 로봇(100)은 그 센서 시스템(400)을 사용하여 (예를 들면, 안면 인식을 사용하여) 사람(1330)을 식별하여 그 식별된 사람(1330)에 마주하도록 구동한다. 사용자는 사람(1330)의 뒤로 로봇(100)을 구동하여 3 피트(약 9.1m) 떨어져서 따라가도록 추종 명령(1314)을 불러올 수 있다. 추종 명령(1314)은 로봇 거동 시스템(510a)에 의한 사람 추종 거동(512b)(도 5)의 실행을 유발할 수 있으며, 이로써 로봇(100)은 그 센서 시스템(400)을 사용하여 (예를 들면, 안면 인식을 이용하여) 사람(1330)을 식별하고는 그 식별된 사람(1330)을 따라가도록 구동한다. 몇몇 예에서, 로봇(100)은 안면 인식 루틴을 이용하여 그 시계(322, 442, 452) 내의 개인들을 검출할 수 있다. 개인을 식별하는 라벨(1340)이 디스플레이될 수 있다. 예를 들면, 정보는 성명, 직위, 직업, 주소, 사업지 주소, 이메일 주소, 웹 페이지 주소, 사용자 노트 등을 포함할 수 있다.
원격현전 소프트웨어 애플리케이션(601)은 디스플레이된 2차원 지도(622a)와 로봇 카메라(320)에 의해 캡쳐된 1인칭 비디오 피드 사이에 왜곡을 결정할 수 있다. 이러한 왜곡을 결정하는 것은 2차원 지도와 3차원 "지도" 사이에 좌표 변환을 결정하는 것을 포함할 수 있다. 사용자가 원격 비디오 피드 윈도우(610)의 원격 뷰(612) 상에 또는 지도 윈도우(620)의 2차원 지도(622a) 상에 태그(662) 및/또는 (태그를 포함할 수 있는) 하이퍼태그(1310)을 배치하면, 원격현전 소프트웨어 애플리케이션(601)는 대응하는 비디오 좌표 또는 평면도 지도 좌표를 각각 결정하고, 결정된 비디오 또는 지도 뷰 좌표를 사용하여 각각 디스플레이된 원격 뷰(612)(즉, 1인칭 비디오 피드) 또는 지도(622) 상에 태그(662) 또는 하이퍼태그(1310)와 결부된 태그 주석을 오버레이하기 위해, 태그(610) 및/또는 하이퍼태그(1310)와 결부된 태그 지도 좌표에 왜곡을 적용할 수 있다. 다양한 실시예에서, 태그 주석의 3차원 표현은 원격현전 로봇의 현재 위치 및 비디오 피드에 대한 태그의 관점에 기초하여 동적으로 재렌더링(re-rendering)될 수 있다. 따라서, 로봇의 머리(상부)가 패닝되거나 틸팅될 때와 같이, 로봇의 위치 및/또는 라이브 비디오 피드의 관점이 바뀌게 되면, 태그 주석은 동적으로 재렌더링될 수 있다. 램프에 대응하는 태그 주석은 바닥에 대해 비디오 피드에 오버레이될 수 있다. 유사하게, 벽에 있는 물체와 결부된 태그 주석은 물체 또는 벽에 대해 오버레이될 수 있다.
본 명세서에서 기술된 바와 같이, 태그는 로봇 동작 수정부를 포함하는 태그 정보를 포함할 수 있다. 태그는 로봇 조종자, 로컬 터미널, 또는 리모트 원격현전 로봇에 의해 해석될 수 있으며, 로봇으로 하여금 미리 설정된 동작을 실행하게 할 수 있다. 예를 들면, 로봇 동작 수정부는 로봇이 특정 영역에는 들어가지 않도록, 소정 영역은 서행으로 통과하도록, 소정 영역은 신속하게 통과하도록, 아주 조심을 하도록, 및/또는 다른 동작을 행하게 할 수 있다. 태그는 무선 통신 신호의 가용성, 리모트 원격현전 로봇이 이동해야 하는 속도, 관심 지점의 위치, 사람의 위치, 도킹 스테이션의 위치, 휴지 영역의 위치, 유리 벽의 위치, 램프의 위치, 물체의 위치, 조밀한 영역을 운행하기 위한 최적의 경로, 혼잡 영역을 운행하기 위한 최적의 경로, 및 리모트 원격현전 로봇이 실행해야 하는 동작과 같은 임의의 매우 다양한 정보를 포함할 수 있다. 태그는 사용자에 의해, 터미널에 의해 자동으로, 로봇에 의해 자동으로, 및/또는 터미널 및/또는 로봇에 의해 수집된 이력 데이터에 응답하여 생성될 수 있다.
로봇은 운행 경로를 따라서 맞닥뜨리는 태그 좌표를 갖는 태그를 식별하도록 구성된 태그 식별 시스템을 포함할 수 있다. 로봇은 태그 좌표가 로봇의 로컬 인식 공간 내에 있고 및/또는 태그 좌표가 목적, 계획된 운행 경로, 또는 운행 경로의 기획에 연관될 때 태그에 "맞닥뜨릴(encounter)" 수 있다. 따라서, 태그 식별 시스템은 로봇이 태그의 태그 좌표에 아직 근접하지 않은 및/또는 결코 근접하지 않는 경우에도 운행 경로를 따라서 태그에 "맞닥뜨릴" 수 있다.
로봇 및/또는 로봇의 운행 경로를 결정하는 원격 터미널은 운행 경로에 영향을 줄 수 있는 태그 또는 잠재적인 태그를 참작할 수 있다. 따라서 태그 식별 시스템은 운행 경로의 결정 시에 잠재적인 운행 경로를 따라서 있을 것으로 예측되는 태그 좌표를 갖는 태그를 식별하는데 사용될 수 있다. 예를 들면, 원하는 목적지에 도달하는데 여러 개의 잠재적인 운행 경로가 사용될 수 있으며, 어느 운행 경로가 사용될지의 선택은 잠재적인 운행 경로 각각에 연관된 태그에 달려있을 수 있다. 복수의 잠재적인 운행 경로들 간에 선택을 하는 로봇은 어느 운행 경로가 최상의 무선 접속성을 제공하게 되는지를 결정할 수 있도록 관련 태그를 식별할 수 있다. 램프, 엘리베이터, 거리, 혼잡도, 물체와 같은 다른 요인들도 고려될 수 있다.
도시된 예시적인 사용자 인터페이스(605)에서, 대시보드 윈도우(dashboard window: 640)는 배터리 충전 상태, 무선 신호 강도 표시기, 및 서비스가 요구될 때 조명이 켜질 수 있는 부분을 갖는 로봇 윤곽을 제공한다. 옵션 윈도우(690)는 사용자로 하여금 로봇을 도킹 스테이션과 결합하거나 분리하도록 할 수 있게 소프트웨어 및/또는 로봇 옵션을 설정할 수 있게 한다.
도 14를 참조하면, 몇몇 구현예에서, 사람 추종 거동(512b)을 실행하면서, 로봇(100)은 사람(1330)을 검출, 추적, 및 따라갈 수 있다. 로봇(100)은 목(150)을 이용하여 머리(160)를 패닝 및 틸팅할 수 있기 때문에, 로봇(100)은 사람(1330)에 대한 해당 시계(452)를 유지하도록 제2의 3차원 이미지 센서(450b)를 방향 변경할 수 있다. 또한 머리(160)는 (예를 들면, 구동 시스템(200)을 사용하여) 베이스(120)보다 상대적으로 더 신속하게 움직일 수 있으므로, 머리(160)(및 그 결부된 제2의 3차원 이미지 센서(450b))는 로봇(100)을 적소로 방향을 트는 것보다 더 신속하게 사람(1330)을 추적할 수 있다. 로봇(100)은 (예를 들면, 센서의 시계에 대응하는) 한계치 추종 거리 범위(DF) 내를 유지하도록 사람(1330) 쪽으로 구동될 수 있다. 몇몇 예에서, 로봇(100)은 사람(1330)을 추적하면서 사람/사용자(1330) 쪽으로 향하도록 방향을 바꾼다. 로봇(100)은 사람(1330)을 따라가기 위해 속도 명령 및/또는 기준점 명령을 이용할 수 있다.
사람 인식 및 사람 추종과 관련된 추가적인 상세사항 및 특징은 2011년 5월 6일자로 제출된 PCT 출원 일련번호 PCT/US11/35488호에서 찾을 수 있으며, 상기 문헌은 그 전체가 본 명세서에 참고로 병합되어 있다.
도 15a와 도 15b는 다양한 정보와 결부된 하이퍼태그(1310)를 포함하며 로봇으로 하여금 특정 목적지로 자율적으로 운행하게 하는데 사용될 수 있는 평면도 지도 윈도우(620)에 디스플레이 가능한 다른 양태의 3차원 지도(622c) 및 2차원 지도(622a)를 도시한다. 하이퍼태그(1310)는 다양한 위치에 관한 정보 또는 환자와 관련된 정보를 포함할 수 있다. 사용자는 개인 노트, 공유 노트, 스케치, 그림 등과 같은 라벨(1502) 또는 마크업(mark-up: 1504)을 추가할 수 있다. 로봇 위치(1510)도 또한 식별될 수 있다. 사용자는 간호사실과 같은 로봇 목적지(1512)를 특정할 수 있다. 로봇(100)은 특정된 로봇 목적지(1512)로 자율적으로 운행할 수 있다.
원격현전 소프트웨어 애플리케이션(601)은 물리적인 관심 영역을 나타내는 정보를 원격 비디오 뷰(612) 및/또는 지도(622)에 디스플레이할 수 있다. 예를 들면, "Pharma"라고 쓰인 풍선이 달린 작은 화살표는 약제실의 위치를 나타낼 수 있다. 이러한 풍선은 태그를 포함할 수 있다. 예를 들면, 태그는 "Pharma"라는 글자가 어디에 디스플레이되어야 하는지를 나타내는 태그 좌표; 약제실에 관련된 관련 정보와 같은 태그 정보; 및 "Pharma"라는 글자의 2차원 및/또는 3차원 그래픽 표현과 같은 태그 주석을 포함할 수 있다. 몇몇 예에서, 사용자는 그 영역 위로 마우스를 움직이거나 또는 동작을 취함으로써 임의의 대응하는 가용 정보가 디스플레이되게 함으로써, 근처의 호실 주변에서 어떤 정보가 이용 가능한 지를 결정할 수 있다. 이러한 정보에 의해, 사용자는 원격 운행 뷰(612b)(도 12)에서 로봇 목적지(618)를 선택함으로써 목적지(예를 들면, 약제실)로 가도록 신속하게 선택할 수 있다.
예를 들어, 일례에 따르면, 로봇 또는 원격 터미널은 로봇 지도와 결부된 태그에 대응하는 태그 좌표를 검색할 수 있다. 로봇 위치를 이용하여, 로봇 근처에 있는 태그가 식별될 수 있다. 로봇의 시계 내에 있는 태그는 로봇의 머리(상부)의 배향을 이용하여 식별될 수 있다. 로봇 및/또는 원격 터미널은 그리고 나서 비디오 스크린 상에 있는 픽셀들 모두에 대해 한 세트의 좌표를 계산하고, 로봇의 위치 및 로봇의 현재 머리의 배향(팬 및/또는 틸트)에 의해 제공된 관점을 기초로 시선(line of sight) 내의 각 태그와 결부된 태그 주석을 렌더링할 수 있다. 몇몇 실시예에 따르면, 비디오 피드와 평면도 지도 사이의 공간 연동(spatial linkage)을 위한 표준 좌표계로서 DH 매개변수(Denavit-Hartenberg parameters)가 사용될 수 있다.
다시 도 8e를 참조하면, 사용자 인터페이스(605)의 태깅 뷰(660)는 사용자로 하여금 관심 위치를 지정하고 및/또는 평면도 지도(810)에 장애물, 선호되는 로봇 이동 경로 등과 같은 정보를 마크하기 위해 평면도 지도(810)에 태그(662)를 배치할 수 있게 한다. 도 13을 또한 참조하면, 사용자는 여러 위치에 문맥 민감 정보를 마크하기 위해 원격 운행 뷰(612b) 상에 하이퍼태그(1310)를 배치할 수 있다. 지도 데이터 소스(1620)는 배치 지도 및/또는 로봇 지도 정보와 함께 태깅 및 하이퍼태그 정보(예를 들면, 위치, 태그 식별자, 태그 내용)을 저장할 수 있다. 본 명세서에서 사용되는 바와 같이, 하이퍼태그는 태그로 실시될 수 있으며, 본 명세서에서 기술되는 바와 같이 태그와 유사한 데이터 구조를 사용할 수 있다.
사용자로 하여금 사용자 인터페이스(605)에 태그(662)와 하이퍼태그(1310)을 배치할 수 있도록 하는 것에 더해 또는 이에 대신하여, 사용자는 로봇(100)의 작동 중에 사용자 특정 하이퍼태그(1310)를 입력할 수 있다. 사용자는 현재의 로봇 위치에 하이퍼태그(1310)의 삽입을 가능케 하는 명령을 불러올 수 있다. 다른 명령은 하이퍼태그(1310)의 제거를 가능케 할 수 있다. 또한, 다른 사용자(예를 들면, 간호사)는 로봇(100)의 사용자에게 보여질 수 있는 하이퍼태그(1310)를 추가하도록 허용될 수 있다. "간호사 지도 애플리케이션"은 예를 들면, 조만간에 로그인할 수 있는 의사의 관심사인 호실을 식별하기 위해 임시 하이퍼태그(1310)의 배치를 가능케 하는 탑다운 지도 또는 태깅 뷰(660)를 디스플레이할 수 있다. 또한, 어떤 하이퍼태그(1310)는 사용자 특정 및/또는 시간 특정일 수 있다. 예를 들면, 병실의 뇌졸중 환자는 악화 조짐을 보이고 있을 수 있다. 간호사는 "간호사 지도 애플리케이션"을 불러서는 지도 상에서 그 병실을 찾고는 하이퍼태그(1310)를 입력할 수 있다. 간호사는 다음과 같이 하이퍼태그를 채울 수 있다: hyper-tag_name = "뇌졸중 환자 악화중" user_specific = "Dr. Reynolds(레이놀즈 의사)", duration(지속시간) = 1시간. 그래서, 레이놀즈 의사가 1시간 내에 로그인하면, 추가적으로 "뇌졸중 환자 악화중"을 나타내는 지도 상의 환자의 병실과 결부된 하이퍼태그(1310)를 볼 수 있게 된다. 그 건물에 접근함에 따라, 그는 "뇌졸중 환자 악화중"이라는 라벨이 붙은 비디오 스트림으로 그 방을 가르키는 하이퍼태그(1310) 팝업도 또한 볼 수 있다. 다른 의사는 이러한 라벨을 보지 않게 되며, 레이놀즈 의사는 그 첫 1시간 동안에만 이들을 볼 수 있게 된다.
의사도 그의 업무 계획을 보조하기 위해 로컬 또는 원격 스테이션 인터페이스(606, 608)에 직접 임시 북마크 및 리마인더(reminder) 하이퍼태그(1310)를 설정할 수 있다. 몇몇 예에서, 의사는 회진의 개시시에 여러 환자의 병실에 번호를 할당할 수 있다. 회진 동안에, 의사는 어느 순서로 그가 환자(614)를 방문해야 하는지를 상기시키기 위해 디스플레이된 지도(622) 및 팝업 하이퍼태그(1310)에 있는 번호들을 볼 수 있다. 의사는 회진 또는 다음의 재회진시에 리마인더를 통해서 볼 수 있는 노트, 예를 들면 한 환자에게는 "회진 종료시 다시 올 것", 또는 "처방전 쓸 것" 또는 "오후 4시에 다시 체크인"을 추가할 수 있다.
추가적으로, "스마트" 하이퍼태그(1310)가 자동으로 디스플레이될 수 있다. 예를 들면, 간호사는 그 전자 진료 기록과 상호참조된 (예를 들면, 로컬에 및/또는 클라우드 스토리지(722)에 저장된) 데이터베이스에 접수하는 환자들(614)의 사진을 입력할 수 있다. 원격현전 소프트웨어 애플리케이션(601)은 데이터베이스에 상호참조될 수 있는 환자들(614, 1330)을 식별하기 위해 로봇 카메라(320)에 의해 캡쳐된 비디오 스트림에 안면 인식 알고리즘을 실행할 수 있다. 환자의 얼굴의 인식시에, 원격현전 소프트웨어 애플리케이션(601)은 자동으로 그 환자의 전자 진료 기록을 끌어내서 디스플레이할 수 있다.
다시 도 14를 참조하면, 몇몇 구현예에서, 각 환자(614, 1330)는 손목 밴드와 같은 RFID(radio frequency identification) 칩(497)을 받는다. 로봇(100)은 RFID 칩을 통해서 근처의 환자를 인식할 수 있도록 그 센서 시스템(400)의 일부로서 제어기(500)와 통신 상태에 있는 RFID 리더(498)을 구비할 수 있다. 원격현전 소프트웨어 애플리케이션(601)은 환자가 로봇(100)의 RFID 범위(예를 들면, 6피트(약 1.83m)) 내로 들어오면 대응하는 하이퍼태그를 디스플레이할 수 있다. RFID는 특정 방향(방향성)을 갖는 것이 아니므로, 하이퍼태그(1310)는 공중에 떠 있는 것처럼 보일 수 있다. 다른 양태의 혼성 방법은 사람의 얼굴을 인식하고, 그리고 나서 RFID 매치가 그 환자에 속한다고 가정하고는 환자(614, 1330)에 있는 하이퍼태그(1310)를 로컬화함으로써, 로봇(100)의 시계(322) 내에서 환자(614, 1330)의 존재를 식별하기 위해 컴퓨터 비젼 기법을 사용할 수 있다.
도 16a 내지 도 16d를 참조하면, 몇몇 구현예에서, 로봇 시스템(1600)은 브리지(602)와 통신 상태에 있는 하나 이상의 원격현전 로봇(100)을 포함하며, 브리지(602)는 로컬 로봇 종점 서버(604a) 및 (예를 들면, 클라우드 컴퓨팅 서비스(720(도 7)와 같은) 원격 종점 서버(604b)와 통신을 행한다. 로컬 로봇 종점 서버(604a)는 로컬 기술자 전산 장치(606)와 통신을 하고, 원격 종점 서버(604b)는 원격 조종자 전산 장치(608)과 통신을 한다. 로봇 시스템(1600)은 로봇 센서 시스템(400)으로부터 수신된 센서 데이터 및/또는 웹 패드(310) 및/또는 사용자 인터페이스(605)를 통하여 사용자로부터 얻어진 정보와 같은 사용자 상호작용 데이터를 저장하기 위한 하나 이상의 데이터 소스(1610)를 또한 포함한다. 도시된 예에서, 로봇 시스템(1600)은 센서 데이터를 저장하기 위한 적어도 하나의 로봇 센서 데이터 소스(1610a)와 사용자 상호작용 데이터를 저장하기 위한 적어도 하나의 헤드 데이터 소스(1610b)를 포함한다. 데이터 소스(1610)는 로봇(100), 클라우드 스토리지(722)(도 7), 로컬 로봇 종점 서버(604a), 및/또는 원격 종점 서버(604b)에 에 상주할 수 있다.
로봇(100), 클라우드 스토리지(722), 로컬 로봇 종점 서버(604a), 및/또는 원격 종점 서버(604b)에 저장된 데이터베이스와 같은, 지도 데이터 소스(1620)는 평면도 지도(810), 로봇 지도(820), 태그(662) 정보, 및/또는 하이퍼태그(1310) 정보를 위한 정보를 저장할 수 있다. 지도 데이터 소스(1620)는 단일의 데이터베이스일 수도 있고, 또는 로봇 센서 데이터 소스(1610a) 및 헤드 데이터 소스(1610b)와 같은 데이터 소스(1610)의 조합일 수도 있다. 원격현전 소프트웨어 애플리케이션(601) 및/또는 로봇(100)(예를 들면, 제어기(500))은 실시간 또는 오프라인 콘코던스 처리(concordance processing)를 실행하고, 사용자 인터페이스 피드백을 제공하며, 운행 루틴을 수행하고, 지도(622)를 렌더링 하는 등을 위해 지도 데이터 소스(1620)에 액세스할 수 있다.
몇몇 구현예에서, 로봇(100)의 제어기(500) 상에서 실행되는 제어 시스템(510)은 거동 시스템(510a)에 의해 인식 가능한 이벤트를 발하기 위해, 로봇 센서 데이터 소스(1610a), 헤드 데이터 소스(1610b), 및/또는 지도 데이터 소스(1620)와 같은 하나 이상의 데이터 소스(1610)에 액세스한다. 발생된 이벤트에 대응하여, 거동 시스템(510a)은 로봇 리소스(530)(도 5) 상의 리소스 제어 아비터(560)에 의해 실행되는 명령의 선택에 영향을 미치는 하나 이상의 거동(512)을 실행할 수 있다. 도 16c에 도시된 예에서, 로봇 제어 시스템(510)은 콘코던스(concordance) 매트릭스/데이터베이스에 액세스하기 위해 지도 데이터 소스와(1620) 통신을 하며, 콘코던스 매트릭스/데이터베이스는 실시간 센서/플래그 데이터(1622a), 조종자 명령(1622b), 로컬 인식 공간 데이터(1622c)(예를 들면, 3차원 이미지 센서(450)로부터 수신된 체적측정 포인트 클라우드 데이터), 점유공간 비트맵 데이터(1622d)(예를 들면, 로봇 지도(820)), 평면도 데이터(1622e)(예를 들면, 평면도 지도(810)), 및 (예를 들면, x, y, z 좌표와 태그 필드를 저장하는) 최종 사용자 태그 표(1622f)와 같은 콘코던스 처리 정보를 저장할 수 있다. 도 5를 또한 참조하면, 거동 시스템(510a)의 거동(512)은 센서 시스템(400)으로부터의 센서 이벤트 및 태그 표(1622f, 1622g)에 저장된 배치된 태그(662, 1310)에 의해 발생된 (예를 들면, 센서 이벤트를 모방할 수 있는) 태그 이벤트와 같은, 발생된 이벤트에 기초하여 로봇 동작의 가능한 결과를 평가할 수 있다. 따라서 동작 선택 엔진(580)은 거동 평가에 기초하여 최상의 결과를 갖는 실행 가능한 로봇 동작을 선택할 수 있다. 그 결과, 로봇(100)은 원격현전 소프트웨어 애플리케이션(601)에 의해 수신된 태그(662, 1310)를 참작하는 방식으로 자율적으로 작동할 수 있다.
도 11c에 도시된 램프의 예를 다시 참조하면, 로봇(100)이 램프(1122)에 접근하면, 로봇 제어 시스템(510)은 센서 시스템(400)으로부터 수신된 센서 신호에 기초하여 램프(1122)를 장애물(1120)로 인식할 수 있다. 인식된 장애물(1120a)과 실제 장애물(1120b) 사이를 구별하기 위해, 제어 시스템(510)은 로봇 데이터와 사용자 데이터를 저장하는 지도 데이터 소스(1620)와 같은 공용 데이터베이스에 액세스할 필요가 있다. 지도 데이터 소스(1620)를 이용하여, 제어 시스템(510)은 검출된 램프(1122)가 실제 장애물(1220b)이 아니라 인식된 장애물(1120a)이라는 것을 결정할 수 있다. 또한, 제어 시스템(510)은 사용자가 램프(1122)를 실제 장애물(1120b)로 인식하는지 여부에 대한 사용자 입력을 수신하고 및/또는 대안적인 로봇 경로(652) 및/또는 대안적인 로봇 목적지(619)를 수신하기 위해 원격현전 소프트웨어 애플리케이션(601)과 통신할 수 있다. 원격현전 소프트웨어 애플리케이션(601)은 하이브리드 지도(622b)(도 9b)를 제공하기 위해, 2차원 지도(622a, 810)와 3차원 지도(622c) 사이, 원격 뷰(612)의 라이브 비디오 피드와 2차원 및/또는 3차원 지도(622a, 622c)의 사이에 왜곡을 해석하기 위해 지도 데이터 소스(1620)를 사용할 수 있다. 또한, 원격현전 소프트웨어 애플리케이션(601)은 평면도 지도 윈도우(620)(도 10c)의 미리보기 뷰(612a)를 렌더링하기 위해, 지도 데이터 소스(1620)를 사용할 수 있다.
다시 도 12를 참조하면, 또 다른 구현예에서, 사용자가 2차원 지도(622a), 하이브리드 지도(622b), 3차원 지도(622c), 및 원격 뷰(610) 중 하나에서 로봇 경로(652)를 선택하면, 원격현전 소프트웨어 애플리케이션(601)은 지도들(622) 중 임의의 것과 원격 뷰(612)의 사이에 왜곡을 해석하고 목적지(618)로의 구동 명령을 실행할 때 로봇 제어기(500)에 의해 사용하기 위해 로봇 지도(820) 상의 로봇 경로 지도 좌표의 해당 시퀀스를 결정하기 위해 선택된 로봇 경로에 그 왜곡을 적용하기 위해 지도 데이터 소스(1620)를 이용할 수 있다. 또한, 원격현전 소프트웨어 애플리케이션(601)은 로봇 경로(652)를 지도들(652) 중 임의의 것과 원격 뷰(612)에 디스플레이하기 위한 로봇 경로 좌표의 해당 시퀀스를 해석하기 위해 결정된 왜곡(들)을 적용할 수 있다. 지도 데이터 소스(1620)는 결정된 왜곡 및/또는 로봇 경로(622)를 지도들(652) 중 임의의 것과 원격 뷰(612)에 디스플레이하기 위한 로봇 경로 좌표의 시퀀스를 저장할 수 있다.
따라서, 본 명세서에서 사용되는 "왜곡"이라는 용어는 공간 좌표 오류, 및 서로 다른 차원의 좌표계간을 포함하는 하나의 좌표계로부터 다른 좌표계로의 변환의 차를 결정하는 것에 관련된 것으로 폭넓게 이해되어야 한다. 예를 들면, 로봇 및/또는 원격 터미널은 2차원 평면도 지도와 다양한 로봇 센서 또는 레이저 스캔을 이용하여 생성된 것과 같은, 적어도 일부가 로봇에 의해 생성된 2차원 지도 사이에 왜곡을 결정할 수 있다. 또한, 로봇 및/또는 원격 터미널은 3차원 지도 또는 비디오 피드와 2차원 평면도 지도 사이에 왜곡을 결정할 수 있다. 더욱이, 왜곡의 결정은 1인칭 시점, 3인칭 시점, 평면도 지도 시점, 하이브리드 지도 시점 간에, 및/또는 2개의 서로 다른 좌표계간, 또는 동일 좌표계 내의 관점들간에 좌표을 변환하는 것에 관련될 수 있다.
다시 도 13을 참조하면, 몇몇 구현예에서, 사용자가 지도 윈도우의 지도(622)로 디스플레이된 평면도 지도(810) 상에 태그(662) 또는 하이퍼태그(1310)를 배치하면, 원격현전 소프트웨어 애플리케이션(601)은 지도(622)를 디스플레이하는 전자 디스플레이 상에 사용자 선택 위치를 결정하고, 지도(622) 상에 태그(662, 1310)와 결부된 주석을 오버레이한다. 원격현전 소프트웨어 애플리케이션(601)은 또한 평면도 지도(810)와 원격 뷰(610)(즉, 로봇 카메라(320)에 의해 캡쳐된 1인칭 비디오)의 사이에 왜곡을 결정하고, 원격 뷰(610)의 대응하는 비디오 좌표를 결정하기 위해 평면도 지도(810) 상의 태그(662, 1310)의 좌표에 왜곡을 적용할 수 있다. 태그(662, 1310)와 결부되고 지도 데이터 소스(1620)에 의해 저장된 태그 주석은 결정된 비디오 좌표를 사용하여 원격현전 소프트웨어 애플리케이션(601)에 의해 원격 뷰(610) 상에 디스플레이될 수 있다.
도 17을 참조하면, 몇몇 구현예에서, 사용자 인터페이스(605)는 예를 들면, 원격 비디오 피드 윈도우(610) 및/또는 지도 윈도우(620)에, 사용자로 하여금 로봇 베이스(120)에 대해 로봇 머리(160)의 위치를 시각화할 수 있게 하는 증강된 오버레이(augmented overlay: 1710)를 제공한다. 증강된 오버레이(1710)는 사용자로 하여금 360도의 완전한 시계에 대해, 도시된 예에서 원호(arc: 1720)로 표시된 로봇 센서 시스템(400)의 현재 시계(322, 442, 452)를 인식할 수 있게 한다. 이는 사용자로 하여금 현재의 시계(322, 442, 452) 밖에 있는 (예를 들면, 머리(160) 및/또는 베이스(120)의) 회전을 선택할 수 있게 한다.
사용자는 가상의 머리(1728)를 그 지점으로 회전하기 위해 제1 및 제2의 고리(1722, 1724)에 의해 형성된 구역 내부를 클릭할 수 있다. 사용자가 가상의 머리(1728)를 회전함에 따라, 로봇의 머리(160)는 원격현전 소프트웨어 애플리케이션(601)과 함께 실시간으로 이동하여, 원격 비디오 피드 윈도우(610)의 원격 뷰(612)에 디스플레이되는 로봇 카메라(320)로부터의 라이브 비디오 피드를 또한 실시간으로 업데이트할 수 있다. 도시된 예에서, 증강된 오버레이(1710)는 로봇 베이스(120)에 대응하는 가상의 베이스(1726)와, 로봇(100)의 현재 자세에 대응하는 가상의 베이스(1726)에 대해 소정의 각도로/배향으로 배치된 로봇 머리(160)에 대응하는 가상의 머리(1728)를 갖는다. 몇몇 예에서, 가상의 베이스(1726)와 가상의 머리(1728) 중 하나는 정적인 반면, 다른 하나는 정적인 것에 대해 자유롭게 움직일 수 있다.
사용자가 현재의 시계(1720) 밖의 머리(1728)를 회전시키기 위해 제1 및 제2의 고리(1722, 1724)에 의해 한정된 구역 내부를 클릭하면, 로봇(100)은 사용자의 명령을 달성하기 위해 머리(160) 및/또는 베이스(120)를 회전시킬 수 있다. 몇몇 예에서, 사용자의 명령에 따라 머리(160)를 회전시킨 후에, 베이스(120)가 회전할 수 있으며 머리(160)는 그리고 나서 중앙 위치로 이동할 수 있다. 위치에 있어서의 이러한 변화는 사용자가 이전의 회전에 의거하여 로봇(100)을 재위치시키려고 하는 경우에는 문제가 될 수 있다. 이를 완화하기 위해, 어떤 구현예는 머리의 회전을 수용하기 위해 베이스의 회전 요건을 저감시키기 위한 시스템을 이용할 수 있다. 예를 들면, 가상의 머리(1728)가 소정 각도로 회전하면 역회전이 개시될 수 있다. 로봇의 머리(160)가 소정 시간 동안 그 각도로 유지되면, 이 시스템은 베이스(120)에 대해 머리(160)를 중심을 맞추기 위해 베이스(120)를 서서히 회전시키는 한편, 동일한 속도로 반대 방향으로 머리(160)를 동시에 회전시킬 수 있다. 이는 현재의 대상물을 보이게 유지하는 한편, 머리(160)와 베이스(120)가 현재 정렬 상태이며 전방 기준계(forward frame of reference)가 사용자가 보고 있는 곳에 의해 정해짐을 또한 보장하게 된다. 또한, 사용자가 그 방향으로 계속해서 더 멀리 보기를 원하면, 머리(160)의 이동의 전체 패닝 범위(full panning range)가 이용 가능하다.
도 18은 예를 들면 원격현전 소프트웨어 애플리케이션(601)에서, 사용자 명령에 응답하는 로봇의 이벤트의 예시적인 시퀀스를 도시한다. 초기 상태에서, 로봇(100)은 하나의 위치로부터 다른 위치로 이동하도록 구동 명령을 받을 수 있다. 이 명령은 조종자에 의해 개시되거나, (예를 들면, 제어기의 제어 시스템에서 실행되는 거동의) 거동에 의해 개시되거나, 또는 기획자에 의해 개시될 수 있다(예를 들면, 사전에 기획된 업무 또는 루틴). 본 예에서, 명령은 새로운 목적지로 반대방향으로 이동하기 위한 새루운 진행방향을 포함한다. 명령에 응답하여, 로봇(100)은 그 머리(160)를 패닝 한계쪽으로 (좌측으로 또는 우측으로) 돌릴 수 있다. 패닝 한계에 이르고 나면, 로봇(100)은 머리가 새로운 진행방향 쪽으로 회전할 수 있도록 머리(160)의 이동을 허용하기 위해 (예를 들면, 적소에 홀로노믹하게) 베이스(120)를 회전시킬 수 있다. "패닝 한계(panning limit)"라는 용어는 로봇의 상부가 로봇의 하부에 대해 물리적으로 더 이상 회전할 수 없는 지점, 상부가 하부에 대해 기설정 회전 각도로 어긋나 있는 지점을 지칭할 수 있으며, 및/또는 "패닝 한계"라는 용어는 상부가 하부에 대해 어긋나는 각도 및 상부가 하부에 대해 어긋나는 시간(length of time)의 함수일 수 있다,
몇몇 예에서, 로봇(100)은 전방 구동 방향(F)이 새로운 진행방향과 일치되고, 그래서 머리(160)에 비교적 동일한 좌측/우측 패닝 능력을 제공하도록, 베이스(120)를 계속하여 회전시킬 수 있다. 로봇(100)이 베이스를 회전시킴에 따라, 진행방향을 향하도록 및 선택적으로 머리(160)에 있는 센서(320, 450, 450b)의 시계(322, 452)가 새로운 진행방향을 따라서 가리키도록 머리(160)를 동시에 회전시킬 수 있다. 몇몇 구현예에서, 머리(160)가 상대적으로 더 신속하게 새로운 진향방향으로 향하도록, 로봇(100)은 베이스(120)와 머리(160)를 함께 회전시킨다. 베이스(120)가 과도하게 회전하면, 머리(160)는 정렬상태를 회복하기 위해 역패닝을 행할 수 있다.
도 19는 원격현전 소프트웨어 애플리케이션(601)이 스크린 표시자(1910)를 로봇(100)으로부터 수신된 원격 비디오 피드에 오버레이하는 예시적인 원격 뷰(612)를 도시한다. 스크린 표시자(1910)는 마우스 커서(1912)에 가까이 디스플레이될 수 있으며, 현재의 머리의 이동 범위를 나타낼 수 있다. 사용자가 (예상 가능케는 머리를 그쪽으로 향하도록 이동시키기 위해 클릭할 의도로) 마우스 커서(1912)를 원격 비디오 뷰(612)의 좌측 또는 우측으로 이동시킴에 따라, 스크린 표시자(1910)는 그 방향으로 얼마만큼의 머리의 이동이 남았는지(즉, 얼마만큼의 머리(160)의 이동의 잔여 범위가 이용가능한 지)를 나타내기 위해 커서(1912)의 위에 디스플레이될 수 있다.
강조 박스(highlight box:1920)는 원격 비디오 뷰(612) 내의 관심 영역을 강조할 수 있다. 사용자는 예를 들면, 박스를 스크린 상에 드래그 및 드롭함으로써 및/또는 관심 영역의 둘레에 오픈 박스를 클릭 및 드래그함으로써, 원격 비디오 뷰(612)의 일부의 관심 영역 둘레에 강조 박스(1920)를 생성할 수 있다. 이에 응답하여, 원격현전 소프트웨어 애플리케이션(601)은 로봇의 머리(160)가 강조 박스(1920)의 중심으로 이동하게 할 수 있다. 또한, 카메라(320)는 강조 박스(1920)의 치수와 일치되도록 확대(zoom in)될 수 있다.
도 20a와 도 20b를 참조하면, 로봇(100)이 뜻하지 않게 통신 접속상태를 잃게 되면(예를 들면, 무선 신호의 두절), 로봇(100)은 정지하거나 또는 그 목적지로의 구동을 지속할 수 있다. 원격현전 로봇이 주변환경을 통과하여 이동함에 따라서, 예를 들면, 로봇(100)이 다양한 무선 액세스 포인트 사이에서 전이되고 및/또는 약한 신호 강도의 결과로서 데이터 전송에 있어서 두절을 겪게 됨에 따라 통신이 두절될 수 있다. 자율적으로 운행을 지속하게 함으로써, 로봇이 희망 목적지에 이를 즈음에는 통신이 복구될 수 있다.
로봇(100)이 통신 접속 두절을 겪게되면, 로봇(100)은 목적지로의 운행을 지속하기 위해 (예를 들면, 제어기(500)에 의해 로컬에 저장된) 바로 직전의 신뢰되는 로컬화/자세 및/또는 (로봇의 센서 시스템(400)에 의거한) 현재 결정된 로컬화/자세를 참고할 수 있다. 로봇 경로가 계획된 경로이면, 로봇(100)은 목적지로의 계획된 경로를 재개할 수 있다. 반면에, 사용자가 로봇(100)을 목적지로 원격조종하고 있었으면, 통신 접속{예를 들면, 무선 주파수(radio frequency) 및/또는 무선(wireless)}을 갖는 가장 가까운/바로 직전의 신뢰되는 위치로의 계획된 경로를 따라갈 수 있다. 이와 달리, 로봇(100)은 통신 접속을 갖는 가장 가까운/바로 직전의 신뢰되는 위치로 최단 경로(즉, 새로운 경로)를 따라 구동될 수 있다.
가장 가까운/바로 직전의 신뢰되는 위치에 이르게 되면, 로봇(100)은 통신 접속이 복구되었는지 및 그렇다면, 목적지에 도달했는지를 결정할 수 있다. 통신 접속이 복구되지 않았으면, 로봇(100)은 제어기(500)에 의해 저장된 후속의 신뢰되는 위치로 이동하기 위해 그 비디오 녹화분(및 센서 시스템(400)의 임의의 다른 센서 데이터)을 동기화할 수 있다. 또한, 목적지에는 도달하지 않았지만 통신 접속은 복구되었으면, 제어기(500)는 세이프 하버(safe harbor) 조치를 취할 수 있는데, 이는 센서 데이터의 기록을 지속하는 것과 통신 접속의 두절로 인해 세션이 종료되었다는 것을 나타내는 (예를 들면, 웹 패드(310) 상에) 새로운 로봇측 사용자 인터페이스를 디스플레이하는 것을 수반한다. 로봇(100)은 (ODOA를 사용하여) 바로 직전의 신뢰되는 위치로 이동하기 위해 경로 기획(path planning)을 재평가 및/또는 실행함으로써 그 접속 복구율을 향상시킬 수 있다. 로봇(100)은 가능케는 더 우수한 통신 수신을 얻기 위해 그 안테나(490a, 490b)(도 2와 도 4c)를 또한 움직일 수 있다. 로봇(100)은 모바일 애드 혹 네트워크(mobile ad-hoc network: MANET)를 이용할 수 있으며, 이는 무선 링크에 의해 접속된 무선 장치(mobile device)의 자체 구성식의 기초구조물이 없는 네트워크이다.
몇몇 예에서, 로봇(100)은 통신 두절의 위치 및 임의의 복구된 통신의 위치를 마크함으로써 로봇 지도(820)의 완성도/정확도를 개선할 수 있다. 로봇(100)은 알려진 접속성을 갖는 영역(예를 들면, WLAN 웜 구역 또는 강신호 구역)으로 이동하기 위해 기준점 운행(waypoint navigation)을 이용할 수 있다. 기준점은 물리적 공간의 지점을 식별하는 좌표의 집합이다. 로봇(100)은 목적지로 이동하기 위해 로봇 지도(820)에 성립된 기준점을 이용할 수 있다.
다른 세이프 하버 조치로는 가장 가까운 가장 저소통량의 영역으로의 경로를 기획하는 것 또는 로봇 지도(820)에 기초하여 가장 가까운 충전/도킹 스테이션으로 이동하는 것이 포함된다. 몇몇 예에서, 로봇(100)은 Wi-Fi 브리지(602) 기능을 하도록 MIMO용의 복수의 안테나(490a 490b)를 사용할 수 있는 다른 가장 가까운 로봇(100)쪽으로 이동할 수 있다.
본 명세서에 기재된 시스템 및 기술의 다양한 구현예는 디지털 전자회로, 집적회로, 특수 설계된 ASIC(application specifica integrated circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 이들 다양한 구현예는 적어도 하나의 프로그램 가능형 프로세서(programmable process)를 포함하는 프로그램 가능형 시스템에서 실행 및/또는 해석될 수 있는 하나 이상의 컴퓨터 프로그램에서의 구현을 포함할 수 있으며, 적어도 하나의 프로그램 가능형 프로세서는 스토리지 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치로부터 데이터 및 명령어를 수신하고 또한 데이터 및 명령어를 전송하도록 결합된 특수 또는 일반 용도일 수 있다.
(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로도 알려진) 이들 컴퓨터 프로그램은 프로그램 가능형 프로세서를 위한 기계 명령어를 포함하며, 고수준 절차 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계 언어로 구현될 수 있다. 본 명세서에서 사용되는 "기계 판독 가능 매체" 및 "컴퓨터 판독 가능 매체"라는 용어는 기계 명령어를 기계 판독 가능 신호로 수신하는 기계 판독 가능 매체를 포함하여 기계 명령어 및/또는 데이터를 프로그램 가능형 프로세서에 제공하는데 사용되는 임의의 컴퓨터 프로그램 제품, 장치 및/또는 디바이스(예를 들면, 자기 디스크, 광 디스크, 메모리, PLD(Programmable Logic Devices))를 지칭한다. "기계 판독 가능 신호"라는 용어는 프로그램 가능형 프로세서에 기계 명령어 및/또는 데이터를 제공하는데 사용되는 임의의 신호를 지칭한다.
본 명세서에 기재된 기술 내용 및 기능 작용의 구현예는 디지털 전자회로로, 또는 본 명세서에 개시된 구조 및 그 구조상 동등물을 포함하는 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어로, 혹은 이들의 하나 이상의 조합으로 구현될 수 있다. 본 명세서에 기재된 기술 내용의 실시예는 하나 이상의 컴퓨터 프로그램 제품으로, 즉 데이터 처리 장치에 의한 실행 또는 데이터 처리 장치의 동작을 제어하기 위해 컴퓨터 판독 가능 매체에 인코딩된 컴퓨터 프로그램 명령어의 하나 이상의 모듈로 로 구현될 수 있다. 컴퓨터 판독 가능 매체는 기계 판독 가능 스토리지 장치, 기계 판독 가능 스토리지 기판, 메모리 장치, 기계 판독 가능 전파 신호에 영향을 미치는 물질의 구성물, 또는 이들의 하나 이상의 조합일 수 있다. "데이터 처리 장치"라는 용어는, 예로서 프로그램 가능형 프로세서, 컴퓨터, 복수의 프로세서 또는 컴퓨터를 포함하여, 데이터를 처리하기 위한 모든 장치, 디바이스, 및 기계를 포함한다. 장치는 하드웨어 외에, 해당 컴퓨터 프로그램을 위한 실행 환경을 생성하는 코드, 예를 들면 프로세서 펌웨어, 프로토콜 스택(protocol stack), 데이터베이스 관리 시스템, OS(운영체계), 또는 이들의 하나 이상의 조합을 구성하는 코드를 포함할 수 있다. 전파 신호는 인공적으로 생성된 신호, 예를 들면 적절한 수신기 장치로의 전송을 위해 정보를 인코딩하도록 생성된 기계 발생 전기, 광, 또는 전자기 신호이다.
(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트, 또는 코드 라고도 알려진) 컴퓨터 프로그램은 컴파일러형 또는 해석형 언어를 포함하여 임의의 형태의 프로그래밍 언어로 쓰여질 수 있으며, 스탠드얼론 프로그램으로서 또는 전산 환경에 사용하는데 적합한 모듈, 서브루틴, 혹은 다른 유닛을 포함하는 임의의 형태로 배치될 수 있다. 컴퓨터 프로그램은 반드시 파일 시스템의 파일에 대응하는것은 아니다. 프로그램은 다른 프로그램 또는 데이터를 보유한 파일의 일부에(예를 들면, 마크업 언어 문서에 저장된 하나 이상의 스크립트), 해당 프로그램 전용의 단일 파일에, 또는 복수의 조합 파일(예를 들면, 하나 이상의 모듈, 서브프로그램, 또는 코드의 일부를 저장한 파일)에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 상에서 또는 한 장소에 위치되거나 또는 복수의 장소에 걸쳐 분산되어 통신 네트워크를 통해 상호 접속된 복수의 컴퓨터 상에서 실행되도록 배치될 수 있다.
본 명세서에 기재된 프로세스와 논리 순서(logic flow)는 입력 데이터에 연산을 행하고 출력을 발생시킴으로써 기능을 행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그램 가능형 프로세서에 의해 행해질 수 있다. 본 프로세스와 논리 순서는 또한 특수 목적의 논리 회로, 예를 들면 FPGA(field programmable gate array) 또는 ASIC에 의해서도 행해질 수 있으며, 장치는 이러한 특수 목적의 논리 회로, 예를 들면 FPGA(field programmable gate array) 또는 ASIC로도 또한 구현될 수 있다.
컴퓨터 프로그램의 실행에 적합한 프로세서는 예를 들면, 일반 및 특수 목적의 마이크로프로세서 모두, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로, 프로세서는 ROM(read only memory) 또는 RAM(rnadom access memory) 혹은 양자 모두로부터 명령어와 데이터를 수신하게 된다. 컴퓨터의 필수 요소는 명령어를 수행하기 위한 프로세서와 명령어 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스이다. 일반적으로, 컴퓨터는 데이터를 저장하기 위한 하나 이상의 대용량 스토리지 디바이스, 예를 들면 자기 디스크, 광자기 디스크, 또는 광디스크도 또한 포함하거나, 또는 이로부터 데이터를 수신하거나 혹은 이에 데이터를 전송하기 위해 혹은 양자 모두를 위해 이러한 하나 이상의 대용량 스토리지 디바이스에 작동 연결될 수 있다. 하지만, 컴퓨터가 이러한 디바이스를 구비할 필요는 없다. 또한, 컴퓨터는 다른 장치, 예를 들어 몇 가지 이름을 대면 휴대 전화기, PDA(personal digital assistant), 휴대용 오디오 재생기, GPS(global positioning system) 수신기 내에 삽입될 수 있다. 컴퓨터 프로그램 명령어와 데이터를 저장하는데 적합한 컴퓨터 판독 가능 매체는: 예로서 반도체 메모리 디바이스, 예를 들면, EPROM, EEPROM, 및 플래시 메모리 디바이스를 포함하는 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스; 자기 디스크, 예를 들면 내장형 하드디스크 또는 분리 가능 디스크; 광자기 디스크; CD ROM 및 DVD-ROM 디스크를 포함한다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보완되거나 또는 이에 병합될 수 있다.
본 명세서에 기재된 기술 내용의 구현예는 예를 들면, 데이터 서버로 백엔드 컴포넌트(back end component)를 포함하거나; 미들웨어(middleware) 컴포넌트, 예를 들면 애플리케이션 서버를 포함하거나; 또는 프런트엔드(front end) 컴포넌트, 예를 들면 사용자가 본 명세서에 기재된 기술 내용의 구현물과 상호작용할 수 있게 하는 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 클라이언트 컴퓨터를 포함하거나; 또는 백엔드, 미들웨어, 프런트엔드 컴포넌트의 하나 이상의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트는 임의의 형태 또는 매체의 디지털 데이터 통신, 예를 들면 통신 네트워크에 의해 상호 접속될 수 있다. 통신 네트워크의 예로는 LAN(local area network)과 WAN(wide area network), 예를 들면 인터넷이 포함된다.
컴퓨팅 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며 전형적으로 통신 네트워크를 통하여 상호작용한다. 클라이언트와 서버의 관계는 각 컴퓨터에서 구동되며 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램에 의해 발생된다.
본 명세서는 많은 상세사항을 포함하나, 이들은 본 발명 또는 청구하는 범위를 제안하는 것으로 해석되어서는 안 되며, 본 발명의 특정 구현예에 구체화된 특징을 설명하는 것으로 해석되어야 한다. 개별 구현예의 문맥에서 본 명세서에 기재된 소정의 특징은 단일 구현예의 조합에서도 또한 구현될 수 있다. 반대로, 단일 구현예의 문맥에서 기재된 다양한 특징은 개별적으로 복수의 구현예에서 또는 임의의 적절한 하부 조합에서도 또한 구현될 수 있다. 게다가, 특징들은 위에서 소정의 조합으로 기능하는 것으로 기재되고 초기에는 그러하다고 언급되었을 수 있으나, 언급된 조합으로부터의 하나 이상의 특징들은 어떤 경우에는 그 조합으로부터 제거될 수 있으며, 그 언급된 조합은 하부 조합으로 또는 하부 조합의 변형예로 될 수 있다.
유사하게, 동작들은 도면에서 특정 순서로 도시되었으나, 이는 바람직한 결과를 달성하기 위해 이러한 동작들이 도시된 특정 순서로 또는 순차적으로 행해진다거나, 또는 도시된 모든 동작이 행해져야 하는 것으로 해석되어서는 안 된다. 어떤 상황에서는, 다중 작업 또는 병렬(병행) 처리가 유익할 수 있다. 게다가, 전술한 실시예에서 다양한 시스템 컴포넌트의 분리는 모든 실시예에서 이러한 분리가 요구되는 것으로 이해되어서는 안 되며, 기재된 프로그램 컴포넌트와 시스템은 일반적으로 단일의 소프트웨어 제품으로 서로 통합되거나 또는 복수의 소프트웨어 제품으로 패키지화 될 수 있음을 이해해야 한다.
다수의 구현예가 기재되었다. 하지만, 본 개시의 사상과 범위로부터 벗어남이 없이 다양한 변형예가 이루어질 수 있음을 이해할 것이다. 따라서, 다른 구현예도 이하의 청구항의 범위 내에 있다. 예를 들어, 청구항에 명시된 동작은 다른 순서로 행해질 수 있으며 여전히 바람직한 결과를 달성할 수 있다.
100: 원격현전 로봇 105: 전원
110: 로봇 몸체 120: 베이스
122: 베이스 섀시 124: 베이스 몸체
130: 다리 140: 몸통
150: 목 160: 머리
200: 구동 시스템 300: 인터페이싱 모듈
400: 센서 시스템 500: 제어기
600: 로봇 시스템 F: 전방 구동 방향
110: 로봇 몸체 120: 베이스
122: 베이스 섀시 124: 베이스 몸체
130: 다리 140: 몸통
150: 목 160: 머리
200: 구동 시스템 300: 인터페이싱 모듈
400: 센서 시스템 500: 제어기
600: 로봇 시스템 F: 전방 구동 방향
Claims (99)
- 원격현전 로봇(telepresence robot)로서,
상부(upper portion)와;
상부에 회전 가능하게 결합된 하부(lower portion)와;
구동 명령어에 따라 원격현전 로봇을 이동시키도록 구성된 구동 시스템과;
구동 시스템과 통신 상태에 있는 제어 시스템으로서, 구동 시스템이 원격현전 로봇을 이동시키도록 구동 명령어를 생성하도록 구성된, 제어 시스템; 및
상부와 하부를 독립적으로 회전시킴으로써 제1의 진행방향으로부터 제2의 진행방향으로 로봇을 회전시키도록 구성된 회전 시스템을
포함하는, 원격현전 로봇. - 제1항에 있어서, 회전 시스템은:
로봇의 상부를 제2의 진행방향 쪽으로 회전시키고;
로봇의 상부가 로봇의 하부에 대해 로봇의 상부의 패닝 한계(panning limit)에 도달하였음을 검출하며;
로봇의 상부의 패닝 한계에서 제2의 진행방향 쪽으로 로봇의 하부를 회전시키기를 시작하고;
로봇의 상부가 제2의 진행방향에 도달하였음을 검출하며;
로봇의 상부가 제2의 진행방향을 유지하도록, 로봇의 상부를 동시에 반대방향으로 회전시키면서 로봇의 하부를 제2의 진행방향 쪽으로 계속하여 회전시킴으로써,
로봇을 제2의 진행방향 쪽으로 회전시키도록 구성되는, 원격현전 로봇. - 제2항에 있어서, 패닝 한계는 상부가 로봇의 하부에 대해 물리적으로 더 이상 회전할 수 없을 때 도달되는, 원격현전 로봇.
- 제2항에 있어서, 패닝 한계는 상부가 하부에 대해 기설정 회전 각도로 어긋나 있을 때 도달되는, 원격현전 로봇.
- 제2항에 있어서, 패닝 한계는 상부가 하부에 대해 어긋나는 각도 및 상부가 하부에 대해 어긋나는 시간(length of time)의 함수인, 원격현전 로봇.
- 제1항에 있어서, 회전 시스템은:
로봇의 상부를 제1의 회전 속도로 제2의 진행방향 쪽으로 회전시키고;
로봇의 하부를 제2의 회전 속도로 제2의 진행방향 쪽으로 회전시키며;
로봇의 상부가 제2의 진행방향에 도달하였음을 검출하고;
로봇의 상부가 제2의 진행방향을 유지하도록 로봇의 상부를 동시에 반대방향으로 회전시키면서 로봇의 하부를 제2의 진행방향 쪽으로 계속하여 회전시킴으로써,
로봇을 제2의 진행방향 쪽으로 회전시키도록 구성되는, 원격현전 로봇. - 제1항에 있어서,
제어 시스템과 통신 상태에 있는 이미징 시스템과;
평면도 지도에 대한 로봇의 현재 위치 및 평면도 지도에 대한 상부의 현재 정렬상태를 제공하도록 구성된, 제어 시스템과 통신 상태에 있는 포지셔닝 시스템을
더 포함하며,
제어 시스템은 원격 터미널이
평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드 사이의 왜곡을 결정하고;
비디오 피드에 대한 태그의 관점과 위치를 기술하는 관점 데이터 및 해당 비디오 좌표를 결정하기 위해, 평면도 지도와 결부된 좌표를 갖는 태그에 왜곡을 적용하고;
비디오 좌표를 사용하여 비디오 피드에 오버레이된(overlaid) 태그의 3차원 표현(rendition)을 디스플레이하도록,
원격 터미널에 이미징 시스템으로부터의 비디오 피드, 로봇의 현재 위치, 및 상부의 현재 정렬상태를 전송하도록 구성되는, 원격현전 로봇. - 제1항에 있어서,
제어 시스템과 통신 상태에 있는 이미징 시스템과;
평면도 지도에 대한 로봇의 현재 위치 및 평면도 지도에 대한 상부의 현재 정렬상태를 제공하도록 구성된, 제어 시스템과 통신 상태에 있는 포지셔닝 시스템을
더 포함하며,
제어 시스템은:
원격 터미널에 이미징 시스템으로부터의 비디오 피드, 로봇의 현재 위치, 및 상부의 현재 정렬상태를 전송하고;
평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드 사이의 왜곡을 결정하고;
원격 터미널이 비디오 좌표를 사용하여 비디오 피드에 오버레이된 태그의 3차원 표현을 디스플레이할 수 있도록, 비디오 피드에 대한 태그의 관점과 위치를 기술하는 관점 데이터 및 해당 비디오 좌표를 결정하기 위해 평면도 지도와 결부된 좌표를 갖는 태그에 왜곡을 적용하도록
구성되는, 원격현전 로봇. - 원격현전 로봇 시스템의 로컬 터미널로서,
전자 디스플레이와;
전자 디스플레이와 통신 상태에 있는 프로세서와;
프로세서와 통신 상태에 있는 메모리로서, 프로세서가:
로봇 작동 표면의 로봇 운행 가능 구역을 나타내는 평면도 지도의 적어도 일부를 검색하고;
복수의 태그들 중 적어도 하나의 태그를 검색하는데, 복수의 태그 각각은 태그의 상대 위치를 기술하는 태그 좌표와 태그 정보를 포함하며;
리모트 원격현전 로봇의 이미징 시스템으로부터 비디오 피드를 수신하고;
리모트 원격현전 로봇의 현재 위치와 결부된 포지셔닝 정보를 수신하며;
리모트 원격현전 로봇의 이미징 시스템으로부터의 비디오 피드를 디스플레이하고;
태그 좌표를 사용하여 비디오 피드 상의 적어도 하나의 태그의 태그 정보의 표현을 디스플레이하며;
리모트 원격현전 로봇에 명령을 전송하도록
구성된 프로세서에 의해 실행 가능한 명령어를 포함하는, 메모리를
포함하는, 원격현전 로봇 시스템의 로컬 터미널. - 제9항에 있어서, 프로세서에 의해 실행 가능한 명령어는, 또한 프로세서가:
평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드 사이의 왜곡을 결정하고;
비디오 피드에 대한 적어도 하나의 태그의 관점과 위치를 기술하는 관점 데이터 및 해당 비디오 좌표를 결정하기 위해 적어도 하나의 태그의 태그 좌표에 왜곡을 적용하며;
태그 비디오 좌표를 사용하여 비디오 피드 상에 오버레이된 적어도 하나의 태그의 태그 정보의 3차원 표현을 디스플레이하도록
추가로 구성되는, 원격현전 로봇 시스템. - 제10항에 있어서, 태그 정보의 3차원 표현은 리모트 원격현전 로봇의 현재 위치 및 비디오 피드에 대한 적어도 하나의 태그의 관점을 기초로 하여 동적으로 재렌더링(re-rendered)되는, 원격현전 로봇 시스템.
- 제10항에 있어서, 태그 정보의 3차원 표현은 비디오 피드에서 검출된 물체에 대해 비디오 피드에 오버레이되는, 원격현전 로봇 시스템.
- 제12항에 있어서, 태그 정보의 3차원 표현은 비디오 피드에서 검출된 벽을 따라서 오버레이되는, 원격현전 로봇 시스템.
- 제9항에 있어서, 적어도 하나의 태그의 태그 정보는 로봇 동작 수정부(robot action modifier)를 포함하며,
로봇 동작 수정부는 원격현전 로봇이 적어도 하나의 태그의 태그 좌표의 기설정 범위 내에 있는 것에 응답하여 제1의 동작을 실행하기 위해 원격현전 로봇의 제어 시스템에 실행 명령어를 제공하도록 구성되는,
원격현전 로봇 시스템. - 제14항에 있어서, 프로세서에 의해 실행 가능한 명령어는 또한 원격현전 로봇이 적어도 하나의 태그의 태그 좌표의 기설정 범위 내에 있을 때 프로세서가 원격현전 로봇의 제어 시스템에 실행 명령어를 전송하도록 구성되는, 원격현전 로봇 시스템.
- 제14항에 있어서, 로봇 동작 수정부는 원격현전 로봇의 제어 시스템이 제1의 동작을 실행해야 하는 시간 및 평면도 지도 상의 위치 중 하나와 관련된 명령어를 더 포함하는, 원격현전 로봇 시스템.
- 제9항에 있어서, 프로세서에 의해 실행 가능한 명령어는, 또한 프로세서가:
리모트 원격현전 로봇이 이동한 경로를 형성하는 평면도 지도에 대한 좌표의 시퀀스를 수신하고;
경로를 형성하는 좌표의 시퀀스를 태그 좌표와 태그 정보를 포함하는 경로 태그(path tag)로 저장하며;
리모트 원격현전 로봇이 태그 좌표의 기설정 거리 내에 도달할 때 경로 태그를 검색하고;
태그 좌표를 사용하여 비디오 피드 상에 경로 태그의 태그 정보의 표현을 디스플레이하도록
추가로 구성되는, 원격현전 로봇 시스템. - 제17항에 있어서, 원격현전 로봇 시스템의 로컬 터미널은 적어도 하나의 사용자 입력 장치를 더 포함하고,
경로를 형성하는 좌표의 시퀀스는 사용자 입력 장치에 의해 제공되는,
원격현전 로봇 시스템. - 제17항에 있어서, 경로를 형성하는 좌표의 시퀀스는 리모트 원격현전 로봇에 의해 제공되는, 원격현전 로봇 시스템.
- 제9항에 있어서, 원격현전 로봇 시스템의 로컬 터미널과 리모트 원격현전 로봇 사이의 통신을 용이하게 하도록 구성된 통신 시스템을 더 포함하는 원격현전 로봇 시스템.
- 제9항에 있어서, 로컬 터미널은 적어도 하나의 사용자 입력 장치를 더 포함하고,
사용자 입력 장치는 사용자가 리모트 원격현전 로봇의 이미징 시스템으로부터의 비디오 피드 및 평면도 지도 중 적어도 하나에 리모트 원격현전 로봇의 희망 목적지의 표시를 제공할 수 있도록 구성되며,
리모트 원격현전 로봇에 전송된 명령은 희망 목적지를 포함하는,
원격현전 로봇 시스템. - 제21항에 있어서, 로봇의 경로를 형성하는 좌표의 시퀀스는 적어도 부분적으로 적어도 하나의 태그와 결부된 태깅 정보(tagging information)를 기초로 하는, 원격현전 로봇 시스템.
- 제21항에 있어서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가:
리모트 원격현전 로봇의 현재 위치와 원격현전 로봇의 희망 목적지 사이에 로봇의 경로를 형성하기 위해 평면도 지도에 대해 좌표의 시퀀스를 결정하도록
추가로 구성되고,
리모트 원격현전 로봇에 전송된 명령은 로봇의 경로를 형성하는 좌표의 시퀀스를 포함하는,
원격현전 로봇 시스템. - 제23항에 있어서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가 평면도 지도 상에 오버레이된 로봇의 경로를 형성하는 좌표의 시퀀스를 디스플레이 하도록 구성되는, 원격현전 로봇 시스템.
- 제23항에 있어서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가:
평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드 사이의 왜곡을 결정하고;
비디오 피드에 대한 좌표의 시퀀스의 관점과 위치를 기술하는 관점 데이터 및 해당 비디오 좌표를 결정하기 위해 로봇의 경로를 형성하는 좌표의 시퀀스에 왜곡을 적용하며;
비디오 피드에 오버레이된 로봇의 경로를 형성하는 좌표의 시퀀스의 3차원 표현을 디스플레이하도록
추가로 구성되는, 원격현전 로봇 시스템. - 제25항에 있어서, 로봇의 경로를 형성하는 좌표의 시퀀스의 3차원 표현은 비디오 피드에서 검출된 바닥에 대해 비디오 피드에 오버레이되는, 원격현전 로봇 시스템.
- 제9항에 있어서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가:
리모트 원격현전 로봇의 운행 시스템으로부터 평면도 지도에 대한 좌표의 시퀀스를 수신하게 하는데, 좌표의 시퀀스는 리모트 원격현전 로봇의 현재 위치와 리모트 원격현전 로봇의 희망 목적지 사이에서 로봇의 경로를 형성하고;
평면도 지도에 오버레이된 로봇의 경로를 형성하는 좌표의 시퀀스를 디스플레이하도록
추가로 구성되는, 원격현전 로봇 시스템. - 제27항에 있어서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가:
평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드의 사이에 왜곡을 결정하고;
비디오 피드에 대한 좌표의 시퀀스의 관점과 위치를 기술하는 관점 데이터 및 해당 비디오 좌표를 결정하기 위해 로봇의 경로를 형성하는 좌표의 시퀀스에 왜곡을 적용하며;
비디오 피드에 오버레이된 로봇의 경로를 형성하는 좌표의 시퀀스의 3차원 표현을 디스플레이하도록
구성되는, 원격현전 로봇 시스템. - 제28항에 있어서, 로봇의 경로를 형성하는 좌표의 시퀀스의 3차원 표현은 비디오 피드에서 검출된 바닥에 대해 비디오 피드에 오버레이되는, 원격현전 로봇 시스템.
- 제9항에 있어서, 태그 정보는 위치, 경로, 및 부피 중 적어도 하나에 관련되고,
제어 시스템은 위치, 경로, 및 부피 중 적어도 하나에 대해 동작을 실행하도록 구성되는,
원격현전 로봇 시스템. - 제9항에 있어서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가 리모트 원격현전 로봇의 센서 시스템에 의해 검출된 장애물의 평면도 지도 상의 좌표를 수신하도록 추가로 구성되는, 원격현전 로봇 시스템.
- 제9항에 있어서, 평면도 지도와 복수의 태그는 원격 저장되는, 원격현전 로봇 시스템.
- 제31항에 있어서, 평면도 지도와 복수의 태그는 리모트 원격현전 로봇 내에 저장되는, 원격현전 로봇 시스템.
- 제9항에 있어서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가:
평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드의 사이에 왜곡을 결정하고;
평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터의 비디오 피드의 혼합 도면(blended view)을 포함하는 하이브리드 지도(hybrid map view)를 생성하도록
추가로 구성되는, 원격현전 로봇 시스템. - 제34항에 있어서, 하이브리드 지도는 비디오 피드에 오버레이된 평면도 지도의 3차원 표시를 포함하는, 원격현전 로봇 시스템.
- 제9항에 있어서, 원격현전 로봇 시스템의 로컬 터미널은 적어도 하나의 사용자 입력 장치를 더 포함하고,
프로세서에 의해 실행 가능한 명령어는 또한 프로세서가:
평면도 지도 상의 리모트 원격현전 로봇의 가상 위치에 대해 렌더링된 미리보기(look ahead)를 위한 요청을 적어도 하나의 입력 장치를 통하여 수신하고;
평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드의 사이에 왜곡을 결정하며;
리모트 원격현전 로봇의 가상 위치에 기초한 가상의 3차원 비디오 피드를 생성하고;
리모트 원격현전 로봇의 가상 위치에 기초한 가상의 3차원 비디오 피드를 디스플레이하도록
추가로 구성되는, 원격현전 로봇 시스템. - 제9항에 있어서, 적어도 하나의 태그의 태그 정보는 보호 구역(protected region)을 규정하는 평면도 지도에 대한 좌표의 집합을 포함하고,
적어도 하나의 태그의 태그 정보는 보호 구역의 존재를 나타내도록 구성되는,
원격현전 로봇 시스템. - 제9항에 있어서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가:
새로운 태그를 생성하기 위한 요청을 수신하고;
새로운 태그의 상대 위치를 기술하는 태그 좌표와 태그 정보를 새로운 태그와 결부시키며;
태그 좌표를 사용하여 비디오 피드에 새로운 태그의 태그 정보의 표현을 디스플레이하도록
추가로 구성되는,
원격현전 로봇 시스템. - 제38항에 있어서, 새로운 태그를 생성하기 위한 요청은 리모트 원격현전 로봇에 의해 생성되는, 원격현전 로봇 시스템.
- 제38항에 있어서, 새로운 태그를 생성하기 위한 요청은 비디오 피드에서 검출된 물체를 기초로 자동으로 생성되는, 원격현전 로봇 시스템.
- 제40항에 있어서, 새로운 태그는 검출된 물체가 비디오 피드에 더 이상 존재하지 않게 되면 종료되도록 구성된 임시 태그인, 원격현전 로봇 시스템.
- 제40항에 있어서, 물체는 사람이며, 새로운 태그의 태그 정보는 상기 사람과 결부된 식별 정보를 포함하는, 원격현전 로봇 시스템.
- 제40항에 있어서, 물체는 사람이며, 새로운 태그의 태그 정보는 상기 사람에 대해 리모트 원격현전 로봇이 실행할 수 있는 잠재적인 행동을 포함하는, 원격현전 로봇 시스템.
- 제38항에 있어서, 새로운 태그를 생성하기 위한 요청은 원격현전 로봇 시스템의 로컬 터미널과 통신 상태에 있는 사용자 입력 장치에 의해 생성되는, 원격현전 로봇 시스템.
- 제40항에 있어서, 새로운 태그를 생성하기 위한 요청은 비디오 피드에 대해 이루어지는, 원격현전 로봇 시스템.
- 제40항에 있어서, 새로운 태그를 생성하기 위한 요청은 평면도 지도에 대해 이루어지는, 원격현전 로봇 시스템.
- 제40항에 있어서, 새로운 태그를 생성하기 위한 요청은 리모트 원격현전 로봇의 현재 위치에 대해 이루어지는, 원격현전 로봇 시스템.
- 제38항에 있어서, 태그 정보는 위치, 경로, 및 부피 중 적어도 하나에 관련되고,
제어 시스템은 위치, 경로, 및 부피 중 적어도 하나에 대해 동작을 실행하도록 구성되는,
원격현전 로봇 시스템. - 제9항에 있어서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가 평면도 지도 상에 원격현전 로봇의 현재 위치의 표시와 함께 평면도 지도를 디스플레이하도록 추가로 구성되는, 원격현전 로봇 시스템.
- 제49항에 있어서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가 태그 좌표를 사용하여 평면도 지도 상에 태그 정보의 표현을 디스플레이하도록 추가로 구성되는, 원격현전 로봇 시스템.
- 제9항에 있어서, 태그 정보는 태그 주석을 포함하며, 태그 정보의 표현을 디스플레이하는 것은 태그 주석의 표현을 디스플레이하는 것을 포함하는, 원격현전 로봇 시스템.
- 로봇의 진행방향을 변경하는 방법으로서,
로봇의 제어 시스템에 진행방향을 전송하는 단계로서, 구동 시스템과 통신 상태에 있는 로봇의 제어 시스템은 구동 명령어에 따라 로봇을 이동시키도록 구성되는, 전송하는 단계와;
로봇의 하부에 독립적으로 로봇의 상부를 구동 시스템을 통하여 진행방향 쪽으로 회전시키는 단계를
포함하는, 로봇의 진행방향을 변경하는 방법. - 리모트 원격현전 로봇을 제어하는 방법으로서,
로봇 작동 표면의 로봇 운행 가능 구역을 나타내는 평면도 지도의 적어도 일부를 검색하는 단계와;
복수의 태그들 중 적어도 하나의 태그를 검색하는 단계로서, 복수의 태그 각각은 태그의 상대 위치를 기술하는 태그 좌표와 태그 정보를 포함하는, 검색하는 단계와;
리모트 원격현전 로봇의 이미징 시스템으로부터 비디오 피드를 수신하는 단계와;
리모트 원격현전 로봇의 현재 위치와 결부된 포지셔닝 정보를 수신하는 단계와;
전자 디스플레이를 통하여 리모트 원격현전 로봇의 이미징 시스템으로부터의 비디오 피드를 디스플레이하는 단계와;
태그 좌표를 사용하여 비디오 피드 상의 적어도 하나의 태그 정보의 표현을 전자 디스플레이를 통하여 디스플레이하는 단계; 및,
리모트 원격현전 로봇에 명령을 전송하는 단계를
포함하는, 리모트 원격현전 로봇을 제어하는 방법. - 원격현전 로봇으로서,
구동 명령어에 따라 원격현전 로봇을 이동시키도록 구성된 구동 시스템과;
구동 시스템과 통신 상태에 있는 제어 시스템으로서, 구동 시스템이 원격현전 로봇을 이동시키도록 구동 명령어를 발생시키도록 구성된, 제어 시스템과;
제어 시스템과 통신 상태에 있는 이미징 시스템과;
제어 시스템과 통신 상태에 있는 매핑 모듈(mapping module)로서, 매핑 모듈은 지도 데이터 소스(map data source)에 액세스하도록 구성되고, 지도 데이터 소스는:
로봇 작동 표면의 로봇 운행 가능 영역을 나타내는 평면도 지도와;
복수의 태그로서, 각 태그는 태그의 상대 위치를 기술하는 태그 좌표와 태그 정보를 포함하는 데이터 구조인, 복수의 태그를
포함하는, 매핑 모듈과;
현재 위치와 결부된 포지셔닝 정보를 제공하도록 구성된, 제어 시스템과 통신 상태에 있는 포지셔닝 시스템과;
원격현전 로봇의 운행 경로와 연관된 적어도 하나의 태그를 식별하도록 구성된 태그 식별 시스템과;
제어 시스템과 원격 터미널 사이의 통신을 용이하게 하도록 구성된 통신 시스템을
포함하며,
제어 시스템은 그 태그 정보가 원격현전 로봇 동작 수정부를 포함하는 식별된 태그에 기초하여 동작을 실행하도록 구성되는,
원격현전 로봇. - 제54항에 있어서, 식별된 태그의 태깅 정보(tagging information)는 제어 시스템이 동작을 실행해야 하는 시간과 평면도 지도 상의 위치 중 하나와 관련된 명령어를 포함하는, 원격현전 로봇.
- 제54항에 있어서, 제어 시스템은 이미징 시스템으로부터의 비디오 피드를 통신 시스템을 통하여 원격 터미널에 전송하도록 구성되고,
제어 시스템은 통신 시스템을 통하여 원격 터미널로부터 평면도 지도 상의 희망 목적지의 표시를 수신하도록 구성되는,
원격현전 로봇. - 제54항에 있어서,
원격현전 로봇 부근의 장애물을 식별하도록 구성된 복수의 센서와;
복수의 센서와 통신 상태에 있으며 제어 시스템과 통신 상태에 있는 장애물 회피 시스템을
더 포함하며,
제어 시스템은 또한 원격현전 로봇 부근의 장애물을 회피하기 위해 추가적인 구동 명령어를 생성하도록 추가로 구성되는,
원격현전 로봇. - 제57항에 있어서, 복수의 센서는 장애물의 3차원 점유공간을 포함하는 포인트 클라우드(point cloud)를 형성하는 3차원 이미지 센서를 포함하고,
구동 명령어는 장애물의 3차원 점유공간을 회피하도록 구성되는,
원격현전 로봇. - 제58항에 있어서,
제어 시스템과 통신 상태에 있는 지도 생성 시스템으로서, 로봇 작동 표면의 평면도 지도를 자율적으로 생성하도록 구성되는, 지도 생성 시스템을
더 포함하고,
제어 시스템은 원격현전 로봇이 로봇 작동 표면을 통하여 이동하면서 복수의 측정치를 획득하도록 하는 구동 명령어를 생성하고, 지도 생성 시스템은 평면도 지도를 생성하기 위해 복수의 측정치를 이용하는,
원격현전 로봇. - 제57항에 있어서, 운행 경로를 생성하도록 구성된 운행 시스템을 더 포함하고,
운행 경로는 평면도 지도 상의 현재 위치로부터 평면도 지도 상의 희망 목적지로의 좌표의 시퀀스를 포함하는, 원격현전 로봇. - 제57항에 있어서, 제어 시스템은 또한 검출된 장애물의 평면도 지도에 대한 좌표를 통신 시스템을 통하여 원격 터미널에 전송하도록 구성되는, 원격현전 로봇.
- 제60항에 있어서, 운행 경로를 형성하는 좌표의 시퀀스는 적어도 부분적으로 식별된 태그와 결부된 태그 정보를 기초로 하는, 원격현전 로봇.
- 제60항에 있어서, 운행 시스템은 복수의 잠재적인 운행 경로로부터 하나의 운행 경로를 선택함으로써 운행 경로를 생성하도록 구성되고,
원격현전 로봇의 운행 경로에 관련된 적어도 하나의 태그는 복수의 잠재적인 운행 경로 중 적어도 하나와 결부되며,
운행 시스템은 적어도 부분적으로는 적어도 하나의 식별된 관련 태그를 기초로 운행 경로를 선택하도록 구성되는,
원격현전 로봇. - 제60항에 있어서, 운행 경로를 형성하는 좌표의 시퀀스는 통신 시스템을 통하여 원격 터미널에 전송되는, 원격현전 로봇.
- 제60항에 있어서, 새로운 태그가 좌표의 시퀀스 및 운행 경로에 관련된 태깅 정보를 포함하도록, 원격현전 로봇은 운행 경로를 형성하는 좌표의 시퀀스를 사용하여 새로운 태그를 생성하도록 구성되는, 원격현전 로봇.
- 제54항에 있어서, 태그 정보는 위치, 경로, 및 부피 중 적어도 하나에 관련되고,
제어 시스템은 위치, 경로, 및 부피 중 적어도 하나에 대해 동작을 실행하도록 구성되는,
원격현전 로봇. - 제57항에 있어서, 제어 시스템은 또한 평면도 지도 상의 현재 위치로부터 평면도 지도 상의 희망 목적지로의 운행 경로를 수신하도록 추가로 구성되고,
제어 시스템은 또한 구동 시스템이 운행 경로를 기초로 원격현전 로봇을 희망 목적지로 이동시키도록 하는 구동 명령어를 생성하도록 추가로 구성되는,
원격현전 로봇. - 제57항에 있어서, 통신 시스템은 원격현전 로봇과 원격 터미널 사이의 통신의 두절을 검출하도록 구성되며, 제어 시스템은 또한 통신의 두절 중에도 원격현전 로봇이 희망 목적지로 자율적으로 이동하도록 하는 구동 명령어를 지속적으로 생성하도록 구성되는, 원격현전 로봇.
- 제54항에 있어서, 지도 데이터 소스는 매핑 모듈이 통신 시스템을 통하여 지도 데이터 소스에 액세스할 수 있게 구성되도록 원격 저장되는, 원격현전 로봇.
- 제54항에 있어서, 지도 데이터 소스는 매핑 모듈이 내부 지도 데이터 소스에 액세스할 수 있게 구성되도록 원격현전 로봇 내에 저장되는, 원격현전 로봇.
- 제54항에 있어서, 내부 지도 데이터 소스는 원격 저장된 지도 데이터 소스와 동기화(synchronize)되는, 원격현전 로봇.
- 제54항에 있어서, 포지셔닝 시스템은 또한 평면도 지도에 대한 로봇의 자세를 제공하도록 추가로 구성되는, 원격현전 로봇.
- 제54항에 있어서, 원격현전 로봇은:
새로운 태그의 상대 위치를 기술하는 태그 좌표를 평면도 지도와 이미징 시스템에 의해 생성된 비디오 피드 중 어느 하나에 대해 결부시키고;
태그 정보를 새로운 태그와 결부시킴으로써,
새로운 태그를 생성하도록 구성되는, 원격현전 로봇. - 제73항에 있어서, 새로운 태그는 원격현전 로봇이 비디오 피드에서 물체를 식별하는 것에 응답하여 생성되는, 원격현전 로봇.
- 제74항에 있어서, 물체는 사람이며 새로운 태그의 태그 정보는 상기 사람과 결부된 식별 정보를 포함하는, 원격현전 로봇.
- 제74항에 있어서, 물체는 사람이며 새로운 태그의 태그 정보는 사람에 대해 리모트 원격현전 로봇이 실행할 수 있는 잠재적인 동작을 포함하는, 원격현전 로봇 시스템.
- 제73항에 있어서, 태그 정보는 위치, 경로, 및 부피 중 적어도 하나에 관련되고,
제어 시스템은 위치, 경로, 및 부피 중 적어도 하나에 대해 동작을 실행하도록 구성되는,
원격현전 로봇 시스템. - 제54항에 있어서,
포지셔닝 시스템과 통신 상태에 있는 RFID 리더(RFID reader)를
더 포함하고,
포지셔닝 시스템은 복수의 RFID 칩을 평면도 지도 상의 대응하는 복수의 좌표와 결부시키며, 포지셔닝 시스템은 적어도 부분적으로 RFID 리더의 범위 내의 하나 이상의 RFID 칩의 위치를 기초로 원격현전 로봇의 현재 위치를 결정하도록 구성되는,
원격현전 로봇. - 원격현전 로봇 시스템의 로컬 터미널로서,
전자 디스플레이와;
전자 디스플레이 인터페이스와 통신 상태에 있는 프로세서와;
프로세서와 통신 상태에 있는 메모리로서, 프로세서가:
로봇 작동 표면의 로봇 운행 가능 구역을 나타내는 평면도 지도의 적어도 일부를 검색하고;
제1의 관점에서 리모트 원격현전 로봇의 이미징 시스템으로부터 비디오 피드를 수신하고;
리모트 원격현전 로봇의 현재 위치와 결부된 포지셔닝 데이터를 수신하며;
리모트 원격현전 로봇의 이미징 시스템으로부터의 비디오 피드를 디스플레이하고;
리모트 원격현전 로봇에 명령을 전송하도록
구성된 프로세서에 의해 실행 가능한 명령어를 포함하는, 메모리와,
프로세서와 통신 상태에 있는 사용자 입력 장치로서, 사용자 입력 장치는 사용자가 리모트 원격현전 로봇의 이동을 선택할 수 있도록 구성되고, 이동의 선택은:
비디오 피드에 대해서;
평면도 지도에 대해서; 및,
리모트 원격현전 로봇의 현재 위치에 대해 한 방향으로 리모트 원격현전 로봇을 증분적으로 전진시킴으로써,
리모트 원격현전 로봇의 목적지를 선택하는 것을 포함하는, 사용자 입력 장치를
포함하는, 원격현전 로봇 시스템의 로컬 터미널. - 제79항에 있어서, 이동의 선택은 비디오 피드 내의 일 지점을 선택함으로써 비디오 피드의 다른 관점을 선택하는 것을 포함하는, 원격현전 로봇 시스템.
- 제79항에 있어서, 이동의 선택은 평면도 지도 상의 일 지점을 선택함으로써 비디오 피드의 다른 관점을 선택하는 것을 포함하는, 원격현전 로봇 시스템.
- 제79항에 있어서, 이동의 선택은 리모트 원격현전 로봇이 정지상태로 머물러 있는 동안에 이미징 시스템을 증분적으로 패닝(panning) 또는 틸팅(tilting)시킴으로써 비디오 피드의 다른 관점을 선택하는 것을 포함하는, 원격현전 로봇 시스템.
- 제79항에 있어서, 이동의 선택은 리모트 원격현전 로봇의 하부와 리모트 원격현전 로봇의 상부 중 어느 하나를 회전시키는 것과 관련될 수 있는, 원격현전 로봇 시스템.
- 제79항에 있어서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가:
사용자 입력 장치로부터 리모트 로봇의 목적지의 선택을 수신하고;
리모트 원격현전 로봇의 현재 위치와 리모트 원격현전 로봇의 선택된 목적지 사이에 운행 경로를 생성하기 위해 평면도 지도에 대한 좌표의 시퀀스를 결정하며;
운행 경로를 형성하는 좌표의 시퀀스를 포함하는 명령을 리모트 원격현전 로봇에 전송하도록
추가로 구성되는, 원격현전 로봇 시스템. - 제84항에 있어서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가 평면도 지도에 오버레이된 운행 경로를 형성하는 좌표의 시퀀스를 디스플레이하도록 추가로 구성되는, 원격현전 로봇 시스템.
- 제84항에 있어서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가:
평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드의 사이에 왜곡을 결정하고;
비디오 피드에 대한 좌표의 시퀀스의 관점과 위치를 기술하는 관점 데이터 및 해당 비디오 좌표를 결정하기 위해 운행 경로를 형성하는 좌표의 시퀀스에 왜곡을 적용하며;
비디오 피드에 오버레이된 운행 경로를 형성하는 좌표의 시퀀스의 3차원 표현을 디스플레이하도록
추가로 구성되는, 원격현전 로봇 시스템. - 제86항에 있어서, 운행 경로를 형성하는 좌표의 시퀀스의 3차원 표현은 비디오 피드에서 검출된 바닥에 대해 비디오 피드에 오버레이되는, 원격현전 로봇 시스템.
- 제79항에 있어서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가:
사용자 입력 장치로부터 리모트 로봇의 목적지의 선택을 수신하고;
평면도 지도에 대한 목적지 좌표를 리모트 원격현전 로봇에 전송하는 것으로, 목적지 좌표는 선택된 목적지에 대응하며;
리모트 원격현전 로봇의 운행 시스템으로부터 평면도 지도에 대한 좌표의 시퀀스를 수신하는 것으로, 좌표의 시퀀스는 리모트 원격현전 로봇의 현재 위치와 리모트 원격현전 로봇의 희망 목적지의 사이에 운행 경로를 형성하며;
평면도 지도에 오버레이된 운행 경로를 형성하는 좌표의 시퀀스를 디스플레이하도록
추가로 구성되는, 원격현전 로봇 시스템. - 제88항에 있어서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가:
평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드의 사이에 왜곡을 결정하고;
비디오 피드에 대한 좌표의 시퀀스의 관점과 위치를 기술하는 관점 데이터 및 해당 비디오 좌표를 결정하기 위해 운행 경로를 형성하는 좌표의 시퀀스에 왜곡을 적용하며;
비디오 피드에 오버레이된 운행 경로를 형성하는 좌표의 시퀀스의 3차원 표현을 디스플레이하도록
추가로 구성되는, 원격현전 로봇 시스템. - 제89항에 있어서, 운행 경로를 형성하는 좌표의 시퀀스의 3차원 표현은 비디오 피드에서 검출된 바닥에 대해 비디오 피드에 오버레이되는, 원격현전 로봇 시스템.
- 제79항에 있어서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가 리모트 원격현전 로봇의 센서 시스템에 의해 검출된 장애물의 평면도 지도 상의 좌표를 수신하도록 추가로 구성되는, 원격현전 로봇 시스템.
- 제79항에 있어서, 평면도 지도는 원격 저장되는, 원격현전 로봇 시스템.
- 제92항에 있어서, 평면도 지도는 리모트 원격현전 로봇 내에 저장되는, 원격현전 로봇 시스템.
- 제79항에 있어서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가;
평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드의 사이에 왜곡을 결정하고;
평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터의 비디오 피드의 혼합 도면을 포함하는 하이브리드 지도를 생성하도록
추가로 구성되는, 원격현전 로봇 시스템. - 제94항에 있어서, 하이브리드 지도는 비디오 피드에 오버레이된 평면도 지도의 3차원 표시를 포함하는, 원격현전 로봇 시스템.
- 제79항에 있어서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가:
평면도 지도 상의 리모트 원격현전 로봇의 가상 위치에 대해 렌더링된 미리보기를 위한 요청을 입력 장치를 통해 수신하고;
평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드의 사이에 왜곡을 결정하며;
리모트 원격현전 로봇의 가상 위치에 기초한 가상의 3차원 비디오 피드를 생성하고;
리모트 원격현전 로봇의 가상 위치에 기초한 가상의 3차원 비디오 피드를 디스플레이하도록
추가로 구성되는, 원격현전 로봇 시스템. - 제79항에 있어서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가 평면도 지도 상에 원격현전 로봇의 현재 위치의 표시와 함께 평면도 지도를 디스플레이하도록 구성되는, 원격현전 로봇 시스템.
- 원격현전 로봇을 제어하는 방법으로서,
평면도 지도의 적어도 일부를 검색하는 단계와;
복수의 태그들 중 적어도 하나의 태그를 검색하는 단계로서, 각 태그는 태그의 상대 위치를 기술하는 태그 좌표와 태그 정보를 포함하는 데이터 구조인, 검색하는 단계와;
평면도 지도에 대해 현재 위치를 결정하는 단계와;
원격현전 로봇의 운행 경로와 관련된 복수의 태그들 중 적어도 하나의 태그를 식별하는 단계와;
태그 정보가 원격현전 동작 수정부를 포함하는 식별된 태그를 기초로 동작을 실행하는 단계를
포함하는, 원격현전 로봇을 제어하는 방법. - 원격현전 로봇을 제어하는 방법으로서,
로봇 작동 표면의 로봇 운행 가능 구역을 나타내는 평면도 지도의 적어도 일부를 검색하는 단계와;
제1의 관점에서 리모트 원격현전 로봇의 이미징 시스템으로부터 비디오 피드를 수신하는 단계와;
리모트 원격현전 로봇의 현재 위치와 결부된 포지셔닝 데이터를 수신하는 단계와;
리모트 원격현전 로봇의 이미징 시스템으로부터의 비디오 피드를 디스플레이하는 단계와;
리모트 원격현전 로봇에 명령을 전송하는 단계; 및,
사용자 입력 장치 이동으로부터 복수의 이동 선택을 수신하는 단계로서, 이동 선택은:
비디오 피드에 대해서;
평면도 지도에 대해서; 및
리모트 원격현전 로봇의 현재 위치에 대해 한 방향으로 리모트 원격현전 로봇를 증분적으로 전진시킴으로써
이루어지는, 복수의 이동 선택을 수신하는 단계를
포함하는, 원격현전 로봇을 제어하는 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201161437433P | 2011-01-28 | 2011-01-28 | |
| US61/437,433 | 2011-01-28 | ||
| PCT/US2012/023036 WO2012103525A2 (en) | 2011-01-28 | 2012-01-27 | Interfacing with a mobile telepresence robot |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187016394A Division KR102068216B1 (ko) | 2011-01-28 | 2012-01-27 | 이동형 원격현전 로봇과의 인터페이싱 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20140040094A true KR20140040094A (ko) | 2014-04-02 |
Family
ID=46578014
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187029010A KR102018763B1 (ko) | 2011-01-28 | 2012-01-27 | 이동형 원격현전 로봇과의 인터페이싱 |
| KR1020137020195A KR20140040094A (ko) | 2011-01-28 | 2012-01-27 | 이동형 원격현전 로봇과의 인터페이싱 |
| KR1020187016394A KR102068216B1 (ko) | 2011-01-28 | 2012-01-27 | 이동형 원격현전 로봇과의 인터페이싱 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187029010A KR102018763B1 (ko) | 2011-01-28 | 2012-01-27 | 이동형 원격현전 로봇과의 인터페이싱 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187016394A KR102068216B1 (ko) | 2011-01-28 | 2012-01-27 | 이동형 원격현전 로봇과의 인터페이싱 |
Country Status (6)
| Country | Link |
|---|---|
| US (10) | US8718837B2 (ko) |
| EP (1) | EP2668008A4 (ko) |
| JP (1) | JP5905031B2 (ko) |
| KR (3) | KR102018763B1 (ko) |
| CN (2) | CN103459099B (ko) |
| WO (1) | WO2012103525A2 (ko) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160036008A (ko) * | 2014-09-24 | 2016-04-01 | 삼성전자주식회사 | 청소 로봇 및 청소 로봇의 제어 방법 |
| KR20160057648A (ko) | 2014-11-14 | 2016-05-24 | 이창길 | 로봇의 자율 이동을 위한 행동블록 운영 시스템 및 그 방법 |
| WO2016111437A1 (ko) * | 2015-01-05 | 2016-07-14 | 한화테크윈 주식회사 | 스캐닝 라이다 장치 및 이에 적용되는 방법 |
| KR101694369B1 (ko) * | 2015-08-28 | 2017-01-09 | 경상대학교산학협력단 | 상지 재활 로봇 |
| KR101888523B1 (ko) * | 2017-06-29 | 2018-08-14 | 이종훈 | 헤드램프의 모델 또는 동작에 따라 3차원 이동이 가능한 자동차 배광 시험기 |
| KR20190016335A (ko) * | 2017-08-08 | 2019-02-18 | 네이버랩스 주식회사 | 픽업 로봇의 제어 방법 |
| EP3587052A1 (en) | 2018-06-25 | 2020-01-01 | LG Electronics Inc. | Robot |
| EP3587051A1 (en) | 2018-06-25 | 2020-01-01 | LG Electronics Inc. | Robot |
| KR20200000768A (ko) | 2018-06-25 | 2020-01-03 | 엘지전자 주식회사 | 로봇 |
| KR20200000767A (ko) | 2018-06-25 | 2020-01-03 | 엘지전자 주식회사 | 로봇 |
| KR20200000721A (ko) | 2018-06-25 | 2020-01-03 | 엘지전자 주식회사 | 로봇 |
| KR20200055312A (ko) | 2018-11-13 | 2020-05-21 | 엘지전자 주식회사 | 공기조화기 및 그의 동작 방법 |
| WO2021100890A1 (ko) * | 2019-11-18 | 2021-05-27 | (주)한스이엔지 | 장애물 인지 및 회피 주행 제어 시스템 및 그 방법 |
| KR20220108761A (ko) * | 2019-09-13 | 2022-08-03 | 도요타 리서치 인스티튜트, 인코퍼레이티드 | 로봇 태스크에 힘 벡터를 할당하기 위한 방법 및 시스템 |
| US11556131B2 (en) | 2019-03-13 | 2023-01-17 | Lg Electronics Inc. | Robot |
Families Citing this family (585)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7706917B1 (en) * | 2004-07-07 | 2010-04-27 | Irobot Corporation | Celestial navigation system for an autonomous robot |
| US11835343B1 (en) | 2004-08-06 | 2023-12-05 | AI Incorporated | Method for constructing a map while performing work |
| DE102006031580A1 (de) | 2006-07-03 | 2008-01-17 | Faro Technologies, Inc., Lake Mary | Verfahren und Vorrichtung zum dreidimensionalen Erfassen eines Raumbereichs |
| FR2907582A1 (fr) * | 2006-10-23 | 2008-04-25 | Nodbox Sarl | Procede de determination d'algorithmes routiers localises et adaptatifs pour la cartographie adas et la gestion des routes |
| US20090248200A1 (en) * | 2007-10-22 | 2009-10-01 | North End Technologies | Method & apparatus for remotely operating a robotic device linked to a communications network |
| US8775454B2 (en) | 2008-07-29 | 2014-07-08 | James L. Geer | Phone assisted ‘photographic memory’ |
| US9128981B1 (en) | 2008-07-29 | 2015-09-08 | James L. Geer | Phone assisted ‘photographic memory’ |
| US8908995B2 (en) | 2009-01-12 | 2014-12-09 | Intermec Ip Corp. | Semi-automatic dimensioning with imager on a portable device |
| DE102009010465B3 (de) | 2009-02-13 | 2010-05-27 | Faro Technologies, Inc., Lake Mary | Laserscanner |
| US9551575B2 (en) | 2009-03-25 | 2017-01-24 | Faro Technologies, Inc. | Laser scanner having a multi-color light source and real-time color receiver |
| DE102009015920B4 (de) | 2009-03-25 | 2014-11-20 | Faro Technologies, Inc. | Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung |
| DE102009055988B3 (de) | 2009-11-20 | 2011-03-17 | Faro Technologies, Inc., Lake Mary | Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung |
| US9113023B2 (en) | 2009-11-20 | 2015-08-18 | Faro Technologies, Inc. | Three-dimensional scanner with spectroscopic energy detector |
| DE102009057101A1 (de) | 2009-11-20 | 2011-05-26 | Faro Technologies, Inc., Lake Mary | Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung |
| US9529083B2 (en) | 2009-11-20 | 2016-12-27 | Faro Technologies, Inc. | Three-dimensional scanner with enhanced spectroscopic energy detector |
| US9210288B2 (en) | 2009-11-20 | 2015-12-08 | Faro Technologies, Inc. | Three-dimensional scanner with dichroic beam splitters to capture a variety of signals |
| DE102009055989B4 (de) | 2009-11-20 | 2017-02-16 | Faro Technologies, Inc. | Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung |
| US9163922B2 (en) | 2010-01-20 | 2015-10-20 | Faro Technologies, Inc. | Coordinate measurement machine with distance meter and camera to determine dimensions within camera images |
| US9628775B2 (en) | 2010-01-20 | 2017-04-18 | Faro Technologies, Inc. | Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations |
| US9607239B2 (en) | 2010-01-20 | 2017-03-28 | Faro Technologies, Inc. | Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations |
| DE112011100292B4 (de) | 2010-01-20 | 2016-11-24 | Faro Technologies Inc. | Anzeige für ein Koordinatenmessgerät |
| US9879976B2 (en) | 2010-01-20 | 2018-01-30 | Faro Technologies, Inc. | Articulated arm coordinate measurement machine that uses a 2D camera to determine 3D coordinates of smoothly continuous edge features |
| DE102010020925B4 (de) | 2010-05-10 | 2014-02-27 | Faro Technologies, Inc. | Verfahren zum optischen Abtasten und Vermessen einer Umgebung |
| DE102010032723B3 (de) | 2010-07-26 | 2011-11-24 | Faro Technologies, Inc. | Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung |
| DE102010032726B3 (de) | 2010-07-26 | 2011-11-24 | Faro Technologies, Inc. | Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung |
| DE102010032725B4 (de) | 2010-07-26 | 2012-04-26 | Faro Technologies, Inc. | Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung |
| DE102010033561B3 (de) | 2010-07-29 | 2011-12-15 | Faro Technologies, Inc. | Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung |
| US9015093B1 (en) | 2010-10-26 | 2015-04-21 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
| US8775341B1 (en) | 2010-10-26 | 2014-07-08 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
| KR20120043865A (ko) * | 2010-10-27 | 2012-05-07 | 주식회사 케이티 | 이동통신 단말의 위치정보를 활용한 로봇 인터랙션 서비스 제공 시스템, 방법 및 장치 |
| US9168654B2 (en) | 2010-11-16 | 2015-10-27 | Faro Technologies, Inc. | Coordinate measuring machines with dual layer arm |
| US8930019B2 (en) * | 2010-12-30 | 2015-01-06 | Irobot Corporation | Mobile human interface robot |
| US10281915B2 (en) | 2011-01-05 | 2019-05-07 | Sphero, Inc. | Multi-purposed self-propelled device |
| US8571781B2 (en) | 2011-01-05 | 2013-10-29 | Orbotix, Inc. | Self-propelled device with actively engaged drive system |
| US9090214B2 (en) | 2011-01-05 | 2015-07-28 | Orbotix, Inc. | Magnetically coupled accessory for a self-propelled device |
| US9218316B2 (en) | 2011-01-05 | 2015-12-22 | Sphero, Inc. | Remotely controlling a self-propelled device in a virtualized environment |
| US9429940B2 (en) | 2011-01-05 | 2016-08-30 | Sphero, Inc. | Self propelled device with magnetic coupling |
| US9323250B2 (en) | 2011-01-28 | 2016-04-26 | Intouch Technologies, Inc. | Time-dependent navigation of telepresence robots |
| US8718837B2 (en) | 2011-01-28 | 2014-05-06 | Intouch Technologies | Interfacing with a mobile telepresence robot |
| BR112013020345B1 (pt) * | 2011-02-17 | 2021-07-20 | Nec Corporation | Dispositivo para o processamento de informações e método para o processamento de informações |
| US20120244969A1 (en) | 2011-03-25 | 2012-09-27 | May Patents Ltd. | System and Method for a Motion Sensing Device |
| US20120250050A1 (en) * | 2011-03-28 | 2012-10-04 | Daniel Theobald | Reconfigurable User Input/Output Device |
| US8478901B1 (en) * | 2011-05-06 | 2013-07-02 | Google Inc. | Methods and systems for robot cloud computing using slug trails |
| US9098611B2 (en) | 2012-11-26 | 2015-08-04 | Intouch Technologies, Inc. | Enhanced video interaction for a user interface of a telepresence network |
| US20140139616A1 (en) | 2012-01-27 | 2014-05-22 | Intouch Technologies, Inc. | Enhanced Diagnostics for a Telepresence Robot |
| KR101257896B1 (ko) * | 2011-05-25 | 2013-04-24 | (주) 퓨처로봇 | 스마트 서비스 로봇 운영 시스템 및 방법 |
| US9566710B2 (en) | 2011-06-02 | 2017-02-14 | Brain Corporation | Apparatus and methods for operating robotic devices using selective state space training |
| JP5698614B2 (ja) * | 2011-06-22 | 2015-04-08 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | コンテキスト情報処理システム及び方法 |
| US9079315B2 (en) | 2011-08-29 | 2015-07-14 | Neil Davey | Banking automation using autonomous robot |
| US9628843B2 (en) * | 2011-11-21 | 2017-04-18 | Microsoft Technology Licensing, Llc | Methods for controlling electronic devices using gestures |
| US10050330B2 (en) | 2011-12-05 | 2018-08-14 | Adasa Inc. | Aerial inventory antenna |
| US9780435B2 (en) | 2011-12-05 | 2017-10-03 | Adasa Inc. | Aerial inventory antenna |
| US10846497B2 (en) | 2011-12-05 | 2020-11-24 | Adasa Inc. | Holonomic RFID reader |
| US9747480B2 (en) | 2011-12-05 | 2017-08-29 | Adasa Inc. | RFID and robots for multichannel shopping |
| US10476130B2 (en) | 2011-12-05 | 2019-11-12 | Adasa Inc. | Aerial inventory antenna |
| US11093722B2 (en) | 2011-12-05 | 2021-08-17 | Adasa Inc. | Holonomic RFID reader |
| KR101910382B1 (ko) * | 2011-12-08 | 2018-10-22 | 엘지전자 주식회사 | 자동 이동 장치 및 그 수동 조작 방법 |
| US8902936B2 (en) | 2011-12-22 | 2014-12-02 | Cory J. Stephanson | Sensor event assessor input/output controller |
| US10165228B2 (en) | 2011-12-22 | 2018-12-25 | Mis Security, Llc | Sensor event assessor training and integration |
| DE102012100609A1 (de) | 2012-01-25 | 2013-07-25 | Faro Technologies, Inc. | Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung |
| KR20130087881A (ko) * | 2012-01-30 | 2013-08-07 | 한국전자통신연구원 | 원격 관제 시스템을 이용한 무인 감시 장치 및 방법, 무인 감시를 위한 로봇 제어 단말 |
| KR101929451B1 (ko) * | 2012-02-03 | 2018-12-14 | 삼성전자주식회사 | 로봇의 제어 장치 및 방법 |
| US8965104B1 (en) * | 2012-02-10 | 2015-02-24 | Google Inc. | Machine vision calibration with cloud computing systems |
| US9573276B2 (en) * | 2012-02-15 | 2017-02-21 | Kenneth Dean Stephens, Jr. | Space exploration with human proxy robots |
| US8942881B2 (en) * | 2012-04-02 | 2015-01-27 | Google Inc. | Gesture-based automotive controls |
| US9779546B2 (en) | 2012-05-04 | 2017-10-03 | Intermec Ip Corp. | Volume dimensioning systems and methods |
| US9007368B2 (en) | 2012-05-07 | 2015-04-14 | Intermec Ip Corp. | Dimensioning system calibration systems and methods |
| US9292758B2 (en) | 2012-05-14 | 2016-03-22 | Sphero, Inc. | Augmentation of elements in data content |
| EP2850512A4 (en) | 2012-05-14 | 2016-11-16 | Sphero Inc | OPERATION OF A CALCULATION DEVICE BY DETECTING ROUNDED OBJECTS IN A PICTURE |
| US9827487B2 (en) | 2012-05-14 | 2017-11-28 | Sphero, Inc. | Interactive augmented reality using a self-propelled device |
| US10007858B2 (en) | 2012-05-15 | 2018-06-26 | Honeywell International Inc. | Terminals and methods for dimensioning objects |
| EP2852881A4 (en) | 2012-05-22 | 2016-03-23 | Intouch Technologies Inc | GRAPHIC USER INTERFACES CONTAINING TOUCH PAD TOUCH INTERFACES FOR TELEMEDICINE DEVICES |
| US9361021B2 (en) | 2012-05-22 | 2016-06-07 | Irobot Corporation | Graphical user interfaces including touchpad driving interfaces for telemedicine devices |
| US9256983B2 (en) | 2012-06-28 | 2016-02-09 | Here Global B.V. | On demand image overlay |
| US9256961B2 (en) | 2012-06-28 | 2016-02-09 | Here Global B.V. | Alternate viewpoint image enhancement |
| JP6008617B2 (ja) * | 2012-06-29 | 2016-10-19 | キヤノン株式会社 | 通信装置およびその制御方法、並びにプログラム |
| US10056791B2 (en) | 2012-07-13 | 2018-08-21 | Sphero, Inc. | Self-optimizing power transfer |
| US8997362B2 (en) | 2012-07-17 | 2015-04-07 | Faro Technologies, Inc. | Portable articulated arm coordinate measuring machine with optical communications bus |
| WO2014024107A2 (en) * | 2012-08-06 | 2014-02-13 | Koninklijke Philips N.V. | Method and apparatus for the real time annotation of a medical treatment event |
| US10321127B2 (en) | 2012-08-20 | 2019-06-11 | Intermec Ip Corp. | Volume dimensioning system calibration systems and methods |
| ES2610755T3 (es) | 2012-08-27 | 2017-05-03 | Aktiebolaget Electrolux | Sistema de posicionamiento de un robot |
| US9220651B2 (en) | 2012-09-28 | 2015-12-29 | Elwha Llc | Automated systems, devices, and methods for transporting and supporting patients |
| US20140094997A1 (en) * | 2012-09-28 | 2014-04-03 | Elwha Llc | Automated Systems, Devices, and Methods for Transporting and Supporting Patients Including Multi-Floor Operation |
| US9939259B2 (en) | 2012-10-04 | 2018-04-10 | Hand Held Products, Inc. | Measuring object dimensions using mobile computer |
| DE102012109481A1 (de) | 2012-10-05 | 2014-04-10 | Faro Technologies, Inc. | Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung |
| US10067231B2 (en) | 2012-10-05 | 2018-09-04 | Faro Technologies, Inc. | Registration calculation of three-dimensional scanner data performed between scans based on measurements by two-dimensional scanner |
| US9513107B2 (en) | 2012-10-05 | 2016-12-06 | Faro Technologies, Inc. | Registration calculation between three-dimensional (3D) scans based on two-dimensional (2D) scan data from a 3D scanner |
| US9841311B2 (en) | 2012-10-16 | 2017-12-12 | Hand Held Products, Inc. | Dimensioning system |
| TWM451103U (zh) * | 2012-10-30 | 2013-04-21 | Agait Technology Corp | 行走裝置 |
| TWI503099B (zh) * | 2012-11-16 | 2015-10-11 | Univ Yuan Ze | 遠距居家照護之遠端臨場機器人於多元人際互動溝通系統 |
| TWI615773B (zh) * | 2012-11-30 | 2018-02-21 | 元智大學 | 結合行動裝置之多元人際互動溝通遠端臨場機器人系統 |
| CN102999046A (zh) * | 2012-12-05 | 2013-03-27 | 珠海市魅族科技有限公司 | 一种导航的控制方法、终端、导航装置及自移动设备 |
| KR102058918B1 (ko) | 2012-12-14 | 2019-12-26 | 삼성전자주식회사 | 홈 모니터링 방법 및 장치 |
| KR20140089241A (ko) * | 2013-01-04 | 2014-07-14 | 한국전자통신연구원 | 군집지능로봇에서의 확률기반 전파맵 생성 장치 및 방법 |
| TWI512642B (zh) * | 2013-01-25 | 2015-12-11 | Delta Electronics Inc | 快速圖形比對方法 |
| CN105074791B (zh) * | 2013-02-08 | 2018-01-09 | 罗伯特·博世有限公司 | 向视频流添加用户选择的标记 |
| US9014428B2 (en) * | 2013-02-15 | 2015-04-21 | Sony Corporation | Object detection using difference of image frames |
| JP2014159766A (ja) * | 2013-02-19 | 2014-09-04 | Denso Corp | 移動体用制御システム |
| US9956687B2 (en) | 2013-03-04 | 2018-05-01 | Microsoft Technology Licensing, Llc | Adapting robot behavior based upon human-robot interaction |
| KR101450537B1 (ko) * | 2013-03-05 | 2014-10-14 | 엘지전자 주식회사 | 로봇 청소기 |
| US9056396B1 (en) * | 2013-03-05 | 2015-06-16 | Autofuss | Programming of a robotic arm using a motion capture system |
| US9566414B2 (en) | 2013-03-13 | 2017-02-14 | Hansen Medical, Inc. | Integrated catheter and guide wire controller |
| US9080856B2 (en) | 2013-03-13 | 2015-07-14 | Intermec Ip Corp. | Systems and methods for enhancing dimensioning, for example volume dimensioning |
| US9355368B2 (en) * | 2013-03-14 | 2016-05-31 | Toyota Motor Engineering & Manufacturing North America, Inc. | Computer-based method and system for providing active and automatic personal assistance using a robotic device/platform |
| KR20160034243A (ko) * | 2013-03-15 | 2016-03-29 | 지보, 인코포레이티드 | 지속적인 동반 디바이스를 제공하기 위한 장치 및 방법들 |
| US8989922B2 (en) | 2013-03-15 | 2015-03-24 | Azure Sky Group, LLC. | Modular drone and methods for use |
| US10849702B2 (en) | 2013-03-15 | 2020-12-01 | Auris Health, Inc. | User input devices for controlling manipulation of guidewires and catheters |
| US9764468B2 (en) | 2013-03-15 | 2017-09-19 | Brain Corporation | Adaptive predictor apparatus and methods |
| US9283046B2 (en) | 2013-03-15 | 2016-03-15 | Hansen Medical, Inc. | User interface for active drive apparatus with finite range of motion |
| KR102117273B1 (ko) * | 2013-03-21 | 2020-06-01 | 삼성전자주식회사 | 수술 로봇 시스템 및 그 제어 방법 |
| CN105074608B (zh) | 2013-04-03 | 2019-08-13 | 飞利浦灯具控股公司 | 一种用于在协作模式中的设备、装置、服务器以及方法 |
| US10448794B2 (en) | 2013-04-15 | 2019-10-22 | Aktiebolaget Electrolux | Robotic vacuum cleaner |
| JP6198234B2 (ja) | 2013-04-15 | 2017-09-20 | アクティエボラゲット エレクトロラックス | 突出サイドブラシを備えたロボット真空掃除機 |
| EP2994804B1 (en) * | 2013-05-06 | 2020-09-02 | Sphero, Inc. | Multi-purposed self-propelled device |
| WO2014182730A1 (en) | 2013-05-06 | 2014-11-13 | Orbotix, Inc. | Multi-purposed self-propelled device |
| US11020016B2 (en) | 2013-05-30 | 2021-06-01 | Auris Health, Inc. | System and method for displaying anatomy and devices on a movable display |
| US9242372B2 (en) | 2013-05-31 | 2016-01-26 | Brain Corporation | Adaptive robotic interface apparatus and methods |
| US10228452B2 (en) | 2013-06-07 | 2019-03-12 | Hand Held Products, Inc. | Method of error correction for 3D imaging device |
| US20140362287A1 (en) * | 2013-06-10 | 2014-12-11 | Chien Fu CHUNG | Multi-directional positioning apparatus for mobile-phone camera shooting |
| US9792546B2 (en) | 2013-06-14 | 2017-10-17 | Brain Corporation | Hierarchical robotic controller apparatus and methods |
| US9384443B2 (en) | 2013-06-14 | 2016-07-05 | Brain Corporation | Robotic training apparatus and methods |
| US9314924B1 (en) * | 2013-06-14 | 2016-04-19 | Brain Corporation | Predictive robotic controller apparatus and methods |
| US9436909B2 (en) | 2013-06-19 | 2016-09-06 | Brain Corporation | Increased dynamic range artificial neuron network apparatus and methods |
| US9075906B2 (en) | 2013-06-28 | 2015-07-07 | Elwha Llc | Medical support system including medical equipment case |
| US9838645B2 (en) | 2013-10-31 | 2017-12-05 | Elwha Llc | Remote monitoring of telemedicine device |
| US9239950B2 (en) | 2013-07-01 | 2016-01-19 | Hand Held Products, Inc. | Dimensioning system |
| WO2015017691A1 (en) * | 2013-08-02 | 2015-02-05 | Irobot Corporation | Time-dependent navigation of telepresence robots |
| WO2015018355A1 (zh) * | 2013-08-07 | 2015-02-12 | 苏州宝时得电动工具有限公司 | 自动工作系统、自动行走设备及其控制方法 |
| JP5939213B2 (ja) * | 2013-08-09 | 2016-06-22 | 株式会社安川電機 | ロボット制御装置及びロボット制御方法 |
| JP5850004B2 (ja) * | 2013-08-09 | 2016-02-03 | 株式会社安川電機 | ロボット制御装置及びロボット制御方法 |
| USD768142S1 (en) * | 2013-08-29 | 2016-10-04 | Samsung Electronics Co., Ltd. | Electronic device with graphical user interface |
| US9464885B2 (en) | 2013-08-30 | 2016-10-11 | Hand Held Products, Inc. | System and method for package dimensioning |
| JP6007873B2 (ja) * | 2013-08-30 | 2016-10-12 | トヨタ自動車株式会社 | ロボット及びその制御方法 |
| US9483829B2 (en) | 2013-09-04 | 2016-11-01 | International Business Machines Corporation | Efficient visual surface finding |
| KR101511992B1 (ko) * | 2013-09-06 | 2015-04-14 | 현대모비스(주) | 조향 휠 제어 방법 및 이를 위한 위한 시스템 |
| KR102165818B1 (ko) * | 2013-09-10 | 2020-10-14 | 삼성전자주식회사 | 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체 |
| DE102013015189A1 (de) * | 2013-09-11 | 2015-03-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Mobiles Kamerasystem mit einer eigenfortbewegungsfähigen Plattform sowie Verfahren zur optischen Erfassung wenigstens eines Objektes |
| US9579789B2 (en) | 2013-09-27 | 2017-02-28 | Brain Corporation | Apparatus and methods for training of robotic control arbitration |
| US9296101B2 (en) | 2013-09-27 | 2016-03-29 | Brain Corporation | Robotic control arbitration apparatus and methods |
| DE102013016381A1 (de) * | 2013-09-30 | 2015-04-02 | Grenzebach Maschinenbau Gmbh | Transportfahrzeug und Verfahren zum störungsfreien Transport von Lastregalen in Werkshallen mit Funkabschattungen und mit teilweise autonomem Fahrbetrieb |
| US9463571B2 (en) | 2013-11-01 | 2016-10-11 | Brian Corporation | Apparatus and methods for online training of robots |
| US9597797B2 (en) | 2013-11-01 | 2017-03-21 | Brain Corporation | Apparatus and methods for haptic training of robots |
| US9248569B2 (en) | 2013-11-22 | 2016-02-02 | Brain Corporation | Discrepancy detection apparatus and methods for machine learning |
| KR102393550B1 (ko) | 2013-12-19 | 2022-05-04 | 에이비 엘렉트로룩스 | 청소 영역의 우선순위를 정하는 방법 |
| CN105813528B (zh) | 2013-12-19 | 2019-05-07 | 伊莱克斯公司 | 机器人清洁设备的障碍物感测爬行 |
| EP3082541B1 (en) | 2013-12-19 | 2018-04-04 | Aktiebolaget Electrolux | Adaptive speed control of rotating side brush |
| KR102137857B1 (ko) | 2013-12-19 | 2020-07-24 | 에이비 엘렉트로룩스 | 로봇 청소 장치 및 랜드마크 인식 방법 |
| US10209080B2 (en) | 2013-12-19 | 2019-02-19 | Aktiebolaget Electrolux | Robotic cleaning device |
| CN105829985B (zh) | 2013-12-19 | 2020-04-07 | 伊莱克斯公司 | 具有周边记录功能的机器人清洁设备 |
| CN105792721B (zh) | 2013-12-19 | 2020-07-21 | 伊莱克斯公司 | 以螺旋样式移动的带侧刷的机器人真空吸尘器 |
| WO2015090439A1 (en) | 2013-12-20 | 2015-06-25 | Aktiebolaget Electrolux | Dust container |
| US9829882B2 (en) | 2013-12-20 | 2017-11-28 | Sphero, Inc. | Self-propelled device with center of mass drive system |
| US9283674B2 (en) | 2014-01-07 | 2016-03-15 | Irobot Corporation | Remotely operating a mobile robot |
| US10514837B1 (en) * | 2014-01-17 | 2019-12-24 | Knightscope, Inc. | Systems and methods for security data analysis and display |
| US10279488B2 (en) * | 2014-01-17 | 2019-05-07 | Knightscope, Inc. | Autonomous data machines and systems |
| US9329597B2 (en) | 2014-01-17 | 2016-05-03 | Knightscope, Inc. | Autonomous data machines and systems |
| US9358685B2 (en) | 2014-02-03 | 2016-06-07 | Brain Corporation | Apparatus and methods for control of robot actions based on corrective user inputs |
| US10042048B1 (en) | 2014-02-20 | 2018-08-07 | National Technology & Engineering Solutions Of Sandia, Llc | Superpixels for improved structure and terrain classification using multiple synthetic aperture radar image products |
| EP2916190B1 (en) * | 2014-03-04 | 2019-05-08 | Volvo Car Corporation | Apparatus and method for prediction of time available for autonomous driving, in a vehicle having autonomous driving cap |
| EP2915718B1 (en) | 2014-03-04 | 2018-07-11 | Volvo Car Corporation | Apparatus and method for continuously establishing a boundary for autonomous driving availability and an automotive vehicle comprising such an apparatus |
| EP3243476B1 (en) | 2014-03-24 | 2019-11-06 | Auris Health, Inc. | Systems and devices for catheter driving instinctiveness |
| US9407879B2 (en) | 2014-04-10 | 2016-08-02 | Smartvue Corporation | Systems and methods for automated cloud-based analytics and 3-dimensional (3D) playback for surveillance systems |
| US11093545B2 (en) | 2014-04-10 | 2021-08-17 | Sensormatic Electronics, LLC | Systems and methods for an automated cloud-based video surveillance system |
| US10084995B2 (en) | 2014-04-10 | 2018-09-25 | Sensormatic Electronics, LLC | Systems and methods for an automated cloud-based video surveillance system |
| US9686514B2 (en) | 2014-04-10 | 2017-06-20 | Kip Smrt P1 Lp | Systems and methods for an automated cloud-based video surveillance system |
| US9420238B2 (en) | 2014-04-10 | 2016-08-16 | Smartvue Corporation | Systems and methods for automated cloud-based 3-dimensional (3D) analytics for surveillance systems |
| US9426428B2 (en) | 2014-04-10 | 2016-08-23 | Smartvue Corporation | Systems and methods for automated cloud-based analytics and 3-dimensional (3D) display for surveillance systems in retail stores |
| US11120274B2 (en) | 2014-04-10 | 2021-09-14 | Sensormatic Electronics, LLC | Systems and methods for automated analytics for security surveillance in operation areas |
| US9407880B2 (en) | 2014-04-10 | 2016-08-02 | Smartvue Corporation | Systems and methods for automated 3-dimensional (3D) cloud-based analytics for security surveillance in operation areas |
| US9405979B2 (en) | 2014-04-10 | 2016-08-02 | Smartvue Corporation | Systems and methods for automated cloud-based analytics and 3-dimensional (3D) display for surveillance systems |
| US10057546B2 (en) | 2014-04-10 | 2018-08-21 | Sensormatic Electronics, LLC | Systems and methods for automated cloud-based analytics for security and/or surveillance |
| US10217003B2 (en) | 2014-04-10 | 2019-02-26 | Sensormatic Electronics, LLC | Systems and methods for automated analytics for security surveillance in operation areas |
| ES2746754T3 (es) * | 2014-04-17 | 2020-03-06 | Softbank Robotics Europe | Robot humanoide con ruedas omnidireccionales basado en un controlador de posición y velocidad lineal predictivo |
| US20150312520A1 (en) * | 2014-04-23 | 2015-10-29 | President And Fellows Of Harvard College | Telepresence apparatus and method enabling a case-study approach to lecturing and teaching |
| JP6003942B2 (ja) * | 2014-04-24 | 2016-10-05 | トヨタ自動車株式会社 | 動作制限装置及び動作制限方法 |
| US9346167B2 (en) | 2014-04-29 | 2016-05-24 | Brain Corporation | Trainable convolutional network apparatus and methods for operating a robotic vehicle |
| CN103984037B (zh) * | 2014-04-30 | 2017-07-28 | 深圳市墨克瑞光电子研究院 | 基于视觉的移动机器人障碍物检测方法和装置 |
| US9348337B2 (en) * | 2014-05-14 | 2016-05-24 | Swissray Asia Healthcare Co., Ltd. | Environment recognition guide system for movable medical equipment and method |
| KR20150133898A (ko) * | 2014-05-20 | 2015-12-01 | 삼성디스플레이 주식회사 | 창문 겸용 표시장치 |
| US10279470B2 (en) | 2014-06-12 | 2019-05-07 | Play-i, Inc. | System and method for facilitating program sharing |
| US9370862B2 (en) | 2014-06-12 | 2016-06-21 | Play-i, Inc. | System and method for reinforcing programming education through robotic feedback |
| US9672756B2 (en) | 2014-06-12 | 2017-06-06 | Play-i, Inc. | System and method for toy visual programming |
| KR102325130B1 (ko) | 2014-07-10 | 2021-11-12 | 에이비 엘렉트로룩스 | 로봇 청소 장치에서 측정 에러를 검출하는 방법 |
| US9283678B2 (en) * | 2014-07-16 | 2016-03-15 | Google Inc. | Virtual safety cages for robotic devices |
| US9259838B1 (en) | 2014-07-24 | 2016-02-16 | Google Inc. | Systems and methods for ground plane estimation |
| JP6140114B2 (ja) * | 2014-07-31 | 2017-05-31 | ファナック株式会社 | 移動式人協調型ロボット |
| US9823059B2 (en) | 2014-08-06 | 2017-11-21 | Hand Held Products, Inc. | Dimensioning system with guided alignment |
| US9205562B1 (en) | 2014-08-29 | 2015-12-08 | Google Inc. | Integration of depth points into a height map |
| US10339389B2 (en) * | 2014-09-03 | 2019-07-02 | Sharp Laboratories Of America, Inc. | Methods and systems for vision-based motion estimation |
| JP6459098B2 (ja) | 2014-09-08 | 2019-01-30 | アクチエボラゲット エレクトロルックス | ロボット真空掃除機 |
| CN106659345B (zh) | 2014-09-08 | 2019-09-03 | 伊莱克斯公司 | 机器人真空吸尘器 |
| US9501059B2 (en) * | 2014-09-12 | 2016-11-22 | Qualcomm Incorporated | Pocket robot |
| CN104260095B (zh) * | 2014-09-23 | 2016-04-27 | 上海工程技术大学 | 一种医疗机械臂的控制方法及装置 |
| US9630318B2 (en) | 2014-10-02 | 2017-04-25 | Brain Corporation | Feature detection apparatus and methods for training of robotic navigation |
| US9779276B2 (en) | 2014-10-10 | 2017-10-03 | Hand Held Products, Inc. | Depth sensor based auto-focus system for an indicia scanner |
| US10775165B2 (en) | 2014-10-10 | 2020-09-15 | Hand Held Products, Inc. | Methods for improving the accuracy of dimensioning-system measurements |
| US10810715B2 (en) | 2014-10-10 | 2020-10-20 | Hand Held Products, Inc | System and method for picking validation |
| US9752864B2 (en) | 2014-10-21 | 2017-09-05 | Hand Held Products, Inc. | Handheld dimensioning system with feedback |
| US9762793B2 (en) | 2014-10-21 | 2017-09-12 | Hand Held Products, Inc. | System and method for dimensioning |
| US9897434B2 (en) | 2014-10-21 | 2018-02-20 | Hand Held Products, Inc. | Handheld dimensioning system with measurement-conformance feedback |
| US9557166B2 (en) | 2014-10-21 | 2017-01-31 | Hand Held Products, Inc. | Dimensioning system with multipath interference mitigation |
| US10060729B2 (en) | 2014-10-21 | 2018-08-28 | Hand Held Products, Inc. | Handheld dimensioner with data-quality indication |
| US9478029B2 (en) | 2014-10-23 | 2016-10-25 | Qualcomm Incorporated | Selection strategy for exchanging map information in collaborative multi-user SLAM systems |
| US9796093B2 (en) * | 2014-10-24 | 2017-10-24 | Fellow, Inc. | Customer service robot and related systems and methods |
| US9772281B2 (en) | 2014-10-25 | 2017-09-26 | Isle Management Co. | Air quality analyzing apparatus |
| US9563201B1 (en) | 2014-10-31 | 2017-02-07 | State Farm Mutual Automobile Insurance Company | Feedback to facilitate control of unmanned aerial vehicles (UAVs) |
| US20200409382A1 (en) * | 2014-11-10 | 2020-12-31 | Carnegie Mellon University | Intelligent cleaning robot |
| US9916002B2 (en) | 2014-11-16 | 2018-03-13 | Eonite Perception Inc. | Social applications for augmented reality technologies |
| US9754419B2 (en) | 2014-11-16 | 2017-09-05 | Eonite Perception Inc. | Systems and methods for augmented reality preparation, processing, and application |
| US10043319B2 (en) | 2014-11-16 | 2018-08-07 | Eonite Perception Inc. | Optimizing head mounted displays for augmented reality |
| CN104331080B (zh) * | 2014-11-21 | 2015-08-26 | 中国人民解放军国防科学技术大学 | 用于移动式机器人的定点跟踪路径规划方法 |
| US9623560B1 (en) * | 2014-11-26 | 2017-04-18 | Daniel Theobald | Methods of operating a mechanism and systems related therewith |
| KR101689190B1 (ko) * | 2014-11-26 | 2016-12-23 | 홍익대학교세종캠퍼스산학협력단 | 맞춤형 3d 프린팅 로봇 및 이를 위한 주문 시스템 |
| EP3230814B1 (en) | 2014-12-10 | 2021-02-17 | Aktiebolaget Electrolux | Using laser sensor for floor type detection |
| CN114668335A (zh) | 2014-12-12 | 2022-06-28 | 伊莱克斯公司 | 侧刷和机器人吸尘器 |
| USD760263S1 (en) * | 2014-12-16 | 2016-06-28 | Jenny Q. Ta | Display screen with graphical user interface |
| US10678251B2 (en) | 2014-12-16 | 2020-06-09 | Aktiebolaget Electrolux | Cleaning method for a robotic cleaning device |
| US10534367B2 (en) | 2014-12-16 | 2020-01-14 | Aktiebolaget Electrolux | Experience-based roadmap for a robotic cleaning device |
| US20170102699A1 (en) * | 2014-12-22 | 2017-04-13 | Intel Corporation | Drone control through imagery |
| US11400595B2 (en) | 2015-01-06 | 2022-08-02 | Nexus Robotics Llc | Robotic platform with area cleaning mode |
| US10518407B2 (en) | 2015-01-06 | 2019-12-31 | Discovery Robotics | Apparatus and methods for providing a reconfigurable robotic platform |
| US20160206179A1 (en) * | 2015-01-15 | 2016-07-21 | National Taiwan University | Assistive robot endoscopic system with intuitive maneuverability for laparoscopic surgery and method thereof |
| US10484437B2 (en) * | 2015-01-21 | 2019-11-19 | Logmein, Inc. | Remote support service with two-way smart whiteboard |
| EP3249418A4 (en) * | 2015-01-22 | 2018-02-28 | Guangzhou Airob Robot Technology Co., Ltd. | Rfid-based localization and mapping method and device thereof |
| WO2016115714A1 (zh) * | 2015-01-22 | 2016-07-28 | 江玉结 | 基于色块标签的定位与地图构建方法及其装置 |
| US9389311B1 (en) * | 2015-02-19 | 2016-07-12 | Sandia Corporation | Superpixel edges for boundary detection |
| CA2882968C (en) * | 2015-02-23 | 2023-04-25 | Sulfur Heron Cognitive Systems Inc. | Facilitating generation of autonomous control information |
| US9717387B1 (en) | 2015-02-26 | 2017-08-01 | Brain Corporation | Apparatus and methods for programming and training of robotic household appliances |
| KR101974768B1 (ko) * | 2015-03-11 | 2019-05-02 | 가부시끼 가이샤 구보다 | 작업 차량 및 작업 차량을 자동 주행시키는 주행 제어 장치 |
| KR101682880B1 (ko) * | 2015-03-19 | 2016-12-20 | 현대자동차주식회사 | 차량 및 이를 포함하는 원격 차량 조작 시스템 |
| US10756830B2 (en) | 2015-03-24 | 2020-08-25 | Carrier Corporation | System and method for determining RF sensor performance relative to a floor plan |
| US11036897B2 (en) | 2015-03-24 | 2021-06-15 | Carrier Corporation | Floor plan based planning of building systems |
| CN107660300B (zh) | 2015-03-24 | 2021-01-29 | 开利公司 | 用于提供指示建筑物的入侵者威胁等级的图形用户界面的系统和方法 |
| US10944837B2 (en) | 2015-03-24 | 2021-03-09 | Carrier Corporation | Floor-plan based learning and registration of distributed devices |
| EP3274932A1 (en) | 2015-03-24 | 2018-01-31 | Carrier Corporation | Integrated system for sales, installation, and maintenance of building systems |
| US9574883B2 (en) | 2015-03-24 | 2017-02-21 | X Development Llc | Associating semantic location data with automated environment mapping |
| DK3275204T3 (da) | 2015-03-24 | 2020-09-21 | Carrier Corp | System og fremgangsmåde til indsamling og analysering af flerdimensionel bygningsinformation |
| US10230326B2 (en) | 2015-03-24 | 2019-03-12 | Carrier Corporation | System and method for energy harvesting system planning and performance |
| US10928785B2 (en) | 2015-03-24 | 2021-02-23 | Carrier Corporation | Floor plan coverage based auto pairing and parameter setting |
| US10088993B2 (en) | 2015-04-01 | 2018-10-02 | Ebay Inc. | User interface for controlling data navigation |
| US9833899B1 (en) * | 2015-04-02 | 2017-12-05 | Boston Dynamics, Inc. | Adaptive response to load |
| WO2016165772A1 (en) | 2015-04-17 | 2016-10-20 | Aktiebolaget Electrolux | Robotic cleaning device and a method of controlling the robotic cleaning device |
| US11000944B2 (en) * | 2015-04-22 | 2021-05-11 | Massachusetts Institute Of Technology | Foot touch position following apparatus, method of controlling movement thereof, and non-transitory computer-readable information recording medium storing the same |
| US9690374B2 (en) | 2015-04-27 | 2017-06-27 | Google Inc. | Virtual/augmented reality transition system and method |
| CN107580487A (zh) * | 2015-05-06 | 2018-01-12 | 奥比斯机器人技术股份有限公司 | 可转换遥现机器人 |
| US10033941B2 (en) * | 2015-05-11 | 2018-07-24 | Google Llc | Privacy filtering of area description file prior to upload |
| US9811734B2 (en) | 2015-05-11 | 2017-11-07 | Google Inc. | Crowd-sourced creation and updating of area description file for mobile device localization |
| CN104889992A (zh) * | 2015-05-12 | 2015-09-09 | 上海人智信息科技有限公司 | 一种智能医疗服务机器人 |
| CN104924310A (zh) * | 2015-05-12 | 2015-09-23 | 上海人智信息科技有限公司 | 一种智能家庭语音互动机器人 |
| US9786101B2 (en) | 2015-05-19 | 2017-10-10 | Hand Held Products, Inc. | Evaluating image values |
| USD777846S1 (en) | 2015-05-19 | 2017-01-31 | Play-i, Inc. | Connector accessory for toy robot |
| EP3299922B1 (en) * | 2015-05-22 | 2022-09-07 | FUJIFILM Corporation | Robot device and movement control method for robot device |
| US20160349754A1 (en) | 2015-05-29 | 2016-12-01 | Clearpath Robotics, Inc. | Method, system and apparatus for controlling self-driving vehicles |
| CN105182757B (zh) * | 2015-06-05 | 2019-03-05 | 普天智能照明研究院有限公司 | 一种移动式智能管家机器人控制方法 |
| US10066982B2 (en) | 2015-06-16 | 2018-09-04 | Hand Held Products, Inc. | Calibrating a volume dimensioner |
| US10133276B1 (en) * | 2015-06-19 | 2018-11-20 | Amazon Technologies, Inc. | Object avoidance with object detection and classification |
| CN104991555A (zh) * | 2015-06-22 | 2015-10-21 | 中山明杰自动化科技有限公司 | 一种防撞击和带有智能报警装置的agv小车 |
| US20160377414A1 (en) | 2015-06-23 | 2016-12-29 | Hand Held Products, Inc. | Optical pattern projector |
| US9857167B2 (en) | 2015-06-23 | 2018-01-02 | Hand Held Products, Inc. | Dual-projector three-dimensional scanner |
| US10062010B2 (en) | 2015-06-26 | 2018-08-28 | Intel Corporation | System for building a map and subsequent localization |
| EP3112965A1 (en) * | 2015-07-02 | 2017-01-04 | Accenture Global Services Limited | Robotic process automation |
| US9835486B2 (en) | 2015-07-07 | 2017-12-05 | Hand Held Products, Inc. | Mobile dimensioner apparatus for use in commerce |
| EP3396313B1 (en) | 2015-07-15 | 2020-10-21 | Hand Held Products, Inc. | Mobile dimensioning method and device with dynamic accuracy compatible with nist standard |
| US10094650B2 (en) | 2015-07-16 | 2018-10-09 | Hand Held Products, Inc. | Dimensioning and imaging items |
| US20170017301A1 (en) | 2015-07-16 | 2017-01-19 | Hand Held Products, Inc. | Adjusting dimensioning results using augmented reality |
| US9796091B1 (en) | 2015-08-17 | 2017-10-24 | X Development Llc | Selective robot deployment |
| US9895809B1 (en) | 2015-08-20 | 2018-02-20 | X Development Llc | Visual annotations in robot control interfaces |
| WO2017033360A1 (ja) | 2015-08-25 | 2017-03-02 | 川崎重工業株式会社 | 遠隔操縦マニピュレータシステム及びその運転方法 |
| GB2541884A (en) * | 2015-08-28 | 2017-03-08 | Imp College Of Science Tech And Medicine | Mapping a space using a multi-directional camera |
| US10032137B2 (en) * | 2015-08-31 | 2018-07-24 | Avaya Inc. | Communication systems for multi-source robot control |
| EP3344104B1 (en) | 2015-09-03 | 2020-12-30 | Aktiebolaget Electrolux | System of robotic cleaning devices |
| EP3347843A4 (en) * | 2015-09-09 | 2019-06-19 | Carbon Robotics, Inc. | ROBOTIC ARM SYSTEM AND METHOD FOR OBJECT PREVENTION |
| US10118296B1 (en) * | 2015-09-10 | 2018-11-06 | X Development Llc | Tagged robot sensor data |
| US9684305B2 (en) * | 2015-09-11 | 2017-06-20 | Fuji Xerox Co., Ltd. | System and method for mobile robot teleoperation |
| US10016897B2 (en) * | 2015-09-14 | 2018-07-10 | OneMarket Network LLC | Robotic systems and methods in prediction and presentation of resource availability |
| US10077984B2 (en) * | 2015-09-25 | 2018-09-18 | International Business Machines Corporation | Indoor positioning system training |
| RU2018116593A (ru) * | 2015-10-05 | 2019-11-07 | БАЙЕР ХелсКер ЛЛСи | Выдача рекомендаций по ортопедическому товару |
| US10120057B1 (en) | 2015-10-13 | 2018-11-06 | Google Llc | System and method for determining the direction of an actor |
| US9691153B1 (en) | 2015-10-21 | 2017-06-27 | Google Inc. | System and method for using image data to determine a direction of an actor |
| CN105306762A (zh) * | 2015-10-22 | 2016-02-03 | 深圳创想未来机器人有限公司 | 移动智能终端及其家电控制方法 |
| CN105216905B (zh) * | 2015-10-27 | 2018-01-02 | 北京林业大学 | 即时定位与地图创建勘测搜救机器人 |
| US10249030B2 (en) | 2015-10-30 | 2019-04-02 | Hand Held Products, Inc. | Image transformation for indicia reading |
| US9928648B2 (en) * | 2015-11-09 | 2018-03-27 | Microsoft Technology Licensing, Llc | Object path identification for navigating objects in scene-aware device environments |
| US10353473B2 (en) * | 2015-11-19 | 2019-07-16 | International Business Machines Corporation | Client device motion control via a video feed |
| US10225544B2 (en) | 2015-11-19 | 2019-03-05 | Hand Held Products, Inc. | High resolution dot pattern |
| US10471594B2 (en) * | 2015-12-01 | 2019-11-12 | Kindred Systems Inc. | Systems, devices, and methods for the distribution and collection of multimodal data associated with robots |
| US9975241B2 (en) * | 2015-12-03 | 2018-05-22 | Intel Corporation | Machine object determination based on human interaction |
| US10409292B2 (en) * | 2015-12-10 | 2019-09-10 | Panasonic Intellectual Property Corporation Of America | Movement control method, autonomous mobile robot, and recording medium storing program |
| KR102546714B1 (ko) | 2015-12-15 | 2023-06-23 | 삼성전자주식회사 | 전자장치 및 그 거치대 |
| DE102015122844A1 (de) | 2015-12-27 | 2017-06-29 | Faro Technologies, Inc. | 3D-Messvorrichtung mit Batteriepack |
| AU2016384096B2 (en) * | 2016-01-04 | 2019-10-24 | Zhejiang Libiao Robots Co., Ltd. | Method and device for returning robots from site |
| DE102017000063B4 (de) * | 2016-01-14 | 2019-10-31 | Fanuc Corporation | Robotereinrichtung mit Lernfunktion |
| EP3403146A4 (en) | 2016-01-15 | 2019-08-21 | iRobot Corporation | AUTONOMOUS MONITORING ROBOT SYSTEMS |
| CN105681750B (zh) * | 2016-01-15 | 2018-09-25 | 福州中恒泰信息技术有限公司 | 远程操控机器人网络延时与机器人实时移动动作同步方法 |
| US10025314B2 (en) | 2016-01-27 | 2018-07-17 | Hand Held Products, Inc. | Vehicle positioning and object avoidance |
| US9910563B2 (en) | 2016-01-29 | 2018-03-06 | Visual Supply Company | Contextually changing omni-directional navigation mechanism |
| US9977569B2 (en) | 2016-01-29 | 2018-05-22 | Visual Supply Company | Contextually changing omni-directional navigation mechanism |
| US11445152B2 (en) | 2018-08-09 | 2022-09-13 | Cobalt Robotics Inc. | Security automation in a mobile robot |
| US11772270B2 (en) | 2016-02-09 | 2023-10-03 | Cobalt Robotics Inc. | Inventory management by mobile robot |
| US11325250B2 (en) | 2017-02-06 | 2022-05-10 | Cobalt Robotics Inc. | Robot with rotatable arm |
| US10414052B2 (en) | 2016-02-09 | 2019-09-17 | Cobalt Robotics Inc. | Building-integrated mobile robot |
| US10662045B2 (en) | 2016-02-11 | 2020-05-26 | Clearpath Robotics Inc. | Control augmentation apparatus and method for automated guided vehicles |
| US10025308B1 (en) | 2016-02-19 | 2018-07-17 | Google Llc | System and method to obtain and use attribute data |
| US10452071B1 (en) * | 2016-02-29 | 2019-10-22 | AI Incorporated | Obstacle recognition method for autonomous robots |
| EP3430424B1 (en) | 2016-03-15 | 2021-07-21 | Aktiebolaget Electrolux | Robotic cleaning device and a method at the robotic cleaning device of performing cliff detection |
| US9927814B2 (en) * | 2016-03-28 | 2018-03-27 | Fetch Robotics, Inc. | System and method for localization of robots |
| CN105894832B (zh) * | 2016-03-28 | 2018-06-08 | 广州飞锐机器人科技有限公司 | 一种自助导航定位agv的交通管制方法及装置 |
| US10118696B1 (en) | 2016-03-31 | 2018-11-06 | Steven M. Hoffberg | Steerable rotating projectile |
| US9864377B2 (en) * | 2016-04-01 | 2018-01-09 | Locus Robotics Corporation | Navigation using planned robot travel paths |
| EP3446839B1 (en) * | 2016-04-20 | 2023-01-18 | Sony Interactive Entertainment Inc. | Robot and housing |
| WO2017187620A1 (ja) * | 2016-04-28 | 2017-11-02 | 富士通株式会社 | ロボット |
| JP6653446B2 (ja) * | 2016-05-06 | 2020-02-26 | パナソニックＩｐマネジメント株式会社 | ロボット |
| US11122953B2 (en) | 2016-05-11 | 2021-09-21 | Aktiebolaget Electrolux | Robotic cleaning device |
| CN107368067B (zh) * | 2016-05-12 | 2022-08-23 | 深圳市朗驰欣创科技股份有限公司 | 一种自动导航车的路面检测方法及系统 |
| DE112017002431T5 (de) * | 2016-05-12 | 2019-01-24 | Groove X, Inc. | Autonom handelnder roboter mit not-aus-funktion |
| US10234856B2 (en) * | 2016-05-12 | 2019-03-19 | Caterpillar Inc. | System and method for controlling a machine |
| KR102216498B1 (ko) | 2016-05-19 | 2021-02-17 | 심베 로보틱스 인코포레이션 | 상점의 선반 상의 제품의 배치를 추적하기 위한 방법 |
| EP3458235A4 (en) * | 2016-05-19 | 2019-11-27 | Simbe Robotics, Inc. | METHOD FOR THE AUTOMATIC PRODUCTION OF PATHWAY POINTS FOR THE IMAGING OF RAYS IN A STORE |
| US10386839B2 (en) * | 2016-05-26 | 2019-08-20 | Boston Incubator Center, LLC | Mobile robot that emulates pedestrian walking behavior |
| US10339352B2 (en) | 2016-06-03 | 2019-07-02 | Hand Held Products, Inc. | Wearable metrological apparatus |
| US10245724B2 (en) * | 2016-06-09 | 2019-04-02 | Shmuel Ur Innovation Ltd. | System, method and product for utilizing prediction models of an environment |
| US9940721B2 (en) | 2016-06-10 | 2018-04-10 | Hand Held Products, Inc. | Scene change detection in a dimensioner |
| US10163216B2 (en) | 2016-06-15 | 2018-12-25 | Hand Held Products, Inc. | Automatic mode switching in a volume dimensioner |
| US10058997B1 (en) * | 2016-06-16 | 2018-08-28 | X Development Llc | Space extrapolation for robot task performance |
| US10239205B2 (en) * | 2016-06-29 | 2019-03-26 | International Business Machines Corporation | System, method, and recording medium for corpus curation for action manifestation for cognitive robots |
| US10016896B2 (en) * | 2016-06-30 | 2018-07-10 | Brain Corporation | Systems and methods for robotic behavior around moving bodies |
| WO2018012073A1 (ja) * | 2016-07-13 | 2018-01-18 | ソニー株式会社 | エージェントロボット制御システム、エージェントロボットシステム、エージェントロボット制御方法、および記録媒体 |
| CN106131493A (zh) * | 2016-07-20 | 2016-11-16 | 绥化学院 | 基于虚拟现实远端临场智能消防机器人的体感控制系统 |
| US11037464B2 (en) * | 2016-07-21 | 2021-06-15 | Auris Health, Inc. | System with emulator movement tracking for controlling medical devices |
| US10259117B2 (en) * | 2016-08-02 | 2019-04-16 | At&T Intellectual Property I, L.P. | On-demand robot virtualization |
| TW201805598A (zh) * | 2016-08-04 | 2018-02-16 | 鴻海精密工業股份有限公司 | 自主移動設備及建立導航路徑的方法 |
| US11017712B2 (en) | 2016-08-12 | 2021-05-25 | Intel Corporation | Optimized display image rendering |
| EP4050451B1 (en) | 2016-08-26 | 2024-02-14 | Crown Equipment Corporation | Materials handling vehicle path validation and dynamic path modification |
| CN115328158A (zh) | 2016-08-26 | 2022-11-11 | 克朗设备公司 | 物料搬运车辆中的多场扫描工具 |
| KR102306958B1 (ko) | 2016-08-26 | 2021-10-06 | 크라운 이큅먼트 코포레이션 | 장애물 스캐닝 도구들을 구비한 자재 취급 차량 |
| CN106217393B (zh) * | 2016-08-29 | 2018-09-14 | 华南理工大学 | 移动式远端临场交互平台 |
| US9928660B1 (en) | 2016-09-12 | 2018-03-27 | Intel Corporation | Hybrid rendering for a wearable display attached to a tethered computer |
| US9953676B2 (en) * | 2016-09-13 | 2018-04-24 | International Business Machines Corporation | Mounting a smartphone to robotic accessor of automated data storage library |
| EP3515348A4 (en) * | 2016-09-19 | 2020-05-20 | Intuitive Surgical Operations Inc. | BASIC POSITIONING SYSTEM FOR A CONTROLLED ARM AND RELATED METHODS |
| CN106500714B (zh) * | 2016-09-22 | 2019-11-29 | 福建网龙计算机网络信息技术有限公司 | 一种基于视频的机器人导航方法及系统 |
| CN106313050B (zh) * | 2016-10-13 | 2018-11-20 | 北京京东尚科信息技术有限公司 | 机器人控制方法、系统和仓库搬运机器人 |
| CN106406312B (zh) * | 2016-10-14 | 2017-12-26 | 平安科技（深圳）有限公司 | 导览机器人及其移动区域标定方法 |
| US10275608B2 (en) * | 2016-10-15 | 2019-04-30 | International Business Machines Corporation | Object-centric video redaction |
| JP6560725B2 (ja) * | 2016-10-17 | 2019-08-14 | アルボット株式会社 | コミュニケーションロボット及びコミュニケーションシステム |
| US10597235B2 (en) | 2016-10-20 | 2020-03-24 | Intelligrated Headquarters, Llc | Carton unloader tool for jam recovery |
| US10315866B2 (en) * | 2016-10-20 | 2019-06-11 | Intelligrated Headquarters, Llc | 3D-2D vision system for robotic carton unloading |
| US20200066414A1 (en) * | 2016-10-25 | 2020-02-27 | Thomas Jefferson University | Telehealth systems |
| CN106354140A (zh) * | 2016-11-01 | 2017-01-25 | 安徽爱依特科技有限公司 | 一种基于机器人的商铺识别装置 |
| US11042161B2 (en) | 2016-11-16 | 2021-06-22 | Symbol Technologies, Llc | Navigation control method and apparatus in a mobile automation system |
| US9805306B1 (en) | 2016-11-23 | 2017-10-31 | Accenture Global Solutions Limited | Cognitive robotics analyzer |
| EP3547267A4 (en) * | 2016-11-24 | 2020-11-25 | Kyoto University | ROBOT CONTROL SYSTEM, MACHINE CONTROL SYSTEM, ROBOT CONTROL METHOD, MACHINE CONTROL METHOD, AND RECORDING MEDIUM |
| CN106713118B (zh) * | 2016-11-29 | 2020-04-10 | 深圳信息职业技术学院 | 基于智能路由和聊天室机制的远程控制系统及方法 |
| US10909708B2 (en) | 2016-12-09 | 2021-02-02 | Hand Held Products, Inc. | Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements |
| US10377125B2 (en) | 2016-12-09 | 2019-08-13 | Caterpillar Inc. | Control systems and methods to optimize machine placement for additive construction operations |
| US10399325B2 (en) | 2016-12-13 | 2019-09-03 | Caterpillar Inc. | Systems and methods for preparing a worksite for additive construction |
| US10783799B1 (en) * | 2016-12-17 | 2020-09-22 | Sproutel, Inc. | System, apparatus, and method for educating and reducing stress for patients with illness or trauma using an interactive location-aware toy and a distributed sensor network |
| US10699461B2 (en) * | 2016-12-20 | 2020-06-30 | Sony Interactive Entertainment LLC | Telepresence of multiple users in interactive virtual space |
| CN108287642A (zh) * | 2017-01-03 | 2018-07-17 | 肖华军 | 基于移动智能设备交互的机器人平台 |
| KR20180080498A (ko) * | 2017-01-04 | 2018-07-12 | 엘지전자 주식회사 | 공항용 로봇 및 그의 동작 방법 |
| CN108326875B (zh) * | 2017-01-20 | 2023-03-24 | 松下知识产权经营株式会社 | 通信控制方法与装置、远程呈现机器人以及存储介质 |
| KR102033143B1 (ko) * | 2017-01-25 | 2019-10-16 | 엘지전자 주식회사 | 3차원 공간에서 기능 영역을 식별하는 방법 및 이를 구현하는 로봇 |
| JP6882904B2 (ja) * | 2017-01-30 | 2021-06-02 | 株式会社デンソーテン | 画像記憶装置 |
| US11724399B2 (en) | 2017-02-06 | 2023-08-15 | Cobalt Robotics Inc. | Mobile robot with arm for elevator interactions |
| US10913160B2 (en) | 2017-02-06 | 2021-02-09 | Cobalt Robotics Inc. | Mobile robot with arm for door interactions |
| US10906185B2 (en) | 2017-02-06 | 2021-02-02 | Cobalt Robotics Inc. | Mobile robot with arm for access point security checks |
| US11047672B2 (en) | 2017-03-28 | 2021-06-29 | Hand Held Products, Inc. | System for optically dimensioning |
| USD858537S1 (en) * | 2017-03-31 | 2019-09-03 | Microsoft Corporation | Display system with a virtual three-dimensional graphical user interface |
| CN108733035B (zh) * | 2017-04-14 | 2019-12-06 | 京东方科技集团股份有限公司 | 一种导引机器人 |
| WO2018191818A1 (en) * | 2017-04-18 | 2018-10-25 | Clearpath Robotics Inc. | Stand-alone self-driving material-transport vehicle |
| US10435179B2 (en) * | 2017-04-18 | 2019-10-08 | Electroimpact, Inc. | Camera assisted robotic system for locating the end of a fastener extending through an aircraft part during manufacture thereof |
| US11862302B2 (en) | 2017-04-24 | 2024-01-02 | Teladoc Health, Inc. | Automated transcription and documentation of tele-health encounters |
| US10646994B2 (en) * | 2017-04-25 | 2020-05-12 | At&T Intellectual Property I, L.P. | Robot virtualization leveraging Geo analytics and augmented reality |
| EP3396306B1 (en) * | 2017-04-26 | 2019-11-27 | Mitutoyo Corporation | Method and system for calculating a height map of a surface of an object from an image stack in scanning optical 2.5d profiling of the surface by an optical system |
| CN107030711A (zh) * | 2017-04-27 | 2017-08-11 | 陆兴华 | 一种新型送餐机器人 |
| CN107020640A (zh) * | 2017-04-28 | 2017-08-08 | 成都科力夫科技有限公司 | 机器人交互式游戏系统 |
| US10663590B2 (en) | 2017-05-01 | 2020-05-26 | Symbol Technologies, Llc | Device and method for merging lidar data |
| US10726273B2 (en) | 2017-05-01 | 2020-07-28 | Symbol Technologies, Llc | Method and apparatus for shelf feature and object placement detection from shelf images |
| US10591918B2 (en) | 2017-05-01 | 2020-03-17 | Symbol Technologies, Llc | Fixed segmented lattice planning for a mobile automation apparatus |
| US11367092B2 (en) | 2017-05-01 | 2022-06-21 | Symbol Technologies, Llc | Method and apparatus for extracting and processing price text from an image set |
| US11449059B2 (en) | 2017-05-01 | 2022-09-20 | Symbol Technologies, Llc | Obstacle detection for a mobile automation apparatus |
| US10949798B2 (en) | 2017-05-01 | 2021-03-16 | Symbol Technologies, Llc | Multimodal localization and mapping for a mobile automation apparatus |
| WO2018204342A1 (en) | 2017-05-01 | 2018-11-08 | Symbol Technologies, Llc | Product status detection system |
| US11600084B2 (en) | 2017-05-05 | 2023-03-07 | Symbol Technologies, Llc | Method and apparatus for detecting and interpreting price label text |
| US10895971B2 (en) | 2017-05-12 | 2021-01-19 | Irobot Corporation | Methods, systems, and devices for mapping, controlling, and displaying device status |
| JP6638695B2 (ja) * | 2017-05-18 | 2020-01-29 | トヨタ自動車株式会社 | 自動運転システム |
| EP3403772B1 (en) * | 2017-05-18 | 2022-11-16 | KUKA Hungária Kft. | Robot motion planning for avoiding collision with moving obstacles |
| JP6761990B2 (ja) * | 2017-05-22 | 2020-09-30 | パナソニックＩｐマネジメント株式会社 | 通信制御方法、通信制御装置、テレプレゼンスロボット、及び通信制御プログラム |
| WO2018213931A1 (en) | 2017-05-25 | 2018-11-29 | Clearpath Robotics Inc. | Systems and methods for process tending with a robot arm |
| CN107315409A (zh) * | 2017-05-27 | 2017-11-03 | 芜湖星途机器人科技有限公司 | 银行服务机器人调度跟随系统的硬件平台 |
| US11474533B2 (en) | 2017-06-02 | 2022-10-18 | Aktiebolaget Electrolux | Method of detecting a difference in level of a surface in front of a robotic cleaning device |
| CN107422729A (zh) * | 2017-06-03 | 2017-12-01 | 广东华创智能装备有限公司 | 一种具有安全检测功能的agv小车 |
| US10477105B2 (en) * | 2017-06-08 | 2019-11-12 | Futurewei Technologies, Inc. | Method and system for transmitting virtual reality (VR) content |
| JP7013689B2 (ja) | 2017-06-21 | 2022-02-01 | 富士フイルムビジネスイノベーション株式会社 | 遠隔操作型移動ロボットおよびロボット制御システム |
| US10235192B2 (en) | 2017-06-23 | 2019-03-19 | Accenture Global Solutions Limited | Self-learning robotic process automation |
| JP2019008585A (ja) * | 2017-06-26 | 2019-01-17 | 富士ゼロックス株式会社 | ロボット制御システム |
| US10427306B1 (en) * | 2017-07-06 | 2019-10-01 | X Development Llc | Multimodal object identification |
| CN107515606A (zh) * | 2017-07-20 | 2017-12-26 | 北京格灵深瞳信息技术有限公司 | 机器人实现方法、控制方法及机器人、电子设备 |
| US11853076B1 (en) | 2017-07-21 | 2023-12-26 | AI Incorporated | Virtual reality concert system |
| US10733748B2 (en) | 2017-07-24 | 2020-08-04 | Hand Held Products, Inc. | Dual-pattern optical 3D dimensioning |
| US10483007B2 (en) | 2017-07-25 | 2019-11-19 | Intouch Technologies, Inc. | Modular telehealth cart with thermal imaging and touch screen user interface |
| CN107361604B (zh) * | 2017-07-28 | 2018-07-06 | 柳州福能机器人开发有限公司 | 斜坡行走的运输机器人 |
| US10688841B1 (en) * | 2017-07-31 | 2020-06-23 | Zoox, Inc. | Expanding sensor domain coverage using differential active suspension |
| US11316865B2 (en) | 2017-08-10 | 2022-04-26 | Nuance Communications, Inc. | Ambient cooperative intelligence system and method |
| US20190051395A1 (en) | 2017-08-10 | 2019-02-14 | Nuance Communications, Inc. | Automated clinical documentation system and method |
| WO2019035007A1 (en) | 2017-08-15 | 2019-02-21 | American Well Corporation | APPARATUS AND METHODS FOR REMOTE CAMERA CONTROL WITH INTENTION BASED COMMANDS AND AUTOMATIC LEARNING VISION STATUS MANAGEMENT |
| US11636944B2 (en) | 2017-08-25 | 2023-04-25 | Teladoc Health, Inc. | Connectivity infrastructure for a telehealth platform |
| WO2019041044A1 (en) | 2017-08-31 | 2019-03-07 | Clearpath Robotics Inc. | APPARATUS, SYSTEMS AND METHODS FOR SEIZING AND DEPOSITING A PAYLOAD USING A SELF-PROPELLED MATERIAL TRANSPORT VEHICLE |
| WO2019041043A1 (en) | 2017-08-31 | 2019-03-07 | Clearpath Robotics Inc. | SYSTEMS AND METHODS FOR GENERATING A MISSION FOR A SELF-CONTAINING MATERIAL TRANSPORT VEHICLE |
| US10572763B2 (en) | 2017-09-07 | 2020-02-25 | Symbol Technologies, Llc | Method and apparatus for support surface edge detection |
| US10521914B2 (en) | 2017-09-07 | 2019-12-31 | Symbol Technologies, Llc | Multi-sensor object recognition system and method |
| US10794710B1 (en) | 2017-09-08 | 2020-10-06 | Perceptin Shenzhen Limited | High-precision multi-layer visual and semantic map by autonomous units |
| CN109521927B (zh) | 2017-09-20 | 2022-07-01 | 阿里巴巴集团控股有限公司 | 机器人互动方法和设备 |
| EP3687357A1 (en) | 2017-09-26 | 2020-08-05 | Aktiebolaget Electrolux | Controlling movement of a robotic cleaning device |
| US10612929B2 (en) * | 2017-10-17 | 2020-04-07 | AI Incorporated | Discovering and plotting the boundary of an enclosure |
| US11274929B1 (en) * | 2017-10-17 | 2022-03-15 | AI Incorporated | Method for constructing a map while performing work |
| JP6922652B2 (ja) * | 2017-10-27 | 2021-08-18 | トヨタ自動車株式会社 | 撮像装置 |
| CN109725632A (zh) * | 2017-10-30 | 2019-05-07 | 速感科技（北京）有限公司 | 可移动智能设备控制方法、可移动智能设备及智能扫地机 |
| WO2019084686A1 (en) | 2017-10-31 | 2019-05-09 | Clearpath Robotics Inc. | Systems and methods for operating robotic equipment in controlled zones |
| EP3602272B1 (en) | 2017-11-06 | 2023-11-22 | Google LLC | Methods and systems for attending to a presenting user |
| US10533858B2 (en) * | 2017-11-06 | 2020-01-14 | International Business Machines Corporation | Automated emergency response |
| WO2019090417A1 (en) | 2017-11-10 | 2019-05-16 | Clearpath Robotics Inc. | Systems and methods for updating an electronic map |
| WO2019100269A1 (zh) * | 2017-11-22 | 2019-05-31 | 深圳市沃特沃德股份有限公司 | 机器人移动控制方法、系统和机器人 |
| EP3684281A4 (en) | 2017-12-08 | 2021-10-13 | Auris Health, Inc. | SYSTEM AND PROCEDURE FOR NAVIGATION AND TARGETING OF MEDICAL INSTRUMENTS |
| CN107943065B (zh) * | 2017-12-08 | 2018-10-19 | 西安科技大学 | 机器人自平衡模拟实验系统及方法 |
| US11127129B2 (en) * | 2017-12-14 | 2021-09-21 | The Joan and Irwin Jacobs Technion-Cornell Institute | Techniques for identifying hazardous site conditions in geo-localized enhanced floor plans |
| EP3724856B1 (en) | 2017-12-14 | 2023-09-20 | The Joan and Irwin Jacobs Technion-Cornell Institute | System and method for creating geo-localized enhanced floor plans |
| US10676022B2 (en) | 2017-12-27 | 2020-06-09 | X Development Llc | Visually indicating vehicle caution regions |
| US11413755B2 (en) * | 2017-12-31 | 2022-08-16 | Sarcos Corp. | Covert identification tags viewable by robots and robotic devices |
| CN108196548A (zh) * | 2018-01-08 | 2018-06-22 | 四川文理学院 | 一种基于Arduino语言及路径跟随算法的机器人控制器 |
| DE102018104780A1 (de) * | 2018-03-02 | 2019-09-05 | Sick Ag | Verfahren zur Bestimmung einer elektronischen nützbaren Repräsentation einer Umgebung, Vorrichtung hierfür, Datenträger |
| US11250382B2 (en) | 2018-03-05 | 2022-02-15 | Nuance Communications, Inc. | Automated clinical documentation system and method |
| US20190272147A1 (en) | 2018-03-05 | 2019-09-05 | Nuance Communications, Inc, | System and method for review of automated clinical documentation |
| WO2019173333A1 (en) | 2018-03-05 | 2019-09-12 | Nuance Communications, Inc. | Automated clinical documentation system and method |
| WO2019173396A1 (en) * | 2018-03-05 | 2019-09-12 | The Regents Of The University Of Colorado, A Body Corporate | Augmented reality coordination of human-robot interaction |
| US11548166B2 (en) * | 2018-03-07 | 2023-01-10 | Skylla Technologies, Inc. | Collaborative task execution with humans and robotic vehicles |
| US10813169B2 (en) | 2018-03-22 | 2020-10-20 | GoTenna, Inc. | Mesh network deployment kit |
| US11712637B1 (en) | 2018-03-23 | 2023-08-01 | Steven M. Hoffberg | Steerable disk or ball |
| US10809078B2 (en) | 2018-04-05 | 2020-10-20 | Symbol Technologies, Llc | Method, system and apparatus for dynamic path generation |
| US10832436B2 (en) | 2018-04-05 | 2020-11-10 | Symbol Technologies, Llc | Method, system and apparatus for recovering label positions |
| US10740911B2 (en) | 2018-04-05 | 2020-08-11 | Symbol Technologies, Llc | Method, system and apparatus for correcting translucency artifacts in data representing a support structure |
| US10823572B2 (en) | 2018-04-05 | 2020-11-03 | Symbol Technologies, Llc | Method, system and apparatus for generating navigational data |
| US11327504B2 (en) * | 2018-04-05 | 2022-05-10 | Symbol Technologies, Llc | Method, system and apparatus for mobile automation apparatus localization |
| US10921446B2 (en) | 2018-04-06 | 2021-02-16 | Microsoft Technology Licensing, Llc | Collaborative mapping of a space using ultrasonic sonar |
| CN108544492B (zh) * | 2018-04-09 | 2021-04-16 | 上海方立数码科技有限公司 | 一种基于视觉系统的全向移动机械臂 |
| CN108665541B (zh) * | 2018-04-09 | 2019-06-07 | 北京三快在线科技有限公司 | 一种基于激光传感器的地图生成方法及装置和机器人 |
| WO2019200018A1 (en) * | 2018-04-10 | 2019-10-17 | Dymesich David Tanner | Robot management system |
| US20210018912A1 (en) * | 2018-04-10 | 2021-01-21 | Fetch Robotics, Inc. | Robot Management System |
| WO2019209882A1 (en) * | 2018-04-23 | 2019-10-31 | Purdue Research Foundation | Augmented reality interface for authoring tasks for execution by a programmable robot |
| US10792813B1 (en) | 2018-04-26 | 2020-10-06 | X Development Llc | Managing robot resources |
| US10617299B2 (en) | 2018-04-27 | 2020-04-14 | Intouch Technologies, Inc. | Telehealth cart that supports a removable tablet with seamless audio/video switching |
| US10807236B2 (en) * | 2018-04-30 | 2020-10-20 | Beijing Jingdong Shangke Information Technology Co., Ltd. | System and method for multimodal mapping and localization |
| US10584962B2 (en) | 2018-05-01 | 2020-03-10 | Hand Held Products, Inc | System and method for validating physical-item security |
| JP7314175B2 (ja) | 2018-05-18 | 2023-07-25 | オーリス ヘルス インコーポレイテッド | ロボット対応の遠隔操作システムのためのコントローラ |
| KR102047303B1 (ko) * | 2018-06-01 | 2019-11-21 | 엘지전자 주식회사 | 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇 및 방법 |
| JP6988704B2 (ja) * | 2018-06-06 | 2022-01-05 | トヨタ自動車株式会社 | センサ制御装置、物体探索システム、物体探索方法及びプログラム |
| US10974392B2 (en) * | 2018-06-08 | 2021-04-13 | International Business Machines Corporation | Automated robotic security system |
| EP3581341B1 (de) * | 2018-06-13 | 2020-12-23 | Siemens Healthcare GmbH | Verfahren zum betreiben eines roboters, datenspeicher mit einem entsprechenden programmcode, roboter und robotersystem |
| KR102175298B1 (ko) * | 2018-06-14 | 2020-11-06 | 엘지전자 주식회사 | 이동 로봇의 동작 방법 |
| CN109064262A (zh) * | 2018-07-12 | 2018-12-21 | 上海常仁信息科技有限公司 | 一种基于机器人终端的在线商城购物系统及方法 |
| US11212439B2 (en) * | 2018-07-24 | 2021-12-28 | Ricoh Company, Ltd. | Communication terminal, display method, and non-transitory computer-readable medium for displaying images and controller |
| US10934045B2 (en) | 2018-07-27 | 2021-03-02 | Zebra Technologies Corporation | Method and apparatus for labeling of support structures |
| CN110852134A (zh) * | 2018-07-27 | 2020-02-28 | 北京市商汤科技开发有限公司 | 活体检测方法、装置及系统、电子设备和存储介质 |
| US11022693B1 (en) | 2018-08-03 | 2021-06-01 | GM Global Technology Operations LLC | Autonomous vehicle controlled based upon a lidar data segmentation system |
| CN108983783A (zh) * | 2018-08-03 | 2018-12-11 | 上海有个机器人有限公司 | 一种机器人移动速度控制方法及系统、存储介质及终端 |
| US10884411B1 (en) | 2018-08-03 | 2021-01-05 | GM Global Technology Operations LLC | Autonomous vehicle controlled based upon a lidar data segmentation system and an aligned heightmap |
| US11082667B2 (en) | 2018-08-09 | 2021-08-03 | Cobalt Robotics Inc. | Contextual automated surveillance by a mobile robot |
| US11460849B2 (en) * | 2018-08-09 | 2022-10-04 | Cobalt Robotics Inc. | Automated route selection by a mobile robot |
| CN110621449B (zh) * | 2018-08-14 | 2022-07-08 | 千叶工业大学 | 移动机器人 |
| US10948907B2 (en) | 2018-08-24 | 2021-03-16 | Ford Global Technologies, Llc | Self-driving mobile robots using human-robot interactions |
| JP6666400B1 (ja) * | 2018-09-10 | 2020-03-13 | Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 | ロボット制御装置、ロボット制御方法及びロボット制御システム |
| US11010920B2 (en) | 2018-10-05 | 2021-05-18 | Zebra Technologies Corporation | Method, system and apparatus for object detection in point clouds |
| US11506483B2 (en) | 2018-10-05 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for support structure depth determination |
| FR3087019B1 (fr) | 2018-10-09 | 2021-06-18 | Thales Sa | Systeme de controle de commande d'un systeme commande via une interface graphique et procede de controle associe |
| US11192253B2 (en) * | 2018-10-12 | 2021-12-07 | Toyota Research Institute, Inc. | Systems and methods for conditional robotic teleoperation |
| US20200122711A1 (en) * | 2018-10-19 | 2020-04-23 | GEOSAT Aerospace & Technology | Unmanned ground vehicle and method for operating unmanned ground vehicle |
| WO2020086557A1 (en) * | 2018-10-24 | 2020-04-30 | Discovery Robotics | Apparatus and method for operations of a robotic platform |
| US11433546B1 (en) * | 2018-10-24 | 2022-09-06 | Amazon Technologies, Inc. | Non-verbal cuing by autonomous mobile device |
| US10860032B2 (en) | 2018-10-29 | 2020-12-08 | Dell Products, Lp | System and method for adaptive infrared emitter power optimization for simultaneous localization and mapping |
| US20220055224A1 (en) * | 2018-11-05 | 2022-02-24 | DMAI, Inc. | Configurable and Interactive Robotic Systems |
| KR20200052590A (ko) | 2018-11-07 | 2020-05-15 | 최지광 | 해먹으로 사용이 가능한 등산용배낭 |
| CN109586360B (zh) * | 2018-11-09 | 2020-09-22 | 深圳市银星智能科技股份有限公司 | 一种机器人自动充电的方法、装置、充电桩和机器人 |
| US11003188B2 (en) | 2018-11-13 | 2021-05-11 | Zebra Technologies Corporation | Method, system and apparatus for obstacle handling in navigational path generation |
| US11090811B2 (en) * | 2018-11-13 | 2021-08-17 | Zebra Technologies Corporation | Method and apparatus for labeling of support structures |
| WO2020101698A1 (en) * | 2018-11-16 | 2020-05-22 | Hewlett-Packard Development Company, L.P. | Telepresence session initiation locations |
| JP7437873B2 (ja) | 2018-11-19 | 2024-02-26 | 株式会社日建設計総合研究所 | データ計測システム及び建物設備制御システム |
| JP7325947B2 (ja) * | 2018-11-19 | 2023-08-15 | 株式会社日建設計総合研究所 | 自律移動ロボット及びデータ計測システム |
| CN109350415A (zh) * | 2018-11-30 | 2019-02-19 | 湖南新云医疗装备工业有限公司 | 一种医院用共享智能陪护系统 |
| US11157738B2 (en) * | 2018-11-30 | 2021-10-26 | Cloudminds Robotics Co., Ltd. | Audio-visual perception system and apparatus and robot system |
| US10783623B2 (en) * | 2018-12-03 | 2020-09-22 | Mistras Group, Inc. | Systems and methods for inspecting pipelines using a robotic imaging system |
| US11143599B2 (en) | 2018-12-03 | 2021-10-12 | Mistras Group, Inc. | Systems and methods for inspecting pipelines using a pipeline inspection robot |
| US10890505B2 (en) | 2018-12-03 | 2021-01-12 | Mistras Group, Inc. | Systems and methods for inspecting pipelines using a robotic imaging system |
| US11416000B2 (en) | 2018-12-07 | 2022-08-16 | Zebra Technologies Corporation | Method and apparatus for navigational ray tracing |
| US11079240B2 (en) | 2018-12-07 | 2021-08-03 | Zebra Technologies Corporation | Method, system and apparatus for adaptive particle filter localization |
| US11100303B2 (en) | 2018-12-10 | 2021-08-24 | Zebra Technologies Corporation | Method, system and apparatus for auxiliary label detection and association |
| US11015938B2 (en) | 2018-12-12 | 2021-05-25 | Zebra Technologies Corporation | Method, system and apparatus for navigational assistance |
| US10731970B2 (en) | 2018-12-13 | 2020-08-04 | Zebra Technologies Corporation | Method, system and apparatus for support structure detection |
| JP2020106980A (ja) * | 2018-12-26 | 2020-07-09 | トヨタ自動車株式会社 | 車両制御装置、車両制御方法及び車両制御システム |
| CA3028708A1 (en) | 2018-12-28 | 2020-06-28 | Zih Corp. | Method, system and apparatus for dynamic loop closure in mapping trajectories |
| KR20200087337A (ko) * | 2018-12-31 | 2020-07-21 | 삼성전자주식회사 | 헬스 케어 로봇 및 그 제어 방법. |
| US11185379B2 (en) | 2019-01-10 | 2021-11-30 | Verily Life Sciences Llc | Comprehensive messaging system for robotic surgical systems |
| WO2020147864A1 (zh) * | 2019-01-16 | 2020-07-23 | 深圳市海柔创新科技有限公司 | 一种避障方法、装置及仓储机器人 |
| CN109725580A (zh) * | 2019-01-17 | 2019-05-07 | 深圳市锐曼智能装备有限公司 | 机器人的远程控制方法 |
| CN109887208A (zh) * | 2019-02-28 | 2019-06-14 | 同方威视技术股份有限公司 | 安保装置及安保系统 |
| US11279042B2 (en) | 2019-03-12 | 2022-03-22 | Bear Robotics, Inc. | Robots for serving food and/or drinks |
| US11493939B1 (en) * | 2019-03-15 | 2022-11-08 | Alarm.Com Incorporated | Premise mapping with security camera drone |
| JP7234724B2 (ja) * | 2019-03-20 | 2023-03-08 | 株式会社リコー | ロボットおよび制御システム |
| US11308618B2 (en) | 2019-04-14 | 2022-04-19 | Holovisions LLC | Healthy-Selfie(TM): a portable phone-moving device for telemedicine imaging using a mobile phone |
| US11817194B2 (en) * | 2019-04-30 | 2023-11-14 | Pixart Imaging Inc. | Smart control system |
| US11137770B2 (en) * | 2019-04-30 | 2021-10-05 | Pixart Imaging Inc. | Sensor registering method and event identifying method of smart detection system |
| US11169540B2 (en) * | 2019-05-08 | 2021-11-09 | Robotic Research, Llc | Autonomous convoys maneuvering “deformable” terrain and “deformable” obstacles |
| US10586082B1 (en) | 2019-05-29 | 2020-03-10 | Fellow, Inc. | Advanced micro-location of RFID tags in spatial environments |
| US11675072B2 (en) * | 2019-05-31 | 2023-06-13 | Lg Electronics Inc. | Mobile robot and method of controlling the same |
| US11080566B2 (en) | 2019-06-03 | 2021-08-03 | Zebra Technologies Corporation | Method, system and apparatus for gap detection in support structures with peg regions |
| US11402846B2 (en) | 2019-06-03 | 2022-08-02 | Zebra Technologies Corporation | Method, system and apparatus for mitigating data capture light leakage |
| US11151743B2 (en) | 2019-06-03 | 2021-10-19 | Zebra Technologies Corporation | Method, system and apparatus for end of aisle detection |
| US11200677B2 (en) | 2019-06-03 | 2021-12-14 | Zebra Technologies Corporation | Method, system and apparatus for shelf edge detection |
| US11662739B2 (en) | 2019-06-03 | 2023-05-30 | Zebra Technologies Corporation | Method, system and apparatus for adaptive ceiling-based localization |
| US11341663B2 (en) | 2019-06-03 | 2022-05-24 | Zebra Technologies Corporation | Method, system and apparatus for detecting support structure obstructions |
| WO2020244480A1 (zh) * | 2019-06-05 | 2020-12-10 | 北京外号信息技术有限公司 | 一种用于实现相对定位的装置以及相应的相对定位方法 |
| CN110281236B (zh) * | 2019-06-11 | 2021-07-13 | 深圳市银星智能科技股份有限公司 | 移动机器人及其安全监控方法 |
| US11416002B1 (en) * | 2019-06-11 | 2022-08-16 | Ambarella International Lp | Robotic vacuum with mobile security function |
| US11231712B2 (en) | 2019-06-12 | 2022-01-25 | Ford Global Technologies, Llc | Digital model rectification with sensing robot |
| US11216480B2 (en) | 2019-06-14 | 2022-01-04 | Nuance Communications, Inc. | System and method for querying data points from graph data structures |
| US11043207B2 (en) | 2019-06-14 | 2021-06-22 | Nuance Communications, Inc. | System and method for array data simulation and customized acoustic modeling for ambient ASR |
| CN112085846A (zh) * | 2019-06-14 | 2020-12-15 | 通用电气精准医疗有限责任公司 | 用于在成像系统中生成对象3d点云的方法和系统 |
| US11227679B2 (en) | 2019-06-14 | 2022-01-18 | Nuance Communications, Inc. | Ambient clinical intelligence system and method |
| KR20200144363A (ko) * | 2019-06-18 | 2020-12-29 | 엘지전자 주식회사 | 로봇 및 그의 구동 방법 |
| US11220006B2 (en) * | 2019-06-24 | 2022-01-11 | Ford Global Technologies, Llc | Digital model rectification |
| US11531807B2 (en) | 2019-06-28 | 2022-12-20 | Nuance Communications, Inc. | System and method for customized text macros |
| US11872007B2 (en) | 2019-06-28 | 2024-01-16 | Auris Health, Inc. | Console overlay and methods of using same |
| CN110333718A (zh) * | 2019-06-28 | 2019-10-15 | 苏州上善知源汽车电子有限公司 | 远程控制车辆的安全驾驶方法 |
| CN110290213A (zh) * | 2019-06-28 | 2019-09-27 | 北京金山安全软件有限公司 | 智能机器人管理方法、装置及电子设备 |
| US20210001487A1 (en) * | 2019-07-03 | 2021-01-07 | Ricoh Company, Ltd. | Information processing apparatus, information processing method, and storage medium |
| RU2718472C1 (ru) * | 2019-07-11 | 2020-04-08 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Сибирский государственный университет геосистем и технологий" | Способ создания и использования в интерактивном режиме источника геопространственной информации в условиях отсутствия связи для передачи цифровых данных |
| CN110456791A (zh) * | 2019-07-30 | 2019-11-15 | 中国地质大学（武汉） | 一种基于单目视觉的腿式移动机器人目标测距与识别系统 |
| US11602847B2 (en) * | 2019-07-30 | 2023-03-14 | Tata Consultancy Services Limited | Method and system for robotic task planning |
| US11343244B2 (en) | 2019-08-02 | 2022-05-24 | Dell Products, Lp | Method and apparatus for multi-factor verification of a computing device location within a preset geographic area |
| US11197262B2 (en) | 2019-08-02 | 2021-12-07 | Dell Products, Lp | Systems and methods of room profiling using wireless local area networks |
| US11330551B2 (en) | 2019-08-12 | 2022-05-10 | Dell Products, Lp | Method and apparatus for location aware optimal wireless link selection system |
| US11409881B2 (en) | 2019-08-12 | 2022-08-09 | Dell Products, Lp | Method and apparatus for wireless signal based location security system |
| US11510047B2 (en) | 2019-08-12 | 2022-11-22 | Dell Products, Lp | Learning based wireless performance adjustment for mobile information handling system |
| CN112395376A (zh) * | 2019-08-15 | 2021-02-23 | 纳恩博（北京）科技有限公司 | 地图的构建方法和装置、存储介质及电子装置 |
| CN110542424B (zh) * | 2019-09-03 | 2022-07-08 | 江苏艾佳家居用品有限公司 | 一种户型空间区域自动导航的方法及系统 |
| CN112454372A (zh) * | 2019-09-09 | 2021-03-09 | 上海产业技术研究院 | 服务机器人及医疗处理系统 |
| US20220234612A1 (en) * | 2019-09-25 | 2022-07-28 | Hewlett-Packard Development Company, L.P. | Location indicator devices |
| US11639846B2 (en) | 2019-09-27 | 2023-05-02 | Honeywell International Inc. | Dual-pattern optical 3D dimensioning |
| US11670408B2 (en) | 2019-09-30 | 2023-06-06 | Nuance Communications, Inc. | System and method for review of automated clinical documentation |
| US11507103B2 (en) | 2019-12-04 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for localization-based historical obstacle handling |
| US11107238B2 (en) | 2019-12-13 | 2021-08-31 | Zebra Technologies Corporation | Method, system and apparatus for detecting item facings |
| KR20210094214A (ko) * | 2020-01-21 | 2021-07-29 | 삼성전자주식회사 | 로봇 제어 장치 및 방법 |
| EP3881988A1 (en) | 2020-03-20 | 2021-09-22 | Tata Consultancy Services Limited | Knowledge partitioning for task execution by conversational tele-presence robots in a geographically separated environment |
| US11775942B2 (en) | 2020-03-27 | 2023-10-03 | Aristocrat Technologies, Inc. | Gaming service automation machine with digital wallet services |
| US11822333B2 (en) | 2020-03-30 | 2023-11-21 | Zebra Technologies Corporation | Method, system and apparatus for data capture illumination control |
| US11878419B2 (en) * | 2020-06-26 | 2024-01-23 | Intel Corporation | Affordance-aware, multi-resolution, free-form object manipulation planning |
| CN111857138A (zh) * | 2020-07-03 | 2020-10-30 | 深圳怡丰自动化科技有限公司 | 载人自动导引车的控制方法及其应用以及相关装置 |
| JP2022017739A (ja) * | 2020-07-14 | 2022-01-26 | 株式会社キーエンス | 画像処理装置 |
| US11450024B2 (en) | 2020-07-17 | 2022-09-20 | Zebra Technologies Corporation | Mixed depth object detection |
| KR102372563B1 (ko) * | 2020-07-29 | 2022-03-10 | 네이버랩스 주식회사 | 로봇 원격 제어 방법 및 시스템 |
| USD1006884S1 (en) | 2020-09-25 | 2023-12-05 | Aristocrat Technologies, Inc. | Gaming services robot |
| CN112162559B (zh) * | 2020-09-30 | 2021-10-15 | 杭州海康机器人技术有限公司 | 用于多机器人混行的方法、装置及存储介质 |
| TWI751735B (zh) * | 2020-10-12 | 2022-01-01 | 財團法人工業技術研究院 | 自走車跟隨系統及自走車跟隨方法 |
| US11593915B2 (en) | 2020-10-21 | 2023-02-28 | Zebra Technologies Corporation | Parallax-tolerant panoramic image generation |
| US11222103B1 (en) | 2020-10-29 | 2022-01-11 | Nuance Communications, Inc. | Ambient cooperative intelligence system and method |
| US11392891B2 (en) | 2020-11-03 | 2022-07-19 | Zebra Technologies Corporation | Item placement detection and optimization in material handling systems |
| US11847832B2 (en) | 2020-11-11 | 2023-12-19 | Zebra Technologies Corporation | Object classification for autonomous navigation systems |
| JP7402145B2 (ja) * | 2020-11-13 | 2023-12-20 | 本田技研工業株式会社 | 遠隔操作システム、移動ロボット、及び操作端末 |
| DE102020214654A1 (de) * | 2020-11-20 | 2022-05-25 | Siemens Healthcare Gmbh | Fern-Kommunikation mit einer medizintechnischen Einrichtung mit Hilfe eines digitalen Zwillings |
| KR102442064B1 (ko) * | 2020-11-30 | 2022-09-08 | 네이버랩스 주식회사 | 서비스 어플리케이션과 연계하여 서비스를 제공하는 로봇을 제어하는 방법 및 클라우드 서버 |
| CN116600949A (zh) * | 2020-12-24 | 2023-08-15 | 川崎重工业株式会社 | 机器人系统以及机器人作业方法 |
| EP4026663A1 (en) * | 2021-01-08 | 2022-07-13 | Tata Consultancy Services Limited | Navigation of tele-robot in dynamic environment using in-situ intelligence |
| WO2022168258A1 (ja) * | 2021-02-05 | 2022-08-11 | 三菱電機株式会社 | 生産管理装置、生産システム、生産管理方法、及び、生産管理プログラム |
| CN113246126B (zh) * | 2021-04-30 | 2023-02-03 | 上海擎朗智能科技有限公司 | 机器人移动控制方法、机器人移动控制装置及机器人 |
| CN113161816B (zh) * | 2021-04-30 | 2023-01-17 | 广东科凯达智能机器人有限公司 | 一种机器人全自动充电对接装置及控制方法 |
| CN113500601B (zh) * | 2021-07-21 | 2022-11-22 | 上海原圈网络科技有限公司 | 一种机器人运动控制方法和系统 |
| US20230072471A1 (en) * | 2021-08-04 | 2023-03-09 | Tata Consultancy Services Limited | Method and system of dynamic localization of a telepresence robot based on live markers |
| US20230043172A1 (en) * | 2021-08-06 | 2023-02-09 | Zebra Technologies Corporation | Adaptive Perimeter Intrusion Detection for Mobile Automation Apparatus |
| US11595226B1 (en) | 2021-08-17 | 2023-02-28 | Xerox Corporation | Method and system for collecting sensor data in buildings |
| US11856419B2 (en) | 2021-08-17 | 2023-12-26 | Xerox Corporation | Method and system for commissioning environmental sensors |
| US11944905B2 (en) * | 2021-09-28 | 2024-04-02 | Sony Group Corporation | Method to regulate jumps and falls by playable characters in XR spaces |
| WO2023102647A1 (en) * | 2021-12-06 | 2023-06-15 | University Of Manitoba | Method for automated 3d part localization and adjustment of robot end-effectors |
| CN113917933B (zh) * | 2021-12-13 | 2022-04-26 | 北京云迹科技有限公司 | 移动机器人的室内引导方法及相关设备 |
| US20230195133A1 (en) * | 2021-12-20 | 2023-06-22 | Blue Ocean Robotics Aps | Methods of area mapping with a mobile robot that crosses areas without communications network availability, and sharing the same with other mobile robots |
| US20220111527A1 (en) * | 2021-12-22 | 2022-04-14 | Intel Corporation | Risk-based robot system configurator |
| CN114485621A (zh) * | 2022-02-08 | 2022-05-13 | 达闼机器人股份有限公司 | 导航方法、装置及计算机可读存储介质 |
| CN116754749B (zh) * | 2023-08-17 | 2023-11-14 | 昆明理工大学 | 一种智能爆破岩体强度测定机器人及测定方法 |
Family Cites Families (848)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3821995A (en) | 1971-10-15 | 1974-07-02 | E Aghnides | Vehicle with composite wheel |
| US4107689A (en) | 1976-06-07 | 1978-08-15 | Rca Corporation | System for automatic vehicle location |
| US4213182A (en) | 1978-12-06 | 1980-07-15 | General Electric Company | Programmable energy load controller system and methods |
| US4413693A (en) | 1981-03-27 | 1983-11-08 | Derby Sherwin L | Mobile chair |
| US5148591A (en) | 1981-05-11 | 1992-09-22 | Sensor Adaptive Machines, Inc. | Vision target based assembly |
| US6317953B1 (en) | 1981-05-11 | 2001-11-20 | Lmi-Diffracto | Vision target based assembly |
| US4471354A (en) | 1981-11-23 | 1984-09-11 | Marathon Medical Equipment Corporation | Apparatus and method for remotely measuring temperature |
| US4519466A (en) | 1982-03-30 | 1985-05-28 | Eiko Shiraishi | Omnidirectional drive system |
| EP0108657B1 (en) | 1982-09-25 | 1987-08-12 | Fujitsu Limited | A multi-articulated robot |
| US4625274A (en) | 1983-12-05 | 1986-11-25 | Motorola, Inc. | Microprocessor reset system |
| US4572594A (en) | 1984-02-08 | 1986-02-25 | Schwartz C Bruce | Arthroscopy support stand |
| US4638445A (en) | 1984-06-08 | 1987-01-20 | Mattaboni Paul J | Autonomous mobile robot |
| US4766581A (en) | 1984-08-07 | 1988-08-23 | Justin Korn | Information retrieval system and method using independent user stations |
| US4553309A (en) | 1984-09-26 | 1985-11-19 | General Motors Corporation | Robotic assembly of vehicle headliners |
| JPS6180410A (ja) | 1984-09-28 | 1986-04-24 | Yutaka Kanayama | 移動ロボツトの走行指令方式 |
| JPS61111863A (ja) | 1984-11-05 | 1986-05-29 | Nissan Motor Co Ltd | ロボットによる組立装置 |
| US4679152A (en) | 1985-02-20 | 1987-07-07 | Heath Company | Navigation system and method for a mobile robot |
| US4697278A (en) | 1985-03-01 | 1987-09-29 | Veeder Industries Inc. | Electronic hub odometer |
| US4652204A (en) | 1985-08-02 | 1987-03-24 | Arnett Edward M | Apparatus for handling hazardous materials |
| US4733737A (en) | 1985-08-29 | 1988-03-29 | Reza Falamak | Drivable steerable platform for industrial, domestic, entertainment and like uses |
| US4709265A (en) | 1985-10-15 | 1987-11-24 | Advanced Resource Development Corporation | Remote control mobile surveillance system |
| US4751658A (en) | 1986-05-16 | 1988-06-14 | Denning Mobile Robotics, Inc. | Obstacle avoidance system |
| US4777416A (en) | 1986-05-16 | 1988-10-11 | Denning Mobile Robotics, Inc. | Recharge docking system for mobile robot |
| SE455539B (sv) | 1986-05-23 | 1988-07-18 | Electrolux Ab | Elektrooptiskt positionskennande system for ett i plan rorligt foremal, foretredesvis en mobil robot |
| US4803625A (en) | 1986-06-30 | 1989-02-07 | Buddy Systems, Inc. | Personal health monitor |
| US4878501A (en) | 1986-09-24 | 1989-11-07 | Shue Ming Jeng | Electronic stethoscopic apparatus |
| JPS63289607A (ja) | 1987-05-21 | 1988-11-28 | Toshiba Corp | 知能ロボットのモジュ−ル間通信制御方式 |
| US4847764C1 (en) | 1987-05-21 | 2001-09-11 | Meditrol Inc | System for dispensing drugs in health care instituions |
| JPH01198865A (ja) | 1987-08-13 | 1989-08-10 | Ricoh Co Ltd | 画像処理装置 |
| JPH0191834A (ja) | 1987-08-20 | 1989-04-11 | Tsuruta Hiroko | 個人医療データの集中管理装置 |
| JPH02574A (ja) | 1987-10-29 | 1990-01-05 | Nippon Kagaku Senzai Kk | 転写剤 |
| JPH01125641A (ja) | 1987-11-11 | 1989-05-18 | Hitachi Ltd | バッファメモリ制御方式 |
| JPH01147718A (ja) | 1987-12-04 | 1989-06-09 | Agency Of Ind Science & Technol | 記憶装置 |
| JPH01179663A (ja) | 1987-12-16 | 1989-07-17 | Wm Wrigley Jr Co | 高力価甘味剤の凝集化方法 |
| US4942538A (en) | 1988-01-05 | 1990-07-17 | Spar Aerospace Limited | Telerobotic tracker |
| US5193143A (en) | 1988-01-12 | 1993-03-09 | Honeywell Inc. | Problem state monitoring |
| JPH01198868A (ja) | 1988-02-03 | 1989-08-10 | Nec Corp | ファクシミリ復号化回路 |
| US4979949A (en) | 1988-04-26 | 1990-12-25 | The Board Of Regents Of The University Of Washington | Robot-aided system for surgery |
| US5142484A (en) | 1988-05-12 | 1992-08-25 | Health Tech Services Corporation | An interactive patient assistance device for storing and dispensing prescribed medication and physical device |
| US5008804A (en) | 1988-06-23 | 1991-04-16 | Total Spectrum Manufacturing Inc. | Robotic television-camera dolly system |
| JPH0246088A (ja) | 1988-08-08 | 1990-02-15 | Canon Inc | ホワイト・バランス調整回路 |
| US5040116A (en) | 1988-09-06 | 1991-08-13 | Transitions Research Corporation | Visual navigation and obstacle avoidance structured light system |
| US5157491A (en) | 1988-10-17 | 1992-10-20 | Kassatly L Samuel A | Method and apparatus for video broadcasting and teleconferencing |
| US5155684A (en) | 1988-10-25 | 1992-10-13 | Tennant Company | Guiding an unmanned vehicle by reference to overhead features |
| JPH01199356A (ja) | 1988-12-26 | 1989-08-10 | Clarion Co Ltd | ローディングイジェクト機構 |
| US4953159A (en) | 1989-01-03 | 1990-08-28 | American Telephone And Telegraph Company | Audiographics conferencing arrangement |
| US5016173A (en) | 1989-04-13 | 1991-05-14 | Vanguard Imaging Ltd. | Apparatus and method for monitoring visually accessible surfaces of the body |
| US5006988A (en) | 1989-04-28 | 1991-04-09 | University Of Michigan | Obstacle-avoiding navigation system |
| US4977971A (en) | 1989-05-17 | 1990-12-18 | University Of Florida | Hybrid robotic vehicle |
| JP2530911B2 (ja) | 1989-05-19 | 1996-09-04 | キヤノン株式会社 | シ―ト搬送装置 |
| US5224157A (en) | 1989-05-22 | 1993-06-29 | Minolta Camera Kabushiki Kaisha | Management system for managing maintenance information of image forming apparatus |
| US5051906A (en) | 1989-06-07 | 1991-09-24 | Transitions Research Corporation | Mobile robot navigation employing retroreflective ceiling features |
| JP3002206B2 (ja) | 1989-06-22 | 2000-01-24 | 神鋼電機株式会社 | 移動ロボットの走行制御方法 |
| US5341854A (en) | 1989-09-28 | 1994-08-30 | Alberta Research Council | Robotic drug dispensing system |
| US5084828A (en) | 1989-09-29 | 1992-01-28 | Healthtech Services Corp. | Interactive medication delivery system |
| JP2964518B2 (ja) | 1990-01-30 | 1999-10-18 | 日本電気株式会社 | 音声制御方式 |
| JP2679346B2 (ja) | 1990-03-28 | 1997-11-19 | 神鋼電機株式会社 | 移動ロボットシステムにおける充電制御方式 |
| US5130794A (en) | 1990-03-29 | 1992-07-14 | Ritchey Kurtis J | Panoramic display system |
| JP2921936B2 (ja) | 1990-07-13 | 1999-07-19 | 株式会社東芝 | 画像監視装置 |
| US6958706B2 (en) | 1990-07-27 | 2005-10-25 | Hill-Rom Services, Inc. | Patient care and communication system |
| JP2541353B2 (ja) | 1990-09-18 | 1996-10-09 | 三菱自動車工業株式会社 | 車両用アクティブサスペンション装置 |
| US5563998A (en) | 1990-10-19 | 1996-10-08 | Moore Business Forms, Inc. | Forms automation system implementation |
| US5276445A (en) | 1990-11-30 | 1994-01-04 | Sony Corporation | Polling control system for switching units in a plural stage switching matrix |
| US5310464A (en) | 1991-01-04 | 1994-05-10 | Redepenning Jody G | Electrocrystallization of strongly adherent brushite coatings on prosthetic alloys |
| JP3023000B2 (ja) | 1991-02-15 | 2000-03-21 | 株式会社アイジー技術研究所 | 目地材 |
| JPH0530502A (ja) | 1991-07-24 | 1993-02-05 | Hitachi Ltd | 一体型テレビ電話機 |
| US5217453A (en) | 1991-03-18 | 1993-06-08 | Wilk Peter J | Automated surgical system and apparatus |
| CA2085735A1 (en) | 1991-04-22 | 1992-10-23 | Ralph W. Fisher | Head-mounted projection display system featuring beam splitter |
| US5231693A (en) | 1991-05-09 | 1993-07-27 | The United States Of America As Represented By The Administrator, National Aeronautics And Space Administration | Telerobot control system |
| US5341459A (en) | 1991-05-09 | 1994-08-23 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Generalized compliant motion primitive |
| US7382399B1 (en) | 1991-05-13 | 2008-06-03 | Sony Coporation | Omniview motionless camera orientation system |
| JP3173042B2 (ja) | 1991-05-21 | 2001-06-04 | ソニー株式会社 | ロボットの数値制御装置 |
| US5417210A (en) | 1992-05-27 | 1995-05-23 | International Business Machines Corporation | System and method for augmentation of endoscopic surgery |
| US5182641A (en) | 1991-06-17 | 1993-01-26 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Composite video and graphics display for camera viewing systems in robotics and teleoperation |
| JPH0528066A (ja) | 1991-07-18 | 1993-02-05 | Mitsubishi Electric Corp | サービス処理方法 |
| US5366896A (en) | 1991-07-30 | 1994-11-22 | University Of Virginia Alumni Patents Foundation | Robotically operated laboratory system |
| US5441042A (en) | 1991-08-05 | 1995-08-15 | Putman; John M. | Endoscope instrument holder |
| IL99420A (en) | 1991-09-05 | 2000-12-06 | Elbit Systems Ltd | Helmet mounted display |
| WO1993006690A1 (en) | 1991-09-17 | 1993-04-01 | Radamec Epo Limited | Setting-up system for remotely controlled cameras |
| US5186270A (en) | 1991-10-24 | 1993-02-16 | Massachusetts Institute Of Technology | Omnidirectional vehicle |
| US5419008A (en) | 1991-10-24 | 1995-05-30 | West; Mark | Ball joint |
| DE69312053T2 (de) | 1992-01-21 | 1997-10-30 | Stanford Res Inst Int | Teleoperateursystem und verfahren mit teleanwesenheit |
| US5631973A (en) | 1994-05-05 | 1997-05-20 | Sri International | Method for telemanipulation with telepresence |
| EP0559348A3 (en) | 1992-03-02 | 1993-11-03 | AT&T Corp. | Rate control loop processor for perceptual encoder/decoder |
| US5544649A (en) | 1992-03-25 | 1996-08-13 | Cardiomedix, Inc. | Ambulatory patient health monitoring techniques utilizing interactive visual communication |
| US5441047A (en) | 1992-03-25 | 1995-08-15 | David; Daniel | Ambulatory patient health monitoring techniques utilizing interactive visual communication |
| US5262944A (en) | 1992-05-15 | 1993-11-16 | Hewlett-Packard Company | Method for use of color and selective highlighting to indicate patient critical events in a centralized patient monitoring system |
| US5594859A (en) | 1992-06-03 | 1997-01-14 | Digital Equipment Corporation | Graphical user interface for video teleconferencing |
| US5375195A (en) | 1992-06-29 | 1994-12-20 | Johnston; Victor S. | Method and apparatus for generating composites of human faces |
| US5762458A (en) | 1996-02-20 | 1998-06-09 | Computer Motion, Inc. | Method and apparatus for performing minimally invasive cardiac procedures |
| DE4228281A1 (de) | 1992-08-26 | 1994-03-03 | Koenig & Bauer Ag | Verfahren zur Anzeige von Maschinenstörungen |
| US5374879A (en) | 1992-11-04 | 1994-12-20 | Martin Marietta Energy Systems, Inc. | Omni-directional and holonomic rolling platform with decoupled rotational and translational degrees of freedom |
| US5600573A (en) | 1992-12-09 | 1997-02-04 | Discovery Communications, Inc. | Operations center with video storage for a television program packaging and delivery system |
| US5315287A (en) | 1993-01-13 | 1994-05-24 | David Sol | Energy monitoring system for recreational vehicles and marine vessels |
| US5319611A (en) | 1993-03-31 | 1994-06-07 | National Research Council Of Canada | Method of determining range data in a time-of-flight ranging system |
| DE69413585T2 (de) | 1993-03-31 | 1999-04-29 | Siemens Medical Systems Inc | Vorrichtung und Verfahren zum Liefern doppelter Ausgangssignale in einem Telemetrieübertrager |
| US5350033A (en) | 1993-04-26 | 1994-09-27 | Kraft Brett W | Robotic inspection vehicle |
| EP0625856B1 (en) | 1993-05-19 | 1998-03-04 | Alcatel | Video on demand network |
| EP0644694B1 (en) | 1993-09-20 | 2000-04-26 | Canon Kabushiki Kaisha | Video System |
| US6594688B2 (en) | 1993-10-01 | 2003-07-15 | Collaboration Properties, Inc. | Dedicated echo canceler for a workstation |
| US5689641A (en) | 1993-10-01 | 1997-11-18 | Vicor, Inc. | Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal |
| WO1995011566A1 (en) | 1993-10-20 | 1995-04-27 | Videoconferencing Systems, Inc. | Adaptive videoconferencing system |
| US5876325A (en) | 1993-11-02 | 1999-03-02 | Olympus Optical Co., Ltd. | Surgical manipulation system |
| US5623679A (en) | 1993-11-19 | 1997-04-22 | Waverley Holdings, Inc. | System and method for creating and manipulating notes each containing multiple sub-notes, and linking the sub-notes to portions of data objects |
| US5510832A (en) | 1993-12-01 | 1996-04-23 | Medi-Vision Technologies, Inc. | Synthesized stereoscopic imaging system and method |
| US5347306A (en) | 1993-12-17 | 1994-09-13 | Mitsubishi Electric Research Laboratories, Inc. | Animated electronic meeting place |
| GB2284968A (en) | 1993-12-18 | 1995-06-21 | Ibm | Audio conferencing system |
| JP3339953B2 (ja) | 1993-12-29 | 2002-10-28 | オリンパス光学工業株式会社 | 医療用マスタースレーブ式マニピュレータ |
| US5511147A (en) | 1994-01-12 | 1996-04-23 | Uti Corporation | Graphical interface for robot |
| US5436542A (en) | 1994-01-28 | 1995-07-25 | Surgix, Inc. | Telescopic camera mount with remotely controlled positioning |
| JPH07213753A (ja) | 1994-02-02 | 1995-08-15 | Hitachi Ltd | パーソナルロボット装置 |
| JPH07248823A (ja) | 1994-03-11 | 1995-09-26 | Hitachi Ltd | パーソナルロボット装置 |
| DE4408329C2 (de) | 1994-03-11 | 1996-04-18 | Siemens Ag | Verfahren zum Aufbau einer zellular strukturierten Umgebungskarte von einer selbstbeweglichen mobilen Einheit, welche sich mit Hilfe von auf Wellenreflexion basierenden Sensoren orientiert |
| JPH07257422A (ja) | 1994-03-19 | 1995-10-09 | Hideaki Maehara | 全方位駆動輪並びにこれを備えた全方位走行車両 |
| US5659779A (en) | 1994-04-25 | 1997-08-19 | The United States Of America As Represented By The Secretary Of The Navy | System for assigning computer resources to control multiple computer directed devices |
| US5784546A (en) | 1994-05-12 | 1998-07-21 | Integrated Virtual Networks | Integrated virtual networks |
| US5734805A (en) * | 1994-06-17 | 1998-03-31 | International Business Machines Corporation | Apparatus and method for controlling navigation in 3-D space |
| CA2148631C (en) | 1994-06-20 | 2000-06-13 | John J. Hildin | Voice-following video system |
| JPH0811074A (ja) | 1994-06-29 | 1996-01-16 | Fanuc Ltd | ロボットシステム |
| BE1008470A3 (fr) | 1994-07-04 | 1996-05-07 | Colens Andre | Dispositif et systeme automatique de depoussierage de sol et engin y adapte. |
| US5462051A (en) | 1994-08-31 | 1995-10-31 | Colin Corporation | Medical communication system |
| JP3302188B2 (ja) | 1994-09-13 | 2002-07-15 | 日本電信電話株式会社 | テレイグジスタンス型テレビ電話装置 |
| US5675229A (en) | 1994-09-21 | 1997-10-07 | Abb Robotics Inc. | Apparatus and method for adjusting robot positioning |
| US6463361B1 (en) | 1994-09-22 | 2002-10-08 | Computer Motion, Inc. | Speech interface for an automated endoscopic system |
| US5764731A (en) | 1994-10-13 | 1998-06-09 | Yablon; Jay R. | Enhanced system for transferring, storing and using signaling information in a switched telephone network |
| US5767897A (en) | 1994-10-31 | 1998-06-16 | Picturetel Corporation | Video conferencing system |
| JPH08139900A (ja) | 1994-11-14 | 1996-05-31 | Canon Inc | 画像通信装置 |
| JP2726630B2 (ja) | 1994-12-07 | 1998-03-11 | インターナショナル・ビジネス・マシーンズ・コーポレイション | ゲートウェイ装置及びゲートウェイ方法 |
| JPH08166822A (ja) | 1994-12-13 | 1996-06-25 | Nippon Telegr & Teleph Corp <Ntt> | ユーザ追尾型移動ロボット装置及びセンシング方法 |
| US5486853A (en) | 1994-12-13 | 1996-01-23 | Picturetel Corporation | Electrical cable interface for electronic camera |
| US5553609A (en) | 1995-02-09 | 1996-09-10 | Visiting Nurse Service, Inc. | Intelligent remote visual monitoring system for home health care service |
| US5619341A (en) | 1995-02-23 | 1997-04-08 | Motorola, Inc. | Method and apparatus for preventing overflow and underflow of an encoder buffer in a video compression system |
| US5973724A (en) | 1995-02-24 | 1999-10-26 | Apple Computer, Inc. | Merging multiple teleconferences |
| US5854898A (en) | 1995-02-24 | 1998-12-29 | Apple Computer, Inc. | System for automatically adding additional data stream to existing media connection between two end points upon exchange of notifying and confirmation messages therebetween |
| US5657246A (en) | 1995-03-07 | 1997-08-12 | Vtel Corporation | Method and apparatus for a video conference user interface |
| JP2947113B2 (ja) | 1995-03-09 | 1999-09-13 | 日本電気株式会社 | 画像通信端末用ユーザインタフェース装置 |
| US5652849A (en) | 1995-03-16 | 1997-07-29 | Regents Of The University Of Michigan | Apparatus and method for remote control using a visual information stream |
| US5684531A (en) | 1995-04-10 | 1997-11-04 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Ranging apparatus and method implementing stereo vision system |
| US5673082A (en) | 1995-04-10 | 1997-09-30 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Light-directed ranging system implementing single camera system for telerobotics applications |
| JP3241564B2 (ja) | 1995-05-10 | 2001-12-25 | 富士通株式会社 | 通常車輪型全方向移動ロボットの運動制御のための制御装置および方法 |
| JPH08320727A (ja) | 1995-05-24 | 1996-12-03 | Shinko Electric Co Ltd | 移動装置 |
| US5630566A (en) | 1995-05-30 | 1997-05-20 | Case; Laura | Portable ergonomic work station |
| JPH08335112A (ja) | 1995-06-08 | 1996-12-17 | Minolta Co Ltd | 移動作業ロボットシステム |
| JPH11510004A (ja) | 1995-07-19 | 1999-08-31 | フジツウ ネットワーク コミュニケーションズ，インコーポレイテッド | サブキューを使用するポイントツーマルチポイント伝送 |
| US5825982A (en) | 1995-09-15 | 1998-10-20 | Wright; James | Head cursor control interface for an automated endoscope system for optimal positioning |
| US6710797B1 (en) | 1995-09-20 | 2004-03-23 | Videotronic Systems | Adaptable teleconferencing eye contact terminal |
| US5961446A (en) | 1995-10-06 | 1999-10-05 | Tevital Incorporated | Patient terminal for home health care system |
| US5797515A (en) | 1995-10-18 | 1998-08-25 | Adds, Inc. | Method for controlling a drug dispensing system |
| US20010034475A1 (en) | 1995-11-13 | 2001-10-25 | Flach Terry E. | Wireless lan system with cellular architecture |
| DE69637410T2 (de) | 1995-11-13 | 2009-01-22 | Sony Corp. | Video-auf-anfragesystem mit verzögerung und fernsehverfahren dazu |
| US6219032B1 (en) | 1995-12-01 | 2001-04-17 | Immersion Corporation | Method for providing force feedback to a user of an interface device based on interactions of a controlled cursor with graphical elements in a graphical user interface |
| US5838575A (en) | 1995-12-14 | 1998-11-17 | Rx Excell Inc. | System for dispensing drugs |
| CA2240961C (en) | 1995-12-18 | 2001-06-12 | David Alan Braun | Head mounted displays linked to networked electronic panning cameras |
| US5793365A (en) | 1996-01-02 | 1998-08-11 | Sun Microsystems, Inc. | System and method providing a computer user interface enabling access to distributed workgroup members |
| US5701904A (en) | 1996-01-11 | 1997-12-30 | Krug International | Telemedicine instrumentation pack |
| US5624398A (en) | 1996-02-08 | 1997-04-29 | Symbiosis Corporation | Endoscopic robotic surgical tools and methods |
| NZ331915A (en) | 1996-03-18 | 1999-05-28 | Gen Instrument Corp | Dynamic bandwidth allocation for a communication network |
| US5682199A (en) | 1996-03-28 | 1997-10-28 | Jedmed Instrument Company | Video endoscope with interchangeable endoscope heads |
| JP3601737B2 (ja) | 1996-03-30 | 2004-12-15 | 技術研究組合医療福祉機器研究所 | 搬送ロボットシステム |
| US5801755A (en) | 1996-04-09 | 1998-09-01 | Echerer; Scott J. | Interactive communciation system for medical treatment of remotely located patients |
| US5867653A (en) | 1996-04-18 | 1999-02-02 | International Business Machines Corporation | Method and apparatus for multi-cast based video conferencing |
| US6135228A (en) | 1996-04-25 | 2000-10-24 | Massachusetts Institute Of Technology | Human transport system with dead reckoning facilitating docking |
| AU2829697A (en) | 1996-05-06 | 1997-11-26 | Camelot Corporation, The | Videophone system |
| US6189034B1 (en) | 1996-05-08 | 2001-02-13 | Apple Computer, Inc. | Method and apparatus for dynamic launching of a teleconferencing application upon receipt of a call |
| US6006191A (en) | 1996-05-13 | 1999-12-21 | Dirienzo; Andrew L. | Remote access medical image exchange system and methods of operation therefor |
| US5799055A (en) | 1996-05-15 | 1998-08-25 | Northwestern University | Apparatus and method for planning a stereotactic surgical procedure using coordinated fluoroscopy |
| US6496099B2 (en) | 1996-06-24 | 2002-12-17 | Computer Motion, Inc. | General purpose distributed operating room control system |
| US5949758A (en) | 1996-06-27 | 1999-09-07 | International Business Machines Corporation | Bandwidth reservation for multiple file transfer in a high speed communication network |
| JPH1064154A (ja) | 1996-08-19 | 1998-03-06 | Nippon Columbia Co Ltd | ディスク再生装置 |
| JPH1079097A (ja) | 1996-09-04 | 1998-03-24 | Toyota Motor Corp | 移動体通信方法 |
| US6195357B1 (en) | 1996-09-24 | 2001-02-27 | Intervoice Limited Partnership | Interactive information transaction processing system with universal telephony gateway capabilities |
| US5754631A (en) | 1996-09-30 | 1998-05-19 | Intervoice Limited Partnership | Voice response unit having robot conference capability on ports |
| US5974446A (en) | 1996-10-24 | 1999-10-26 | Academy Of Applied Science | Internet based distance learning system for communicating between server and clients wherein clients communicate with each other or with teacher using different communication techniques via common user interface |
| US6646677B2 (en) | 1996-10-25 | 2003-11-11 | Canon Kabushiki Kaisha | Image sensing control method and apparatus, image transmission control method, apparatus, and system, and storage means storing program that implements the method |
| US5917958A (en) | 1996-10-31 | 1999-06-29 | Sensormatic Electronics Corporation | Distributed video data base with remote searching for image data features |
| JP3749323B2 (ja) * | 1996-11-13 | 2006-02-22 | 富士通株式会社 | 移動装置 |
| US5867494A (en) | 1996-11-18 | 1999-02-02 | Mci Communication Corporation | System, method and article of manufacture with integrated video conferencing billing in a communication system architecture |
| US6331181B1 (en) | 1998-12-08 | 2001-12-18 | Intuitive Surgical, Inc. | Surgical robotic tools, data architecture, and use |
| US8182469B2 (en) | 1997-11-21 | 2012-05-22 | Intuitive Surgical Operations, Inc. | Surgical accessory clamp and method |
| US6113343A (en) | 1996-12-16 | 2000-09-05 | Goldenberg; Andrew | Explosives disposal robot |
| US6148100A (en) | 1996-12-20 | 2000-11-14 | Bechtel Bwxt Idaho, Llc | 3-dimensional telepresence system for a robotic environment |
| US5886735A (en) | 1997-01-14 | 1999-03-23 | Bullister; Edward T | Video telephone headset |
| JPH10246954A (ja) | 1997-03-04 | 1998-09-14 | Fuji Photo Film Co Ltd | 光重合性組成物 |
| US5927423A (en) | 1997-03-05 | 1999-07-27 | Massachusetts Institute Of Technology | Reconfigurable footprint mechanism for omnidirectional vehicles |
| US6501740B1 (en) | 1997-03-07 | 2002-12-31 | At&T Corp. | System and method for teleconferencing on an internetwork comprising connection-oriented and connectionless networks |
| US5995884A (en) | 1997-03-07 | 1999-11-30 | Allen; Timothy P. | Computer peripheral floor cleaning system and navigation method |
| AU8938598A (en) | 1997-03-27 | 1999-04-23 | Medtronic, Inc. | Implantable Medical Device Remote Expert Communications System For Coordina ted Implant And Follow-Up |
| JPH10288689A (ja) | 1997-04-14 | 1998-10-27 | Hitachi Ltd | 遠隔監視システム |
| US20040157612A1 (en) | 1997-04-25 | 2004-08-12 | Minerva Industries, Inc. | Mobile communication and stethoscope system |
| US6914622B1 (en) | 1997-05-07 | 2005-07-05 | Telbotics Inc. | Teleconferencing robot with swiveling video monitor |
| EP0981905B1 (en) | 1997-05-07 | 2002-01-09 | Telbotics Inc. | Teleconferencing robot with swiveling video monitor |
| GB2325376B (en) | 1997-05-14 | 2001-09-19 | Dsc Telecom Lp | Allocation of bandwidth to calls in a wireless telecommunications system |
| US5857534A (en) | 1997-06-05 | 1999-01-12 | Kansas State University Research Foundation | Robotic inspection apparatus and method |
| US5995119A (en) | 1997-06-06 | 1999-11-30 | At&T Corp. | Method for generating photo-realistic animated characters |
| DE69805068T2 (de) | 1997-07-02 | 2002-11-07 | Borringia Ind Ag Arlesheim | Antriebsrad |
| US6330486B1 (en) | 1997-07-16 | 2001-12-11 | Silicon Graphics, Inc. | Acoustic perspective in a virtual three-dimensional environment |
| US6445964B1 (en) | 1997-08-04 | 2002-09-03 | Harris Corporation | Virtual reality simulation-based training of telekinegenesis system for training sequential kinematic behavior of automated kinematic machine |
| JPH11126017A (ja) | 1997-08-22 | 1999-05-11 | Sony Corp | 記憶媒体、ロボット、情報処理装置、並びに電子ペットシステム |
| AU9223298A (en) | 1997-09-04 | 1999-03-22 | Dynalog, Inc. | Method for calibration of a robot inspection system |
| US6714839B2 (en) | 1998-12-08 | 2004-03-30 | Intuitive Surgical, Inc. | Master having redundant degrees of freedom |
| US6400378B1 (en) | 1997-09-26 | 2002-06-04 | Sony Corporation | Home movie maker |
| JPH11175118A (ja) | 1997-10-08 | 1999-07-02 | Denso Corp | ロボット制御装置 |
| US6597392B1 (en) | 1997-10-14 | 2003-07-22 | Healthcare Vision, Inc. | Apparatus and method for computerized multi-media data organization and transmission |
| US7885822B2 (en) | 2001-05-09 | 2011-02-08 | William Rex Akers | System and method for electronic medical file management |
| US7956894B2 (en) | 1997-10-14 | 2011-06-07 | William Rex Akers | Apparatus and method for computerized multi-media medical and pharmaceutical data organization and transmission |
| US6209018B1 (en) | 1997-11-13 | 2001-03-27 | Sun Microsystems, Inc. | Service framework for a distributed object network system |
| WO1999028800A1 (fr) | 1997-11-27 | 1999-06-10 | Solar & Robotics | Ameliorations a des robots mobiles et a leur systeme de commande |
| US6532404B2 (en) | 1997-11-27 | 2003-03-11 | Colens Andre | Mobile robots and their control system |
| JP3919040B2 (ja) | 1997-11-30 | 2007-05-23 | ソニー株式会社 | ロボツト装置 |
| US6036812A (en) | 1997-12-05 | 2000-03-14 | Automated Prescription Systems, Inc. | Pill dispensing system |
| US6006946A (en) | 1997-12-05 | 1999-12-28 | Automated Prescriptions System, Inc. | Pill dispensing system |
| WO1999030876A1 (en) | 1997-12-16 | 1999-06-24 | Board Of Trustees Operating Michigan State University | Spherical mobile robot |
| US6047259A (en) | 1997-12-30 | 2000-04-04 | Medical Management International, Inc. | Interactive method and system for managing physical exams, diagnosis and treatment protocols in a health care practice |
| US5983263A (en) | 1998-01-02 | 1999-11-09 | Intel Corporation | Method and apparatus for transmitting images during a multimedia teleconference |
| US6380968B1 (en) | 1998-01-06 | 2002-04-30 | Intel Corporation | Method and apparatus for controlling a remote video camera in a video conferencing system |
| US6563533B1 (en) | 1998-01-06 | 2003-05-13 | Sony Corporation | Ergonomically designed apparatus for selectively actuating remote robotics cameras |
| DE19803494A1 (de) | 1998-01-29 | 1999-08-05 | Berchtold Gmbh & Co Geb | Verfahren zum Manipulieren einer Operationsleuchte |
| JPH11220706A (ja) | 1998-02-03 | 1999-08-10 | Nikon Corp | テレビ電話システム |
| JPH11249725A (ja) | 1998-02-26 | 1999-09-17 | Fanuc Ltd | ロボット制御装置 |
| US6346962B1 (en) | 1998-02-27 | 2002-02-12 | International Business Machines Corporation | Control of video conferencing system with pointing device |
| US6373855B1 (en) | 1998-03-05 | 2002-04-16 | Intel Corporation | System and method for using audio performance to control video bandwidth |
| US6697103B1 (en) | 1998-03-19 | 2004-02-24 | Dennis Sunga Fernandez | Integrated network for monitoring remote objects |
| US6643496B1 (en) | 1998-03-31 | 2003-11-04 | Canon Kabushiki Kaisha | System, method, and apparatus for adjusting packet transmission rates based on dynamic evaluation of network characteristics |
| GB9807540D0 (en) | 1998-04-09 | 1998-06-10 | Orad Hi Tec Systems Ltd | Tracking system for sports |
| US6650748B1 (en) | 1998-04-13 | 2003-11-18 | Avaya Technology Corp. | Multiple call handling in a call center |
| US6313853B1 (en) | 1998-04-16 | 2001-11-06 | Nortel Networks Limited | Multi-service user interface |
| US6233504B1 (en) | 1998-04-16 | 2001-05-15 | California Institute Of Technology | Tool actuation and force feedback on robot-assisted microsurgery system |
| US6529765B1 (en) | 1998-04-21 | 2003-03-04 | Neutar L.L.C. | Instrumented and actuated guidance fixture for sterotactic surgery |
| US20020151514A1 (en) | 1998-05-11 | 2002-10-17 | Paz Einat | Genes associated with mechanical stress, expression products therefrom, and uses thereof |
| JP3667987B2 (ja) * | 1998-05-14 | 2005-07-06 | 亀谷産業株式会社 | マーキングが施されたゴルフボール及びゴルフボールへのマーキング方法 |
| US6219587B1 (en) | 1998-05-27 | 2001-04-17 | Nextrx Corporation | Automated pharmaceutical management and dispensing system |
| US6250928B1 (en) | 1998-06-22 | 2001-06-26 | Massachusetts Institute Of Technology | Talking facial display method and apparatus |
| WO1999067067A1 (fr) | 1998-06-23 | 1999-12-29 | Sony Corporation | Robot et systeme de traitement d'information |
| JP3792901B2 (ja) | 1998-07-08 | 2006-07-05 | キヤノン株式会社 | カメラ制御システム及びその制御方法 |
| US6452915B1 (en) | 1998-07-10 | 2002-09-17 | Malibu Networks, Inc. | IP-flow classification in a wireless point to multi-point (PTMP) transmission system |
| US6266577B1 (en) | 1998-07-13 | 2001-07-24 | Gte Internetworking Incorporated | System for dynamically reconfigure wireless robot network |
| JP3487186B2 (ja) | 1998-07-28 | 2004-01-13 | 日本ビクター株式会社 | ネットワークリモートコントロールシステム |
| JP4100773B2 (ja) | 1998-09-04 | 2008-06-11 | 富士通株式会社 | ロボットの遠隔制御方法及びシステム |
| JP2000153476A (ja) | 1998-09-14 | 2000-06-06 | Honda Motor Co Ltd | 脚式移動ロボット |
| US6594527B2 (en) | 1998-09-18 | 2003-07-15 | Nexmed Holdings, Inc. | Electrical stimulation apparatus and method |
| US6175779B1 (en) | 1998-09-29 | 2001-01-16 | J. Todd Barrett | Computerized unit dose medication dispensing cart |
| US6457043B1 (en) | 1998-10-23 | 2002-09-24 | Verizon Laboratories Inc. | Speaker identifier for multi-party conference |
| WO2000025516A1 (en) | 1998-10-24 | 2000-05-04 | Vtel Corporation | Graphical menu items for a user interface menu of a video teleconferencing system |
| US6602469B1 (en) | 1998-11-09 | 2003-08-05 | Lifestream Technologies, Inc. | Health monitoring and diagnostic device and network-based health assessment and medical records maintenance system |
| US6852107B2 (en) | 2002-01-16 | 2005-02-08 | Computer Motion, Inc. | Minimally invasive surgical training using robotics and tele-collaboration |
| US6951535B2 (en) | 2002-01-16 | 2005-10-04 | Intuitive Surgical, Inc. | Tele-medicine system that transmits an entire state of a subsystem |
| US6468265B1 (en) | 1998-11-20 | 2002-10-22 | Intuitive Surgical, Inc. | Performing cardiac surgery without cardioplegia |
| US8527094B2 (en) | 1998-11-20 | 2013-09-03 | Intuitive Surgical Operations, Inc. | Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures |
| US6232735B1 (en) | 1998-11-24 | 2001-05-15 | Thames Co., Ltd. | Robot remote control system and robot image remote control processing system |
| JP2000196876A (ja) | 1998-12-28 | 2000-07-14 | Canon Inc | 画像処理システム並びに画像形成制御装置並びに画像形成装置並びに画像処理システムの制御方法並びに画像形成制御装置の制御方法および画像形成装置の制御方法 |
| US6170929B1 (en) | 1998-12-02 | 2001-01-09 | Ronald H. Wilson | Automated medication-dispensing cart |
| US6535182B2 (en) | 1998-12-07 | 2003-03-18 | Koninklijke Philips Electronics N.V. | Head-mounted projection display system |
| US6522906B1 (en) | 1998-12-08 | 2003-02-18 | Intuitive Surgical, Inc. | Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure |
| DE69942129D1 (de) | 1998-12-08 | 2010-04-22 | Intuitive Surgical Inc | Telerobot zum verschieben von Bildern |
| US6799065B1 (en) | 1998-12-08 | 2004-09-28 | Intuitive Surgical, Inc. | Image shifting apparatus and method for a telerobotic system |
| JP3980205B2 (ja) | 1998-12-17 | 2007-09-26 | コニカミノルタホールディングス株式会社 | 作業ロボット |
| US6259956B1 (en) | 1999-01-14 | 2001-07-10 | Rawl & Winstead, Inc. | Method and apparatus for site management |
| US6463352B1 (en) | 1999-01-21 | 2002-10-08 | Amada Cutting Technologies, Inc. | System for management of cutting machines |
| JP4366617B2 (ja) | 1999-01-25 | 2009-11-18 | ソニー株式会社 | ロボット装置 |
| US6338013B1 (en) | 1999-03-19 | 2002-01-08 | Bryan John Ruffner | Multifunctional mobile appliance |
| AU4185600A (en) | 1999-04-01 | 2000-10-23 | Acist Medical Systems, Inc. | An integrated medical information management and medical device control system and method |
| US7007235B1 (en) | 1999-04-02 | 2006-02-28 | Massachusetts Institute Of Technology | Collaborative agent interaction control and synchronization system |
| US6424885B1 (en) | 1999-04-07 | 2002-07-23 | Intuitive Surgical, Inc. | Camera referenced control in a minimally invasive surgical apparatus |
| US6594552B1 (en) | 1999-04-07 | 2003-07-15 | Intuitive Surgical, Inc. | Grip strength with tactile feedback for robotic surgery |
| US6788651B1 (en) | 1999-04-21 | 2004-09-07 | Mindspeed Technologies, Inc. | Methods and apparatus for data communications on packet networks |
| US6346950B1 (en) | 1999-05-20 | 2002-02-12 | Compaq Computer Corporation | System and method for display images using anamorphic video |
| US6781606B2 (en) | 1999-05-20 | 2004-08-24 | Hewlett-Packard Development Company, L.P. | System and method for displaying images using foveal video |
| US6292713B1 (en) | 1999-05-20 | 2001-09-18 | Compaq Computer Corporation | Robotic telepresence system |
| US6523629B1 (en) | 1999-06-07 | 2003-02-25 | Sandia Corporation | Tandem mobile robot system |
| US7256708B2 (en) | 1999-06-23 | 2007-08-14 | Visicu, Inc. | Telecommunications network for remote patient monitoring |
| US6804656B1 (en) | 1999-06-23 | 2004-10-12 | Visicu, Inc. | System and method for providing continuous, expert network critical care services from a remote location(s) |
| US6304050B1 (en) | 1999-07-19 | 2001-10-16 | Steven B. Skaar | Means and method of robot control relative to an arbitrary surface using camera-space manipulation |
| US7606164B2 (en) | 1999-12-14 | 2009-10-20 | Texas Instruments Incorporated | Process of increasing source rate on acceptable side of threshold |
| US6540039B1 (en) | 1999-08-19 | 2003-04-01 | Massachusetts Institute Of Technology | Omnidirectional vehicle with offset wheel pairs |
| DE69927590T2 (de) | 1999-08-31 | 2006-07-06 | Swisscom Ag | Mobiler Roboter und Steuerverfahren für einen mobilen Roboter |
| US6810411B1 (en) | 1999-09-13 | 2004-10-26 | Intel Corporation | Method and system for selecting a host in a communications network |
| EP1090722B1 (en) | 1999-09-16 | 2007-07-25 | Fanuc Ltd | Control system for synchronously cooperative operation of a plurality of robots |
| JP2001094989A (ja) | 1999-09-20 | 2001-04-06 | Toshiba Corp | 動画像送信装置及び動画像通信装置 |
| US6480762B1 (en) | 1999-09-27 | 2002-11-12 | Olympus Optical Co., Ltd. | Medical apparatus supporting system |
| US6449762B1 (en) | 1999-10-07 | 2002-09-10 | Synplicity, Inc. | Maintaining correspondence between text and schematic representations of circuit elements in circuit synthesis |
| US6798753B1 (en) | 1999-10-14 | 2004-09-28 | International Business Machines Corporation | Automatically establishing conferences from desktop applications over the Internet |
| US7467211B1 (en) | 1999-10-18 | 2008-12-16 | Cisco Technology Inc. | Remote computer system management through an FTP internet connection |
| WO2001031861A1 (en) | 1999-10-22 | 2001-05-03 | Nomadix, Inc. | Systems and methods for dynamic bandwidth management on a per subscriber basis in a communications network |
| JP4207336B2 (ja) | 1999-10-29 | 2009-01-14 | ソニー株式会社 | 移動ロボットのための充電システム、充電ステーションを探索する方法、移動ロボット、コネクタ、及び、電気的接続構造 |
| AT409238B (de) | 1999-11-05 | 2002-06-25 | Fronius Schweissmasch Prod | Festlegen und/oder feststellen von benutzerberechtigungen mittels eines transponders,einer fingerabdruckerkennung oder dergleichen |
| JP2001134309A (ja) | 1999-11-09 | 2001-05-18 | Mitsubishi Electric Corp | ロボットの操作端末およびロボットの遠隔操作システム |
| JP2001142512A (ja) | 1999-11-16 | 2001-05-25 | Mitsubishi Electric Corp | ロボットの遠隔操作システム |
| JP2003515210A (ja) | 1999-11-18 | 2003-04-22 | ザ プロクター アンド ギャンブル カンパニー | 家庭用清掃ロボット |
| JP2001147718A (ja) | 1999-11-19 | 2001-05-29 | Sony Corp | 情報通信ロボット装置、情報通信方法および情報通信ロボットシステム |
| US6374155B1 (en) | 1999-11-24 | 2002-04-16 | Personal Robotics, Inc. | Autonomous multi-platform robot system |
| US6443359B1 (en) | 1999-12-03 | 2002-09-03 | Diebold, Incorporated | Automated transaction system and method |
| US7156809B2 (en) | 1999-12-17 | 2007-01-02 | Q-Tec Systems Llc | Method and apparatus for health and disease management combining patient data monitoring with wireless internet connectivity |
| US20010051881A1 (en) | 1999-12-22 | 2001-12-13 | Aaron G. Filler | System, method and article of manufacture for managing a medical services network |
| US6471363B2 (en) | 1999-12-23 | 2002-10-29 | Hill-Rom Services, Inc. | Surgical theater system having light, monitors, and cameras |
| JP2001179663A (ja) | 1999-12-24 | 2001-07-03 | Sony Corp | 脚式移動ロボット及び脚式移動ロボットの制御方法、並びに充電ステーション |
| JP2001188124A (ja) | 1999-12-27 | 2001-07-10 | Ge Toshiba Silicones Co Ltd | ケン化処理酢酸セルロース複合偏光基材、その製造方法および液晶表示装置 |
| US7389252B2 (en) | 2000-01-06 | 2008-06-17 | Anne E. Robb | Recursive method and system for accessing classification information |
| JP2001198868A (ja) | 2000-01-17 | 2001-07-24 | Atr Media Integration & Communications Res Lab | サイバー漫才用ロボットおよび支援装置 |
| JP3791663B2 (ja) | 2000-01-17 | 2006-06-28 | 富士電機ホールディングス株式会社 | 全方向移動車両とその制御方法 |
| JP2001198865A (ja) | 2000-01-20 | 2001-07-24 | Toshiba Corp | ２足歩行ロボット装置およびその運用方法 |
| JP2001222309A (ja) | 2000-02-10 | 2001-08-17 | Yaskawa Electric Corp | ロボット制御装置 |
| JP2001252884A (ja) | 2000-03-06 | 2001-09-18 | Matsushita Electric Ind Co Ltd | ロボット、ロボットシステムおよびロボットの制御方法 |
| US20010054071A1 (en) | 2000-03-10 | 2001-12-20 | Loeb Gerald E. | Audio/video conference system for electronic caregiving |
| FR2806561B1 (fr) | 2000-03-16 | 2002-08-09 | France Telecom | Systeme de tele-assistance a domicile |
| US6369847B1 (en) | 2000-03-17 | 2002-04-09 | Emtel, Inc. | Emergency facility video-conferencing system |
| KR100351816B1 (ko) | 2000-03-24 | 2002-09-11 | 엘지전자 주식회사 | 포맷 변환 장치 |
| US20010048464A1 (en) | 2000-04-07 | 2001-12-06 | Barnett Howard S. | Portable videoconferencing system |
| US6590604B1 (en) | 2000-04-07 | 2003-07-08 | Polycom, Inc. | Personal videoconferencing system having distributed processing architecture |
| JP3511088B2 (ja) | 2000-04-10 | 2004-03-29 | 独立行政法人航空宇宙技術研究所 | 多関節介護ロボット制御用の圧力分布センサ |
| AU2001251616A1 (en) | 2000-04-13 | 2001-10-30 | Hospitalcareonline.Com Inc. | Remote patient care |
| US6845297B2 (en) * | 2000-05-01 | 2005-01-18 | Irobot Corporation | Method and system for remote control of mobile robot |
| EP1279081B1 (en) * | 2000-05-01 | 2012-01-04 | iRobot Corporation | Method and system for remote control of mobile robot |
| US6292714B1 (en) | 2000-05-12 | 2001-09-18 | Fujitsu Limited | Robot cooperation device, and robot cooperation program storage medium |
| US7996264B2 (en) | 2000-05-15 | 2011-08-09 | Avatizing, Llc | System and method for consumer-selected advertising and branding in interactive media |
| US6954728B1 (en) | 2000-05-15 | 2005-10-11 | Avatizing, Llc | System and method for consumer-selected advertising and branding in interactive media |
| AU2001264799A1 (en) | 2000-05-24 | 2001-12-03 | Virtual Clinic, Inc. | Method and apparatus for providing personalized services |
| US7215786B2 (en) | 2000-06-09 | 2007-05-08 | Japan Science And Technology Agency | Robot acoustic device and robot acoustic system |
| JP2001353678A (ja) | 2000-06-12 | 2001-12-25 | Sony Corp | オーサリング・システム及びオーサリング方法、並びに記憶媒体 |
| JP3513084B2 (ja) | 2000-06-14 | 2004-03-31 | 株式会社東芝 | 情報処理システム、情報機器及び情報処理方法 |
| JP2002000574A (ja) | 2000-06-22 | 2002-01-08 | Matsushita Electric Ind Co Ltd | 介護支援用ロボットおよび介護支援システム |
| US7782363B2 (en) | 2000-06-27 | 2010-08-24 | Front Row Technologies, Llc | Providing multiple video perspectives of activities through a data network to a remote multimedia server for selective display by remote viewing audiences |
| US6629028B2 (en) | 2000-06-29 | 2003-09-30 | Riken | Method and system of optical guidance of mobile body |
| US6746443B1 (en) | 2000-07-27 | 2004-06-08 | Intuitive Surgical Inc. | Roll-pitch-roll surgical tool |
| US8751248B2 (en) | 2000-07-28 | 2014-06-10 | Visual Telecommunications Network, Inc. | Method, apparatus, and medium using a master control file for computer software interoperability between disparate operating systems |
| US7886054B1 (en) | 2000-10-11 | 2011-02-08 | Siddhartha Nag | Graphical user interface (GUI) for administering a network implementing media aggregation |
| CA2416253A1 (en) | 2000-07-28 | 2002-02-07 | American Calcar Inc. | Technique for effective organization and communication of information |
| US6738076B1 (en) | 2000-07-31 | 2004-05-18 | Hewlett-Packard Development Company, L.P. | Method and system for maintaining persistance of graphical markups in a collaborative graphical viewing system |
| JP2002046088A (ja) | 2000-08-03 | 2002-02-12 | Matsushita Electric Ind Co Ltd | ロボット装置 |
| US20070273751A1 (en) | 2000-09-05 | 2007-11-29 | Sachau John A | System and methods for mobile videoconferencing |
| US20020027597A1 (en) | 2000-09-05 | 2002-03-07 | John Sachau | System for mobile videoconferencing |
| EP1189169A1 (en) | 2000-09-07 | 2002-03-20 | STMicroelectronics S.r.l. | A VLSI architecture, particularly for motion estimation applications |
| US6529620B2 (en) | 2000-09-11 | 2003-03-04 | Pinotage, L.L.C. | System and method for obtaining and utilizing maintenance information |
| KR100373323B1 (ko) | 2000-09-19 | 2003-02-25 | 한국전자통신연구원 | 영상회의 시스템에서의 다자간 영상회의 방법 |
| US6741911B2 (en) | 2000-09-20 | 2004-05-25 | John Castle Simmons | Natural robot control |
| JP2002101333A (ja) | 2000-09-26 | 2002-04-05 | Casio Comput Co Ltd | 遠隔制御装置および遠隔操作サービスシステム並びにそれらのプログラム記録媒体 |
| EP1323014A2 (en) | 2000-09-28 | 2003-07-02 | Vigilos, Inc. | Method and process for configuring a premises for monitoring |
| US20030060808A1 (en) | 2000-10-04 | 2003-03-27 | Wilk Peter J. | Telemedical method and system |
| JP2004538538A (ja) | 2000-10-05 | 2004-12-24 | シーメンス コーポレイト リサーチ インコーポレイテツド | 強化現実可視化付きの、手術中にイメージガイドされる神経外科手術法及び手術用装置 |
| US6674259B1 (en) | 2000-10-06 | 2004-01-06 | Innovation First, Inc. | System and method for managing and controlling a robot competition |
| US20050149364A1 (en) | 2000-10-06 | 2005-07-07 | Ombrellaro Mark P. | Multifunction telemedicine software with integrated electronic medical record |
| JP2002112970A (ja) | 2000-10-10 | 2002-04-16 | Daito Seiki Co Ltd | 皮膚表面観察装置及び皮膚表面観察方法 |
| JP2002113675A (ja) | 2000-10-11 | 2002-04-16 | Sony Corp | ロボット制御システム並びにロボット制御用ソフトウェアの導入方法 |
| US7257832B2 (en) | 2000-10-16 | 2007-08-14 | Heartlab, Inc. | Medical image capture system and method |
| AU2002224398A1 (en) | 2000-10-19 | 2002-04-29 | Bernhard Dohrmann | Apparatus and method for delivery of instructional information |
| US6636780B1 (en) | 2000-11-07 | 2003-10-21 | Mdg Medical Inc. | Medication dispensing system including medicine cabinet and tray therefor |
| JP4310916B2 (ja) | 2000-11-08 | 2009-08-12 | コニカミノルタホールディングス株式会社 | 映像表示装置 |
| US7219364B2 (en) | 2000-11-22 | 2007-05-15 | International Business Machines Corporation | System and method for selectable semantic codec pairs for very low data-rate video transmission |
| AU2002235158A1 (en) | 2000-12-01 | 2002-06-11 | Vigilos, Inc. | System and method for processing video data utilizing motion detection and subdivided video fields |
| US6543899B2 (en) | 2000-12-05 | 2003-04-08 | Eastman Kodak Company | Auto-stereoscopic viewing system using mounted projection |
| US6411209B1 (en) | 2000-12-06 | 2002-06-25 | Koninklijke Philips Electronics N.V. | Method and apparatus to select the best video frame to transmit to a remote station for CCTV based residential security monitoring |
| WO2002046901A1 (en) | 2000-12-06 | 2002-06-13 | Vigilos, Inc. | System and method for implementing open-protocol remote device control |
| JP2002172575A (ja) | 2000-12-07 | 2002-06-18 | Fanuc Ltd | 教示装置 |
| US6791550B2 (en) | 2000-12-12 | 2004-09-14 | Enounce, Inc. | Management of presentation time in a digital media presentation system with variable rate presentation capability |
| US20040260790A1 (en) | 2000-12-21 | 2004-12-23 | Ge Medical System Global Technology Company, Llc | Method and apparatus for remote or collaborative control of an imaging system |
| US7339605B2 (en) | 2004-04-16 | 2008-03-04 | Polycom, Inc. | Conference link between a speakerphone and a video conference unit |
| US6442451B1 (en) | 2000-12-28 | 2002-08-27 | Robotic Workspace Technologies, Inc. | Versatile robot control system |
| US20020085030A1 (en) | 2000-12-29 | 2002-07-04 | Jamal Ghani | Graphical user interface for an interactive collaboration system |
| KR20020061961A (ko) | 2001-01-19 | 2002-07-25 | 사성동 | 지능형 애완로봇 |
| US20040104935A1 (en) * | 2001-01-26 | 2004-06-03 | Todd Williamson | Virtual reality immersion system |
| EP1374117A2 (en) | 2001-01-30 | 2004-01-02 | Milliken & Company | Ordering system and method |
| JP2002342759A (ja) | 2001-01-30 | 2002-11-29 | Nec Corp | 情報提供システム、情報提供方法、およびそのプログラム |
| US20020106998A1 (en) | 2001-02-05 | 2002-08-08 | Presley Herbert L. | Wireless rich media conferencing |
| JP3736358B2 (ja) | 2001-02-08 | 2006-01-18 | 株式会社チューオー | 壁材 |
| US20020109775A1 (en) | 2001-02-09 | 2002-08-15 | Excellon Automation Co. | Back-lighted fiducial recognition system and method of use |
| JP4182464B2 (ja) | 2001-02-09 | 2008-11-19 | 富士フイルム株式会社 | ビデオ会議システム |
| US7184559B2 (en) | 2001-02-23 | 2007-02-27 | Hewlett-Packard Development Company, L.P. | System and method for audio telepresence |
| WO2002069609A2 (en) | 2001-02-27 | 2002-09-06 | Anthrotronix, Inc. | Robotic apparatus and wireless communication system |
| US20020128985A1 (en) | 2001-03-09 | 2002-09-12 | Brad Greenwald | Vehicle value appraisal system |
| US20020133062A1 (en) | 2001-03-15 | 2002-09-19 | Arling Robert Stanley | Embedded measurement values in medical reports |
| JP4739556B2 (ja) | 2001-03-27 | 2011-08-03 | 株式会社安川電機 | 制御対象の遠隔調整及び異常判断装置 |
| US6965394B2 (en) | 2001-03-30 | 2005-11-15 | Koninklijke Philips Electronics N.V. | Remote camera control device |
| WO2002082301A1 (en) | 2001-04-03 | 2002-10-17 | Vigilos, Inc. | System and method for managing a device network |
| JP2002305743A (ja) | 2001-04-04 | 2002-10-18 | Rita Security Engineering:Kk | Ａｄｓｌ対応遠隔動画伝送システム |
| US20030199000A1 (en) | 2001-08-20 | 2003-10-23 | Valkirs Gunars E. | Diagnostic markers of stroke and cerebral injury and methods of use thereof |
| US6920373B2 (en) | 2001-04-13 | 2005-07-19 | Board Of Trusstees Operating Michigan State University | Synchronization and task control of real-time internet based super-media |
| KR100437372B1 (ko) | 2001-04-18 | 2004-06-25 | 삼성광주전자 주식회사 | 이동통신망을 이용한 로봇 청소 시스템 |
| AU767561B2 (en) | 2001-04-18 | 2003-11-13 | Samsung Kwangju Electronics Co., Ltd. | Robot cleaner, system employing the same and method for reconnecting to external recharging device |
| JP2002321180A (ja) | 2001-04-24 | 2002-11-05 | Matsushita Electric Ind Co Ltd | ロボット制御システム |
| EP1393190A4 (en) | 2001-05-02 | 2007-07-18 | Bitstream Inc | METHOD AND SYSTEMS FOR DISPLAYING MEDIA SCALED AND / OR ORIENTED |
| US7202851B2 (en) | 2001-05-04 | 2007-04-10 | Immersion Medical Inc. | Haptic interface for palpation simulation |
| US6723086B2 (en) | 2001-05-07 | 2004-04-20 | Logiq Wireless Solutions, Inc. | Remote controlled transdermal medication delivery device |
| US7242306B2 (en) | 2001-05-08 | 2007-07-10 | Hill-Rom Services, Inc. | Article locating and tracking apparatus and method |
| JP2002354551A (ja) | 2001-05-25 | 2002-12-06 | Mitsubishi Heavy Ind Ltd | ロボットサービス提供方法およびロボットサービス提供システム |
| WO2002095517A1 (en) | 2001-05-25 | 2002-11-28 | Lego A/S | Toy robot programming |
| JP2002352354A (ja) | 2001-05-30 | 2002-12-06 | Denso Corp | 遠隔介護方法 |
| JP2002355779A (ja) | 2001-06-01 | 2002-12-10 | Sharp Corp | ロボット型インタフェース装置およびその制御方法 |
| US6763282B2 (en) | 2001-06-04 | 2004-07-13 | Time Domain Corp. | Method and system for controlling a robot |
| US20020186243A1 (en) | 2001-06-06 | 2002-12-12 | Robert Ellis | Method and system for providing combined video and physiological data over a communication network for patient monitoring |
| US6507773B2 (en) | 2001-06-14 | 2003-01-14 | Sharper Image Corporation | Multi-functional robot with remote and video system |
| US6995664B1 (en) | 2001-06-20 | 2006-02-07 | Jeffrey Darling | Remote supervision system and method |
| US6604021B2 (en) | 2001-06-21 | 2003-08-05 | Advanced Telecommunications Research Institute International | Communication robot |
| AU2002322302A1 (en) | 2001-06-25 | 2003-01-08 | Science Applications International Corporation | Identification by analysis of physiometric variation |
| US7483867B2 (en) | 2001-06-26 | 2009-01-27 | Intuition Intelligence, Inc. | Processing device with intuitive learning capability |
| GB2377117B (en) | 2001-06-27 | 2004-08-18 | Cambridge Broadband Ltd | Method and apparatus for providing communications bandwidth |
| NO20013450L (no) | 2001-07-11 | 2003-01-13 | Simsurgery As | Systemer og fremgangsmåter for interaktiv trening av prosedyrer |
| GB2393350B (en) | 2001-07-25 | 2006-03-08 | Neil J Stevenson | A camera control apparatus and method |
| US7831575B2 (en) | 2001-08-02 | 2010-11-09 | Bridge Works, Ltd | Library virtualisation module |
| US6580246B2 (en) | 2001-08-13 | 2003-06-17 | Steven Jacobs | Robot touch shield |
| US6667592B2 (en) | 2001-08-13 | 2003-12-23 | Intellibot, L.L.C. | Mapped robot system |
| JP4689107B2 (ja) | 2001-08-22 | 2011-05-25 | 本田技研工業株式会社 | 自律行動ロボット |
| US6952470B1 (en) | 2001-08-23 | 2005-10-04 | Bellsouth Intellectual Property Corp. | Apparatus and method for managing a call center |
| US20030069752A1 (en) | 2001-08-24 | 2003-04-10 | Ledain Timon | Remote health-monitoring system and method |
| JP2003070804A (ja) | 2001-09-05 | 2003-03-11 | Olympus Optical Co Ltd | 遠隔医療支援システム |
| JP4378072B2 (ja) | 2001-09-07 | 2009-12-02 | キヤノン株式会社 | 電子機器、撮像装置、携帯通信機器、映像の表示制御方法及びプログラム |
| US6728599B2 (en) | 2001-09-07 | 2004-04-27 | Computer Motion, Inc. | Modularity system for computer assisted surgery |
| JP2005526528A (ja) | 2001-09-13 | 2005-09-08 | ザ・ボーイング・カンパニー | 航空機から遠隔地点に重要な健康統計量を送信する方法 |
| US6587750B2 (en) | 2001-09-25 | 2003-07-01 | Intuitive Surgical, Inc. | Removable infinite roll master grip handle and touch sensor for robotic surgery |
| JP2003110652A (ja) | 2001-10-01 | 2003-04-11 | Matsushita Graphic Communication Systems Inc | Ａｄｓｌモデム装置の再イニシャライズ方法及びａｄｓｌモデム装置 |
| US20030069828A1 (en) | 2001-10-04 | 2003-04-10 | Eastman Kodak Company | System for and managing assets using priority tokens |
| US6840904B2 (en) | 2001-10-11 | 2005-01-11 | Jason Goldberg | Medical monitoring device and system |
| US7058689B2 (en) | 2001-10-16 | 2006-06-06 | Sprint Communications Company L.P. | Sharing of still images within a video telephony call |
| US7307653B2 (en) | 2001-10-19 | 2007-12-11 | Nokia Corporation | Image stabilizer for a microcamera module of a handheld device, and method for stabilizing a microcamera module of a handheld device |
| WO2003036557A1 (en) | 2001-10-22 | 2003-05-01 | Intel Zao | Method and apparatus for background segmentation based on motion localization |
| US20030080901A1 (en) * | 2001-10-25 | 2003-05-01 | Koninklijke Philips Electronics N.V. | RFID navigation system |
| JP2003136450A (ja) | 2001-10-26 | 2003-05-14 | Communication Research Laboratory | 聴覚情報提示によるロボットアームの遠隔操作システム |
| JP4313560B2 (ja) | 2001-10-31 | 2009-08-12 | パナソニック株式会社 | 携帯電話 |
| JP2003205483A (ja) | 2001-11-07 | 2003-07-22 | Sony Corp | ロボットシステム及びロボット装置の制御方法 |
| US20030152145A1 (en) | 2001-11-15 | 2003-08-14 | Kevin Kawakita | Crash prevention recorder (CPR)/video-flight data recorder (V-FDR)/cockpit-cabin voice recorder for light aircraft with an add-on option for large commercial jets |
| US7317685B1 (en) | 2001-11-26 | 2008-01-08 | Polycom, Inc. | System and method for dynamic bandwidth allocation for videoconferencing in lossy packet switched networks |
| US6785589B2 (en) | 2001-11-30 | 2004-08-31 | Mckesson Automation, Inc. | Dispensing cabinet with unit dose dispensing drawer |
| US20050101841A9 (en) | 2001-12-04 | 2005-05-12 | Kimberly-Clark Worldwide, Inc. | Healthcare networks with biosensors |
| US7539504B2 (en) | 2001-12-05 | 2009-05-26 | Espre Solutions, Inc. | Wireless telepresence collaboration system |
| US6839612B2 (en) | 2001-12-07 | 2005-01-04 | Institute Surgical, Inc. | Microwrist system for surgical procedures |
| JP3709393B2 (ja) | 2001-12-14 | 2005-10-26 | 富士ソフトエービーシ株式会社 | 遠隔制御システム及び遠隔制御方法 |
| US7227864B2 (en) | 2001-12-17 | 2007-06-05 | Microsoft Corporation | Methods and systems for establishing communications through firewalls and network address translators |
| US7305114B2 (en) | 2001-12-26 | 2007-12-04 | Cognex Technology And Investment Corporation | Human/machine interface for a machine vision sensor and method for installing and operating the same |
| US7082497B2 (en) | 2001-12-28 | 2006-07-25 | Hewlett-Packard Development Company, L.P. | System and method for managing a moveable media library with library partitions |
| US7647320B2 (en) | 2002-01-18 | 2010-01-12 | Peoplechart Corporation | Patient directed system and method for managing medical information |
| US7167448B2 (en) | 2002-02-04 | 2007-01-23 | Sun Microsystems, Inc. | Prioritization of remote services messages within a low bandwidth environment |
| US6693585B1 (en) | 2002-02-07 | 2004-02-17 | Aradiant Corporation | Self-contained selectively activated mobile object position reporting device with reduced power consumption and minimized wireless service fees. |
| US6784916B2 (en) | 2002-02-11 | 2004-08-31 | Telbotics Inc. | Video conferencing apparatus |
| WO2003068461A1 (fr) | 2002-02-13 | 2003-08-21 | Toudai Tlo, Ltd. | Robot-telephone |
| JP2003241807A (ja) | 2002-02-19 | 2003-08-29 | Yaskawa Electric Corp | ロボット制御装置 |
| JP4100934B2 (ja) | 2002-02-28 | 2008-06-11 | シャープ株式会社 | 複合カメラシステム、ズームカメラ制御方法およびズームカメラ制御プログラム |
| TW200304608A (en) | 2002-03-06 | 2003-10-01 | Z Kat Inc | System and method for using a haptic device in combination with a computer-assisted surgery system |
| US7860680B2 (en) | 2002-03-07 | 2010-12-28 | Microstrain, Inc. | Robotic system for powering and interrogating sensors |
| US6915871B2 (en) | 2002-03-12 | 2005-07-12 | Dan Gavish | Method and apparatus for improving child safety and adult convenience while using a mobile ride-on toy |
| US6769771B2 (en) | 2002-03-14 | 2004-08-03 | Entertainment Design Workshop, Llc | Method and apparatus for producing dynamic imagery in a visual medium |
| JP3945279B2 (ja) | 2002-03-15 | 2007-07-18 | ソニー株式会社 | 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置 |
| EP1485008A1 (en) | 2002-03-18 | 2004-12-15 | Medic4all AG | Monitoring method and monitoring system for assessing physiological parameters of a subject |
| JP3714268B2 (ja) * | 2002-03-18 | 2005-11-09 | ソニー株式会社 | ロボット装置 |
| KR100483790B1 (ko) | 2002-03-22 | 2005-04-20 | 한국과학기술연구원 | 마이크로 조립용 다자유도 원격조종 로봇 시스템 |
| JP4032793B2 (ja) | 2002-03-27 | 2008-01-16 | ソニー株式会社 | 充電システム及び充電制御方法、ロボット装置、及び充電制御プログラム及び記録媒体 |
| US7117067B2 (en) | 2002-04-16 | 2006-10-03 | Irobot Corporation | System and methods for adaptive control of robotic devices |
| US20030231244A1 (en) | 2002-04-22 | 2003-12-18 | Bonilla Victor G. | Method and system for manipulating a field of view of a video image from a remote vehicle |
| US20040172301A1 (en) | 2002-04-30 | 2004-09-02 | Mihai Dan M. | Remote multi-purpose user interface for a healthcare system |
| US6898484B2 (en) | 2002-05-01 | 2005-05-24 | Dorothy Lemelson | Robotic manufacturing and assembly with relative radio positioning using radio based location determination |
| JP4296278B2 (ja) | 2002-05-07 | 2009-07-15 | 国立大学法人京都大学 | 医療用コクピットシステム |
| US6836701B2 (en) | 2002-05-10 | 2004-12-28 | Royal Appliance Mfg. Co. | Autonomous multi-platform robotic system |
| JP4081747B2 (ja) | 2002-05-17 | 2008-04-30 | 技研株式会社 | ロボットの駆動制御方法と、その装置 |
| WO2003101035A1 (en) | 2002-05-20 | 2003-12-04 | Vigilos, Inc. | System and method for providing data communication in a device network |
| US6807461B2 (en) | 2002-05-22 | 2004-10-19 | Kuka Roboter Gmbh | Coordinated robot control from multiple remote instruction sources |
| JP4043289B2 (ja) | 2002-05-27 | 2008-02-06 | シャープ株式会社 | 探索ロボットシステム |
| US6743721B2 (en) | 2002-06-10 | 2004-06-01 | United Microelectronics Corp. | Method and system for making cobalt silicide |
| KR100478452B1 (ko) | 2002-06-12 | 2005-03-23 | 삼성전자주식회사 | 이동 로봇의 위치 및 방향 인식 장치 및 방법 |
| US20030232649A1 (en) | 2002-06-18 | 2003-12-18 | Gizis Alexander C.M. | Gaming system and method |
| JP3910112B2 (ja) | 2002-06-21 | 2007-04-25 | シャープ株式会社 | カメラ付携帯電話機 |
| US7181455B2 (en) | 2002-06-27 | 2007-02-20 | Sun Microsystems, Inc. | Bandwidth management for remote services system |
| US6752539B2 (en) | 2002-06-28 | 2004-06-22 | International Buisness Machines Corporation | Apparatus and system for providing optical bus interprocessor interconnection |
| KR100556612B1 (ko) | 2002-06-29 | 2006-03-06 | 삼성전자주식회사 | 레이저를 이용한 위치 측정 장치 및 방법 |
| DE10231391A1 (de) | 2002-07-08 | 2004-02-12 | Alfred Kärcher Gmbh & Co. Kg | Bodenbearbeitungssystem |
| DE10231388A1 (de) | 2002-07-08 | 2004-02-05 | Alfred Kärcher Gmbh & Co. Kg | Bodenbearbeitungssystem |
| FR2842320A1 (fr) | 2002-07-12 | 2004-01-16 | Thomson Licensing Sa | Dispositif de traitement de donnees multimedia |
| JP2004042230A (ja) | 2002-07-15 | 2004-02-12 | Kawasaki Heavy Ind Ltd | ロボットコントローラの遠隔操作方法および遠隔操作システム |
| US7084809B2 (en) | 2002-07-15 | 2006-08-01 | Qualcomm, Incorporated | Apparatus and method of position determination using shared information |
| US20120072024A1 (en) | 2002-07-25 | 2012-03-22 | Yulun Wang | Telerobotic system with dual application screen presentation |
| US20040162637A1 (en) | 2002-07-25 | 2004-08-19 | Yulun Wang | Medical tele-robotic system with a master remote station with an arbitrator |
| US6925357B2 (en) | 2002-07-25 | 2005-08-02 | Intouch Health, Inc. | Medical tele-robotic system |
| US7593030B2 (en) | 2002-07-25 | 2009-09-22 | Intouch Technologies, Inc. | Tele-robotic videoconferencing in a corporate environment |
| DE10234233A1 (de) | 2002-07-27 | 2004-02-05 | Kuka Roboter Gmbh | Verfahren zum Austausch von Daten zwischen Steuerungen von Maschinen, insbesondere von Robotern |
| JP4238213B2 (ja) | 2002-07-29 | 2009-03-18 | アイピートーク株式会社 | インターネット通信システム及びインターネット通信方法及びセッション管理サーバ及び無線通信装置及びプログラム |
| EP1388813A2 (en) | 2002-08-09 | 2004-02-11 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for image watermarking |
| US7523505B2 (en) | 2002-08-16 | 2009-04-21 | Hx Technologies, Inc. | Methods and systems for managing distributed digital medical data |
| US20050288571A1 (en) | 2002-08-20 | 2005-12-29 | Welch Allyn, Inc. | Mobile medical workstation |
| JP2004110802A (ja) * | 2002-08-26 | 2004-04-08 | Sony Corp | 環境同定装置、環境同定方法、プログラム及び記録媒体、並びにロボット装置 |
| US6753899B2 (en) | 2002-09-03 | 2004-06-22 | Audisoft | Method and apparatus for telepresence |
| JP3764713B2 (ja) * | 2002-09-13 | 2006-04-12 | 三菱重工業株式会社 | 保守点検システム及び保守点検方法 |
| ES2674568T3 (es) | 2002-09-13 | 2018-07-02 | Irobot Corporation | Sistema de control de navegación para un dispositivo robótico |
| US20040065073A1 (en) | 2002-10-08 | 2004-04-08 | Ingersoll-Rand Energy Systems Corporation | Flexible recuperator mounting system |
| US7881658B2 (en) | 2002-10-10 | 2011-02-01 | Znl Enterprises, Llc | Method and apparatus for entertainment and information services delivered via mobile telecommunication devices |
| AU2003301482A1 (en) | 2002-10-16 | 2004-05-04 | Rocksteady Networks, Inc. | System and method for dynamic bandwidth provisioning |
| US6804579B1 (en) | 2002-10-16 | 2004-10-12 | Abb, Inc. | Robotic wash cell using recycled pure water |
| AU2003288947A1 (en) | 2002-10-28 | 2004-05-25 | The General Hospital Corporation | Tissue disorder imaging analysis |
| US6879879B2 (en) | 2002-10-31 | 2005-04-12 | Hewlett-Packard Development Company, L.P. | Telepresence system with automatic user-surrogate height matching |
| US6920376B2 (en) | 2002-10-31 | 2005-07-19 | Hewlett-Packard Development Company, L.P. | Mutually-immersive mobile telepresence system with user rotation and surrogate translation |
| US20040093409A1 (en) | 2002-11-07 | 2004-05-13 | Vigilos, Inc. | System and method for external event determination utilizing an integrated information system |
| US8073304B2 (en) | 2002-11-16 | 2011-12-06 | Gregory Karel Rohlicek | Portable recorded television viewer |
| KR100542340B1 (ko) | 2002-11-18 | 2006-01-11 | 삼성전자주식회사 | 홈네트워크 시스템 및 그 제어방법 |
| US7123974B1 (en) | 2002-11-19 | 2006-10-17 | Rockwell Software Inc. | System and methodology providing audit recording and tracking in real time industrial controller environment |
| JP2004181229A (ja) | 2002-11-20 | 2004-07-02 | Olympus Corp | 遠隔手術支援システム及び支援方法 |
| KR20040046071A (ko) | 2002-11-26 | 2004-06-05 | 삼성전자주식회사 | 무선단말장치의 안테나-바 표시방법 |
| JP3885019B2 (ja) | 2002-11-29 | 2007-02-21 | 株式会社東芝 | セキュリティシステム及び移動ロボット |
| US20040172306A1 (en) | 2002-12-02 | 2004-09-02 | Recare, Inc. | Medical data entry interface |
| US20040115265A1 (en) * | 2002-12-11 | 2004-06-17 | Loutfy Benkerrour | Multilayered tablet containing pravastatin and aspirin and method |
| US6889120B2 (en) | 2002-12-14 | 2005-05-03 | Hewlett-Packard Development Company, L.P. | Mutually-immersive mobile telepresence with gaze and eye contact preservation |
| US7177737B2 (en) * | 2002-12-17 | 2007-02-13 | Evolution Robotics, Inc. | Systems and methods for correction of drift via global localization with a visual landmark |
| US20090030552A1 (en) | 2002-12-17 | 2009-01-29 | Japan Science And Technology Agency | Robotics visual and auditory system |
| US6938167B2 (en) | 2002-12-18 | 2005-08-30 | America Online, Inc. | Using trusted communication channel to combat user name/password theft |
| US7584019B2 (en) | 2003-12-15 | 2009-09-01 | Dako Denmark A/S | Systems and methods for the automated pre-treatment and processing of biological samples |
| US20040135879A1 (en) | 2003-01-03 | 2004-07-15 | Stacy Marco A. | Portable wireless indoor/outdoor camera |
| US6745115B1 (en) | 2003-01-07 | 2004-06-01 | Garmin Ltd. | System, method and apparatus for searching geographic area using prioritized spacial order |
| US7158859B2 (en) | 2003-01-15 | 2007-01-02 | Intouch Technologies, Inc. | 5 degrees of freedom mobile robot |
| CN101390098A (zh) | 2003-01-15 | 2009-03-18 | 英塔茨科技公司 | 五个自由度的可移动的机器人 |
| ITMI20030121A1 (it) | 2003-01-27 | 2004-07-28 | Giuseppe Donato | Sistema modulare di sorveglianza per il monitoraggio di ambienti critici. |
| US7404140B2 (en) | 2003-01-31 | 2008-07-22 | Siemens Medical Solutions Usa, Inc. | System for managing form information for use by portable devices |
| US7158860B2 (en) | 2003-02-24 | 2007-01-02 | Intouch Technologies, Inc. | Healthcare tele-robotic system which allows parallel remote station observation |
| US7171286B2 (en) | 2003-02-24 | 2007-01-30 | Intouch Technologies, Inc. | Healthcare tele-robotic system with a robot that also functions as a remote station |
| US7388981B2 (en) | 2003-02-27 | 2008-06-17 | Hewlett-Packard Development Company, L.P. | Telepresence system with automatic preservation of user head size |
| JP2004261941A (ja) | 2003-03-04 | 2004-09-24 | Sharp Corp | コミュニケーションロボットおよびコミュニケーションシステム |
| US7262573B2 (en) | 2003-03-06 | 2007-08-28 | Intouch Technologies, Inc. | Medical tele-robotic system with a head worn device |
| US20050065813A1 (en) | 2003-03-11 | 2005-03-24 | Mishelevich David J. | Online medical evaluation system |
| US7593546B2 (en) | 2003-03-11 | 2009-09-22 | Hewlett-Packard Development Company, L.P. | Telepresence system with simultaneous automatic preservation of user height, perspective, and vertical gaze |
| JP3879848B2 (ja) | 2003-03-14 | 2007-02-14 | 松下電工株式会社 | 自律移動装置 |
| JP4124682B2 (ja) | 2003-03-20 | 2008-07-23 | 日本放送協会 | カメラ操作装置 |
| WO2004086748A2 (en) | 2003-03-20 | 2004-10-07 | Covi Technologies Inc. | Systems and methods for multi-resolution image processing |
| US20040205664A1 (en) | 2003-03-25 | 2004-10-14 | Prendergast Thomas V. | Claim data and document processing system |
| JP2004298977A (ja) | 2003-03-28 | 2004-10-28 | Sony Corp | 行動制御装置、行動制御方法及び行動制御プログラム、並びに移動型ロボット装置 |
| US6804580B1 (en) | 2003-04-03 | 2004-10-12 | Kuka Roboter Gmbh | Method and control system for controlling a plurality of robots |
| US7123687B2 (en) | 2003-04-10 | 2006-10-17 | Varian Medical Systems Technologies, Inc. | Method for displaying digital X-ray image data at high resolution |
| US20040201602A1 (en) | 2003-04-14 | 2004-10-14 | Invensys Systems, Inc. | Tablet computer system for industrial process design, supervisory control, and data management |
| US7346429B2 (en) | 2003-05-05 | 2008-03-18 | Engineering Services, Inc. | Mobile robot hybrid communication link |
| WO2005008804A2 (en) | 2003-05-08 | 2005-01-27 | Power Estimate Company | Apparatus and method for providing electrical energy generated from motion to an electrically powered device |
| CA2526078A1 (en) | 2003-05-16 | 2004-12-02 | Philip Pearson | System and method for generating a report using a knowledge base |
| GB2391361B (en) | 2003-05-23 | 2005-09-21 | Bridgeworks Ltd | Library element management |
| US20040240981A1 (en) | 2003-05-29 | 2004-12-02 | I-Scan Robotics | Robot stacking system for flat glass |
| US6905941B2 (en) | 2003-06-02 | 2005-06-14 | International Business Machines Corporation | Structure and method to fabricate ultra-thin Si channel devices |
| US6888333B2 (en) | 2003-07-02 | 2005-05-03 | Intouch Health, Inc. | Holonomic platform for a robot |
| US20050003330A1 (en) | 2003-07-02 | 2005-01-06 | Mehdi Asgarinejad | Interactive virtual classroom |
| JP2005028066A (ja) | 2003-07-08 | 2005-02-03 | Kikuta Sogo Kikaku:Kk | クリーニング遠隔管理システム |
| US7154526B2 (en) | 2003-07-11 | 2006-12-26 | Fuji Xerox Co., Ltd. | Telepresence system and method for video teleconferencing |
| US20050065435A1 (en) | 2003-07-22 | 2005-03-24 | John Rauch | User interface for remote control of medical devices |
| US7995090B2 (en) | 2003-07-28 | 2011-08-09 | Fuji Xerox Co., Ltd. | Video enabled tele-presence control host |
| US20050027567A1 (en) | 2003-07-29 | 2005-02-03 | Taha Amer Jamil | System and method for health care data collection and management |
| US7395126B2 (en) | 2003-07-29 | 2008-07-01 | Far Touch, Inc. | Remote control of wireless electromechanical device using a web browser |
| US7133062B2 (en) | 2003-07-31 | 2006-11-07 | Polycom, Inc. | Graphical user interface for video feed on videoconference terminal |
| DE20312211U1 (de) | 2003-08-07 | 2003-10-30 | Yueh Wen Hsiang | Schwenkbarer USB-Stecker |
| US7413040B2 (en) | 2003-08-12 | 2008-08-19 | White Box Robotics, Inc. | Robot with removable mounting elements |
| JP2005059170A (ja) | 2003-08-18 | 2005-03-10 | Honda Motor Co Ltd | 情報収集ロボット |
| US7982763B2 (en) | 2003-08-20 | 2011-07-19 | King Simon P | Portable pan-tilt camera and lighting unit for videoimaging, videoconferencing, production and recording |
| US7432949B2 (en) | 2003-08-20 | 2008-10-07 | Christophe Remy | Mobile videoimaging, videocommunication, video production (VCVP) system |
| US8135602B2 (en) | 2003-08-28 | 2012-03-13 | University Of Maryland, Baltimore | Techniques for delivering coordination data for a shared facility |
| US20050049898A1 (en) | 2003-09-01 | 2005-03-03 | Maiko Hirakawa | Telemedicine system using the internet |
| US7174238B1 (en) | 2003-09-02 | 2007-02-06 | Stephen Eliot Zweig | Mobile robotic system with web server and digital radio links |
| US20070061041A1 (en) | 2003-09-02 | 2007-03-15 | Zweig Stephen E | Mobile robot with wireless location sensing apparatus |
| US20050065438A1 (en) | 2003-09-08 | 2005-03-24 | Miller Landon C.G. | System and method of capturing and managing information during a medical diagnostic imaging procedure |
| JP2005088244A (ja) * | 2003-09-12 | 2005-04-07 | Canon Inc | 画像形成装置 |
| JP2005103680A (ja) | 2003-09-29 | 2005-04-21 | Toshiba Corp | 監視システムおよび監視ロボット |
| JP2005103679A (ja) * | 2003-09-29 | 2005-04-21 | Toshiba Corp | ロボット装置 |
| IL158276A (en) | 2003-10-02 | 2010-04-29 | Radvision Ltd | Method for dynamically optimizing bandwidth allocation in variable bitrate (multi-rate) conferences |
| EP1671480B1 (en) | 2003-10-07 | 2019-05-08 | Librestream Technologies Inc. | Camera for communication of streaming media to a remote client |
| JP2005111083A (ja) | 2003-10-09 | 2005-04-28 | Olympus Corp | 医療統合システム |
| US7307651B2 (en) | 2003-10-16 | 2007-12-11 | Mark A. Chew | Two-way mobile video/audio/data interactive companion (MVIC) system |
| KR100820743B1 (ko) | 2003-10-21 | 2008-04-10 | 삼성전자주식회사 | 이동 로봇의 충전 장치 |
| JP4325853B2 (ja) | 2003-10-31 | 2009-09-02 | 富士通株式会社 | 通信アダプタ装置 |
| US7096090B1 (en) | 2003-11-03 | 2006-08-22 | Stephen Eliot Zweig | Mobile robotic router with web server and digital radio links |
| US20050125083A1 (en) | 2003-11-10 | 2005-06-09 | Kiko Frederick J. | Automation apparatus and methods |
| US20060010028A1 (en) * | 2003-11-14 | 2006-01-12 | Herb Sorensen | Video shopper tracking system and method |
| US7115102B2 (en) | 2003-11-17 | 2006-10-03 | Abbruscato Charles R | Electronic stethoscope system |
| US7161322B2 (en) | 2003-11-18 | 2007-01-09 | Intouch Technologies, Inc. | Robot with a manipulator arm |
| US7092001B2 (en) | 2003-11-26 | 2006-08-15 | Sap Aktiengesellschaft | Video conferencing system with physical cues |
| GB2408655B (en) | 2003-11-27 | 2007-02-28 | Motorola Inc | Communication system, communication units and method of ambience listening thereto |
| US7624166B2 (en) | 2003-12-02 | 2009-11-24 | Fuji Xerox Co., Ltd. | System and methods for remote control of multiple display and devices |
| US7292912B2 (en) | 2003-12-05 | 2007-11-06 | Lntouch Technologies, Inc. | Door knocker control system for a remote controlled teleconferencing robot |
| US7813836B2 (en) | 2003-12-09 | 2010-10-12 | Intouch Technologies, Inc. | Protocol for a remotely controlled videoconferencing robot |
| JP2007520934A (ja) | 2003-12-24 | 2007-07-26 | ウオーカー ディジタル、エルエルシー | 画像を自動的に捕捉し、管理する方法および装置 |
| US7613313B2 (en) | 2004-01-09 | 2009-11-03 | Hewlett-Packard Development Company, L.P. | System and method for control of audio field based on position of user |
| US8824730B2 (en) | 2004-01-09 | 2014-09-02 | Hewlett-Packard Development Company, L.P. | System and method for control of video bandwidth based on pose of a person |
| US20050154265A1 (en) | 2004-01-12 | 2005-07-14 | Miro Xavier A. | Intelligent nurse robot |
| WO2005069890A2 (en) | 2004-01-15 | 2005-08-04 | Mega Robot, Inc. | System and method for reconfiguring an autonomous robot |
| EP1709592B1 (en) | 2004-01-15 | 2013-03-27 | Algotec Systems Ltd. | Targeted marching |
| US20080229531A1 (en) | 2004-01-16 | 2008-09-25 | Yoshiaki Takida | Robot Arm Type Automatic Car Washing Device |
| US7332890B2 (en) | 2004-01-21 | 2008-02-19 | Irobot Corporation | Autonomous robot auto-docking and energy management systems and methods |
| EP1721279B1 (en) | 2004-02-03 | 2009-11-18 | F. Robotics Aquisitions Ltd. | Robot docking station and robot for use therewith |
| US7079173B2 (en) | 2004-02-04 | 2006-07-18 | Hewlett-Packard Development Company, L.P. | Displaying a wide field of view video image |
| US20050182322A1 (en) | 2004-02-17 | 2005-08-18 | Liebel-Flarsheim Company | Injector auto purge |
| US20050204438A1 (en) | 2004-02-26 | 2005-09-15 | Yulun Wang | Graphical interface for a remote presence system |
| US7756614B2 (en) | 2004-02-27 | 2010-07-13 | Hewlett-Packard Development Company, L.P. | Mobile device control system |
| CN1259891C (zh) | 2004-03-17 | 2006-06-21 | 哈尔滨工业大学 | 机器人辅助带锁髓内钉正骨手术医疗系统 |
| JP2005270430A (ja) | 2004-03-25 | 2005-10-06 | Funai Electric Co Ltd | 自走ロボットのためのステーション |
| CN1938757B (zh) | 2004-03-29 | 2010-06-23 | 皇家飞利浦电子股份有限公司 | 用于驱动多个应用的方法和对话管理系统 |
| US20050264649A1 (en) | 2004-03-29 | 2005-12-01 | Calvin Chang | Mobile video-interpreting mounting system |
| US20050225634A1 (en) | 2004-04-05 | 2005-10-13 | Sam Brunetti | Closed circuit TV security system |
| JP2005312096A (ja) | 2004-04-16 | 2005-11-04 | Funai Electric Co Ltd | 電気機器 |
| TWI258259B (en) | 2004-04-20 | 2006-07-11 | Jason Yan | Automatic charging system of mobile robotic electronic device |
| EP1738232A4 (en) | 2004-04-22 | 2009-10-21 | Frontline Robotics | ARCHITECTURE OF OPEN CONTROL SYSTEM FOR AUTONOMOUS MOBILE SYSTEMS |
| US7769705B1 (en) | 2004-05-21 | 2010-08-03 | Ray Anthony Luechtefeld | Method, artificially intelligent system and networked complex for facilitating group interactions |
| US7176957B2 (en) | 2004-05-25 | 2007-02-13 | Seiko Epson Corporation | Local video loopback method for a multi-participant conference system using a back-channel video interface |
| US7949616B2 (en) | 2004-06-01 | 2011-05-24 | George Samuel Levy | Telepresence by human-assisted remote controlled devices and robots |
| US7011538B2 (en) | 2004-06-02 | 2006-03-14 | Elementech International Co., Ltd. | Dual input charger with cable storing mechanism |
| JP3926837B2 (ja) | 2004-06-04 | 2007-06-06 | 松下電器産業株式会社 | 表示制御方法および装置、プログラム、並びに携帯機器 |
| US20050283414A1 (en) | 2004-06-17 | 2005-12-22 | Fernandes Curtis T | Remote system management |
| JP4479372B2 (ja) | 2004-06-25 | 2010-06-09 | ソニー株式会社 | 環境地図作成方法、環境地図作成装置、及び移動型ロボット装置 |
| US7292257B2 (en) | 2004-06-28 | 2007-11-06 | Microsoft Corporation | Interactive viewpoint video system and process |
| US7539187B2 (en) | 2004-07-07 | 2009-05-26 | Qvidium Technologies, Inc. | System and method for low-latency content-sensitive forward error correction |
| US20060007943A1 (en) | 2004-07-07 | 2006-01-12 | Fellman Ronald D | Method and system for providing site independent real-time multimedia transport over packet-switched networks |
| US8503340B1 (en) | 2004-07-11 | 2013-08-06 | Yongyong Xu | WiFi phone system |
| US8077963B2 (en) | 2004-07-13 | 2011-12-13 | Yulun Wang | Mobile robot with a head-based movement mapping scheme |
| CN1331641C (zh) * | 2004-07-14 | 2007-08-15 | 华南理工大学 | 保安巡逻机器狗 |
| US7551647B2 (en) | 2004-07-19 | 2009-06-23 | Qvidium Technologies, Inc. | System and method for clock synchronization over packet-switched networks |
| US7979157B2 (en) | 2004-07-23 | 2011-07-12 | Mcmaster University | Multi-purpose robotic operating system and method |
| US7319469B2 (en) | 2004-07-26 | 2008-01-15 | Sony Corporation | Copy protection arrangement |
| JP4315872B2 (ja) | 2004-07-28 | 2009-08-19 | 本田技研工業株式会社 | 移動ロボットの制御装置 |
| CN100394897C (zh) | 2004-08-03 | 2008-06-18 | 张毓笠 | 复合振动的超声骨骼手术仪 |
| JP4912577B2 (ja) | 2004-09-01 | 2012-04-11 | 本田技研工業株式会社 | ２足歩行ロボットの充電システム |
| US20060052676A1 (en) | 2004-09-07 | 2006-03-09 | Yulun Wang | Tele-presence system that allows for remote monitoring/observation and review of a patient and their medical records |
| US7502498B2 (en) * | 2004-09-10 | 2009-03-10 | Available For Licensing | Patient monitoring apparatus |
| FI116749B (fi) | 2004-09-14 | 2006-02-15 | Nokia Corp | Kameraelementtejä käsittävä laite |
| US20060064212A1 (en) | 2004-09-22 | 2006-03-23 | Cycle Time Corporation | Reactive automated guided vehicle vision guidance system |
| US20060066609A1 (en) | 2004-09-28 | 2006-03-30 | Iodice Arthur P | Methods and systems for viewing geometry of an object model generated by a CAD tool |
| US8060376B2 (en) | 2004-10-01 | 2011-11-15 | Nomoreclipboard, Llc | System and method for collection of community health and administrative data |
| US7720570B2 (en) | 2004-10-01 | 2010-05-18 | Redzone Robotics, Inc. | Network architecture for remote robot with interchangeable tools |
| JP2006109094A (ja) | 2004-10-05 | 2006-04-20 | Nec Software Kyushu Ltd | 遠隔制御装置、遠隔制御システム、及び、遠隔制御方法 |
| US7441953B2 (en) | 2004-10-07 | 2008-10-28 | University Of Florida Research Foundation, Inc. | Radiographic medical imaging system using robot mounted source and sensor for dynamic image capture and tomography |
| US20060087746A1 (en) | 2004-10-22 | 2006-04-27 | Kenneth Lipow | Remote augmented motor-sensory interface for surgery |
| US8078338B2 (en) * | 2004-10-22 | 2011-12-13 | Irobot Corporation | System and method for behavior based control of an autonomous vehicle |
| KR100645379B1 (ko) | 2004-10-29 | 2006-11-15 | 삼성광주전자 주식회사 | 로봇 제어 시스템 및 로봇 제어방법 |
| KR100703692B1 (ko) | 2004-11-03 | 2007-04-05 | 삼성전자주식회사 | 공간상에 존재하는 오브젝트들을 구별하기 위한 시스템,장치 및 방법 |
| US20060098573A1 (en) | 2004-11-08 | 2006-05-11 | Beer John C | System and method for the virtual aggregation of network links |
| US20060173712A1 (en) | 2004-11-12 | 2006-08-03 | Dirk Joubert | Portable medical information system |
| US9111368B1 (en) | 2004-11-15 | 2015-08-18 | Nvidia Corporation | Pipelined L2 cache for memory transfers for a video processor |
| US7522528B2 (en) | 2004-11-18 | 2009-04-21 | Qvidium Technologies, Inc. | Low-latency automatic repeat request packet recovery mechanism for media streams |
| US20060122482A1 (en) | 2004-11-22 | 2006-06-08 | Foresight Imaging Inc. | Medical image acquisition system for receiving and transmitting medical images instantaneously and method of using the same |
| EP1839223A2 (en) | 2004-12-03 | 2007-10-03 | Mckesson Automation Inc. | Mobile point of care system and associated method and computer program product |
| US7400578B2 (en) | 2004-12-16 | 2008-07-15 | International Business Machines Corporation | Method and system for throttling network transmissions using per-receiver bandwidth control at the application layer of the transmitting server |
| KR100499770B1 (ko) | 2004-12-30 | 2005-07-07 | 주식회사 아이오. 테크 | 네트워크 기반의 로봇 제어 시스템 |
| WO2006074298A2 (en) * | 2005-01-06 | 2006-07-13 | Alan Shulman | Navigation and inspection system |
| KR100497310B1 (ko) | 2005-01-10 | 2005-06-23 | 주식회사 아이오. 테크 | 네트워크 기반의 로봇 시스템에서 동작 정보 포함멀티미디어 콘텐츠의 선택 및 재생 방법 |
| US7395508B2 (en) | 2005-01-14 | 2008-07-01 | International Business Machines Corporation | Method and apparatus for providing an interactive presentation environment |
| US7222000B2 (en) | 2005-01-18 | 2007-05-22 | Intouch Technologies, Inc. | Mobile videoconferencing platform with automatic shut-off features |
| JP2006203821A (ja) | 2005-01-24 | 2006-08-03 | Sony Corp | 自動送出システム |
| US20060173708A1 (en) | 2005-01-28 | 2006-08-03 | Circle Of Care, Inc. | System and method for providing health care |
| US20060176832A1 (en) | 2005-02-04 | 2006-08-10 | Sean Miceli | Adaptive bit-rate adjustment of multimedia communications channels using transport control protocol |
| KR100636270B1 (ko) | 2005-02-04 | 2006-10-19 | 삼성전자주식회사 | 홈 네트워크 시스템 및 그 제어방법 |
| US7944469B2 (en) | 2005-02-14 | 2011-05-17 | Vigilos, Llc | System and method for using self-learning rules to enable adaptive security monitoring |
| WO2006089307A2 (en) | 2005-02-18 | 2006-08-24 | Irobot Corporation | Autonomous surface cleaning robot for wet and dry cleaning |
| US20060189393A1 (en) | 2005-02-22 | 2006-08-24 | Albert Edery | Real action network gaming system |
| US20060224781A1 (en) | 2005-03-10 | 2006-10-05 | Jen-Ming Tsao | Method and apparatus for controlling a user interface of a consumer electronic device |
| US7644898B2 (en) | 2005-03-28 | 2010-01-12 | Compview Medical, Llc | Medical boom with articulated arms and a base with preconfigured removable modular racks used for storing electronic and utility equipment |
| US20080285886A1 (en) | 2005-03-29 | 2008-11-20 | Matthew Emmerson Allen | System For Displaying Images |
| WO2006113553A2 (en) | 2005-04-15 | 2006-10-26 | New Jersey Institute Of Technology | Dynamic bandwidth allocation and service differentiation for broadband passive optical networks |
| US20060241859A1 (en) | 2005-04-21 | 2006-10-26 | Microsoft Corporation | Virtual earth real-time advertising |
| US7680038B1 (en) | 2005-04-25 | 2010-03-16 | Electronic Arts, Inc. | Dynamic bandwidth detection and response for online games |
| KR100624387B1 (ko) * | 2005-04-25 | 2006-09-20 | 엘지전자 주식회사 | 주행영역 지정이 가능한 로봇 시스템 |
| US7436143B2 (en) | 2005-04-25 | 2008-10-14 | M-Bots, Inc. | Miniature surveillance robot |
| US7864209B2 (en) | 2005-04-28 | 2011-01-04 | Apple Inc. | Audio processing in a multi-participant conference |
| CA2605239A1 (en) | 2005-05-02 | 2006-11-09 | University Of Virginia Patent Foundation | Systems, devices, and methods for interpreting movement |
| US7912733B2 (en) | 2005-05-04 | 2011-03-22 | Board Of Regents, The University Of Texas System | System, method and program product for delivering medical services from a remote location |
| US7240879B1 (en) | 2005-05-06 | 2007-07-10 | United States of America as represented by the Administration of the National Aeronautics and Space Administration | Method and associated apparatus for capturing, servicing and de-orbiting earth satellites using robotics |
| US20060259193A1 (en) | 2005-05-12 | 2006-11-16 | Yulun Wang | Telerobotic system with a dual application screen presentation |
| KR100594165B1 (ko) | 2005-05-24 | 2006-06-28 | 삼성전자주식회사 | 네트워크 기반 로봇 제어 시스템 및 네트워크 기반 로봇제어 시스템에서 로봇 속도 제어 방법 |
| US20060293788A1 (en) | 2005-06-26 | 2006-12-28 | Pavel Pogodin | Robotic floor care appliance with improved remote management |
| JP2007007040A (ja) | 2005-06-29 | 2007-01-18 | Hitachi Medical Corp | 手術支援システム |
| GB2428110A (en) | 2005-07-06 | 2007-01-17 | Armstrong Healthcare Ltd | A robot and method of registering a robot. |
| US7379664B2 (en) | 2005-07-26 | 2008-05-27 | Tinkers & Chance | Remote view and controller for a camera |
| WO2007016741A1 (en) | 2005-08-11 | 2007-02-15 | Beon Light Corporation Pty Ltd | A sensor with selectable sensing orientation used for controlling an electrical device |
| KR100749579B1 (ko) | 2005-09-05 | 2007-08-16 | 삼성광주전자 주식회사 | 교환가능한 복수의 작업모듈을 갖는 이동로봇 시스템 및 그제어방법 |
| US8049678B2 (en) | 2005-09-09 | 2011-11-01 | Lg Electronics, Inc. | Image capturing and displaying method and system |
| US7643051B2 (en) | 2005-09-09 | 2010-01-05 | Roy Benjamin Sandberg | Mobile video teleconferencing system and control method |
| JP2007081646A (ja) | 2005-09-13 | 2007-03-29 | Toshiba Corp | 送受信装置 |
| US7631270B2 (en) | 2005-09-16 | 2009-12-08 | Microsoft Corporation | Network connectivity and wireless status in a notification area |
| CN1743144A (zh) | 2005-09-29 | 2006-03-08 | 天津理工大学 | 基于互联网的机器人远程控制方法 |
| US8098603B2 (en) | 2005-09-30 | 2012-01-17 | Intel Corporation | Bandwidth adaptation in a wireless network |
| US9198728B2 (en) | 2005-09-30 | 2015-12-01 | Intouch Technologies, Inc. | Multi-camera mobile teleconferencing platform |
| EP2281668B1 (en) * | 2005-09-30 | 2013-04-17 | iRobot Corporation | Companion robot for personal interaction |
| EP1946236A1 (en) | 2005-10-07 | 2008-07-23 | Intensive Care On-line | On-line healthcare consultation services system and method of using same |
| GB0520576D0 (en) | 2005-10-10 | 2005-11-16 | Applied Generics Ltd | Using traffic monitoring information to provide better driver route planning |
| US20070093279A1 (en) | 2005-10-12 | 2007-04-26 | Craig Janik | Wireless headset system for the automobile |
| US7733224B2 (en) | 2006-06-30 | 2010-06-08 | Bao Tran | Mesh network personal emergency response appliance |
| US7689162B2 (en) | 2005-10-28 | 2010-03-30 | Viasat, Inc. | Adaptive coding and modulation flow control and traffic shaping systems and methods |
| US7751780B2 (en) | 2005-11-23 | 2010-07-06 | Qualcomm Incorporated | Method and apparatus for collecting information from a wireless device |
| US20070120965A1 (en) | 2005-11-25 | 2007-05-31 | Sandberg Roy B | Mobile video teleconferencing authentication and management system and method |
| KR101099808B1 (ko) | 2005-12-02 | 2011-12-27 | 아이로보트 코퍼레이션 | 로봇 시스템 |
| US20070135967A1 (en) | 2005-12-08 | 2007-06-14 | Jung Seung W | Apparatus and method of controlling network-based robot |
| EP1796332B1 (en) | 2005-12-08 | 2012-11-14 | Electronics and Telecommunications Research Institute | Token bucket dynamic bandwidth allocation |
| US8190238B2 (en) | 2005-12-09 | 2012-05-29 | Hansen Medical, Inc. | Robotic catheter system and methods |
| JP4751192B2 (ja) * | 2005-12-12 | 2011-08-17 | 本田技研工業株式会社 | 移動ロボット |
| US20070150094A1 (en) * | 2005-12-23 | 2007-06-28 | Qingfeng Huang | System and method for planning and indirectly guiding robotic actions based on external factor tracking and analysis |
| US7480870B2 (en) | 2005-12-23 | 2009-01-20 | Apple Inc. | Indication of progress towards satisfaction of a user input condition |
| US8577538B2 (en) * | 2006-07-14 | 2013-11-05 | Irobot Corporation | Method and system for controlling a remote vehicle |
| JP2007232208A (ja) | 2006-01-31 | 2007-09-13 | Mitsuboshi Belting Ltd | 歯付ベルト及びそれに使用する歯布 |
| US7979059B2 (en) | 2006-02-06 | 2011-07-12 | Rockefeller Alfred G | Exchange of voice and video between two cellular or wireless telephones |
| US7719229B2 (en) | 2006-02-14 | 2010-05-18 | Honda Motor Co., Ltd. | Charging system for legged mobile robot |
| US7769492B2 (en) | 2006-02-22 | 2010-08-03 | Intouch Technologies, Inc. | Graphical interface for a remote presence system |
| US8072481B1 (en) | 2006-03-18 | 2011-12-06 | Videotronic Systems | Telepresence communication system |
| JP4728860B2 (ja) | 2006-03-29 | 2011-07-20 | 株式会社東芝 | 情報検索装置 |
| US7861366B2 (en) | 2006-04-04 | 2011-01-04 | Samsung Electronics Co., Ltd. | Robot cleaner system having robot cleaner and docking station |
| US20100171826A1 (en) | 2006-04-12 | 2010-07-08 | Store Eyes, Inc. | Method for measuring retail display and compliance |
| US8326469B2 (en) * | 2006-07-14 | 2012-12-04 | Irobot Corporation | Autonomous behaviors for a remote vehicle |
| US8108092B2 (en) * | 2006-07-14 | 2012-01-31 | Irobot Corporation | Autonomous behaviors for a remote vehicle |
| US7539533B2 (en) | 2006-05-16 | 2009-05-26 | Bao Tran | Mesh network monitoring appliance |
| EP2023843B1 (en) | 2006-05-19 | 2016-03-09 | Mako Surgical Corp. | System for verifying calibration of a surgical device |
| JP2007316966A (ja) * | 2006-05-26 | 2007-12-06 | Fujitsu Ltd | 移動ロボット、その制御方法及びプログラム |
| US8571580B2 (en) | 2006-06-01 | 2013-10-29 | Loopt Llc. | Displaying the location of individuals on an interactive map display on a mobile communication device |
| US8849679B2 (en) | 2006-06-15 | 2014-09-30 | Intouch Technologies, Inc. | Remote controlled robot system that provides medical images |
| US20070291128A1 (en) | 2006-06-15 | 2007-12-20 | Yulun Wang | Mobile teleconferencing system that projects an image provided by a mobile robot |
| US7920962B2 (en) | 2006-06-19 | 2011-04-05 | Kiva Systems, Inc. | System and method for coordinating movement of mobile drive units |
| US8649899B2 (en) | 2006-06-19 | 2014-02-11 | Amazon Technologies, Inc. | System and method for maneuvering a mobile drive unit |
| US7587260B2 (en) * | 2006-07-05 | 2009-09-08 | Battelle Energy Alliance, Llc | Autonomous navigation system and method |
| US8271132B2 (en) | 2008-03-13 | 2012-09-18 | Battelle Energy Alliance, Llc | System and method for seamless task-directed autonomy for robots |
| US8073564B2 (en) | 2006-07-05 | 2011-12-06 | Battelle Energy Alliance, Llc | Multi-robot control interface |
| USRE46672E1 (en) * | 2006-07-13 | 2018-01-16 | Velodyne Lidar, Inc. | High definition LiDAR system |
| US8843244B2 (en) * | 2006-10-06 | 2014-09-23 | Irobot Corporation | Autonomous behaviors for a remove vehicle |
| US20080033641A1 (en) * | 2006-07-25 | 2008-02-07 | Medalia Michael J | Method of generating a three-dimensional interactive tour of a geographic location |
| US7599290B2 (en) | 2006-08-11 | 2009-10-06 | Latitude Broadband, Inc. | Methods and systems for providing quality of service in packet-based core transport networks |
| US20080056933A1 (en) | 2006-08-29 | 2008-03-06 | Moore Barrett H | Self-Propelled Sterilization Robot and Method |
| US8564544B2 (en) | 2006-09-06 | 2013-10-22 | Apple Inc. | Touch screen device, method, and graphical user interface for customizing display of content category icons |
| US7693757B2 (en) | 2006-09-21 | 2010-04-06 | International Business Machines Corporation | System and method for performing inventory using a mobile inventory robot |
| US8180486B2 (en) | 2006-10-02 | 2012-05-15 | Honda Motor Co., Ltd. | Mobile robot and controller for same |
| JP4658892B2 (ja) * | 2006-10-02 | 2011-03-23 | 本田技研工業株式会社 | 移動ロボット、並びに、移動ロボットの制御装置、移動ロボットの制御方法及び移動ロボットの制御プログラム |
| US7761185B2 (en) | 2006-10-03 | 2010-07-20 | Intouch Technologies, Inc. | Remote presence display through remotely controlled robot |
| US20070170886A1 (en) | 2006-10-03 | 2007-07-26 | Plishner Paul J | Vehicle equipped for providing solar electric power for off-vehicle use and systems in support thereof |
| US7654348B2 (en) | 2006-10-06 | 2010-02-02 | Irobot Corporation | Maneuvering robotic vehicles having a positionable sensor head |
| US20080126132A1 (en) | 2006-11-28 | 2008-05-29 | General Electric Company | Smart bed system |
| US8095238B2 (en) | 2006-11-29 | 2012-01-10 | Irobot Corporation | Robot development platform |
| US7630314B2 (en) | 2006-12-05 | 2009-12-08 | Latitue Broadband, Inc. | Methods and systems for dynamic bandwidth management for quality of service in IP Core and access networks |
| TWI330305B (en) | 2006-12-28 | 2010-09-11 | Ind Tech Res Inst | Method for routing a robotic apparatus to a service station and robotic apparatus service system using thereof |
| US7557758B2 (en) | 2007-03-26 | 2009-07-07 | Broadcom Corporation | Very high frequency dielectric substrate wave guide |
| CN101578842B (zh) | 2007-01-10 | 2014-03-05 | 高通股份有限公司 | 用于多媒体电话的依赖于内容和链路的编码自适应 |
| US20080232763A1 (en) | 2007-03-15 | 2008-09-25 | Colin Brady | System and method for adjustment of video playback resolution |
| US8265793B2 (en) | 2007-03-20 | 2012-09-11 | Irobot Corporation | Mobile robot for telecommunication |
| US8612051B2 (en) | 2007-04-20 | 2013-12-17 | Innovation First, Inc. | Securing communications with robots |
| US8305914B2 (en) | 2007-04-30 | 2012-11-06 | Hewlett-Packard Development Company, L.P. | Method for signal adjustment through latency control |
| US9160783B2 (en) | 2007-05-09 | 2015-10-13 | Intouch Technologies, Inc. | Robot system that operates through a network firewall |
| KR101414321B1 (ko) | 2007-05-09 | 2014-07-01 | 아이로보트 코퍼레이션 | 자동 커버리지 로봇 |
| US8175677B2 (en) | 2007-06-07 | 2012-05-08 | MRI Interventions, Inc. | MRI-guided medical interventional systems and methods |
| JP5037248B2 (ja) * | 2007-07-17 | 2012-09-26 | 株式会社日立製作所 | 情報収集システムおよび情報収集ロボット |
| US8199641B1 (en) | 2007-07-25 | 2012-06-12 | Xangati, Inc. | Parallel distributed network monitoring |
| KR20090012542A (ko) | 2007-07-30 | 2009-02-04 | 주식회사 마이크로로봇 | 로봇을 이용한 홈 모니터링 시스템 |
| US8400491B1 (en) | 2007-08-01 | 2013-03-19 | Sprint Communications Company L.P. | Use-based adaptive video client for a bandwidth-constrained network |
| US7631833B1 (en) | 2007-08-03 | 2009-12-15 | The United States Of America As Represented By The Secretary Of The Navy | Smart counter asymmetric threat micromunition with autonomous target selection and homing |
| US8639797B1 (en) | 2007-08-03 | 2014-01-28 | Xangati, Inc. | Network monitoring of behavior probability density |
| US20090044334A1 (en) | 2007-08-13 | 2009-02-19 | Valence Broadband, Inc. | Automatically adjusting patient platform support height in response to patient related events |
| US8116910B2 (en) | 2007-08-23 | 2012-02-14 | Intouch Technologies, Inc. | Telepresence robot with a printer |
| KR101330734B1 (ko) | 2007-08-24 | 2013-11-20 | 삼성전자주식회사 | 로봇청소기와 도킹 스테이션을 구비하는 로봇청소기 시스템 |
| US20090070135A1 (en) | 2007-09-10 | 2009-03-12 | General Electric Company | System and method for improving claims processing in the healthcare industry |
| US8243119B2 (en) | 2007-09-30 | 2012-08-14 | Optical Fusion Inc. | Recording and videomail for video conferencing call systems |
| US20090248200A1 (en) | 2007-10-22 | 2009-10-01 | North End Technologies | Method & apparatus for remotely operating a robotic device linked to a communications network |
| US8045458B2 (en) | 2007-11-08 | 2011-10-25 | Mcafee, Inc. | Prioritizing network traffic |
| US7987069B2 (en) | 2007-11-12 | 2011-07-26 | Bee Cave, Llc | Monitoring patient support exiting and initiating response |
| JP2009125133A (ja) | 2007-11-20 | 2009-06-11 | Asano Dental Inc | 歯科医療支援システム及び歯科医療支援用ｘ線センサ |
| CN100488149C (zh) * | 2007-11-23 | 2009-05-13 | 北京工业大学 | 智能家居保姆系统和多网络单点接入集成方法 |
| US8171123B2 (en) | 2007-12-04 | 2012-05-01 | Sony Computer Entertainment Inc. | Network bandwidth detection and distribution |
| JP4787813B2 (ja) * | 2007-12-07 | 2011-10-05 | 本田技研工業株式会社 | 検知対象検知システム |
| US20090146882A1 (en) | 2007-12-07 | 2009-06-11 | Nokia Corporation | Method and system of generic position signalling for cellular networks |
| US20090164657A1 (en) | 2007-12-20 | 2009-06-25 | Microsoft Corporation | Application aware rate control |
| US20090171170A1 (en) | 2007-12-28 | 2009-07-02 | Nellcor Puritan Bennett Llc | Medical Monitoring With Portable Electronic Device System And Method |
| US20090102919A1 (en) | 2007-12-31 | 2009-04-23 | Zamierowski David S | Audio-video system and method for telecommunications |
| US20090177641A1 (en) | 2008-01-03 | 2009-07-09 | General Electric Company | Patient monitoring network and method of using the patient monitoring network |
| US20090173846A1 (en) | 2008-01-09 | 2009-07-09 | Allan Katz | Medical boom |
| WO2009091536A1 (en) * | 2008-01-15 | 2009-07-23 | Roy Sandberg | Low latency navigation for visual mapping for a telepresence robot |
| KR100971609B1 (ko) | 2008-03-05 | 2010-07-20 | 주식회사 팬택 | 수신단말로의 접속 성능 향상 방법 및 접속 성능 향상시스템 |
| US8301318B2 (en) * | 2008-03-05 | 2012-10-30 | Robotic Research Llc | Robotic vehicle remote control system having a virtual operator environment |
| US8374171B2 (en) | 2008-03-06 | 2013-02-12 | Pantech Co., Ltd. | Method for reducing the risk of call connection failure and system to perform the method |
| US8244469B2 (en) * | 2008-03-16 | 2012-08-14 | Irobot Corporation | Collaborative engagement for target identification and tracking |
| US10875182B2 (en) | 2008-03-20 | 2020-12-29 | Teladoc Health, Inc. | Remote presence system mounted to operating room hardware |
| US20100088232A1 (en) | 2008-03-21 | 2010-04-08 | Brian Gale | Verification monitor for critical test result delivery systems |
| US20100030578A1 (en) * | 2008-03-21 | 2010-02-04 | Siddique M A Sami | System and method for collaborative shopping, business and entertainment |
| US10368838B2 (en) | 2008-03-31 | 2019-08-06 | Intuitive Surgical Operations, Inc. | Surgical tools for laser marking and laser cutting |
| JP2009258779A (ja) * | 2008-04-11 | 2009-11-05 | Toyota Motor Corp | 移動ロボット及び足跡計画方法 |
| US8179418B2 (en) | 2008-04-14 | 2012-05-15 | Intouch Technologies, Inc. | Robotic based health care system |
| US8170241B2 (en) * | 2008-04-17 | 2012-05-01 | Intouch Technologies, Inc. | Mobile tele-presence system with a microphone system |
| US8332134B2 (en) * | 2008-04-24 | 2012-12-11 | GM Global Technology Operations LLC | Three-dimensional LIDAR-based clear path detection |
| US9193065B2 (en) | 2008-07-10 | 2015-11-24 | Intouch Technologies, Inc. | Docking system for a tele-presence robot |
| US9842192B2 (en) | 2008-07-11 | 2017-12-12 | Intouch Technologies, Inc. | Tele-presence robot system with multi-cast features |
| JP5259286B2 (ja) * | 2008-07-16 | 2013-08-07 | 株式会社日立製作所 | ３次元物体認識システム及びそれを用いた棚卸システム |
| CN101640295A (zh) | 2008-07-31 | 2010-02-03 | 鸿富锦精密工业（深圳）有限公司 | 充电装置 |
| WO2010014864A1 (en) | 2008-07-31 | 2010-02-04 | Consortium Of Rheumatology Researchers Of North America, Inc. | System and method for collecting and managing patient data |
| US8476555B2 (en) | 2008-08-29 | 2013-07-02 | Illinois Tool Works Inc. | Portable welding wire feed system and method |
| JP5040865B2 (ja) | 2008-09-08 | 2012-10-03 | 日本電気株式会社 | ロボット制御システム、遠隔管理装置、遠隔管理方法及びプログラム |
| US8144182B2 (en) | 2008-09-16 | 2012-03-27 | Biscotti Inc. | Real time video communications system |
| KR101503903B1 (ko) * | 2008-09-16 | 2015-03-19 | 삼성전자 주식회사 | 이동 로봇의 지도 구성 장치 및 방법 |
| US8340819B2 (en) | 2008-09-18 | 2012-12-25 | Intouch Technologies, Inc. | Mobile videoconferencing robot system with network adaptive driving |
| US8180712B2 (en) | 2008-09-30 | 2012-05-15 | The Nielsen Company (Us), Llc | Methods and apparatus for determining whether a media presentation device is in an on state or an off state |
| US8000235B2 (en) | 2008-10-05 | 2011-08-16 | Contextream Ltd. | Bandwidth allocation method and apparatus |
| US20100145479A1 (en) | 2008-10-09 | 2010-06-10 | G2 Software Systems, Inc. | Wireless Portable Sensor Monitoring System |
| US8996165B2 (en) | 2008-10-21 | 2015-03-31 | Intouch Technologies, Inc. | Telepresence robot with a camera boom |
| CN103957350B (zh) | 2008-11-21 | 2017-06-16 | 斯特赖克公司 | 无线手术室通信系统 |
| US8305423B2 (en) | 2008-11-24 | 2012-11-06 | Innovatec, S.L. | Communication system for remote patient visits and clinical status monitoring |
| US8463435B2 (en) | 2008-11-25 | 2013-06-11 | Intouch Technologies, Inc. | Server connectivity control for tele-presence robot |
| US7995493B2 (en) | 2008-12-23 | 2011-08-09 | Airvana, Corp. | Estimating bandwidth in communication networks |
| US8462681B2 (en) | 2009-01-15 | 2013-06-11 | The Trustees Of Stevens Institute Of Technology | Method and apparatus for adaptive transmission of sensor data with latency controls |
| US8849680B2 (en) | 2009-01-29 | 2014-09-30 | Intouch Technologies, Inc. | Documentation through a remote presence robot |
| US8750906B2 (en) | 2009-02-20 | 2014-06-10 | T-Mobile Usa, Inc. | Dynamic elements on a map within a mobile device, such as elements that facilitate communication between users |
| US8418073B2 (en) | 2009-03-09 | 2013-04-09 | Intuitive Surgical Operations, Inc. | User interfaces for electrosurgical tools in robotic surgical systems |
| US8423284B2 (en) | 2009-04-15 | 2013-04-16 | Abalta Technologies, Inc. | Monitoring, recording and testing of navigation systems |
| US8897920B2 (en) | 2009-04-17 | 2014-11-25 | Intouch Technologies, Inc. | Tele-presence robot system with software modularity, projector and laser pointer |
| US8340654B2 (en) | 2009-05-26 | 2012-12-25 | Lextech Labs Llc | Apparatus and method for video display and control for portable device |
| JP5430246B2 (ja) | 2009-06-23 | 2014-02-26 | 任天堂株式会社 | ゲーム装置およびゲームプログラム |
| US8626499B2 (en) | 2009-07-21 | 2014-01-07 | Vivu, Inc. | Multimedia signal latency management by skipping |
| IN2012DN02197A (ko) | 2009-08-26 | 2015-08-07 | Intouch Technologies Inc | |
| US8384755B2 (en) | 2009-08-26 | 2013-02-26 | Intouch Technologies, Inc. | Portable remote presence robot |
| US11399153B2 (en) | 2009-08-26 | 2022-07-26 | Teladoc Health, Inc. | Portable telepresence apparatus |
| CN102006450A (zh) | 2009-09-01 | 2011-04-06 | 华为终端有限公司 | 视频会议虚拟会场的呈现方法、设备及系统 |
| US8244402B2 (en) | 2009-09-22 | 2012-08-14 | GM Global Technology Operations LLC | Visual perception system and method for a humanoid robot |
| US9384299B2 (en) | 2009-09-22 | 2016-07-05 | Thwapr, Inc. | Receiving content for mobile media sharing |
| WO2011044177A2 (en) | 2009-10-05 | 2011-04-14 | Seer Technology, Inc. | System and method for generating a computer model to display a position of a person |
| US20110102460A1 (en) * | 2009-11-04 | 2011-05-05 | Parker Jordan | Platform for widespread augmented reality and 3d mapping |
| US9626826B2 (en) * | 2010-06-10 | 2017-04-18 | Nguyen Gaming Llc | Location-based real-time casino data |
| US8521331B2 (en) | 2009-11-13 | 2013-08-27 | Intuitive Surgical Operations, Inc. | Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument |
| US20110153198A1 (en) * | 2009-12-21 | 2011-06-23 | Navisus LLC | Method for the display of navigation instructions using an augmented-reality concept |
| US8212533B2 (en) | 2009-12-23 | 2012-07-03 | Toyota Motor Engineering & Manufacturing North America, Inc. | Robot battery charging apparatuses and methods |
| US20110169832A1 (en) | 2010-01-11 | 2011-07-14 | Roy-G-Biv Corporation | 3D Motion Interface Systems and Methods |
| US20110187875A1 (en) | 2010-02-04 | 2011-08-04 | Intouch Technologies, Inc. | Robot face used in a sterile environment |
| US11154981B2 (en) | 2010-02-04 | 2021-10-26 | Teladoc Health, Inc. | Robot user interface for telepresence robot system |
| US9823342B2 (en) * | 2010-02-09 | 2017-11-21 | Aeroscout, Ltd. | System and method for mobile monitoring of non-associated tags |
| US8670017B2 (en) | 2010-03-04 | 2014-03-11 | Intouch Technologies, Inc. | Remote presence system including a cart that supports a robot face and an overhead camera |
| US8725880B2 (en) | 2010-04-07 | 2014-05-13 | Apple, Inc. | Establishing online communication sessions between client computing devices |
| US9104202B2 (en) * | 2010-05-11 | 2015-08-11 | Irobot Corporation | Remote vehicle missions and systems for supporting remote vehicle missions |
| US8837900B2 (en) | 2010-05-11 | 2014-09-16 | Cisco Technology, Inc. | Unintended video recording detection in a video recording device |
| US9002535B2 (en) * | 2010-05-11 | 2015-04-07 | Irobot Corporation | Navigation portals for a remote vehicle control user interface |
| US20110288417A1 (en) | 2010-05-19 | 2011-11-24 | Intouch Technologies, Inc. | Mobile videoconferencing robot system with autonomy and image analysis |
| US8918209B2 (en) | 2010-05-20 | 2014-12-23 | Irobot Corporation | Mobile human interface robot |
| US10343283B2 (en) | 2010-05-24 | 2019-07-09 | Intouch Technologies, Inc. | Telepresence robot system that can be accessed by a cellular phone |
| US10808882B2 (en) | 2010-05-26 | 2020-10-20 | Intouch Technologies, Inc. | Tele-robotic system with a robot face placed on a chair |
| US8489641B1 (en) | 2010-07-08 | 2013-07-16 | Google Inc. | Displaying layers of search results on a map |
| US8429674B2 (en) | 2010-07-20 | 2013-04-23 | Apple Inc. | Maintaining data states upon forced exit |
| US8522167B2 (en) | 2010-08-09 | 2013-08-27 | Microsoft Corporation | Relationship visualization and graphical interaction model in it client management |
| US8832293B2 (en) | 2010-09-03 | 2014-09-09 | Hulu, LLC | Bandwidth allocation with modified seek function |
| US8781629B2 (en) | 2010-09-22 | 2014-07-15 | Toyota Motor Engineering & Manufacturing North America, Inc. | Human-robot interface apparatuses and methods of controlling robots |
| US8509982B2 (en) * | 2010-10-05 | 2013-08-13 | Google Inc. | Zone driving |
| WO2012094617A2 (en) | 2011-01-07 | 2012-07-12 | Irobot Corporation | Evacuation station system |
| US20120191464A1 (en) | 2011-01-21 | 2012-07-26 | Intouch Technologies, Inc. | Telerobotic System with a Dual Application Screen Presentation |
| US9323250B2 (en) | 2011-01-28 | 2016-04-26 | Intouch Technologies, Inc. | Time-dependent navigation of telepresence robots |
| US8718837B2 (en) | 2011-01-28 | 2014-05-06 | Intouch Technologies | Interfacing with a mobile telepresence robot |
| EP2487577A3 (en) | 2011-02-11 | 2017-10-11 | BlackBerry Limited | Presenting buttons for controlling an application |
| US8511540B2 (en) | 2011-02-18 | 2013-08-20 | Echostar Technologies L.L.C. | Matrix code for use in verification of data card swap |
| US20120215380A1 (en) | 2011-02-23 | 2012-08-23 | Microsoft Corporation | Semi-autonomous robot that supports multiple modes of navigation |
| US9094420B2 (en) | 2011-02-24 | 2015-07-28 | Avaya Inc. | System and method for assuring quality real-time communication experience in virtual machine |
| US8532860B2 (en) | 2011-02-25 | 2013-09-10 | Intellibot Robotics Llc | Methods and systems for automatically yielding to high-priority traffic |
| TWM412591U (en) | 2011-03-23 | 2011-09-21 | Micro Star Int Co Ltd | Electrodes storage structure for cleaning robot |
| US20140139616A1 (en) | 2012-01-27 | 2014-05-22 | Intouch Technologies, Inc. | Enhanced Diagnostics for a Telepresence Robot |
| US9098611B2 (en) | 2012-11-26 | 2015-08-04 | Intouch Technologies, Inc. | Enhanced video interaction for a user interface of a telepresence network |
| US9259842B2 (en) | 2011-06-10 | 2016-02-16 | Microsoft Technology Licensing, Llc | Interactive robot initialization |
| US9069356B2 (en) * | 2011-06-12 | 2015-06-30 | Microsoft Technology Licensing, Llc | Nomadic security device with patrol alerts |
| US8560021B2 (en) | 2011-08-02 | 2013-10-15 | Cellco Partnership | Mobile device integration with WLAN functionality |
| US8776043B1 (en) | 2011-09-29 | 2014-07-08 | Amazon Technologies, Inc. | Service image notifications |
| US8836751B2 (en) | 2011-11-08 | 2014-09-16 | Intouch Technologies, Inc. | Tele-presence system with a user interface that displays different communication links |
| US20130158720A1 (en) | 2011-12-15 | 2013-06-20 | Honeywell International Inc. | Hvac controller with performance log |
| CN104115503A (zh) | 2011-12-29 | 2014-10-22 | 英特尔公司 | 使用化身的通信 |
| US9258459B2 (en) | 2012-01-24 | 2016-02-09 | Radical Switchcam Llc | System and method for compiling and playing a multi-channel video |
| US8902278B2 (en) | 2012-04-11 | 2014-12-02 | Intouch Technologies, Inc. | Systems and methods for visualizing and managing telepresence devices in healthcare networks |
| US9361021B2 (en) | 2012-05-22 | 2016-06-07 | Irobot Corporation | Graphical user interfaces including touchpad driving interfaces for telemedicine devices |
| EP2852881A4 (en) | 2012-05-22 | 2016-03-23 | Intouch Technologies Inc | GRAPHIC USER INTERFACES CONTAINING TOUCH PAD TOUCH INTERFACES FOR TELEMEDICINE DEVICES |
| US10437460B2 (en) | 2012-06-05 | 2019-10-08 | Apple Inc. | Methods and apparatus for cartographically aware gestures |
| US20140015914A1 (en) | 2012-07-12 | 2014-01-16 | Claire Delaunay | Remote robotic presence |
| US20140032244A1 (en) | 2012-07-25 | 2014-01-30 | Duke University | Systems and methods for telehealth delivery and analysis |
| US10152467B2 (en) | 2012-08-13 | 2018-12-11 | Google Llc | Managing a sharing of media content among client computers |
| US20150119652A1 (en) | 2013-10-31 | 2015-04-30 | Elwha LLC, a limited liability company of the State of Delaware | Telemedicine visual monitoring device with structured illumination |
-
2012
- 2012-01-27 US US13/360,579 patent/US8718837B2/en active Active
- 2012-01-27 CN CN201280006852.0A patent/CN103459099B/zh active Active
- 2012-01-27 US US13/360,590 patent/US8965579B2/en active Active
- 2012-01-27 JP JP2013551398A patent/JP5905031B2/ja active Active
- 2012-01-27 WO PCT/US2012/023036 patent/WO2012103525A2/en active Application Filing
- 2012-01-27 KR KR1020187029010A patent/KR102018763B1/ko active IP Right Grant
- 2012-01-27 KR KR1020137020195A patent/KR20140040094A/ko not_active Application Discontinuation
- 2012-01-27 CN CN201510120970.XA patent/CN104898652B/zh active Active
- 2012-01-27 EP EP12738731.4A patent/EP2668008A4/en active Pending
- 2012-01-27 KR KR1020187016394A patent/KR102068216B1/ko active IP Right Grant
-
2014
- 2014-03-21 US US14/221,827 patent/US9079311B2/en active Active
-
2015
- 2015-02-11 US US14/620,051 patent/US20150298317A1/en not_active Abandoned
- 2015-07-14 US US14/799,450 patent/US9168656B1/en active Active
- 2015-10-27 US US14/924,471 patent/US9469030B2/en active Active
-
2017
- 2017-03-01 US US15/446,919 patent/US10399223B2/en active Active
-
2019
- 2019-08-21 US US16/546,711 patent/US11289192B2/en active Active
-
2022
- 2022-03-14 US US17/694,348 patent/US11830618B2/en active Active
-
2023
- 2023-11-17 US US18/513,354 patent/US20240087738A1/en active Pending
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160036008A (ko) * | 2014-09-24 | 2016-04-01 | 삼성전자주식회사 | 청소 로봇 및 청소 로봇의 제어 방법 |
| KR20160057648A (ko) | 2014-11-14 | 2016-05-24 | 이창길 | 로봇의 자율 이동을 위한 행동블록 운영 시스템 및 그 방법 |
| WO2016111437A1 (ko) * | 2015-01-05 | 2016-07-14 | 한화테크윈 주식회사 | 스캐닝 라이다 장치 및 이에 적용되는 방법 |
| KR101694369B1 (ko) * | 2015-08-28 | 2017-01-09 | 경상대학교산학협력단 | 상지 재활 로봇 |
| KR101888523B1 (ko) * | 2017-06-29 | 2018-08-14 | 이종훈 | 헤드램프의 모델 또는 동작에 따라 3차원 이동이 가능한 자동차 배광 시험기 |
| KR20190016335A (ko) * | 2017-08-08 | 2019-02-18 | 네이버랩스 주식회사 | 픽업 로봇의 제어 방법 |
| KR20200000721A (ko) | 2018-06-25 | 2020-01-03 | 엘지전자 주식회사 | 로봇 |
| EP3597373A1 (en) | 2018-06-25 | 2020-01-22 | LG Electronics Inc. | Backlash prevention mechanism for tilting motion of a domestic robot |
| KR20200000768A (ko) | 2018-06-25 | 2020-01-03 | 엘지전자 주식회사 | 로봇 |
| KR20200000767A (ko) | 2018-06-25 | 2020-01-03 | 엘지전자 주식회사 | 로봇 |
| EP3587052A1 (en) | 2018-06-25 | 2020-01-01 | LG Electronics Inc. | Robot |
| KR20200000713A (ko) | 2018-06-25 | 2020-01-03 | 엘지전자 주식회사 | 로봇 |
| KR20200000719A (ko) | 2018-06-25 | 2020-01-03 | 엘지전자 주식회사 | 로봇 |
| EP3587051A1 (en) | 2018-06-25 | 2020-01-01 | LG Electronics Inc. | Robot |
| US11325245B2 (en) | 2018-06-25 | 2022-05-10 | Lg Electronics Inc. | Robot |
| US10951979B2 (en) | 2018-06-25 | 2021-03-16 | Lg Electronics Inc. | Robot |
| US11292121B2 (en) | 2018-06-25 | 2022-04-05 | Lg Electronics Inc. | Robot |
| US11173594B2 (en) | 2018-06-25 | 2021-11-16 | Lg Electronics Inc. | Robot |
| KR20200055312A (ko) | 2018-11-13 | 2020-05-21 | 엘지전자 주식회사 | 공기조화기 및 그의 동작 방법 |
| US11556131B2 (en) | 2019-03-13 | 2023-01-17 | Lg Electronics Inc. | Robot |
| KR20220108761A (ko) * | 2019-09-13 | 2022-08-03 | 도요타 리서치 인스티튜트, 인코퍼레이티드 | 로봇 태스크에 힘 벡터를 할당하기 위한 방법 및 시스템 |
| WO2021100890A1 (ko) * | 2019-11-18 | 2021-05-27 | (주)한스이엔지 | 장애물 인지 및 회피 주행 제어 시스템 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220199253A1 (en) | 2022-06-23 |
| US20140207286A1 (en) | 2014-07-24 |
| US8718837B2 (en) | 2014-05-06 |
| US20150298317A1 (en) | 2015-10-22 |
| EP2668008A2 (en) | 2013-12-04 |
| US11830618B2 (en) | 2023-11-28 |
| CN103459099A (zh) | 2013-12-18 |
| KR20180118219A (ko) | 2018-10-30 |
| US11289192B2 (en) | 2022-03-29 |
| KR20180067724A (ko) | 2018-06-20 |
| WO2012103525A3 (en) | 2013-01-24 |
| WO2012103525A2 (en) | 2012-08-02 |
| US20170334069A1 (en) | 2017-11-23 |
| US9079311B2 (en) | 2015-07-14 |
| CN104898652B (zh) | 2018-03-13 |
| KR102018763B1 (ko) | 2019-09-05 |
| US20190375102A1 (en) | 2019-12-12 |
| JP5905031B2 (ja) | 2016-04-20 |
| CN104898652A (zh) | 2015-09-09 |
| US20120197464A1 (en) | 2012-08-02 |
| US20150314449A1 (en) | 2015-11-05 |
| CN103459099B (zh) | 2015-08-26 |
| US9469030B2 (en) | 2016-10-18 |
| US10399223B2 (en) | 2019-09-03 |
| US9168656B1 (en) | 2015-10-27 |
| US20160046021A1 (en) | 2016-02-18 |
| US8965579B2 (en) | 2015-02-24 |
| US20120197439A1 (en) | 2012-08-02 |
| US20240087738A1 (en) | 2024-03-14 |
| EP2668008A4 (en) | 2018-01-24 |
| KR102068216B1 (ko) | 2020-01-20 |
| JP2014503376A (ja) | 2014-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11830618B2 (en) | Interfacing with a mobile telepresence robot | |
| US11468983B2 (en) | Time-dependent navigation of telepresence robots | |
| WO2015017691A1 (en) | Time-dependent navigation of telepresence robots | |
| US9902069B2 (en) | Mobile robot system | |
| EP2571660B1 (en) | Mobile human interface robot | |
| AU2011256720B2 (en) | Mobile human interface robot | |
| WO2012091801A2 (en) | Mobile human interface robot | |
| AU2017201879B2 (en) | Mobile robot system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |