KR102441328B1 - 이동 로봇이 전송한 화면을 표시하는 방법 및 그 전자장치 - Google Patents

이동 로봇이 전송한 화면을 표시하는 방법 및 그 전자장치 Download PDF

Info

Publication number
KR102441328B1
KR102441328B1 KR1020160010709A KR20160010709A KR102441328B1 KR 102441328 B1 KR102441328 B1 KR 102441328B1 KR 1020160010709 A KR1020160010709 A KR 1020160010709A KR 20160010709 A KR20160010709 A KR 20160010709A KR 102441328 B1 KR102441328 B1 KR 102441328B1
Authority
KR
South Korea
Prior art keywords
robot
electronic device
graphic object
time
display
Prior art date
Application number
KR1020160010709A
Other languages
English (en)
Other versions
KR20170090170A (ko
Inventor
김윤상
나재근
신호철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160010709A priority Critical patent/KR102441328B1/ko
Priority to US15/402,709 priority patent/US10217443B2/en
Priority to CN201780008643.2A priority patent/CN108604096B/zh
Priority to EP17744548.3A priority patent/EP3360022B1/en
Priority to PCT/KR2017/000866 priority patent/WO2017131427A1/en
Publication of KR20170090170A publication Critical patent/KR20170090170A/ko
Priority to US16/230,329 priority patent/US10410608B2/en
Application granted granted Critical
Publication of KR102441328B1 publication Critical patent/KR102441328B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1415—Digital output to display device ; Cooperation and interconnection of the display device with other functional units with means for detecting differences between the image stored in the host and the images displayed on the displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C27/00—Rotorcraft; Rotors peculiar thereto
    • B64C27/04—Helicopters
    • B64C27/08—Helicopters with two or more rotors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • B64C2201/127—
    • B64C2201/146—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Abstract

이동 로봇이 전송한 화면을 표시하는 방법 및 그 전자장치가 제공된다. 본 로봇의 이동을 원격으로 제어하는 전자장치는, 로봇으로부터 로봇에서 촬영한 영상, 시간 정보 및 로봇의 이동 속도 정보를 수신하는 통신부, 로봇을 제어하는 명령을 수신하는 입력부, 영상에 대응하는 화면을 표시하는 디스플레이부 및 시간 정보에 기초하여 전자장치 및 로봇간의 타임 딜레이(time delay)를 계산하고, 타임 딜레이 정보에 기초하여 그래픽 오브젝트를 화면에 중첩하여 표시하도록 디스플레이부를 제어하고, 입력부를 통해 입력된 명령을 로봇으로 전송하도록 통신부를 제어하는 제어부를 포함할 수 있다.

Description

이동 로봇이 전송한 화면을 표시하는 방법 및 그 전자장치{METHOD FOR DISPLAYING AN IMAGE AND AN ELECTRONIC DEVICE THEREOF}
본 발명은 이동 로봇을 원격으로 조정할 수 있는 전자장치 및 전자장치에서 이동 로봇이 촬영한 영상 및 그와 관련된 정보를 화면에 표시하는 방법에 관한 것이다.
최근 들어 컴퓨터 기술 및 통신 기술의 발전으로 인해 위치 이동이 가능한 로봇에 카메라를 장착하여 로봇을 통해 영상을 촬영하고 통신을 통해 원격지에서 로봇으로부터 촬영된 영상을 모니터링 하면서 로봇을 원격으로 조정하는 시스템이 개발되고 있다.
이러한 이동 로봇을 이용하여 원격으로 모니터링 하는 시스템에 있어서 원격지의 사용자는 휴대 단말을 통해 이동 로봇이 촬영한 영상을 보면서 이동 로봇을 제어한다. 즉 사용자는 휴대 단말에서 이동 로봇이 전송한 영상을 보면서, 이동 로봇을 전후좌우로 이동 시킬 수 있다. 그런데 이동 로봇이 촬영한 영상을 처리하면서 시간 지연이 발생하고 또한 이동 로봇과 원격지 사용자를 연결하는 통신 네트워크에서의 전송 지연에 따라 사용자의 휴대 단말에 표시되는 영상과 사용자의 원격 제어 신호 간에 시간 지연이 발생되어 사용자가 이동 로봇을 조정하는데 어려움이 있다.
본 발명의 일 실시 예는 전술한 문제점을 해결하기 위해 로봇과 로봇을 조정하는 전자장치간의 지연 시간을 계산하고 지연 시간에 대한 정보를 전자장치의 화면에 표시함으로써 사용자가 지연 시간을 고려하여 로봇을 조정할 수 있도록 함으로써 로봇을 원할하게 제어하는 방법을 제공하고자 한다.
본 발명의 일 실시예에 따른 로봇의 이동을 원격으로 제어하는 전자장치는, 상기 로봇으로부터 상기 로봇에서 촬영한 영상, 시간 정보 및 상기 로봇의 이동 속도 정보를 수신하는 통신부; 상기 로봇을 제어하는 명령을 수신하는 입력부; 상기 영상에 대응하는 화면을 표시하는 디스플레이부; 및 상기 시간 정보에 기초하여 상기 전자장치 및 상기 로봇간의 타임 딜레이(time delay)를 계산하고, 상기 타임 딜레이 정보에 기초하여 그래픽 오브젝트를 상기 화면에 중첩하여 표시하도록 상기 디스플레이부를 제어하고, 상기 입력부를 통해 입력된 명령을 상기 로봇으로 전송하도록 상기 통신부를 제어하는 제어부;를 포함한다.
한편, 본 발명의 일 실시예에 따른, 로봇의 이동을 원격으로 제어할 수 있는 전자장치의 화면 표시 방법은, 상기 로봇으로부터 상기 로봇에서 촬영한 영상, 시간 정보 및 상기 로봇의 이동 속도 정보를 수신하는 동작; 상기 영상에 대응하는 화면을 표시하는 동작; 상기 시간 정보에 기초하여 상기 전자장치 및 상기 로봇간의 타임 딜레이를 계산하는 동작; 상기 타임 딜레이 정보에 기초하여 그래픽 오브젝트를 화면 상에 중첩하여 표시하는 동작; 및 상기 로봇을 제어하는 명령을 입력 받고 상기 명령을 상기 로봇으로 전송하는 동작;을 포함한다.
본 발명의 일 실시 예에 따른 전자장치는 로봇과 로봇을 원격으로 조정할 수 있는 전자장치간에 발생하는 지연 시간 정보를 로봇이 촬영한 영상에 중첩하여 표시함으로써 사용자가 현재 시점에서 로봇의 위치를 고려하여 명령을 입력할 수 있어 로봇을 효과적으로 제어할 수 있다.
도 1은 본 발명의 일 실시예에 따른 시스템 구성을 나타낸 도면이다.
도 2는 로봇에서 촬영한 영상과 전자장치의 디스플레이에 표시되는 화면간의 시간 지연을 개념적으로 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 전자장치의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 로봇의 블록도이다.
도 5는 다양한 형태의 로봇의 예를 도시한다.
도 6은 본 발명의 일 실시예에 따른 전자장치의 디스플레이부에 표시되는 화면의 예를 도시한다.
도 7은 본 발명의 일 실시예에 따른 전자장치가 로봇으로부터 수신한 영상 신호를 처리하는 과정에 대한 흐름도이다.
도 8a 내지 도 11은 본 발명의 일 실시예에 따른 전자장치가 로봇으로부터 수신한 영상 신호 및 시간 지연 정보를 화면에 표시하는 예를 도시한다.
도 12는 본 발명의 다른 실시예에 따른 시스템 구성을 도시한다.
이하, 본 문서의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다" 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)" 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어(hardware)적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"메모리라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU(central processing unit) 또는 AP(application processor))를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 문서의 다양한 실시 예들에 따른 전자장치는, 예를 들면, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예들에 따르면, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
본 문서에서 '로봇의 시야'는 로봇에 포함된 카메라가 촬영하는 영역을 의미할 수 있다.
본 문서에서 '영상'은 영상 신호의 의미로 해석 될 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시 예들에 따른 전자장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자장치를 사용하는 사람 또는 전자장치를 사용하는 장치(예: 인공지능 전자장치)를 지칭할 수 있다.
도 1은 본 발명의 일 실시예에 따른 시스템 구성을 나타낸 도면이다.
도 1을 참조하면 전자장치(100) 및 로봇(200)이 도시되어 있다. 로봇(200)은 예를 들면 드론(drone) 형태의 비행체일 수 있으며 카메라를 포함할 수 있다. 로봇(200)의 다른 형태에 대해서는 도 5를 참조하여 후술하기로 한다. 로봇(200)은 카메라로 촬영한 영상을 전자장치(100)로 전송할 수 있다.
전자장치(100)는 디스플레이부를 포함할 수 있으며 로봇(200)이 전송한 영상을 디스플레이부에 표시할 수 있다. 전자장치(100)는 로봇(200)을 조정하는 원격 조정기로 동작할 수 있다. 예를 들면 사용자는 로봇(200)으로부터 전송된 영상을 보면서 로봇(200)을 조정할 수 있다. 로봇(200)은 촬영한 영상을 무선으로 전자장치(100)로 전송할 수 있다. 이 때 로봇(200)에서 촬영한 영상과 전자장치(100)의 디스플레이부에 표시되는 화면 사이에는 지연 시간(latency)이 발생할 수 있다. 구체적으로, 로봇(200)과 전자장치(100)간의 프로토콜의 차이, 정보 전달 크기의 차이, 영상 처리 프로세서의 성능 차이 및 무선 통신 환경에 의해 지연 시간이 발생될 수 있다.
도 2는 로봇(200)에서 촬영한 영상과 전자장치(100)의 디스플레이부에 표시되는 화면간의 시간 지연을 개념적으로 도시하는 도면이다.
도 2를 참조하면, 로봇(200)이 촬영한 영상(10) 및 전자장치(100)의 디스플레이부에 표시되는 영상(20)이 도시되어 있다. 로봇(200)이 촬영한 영상(10)과 전자장치(100)의 디스플레이부에 표시되는 영상(20)간에는 시간 지연(30)이 발생될 수 있다. 예를 들면 지연 시간(30)은 t1일 수 있다. 즉, 로봇(200)이 촬영한 영상(10)을 사용자는 t1 시간 이후에 전자장치의 디스플레이부에 표시된 화면을 통해 볼 수 있다. 사용자가 전자장치(100)의 화면에 표시된 첫 번째 화면을 보면서 로봇(200)을 조정하기 위한 명령을 입력하는 경우, 로봇(200)은 세 번째 화면에서 사용자의 명령을 받게 되며, 로봇(200)이 명령에 따라 동작을 수행한 결과는 t1 시간 이후에 전자장치(100)의 디스플레이부에 표시될 수 있다. 예를 들면 사용자가 디스플레이부에 표시된 첫 번째 화면을 보면서 로봇(200)의 이동을 정지하는 정지 명령을 입력하면, 실제로 로봇(200)은 정지 하였지만, 로봇(200)으로부터 전송되는 영상은 로봇(200)이 이동하는 상태가 t1 시간 동안 지속된 후에 로봇(200)이 정지된 상태에서 촬영한 영상일 수 있다.
즉, 로봇(200)에서 촬영한 영상과 전자장치(100)의 디스플레이부에 표시되는 영상 사이에는 로봇(200)과 전자장치(100)간의 프로토콜의 차이, 정보 전달 크기의 차이, 영상 처리 프로세서의 성능 차이 및 무선 통신 환경에 의해 지연 시간(30)이 발생할 수 있다.
도 3은 본 발명의 일 실시예에 따른 전자장치(100)의 블록도이다.
도 3을 참조하면 전자장치(100)는 제어부(101), 통신부(103), 디스플레이부(105) 및 입력부(107)를 포함할 수 있다.
제어부(101)는 예를 들면, 운영 체제 또는 어플리케이션 프로그램을 구동하여 제어부(101)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 제어부(101)는, 예를 들면, SoC(system on chip)로 구현될 수 있다. 한 실시예에 따르면, 제어부(101)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 제어부(101)는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
제어부(101)는 통신부(103)를 통해 로봇(200)으로부터 수신된 시간 정보에 기초하여 전자장치(100) 및 로봇(200) 간의 타임 딜레이를 계산하고, 타임 딜레이 정보에 기초하여 디스플레이부(105)의 화면상에 표시되는 그래픽 오브젝트의 위치또는 크기를 결정하고, 그래픽 오브젝트를 화면에 중첩하여 표시하도록 디스플레이부(105)를 제어할 수 있다. 제어부(101)는 입력부(107)를 통해 입력된 명령을 로봇(200)으로 전송하도록 통신부(103)를 제어할 수 있다.
구체적으로, 제어부(101)는 로봇(200)의 이동 속도에 기초하여 화면상에서 표시되는 그래픽 오브젝트의 위치를 결정할 수 있다. 이때, 그래픽 오브젝트는 화면과 동일한 비율의 사각형 일 수 있다. 또한, 제어부(101)는 타임 딜레이에 대응하는 시간 동안 로봇(200)이 이동한 거리를 반영한 위치에서 로봇(200)의 카메라가 촬영하는 화각에 대응하도록 그래픽 오브젝트의 크기를 결정할 수 있다. 그래픽 오브젝트는 시간이 경과됨에 따라 크기가 변경될 수 있다.
또한, 제어부(1010)는 화면 및 그래픽 오브젝트를 디스플레이부(105)의 제 1 영역에 표시하고, 디스플레이부(105)의 제 2 영역에 타임바 및 타임 딜레이에 기초한 딜레이바를 표시하도록 디스플레이부(105)를 제어할 수 있다. 딜레이바는 시간이 경과됨에 따라 길이가 가변 될 수 있다. 제어부(101)는 사용자가 입력한 명령에 대응하는 그래픽 오브젝트를 제 2 영역에 표시하도록 디스플레이부(101)를 제어할 수 있다.
또한, 제어부(101)는 로봇(200)의 방향 전환에 대한 정보를 로봇(200)으로부터 수신하고, 방향 전환에 기초하여 방향 전환에 대응하는 그래픽 오브젝트의 화면상 표시 위치를 결정하고 위치에 그래픽 오브젝트를 화면에 중첩하여 표시하도록 디스플레이부(105)를 제어할 수 있다. 또한, 제어부(101)는 로봇(200)이 방향을 전환하는 경우, 로봇(200)이 회전하는 회전축을 화면에 함께 표시하도록 디스플레이부(105)를 제어할 수 있다.
통신부(103)는 로봇(200)으로부터 로봇(200)에서 촬영한 영상, 시간 정보 및 로봇(200)의 이동 속도 정보를 수신할 수 있다. 시간 정보는 로봇(200)이 영상을 촬영한 시간에 대한 정보일 수 있다. 로봇(200)의 이동 속도 정보에는 로봇(200)의 이동 방향, 이동 속도, 로봇(200)의 자세 및 로봇(200)의 이동 가속도 정보가 포함될 수 있다.
또한, 통신부(103)는 사용자로부터 입력된 로봇 제어 명령을 로봇(200)으로 전송할 수 있다. 예를 들면, 통신부(103)는 로봇(200)의 전진, 후진, 좌회전, 우회전, 상승, 하강 및 정지에 대한 명령을 로봇(200)으로 전송할 수 있다. 또한 통신부(103)는 로봇(200)의 방향 전환에 대한 정보를 로봇(200)으로부터 수신할 수 있다.
한편, 통신부(103)은 셀룰러 모듈, WiFi 모듈, 블루투스 모듈, NFC 모듈 및 RF(radio frequency) 모듈을 포함할 수 있다.
셀룰러 모듈은, 예를 들면, 통신 네트워크를 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 셀룰러 모듈은 가입자 식별 모듈(예: SIM(subscriber identification module) 카드)를 이용하여 통신 네트워크 내에서 전자장치(101)의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈은 제어부가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈은 커뮤니케이션 프로세서(CP: communication processor)를 포함할 수 있다.
WiFi 모듈, 블루투스 모듈 또는 NFC 모듈 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈, WiFi 모듈, 블루투스 모듈 또는 NFC 모듈중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다.
RF 모듈은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈은, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter), LNA(low noise amplifier), 또는 안테나(antenna) 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈, WiFi 모듈, 블루투스 모듈, GNSS 모듈 또는 NFC 모듈 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.
디스플레이부(105)는, 예를 들면, 액정 디스플레이(liquid crystal display(LCD)), 발광 다이오드(light-emitting diode(LED)) 디스플레이, 유기 발광 다이오드(organic light-emitting diode(OLED)) 디스플레이, 또는 마이크로 전자기계 시스템(microelectromechanical systems(MEMS)) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(105)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트(text), 이미지(image), 비디오(video), 아이콘(icon), 또는 심볼(symbol) 등)을 표시할 수 있다. 디스플레이(105)는, 터치 스크린(touch screen)을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치(touch), 제스처(gesture), 근접(proximity), 또는 호버링(hovering) 입력을 수신할 수 있다.
디스플레이부(105)는 로봇(200)으로부터 전송된 영상에 대응하는 화면을 표시할 수 있다. 구체적으로, 로봇(200)에 포함된 카메라에서 촬영한 영상은 전자장치(100)로 전송되고, 전자장치(100)는 전송된 영상에 대응하는 화면을 디스플레이부(105)에 표시할 수 있다. 또한 디스플레이부(105)는 전자장치(100)와 로봇(200)간의 타임 딜레이 정보에 기초한 그래픽 오브젝트를 화면에 중첩하여 표시할 수 있다. 그래픽 오브젝트는 디스플레이부(105)에 표시되는 화면과 동일한 비율의 사각형일 수 있다. 디스플레이부(105)는 제 1 영역 및 제 2 영역을 포함할 수 있다. 디스플레이부(105)의 제 1 영역에는 로봇(200)에서 카메라가 촬영한 영상에 대응하는 화면 및 타임 딜레이 정보에 기초한 그래픽 오브젝트가 표시될 수 있다. 예를 들면 디스플레이부(105)에는 네모 박스 형태의 그래픽 오브젝트가 표시될 수 있다. 디스플레이부(105)의 제 2 영역에는 타임 바(time bar) 및 딜레이 바(delay bar)가 표시될 수 있다. 타임 바의 길이는 디스플레이부(105)에 표시되는 화면의 한 변의 길이와 동일하거나 작을 수 있다. 타임 바에는 시간 정보가 표시될 수 있으며 타임 바의 길이는 시간에 비례할 수 있다. 딜레이 바는 타임 딜레이에 대한 정보를 표시할 수 있다. 딜레이 바의 길이는 타임 딜레이에 비례할 수 있다. 즉, 딜레이 바는 시간이 경과됨에 따라 길이가 가변될 수 있다.
디스플레이부(105)의 제 2 영역에는 사용자가 입력한 명령에 대응하는 그래픽 오브젝트가 표시될 수 있다. 디스플레이부(105)에는 로봇(200)의 방향 전환에 기초한 그래픽 오브젝트가 화면에 중첩하여 표시될 수 있다. 또한 디스플레이부(105)에는 로봇(200)이 회전하는 회전축이 표시될 수 있다.
입력부(107) 예를 들면, 터치 패널(touch panel), (디지털) 펜 센서(pen sensor), 키(key), 또는 초음파(ultrasonic) 입력 장치를 포함할 수 있다. 터치 패널은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널은 제어 회로를 더 포함할 수도 있다. 터치 패널은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트(sheet)를 포함할 수 있다. 키는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드(keypad)를 포함할 수 있다. 초음파 입력 장치는 마이크(예: 마이크)를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수도 있다.
입력부(107)는 로봇(200)을 제어하는 명령을 수신할 수 있다. 예를 들면 사용자는 입력부(107)를 통해 로봇(200)을 전진, 후진, 좌회전, 우회전, 상승, 하강 및 정지시키는 명령을 입력할 수 있다.
한편, 도 3에 도시된 구성은 일 실시예에 불과할 뿐, 전자 장치가 구현되는 실시예에 따라 다른 구성(예를 들어, 메모리, 카메라, 센서 등)이 추가되거나 기존의 구성이 삭제될 수 있다.
도 4는 본 발명의 일 실시예에 따른 로봇(200)의 블록도이다.
도 4를 참조하면 로봇(200)은 제어부(201), 통신부(203), 카메라부(205) 및 구동부(207)를 포함할 수 있다.
제어부(201)는 로봇(200)의 전반적인 동작을 제어한다. 특히, 제어부(201)는 카메라부(205)에 의해 촬영된 영상 및 센서부(미도시)에 의해 획득된 다양한 정보(예를 들어, 위치 정보, 이동 속도, 가속도, 방향 정보, 시간 정보 등)를 외부의 전자 장치(100)로 전송하도록 통신부(203)를 제어한다.
또한, 제어부(201)는 전자 장치(100)로부터 수신된 사용자 명령에 따라 로봇(200)의 움직임이나 동작을 제어하도록 구동부(207)를 제어할 수 있다.
통신부(203)는 전자 장치(100)로 로봇(200)에서 촬영한 영상, 시간 정보 및 로봇(200)의 이동 속도 정보를 전송할 수 있다. 시간 정보는 로봇(200)이 영상을 촬영한 시간에 대한 정보일 수 있다. 로봇(200)의 이동 속도 정보에는 로봇(200)의 이동 방향, 이동 속도, 로봇(200)의 자세 및 로봇(200)의 이동 가속도 정보가 포함될 수 있다.
또한, 통신부(203)는 사용자로부터 입력된 로봇 제어 명령을 전자 장치(100) 로부터 수신할 수 있다. 예를 들면, 통신부(203)는 로봇(200)의 전진, 후진, 좌회전, 우회전, 상승, 하강 및 정지에 대한 명령을 전자장치(100)로부터 수신할 수 있다. 또한, 통신부(203)는 로봇(200)의 방향 전환에 대한 정보를 전자장치(100)로 전송할 수 있다.
한편, 통신부(203)은 셀룰러 모듈, WiFi 모듈, 블루투스 모듈, NFC 모듈 및 RF(radio frequency) 모듈을 포함할 수 있다.
카메라부(205)는 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor), 또는 플래시(flash)(예: LED 또는 xenon lamp 등)를 포함할 수 있다.
구동부(207)는 적어도 하나의 모터를 포함할 수 있으며, 로봇(200)을 이동시킬 수 있다. 로봇(200)이 드론 형태인 경우 구동부(207)는 로봇(200)을 전진, 후진, 좌회전, 우회전, 상승, 하강 및 제자리에서 일정한 고도를 유지하도록 할 수 있다. 구동부(207)는 전자장치(100)로부터 전송된 명령에 따라 구동될 수 있다.
실시 형태에 따라 로봇(200)은 센서부(미도시)를 더 포함할 수 있다. 센서부에는 예를 들면 자이로 센서 및 가속도 센서가 포함될 수 있다. 로봇(200)은 GPS 모듈을 통해 로봇의 위치 정보 및 이동 속도에 대한 정보를 취득할 수 있으며, 자이로 센서를 통해 로봇의 자세에 대한 정보를 취득할 수 있으며, 가속도 센서를 통해 로봇(200)의 이동 가속도에 대한 정보를 취득할 수 있다. 로봇(200)은 로봇(200)의 위치 정보, 이동 속도, 가속도, 방향 정보, 카메라로 촬영한 영상 및 이에 대한 시간 정보를 전자장치(100)로 전송할 수 있다.
도 5는 다양한 형태의 로봇의 예를 도시한다.
도 5를 참조하면 드론형 로봇(501), 바퀴 구동 로봇(503), 이족 보행 로봇(505) 및 캐터필러 구동 로봇(507)이 도시되어 있다. 로봇(501, 503, 505, 507)은 카메라를 포함하며 카메라를 통해 촬상한 영상을 전자장치로 전송할 수 있다.
로봇은 스탠드 얼론(standalone)(501, 503, 505)형 및 독킹 스테이션(docking station)형(507)으로 나뉠 수 있다. 스탠드 얼론(standalone)형 로봇(501, 503, 505)은 독립적으로 모든 기능을 수행할 수 있다. 독킹 스테이션형 로봇(507)은 기능적으로 분리된 두 개 이상의 전자장치가 하나로 결합되어 로봇의 모든 기능을 수행할 수 있다. 예를 들면 독킹 스테이션형 로봇(507)은 본체 및 구동부를 포함하며 본체가 독킹 스테이션(구동부)에 장착되어 원하는 위치로 이동할 수 있다.
드론형 로봇(501)은 적어도 하나의 프로펠러를 포함할 수 있으며 프로펠러가 구동되어 로봇(501) 본체를 전진, 후진, 좌회전, 우회전, 상승 및 하강시키거나 또는 일정 고도를 유지한 상태로 정지할 수 있다.
바퀴 구동 로봇(503)은 구동부로 휠(wheel)을 사용할 수 있다. 바퀴 구동 로봇(503)은 휠에 의해 전진, 후진, 좌회전 및 우회전할 수 있다.
이족 보행 로봇(505)은 레그(leg)를 포함하며 사람이 보행하는 것처럼 움직일 수 있다.
캐터필러 구동 로봇(507)은 두 개의 캐터필러에 의해 구동될 수 있다.
이하 본 발명의 실시예에서는 드론 형태의 로봇(501)을 예로 설명하지만 이에 한정되지 않는다.
도 6은 본 발명의 일 실시예에 따른 전자장치(100)의 디스플레이부에 표시되는 화면의 예를 도시한다.
도 6을 참조하면 전자장치(100)의 디스플레이부(601)는 제 1 영역(602) 및 제 2 영역(606)을 포함할 수 있다. 제 1 영역(602)에는 로봇(200)에서 촬영한 영상(603)이 표시될 수 있다. 제 2 영역(606)에는 타임바(613), 딜레이바(609), 사용자가 입력한 명령에 대응하는 아이콘(611, 607)이 표시될 수 있다. 타임바(613)는 시간에 대한 정보를 포함하며 시간을 그래픽으로 나타낼 수 있다. 딜레이바(607)는 전자장치(100)와 로봇(200)간의 지연 시간에 대한 정보를 포함하며 지연 시간을 그래픽으로 나타낼 수 있다. 딜레이바(609)로부터 사용자는 전자장치(100)와 로봇(200)간의 지연 시간에 대한 정보를 시각적으로 확인할 수 있다. 딜레이바(609)의 길이가 길어지면, 늘어난 길이만큼 로봇(200)과 전자장치(100)간의 지연 시간이 증가됨을 의미한다.
아이콘(611)은 사용자의 정지 명령에 대응하는 그래픽일 수 있다. 아이콘 (607)은 사용자의 회전 명령에 대응하는 그래픽일 수 있으며 화살표로 표시될 수 있다. 화살표의 방향은 로봇(200)의 회전 방향을 나타낼 수 잇다. 예를 들면 사용자가 우회전 명령을 입력하면, 우측 화살표 방향의 아이콘이 표시되고 사용자가 좌회전 명령을 입력하면, 좌측 화살표 방향의 아이콘이 표시될 수 있다. 화살표의 길이는 사용자가 회전 명령을 입력하는 시간에 대응될 수 있다. 예를 들면 사용자가 0.5초 동안 좌회전 명령을 입력하는 경우 0.5초 시간에 대응되는 길이를 갖는 좌측 화살표 방향의 아이콘(607)이 제 2 영역(606)에 표시될 수 있다. 사용자가 0.3초 동안 우회전 명령을 입력하는 경우 0.3초 시간에 대응하는 길이를 갖는 우측 화살표 방향의 아이콘이 제 2 영역(606)에 표시될 수 있다.
딜레이바(609)는 전자장치(100)와 로봇(200)간의 지연 시간(30)을 나타낼 수 있다. 예를 들면 딜레이바(609)는, 로봇(200)이 촬영한 영상이 전자장치(100)의 디스플레이부(601)에 표시될 때까지의 시간을 의미할 수 있다. 딜레이바(609)의 길이는 지연 시간에 대응할 수 있다. 예를 들면 딜레이바(609)의 길이는 지연 시간에 비례할 수 있으며, 지연 시간이 길면 딜레이바(609)의 길이가 길고, 지연 시간이 짧으면 딜레이바(609)의 길이가 짧을 수 있다. 디스플레이부(601)의 제 1 영역(602) 하단에는 지연 시간(605)이 숫자로 표시될 수 있다.
아이콘(611, 607) 는 사용자가 명령을 입력한 시간에 기초하여 표시될 수 있다. 예를 들면 사용자가 지연 시간이 1.2초인 상태에서 좌회전 명령을 입력하면, 딜레이바(609)의 1.2초 위치에서 좌측 화살표 방향의 아이콘(607)이 표시될 수 있다. 사용자가 지연 시간이 1.8초인 상태에서 정지 명령을 입력하면, 딜레이바(609)의 1.8초 위치에서 정지 명령 아이콘(611)이 표시될 수 있다.
전자장치(100)와 로봇(200)간의 지연 시간에 대해서는 도 2에서 설명한 바와 동일하므로 여기서는 상세한 설명을 생략한다.
또한, 도 6에서는 타임바 및 딜레이바를 막대 형태로 도시하였지만 실시 형태에 따라 타임바 및 딜레이바는 다른 형태(예를 들어, 원형)로 표시될 수도 있다.
도 7은 본 발명의 일 실시예에 따른 전자장치(100)가 로봇(200)으로부터 수신한 영상 신호를 처리하는 과정에 대한 흐름도이다.
전자장치(100)는 동작 701에서 로봇(200)에서 촬영한 영상, 시간 정보 및 로봇(200)의 이동 속도 정보를 수신할 수 있다. 로봇(200)은 카메라(205)에서 촬영한 영상을 전자장치(100)로 전송할 수 있다. 로봇(200)은 영상을 전자장치(100)로 전송하면서 영상 신호에 영상이 촬영된 시간 정보를 함께 전송할 수 있다. 이때, 시간 정보는 영상 신호에 포함되어 전자장치(100)로 전송되거나 또는 영상 신호와는 다른 통신 채널을 이용하여 전자장치(100)로 전송될 수 있다. 또한 로봇(200)은 로봇(200)의 이동 속도에 대한 정보를 전자장치(100)로 전송할 수 있다. 이동 속도에 대한 정보 겨시 영상 신호에 포함되어 전자장치(100)로 전송되거나 또는 영상 신호와는 다른 별도의 통신 채널을 이용하여 전자장치(100)로 전송될 수 있다. 로봇(200)의 이동 속도에 대한 정보는 로봇(200)에 포함된 센서부를 통해 획득될 수 있다. 예를 들면 로봇(200)에 포함된 자이로 센서 및 가속도 센서를 통해 로봇(200)의 이동 속도 또는 가속도 정보가 획득될 수 있다. 또는 로봇(200)에 포함된 GPS를 통해 로봇(200)의 이동 속도에 대한 정보가 회득될 수도 있다.
전자장치(100)는 동작 702에서 로봇(200)으로부터 수신된 영상에 대응하는 화면을 표시할 수 있다. 전자장치(100)는 디스플레이부(105)에 로봇(200)으로부터 전송된 영상을 표시할 수 있다. 전자장치(100)는 로봇(200)으로부터 수신된 영상 신호를 이용하여 화면을 구성하고 디스플레이부(105)에 표시할 수 있다.
전자장치(100)는 동작 703에서 로봇(200)으로부터 수신된 시간 정보에 기초하여 전자장치(100) 및 로봇(200)간의 타임 딜레이를 계산할 수 있다. 전자장치(100)는 로봇(200)으로부터 수신된 시간 정보와 현재 전자장치(100)의 시간 정보와의 차이를 계산하여 타임 딜레이 정보를 획득할 수 있다. 예를 들면 로봇(200)으로부터 수신한 영상의 촬영 시간이 't'이고 현재 전자장치(100)의 시간이 't+a'인 경우 타임 딜레이는 'a'일 수 있다.
전자장치(100)는 동작 704에서 타임 딜레이 정보에 기초하여 화면상에 표시되는 그래픽 오브젝트의 위치를 결정할 수 있다. 예를 들면, 그래픽 오브젝트는 화면과 동일한 비율의 사각형 일 수 있다. 또한, 전자 장치(100)는 타임 딜레이에 대응하는 시간 동안 로봇(200)이 이동한 거리를 반영한 위치에서 로봇(200)의 카메라(205)가 촬영하는 화각에 대응되도록 그래픽 오브젝트의 크기를 결정할 수 있다. 그래픽 오브젝트는 시간이 경과됨에 따라 크기가 변경될 수 있다. 즉, 전자장치(100)는 타임 딜레이에 대응하는 시간 동안 로봇(200)이 이동하는 거리를 예측하고 거리에 대응하는 화면상의 위치를 결정하고 위치에 그래픽 오브젝트를 표시할 수 있다.
전자장치(100)는 화면 및 그래픽 오브젝트를 디스플레이부(105)의 제 1 영역에 표시하고, 디스플레이부(105)의 제 2 영역에 타임바 및 타임 딜레이에에 기초한 딜레이바를 표시할 수 있다. 딜레이바는 시간이 경과됨에 따라 길이가 가변 될 수 있다. 타임바 및 딜레이바는 막대 그래프의 형태를 가질 수 있으며, 시간에 따라 길이가 가변 될 수 있다. 타임바 및 딜레이바에 대해서는 도 6에서 상세히 설명하였으므로 여기서는 설명을 생략한다.
전자장치(100)는 동작 705에서 로봇(200)을 제어하는 명령을 입력 받고 명령을 로봇(200)으로 전송할 수 있다. 전자장치(100)는 사용자로부터 로봇(200)을 제어하는 명령을 입력받을 수 있다. 예를 들면 전자장치(100)는 로봇(200)의 전진, 후진, 좌회전, 우회전, 상승, 하강 및 정지에 대한 명령을 사용자로부터 입력 받고 로봇(200)으로 전송할 수 있다. 이때, 전자장치(100)는 명령에 대응하는 그래픽 오브젝트를 제 2 영역에 표시할 수 있다.
또한, 전자장치(100)는 로봇(200)의 방향 전환에 대한 정보를 로봇(200)으로부터 수신하고, 방향 전환에 기초하여 방향 전환에 대응하는 그래픽 오브젝트의 화면상 표시 위치를 결정하고, 위치에 그래픽 오브젝트를 화면에 중첩하여 표시할 수 있다. 또한, 전자장치(100)는 로봇(200)이 회전하는 회전축을 화면에 표시할 수 있다.
전자장치는 타임 딜레이 정보에 기초하여 그래픽 오브젝트를 화면에 중첩하여 표시할 수 있다. 그래픽 오브젝트의 표시 형태에 대해서는 도 8a 내지 도 11을 이용하여 후술할 것이다.
도 8a 내지 도 11은 본 발명의 일 실시예에 따른 전자장치가 로봇(200)으로부터 수신한 영상을 화면에 표시하는 예를 도시한다.
도 8a는 로봇(200)이 전진하는 중에 사용자가 정지 명령을 입력한 예를 도시한다. 도 8a를 참조하면, 디스플레이부(105)에 로봇(200)으로부터 전송된 영상(801), 현재 시점에서 화면상의 로봇(200)의 위치를 나타내는 그래픽 오브젝트(803), 타임바(809), 딜레이바(805) 및 정지 명령 아이콘(807)이 도시되어 있다. 로봇(200)이 전진하는 경우, 로봇(200)에서 전송된 영상은 전자장치(100)의 디스플레이부(105)의 제 1 영역에 표시될 수 있다. 예를 들면 로봇(200)과 전자장치(100)간에 지연시간이 1.8초인 경우, 딜레이바(805)는 1.8초에 해당하는 길이로 표시될 수 있다. 사용자가 지연시간이 1.8초인 상태에서 정지 명령을 입력하면, 정지 명령 아이콘(807)은 딜레이바(805)의 우측 끝부분에 중첩되어 표시될 수 있다. 아이콘(807)은 그래픽 오브젝트일 수 있다. 이 때 아이콘(807)은 1.8초에 해당하는 위치에 표시될 수 있다. 그리고, 전자장치(100)는 정지명령을 로봇(200)으로 전송할 수 있다.
그래픽 오브젝트(803)는 현재 시점에서 로봇(200)의 위치를 나타내는 가이드 UI(user Interface)일 수 있다. 그래픽 오브젝트(803)는 로봇(200)과 전자장치(100)의 지연 시간에 기초하여 표시될 수 있으며, 현재 시점에서 화면상에서의 로봇(200)이 위치를 나타낼 수 있다. 전자장치(100)는 지연 시간 정보를 화면상의 공간 정보로 변환하여 그래픽 오브젝트(803)로 표시할 수 있다. 즉, 전자 장치(100)는 지연 시간 정보에 따라 그래픽 오브젝트(803)의 크기를 변경하여 표시할 수 있다. 구체적으로, 그래픽 오브젝트(803)는 현재 시점에서 로봇(200)이 위치하는 위치에서의 로봇(200)의 시야에 대응하는 정보를 나타낼 수 있다. 예를 들어, 화면에 표시되는 영상은 1.8초 전에 로봇(200)이 촬영했던 영상이며, 로봇(200)의 현재 위치는 화면(801)상에서 그래픽 오브젝트(803)가 표시된 위치에 대응할 수 있다.
그래픽 오브젝트(803)는 지연 시간이 커질수록 그래픽 오브젝트(803)의 크기는 점점 작아지고 지연 시간이 작아질수록 그래픽 오브젝트(803)의 크기는 점점 커질 수 있다. 즉, 지연 시간이 작을수록 현재 화면과 유사하므로, 그래픽 오브젝트(803)의 크기는 현재 화면과 유사하도록 커질 수 있다.
사용자로부터 정지 명령이 입력되는 경우, 로봇(200)은 더 이상 전진하지 않으므로 로봇(200)과 전자장치(100)간의 지연시간은 점점 작아질 수 있으며 이에 따라 정지 명령 아이콘(807)의 위치는 왼쪽으로 이동될 수 있다. 또한 그래픽 오브젝트(813)의 크기는 점차적으로 커지다가 지연시간이 '0' 이 되는 순간에는 화면에서 사라질 수 있다.
도 8a의 둘째 도면을 참조하면, 지연 시간이 첫째 도면에 비해 작아져서 정지 명령 아이콘(811)이 좌측으로 이동되어 표시되는 것을 도시한다. 지연 시간이 작아짐에 따라 그래픽 오브젝트(813)의 크기는 첫째 도면에 비해 크게 표시될 수 있다.
도 8a의 셋째 도면을 참조하면 지연시간이 '0' 이 된 순간이 도시되어 있다. 정지 명령에 대응하는 아이콘(815)은 딜레이바의 좌측 끝에 위치할 수 있으며, 그래픽 오브젝트(813)는 화면(817)에서 사라질 수 있다.
도 8b는 로봇(200)이 회전하는 동안 전자장치의 화면(100)에 표시되는 그래픽 오브젝트의 예를 도시한다. 도 8b를 참조하면 로봇(200)에서 전송한 영상(821), 그래픽 오브젝트(823), 타임바(829), 딜레이바(825) 및 회전 명령 아이콘(827)이 도시되어 있다. 그래픽 오브젝트(823)는 사용자의 회전 명령에 따라 현재 시점에서 로봇(200)의 시야에 대한 정보를 나타내는 가이드 UI일수 있다. 또한 그래픽 오브젝트(823)는 로봇(200)이 회전함에 따라 화면에서 사라지는 영역을 나타낼 수 있다. 이때, 그래픽 오브젝트(823)에 의해 사라지는 영역을 나머지 영역과 다르게 표시할 수 있다. 예를 들어,사라지는 영역을 흑백으로 표시하고, 나머지 영역을 걸러로 표시할 수 있다. 또한, 그래픽 오브젝트(823)는 화면(821)상에서 로봇(200)이 회전하기 시작하는 위치를 고려하여 표시될 수 있다.
회전 명령 아이콘(827)은 예컨대 화살표로 표시될 수 있으며 사용자가 회전 명령을 입력하는 시간에 대한 정보를 포함할 수 있다. 사용자가 회전 명령을 길게 입력하면 화살표(827)의 길이는 길어지며, 사용자가 회전 명령을 짧게 입력하면 그만큼 화살표(827)의 길이는 짧아질 수 있다. 예를 들면, 사용자가 회전 명령 버튼을 5초 동안 누르면 5초에 대응하는 길이로 화살표가 표시될 수 있으며, 사용자가 회전 명령 버튼을 2초 동안 누르면 2초에 대응하는 길이로 화살표가 표시될 수 있다. 또한 화살표(827)의 방향은 회전 방향을 나타낼 수 있다. 예를 들면, 사용자가 좌회전 명령을 입력하면 좌측 화살표(827)가 표시되고 사용자가 우회전 명령을 입력하면 우측 화살표가 표시될 수 있다.
회전 명령 아이콘(827)의 길이는 로봇(200)이 회전을 멈추면 점점 줄어들 수 있다. 예를 들면, 사용자가 회전 명령을 5초 동안 계속해서 입력한 후 회전 명령을 중지하면, 회전 명령 아이콘(827)은 점점 길어지다가 줄어들면서 화면에서 사라질 수 있다.
로봇(200)이 전진하는 상태에서 사용자가 회전 명령을 입력하면 화면(821)에 로봇(200)이 회전하는 위치가 표시될 수 있다. 즉, 로봇(200)의 회전 위치를 나타내는 가상선(823)이 화면에 표시될 수 있다. 전자장치(100)는 지연 시간 및 사용자가 입력한 명령에 기초하여 화면(821)에 가상선(823)이 표시될 위치를 결정하고 가상선 을 표시할 수 있다. 가상선(823)의 위치는 지연 시간이 변동됨에 따라 좌측 또는 우측으로 이동될 수 있다. 가상선(823)이 표시되는 위치는 현재 로봇(200)이 위치에 대한 정보를 포함할 수 있다.
예를 들면 도 8b의 첫번째 도면을 참조하면 로봇(200)이 전진 중에 사용자가 좌회전 버튼을 누르면 로봇(200)은 전진을 멈추고 좌회전하기 시작한다. 좌회전 명령에 따라 로봇(200)은 전진을 멈추지만 지연 시간으로 인해 화면에는 로봇(200)이 전진하는 영상 및 로봇(200)이 좌회전함에 따라 화면에서 사라지게 될 우측 영역에 가상선(823)이 표시될 수 있다. 또한 디스플레이부(105)의 제 2 영역에는 좌회전 명령에 대응하는 좌측 화살표(827)이 표시될 수 있다.
사용자가 좌회전 버튼을 계속해서 누름에 따라 로봇(200)은 계속해서 좌회전을 한다. 또한 좌회전 명령에 대응하는 좌측 화살표(827)의 길이는 그만큼 더 늘어날 수 있다. 도 8b의 둘째 도면을 참조하면 좌측 화살표(831)의 길이는 첫째 도면의 화살표(827)에 비해 길게 표시되어 있다. 한편 지연 시간으로 인해 로봇(200)은 좀 더 직진하게 되므로 화면에는 로봇(200)의 직진 영상이 계속해서 표시되며 동시에 로봇(200)이 좀 더 좌회전함에 따라 가상선(833)의 위치는 좌측으로 이동되어 표시될 수 있다. 가상선(833)은 로봇(200)의 회전 각도에 대한 정보를 포함할 수도 있다.
사용자가 좌회전 명령을 계속해서 입력함에 따라 가상선은 계속해서 좌측으로 이동하며, 사용자가 좌회전 명령을 중지하면 로봇(200)은 좌회전을 멈추지만 지연시간으로 인해 가상선은 계속해서 좌측으로 이동하다가 화면에서 사라질 수 있다. 또한 좌회전 명령에 대응하는 좌측 화살표는 디스플레이부(105)의 제 2 영역의 좌측 끝까지 연장되면서 길어지다가 좌회전 명령이 입력되지 않음에 따라 점차적으로 줄어들면서 디스플레이부(105)의 제 2 영역에서 사라지게 된다.
도 8b의 셋째 도면을 참조하면 좌측 화살표(835)의 머리부분이 디스플레이부(105)의 좌측 끝 부분에 도달한 상태가 도시되어 있다. 시간이 경과함에 따라 좌측 화살표(835)는 점점 줄어들다가 디스플레이부(105)의 제 2 영역에서 사라질 수 있다.
도 9a는 로봇(200)이 전진 중 사용자의 정지 명령에 따라 전자장치(100)의 화면에 표시되는 그래픽 오브젝트의 다른 예를 도시한다. 그래픽 오브젝트는 시간이 경과됨에 따라 크기가 변경되어 표시될 수 있다. 첫째 도면은 사용자가 정지 명령을 입력하지 않은 상태, 둘째 도면은 사용자가 정지 명령을 입력한 상태, 셋째 및 넷째 도면은 정지 명령 입력 후 시간이 경과된 상태를 도시한다.
전자장치(100)는 사용자로부터 입력된 명령에 기초하여 그래픽 오브젝트(902)의 색상을 변경할 수 있다. 또한 전자장치(100)는 사용자로부터 입력된 명령 수신후 경과된 시간에 따라 그래픽 오브젝트(902)의 크기를 변경할 수 있다. 즉, 전자장치(100)는 지연시간에 기초하여 그래픽 오브젝트(902)의 크기를 변경할 수 있다.
도 9a의 첫째 도면을 참조하면 로봇(200)이 전송한 영상(901) 및 그래픽 오브젝트(902)가 도시되어 있다. 그래픽 오브젝트(902)는 화면과 동일한 비율(가로, 세로의 비율)의 사각형일 수 있다. 그래픽 오브젝트(902)의 크기는 로봇(200)과 전자장치(100)의 지연 시간에 따라 달라질 수 있다. 그래픽 오브젝트(902)의 색상은 사용자 명령의 입력에 따라 달라질 수 있다. 예를 들면 사용자 명령이 입력되지 않는 경우에는 빨간색으로 그래픽 오브젝트가 표시될 수 있고, 사용자 명령이 입력된 경우에는 파란색으로 그래픽 오브젝트가 표시될 수 있다.
디스플레이부(105)의 제 2 영역에는 타임바(905), 딜레이바(903) 및 명령바(904)가 표시될 수 있다. 명령바(904)의 길이는 해당 명령이 입력된 시간, 즉 해당 며명령이 지속된 시간을 나타낼 수 있다. 명령바(904)의 내부에는 해당 명령에 대응하는 텍스트가 표시될 수 있다. 예를 들면 명령바(904)는 직진 명령이 3초 동안 입력된 것을 의미할 수 있다. 디스플레이부(105)의 제 1 영역에는 로봇(200)이 전송한 영상에 대응하는 화면(901)이 표시되고 현재 로봇(200)의 위치를 나타내는 그래픽 오브젝트(902)가 빨간색으로 표시될 수 있다.
도 9a의 둘째 도면을 참조하면 디스플레이부(105)의 제 1 영역에는 그래픽 오브젝트(902)가 파란색으로 도시되어 있다. 그래픽 오브젝트(907)가 표시되는 위치는 현재 로봇(200)의 위치에 따라 결정될 수 있다. 그래픽 오브젝트(907)의 색상은 사용자 명령에 따라 결정될 수 있다.
디스플레이부(105)의 제 2 영역에는 사용자가 입력한 정지 명령에 대응하는 아이콘(909)가 표시될 수 있다. 예를 들면 사용자가 직진 명령을 3초 동안 입력한 후에 1.2초의 시간이 지난 후에 정지 명령을 입력하면, 명령바(909)의 길이는 1.8초에 대응하는 길이로 줄어들며, 정지 명령에 대응하는 아이콘(909)이 명령바(909)의 우측 끝 지점에 표시되고, 그래픽 오브젝트(907)는 빨간색(902)에서 파란색(907)으로 색상이 바뀌어 표시될 수 있다.
도 9a의 셋째 도면을 참조하면 로봇(200)이 정지함에 따라 로봇(200)과 전자장치(100)의 지연시간이 줄어들어 그래픽 오브젝트(911)의 둘째 도면의 그래픽 오브젝트(907)에 비해 상대적으로 크게 도시되어 있다.
즉, 로봇(200)의 현재 위치를 나타내는 그래픽 오브젝트(911)의 크기가 커질 수 있다. 지연시간이 줄어듦에 따라 명령바(912)의 길이는 줄어들고, 정지 명령에 대응하는 아이콘(913)은 좌측으로 이동될 수 있다.
도 9a의 넷째 도면을 참조하면 로봇(200)과 전자장치(100)의 지연시간이 '0'인 상태에서 그래픽 오브젝트(914)의 크기는 화면의 크기와 동일하며 정지 명령에 대응하는 아이콘(915)은 좌측 끝으로 이동될 수 있다.
도 9b는 로봇(200)을 회전시키는 사용자의 명령에 따라 전자장치의 화면에 표시되는 그래픽 오브젝트의 다른 예를 도시한다. 그래픽 오브젝트는 현재 시점에서 로봇의 시야에 대한 정보를 나타내는 가이드 UI일 수 있다.
도 9b를 참조하면 로봇(200)이 촬영한 영상에 대응하는 화면(931), 그래픽 오브젝트(932, 936, 938), 타임바(935), 딜레이바(933), 회전 명령 아이콘(934, 937, 939)이 도시되어 있다.
로봇(200)이 전진 중에 회전하는 경우 화면(931)에는 로봇(200)이 촬영한 영상(931) 및 로봇(200)의 회전에 따른 그래픽 오브젝트(932)가 표시될 수 있다. 그래픽 오브젝트는 가이드 UI일 수 있다. 전자장치(100)는 로봇(200)이 회전을 시작하는 경우 로봇(200)의 회전에 따라 화면상에서 사라지게 될 영역을 결정하고 상기 영역에 그래픽 오브젝트를 표시할 수 있다.
예를 들면 로봇(200)이 전진하다가 좌회전 하는 경우, 화면이 좌측으로 패닝(panning) 되면서 화면의 우측 영역은 점차적으로 사라질 수 있다. 그러나 로봇(200)과 전자장치(100)간의 지연 시간으로 인해 실제로 로봇(200)은 회전을 시작하였지만 전자장치(100)의 화면에는 여전히 로봇(200)의 직진 영상이 표시될 수 있다. 전자장치(100)는 현재 시점에 표시되는 로봇(200)의 직진 영상에 로봇(200)이 회전을 함으로 인해 화면에서 사라지게 되는 영역을 그래픽 오브젝트로 표시할 수 있다.
구체적으로 전자장치(100)는 로봇(200)과 전자장치(100)간의 지연시간 정보를 사용하여 화면(931)에서 사라지는 영역을 결정하고, 상기 영역에 그래픽 오브젝트를 표시할 수 있다. 시간이 경과함에 따라 화면에서 사라지는 영역은 점점 커지다가 로봇(200)과 전자장치(100)간의 지연시간이 줄어듦에 따라 화면에서 사라지는 영역도 점차로 감소한다.
도 9b의 첫째 도면을 참조하면 로봇(200)이 직진하면서 로봇(200)과 전자장치(100)간의 지연시간이 발생하고, 사용자의 회전 명령 입력에 따라 디스플레이부(105)의 제 2 영역에는 회전 명령에 대응하는 아이콘(934)이 표시될 수 있다. 회전 명령 아이콘(934)은 회전 방향 및 회전 명령이 입력된 시간에 대응하여 길이가 가변 되어 표시될 수 있다. 화면 우측에는 로봇(200)의 회전에 따라 화면에서 사라지게 될 영역(932)가 표시될 수 있다.
도 9b의 둘째 도면을 참조하면 로봇(200)을 좌측으로 회전시키는 명령이 계속해서 입력됨에 따라 전자장치(100)는 디스플레이부(105)의 제 2 영역에 회전 명령 및 회전 명령이 입력된 시간에 대응하여 아이콘(937)의 길이를 좀 길게 표시하고, 아이콘(937)을 좌측으로 이동시킬 수 있다. 또한 전자장치(100)는 로봇(200)이 좌측으로 회전하는 각도가 커짐에 따라 화면에서 사라지는 우측 영역(936)을 좀 더 크게 표시할 수 있다.
도 9c의 셋째 도면을 참조하면 로봇(200)이 좌측으로 방향을 전환함에 따라 화면은 좌측으로 패닝되어 표시되고, 이에 따라 화면에서 사라지는 우측 영역(938)도 줄어들 수 있다. 전자장치(100)는 로봇(200)의 방향 전환 정보 및 시간 지연 정보를 사용하여 화면상에서 사라지는 우측 영역(938)을 결정하고 화면에 이에 대응하는 그래픽 오브젝트를 표시할 수 있다.
도 10a는 로봇(200)이 직진도중 우회전함에 따라 전자장치(100)의 화면에 표시되는 그래픽 오브젝트의 다른 예를 도시한다.
도 10a의 첫째 도면을 참조하면 디스플레이부(105)의 제 1 영역에는 로봇(200)에서 전송한 영상(1001) 및 로봇(200)의 진행 방향에 대응하는 그래픽 오브젝트(1006)이 표시될 수 있다. 디스플레이부(105)의 제 2 영역에는 타임바(1005), 딜레이바(1004), 직진 명령바(1003) 및 회전 명령바(1004)가 표시될 수 있다.
로봇(200)이 직진하는 도중에 사용자가 우회전 명령을 입력하면, 전자장치(100)는 로봇(200)과 전자장치(100)간의 지연 시간을 참조하여 화면(1001)상에서 로봇(200)이 우회전 하게 될 위치를 결정하고 이에 대응하는 그래픽 오브젝트(1006)를 화면에 중첩하여 표시할 수 있다. 예를 들면 로봇(200)과 전자장치(100)의 지연 시간이 1.8초인 경우, 사용자가 우회전 명령을 입력하면, 전자장치(100)는 화면상에서 로봇(200)이 1.8초 동안 직진한 후 우회전 하는 것으로 그래픽 오브젝트(1006)를 표시할 수 있다. 즉, 화면(1001)상에는 우측으로 구부러진 화살표(1006)가 표시될 수 있으며, 직진 방향에 대응하는 화살표의 길이는 1.8초에 대응하는 길이로 표시될 수 있다.
디스플레이부(105)의 제 2 영역에 표시되는 직진 명령바(1003)는 직진이 1.8초 동안 지속됨을 나타낼 수 있다. 회전 명령바(1004)의 화살표 방향은 회전 방향에 대한 정보를 포함하고 회전 명령바(1004)의 길이는 회전 각도, 즉 회전량에 대한 정보를 포함할 수 있다.
예를 들면, 사용자가 로봇(200)이 전진하는 도중에 회전 명령을 입력하면 전자장치(100)는 로봇(200)과 전자장치(100)간의 지연 시간에 대한 정보를 참조하여 1.8초에 대응하는 길이로 직진 명령바(1003)을 표시하고 우측 화살표(1004)를 직진 명령바(1003)의 우측 끝부분에 표시할 수 있다.
도 10a의 둘째 도면을 참조하면 디스플레이부(105)의 제 1 영역에는 우측으로 구부러진 화살표(1013)가 표시되어 있다. 로봇(200)이 우회전함에 따라 전자장치(100)는 직진에 대응하는 화살표의 길이는 짧게 표시하고 우회전에 대응하는 화살표의 길이는 길게 표시할 수 있다. 디스플레이부(105)의 제 2 영역에는 직진 명령바(1011) 및 회전 명령바(1012)가 표시되어 있다. 사용자가 우회전 명령을 입력한 후 시간이 경과됨에 따라 전자장치(100)는 경과된 시간에 기초하여 직진 명령바(1011)의 길이를 이전보다 짧게 표시할 수 있다.
도 10a의 셋째 도면을 참조하면 디스플레이부(105)의 제 1 영역에는 화살표(1016)이 표시되어 있다. 회전 명령을 입력한 후 로봇(200)과 전자장치(100)의 지연시간에 대응하는 시간이 경과됨에 따라 직진에 대응하는 화살표의 길이는 표시되지 않으며, 우회전에 대응하는 화살표의 길이만 화면에 표시될 수 있다. 전자장치(100)는 회전 명령이 지속된 시간을 체크하고 회전 명령 지속 시간에 기초하여 화살표(1016)를 표시할 수 있다. 디스플레이부(105)의 제 2 영역에는 회전 명령바(1015)가 표시될 수 있다. 시간이 경과됨에 따라 직진 명령바는 화면에서 사라지고 회전 명령바(1015)만 화면에 표시될 수 있다.
도 10b는 사용자의 회전 명령 입력에 대응하여 전자장치(100)의 화면에 로봇(200)의 회전축을 표시하는 예를 도시한다.
도 10b의 첫째 도면을 참조하면 디스플레이부의 제 1 영역에는 로봇(200)에서 전송한 영상(1021) 및 로봇(200)의 회전축에 대응하는 그래픽 오브젝트(1024)가 표시될 수 있다. 디스플레이부(105)의 제 2 영역에는 타임바(1022) 및 딜레이바(1023)가 표시될 수 있다. 그래픽 오브젝트(1024)는 로봇(200)의 회전축 및 진행 방향을 나타낼 수 있다. 로봇(200)이 전방으로 진행함에 따라 그래픽 오브젝트(1024)는 로봇(200)의 전후좌우 방향을 지시하는 화살표로 표시될 수 있다.
도 10b의 둘째 도면을 참조하면 사용자가 좌회전 명령을 입력한 상태가 도시되어 있다. 사용자가 좌회전 명령을 입력함에 따라 그래픽 오브젝트(1025)는 좌회전 명령의 길이만큼 각도가 회전되어 화면에 표시될 수 있다. 디스플레이부(105)의 제 2 영역에는 회전 명령바(1026)이 표시될 수 있다.
도 10b의 셋째 도면을 참조하면 사용자가 좌회전 명령을 입력한 후 시간이 경과함에 따라 화면이 좌측으로 패닝된 상태에서 그래픽 오브젝트(1027)가 표시될 수 있다. 디스플레이부(105)의 제 2 영역에는 회전 명령바(1028)가 좌측 끝으로 이동되어 표시될 수 있다.
도 11은 로봇(200)이 직진 후 회전함에 따라 전자장치(100)의 화면에 표시되는 그래픽 오브젝트의 다른 예를 도시한다.
도 11의 첫째 도면을 참조하면 화면(1101), 그래픽 오브젝트(1102a, 1102b), 딜레이바(1105), 직진 명령바(1104), 직진 표시 아이콘(1103), 회전 명령바(1107) 및 회전 표시 아이콘(1106)이 도시되어 있다.
직진 명령바(1104)의 길이는 직진 명령이 진행되는 시간에 대응하여 길이가 가변될 수 있다. 회전 명령바(1107)의 길이는 회전 명령이 진행되는 시간에 대응하여 길이가 가변 될 수 있다. 예를 들면 직진 명령바(1104)는 직진 명령이 0.8초 동안 지속됨을 의미한다. 회전 명령바(1107)는 회전 명령이 0.5초 동안 지속됨을 의미한다. 즉, 로봇(200)과 전자장치(100)간의 지연 시간이 0.8초인 상태에서 로봇(200)이 직진중에 사용자가 회전 명령을 0.5초 동안 입력하면 로봇(200)은 0.8초 동안 직진을 한 후에 0.5초 동안 우회전할 수 있다. 직진 표시 아이콘(1103) 및 회전 표시 아이콘(1106)은 로봇(200)의 진행 방향을 나타낼 수 있다.
화면(1101)에 표시되는 그래픽 오브젝트(1102a, 1102b)는 우측으로 구부러진 화살표로 표시될 수 있다. 즉, 화살표는 직진에 대응하는 구간(1102a) 및 우회전에 대응하는 구간(1102b)을 포함할 수 있다. 이에 따라 사용자는 화면에 표시된 그래픽 오브젝트(1102a, 1102b)로부터 로봇(200)이 일정 시간 동안 직진 후에 우회전할 것을 알 수 있다. 이 때 화면(1101)상에서 그래픽 오브젝트(1102a, 1102b)가 표시되는 위치 및 모양은 로봇(20)과 전자장치(100)간의 지연 시간 및 사용자가 입력한 명령에 기초하여 결정될 수 있다. 화살표(1102a, 1102b)의 길이는 사용자가 입력한 명령의 시간에 비례할 수 있다.
도 11의 둘째 도면을 참조하면 그래픽 오브젝트(1111a, 1111b) 및 직진 명령바(1115)가 도시 되어 있다. 그래픽 오브젝트(1111a, 1111b)의 직진 구간(1111a)은 로봇(200)이 직진함에 따라 길이가 줄어들며, 우회전 구간(1111b)은 사용자의 우회전 명령 입력 시간이 늘어남에 따라 길이가 늘어날 수 있다. 즉, 전자장치(100)는 사용자가 입력한 명령에 기초하여 그래픽 오브젝트(1111a,1111b)가 표시되는 위치 및 모양을 결정할 수 있다.
또한, 직진 명령바(1115)의 길이가 첫째 도면에 비해 짧게 표시되어 있다. 회전 명령이 입력된 후 시간이 경과됨에 따라 직진 명령바(1115)의 길이는 줄어들수 있다. 즉, 전자장치(100)는 사용자가 입력한 명령 및 명령 지속 시간에 기초하여 명령바의 유형 및 명령바의 길이를 결정할 수 있다.
도 11의 셋째 도면을 참조하면 그래픽 오브젝트(1121a, 1121b) 및 회전 명령바(1124)가 도시되어 있다. 사용자가 회전 명령을 입력한 후 지연 시간이 경과하면 로봇(200)은 회전을 시작하며, 로봇(200)이 회전을 함에 따라 그래픽 오브젝트(1121a, 1121b)의 직진 구간(1121a)은 사라지고 회전 구간(1121b)만 남게 된다. 또한 로봇(200)이 직진을 끝내고 회전을 함에 따라 직진 명령바(1115)는 디스플레이부(105)에서 사라지며, 회전 명령바(1124)의 길이도 점점 줄어들 수 있다.
도 12는 본 발명의 다른 실시예에 따른 시스템 구성을 도시한다.
도 12를 참조하면 전자장치(1205), 서버(1203) 및 로봇(1201)이 도시되어 있다. 로봇(1201)은 예를 들면 드론(drone) 형태의 비행 로봇일 수 있으며 카메라를 포함할 수 있다. 로봇은 카메라로 촬영한 영상을 서버(1203)로 전송할 수 있다. 서버(1203)는 로봇으로부터 수신한 영상에 대해 지연 시간을 계산하고 지연 시간에 대응하는 그래픽 오브젝트를 영상과 함께 화면으로 구성하여 전자장치(1205)로 전송할 수 있다.
전자장치(1205)는 디스플레이부를 포함할 수 있으며 서버로부터 수신한 영상을 디스플레이부에 표시할 수 있다. 전자장치(1205)는 로봇을 조정하는 원격 조정기로 동작할 수 있다. 예를 들면 사용자는 서버로부터 전송된 영상을 보면서 로봇을 조정할 수 있다.
이상과 같이 다양한 실시 예에 따른 전자장치가 한정된 예시적 실시 예와 도면을 통해 설명되었으나, 다양한 실시 예에 따른 전자장치는 상기의 예시적 실시 예에 한정되는 것은 아니며, 다양한 실시 예에 따른 전자장치가 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 문서에 개시된 실시 예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 문서에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 문서의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.
101 : 제어부
103 : 통신부
105 : 디스플레이부
107 : 입력부

Claims (20)

  1. 로봇의 이동을 원격으로 제어하는 전자장치에 있어서,
    통신부;
    입력부;
    디스플레이부; 및
    상기 로봇으로부터 상기 로봇에서 제1 시점에 촬영한 영상, 제1 시점에 대한 정보 및 상기 로봇의 이동 속도 정보를 상기 통신부를 통해 수신하고,
    상기 제1 시점 및 상기 제1 시점 이후의 상기 전자장치의 현재 시점인 제2 시점 사이의 타임 딜레이(time delay)를 계산하고,
    상기 타임 딜레이 정보 및 상기 로봇의 이동 속도 정보에 기초하여 상기 제2 시점의 상기 로봇의 위치를 획득하고,
    상기 제2 시점에서 상기 획득된 위치의 상기 로봇의 시야에 대응되는 그래픽 오브젝트를 상기 영상에 중첩하여 표시하도록 상기 디스플레이부를 제어하고,
    상기 입력부를 통해 입력된 명령을 상기 로봇으로 전송하도록 상기 통신부를 제어하는 제어부;를 포함하는 전자장치.
  2. 제 1 항에 있어서,
    상기 제어부는,
    상기 로봇의 이동 속도에 기초하여 상기 영상에 오버레이되는 상기 그래픽 오브젝트의 위치를 결정하는 것을 특징으로 하는 전자장치.
  3. 제 1 항에 있어서,
    상기 그래픽 오브젝트는 상기 디스플레이부와 동일한 비율의 사각형 인 것을 특징으로 하는 전자장치.
  4. 제 1 항에 있어서,
    상기 제어부는,
    상기 타임 딜레이에 대응하는 시간 동안 상기 로봇이 이동한 거리를 반영한 위치에서 상기 로봇의 카메라가 촬영하는 화각에 대응하도록 상기 그래픽 오브젝트의 크기를 결정하는 것을 특징으로 하는 전자장치.
  5. 제 1 항에 있어서,
    상기 그래픽 오브젝트는 시간이 경과됨에 따라 크기가 변경되는 것을 특징으로 하는 전자장치.
  6. 제 1 항에 있어서,
    상기 제어부는,
    상기 영상 및 상기 그래픽 오브젝트를 상기 디스플레이부의 제 1 영역에 표시하고, 상기 디스플레이부의 제 2 영역에 타임바(time bar) 및 상기 타임 딜레이에 기초한 딜레이바(delay bar)를 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 하는 전자장치.
  7. 제 6 항에 있어서,
    상기 딜레이바는 시간이 경과됨에 따라 길이가 가변 되는 것을 특징으로 하는 전자장치.
  8. 제 7 항에 있어서,
    상기 제어부는,
    상기 명령에 대응하는 그래픽 오브젝트를 상기 제 2 영역에 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 전자장치.
  9. 제 6 항에 있어서,
    상기 제어부는,
    상기 로봇의 방향 전환에 대한 정보를 상기 로봇으로부터 수신하고, 상기 방향 전환에 기초하여 상기 방향 전환에 대응하는 그래픽 오브젝트의 표시 위치를 결정하고, 상기 표시 위치에 상기 그래픽 오브젝트를 상기 영상에 중첩하여 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 전자장치.
  10. 제 9 항에 있어서,
    상기 제어부는,
    상기 로봇이 회전하는 회전축을 상기 영상에 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 전자장치.
  11. 로봇의 이동을 원격으로 제어할 수 있는 전자장치의 화면 표시 방법에 있어서,
    상기 로봇으로부터 상기 로봇에서 제1 시점에 촬영한 영상, 제1 시점에 대한 정보 및 상기 로봇의 이동 속도 정보를 수신하는 동작;
    상기 제1 시점 및 상기 제1 시점 이후의 상기 전자장치의 현재 시점인 제2 시점 사이의 타임 딜레이를 계산하는 동작;
    상기 타임 딜레이 정보 및 상기 로봇의 이동 속도 정보에 기초하여 상기 제2 시점의 상기 로봇의 위치를 획득하는 동작;
    상기 제2 시점에서 상기 획득된 위치의 상기 로봇의 시야에 대응되는 그래픽 오브젝트를 상기 영상에 중첩하여 표시하는 동작; 및
    상기 로봇을 제어하는 명령을 입력 받고 상기 명령을 상기 로봇으로 전송하는 동작;을 포함하는 전자장치의 화면 표시 방법.
  12. 제 11 항에 있어서
    상기 중첩하여 표시하는 동작은,
    상기 로봇의 이동 속도에 기초하여 상기 영상에 오버레이되는 상기 그래픽 오브젝트의 위치를 결정하는 동작;을 더 포함하는 전자장치의 화면 표시 방법.
  13. 제 11 항에 있어서,
    상기 그래픽 오브젝트는 상기 전자장치에 포함된 디스플레이부와 동일한 비율의 사각형 인 것을 특징으로 하는 전자장치의 화면 표시 방법.
  14. 제 11 항에 있어서,
    상기 중첩하여 표시하는 동작은,
    상기 타임 딜레이에 대응하는 시간 동안 상기 로봇이 이동한 거리를 반영한 위치에서 상기 로봇의 카메라가 촬영하는 화각에 대응하도록 상기 그래픽 오브젝트의 크기를 결정하는 동작;을 더 포함하는 것을 특징으로 하는 전자장치의 화면 표시 방법.
  15. 제 13 항에 있어서,
    상기 그래픽 오브젝트는 시간이 경과됨에 따라 크기가 변경되는 것을 특징으로 하는 전자장치의 화면 표시 방법.
  16. 제 15 항에 있어서,
    상기 방법은,
    상기 영상 및 상기 그래픽 오브젝트를 상기 디스플레이부의 제 1 영역에 표시하고, 상기 디스플레이부의 제 2 영역에 타임바(time bar) 및 상기 타임 딜레이에 기초한 딜레이바(delay bar)를 표시하는 동작;을 더 포함하는 것을 특징으로 하는 하는 전자장치의 화면 표시 방법.
  17. 제 16 항에 있어서,
    상기 딜레이바는 시간이 경과됨에 따라 길이가 가변되는 것을 특징으로 하는 전자장치의 화면 표시 방법.
  18. 제 17 항에 있어서,
    상기 방법은,
    상기 명령에 대응하는 그래픽 오브젝트를 상기 제 2 영역에 표시하는 동작;을 더 포함하는 것을 특징으로 하는 전자장치의 화면 표시 방법.
  19. 제 16 항에 있어서,
    상기 방법은,
    상기 로봇의 방향 전환에 대한 정보를 상기 로봇으로부터 수신하고, 상기 방향 전환에 기초하여 상기 방향 전환에 대응하는 그래픽 오브젝트의 표시 위치를 결정하고, 상기 위치에 상기 그래픽 오브젝트를 상기 영상에 중첩하여 표시하는 동작;을 더 포함하는 것을 특징으로 하는 전자장치의 화면 표시 방법.
  20. 제 19 항에 있어서,
    상기 방법은,
    상기 로봇이 회전하는 회전축을 상기 영상에 표시하는 동작;을 더 포함하는 것을 특징으로 하는 전자장치의 화면 표시 방법.
KR1020160010709A 2016-01-28 2016-01-28 이동 로봇이 전송한 화면을 표시하는 방법 및 그 전자장치 KR102441328B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020160010709A KR102441328B1 (ko) 2016-01-28 2016-01-28 이동 로봇이 전송한 화면을 표시하는 방법 및 그 전자장치
US15/402,709 US10217443B2 (en) 2016-01-28 2017-01-10 Method for displaying image and electronic device thereof
CN201780008643.2A CN108604096B (zh) 2016-01-28 2017-01-25 显示图像的方法及其电子设备
EP17744548.3A EP3360022B1 (en) 2016-01-28 2017-01-25 Method for displaying image and electronic device thereof
PCT/KR2017/000866 WO2017131427A1 (en) 2016-01-28 2017-01-25 Method for displaying image and electronic device thereof
US16/230,329 US10410608B2 (en) 2016-01-28 2018-12-21 Method for displaying image and electronic device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160010709A KR102441328B1 (ko) 2016-01-28 2016-01-28 이동 로봇이 전송한 화면을 표시하는 방법 및 그 전자장치

Publications (2)

Publication Number Publication Date
KR20170090170A KR20170090170A (ko) 2017-08-07
KR102441328B1 true KR102441328B1 (ko) 2022-09-08

Family

ID=59385632

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160010709A KR102441328B1 (ko) 2016-01-28 2016-01-28 이동 로봇이 전송한 화면을 표시하는 방법 및 그 전자장치

Country Status (5)

Country Link
US (2) US10217443B2 (ko)
EP (1) EP3360022B1 (ko)
KR (1) KR102441328B1 (ko)
CN (1) CN108604096B (ko)
WO (1) WO2017131427A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9341037B2 (en) 2009-02-11 2016-05-17 M-I L.L.C. Autochoke system
EP2791462B1 (en) 2011-12-14 2018-02-14 Schlumberger Holdings Limited Connection maker
EP2791463B1 (en) 2011-12-15 2018-02-28 Services Pétroliers Schlumberger Fine control of casing pressure
EP3403146A4 (en) * 2016-01-15 2019-08-21 iRobot Corporation AUTONOMOUS MONITORING ROBOT SYSTEMS
WO2018119450A1 (en) * 2016-12-23 2018-06-28 Gecko Robotics, Inc. Inspection robot
WO2020185719A2 (en) 2019-03-08 2020-09-17 Gecko Robotics, Inc. Inspection robot
US11307063B2 (en) 2016-12-23 2022-04-19 Gtc Law Group Pc & Affiliates Inspection robot for horizontal tube inspection having vertically positionable sensor carriage
KR101979276B1 (ko) * 2017-08-09 2019-05-16 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
JP6945004B2 (ja) * 2017-10-27 2021-10-06 株式会社Ｎｔｔドコモ 情報処理装置
CN108762150A (zh) * 2018-06-04 2018-11-06 深圳市沃特沃德股份有限公司 头盖控制组件及头盖控制方法
CN110502035A (zh) * 2019-09-10 2019-11-26 深圳市道通智能航空技术有限公司 航拍相机的远程控制方法及无人机
JP7015337B2 (ja) * 2020-03-06 2022-02-02 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
US20220113720A1 (en) * 2020-10-08 2022-04-14 Xtend Reality Expansion Ltd. System and method to facilitate remote and accurate maneuvering of unmanned aerial vehicle under communication latency
EP4326493A1 (en) 2021-04-20 2024-02-28 Gecko Robotics, Inc. Flexible inspection robot
CN113900431A (zh) * 2021-09-30 2022-01-07 北京百度网讯科技有限公司 远程控制信息处理方法、装置、电子设备及自动驾驶车辆
CN113848952A (zh) * 2021-10-22 2021-12-28 福建汉特云智能科技有限公司 一种远程控制的延迟判断及障碍预先判断方法和机器人系统

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8375838B2 (en) 2001-12-14 2013-02-19 Irobot Corporation Remote digital firing system
US20040267129A1 (en) * 2003-05-30 2004-12-30 Angelsen Bjorn A.J. Ultrasonic contrast agent detection and imaging by low frequency manipulation of high frequency scattering properties
JP2005161498A (ja) 2003-12-05 2005-06-23 National Institute Of Advanced Industrial & Technology ロボット遠隔操作制御装置
WO2008097252A2 (en) 2006-06-22 2008-08-14 Roy Sandberg Method and apparatus for robotic path planning, selection, and visualization
US7668626B2 (en) 2006-08-16 2010-02-23 National Institute Of Information And Communications Technology, Incorporated Administrative Agency Image displaying method with fluctuation correction and remote control system for moving unit using the method
US7739596B2 (en) * 2007-04-06 2010-06-15 Yahoo! Inc. Method and system for displaying contextual advertisements with media
US8718822B1 (en) * 2011-05-06 2014-05-06 Ryan Hickman Overlaying sensor data in a user interface
ES2607214T3 (es) * 2011-05-31 2017-03-29 Nokia Technologies Oy Métodos, aparatos y productos de programa informático para generar imágenes panorámicas usando datos de mapas de profundidad
US9256977B2 (en) * 2012-02-01 2016-02-09 Siemens Medical Solutions Usa, Inc. System for reconstruction of virtual frequency selective inversion MR images
JP6134478B2 (ja) * 2012-03-28 2017-05-24 ソニー株式会社 情報処理装置、表示制御方法、プログラムおよび記憶媒体
US9441985B2 (en) 2012-07-25 2016-09-13 Rockwell Collins, Inc. Future scene generating system, device, and method for a remotely-operated vehicle
US8954853B2 (en) 2012-09-06 2015-02-10 Robotic Research, Llc Method and system for visualization enhancement for situational awareness
US9623561B2 (en) 2012-10-10 2017-04-18 Kenneth Dean Stephens, Jr. Real time approximation for robotic space exploration
EP2936795A4 (en) * 2012-12-19 2016-07-27 Fanpics Llc CAPTURE, PROCESSING AND DELIVERY OF IMAGES AT GROUP EVENTS
US10113280B2 (en) 2012-12-21 2018-10-30 Michael Todd Letsky Autonomous robot apparatus and method for controlling the same
KR101448278B1 (ko) * 2013-02-18 2014-10-07 주식회사 케이티 이동 로봇에 대한 제어 명령과 이동 로봇이 전송한 영상 간 매칭 방법 및 이를 위한 제어 장치
NO336219B1 (no) 2013-04-19 2015-06-15 Electric Friends As Anordning og fremgangsmåte for kamerastyring
KR20150021353A (ko) * 2013-08-20 2015-03-02 삼성테크윈 주식회사 영상 융합 시스템 및 그 방법
JP2015047666A (ja) 2013-09-02 2015-03-16 トヨタ自動車株式会社 遠隔操作装置、及び操作画像表示方法
BR112016006666B1 (pt) * 2013-09-27 2023-04-04 Nissan Motor Co., Ltd Sistema de apresentação de informações
CN105224582B (zh) * 2014-07-03 2018-11-09 联想(北京)有限公司 信息处理方法和设备
KR20160044260A (ko) * 2014-10-15 2016-04-25 삼성전자주식회사 원격 제어 장치 및 그 제어 방법
CN104331168B (zh) * 2014-11-28 2018-01-16 广东欧珀移动通信有限公司 显示调整方法和电子设备
US9851870B2 (en) * 2015-03-17 2017-12-26 Raytheon Company Multi-dimensional video navigation system and method using interactive map paths
US9818228B2 (en) * 2015-08-07 2017-11-14 Microsoft Technology Licensing, Llc Mixed reality social interaction

Also Published As

Publication number Publication date
WO2017131427A1 (en) 2017-08-03
EP3360022A1 (en) 2018-08-15
CN108604096B (zh) 2021-11-05
US20170221454A1 (en) 2017-08-03
EP3360022A4 (en) 2018-11-14
US20190122640A1 (en) 2019-04-25
CN108604096A (zh) 2018-09-28
KR20170090170A (ko) 2017-08-07
US10410608B2 (en) 2019-09-10
EP3360022B1 (en) 2022-07-06
US10217443B2 (en) 2019-02-26

Similar Documents

Publication Publication Date Title
KR102441328B1 (ko) 이동 로봇이 전송한 화면을 표시하는 방법 및 그 전자장치
CN107688370B (zh) 用于控制显示器、存储介质、和电子设备的方法
US10591729B2 (en) Wearable device
US10222968B2 (en) Image display control apparatus, image display apparatus, non-transitory computer readable medium, and image display control method
EP2972672B1 (en) Detection of a gesture performed with at least two control objects
EP3537709B1 (en) Electronic device photographing method and apparatus
US20170139578A1 (en) System and method for 360-degree video navigation
WO2014188798A1 (ja) 表示制御装置、表示制御方法および記録媒体
US20150143283A1 (en) Information processing device, display control method, and program
US20150109437A1 (en) Method for controlling surveillance camera and system thereof
KR102308201B1 (ko) 사용자 단말 장치 및 그 제어 방법
US20170214856A1 (en) Method for controlling motions and actions of an apparatus including an image capture device having a moving device connected thereto using a controlling device
US11941906B2 (en) Method for identifying user's real hand and wearable device therefor
KR102325339B1 (ko) 사용자의 움직임을 검출하여 사용자 입력을 수신하는 방법 및 이를 위한 장치
CN106796484B (zh) 显示装置及其控制方法
EP3933545A1 (en) Method and apparatus for detecting orientation of electronic device, and storage medium
US11157085B2 (en) Method and apparatus for switching display mode, mobile terminal and storage medium
CN106201284B (zh) 用户界面同步系统、方法
EP3109734A1 (en) Three-dimensional user interface for head-mountable display
KR20180088831A (ko) 터치 패널, 터치 패널의 명령 입력 방법, 및 표시 시스템
KR102245374B1 (ko) 웨어러블 디바이스 및 그 제어 방법
JP2023099603A (ja) オブジェクト姿勢制御プログラムおよびオブジェクト姿勢制御システム
EP3112991A1 (en) Method and apparatus for context based application grouping in virtual reality
EP3520071B1 (en) Consistent spherical photo and video orientation correction
US20210072832A1 (en) Contactless gesture control method, apparatus and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant