KR101683130B1 - 로컬 영역의 사용자와 원격 존재 로봇이 위치하는 원격 영역의 사용자 사이의 인터랙션을 제어하기 위한 사용자 인터페이스 제공 방법, 단말 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

로컬 영역의 사용자와 원격 존재 로봇이 위치하는 원격 영역의 사용자 사이의 인터랙션을 제어하기 위한 사용자 인터페이스 제공 방법, 단말 및 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR101683130B1
KR101683130B1 KR1020150114135A KR20150114135A KR101683130B1 KR 101683130 B1 KR101683130 B1 KR 101683130B1 KR 1020150114135 A KR1020150114135 A KR 1020150114135A KR 20150114135 A KR20150114135 A KR 20150114135A KR 101683130 B1 KR101683130 B1 KR 101683130B1
Authority
KR
South Korea
Prior art keywords
remote
local
area
camera
display means
Prior art date
Application number
KR1020150114135A
Other languages
English (en)
Inventor
이광규
김신영
윤대근
유범재
Original Assignee
재단법인 실감교류인체감응솔루션연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 실감교류인체감응솔루션연구단 filed Critical 재단법인 실감교류인체감응솔루션연구단
Priority to KR1020150114135A priority Critical patent/KR101683130B1/ko
Application granted granted Critical
Publication of KR101683130B1 publication Critical patent/KR101683130B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은, 로컬 영역과 원격 영역 간의 다양한 입출력 디바이스들이 로컬 단말의 화면을 통해 제공되는 직관적인 사용자 인터페이스를 통해 제어됨으로써 로컬 사용자와 원격지 사용자간의 인터랙션을 위한 로컬 사용자의 편의성을 극대화시키도록, 로컬 영역의 사용자와 원격 존재 로봇이 위치하는 원격 영역의 사용자 사이의 양방향 인터랙션을 제어하기 위한 사용자 인터페이스 제공 방법에 있어서, (a) 로컬 단말이, 상기 원격 존재 로봇과 통신하는 상태에서, i) 상기 로컬 영역에 위치하되, 상기 로컬 영역에서 다양한 방향으로 영상을 촬영하는 복수의 카메라 중 적어도 하나를 인식하여, 상기 로컬 단말의 구성 요소 제어 인터페이스 화면의 제1 영역 상에 그래픽 요소로 표시되도록 하고, ii) 상기 원격 영역에 위치하되, 상기 로컬 영역의 카메라 중 상기 로컬 사용자에 의해 선택될 카메라에 의해 촬영되는 영상 또는 데이터를 출력하기 위한 복수의 디스플레이 수단 중 적어도 하나를 인식하여, 상기 로컬 단말의 구성 요소 제어 인터페이스 화면의 제2 영역 상에 그래픽 요소로 표시되도록 하는 단계; 및 (b) 상기 구성 요소 제어 인터페이스 화면 상에서, 상기 복수의 로컬 영역의 카메라 중 상기 로컬 사용자에 의해 선택된 제1 로컬 카메라에 대응되는 그래픽 요소로부터 상기 원격 영역의 디스플레이 수단 중 제1 원격 디스플레이 수단의 그래픽 요소까지의 방향에 대응되는 제스처가 입력되거나 상기 원격 영역의 디스플레이 수단 중 제1 원격 디스플레이 수단에 대응되는 그래픽 요소로부터 상기 제1 로컬 카메라까지의 방향에 대응되는 제스처가 입력되면, 상기 로컬 단말은, 상기 제1 로컬 카메라와 상기 제1 원격 디스플레이 수단을 매핑시키고, 상기 제1 로컬 카메라에 의해 촬영되는 영상이 상기 제1 원격 디스플레이 수단을 통해 디스플레이되도록 지원하는 단계를 포함하는 방법에 관한 것이다.

Description

로컬 영역의 사용자와 원격 존재 로봇이 위치하는 원격 영역의 사용자 사이의 인터랙션을 제어하기 위한 사용자 인터페이스 제공 방법, 단말 및 컴퓨터 판독 가능한 기록 매체{METHOD FOR PROVIDING USER INTERFACE CAPABLE OF ALLOWING A USER AT LOCAL AREA AND A USER AT REMOTE AREA TO INTERACT EACH OTHER, TERMINAL, AND COMPUTER-READABLE RECORDING MEDIUM USING THE SAME}
본 발명은 로컬 영역의 사용자와 원격 존재 로봇이 위치하는 원격 영역의 사용자 사이의 인터랙션을 제어하기 위한 사용자 인터페이스 제공 방법, 단말 및 컴퓨터 판독 가능한 기록 매체에 관한 것으로, 보다 상세하게는, 로컬 사용자와 원격 사용자의 인터랙션을 지원하기 위해, 로컬 사용자 측의 단말을 통해 로컬 사용자 측의 각 입출력 장치와 원격 사용자 측의 각 입출력 장치들의 구동을 직관적으로 제어하도록 하기 위한 사용자 인터페이스 제공 방법, 단말 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
오늘날, 공간적인 제약으로 인한 인터랙션의 한계를 극복하기 위해 많은 기술들이 제안되고 있는데, 원격의 인터랙션 기술로 제안된 바 있는 원격 영상회의(Tele-presence) 시스템 기술은 도입된 이래로 네트워크 환경과 압축 기술의 급격한 발전에 힘입어 나날이 발전하고 연구되고 있는 분야이다.
이는 멀리 떨어져 있는 사람들이 네트워크를 통해 하나의 주제를 가지고 미팅을 할 수 있도록 하는 기술로서, 대면 접촉(face-to-face) 미팅에서 생길 수 있는 이동 시간에 소요되는 시간적인 낭비를 제거함으로써 시간을 효과적으로 사용하고 업무적인 생산성을 높일 수 있게 하고 있다.
하지만, 이러한 원격미팅에 대한 기술은 인터랙션 시의 보다 생생한 현실감을 지원하기 위해 인터랙션 과정에서 입출력 되는 음성과 영상(Audio/Video; A/V)에 대한 질을 높이는 데에만 초점이 맞추어 질 뿐, 인터랙션에 대한 소통은 단 방향으로만 제시되고 있어 현장감이 떨어지는 단점이 있었다.
따라서 상기와 같은 문제점을 극복하고 보다 현장감 있는 양방향의 원격 미팅을 위해 보다 많은 입출력 장치 및 보조 단말들이 구성되도록 하고 있으나, 이러한 보다 복잡해진 구성에 대한 직관적이면서도 신속한 제어에 대한 사용자 인터페이스는 제공되지 않고 있는 실정이다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은 로컬 단말을 통해 로컬 영역의 단말과 원격 영역의 원격 존재 로봇 간의 다양한 입출력 디바이스들 간의 데이터 흐름에 대한 매핑을 직관적으로 수행할 수 있도록 사용자 인터페이스를 제공하는 것을 다른 목적으로 한다.
또한, 본 발명은 로컬 영역의 로컬 단말을 통해 원격 존재 로봇의 이동과, 원격 존재 로봇의 입출력 디바이스들의 구동을 직관적으로 제어할 수 있도록 사용자 인터페이스를 제공하는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 로컬 영역의 사용자와 원격 존재 로봇이 위치하는 원격 영역의 사용자 사이의 인터랙션을 제어하기 위한 사용자 인터페이스 제공 방법에 있어서, (a) 로컬 단말이, 상기 원격 존재 로봇과 통신하는 상태에서, i) 상기 로컬 영역에 위치하되, 상기 로컬 영역에서 다양한 방향으로 영상을 촬영하는 복수의 카메라 중 적어도 하나를 인식하여, 상기 로컬 단말의 구성 요소 제어 인터페이스 화면의 제1 영역 상에 그래픽 요소로 표시되도록 하고, ii) 상기 원격 영역에 위치하되, 상기 로컬 영역의 카메라 중 상기 로컬 사용자에 의해 선택될 카메라에 의해 촬영되는 영상 또는 데이터를 출력하기 위한 복수의 디스플레이 수단 중 적어도 하나를 인식하여, 상기 로컬 단말의 구성 요소 제어 인터페이스 화면의 제2 영역 상에 그래픽 요소로 표시되도록 하는 단계; 및 (b) 상기 구성 요소 제어 인터페이스 화면 상에서, 상기 복수의 로컬 영역의 카메라 중 상기 로컬 사용자에 의해 선택된 제1 로컬 카메라에 대응되는 그래픽 요소로부터 상기 원격 영역의 디스플레이 수단 중 제1 원격 디스플레이 수단의 그래픽 요소까지의 방향에 대응되는 제스처가 입력되거나 상기 원격 영역의 디스플레이 수단 중 제1 원격 디스플레이 수단에 대응되는 그래픽 요소로부터 상기 제1 로컬 카메라까지의 방향에 대응되는 제스처가 입력되면, 상기 로컬 단말은, 상기 제1 로컬 카메라와 상기 제1 원격 디스플레이 수단을 매핑시키고, 상기 제1 로컬 카메라에 의해 촬영되는 영상이 상기 제1 원격 디스플레이 수단을 통해 디스플레이되도록 지원하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 로컬 영역의 사용자와 원격 존재 로봇이 위치하는 원격 영역의 사용자 사이의 인터랙션을 제어하기 위한 사용자 인터페이스를 제공하는 로컬 단말에 있어서, 상기 로컬 영역에 위치하되 상기 로컬 영역에서 다양한 방향으로 영상을 촬영하는 복수의 카메라 중 적어도 하나를 인식하고, 상기 원격 영역에 위치하되, 상기 로컬 영역의 카메라 중 상기 로컬 사용자에 의해 선택될 카메라에 의해 촬영되는 영상 또는 데이터를 출력하기 위한 복수의 디스플레이 수단 중 적어도 하나를 인식하는 노드 인식부, 및 상기 로컬 영역에서 다양한 방향으로 영상을 촬영하는 복수의 카메라 중 적어도 하나에 대한 인식 정보를 참조로 하여, 구성 요소 제어 인터페이스 화면의 제1 영역 상에 그래픽 요소로 표시되도록 하고, 상기 로컬 영역의 카메라 중 상기 로컬 사용자에 의해 선택될 카메라에 의해 촬영되는 영상 또는 데이터를 출력하기 위한 복수의 디스플레이 수단 중 적어도 하나에 대한 인식 정보를 참조로 하여, 상기 구성 요소 제어 인터페이스 화면의 제2 영역 상에 그래픽 요소로 표시되도록 한 상태에서, 상기 복수의 로컬 영역의 카메라 중 상기 로컬 사용자에 의해 선택된 제1 로컬 카메라에 대응되는 그래픽 요소로부터 상기 원격 영역의 디스플레이 수단 중 제1 원격 디스플레이 수단의 그래픽 요소까지의 방향에 대응되는 제스처가 입력되거나 상기 원격 영역의 디스플레이 수단 중 제1 원격 디스플레이 수단에 대응되는 그래픽 요소로부터 상기 제1 로컬 카메라까지의 방향에 대응되는 제스처가 입력되면, 상기 제1 로컬 카메라와 상기 제1 원격 디스플레이 수단을 매핑시키고, 상기 제1 로컬 카메라에 의해 촬영되는 영상이 상기 제1 원격 디스플레이 수단을 통해 디스플레이되도록 지원하는 사용자 인터페이스 제공부를 포함하는 단말이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 장치, 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 따르면, 로컬 영역과 원격 영역 간의 다양한 입출력 디바이스들이 로컬 단말의 화면을 통해 제공되는 직관적인 사용자 인터페이스를 통해 제어됨으로써 로컬 사용자와 원격지 사용자간의 양방향 인터랙션을 위한 로컬 사용자의 편의성을 극대화시킬 수 있게 된다.
도 1은 본 발명의 실시예에 따른 로컬 영역의 시스템 구성과 원격 영역의 원격 존재 로봇을 포함한 시스템 구성도,
도 2는 본 발명의 일 실시예에 따른 사용자 인터페이스를 제공하기 위한 단말의 내부 구성도,
도 3은 로컬 단말의 구성 요소 제어 인터페이스 화면 상에서의 로컬 영역과 원격 영역의 각 입출력 디바이스들 간의 매핑을 수행하기 위한 제스처 입력에 대한 예시도,
도 4는 원격 영역의 카메라가 촬영한 영상을 로컬 단말의 화면을 통해 출력하도록 하기 위한 제스처 입력의 예시도,
도 5는 원격 존재 로봇의 제어를 로컬 단말의 화면을 통해 수행하기 위한 제스처 입력의 예시도.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 로컬 영역의 로컬 단말(100)과 원격 영역의 원격 존재 로봇(200)을 도시하고 있다.
본 발명에 따르면, 로컬 영역에 위치하는 로컬 사용자와 원격 영역에 위치하는 원격 사용자가 로컬 단말(100)과 원격 존재 로봇(200)을 통해 양방향의 인터랙션을 하게 되는 과정에서, 로컬 사용자가 로컬 단말(100)을 통해 로컬 측의 다양한 디바이스와 원격 측의 다양한 디바이스 사이의 입출력 관계에 대한 매칭을 수행하고 이에 따라 제어되는 화면을 제공 받을 수 있도록 하기 위한 것을 특징으로 한다.
도 1을 참조하면, 로컬 영역에 위치하는 로컬 단말(100)은 로컬 사용자와 로컬 영역을 촬영하는 카메라(11, 12)와 연동할 수 있고 소정의 디스플레이 수단을 포함할 수 있다. 구체적으로, 로컬 영역에 속해 있는 카메라들은, 로컬 사용자의 얼굴 등을 촬영하도록 로컬 사용자의 전방에 위치하는 카메라(11)와 로컬 영역 내의 소정의 공간을 촬영하도록 로컬 사용자의 후방에 위치하는 카메라(12)로 구성될 수 있다. 다만, 카메라(11)가 반드시 전방에 위치할 필요는 없으며 카메라(12)가 반드시 후방에 위치할 필요는 없을 것이다. 참고로, 도 1에서는 카메라(11, 12)가 로컬 단말(100)과 별도로 구성되는 것으로 도시하였지만, 이에 한정되는 것은 아니며, 로컬 단말(100)에 카메라(11, 12) 자체가 내장되어 있을 수도 있다. 가령, 카메라(11)는 로컬 단말(100)의 디스플레이 수단이 위치하는 전면의 소정 영역에 부착될 수 있으며, 카메라(12)는 로컬 단말(100)의 후면의 소정 영역에 부착될 수도 있다.
또한, 도 1을 참조하면, 원격 영역에 위치하는 원격 존재 로봇(200)은 원격 사용자와 원격 영역을 촬영하는 카메라(21, 22)를 포함할 수 있고, 로컬 영역의 촬영 영상을 디스플레이 하는 스크린(23)(실제의 스크린)을 포함할 수 있으며, 로컬 영역으로부터 수신한 소정의 영상을 소정의 공간에 프로젝션하기 위한 프로젝터(24)를 포함할 수 있다. 참고로, 스크린(23)과 프로젝터(24)는 특성상 모두 디스플레이 수단으로 일컬을 수 있을 것이다. 또한, 참고로, 도 1에서는 카메라(21, 22)가 원격 존재 로봇(200)에 탑재되어 있는 것으로 도시하였지만, 이에 한정되는 것은 아니며, 원격 존재 로봇(200)의 외부에 별도로 위치할 수도 있다. 또한, 예를 들어, 카메라(21)는 원격 사용자의 얼굴을 촬영하는 경우를 상정할 수 있으며 카메라(22)는 프로젝터(24)에 의해 소정의 공간(소위, 가상의 스크린)에 디스플레이되는 상태를 촬영하는 경우를 상정할 수 있다.
도 1에서 설명된 바와 같은 구성들에 의해, 로컬 단말(100)은 로컬 영역에서 촬영된 영상들 또는 로컬 단말(100)에 저장된 컴퓨터 파일과 같은 입력 데이터들이 각각 출력되도록 하기 위한 원격 영역의 디스플레이 수단들을 선택하여 쉽게 매칭시킬 수 있도록 하기 위한 사용자 인터페이스를 제공할 수 있으며, 이에 대해서는 하기에서 상세히 설명하도록 한다.
또한, 원격 영역의 카메라들(21, 22)은 로컬 단말(100)의 제어 명령 신호에 따라 뷰잉 프러스텀(viewing frustum)이 이동되도록 회전할 수 있는데 이에 대한 인터페이스 방법에 대해서도 하기에서 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 사용자 인터페이스를 제공하기 위한 단말(100)의 내부 구성도를 나타낸다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 단말(100)은, 로컬 영역의 사용자와 원격 존재 로봇(200)이 위치하는 원격 영역의 사용자 사이의 양방향 인터랙션을 제어하기 위한 사용자 인터페이스를 제공하기 위하여, 노드 인식부(110), 사용자 인터페이스 제공부(120), 통신부(130) 및 제어부(140)를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 노드 인식부(110), 사용자 인터페이스 제공부(120), 통신부(130) 및 제어부(140)는 그 중 적어도 일부가 단말(100)에 포함되거나 단말(100)과 통신하는 모듈들일 수 있다. 다만, 도 2에서는 노드 인식부(110), 사용자 인터페이스 제공부(120), 통신부(130) 및 제어부(140)가 모두 단말(100)에 포함된 것으로 예시하고 있다.
노드 인식부(110)는, 로컬 영역에 위치하되 상기 로컬 영역에서 다양한 방향으로 영상을 촬영하는 복수의 카메라(11, 12) 중 적어도 하나를 인식하고, 원격 영역에 위치하되 상기 로컬 영역의 카메라(11, 12) 중 상기 로컬 사용자에 의해 선택될 카메라에 의해 촬영되는 영상 또는 데이터를 출력하기 위한 복수의 디스플레이 수단(23, 24) 중 적어도 하나를 인식하는 기능을 수행할 수 있다. 여기서, 로컬 영역에 위치하되 로컬 영역에서 다양한 방향으로 영상을 촬영하는 복수의 카메라의 수는 2 개로 가정하였고, 원격 영역에 위치하되 상기 로컬 영역의 카메라 중 상기 로컬 사용자에 의해 선택될 카메라에 의해 촬영되는 영상 또는 데이터를 출력하기 위한 복수의 디스플레이 수단의 수도 2개로 가정하였지만, 반드시 이에 한정되는 것은 아니다.
또한, 사용자 인터페이스 제공부(120)는, 로컬 영역에서 다양한 방향으로 영상을 촬영하는 복수의 카메라 중 적어도 하나에 대한 인식 정보를 참조로 하여, 구성 요소 제어 인터페이스 화면의 제1 영역 상에 그래픽 요소로 표시되도록 하고, 로컬 영역의 카메라 중 상기 로컬 사용자에 의해 선택될 카메라에 의해 촬영되는 영상 또는 데이터를 출력하기 위한 (원격 영역의) 복수의 디스플레이 수단 중 적어도 하나에 대한 인식 정보를 참조로 하여, 상기 구성 요소 제어 인터페이스 화면의 제2 영역 상에 그래픽 요소로 표시되도록 한 상태에서, 복수의 로컬 영역의 카메라 중 상기 로컬 사용자에 의해 선택된 제1 로컬 카메라에 대응되는 그래픽 요소로부터 원격 영역의 디스플레이 수단 중 제1 원격 디스플레이 수단의 그래픽 요소까지의 방향에 대응되는 제스처가 입력되거나 원격 영역의 디스플레이 수단 중 제1 원격 디스플레이 수단에 대응되는 그래픽 요소로부터 제1 로컬 카메라까지의 방향에 대응되는 제스처가 입력되면, 제1 로컬 카메라와 제1 원격 디스플레이 수단을 매핑시키고, 상기 제1 로컬 카메라에 의해 촬영되는 영상이 상기 제1 원격 디스플레이 수단을 통해 디스플레이되도록 지원할 수 있다. 이에 대해서는 도 3 을 참조로 하여 뒤에서 보다 자세하게 설명하도록 한다.
또한, 노드 인식부(110)는, 원격 영역에 위치하되, 원격 영역에서 다양한 방향으로 영상을 촬영하는 복수의 카메라 중 적어도 하나를 추가로 인식할 수 있는데, 이 경우, 사용자 인터페이스 제공부(120)는, 구성 요소 제어 인터페이스 화면의 제3 영역 상에 그래픽 요소로 표시되도록 할 수 있을 것이다.
한편, 사용자 인터페이스 제공부(120)는, 복수의 원격 영역의 카메라 중 로컬 사용자에 의해 선택된 제1 원격 카메라에 대응되는 그래픽 요소가 상기 구성 요소 제어 인터페이스 화면 상의 소정의 영역으로 드래그되면, 제1 원격 카메라에 의해 촬영되는 영상이 상기 구성 요소 제어 인터페이스 화면에 디스플레이 되도록 지원할 수 있다. 이에 대해서는 도 4를 참조로 하여 뒤에서 보다 자세하게 설명하도록 한다.
이때, 사용자 인터페이스 제공부(120)는, 제1 원격 카메라에 의해 촬영되는 영상이 구성 요소 제어 인터페이스 화면에 디스플레이 된 상태에서, 구성 요소 제어 인터페이스 화면을 통해 소정의 화각 조정용 제스쳐가 입력되면, 입력된 상기 소정의 화각 조정용 제스쳐에 대응하여 제1 원격 카메라의 뷰잉 프러스텀(viewing frustum)이 이동되도록 제어하고, 상기 이동된 뷰잉 프러스텀에 따라 촬영된 영상이 상기 구성 요소 제어 인터페이스 화면 상에 디스플레이 되도록 할 수 있다. 이를 위하여, 전방 카메라에 해당되는 카메라(21)와 카메라(21)와 연동되어 있는 스크린(23)은 사용자 인터페이스 제공부(120)를 통해 입력된 제어 신호에 의해 동시에 회전해야 할 수 있으므로 소정의 제1 액츄에이터가 필요할 수 있다. 또한, 후방 카메라에 해당되는 카메라(22)와 카메라(22)와 연동되어 있는 프로젝터(24) 역시 사용자 인터페이스 제공부(120)를 통해 입력된 제어 신호에 의해 동시에 회전해야 할 수 있으므로 소정의 제2 액츄에이터가 필요할 수 있다.
참고로, 상기 소정의 화각 조정용 제스쳐는 스크롤 제스처일 수 있으며, 구성 요소 제어 인터페이스 화면을 통해 영상이 제공되는 상태에서 구성 요소 제어 인터페이스 화면 상에 스크롤 제스처가 입력되면, 스크롤 제스처에 대응되는 이동 거리 또는 스크롤 제스처의 입력 회수를 참조로 하여 제1 원격 카메라의 뷰잉 프러스텀이 이동되도록 할 수 있을 것이다.
다른 예로서, 상기 소정의 화각 조정용 제스쳐는 터치 상태가 유지되는 동안 계속하여 소정의 방향으로 이동하는 제스처인 방향성 터치 제스처일 수 있으며, 구성 요소 제어 인터페이스 화면을 통해 영상이 제공되는 상태에서 구성 요소 제어 인터페이스 화면 상에 방향성 터치 제스처가 입력되면, 방향성 터치 제스처에 의한 터치가 유지되는 동안 계속하여 방향성 터치 제스처에 대응되는 방향으로 제1 원격 카메라의 뷰잉 프러스텀의 이동이 진행되도록 할 수 있을 것이다.
한편, 사용자 인터페이스 제공부(120)는, 원격 존재 로봇(200)의 모바일 플랫폼(25)의 제어를 통하여 원격 존재 로봇(200)의 이동을 제어하기 위한 원격 로봇 제어 인터페이스 화면을 로컬 디스플레이 수단을 통해 디스플레이할 수 있는데, 상기에서 살펴보았던 구성요소 제어 인터페이스 화면(도 3 및 도 4를 참조로 후술)과 방금 언급한 원격 로봇 제어 인터페이스 화면(도 5를 참조로 후술)이 소정의 토글링(toggling) 제스쳐의 입력에 의해 상호 전환되어 디스플레이 되는 것을 상정할 수 있을 것이다.
이때, 사용자 인터페이스 제공부(120)는, 제1 원격 카메라에 의해 촬영되는 영상이 원격 로봇 제어 인터페이스 화면에 디스플레이 되는 상태에서, 원격 로봇 제어 인터페이스 화면을 통해 특정 방향으로 소정의 원격 로봇 제어용 제스쳐가 입력되면, 입력된 상기 소정의 원격 로봇 제어용 제스쳐의 특정 방향에 대응하여 원격 존재 로봇(200)도 이동되도록 할 수 있다.
또한, 노드 인식부(110)는, 로컬 단말의 로컬 디스플레이 수단 및 상기 원격 영역의 디스플레이 수단을 통해 출력되도록 하기 위한 컴퓨터 파일을 더 인식할 수 있으며, 이 경우, 사용자 인터페이스 제공부(112)는, 로컬 단말의 구성 요소 제어 인터페이스 화면의 상기 제 1 영역 상에 추가로 그래픽 요소로서 표시되도록 할 수 있다.
사용자 인터페이스 제공부(120)는, 구성 요소 제어 인터페이스 화면 상에서, 상기 컴퓨터 파일에 대응되는 그래픽 요소로부터 제1 원격 디스플레이 수단의 그래픽 요소까지의 방향에 대응되는 제스처가 입력되거나, 제1 원격 디스플레이 수단의 그래픽 요소로부터 상기 컴퓨터 파일에 대응되는 그래픽 요소까지의 방향에 대응되는 제스처가 입력되면, 상기 컴퓨터 파일과 제1 원격 디스플레이 수단을 매핑시키고, 상기 컴퓨터 파일이 제1 원격 디스플레이 수단을 통해 디스플레이 되도록 지원할 수 있다. 이 경우, 도 1에 도시된 바와 같이, 로컬 사용자와 원격지의 사용자는 서로 자신이 원하는 텍스트를 입력하고 상대방과 공유할 수 있는 것이다.
다음으로, 본 발명의 일 실시예에 따른 통신부(140)는 본 발명의 노드 인식부(110), 사용자 인터페이스 제공부(120) 및 제어부(140)가 통신망(미도시)을 이용하여 서로 통신할 수 있도록 하는 기능을 수행할 수 있다.
본 발명의 일 실시예에 따른 통신망은 유선 또는 무선 통신의 양태로 구성될 수 있으며 WAN(Wide Area Network), LAN(Local Area Network), 이동 통신망, 인공 위성 통신망 등 다양한 통신망으로 구성될 수 있다. 보다 구체적으로, 본 발명에서 말하는 통신망은 IEEE 802.11, CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), GSM(Global System for Mobile communications), LTE(Long Term Evolution) 등의 기술에 의하여 구현되는 무선 통신망을 포함할 수도 있다. 그러나, 통신망은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(150)는, 노드 인식부(110), 사용자 인터페이스 제공부(120) 및 통신부(130) 간의 데이터의 흐름을 제어하는 기능을 수행한다. 즉, 본 발명에 따른 제어부(150)는 외부로부터의/로의 또는 단말(100)의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 노드 인식부(110), 사용자 인터페이스 제공부(120) 및 통신부(130)에서 각각 고유 기능을 수행하도록 제어한다.
도 3은 로컬 단말의 구성 요소 제어 인터페이스 화면 상에서의 로컬 영역과 원격 영역의 각 입출력 디바이스들 간의 매핑을 수행하기 위한 제스처 입력에 대한 예시도이다.
도 3에서 보는 바와 같이, 구성 요소 제어 인터페이스 화면에는, 로컬 영역에서 다양한 방향으로 영상을 촬영하는 복수의 카메라들(11, 12)을 인식하여, 로컬 단말(100)의 구성 요소 제어 인터페이스 화면의 제1 영역(101) 상에 그래픽 요소(101a, 101b)들로 표시되도록 한다.
또한, 사용자 인터페이스 제공부(120)는, 로컬 영역의 디스플레이 수단 및/또는 원격 영역의 디스플레이 수단을 통해 출력되도록 하는 컴퓨터 파일에 대한 인식 정보를 참조로 하여, 로컬 단말의 구성 요소 제어 인터페이스 화면의 제 1 영역(101) 상에 추가로 그래픽 요소(101c)로서 표시되도록 할 수도 있다. 이때, 컴퓨터 파일은 로컬 단말(100)이 생성하거나, 로컬 단말(100)이 외부 단말로부터 전송 받은 이미지나 문서에 해당할 수 있으나, 반드시 이에 한정되는 것은 아니다.
또한, 사용자 인터페이스 제공부(120)는, 로컬 영역의 카메라들 중 로컬 사용자에 의해 선택될 특정 카메라에 의해 촬영되는 영상 또는 데이터를 출력하기 위한 원격 영역의 복수의 디스플레이 수단들 중 적어도 일부에 대한 인식 정보를 참조로 하여, 로컬 단말의 구성 요소 제어 인터페이스 화면의 제2 영역(102) 상에 그래픽 요소(102a, 102b)로 표시되도록 할 수 있다.
앞서 언급하였듯이, 원격 영역의 복수의 디스플레이 수단은 스크린(23), 프로젝터(24) 등을 포함할 수 있다.
이와 같이 그래픽 요소들이 표시되어 있는 구성 요소 제어 인터페이스 화면 상에서, 로컬 영역의 카메라들 중 로컬 사용자에 의해 선택된 제1 로컬 카메라에 대응되는 그래픽 요소로부터 원격 영역의 디스플레이 수단 중 제1 원격 디스플레이 수단의 그래픽 요소까지의 방향에 대응되는 제스처가 입력되면, 사용자 인터페이스 제공부(120)는, 제1 로컬 카메라와 제1 원격 디스플레이 수단을 매핑시키고, 제1 로컬 카메라에 의해 촬영되는 영상이 제1 원격 디스플레이 수단을 통해 디스플레이 되도록 지원한다.
예컨대 로컬 영역의 카메라(11)를 통해 촬영된 로컬 사용자의 얼굴 영상이 디스플레이 수단(23)을 통해 디스플레이 되도록 하기 위한 매핑이 이루어진 경우, 앞서 설명된 바에 따르면, 로컬 영역의 카메라(11)는 제1 로컬 카메라에 해당되고 원격 영역의 디스플레이 수단(23)은 제1 디스플레이 수단에 해당되며 그래픽 요소는 아이콘에 해당된다.
또한, 예를 들어, 제1 로컬 카메라에 해당되는 아이콘(101a)으로부터 제1 디스플레이 수단에 해당하는 아이콘(102b)까지의 방향에 대응되는 제스처는 제1 로컬 카메라에 해당되는 아이콘(101a)을 제1 디스플레이 수단에 해당하는 아이콘(102b) 영역까지 드래그 하여 이동시키는 동작이 될 수 있으나, 이에 한정되는 것은 아니며, 아이콘 사이마다 매핑을 수행할 수 있도록 도와주기 위한 소정의 버튼이 제공될 경우 드래그 행위 대신 버튼의 조작으로 동일한 효과가 달성되도록 할 수도 있을 것이다. 다만, 이와 같은 버튼의 조작도 "아이콘(101a)으로부터 제1 디스플레이 수단에 해당하는 아이콘(102b)까지의 방향에 대응되는 제스처"로 볼 수 있을 것이다. 또 다른 예로서, 제1 로컬 카메라에 해당되는 아이콘(101a)과 제1 디스플레이 수단에 해당하는 아이콘(102b)을 순서대로 클릭하여 입출력 관계를 규정하거나, 제1 영역(101)의 아이콘들과 제2 영역(102)의 아이콘들을 서로 연결한 선을 클릭하여 입출력 관계를 규정할 수도 있는 등 다양한 변형예를 상정할 수 있을 것이다. 물론, 이와 같은 변형예들도 "아이콘(101a)으로부터 제1 디스플레이 수단에 해당하는 아이콘(102b)까지의 방향에 대응되는 제스처"로 볼 수 있을 것이다.
또한 제스처의 방향에 있어서, 상기와 같이 제1 영역(101)의 아이콘으로부터 제2 영역(102)의 아이콘까지의 방향 뿐만 아니라 이와 반대 방향인 제2 영역(102)의 아이콘으로부터 제1 영역(101)의 아이콘까지의 방향에 대해서도 동일한 매칭으로 적용되도록 할 수 있을 것이다.
이와 같은 방향에 대응되는 제스처를 통해 로컬 단말(100)은 로컬 사용자의 영상의 입출력 관계에 대한 대응 관계를 설정할 수 있는 것이다.
한편, 노드 인식부(11)가 원격 영역에서 다양한 방향으로 영상을 촬영하는 복수의 카메라 중 적어도 하나를 인식하는 경우, 사용자 인터페이스 제공부(120)는, 이와 같은 인식 정보를 참조로 하여 로컬 단말의 구성 요소 제어 인터페이스 화면의 제3 영역(103) 상에 그래픽 요소(103a, 103b)로 표시되도록 할 수도 있다.
이때 원격 영역의 복수의 카메라는 앞서 언급하였듯이 카메라(21, 22) 등을 상정할 수 있으며, 카메라(21, 22)를 통하여 촬영된 영상이 로컬 단말(100)의 화면을 통해 디스플레이되는 상태에 대해서는 도 4를 참조로 설명한다.
도 4는 원격 영역의 카메라가 촬영한 영상을 로컬 단말의 화면을 통해 출력하도록 하기 위한 제스처 입력의 예시도이다.
도 4에서 보는 바와 같이, 복수의 원격 영역의 카메라(21, 22) 중 로컬 사용자에 의해 선택된 제1 원격 카메라에 대응되는 그래픽 요소(가령, 카메라(21)에 해당되는 아이콘인 103a)가 구성 요소 제어 인터페이스 화면 상의 소정의 영역(도 4에서와 같이 화면 상의 빈 공간)으로 드래그되면, 상기 제1 원격 카메라에 의해 촬영되는 영상이 구성 요소 제어 인터페이스 화면에 디스플레이 되도록 지원할 수 있다.
이때, 제1 원격 카메라에 의해 촬영되는 영상이 구성 요소 제어 인터페이스 화면에 디스플레이 된 상태에서, 구성 요소 제어 인터페이스 화면을 통해 소정의 화각 조정용 제스처가 입력되면, 사용자 인터페이스 제공부(120)는, 입력된 소정의 화각 조정용 제스처에 대응하여 제1 원격 카메라의 뷰잉 프러스텀(viewing frustum)이 이동되도록 제어하고, 이동된 뷰잉 프러스텀에 따라 촬영된 영상이 구성 요소 제어 인터페이스 화면 상에 디스플레이 되도록 한다.
예를 들어, 소정의 화각 조정용 제스처는 구성 요소 제어 인터페이스 화면에 디스플레이 되고 있는 영상을 이동시키기 위한 스크롤 제스처 일 수 있다. 따라서, 구성 요소 제어 인터페이스 화면을 통해 영상이 제공되는 상태에서 로컬 사용자에 의해 스크롤되면 스크롤에 대응되는 이동 거리 또는 스크롤의 입력 회수에 따라 로컬 단말(100)이 그에 대응하는 제어 명령 신호를 생성하여 제1 원격 카메라의 뷰잉 프러스텀이 이동되도록 하기 위한 지시를 원격 존재 로봇(200)에 전달한다. 보다 상세하게 설명하자면, 로컬 사용자에 의한 스크롤 제스처가 화면 상의 소정 영역으로부터 왼쪽 방향으로 소정의 거리만큼 행해질 경우, 이에 대한 제어 명령 신호에 따라 원격 영역의 제1 원격 카메라가 왼쪽 방향의 소정 거리에 대응하는 회전 방향의 해당 각도만큼 회전하여 제1 원격 카메라의 뷰잉 프러스텀(viewing frustum)을 이동시키게 되는 것이며, 이동된 뷰잉 프러스텀에 따라 촬영된 영상이 구성 요소 제어 인터페이스 화면 상에 디스플레이 되도록 할 수 있는 것이다.
다른 예로서, 소정의 화각 조정용 제스처는 방향성 터치일 경우도 포함할 수 있다. 이 경우에는, 제1 원격 카메라의 영상이 제공되는 화면 상에 사용자의 손이 터치되어 있는 상태가 유지되는 동안은 터치된 손이 화면 상에서 이동하다가 멈추더라도 멈추기 직전의 사용자의 손의 이동 방향과 속도에 따라 화면의 영상도 대응하는 방향과 속도로 계속 이동되는 것이다. 보다 상세하게 설명하자면, 로컬 사용자에 의한 방향성 터치 제스처가 화면 상의 소정 영역에 터치된 상태에서 왼쪽 방향으로 소정의 거리만큼 행해진 후 멈춘 상태로 터치를 계속 유지하는 경우, 이에 대한 원격 영역의 제1 원격 카메라가 왼쪽 방향의 소정 거리와 이동 속도에 대응하는 회전 방향의 해당 속도를 유지한 상태로 제1 원격 카메라의 뷰잉 프러스텀(viewing frustum)을 계속 이동시키게 되는 것이며, 계속해서 이동되는 뷰잉 프러스텀에 따라 촬영된 영상이 구성 요소 제어 인터페이스 화면 상에 디스플레이 되는 것이다.
한편 로컬 단말(100)은 원격 영역의 카메라의 화각을 제어할 수도 있지만 원격 존재 로봇의 모바일 플랫폼의 제어를 통하여 원격 존재 로봇(200)을 이동시키기 위한 제어도 수행할 수 있다. 이에 대해서는 도 5를 참조로 설명한다.
도 5는 원격 존재 로봇의 제어를 로컬 단말의 화면을 통해 수행하기 위한 제스처 입력의 예시도이다.
도 5에서 보는 바와 같이, 사용자 인터페이스 제공부(120)는, 원격 존재 로봇의 이동을 제어하기 위한 원격 로봇 제어 인터페이스 화면을 제공하게 되는데, 앞서 설명되었던 구성 요소 제어 인터페이스 화면과의 디스플레이 전환은 소정의 토글링(toggling) 제스처의 입력에 의해 이루어질 수 있다.
이때 소정의 토글링 제스처는 화면 상에서의 소정의 영역에 대한 터치에 의해 입력된 것으로 처리할 수 있으며, 사용자에 의한 터치로 인해 디스플레이 대기 상태의 화면이 슬라이드 인(Slide-in)되고 디스플레이 되어 있던 화면은 슬라이드 아웃(Slide-out)될 수 있다.
제1 원격 카메라에 의해 촬영되는 영상이 원격 로봇 제어 인터페이스 화면에 디스플레이 되는 상태에서, 원격 로봇 제어 인터페이스 화면을 통해 특정 방향으로 소정의 원격 로봇 제어용 제스처가 입력되면, 사용자 인터페이스 제공부(120)는, 입력된 소정의 원격 로봇 제어용 제스처의 특정 방향에 대응하여 원격 존재 로봇이 이동되도록 한다.
이때 소정의 원격 로봇 제어용 제스처는 도 5에서 보는 바와 같은 화면 상에서의 특정 지점에 대한 포인팅(170) 후 전/후진 및 좌/우 회전과 같은 방향 지시를 의미하는 이동 궤적의 드래그일 수도 있으며, 원격 로봇 제어 인터페이스 화면 상에 제공되는 전/후진 및 회전에 대한 조작 키의 클릭일 수도 있다.
또한, 상기와 같이 원격 로봇 제어 인터페이스 화면을 통해 특정 방향으로 소정의 원격 로봇 제어용 제스처가 입력되면, 입력된 소정의 원격 로봇 제어용 제스처의 특정 방향에 대응하여 원격 존재 로봇이 이동되면서, 제1 원격 카메라도 원격 존재 로봇의 이동에 따른 영상을 촬영함으로써 원격 로봇 제어 인터페이스 화면에 디스플레이 되도록 한다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
100 : 로컬 단말 11 : 로컬 영역의 전방 카메라
12 : 로컬 영역의 후방 카메라
200 : 원격 존재 로봇 21 : 원격 영역의 전방 카메라
22 : 원격 영역의 후방 카메라 23 : 스크린
24 : 프로젝터

Claims (21)

  1. 로컬 영역의 사용자와 원격 존재 로봇이 위치하는 원격 영역의 사용자 사이의 인터랙션을 제어하기 위한 사용자 인터페이스 제공 방법에 있어서,
    (a) 로컬 단말이, 상기 원격 존재 로봇과 통신하는 상태에서, i) 상기 로컬 영역에 위치하되, 상기 로컬 영역에서 다양한 방향으로 영상을 촬영하는 복수의 카메라 중 적어도 하나를 인식하여, 상기 로컬 단말의 구성 요소 제어 인터페이스 화면의 제1 영역 상에 그래픽 요소로 표시되도록 하고, ii) 상기 원격 영역에 위치하되, 상기 로컬 영역의 카메라 중 상기 로컬 사용자에 의해 선택될 카메라에 의해 촬영되는 영상 또는 데이터를 출력하기 위한 복수의 디스플레이 수단 중 적어도 하나를 인식하여, 상기 로컬 단말의 구성 요소 제어 인터페이스 화면의 제2 영역 상에 그래픽 요소로 표시되도록 하는 단계; 및
    (b) 상기 구성 요소 제어 인터페이스 화면 상에서, 상기 복수의 로컬 영역의 카메라 중 상기 로컬 사용자에 의해 선택된 제1 로컬 카메라에 대응되는 그래픽 요소로부터 상기 원격 영역의 디스플레이 수단 중 제1 원격 디스플레이 수단의 그래픽 요소까지의 방향에 대응되는 제스처가 입력되거나 상기 원격 영역의 디스플레이 수단 중 제1 원격 디스플레이 수단에 대응되는 그래픽 요소로부터 상기 제1 로컬 카메라까지의 방향에 대응되는 제스처가 입력되면, 상기 로컬 단말은, 상기 제1 로컬 카메라와 상기 제1 원격 디스플레이 수단을 매핑시키고, 상기 제1 로컬 카메라에 의해 촬영되는 영상이 상기 제1 원격 디스플레이 수단을 통해 디스플레이되도록 지원하는 단계를 포함하되,
    상기 로컬 단말은, 상기 원격 영역에 위치하되, 상기 원격 영역에서 다양한 방향으로 영상을 촬영하는 복수의 카메라 중 적어도 하나를 인식하여, 상기 로컬 단말의 구성 요소 제어 인터페이스 화면의 제3 영역 상에 그래픽 요소로 표시되도록 하며,
    상기 로컬 단말은, 상기 복수의 원격 영역의 카메라 중 상기 로컬 사용자에 의해 선택된 제1 원격 카메라에 대응되는 그래픽 요소가 상기 구성 요소 제어 인터페이스 화면 상의 소정의 영역으로 드래그되면, 상기 제1 원격 카메라에 의해 촬영되는 영상이 상기 구성 요소 제어 인터페이스 화면에 디스플레이 되도록 지원하는 것을 특징으로 하는 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 로컬 단말은, 상기 제1 원격 카메라에 의해 촬영되는 영상이 상기 구성 요소 제어 인터페이스 화면에 디스플레이 된 상태에서, 상기 구성 요소 제어 인터페이스 화면을 통해 소정의 화각 조정용 제스쳐가 입력되면, 입력된 상기 소정의 화각 조정용 제스쳐에 대응하여 상기 제1 원격 카메라의 뷰잉 프러스텀(viewing frustum)이 이동되도록 제어하고, 상기 이동된 뷰잉 프러스텀에 따라 촬영된 영상이 상기 구성 요소 제어 인터페이스 화면 상에 디스플레이 되는 것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 소정의 화각 조정용 제스쳐는 스크롤 제스처이며, 상기 구성 요소 제어 인터페이스 화면을 통해 영상이 제공되는 상태에서 상기 구성 요소 제어 인터페이스 화면 상에 상기 스크롤 제스처가 입력되면, 상기 스크롤 제스처에 대응되는 이동 거리 또는 상기 스크롤 제스처의 입력 회수를 참조로 하여 상기 제1 원격 카메라의 뷰잉 프러스텀이 이동되도록 하는 것을 특징으로 하는 방법.
  6. 제4항에 있어서,
    상기 소정의 화각 조정용 제스쳐는 터치 상태가 유지되는 동안 계속하여 소정의 방향으로 이동하는 제스처인 방향성 터치 제스처이며, 상기 구성 요소 제어 인터페이스 화면을 통해 영상이 제공되는 상태에서 상기 구성 요소 제어 인터페이스 화면 상에 상기 방향성 터치 제스처가 입력되면, 상기 방향성 터치 제스처에 의한 터치가 유지되는 동안 계속하여 상기 방향성 터치 제스처에 대응되는 방향으로 상기 제1 원격 카메라의 뷰잉 프러스텀의 이동이 진행되도록 하는 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    상기 (a) 단계에서,
    상기 로컬 단말은, 상기 원격 존재 로봇의 모바일 플랫폼의 제어를 통하여 상기 원격 존재 로봇의 이동을 제어하기 위한 원격 로봇 제어 인터페이스 화면을 상기 로컬 단말의 로컬 디스플레이 수단을 통해 디스플레이하고, 상기 구성요소 제어 인터페이스 화면과 상기 원격 로봇 제어 인터페이스 화면이 소정의 토글링(toggling) 제스쳐의 입력에 의해 상호 전환되어 디스플레이 되는 것을 특징으로 하는 방법.
  8. 제7항에 있어서,
    상기 로컬 단말은, 상기 제1 원격 카메라에 의해 촬영되는 영상이 상기 원격 로봇 제어 인터페이스 화면에 디스플레이 되는 상태에서, 상기 원격 로봇 제어 인터페이스 화면을 통해 특정 방향으로 소정의 원격 로봇 제어용 제스쳐가 입력되면, 입력된 상기 소정의 원격 로봇 제어용 제스쳐의 특정 방향에 대응하여 상기 원격 존재 로봇도 이동되도록 하는 것을 특징으로 하는 방법.
  9. 로컬 영역의 사용자와 원격 존재 로봇이 위치하는 원격 영역의 사용자 사이의 인터랙션을 제어하기 위한 사용자 인터페이스 제공 방법에 있어서,
    (a) 로컬 단말이, 상기 원격 존재 로봇과 통신하는 상태에서, i) 상기 로컬 영역에 위치하되, 상기 로컬 영역에서 다양한 방향으로 영상을 촬영하는 복수의 카메라 중 적어도 하나를 인식하여, 상기 로컬 단말의 구성 요소 제어 인터페이스 화면의 제1 영역 상에 그래픽 요소로 표시되도록 하고, ii) 상기 원격 영역에 위치하되, 상기 로컬 영역의 카메라 중 상기 로컬 사용자에 의해 선택될 카메라에 의해 촬영되는 영상 또는 데이터를 출력하기 위한 복수의 디스플레이 수단 중 적어도 하나를 인식하여, 상기 로컬 단말의 구성 요소 제어 인터페이스 화면의 제2 영역 상에 그래픽 요소로 표시되도록 하는 단계; 및
    (b) 상기 구성 요소 제어 인터페이스 화면 상에서, 상기 복수의 로컬 영역의 카메라 중 상기 로컬 사용자에 의해 선택된 제1 로컬 카메라에 대응되는 그래픽 요소로부터 상기 원격 영역의 디스플레이 수단 중 제1 원격 디스플레이 수단의 그래픽 요소까지의 방향에 대응되는 제스처가 입력되거나 상기 원격 영역의 디스플레이 수단 중 제1 원격 디스플레이 수단에 대응되는 그래픽 요소로부터 상기 제1 로컬 카메라까지의 방향에 대응되는 제스처가 입력되면, 상기 로컬 단말은, 상기 제1 로컬 카메라와 상기 제1 원격 디스플레이 수단을 매핑시키고, 상기 제1 로컬 카메라에 의해 촬영되는 영상이 상기 제1 원격 디스플레이 수단을 통해 디스플레이되도록 지원하는 단계를 포함하되,
    상기 로컬 단말은, 상기 로컬 단말의 로컬 디스플레이 수단 및 상기 원격 영역의 디스플레이 수단을 통해 출력되도록 하는 컴퓨터 파일을 더 인식하여, 상기 로컬 단말의 구성 요소 제어 인터페이스 화면의 상기 제 1 영역 상에 추가로 그래픽 요소로서 표시되도록 하는 것을 특징으로 하는 방법.
  10. 제9항에 있어서,
    (d) 상기 로컬 단말은, 상기 로컬 단말의 구성 요소 제어 인터페이스 화면 상에서, 상기 컴퓨터 파일에 대응되는 그래픽 요소로부터 상기 제1 원격 디스플레이 수단의 그래픽 요소까지의 방향에 대응되는 제스처가 입력되거나, 상기 제1 원격 디스플레이 수단의 그래픽 요소로부터 상기 컴퓨터 파일에 대응되는 그래픽 요소까지의 방향에 대응되는 제스처가 입력되면, 상기 로컬 단말은, 상기 컴퓨터 파일과 상기 제1 원격 디스플레이 수단을 매핑시키고, 상기 컴퓨터 파일이 상기 제1 원격 디스플레이 수단을 통해 디스플레이 되도록 지원하는 단계를 포함하는 방법.
  11. 로컬 영역의 사용자와 원격 존재 로봇이 위치하는 원격 영역의 사용자 사이의 인터랙션을 제어하기 위한 사용자 인터페이스를 제공하는 로컬 단말에 있어서,
    상기 로컬 영역에 위치하되 상기 로컬 영역에서 다양한 방향으로 영상을 촬영하는 복수의 카메라 중 적어도 하나를 인식하고, 상기 원격 영역에 위치하되, 상기 로컬 영역의 카메라 중 상기 로컬 사용자에 의해 선택될 카메라에 의해 촬영되는 영상 또는 데이터를 출력하기 위한 복수의 디스플레이 수단 중 적어도 하나를 인식하는 노드 인식부, 및
    상기 로컬 영역에서 다양한 방향으로 영상을 촬영하는 복수의 카메라 중 적어도 하나에 대한 인식 정보를 참조로 하여, 구성 요소 제어 인터페이스 화면의 제1 영역 상에 그래픽 요소로 표시되도록 하고, 상기 로컬 영역의 카메라 중 상기 로컬 사용자에 의해 선택될 카메라에 의해 촬영되는 영상 또는 데이터를 출력하기 위한 복수의 디스플레이 수단 중 적어도 하나에 대한 인식 정보를 참조로 하여, 상기 구성 요소 제어 인터페이스 화면의 제2 영역 상에 그래픽 요소로 표시되도록 한 상태에서, 상기 복수의 로컬 영역의 카메라 중 상기 로컬 사용자에 의해 선택된 제1 로컬 카메라에 대응되는 그래픽 요소로부터 상기 원격 영역의 디스플레이 수단 중 제1 원격 디스플레이 수단의 그래픽 요소까지의 방향에 대응되는 제스처가 입력되거나 상기 원격 영역의 디스플레이 수단 중 제1 원격 디스플레이 수단에 대응되는 그래픽 요소로부터 상기 제1 로컬 카메라까지의 방향에 대응되는 제스처가 입력되면, 상기 제1 로컬 카메라와 상기 제1 원격 디스플레이 수단을 매핑시키고, 상기 제1 로컬 카메라에 의해 촬영되는 영상이 상기 제1 원격 디스플레이 수단을 통해 디스플레이되도록 지원하는 사용자 인터페이스 제공부를 포함하되,
    상기 노드 인식부는,
    상기 원격 영역에 위치하되, 상기 원격 영역에서 다양한 방향으로 영상을 촬영하는 복수의 카메라 중 적어도 하나를 추가로 인식하며,
    상기 사용자 인터페이스 제공부는,
    상기 구성 요소 제어 인터페이스 화면의 제3 영역 상에 그래픽 요소로 표시되도록 하고,
    상기 사용자 인터페이스 제공부는,
    상기 복수의 원격 영역의 카메라 중 상기 로컬 사용자에 의해 선택된 제1 원격 카메라에 대응되는 그래픽 요소가 상기 구성 요소 제어 인터페이스 화면 상의 소정의 영역으로 드래그되면, 상기 제1 원격 카메라에 의해 촬영되는 영상이 상기 구성 요소 제어 인터페이스 화면에 디스플레이 되도록 지원하는 것을 특징으로 하는 단말.
  12. 삭제
  13. 삭제
  14. 제11항에 있어서,
    상기 사용자 인터페이스 제공부는,
    상기 제1 원격 카메라에 의해 촬영되는 영상이 상기 구성 요소 제어 인터페이스 화면에 디스플레이 된 상태에서, 상기 구성 요소 제어 인터페이스 화면을 통해 소정의 화각 조정용 제스쳐가 입력되면, 입력된 상기 소정의 화각 조정용 제스쳐에 대응하여 상기 제1 원격 카메라의 뷰잉 프러스텀(viewing frustum)이 이동되도록 제어하고, 상기 이동된 뷰잉 프러스텀에 따라 촬영된 영상이 상기 구성 요소 제어 인터페이스 화면 상에 디스플레이 되는 것을 특징으로 하는 단말.
  15. 제14항에 있어서,
    상기 소정의 화각 조정용 제스쳐는 스크롤 제스처이며, 상기 구성 요소 제어 인터페이스 화면을 통해 영상이 제공되는 상태에서 상기 구성 요소 제어 인터페이스 화면 상에 상기 스크롤 제스처가 입력되면, 상기 스크롤 제스처에 대응되는 이동 거리 또는 상기 스크롤 제스처의 입력 회수를 참조로 하여 상기 제1 원격 카메라의 뷰잉 프러스텀이 이동되도록 하는 것을 특징으로 하는 단말.
  16. 제14항에 있어서,
    상기 소정의 화각 조정용 제스쳐는 터치 상태가 유지되는 동안 계속하여 소정의 방향으로 이동하는 제스처인 방향성 터치 제스처이며, 상기 구성 요소 제어 인터페이스 화면을 통해 영상이 제공되는 상태에서 상기 구성 요소 제어 인터페이스 화면 상에 상기 방향성 터치 제스처가 입력되면, 상기 방향성 터치 제스처에 의한 터치가 유지되는 동안 계속하여 상기 방향성 터치 제스처에 대응되는 방향으로 상기 제1 원격 카메라의 뷰잉 프러스텀의 이동이 진행되도록 하는 것을 특징으로 하는 단말.
  17. 제11항에 있어서,
    상기 사용자 인터페이스 제공부는,
    상기 원격 존재 로봇의 모바일 플랫폼의 제어를 통하여 상기 원격 존재 로봇의 이동을 제어하기 위한 원격 로봇 제어 인터페이스 화면을 로컬 디스플레이 수단을 통해 디스플레이하고, 상기 구성요소 제어 인터페이스 화면과 상기 원격 로봇 제어 인터페이스 화면이 소정의 토글링(toggling) 제스쳐의 입력에 의해 상호 전환되어 디스플레이 되는 것을 특징으로 하는 단말.
  18. 제17항에 있어서,
    상기 사용자 인터페이스 제공부는,
    상기 제1 원격 카메라에 의해 촬영되는 영상이 상기 원격 로봇 제어 인터페이스 화면에 디스플레이 되는 상태에서, 상기 원격 로봇 제어 인터페이스 화면을 통해 특정 방향으로 소정의 원격 로봇 제어용 제스쳐가 입력되면, 입력된 상기 소정의 원격 로봇 제어용 제스쳐의 특정 방향에 대응하여 상기 원격 존재 로봇도 이동되도록 하는 것을 특징으로 하는 단말.
  19. 로컬 영역의 사용자와 원격 존재 로봇이 위치하는 원격 영역의 사용자 사이의 인터랙션을 제어하기 위한 사용자 인터페이스를 제공하는 로컬 단말에 있어서,
    상기 로컬 영역에 위치하되 상기 로컬 영역에서 다양한 방향으로 영상을 촬영하는 복수의 카메라 중 적어도 하나를 인식하고, 상기 원격 영역에 위치하되, 상기 로컬 영역의 카메라 중 상기 로컬 사용자에 의해 선택될 카메라에 의해 촬영되는 영상 또는 데이터를 출력하기 위한 복수의 디스플레이 수단 중 적어도 하나를 인식하는 노드 인식부, 및
    상기 로컬 영역에서 다양한 방향으로 영상을 촬영하는 복수의 카메라 중 적어도 하나에 대한 인식 정보를 참조로 하여, 구성 요소 제어 인터페이스 화면의 제1 영역 상에 그래픽 요소로 표시되도록 하고, 상기 로컬 영역의 카메라 중 상기 로컬 사용자에 의해 선택될 카메라에 의해 촬영되는 영상 또는 데이터를 출력하기 위한 복수의 디스플레이 수단 중 적어도 하나에 대한 인식 정보를 참조로 하여, 상기 구성 요소 제어 인터페이스 화면의 제2 영역 상에 그래픽 요소로 표시되도록 한 상태에서, 상기 복수의 로컬 영역의 카메라 중 상기 로컬 사용자에 의해 선택된 제1 로컬 카메라에 대응되는 그래픽 요소로부터 상기 원격 영역의 디스플레이 수단 중 제1 원격 디스플레이 수단의 그래픽 요소까지의 방향에 대응되는 제스처가 입력되거나 상기 원격 영역의 디스플레이 수단 중 제1 원격 디스플레이 수단에 대응되는 그래픽 요소로부터 상기 제1 로컬 카메라까지의 방향에 대응되는 제스처가 입력되면, 상기 제1 로컬 카메라와 상기 제1 원격 디스플레이 수단을 매핑시키고, 상기 제1 로컬 카메라에 의해 촬영되는 영상이 상기 제1 원격 디스플레이 수단을 통해 디스플레이되도록 지원하는 사용자 인터페이스 제공부를 포함하되,
    상기 노드 인식부는,
    상기 로컬 단말의 로컬 디스플레이 수단 및 상기 원격 영역의 디스플레이 수단을 통해 출력되도록 하는 컴퓨터 파일을 더 인식하며,
    상기 사용자 인터페이스 제공부는,
    상기 로컬 단말의 구성 요소 제어 인터페이스 화면의 상기 제 1 영역 상에 추가로 그래픽 요소로서 표시되도록 하는 것을 특징으로 하는 단말.
  20. 제19항에 있어서,
    사용자 인터페이스 제공부는
    상기구성 요소 제어 인터페이스 화면 상에서, 상기 컴퓨터 파일에 대응되는 그래픽 요소로부터 상기 제1 원격 디스플레이 수단의 그래픽 요소까지의 방향에 대응되는 제스처가 입력되거나, 상기 제1 원격 디스플레이 수단의 그래픽 요소로부터 상기 컴퓨터 파일에 대응되는 그래픽 요소까지의 방향에 대응되는 제스처가 입력되면, 상기 컴퓨터 파일과 상기 제1 원격 디스플레이 수단을 매핑시키고, 상기 컴퓨터 파일이 상기 제1 원격 디스플레이 수단을 통해 디스플레이 되도록 지원하는 단계를 포함하는 단말.
  21. 제1항, 제4항 내지 제10항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능 매체.
KR1020150114135A 2015-08-12 2015-08-12 로컬 영역의 사용자와 원격 존재 로봇이 위치하는 원격 영역의 사용자 사이의 인터랙션을 제어하기 위한 사용자 인터페이스 제공 방법, 단말 및 컴퓨터 판독 가능한 기록 매체 KR101683130B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150114135A KR101683130B1 (ko) 2015-08-12 2015-08-12 로컬 영역의 사용자와 원격 존재 로봇이 위치하는 원격 영역의 사용자 사이의 인터랙션을 제어하기 위한 사용자 인터페이스 제공 방법, 단말 및 컴퓨터 판독 가능한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150114135A KR101683130B1 (ko) 2015-08-12 2015-08-12 로컬 영역의 사용자와 원격 존재 로봇이 위치하는 원격 영역의 사용자 사이의 인터랙션을 제어하기 위한 사용자 인터페이스 제공 방법, 단말 및 컴퓨터 판독 가능한 기록 매체

Publications (1)

Publication Number Publication Date
KR101683130B1 true KR101683130B1 (ko) 2016-12-06

Family

ID=57576527

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150114135A KR101683130B1 (ko) 2015-08-12 2015-08-12 로컬 영역의 사용자와 원격 존재 로봇이 위치하는 원격 영역의 사용자 사이의 인터랙션을 제어하기 위한 사용자 인터페이스 제공 방법, 단말 및 컴퓨터 판독 가능한 기록 매체

Country Status (1)

Country Link
KR (1) KR101683130B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190043749A (ko) * 2017-10-19 2019-04-29 한국과학기술연구원 프로젝터-카메라 기반의 로봇형 디바이스와 헤드 마운트 디스플레이를 사용하는 원격 협업 시스템 및 이를 이용한 원격 인터랙션 방법
KR102187937B1 (ko) * 2019-12-20 2020-12-07 유경현 원격 촬영 지원 장치 및 원격 촬영 지원 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090121069A (ko) * 2008-05-21 2009-11-25 주식회사 대우일렉트로닉스 사용자 인터페이스 방법 및 사용자 인터페이스 장치
KR20110071220A (ko) * 2009-12-21 2011-06-29 한국전자통신연구원 원격 존재 로봇의 원격 제어 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090121069A (ko) * 2008-05-21 2009-11-25 주식회사 대우일렉트로닉스 사용자 인터페이스 방법 및 사용자 인터페이스 장치
KR20110071220A (ko) * 2009-12-21 2011-06-29 한국전자통신연구원 원격 존재 로봇의 원격 제어 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190043749A (ko) * 2017-10-19 2019-04-29 한국과학기술연구원 프로젝터-카메라 기반의 로봇형 디바이스와 헤드 마운트 디스플레이를 사용하는 원격 협업 시스템 및 이를 이용한 원격 인터랙션 방법
KR102082433B1 (ko) 2017-10-19 2020-02-27 한국과학기술연구원 프로젝터-카메라 기반의 로봇형 디바이스와 헤드 마운트 디스플레이를 사용하는 원격 협업 시스템 및 이를 이용한 원격 인터랙션 방법
KR102187937B1 (ko) * 2019-12-20 2020-12-07 유경현 원격 촬영 지원 장치 및 원격 촬영 지원 방법

Similar Documents

Publication Publication Date Title
JP7385052B2 (ja) 撮影方法、装置、電子機器および記憶媒体
EP2446619B1 (en) Method and device for modifying a composite video signal layout
KR102045957B1 (ko) 휴대단말의 촬영 방법 및 장치
JP4645090B2 (ja) 共用インタラクティブ環境で情報を交換するための方法、システム及びプログラム
US9307153B2 (en) Method and apparatus for previewing a dual-shot image
WO2022100712A1 (zh) 真实环境画面中虚拟道具的显示方法、系统及存储介质
EP2929511B1 (en) Annular view for panorama image
KR101528312B1 (ko) 영상 편집 방법 및 이를 위한 장치
WO2013096086A1 (en) Method and apparatus to enhance details in an image
CN103426202A (zh) 三维全景互动移动终端展示系统及展示方法
JP2014048694A (ja) 表示制御装置、表示制御方法、プログラム及び記憶媒体
EP3945718A2 (en) Control method and apparatus, electronic device, and storage medium
US20230362477A1 (en) Photographing method and apparatus, electronic device and readable storage medium
KR101683130B1 (ko) 로컬 영역의 사용자와 원격 존재 로봇이 위치하는 원격 영역의 사용자 사이의 인터랙션을 제어하기 위한 사용자 인터페이스 제공 방법, 단말 및 컴퓨터 판독 가능한 기록 매체
CN111045586B (zh) 基于三维场景的界面切换方法、车机设备及车辆
JP6367759B2 (ja) 表示画像ズーム端末、表示画像ズーム方法及び表示画像ズームプログラム
US10187610B2 (en) Controlling display based on an object position in an imaging space
JP6685742B2 (ja) 操作装置、移動装置、およびその制御システム
JP6473048B2 (ja) 移動装置操作端末、移動装置操作方法及び移動装置操作プログラム
CN114125183A (zh) 图像处理方法、移动终端及存储介质
US11221760B2 (en) Information processing apparatus, information processing method, and storage medium
KR102514702B1 (ko) 사진 촬영 이미지를 생성하기 위한 모바일 단말기 및 사진 촬영 이미지를 생성하는 방법
CN112954197A (zh) 拍摄方法、装置、电子设备及可读存储介质
KR20180057034A (ko) 이동 단말기 및 그 제어방법
JP2022162409A (ja) 電子機器及びその制御方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191017

Year of fee payment: 4