KR101444858B1 - 원격 존재 장치 - Google Patents

원격 존재 장치 Download PDF

Info

Publication number
KR101444858B1
KR101444858B1 KR1020130105446A KR20130105446A KR101444858B1 KR 101444858 B1 KR101444858 B1 KR 101444858B1 KR 1020130105446 A KR1020130105446 A KR 1020130105446A KR 20130105446 A KR20130105446 A KR 20130105446A KR 101444858 B1 KR101444858 B1 KR 101444858B1
Authority
KR
South Korea
Prior art keywords
remote
user
local user
camera
display
Prior art date
Application number
KR1020130105446A
Other languages
English (en)
Inventor
권정흠
유범재
김신영
Original Assignee
재단법인 실감교류인체감응솔루션연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 실감교류인체감응솔루션연구단 filed Critical 재단법인 실감교류인체감응솔루션연구단
Priority to KR1020130105446A priority Critical patent/KR101444858B1/ko
Priority to US14/437,444 priority patent/US9332219B2/en
Priority to PCT/KR2013/010468 priority patent/WO2015034130A1/ko
Application granted granted Critical
Publication of KR101444858B1 publication Critical patent/KR101444858B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN

Abstract

원격 사용자와 로컬 사용자 간의 다양한 언어적 또는 비언어적 상호작용이 가능하도록 하는 원격 존재 장치에 관한 것이다. 일 실시예에 따르면, 원격 존재 장치는 방향 조절 수단이 결합된 카메라와, 카메라의 상단에 구비되어 방향 조절 수단에 의해 카메라와 함께 방향이 조절되는 프로젝터 및 방향 조절 수단을 작동하여 카메라의 방향을 조절하고 방향이 조절된 카메라에 의해 획득된 영상에서 원격 사용자가 응시하는 물체를 추출하여 그 물체와 관련된 프로젝터 영상을 생성하고, 프로젝터를 제어하여 프로젝터 영상을 물체의 주위에 프로젝션하는 제어부를 포함할 수 있다.

Description

원격 존재 장치{TELEPRESENCE APPARATUS}
원격 존재 장치에 관한 것으로, 보다 상세하게는 원격 사용자와 로컬 사용자간의 다양한 언어적 또는 비언어적 상호작용이 가능하도록 하는 원격 존재 장치에 관한 것이다.
물리적 거리를 극복하고 원격지 사용자 간의 사회적 소통을 위해 최근 원격 존재 로봇이 이용되고 있다. 일반적인 원격 존재 로봇은 2D 이미지 및 오디오 전달과 같은 언어적 통신(verbal communication)에 집중되어 있기 때문에 원활한 사회적 소통을 하기에는 다소 부족하다. 따라서 원격 사용자 간 자연스러운 사회적 소통 방법을 통해 물리적 거리의 한계를 극복하여 한 공간에 함께 있는 느낌인 공존감을 증강하기 위해서는 비언어적 통신(nonberbal communication)도 중요한 요소 중 하나이다.
한국 공개 특허 제10-2011-0071220호는 원격지에서 로봇 상태 정보를 이용하여 원격 존재 로봇을 제어하는 기술을 개시하고 있으나, 사용자의 비언어적 행동을 인지하고 이를 표현하는 데에 있어서는 한계가 있다.
원격 사용자의 응시점 표시 및 정보 증강, 가상 객체 공유, 햅틱 정보 제공 등 원격 사용자와 로컬 사용자 간에 다양한 비언어적 상호작용이 가능하도록 하는 원격 존재 장치를 제공하기 위함이다.
일 양상에 따르면, 원격 존재 장치는 방향 조절 수단이 결합된 카메라, 카메라의 상단에 구비되어 방향 조절 수단에 의해 카메라와 함께 방향이 조절되는 프로젝터 및 방향 조절 수단을 작동하여 카메라의 방향을 조절하고, 방향이 조절된 카메라에 의해 획득된 영상에서 원격 사용자가 응시하는 물체를 추출하여 그 물체와 관련된 프로젝터 영상을 생성하고, 프로젝터를 제어하여 프로젝터 영상을 물체의 주위에 프로젝션하는 제어부를 포함할 수 있다.
제어부는 원격 사용자의 응시 정보를 기초로 원격 사용자의 응시 방향을 결정하여 카메라가 원격 사용자의 응시 방향을 향하도록 방향 조절 수단을 작동할 수 있다.
프로젝터 영상은 추출된 물체가 원격 사용자가 응시하는 물체임을 나타내는 표시 및 물체와 관련된 증강 정보 중의 하나 이상을 포함할 수 있다.
또한, 원격 존재 장치는 원격 사용자의 동작 영상을 출력하는 디스플레이 및 디스플레이에 출력된 원격 사용자의 동작에 대응하여 로컬 사용자가 행하는 동작을 감지하는 모션감지부를 더 포함할 수 있다.
또한, 원격 존재 장치는 하단에 원격 존재 장치를 전후로 이동시키는 이동부를 더 포함하고, 제어부는 로컬 사용자의 동작을 해석하고, 로컬 사용자의 동작이 원격 존재 장치의 이동으로 해석되면 이동부를 제어하여 원격 존재 장치를 전진 또는 후진시킬 수 있다.
또한, 원격 존재 장치는 원격 사용자와 로컬 사용자 간에 공유하고자 하는 소정 객체 영상을 출력하는 디스플레이 및 출력된 소정 객체에 대하여 로컬 사용자가 행하는 동작을 감지하는 모션감지부를 더 포함할 수 있다.
이때, 로컬 사용자의 동작은 소정 객체를 회전, 이동, 확대, 축소하는 동작 중의 하나 이상을 포함하고, 제어부는 로컬 사용자의 동작에 따라 디스플레이 상의 소정 객체를 회전, 이동, 확대, 축소할 수 있다.
한편, 이동부는 로컬 사용자가 디스플레이 상의 소정 객체를 밀면, 원격 존재 장치를 미는 방향의 역방향으로 움직일 수 있다.
이때, 이동부는 소정 객체의 단단한 정도 및 미는 힘의 세기에 기초하여 역방향으로 움직일 수 있다.
이때, 이동부는 기울기, 위치 및 속도의 설정 정보에 따라 이동하는 역진자형 모바일 베이스일 수 있다.
원격 존재 장치를 이용하여 원격 사용자가 응시하는 물체를 정확하게 표시하고, 그 물체에 대한 증강된 정보를 표시하여 로컬 사용자와 상호작용할 수 있다.
또한, 원격 존재 장치를 이용하여 로컬 사용자와 원격 사용자 간의 가상의 객체를 공유 및 직접 조작하는 상호작용을 할 수 있다.
또한, 원격 존재 장치를 이용하여 로컬 사용자에게 가상 객체의 햅틱 정보를 디스플레이할 수 있다.
이와 같이, 원격 존재 장치는 로컬 사용자와 원격 사용자 간의 비언어적인 상호작용을 제공할 수 있다.
도 1은 일 실시예에 따른 원격 존재 장치를 도시한 도면이다.
도 2는 도 1의 원격 존재 장치의 상단부의 상세 도면이다.
도 3은 도 1의 원격 존재 장치의 제어부의 블록도이다.
도 4 내지 도 7은 일 실시예에 따른 원격 존재 장치를 통한 상호작용의 예이다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 기재된 기술의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 원격 존재 장치의 실시예들을 도면들을 참고하여 자세히 설명하도록 한다.
도 1은 일 실시예에 따른 원격 존재 장치를 도시한 도면이다. 도 2는 도 1의 원격 존재 장치의 상단부의 상세 도면이다.
도 1을 참조하면, 원격 존재 장치(1)는 상단부 구성(11)과, 몸체를 이루는 제어부(12), 디스플레이(13), 모션감지부(14) 및 음성출력부(15) 등의 구성 및, 이동부(16)를 포함한다.
상단부 구성(11)은 원격 존재 장치(1)의 머리 역할을 하는 것으로서, 도 2를 참조하면, 영상을 촬영하는 카메라(21)와, 프로젝터(22)를 포함할 수 있다.
카메라(21)는 방향조절수단(23)과 결합되어 있으며, 방향조절수단(23)의 작동에 따라 방향이 조절된다. 이때, 방향조절수단(23)은 3축 모터일 수 있다.
카메라(21)는 방향조절수단(23)이 동작하여 방향이 조절되면 그 방향의 전방을 촬영하여 영상을 획득한다. 이때, 카메라(21)는 3D 입체 컬러 영상을 획득할 수 있는 3D 입체 카메라일 수 있다.
한편, 도 2에 도시된 바와 같이, 추가적으로 장면의 깊이 영상을 획득할 수 있는 깊이 카메라(depth camera)(24)를 포함할 수 있다.
이와 같이, 3D 입체 컬러 영상이나 깊이 영상의 획득이 가능한 카메라(21,24)를 이용하여 촬영하는 경우, 획득된 영상에서 물체들 간의 기하학적 관계를 추출할 수 있다.
프로젝터(22)는 카메라(21)의 상단에 결합되며, 방향조절수단(23)이 작동하면 카메라와 함께 방향이 조절된다.
프로젝터(22)는 카메라(21)가 방향조절수단(23)에 의해 방향이 조절되어 그 방향에 위치한 특정 물체를 촬영하면, 그 물체에 소정의 프로젝터 영상을 프로젝션할 수 있다. 이때, 소정의 프로젝터 영상은 그 물체의 주위에 표시되는 표시자와 그 물체에 관해 증강된 정보를 포함할 수 있다.
제어부(12)는 원격 존재 장치(1)의 각 구성들의 각종 동작을 제어한다.
예를 들어, 제어부(12)는 방향조절수단(23)을 작동하여 카메라의 방향을 조절한다. 방향조절수단(23)이 작동하여 카메라(21,24)의 방향이 조절되면, 그 카메라(21,24)를 구동하여 조절된 방향 전방의 영상을 획득한다.
제어부(12)는 카메라(21,24)를 통해 영상이 획득되면 획득된 영상에서 원격 사용자가 응시하는 물체를 추출할 수 있다.
이때, 원격 사용자는 원격 존재 장치(1)와 물리적으로 떨어진 원격지에 있는 사용자를 의미하고, 이하에서 언급되는 로컬 사용자는 원격 존재 장치(1)와 물리적으로 같은 장소에서 그 원격 존재 장치(1)와 인터랙션하는 사용자를 의미한다.
제어부(12)는 원격 사용자가 응시하는 물체가 추출되면 그 물체와 관련된 프로젝터 영상을 생성하고, 프로젝터(22)의 키스톤을 조절하여 프로젝터 영상을 물체의 주위에 프로젝션하도록 한다.
제어부(12)는 도시된 바에 따르면 디스플레이(13)의 하단에 결합되어 있으나, 이는 예시에 불과하므로 디스플레이(13)의 후면에 장착되는 것도 가능하다.
디스플레이(13)는 상단부 구성(11)의 하단에 결합되며 다양한 3D 입체 영상을 출력할 수 있다.
예를 들어, 디스플레이(13)는 원격 사용자로부터 수신된 원격 사용자의 입체 영상을 출력할 수 있다. 원격 사용자의 입체 영상은 원격 사용자가 취하는 동작 영상 예컨대, 로컬 사용자와 악수하는 영상, 로컬 사용자와 대화하는 영상, 로컬 사용자에게 손 흔드는 영상, 로컬 사용자가 응시하는 객체에 대해 설명하는 영상 등이 될 수 있다.
또는, 로컬 사용자와 원격 사용자 간에 논의하거나 토의하고자 하는 객체에 대한 가상의 입체 영상을 출력할 수 있다.
모션감지부(14)는 로컬 사용자가 행하는 각종 동작을 감지하는 것으로, 도시된 바와 같이 디스플레이의 하단에 결합될 수 있다. 하지만, 이는 일 예에 불과하고, 모션감지부(14)는 디스플레이의 좌우 측면, 디스플레이의 상단 등 다양한 위치에 결합되는 것이 가능하다.
이때, 모션감지부(14)는 도시되지 않은 모션트랙커와 카메라를 포함할 수 있다. 카메라는 로컬 사용자의 동작을 촬영하는 3D 입체 카메라일 수 있으며 모션트랙커는 그 카메라를 통해 획득된 로컬 사용자의 동작 영상에서 로컬 사용자의 동작을 추적할 수 있다.
음성처리부(15)는 로컬 사용자의 음성을 입력받는 마이크와 원격 사용자의 음성을 출력하는 스피커를 포함할 수 있다.
이동부(16)는 제어부(12)의 제어에 따라 원격 존재 장치(1)를 전후로 이동시킨다. 이때, 이동부(16)는 기울기, 위치, 속도 등의 정보를 설정하여 그 설정된 정보에 따라 이동하는 역진자형 모바일 베이스일 수 있다.
도 3은 도 1의 원격 존재 장치(1)의 제어부(12)의 블록도이다.
도 1 내지 도 3을 참조하여, 원격 존재 장치(1)의 제어부(12)를 좀 더 상세하게 설명한다.
제어부(12)는 통신부(310), 방향조절부(321), 물체추출부(322), 물체표시부(323), 영상표시부(331), 모션감지부(332) 및 햅틱제공부(333)를 포함할 수 있다.
통신부(310)는 원격 사용자와의 통신을 수행하며, 원격 사용자의 응시 정보, 원격 사용자와 관련된 입체 영상 등을 수신하고, 로컬 사용자와 관련된 각종 정보를 원격 사용자에게 전송한다.
이때, 원격 사용자도 자신의 위치에 원격 존재 장치를 구비할 수 있으며, 그 원격 존재 장치를 통해 로컬 사용자와 통신할 수 있다.
방향조절부(321)는 원격 사용자로부터 원격 사용자가 응시하는 물체에 대한 응시 정보가 수신되면, 그 응시 정보를 이용하여 원격 사용자가 응시하는 방향을 결정하고, 카메라의 방향을 조절하기 위한 방향 조절 정보를 생성할 수 있다. 이때, 응시 정보는 예를 들어 정면을 중심으로 상하 좌우 이동 각도 또는 주시 거리 등의 정보를 포함할 수 있다.
방향조절부(321)는 각도 또는 주시 거리 등의 응시 정보를 통해 방향조절수단(13)인 3축 모터를 이동시키기 위한 조절 정보를 생성하여 3축 모터를 작동시킨다.
물체추출부(322)는 방향조절수단(13)이 작동하여 방향조절수단(13)과 결합된 카메라(21)의 방향이 조절되면, 그 카메라(21)를 구동하여 조절된 방향 상의 전방 영상을 획득한다. 그리고, 획득된 영상에서 중심 물체와 주변 물체들 간의 기하학적 관계를 추출하여 원격 사용자가 응시하는 중심 물체를 결정할 수 있다.
물체표시부(323)는 원격 사용자가 응시하는 물체가 결정되면, 그 물체가 원격 사용자가 응시하는 물체임을 지시하기 위한 소정의 식별 표시자를 포함한 프로젝터 영상을 생성한다. 프로젝터 영상이 생성되면 프로젝터(22)를 제어하여 그 물체의 주위에 그 프로젝터 영상이 프로젝션 되도록 한다.
또한, 물체표시부(323)는 그 물체와 관련된 정보를 증강하고, 증강된 정보를 그 프로젝터 영상에 포함하여 프로젝션시킬 수 있다.
도 4는 일 실시예에 따라 원격 존재 장치(1)에서 원격 사용자가 응시하는 물체의 주위에 프로젝터 영상을 출력하는 것을 예시한 도면이다.
도 4를 더 참조하여 예를 들어 설명하면, 원격지에 위치한 원격 사용자는 원격 존재 장치(1)의 카메라(21)를 통해 로컬 위치에 존재하는 전화기, 테이블 등의 물체들을 확인할 수 있다.
전술한 바와 같이, 원격 사용자는 실시간으로 이동 각도 및 거리 등의 응시 정보를 원격 존재 장치(1)에 전송함으로써 카메라(21)의 방향을 조절할 수 있고, 카메라(21)를 통해 획득되어 전송된 영상에서 원하는 물체(41)를 발견하면 프로젝터 영상(42)이 출력되도록 제어 신호를 전송할 수 있다.
제어부(12)는 이와 같이 원격 사용자가 의도하는 물체(41)가 결정되면 그 물체(41)의 주위에 식별 표시자(43) 및 그 물체(41)에 대한 증강 정보(44)를 포함하는 프로젝터 영상(42)를 생성하고 프로젝터(22)를 제어하여 그 프로젝터 영상(42)를 프로젝션할 수 있다.
이와 같이, 원격 사용자가 응시하는 물체(41)가 결정되어 식별 표시자(43) 또는 증강 정보(44)가 출력되면, 로컬 사용자는 원격 사용자가 응시하는 물체(41)를 정확히 파악할 수 있다.
또한, 도 1의 음성처리부(15)를 통해 원격 사용자와 로컬 사용자 간에 대화 음성을 출력하거나 상대방에게 전송함으로써 그 물체를 주제로 대화를 나눌 수 있도록 할 수 있다.
영상표시부(331)는 원격 사용자로부터 원격 사용자에 대한 영상이 수신되면 수신된 영상을 디스플레이(13)에 출력한다. 이때, 원격 사용자의 입체 영상은 예를 들어 원격 사용자가 취하는 각종 동작 영상 즉, 로컬 사용자와 악수하는 영상, 로컬 사용자와 대화하는 영상, 로컬 사용자에게 손 흔드는 영상, 로컬 사용자가 응시하는 객체에 대해 설명하는 영상 등이 될 수 있다.
모션감지부(332)는 로컬 사용자가 행하는 각종 동작을 감지한다. 로컬 사용자는 디스플레이(13)에 출력된 원격 사용자의 동작에 대응하거나, 공유된 가상의 객체를 손으로 만지거나 조작하기 위하여 일련의 동작을 취하게 되는데 이에 상응하는 손의 공간적 위치 값을 감지할 수 있다.
햅틱제공부(333)는 감지된 로컬 사용자의 동작을 해석하여 로컬 사용자에게 햅틱 피드백을 제공할 수 있다. 예를 들어, 햅틱제공부(333)는 로컬 사용자의 동작이 원격 존재 장치(1)를 이동하는 것으로 해석되면 도 1의 이동부(16)를 제어하여 원격 존재 장치(1)를 전후로 이동시킬 수 있다.
도 5는 원격 사용자와 로컬 사용자 간에 상호 작용하는 예를 나타낸 도면이다.
도 5를 더 참조하여 예를 들어 설명하면, 원격 사용자가 로컬 사용자와 손을 마주치거나 악수하는 동작을 행하면 원격 사용자의 동작 영상(51)이 디스플레이(13)에 출력된다. 이때, 디스플레이(13)는 3차원 입체 영상의 출력이 가능하므로, 원격 사용자의 동작 영상을 깊이를 반영하여 출력할 수 있다.
예를 들어, 원격 사용자가 악수를 하거나 손을 맞대기 위해 손을 앞으로 내미는 경우 디스플레이(13)에 그 깊이가 반영되어 출력되므로, 로컬 사용자는 원격 사용자가 자신에게 손을 내미는 것처럼 느낄 수 있다.
로컬 사용자가 디스플레이(13)에 출력된 영상(51)을 보고 대응되는 동작(52)을 행하면, 모션감지부(14)는 그 로컬 사용자의 동작(52)을 감지할 수 있다.
이때, 제어부(12)는 모션감지부(14)에 의해 로컬 사용자의 동작(52)이 감지되면, 로컬 사용자의 동작(52)의 영상을 원격 사용자에게 전송할 수 있다.
또한, 제어부(12)는 로컬 사용자의 동작(52)에 따라 햅틱 피드백을 로컬 사용자에게 제공할 수 있다. 예를 들어, 로컬 사용자와 원격 사용자가 서로 손을 맞댄 상황이나 악수하는 상황에서 서로 손을 밀고 당기는 경우 그 밀고 당기는 힘에 대응하여 이동부(16)를 전후로 이동시킬 수 있다.
이를 통해, 로컬 사용자와 원격 사용자는 실제로 악수하거나 손을 맞대고 있는 것과 같은 느낌을 가질 수 있으므로 비언어적인 소통이 가능해진다.
한편, 영상표시부(331)는 로컬 사용자와 원격 사용자가 공유하고자 하는 객체에 대한 가상의 입체 영상을 생성하여 디스플레이(13)에 출력할 수 있다. 이때, 영상표시부(331)는 로컬 사용자나 원격 사용자로부터 그 객체에 대한 정보를 입력받을 수 있다.
도 6은 로컬 사용자와 원격 사용자가 3차원 객체 조작을 통해 상호작용을 하는 예를 도시한 것이다.
도 6을 참조하면, 설명의 편의를 위해 로컬 사용자가 손(62)으로 객체(61)를 직접 잡고 있는 것처럼 도시하였으나, 실제로 가상의 객체는 디스플레이(13)에 출력된다.
로컬 사용자는 디스플레이(13)에 가상의 객체(61)가 출력되면, 도시된 바와 같이 손(62)으로 가상의 객체(61)를 직접 잡고 있는 동작을 취할 수 있다. 또한, 가상의 객체(61)를 잡고 있는 동작에서 그 가상의 객체(61)를 회전,이동,확대, 축소 등의 동작을 수행할 수 있다.
이때, 모션감지부(14)는 로컬 사용자가 손(62)을 회전하거나, 이동하는 경우 손의 형태와 위치 등을 추적하고, 제어부(12)는 그 동작을 해석하여 디스플레이(13)에서 객체(61)를 회전 또는 이동시킨다. 만약, 로컬 사용자가 가상의 객체(61)를 잡고 있는 동작에서 손을 오므리거나 펼치는 경우 제어부(12)는 이를 객체(61)의 축소 또는 확대로 해석하고 디스플레이(13)에서 객체(61)를 축소 또는 확대시킬 수 있다.
한편, 로컬 사용자는 디스플레이(13)를 직접 터치하여 객체(61)에 대한 회전, 이동, 확대, 축소 등의 동작을 수행하는 것도 가능하다.
이때, 제어부(12)는 이동부(16)를 제어하여 로컬 사용자에게 햅틱 피드백을 제공할 수 있다.
도 7은 디스플레이에 출력된 객체에 대해 행하는 로컬 사용자의 동작에 대응한 햅틱 피드백의 예를 도시한 것이다.
도 7을 참조하면, 로컬 사용자가 디스플레이(13)에 도시된 객체(71)를 'A' 방향으로 밀면, 이동부(16)를 제어하여 그 미는 방향의 역방향인 'B'방향으로 움직이도록 할 수 있다. 이때, 제어부(12)는 이동부(16) 예컨대, 역진자형 모바일 베이스의 기울기, 위치 및 속도를 0으로 설정하여 역진자형 모바일 베이스가 다시 원위치로 복귀하도록 할 수 있다.
이와 같이, 기울기, 위치, 속도를 0으로 설정하면 외부에서 힘이 가해지는 경우, 그에 대응하여 기울기, 위치, 속도를 0으로 맞추기 위해 움직인다. 즉, 로컬 사용자가 디스플레이(13)를 밀면 순간적으로 원격 존재 장치(1)는 뒤로 이동하고, 이때, 역진자형 모바일 베이스가 다시 원위치로 복귀하기 위해 역방향으로 힘을 가하여 이동한다.
이를 통해, 로컬 사용자는 그 객체(71)의 단단한 정도를 느낄 수 있다. 즉, 로컬 사용자가 디스플레이(13)에 힘을 가할 때, 원격 존재 장치(1)가 쉽게 뒤로 밀려나거나, 원위치로 복귀하려는 힘이 약하면 로컬 사용자는 그 객체(71)의 강성이 약하다고 느낄 수 있다. 반대로, 복귀하려는 힘이 강해 뒤로 잘 밀려나지 않으면 그 객체(71)는 강한 강성을 가진 것으로 판단할 수 있다.
이와 같이, 역진자형 모바일 베이스의 설정 정보를 그 객체(71)의 단단한 정도나 미는 힘의 세기를 고려하여 설정함으로써, 로컬 사용자에게 다양한 강성의 피드백을 제공할 수 있다.
본 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
1: 원격 존재 장치 11: 상단부
12: 제어부 13: 디스플레이
14: 모션감지부 15: 음성처리부
16: 이동부 21: 카메라
22: 프로젝터 23: 방향조절수단
24: 깊이 카메라 310: 통신부
321: 방향조절부 322: 물체추출부
323: 물체표시부 331: 영상표시부
332: 모션감지부 333: 햅틱제공부

Claims (10)

  1. 방향 조절 수단이 결합된 카메라;
    상기 카메라의 상단에 구비되어 상기 방향 조절 수단에 의해 상기 카메라와 함께 방향이 조절되는 프로젝터; 및
    상기 방향 조절 수단을 작동하여 상기 카메라의 방향을 조절하고, 상기 방향이 조절된 카메라에 의해 획득된 영상에서 원격 사용자가 응시하는 물체를 추출하여 그 물체와 관련된 프로젝터 영상을 생성하고, 상기 프로젝터를 제어하여 상기 프로젝터 영상을 상기 물체의 주위에 프로젝션하는 제어부;를 포함하고,
    상기 원격 사용자와 로컬 사용자 간에 공유하고자 하는 소정 객체 영상을 출력하는 디스플레이; 및
    상기 출력된 소정 객체에 대하여 로컬 사용자가 행하는 동작을 감지하는 모션감지부;를 더 포함하는 원격 존재 장치.
  2. 제1항에 있어서, 상기 제어부는
    원격 사용자의 응시 정보를 기초로 상기 원격 사용자의 응시 방향을 결정하여 상기 카메라가 상기 원격 사용자의 응시 방향을 향하도록 상기 방향 조절 수단을 작동하는 원격 존재 장치.
  3. 제1항에 있어서, 상기 프로젝터 영상은
    상기 추출된 물체가 원격 사용자가 응시하는 물체임을 나타내는 표시 및 상기 물체와 관련된 증강 정보 중의 하나 이상을 포함하는 원격 존재 장치.
  4. 제1항에 있어서,
    원격 사용자의 동작 영상을 출력하는 디스플레이; 및
    상기 디스플레이에 출력된 원격 사용자의 동작에 대응하여 로컬 사용자가 행하는 동작을 감지하는 모션감지부;를 더 포함하는 원격 존재 장치.
  5. 제4항에 있어서,
    하단에 상기 원격 존재 장치를 전후로 이동시키는 이동부를 더 포함하고,
    상기 제어부는
    상기 로컬 사용자의 동작을 해석하고, 상기 로컬 사용자의 동작이 상기 원격 존재 장치의 이동으로 해석되면 상기 이동부를 제어하여 상기 원격 존재 장치를 전진 또는 후진시키는 원격 존재 장치.
  6. 삭제
  7. 제1항에 있어서, 상기 로컬 사용자의 동작은
    상기 소정 객체를 회전, 이동, 확대, 축소하는 동작 중의 하나 이상을 포함하고,
    상기 제어부는
    상기 로컬 사용자의 동작에 따라 상기 디스플레이 상의 소정 객체를 회전, 이동, 확대, 축소하는 원격 존재 장치.
  8. 제1항에 있어서,
    상기 로컬 사용자가 상기 디스플레이 상의 소정 객체를 밀면, 상기 원격 존재 장치를 미는 방향의 역방향으로 움직이는 이동부;를 더 포함하는 원격 존재 장치.
  9. 제8항에 있어서, 상기 이동부는
    상기 소정 객체의 단단한 정도 및 미는 힘의 세기에 기초하여 상기 역방향으로 움직이는 원격 존재 장치.
  10. 제9항에 있어서,
    상기 이동부는 기울기, 위치 및 속도의 설정 정보에 따라 이동하는 역진자형 모바일 베이스인 원격 존재 장치.
KR1020130105446A 2013-09-03 2013-09-03 원격 존재 장치 KR101444858B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130105446A KR101444858B1 (ko) 2013-09-03 2013-09-03 원격 존재 장치
US14/437,444 US9332219B2 (en) 2013-09-03 2013-11-18 Telepresence device
PCT/KR2013/010468 WO2015034130A1 (ko) 2013-09-03 2013-11-18 원격 존재 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130105446A KR101444858B1 (ko) 2013-09-03 2013-09-03 원격 존재 장치

Publications (1)

Publication Number Publication Date
KR101444858B1 true KR101444858B1 (ko) 2014-11-03

Family

ID=52288276

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130105446A KR101444858B1 (ko) 2013-09-03 2013-09-03 원격 존재 장치

Country Status (3)

Country Link
US (1) US9332219B2 (ko)
KR (1) KR101444858B1 (ko)
WO (1) WO2015034130A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180062130A (ko) * 2016-11-30 2018-06-08 주식회사 레인보우로보틱스 서비스 로봇
KR20190043749A (ko) * 2017-10-19 2019-04-29 한국과학기술연구원 프로젝터-카메라 기반의 로봇형 디바이스와 헤드 마운트 디스플레이를 사용하는 원격 협업 시스템 및 이를 이용한 원격 인터랙션 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD753754S1 (en) * 2015-01-09 2016-04-12 Eyesmatch Ltd Portrait flat panel display
US9794516B1 (en) 2016-11-16 2017-10-17 Raja Singh Tuli Telepresence system
JP2019008585A (ja) * 2017-06-26 2019-01-17 富士ゼロックス株式会社 ロボット制御システム
US10155166B1 (en) * 2017-09-08 2018-12-18 Sony Interactive Entertainment Inc. Spatially and user aware second screen projection from a companion robot or device
JP7189406B2 (ja) * 2017-12-15 2022-12-14 株式会社電通国際情報サービス コミュニケーション装置及び遠隔コミュニケーションシステム
EP3919335A4 (en) * 2019-02-01 2022-10-12 Evar Co., Ltd. ELECTRIC TROLLEY

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120026038A (ko) * 2009-04-17 2012-03-16 인터치 테크놀로지스 인코퍼레이티드 소프트웨어 모듈성, 프로젝터 및 레이저 포인터를 가진 원격-존재 로보트 시스템
KR20120129293A (ko) * 2011-05-19 2012-11-28 주식회사 뉴이레디자인 증강현실 기반 인터렉티브 컨텐츠 생성 방법 및 시스템

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002046088A (ja) * 2000-08-03 2002-02-12 Matsushita Electric Ind Co Ltd ロボット装置
KR100611680B1 (ko) 2005-06-28 2006-08-14 한국과학기술연구원 멀티모달 인터랙션 기반 원격미팅 시스템
JP4594272B2 (ja) 2006-04-26 2010-12-08 日本電信電話株式会社 位置データ変換装置及び位置データ変換方法
JP5233768B2 (ja) 2009-03-18 2013-07-10 沖電気工業株式会社 コミュニケーション支援システム、表示制御装置および表示制御方法
US20110025689A1 (en) 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
KR20110071220A (ko) 2009-12-21 2011-06-29 한국전자통신연구원 원격 존재 로봇의 원격 제어 장치 및 방법
US8730309B2 (en) * 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US8918213B2 (en) * 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
KR20120090206A (ko) 2011-02-07 2012-08-17 주식회사 엘제이텍 영상투영장비를 이용한 자동차 헤드라이너 작업안내 시스템 및 그 방법
KR101837107B1 (ko) 2011-09-01 2018-03-09 에스케이 텔레콤주식회사 증강 현실을 이용하여 실내 위치 기반 서비스를 제공하는 단말기 및 컴퓨터로 읽을 수 있는 기록매체
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US9325943B2 (en) * 2013-02-20 2016-04-26 Microsoft Technology Licensing, Llc Providing a tele-immersive experience using a mirror metaphor
WO2014165031A1 (en) * 2013-03-13 2014-10-09 Double Robotics, Inc. Accessory robot for mobile device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120026038A (ko) * 2009-04-17 2012-03-16 인터치 테크놀로지스 인코퍼레이티드 소프트웨어 모듈성, 프로젝터 및 레이저 포인터를 가진 원격-존재 로보트 시스템
KR20120129293A (ko) * 2011-05-19 2012-11-28 주식회사 뉴이레디자인 증강현실 기반 인터렉티브 컨텐츠 생성 방법 및 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180062130A (ko) * 2016-11-30 2018-06-08 주식회사 레인보우로보틱스 서비스 로봇
KR102639602B1 (ko) 2016-11-30 2024-02-22 주식회사 레인보우로보틱스 서비스 로봇
KR20190043749A (ko) * 2017-10-19 2019-04-29 한국과학기술연구원 프로젝터-카메라 기반의 로봇형 디바이스와 헤드 마운트 디스플레이를 사용하는 원격 협업 시스템 및 이를 이용한 원격 인터랙션 방법
KR102082433B1 (ko) 2017-10-19 2020-02-27 한국과학기술연구원 프로젝터-카메라 기반의 로봇형 디바이스와 헤드 마운트 디스플레이를 사용하는 원격 협업 시스템 및 이를 이용한 원격 인터랙션 방법

Also Published As

Publication number Publication date
US9332219B2 (en) 2016-05-03
US20150281640A1 (en) 2015-10-01
WO2015034130A1 (ko) 2015-03-12

Similar Documents

Publication Publication Date Title
KR101444858B1 (ko) 원격 존재 장치
US11755122B2 (en) Hand gesture-based emojis
KR101815020B1 (ko) 인터페이스 제어 장치 및 방법
JP6229314B2 (ja) 情報処理装置、表示制御方法及びプログラム
US11865448B2 (en) Information processing apparatus and user guide presentation method
KR20140070326A (ko) 3차원 인터페이스를 제공하는 모바일 장치 및 그것의 제스처 제어 방법
US11695908B2 (en) Information processing apparatus and information processing method
US11625858B2 (en) Video synthesis device, video synthesis method and recording medium
JP2006301654A (ja) 画像呈示装置
WO2017051570A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2017085974A1 (ja) 情報処理装置
US20210233325A1 (en) Video synthesis device, video synthesis method and recording medium
US11151804B2 (en) Information processing device, information processing method, and program
EP3528024B1 (en) Information processing device, information processing method, and program
US20220230399A1 (en) Extended reality interaction in synchronous virtual spaces using heterogeneous devices
JP2011152593A (ja) ロボット操作装置
JP3242079U (ja) 浮遊画像表示装置、及び浮遊画像表示システム
WO2020218131A1 (ja) 画像生成装置および情報提示方法
JP2011113206A (ja) 映像コミュニケーションシステム、及び映像コミュニケーション方法
JP2015005823A (ja) 画像処理装置およびデジタルミラーシステム
WO2019235106A1 (ja) ヒートマップ提示装置およびヒートマップ提示用プログラム
JP6276954B2 (ja) 映像監視システム
WO2019106862A1 (ja) 操作案内システム
JP2019219702A (ja) 仮想空間における仮想カメラの制御方法
JP7241628B2 (ja) 動画合成装置、動画合成方法、および動画合成プログラム

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170912

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180816

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190704

Year of fee payment: 6