KR20190043749A - 프로젝터-카메라 기반의 로봇형 디바이스와 헤드 마운트 디스플레이를 사용하는 원격 협업 시스템 및 이를 이용한 원격 인터랙션 방법 - Google Patents
프로젝터-카메라 기반의 로봇형 디바이스와 헤드 마운트 디스플레이를 사용하는 원격 협업 시스템 및 이를 이용한 원격 인터랙션 방법 Download PDFInfo
- Publication number
- KR20190043749A KR20190043749A KR1020170135689A KR20170135689A KR20190043749A KR 20190043749 A KR20190043749 A KR 20190043749A KR 1020170135689 A KR1020170135689 A KR 1020170135689A KR 20170135689 A KR20170135689 A KR 20170135689A KR 20190043749 A KR20190043749 A KR 20190043749A
- Authority
- KR
- South Korea
- Prior art keywords
- remote
- image
- head
- space
- information
- Prior art date
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000004891 communication Methods 0.000 claims abstract description 39
- 230000009467 reduction Effects 0.000 claims description 9
- 230000033001 locomotion Effects 0.000 claims description 8
- 101150013335 img1 gene Proteins 0.000 description 13
- 101150071665 img2 gene Proteins 0.000 description 11
- 230000004044 response Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000002679 ablation Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000013024 troubleshooting Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000010413 gardening Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/12—Projectors or projection-type viewers; Accessories therefor adapted for projection of either still pictures or motion pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H04N5/225—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Manipulator (AREA)
- Studio Devices (AREA)
Abstract
프로젝터, 파노라마 카메라 및 고화질 카메라를 포함하고 원격 공간에 배치되는 로봇형 디바이스와, 원격 공간과 이격된 로컬 공간에 배치되는 헤드 마운트 디스플레이를 포함하는 원격 협업 시스템을 이용한 원격 인터랙션 방법에서, 통신 요청에 기초하여 로봇형 디바이스와 헤드 마운트 디스플레이 사이에 통신을 성립한다. 헤드 마운트 디스플레이가 파노라마 카메라에 의해 수집되는 제1 영상 정보를 수신하고 고화질 카메라에 의해 수집되는 제2 영상 정보를 수신하여, 원격 공간을 관찰한다. 헤드 마운트 디스플레이가 원격 공간의 관찰 결과에 기초하여, 원격 공간에 제공하고자 하는 필요 정보를 검색한다. 로봇형 디바이스가 헤드 마운트 디스플레이로부터 필요 정보를 수신하고, 프로젝터를 통해 원격 공간에 필요 정보를 제공한다.
Description
본 발명은 원격 협업에 관한 것으로서, 더욱 상세하게는 프로젝터-카메라 기반의 로봇형 디바이스와 헤드 마운트 디스플레이를 사용하는 원격 협업 시스템, 및 상기 원격 협업 시스템을 이용한 원격 인터랙션 방법에 관한 것이다.
원격 협업 시스템은 원격 공간에서 도움이 필요한 사람인 원격 사용자가, 로컬 공간에서 원격 사용자에게 도움을 주며 같이 협업을 하게 되는 로컬 사용자(도우미)와 서로 통신하여, 필요한 업무를 수행하거나 교육 등을 할 수 있는 시스템을 나타낸다.
종래의 원격 협업 시스템은 다양한 디바이스를 바탕으로 구현되어 왔다. 모바일 디바이스 기반의 원격 협업 시스템의 경우, 익숙하고 편리한 모바일 디바이스를 사용하기 때문에 접근성이 높지만, 원격 사용자의 입장에서는 손으로 모바일 디바이스를 들고 모바일 디바이스의 디스플레이를 통해서 설명을 보고 작업을 하기 때문에 작업 효율이 낮아지며, 로컬 도우미는 원격 환경 관찰의 효율이 낮아지는 문제가 있었다. 웨어러블 디바이스 기반의 원격 협업 시스템의 경우, 웨어러블 디바이스는 원격 사용자가 손에 들고 있을 필요가 없지만, 원격 사용자의 입장에서는 착용에 불편함을 느낄 수 있으며, 로컬 도우미는 원격 환경의 보고 싶은 곳을 자유롭게 볼 수 없는 문제가 있었다. 로봇 기반의 원격 협업 시스템의 경우, 로컬 도우미는 원하는 대로 로봇을 컨트롤 할 수 있어 원격 환경을 관찰하기에 편하고 원격 사용자 입장에서는 모바일 디바이스나 웨어러블 디바이스 같이 불편하지는 않지만, 대부분의 로봇 시스템은 모니터를 통해 도우미의 설명을 보기 때문에 작업 효율이 낮으며 좁은 화각의 카메라를 사용하여 원격 환경 관찰이 용이하지 못한 문제가 있었다.
본 발명의 일 목적은 원격 사용자와 로컬 도우미가 보다 효율적으로 협업할 수 있도록, 프로젝터-카메라 기반의 로봇형 디바이스와 헤드 마운트 디스플레이를 이용한 원격 인터랙션 방법을 제공하는 것이다.
본 발명의 다른 목적은 원격 사용자와 로컬 도우미가 보다 효율적으로 협업할 수 있도록, 프로젝터-카메라 기반의 로봇형 디바이스와 헤드 마운트 디스플레이를 사용하는 원격 협업 시스템을 제공하는 것이다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 프로젝터, 파노라마 카메라 및 고화질 카메라를 포함하고 원격 공간에 배치되는 로봇형 디바이스와, 상기 원격 공간과 이격된 로컬 공간에 배치되는 헤드 마운트 디스플레이를 포함하는 원격 협업 시스템을 이용한 원격 인터랙션 방법에서, 통신 요청에 기초하여, 상기 로봇형 디바이스와 상기 헤드 마운트 디스플레이 사이에 통신을 성립한다. 상기 헤드 마운트 디스플레이가 상기 파노라마 카메라에 의해 수집되는 제1 영상 정보를 수신하고 상기 고화질 카메라에 의해 수집되는 제2 영상 정보를 수신하여, 상기 원격 공간을 관찰한다. 상기 헤드 마운트 디스플레이가 상기 원격 공간의 관찰 결과에 기초하여, 상기 원격 공간에 제공하고자 하는 필요 정보를 검색한다. 상기 로봇형 디바이스가 상기 헤드 마운트 디스플레이로부터 상기 필요 정보를 수신하고, 상기 프로젝터를 통해 상기 원격 공간에 상기 필요 정보를 제공한다.
일 실시예에서, 상기 원격 공간을 관찰하는데 있어서, 상기 헤드 마운트 디스플레이가 상기 제1 영상 정보에 기초하여 상기 원격 공간의 파노라마 영상을 표시할 수 있다. 상기 파노라마 영상을 표시하는 동안에 화면 확대 인터랙션이 수행되는 경우에, 상기 헤드 마운트 디스플레이가 상기 제1 및 제2 영상 정보들에 기초하여 상기 파노라마 영상과 상기 원격 공간의 제1 영역의 확대 영상을 함께 표시할 수 있다. 상기 파노라마 영상과 상기 확대 영상을 함께 표시하는 동안에 상기 화면 확대 인터랙션이 수행되는 경우에, 상기 헤드 마운트 디스플레이가 상기 제2 영상 정보에 기초하여 상기 확대 영상을 표시할 수 있다. 화면 저장 인터랙션이 수행되는 경우에, 상기 헤드 마운트 디스플레이가 표시하고 있는 현재 영상을 저장할 수 있다.
일 실시예에서, 상기 원격 공간을 관찰하는데 있어서, 상기 파노라마 영상과 상기 확대 영상을 함께 표시하는 동안에 화면 축소 인터랙션이 수행되는 경우에, 상기 헤드 마운트 디스플레이가 상기 제1 영상 정보에 기초하여 상기 파노라마 영상을 표시할 수 있다. 상기 확대 영상을 표시하는 동안에 상기 화면 축소 인터랙션이 수행되는 경우에, 상기 헤드 마운트 디스플레이가 상기 제1 및 제2 영상 정보들에 기초하여 상기 파노라마 영상과 상기 확대 영상을 함께 표시할 수 있다.
일 실시예에서, 상기 원격 공간을 관찰하는데 있어서, 제거 인터랙션이 수행되는 경우에, 상기 파노라마 영상과 상기 확대 영상을 함께 표시하는 동안에 상기 확대 영상을 순간적으로 제거하거나, 상기 파노라마 영상 또는 상기 확대 영상과 함께 표시되고 상기 헤드 마운트 디스플레이의 동작을 제어하기 위한 사용자 인터페이스 객체를 제거할 수 있다.
일 실시예에서, 상기 필요 정보를 검색하는데 있어서, 상기 파노라마 영상을 표시하는 동안에 화면 축소 인터랙션이 수행되는 경우에, 상기 헤드 마운트 디스플레이에 포함되는 제1 카메라에 의해 수집되는 제3 영상 정보에 기초하여, 상기 헤드 마운트 디스플레이가 로컬 공간을 관찰할 수 있다. 상기 헤드 마운트 디스플레이에 저장된 제1 데이터들에 대한 제1 검색을 수행할 수 있다. 상기 원격 공간의 관찰 결과, 상기 로컬 공간의 관찰 결과 및 상기 제1 검색의 결과 중 적어도 하나에 기초하여 상기 필요 정보를 획득할 수 있다.
일 실시예에서, 상기 필요 정보를 검색하는데 있어서, 상기 로봇형 디바이스에 저장된 제2 데이터들에 대한 제2 검색을 수행할 수 있다. 상기 헤드 마운트 디스플레이를 통해 인터넷 네트워크에 접속하여, 상기 필요 정보와 관련된 제3 데이터들에 대한 제3 검색을 수행할 수 있다. 상기 필요 정보를 획득하는데 상기 제2 검색의 결과 및 상기 제3 검색의 결과 중 적어도 하나가 추가적으로 이용될 수 있다.
일 실시예에서, 상기 원격 공간에 상기 필요 정보를 제공하는데 있어서, 상기 필요 정보가 영상 형태로 제공되는 경우에, 상기 프로젝터가 상기 필요 정보를 상기 원격 공간에 표시할 수 있다. 상기 필요 정보가 상기 원격 공간의 제1 영역과 관련된 경우에, 상기 프로젝터가 상기 원격 공간의 제1 영역에 포인터를 표시할 수 있다.
일 실시예에서, 상기 헤드 마운트 디스플레이가 상기 파노라마 영상과 상기 확대 영상을 함께 표시하거나 상기 확대 영상을 표시하는 경우, 및 상기 필요 정보가 상기 원격 공간의 제1 영역과 관련되어 상기 프로젝터가 상기 원격 공간의 제1 영역에 상기 포인터를 표시하는 경우에, 상기 고화질 카메라 및 상기 프로젝터 모두는 상기 원격 공간의 제1 영역을 향하도록 제어될 수 있다.
일 실시예에서, 상기 원격 협업 시스템은 상기 로컬 공간에 배치되고 상기 헤드 마운트 디스플레이의 동작을 제어하기 위한 컨트롤러를 더 포함할 수 있다. 상기 고화질 카메라 및 상기 프로젝터의 방향 제어는 상기 헤드 마운트 디스플레이에 의해 획득되는 헤드 트래킹 정보에 기초하여 수행될 수 있다. 상기 원격 공간의 제1 영역 내에서 상기 포인터의 이동은 상기 컨트롤러에 의해 수행될 수 있다.
상기 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 원격 협업 시스템은 로봇형 디바이스 및 헤드 마운트 디스플레이를 포함한다. 상기 로봇형 디바이스는 원격 공간에 배치되고, 상기 원격 공간에 필요 정보를 제공하는 프로젝터, 상기 원격 공간에 대한 제1 영상 정보를 수집하는 제1 파노라마 카메라 및 상기 원격 공간에 대한 제2 영상 정보를 수집하는 고화질 카메라를 포함한다. 상기 헤드 마운트 디스플레이는 상기 원격 공간과 이격된 로컬 공간에 배치된다. 통신 요청에 기초하여 상기 로봇형 디바이스와 상기 헤드 마운트 디스플레이 사이에 통신을 성립하고, 상기 헤드 마운트 디스플레이가 상기 제1 영상 정보 및 상기 제2 영상 정보를 수신하여 상기 원격 공간을 관찰하고, 상기 헤드 마운트 디스플레이가 상기 원격 공간의 관찰 결과에 기초하여 상기 필요 정보를 검색하며, 상기 로봇형 디바이스가 상기 헤드 마운트 디스플레이로부터 상기 필요 정보를 수신하고 상기 프로젝터를 통해 상기 원격 공간에 상기 필요 정보를 제공한다.
상기와 같은 본 발명의 실시예들에 따른 원격 협업 시스템 및 이를 이용한 원격 인터랙션 방법에서는, 프로젝터-카메라 기반의 로봇형 디바이스를 이용하고, 이 디바이스를 헤드 마운트 디스플레이로 컨트롤 하게 된다. 따라서, 더욱 효율적인 협업이 가능할 수 있다. 구체적으로, 원격 사용자는 디바이스를 손에 들거나 착용할 필요가 없어 편하고, 로컬 도우미의 설명을 문제점이 있는 부분에 바로 프로젝터를 통해 설명을 볼 수 있으므로, 효율이 높아진다. 로컬 도우미의 경우에도 로봇형 디바이스를 컨트롤 하여 자신이 보고 싶은 곳을 자유롭게 보고 설명할 수 있으며, 헤드 마운트 디스플레이를 착용하여 원격 환경을 몰입감 있게 관찰할 수 있어 원격 협업에 도움이 된다. 본 발명의 실시예들에 따라 헤드 마운트 디스플레이를 통한 화면 전환, 로봇형 디바이스 컨트롤 등을 사용하면, 헤드 마운트 디스플레이를 착용하여도 불편함 없이 원격 협업을 할 수 있어 효율을 높일 수 있다.
도 1은 본 발명의 실시예들에 따른 원격 협업 시스템을 나타내는 블록도이다.
도 2는 본 발명의 실시예들에 따른 원격 협업 시스템에 포함되는 로봇형 디바이스의 프로토 타입을 나타내는 도면이다.
도 3은 본 발명의 실시예들에 따른 원격 협업 시스템을 이용한 원격 인터랙션 방법을 나타내는 순서도이다.
도 4a 및 4b는 본 발명의 실시예들에 따른 원격 협업 시스템에 포함되는 헤드 마운트 디스플레이의 통신 요청 동작을 설명하기 위한 도면들이다.
도 5, 6a, 6b 및 6c는 본 발명의 실시예들에 따른 원격 협업 시스템에 포함되는 헤드 마운트 디스플레이의 이벤트 수행 동작을 설명하기 위한 도면들이다.
도 7a, 7b, 7c 및 8은 본 발명의 실시예들에 따른 원격 협업 시스템에 포함되는 헤드 마운트 디스플레이의 원격 공간 관찰 동작을 설명하기 위한 도면들이다.
도 9, 10 및 11은 본 발명의 실시예들에 따른 원격 협업 시스템에 포함되는 헤드 마운트 디스플레이의 화면 전환 동작을 설명하기 위한 순서도들이다.
도 12는 본 발명의 실시예들에 따른 원격 협업 시스템에 포함되는 헤드 마운트 디스플레이의 로봇형 디바이스 제어를 설명하기 위한 순서도이다.
도 13은 본 발명의 실시예들에 따른 원격 협업 시스템에 포함되는 헤드 마운트 디스플레이의 정보 검색 동작을 설명하기 위한 순서도이다.
도 14a, 14b 및 14c는 본 발명의 실시예들에 따른 원격 협업 시스템에 포함되는 로봇형 디바이스의 필요 정보 표시 동작을 설명하기 위한 도면들이다.
도 2는 본 발명의 실시예들에 따른 원격 협업 시스템에 포함되는 로봇형 디바이스의 프로토 타입을 나타내는 도면이다.
도 3은 본 발명의 실시예들에 따른 원격 협업 시스템을 이용한 원격 인터랙션 방법을 나타내는 순서도이다.
도 4a 및 4b는 본 발명의 실시예들에 따른 원격 협업 시스템에 포함되는 헤드 마운트 디스플레이의 통신 요청 동작을 설명하기 위한 도면들이다.
도 5, 6a, 6b 및 6c는 본 발명의 실시예들에 따른 원격 협업 시스템에 포함되는 헤드 마운트 디스플레이의 이벤트 수행 동작을 설명하기 위한 도면들이다.
도 7a, 7b, 7c 및 8은 본 발명의 실시예들에 따른 원격 협업 시스템에 포함되는 헤드 마운트 디스플레이의 원격 공간 관찰 동작을 설명하기 위한 도면들이다.
도 9, 10 및 11은 본 발명의 실시예들에 따른 원격 협업 시스템에 포함되는 헤드 마운트 디스플레이의 화면 전환 동작을 설명하기 위한 순서도들이다.
도 12는 본 발명의 실시예들에 따른 원격 협업 시스템에 포함되는 헤드 마운트 디스플레이의 로봇형 디바이스 제어를 설명하기 위한 순서도이다.
도 13은 본 발명의 실시예들에 따른 원격 협업 시스템에 포함되는 헤드 마운트 디스플레이의 정보 검색 동작을 설명하기 위한 순서도이다.
도 14a, 14b 및 14c는 본 발명의 실시예들에 따른 원격 협업 시스템에 포함되는 로봇형 디바이스의 필요 정보 표시 동작을 설명하기 위한 도면들이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예들에 따른 원격 협업 시스템을 나타내는 블록도이다.
도 1을 참조하면, 원격 협업 시스템(10)은 로봇형 디바이스(100) 및 헤드 마운트 디스플레이(head mounted display; HMD)(200)를 포함한다. 원격 협업 시스템(10)은 컨트롤러(250)를 더 포함할 수 있다.
로봇형 디바이스(100)는 원격 공간에 배치되고, 원격 사용자에게 도움을 주기 위한 디바이스일 수 있다. 헤드 마운트 디스플레이(200)는 상기 원격 공간과 이격된 로컬(local) 공간에 배치되고, 상기 원격 사용자의 움직임에 영향 없이 로봇형 디바이스(100)를 자유롭게 제어할 수 있다. 상기 로컬 공간 내의 로컬 도우미가 헤드 마운트 디스플레이(200)를 착용할 수 있다. 다시 말하면, 헤드 마운트 디스플레이(200)는 상기 로컬 도우미에 의해 제어될 수 있다.
로봇형 디바이스(100)와 헤드 마운트 디스플레이(200)는 네트워크(300)를 통해 통신을 수행할 수 있다. 예를 들어, 로봇형 디바이스(100)와 헤드 마운트 디스플레이(200)는 네트워크(300)를 통해 영상 데이터(IMG) 및/또는 음성 데이터(VOC)를 주고받을 수 있고, 헤드 마운트 디스플레이(200)는 네트워크(300)를 통해 명령(command) 신호(CS), 설명(annotation) 신호(AS), 필요 정보(RI) 등을 로봇형 디바이스(100)에 전송할 수 있다.
일 실시예에서, 네트워크(300)는 임의의 유무선 통신 네트워크일 수 있다. 예를 들어, 네트워크(300)는 와이파이(Wifi) 통신 네트워크일 수도 있고, 3G 통신, LTE(long term evolution) 통신 등과 같은 무선 통신(wireless communication) 네트워크일 수도 있다.
로봇형 디바이스(100)는 프로젝터(110), 파노라마 카메라(120) 및 고화질 카메라(130)를 포함한다. 로봇형 디바이스(100)는 컴퓨터(140), 모터들(150, 160) 및 이동 수단(170)을 더 포함할 수 있다. 로봇형 디바이스(100)는 원격 협업 디바이스라고 부를 수 있다.
프로젝터(110)는 상기 원격 공간에(즉, 상기 원격 사용자에게) 필요 정보(RI)를 제공한다. 필요 정보(RI)는 헤드 마운트 디스플레이(200)에 의해 획득되며, 네트워크(300) 및 컴퓨터(140)를 통해 프로젝터(110)에 전송될 수 있다.
파노라마 카메라(120)는 상기 원격 공간에 대한 제1 영상 정보(IMG1)를 수집한다. 제1 영상 정보(IMG1)는 상기 원격 공간에 대한 파노라마(panorama) 영상 또는 360도 영상을 나타낼 수 있다.
고화질 카메라(130)는 상기 원격 공간에 대한 제2 영상 정보(IMG2)를 수집한다. 제2 영상 정보(IMG2)는 상기 원격 공간의 특정 영역에 대한 고화질 영상 또는 확대 영상을 나타낼 수 있다. 예를 들어, 고화질 카메라(130)는 파노라마 카메라(120)보다 좁은 화각 및 높은 해상도를 가질 수 있다.
실시예에 따라서, 파노라마 카메라(120)가 상대적으로 높은 해상도로 구현되어 상기 원격 공간의 특정 영역에 대한 상기 고화질 영상 또는 상기 확대 영상을 획득하기에 충분한 경우에, 고화질 카메라(130)는 생략될 수 있다.
컴퓨터(140)는 로봇형 디바이스(100)의 전반적인 동작을 제어할 수 있다. 예를 들어, 컴퓨터(140)는 네트워크(300)를 통해 헤드 마운트 디스플레이(200)와 통신하고, 파노라마 카메라(120) 및 고화질 카메라(130)에 의해 수집되는 제1 및 제2 영상 정보들(IMG1, IMG2)을 헤드 마운트 디스플레이(200)에 전송하고, 헤드 마운트 디스플레이(200)로부터 필요 정보(RI)를 수신하여 프로젝터(110)에 전송하며, 헤드 마운트 디스플레이(200)로부터 수신된 명령 신호(CS) 및/또는 설명 신호(AS)에 기초하여 프로젝터(110), 파노라마 카메라(120) 및 고화질 카메라(130)를 제어하거나 모터들(150, 160)을 제어하기 위한 모터 제어 신호들(MS1, MS2)을 발생할 수 있다.
모터(150)는 모터 제어 신호(MS1)에 기초하여 프로젝터(110), 파노라마 카메라(120) 및 고화질 카메라(130) 중 적어도 하나의 움직임을 제어할 수 있다. 예를 들어, 모터(150)는 프로젝터(110)의 표시 방향을 제어하거나, 고화질 카메라(130)의 렌즈 방향을 제어할 수 있다. 도 1에서는 하나의 모터(150)로 도시하였으나, 실시예에 따라서 프로젝터(110) 및 고화질 카메라(130)를 각각 제어하는 복수의 모터들로 구현될 수도 있다.
모터(160)는 모터 제어 신호(MS2)에 기초하여 이동 수단(170)을 제어할 수 있다. 이동 수단(170)의 동작에 따라 상기 원격 공간 내에서 로봇형 디바이스(100)의 위치가 제어될 수 있다.
헤드 마운트 디스플레이(200)는 상기 로컬 도우미가 상기 원격 공간을 관찰할 수 있도록 영상을 표시한다. 예를 들어, 헤드 마운트 디스플레이(200)는 제1 영상 정보(IMG1)를 수신하여 상기 원격 공간에 대한 파노라마 영상을 표시하거나, 제2 영상 정보(IMG2)를 수신하여 상기 원격 공간의 특정 영역에 대한 고화질 영상을 표시하거나, 상기 파노라마 영상 및 상기 고화질 영상을 함께 표시할 수 있다.
헤드 마운트 디스플레이(200)는 카메라(210)를 포함할 수 있다. 헤드 마운트 디스플레이(200)는 카메라(210)에 의해 수집되는 제3 영상 정보에 기초하여 상기 로컬 공간에 대한 영상을 표시할 수도 있다.
또한, 헤드 마운트 디스플레이(200)는 상기 원격 공간에 제공하고자 하는 필요 정보(RI)를 검색한다. 도시하지는 않았지만, 헤드 마운트 디스플레이(200)는 상술한 검색 동작을 수행하기 위해, CPU(central processing unit) 등과 같은 연산 장치, 메모리 등과 같은 저장 장치를 더 포함할 수 있다.
컨트롤러(250)는 상기 로컬 공간에 배치되고, 상기 로컬 도우미에 의해 제어되며, 헤드 마운트 디스플레이(200)의 동작을 제어할 수 있다. 예를 들어, 컨트롤러(250)의 제어에 의해 설명 신호(AS)가 헤드 마운트 디스플레이(200)에 전송될 수 있다. 예를 들어, 컨트롤러(250)는 터치 패드 또는 터치 스크린의 형태로 구현되거나, 헤드 마운트 디스플레이(200)를 위한 전용 컨트롤러의 형태로 구현될 수 있다.
사용자 인터페이스(user interface; UI)(220)의 제어에 의해 명령 신호(CS)가 헤드 마운트 디스플레이(200)에 전송될 수 있다. 예를 들어, 사용자 인터페이스(220)는 헤드 마운트 디스플레이(200)에 표시되는 GUI(graphic user interface)일 수 있다.
도 1에서는 사용자 인터페이스(220)가 명령 신호(CS)를 발생하고 컨트롤러(250)가 설명 신호(AS)를 발생하는 것으로 도시하였으나, 본 발명은 이에 한정되지 않을 수 있다. 예를 들어, 사용자 인터페이스(220)가 설명 신호(AS)를 발생하거나 컨트롤러(250)가 명령 신호(CS)를 발생할 수도 있고, 상기 로컬 도우미의 움직임에 의한 헤드 트래킹(head tracking) 정보에 기초하여 명령 신호(CS) 및/또는 설명 신호(AS)가 발생될 수도 있으며, 필요 정보(RI)를 검색하면서 명령 신호(CS) 및/또는 설명 신호(AS)가 발생될 수도 있다.
본 발명의 실시예들에 따른 원격 협업 시스템(10)에서, 상기 원격 사용자 측에 배치되는 로봇형 디바이스(100)(즉, 원격 협업 디바이스)의 경우, 파노라마 카메라(120)를 사용하여 원격 환경을 360도 관찰할 수 있게 하며, 고화질 카메라(130)를 따로 장착하여 필요할 때 고화질 영상을 볼 수 있게 한다. 로컬 도우미의 설명은 프로젝터(110)를 통해 나오게 되고 모터(150, 160)를 장착하여 카메라들(120, 130), 프로젝터(110) 및 디바이스 전체를 컨트롤 할 수 있게 한다.
또한, 상기 로컬 도우미는 원격 환경의 실감을 극대화 하기 위해 헤드 마운트 디스플레이(200)를 사용하며, 헤드 마운트 디스플레이(200)에 포함되는 카메라(210)를 사용하여 로컬 환경 또한 볼 수 있게 한다. 헤드 마운트 디스플레이(200) 내의 화면 및 GUI 구성을 하고 그것들을 컨트롤 하기 위해 헤드 트래킹 정보와 함께 컨트롤러(250)(즉, 터치 패드 또는 전용 컨트롤러)를 사용한다. 헤드 마운트 디스플레이(200)를 통해 원격 협업 인터랙션을 수행하며, 후술하는 것처럼 원격 협업 인터랙션은 헤드 마운트 디스플레이(200) 화면에 대한 컨트롤 인터랙션 및 로봇형 디바이스(100)에 대한 컨트롤 인터랙션으로 구분될 수 있다.
도 2는 본 발명의 실시예들에 따른 원격 협업 시스템에 포함되는 로봇형 디바이스의 프로토 타입을 나타내는 도면이다.
도 2를 참조하면, 복수의 수납 공간들에 프로젝터, 파노라마 카메라, 고화질 카메라, 미니 PC(personal computer) 및 모터 제어 보드를 장착하고, 모터들, 바퀴들 및 배터리를 장착하여 로봇형 디바이스의 프로토 타입(proto type)을 제작하였다. 도 2의 미니 PC 및 바퀴들이 도 1의 컴퓨터(140) 및 이동 수단(170)에 각각 대응하고, 모터들의 제어 및 전원 공급을 용이하게 하기 위해 모터 제어 보드 및 배터리를 각각 추가하였다.
도 3은 본 발명의 실시예들에 따른 원격 협업 시스템을 이용한 원격 인터랙션 방법을 나타내는 순서도이다.
도 1 및 3을 참조하면, 본 발명의 실시예들에 따른 원격 협업 시스템(10)을 이용한 원격 인터랙션 방법에서, 통신 요청에 기초하여, 상기 원격 공간에 배치되는 로봇형 디바이스(100)와 상기 로컬 공간에 배치되는 헤드 마운트 디스플레이(200) 사이에 통신을 성립한다(단계 S100). 상기 통신 요청은 로봇형 디바이스(100) 및 헤드 마운트 디스플레이(200) 중 하나에 의해 발생될 수 있다. 예를 들어, 도 4a 및 4b를 참조하여 후술하는 것처럼, 헤드 마운트 디스플레이(200)는 상기 로컬 도우미의 제어에 의해 상기 통신 요청을 발생할 수 있다.
헤드 마운트 디스플레이(200)가 파노라마 카메라(120)에 의해 수집되는 제1 영상 정보(IMG1)를 수신하고 고화질 카메라(130)에 의해 수집되는 제2 영상 정보(IMG2)를 수신하여, 상기 원격 공간을 관찰한다(단계 S200). 예를 들어, 도 7a, 7b 및 7c를 참조하여 후술하는 것처럼, 헤드 마운트 디스플레이(200)는 제1 영상 정보(IMG1)를 수신하여 상기 원격 공간에 대한 파노라마 영상을 표시하거나, 제2 영상 정보(IMG2)를 수신하여 상기 원격 공간의 특정 영역에 대한 고화질 영상을 표시하거나, 상기 파노라마 영상 및 상기 고화질 영상을 함께 표시할 수 있다.
헤드 마운트 디스플레이(200)가 상기 원격 공간의 관찰 결과에 기초하여, 상기 원격 공간에 제공하고자 하는 필요 정보(RI)를 검색한다(단계 S300). 예를 들어, 상기 원격 공간을 관찰하여 상기 원격 공간의 문제점을 파악할 수 있으며, 상기 원격 공간의 문제점을 해결하기 위한 필요 정보(RI)를 검색할 수 있다. 예를 들어, 도 13을 참조하여 후술하는 것처럼, 헤드 마운트 디스플레이(200)는 상기 로컬 도우미의 제어에 의해 상기 로컬 공간을 관찰하거나, 헤드 마운트 디스플레이(200)에 저장된 데이터를 검색하거나, 로봇형 디바이스(100)에 저장된 데이터를 검색하거나, 인터넷 검색을 수행하여, 필요 정보(RI)를 검색할 수 있다.
로봇형 디바이스(100)가 헤드 마운트 디스플레이(200)로부터 필요 정보(RI)를 수신하고, 프로젝터(110)를 통해 상기 원격 공간에 필요 정보(RI)를 제공한다(단계 S400). 예를 들어, 도 13a, 13b 및 13c를 참조하여 후술하는 것처럼, 필요 정보(RI)는 그림, 스케치(sketch) 등과 같이 영상 형태로 제공되거나, 상기 원격 공간의 특정 영역을 프로젝터 포인터로 가리키도록 제공될 수도 있다.
도 4a 및 4b는 본 발명의 실시예들에 따른 원격 협업 시스템에 포함되는 헤드 마운트 디스플레이의 통신 요청 동작을 설명하기 위한 도면들이다.
헤드 마운트 디스플레이(200)의 화면 GUI 구성은 통신 요청을 위한 GUI 구성 및 통신 성립 이후의 GUI 구성으로 구분될 수 있으며, 도 4a 및 4b는 통신 요청을 위한 GUI 구성을 나타낼 수 있다.
도 1, 4a 및 4b를 참조하면, 상기 로컬 도우미가 헤드 마운트 디스플레이(200)를 착용한 이후에, 헤드 마운트 디스플레이(200)가 턴온되어 본 발명의 실시예들에 따른 원격 인터랙션 방법이 실행될 수 있다. 도 4a에 도시된 것처럼, 헤드 마운트 디스플레이(200)의 초기 화면은 카메라(210)에 의해 수집되는 상기 제3 영상 정보에 기초한 로컬 공간 영상을 배경으로 표시하며, 전화번호 입력, 연락처, 최근 통화, 즐겨찾기 리스트를 GUI 폼(예를 들어, 버튼 또는 메뉴)으로 나타낼 수 있다.
도 5를 참조하여 후술하는 것처럼, HMD 포인터를 이용하여 각각의 버튼을 클릭하여 해당 기능을 수행할 수 있다. 예를 들어, 최근 통화 버튼을 클릭하면 최근 통화 리스트가 화면에 표시되고, 연락처 버튼을 클릭하면 사진, 이름, 전화번호, 주소 등을 포함하는 개별 연락처들을 복수 개 포함하는 연락처 리스트가 화면에 표시될 수 있다.
도 4b에 도시된 것처럼, 연락처 버튼을 클릭하면 연락처 리스트가 표시될 수 있다. 연락처 리스트에서 특정 연락처를 클릭하면 "통화 하시겠습니까?"라는 메시지와 함께 통신 요청 화면이 표시되고, 확인 버튼을 클릭하면 로봇형 디바이스(100)에 통신 요청이 전송되며, 로봇형 디바이스(100)가 상기 통신 요청을 수락하면 로봇형 디바이스(100)와 헤드 마운트 디스플레이(200) 사이에 통신이 성립될 수 있다. 다시 말하면, 헤드 마운트 디스플레이(200)의 통신 요청에 의해 도 3의 단계 S100이 수행될 수 있다.
연락처 추가 버튼을 클릭하면 새로운 연락처를 추가하기 위한 화면이 표시되고, 사진 버튼을 클릭하면 새로운 연락처에 삽입하고자 하는 이미지를 선택하기 위한 이미지 리스트가 표시될 수 있다.
한편, 도 4a 및 4b에 도시된 양방향 화살표들은 스크롤(scroll) 기능을 나타낼 수 있다. 다시 말하면, 도 4a의 즐겨찾기 리스트 및 최근 통화 리스트와, 도 4b의 연락처 리스트 및 이미지 리스트는 스크롤 가능하도록 구현될 수 있다.
도 5, 6a, 6b 및 6c는 본 발명의 실시예들에 따른 원격 협업 시스템에 포함되는 헤드 마운트 디스플레이의 이벤트 수행 동작을 설명하기 위한 도면들이다.
헤드 마운트 디스플레이(200)의 이벤트 수행 동작은 통신 요청을 위한 GUI 구성 및 통신 성립 이후의 GUI 구성 모두에서 버튼 또는 메뉴를 클릭 또는 선택하는 경우의 동작을 나타낼 수 있다. 다시 말하면, 도 5의 동작은 단계 S100뿐만 아니라 S200, S300 및 S400에서도 수행될 수 있다.
도 5, 6a, 6b 및 6c를 참조하면, 특정 이벤트를 수행하기 위해, 헤드 마운트 디스플레이(200)의 화면 내에서 HMD 포인터를 특정 UI 객체 상에 위치하도록 컨트롤할 수 있다(단계 S110). 예를 들어, 도 4a에 도시된 연락처 버튼을 클릭하고자 하는 경우에, 도 6a에 도시된 것처럼 컨트롤러(250)를 이용하여 상기 HMD 포인터를 움직여 화면 내의 연락처 버튼 상에 위치시킬 수 있다. 예를 들어, 컨트롤러(250)는 도 6b에 도시된 것처럼 터치 패드 또는 터치 스크린일 수도 있고, 도 6c에 도시된 것처럼 헤드 마운트 디스플레이(200) 전용 컨트롤러일 수도 있다.
클릭 동작을 수행하여, 상기 HMD 포인터의 현재 위치에서 상기 특정 UI 객체 방향으로 가상의 광선을 발사할 수 있다(단계 S120). 예를 들어, 컨트롤러(250)를 이용하여 상기 클릭 동작을 수행할 수 있다.
상기 가상의 광선과 상기 특정 UI 객체가 충돌하지 않은 경우에(단계 S130: 아니오), 상기 HMD 포인터의 위치가 적절하지 않은 것이므로, 단계 S110 및 S120이 다시 수행될 수 있다.
상기 가상의 광선과 상기 특정 UI 객체가 충돌한 경우에(단계 S130: 예), 상기 특정 UI 객체에 대응하는 객체 이벤트가 수행될 수 있다(단계 S140). 예를 들어, 도 4a에 도시된 연락처 버튼이 클릭된 경우에, 도 4b와 같이 화면이 전환될 수 있다.
한편, 도시하지는 않았지만, 도 4a의 전화번호 입력 버튼, 도 4b의 연락처 추가 버튼 등이 클릭되는 경우에, 헤드 마운트 디스플레이(200)의 화면 내에서 키보드 입력이 수행될 수 있다. 일 실시예에서, 헤드 마운트 디스플레이(200)의 화면에 가상(virtual) 키보드를 띄우고 상기 HMD 포인터를 움직여 클릭함으로써, 상기 키보드 입력이 수행될 수 있다. 다른 실시예에서, 컨트롤러(250)가 터치 패드 또는 터치 스크린으로 구현되는 경우에, 터치 스크린에 키보드를 띄우고 상기 로컬 도우미가 상기 터치 스크린의 키보드를 직접 손으로 터치함으로써, 상기 키보드 입력이 수행될 수 있으며, 이 때 상기 로컬 도우미가 상기 터치 스크린을 볼 수 있도록 헤드 마운트 디스플레이(200)의 화면에 상기 로컬 공간 영상이 표시될 수 있다.
도 7a, 7b, 7c 및 8은 본 발명의 실시예들에 따른 원격 협업 시스템에 포함되는 헤드 마운트 디스플레이의 원격 공간 관찰 동작을 설명하기 위한 도면들이다.
도 1, 3, 7a, 7b 및 7c를 참조하면, 단계 S100의 통신 성립 이후에, 헤드 마운트 디스플레이(200)의 화면을 통해 상기 원격 공간을 관찰할 수 있다. 예를 들어, 도 7a에 도시된 것처럼, 헤드 마운트 디스플레이(200)는 파노라마 카메라(120)에 의해 수집되는 제1 영상 정보(IMG1)에 기초하여 상기 원격 공간에 대한 파노라마 영상을 표시할 수 있다. 다른 예에서, 도 7c에 도시된 것처럼, 헤드 마운트 디스플레이(200)는 고화질 카메라(130)에 의해 수집되는 제2 영상 정보(IMG2)에 기초하여 상기 원격 공간의 특정 영역에 대한 확대 영상을 표시할 수 있다. 또 다른 예에서, 도 7b에 도시된 것처럼, 헤드 마운트 디스플레이(200)는 제1 및 제2 영상 정보들(IMG1, IMG2)에 기초하여 상기 파노라마 영상과 상기 확대 영상을 함께 표시할 수 있다. 도 9, 10 및 11을 참조하여 후술하는 것처럼, 헤드 마운트 디스플레이(200)의 화면은 인터랙션에 응답하여 전환될 수 있다.
도 2 및 8을 참조하면, 로봇형 디바이스(100)의 프로토 타입으로부터 획득된 영상이 헤드 마운트 디스플레이(200)에 표시되는 예를 도시하였다. 도 8에서는 상기 파노라마 영상과 상기 확대 영상(즉, 고화질 영상)이 함께 표시되는 경우를 예시하였다. 메뉴가 UI 객체에 대응할 수 있다.
도 9, 10 및 11은 본 발명의 실시예들에 따른 원격 협업 시스템에 포함되는 헤드 마운트 디스플레이의 화면 전환 동작을 설명하기 위한 순서도들이다.
도 1, 3 및 9를 참조하면, 단계 S100의 통신 성립 직후에, 헤드 마운트 디스플레이(200)는 도 7a에 도시된 것처럼 제1 영상 정보(IMG1)에 기초하여 상기 파노라마 영상을 기본으로 표시할 수 있다. 이후에 상기 원격 공간의 특정 영역을 자세히 관찰하고 싶은 경우에, 화면 확대 인터랙션이 수행될 수 있고(단계 S210), 상기 화면 확대 인터랙션에 응답하여 화면 변경이 수행될 수 있다(단계 S220).
예를 들어, 상기 파노라마 영상을 표시하는 동안에 상기 화면 확대 인터랙션이 수행되는 경우에, 헤드 마운트 디스플레이(200)는 도 7b에 도시된 것처럼 제1 및 제2 영상 정보들(IMG1, IMG2)에 기초하여 상기 파노라마 영상과 상기 확대 영상을 함께 표시할 수 있다. 상기 파노라마 영상과 상기 확대 영상을 함께 표시하는 동안에 상기 화면 확대 인터랙션이 수행되는 경우에, 헤드 마운트 디스플레이(200)는 도 7c에 도시된 것처럼 제2 영상 정보(IMG2)에 기초하여 상기 확대 영상을 표시할 수 있다.
일 실시예에서, 상기 화면 확대 인터랙션은 헤드 마운트 디스플레이(200)에 의해 수행될 수 있으며, 예를 들어 고개를 내밀어 자세히 보는 동작을 수행하면 이러한 헤드 트래킹 정보를 상기 화면 확대 인터랙션으로 인식할 수 있다. 다른 실시예에서, 상기 화면 확대 인터랙션은 컨트롤러(250)에 의해 수행될 수 있으며, 예를 들어, 터치 스크린의 핀치 줌(pinch to zoom) 동작 또는 전용 컨트롤러의 패드 쓸기 동작을 상기 화면 확대 인터랙션으로 인식할 수 있다.
도 1, 3 및 10을 참조하면, 상기 화면 확대 인터랙션이 수행되어 화면 변경이 수행된 이후에, 화면 축소 인터랙션이 수행될 수 있고(단계 S230), 상기 화면 축소 인터랙션에 응답하여 화면 변경이 수행될 수 있다(단계 S240).
예를 들어, 상기 파노라마 영상과 상기 확대 영상을 함께 표시하는 동안에 상기 화면 축소 인터랙션이 수행되는 경우에, 헤드 마운트 디스플레이(200)는 제1 영상 정보(IMG1)에 기초하여 상기 파노라마 영상을 표시할 수 있다. 상기 확대 영상을 표시하는 동안에 상기 화면 축소 인터랙션이 수행되는 경우에, 헤드 마운트 디스플레이(200)는 제1 및 제2 영상 정보들(IMG1, IMG2)에 기초하여 상기 파노라마 영상과 상기 확대 영상을 함께 표시할 수 있다.
또한, 상기 파노라마 영상을 표시하는 동안에 상기 화면 축소 인터랙션이 수행되는 경우에, 헤드 마운트 디스플레이(200)는 카메라(210)에 의해 수집되는 상기 제3 영상 정보에 기초하여 상기 로컬 공간 영상을 표시할 수 있다.
다시 말하면, 상기 화면 확대 인터랙션에 의해 상기 로컬 공간의 영상, 상기 원격 공간의 파노라마 영상, 상기 원격 공간의 혼합 영상(파노라마+확대), 상기 원격 공간의 확대 영상 순서로 화면 전환이 일어날 수 있고, 상기 화면 축소 인터랙션에 의해 상술한 순서의 역순으로 화면 전환이 일어날 수 있다.
도 1, 3 및 11을 참조하면, 상기 파노라마 영상과 상기 확대 영상을 함께 표시하는 경우에, 제거 인터랙션이 수행될 수 있고(단계 S250), 상기 제거 인터랙션에 응답하여 화면 변경이 수행될 수 있다(단계 S260).
예를 들어, 상기 파노라마 영상과 상기 확대 영상을 함께 표시하는 동안에 상기 제거 인터랙션이 수행되는 경우에, 헤드 마운트 디스플레이(200)는 제1 영상 정보(IMG1)에 기초하여 상기 파노라마 영상만을 표시할 수 있다. 다시 말하면, 상기 제거 인터랙션에 응답하여 상기 확대 영상이 순간적으로 제거될 수 있으며, 상기 파노라마 영상과 상기 확대 영상을 함께 표시하는 화면에서 상기 파노라마 영상만을 표시하는 화면으로 순간적으로 전환될 수 있다.
일 실시예에서, 상기 제거 인터랙션은 헤드 마운트 디스플레이(200)에 의해 수행될 수 있으며, 예를 들어 고개를 좌우로 기울이는 동작을 수행하면 이러한 헤드 트래킹 정보를 상기 제거 인터랙션으로 인식할 수 있다. 다른 실시예에서, 상기 제거 인터랙션은 컨트롤러(250)에 의해 수행될 수 있다.
한편, 상기 제거 인터랙션은 헤드 마운트 디스플레이(200)의 화면에 표시되는 UI 객체를 제거하는데 이용될 수도 있다. 구체적으로, 상기 파노라마 영상을 표시하거나, 상기 파노라마 영상과 상기 확대 영상을 함께 표시하거나, 상기 확대 영상을 표시하는 동안에, 헤드 마운트 디스플레이(200)의 동작을 제어하기 위한 UI 객체가 함께 표시될 수 있다. 예를 들어, 도 8에 도시된 것처럼 상기 파노라마 영상 및 상기 확대 영상과 함께 메뉴가 표시될 수 있다. 이 때, 상기 제거 인터랙션이 수행될 수 있고(단계 S250), 상기 제거 인터랙션에 응답하여 화면 상에서 상기 UI 객체가 제거될 수 있다(단계 S260).
한편, 도시하지는 않았지만, 상기 제거 인터랙션이 수행된 이후에, 복원 인터랙션이 수행될 수 있으며, 상기 복원 인터랙션에 응답하여 상기 제거된 확대 화면 및/또는 UI 객체가 다시 표시될 수 있다.
한편, 도 9, 10 및 11을 참조하여 상술한 다양한 인터랙션들이 수행되는 동안에, 상기 원격 공간에 대한 정보를 저장하고자 하는 경우에는 화면 저장 인터랙션이 수행될 수 있고, 상기 화면 저장 인터랙션에 응답하여 헤드 마운트 디스플레이(200)가 표시하고 있는 현재 영상을 저장할 수 있다. 예를 들어, 상기 현재 영상은 정지 영상 또는 동영상의 형태로 저장될 수 있다.
도 12는 본 발명의 실시예들에 따른 원격 협업 시스템에 포함되는 헤드 마운트 디스플레이의 로봇형 디바이스 제어를 설명하기 위한 순서도이다.
도 1, 3 및 12를 참조하면, 헤드 마운트 디스플레이(200)는 상기 파노라마 영상 중에서 확대하고자 하는 특정 영역을 확인할 수 있다(단계 S270). 상기 특정 영역의 확대 영상을 획득하기 위해, 헤드 마운트 디스플레이(200)로부터 수집되는 헤드 트래킹 정보를 로봇형 디바이스(100)에 전송할 수 있고(단계 S275), 도 9를 참조하여 상술한 상기 화면 확대 인터랙션이 수행되는 경우에(단계 S280), 상기 헤드 트래킹 정보 및 상기 화면 확대 인터랙션에 기초하여 상기 특정 영역을 향하도록 고화질 카메라(130)의 방향을 변경할 수 있다(단계 S285). 이와 함께, 상기 특정 영역을 향하도록 프로젝터(110)의 방향 또한 변경할 수 있으며, 다만 고화질 카메라(130)와 프로젝터(110)는 서로 분리 구동될 수 있다.
도 13은 본 발명의 실시예들에 따른 원격 협업 시스템에 포함되는 헤드 마운트 디스플레이의 정보 검색 동작을 설명하기 위한 순서도이다.
도 1, 3 및 13을 참조하면, 필요 정보(RI)를 검색하는데 있어서, 먼저 상기 파노라마 영상을 표시하는 동안에 도 10을 참조하여 상술한 상기 화면 축소 인터랙션이 수행될 수 있다(단계 S310). 상기 화면 축소 인터랙션에 응답하여, 헤드 마운트 디스플레이(200)는 제1 카메라(210)에 의해 수집되는 상기 제3 영상 정보에 기초하여 상기 로컬 공간 영상을 표시함으로써, 상기 로컬 공간을 관찰할 수 있다(단계 S320).
또한, 헤드 마운트 디스플레이(200)에 저장된 제1 데이터들에 대한 제1 검색, 로봇형 디바이스(100)에 저장된 제2 데이터들에 대한 제2 검색, 및 인터넷 네트워크를 통해 필요 정보(RI)와 관련된 제3 데이터들에 대한 제3 검색 중 적어도 하나를 추가적으로 수행할 수 있다(단계 S330).
상기 원격 공간의 관찰 결과, 상기 로컬 공간의 관찰 결과, 상기 제1 검색의 결과, 상기 제2 검색의 결과 및 상기 제3 검색의 결과 중 적어도 하나에 기초하여, 필요 정보(RI)를 획득할 수 있다(단계 S340).
실시예에 따라서, 상기 로컬 공간 관찰, 상기 제1 검색, 상기 제2 검색 및 상기 제3 검색 중 적어도 하나는 생략될 수 있다.
도 14a, 14b 및 14c는 본 발명의 실시예들에 따른 원격 협업 시스템에 포함되는 로봇형 디바이스의 필요 정보 표시 동작을 설명하기 위한 도면들이다.
도 14a 및 14b를 참조하면, 필요 정보(RI)가 영상 형태로 제공되는 경우에, 프로젝터(110)는 필요 정보(RI)를 상기 원격 공간에 표시할 수 있다. 예를 들어, 도 14a에 도시된 것처럼 필요 정보(RI)가 정지 영상 또는 동영상인 경우에, 또는 도 14b에 도시된 것처럼 필요 정보(RI)가 스케치 영상인 경우에, 프로젝터(110)는 상기 원격 공간에 영상을 표시할 수 있다. 예를 들어, 필요한 영상을 선택하고 전송 버튼을 눌러 전송하거나 드래그 앤 드롭 형식으로 이미지를 전송할 수 있다. 상기 원격 사용자의 시선에 따라 표시 위치를 제어할 수 있다.
도 14c를 참조하면, 필요 정보(RI)가 상기 원격 공간의 특정 영역과 관련된 경우에, 프로젝터(110)는 상기 원격 공간의 특정 영역에 프로젝터 포인터를 표시할 수 있다. 이 때, 상기 원격 공간의 특정 영역 내에서 상기 프로젝터 포인터의 이동은 컨트롤러(250)에 의해 HMD 포인터를 이동하는 것에 의해 수행될 수 있다. 또는 도 14b에 도시된 스케치 영상을 HMD 포인터를 움직여 스케치할 수도 있다.
상술한 본 발명의 실시예들에 따른 원격 협업 시스템(10)을 이용한 원격 인터랙션 방법, 즉 원격 협업은 통신 성립, 원격의 문제점 관찰, 문제를 해결하기 위한 정보 찾기, 문제 해결 설명하기 4가지 단계로 구분될 수 있다. 각 단계별 인터랙션을 구체적인 예시와 함께 종합적으로 설명하도록 한다.
동작 초기에, 본 발명에 따라 인터랙션을 수행하기 위해, 로컬 도우미는 헤드 마운트 디스플레이(200)를 착용하고 원격 공간에 배치된 로봇형 디바이스(100)를 컨트롤해야 한다. 앞서 설명한 HMD 컨트롤과 원격 협업 디바이스 컨트롤을 통해 단계별 인터랙션을 수행한다.
먼저, 통신 성립 단계에서, 로컬 도우미는 헤드 마운트 디스플레이(200)의 화면 상에 나오는 연락처 리스트를 컨트롤러를 사용하여 클릭하거나 전화번호를 입력 폼을 클릭하면 나오는 키보드 폼을 클릭하여 전화번호를 입력한 후 원격 사용자에게 통화를 요청한다. 원격 사용자의 로봇형 디바이스(100)에서는 통화 요청이 알람이 울리고 로봇형 디바이스(100)에 장착된 통화 버튼을 눌러 통화 여부를 결정한다.
다음에, 원격의 문제점 관찰 단계에서, 서로 간의 통화가 성립되면 로컬 도우미는 로봇형 디바이스(100)로부터 전송되는 원격 사용자의 파노라마 영상을 헤드 마운트 디스플레이(200)를 통해 보게 된다. 이 때, 원격 환경의 특정 지점을 더 자세히 관찰하기 위해 화면 확대 인터랙션을 통해 고화질 영상을 보도록 한다. 필요한 정보를 저장 하기 위해 고화질 영상을 캡쳐하거나 영상과 음성을 녹화도 한다.
예를 들어, 로컬 도우미가 원격 사용자의 가전제품 조립을 도와주는 상황을 가정하면, 먼저 원격 환경을 관찰하고 가전제품의 부품을 더 자세히 보기 위해 화면 확대 인터랙션을 수행하여 고화질 영상으로 변환한다. 필요한 정보를 찾기 전에 현재 보고 있는 영상을 참고하기 위해 영상 캡쳐를 수행한다.
다음에, 문제를 해결하기 위한 정보 찾기 단계에서, 문제점을 확인 하면 문제를 해결하기 위한 정보가 필요하다. 정보는 원격 사용자 공간, 원격 협업 디바이스(즉, 로봇형 디바이스(100)), 헤드 마운트 디스플레이(200), 로컬 도우미 공간, 인터넷 등에 있다. 정보의 종류로는 이미지나, 동영상, 문서 등이 있다. 디바이스에 저장된 정보는 HMD 인터랙션을 통하여 각각의 디바이스에 있는 이미지, 동영상을 나열하는 GUI 폼을 표시하고 알맞은 객체를 선택하여 전송한다. 원격 공간은 360도와 고화질 영상을 보며 필요한 정보를 찾고 캡쳐를 한다. 로컬 도우미의 공간을 보기 위해 축소 인터랙션을 수행하여 로컬 도우미 환경을 보고 필요한 정보를 캡쳐한다. 인터넷의 경우 인터넷 버튼을 클릭하여 웹페이지를 띄워 웹서핑 및 웹페이지 캡처를 하여 원격 사용자에게 전송할 수 있도록 한다.
예를 들어, 가전제품 조립 매뉴얼을 로컬 도우미가 갖고 있어 축소 인터랙션을 통해 로컬 도우미의 환경을 볼 수 있도록 한다. 매뉴얼을 보며 필요한 부분을 찾으면 캡처 인터랙션을 수행하여 현재 보고 있는 부분을 캡쳐한다. 캡쳐한 이미지를 전송한다.
마지막으로, 문제 해결 설명하기 단계에서, 원격 환경을 관찰하고 문제 해결에 필요한 정보를 찾았으면 프로젝터(110)로 설명을 해야 한다. 프로젝터(110)로 할 수 있는 설명의 종류는 포인팅, 스케치, 이미지, 동영상 전송등이 있다. 포인팅과 스케치는 로컬 도우미가 보고 있는 부분을 정확하게 맞추어 표시할 수 있게 한다. 이미지, 동영상 전송은 드래그 앤 드롭 방식을 사용하여 원하는 부분에 전송 될 수 있도록 한다. 도우미가 캡처한 이미지에 설명을 스케치하여 합성한 이미지를 보낼 수도 있다. 또한 프로젝션된 설명들을 저장하여 프로젝터(110)가 다른 방향을 향하다 다시 설명이 있던 위치로 옮기면 설명들을 다시 보여주는 기능도 있다.
예를 들어, 캡처한 매뉴얼 이미지가 썸네일 형태로 HMD UI 화면에 나타나게 되고 로컬 도우미는 HMD 포인터를 움직여 이미지를 선택 하여 드래그 한다. 360도로 변경된 화면에서 로컬 도우미가 원하는 부분에 이미지를 드롭하여 프로젝터로 이미지가 나오게 한다.
본 발명의 실시예들에 따른 원격 협업 시스템(10)은 프로젝터-카메라를 사용하는 로봇형 디바이스(100)와 그것을 컨트롤 하는 헤드 마운트 디스플레이(200)(즉, HMD 인터페이스)로 나눌 수 있다. 카메라 부분은 360도 영상을 캡쳐할 수 있는 고화질 파노라마 카메라를 사용하고 좁은 화각의 고화질 영상을 캡쳐할 수 있는 기능을 갖춰 특정 영역의 고화질 영상도 볼 수 있게 한다. 파노라마 카메라와 고화질 카메라를 따로 구성할 수도 있다. 이 때 고화질 카메라에 모터를 장착하여 컨트롤 할 수 있게 한다. 따라서 360도 영상에서 고화질 영상 변경 시 알맞은 곳으로 회전 할 수 있다. 프로젝터에도 모터를 장착하여 컨트롤 할 수 있게 한다. 통신 및 컨트롤 연산을 위해 컴퓨터를 장착한다. 모바일 로봇을 위해 바퀴와 배터리를 장착하여 구성할 수도 있다.
HMD 구성은 Video-seethrough, Optical-seethrough 구성을 사용할 수 있다. 인터랙션 인터페이스는 터치패드, 컨트롤러를 사용하여 인터랙션 할 수 있게 한다. 터치패드는 많은 사용자에게 익숙하고 다양한 제스쳐 활용 및 키보드 입력 폼을 띄워 키보드처럼 입력 할 수 있는 장점이 있다. 컨트롤러는 컨트롤러의 움직임을 트래킹하는 센서 및 버튼, 터치패드 등으로 구성하여 인터랙션할 수 있다. 컨트롤러는 사용하기 직관 적이며 3D 입력과 같은 경우에도 장점이 있다. 키보드 입력을 구현할 수도 있다.
구현된 원격 협업 시스템(10)을 이용하여 로컬 도우미는 HMD를 착용하고 HMD에 있는 GUI를 인터페이스 장치를 사용해 인터랙션하여 원격 사용자와 통신할 수 있다. 통화 시 영상 및 음성 데이터를 서로 송수신 하고, GUI를 통해 설명 및 모터 컨트롤 데이터를 전송한다. 원격 사용자 측의 디바이스는 로컬 도우미의 컨트롤에 움직이고 설명을 프로젝터에 나타낸다. 모든 통신 데이터는 장착된 컴퓨터를 통하게 된다.
본 발명은 원격 사용자가 IT 기기 등의 사용법을 모르거나 간단한 문제가 있을 때 옆에서 가르쳐 주는 것처럼 하여 손쉽게 해결할 수 있는 원격 코칭 서비스에 적용될 수 있다. 구체적으로, 로봇형 디바이스로 컴퓨터 화면 캡쳐하고 프로젝터로 설명하는 컴퓨터 가르치기, 장기판 위에 프로젝터로 포인팅하여 장기 두기, 지도를 전송하고 지도에 표시하면서 목적지로 가는 길을 알려주기 등과 같이 응용될 수 있으며, 그 밖에 요리, 교육, 원예, 수리, 패션, 실내장식 등에 다양하게 적용될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.
Claims (10)
- 프로젝터, 파노라마 카메라 및 고화질 카메라를 포함하고 원격 공간에 배치되는 로봇형 디바이스와, 상기 원격 공간과 이격된 로컬 공간에 배치되는 헤드 마운트 디스플레이를 포함하는 원격 협업 시스템을 이용한 원격 인터랙션 방법으로서,
통신 요청에 기초하여, 상기 로봇형 디바이스와 상기 헤드 마운트 디스플레이 사이에 통신을 성립하는 단계;
상기 헤드 마운트 디스플레이가 상기 파노라마 카메라에 의해 수집되는 제1 영상 정보를 수신하고 상기 고화질 카메라에 의해 수집되는 제2 영상 정보를 수신하여, 상기 원격 공간을 관찰하는 단계;
상기 헤드 마운트 디스플레이가 상기 원격 공간의 관찰 결과에 기초하여, 상기 원격 공간에 제공하고자 하는 필요 정보를 검색하는 단계;
상기 로봇형 디바이스가 상기 헤드 마운트 디스플레이로부터 상기 필요 정보를 수신하고, 상기 프로젝터를 통해 상기 원격 공간에 상기 필요 정보를 제공하는 단계를 포함하는 원격 인터랙션 방법. - 제 1 항에 있어서, 상기 원격 공간을 관찰하는 단계는,
상기 헤드 마운트 디스플레이가 상기 제1 영상 정보에 기초하여 상기 원격 공간의 파노라마 영상을 표시하는 단계;
상기 파노라마 영상을 표시하는 동안에 화면 확대 인터랙션이 수행되는 경우에, 상기 헤드 마운트 디스플레이가 상기 제1 및 제2 영상 정보들에 기초하여 상기 파노라마 영상과 상기 원격 공간의 제1 영역의 확대 영상을 함께 표시하는 단계;
상기 파노라마 영상과 상기 확대 영상을 함께 표시하는 동안에 상기 화면 확대 인터랙션이 수행되는 경우에, 상기 헤드 마운트 디스플레이가 상기 제2 영상 정보에 기초하여 상기 확대 영상을 표시하는 단계; 및
화면 저장 인터랙션이 수행되는 경우에, 상기 헤드 마운트 디스플레이가 표시하고 있는 현재 영상을 저장하는 단계를 포함하는 것을 특징으로 하는 원격 인터랙션 방법. - 제 2 항에 있어서, 상기 원격 공간을 관찰하는 단계는,
상기 파노라마 영상과 상기 확대 영상을 함께 표시하는 동안에 화면 축소 인터랙션이 수행되는 경우에, 상기 헤드 마운트 디스플레이가 상기 제1 영상 정보에 기초하여 상기 파노라마 영상을 표시하는 단계; 및
상기 확대 영상을 표시하는 동안에 상기 화면 축소 인터랙션이 수행되는 경우에, 상기 헤드 마운트 디스플레이가 상기 제1 및 제2 영상 정보들에 기초하여 상기 파노라마 영상과 상기 확대 영상을 함께 표시하는 단계를 더 포함하는 것을 특징으로 하는 원격 인터랙션 방법. - 제 2 항에 있어서, 상기 원격 공간을 관찰하는 단계는,
제거 인터랙션이 수행되는 경우에, 상기 파노라마 영상과 상기 확대 영상을 함께 표시하는 동안에 상기 확대 영상을 순간적으로 제거하거나, 상기 파노라마 영상 또는 상기 확대 영상과 함께 표시되고 상기 헤드 마운트 디스플레이의 동작을 제어하기 위한 사용자 인터페이스 객체를 제거하는 단계를 더 포함하는 것을 특징으로 하는 원격 인터랙션 방법. - 제 2 항에 있어서, 상기 필요 정보를 검색하는 단계는,
상기 파노라마 영상을 표시하는 동안에 화면 축소 인터랙션이 수행되는 경우에, 상기 헤드 마운트 디스플레이에 포함되는 제1 카메라에 의해 수집되는 제3 영상 정보에 기초하여, 상기 헤드 마운트 디스플레이가 로컬 공간을 관찰하는 단계;
상기 헤드 마운트 디스플레이에 저장된 제1 데이터들에 대한 제1 검색을 수행하는 단계; 및
상기 원격 공간의 관찰 결과, 상기 로컬 공간의 관찰 결과 및 상기 제1 검색의 결과 중 적어도 하나에 기초하여 상기 필요 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 원격 인터랙션 방법. - 제 5 항에 있어서, 상기 필요 정보를 검색하는 단계는,
상기 로봇형 디바이스에 저장된 제2 데이터들에 대한 제2 검색을 수행하는 단계; 및
상기 헤드 마운트 디스플레이를 통해 인터넷 네트워크에 접속하여, 상기 필요 정보와 관련된 제3 데이터들에 대한 제3 검색을 수행하는 단계를 더 포함하고,
상기 필요 정보를 획득하는데 상기 제2 검색의 결과 및 상기 제3 검색의 결과 중 적어도 하나가 추가적으로 이용되는 것을 특징으로 하는 원격 인터랙션 방법. - 제 2 항에 있어서, 상기 원격 공간에 상기 필요 정보를 제공하는 단계는,
상기 필요 정보가 영상 형태로 제공되는 경우에, 상기 프로젝터가 상기 필요 정보를 상기 원격 공간에 표시하는 단계; 및
상기 필요 정보가 상기 원격 공간의 제1 영역과 관련된 경우에, 상기 프로젝터가 상기 원격 공간의 제1 영역에 포인터를 표시하는 단계를 포함하는 것을 특징으로 하는 원격 인터랙션 방법. - 제 7 항에 있어서,
상기 헤드 마운트 디스플레이가 상기 파노라마 영상과 상기 확대 영상을 함께 표시하거나 상기 확대 영상을 표시하는 경우, 및 상기 필요 정보가 상기 원격 공간의 제1 영역과 관련되어 상기 프로젝터가 상기 원격 공간의 제1 영역에 상기 포인터를 표시하는 경우에, 상기 고화질 카메라 및 상기 프로젝터 모두는 상기 원격 공간의 제1 영역을 향하도록 제어되는 것을 특징으로 하는 원격 인터랙션 방법. - 제 8 항에 있어서,
상기 원격 협업 시스템은 상기 로컬 공간에 배치되고 상기 헤드 마운트 디스플레이의 동작을 제어하기 위한 컨트롤러를 더 포함하고,
상기 고화질 카메라 및 상기 프로젝터의 방향 제어는 상기 헤드 마운트 디스플레이에 의해 획득되는 헤드 트래킹 정보에 기초하여 수행되며,
상기 원격 공간의 제1 영역 내에서 상기 포인터의 이동은 상기 컨트롤러에 의해 수행되는 것을 특징으로 하는 원격 인터랙션 방법. - 원격 공간에 배치되고, 상기 원격 공간에 필요 정보를 제공하는 프로젝터, 상기 원격 공간에 대한 제1 영상 정보를 수집하는 제1 파노라마 카메라 및 상기 원격 공간에 대한 제2 영상 정보를 수집하는 고화질 카메라를 포함하는 로봇형 디바이스; 및
상기 원격 공간과 이격된 로컬 공간에 배치되는 헤드 마운트 디스플레이를 포함하고,
통신 요청에 기초하여 상기 로봇형 디바이스와 상기 헤드 마운트 디스플레이 사이에 통신을 성립하고, 상기 헤드 마운트 디스플레이가 상기 제1 영상 정보 및 상기 제2 영상 정보를 수신하여 상기 원격 공간을 관찰하고, 상기 헤드 마운트 디스플레이가 상기 원격 공간의 관찰 결과에 기초하여 상기 필요 정보를 검색하며, 상기 로봇형 디바이스가 상기 헤드 마운트 디스플레이로부터 상기 필요 정보를 수신하고 상기 프로젝터를 통해 상기 원격 공간에 상기 필요 정보를 제공하는 원격 협업 시스템.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170135689A KR102082433B1 (ko) | 2017-10-19 | 2017-10-19 | 프로젝터-카메라 기반의 로봇형 디바이스와 헤드 마운트 디스플레이를 사용하는 원격 협업 시스템 및 이를 이용한 원격 인터랙션 방법 |
| US16/039,436 US10250845B1 (en) | 2017-10-19 | 2018-07-19 | Remote collaboration system with projector-camera based robot device and head mounted display, and remote interaction method using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170135689A KR102082433B1 (ko) | 2017-10-19 | 2017-10-19 | 프로젝터-카메라 기반의 로봇형 디바이스와 헤드 마운트 디스플레이를 사용하는 원격 협업 시스템 및 이를 이용한 원격 인터랙션 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190043749A true KR20190043749A (ko) | 2019-04-29 |
| KR102082433B1 KR102082433B1 (ko) | 2020-02-27 |
Family
ID=65898736
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170135689A KR102082433B1 (ko) | 2017-10-19 | 2017-10-19 | 프로젝터-카메라 기반의 로봇형 디바이스와 헤드 마운트 디스플레이를 사용하는 원격 협업 시스템 및 이를 이용한 원격 인터랙션 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10250845B1 (ko) |
| KR (1) | KR102082433B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020256188A1 (ko) * | 2019-06-20 | 2020-12-24 | 엘지전자 주식회사 | 영상의 투사 방법 및 이를 구현하는 로봇 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014506023A (ja) * | 2010-11-12 | 2014-03-06 | クロスウイング・インコーポレーテッド | カスタマイズ可能なロボット・システム |
| KR101444858B1 (ko) * | 2013-09-03 | 2014-11-03 | 재단법인 실감교류인체감응솔루션연구단 | 원격 존재 장치 |
| KR101683130B1 (ko) * | 2015-08-12 | 2016-12-06 | 재단법인 실감교류인체감응솔루션연구단 | 로컬 영역의 사용자와 원격 존재 로봇이 위치하는 원격 영역의 사용자 사이의 인터랙션을 제어하기 위한 사용자 인터페이스 제공 방법, 단말 및 컴퓨터 판독 가능한 기록 매체 |
| KR20170010815A (ko) * | 2014-08-25 | 2017-02-01 | 엑스 디벨롭먼트 엘엘씨 | 로봇 디바이스 동작의 가상 표현을 디스플레이하는 증강 현실을 위한 방법 및 시스템 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6635740B1 (en) * | 1997-03-27 | 2003-10-21 | Board Of Supervisors Of Louisiana State University And Agricultural And Mechanical College | Ligand/lytic peptide compositions and methods of use |
| US6845297B2 (en) | 2000-05-01 | 2005-01-18 | Irobot Corporation | Method and system for remote control of mobile robot |
| JP4286439B2 (ja) * | 2000-08-11 | 2009-07-01 | 富士通マイクロエレクトロニクス株式会社 | 半導体装置の製造方法 |
| WO2002043082A1 (fr) * | 2000-11-27 | 2002-05-30 | K-Tech Devices Corp. | Resistance en ceramique et son procede de fabrication |
| US6937266B2 (en) * | 2001-06-14 | 2005-08-30 | Microsoft Corporation | Automated online broadcasting system and method using an omni-directional camera system for viewing meetings over a computer network |
| SE0203908D0 (sv) * | 2002-12-30 | 2002-12-30 | Abb Research Ltd | An augmented reality system and method |
| US7995090B2 (en) * | 2003-07-28 | 2011-08-09 | Fuji Xerox Co., Ltd. | Video enabled tele-presence control host |
| US20160013976A1 (en) * | 2014-07-14 | 2016-01-14 | Futurewei Technologies, Inc. | Wireless Through Link Traffic Reduction |
| KR101553849B1 (ko) | 2014-08-28 | 2015-09-17 | 주식회사 케이엠씨로보틱스 | 원격 화상 회의를 위한 로봇팔 카메라 원격 제어 장치 |
| KR20160057783A (ko) * | 2014-11-14 | 2016-05-24 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
| US20160358383A1 (en) | 2015-06-05 | 2016-12-08 | Steffen Gauglitz | Systems and methods for augmented reality-based remote collaboration |
| KR101763636B1 (ko) | 2015-10-15 | 2017-08-02 | 한국과학기술원 | 헤드 마운트 디스플레이를 이용한 협업 방법 |
-
2017
- 2017-10-19 KR KR1020170135689A patent/KR102082433B1/ko active IP Right Grant
-
2018
- 2018-07-19 US US16/039,436 patent/US10250845B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014506023A (ja) * | 2010-11-12 | 2014-03-06 | クロスウイング・インコーポレーテッド | カスタマイズ可能なロボット・システム |
| KR101444858B1 (ko) * | 2013-09-03 | 2014-11-03 | 재단법인 실감교류인체감응솔루션연구단 | 원격 존재 장치 |
| KR20170010815A (ko) * | 2014-08-25 | 2017-02-01 | 엑스 디벨롭먼트 엘엘씨 | 로봇 디바이스 동작의 가상 표현을 디스플레이하는 증강 현실을 위한 방법 및 시스템 |
| KR101683130B1 (ko) * | 2015-08-12 | 2016-12-06 | 재단법인 실감교류인체감응솔루션연구단 | 로컬 영역의 사용자와 원격 존재 로봇이 위치하는 원격 영역의 사용자 사이의 인터랙션을 제어하기 위한 사용자 인터페이스 제공 방법, 단말 및 컴퓨터 판독 가능한 기록 매체 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020256188A1 (ko) * | 2019-06-20 | 2020-12-24 | 엘지전자 주식회사 | 영상의 투사 방법 및 이를 구현하는 로봇 |
| US10893245B1 (en) | 2019-06-20 | 2021-01-12 | Lg Electronics Inc. | Method for projecting image and robot implementing the same |
Also Published As
| Publication number | Publication date |
|---|---|
| US10250845B1 (en) | 2019-04-02 |
| US20190124294A1 (en) | 2019-04-25 |
| KR102082433B1 (ko) | 2020-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10721116B2 (en) | Communication terminal, method for controlling display of image, and non-transitory computer-readable storage medium | |
| JP4645090B2 (ja) | 共用インタラクティブ環境で情報を交換するための方法、システム及びプログラム | |
| US9733736B2 (en) | Image display apparatus and method, image display system, and program | |
| EP2637401A1 (en) | Video communication terminal and method of displaying images | |
| JP2008085930A (ja) | テレビ会議装置 | |
| CN107452119A (zh) | 虚拟现实实时导览方法及系统 | |
| US20220070412A1 (en) | Communication terminal, image communication system, method of displaying image, and recording medium | |
| US12075167B2 (en) | Communication terminal, display method, and non-transitory computer-readable medium for displaying images and controller | |
| JP7533061B2 (ja) | 通信端末、画像通信システム、画像表示方法およびプログラム | |
| JP2006174195A5 (ko) | ||
| CN102348063A (zh) | 相机设备、相机系统、控制设备和程序 | |
| EP2950503A1 (en) | Communication system, transfer control device, communication method, and computer program product | |
| JP2012109852A (ja) | 遠隔画像表示システム、装置および方法 | |
| CN113286085B (zh) | 显示控制方法、装置和电子设备 | |
| KR20190043749A (ko) | 프로젝터-카메라 기반의 로봇형 디바이스와 헤드 마운트 디스플레이를 사용하는 원격 협업 시스템 및 이를 이용한 원격 인터랙션 방법 | |
| KR20160092820A (ko) | 이동 단말기 및 그 제어방법 | |
| JPWO2018193509A1 (ja) | 遠隔作業支援システム、遠隔作業支援方法、及びプログラム | |
| KR20150105131A (ko) | 증강현실 제어 시스템 및 제어 방법 | |
| JP2018092478A (ja) | 作業指示システム | |
| JP2012123091A (ja) | 画像表示装置 | |
| JP2022162409A (ja) | 電子機器及びその制御方法 | |
| JP6881193B2 (ja) | 情報処理装置、情報処理方法、プログラム、表示制御装置、表示制御方法、プログラムおよび情報処理システム | |
| JP2016178355A (ja) | 通信装置、通信システム、通信装置の制御方法およびプログラム | |
| JP5340458B1 (ja) | プログラムおよびサーバ装置 | |
| US11516404B2 (en) | Control apparatus and control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |