KR102131614B1 - 대체현실 제공 시스템 및 그 방법 - Google Patents

대체현실 제공 시스템 및 그 방법 Download PDF

Info

Publication number
KR102131614B1
KR102131614B1 KR1020190085601A KR20190085601A KR102131614B1 KR 102131614 B1 KR102131614 B1 KR 102131614B1 KR 1020190085601 A KR1020190085601 A KR 1020190085601A KR 20190085601 A KR20190085601 A KR 20190085601A KR 102131614 B1 KR102131614 B1 KR 102131614B1
Authority
KR
South Korea
Prior art keywords
user
information
place
surrounding environment
sensor
Prior art date
Application number
KR1020190085601A
Other languages
English (en)
Inventor
주상현
Original Assignee
주상현
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주상현 filed Critical 주상현
Priority to KR1020190085601A priority Critical patent/KR102131614B1/ko
Application granted granted Critical
Publication of KR102131614B1 publication Critical patent/KR102131614B1/ko
Priority to PCT/KR2020/009353 priority patent/WO2021010761A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자의 현실 공간과 제3의 장소를 일치시켜 실감을 증대시키는 대체현실 제공 시스템 및 그 방법에 관한 것으로, 사용자 디바이스로부터 수신한 사용자 감각정보를 기반으로 제3의 장소에 위치하여 주변 환경정보를 획득하는 장소 디바이스의 동작을 제어하는 장소 디바이스 제어부, 상기 사용자 감각정보에 따라 제어된 상기 장소 디바이스로부터 수신한 상기 주변 환경정보에 대응되는 사용자 공간정보를 상기 사용자 디바이스에 제공하는 사용자 디바이스 제공부 및 상기 사용자 감각정보에 대응하도록 상기 장소 디바이스의 움직임 값을 산출하고, 상기 장소 디바이스로부터 수신한 상기 주변 환경정보를 상기 사용자 디바이스에 적합한 사용자 공간정보로 변경하는 정보 처리부를 포함한다.

Description

대체현실 제공 시스템 및 그 방법{SYSTEM FOR PROVIDING REPLACED REALITY AND THE METHOD THREROF}
본 발명은 대체현실 제공 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 사용자의 현실 공간과 제3의 장소를 일치시켜 실감을 증대시키는 기술에 관한 것이다.
가상현실은 현실의 장소를 가상으로 매핑하거나 임의로 가상세계를 구축하여 사용자에게 가상체험을 제공하는 서비스이며, 증강현실은 현실 공간에 가상객체를 부가정보형태로 제공하는 서비스를 일컫는다. 또한, 혼합현실(Mixed Reality)은 가상현실과 증강현실 기술이 혼합된 기술영역으로 확장현실(Extended Reality)로도 불리운다.
기존의 현실을 가상으로 매핑해놓고 이들과 상호작용하는 서비스는 사용자가 바라볼 예상되는 모든 시각정보를 데이터베이스에 확보하고 있어야하는데, 특정 장소의 전체공간을 대상으로 사용자와 초점을 맞추어 정보를 제공하는 것은 엄청난 양의 데이터를 요구할 뿐만 아니라 실현하기도 대단히 어렵다. 이에, 본 발명은 대체현실(Replaced Reality)을 제공하여 사용자가 현재 장소에 있으면서 제3의 장소에서의 방향과 객체를 바라보는 시점을 일치시켜 해당 영상을 초고화질로 실시간 획득하여 제공하므로 현실적인 초실감 서비스가 가능한 기술을 제안한다. 이때, 제3의 장소에서 사용자의 눈과 시점을 일치시키기 위한 카메라는 드론이나 이동형 로봇, 자동차 등에 탑재되어 실제로 사용자가 그곳에서 바라보는 듯한 일치감을 구현하도록 사용자의 시선을 추적하여 이들의 방향과 거리를 움직여주어야 한다.
본 발명의 목적은 사용자의 현실 공간과 제3의 장소에 위치하는 디바이스를 일치시켜 사용자에게 제3의 장소에 존재하는 것과 같은 효과를 제공하고자 한다.
본 발명의 실시예에 따른 대체현실 제공 시스템은 사용자 디바이스로부터 수신한 사용자 감각정보를 기반으로 제3의 장소에 위치하여 주변 환경정보를 획득하는 장소 디바이스의 동작을 제어하는 장소 디바이스 제어부, 상기 사용자 감각정보에 따라 제어된 상기 장소 디바이스로부터 수신한 상기 주변 환경정보에 대응되는 사용자 공간정보를 상기 사용자 디바이스에 제공하는 사용자 디바이스 제공부 및 상기 사용자 감각정보에 대응하도록 상기 장소 디바이스의 움직임 값을 산출하고, 상기 장소 디바이스로부터 수신한 상기 주변 환경정보를 상기 사용자 디바이스에 적합한 사용자 공간정보로 변경하는 정보 처리부를 포함한다.
상기 장소 디바이스 제어부는 상기 사용자 디바이스로부터 수신한 사용자가 바라보는 방향 및 시선의 상기 사용자 감각정보를 기반으로, 상기 사용자가 위치하지 않은 상기 제3의 장소에 위치하는 상기 장소 디바이스의 움직임 및 동작을 제어할 수 있다.
상기 장소 디바이스 제어부는 상기 사용자 감각정보의 시점과 상기 장소 디바이스의 시점을 일치시킬 수 있다.
상기 장소 디바이스 제어부는 상기 장소 디바이스 중 하나인 음성 마이크를 통해 상기 사용자 디바이스로부터 수신한 사용자 음성의 상기 사용자 감각정보가 출력되도록 제어할 수 있다.
상기 사용자 디바이스 제공부는 상기 제3의 장소에 위치하는 카메라, 마이크, 후각 센서, 촉각 센서 및 미각 센서 중 어느 하나 이상의 상기 장소 디바이스로부터 수신한 상기 주변 환경정보에 대응되도록 변경된 사용자의 시각, 청각, 후각, 촉각, 미각 및 제스처(gesture)의 상기 사용자 공간정보를 상기 사용자 디바이스에 제공할 수 있다.
상기 사용자 디바이스 제공부는 상기 사용자 감각정보의 시점에 일치하는 상기 장소 디바이스의 시점에서 획득되는 상기 주변 환경정보만을 이용한 상기 사용자 공간정보를 상기 사용자 디바이스를 통해 제공할 수 있다.
상기 정보 처리부는 사용자가 바라보는 방향 및 시선, 사용자 음성 및 제스처의 상기 사용자 감각정보에 대응하도록 상기 제3의 장소에 위치하는 카메라, 마이크, 후각 센서, 촉각 센서 및 미각 센서 중 어느 하나 이상의 상기 장소 디바이스의 현재 위치에서 움직임 각도, 비행 거리, 카메라 시점 및 작동 온/오프(On/Off) 중 적어도 어느 하나 이상의 움직임 값을 산출할 수 있다.
상기 정보 처리부는 상기 사용자 감각정보의 시점과 상기 장소 디바이스의 시점을 일치시키기 위해, 상기 장소 디바이스의 현재 위치에서 상기 사용자 감각정보의 시점까지의 상기 움직임 값을 산출할 수 있다.
상기 정보 처리부는 상기 제3의 장소로부터 수신한 상기 주변 환경정보를 상기 사용자 디바이스에 적합한 상기 사용자 공간정보로 일치시킬 수 있다.
상기 정보 처리부는 카메라, 마이크, 후각 센서, 촉각 센서 및 미각 센서 중 어느 하나 이상의 상기 장소 디바이스로부터 수신한 상기 주변 환경정보에 대응하도록 사용자의 시각, 청각, 후각, 촉각, 미각 및 제스처(gesture)의 상기 사용자 공간정보를 변경할 수 있다.
본 발명의 실시예에 따른 대체현실(Replaced Reality) 제공 시스템의 동작 방법에 있어서, 사용자 디바이스로부터 수신한 사용자 감각정보를 기반으로 제3의 장소에 위치하여 주변 환경정보를 획득하는 장소 디바이스의 동작을 제어하는 단계 및 상기 사용자 감각정보에 따라 제어된 상기 장소 디바이스로부터 수신한 상기 주변 환경정보에 대응되는 사용자 공간정보를 상기 사용자 디바이스로 제공하는 단계를 포함한다.
상기 장소 디바이스의 동작을 제어하는 단계는 상기 사용자 디바이스로부터 수신한 사용자가 바라보는 방향 및 시선의 상기 사용자 감각정보를 기반으로, 상기 사용자 감각정보에 대응하도록 상기 장소 디바이스의 움직임 값을 산출하여 상기 사용자가 위치하지 않은 상기 제3의 장소에 위치하는 상기 장소 디바이스의 움직임 및 동작을 제어할 수 있다.
상기 장소 디바이스의 동작을 제어하는 단계는 상기 사용자 감각정보의 시점과 상기 장소 디바이스의 시점을 일치시킬 수 있다.
상기 사용자 디바이스로 제공하는 단계는 상기 제3의 장소에 위치하는 카메라, 마이크, 후각 센서, 촉각 센서 및 미각 센서 중 어느 하나 이상의 상기 장소 디바이스로부터 수신한 상기 주변 환경정보에 대응하도록 사용자의 시각, 청각, 후각, 촉각, 미각 및 제스처(gesture)의 상기 사용자 공간정보를 변경하여 상기 사용자 디바이스에 제공할 수 있다.
상기 사용자 디바이스로 제공하는 단계는 상기 사용자 감각정보의 시점에 일치하는 상기 장소 디바이스의 시점에서 획득되는 상기 주변 환경정보만을 이용한 상기 사용자 공간정보를 상기 사용자 디바이스를 통해 제공할 수 있다.
본 발명의 실시예에 따르면, 사용자의 현실 공간과 제3의 장소에 위치하는 디바이스를 일치시켜 사용자에게 제3의 장소에 존재하는 것과 같은 효과를 제공할 수 있다.
또한, 본 발명의 실시예에 따르면, 제3의 장소에서 사용자의 시점에 일치하는 해당 영상만을 초고화질로 획득하여 제공하므로, 방대한 양의 데이터 없이도 현실적인 서비스가 가능할 수 있다.
또한, 본 발명의 실시예에 따르면, 사용자의 시점에 따라 제3의 장소에서 이동하는 드론 또는 카메라를 통해 획득한 주변 환경정보를 사용자 디바이스로 제공하여 사용자의 현실 공간에서 대체현실(Replaced Reality)을 제공함으로써, 센싱에 주안점을 두어 초고화질의 영상으로 실감을 증대시킬 수 있다.
도 1은 본 발명의 실시예에 따른 대체현실을 설명하기 위해 도시한 것이다.
도 2는 본 발명의 실시예에 따른 대체현실 제공 시스템의 세부 구성을 블록도로 도시한 것이다.
도 3은 본 발명의 실시예에 따른 사용자의 현실 공간과 제3의 장소를 일치시키는 예를 설명하기 위해 도시한 것이다.
도 4는 본 발명의 실시예에 따른 대체현실 제공 시스템, 사용자 디바이스 및 장소 디바이스 간 대체현실을 제공하는 과정을 도시한 흐름도이다.
도 5는 본 발명의 실시예에 따른 대체현실 제공 방법의 동작 흐름도를 도시한 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 대체현실을 설명하기 위해 도시한 것이다.
본 발명의 실시예에 따른 대체현실 제공 시스템 및 그 방법은 대체현실(Replaced Reality)을 제공하는 것으로, 사용자가 실제 위치하는 현실 공간에서 제3의 장소를 일치시키는 기술에 관한 것이다.
도 1을 참조하면, 사용자 디바이스(200)를 통해 획득되는 사용자 감각정보는 네트워크를 통하여 전송되며, 사용자 감각정보의 시점에 따라 제3의 장소에 위치하는 장소 디바이스(300)의 시점이 일치될 수 있다. 이후에, 시점이 일치된 위치에서의 장소 디바이스(300)가 획득한 주변 환경정보는 네트워크를 통하여 전송되고, 주변 환경정보에 대응하는 사용자 공간정보는 사용자 디바이스(200)를 통해 사용자에게 제공됨으로써, 사용자는 제3의 장소에 위치하는 듯한 체험을 할 수 있다.
이 때, 사용자 디바이스(200)는 사용자 머리에 착용하는 HMD(Head Mounted Display; 머리 착용 디스플레이) 또는 돔 형태의 스크린일 수 있으며, 장소 디바이스(300)는 드론(drone), 카메라(예를 들면, 일반 카메라, 360도 카메라, 스테레오 카메라, 드론에 탑재 가능한 카메라 등), 마이크, 후각 센서, 촉각 센서 및 미각 센서 중 적어도 어느 하나 이상일 수 있다.
제1 실시 예로, 골프를 좋아하는 사용자 A가 사전에 매핑해둔 영상을 보면서 공을 치는 스크린 골프장 대신 미국 캘리포니아에 있는 페블리치에서의 라운딩을 원하는 경우, 사용자 A는 사용자 디바이스(200)를 통해 제3의 장소인 미국 캘리포니아에 있는 페블리치에서 라운딩을 할 수 있다.
보다 구체적으로, 사용자 A와 함께 라운딩하는 사람들(A의 지인인 B, C, D 등)이 존재한다고 가정하면, 페블리치의 1번홀에는 사용자 A와 함께 라운딩하는 사람들을 대신하는 4대의 드론(장소 디바이스, 300)이 위치할 수 있다. 각 드론은 고성능 카메라를 탑재하고 있으며, 카메라의 초점과 방향은 사용자 디바이스(200)를 통해 수신되는 사용자 감각정보를 통한 사용자 각각의 눈과 일치되어 있다. 여기서, 일치라 함은 동기화의 의미이며, 사용자 디바이스(200)를 통해 사용자의 눈 앞에 펼쳐지는 페블리치 1번홀의 티 오프(tee off) 위치에서 사용자가 바라보는 시야와 실제 객체(필드, 언덕, 먼 풍경, 목표 지점, 식물, 사람 등)에 초점이 맞춰짐을 의미한다.
사용자 A는 사용자 디바이스(돔 형태의 스크린 또는 HMD, 200)를 통해 페블리치 1번홀을 주시하다가 다른 방향으로 고개를 돌리면, 제3의 장소에 위치하는 장소 디바이스(300)인 드론 역시 같은 방향으로 향하여 사용자 A의 눈과 카메라의 시점을 일치시켜 사용자 A가 응시하는 객체에 카메라의 초점을 맞출 수 있다. 이에, 장소 디바이스(300)인 드론에 탑재된 카메라가 촬영한 주변 환경정보는 실시간으로 인코딩되어 5G 통신망(네트워크)을 통해 고속전송되고, 사용자 디바이스(200)에서 실시간 디코딩되어 영상이 재현될 수 있다. 이 때, 촬영시점과 사용자 A가 바라보는 시점 간의 지연은 사람이 느끼지 못할 정도의 실시간성을 제공할 수 있다.
사용자 A가 기존의 스크린 골프장과 같은 방식으로 공을 타격하면, 타격된 공은 물리적 계산을 통하여 날아가며 사용자 디바이스(200) 상에 표시되고, 장소 디바이스(300)인 드론은 공의 비행궤적을 따라 공과의 적당한 간격을 유지하며 공을 포함한 전방의 영상을 촬영하여 사용자 디바이스(200)로 전송할 수 있다. 실제 필드에서는 사람의 눈이 공의 비행궤적을 따라갈 수 없지만, 드론은 어느 정도의 거리를 유지하며 공의 비행을 좀 더 가까이서 관찰할 수 있는 이점이 있다. 또한, 4명의 사용자가 모두 공을 타격한 후, 드론이 각 플레이어(또는 사용자)의 공 위치까지 날아가기 때문에 사용자가 공의 위치까지 이동하는 시간이 절약될 수 있다.
이처럼 공이 물리적인 궤적을 따라 이동하는 장면을 장소 디바이스(300)인 드론이 따라가면서 촬영하는 이유는 공이 날아가면서 발생하는 효과음의 재생이나 주변음 및 바람의 세기, 향기 등의 주변 환경정보를 실시간 획득하여 재현하기 위함이며, 이를 통해 사용자에게 제3의 장소에 대한 실감을 좀 더 증대시키고자 함이다. 실시예에 따라서는 사용자 선호에 따라 드론을 제3의 장소에 위치하는 가상의 플레이어 위치에 고정시켜 실제 플레이어 관점에서 공의 궤적을 관찰할 수도 있다.
제2 실시 예로, 대리 운전사 B가 사용자 디바이스(200)를 통해 제3의 장소에 위치하는 차량을 운전할 수 있다.
본 발명을 이용하면 미래의 자율 주행차를 대신하여 운전하는 대체운행(대체현실에서의 대리운행)이 가능할 수 있다. 보다 구체적으로, 차량을 원격조정하는 방식으로, 대리 운전사 B가 사용자 디바이스(200)를 통해 제3의 장소인 차량을 조작하면, 차량 내 장소 디바이스(300)인 360도 카메라가 차량의 전, 후, 좌, 우의 주변 환경정보를 실시간으로 전송하여 대리 운전사 B가 현실 공간에서 제3의 장소에 있는 차량을 대리 운전할 수 있게 된다.
이 때, 대리 운전사 B가 응시하고자 하는 방향에서 장소 디바이스(300)는 전, 후, 좌, 우의 영상 정보와 주변 소음 정보 및 차량의 상태 정보 중 어느 하나 이상을 포함하는 주변 환경정보를 실시간으로 사용자 디바이스(200)에 전송하여 대리 운전사 B가 제3의 장소에 위치하는 차량 내 실제 운전석에 앉아 차량을 조작하는 효과를 제공할 수 있다. 이 방식은 대리 운전사 B가 차량까지 이동하는 시간을 줄이고, 차량에 탑재된 장소 디바이스(300)인 360도 카메라 및 각종 센서와 시점을 일치시킴으로써, 사고에 대한 책임소재를 명확히하여 완전 자율주행시대의 중간 단계 역할을 수행할 수 있다. 또한, 이러한 방식은 무인택시 사업에도 적용 가능할 수 있다.
제3 실시 예로, 카레이싱을 좋아하는 사용자 C는 사용자 디바이스(200)를 통해 제3의 장소인 경기장에서 카레이싱을 즐길 수 있다.
보다 구체적으로, 카레이싱은 위험성이 높은 만큼 스릴을 만끽할 수 있는 스포츠이나, 일반적인 사람들이 카레이싱을 경험해보기는 쉽지 않다. 본 발명을 통한 대체현실에서는 제3의 장소(예를 들면, 카레이싱 경기장)에 위치한 장소 디바이스(300)인 드론의 비행높이를 차량의 운전자와 같은 높이로 설정하고, 드론을 중심으로 차량을 가상으로 생성하여 사용자 C가 바라보는 사용자 디바이스(200) 상에 제공함으로써, 사용자 C는 사용자 디바이스(200)를 통해 제3의 장소에서 카레이싱을 체험할 수 있다. 이 때, 드론은 설정된 속도(예를 들어 자동차 속도인 0 내지 300Km/h)에서 운행이 가능하고, 물리엔진을 통해 자동차의 가속 성능을 조정할 수 있다. 또한, 차량 간의 접촉이나 가드레일에 충돌하는 상황 연출 또한 가능할 수 있다.
실시예에 따라서, 본 발명의 대체현실을 통해 사용자는 전쟁 게임(War Game) 또는 서바이벌 게임(Survival Game)을 즐길 수도 있다.
제4 실시 예로, 사용자 D는 사용자 디바이스(200)를 통해 제3의 장소에서 게임, 행글라이더, 번지점프, 낙하산, 비행 시뮬레이터, 자전거, 오토바이, 화상채팅, 전시 투어 등의 각종 서비스를 체험할 수 있다.
보다 구체적으로, 기존에 많이 사용하는 화상채팅(face talk)은 상대방이 카메라를 조정하여 보여주고 싶은 화면을 보여주는 것이다. 다시 말하면, 서비스 목적의 리얼리티를 구현하고자 하면 사용자 D가 화상채팅에서 상대방의 카메라를 조정할 수 있어야 하는데, 기존의 화상채팅은 상대방이 보여주는 것만 시청이 가능하다. 이에, 본 발명을 통한 대체현실에서는 상대방 앞에 장소 디바이스(300)인 드론을 띄우고, 사용자 디바이스(200)를 통한 사용자 D의 시점과 드론의 시점을 일치시켜 사용자 D가 상대방의 주변을 네비게이팅할 수 있다. 이러한 방식을 이용하면, 루브르 박물관, 에펠탑 또는 산과 같은 사용자 D가 원하는 제3의 장소에 장소 디바이스(300)인 드론에 탑재된 카메라의 시점을 일치시켜 사용자에게 보다 다양한 서비스를 제공할 수 있게 된다.
도 2는 본 발명의 실시예에 따른 대체현실 제공 시스템의 세부 구성을 블록도로 도시한 것이다.
도 2를 참조하면, 본 발명의 실시예에 따른 대체현실 제공 시스템은 사용자의 현실 공간과 제3의 장소를 일치시켜 실감을 증대시킨다.
이를 위해, 본 발명의 실시예에 따른 대체현실 제공 시스템(100)은 장소 디바이스 제어부(110), 사용자 디바이스 제공부(120) 및 정보 처리부(130)를 포함한다.
장소 디바이스 제어부(110)는 사용자 디바이스(200)로부터 수신한 사용자 감각정보를 기반으로 제3의 장소에 위치하여 주변 환경정보를 획득하는 장소 디바이스(300)의 동작을 제어한다.
본 발명의 실시예에 따른 대체현실 제공 시스템(100)의 제1 수신부(141)는 네트워크를 통해 사용자 디바이스(200)로부터 사용자 감각정보를 실시간으로 수신하며, 이를 장소 디바이스 제어부(110) 또는 정보 처리부(130)에 제공할 수 있다.
이 때, 사용자 디바이스(200)는 사용자 머리에 착용하는 HMD(Head Mounted Display; 머리 착용 디스플레이) 또는 돔 형태의 스크린일 수 있으며, HMD 또는 돔 형태의 스크린을 나타내는 사용자 디바이스(200)에는 사용자의 시선 및 제스처를 감지하는 카메라, 소리를 감지하는 마이크, 냄새를 센싱하는 후각 센서 및 터치를 센싱하는 촉각 센서 중 적어도 어느 하나 이상을 포함할 수 있다. 이에 따라서, 상기 사용자 감각정보는 카메라, 마이크, 후각 센서 및 촉각 센서로부터 감지되는 사용자가 바라보는 방향 및 시선 정보, 사용자 음성 정보, 냄새 정보 및 터치 정보 중 어느 하나 이상의 정보를 포함할 수 있다.
장소 디바이스 제어부(110)는 사용자 디바이스(200)로부터 수신한 사용자가 바라보는 방향 및 시선의 사용자 감각정보를 기반으로, 사용자가 위치하지 않은 제3의 장소에 위치하는 장소 디바이스(300)의 움직임 및 동작을 제어할 수 있다.
상세하게는, 장소 디바이스 제어부(110)는 사용자 감각정보에 포함된 사용자가 바라보는 방향 및 시선에 따른 시점과 제3의 장소에 위치하는 장소 디바이스(300)인 드론(drone) 또는 카메라의 시점을 일치시킬 수 있다. 예를 들면, 사용자가 정면을 바라보다가 시선을 멀리 또는 좌/우측으로 이동하는 경우, 장소 디바이스(300)의 시점 또한 사용자의 시점과 동일하게 멀리 또는 좌/우측으로 이동시켜 사용자 감각정보의 시점과 장소 디바이스(300)의 시점을 일치시킬 수 있다.
또한, 장소 디바이스 제어부(110)는 장소 디바이스(300) 중 하나인 음성 마이크를 통해 사용자 디바이스(200)로부터 수신한 사용자 음성의 사용자 감각정보가 출력되도록 제어할 수 있다. 예를 들면, 장소 디바이스 제어부(110)는 장소 디바이스(300)인 음성 마이크를 통해 사용자 음성을 출력하여 제3의 장소에 위치하는 복수의 사용자들은 서로 소통할 수 있다. 이 때, 장소 디바이스(300)는 드론(drone), 카메라(예를 들면, 일반 카메라, 360도 카메라, 스테레오 카메라, 드론에 탑재 가능한 카메라 등), 마이크, 후각 센서, 촉각 센서 및 미각 센서 중 적어도 어느 하나 이상일 수 있다.
이후에, 장소 디바이스(300)는 사용자 감각정보의 시점과 일치한 장소에서 주변 환경정보를 획득하여 본 발명의 실시예에 따른 대체현실 제공 시스템(100)에 전송할 수 있다.
사용자 디바이스 제공부(120)는 사용자 감각정보에 따라 제어된 장소 디바이스(300)로부터 수신한 주변 환경정보에 대응되는 사용자 공간정보를 사용자 디바이스(200)에 제공한다.
본 발명의 실시예에 따른 대체현실 제공 시스템(100)의 제2 수신부(142)는 네트워크를 통해 장소 디바이스(300)로부터 주변 환경정보를 실시간으로 수신하며, 이를 사용자 디바이스 제공부(120) 또는 정보 처리부(130)에 제공할 수 있다.
사용자 디바이스 제공부(120)는 제3의 장소에 위치하는 카메라, 마이크, 후각 센서, 촉각 센서 및 미각 센서 중 어느 하나 이상의 장소 디바이스(300)로부터 수신한 주변 환경정보에 대응되도록 변경된 사용자의 시각, 청각, 후각, 촉각, 미각 및 제스처(gesture)의 사용자 공간정보를 사용자 디바이스(200)에 제공할 수 있다. 예를 들면, 사용자 감각정보의 시점과 장소 디바이스(300)의 시점이 일치하면, 장소 디바이스(300)는 제3의 장소에 대한 영상 정보, 음성 정보, 후각 정보, 촉각 정보 및 미각 정보 중 어느 하나 이상의 주변 환경정보를 획득할 수 있다. 이에, 사용자 디바이스 제공부(120)는 주변 환경정보에 대응되는 사용자 공간정보를 사용자 디바이스(200)에 제공하며, 사용자 디바이스(200)는 사용자 공간정보를 기반으로 사용자에게 초고화질의 영상을 기반으로 한 제3의 장소에 대한 주변 환경정보를 제공하여 제3의 장소에 위치하는 듯한 실감을 증대시킬 수 있다.
이 때, 사용자 디바이스 제공부(120)는 사용자 감각정보의 시점에 일치하는 장소 디바이스(300)의 시점에서 획득되는 주변 환경정보만을 이용한 사용자 공간정보를 사용자 디바이스(200)를 통해 제공할 수 있다. 본 발명의 실시예에 따른 대체현실 제공 시스템(100)은 제3의 장소에 대한 방대한 양의 주변 환경정보를 획득하는 것이 아닌, 사용자 감각정보의 시점에 일치하는 시점에서의 주변 환경정보만을 초고화질로 획득하여 사용자에게 제공하므로, 현실적인 서비스가 가능한 것을 특징으로 한다.
정보 처리부(130)는 사용자 감각정보에 대응하도록 장소 디바이스(300)의 움직임 값을 산출하고, 장소 디바이스(300)로부터 수신한 주변 환경정보를 사용자 디바이스(200)에 적합한 사용자 공간정보로 변경한다.
일 예로, 정보 처리부(130)는 사용자가 바라보는 방향 및 시선, 사용자 음성 및 제스처의 사용자 감각정보에 대응하도록 제3의 장소에 위치하는 카메라, 마이크, 후각 센서, 촉각 센서 및 미각 센서 중 어느 하나 이상의 장소 디바이스(300)의 현재 위치에서 움직임 각도, 비행 거리, 카메라 시점 및 작동 온/오프(On/Off) 중 적어도 어느 하나 이상의 움직임 값을 산출할 수 있다.
보다 구체적으로, 정보 처리부(130)는 사용자 감각정보의 시점과 장소 디바이스(300)의 시점을 일치시키기 위해, 장소 디바이스(300)의 현재 위치에서 사용자 감각정보의 시점까지의 움직임 값을 산출할 수 있다. 예를 들면, 정보 처리부(130)는 사용자 감각정보에 의한 사용자가 바라보는 방향 및 시선에 따라 제3의 장소에 위치한 장소 디바이스(300)인 드론의 위치를 이동시키기 위해, 현재 위치에서 해당 시점까지 장소 디바이스(300)의 움직임 각도, 비행 거리, 카메라 시점 및 작동 온/오프(On/Off) 중 하나 이상의 움직임 값을 산출할 수 있다.
다른 예로, 정보 처리부(130)는 제3의 장소로부터 수신한 주변 환경정보를 사용자 디바이스에 적합한 사용자 공간정보로 일치시킬 수 있다.
보다 구체적으로, 정보 처리부(130)는 제3의 장소에 위치하는 카메라, 마이크, 후각 센서, 촉각 센서 및 미각 센서 중 어느 하나 이상의 장소 디바이스(300)로부터 수신한 주변 환경정보에 대응하도록 사용자의 시각, 청각, 후각, 촉각, 미각 및 제스처(gesture)의 사용자 공간정보로 변경할 수 있다. 예를 들면, 주변 환경정보에서 영상 정보는 시각, 음성 정보는 청각, 후각 정보는 후각, 촉각 정보는 터치 감각, 그리고 미각 정보는 미각의 사용자 공간정보로 변경될 수 있다.
이에, 본 발명은 전술한 바와 같이 센싱된 주변 환경정보를 사용자의 오감을 위한 사용자 공간정보로 변경함으로써, 사용자 디바이스(200)의 카메라, 마이크, 후각 센서, 촉각 센서 및 미각 센서를 통해 제3의 장소에 대한 사용자의 실감을 보다 증대시킬 수 있고, 제3의 장소에 위치하는 복수의 센싱 장치들(카메라, 마이크, 후각 센서, 촉각 센서, 미각 센서 등) 간의 정보 혼용 또는 중복되어 센싱되는 데이터로 인한 에러를 최소화할 수 있다.
도 3은 본 발명의 실시예에 따른 사용자의 현실 공간과 제3의 장소를 일치시키는 예를 설명하기 위해 도시한 것이다.
사용자가 사용자 디바이스를 통해 제3의 장소에 위치하는 꽃을 관찰하는 경우, 제3의 장소에 위치하는 장소 디바이스(300)인 카메라는 사용자가 바라보는 방향에 따라 움직일 수 있다. 이 때, 사용자는 꽃에 더 가까이 다가가거나 멀어질 수 있으며, 이에 따라 카메라는 줌 인(Zoom In) 또는 줌 아웃(Zoom Out)할 수 있다.
사용자의 시점에 따라 이동하는 장소 디바이스(300)는 사용자의 시선과 일치하는 위치에서 영상 정보뿐 아니라 감지되는 소리와 소리의 발생 방향인 음성 정보, 후각 정보, 촉각 정보 및 미각 정보의 주변 환경정보를 획득하여 사용자에게 전달할 수 있다. 이 때, 카메라는 사용자의 시선, 마이크는 사용자의 청각, 후각 센서는 사용자의 후각, 촉각 센서는 사용자의 촉각, 그리고 미각 센서는 사용자의 미각을 대신할 수 있다.
사용자는 장소 디바이스(300)를 통해 획득된 주변 환경정보를 고글타입의 HMD 장비 또는 돔 형태의 스크린을 통해 체험할 수 있으며, 이러한 주변 환경정보는 장소 디바이스(300)에 의해 고화질(또는 입체)로 실시간 인코딩되어 5G의 고성능 네트워크를 통해 사용자 디바이스로 전달될 수 있다.
도 4는 본 발명의 실시예에 따른 대체현실 제공 시스템, 사용자 디바이스 및 장소 디바이스 간 대체현실을 제공하는 과정을 도시한 흐름도이다.
도 4를 참조하면, 본 발명의 실시예에 따른 대체현실 제공 시스템(100)은 사용자 디바이스(200)와 사용자가 원하는 제3의 장소에 위치하는 장소 디바이스(300) 사이의 세션이 연결된 상태에서, 사용자 디바이스(200)는 사용자가 바라보는 방향, 시선 또는 사용자 음성을 수신한다(단계 401).
예를 들면, 단계 401에서, 사용자 디바이스(200)는 카메라, 마이크, 후각 센서 및 촉각 센서로부터 감지되는 사용자가 바라보는 방향 및 시선 정보, 사용자 음성 정보, 냄새 정보 및 터치 정보 중 어느 하나 이상의 사용자 감각정보를 획득할 수 있다.
이후, 단계 402에서, 대체현실 제공 시스템(100)은 네트워크를 통해 사용자 디바이스(200)로부터 사용자 감각정보를 수신한다.
단계 403에서, 대체현실 제공 시스템(100)은 사용자 감각정보의 시점과 장소 디바이스(300)의 시점 일치를 위한 움직임 값을 산출한다. 예를 들면, 대체현실 제공 시스템(100)은 사용자 감각정보에 의한 사용자가 바라보는 방향 및 시선에 따라 제3의 장소에 위치한 장소 디바이스(300)를 이동시키기 위해, 현재 위치에서 해당 시점까지 장소 디바이스(300)의 움직임 각도, 비행 거리, 카메라 시점 및 작동 온/오프(On/Off) 중 하나 이상의 움직임 값을 산출할 수 있다.
이후, 대체현실 제공 시스템(100)은 산출된 움직임 값에 따라 제3의 장소에 위치하는 드론(drone), 카메라(예를 들면, 일반 카메라, 360도 카메라, 스테레오 카메라, 드론에 탑재 가능한 카메라 등), 마이크, 후각 센서, 촉각 센서 및 미각 센서 중 적어도 어느 하나 이상의 장소 디바이스(300) 움직임을 제어한다(단계 404).
단계 405에서, 장소 디바이스(300)는 사용자 감각정보의 시점에 일한 위치에서 주변 환경정보를 획득한다. 예를 들면, 장소 디바이스(300)는 카메라의 시점과 사용자 감각정보의 시점이 일치하는 경우, 일치한 시점에 대한 영상 정보, 음성 정보, 후각 정보, 촉각 정보 및 미각 정보 중 어느 하나 이상의 주변 환경정보를 획득할 수 있다. 이 때, 시점은 카메라가 획득할 수 있는 범위 내의 영상을 의미할 수 있다.
이후, 단계 406에서, 장소 디바이스(300)는 획득한 주변 환경정보를 인코딩하여 5G의 고성능 네트워크를 통해 대체현실 제공 시스템(100)로 제공한다. 실시예에 따라서, 장소 디바이스(300)는 인코딩된 주변 환경정보를 사용자 디바이스(200)에 직접적으로 제공할 수도 있으며, 사용자 디바이스(200)는 인코딩된 주변 환경정보를 디코딩하여 사용자에게 사용자 공간정보로 제공할 수 있다.
단계 407 및 단계 408에서, 대체현실 제공 시스템(100)은 장소 디바이스(300)로부터 인코딩된 주변 환경정보를 수신하며, 주변 환경정보를 사용자 공간정보로 일치시킨다. 예를 들면, 대체현실 제공 시스템(100)은 제3의 장소에 위치하는 카메라, 마이크, 후각 센서, 촉각 센서 및 미각 센서 중 어느 하나 이상의 장소 디바이스(300)로부터 수신한 주변 환경정보에 대응하도록 사용자의 시각, 청각, 후각, 촉각, 미각 및 제스처(gesture)의 사용자 공간정보로 변경할 수 있다. 이를 통해, 대체현실 제공 시스템(100)은 주변 환경정보와 사용자 공간정보를 보다 정확히 일치시킴으로써, 사용자 디바이스(200)의 카메라, 마이크, 후각 센서, 촉각 센서 및 미각 센서를 통해 제3의 장소에 대한 사용자의 실감을 증대시킬 수 있다.
이후에, 대체현실 제공 시스템(100)은 사용자 디바이스(200)로 사용자 공간정보를 제공한다. 이 때, 대체현실 제공 시스템(100)은 사용자 공간정보를 인코딩하여 네트워크를 통해 사용자 디바이스(200)에 제공할 수 있다.
단계 410에서, 사용자 디바이스(200)는 사용자 공간정보를 디코딩하여 사용자에게 제공한다. 실시예에 따라서, 사용자 디바이스(200)는 단계 407에서 장소 디바이스(300)로부터 인코딩된 주변 환경정보를 직접적으로 수신할 수 있으며, 내부에서 자체적으로 주변 환경정보를 사용자 공간정보로 변경하여 사용자의 시각, 청각, 후각, 촉각, 미각 및 제스처(gesture)에 대응하게 제공할 수도 있다.
도 5는 본 발명의 실시예에 따른 대체현실 제공 방법의 동작 흐름도를 도시한 것이다.
도 5의 방법은 도 2에 도시된 본 발명의 실시예에 따른 대체현실 제공 시스템에 의해 수행된다.
도 5를 참조하면, 단계 510에서, 사용자 디바이스로부터 수신한 사용자 감각정보를 기반으로 제3의 장소에 위치하여 주변 환경정보를 획득하는 장소 디바이스의 동작을 제어한다.
단계 510은 사용자 디바이스로부터 수신한 사용자가 바라보는 방향 및 시선의 사용자 감각정보를 기반으로, 사용자 감각정보에 대응하도록 장소 디바이스의 움직임 값을 산출하여 사용자가 위치하지 않은 제3의 장소에 위치하는 장소 디바이스의 움직임 및 동작을 제어할 수 있다. 또한, 단계 510은 사용자 감각정보의 시점과 장소 디바이스의 시점을 일치시킬 수 있다.
보다 상세하게, 단계 510은 사용자 감각정보에 포함된 사용자가 바라보는 방향 및 시선에 따른 시점과 제3의 장소에 위치하는 장소 디바이스인 드론(drone) 또는 카메라의 시점을 일치시킬 수 있다. 예를 들면, 사용자가 정면을 바라보다가 시선을 멀리 또는 좌/우측으로 이동하는 경우, 시점 변경에 따라 산출된 장소 디바이스의 움직임 값에 따라 장소 디바이스의 시점을 사용자의 시점과 동일하게 멀리 또는 좌/우측으로 이동시켜 사용자 감각정보의 시점과 장소 디바이스의 시점을 일치시킬 수 있다.
단계 520에서, 사용자 감각정보에 따라 제어된 장소 디바이스로부터 수신한 주변 환경정보에 대응되는 사용자 공간정보를 사용자 디바이스로 제공한다.
단계 520은 제3의 장소에 위치하는 카메라, 마이크, 후각 센서, 촉각 센서 및 미각 센서 중 어느 하나 이상의 장소 디바이스로부터 수신한 주변 환경정보에 대응하도록 사용자의 시각, 청각, 후각, 촉각, 미각 및 제스처(gesture)의 사용자 공간정보를 변경하여 사용자 디바이스에 제공할 수 있다. 예를 들면, 사용자 감각정보의 시점과 장소 디바이스의 시점이 일치하면, 장소 디바이스는 제3의 장소에 대한 영상 정보, 음성 정보, 후각 정보, 촉각 정보 및 미각 정보 중 어느 하나 이상의 주변 환경정보를 획득할 수 있다. 이에, 단계 520은 주변 환경정보에서 영상 정보는 시각, 음성 정보는 청각, 후각 정보는 후각, 촉각 정보는 터치 감각 및 미각 정보는 미각의 사용자 공간정보로 변경하여 사용자 디바이스에 제공하며, 사용자 디바이스는 사용자 공간정보를 기반으로 사용자에게 초고화질의 영상을 기반으로 한 제3의 장소에 대한 주변 환경정보를 제공하여 제3의 장소에 위치하는 듯한 실감을 증대시킬 수 있다.
이 때, 단계 520은 사용자 감각정보의 시점에 일치하는 장소 디바이스의 시점에서 획득되는 주변 환경정보만을 이용한 사용자 공간정보를 사용자 디바이스를 통해 제공할 수 있다. 본 발명의 실시예에 따른 대체현실 제공 방법은 장소 디바이스를 통해 제3의 장소에 대한 방대한 양의 주변 환경정보를 획득하는 것이 아닌, 사용자 감각정보의 시점에 일치하는 시점에서의 주변 환경정보만을 초고화질로 획득하여 사용자에게 제공하므로, 현실적인 서비스가 가능한 것을 특징으로 한다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 사용자 디바이스로부터 수신한 사용자 감각정보를 기반으로 제3의 장소에 위치하여 주변 환경정보를 획득하는 장소 디바이스의 동작을 제어하는 장소 디바이스 제어부;
    상기 사용자 감각정보에 따라 제어된 상기 장소 디바이스로부터 수신한 상기 주변 환경정보에 대응되는 사용자 공간정보를 상기 사용자 디바이스에 제공하는 사용자 디바이스 제공부; 및
    상기 사용자 감각정보에 대응하도록 상기 장소 디바이스의 움직임 값을 산출하고, 상기 장소 디바이스로부터 수신한 상기 주변 환경정보를 상기 사용자 디바이스에 적합한 사용자 공간정보로 변경하는 정보 처리부를 포함하되,
    상기 장소 디바이스 제어부는
    상기 사용자 디바이스로부터 수신한 사용자가 바라보는 방향 및 시선의 상기 사용자 감각정보를 기반으로, 상기 사용자가 위치하지 않은 상기 제3의 장소에 위치하는 상기 장소 디바이스의 움직임 및 동작을 제어하여 상기 사용자 감각정보의 시점과 상기 장소 디바이스의 시점을 일치시키며,
    상기 사용자 디바이스 제공부는
    상기 사용자 감각정보의 시점에 일치하는 상기 장소 디바이스의 시점에서 획득되는 상기 주변 환경정보만을 이용한 상기 사용자 공간정보를 상기 사용자 디바이스에 제공하고,
    상기 정보 처리부는
    상기 사용자 감각정보의 시점과 상기 장소 디바이스의 시점을 일치시키기 위해, 상기 장소 디바이스의 현재 위치에서 상기 사용자 감각정보의 시점까지 상기 장소 디바이스의 움직임 각도, 비행 거리, 카메라 시점 및 작동 온/오프(On/Off)의 상기 움직임 값을 산출하는, 대체현실 제공 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 장소 디바이스 제어부는
    상기 장소 디바이스 중 하나인 음성 마이크를 통해 상기 사용자 디바이스로부터 수신한 사용자 음성의 상기 사용자 감각정보가 출력되도록 제어하는, 대체현실 제공 시스템.
  5. 제1항에 있어서,
    상기 사용자 디바이스 제공부는
    상기 제3의 장소에 위치하는 카메라, 마이크, 후각 센서, 촉각 센서 및 미각 센서 중 어느 하나 이상의 상기 장소 디바이스로부터 수신한 상기 주변 환경정보에 대응되도록 변경된 사용자의 시각, 청각, 후각, 촉각, 미각 및 제스처(gesture)의 상기 사용자 공간정보를 상기 사용자 디바이스에 제공하는, 대체현실 제공 시스템.
  6. 제5항에 있어서,
    상기 사용자 디바이스 제공부는
    상기 사용자 감각정보의 시점에 일치하는 상기 장소 디바이스의 시점에서 획득되는 상기 주변 환경정보만을 이용한 상기 사용자 공간정보를 상기 사용자 디바이스를 통해 제공하는 것을 특징으로 하는, 대체현실 제공 시스템.
  7. 제1항에 있어서,
    상기 정보 처리부는
    사용자가 바라보는 방향 및 시선, 사용자 음성 및 제스처의 상기 사용자 감각정보에 대응하도록 상기 제3의 장소에 위치하는 카메라, 마이크, 후각 센서, 촉각 센서 및 미각 센서 중 어느 하나 이상의 상기 장소 디바이스에 대한 상기 움직임 값을 산출하는, 대체현실 제공 시스템.
  8. 삭제
  9. 제1항에 있어서,
    상기 정보 처리부는
    상기 제3의 장소로부터 수신한 상기 주변 환경정보를 상기 사용자 디바이스에 적합한 상기 사용자 공간정보로 일치시키는 것을 특징으로 하는, 대체현실 제공 시스템.
  10. 제9항에 있어서,
    상기 정보 처리부는
    카메라, 마이크, 후각 센서, 촉각 센서 및 미각 센서 중 어느 하나 이상의 상기 장소 디바이스로부터 수신한 상기 주변 환경정보에 대응하도록 사용자의 시각, 청각, 후각, 촉각, 미각 및 제스처(gesture)의 상기 사용자 공간정보를 변경하는, 대체현실 제공 시스템.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
KR1020190085601A 2019-07-16 2019-07-16 대체현실 제공 시스템 및 그 방법 KR102131614B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190085601A KR102131614B1 (ko) 2019-07-16 2019-07-16 대체현실 제공 시스템 및 그 방법
PCT/KR2020/009353 WO2021010761A1 (ko) 2019-07-16 2020-07-16 대체현실 제공 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190085601A KR102131614B1 (ko) 2019-07-16 2019-07-16 대체현실 제공 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102131614B1 true KR102131614B1 (ko) 2020-07-08

Family

ID=71599817

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190085601A KR102131614B1 (ko) 2019-07-16 2019-07-16 대체현실 제공 시스템 및 그 방법

Country Status (2)

Country Link
KR (1) KR102131614B1 (ko)
WO (1) WO2021010761A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101835974B1 (ko) * 2016-05-24 2018-03-08 인하공업전문대학산학협력단 가상현실환경에서 사용자 단말들의 시점 동기화 장치 및 방법
KR101839118B1 (ko) * 2017-03-26 2018-03-16 (주)퓨처젠 다중 사용자의 현실 공간상 위치와 연동하는 다중 접속 가상공간 제공 시스템
JP2019082904A (ja) * 2017-10-31 2019-05-30 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000250688A (ja) * 1999-02-25 2000-09-14 Atsushi Matsushita 実感可能な仮想空間システム
KR102570208B1 (ko) * 2018-01-02 2023-08-25 엘지전자 주식회사 가상 모델하우스 제공 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101835974B1 (ko) * 2016-05-24 2018-03-08 인하공업전문대학산학협력단 가상현실환경에서 사용자 단말들의 시점 동기화 장치 및 방법
KR101839118B1 (ko) * 2017-03-26 2018-03-16 (주)퓨처젠 다중 사용자의 현실 공간상 위치와 연동하는 다중 접속 가상공간 제공 시스템
JP2019082904A (ja) * 2017-10-31 2019-05-30 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
WO2021010761A1 (ko) 2021-01-21

Similar Documents

Publication Publication Date Title
JP7277451B2 (ja) レーシングシミュレーション
CN109478345B (zh) 模拟系统、处理方法及信息存储介质
US20210012557A1 (en) Systems and associated methods for creating a viewing experience
US10639557B2 (en) Synchronized motion simulation for virtual reality
CN112104594B (zh) 沉浸式交互式远程参与现场娱乐
KR102077108B1 (ko) 콘텐츠 체험 서비스 제공 장치 및 그 방법
US20180093181A1 (en) Virtual blaster
US20190073830A1 (en) Program for providing virtual space by head mount display, method and information processing apparatus for executing the program
JP7320672B2 (ja) 人工知能（ａｉ）制御のカメラパースペクティブジェネレータ及びａｉブロードキャスタ
EP3462286A1 (en) Massive simultaneous remote digital presence world
CN105278676A (zh) 基于视角和/或接近度修改触觉强度的可编程触觉设备和方法
JP7224715B2 (ja) 人工知能（ａｉ）制御のカメラパースペクティブジェネレータ及びａｉブロードキャスタ
JP2018533317A (ja) 仮想現実映像伝送方法、再生方法、及びこれらを用いたプログラム
KR102131614B1 (ko) 대체현실 제공 시스템 및 그 방법
KR101881227B1 (ko) 무인 비행체를 이용한 비행 체험 방법 및 장치
KR20180122869A (ko) 3차원 영상 처리 방법 및 장치
KR20240073498A (ko) 대체현실 제공 시스템 및 그 방법
He Virtual reality for budget smartphones
WO2022249536A1 (ja) 情報処理装置及び情報処理方法
KR20210004079A (ko) 대체 현실 제공 시스템
NZ743078A (en) Systems and associated methods for creating a viewing experience

Legal Events

Date Code Title Description
GRNT Written decision to grant