KR102215146B1 - 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법, 장치 및 컴퓨터프로그램 - Google Patents

증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법, 장치 및 컴퓨터프로그램 Download PDF

Info

Publication number
KR102215146B1
KR102215146B1 KR1020200076392A KR20200076392A KR102215146B1 KR 102215146 B1 KR102215146 B1 KR 102215146B1 KR 1020200076392 A KR1020200076392 A KR 1020200076392A KR 20200076392 A KR20200076392 A KR 20200076392A KR 102215146 B1 KR102215146 B1 KR 102215146B1
Authority
KR
South Korea
Prior art keywords
user
image data
interactive service
terminal
interaction
Prior art date
Application number
KR1020200076392A
Other languages
English (en)
Inventor
황의석
Original Assignee
주식회사 예쉬컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 예쉬컴퍼니 filed Critical 주식회사 예쉬컴퍼니
Priority to KR1020200076392A priority Critical patent/KR102215146B1/ko
Application granted granted Critical
Publication of KR102215146B1 publication Critical patent/KR102215146B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models

Abstract

증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법, 장치 및 컴퓨터프로그램이 제공된다. 본 발명의 다양한 실시예에 따른 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법은 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 인터랙티브 서비스(Interactive service)에 따른 혼합 현실(Mixed Reality, MR) 영상 데이터를 출력하는 단계, 사용자로부터 상기 MR 영상 데이터에 대한 사용자 입력을 얻는 단계, 상기 사용자의 위치 정보를 수집하는 단계 및 상기 사용자 입력 및 상기 사용자의 위치 정보를 이용하여 인터랙션 결과를 추출하고, 상기 추출한 인터랙션 결과를 이용하여 상기 MR 영상 데이터를 갱신하는 단계를 포함한다.

Description

증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법, 장치 및 컴퓨터프로그램{METHOD, APPARATUS AND COMPUTER PROGRAM FOR PROVIDING INTERACTIVE SERVICE USING AUGMENTED REALITY AND MIXED REALITY}
본 발명의 다양한 실시예는 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법, 장치 및 컴퓨터프로그램에 관한 것이다.
증강현실(Augmented reality, AR)은 가상현실(Virtual reality, VR)의 한 분야로 실제로 존재하는 환경에 가상의 사물이나 정보를 합성하여 마치 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이며, 디지털 미디어에서 빈번하게 사용된다.
기존의 가상 현실은 가상의 공간과 사물만을 대상으로 하고 있었다. 증강현실은 현실 세계의 기반위에 가상의 사물을 합성하여 현실 세계만으로는 얻기 어려운, 또는 마케팅의 목적으로 전달하는 부가적인 정보들을 보강해 제공할 수 있다.
완전한 가상세계를 전제로 하는 가상현실과는 달리 현실(Reality)을 기반으로 정보를 증강(Augmented)을 제공하는 기술로, 가상의 대상을 결합시켜 현실의 효과를 더욱 증가시키는 것이다. 즉, 가상 현실에 현실 세계의 실제 모습이 추가된 것이다. 물리적 공간에 컴퓨팅 파워를 가진, 정보화된 인공물(information artifacts)이 가득 채워지게 되면 물리적 공간의 성격 자체가 변화하게 된다.
이러한 특징 때문에 단순히 게임과 같은 분야에만 한정된 적용이 가능한 기존 가상 현실과 달리 다양한 현실 환경에 응용이 가능하다. 특히, 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.
그러나, AR과 VR은 모두 AR 및 VR과 관련된 장지가 있어야 볼 수 있으며, 다수의 사람들이 함께 볼 수 없다는 점에서 현실감이 떨어진다는 문제가 있다. 이러한 기술적 한계를 극복하기 위하여 혼합현실(Mixed reality, MR)와 관련된 기술들이 개발되고 있으나, 이를 이용한 다양한 서비스가 제공되지 못하고 있다는 한계가 있다.
한편, 선행기술문헌으로서 한국등록특허공보 제10-1852680호가 있다.
본 발명이 해결하고자 하는 과제는 AR 기술 및 MR 기술을 이용하여 하나의 디스플레이를 통해 MR 영상 데이터를 출력함으로써, 다수의 사용자들이 함께 즐길 수 있도록 인터랙티브 서비스(Interactive service)를 제공할 수 있는 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법, 장치 및 컴퓨터프로그램을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는 인터랙티브 서비스를 이용하는 사용자 단말로부터 촬영된 영상 데이터 내에서 식별되는 AR 마커 정보를 이용하여 사용자의 위치를 식별하고, 각종 센서를 이용하여 사용자의 위치를 트래킹(Tracking)함으로써, 사용자의 위치를 보다 정확하게 식별하고, 이에 따라 최적의 인터랙티브 서비스를 제공할 수 있는 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법, 장치 및 컴퓨터프로그램을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 인터랙티브 서비스(Interactive service)에 따른 혼합 현실(Mixed Reality, MR) 영상 데이터를 출력하는 단계, 사용자로부터 상기 MR 영상 데이터에 대한 사용자 입력을 얻는 단계, 상기 사용자의 위치 정보를 수집하는 단계 및 상기 사용자 입력 및 상기 사용자의 위치 정보를 이용하여 인터랙션 결과를 추출하고, 상기 추출한 인터랙션 결과를 이용하여 상기 MR 영상 데이터를 갱신하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 MR 영상 데이터를 출력하는 단계는, 상기 MR 영상 데이터를 복수의 영역으로 분할하는 단계, 복수의 영상 출력 장치를 이용하여 상기 복수의 영역 각각을 출력하는 단계를 포함하며, 상기 복수의 영역 각각을 출력하는 단계는, 상기 인터랙티브 서비스를 이용하는 사용자의 수 및 상기 MR 영상 데이터를 출력하는 디스플레이의 크기 중 적어도 하나를 이용하여 상기 MR 영상 데이터를 출력할 하나 이상의 영상 출력 장치를 결정하는 단계 및 상기 결정된 하나 이상의 영상 출력 장치를 이용하여 상기 MR 영상 데이터를 출력하되, 엣지 블랜딩(Edge Blending)을 이용하여 상기 결정된 하나 이상의 영상 출력 장치 각각으로부터 출력되는 영역들을 동기화하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 사용자의 위치 정보를 수집하는 단계는, 상기 사용자의 단말에 구비되는 카메라 모듈을 이용하여 촬영된 MR 영상 데이터로부터 하나 이상의 증강현실(Augmented Reality, AR) 마커를 식별하는 단계 및 상기 식별된 하나 이상의 AR 마커를 이용하여 상기 사용자의 위치를 판단하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 사용자의 위치를 판단하는 단계는, 상기 사용자의 단말에 구비되는 자이로 센서를 이용하여 상기 사용자의 단말에 대한 X, Y 및 Z축으로의 이동 및 회전 동작 발생 여부를 판단하는 단계, 상기 사용자의 단말에 대한 X, Y 및 Z축으로의 이동 및 회전 동작이 발생된 것으로 판단되는 경우, 상기 사용자의 단말에 구비되는 가속도 센서를 이용하여 상기 사용자의 단말에 대한 이동량 및 회전량을 산출하는 단계 및 상기 산출된 이동량 및 상기 산출된 회전량을 이용하여 상기 사용자의 위치를 트래킹함으로써, 상기 사용자의 위치를 보정하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 사용자 입력을 얻는 단계는, 상기 사용자의 단말과 구조적 및 기능적으로 결합된 인터랙션 입력 장치를 통해 상기 사용자 입력을 얻는 단계를 포함하며, 상기 인터랙션 입력 장치는, 상기 인터랙티브 서비스가 슈팅 게임(Shooting game) 제공 서비스인 경우, 발사 인터랙션 트리거의 입력이 가능하도록 방아쇠를 포함하는 총 형상을 가지며, 상기 사용자의 단말에 구비된 카메라 모듈이 상기 발사 인터랙션 트리거를 입력하는 방향과 동일한 방향을 향하도록 상기 사용자의 단말의 적어도 일부분과 결합될 수 있다.
다양한 실시예에서, 상기 인터랙티브 서비스에 가입된 사용자의 나이, 국적, 성별 및 상기 사용자로부터 기 설정된 설정 내역에 기초하여 상기 사용자의 단말로 상기 인터랙티브 서비스에 대한 맞춤형 사용자 인터페이스(User interface, UI)를 제공하는 단계를 더 포함하며, 상기 맞춤형 UI를 제공하는 단계는, 상기 인터랙티브 서비스가 슈팅 게임(Shooting game) 제공 서비스인 경우, 상기 사용자의 계정 정보, 상기 사용자의 단말이 가리키는 방향을 안내하는 조준점, 상기 슈팅 게임의 이용 시간 정보, 획득 점수 정보 및 남은 총알 수 정보 중 적어도 하나를 시각화하여 출력하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 MR 영상 데이터를 갱신하는 단계는, 상기 복수의 사용자 각각으로부터 동일한 속성을 가지는 복수의 사용자 입력을 얻는 경우, 사용자 입력을 얻은 순서에 기초하여 상기 복수의 사용자 입력을 정렬하고, 상기 정렬된 복수의 사용자 입력 중 상위 N개의 사용자 입력에 대응되는 인터랙션 결과만을 반영하여 상기 MR 영상 데이터를 갱신하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 MR 영상 데이터를 갱신하는 단계는, 복수의 사용자 각각으로부터 서로 다른 속성을 가지는 복수의 사용자 입력을 얻는 경우, 사용자 입력을 얻은 순서에 따라 상기 복수의 사용자 입력 각각에 대응되는 인터랙션 결과를 순차적으로 반영하여 상기 MR 영상 데이터를 갱신하되, 제1 사용자로부터 제1 사용자 입력을 얻은 시점부터 상기 제1 사용자 입력에 대응되는 인터랙션 결과를 이용하여 상기 MR 영상 데이터를 갱신하는 시점까지의 시간이 기 설정된 시간을 초과하는 경우, 기 설정된 기준에 따라 상기 복수의 사용자 입력을 그룹화하고, 상기 그룹화된 사용자 입력에 따른 인터랙션 결과를 동시에 반영하여 상기 MR 영상 데이터를 갱신하는 단계를 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 장치는, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 본 발명의 일 실시예에 따른 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법을 수행할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨터프로그램은, 하드웨어인 컴퓨터와 결합되어, 본 발명의 일 실시예에 따른 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장될 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 다양한 실시예에 따르면, AR 기술 및 MR 기술을 이용하여 하나의 디스플레이를 통해 MR 영상 데이터를 출력함으로써, 다수의 사용자들이 함께 즐길 수 있도록 인터랙티브 서비스(Interactive service)를 제공할 수 있다.
또한, 인터랙티브 서비스를 이용하는 사용자 단말로부터 촬영된 영상 데이터 내에서 식별되는 AR 마커 정보를 이용하여 사용자의 위치를 식별하고, 각종 센서를 이용하여 사용자의 위치를 트래킹함으로써, 사용자의 위치를 보다 정확하게 식별하고, 이에 따라 최적의 인터랙티브 서비스를 제공할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 시스템을 도시한 도면이다.
도 2는 본 발명의 다른 실시예에 따른 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 장치의 하드웨어 구성도이다.
도 3은 본 발명의 또 다른 실시예에 따른 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법의 순서도이다.
도 4는 다양한 실시예에서, 복수의 영상 출력 장치를 이용하여 MR 영상 데이터를 출력하는 구성을 도시한 도면이다.
도 5는 다양한 실시예에서, AR 마커를 이용하여 사용자의 위치를 식별하는 구성을 도시한 도면이다.
도 6은 다양한 실시예에서 적용 가능한 MR 영상 데이터를 갱신하는 제1 갱신 방법의 순서도이다.
도 7은 다양한 실시예에서 적용 가능한 MR 영상 데이터를 갱신하는 제2 갱신 방법의 순서도이다.
도 8은 다양한 실시예에서, 무선통신(5G) 기반의 클라우드 서버를 포함하는 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 시스템을 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 시스템을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 시스템은 인터랙티브 서비스 제공 장치(100), 사용자 단말(200) 및 미디어 서버(300)를 포함할 수 있다.
여기서, 도 1에 도시된 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 시스템은 일 실시예에 따른 것이고, 그 구성 요소가 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있다.
일 실시예에서, 인터랙티브 서비스 제공 장치(100)는 복수의 사용자 단말(200)로 인터랙티브 서비스를 제공할 수 있다.
여기서, 인터랙티브 서비스는 디스플레이 장치(30)를 통해 MR 영상 데이터를 출력하고, 출력되는 MR 영상 데이터에 기초하여 다수의 사용자들이 참여할 수 있는 서비스를 의미할 수 있다. 예를 들어, 인터랙티브 서비스는 다수의 사용자들이 자신의 스마트폰 또는 스마트폰과 결합된 AR 건을 이용하여 즐길 수 있는 슈팅 게임(Shooting game)을 제공하는 슈팅 게임 제공 서비스를 의미할 수 있으나, 이에 한정되지 않고, AR 및 MR을 이용할 수 있는 다양한 분야의 서비스에 적용될 수 있다.
다양한 실시예에서, 인터랙티브 서비스 제공 장치(100)는 인터랙티브 서비스를 이용하는 사용자 단말(200)로 인터랙티브 서비스에 대한 사용자 인터페이스(User interface, UI)를 제공할 수 있다.
다양한 실시예에서, 인터랙티브 서비스 제공 장치(100)는 인터랙티브 서비스의 제공을 요청한 복수의 사용자 각각에 대한 정보에 기초하여 복수의 사용자 각각에 대한 맞춤형 UI를 제공할 수 있다. 예를 들어, 인터랙티브 서비스 제공 장치(100)는 인터랙티브 서비스에 가입된 사용자의 나이, 국적, 성별 및 사용자로부터 기 설정된 설정 내역에 기초하여 사용자 단말(200)로 인터랙티브 서비스에 대한 맞춤형 UI(예: 국적에 따른 제공 언어 선택, 기 설정된 설정 내역에 따라 커스터마이즈된 UI 제공 등)를 제공할 수 있다. 그러나, 이에 한정되지 않는다.
일 실시예에서, 사용자 단말(200)은 네트워크(400)를 통해 인터랙티브 서비스 제공 장치(100)와 연결될 수 있으며, 인터랙티브 서비스 제공을 요청함에 따라 인터랙티브 서비스 제공 장치(100)로부터 UI를 제공받을 수 있다.
다양한 실시예에서, 사용자 단말(200)은 사용자 단말(200)의 적어도 일부분에 디스플레이를 포함하며, 카메라 모듈을 구비하거나 외부 카메라 모듈과 연결이 가능한 스마트폰, 태블릿 PC, 데스크톱 및 노트북을 포함할 수 있으며, 디스플레이를 통해 인터랙티브 서비스 제공 장치(100)로부터 제공되는 맞춤형 UI를 출력할 수 있다. 그러나, 이에 한정되지 않는다.
일 실시예에서, 미디어 서버(300)는 네트워크(400)를 통해 인터랙티브 서비스 제공 장치(100)와 연결될 수 있으며, 인터랙티브 서비스 제공 장치(100)로부터 수신된 제어 명령에 따라 MR 영상 데이터를 출력하는 디스플레이 장치(예: 도 4 및 8의 30)의 출력을 제어할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 외부 서버(미도시)는 네트워크(400)를 통해 인터랙티브 서비스 제공 장치(100)와 연결될 수 있으며, 인터랙티브 서비스 제공 장치(100)가 인터랙티브 서비스를 제공하기 위해 필요한 각종 데이터(예: 복수의 MR 영상 데이터, 복수의 사용자 정보 및 복수의 사용자 각각에 대한 인터랙티브 서비스 이용 내역 정보 등)을 제공할 수 있다.
다양한 실시예에서, 외부 서버는 인터랙티브 서비스 제공 장치(100)가 복수의 사용자에게 인터랙티브 서비스를 제공함으로써 생성되는 정보(예: 인터랙션 결과)에 기초하여 기 저장된 각종 데이터를 자동으로 갱신할 수 있다. 그러나, 이에 한정되지 않는다.
여기서, 도 1에 도시된 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 시스템에서는 외부 서버가 인터랙티브 서비스 제공 장치(100)의 외부에 구비되어 인터랙티브 서비스 제공 장치(100)로부터 각종 데이터를 제공받아 저장하는 것으로 설명하고 있으나, 이에 한정되지 않고, 외부 서버는 인터랙티브 서비스 제공 장치(100) 내부에 구비되거나 인터랙티브 서비스 제공 장치(100) 내부에 별도의 저장 장치가 구비되어 별도로 구비된 저장 장치에 저장할 수 있다. 이하, 도 2를 참조하여, 인터랙티브 서비스 제공 장치(100)의 하드웨어 구성에 대하여 설명하도록 한다.
도 2는 본 발명의 다른 실시예에 따른 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 장치의 하드웨어 구성도이다.
도 2를 참조하면, 다양한 실시예에서, 인터랙티브 서비스 제공 장치(100)(이하, "컴퓨팅 장치(100)")는 프로세서(110) 및 메모리(120)를 포함할 수 있다. 다양한 실시예에서, 컴퓨팅 장치(100)는 네트워크 인터페이스(또는 통신 인터페이스)(미도시), 스토리지(미도시), 버스(bus)(미도시)를 더 포함할 수 있다.
일 실시예에서, 프로세서(110)는 컴퓨팅 장치(100)의 각 구성의 전반적인 동작을 제어할 수 있다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다.
다양한 실시예에서, 프로세서(110)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 다양한 실시예에서, 프로세서(110)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예: 버스(bus) 등)를 포함할 수 있다.
다양한 실시예에서, 프로세서(110)는 프로세서(110) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(110)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
일 실시예에서, 프로세서(110)는 메모리(120)에 저장된 하나 이상의 인스트럭션(instruction)을 실행함으로써, 도 3 내지 8과 관련하여 설명될 방법(예: 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법)을 수행할 수 있다.
예를 들어, 프로세서(110)는 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 인터랙티브 서비스(Interactive service)에 따른 혼합 현실(Mixed Reality, MR) 영상 데이터를 출력하는 단계, 사용자로부터 MR 영상 데이터에 대한 사용자 입력을 얻는 단계, 사용자의 위치 정보를 수집하는 단계 및 사용자 입력 및 사용자의 위치 정보를 이용하여 인터랙션 결과를 추출하고, 추출한 인터랙션 결과를 이용하여 MR 영상 데이터를 갱신하는 단계를 포함하는 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법을 수행할 수 있다. 그러나, 이에 한정되지 않는다.
일 실시예에서, 메모리(120)는 각종 데이터, 명령 및/또는 정보를 저장할 수 있다. 메모리(120)에는 프로세서(110)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(120)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
다양한 실시예에서, 본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 이하, 도 3을 참조하여, 컴퓨팅 장치(100)가 수행하는 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법에 대하여 설명하도록 한다.
도 3은 본 발명의 또 다른 실시예에 따른 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법의 순서도이다.
도 3을 참조하면, S101 단계에서, 컴퓨팅 장치(100)는 사용자 단말(200)로부터 회원 가입 신청을 얻을 수 있다. 예를 들어, 컴퓨팅 장치(100)는 사용자 단말(200)에 설치된 인터랙티브 서비스 제공 애플리케이션을 통해 인터랙티브 서비스에 대한 회원 가입 신청을 얻을 수 있다. 그러나, 이에 한정되지 않는다.
S102 단계에서, 컴퓨팅 장치(100)는 S101 단계를 거쳐 회원 가입 신청을 얻는 복수의 사용자에 대하여 회원 가입 절차를 진행할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 사용자로부터 얻은 회원 가입 신청에 응답하여, 사용자에 대한 회원 가입 여부를 판단하고, 회원 가입이 되어있지 않는 사용자의 사용자 단말(200)로 회원 가입 UI를 제공할 수 있으며, 회원 가입 UI를 통해 입력된 사용자 정보 및 회원 가입 요청에 따라 회원 가입 절차를 진행할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자의 위치 정보(예: 사용자 단말(200)에 포함된 GPS 센서로부터 수집된 GPS 정보)에 기초하여, 사용자가 인터랙티브 서비스를 제공하고 있는 소정의 영역에 진입하는 것으로 판단되는 경우, 소정의 영역에 진입하는 사용자의 사용자 단말(200)로 회원 가입 UI를 자동적으로 제공할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 소정의 영역에 진입하는 복수의 사용자 각각의 사용자 단말(200) 정보(예: 사용자 단말의 시리얼 넘버 등)에 기초하여 해당 사용자 단말(200)에 대응되는 사용자가 회원 가입된 사용자인지 여부를 판단할 수 있고, 회원 가입되지 않은 사용자로 판단되는 경우, 해당 사용자의 사용자 단말(200)로 회원 가입 UI를 제공할 수 있다.
S103 단계에서, 컴퓨팅 장치(100)는 S102 단계를 거쳐 회원 가입 절차의 진행을 완료한 사용자 또는 기 가입된 복수의 사용자의 사용자 단말(200)로부터 인터랙티브 서비스 제공 요청을 얻을 수 있다. 예를 들어, 컴퓨팅 장치(100)는 사용자 단말(200)에 설치된 인터랙티브 서비스 제공 애플리케이션을 통해 사용자 단말(200)로부터 인터랙티브 서비스의 실행 요청을 가리키는 인터랙티브 서비스 제공 요청을 얻을 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자 단말(200)과 인터랙션 입력 장치(예: 도 8의 10)가 연결됨으로써 생성되는 연결 신호를 인터랙티브 서비스 제공 요청으로써 얻을 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자의 위치 정보에 기초하여, 회원 가입된 사용자가 인터랙티브 서비스를 제공하고 있는 소정의 영역에 진입하는 것으로 판단되는 경우, 소정의 영역에 진입하는 사용자의 사용자 단말(200)로 인터랙티브 서비스를 자동적으로 제공할 수 있다.
여기서, 컴퓨팅 장치(100)는 소정의 영역에 진입하는 것으로 판단되는 사용자에 대응되는 사용자 단말(200)로 인터랙티브 서비스를 자동으로 제공하되, 인터랙티브 서비스 제공 애플리케이션을 통해 인터랙티브 서비스를 자동으로 제공받을 것을 허용한 사용자에게만 인터랙티브 서비스를 자동으로 제공할 수 있다.
한편, 컴퓨팅 장치(100)는 인터랙티브 서비스 제공 애플리케이션을 통해 인터랙티브 서비스를 자동으로 제공받을 것을 허용하지 않은 사용자에게 현재 인터랙티브 서비스를 제공받을 수 있는 영역에 진입한 것을 안내하는 안내 메시지를 출력할 수 있고, 안내 메시지를 통해 인터랙티브 서비스에 대한 제공 요청을 입력한 사용자에게 인터랙티브 서비스를 제공할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자 단말(200)로부터 인터랙티브 서비스의 제공 요청과 함께 사용자의 ID를 입력받을 수 있다(예: 사용자 ID를 직접 입력하거나 생체 정보(예: 지문 등)를 이용하여 사용자 인증 절차를 수행).
S104 단계에서, 컴퓨팅 장치(100)는 S103 단계에서 얻은 인터랙티브 서비스 제공 요청에 대한 응답으로 출력하고자 하는 MR 영상 데이터를 출력할 것을 가리키는 제어 명령을 생성할 수 있고, 생성된 제어 명령을 미디어 서버(300)로 전송할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 현재 디스플레이 장치(30)를 통해 MR 영상 데이터가 출력되고 있지 않은 상태에서 사용자로부터 인터랙티브 서비스 제공 요청을 얻는 경우, 디스플레이 장치를 통해 MR 영상 데이터를 출력하도록 제어하는 제어 명령을 생성하고, 생성된 제어 명령을 미디어 서버(300)로 전송하여 디스플레이 장치를 통해 MR 영상 데이터가 출력되도록 할 수 있다.
한편, 컴퓨팅 장치(100)는 현재 디스플레이 장치(30)를 통해 특정 MR 영상 데이터가 출력되고 있는 상태에서 사용자로부터 인터랙티브 서비스 제공 요청을 얻는 경우, 인터랙티브 서비스 제공 요청을 송신한 사용자에 대한 정보가 반영되도록 MR 영상 데이터를 갱신할 것을 가리키는 제어 명령을 생성할 수 있고, 생성된 제어 명령을 미디어 서버(300)로 전송하여 디스플레이 장치를 통해 출력되고 있는 MR 영상 데이터가 갱신되도록 할 수 있다.
S105 단계에서 미디어 서버(300)는 S104 단계를 거쳐 컴퓨팅 장치(100)로부터 얻은 제어 명령에 따라 영상 출력 장치(20)에서의 MR 영상 데이터 출력을 제어할 수 있다. 예를 들어, 미디어 서버(300)는 컴퓨팅 장치(100)로부터 수신한 제어 명령에 따라 실시간 렌더링 영상 데이터를 출력하거나 출력되는 MR 영상 데이터에 대하여 실시간 FX 및 SFX 처리되도록 하는 처리 신호를 전송할 수 있다. 그러나, 이에 한정되지 않는다.
S106 단계에서, 영상 출력 장치(20)는 미디어 서버(300)로부터 제공된 제어 명령에 따라 MR 영상 데이터를 출력할 수 있다.
여기서, 영상 출력 장치(20)는 빔 프로젝터(Beam projector)일 수 있으나, 이에 한정되지 않고, 디스플레이 장치를 통해 영상 데이터를 출력할 수 있는 어떠한 장치든 적용이 가능하다.
다양한 실시예에서, 컴퓨팅 장치(100)는 복수의 영상 출력 장치(20)를 이용하여 하나의 MR 영상 데이터를 출력하도록 하는 제어 명령을 미디어 서버(300)로 전송할 수 있고, 미디어 서버(300)는 해당 제어 명령에 따라 복수의 영상 출력 장치(20)의 동작을 제어함으로써, 복수의 영상 출력 장치(20)를 통해 하나의 MR 영상 데이터를 출력하도록 제어할 수 있다. 이하, 도 4를 참조하여 설명하도록 한다.
도 4는 다양한 실시예에서, 복수의 영상 출력 장치를 이용하여 MR 영상 데이터를 출력하는 구성을 도시한 도면이다.
도 4를 참조하면, 컴퓨팅 장치(100)는 MR 영상 데이터를 복수의 영역으로 분할할 수 있고, 복수의 영상 출력 장치(20)를 이용하여 복수의 영역 각각을 출력할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 하나의 MR 영상 데이터를 2개의 영역(예: 제1 영역 및 제2 영역)으로 분할 할 수 있고, 2개의 영상 출력 장치(20)를 이용하여 2개의 영역을 각각 출력하도록 하는 제어 명령을 생성할 수 있다(예: 제1 영상 출력 장치를 통해 제1 영역을 출력하고 제2 영상 출력 장치를 이용하여 제2 영역을 출력).
다양한 실시예에서, 컴퓨팅 장치(100)는 인터랙티브 서비스를 이용하는 사용자의 수, MR 영상 데이터의 크기 및 MR 영상 데이터를 출력하는 디스플레이 장치의 크기 중 적어도 하나에 기초하여 MR 영상 데이터를 출력할 영상 출력 장치(20)의 개수를 결정할 수 있고, 복수의 영상 출력 장치(20) 중 결정된 개수에 따라 MR 영상 데이터를 출력할 영상 출력 장치(20)를 선택할 수 있으며, 선택한 영상 출력 장치(20)의 동작을 제어하는 제어 명령을 결정하여 미디어 서버(300)로 전송할 수 있다.
이를 통해, 컴퓨팅 장치(100)는 인터랙티브 서비스를 이용하는 사용자의 수가 증가하여 디스플레이에서 MR 영상 데이터 출력 영역의 확장이 필요한 경우, 추가적으로 영상 출력 장치(20)를 동작 시킴으로써 MR 영상 데이터가 출력되는 영역 즉, 인터랙티브 서비스를 플레이할 수 있는 영역을 확장시킬 수 있다.
또한, 디스플레이 장치의 크기가 큰 경우에는 고화질의 MR 영상 데이터를 출력할 필요성이 있는데, 하나의 영상 출력 장치(20)를 이용하여 고화질의 MR 영상 데이터를 출력하고자 하는 경우에는 다소 높은 성능을 가지는 영상 출력 장치(20)를 사용해야 하기 때문에 비용이 많이 소요되며, 디스플레이 장치의 크기 또는 사용자의 수에 따라 유동적으로 화면의 크기 및 화질을 변경하기에 다소 적합하지 않다는 단점이 있다.
그러나, 본 발명의 경우, 디스플레이 장치의 크기가 큰 경우 복수의 영상 출력 장치(20)를 이용하여 하나의 MR 영상 데이터를 분할 출력함으로써, 상대적으로 낮은 성능을 가지는 을 가지는 복수의 영상 출력 장치(20)를 이용하여 고성능의 영상 출력 장치(20)가 MR 영상 데이터를 출력하는 것과 동일한 효과를 가지도록 할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 복수의 영상 출력 장치(20)를 이용하여 MR 영상 데이터를 출력하되, 엣지 블랜딩(Edge Blending)을 이용하여 하나 이상의 영상 출력 장치(20) 각각으로부터 출력되는 영역들을 동기화할 수 있다.
예를 들어, 도 4에 도시된 바와 같이 복수개의 영상 출력 장치(20)를 이용하여 동시에 MR 영상 데이터를 출력하는 경우, 출력되는 영상 간에 간격이 발생되지 않도록 복수의 영상 출력 장치(20)가 출력하는 영상의 적어도 일부분이 중첩되도록 설정하여 출력할 수 있는데, 이때 출력되는 영상 간의 싱크(Sync)가 맞지 않는 경우 영상이 제대로 출력되지 못하고 깨지는 것 같이 보일 수 있다.
이러한 문제를 고려하여, 컴퓨팅 장치(100)는 엣지 블랜딩 기술을 통해 복수의 영상 출력 장치(20)에서 출력하는 영상을 동기화하여 복수의 영상 출력 장치(20)가 각각 출력하는 MR 영상 데이터 간의 싱크(Sync)를 맞춤으로써, 복수의 영상 출력 장치(20)를 이용하여 분할된 영역을 출력하더라도 하나의 영상 출력 장치(20)가 출력하는 것과 같은 효과를 가지도록 할 수 있다.
다양한 실시예에서, 둘 이상의 영상 출력 장치(20)가 중첩하여 출력되는 영역 상에 인터랙션 결과에 따른 효과(예: 이펙트 효과 등)를 출력해야 하는 경우, 둘 이상의 영상 출력 장치(20) 중 어느 하나의 영상 출력 장치(20)만을 이용하여 해당 효과를 출력하도록 할 수 있다.
다시, 도 3을 참조하면, 컴퓨팅 장치(100)는 하나의 인터랙티브 서비스에 대하여 복수의 MR 영상 데이터를 출력하되, 기 설정된 조건이 만족됨에 따라 복수의 MR 영상 데이터를 변화시켜 출력할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 인터랙티브 서비스가 슈팅 게임 제공 서비스인 경우 우주 배경의 MR 영상 데이터, 산 배경의 MR 영상 데이터, 바다 배경의 MR 영상 데이터 및 동굴 배경의 MR 영상 데이터를 포함할 수 있으며, 기 설정된 조건이 만족함에 따라(예: MR 영상 데이터에 포함된 복수의 목표물이 복수의 사용자들로부터 입력된 사용자 입력에 따라 소멸되는 경우) 출력되는 MR 영상 데이터를 변경하여 출력할 수 있다.
S107 단계에서, 컴퓨팅 장치(100)는 S103 단계를 거쳐 인터랙티브 서비스 제공 요청을 송신 복수의 사용자 각각의 사용자 단말(200)로 인터랙티브 서비스를 이용하기 위한 UI를 제공할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 인터랙티브 서비스에 가입된 사용자의 나이, 국적, 성별 및 사용자로부터 기 설정된 설정 내역에 기초하여 사용자 단말(200)로 인터랙티브 서비스에 대한 맞춤형 UI를 제공할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 인터랙티브 서비스가 슈팅 게임 제공 서비스인 경우, 사용자의 계정 정보, 사용자 단말(200)이 가리키는 방향을 안내하는 조준점, 슈팅 게임의 이용 시간 정보, 획득 점수 정보 및 남은 총알 수 정보 중 적어도 하나를 시각화하여 출력하는 맞춤형 UI를 제공할 수 있다. 그러나, 이에 한정되지 않는다.
S108 단계에서, 컴퓨팅 장치(100)는 인터랙티브 서비스를 이용하는 사용자의 위치를 판단할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 MR 영상 데이터에 포함된 AR 마커를 이용하여 사용자의 위치를 판단할 수 있다. 이하, 도 5를 참조하여 설명하도록 한다.
도 5는 다양한 실시예에서, AR 마커를 이용하여 사용자의 위치를 식별하는 구성을 도시한 도면이다.
도 5를 참조하면, 컴퓨팅 장치(100)는 사용자 단말(200)에 구비되는 내부 카메라 모듈 또는 사용자 단말(200)과 연결되는 외부 카메라 모듈을 이용하여 MR 영상 데이터를 촬영함으로써 생성되는 MR 영상 촬영 데이터(1)로부터 하나 이상의 AR 마커를 식별할 수 있다.
이후, 컴퓨팅 장치(100)는 MR 영상 촬영 데이터(1)로부터 식별된 하나 이상의 AR 마커 및 기 저장된 AR 마커 인식 라이브러리를 이용하여 사용자 또는 사용자 단말(200)의 현재 위치를 판단할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 식별되는 하나 이상의 AR 마커의 개수, 식별된 하나 이상의 AR 마커의 크기, 형태 및 각도에 기초하여 사용자 또는 사용자 단말(200)의 현재 위치를 판단할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자 단말(200)에 구비되는 하나 이상의 센서를 이용하여 사용자 또는 사용자 단말(200)의 위치 변화를 감지할 수 있고, 사용자의 위치 변화가 감지되는 것에 응답하여 사용자의 위치를 지속적으로 보정할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 사용자 단말(200)에 구비되는 자이로 센서를 이용하여 사용자 단말(200)에 대한 X, Y 및 Z축으로의 이동 및 회전 동작 발생 여부를 판단할 수 있다.
이후, 컴퓨팅 장치(100)는 사용자 단말(200)에 대한 X, Y 및 Z축으로의 이동 및 회전 동작이 발생된 것으로 판단되는 경우, 사용자 단말(200)에 구비되는 가속도 센서를 이용하여 사용자 단말(200)에 대한 이동량 및 회전량을 산출할 수 있다.
이후, 컴퓨팅 장치(100)는 산출된 이동량 및 산출된 회전량을 이용하여 사용자의 위치(예: 사용자의 위치를 가리키는 좌표 값)를 트래킹함으로써, 상기 사용자의 위치를 보정할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자 단말(200)에 구비되는 자이로 센서로부터 측정된 자이로 데이터 및 가속도 센서로부터 측정된 가속도 데이터를 이용하여 하나 이상의 AR 마커를 이용하여 판단된 사용자 단말(200)의 위치를 보정할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 제1 가중치가 반영된 자이로 데이터와 제2 가중치가 반영된 가속도 데이터를 사용자의 위치 좌표에 반영함으로써, 하나 이상의 AR 마커를 이용하여 판단된 사용자 단말(200)의 위치를 보정할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자 단말(200)에 구비되는 센서(예: 자이로 센서 및 가속도 센서)로부터 측정된 센서 데이터에 기초하여 사용자 단말(200)의 이동 및 회전이 감지되지 않더라도 기 설정된 단위 시간마다 사용자 단말(200)의 위치를 판단하여 사용자 단말(200)의 위치를 지속적으로 갱신할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자 단말(200)에 구비되는 위치 측정 센서(예: GPS 센서)로부터 사용자 단말(200)의 위치 정보를 수집하고, 수집한 위치 정보에 따라 사용자의 위치를 판단할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 하나 이상의 AR 마커를 이용하여 사용자의 위치를 판단하되, 사용자 단말(200)에 구비되는 위치 측정 센서(예: GPS 센서)로부터 수집된 사용자의 위치 정보와 하나 이상의 AR 마커를 이용하여 판단된 사용자의 위치 간의 거리 차이가 기 설정된 거리를 초과하는 경우, 하나 이상의 AR 마커를 이용하여 판단된 사용자의 위치 좌표 값에 오류가 있음을 판단할 수 있다.
이후, 컴퓨팅 장치(100)는 하나 이상의 AR 마커를 이용하여 판단된 사용자의 위치 좌표 값에 오류가 있는 것으로 판단되는 경우, GPS 센서로부터 수집된 사용자의 위치 정보와 하나 이상의 AR 마커를 이용하여 판단된 사용자의 위치 간의 거리 차이가 기 설정된 거리 이하가 될 때까지 하나 이상의 AR 마커를 이용하여 사용자의 위치를 판단하는 동작을 반복적으로 재수행할 수 있다. 그러나, 이에 한정되지 않고, 사용자의 위치를 판단하는 어떠한 방법(예: 사용자로부터 자신의 위치를 가리키는 좌표를 직접 입력하는 방식 등)이든 적용이 가능하다.
다시 도 3을 참조하면, S109 단계에서, 컴퓨팅 장치(100)는 사용자 단말(200)로부터 MR 영상 데이터에 대한 사용자 입력을 얻을 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자 단말(200)과 구조적 및 기능적으로 결합된 인터랙션 입력 장치(예: 도 5 및 8의 10)를 통해 사용자 입력을 얻을 수 있다. 그라나, 이에 한정되지 않고, 사용자 입력을 얻는 다양한 방식(예: 사용자 단말(200)의 적어도 일부분을 직접 터치함으로써 사용자 입력을 입력하는 방식 등)이 적용 가능하다.
여기서, 인터랙션 입력 장치(10)는 인터랙티브 서비스가 슈팅 게임 제공 서비스인 경우, 발사 인터랙션 트리거의 입력(예: 사용자 입력)이 가능한 방아쇠를 포함하는 총 형상을 가질 수 있다.
또한, 여기서, 인터랙션 입력 장치(10)는 사용자 단말(200)에 구비된 카메라 모듈이 발사 인터랙션 트리거를 입력하는 방향과 동일한 방향을 향하도록 사용자 단말(200)의 적어도 일부분과 결합될 수 있다. 이를 위해 인터랙션 입력 장치(100)의 적어도 일부분(예: 인터랙션 입력 장치(10)의 상단부)에는 사용자 단말(200)과 결합이 가능한 체결부를 더 포함할 수 있다.
다양한 실시예에서, 인터랙션 입력 장치(10)는 체결부의 위치를 이동시켜 위치를 조절할 수 있는 가이드 레일을 더 포함할 수 있고, 사용자 단말(200)이 체결부와 결합된 상태에서 가이드 레일을 통해 사용자 단말(200)이 결합된 체결부의 위치를 조절함으로써, 사용자 단말(200)의 무게에 의해 인터랙션 입력 장치(10)가 앞이나 뒤로 쏠리는 것을 방지할 수 있다.
S110 단계에서, 컴퓨팅 장치(100)는 S108 단계에서 판단된 사용자의 위치 및 S109 단계에서 얻은 사용자 입력에 기초하여 인터랙션 결과를 추출할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 사용자로부터 얻은 사용자 입력이 발사 인터랙션 트리거의 입력인 경우, 사용자 입력을 분석하여 발사 인터랙션 트리거가 입력된 위치의 좌표(예: 사용자 단말(200) 및 인터랙션 입력 장치(10)가 조준하고 있는 조준 지점의 좌표), 사용자의 위치 좌표 및 트리거 입력 신호를 포함하는 인터랙션 결과를 추출할 수 있다(예: 도 5).
다양한 실시예에서, 컴퓨팅 장치(100)는 컴퓨팅 장치(100)는 사용자 입력에 기초하여 사용자의 ID를 구분하고, 플레이 결과 연산 모듈을 동작시킴으로써 사용자 입력에 대한 플레이 결과를 가리키는 인터랙션 결과를 추출할 수 있다.
S111 단계에서, 컴퓨팅 장치(100)는 S110 단계에서 추출한 인터랙션 결과에 기초하여 MR 영상 데이터의 갱신을 요청할 수 있다.
S112 단계에서, 미디어 서버(300)는 S111 단계에서 얻은 MR 영상 데이터 갱신 요청에 따라 갱신된 MR 영상 데이터의 출력을 제어할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 인터랙티브 서비스가 슈팅 게임 제공 서비스이고 사용자로부터 얻은 사용자 입력이 발사 인터랙션 트리거의 입력인 경우, 오브젝트 인터랙션 결과 처리 신호(예: 오브젝트 피격 지점의 이펙트 및 효과음 연출과 관련된 신호)를 영상 출력 장치(20)에 제공하여 영상 출력 장치(20)를 통해 사용자 입력에 대응되는 위치에 특정 이펙트나 효과음이 출력되도록 MR 영상 데이터를 갱신할 수 있다.
다양한 실시예에서, 미디어 서버(300)는 복수의 영상 출력 장치(20)를 동작시켜 MR 영상 데이터를 출력하고 있는 경우, S110 단계에서 추출한 인터랙션 결과에 따라 갱신이 필요한 MR 영상 데이터의 영역을 선택하고, 선택한 영역을 출력하는 영상 출력 장치(20)를 제어하여 해당 영역의 MR 영상 데이터만이 갱신되도록 할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자 입력에 따라 MR 영상 데이터가 갱신되는 것에 응답하여, 인터랙티브 서비스를 이용하는 사용자의 이용 내역을 갱신할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 특정 오브젝트를 피격하는 사용자 입력을 얻음에 따라 해당 오브젝트에 특정 이펙트 및 효과음이 출력되고, 해당 오브젝트가 사라지도록 MR 영상 데이터가 갱신되는 경우, 해당 사용자의 획득 점수, 남은 총알 수를 갱신할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자 단말(200)에 구비된 센서(예: 자이로 센서 및 가속도 센서)로부터 측정된 각종 센서 데이터에 기초하여 사용자 단말(200)의 이동 및 회전이 감지되는 경우, MR 영상 데이터 상에서 사용자 단말(200) 또는 인터랙션 입력 장치(10)가 가리키는 지점에 표시되는 조준점의 위치 및 방향이 이동 및 회전하여 표시되도록 MR 영상 데이터를 갱신할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 복수의 사용자 각각으로부터 동일 속성의 사용자 입력을 얻는 경우, 사용자 입력을 얻은 순서에 기초하여 MR 영상 데이터를 갱신할 수 있다. 이하, 도 6을 참조하여 설명하도록 한다.
도 6은 다양한 실시예에서 적용 가능한 MR 영상 데이터를 갱신하는 제1 갱신 방법의 순서도이다.
도 6을 참조하면, S210 단계에서, 컴퓨팅 장치(100)는 복수의 사용자 각각으로부터 동일한 속성을 가지는 복수의 사용자 입력을 얻을 수 있다. 예를 들어, 컴퓨팅 장치(100)는 복수의 사용자로부터 MR 영상 데이터에 포함된 제1 오브젝트를 피격하는 속성을 가지는 복수의 사용자 입력을 얻을 수 있다. 또한, 컴퓨팅 장치(100)는 복수의 사용자로부터 복수의 영역으로 분할된 MR 영상 데이터 중 동일한 영역에 대한 복수의 사용자 입력을 얻을 수 있다.
S220 단계에서, 컴퓨팅 장치(100)는 사용자 입력을 얻은 순서에 기초하여 복수의 사용자 입력을 정렬할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 복수의 사용자 입력 중 가장 먼저 입력된 사용자 입력(예: 사용자 입력을 얻은 시점이 가장 빠른 사용자 입력)부터 순차적으로 정렬할 수 있다.
S230 단계에서, 컴퓨팅 장치(100)는 기 정렬된 복수의 사용자 입력 중 상위 N개의 사용자 입력을 선택할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 제1 오브젝트가 10명의 사용자로부터 피격되는 경우에 사라지도록 설정된 경우, 기 정렬된 복수의 사용자 입력 중 10개의 사용자 입력을 선택할 수 있다.
S240 단계에서, 컴퓨팅 장치(100)는 선택된 상위 N개의 사용자 입력 각각으로부터 인터랙션 결과를 추출할 수 있다(예: 도 3의 S110 단계).
S250 단계에서, 컴퓨팅 장치(100)는 S240 단계를 거쳐 추출된 인터랙션 결과에 기초하여 MR 영상 데이터를 갱신할 수 있다(예: 도 3의 S111 단계 및 S112 단계). 예를 들어, 컴퓨팅 장치(100)는 10개의 사용자 입력에 대한 인터랙션 결과에 따라 해당 오브젝트 상에 이펙트 및 효과음이 출력되도록 하고, 이펙트 및 효과음이 출력된 이후에 해당 오브젝트가 MR 영상 데이터 상에서 사라지도록 MR 영상 데이터를 갱신할 수 있다.
즉, 컴퓨팅 장치(100)는 복수의 사용자로부터 동일한 속성의 사용자 입력을 얻는 경우, 사용자 입력을 얻은 순서에 기초하여 MR 영상 데이터를 갱신할 수 있으며, 이를 통해, 사용자들에게 경쟁심을 심어주어 다른 사용자들보다 빠르게 사용자 입력을 입력하도록 유도함으로써, 복수의 사용자들이 보다 적극적으로 인터랙티브 서비스를 이용하도록 할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 복수의 사용자 각각으로부터 서로 다른 속성의 사용자 입력을 얻는 경우, 사용자 입력을 얻은 순서에 기초하여 순차적으로 MR 영상 데이터를 갱신하되, 사용자 입력을 얻은 시간과 해당 사용자 입력에 따른 MR 영상 데이터의 갱신 시간 간의 차이에 따라 사용자 입력에 따른 MR 영상 데이터 갱신 방식을 결정할 수 있다. 이하, 도 7을 참조하여 설명하도록 한다.
도 7은 다양한 실시예에서 적용 가능한 MR 영상 데이터를 갱신하는 제2 갱신 방법의 순서도이다.
S310 단계에서, 컴퓨팅 장치(100)는 복수의 사용자로부터 각각 서로 다른 속성을 가지는 복수의 사용자 입력을 얻을 수 있다. 예를 들어, 컴퓨팅 장치(100)는 제1 사용자로부터 제1 오브젝트를 피격하는 제1 사용자 입력을 얻을 수 있고, 제2 사용자로부터 제2 오브젝트를 피격하는 제2 사용자 입력을 얻을 수 있다.
S320 단계에서, 컴퓨팅 장치(100)는 사용자 입력을 얻은 순서에 기초하여 복수의 사용자 입력을 정렬할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 복수의 사용자 입력 중 가장 먼저 입력된 사용자 입력(예: 사용자 입력을 얻은 시점이 가장 빠른 사용자 입력)부터 순차적으로 정렬할 수 있다(예: 도 6의 S220 단계).
S330 단계에서, 컴퓨팅 장치(100)는 S320 단계를 거쳐 정렬된 복수의 사용자 입력 각각으로부터 인터랙션 결과를 추출할 수 있다(예: 도 3의 S110 단계).
S340 단계에서, 컴퓨팅 장치(100)는 S330 단계를 거쳐 추출한 인터랙션 결과에 따라 MR 영상 데이터를 갱신하되, S320 단계를 거쳐 정렬된 사용자 입력의 순서에 기초하여 사용자 입력에 대응되는 인터랙션 결과를 순차적으로 적용함으로써 MR 영상 데이터를 갱신할 수 있다.
S350 단계에서, 컴퓨팅 장치(100)는 정렬된 사용자 입력의 순서에 기초하여 사용자 입력에 대응되는 인터랙션 결과를 순차적으로 적용함으로써 MR 영상 데이터를 갱신하되, 사용자 입력을 얻은 시간과 해당 사용자 입력에 따른 MR 영상 데이터의 갱신 시간 간의 차이가 기 설정된 시간을 초과하는지 여부를 판단할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 제1 사용자로부터 제1 사용자 입력을 얻는 제1 시점과 제1 사용자 입력에 따라 MR 영상 데이터를 갱신하는(또는 갱신할 것으로 예상되는) 제2 시점 간의 차이를 산출하여 기 설정된 시간을 초과하는지 여부를 판단할 수 있다.
S360 단계에서, 컴퓨팅 장치(100)는 사용자 입력을 얻은 시간과 해당 사용자 입력에 따른 MR 영상 데이터의 갱신 시간 간의 차이가 기 설정된 시간을 초과하는 것으로 판단되는 경우, 기 설정된 기준에 따라 상기 복수의 사용자 입력을 그룹화할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자 입력을 얻은 순서에 따라 정렬된 복수의 사용자 입력을 서로 동일한 크기를 가지도록 그룹화(예: 각각의 그룹마다 서로 동일한 개수의 사용자 입력이 포함되도록 그룹화) 할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자 입력이 입력된 시간의 차이가 기 설정된 시간 이내인 복수의 사용자 입력 중 서로 다른 영역에 대한 사용자 입력을 하나의 그룹으로 그룹화할 수 있다.
이후, 컴퓨팅 장치(100)는 복수의 사용자 입력에 대응되는 인터랙션 결과에 따라 MR 영상 데이터를 갱신하되, S360 단계를 거쳐 그룹화된 사용자 입력에 따른 인터랙션 결과를 동시에 반영하여 MR 영상 데이터를 갱신할 수 있다.
이를 통해, 복수의 사용자들이 함께 인터랙티브 서비스를 이용함에 있어서, 먼저 입력한 순서대로 결과를 처리하여 실시간으로 MR 영상 데이터를 반영하되, 한 번에 많은 수의 사용자 입력이 입력되어 사용자 입력을 순차적으로 처리할 경우에 지연되는 시간이 길어지는 것으로 판단되는 경우, 이를 그룹화하여 동시에 처리함으로써, 사용자 입력에 따라 즉각적으로 반응하도록 연출할 수 있다는 이점이 있다.
전술한 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법은 도면에 도시된 순서도를 참조하여 설명하였다. 간단한 설명을 위해 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법은 일련의 블록들로 도시하여 설명하였으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 본 명세서에 도시되고 시술된 것과 상이한 순서로 수행되거나 또는 동시에 수행될 수 있다. 또한, 본 명세서 및 도면에 기재되지 않은 새로운 블록이 추가되거나, 일부 블록이 삭제 또는 변경된 상태로 수행될 수 있다. 이하, 도 8을 참조하여, 본 발명의 다양한 실시예에 따른 무선통신(5G) 기반의 클라우드 서버를 포함하는 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 시스템에 대하여 설명하도록 한다.
도 8은 다양한 실시예에서, 무선통신(5G) 기반의 클라우드 서버를 포함하는 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 시스템을 도시한 도면이다.
도 8을 참조하면, 본 발명의 다양한 실시예에 따른 무선통신(5G) 기반의 클라우드 서버를 포함하는 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 시스템은 클라우드 서버(101), DB(102), 멀티 플레이 서버(103), MR 구동 모듈(104) 및 AR 처리 모듈(105)을 포함할 수 있다.
일 실시예에서, 클라우드 서버(101)는 증강현실 및 혼합현실을 이용한 인터랙티브 서비스와 관련된 각종 데이터 처리, 연산을 수행할 수 있다. 예를 들어, 클라우드 서버(101)는 사용자 데이터 저장 및 입력 데이터 매칭, 인터랙션 입력 데이터 연산, 점수 집계 및 결과 전송, 실시간 3D 그래픽 영상 제공, 사용자 ID 구분 및 사용자 입력 기반 플레이 결과 연산 모듈 동작을 수행할 수 있다. 그러나, 이에 한정되지 않는다.
일 실시예에서, DB(102)는 증강현실 및 혼합현실을 이용한 인터랙티브 서비스와 관련된 각종 데이터를 저장 및 관리할 수 있다. 예를 들어, DB(102)는 인터랙티브 서비스를 이용하기 위하여 가입된 사용자들의 ID를 포함하는 계정 정보 및 사용자 각각이 인터랙티브 서비스를 플레이함으로써 생성되는 인터랙티브 서비스 이용 내역 정보를 저장할 수 있다. 그러나, 이에 한정되지 않는다.
또한, DB(102)는 복수의 사용자 각각이 인터랙티브 서비스를 이용함으로써 산출되는 각종 수치 정보(예: 인터랙티브 서비스를 이용한 횟수, 이용한 시간 등과 같은 수치 데이터)를 통계 분석한 결과를 저장할 수 있다.
일 실시예에서, 멀티 플레이 서버(103)는 복수의 사용자가 인터랙티브 서비스를 함께 이용하는데 있어서 필요한 각종 데이터 연산 및 처리를 수행할 수 있다. 예를 들어, 멀티 플레이 서버(103)는 클라우드 서버(101)가 제공하는 인터랙티브 서비스가 슈팅 게임인 경우, 슈팅 게임 내부 전투 체험 시스템을 구동할 수 있고, 인터랙티브 서비스를 플레이하는 사용자의 ID를 인식하여 인터랙션을 매칭할 수 있다.
또한, 멀티 플레이 서버(103)는 후술되는 AR 처리 모듈(105)로부터 전달된 AR 입력(예: 사용자 ID, 트리거 입력 신호, 사용자 위치 좌표 신호 및 조준 좌표 신호를 포함하는 사용자 입력)을 연산하고, AR 입력을 연산한 결과에 따라 AR 출력(예: 인터랙션 결과)을 연산 및 UI 데이터를 전송할 수 있다.
또한, 멀티 플레이 서버(103)는 AR 입력을 연산한 결과에 따라 생성되는 출력(예: MR 3D 그래픽 처리 연상 및 FX(SFX) 결과, 실시간 3D 그래픽 영상 렌더링 및 전송)을 MR 구동 모듈(104)로 전송할 수 있다.
일 실시예에서, AR 처리 모듈(105)은 무선 통신(5G)를 기반으로 인터랙션 입력 장치(10) 및 사용자 단말(200)과 연결되어 인터랙션 입력 장치로부터 사용자 ID 넘버, 트리거 입력 신호, 사용자 위치 좌표 신호 및 조준 좌표 신호를 제공받아 멀티 플레이 서버(103)로 전달할 수 있다.
또한, AR 처리 모듈(105)은 무선 통신(5G)를 기반으로 멀티플레이 서버(103)로부터 제공받은 AR 출력 연산 결과 및 UI 데이터(예: 남은 총알 수, 획득 점수 및 플레이 시간 등)를 사용자 단말(200)로 제공할 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 인터랙티브 서비스 제공 장치(또는 컴퓨팅 장치)
200 : 사용자 단말
300: 미디어 서버
10 : 인터랙션 입력 장치
20 : 영상 출력 장치
30 : 디스플레이 장치

Claims (10)

  1. 컴퓨팅 장치에 의해 수행되는 방법에 있어서,
    인터랙티브 서비스(Interactive service)에 따른 혼합 현실(Mixed Reality, MR) 영상 데이터를 출력하는 단계;
    사용자로부터 상기 MR 영상 데이터에 대한 사용자 입력을 얻는 단계;
    상기 사용자의 위치 정보를 수집하는 단계; 및
    상기 사용자 입력 및 상기 사용자의 위치 정보를 이용하여 인터랙션 결과를 추출하고, 상기 추출한 인터랙션 결과를 이용하여 상기 MR 영상 데이터를 갱신하는 단계를 포함하며,
    상기 MR 영상 데이터를 갱신하는 단계는,
    복수의 사용자 각각으로부터 서로 다른 속성을 가지는 복수의 사용자 입력을 얻는 경우, 사용자 입력을 얻은 순서에 따라 상기 복수의 사용자 입력 각각에 대응되는 인터랙션 결과를 순차적으로 반영하여 상기 MR 영상 데이터를 갱신하되, 제1 사용자로부터 제1 사용자 입력을 얻은 시점부터 상기 제1 사용자 입력에 대응되는 인터랙션 결과를 이용하여 상기 MR 영상 데이터를 갱신하는 시점까지의 시간이 기 설정된 시간을 초과하는 경우, 기 설정된 기준에 따라 상기 복수의 사용자 입력을 그룹화하고, 상기 그룹화된 사용자 입력에 따른 인터랙션 결과를 동시에 반영하여 상기 MR 영상 데이터를 갱신하는 단계를 포함하는,
    증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법.
  2. 제1항에 있어서,
    상기 MR 영상 데이터를 출력하는 단계는,
    상기 MR 영상 데이터를 복수의 영역으로 분할하는 단계;
    복수의 영상 출력 장치를 이용하여 상기 복수의 영역 각각을 출력하는 단계를 포함하며,
    상기 복수의 영역 각각을 출력하는 단계는,
    상기 인터랙티브 서비스를 이용하는 사용자의 수 및 상기 MR 영상 데이터를 출력하는 디스플레이의 크기 중 적어도 하나를 이용하여 상기 MR 영상 데이터를 출력할 하나 이상의 영상 출력 장치를 결정하는 단계; 및
    상기 결정된 하나 이상의 영상 출력 장치를 이용하여 상기 MR 영상 데이터를 출력하되, 엣지 블랜딩(Edge Blending)을 이용하여 상기 결정된 하나 이상의 영상 출력 장치 각각으로부터 출력되는 영역들을 동기화하는 단계를 포함하는,
    증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법.
  3. 제1항에 있어서,
    상기 사용자의 위치 정보를 수집하는 단계는,
    상기 사용자의 단말에 구비되는 카메라 모듈을 이용하여 촬영된 MR 영상 데이터로부터 하나 이상의 증강현실(Augmented Reality, AR) 마커를 식별하는 단계; 및
    상기 식별된 하나 이상의 AR 마커를 이용하여 상기 사용자의 위치를 판단하는 단계를 포함하는,
    증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법.
  4. 제1항에 있어서,
    상기 사용자의 위치를 판단하는 단계는,
    상기 사용자의 단말에 구비되는 자이로 센서를 이용하여 상기 사용자의 단말에 대한 X, Y 및 Z축으로의 이동 및 회전 동작 발생 여부를 판단하는 단계;
    상기 사용자의 단말에 대한 X, Y 및 Z축으로의 이동 및 회전 동작이 발생된 것으로 판단되는 경우, 상기 사용자의 단말에 구비되는 가속도 센서를 이용하여 상기 사용자의 단말에 대한 이동량 및 회전량을 산출하는 단계; 및
    상기 산출된 이동량 및 상기 산출된 회전량을 이용하여 상기 사용자의 위치를 트래킹함으로써, 상기 사용자의 위치를 보정하는 단계를 포함하는,
    증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법.
  5. 제1항에 있어서,
    상기 사용자 입력을 얻는 단계는,
    상기 사용자의 단말과 구조적 및 기능적으로 결합된 인터랙션 입력 장치를 통해 상기 사용자 입력을 얻는 단계를 포함하며,
    상기 인터랙션 입력 장치는,
    상기 인터랙티브 서비스가 슈팅 게임(Shooting game) 제공 서비스인 경우, 발사 인터랙션 트리거의 입력이 가능하도록 방아쇠를 포함하는 총 형상을 가지며, 상기 사용자의 단말에 구비된 카메라 모듈이 상기 발사 인터랙션 트리거를 입력하는 방향과 동일한 방향을 향하도록 상기 사용자의 단말의 적어도 일부분과 결합되는,
    증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법.
  6. 제1항에 있어서,
    상기 인터랙티브 서비스에 가입된 사용자의 나이, 국적, 성별 및 상기 사용자로부터 기 설정된 설정 내역에 기초하여 상기 사용자의 단말로 상기 인터랙티브 서비스에 대한 맞춤형 사용자 인터페이스(User interface, UI)를 제공하는 단계를 더 포함하며,
    상기 맞춤형 사용자 인터페이스를 제공하는 단계는,
    상기 인터랙티브 서비스가 슈팅 게임(Shooting game) 제공 서비스인 경우, 상기 사용자의 계정 정보, 상기 사용자의 단말이 가리키는 방향을 안내하는 조준점, 상기 슈팅 게임의 이용 시간 정보, 획득 점수 정보 및 남은 총알 수 정보 중 적어도 하나를 시각화하여 출력하는 단계를 포함하는,
    증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법.
  7. 제1항에 있어서,
    상기 MR 영상 데이터를 갱신하는 단계는,
    복수의 사용자 각각으로부터 동일한 속성을 가지는 복수의 사용자 입력을 얻는 경우, 사용자 입력을 얻은 순서에 기초하여 상기 복수의 사용자 입력을 정렬하고, 상기 정렬된 복수의 사용자 입력 중 상위 N개의 사용자 입력에 대응되는 인터랙션 결과만을 반영하여 상기 MR 영상 데이터를 갱신하는 단계를 포함하는,
    증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법.
  8. 삭제
  9. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    제1 항의 방법을 수행하는, 장치.
  10. 하드웨어인 컴퓨터와 결합되어, 제1항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.
KR1020200076392A 2020-06-23 2020-06-23 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법, 장치 및 컴퓨터프로그램 KR102215146B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200076392A KR102215146B1 (ko) 2020-06-23 2020-06-23 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법, 장치 및 컴퓨터프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200076392A KR102215146B1 (ko) 2020-06-23 2020-06-23 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법, 장치 및 컴퓨터프로그램

Publications (1)

Publication Number Publication Date
KR102215146B1 true KR102215146B1 (ko) 2021-02-15

Family

ID=74560611

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200076392A KR102215146B1 (ko) 2020-06-23 2020-06-23 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법, 장치 및 컴퓨터프로그램

Country Status (1)

Country Link
KR (1) KR102215146B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102482806B1 (ko) * 2021-12-23 2023-01-02 주식회사 포커스에이치엔에스 증강 현실 기반 헌팅 게임 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080010502A (ko) * 2006-07-27 2008-01-31 한국전자통신연구원 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
KR20120106519A (ko) * 2011-03-16 2012-09-26 성준형 증강 현실 기반 사용자 인터페이스 제공 장치 및 방법
KR20180020333A (ko) * 2016-08-17 2018-02-28 모젼스랩(주) 웨어러블 디바이스 동기화를 통한 실감체험공간 내 다중 사용자 인식 시스템 및 방법
KR20200008400A (ko) * 2018-07-16 2020-01-28 모젼스랩(주) 사용자 생성 콘텐츠를 포함하는 가상 체험공간 제공 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080010502A (ko) * 2006-07-27 2008-01-31 한국전자통신연구원 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
KR20120106519A (ko) * 2011-03-16 2012-09-26 성준형 증강 현실 기반 사용자 인터페이스 제공 장치 및 방법
KR20180020333A (ko) * 2016-08-17 2018-02-28 모젼스랩(주) 웨어러블 디바이스 동기화를 통한 실감체험공간 내 다중 사용자 인식 시스템 및 방법
KR20200008400A (ko) * 2018-07-16 2020-01-28 모젼스랩(주) 사용자 생성 콘텐츠를 포함하는 가상 체험공간 제공 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102482806B1 (ko) * 2021-12-23 2023-01-02 주식회사 포커스에이치엔에스 증강 현실 기반 헌팅 게임 시스템

Similar Documents

Publication Publication Date Title
US20230347254A1 (en) Method and apparatus for providing online shooting game
US10632385B1 (en) Systems and methods for capturing participant likeness for a video game character
CN108958475B (zh) 虚拟对象控制方法、装置及设备
US10412467B2 (en) Personalized live media content
CN105188867B (zh) 远程游戏环境中角色交互的客户端侧处理
JP2022060513A (ja) 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム
US9392248B2 (en) Dynamic POV composite 3D video system
US10534426B2 (en) Interactive system, remote controller and operating method thereof
US10456684B2 (en) Attention control for information processing apparatus, information processing system, information processing method, non-transitory computer-readable storage medium storing information processing program
US10675539B2 (en) Game program and game system
JP7087158B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2016046642A (ja) 情報処理システム、情報処理方法及びプログラム
KR102547438B1 (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
US10369469B2 (en) Runtime animation substitution
KR102215146B1 (ko) 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법, 장치 및 컴퓨터프로그램
US10994211B2 (en) Game processing program, game processing method, and game processing device
JP7102173B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20210117070A1 (en) Computer-readable recording medium, computer apparatus, and method of controlling
JP2019103126A (ja) カメラシステム、カメラ制御装置、カメラ制御方法及びプログラム
JP7423251B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20210385554A1 (en) Information processing device, information processing method, and information processing program
JP5318016B2 (ja) ゲームシステム、ゲームシステムの制御方法、及びプログラム
US20200014901A1 (en) Information processing apparatus, control method therefor and computer-readable medium
KR20140137980A (ko) 스마트 센서를 이용한 영상 인식 및 증강 현실 제공 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
CN115225926B (zh) 游戏直播的画面处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
GRNT Written decision to grant