KR102077665B1 - 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법 - Google Patents

혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법 Download PDF

Info

Publication number
KR102077665B1
KR102077665B1 KR1020170124500A KR20170124500A KR102077665B1 KR 102077665 B1 KR102077665 B1 KR 102077665B1 KR 1020170124500 A KR1020170124500 A KR 1020170124500A KR 20170124500 A KR20170124500 A KR 20170124500A KR 102077665 B1 KR102077665 B1 KR 102077665B1
Authority
KR
South Korea
Prior art keywords
mobile terminal
virtual mobile
virtual
mixed reality
target object
Prior art date
Application number
KR1020170124500A
Other languages
English (en)
Other versions
KR20190035373A (ko
Inventor
심혁훈
Original Assignee
에이케이엔코리아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이케이엔코리아 주식회사 filed Critical 에이케이엔코리아 주식회사
Priority to KR1020170124500A priority Critical patent/KR102077665B1/ko
Priority to US15/760,970 priority patent/US20190096130A1/en
Priority to PCT/KR2017/012887 priority patent/WO2019066133A1/ko
Publication of KR20190035373A publication Critical patent/KR20190035373A/ko
Application granted granted Critical
Publication of KR102077665B1 publication Critical patent/KR102077665B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H04L65/608—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]

Abstract

본 출원은 혼합 현실 에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법에 관한 것으로. 본 출원의 일 실시예에 따르면 혼합 현실에서 이용되는 가상의 모바일 단말을 구현하는 방법으로서, 감지된 실제의 객체와 인공적으로 구현된 가상의 객체를 포함하는 혼합 현실 영상을 구현하는 단계; 식별 표지를 기초로 상기 구현된 혼합 현실 영상 내의 대상 오브젝트를 탐지하는 단계; 상기 혼합 현실 영상에서 상기 탐지된 대상 오브젝트의 영역에 상기 가상의 모바일 단말의 영상을 구현하는 단계; 및 상기 혼합 현실 영상 내의 상기 가상의 모바일 단말을 통한 통화 요청을 수신하는 경우, 웹알티시 통신 연결을 수립하기 위한 고유 아이디를 포함하는 통신 식별자를 통화 상대 기기로 전송함으로써 상기 웹알티시 통신 연결을 수립하는 단계;를 포함하는 가상 모바일 단말 구현 방법이 제공된다.

Description

혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법{VIRTUAL MOVILE DEVICE IMPLEMENTING SYSTEM AND CONTROL METHOD FOR THE SAME IN MIXED REALITY}
본 출원은 가상 모바일 단말 구현 방법 및 이를 이용하는 가상 모바일 단말 제공 시스템 에 관한 것으로, 보다 상세하게는 혼합 현실 상에서 대상 오브젝트에 가상 모바일 단말을 구현하여, 상기 혼합 현실의 사용자가 상기 가상 모바일 단말을 이용하도록 하는 가상 모바일 단말 구현 방법 및 이를 이용하는 가상 모바일 단말 제공 시스템에 관한 것이다.
혼합 현실이란 실제의 공간에 가상의 공간 내지는 가상의 객체를 덧씌워 구현되는 반(半)가상 현실이다.
상기 혼합 현실 내에서, 상기 혼합 현실의 사용자는 실제의 공간의 실제의 객체를 이용할 수 있을 뿐만 아니라, 상기 혼합 현실 내에서 제공되는 가상의 공간 내지는 가상의 객체를 이용할 수 있다. 상기 혼합 현실은 증강 현실과 같이 실제의 세계와 상호 작용할 수 있다는 장점과 가상 현실의 가상의 객체를 제공함으로써 사용자에게 몰입감을 부여하는 장점 모두를 가지고 있어, 다양한 분야로의 적용이 기대되고 있다.
상기 혼합 현실의 적용의 확대에 따라 혼합 현실은 일상 생활에서 빈번하게 이용될 것이기 때문에, 최근에는 상기 혼합 현실에서 사용자가 편안한 일상 생활을 영위할 수 있도록 혼합 현실에서 모바일 단말을 편리하게 이용하는 방법에 대한 수요가 증대하고 있는 실정이다.
본 출원의 일 과제는 디스플레이가 없는 형태의 혼합 현실 상에서 편리하게 이용될 수 있는 가상의 모바일 단말을 구현하는 것에 있다.
본 출원의 다른 과제는 혼합 현실 상에서 가상의 모바일 단말의 이용이 용이해지도록 상기 가상의 모바일 단말이 구현될 수 있는 영역을 포함하는 대상 오브젝트를 제공하는 것에 있다.
본 출원의 또 다른 과제는 혼합 현실 내의 가상의 모바일 단말을 이용하여 혼합 현실 외의 다른 기기와 통신을 수행하는 방법을 제공하는 것에 있다.
본 출원이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 출원의 일 실시예에 따르면, 혼합 현실에서 이용되는 가상의 모바일 단말을 구현하는 방법으로서, 감지된 실제의 객체와 인공적으로 구현된 가상의 객체를 포함하는 혼합 현실 영상을 구현하는 단계; 식별 표지를 기초로 상기 구현된 혼합 현실 영상 내의 대상 오브젝트를 탐지하는 단계; 상기 혼합 현실 영상에서 상기 탐지된 대상 오브젝트의 영역에 상기 가상의 모바일 단말의 영상을 구현하는 단계; 및 상기 혼합 현실 영상 내의 상기 가상의 모바일 단말을 통한 통화 요청을 수신하는 경우, 웹알티시 통신 연결을 수립하기 위한 고유 아이디를 포함하는 통신 식별자를 통화 상대 기기로 전송함으로써 상기 웹알티시 통신 연결을 수립하는 단계;를 포함하는 가상 모바일 단말 구현 방법이 제공될 수 있다.
본 출원의 다른 실시예에 따르면, 실제의 세계의 실제의 객체를 감지하는 감지부; 상기 감지된 실제의 객체와 인공적으로 구현된 가상의 객체를 포함하는 혼합 현실 영상을 출력하는 출력부; 및 식별 표지를 기초로 상기 혼합 현실 영상 내의 대상 오브젝트를 탐지하며, 상기탐지된 영역에 상기 가상의 모바일 단말의 영상을 구현하며, 상기 혼합 현실 영상 내의 상기 가상의 모바일 단말을 통한 통화 요청을 수신하는 경우, 웹알티시 통신 연결을 수립하기 위한 고유 아이디를 포함하는 통신 식별자를 통화 상대 기기로 전송함으로써 상기 웹알티시 통신 연결을 수립하는 제어부;를 포함하는 가상 모바일 단말 구현 장치가 제공될 수 있다.
본 출원의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 출원에 의하면 혼합 현실 상에서 편리하게 이용될 수 있는 가상의 모바일 단말이 제공될 수 있다.
본 출원에 의하면 혼합 현실 상에서 가상의 모바일 단말의 이용이 용이해지도록 상기 가상의 모바일 단말이 구현될 수 있는 영역을 포함하는 대상 오브젝트가 제공될 수 있다.
본 출원에 의하면 혼합 현실 내의 가상의 모바일 단말을 이용하여 혼합 현실 외의 다른 기기와 통신을 수행하는 방법이 제공될 수 있다.
본 출원의 효과가 상술한 효과로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 출원의 일 실시예에 따른 사용자에게 제공되는 혼합 현실을 나타내는 도면이다.
도 2는 본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템을 나타내는 도면이다.
도 3은 본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템에 구현되는 유닛들을 나타내는 블록도이다.
도 4는 본 출원의 일 실시예에 따른 가상 모바일 단말 구현 디바이스를 나타내는 도면이다.
도 5는 본 출원의 일 실시예에 따른 대상 오브젝트의 일 예를 나타내는 도면이다.
도 6은 본 출원의 일 실시예에 따른 혼합 현실 영상(MR)내에서 탐지된 대상 오브젝트의 위치를 기초로 구현된 가상 모바일 단말을 나타내는 도면이다.
도 7은 본 출원의 일 실시예에 따른 가상 현실 영상(VR)내에서 탐지된 대상 오브젝트의 위치를 기초로 구현된 가상 모바일 단말을 나타내는 도면이다.
도 8은 본 출원의 일 실시예에 따른 증강 현실 영상(AR)내에서 탐지된 대상 오브젝트의 위치를 기초로 구현된 가상 모바일 단말 나타내는 도면이다.
도 9는 다른 혼합 현실을 사용하는 사용자의 가상 모바일 단말을 나타내는 도면이다.
도 10은 본 출원의 일 실시예에 따른 이동되는 대상 오브젝트를 나타내는 도면이다.
도 11은 본 출원의 일 실시예에 따른 구현된 가상 모바일 단말을 나타내는 도면이다.
도 12는 본 출원의 일 실시예에 따른 가상 모바일 단말과 실제 모바일 단말의 연동 과정을 나타내는 도면이다.
도 13은 본 출원의 일 실시예에 따른 가상 모바일 단말과 실제 모바일 단말의 연동 과정을 나타내는 도면이다.
도 14는 본 출원의 일 실시예에 따른 가상 모바일 단말을 통한 터치 인식을 나타내는 도면이다.
도 15는 본 출원의 일 실시예에 따른 가상 모바일 단말을 통한 줌인(Zoom-in)/줌아웃(Zoom-out)을 나타내는 도면이다.
도 16는 본 출원의 일 실시예에 따른 가상 모바일 단말의 통신 동작을 나타내는 도면이다.
도 17은 본 출원의 일 실시예에 따른 웹알티시(WebRTC)를 이용한 가상 모바일 단말의 통신 동작을 나타내는 도면이다.
도 18은 본 출원의 일 실시예에 따른 영상 통화 동작을 나타내는 도면이다.
도 19는 본 출원의 일 실시예에 따른 혼합 현실 내에서 크기가 조절되는 영상을 나타내는 도면이다.
도 20은 본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템의 제어 방법의 순서도이다.
본 명세서에 기재된 실시예는 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 출원의 사상을 명확히 설명하기 위한 것이므로, 본 출원이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 출원의 범위는 본 출원의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.
본 명세서에서 사용되는 용어는 본 출원에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
본 명세서에 첨부된 도면은 본 출원을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 출원의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 출원이 도면에 의해 한정되는 것은 아니다.
본 명세서에서 본 출원에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 출원의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.
본 출원의 일 실시예에 따르면, 혼합 현실에서 이용되는 가상의 모바일 단말을 구현하는 방법으로서, 감지된 실제의 객체와 인공적으로 구현된 가상의 객체를 포함하는 혼합 현실 영상을 구현하는 단계; 식별 표지를 기초로 상기 구현된 혼합 현실 영상 내의 대상 오브젝트를 탐지하는 단계; 상기 혼합 현실 영상에서 상기 탐지된 대상 오브젝트의 영역에 상기 가상의 모바일 단말의 영상을 구현하는 단계; 및 상기 혼합 현실 영상 내의 상기 가상의 모바일 단말을 통한 통화 요청을 수신하는 경우, 웹알티시 통신 연결을 수립하기 위한 고유 아이디를 포함하는 통신 식별자를 통화 상대 기기로 전송함으로써 상기 웹알티시 통신 연결을 수립하는 단계;를 포함하는 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 상기 가상의 모바일 단말의 영상을 구현하는 단계에서, 상기 가상의 모바일 단말이 가상의 오브젝트를 포함하며, 상기 가상의 오브젝트는 웹알티시 통화 연결 오브젝트를 포함하는 것을 특징으로 하는, 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 상기 통신 연결을 수립하는 단계에서, 상기 통화 요청은 상기 가상의 모바일 단말에 구현된 가상의 오브젝트 터치를 감지하여 수신하는 것을 특징으로 하는, 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 상기 오브젝트 터치의 감지는 상기 가상의 모바일 단말의 가상의 오브젝트를 터치하는 경우에 상기 가상의 오브젝트가 구현된 대상 오브젝트의 영역의 재질에 기인하여 발생되는 소리에 기초하여 수행되는 것을 특징으로 하는, 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 상기 오브젝트 터치의 감지는 상기 가상의 모바일 단말의 가상의 오브젝트가 형성된 영역의 영상의 변화를 감지함으로써 수행되는 것을 특징으로 하는, 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 상기 오브젝트 터치의 감지는 상기 가상의 오브젝트를 향해 이동하는 객체의 속도를 탐지하여 수행되는 것을 특징으로 하는, 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 상기 가상의 모바일 단말의 영상을 구현하는 단계는, 상기 가상의 모바일 단말이 구현되는 상기 대상 오브젝트의 영역의 형태를 감지하는 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 상기 혼합 현실 영상 내의 상기 대상 오브젝트의 상기 식별 표지의 형태에 기초하여 상기 대상 오브젝트의 영역의 형태를 감지하는 것을 특징으로 하는, 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 상기 웹알티시 통신 연결을 수립하는 단계에서, 상기 통신 식별자는 소정의 링크로 생성되는 것을 특징으로 하는, 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 상기 웹알티시 통신 연결을 수립하는 단계에서, 상기 통신 식별자에는 상기 통화를 제어하기 위한 소정의 파라미터가 부여되는 것을 특징으로 하는, 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 상기 통신 식별자에 부가된 파라미터에 따라 상기 통화의 종류가 결정되는 것을 특징으로 하는, 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 상기 통화의 종류가 영상 통화인 경우, 상기 가상 모바일 단말의 영상을 구현하는 단계에서 상기 가상 모바일 단말 내에 영상 통화에 의한 통화 영상을 구현하는 것을 특징으로 하는, 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 상기 통화의 종류가 영상 통화인 경우, 미디어 서버로 미디어 데이터를 전송하는 단계; 및 상기 미디어 서버로부터 미디어 데이터를 획득하여 상기 통화 영상을 구현하는 단계;를 더 포함하는 것을 특징으로 하는, 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 실제의 모바일 단말의 데이터를 획득하는 단계;를 더 포함하고, 상기 실제의 모바일 단말의 데이터에 기초하여 상기 가상의 모바일 단말의 영상을 구현하는 것을 특징으로 하는, 가상 모바일 단말 구현 방법이 제공될 수 있다.
본 출원의 다른 실시예에 따르면, 실제의 세계의 실제의 객체를 감지하는 감지부; 상기 감지된 실제의 객체와 인공적으로 구현된 가상의 객체를 포함하는 혼합 현실 영상을 출력하는 출력부; 및 식별 표지를 기초로 상기 혼합 현실 영상 내의 대상 오브젝트를 탐지하며, 상기탐지된 영역에 상기 가상의 모바일 단말의 영상을 구현하며, 상기 혼합 현실 영상 내의 상기 가상의 모바일 단말을 통한 통화 요청을 수신하는 경우, 웹알티시 통신 연결을 수립하기 위한 고유 아이디를 포함하는 통신 식별자를 통화 상대 기기로 전송함으로써 상기 웹알티시 통신 연결을 수립하는 제어부;를 포함하는 가상 모바일 단말 구현 장치가 제공될 수 있다.
이하의 설명에서 영상과 이미지는 혼용될 수 있다. 예를 들어, 혼합 현실의 영상은 혼합 현실 이미지일 수 있고, 가상 모바일 단말의 영상은 가상 모바일 단말의 이미지일 수 있다.
이하에서는 가상 모바일 단말 구현 방법 및 이를 이용하는 가상 모바일 단말 구현 시스템에 대해서 설명한다.
1. 혼합 현실
도 1은 본 출원의 일 실시예에 따른 사용자에게 제공되는 혼합 현실을 나타내는 도면이다.
도 1을 참조하면, 상기 혼합 현실(Mixed Reality, MR)은 현실과 가상의 정보가 융합된 가상의 세계를 의미할 수 있다. 달리 말해, 상기 혼합 현실은 실제의 공간을 기반으로 가상의 객체(V) 또는 가상의 공간을 덧씌워 구현되는 가상의 세계일 수 있다. 상기 혼합 현실을 경험하는 사용자는 현실의 공간을 기반으로 구현되는 세계이기 때문에 현실의 세계와 상호작용을 하며, 동시에 현실이 아닌 가상의 공간 및 객체(V)를 경험할 수 있게 되어 다이나믹한 경험을 할 수 있게 된다.
상기 혼합 현실을 제공하기 위해, 혼합 현실 제공 시스템(1)은 실제의 공간과 가상의 공간이 혼재되어 구현되는 영상을 사용자에게 제공할 수 있다. 상기 영상은 혼합 현실 영상으로 정의될 수 있다. 상기 혼합 현실 영상은 혼합 현실 제공 시스템(1)에 의해 구현되며, 사용자가 착용하는 혼합 현실 구현 디바이스(20)를 통해 상기 사용자에게 제공됨으로써, 상기 사용자는 혼합 현실을 경험할 수 있게 된다.
이러한 혼합 현실은 종래의 가상 현실에 비하여 사용이 용이하다는 장점이 존재한다. 기존 가상 현실의 경우 보여지는 가상의 영상을 조작하기 위해서는 별도의 전자적인 장치가 구비되어야 한다. 이에 반하여, 혼합 현실의 경우 제공되는 혼합 현실 영상은 실제의 공간을 기반으로 만들어지는 세계이기 때문에, 실제의 공간에서 사용자의 제스쳐 등과 같은 물리적 객체의 변화를 감지할 수 있어 상기 감지된 물리적 객체의 변화에 기초하여 용이하게 혼합 현실 영상을 제어할 수 있다.
한편, 혼합 현실 상에서는 웹알티시(WebRTC)통신을 이용하여 상기 혼합 현실의 사용자는 다른 외부 기기와 통신을 할 수 있다. 상기 웹알티시(WebRTC) 통신의 수립은 소정의 통신 식별자를 통해 개시될 수 있는데, 이에 대해서 구체적으로 설명한다.
한편, 본 출원에서 이용되는 가상 환경은 상술한 혼합 현실 이외에도 가상 현실(Virtual Reality, VR) 및 증강 현실(Augumented Reality, AR)등을 포함할 수 있다. 따라서, 이하의 명세서에서는 특별한 언급이 없다면 혼합 현실을 예로 들어 설명하나, 이하의 설명은 가상 현실 및 증강 현실에도 전용될 수 있다.
1.1 실제의 객체와 가상의 객체
이하에서는 실제의 객체(R)와 가상의 객체(V)의 혼합에 대해서 설명한다.
혼합 현실 환경에서는 실제의 객체(R)와 가상의 객체(V)가 혼합되어 존재할 수 있다,
도 1을 참조하면, 구현된 혼합 현실 환경에서는 실제의 객체(R)와 가상의 객체(V)가 사용자에게 동시에 제공될 수 있다. 즉, 사용자는 혼합 현실 환경에서 실제의 객체(R)와 가상의 객체(V)를 동시에 경험할 수 있게 된다.
상기 가상의 객체(V)는 혼합 현실 환경을 구현하는 혼합 현실 제공 시스템에 의해 상기 시스템의 사용자에게 제공될 수 있다. 달리 말해, 혼합 현실 환경의 제공자는 상기 혼합 현실 제공 시스템을 통해 사용자에게 제공되는 가상의 객체(V)를 구현할 수 있다. 즉, 상기 혼합 현실 제공 시스템을 통해 사용자에게 혼합 현실 환경에서 목적에 따라 다양한 가상의 객체(V)를 구현하고, 제어하여 혼합 현실 제공 시스템의 사용자에게 제공 할 수 있다. 달리 말해, 상기 혼합 현실 제공 시스템은 소정의 가상 기기 구현 방법에 따라 사용자에게 혼합 현실 환경 상에서 가상의 기기를 제공할 수 있다.
이와 같이 사용자가 현재하는 공간의 실제의 객체(R)와 더불어 실제로는 존재하지 않는 가상의 객체(V)를 경험할 수 있게 되어, 사용자는 혼합 현실 환경 상에서 실제의 세계에서 경험할 수 는 새로운 경험을 할 수 있게 된다. 또한, 상기 혼합 현실 환경 상에서 제공되는 가상의 기기를 통해 간편하게 실제의 세계에서 이용하는 실제의 기기를 이용할 수 있다. 또한, 제공되는 가상의 기기의 수와 기능은 구현 목적에 따라 간단하게 변경가능하기 때문에 혼합 현실 환경의 사용자의 필요에 따라 제공자는 사용자에게 적합한 가상의 기기를 제공할 수 있게 된다.
한편, 상기 혼합 현실 환경에서 실제의 물리적인 객체(R)에 가상의 기기를 구현하여 제공할 수 있다. 달리 말해, 혼합 현실 환경의 제공자는 혼합 현실 제공 시스템을 통해 사용자에게 혼합 현실 환경 상에서 상기 사용자가 이용할 수 있는 가상의 기기를 제공할 수 있다.
상기 가상의 기기는 혼합 현실 환경에서 이용될 수 있는 모든 기기가 될 수 있으며, 예를 들어 상기 가상의 기기는 가상 모바일 단말, 소정의 입력 장치일 수 있다.
이하에서는 혼합 현실 상에서 이용될 수 있는 웹알티시(WebRTC) 통신에 대해서 설명한다.
1.2 웹알티시(WebRTC) 통신
최근 들어 스마트 폰과 같은 휴대 단말 장치를 통한 모바일 인터넷이 발전하면서 많은 서비스가 개발되고 있으며, 구글은 웹 기반의 채팅서비스를 구현하기 위한 실시간 커뮤니케이션 기술 '웹알티시(WebRTC)'를 개발하여 표준화를 진행하였다. 웹알티시(WebRTC)는 어플리케이션의 적용 없이 웹 브라우저만을 이용하여 사용자간 미디어 통신이 가능한 솔루션으로 운영체제나 단말기의 종류와 상관 없이 표준 기술을 지원하는 각 브라우저에서 모두 동작할 수 있는 것이 특징이다.
이러한 웹알티시(WebRTC)라는 기술을 통해, 사용자가 인터넷을 통해 쉽게 커뮤니케이션을 연결할 수 있고, 인터넷상에 자신의 주소를 공개하고 다른 사람이 접속할 수 있도록 하는 서비스가 가능해졌다.
상기 웹알티시(WebRTC) 통신을 수립하기 위한 방법으로는, 커스텀링크, 웹링크, QR코드, VR링크, 버튼, 및 브랜드로고/상표 등의 통신 식별자를 이용하는 방법이 있을 수 있다.
이하에서는 각 통신식별자에 대해서 구체적으로 설명한다.
상기 커스텀링크는 웹알티시(WebRTC) 통신의 사용자에 의해 생성되는 일종의 통신 링크로 정의될 수 있다. 예를 들어,“peer(또는, webpeer)://akn”으로 정의된 링크를 통해 "peer"라는 어플리케이션이 실행되며, 해당 링크를 발행한 사용자와 상기 링크를 통해 통신 연결을 승낙한 통신 상대방 간에 웹알티시(WebRTC) 통신 연결이 수립될 수 있다.
상기 웹 링크는 http 기반의 링크일 수 있다. 예를 들어, “http://webpeer.io/akn”을 접속 요청자가 선택하면, 웹 브라우저의 실행과 함께 해당 링크의 주소로 접속하며, 해당 링크를 발행한 사용자와 상기 링크를 통해 통신 연결을 승낙한 통신 상대방 간에 웹알티시(WebRTC) 통신 연결이 수립될 수 있다.
또한, QR 코드를 통해 연결 수단을 제공하고, 이를 접속 요청자가 단말의 카메라로 인식하면 해당 QR 코드를 발행한 사용자와 상기 링크를 통해 통신 연결을 승낙한 통신 상대방 간에 웹알티시(WebRTC) 통신 연결이 수립될 수 있다.
VR 링크는 상술한 바와 같이 가상의 환경에서 접속 요청자의 연결 수단의 선택을 입력 받고, VR 링크를 발행한 사용자와 상기 링크를 통해 통신 연결을 승낙한 통신 상대방 간에 웹알티시(WebRTC) 통신 연결이 수립될 수 있다.
버튼의 경우, 상술한 링크를 직접 또는 간접적으로 포함하는 화면의 일영역을 통신 사용자 또는 통신 상대방이 터치 또는 클릭할 수 있게 디스플레이 화면 상에 표시하는 것으로 링크 주소를 텍스트로 직접 표시하거나, 간접적으로 포함하고 AKN이라는 접속 수신자의 정보 만을 표시하게 하는 것도 가능하다.
또한, 본 실시예에서 버튼에 표시되는 이미지를 통신 사용자 직접 설정하고 자신의 브랜드 로고나, 상표 명을 버튼으로 표시되도록 하는 것도 가능하다.
즉, 본 실시예에 따른 연결 설정 방법을 제공하는 서비스 주체가 아닌, 이를 이용하는 주체 측에서, 자신의 브랜드 로고나 상표 명을 붙여서 사용자측의 단말에 표시될 수 있도록 하여, 사용자로 하여금 직관적으로 브랜드 로고나 상표 명으로 자신이 접속할 상대방이 무엇인지를 인식할 수 있도록 할 수 있다.
상기 통신 식별자는 상기 통신 식별자를 전송하는 웹알티시(WebRTC) 통신의 사용자의 기기의 고유 아이디를 포함할 수 있다. 상기 고유 아이디는 웹알티시(WebRTC) 통신을 수립하기 위한 사용자의 기기의 IP등의 통신 주소, 내지는 사용자의 기기를 식별하여 통신을 수립하기 위하여 식별 가능한 주소를 의미할 수 있다.
구체적으로, 웬알티시 통신의 사용자는 소정의 기기를 통해 전술한 커스텀링크, 웹링크, QR코드, VR링크, 버튼, 및 브랜드로고/상표를 통신의 상대방의 기기로 전송하여, 통신의 상대방의 기기는 획득한 통신 식별자에 포함된 고유 아이디를 통해 상기 사용자의 기기와 웹알티시(WebRTC) 통신을 개시할 수 있다.
또한, 상기 통신 식별자에는 소정의 파라미터가 부가될 수 있다. 소정의 파라미터(parameter)가 부가됨으로써 통신 연결 수립과 동시에 소정의 기능을 할 수 있도록 구현될 수 있다. 이에 대해서는 구체적으로 설명한다. 상기 커스텀 링크는 상기 파라미터가 URL 형태로 구현되는 경우 "peer://아이디/파라미터"의 형식으로 커스텀 링크에 부가될 수 있으며, QR 형태로 구현되는 경우 해당 기능이 부여되도록 QR이 구현될 수 있다. 상기 파라미터의 부가에 따라 부여되는 기능에 대해서는 후술할 개별적인 사안들에서 구체적으로 설명하도록 한다.
이상에서는, 혼합 현실 제공 시스템(1)과 상기 시스템(1)에서 이용될 수 있는 통신인 웹알티시(WebRTC)통신에 대해서 설명하였다.
한편, 상기 가상의 기기 중 가상 모바일 단말(40)을 제공하는 혼합 현실 제공 시스템(1)은 가상 모바일 단말 구현 시스템(1)으로 정의될 수 있다.
이하에서는, 상기 가상 모바일 단말 구현 시스템(1) 및 상기 시스템(1)에서 이용되는 가상 모바일 단말(40) 구현 방법에 대해서 구체적으로 설명한다.
2. 가상 모바일 단말 구현 시스템
도 2는 본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템(1)을 나타내는 도면이다.
도 2를 참조하면, 본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템(1)은 대상 오브젝트(10) 가상 모바일 단말 구현 디바이스(20), 및 서버(30)로 구성될 수 있다.
상기 대상 오브젝트(10)는 상기 가상 모바일 단말 구현 시스템(1)에 의해 구현되는 가상 모바일 단말(40)이 구현될 수 있는 영역을 제공하는 물리적인 객체이다.
상기 가상 모바일 단말 구현 디바이스(20)는 가상 모바일 단말 구현 시스템(1)의 사용자에게 혼합 현실과 가상의 모바일 단말을 구현하여 제공하는 기기일 수 있다.
상기 서버(30)는 서비스 서버(30)일 수 있다. 상기 서버(30)는 클라우드 서버 형태로 제공되어 가상 모바일 단말 구현 시스템(1)에서 교환되는 데이터들을 저장하고, 전송할 수 있다. 또는 상기 서버(30)는 웹알티시(WebRTC) 서버(30)가 되어 웹알티시(WebRTC) 통신과 관련하여 통신의 수립, 데이터의 교환, 통신의 단절 등을 관리하는 서버가 될 수도 있다. 구체적으로, 상기 서버(30)가 웹알티시(WebRTC) 서버로 구현되는 경우 웹알티시(WebRTC) 통신을 수립하기 위하여 전송되는 통신 식별자를 관리할 수 있다.
한편, 상기 도 2에 도시된 구성 이외에도 더 많은 구성을 포함하는 가상 모바일 단말 구현 시스템(1)이 구현될 수 있다. 예를 들어, 상기 가상 모바일 단말 구현 시스템(1)에는 실제 세계에서 이용되는 실제 모바일 단말(50)이 더 포함될 수 있다. 이 경우, 상기 실제 모바일 단말(50)은 상기 시스템(1)에 의해 제공되는 가상 모바일 단말(40)과 연동 될 수 있는데 이에 대해서는 구체적으로 후술하도록 한다.
이하에서는 상기 시스템(1)을 통한 가상 모바일 단말(40)을 제공하기 위한 유닛들과 전술한 시스템(1)의 구성에 대해서 구체적으로 설명한다.
2.1 가상 모바일 단말 구현 유닛
도 3은 본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템(1)에 구현되는 유닛들을 나타내는 블록도이다.
본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템(1)에는 가상 모바일 단말(40)을 구현하고, 제어하기 위하여 동작을 수행하는 유닛이 구현될 수 있다.
도 3을 참조하면, 본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템(1)은 제공유닛(100), 센싱유닛(200), 및 생성유닛(300)을 포함할 수 있다. 그러나, 도 3에 도시된 바에 국한되지 않고, 이보다 더 적거나 더 많은 유닛들이 시스템(1)에 구현될 수 있다.
상기 제공유닛(100)은 혼합 현실 환경 상에서 이용될 수 있는 가상 모바일 단말(40)을 구현하여 제공하는 동작을 수행할 수 있다.
상기 센싱유닛(200)은 가상 모바일 단말(40)을 구현하기 위한 영역을 제공하는 대상 오브젝트(10) 및 가상 모바일 단말(40)과 관련된 사용자의 행동을 탐지하는 동작을 수행 할 수 있다.
상기 생성유닛(300)은 가상 모바일 단말(40)과 관련된 데이터를 획득하여, 가상 모바일 단말(40)을 구현하기 위한 데이터를 생성할 수 있다.
이하에서는 상기 유닛들에 대해서 구체적으로 설명한다.
상기 제공유닛(100)은 상기 센싱유닛(200)에 의해 탐지된 대상 오브젝트(10)의 영역에 가상 모바일 단말(40)을 구현할 수 있다. 구체적으로, 상기 제공유닛(100)은 상기 혼합 현실 영상 상의 대상 오브젝트(10)의 영역에 가상 모바일 단말(40)을 구현하여 제공할 수 있다. 달리 말해, 상기 제공유닛(100)은 혼합 현실 영상에 가상 모바일 단말(40)의 이미지 내지는 영상을 상기 대상 오브젝트(10)의 영역에 구현하여, 사용자에게 제공할 수 있다.
또한, 상기 제공유닛(100)은 구현 목적에 따라 다양한 기능을 포함하는 가상 모바일 단말(40)을 구현할 수 있다. 예를 들어, 상기 제공유닛(100)은 상기 가상 모바일 단말(40)의 구현 목적에 따라 통화 기능, 문자 입력 기능, 각종 어플리케이션 기능을 포함하는 가상 모바일 단말(40)을 구현할 수 있다. 구체적으로, 상기 제공유닛(100)은 상기 문자 입력 기능이 구현된 가상 모바일 단말(40)을 구현하기 위하여, 상기 가상 모바일 단말(40)이 상기 사용자의 터치, 제스쳐, 음성을 인식하여 기능을 트리거되도록 하는 오브젝트를 포함하는 가상 모바일 단말(40)을 구현하여 사용자에게 제공할 수 있다. 상기 오브젝트는 가상의 키 형태, 아이콘 형태, 또는 사용자의 터치, 제스쳐, 음성을 인식하여 기능을 트리거 시키는 기능을 수행한다면 어떠한 형태에도 국한되지 않을 수 있다.
상기 센싱유닛(200)은 상기 대상 오브젝트(10)가 이동하는 경우, 상기 이동되는 대상 오브젝트(10) 상에 상기 가상 모바일 단말(40)이 구현될 수 있도록 상기 대상 오브젝트(10)의 경로를 탐지할 수 있다.
또한, 상기 센싱유닛(200)은 상기 가상 모바일 단말(40)과 관련된 사용자의 제스쳐를 탐지할 수 있다. 예를 들어, 상기 사용자가 가상 모바일 단말(40)의 오브젝트를 터치하는 경우, 상기 센싱유닛은 상기 사용자의 터치를 감지할 수 있다,
상기 생성유닛(300)은 가상 모바일 단말(40)과 관련된 데이터를 분석할 수 있다. 예를 들어, 상기 생성유닛(300)은 실제 모바일 단말(50)로부터 저장된 데이터를 획득하여, 상기 데이터에 기초하여 가상 모바일 단말(40)을 구현 하기 위한 데이터를 생성할 수 있다. 상기 가상 모바일 단말(40)과 관련된 데이터는 가상 모바일 데이터로 정의되며, 상기 가사 모바일 단말(40)을 구현 하기 위한 데이터는 구현 데이터로 정의될 수 있다.
이 경우, 상기 구현 데이터에 기초하여, 상기 제공유닛(100)은 가상 모바일 단말(40)을 구현할 수 있다. 구체적으로, 상기 생성유닛(300)이 상기 실제 모바일 단말(50)에서 이용되는 어플리케이션 데이터를 획득하여 구현 데이터를 생성하는 경우, 상기 구현 데이터에 기초하여 상기 제공유닛(100)은 상기 어플리케이션 기능을 포함하는 가상 모바일 단말(40)을 구현할 수 있다. 이를 위해, 상기 생성유닛(300)은 생성된 구현 데이터를 상기 제공 유닛(100)으로 제공할 수 있다.
2.2 가상 모바일 단말 구현 시스템의 구성
이하에서는 전술한 가상 모바일 단말 구현 시스템(1)의 구성에 대해서 구체적으로 설명한다.
2.2.1 가상 모바일 단말 구현 디바이스
도 4는 본 출원의 일 실시예에 따른 가상 모바일 단말 구현 디바이스(20)를 나타내는 도면이다.
가상 모바일 단말 구현 디바이스(20)는 사용자에게 혼합 현실을 구현하여 제공하고, 상기 사용자가 상기 혼합 현실 상에서 가상 모바일 단말(40)을 이용할 수 있도록 가상 모바일 단말(40)을 제공할 수 있다.
위와 같은, 가상 모바일 단말 구현 디바이스(20)는 일 예로 혼합 현실을 제공하는 Hololens일 수 있다.
이러한 가상 모바일 단말 구현 디바이스(20)는 사용자가 착용 가능한 형태로 제공될 수 있다. 예를 들어, 상기 가상 모바일 단말 구현 디바이스(20)는 상기 사용자의 머리에 착용 가능한 형태로 제공될 수 있다. 이에 따라, 상기 가상 모바일 단말 구현 디바이스(20)는 상기 사용자의 눈을 통해 혼합 현실 영상을 제공하여, 사용자가 혼합 현실을 경험하도록 할 수 있다.
또한, 상기 가상 모바일 단말 구현 디바이스는(20)는 사용자의 눈을 통해 가상 현실 영상을 구현하여 제공함으로써, 상기 사용자로 하여금 가상 현실을 경험하도록 할 수 있다. 이 경우, 상기 가상 모바일 단말 구현 디바이스(20)는 오큘러스(Oculus)가 될 수 있다.
또한, 상기 가상 모바일 단말 구현 디바이스(20)는 사용자에게 증강 현실 영상을 제공함으로써, 사용자로 하여금 증강 현실을 경험하도록 할 수 있다. 이 경우, 상기 가상 모바일 단말 구현 디바이스(20)는 소정의 증강 영상을 덧씌울 수 있는 스마트폰, 스마트태블릿 등의 스마트 기기들이 될 수 있다.
이하에서는 특별한 설명이 없다면, 설명을 용이하게 하기 위하여 상기 가상 모바일 단말 구현 디바이스(20)는 혼합 현실 영상을 구현하여 제공하는 디바이스인 것으로 설명한다. 다만, 이하의 설명은 이에 국한되지 않고, 상기 가상 모바일 단말 구현 디바이스(20)가 가상 현실 영상(VR)을 구현하여 제공하는 디바이스 또는 증강 현실 영상(AR)을 구현하여 제공하는 디바이스인 경우에도 전용될 수 있다.
도 4를 참조하면, 본 출원의 일 실시예에 따른 가상 모바일 단말 구현 디바이스(20)는 감지부(21), 출력부(22), 통신부(23), 전원공급부(24), 저장부(25), 입력부(26), 및 제어부(27)를 포함할 수 있다.
상기 감지부(21)는 실제의 세계를 감지할 수 있다. 구체적으로, 상기 감지부(21)는 시스템(1)의 사용자가 점유하는 실제의 세계에 존재하는 물리적 객체를 감지할 수 있다. 따라서, 상기 사용자가 신체의 일부를 움직이는 경우, 상기 감지부(21)는 이동하는 신체의 일부의 동선을 감지할 수 있다. 또한, 상기 감지부(21)는 상기 사용자의 제스쳐를 감지할 수 있다. 또한, 상기 감지부(21)는 상기 대상 오브젝트(10)의 위치를 감지할 수 있다.
이러한 감지부(21)는 가시광카메라, 적외선카메라, 또는 이미지센서 등의 실제의 세계의 물리적 객체들로부터 반사되는 빛을 수광하여 실제의 세계를 감지할 수 있는 기기들로 구현될 수 있다.
상기 감지부(21)가 이미지센서로 구현되는 경우, 상기 감지부(21)는 촬상하는 대상으로부터 방출되는 가시광선을 이차원 어레이에 배열된 광다이오드로 받아들이고, 광다이오드로부터 광전효과에 따라 발생되는 전하를 CCD(Charge Coupled Device) 및/또는 CMOS로 받아들여 대상에 관한 데이터를 생성할 수 있다.
CCD(Charge Coupled Device)는 광자의 양에 비례하여 발생하는 전자의 양을 통해 전류 세기 정보를 얻고 이를 이용하여 이미지를 생성하고, CMOS는 광자의 양에 비례하여 발생하는 전자의 양을 통해 전압 세기 정보를 이용하여 이미지를 생성할 수 있다. 이때, CCD는 이미지 품질이 우수하다는 장점이 있으며, CMOS는 공정이 간단하고 처리속도가 빠르다는 장점이 있을 수 있다.
또한, 사용 목적에 따라 광전효과에 따라 발생되는 전하를 데이터로 생성하는 장치는 상기 전술된 CCD 및/또는 CMOS 외의 기타 방법 등이 모두 사용될 수 있다.
상기 출력부(22)는 상기 사용자에게 혼합 현실 및 상기 혼합 현실에서 이용될 수 있는 가상의 기기를 제공할 수 있다. 구체적으로, 상기 출력부(22)는 혼합 현실 영상을 상기 사용자에게 제공하여, 상기 가상 모바일 단말 구현 디바이스(20)를 착용하는 사용자가 혼합 현실을 경험하고, 가상 모바일 단말(40)을 이용할 수 있도록 제공할 수 있다.
상기 출력부(22)는 영상을 출력하는 디스플레이, 소리를 출력하는 스피커, 진동을 발생시키는 햅틱 장치 및 그 외 다양한 형태의 출력 수단을 모두 포함할 수 있다. 이하에서 출력부(22)는 이미지를 시각적으로 전달할 수 있는 디스플레이인 것으로 설명한다. 그럼에도, 영상 처리 기기에서 상기 이미지가 사용자에게 반드시 디스플레이를 통해 출력되는 것은 아니며, 전술한 다른 모든 출력 수단을 통해 사용자에게 출력될 수 있다. 디스플레이는 액정 디스플레이(LCD: Liquid Crystal Display), 발광 다이오드(LED: light emitting diode) 디스플레이, 유기 발광 다이오드(OLED: Organic Light Emitting Diode) 디스플레이, 평판 디스플레이(FPD: Flat Panel Display), 투명 디스플레이(transparent display), 곡면 디스플레이(Curved Display), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 홀로그래픽 디스플레이(holographic display), 프로젝터 및 그 외의 영상 출력 기능을 수행할 수 있는 다양한 형태의 장치를 모두 포함하는 광의의 영상 표시 장치를 의미하는 개념이다. 이러한 디스플레이는 입력부(26)의 터치 센서와 일체로 구성된 터치 디스플레이의 형태일 수도 있다. 이외에도 출력부(22)는 자체적으로 외부로 정보를 출력하는 장치 대신 영상 처리 기기에 외부의 출력 장치를 연결시키는 출력 인터페이스(USB 포트, PS/2 포트 등)의 형태로 구현될 수도 있다.
상기 통신부(23)는 상기 가상 모바일 단말(40) 구현 기기가 다른 외부 기기와 데이터를 교환할 수 있도록 한다. 상기 통신부(23)는 유선 또는 무선으로 데이터를 송수신할 수 있다. 이를 위해 서버통신부는 LAN(Local Area Network)를 통해 인터넷 등에 접속하는 유선 통신 모듈, 이동 통신 기지국을 거쳐 이동 통신 네트워크에 접속하여 데이터를 송수신하는 이동 통신 모듈, 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식이나 블루투스(Bluetooth), 직비(Zigbee)와 같은 WPAN(Wireless Personal Area Network) 계열의 통신 방식을 이용하는 근거리 통신 모듈, GPS(Global Positioning System)과 같은 GNSS(Global Navigation Satellite System)을 이용하는 위성 통신 모듈 또는 이들의 조합으로 구성될 수 있다.
상기 전원공급부(24)는 가상 모바일 단말 구현 디바이스(20)의 각 구성요소들의 동작에 필요한 전원을 제공할 수 있다. 이러한, 전원공급부(24)는 충전 가능한 배터리로 구현될 수 있다.
또한, 본 출원의 일 실시예에 다르면 상기 가상 모바일 단말 구현 디바이스(20)는 전력발전부(미도시)를 더 포함할 수 있고, 전력발전부는 자체적으로 전력을 발생시킨 후, 발생된 전력을 전원공급부에 제공할 수 있다. 일 예로, 전력 발전부는 태양광 발전부를 포함할 수 있고, 이 경우, 태양광발전을 통해 전력을 생산할 수 있다.
상기 저장부(25)는 상기 데이터를 저장할 수 있다. 상기 저장부(25)는 혼합 현실관 관련된 데이터를 저장할 수 있다; 예를 들어, 상기 저장부(25)는 전술한 가상 모바일 데이터를 저장할 수도 있다.
이러한 저장부(25)는 구동하기 위한 운용 프로그램(OS: Operating System)이거나 펌웨어, 미들웨어, 이를 보조하는 각종 프로그램이 저장 될 수 있으며, 영상 처리 기기와 같은 다른 외부 기기로부터 수신한 데이터 등이 저장될 수 있다.
또한, 저장부(25)의 대표적인 예로는, 하드디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 또는 클라우드 스토리지(Cloud Storage) 등이 있을 수 있다.
상기 입력부(26)는 사용자로부터 사용자 입력을 수신할 수 있다. 사용자 입력은 키 입력, 터치 입력, 음성 입력을 비롯한 다양한 형태로 이루어질 수 있다. 예를 들어, 입력부(26)는 사용자로부터 가상 모바일 단말(40) 구현 실행을 입력 받을 수 있다.
또한, 입력부(26)의 대표적인 예로는, 전통적인 형태의 키패드나 키`보드, 마우스는 물론, 사용자의 터치를 감지하는 터치 센서, 음성 신호를 입력받는 마이크, 영상 인식을 통해 제스처 등을 인식하는 카메라, 사용자 접근을 감지하는 조도 센서나 적외선 센서 등으로 구성되는 근접 센서, 가속도 센서나 자이로 센서 등을 통해 사용자 동작을 인식하는 모션 센서 및 그 외의 다양한 형태의 사용자 입력을 감지하거나 입력 받는 다양한 형태의 입력 수단을 모두 포함하는 포괄적인 개념이다. 여기서, 터치 센서는 디스플레이 패널에 부착되는 터치 패널이나 터치 필름을 통해 터치를 감지하는 압전식 또는 정전식 터치 센서, 광학적인 방식에 의해 터치를 감지하는 광학식 터치 센서 등으로 구현될 수 있다.
상기 제어부(27)는 가상 모바일 단말(40) 구현 기기의 각 구성의 동작을 제어할 수 있다. 이를 위해, 상기 제어부(27)는 가상 모바일 단말 구현 디바이스(20)의 각종 데이터의 연산 및 처리를 수행할 수 있다. 따라서, 이하에서는 가상 모바일 단말(40) 디바이스의 동작은 특별한 언급이 없다면 제어부(27)에 의해 수행되는 것일 수 있다.
상기 제어부(27)는 하드웨어, 소프트웨어 또는 이들의 조합에 따라 컴퓨터나 이와 유사한 장치로 구현될 수 있다. 하드웨어적으로 제어부(27)는 전기적인 신호를 처리하여 제어 기능을 수행하는 CPU 칩 등의 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적인 제어부(27)를 구동시키는 프로그램 형태로 제공될 수 있다.
2.2.2 서버
상기 서버(30)는 서버통신부, 서버데이터베이스 및 서버제어부를 포함할 수 있다.
서버통신부는 외부 기기(예를 들어, 가상 모바일 단말 구현 디바이스(20))와 통신할 수 있다. 따라서, 서버는 서버통신부를 통해 외부 기기와 정보를 송수신할 수 있다. 예를 들어, 서버는 서버통신부를 이용해 가상 모바일 단말 구현 디바이스(20)로부터 혼합 현실과 관려된 데이터를 교환할 수 있다. 상기 서버통신부는 전술한 가상 모바일 단말 구현 디바이스(20)의 통신부(23)와 같이 유선 또는 무선으로 데이터를 송수신할 수 있으므로, 서버통신부에 대해서 중복되는 설명은 생략한다.
서버데이터베이스는 각종 정보를 저장할 수 있다. 서버데이터베이스는 데이터를 임시적으로 또는 반영구적으로 저장할 수 있다. 예를 들어, 서버의 서버데이터베이스에는 서버를 구동하기 위한 운용 프로그램(OS: Operating System), 웹 사이트를 호스팅하기 위한 데이터나 가상 모바일 단말의 이용을 위한 프로그램 내지는 어플리케이션(예를 들어, 웹 어플리케이션)에 관한 데이터 등의 저장될 수 있으며, 이외에도 가상 모바일 단말 구현 디바이스(10)로부터 획득한 가상 모바일 단말과 관련된 데이터 등이 저장될 수 있다.
상기 서버데이터베이스의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. 이러한 데이터베이스(1200)는 내장 타입 또는 탈부착 가능한 타입으로 제공될 수 있다.
서버제어부는 서버의 전반적인 동작을 제어한다. 이를 위해 제어부는 각종 정보의 연산 및 처리를 수행하고 서버의 구성요소들의 동작을 제어할 수 있다. 예를 들어, 제어부는 문서 컨버팅을 위한 프로그램 내지 어플리케이션을 실행시킬 수 있을 것이다. 제어부는 하드웨어 소프트웨어 또는 이들의 조합에 따라 컴퓨터나 이와 유사한 장치로 구현될 수 있다. 하드웨어적으로 제어부는 전기적인 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적인 제어부를 구동시키는 프로그램 형태로 제공될 수 있다. 한편, 이하의 설명에서 특별한 언급이 없는 경우에는 서버의 동작은 제어부의 제어에 의해 수행되는 것으로 해석될 수 있다.
2.2.3 대상 오브젝트
이하에서는 대상 오브젝트(10)에 대해서 설명한다.
도 5는 본 출원의 일 실시예에 따른 대상 오브젝트(10)의 일 예를 나타내는 도면이다.
상기 대상 오브젝트(10)는 가상 모바일 단말(40)이 구현되는 영역을 제공할 수 있다. 달리 말해, 상기 대상 오브젝트(10)는 혼합 현실 상에서 상기 가상 모바일 단말(40)이 구현되는 기준이 될 수 있다. 상기 혼합 현실 상에 존재하는 실제의 객체(R) 및 가상의 객체(V)들이 혼재된 상태에서, 상기 대상 오브젝트(10)는 가상 모바일 단말(40)이 구현될 수 있도록 영역을 제공할 수 있다. 상기 가상 모바일 단말(40)이 제공되는 영역은 구현영역(14)으로 정의될 수 있다.
상기 대상 오브젝트(10)는 팔, 손등, 손바닥 등과 같은 사용자의 신체의 일부, 실제의 세계에 존재하는 각종 실제의 물리적 객체들이 될 수 있다.
예를 들어, 상기 대상 오브젝트(10)는 소정의 피규어가 될 수 있다. 상기 피규어는 각종 캐릭터의 형태로 구현되거나, 또는 사용자가 원하는 형태의 캐릭터로 구현될 수 있다.
또한, 상기 대상 오브젝트는 저전력의 물리적인 객체일 수 있고, 이 경우, 상기 저전력의 물리적인 객체는 평상시에 시계와 같은 기본 인터페이스를 표시할 수있다. 혼합현실 이용해서 풍부한 컨텐츠 표시 가능할 수 있다.
이하에서는 상기 대상 오브젝트(10)는 가상 모바일 단말(40)을 구현 하기위하여 별도로 제공되는 물리적 객체인 것으로 설명한다.
위와 같이, 별도로 제공되는 물리적 객체를 통해 가상 모바일 단말(40)을 구현하는 경우, 사용자의 가상 모바일 단말(40)의 사용이 용이해질 수 있다. 상기 대상 오브젝트(10)가 별도로 제공되는 물리적 객체가 아니고, 사용자가 점유하는 실제의 공간의 물리적 객체들 중 하나인 경우 가상 모바일 단말(40)은 다양한 장소에 산재된 물리적 객체들 중 하나에 구현될 수 있다. 이 경우, 상기 사용자는 가상 모바일 단말(40)이 구현된 물리적 객체를 찾아 이용하여야 하기 때문에, 가상 모바일 단말(40)의 이용이 번거로워질 수 있다. 이에 반하여, 별도로 제공되는 물리적 객체를 통해 가상 모바일 단말(40)을 구현하는 경우, 상기 가상 모바일 단말(40)을 상기 별도로 제공되는 물리적 객체에 구현되기 때문에 사용자가 가상 모바일 단말(40)이 구현되는 위치를 찾는 시간이 경감될 수 있다.
도 5 (a)를 참조하면, 상기 대상 오브젝트(10)는 평판 형상으로 제공될 수 있다.
또한, 상기 별도로 제공되는 물리적 객체는 사용자가 소지할 수 있는 형태로 제공될 수 있다. 따라서, 사용자가 가상 모바일 단말(40)을 제공 받기를 원하는 경우, 장소에 구애 받지 않고 혼합 현실을 구현하여 가상 모바일 단말(40)을 제공받을 수 있다.
또한, 상기 대상 오브젝트(10)는 도 5에 도시된 바에 국한되지 않고 사용자가 원하는 형태, 재질로 구현될 수 있다. 예를 들어, 상기 대상 오브젝트(10)는 유연한 소재로 구현되어, 벤딩(bending)될 수 있다. 또한, 예를 들어 상기 대상 오브젝트(10)는 투명한 재질로 구현 될 수 있다.
상기 대상 오브젝트(10)는 프레임(11)과 평판면(13)으로 구현될 수 있다.
상기 프레임(11)은 식별 표지(12)를 포함할 수 있다. 구체적으로, 상기 프레임(11)의 외면에 상기 식별 표지(12)가 형성될 수 있다.
상기 식별 표지(12)는 상기 대상 오브젝트(10)가 혼합 현실 상에서 식별되도록 할 수 있다. 구체적으로, 혼합 현실에 상기 대상 오브젝트(10)가 존재하는 경우, 전술한 센싱유닛(200)은 상기 식별 표지(12)를 감지하여 상기 대상 오브젝트(10)의 위치를 감지할 수 있다. 이에 따라, 상기 제공유닛(100)이 상기 대상 오브젝트(10)의 구현영역(14)에 가상 모바일 단말(40)을 구현할 수 있게 된다.
또한, 상기 식별 표지(12)는 사용자를 인증하는 수단이 될 수 있다. 예를 들어, 상기 식별 표지(12)에 대응하는 가상 모바일 단말(40)을 제공함으로써, 진정한 사용자에게 가상 모바일 단말(40)이 제공되도록 할 수 있다. 또는, 상기 식별 표지(12)에 상기 대상 오브젝트(10)의 형태, 및 크기에 관한 정보가 포함되어 있어, 상기 식별 표지(12)로부터 획득된 대상 오브젝트(10)의 정보와 대상 오브젝트(10)가 일치하는 경우에만 가상 모바일 단말(40)이 구현되도록 할 수 있다.
이러한, 식별 표지(12)는 QR코드, 각종 다각형, 또는 바코드 등이 될 수 있으며, 전술한 식별 표지(12)의 기능을 할 수 있는 표지라면 어느 형태에 국한 되지 않는 형태로 제공될 수 있다. 예를 들어, 상기 식별 표지(12)는 상기 대상 오브젝트(10)의 모양 또는 크기 등의 형태 그 자체가 될 수 있다. 상기 대상 오브젝트(10)의 형태에 기초하여 상기 대상 오브젝트(10)가 혼합 현실 영상 내에서 검출될 수 있다.
또한, 상기 식별표지(12)는 다른 혼합 현실을 사용하는 사용자의 가상 모바일 단말을 인식하도록 할 수 있다. 구체적으로, 다른 사용자가 소정의 식별표지를 포함하는 대상 오브젝트를 이용하여 가상 모바일 단말을 구현하여 이용할 때 사용자의 혼합 현실 영상에 다른 사용자의 대상 오브젝트의 식별 표지가 탐지되는 경우, 상기 사용자의 혼합 현실 영상에는 다른 사용자의 가상 모바일 단말이 표현될 수 있다.
한편, 상기 대상 오브젝트(10)가 사용자의 신체의 일부인 경우 상기 신체의 특정 부위가 상기 식별 표지(12)가 될 수도 있다. 예를 들어, 사용자의 손바닥이 상기 대상 오브젝트(10)인 경우, 상기 사용자의 손바닥의 지문 내지는 손금이 식별 표지(12)가 될 수 있다. 구체적으로, 상기 손바닥에 가상 모바일 단말이 구현되는 경우, 상기 손바닥의 지문 내지는 손금을 식별 표지로 하여 사용자를 인증하고 해당 사용자에 대한 가상 모바일 단말을 구현할 수 있다.
도 5 (b)를 참조하면, 상술한 식별 표지의 위치는 도 5(a)에 도시된 바에 국한되지 않고 모서리 부분에 형성될 수도 있다. 이에 따라, 상기 모서리에 형성된 식별 표지를 통해 대상 오브젝트에서 가상 모바일 단말이 구현되어야 하는 위치가 용이하게 탐지될 수 있다.
상기 평판면(13)은 구현영역(14)을 포함할 수 있다. 상기 구현영역(14)은 복수의 구현영역(14)을 포함할 수 있다. 이 경우, 상기 대상 오브젝트(10)는 구현영역(14) 별로 서로 다른 재질로 구현될 수 있다.
2.3 가상 모바일 단말 구현 시스템의 구현 타입
이하에서는 가상 모바일 단말 구현 시스템(1)의 구현 타입에 대해서 설명한다.
상기 가상 모바일 단말 구현 시스템(1)은 스탠드 어론 타입 및 네트워크 타입으로 구현될 수 있다.
상기 스탠드 어론 타입은 전술한 유닛들이 상기 가상 모바일 단말 구현 시스템(1)의 일 구성에 모두 구현되는 형태로 정의될 수 있다,
상기 네트워크 타입은 전술한 유닛들이 가상 모바일 단말 구현 시스템(1)의 각 구성에 분산되어 구현되는 형태로 정의될 수 있다.
이하에서는 각각의 타입에 대해서 구체적으로 설명한다.
2.3.1 스탠드 어론 타입
본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템(1)은 스탠드 어론 타입으로 구현될 수 있다.
이 경우, 제공유닛(100), 센싱유닛(200), 및 생성유닛(300)은 가상 모바일 단말 구현 시스템(1)의 일 구성에 구현될 수 있다. 즉, 제공유닛(100), 센싱유닛(200), 및 생성유닛(300)은 가상 모바일 단말 구현 시스템(1)의 서버(30), 가상 모바일 단말 구현 디바이스(20). 또는 대상 오브젝트(10) 중 적어도 하나에 구현될 수 있다.
상기 각 유닛들이 서버(30)에 구현되는 경우, 상기 각 유닛들의 기능은 상기 어플리케이션 형태로 상기 가상 모바일 단말 구현 디바이스(20)에서 수행될 수 있다. 예를 들어, 상기 가상 모바일 단말 구현 디바이스(20)를 착용한 사용자는 상기 유닛들의 기능을 이용하기 위하여 상기 가상 모바일 단말 구현 디바이스(20) 상에서 어플리케이션을 수행할 수 있다. 이에 따라, 상기 가상 모바일 단말 구현 디바이스(20)는 통신부(23)를 통해 서버(30)와 통신을 수행하게 되고, 상기 가상 모바일 단말 구현 디바이스(20)와 서버(30)는 가상 모바일 단말(40)의 구현과 관련된 데이터를 교환할 수 있다. 상기 가상 모바일 단말 구현 디바이스(20)는 가상 모바일 데이터를 획득하고, 상기 가상 모바일 데이터에 기초하여 상기 가상 모바일 단말 구현 디바이스(20)의 각 구성들을 동작시킴으로써 가상 모바일 단말(40)이 사용자에게 제공되도록 할 수 있다.
상기 각 유닛들이 가상 모바일 단말 구현 디바이스(20)에 구현되는 경우, 상기 각 유닛들의 기능은 가상 모바일 단말 구현 디바이스(20) 상에서 수행될 수 있다. 이 경우, 상기 각 유닛들은 상기 가상 모바일 단말 구현 디바이스(20)의 제어부(27)에 구현될 수 있다. 이에 따라, 상기 제어부(27)에서 상기 각 유닛들의 기능이 수행됨으로써 상기 감지부(21)를 통해 회득된 영상에서 대상 오브젝트(10)가 감지될 수 있으며, 구현된 가상 모바일 단말(40)은 상기 출력부(22)를 통해 사용자에게 제공될 수 있다.
이하에서는 상기 가상 모바일 단말 구현 시스템(1)이 네트워크 타입으로 구현되는 경우에 대해서 설명한다.
2.3.2 네트워크 타입
본 출원의 일 실시예에 따른 상기 가상 모바일 단말 구현 시스템(1)은 네트워크 타입으로 구현될 수 있다.
이 경우, 각 유닛들은 시스템(1)의 각 구성에 분산되어 구현될 수 있다, 예를 들어, 상기 제공유닛(100)과 상기 생성유닛(300)은 상기 서버(30)에 구현되고, 감지 유닛은 가상 모바일 단말 구현 디바이스(20)에 구현될 수 있다. 또는, 상기 생성유닛(300)은 서버(30)에 구현되고 상기 제공유닛(100)과 상기 감지 유닛은 가상 모바일 단말 구현 디바이스(20)에 구현될 수도 있다.
또한, 다른 실시예에서 상기 제공유닛(100)과 상기 생성유닛(300)은 상기 서버(30) 및 상기 가상 모바일 단말 구현 디바이스(20)에서 구현될 수 있다. 이 경우, 상기 서버(30)에 구현되는 상기 제공유닛(100)과 상기 생성유닛(300)과 상기 가상 모바일 단말 구현 디바이스(20)에서 구현되는 상기 제공유닛(100)과 상기 생성유닛(300)의 동작은 상이할 수 있다. 예를 들어, 상기 서버(30)에서 동작하는 제공유닛(100)은 가상 모바일 단말의 이미지 내지는 영상을 생성하고, 상기 가상 모바일 단말 구현 디바이스(20)에서 동작하는 제공유닛(100)은 오브젝트를 생성할 수 있다.
이와 같이 가상 모바일 단말 구현 시스템(1)이 네트워크 타입으로 구현되는 경우, 각 유닛의 기능이 분산되어 수행되며 각 유닛의 동작에 따라 생성된 가상 모바일 데이터는 교환될 수 있다. 결과적으로, 상기 가상 모바일 단말 구현 디바이스(20)는 상기 가상 모바일 데이터를 통합하여, 혼합 현실을 구현하고, 상기 혼한 현실에서 이용될 수 있는 가상 모바일 단말(40)을 구현하여 사용자에게 제공할 수 있다.
이하에서는 설명을 용이하게 하기 위하여, 특별한 언급이 없는 한 각 유닛들이 가상 모바일 단말 구현 디바이스(20)에 구현되는 스탠드 어론 타입인 것으로 하여 설명하도록 한다.
3. 가상 모바일 단말의 이용
이하에서는, 가상 모바일 단말(40)을 구현하는 동작과, 구현된 가상 모바일 단말(40)을 이용하는 동작에 대해서 구체적으로 설명한다.
상기 가상 모바일 단말(40)을 구현하는 동작은 가상 모바일 단말(40) 구현 동작으로 정의될 수 있다.
상기 가상 모바일 단말(40)은 상기 이용하는 동작에 따라 아래와 같이 이용될 수 있다.
상기 구현된 가상 모바일 단말(40)을 통해 사용자는 실제 모바일 단말(50)을 이용하는 것과 같이 키 입력을 할 수 있다. 또한, 사용자는 상기 가상 모바일을 통해 통화를 할 수 있다, 또한, 사용자는 상기 가상 모바일을 통해 실제 모바일 단말(50)을 이용하는 것과 같이 다양한 어플리케이션을 이용할 수 있다. 한편, 상기 가상 모바일을 통해 통화를 수행하는 경우 웹알티시(WebRTC) 통신이 이용되며, 이를 위해 통신 식별자가 이용될 수 있다. 이에 대해서는 구체적으로 설명한다.
이하에서는 먼저, 가상 모바일 단말(40) 구현 동작에 대해서 설명한다.
3.1 가상 모바일 단말 구현 동작
본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템(1)의 가상 모바일 단말 구현 동작에 대해서 설명한다.
가상 모바일 단말(40)의 구현을 위해, 상기 가상 모바일 단말 구현 디바이스(20)는 대상 오브젝트(10)를 탐지하고, 상기 대상 오브젝트(10)에 구현될 가상 모바일 단말(40)을 생성할 수 있다.
이하에서는, 먼저 대상 오브젝트(10)를 탐지하는 동작에 대해서 설명한다.
3.1.1 대상 오브젝트 탐지
본 출원의 일 실시예에 따른 가상 모바일 단말 구현 디바이스(20)는 가상 모바일 단말(40)을 구현하기 위한 대상 오브젝트(10)의 위치를 탐지할 수 있다. 즉, 센싱유닛(200)은 혼합 현실 영상에서 상기 대상 오브젝트(10)가 존재하는 위치를 탐지할 수 있다.
도 6은 본 출원의 일 실시예에 따른 혼합 현실 영상(MR)내에서 탐지된 대상 오브젝트(10)의 위치를 기초로 구현된 가상 모바일 단말을 나타내는 도면이다.
도 7은 본 출원의 일 실시예에 따른 가상 현실 영상(VR)내에서 탐지된 대상 오브젝트(10)의 위치를 기초로 구현된 가상 모바일 단말을 나타내는 도면이다.
도 8은 본 출원의 일 실시예에 따른 증강 현실 영상(AR)내에서 탐지된 대상 오브젝트(10)의 위치를 기초로 구현된 가상 모바일 단말 나타내는 도면이다.
도 6 내지 8을 참조하면, 상기 가상 모바일 단말 구현 디바이스(20, 21, 및 22)는 대상 오브젝트(10)의 식별 표지(12)를 탐지하여, 상기 대상 오브젝트(10)의 위치를 탐지할 수 있다.
이하에서는 상기 식별 표지(12)를 기초로 상기 대상 오브젝트(10)의 위치를 탐지하는 과정에 대해서 구체적으로 설명한다.
도 6을 참조하면, 상기 대상 오브젝트(10)의 위치는 상기 혼합 현실 영상을 분석하여 탐지될 수 있다.
상기 혼합 현실 영상의 분석은 실제의 객체(R)와 가상의 객체(V)의 탐지, 실제의 객체(R) 중 대상 오브젝트(10)의 탐지를 포함할 수 있다.
먼저, 실제의 객체(R)와 가상의 객체(V)의 탐지에 대해서 설명한다.
상기 센싱유닛(200)은 혼합 현실 양상의 실제의 객체(R)와 가상의 객체(V)를 탐지하여 분류할 수 있다.
구체적으로 상기 센싱유닛은 상기 실제의 객체(R) 및 가상의 객체(V)와 배경을 분리하여, 상기 실제의 객체(R) 및 가상의 객체(V)를 탐지할 수 있다. 이를 위해, ROI 검출, 엣지 디텍션 등의 배경으로부터 의미 있는 대상을 분리하여 탐지하는 종래의 기술들이 이용 될 수 있으나, 이에 국한되지 않고 상기 실제의 객체(R) 및 가상의 객체(V)를 탐지하는 기술이 이용될 수 있다.
한편, 상기 혼합 현실상에 존재하는 가상의 객체(V)의 경우, 이미 혼합 현실상에 상기 가상의 객체(V)를 구현하며 그 위치를 파악하고 있기 때문에 이에 기초하여 상기 가상의 객체(V)를 탐지할 수도 있다.
한편, 상기 실제의 객체(R)와 가상의 객체(V) 중 대상 오브젝트(10)는 실제의 객체(R)이기 때문에 상기 가상의 객체(V)를 탐지하는 동작은 생략될 수도 있다.
이하에서는, 실제의 객체(R) 중 대상 오브젝트(10)의 탐지에 대해서 설명한다.
상기 센싱유닛(200)은 식별 표지(12)에 기초하여 탐지된 모든 실제의 객체(R) 중 대상 오브젝트(10)를 분류해낼 수 있다. 구체적으로, 상기 센싱유닛(200)은 탐지된 모든 실제의 객체(R)의 영상에서 식별 표지(12)를 탐지해내어, 대상 오브젝트(10)를 탐지해낼 수 있다.
또한, 상기 센싱유닛(200)은 탐지된 대상 오브젝트(10)의 구현영역(14)을 탐지해낼 수 있다. 즉, 상기 탐지된 대상 오브젝트(10)의 구현영역(14)의 위치, 크기, 또는 형태 등을 탐지하여, 구현된 가상 모바일 단말(40)이 위치하고 상기 구현영역(14)에 대응하는 크기와 형태를 가지도록 할 수 있다.
구체적으로, 상기 센싱유닛(200)은 상기 식별 표지(12)의 크기를 계산하여 기 저장된 식별 표지(12)의 크기와 비교하여 소정의 비율을 계산할 수 있다. 이에 따라, 상기 센싱유닛(200)은 계산된니 비율에 기초하여 기 저장된 구현영역(14)의 크기에 반영하여 현 시점에 탐지된 대상 오브젝트(10)의 구현영역(14)의 크기를 계산할 수 있다.
또한, 상기 센싱유닛(200)은 상기 식별 표지(12)의 형태를 분석하여, 현재 탐지된 대상 오브젝트(10)의 구현영역(14)의 형태를 도출할 수 있다. 예를 들어, 상기 식별 표지(12)의 형태가 3차원 공간에서 x축 방향으로 소정의 각도만큼 틀어진 형태인 경우, 센싱유닛(200)은 이에 대응하여 구현영역(14)이 소정의 각도가 틀어진 형태인 것으로 도출 해낼 수 있다,
한편, 상기 센싱유닛(200)은 상기 대상 오브젝트(10)의 이동에 따라 변화되는 영상에서 지속적으로 대상 오브젝트(10)의 구현영역(14)을 탐지할 수 있다.
또한, 도 7과 도 8을 참조하면 상기 가상의 모바일 단말은 가상 현실을 제공하는 가상 모바일 단말 구현 디바이스 및 증강 현실을 제공하는 가상 모바일 단말 구현 디바이스에 의해 구현될 수 있다.
도 7을 참조하면, 상기 가상 모바일 단말 구현 디바이스(21)는 가상 현실(VR) 상에서 상기 디바이스의 사용자에게 가상 모바일 단말을 제공할 수 있다. 이를 위해 상기, 가상 모바일 단말 구현 디바이스에는 사용자의 전방을 촬영하는 촬영부(C)가 더 구비될 수 있다. 이에 따라, 상기 가상 모바일 단말 구현 디바이스는 전방에 존재하는 물리적 객체들을 탐지할 수 있고, 이중 식별 표지를 포함하는 대상 오브젝트를 탐지할 수 있다. 상기, 가상 모바일 단말 구현 디바이스는 상기 탐지된 대상 오브젝트의 영역에 가상의 모바일 단말을 구현함으로써, 상술한 혼합 현실을 제공하는 디바이스와 같이 가상 모바일 단말을 제공할 수 있게 된다.
도 8을 참조하면, 상기 가상의 모바일 단말은 증강 현실(AR)을 구현하는 가상 모바일 단말 구현디바이스(22)를 통해서도 구현될 수 있다. 상기 디바이스는 예를 들어 태블릿 피시가 될 수 있다. 이 경우, 상기 태블릿 피시는 탑재된 촬영부를 통해 사용자의 전방을 촬영할 수 있고, 상기 촬영된 영상에서 식별표지를 포함하는 대상 오브젝트를 탐지할 수 있다. 상기 태블릿 피시는 상기 탐지된 대상 오브젝트의 영역에 가상의 모바일 단말을 구현하여 결과적으로 사용자에게 가상의 모바일 단말을 제공할 수 있다.
한편, 상술한 바와 같이 상기 식별표지(12)는 다른 혼합 현실을 사용하는 사용자의 가상 모바일 단말을 인식하도록 할 수 있다.
도 9는 다른 혼합 현실을 사용하는 사용자의 가상 모바일 단말을 나타내는 도면이다.
도 9를 참조하면, 탐지된 다른 사용자의 식별표지를 기초하여 상기 다른 사용자에 의해 이용되는 가상의 모바일 단말이 사용자의 혼합 현실 상에 구현되거나 구현되지 않을 수 있다. 다른 사용자가 소정의 식별표지를 포함하는 대상 오브젝트를 이용하여 가상 모바일 단말을 구현하여 이용할 때 사용자의 혼합 현실 영상에 다른 사용자의 대상 오브젝트의 식별 표지가 탐지되는 경우, 상기 사용자의 혼합 현실 영상에는 다른 사용자의 가상 모바일 단말이 표현될 수 있다. 즉, 식별 표지가 탐지되지 않는 경우 다른 사용자의 가상 모바일 단말은 상기 사용자의 혼합 현실 영상에 표현되지 않을 수 있다. 또한, 다른 사용자의 식별 표지가 탐지되었더라도, 상기 식별 표지가 다른 사용자의 가상 모바일 단말을 표시하지 않도록 하는 경우 상기 사용자의 혼합 현실 영상에 표현되지 않을 수 있다.
한편, 상기 설명은 혼합 현실에 국한되지 않고 가상 현실, 및 증강 현실에도 적용될 수 있다.
도 10은 본 출원의 일 실시예에 따른 이동되는 대상 오브젝트(10)를 나타내는 도면이다.
도 10을 참조하면, 실시간으로 혼합 현실 영상을 분석하여 변화되는 대상 오브젝트(10)의 위치, 크기, 형태를 식별 표지(12)를 기초로 탐지할 수 있다.
위에서, 대상 오브젝트(10) 탐지 동작에 따라, 탐지된 대상 오브젝트(10)와 상기 대상 오브젝트(10)의 구현영역(14)에 관한 데이터는 탐지 데이터로 정의될 수 있다.
3.1.2 가상 모바일 단말의 구현
이하에서는 가상 모바일 단말(40)의 구현에 대해서 설명한다.
도 11은 본 출원의 일 실시예에 따른 구현된 가상 모바일 단말을 나타내는 도면이다.
본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템(1)은 탐지된 대상 오브젝트(10)에 가상 모바일 단말(40)을 구현할 수 있다. 즉, 상기 제공유닛(100)은 탐지된 대상 오브젝트(10)의 구현영역(14)에 가상 모바일 단말(40)을 구현할 수 있다. 구체적으로, 상기 제공유닛(100)은 혼합 현실 영상의 구현영역(14) 상에 가상 모바일 단말(40) 영상을 덧씌울 수 있다,
상기 가상 모바일 단말(40) 영상은 실제 모바일 단말(50)과 동일한 내지는 유사한 유저 인터페이스로 구현될 수 있다. 따라서, 상기 가상 모바일 단말(40)의 UI에 대한 설명은 생략하도록 한다.
또한, 도 11에 도시된 바와 같이 상기 가상 모바일 단말은 상기 대상 오브젝트의 위치에 기초하여 생생하게 구현될 수 있다. 상기 대상 오브젝트의 회전 각도, 기울어진 정도 등을 탐지하여, 이에 대응되는 형태의 가상의 모바일 단말을 상기 대상 오브젝트의 영역에 구현할 수 있다. 이에 따라, 사용자는 생동감 있게 가상 모바일 단말을 이용하는 경험을 할 수 있게 된다.
이하에서는, 상기 가상 모바일 단말(40)과 실제 모바일 단말(50)의 연동에 대해서 구체적으로 설명한다,
한편, 상기 가상 모바일 단말(40)은 실제 모바일 단말(50)과 연동될 수 있다,
상기 연동은 구체적으로, 상기 실제 모바일 단말(50)과 상기 가상 모바일 단말(40)의 기능이 실질적으로 동일한 것을 의미할 수 있다. 달리 말해, 혼합 현실 상에서 상기 가상 모바일 단말(40)의 이용은 실제 세계에서 상기 실제 모바일 단말(50)을 이용하는 것과 실질적으로 동일한 것을 의미할 수 있다.
상기 연동을 위해, 상기 실제 모바일 단말(50)의 데이터에 기초하여 상기 가상 모바일 단말(40)이 구현될 수 있다.
도 12는 본 출원의 일 실시예에 따른 가상 모바일 단말(40)과 실제 모바일 단말(50)의 연동 과정을 나타내는 도면이다.
도 13은 본 출원의 일 실시예에 따른 가상 모바일 단말(40)과 실제 모바일 단말(50)의 연동 과정을 나타내는 도면이다.
도 12 및 13을 참조하면, 가상 모바일 단말(40)과 실제 모바일 단말(50)의 연동을 위하여, 서버(30)가 실제 모바일 단말(50)의 데이터 교환의 매개체가 될 수 있다. 달리 말해, 상기 가상 모바일 단말 구현 디바이스(20)는 서버(30)를 통해 실제 모바일 단말(50)의 데이터를 획득할 수 있다.
도 12를 참조하면, 사용자의 실제의 단말과의 연동 요청이 상기 디바이스(20)에 의해 획득(S800)되면, 상기 디바이스(20)는 상기 서버(30)에 연동 요청 리퀘스트를 전송(S810)할 수 있다. 상기 리퀘스트를 수신한 서버(30)는 실제의 단말에 상기 실제의 단말의 데이터를 요청하는 리퀘스트를 전송(S820)할 수 있다. 상기 리퀘스트를 수신한 실제의 단말이 리퀘스트에 응하는 경우, 실제의 단말의 데이터를 서버(30)로 전송(S830)할 수 있다, 상기 실제의 단말의 데이터를 획득한 서버(30)는 상기 데이터를 저장(S840)할 수도 있고, 저장 없이 바로 상기 디바이스로 전송(S850)하여 상기 실제의 단말의 데이터에 기초하여 가상 모바일 단말(40)이 구현되도록 하여 실제 모바일 단말(50)과 가상 모바일 단말(40)을 연동(S860)시킬 수 있다.
도 13을 참조하면, 실제 모바일 단말(50)이 가상 모바일 단말 구현 디바이스(20)의 요청 이전에 미리 실제 단말의 데이터를 저장할 수 있다. 이에 따라, 상기 모바일 단말 구현 디바이스(20)는 서버(30)로부터 미리 저장된 실제 모바일 단말(50)의 데이터를 획득하여 이를 기초로 가상 모바일 단말(40)을 구현할 수 있다.
한편, 상기 가상 모바일 단말 구현 디바이스(20)와 상기 실제 모바일 단말(50)이 직접 통신을 수행함으로써, 실제 모바일 단말(50)의 데이터를 획득할 수 있다. 이 경우, 상기 통신 방식은 웹알티시(WebRTC) 통신이 될 수 있다. 예를 들어, 실제 모바일 단말(50)을 통해 “PEER://실제 모바일 단말(50)의 아이디”라는 링크를 모바일 단말 구현 디바이스(20)로 전송할 수 있다. 이에 따라, 사용자는 상기 링크를 통해 실제 모바일 단말(50)과 웹알티시(WebRTC) 통신을 개시함으로써, 상기 실제 모바일 단말(50)로부터 실제 모바일 단말(50)에 대한 데이터를 제공 받을 수 있게 된다.
이상에서는 가상 모바일 단말(40)의 구현에 대해서 설명하였다. 이하에서는 상기 가상 모바일 단말(40)의 이용에 대해서 설명한다.
3.2 가상 모바일 단말 이용 동작
이하에서는 혼합현실에서 가상 모바일 단말을 이용하는 방법과 그 동작에 대해서 설명한다.
3.2.1 인식 동작
도 14는 본 출원의 일 실시예에 따른 가상 모바일 단말(40)을 통한 터치 인식을 나타내는 도면이다.
도 15는 본 출원의 일 실시예에 따른 가상 모바일 단말(40)을 통한 줌인(Zoom-in)/줌아웃(Zoom-out)을 나타내는 도면이다.
도 14를 참조하면, 가상 모바일 단말 구현 시스템은 상기 가상 모바일 단말에 대한 사용자의 터치를 인식하거나, 제스쳐를 인식하거나, 음성을 인식할 수 있다.
먼저 사용자의 터치 인식에 대해서 설명한다.
상기 가상 모바일 단말 구현 시스템은 구현된 가상 모바일 단말에 접근하는 물리적 객체를 인식할 수 있다. 구체적으로, 상기 가상 모바일 단말로 접근하는 물리적 객체의 일단을 인식하여, 상기 가상 모바일 단말로의 상기 물리적 객체의 일단의 터치 여부를 인식할 수 있다.
상기 물리적 객체의 일단은 사용자의 신체의 일부의 끝 부분 또는 사용자에 의해 파지되는 막대 등의 끝 부분 등이 될 수 있다.
상기 가상 모바일 단말의 상기 터치가 인식되는 영역에는 도시된 바와 같이 소정의 가상의 아이콘이 구현될 수 있으며, 이에 국한되지 않고 소정의 가상의 키 등의 기능을 트리거 시키는 오브젝트들이 구현될 수 있는데, 상기 인식된 터치에 의하여 결과적으로 상기 기능들이 트리거될 수 있다. 상기 기능들은 문자 입력(이하, 입력), 통화 이용, 영상 출력 등을 포함할 수 있다.
또한, 가상 모바일 단말 구현 시스템은 상기 물리적 객체의 일단에 의한 소리, 영상 변화 등을 감지하여 상기 터치를 인식할 수 있다. 구체적으로, 상기 물리적 객체의 일단이 상기 가상의 모바일 단말이 구현된 대상 오브젝트에 접촉되어 발생되는 소리나, 그림자를 감지함으로써 상기 터치를 인식할 수 있다.
이하에서는 사용자의 제스쳐 인식에 대해서 설명한다.
상기 가상 모바일 단말 구현 시스템은 구현된 가상 모바일 단말에 대한 사용자의 제스쳐를 인식할 수 있다. 상기 제스쳐는 사용자의 신체를 이용한 제스쳐 뿐만 아니라, 상기 사용자에 의해 파지되는 물체에 의한 특정한 동작을 포함하는 개념으로 해석되어야 한다.
이에 따라, 소정의 기능들이 트리거될 수 있다. 상기 기능들은 상술한 바와 같이 문자 입력(이하, 입력), 통화 이용, 영상 출력 등을 포함할 수 있다.
이하에서는 사용자의 음성 인식에 대해서 설명한다.
상기 가상 모바일 단말 구현 시스템은 구현된 가상 모바일 단말에 대한 음성을 인식할 수 있다.
이때, 상기 가상 모바일 단말 구현 시스템은 상기 사용자의 음성을 분석하여 내용을 파악할 수 있다. 이에 따라, 소정의 기능들이 트리거될 수 있다. 상기 기능들은 상술한 바와 같이 문자 입력(이하, 입력), 통화 이용, 영상 출력 등을 포함할 수 있다.
또한, 상기 가상 모바일 단말 구현 시스템은 상기 사용자의 음성을 인증하는 절차를 거쳐, 상기 음성이 가상 모바일 단말을 이용하는 사용자 음성이지 여부를 인식할 수 있다.
이하에서는 상술한 가상 모바일 단말 구현 시스템의 인식 방법들 중 터치 인식에 대해서 구체적으로 설명한다.
상술한 바와 같이 상기 터치 인식에 의해 소정의 기능이 트리거될 수 있다. 사용자는 혼합 현실 상에서 가상 모바일 단말(40)의 제1 영역(15)을 손가락으로 터치하고 제2 영역(16)을 손가락으로 터치할 수 있다. 이 경우, 가상 모바일 단말 시스템은 상기 손가락의 터치를 인식할 수 있다. 상술한 바와 같이 예를 들어, 상기 터치 인식은 소리에 의해 수행될 수 있는데 제1 영역(15)을 터치하는 경우, 상기 제1 영역(15)의 대상 오브젝트(10)의 재질에 기인하여 제1 소리(S1)가 출력될 수 있고, 상기 제2 영역(16)을 터치하는 경우 상기 제2 영역(16)의 대상 오브젝트(10)의 재질에 기인하여 제2 소리(S2)가 출력될 수 있다. 센싱유닛(200)은 상기 제1 소리(S1)와 상기 제2 소리(S2)를 감지하게 되고, 분석 유닛은 상기 제1 소리(S1)와 상기 제2 소리(S2)를 식별할 수 있다. 상기 제1 소리(S1)와 상기 제2 소리(S2)가 식별되는 경우, 각각은 제1 영역(15)의 터치와 제2 영역(16)의 터치로 인식될 수 있다
또한, 상술한 바와 같이 상기 터치 인식은 상기 가상 모바일 단말로 향하는 사용자의 손가락의 끝의 속도를 기초로 식별 할 수 있다. 예를 들어, 상기 가상 모바일 단말 구현 시스템은 상기 사용자의 손가락의 끝을 인식하여 그 속도를 탐지할 수 있다. 상기 사용자의 손가락의 끝은 이동되다가 속도를 점차 늦추어 결과적으로 속도를 멈추게 되는데, 상기 가상 모바일 단말 구현 시스템은 상기 속도를 멈추는 영역에서 터치가 되는 것으로 인식할 수 있다. 즉, 상기 제1 영역(15)으로 향하는 손가락의 속도(V1)와 제2 영역(16)으로 향하는 손가락의 속도(V2)를 탐지하여 각각의 터치를 인식할 수 있다.
또한, 상기 터치 인식은 영상의 변화를 통해 검출할 수 있다. 구체적으로 상기 혼합 현실 영상 내의 손가락의 끝 부분의 영상의 변화를 감지하여 터치 인식을 감지할 수 있다. 예를 들어, 상기 사용자의 손가락의 그림자에 기초하여 상기 터치 인식을 감지할 수 있다. 또는, 상기 사용자의 손가락에 의해 가려지는 영상의 영역을 탐지하여 상기 터치 인식을 감지할 수 있다.
이하에서는, 상기 오브젝트 입력에 의한 줌인/줌아웃 기능의 수행에 대해서 설명한다.
도 15를 참조하면, 상기 줌인/줌아웃 기능은 가상 모바일 단말(40)의 오브젝트의 터치에 기초하여 수행될 수 있다. 이 경우, 상기 사용자의 적어도 둘 이상의 손가락이 상기 오브젝트에 접촉될 수 있다. 상기 적어도 둘 이상의 손가락이 동시에 이동함에 따라, 소리(S3)가 발생하며 속도(V3)가 발생하기 때문에 전술한 방법들을 기초로 줌인/줌아웃을 판단하게 된다.
한편, 제공유닛(100)은 전술한 사용자의 오브젝트를 통한 상호작용에 따라 변경되는 가상 모바일 단말(40)의 상태를 혼합 현실 영상에 반영하여 사용자에게 제공할 수 있다.
이하에서는 혼합 현실에서의 가상 모바일 단말(40)을 이용한 통화 동작에 대해서 설명한다.
3.2.2 통화 동작
도 16는 본 출원의 일 실시예에 따른 가상 모바일 단말(40)의 통신 동작을 나타내는 도면이다.
도 17은 본 출원의 일 실시예에 따른 웹알티시(WebRTC)를 이용한 가상 모바일 단말(40)의 통신 동작을 나타내는 도면이다.
도 18은 본 출원의 일 실시예에 따른 영상 통화 동작을 나타내는 도면이다.
도 19는 본 출원의 일 실시예에 따른 혼합 현실 내에서 크기가 조절되는 영상을 나타내는 도면이다.
도 16을 참조하면, 본 출원의 일 실시예에 따른 혼합 현실의 사용자는 가상 모바일 단말(40)을 통해 통화할 수 있다. 상기 통화의 상대방은 상기 혼합 현실의 사용자와는 다른 사람으로서, 상기 통화의 상대방의 통화 기기는 실제 모바일 단말(50), 혼합 현 디바이스, 또는 웹알티시(WebRTC)와 VoIP 등의 인터넷 기반의 통화 기기 등일 수 있다. 상기 통화의 상대방의 통화 기기는 통화 상대 기기(70)로 정의될 수 있다.
이하에서는, 혼합 현실에서 가상 모바일 단말(40)을 이용한 통화 동작의 순서에 대해서 설명한다.
상기 가상 모바일 단말(40)을 이용한 통화 동작은 통화 입력 단계, 서버(30) 요청 단계, 및 통화 연결 단계를 포함할 수 있다.
상기 통화 입력 단계에서, 사용자는 혼합 현실 상에서 가상 모바일 단말(40)에 구현된 통화 기능을 이용하여, 통화 동작을 개시할 수 있다. 예를 들어, 상기 사용자는 가상 모바일 단말(40)에 구현된 통화 기능을 트리거시키는 오브젝트를 터치하고 상기 터치가 감지됨으로써 통화 동작을 개시할 수 있다.
상기 통화가 웹알티시(WebRTC) 기반의 통화인 경우, 상기 통화 오브젝트의 기능의 트리거에 따라 웹알티시(WebRTC) 통신의 개시를 위한 통신 식별자가 생성될 수 있다. 상기 통신 식별자에는 상기 가상 모바일 단말 구현 디바이스(20)의 고유 아이디가 포함될 수 있다. 상기 통신 식별자는 커스텀 링크의 형태로 구현되는 경우, 사용자에 의해 직접 생성될 수 있으며, 상기 식별자가 웹 링크의 형태로 구현되는 경우 기 설정된 방식에 따라 생성될 수 있다. 또는, 상기 통신 식별자는 전술한 바와 같이 QR코드, VR링크 등의 형태로 구현될 수 있다.
상술한 바와 같이, 웹알티시 통신에 기초하여 상기 가상 모바일 단말 구현 디바이스(20)와 통화 상대 기기(70)와 통화를 수행하는 경우, 호환성 문제 없이 편리하게 통화를 수행할 수 있다. 상기 가상 모바일 단말 구현 디바이스(20)에 별도의 어플리케이션을 설치하여 통화를 수행하게 되는 경우, 상기 어플리케이션과 상기 가상 모바일 단말 구현 디바이스(20)의 호환성을 고려하여야 한다. 그러나, 이와 같이 웹알티시 통신에 기초하여 통화를 수행하는 경우, 별도의 어플리케이션 없이 가상 모바일 단말 구현 디바이스(20)의 웹 브라우저로의 접속을 통해 웹알티시 통신을 이용하여 통화를 수행할 수 있어 호환성 이슈가 해결될 수 있다. 이에 따라, 통화가 용이해질 수 있다.
또한, 상기 통화가 웹알티시(WebRTC) 기반의 통화인 경우, 전술한 바와 같이 상기 통시 식별자에는 소정의 파라미터가 부가될 수 있다. 상기 부가된 파라미터에 따라 웹알티시(WebRTC) 통신에 기반한 통화가 제어될 수 있다. 예를 들어, 상기 파라미터에 따라 통화의 종류, 통화의 특성, 통화의 방법 등이 제어될 수 있다.
상기 서버(30) 요청 단계에서, 가상 모바일 단말 구현 디바이스(20)는 상기 사용자의 통화 입력을 수신할 수 있다. 구체적으로, 상기 사용자는 통화하고자 하는 통화 상대방을 지정하여 통화 입력을 통해 상기 지정된 통화 상대방과의 통화를 요청할 수 있다. 이에 따라, 가상 모바일 단말 구현 디바이스(20)는 통화 연결을 관리하는 소정의 서버(30)로 통화 상대 기기(70)에 대한 통화를 요청할 수 있다.
한편, 상기 서버(30)는 상기 통화 연결이 실제 모바일 단말(50)과의 통화인 경우 통화를 관리하는 기지국일 수 있으나, 전술하였듯이 본 출원의 서버(30)는 웹알티시(WebRTC) 통신을 관리하는 서버(30)로 구현되어 웰알티시 기반의 통화를 수립할 수 있다. 이에 따라, 상기 서버(30)는 상기 통신 식별자를 통화 상대방의 통화 상대 기기(70)로 전송할 수 있다.
상기 통화 연결 단계에서, 상기 서버(30)는 통화 요청을 수신하여 통화 상대 기기(70)로 통화 연결 요청을 전송할 수 있다. 이에 따라, 상기 통화의 상대방이 통화 상대 기기(70)를 통해 통화 연결을 승낙하는 경우, 가상 모바일 단말(40)과 통화의 상대방의 통화 기기는 통화 연결될 수 있다.
예를 들어, 상기 통화의 상대방이 상기 통화 상대 기기(70)로 전송된 통신 식별자를 통해 사용자의 가상 모바일 단말 구현 디바이스(20)와 웹알티시(WebRTC) 통신을 개시할 수 있다. 이에 따라, 상기 가상 모바일 단말(40) 구현 다비이스는 사용자가 혼합 현실에서 통화를 할 수 있도록, 가상 모바일 단말(40)에 통화 인터페이스를 구현하여 실질적으로 사용자가 가상 모바일 단말(40)을 통해 통화를 하는 것과 같은 경험을 제공할 수 있다.
이하에서는, 웹알티시(WebRTC) 통신에 기초한 영상 통화 동작에 대해서 구체적으로 설명한다.
상기 영상 통화를 위해서는 음성 데이터만이 교환되는 음성 통화와는 다르게 영상 데이터가 교환되어야 한다. 상기 영상 데이터는 상기 음성 데이터에 비하여 큰 크기의 데이터이기 때문에, 상기 영상 데이터의 처리를 위해 미디어 서버(60)가 더 구비될 수 있다. 상기 미디어 서버(60)는 상기 미디어 데이터를 저장하며, 각 통화자가 미디어 데이터를 교환하도록 할 수 있다.
도 17을 참조하면, 본 출원의 일 실시예에 따른 웹알티시(WebRTC) 통신에 기초한 영상 통화의 개시를 위해서 가상 모바일 단말(40), 서버(30), 미디어 서버(60), 및 통화 상대 기기(70)는 서로 데이터를 교환 할 수 있다.
상기 가상 모바일 단말 구현 디바이스(20)는 상기 서버(30)로 통신 식별자의 전송 요청을 할 수 있다(S1210).
상기 서버(30)는 상기 통신 식별자를 송신 받아 상기 통화 상대 기기(70)로 전송할 수 있다(S1220).
상기 통화의 상대방이 통화 상대 기기(70)에 전송된 통신 식별자를 통해 통화를 승낙하는 경우, 상기 통화 상대 기기(70)는 통화 승낙 응답을 서버(30)로 전송(S1230)하고, 상기 통화 승낙 응답을 가상 모바일 단말 구현 디바이스(20)로 전송(S1240)하여, 상기 가상 모바일 단말 구현 디바이스(20)와 상기 통화 상대 기기(70) 간에 웹알티시(WebRTC) 통신이 수립될 수 있다(S1250).
상기 미디어 서버(60)는 상기 웹알티시(WebRTC) 통신이 수립되는 경우, 상기 가상 모바일 단말 구현 디바이스(20)와 상기 통화 상대 기기(70)가 미디어 데이터를 서로 교환(S1260)하도록 할 수 있다. 이를 위해, 상기 미디어 서버(60)는 가상 모바일 단말 구현 디바이스(20)와 통화 상대 기기(70) 각각으로부터 미디어 데이터를 제공 받아 송신할 수 있다.
또한, 상기 미디어 서버(60)는 주고 받는 미디어 데이터를 저장할 수 있다. 따라서, 사용자 또는 통화 상대자는 미디어 서버(60)에 저장된 미디어 데이터에 접근하여, 과거의 미디어 데이터를 이용할 수 있다.
한편, 상기 영상 통화는 일대일 영상 통화뿐만 아니라, 다자간 영상 통화를 포함할 수 있다. 상기 영상 통화가 다자간 영상 통화인 경우, 상기 통신 식별자는 다수의 통화 상대 기기(70)에 전송될 수 있으며 이에 따라 가상 모바일 단말 구현 디바이스(20) 및 다수의 통화 상대 기기(70)들은 서로 웹알티시(WebRTC) 통신을 수립할 수 있다. 이에 따라, 상기 미디어 서버(60)는 가상 모바일 단말 구현 디바이스(20) 및 다수의 통화 상대 기기(70)로부터 미디어 데이터를 전송 받아, 각각의 기기로 전송할 수 있다.
상기 다자간 영상 통화의 경우, 다수의 통화 상대 기기(70)들과 웹알티시(WebRTC) 통신을 수립하기 위하여 통신 식별자에는 소정의 파라미터가 부가될 수 있다. 상기 파라미터는 하나의 통신 식별자를 이용하여 모든 통화 상대 기기(70)들과 영상 통화를 수립할 수 있도록 하는 파라미터일 수 있다. 예를 들어, 상기 파라미터는 모든 통화 상대 기기(70)들의 고유 아이디를 포함하는 파라미터일 수 있다.
구체적으로, "peer://유저아이디1/유저아이디2/유저아이디3"의 형태로 다수의 통화 상대 기기(70)와 웹알티시(WebRTC) 통신을 수립할 수 있다. 또는, 다수의 상대 기기들이 리스트 형태로 관리되는 경우, "peer://유저아이디리스트"의 형태로 다수의 통화 상대 기기(70)와 웹알티시(WebRTC) 통신을 수립할 수 있다.
한편, 개시할 통화의 종류를 결정하기 위하여 통신 식별자에는 소정의 파라미터가 부가될 수 있다. 예를 들어, 상기 식별자가 커스텀 링크인 경우, "peer://유저아이디/(통화 종류)"와 같은 파라미터가 부가된 커스텀 링크를 통하여 통화의 종류를 선택할 수 있다.
또는, 통화의 기본은 음성 통화로 지정되어 있고 "peer://유저아이디/영상통화"라는 형태의 커스텀 링크를 이용하여 통화 상대방과의 통화 종류를 결정할 수 있다.
상기 사용자는 가상 모바일 단말(40)을 이용하여 영상 통화를 하는 도중, 제공되는 영상의 크기를 제스쳐에 따라 조절할 수 있다.
도 18을 참조하면, 본 출원의 일 실시예에 따른 사용자의 제스쳐에 기초하여 상기 가상 모바일 단말(40)을 이용한 영상 통화 중의 영상 크기가 조절될 수 있다.
전술한 바와 같이, 상기 제스쳐는 사용자의 두 손가락을 이용한 줌인/줌아웃일 수 있다.
또는, 도 18에 도시된 바와 같이 가상 모바일 단말(40)이 구현된 대상 오브젝트(10)와 사용자 간의 거리(D)에 기초하여 상기 영상 크기가 조절될 수 있다. 예를 들어, 상기 사용자가 상기 대상 오브젝트(10)를 이동시켜 상기 사용자와의 거리(D)가 가까워지는 경우, 상기 대상 오브젝트(10)에 구현된 가상 모바일 단말(40)이 출력하는 영상의 크기는 작아질 수 있다.
또한, 상기 도 19에 도시된 바와 같이 혼합 현실 영상 공간 상으로 영상을 확장시킬 수 있다. 영상 통화에 이용되는 영상의 크기는 대상 오브젝트(10)의 구현 영역에 대응되는 크기로 초기에 구현될 수 있으나, 사용자의 취향에 따라 상기 영상의 크기는 구현 영역의 주변으로 확장되어, 상기 가상 모바일 단말 제공 디바이스는 대상 오브젝트의 이외의 영역에 구현된 영상을 사용자가 이용하도록 할 수 있다.
또한, 상기 영상이 확장됨과 동시에 이와 더불어 가상 모바일 단말에서는 추가적인 컨텐츠 내지는 컨트롤러를 계속하여 이용할 수 있다.
4. 가상 모바일 단말 구현 시스템의 제어 방법
이하에서는 가상 모바일 단말 구현 시스템(1)의 제어 방법에 대해서 설명한다.
도 20은 본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템(1)의 제어 방법의 순서도이다.
도 20을 참조하면, 본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템(1)의 제어 방법은 혼합 현실 구현(S1000), 대상 오브젝트 탐지(S2000), 가상 모바일 단말 구현(S3000), 및 웹알티시 기반의 통화 개시(S4000)를 포함할 수 있다. 단계 S1000 내지 단계 S4000은 모두 수행될 수도 있지만, 항상 단계 S1000 내지 단계 S4000이 모두 수행되어야 하는 것은 아니고, 단계 S1000 내지 단계 S4000 중 적어도 하나만이 수행될 수도 있다.
상기 혼합 현실 구현 단계(S1000)에서, 가상 모바일 단말 구현 디바이스(20)를 착용한 사용자는 상기 가상 모바일 단말 구현 디바이스(20)를 통해 혼합 현실을 제공 받을 수 있다. 상기 가상 모바일 단말 구현 디바이스(20)는 혼합 현실 영상을 구현하며, 상기 디바이스를 착용한 사용자가 상기 영상을 볼 수 있도록 하여 사용자에게 혼합 현실을 제공할 수 있다.
상기 대상 오브젝트 탐지 단계(S2000)에서, 상기 가상 모바일 단말(40)을 통해 제공된 혼합 현실 영상에서 식별 표지(12)를 기초로 대상 오브젝트(10)를 탐지할 수 있다. 이 때, 상기 식별 표지(12)의 형태를 기초로 대상 오브젝트(10)에 형성된 구현영역(14)을 탐지할 수 있다.
상기 가상 모바일 단말 구현 단계(S3000)에서, 상기 탐지된 대상 오브젝트(10)의 구현영역(14)에 가상 모바일 단말(40)을 구현할 수 있다. 상기 가상 모바일 단말(40)은 사용자의 실제 모바일 단말(50)과 연동될 수 있다.
상기 웹알티시 기반의 통화 개시 단계(S4000)에서, 상기 가상 모바일 단말 구현 디바이스(20)는 가상 모바일 단말(40)의 통화 오브젝트에 대한 터치를 감지하여, 통화를 개시할 수 있다. 이때, 상기 가상 모바일 단말 구현 디바이스(20)는 웹알티시(WebRTC) 통화를 개시하기 위한 통신 식별자를 생성할 수 있고, 상기 통신 식별자를 통화 상대방의 통화 상대 기기(70)로 전송함으로써, 웹알티시(WebRTC) 기반의 통화를 개시할 수 있다.
상술한 본 출원에 따른 가상 모바일 단말 구현 방법 및 이를 이용하는 가상 모바일 단말 구현 시스템에 있어서, 각 실시예를 구성하는 단계가 필수적인 것은 아니며, 따라서 각 실시예는 상술한 단계를 선택적으로 포함할 수 있다. 또 각 실시예를 구성하는 각 단계는 반드시 설명된 순서에 따라 수행되어야 하는 것은 아니며, 나중에 설명된 단계가 먼저 설명된 단계보다 먼저 수행될 수도 있다. 또한 각 단계는 동작하는 동안 어느 한 단계가 반복적으로 수행되는 것도 가능하다.
1: 가상 모바일 단말 구현 시스템
10: 대상 오브젝트
11: 프레임
12: 식별표지
13: 평판면
14: 구현영역
15: 제1 영역
16: 제2 영역
20: 가상 모바일 단말 구현 디바이스
21: 감지부
22: 출력부
23: 통신부
24: 전원공급부
25: 저장부
26: 입력부
27: 제어부
30: 서버
40: 가상 모바일 단말
50: 실제 모바일 단말
100: 제공유닛
200: 센싱유닛
300: 생성유닛

Claims (20)

  1. 혼합 현실에서 이용되는 가상의 모바일 단말을 구현하는 가상 모바일 단말 제공 디바이스의 제어 방법에 있어서,
    상기 가상 모바일 단말 제공 디바이스에서 감지되는 실제의 객체에 인공적으로 구현되는 가상의 객체를 혼합하여 혼합 현실 영상을 구현하는 단계;
    상기 혼합 현실 영상이 구현된 후 감지되는 실제의 객체 중 식별 표지를 포함하는 대상 오브젝트를 검출하는 단계; 및
    상기 대상 오브젝트의 적어도 일부의 영역에 상기 가상의 모바일 단말의 영상을 구현하는 단계;를 포함하고,
    상기 대상 오브젝트를 검출하는 단계는,
    상기 혼합 현실 영상 내의 상기 대상 오브젝트의 상기 식별 표지의 형태에 기초하여 상기 대상 오브젝트의 영역의 형태를 감지하고,
    상기 가상의 모바일 단말의 영상을 구현하는 단계는,
    상기 감지된 대상 오브젝트의 영역의 형태에 따라 상기 가상의 모바일 단말의 영상을 구현하는 것을 특징으로 하는,
    제어방법.
  2. 제1 항에 있어서,
    상기 가상의 모바일 단말에서 제공되는 인터페이스를 통해 상기 가상의 모바일 단말의 사용자가 아닌 다른 사용자의 단말과의 웹알티시 통신 연결을 수립하는 단계;를 더 포함하는
    제어방법.
  3. 제2 항에 있어서,
    상기 웹알티시 통신 연결을 수립하는 단계는,
    상기 가상 모바일 단말 제공 디바이스에 설치된 브라우저를 이용하여 상기 다른 사용자의 단말과의 웹알티시 통신 연결을 수립하는 것을 특징으로 하는,
    제어방법.
  4. 제3 항에 있어서,
    상기 가상의 모바일 단말의 영상을 구현하는 단계는,
    상기 대상 오브젝트에 상기 가상의 모바일 단말을 이용하기 위한 가상의 오브젝트를 구현하는 단계;
    상기 가상의 오브젝트의 터치를 감지하는 단계; 및
    상기 감지된 가상의 오브젝트에 대응되는 상기 가상의 모바일 단말의 동작을 수행하는 단계;를 포함하는,
    제어방법.
  5. 제2 항에 있어서,
    상기 웹알티시 통신 연결을 수립하는 단계는,
    상기 웹알티시 통화 연결 오브젝트의 터치를 감지하는 단계;및
    상기 웹알티시 통화 연결 오브젝트의 터치에 응답하여 상기 웹알티시 통신 연결에 기초한 상기 다른 사용자의 단말과의 통화를 수립하는 단계;를 포함하는
    제어방법.
  6. 제4 항에 있어서,
    상기 가상의 오브젝트의 터치를 감지하는 단계는,
    상기 가상의 모바일 단말의 가상의 오브젝트를 터치하는 경우, 상기 가상의 오브젝트가 구현된 대상 오브젝트의 영역의 재질에 기인하여 발생되는 소리에 기초하여 상기 가상의 오브젝트의 터치를 감지하는 것을 특징으로 하는,
    제어방법.
  7. 제6 항에 있어서,
    상기 가상의 오브젝트의 터치를 감지하는 단계는,
    상기 가상의 모바일 단말의 가상의 오브젝트가 형성된 영역의 영상의 변화를 감지함으로써 상기 가상의 오브젝트의 터치를 감지하는 것을 특징으로 하는,
    제어방법.
  8. 제7 항에 있어서,
    상기 가상의 오브젝트의 터치를 감지하는 단계는,
    상기 가상의 오브젝트를 향해 이동하는 객체의 속도를 탐지하여 상기 가상의 오브젝트의 터치를 감지하는 것을 특징으로 하는,
    제어방법.
  9. 제5 항에 있어서,
    상기 가상의 모바일 단말의 영상을 구현하는 단계는,
    상기 가상의 모바일 단말이 구현되는 상기 대상 오브젝트의 영역의 형태를 감지하는 단계;를 포함하는
    제어방법.
  10. 삭제
  11. 제1 항에 있어서,
    상기 대상 오브젝트의 회전 또는 이동에 따라서 변화되는 상기 대상 오브젝트의 영역을 검출하고,
    상기 검출된 대상 오브젝트의 영역에 가상의 모바일 단말 영상을 구현하는 것을 특징으로 하는,
    제어방법.
  12. 제9 항에 있어서,
    상기 웹알티시 통신 연결을 수립하는 단계에서, 웹알티시 통신 연결을 수립하기 위한 고유 아이디를 포함하는 통신 식별자는 소정의 링크로 생성되는 것을 특징으로 하는,
    제어방법.
  13. 제12 항에 있어서,
    상기 웹알티시 통신 연결을 수립하는 단계에서, 상기 통신 식별자에는 상기 통화를 제어하기 위한 소정의 파라미터가 부여되는 것을 특징으로 하는,
    제어방법.
  14. 제13 항에 있어서,
    상기 통신 식별자에 부가된 파라미터에 따라 상기 통화의 종류가 결정되는 것을 특징으로 하는,
    제어방법.
  15. 제14 항에 있어서,
    상기 통화의 종류가 영상 통화인 경우, 상기 가상 모바일 단말의 영상을 구현하는 단계에서 상기 가상 모바일 단말 내에 영상 통화에 의한 통화 영상을 구현하는 것을 특징으로 하는,
    제어방법.
  16. 제15 항에 있어서,
    상기 통화의 종류가 영상 통화인 경우, 미디어 서버로 미디어 데이터를 전송하는 단계; 및 상기 미디어 서버로부터 미디어 데이터를 획득하여 상기 통화 영상을 구현하는 단계;를 더 포함하는 것을 특징으로 하는,
    제어방법.
  17. 제16 항에 있어서,
    실제의 모바일 단말의 데이터를 획득하는 단계;를 더 포함하고,
    상기 실제의 모바일 단말의 데이터에 기초하여 상기 가상의 모바일 단말의 영상을 구현하는 것을 특징으로 하는,
    제어방법.
  18. 제1 항에 있어서,
    상기 가상 모바일 단말 제공 디바이스는 혼합 현실을 가상 현실 또는 증강 현실로 대체 하는 것을 특징으로 하는,
    제어방법.
  19. 혼합 현실에서 이용되는 가상의 모바일 단말을 구현하는 가상 모바일 단말 제공 디바이스의 제어 방법에 있어서,
    상기 가상 모바일 단말 제공 디바이스에서 감지되는 실제의 객체에 인공적으로 구현되는 가상의 객체를 혼합하여 혼합 현실 영상을 구현하는 단계;
    상기 혼합 현실 영상이 구현된 후 감지되는 실제의 객체 중 식별 표지를 포함하는 대상 오브젝트를 검출하는 단계; 및
    상기 대상 오브젝트의 적어도 일부의 영역에 상기 가상의 모바일 단말의 영상을 구현하는 단계;를 포함하고,
    상기 대상 오브젝트를 검출하는 단계는,
    상기 혼합 현실 영상 내의 상기 대상 오브젝트의 상기 식별 표지의 형태에 기초하여 상기 대상 오브젝트의 영역의 형태를 감지하고,
    상기 가상의 모바일 단말의 영상을 구현하는 단계는,
    상기 감지된 대상 오브젝트의 영역의 형태에 따라 상기 가상의 모바일 단말의 영상을 구현하는 것을 특징으로 하는,
    제어방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  20. 실제의 세계의 실제의 객체를 감지하는 감지부;
    상기 감지된 실제의 객체와 인공적으로 구현된 가상의 객체를 포함하는 혼합 현실 영상을 출력하는 출력부; 및
    식별 표지를 기초로 상기 혼합 현실 영상 내의 대상 오브젝트를 탐지하며, 상기탐지된 영역에 상기 가상의 모바일 단말의 영상을 구현하며, 상기 혼합 현실 영상 내의 상기 가상의 모바일 단말을 통한 통화 요청을 수신하는 경우, 웹알티시 통신 연결을 수립하기 위한 고유 아이디를 포함하는 통신 식별자를 통화 상대 기기로 전송함으로써 상기 웹알티시 통신 연결을 수립하는 제어부;를 포함하고,
    상기 제어부는 상기 혼합 현실 영상 내의 상기 대상 오브젝트의 상기 식별 표지의 형태에 기초하여 상기 대상 오브젝트의 영역의 형태를 감지하고,
    상기 감지된 대상 오브젝트의 영역의 형태에 따라 상기 가상의 모바일 단말의 영상을 구현하는 것을 특징으로 하는,
    가상 모바일 단말 구현 장치.
KR1020170124500A 2017-09-26 2017-09-26 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법 KR102077665B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170124500A KR102077665B1 (ko) 2017-09-26 2017-09-26 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법
US15/760,970 US20190096130A1 (en) 2017-09-26 2017-11-14 Virtual mobile terminal implementing system in mixed reality and control method thereof
PCT/KR2017/012887 WO2019066133A1 (ko) 2017-09-26 2017-11-14 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170124500A KR102077665B1 (ko) 2017-09-26 2017-09-26 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법

Publications (2)

Publication Number Publication Date
KR20190035373A KR20190035373A (ko) 2019-04-03
KR102077665B1 true KR102077665B1 (ko) 2020-04-07

Family

ID=65902288

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170124500A KR102077665B1 (ko) 2017-09-26 2017-09-26 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법

Country Status (2)

Country Link
KR (1) KR102077665B1 (ko)
WO (1) WO2019066133A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102214338B1 (ko) * 2020-05-25 2021-02-10 조광희 증강현실 표시를 위한 전자 장치의 제어 방법, 장치 및 프로그램
CN112991553B (zh) * 2021-03-11 2022-08-26 深圳市慧鲤科技有限公司 信息展示方法及装置、电子设备和存储介质
KR102462099B1 (ko) * 2021-08-18 2022-11-04 경북대학교 산학협력단 증강현실 기반 3차원 의료 교육 모델 제공 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017118241A (ja) * 2015-12-22 2017-06-29 西日本電信電話株式会社 音声映像通信システム、サーバ、仮想クライアント、音声映像通信方法、および音声映像通信プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9443354B2 (en) * 2013-04-29 2016-09-13 Microsoft Technology Licensing, Llc Mixed reality interactions
KR101878144B1 (ko) * 2013-11-06 2018-07-13 엘지전자 주식회사 헤드 마운트 디스플레이를 위한 사용자 인터페이스 제공 장치 및 방법
US10134189B2 (en) * 2014-01-23 2018-11-20 Sony Corporation Image display device and image display method
KR20150105131A (ko) * 2014-03-07 2015-09-16 한국전자통신연구원 증강현실 제어 시스템 및 제어 방법
KR102360176B1 (ko) * 2014-03-21 2022-02-09 삼성전자주식회사 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017118241A (ja) * 2015-12-22 2017-06-29 西日本電信電話株式会社 音声映像通信システム、サーバ、仮想クライアント、音声映像通信方法、および音声映像通信プログラム

Also Published As

Publication number Publication date
KR20190035373A (ko) 2019-04-03
WO2019066133A1 (ko) 2019-04-04

Similar Documents

Publication Publication Date Title
US11895391B2 (en) Capturing and displaying images with multiple focal planes
JP5784818B2 (ja) 拡張現実システムにおける実世界表面への仮想画像のアンカリング
US9535516B2 (en) System for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
US10114543B2 (en) Gestures for sharing data between devices in close physical proximity
KR102077665B1 (ko) 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법
WO2022062808A1 (zh) 头像生成方法及设备
AU2011219427A1 (en) A system for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
US20190096130A1 (en) Virtual mobile terminal implementing system in mixed reality and control method thereof
US20170089736A1 (en) Integrated optical encoder module
Zhang et al. Development of a haptic video chat system
KR20180097031A (ko) 휴대 단말 장치와 프로젝션 장치를 포함하는 증강 현실 시스템
US20230377223A1 (en) Hand-tracked text selection and modification
US20230394770A1 (en) Input modalities for ar wearable devices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant