KR101720132B1 - 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 방법 및 그 시스템 - Google Patents

측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 방법 및 그 시스템 Download PDF

Info

Publication number
KR101720132B1
KR101720132B1 KR1020160031859A KR20160031859A KR101720132B1 KR 101720132 B1 KR101720132 B1 KR 101720132B1 KR 1020160031859 A KR1020160031859 A KR 1020160031859A KR 20160031859 A KR20160031859 A KR 20160031859A KR 101720132 B1 KR101720132 B1 KR 101720132B1
Authority
KR
South Korea
Prior art keywords
matching
information
server
virtual object
image
Prior art date
Application number
KR1020160031859A
Other languages
English (en)
Inventor
박영봉
박용석
Original Assignee
주식회사 엔토소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엔토소프트 filed Critical 주식회사 엔토소프트
Priority to KR1020160031859A priority Critical patent/KR101720132B1/ko
Application granted granted Critical
Publication of KR101720132B1 publication Critical patent/KR101720132B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6181—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via a mobile phone network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H04N13/0007—
    • H04N13/004—

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Resources & Organizations (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 방법 및 그 시스템에 관한 것이다.
보다 구체적으로 본 발명의 일실시예에 따르면, 데이터 송수신이 가능한 태그 장치가 결합된 하나 이상의 모바일 장치, 상기 태그 장치가 바라보는 특정 방향을 나타내는 대향 정보 및 상기 태그 장치의 위치 정보를 측정하는 측위 서버 및 상기 측정된 대향 정보 및 위치 정보를 상기 측위 서버로부터 수신하고 이를 기반으로 가상 객체의 정합 방향 및 정합 위치 값을 결정하여 상기 하나 이상의 모바일 장치 각각에 전송하는 통신 서버를 포함하되, 상기 하나 이상의 모바일 장치 각각은, 상기 가상 객체의 정합 방향 및정합 위치 값을 기반으로 하여 상기 가상 객체를 현실 영상에 정합하고, 상기 정합에 의해 생성된 증강 영상을 사용자에게 디스플레이 할 수 있다.

Description

측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 방법 및 그 시스템{METHOD AND SYSTEM FOR SHARING SAME AUGMENTED REALITY AMONG MULTIPLE USERS BASED ON POSITIONING INFORMATION}
본 발명은 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 방법 및 그 시스템에 관한 것으로서, 보다 구체적으로는 사용자의 위치와 시선 방향을 측정할 수 있도록 하는 측위 서버, 사용자에게 증강 현실 영상을 생성하여 제공하는 모바일 장치 및 통신을 담당하는 서버장치를 이용하여 복수의 사용자 간 동일한 증강 현실 영상이 각자의 시점에서 공유될 수 있도록 하는 방법 및 그 시스템에 관한 것이다.
최근 들어, 영상 분야의 비약적인 발전으로 인해 다양한 영상 기술이 개발 및 응용되고 있으며, 특히, 가상 현실 영상 또는 증강 현실 영상을 생성하고, 상기 생성된 가상 현실 영상 또는 증강 현실 영상을 사용자 단말을 통해 재생하는 기술이 등장하고 있다.
여기에서, 가상 현실(Virtual Reality: VR)이라 함은 실제 현실은 아니지만 사용자가 현실과 같은 환경을 3차원적인 시각(Sight)을 통해 경험할 수 있는 시뮬레이션 기술을 의미하며, 증강 현실(Augmented Reality)은 가상현실의 한 분야로서, 실제 환경에 가상 사물을 합성하여 표시함으로써 상기 합성된 가상 사물이 원래의 실제 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.
이 때, 상기 증강 현실은 가상의 공간과 가상의 사물만을 대상으로 하는 기존의 가상 현실과는 달리, 현실 세계의 실제 환경을 기반으로 가상의 사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 사용자에게 제공할 수 있다는 특징을 가지고 있다.
보다 구체적으로, 가상 현실은 사용자로 하여금 가상의 환경에 몰입하게 하므로 사용자가 실제 환경을 볼 수 없는 반면, 증강 현실에서는 실제 환경과 가상의 객체가 혼합된 형태를 나타내기 때문에 사용자는 실제 환경을 볼 수 있다.
이와 같이, 가상 현실은 현실 세계를 다른 가상의 환경으로 대체하여 사용자에게 보여주지만, 증강 현실은 현실 세계 그 자체를 보여주되 상기 현실 세계 위에 가상의 물체를 중첩하고 있으므로, 증강 현실은 가상 현실과 비교할 때 현실 세계를 보충하여 사용자에게 보여준다는 차별성을 가지고 있으며, 가상 현실에 비해 사용자에게 보다 나은 현실감을 제공한다는 특징이 있다.
위와 같은 특징 때문에, 단순히 게임과 같은 분야에만 한정적으로 적용가능한 기존 가상 현실과는 달리, 증강 현실은 다양한 현실 환경에 응용하는 것이 가능하며 특히, 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로서 각광받고 있는 실정이다.
한편, 이와 같은 증강 현실 분야의 최근 이슈 가운데 한 가지는 증강 현실을 활용한 효과적인 공동 작업 환경의 구축에 관한 것이다.
여기에서, 증강 현실을 활용한 공동 작업 환경이란 여러 명의 작업자가 동시에 하나의 증강 현실 작업 공간(또는 플레이 공간)에 위치하되, 상기 여러 명의 작업자 중 특정 작업자와 가상 객체 간의 상호작용 또는 기타 요인에 의해 가상 객체의 상태가 변하는 것을, 모든 작업자가 실시간으로 공유함으로써 공간 내에 있는 모든 작업자 간 협업이 가능한 증강 현실 환경을 말한다.
위와 같은 공동 작업 환경이 효율적으로 구축될 경우, 게임, 공연, 전시 등 작업자 간 협업이 요구되는 다양한 분야에서 활용도가 매우 높을 것이기 때문에, 효율적인 공동 작업 환경의 구축은 증강 현실의 기술 수준을 한 단계 더 높일 것으로 인식 또는 예측되고 있다.
다만, 중요한 것은 증강 현실을 활용한 공동 작업 환경에서 모든 작업자들에게 공유되는 증강 영상을 어떻게 동기화 시킬 것인가인데, 현재 가장 일반적으로 적용되고 있는 영상 분석 및 추적 기법을 이용한 증강 영상 시스템은, 작업자 개인의 카메라 장치에 의해 촬영된 2D(Two Dimensions) 영상을 분석하여 약속된 마커(Marker) 형상 또는 이미지 상의 특징 점을 찾아내고, 이것을 기반으로 가상 객체가 출력될 공간의 위치좌표와 방향 벡터를 역(易)으로 계산하는 방식이다.
이러한 방식은, 작업자 개개인이 자신의 시점에서 물체의 위치와 방향을 계산한다는 점에서 개인간 영상의 편차가 클 수 있다는 단점이 있고, 특정 작업자의 행위에 의해 가상 객체의 상태가 변화 되었을 때, 그 정보를 다른 작업자들에게 실시간으로 공유하기가 쉽지 않다는 구조적 문제가 있으며, 약속된 마커 또는 특징점이 발견되지 않으면 공간상의 위치 결정이 불가능하다는 단점이 있다.
또 다른 방법으로는, 위성 GPS와 다양한 센서를 이용하여 작업자의 위치와 방향을 측정하고, 위도와 경도 정보가 이미 등록되어 있는 목표지점과의 상대적 위치관계를 계산하여 가상 물체가 출력될 3차원 공간 좌표를 찾아내는 위치 기반 추적 방식이 있다.
그러나, GPS를 이용한 위치 기반 추적 방식은 실내에서는 위성 전파를 받을 수 없으므로 그 사용이 불가능하며, 측정 오차가 수 미터 이상 발생할 수 있다는 정밀도 부족의 한계도 가지고 있다.
또한, 이 기법 역시 작업자 개개인이 자신의 시점에서 물체의 위치와 방향을 계산한다는 점에서 개인간 영상의 편차가 클 수 있다는 문제와, 가상 객체의 상태 변화를 실시간으로 공유하기가 쉽지 않다는 구조적 한계를 가지고 있다.
따라서, 위와 같은 문제점을 해결할 수 있도록 공동 작업을 위한 증강 현실 환경을 구축하되 보다 높은 확장성을 갖는 증강 현실 시스템이 필요한 실정이다.
한국공개특허공보 10-2015-0035282 (공개: 2015년04월06일)
본 발명의 목적은, 상기 문제점을 해결할 수 있도록 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 방법을 제공하는데 있다.
본 발명의 다른 목적은, 복수의 사용자 간 증강 영상 편차를 감소시킬 수 있는 증강 현실 영상 공유 방법을 제공하는데 있다.
본 발명의 또 다른 목적은, 특정 작업자의 입력행위 또는 상호작용에 의해 발생된 가상 객체의 상태 변화가 복수의 사용자에게 실시간으로 공유될 수 있는 증강 현실 영상 공유 방법을 제공하는데 있다.
본 발명의 또 다른 목적은, 실내 또는 실외 장소에 상관없이 공동 작업 환경 구축이 가능하고, 위치 측정 오차 정밀도를 높여 세밀한 종류의 작업에 적용 가능한 증강 현실 영상 공유 방법을 제공하는데 있다.
본 발명의 또 다른 목적은, 여러 명의 사용자 간 겹칩이 발생해도 이들 각각을 식별하되 식별된 이들을 동시에 추적하고 관리함으로써 복수의 사용자에 대한 개별 상태 정보를 관리할 수 있는 증강 현실 영상 공유 방법을 제공하는데 있다.
본 발명의 또 다른 목적은, 상기 문제점을 해결할 수 있도록 선술한 방법을 실현시키기 위한 시스템을 제공하는데 있다.
본 발명에서 이루고자 하는 기술적 과제들은 상기 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 문제점을 해결하기 위한 본 발명의 일실시예에 따른 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 시스템은, 데이터 송수신이 가능한 태그 장치가 결합된 하나 이상의 모바일 장치, 상기 태그 장치가 바라보는 특정 방향을 나타내는 대향 정보 및 상기 태그 장치의 위치 정보를 측정하는 측위 서버 및 상기 측정된 대향 정보 및 위치 정보를 상기 측위 서버로부터 수신하고 이를 기반으로 가상 객체의 정합 방향 및 정합 위치 값을 결정하여 상기 하나 이상의 모바일 장치 각각에 전송하는 통신 서버를 포함하되, 상기 하나 이상의 모바일 장치 각각은, 상기 가상 객체의 정합 방향 및정합 위치 값을 기반으로 하여 상기 가상 객체를 현실 영상에 정합(matching)하고, 상기 정합에 의해 생성된 증강 영상을 사용자에게 디스플레이 할 수 있다.
본 발명의 일실시예에 따른 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 시스템은, 상기 태그 장치는 상기 각각의 모바일 장치 내부 또는 외부에 결합되어 있되, 상기 태그 장치가 바라보는 특정 방향은 상기 태그 장치가 결합된 모바일 장치가 바라보는 방향과 동일한 방향일 수 있다.
본 발명의 일실시예에 따른 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 시스템은, 상기 측위 서버는 상기 태그 장치의 식별 정보를 더 측정하되, 상기 측위 서버는 상기 측정된 식별 정보를 기반으로 하여 상기 측정된 대향 정보 및 위치 정보에 대응되는 태그 장치를 구분할 수 있다.
본 발명의 일실시예에 따른 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 시스템은, 상기 식별 정보는 상기 태그 장치에 미리 부여되거나 또는 상기 대향 정보 및 위치 정보 측정 시 상기 측위 서버로부터 발급될 수 있다.
본 발명의 일실시예에 따른 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 시스템은, 상기 측위 서버는 상기 대향 정보 및 위치 정보를 미리 정해진 로컬 좌표 공간 내 상대적인 값으로 측정하며, 상기 로컬 좌표 공간은 상기 측위 서버의 위치를 원점으로 하되, 상기 원점을 기준으로 하여 형성된 세 방향의 직교축을 포함하여 이루어질 수 있다.
본 발명의 일실시예에 따른 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 시스템은, 상기 통신 서버는, 상기 대향 정보 및 위치 정보가 나타내는 로컬 좌표 공간 내 상대적인 값을 기반으로 상기 현실 영상에 정합되는 가상 객체의 정합 방향 및 정합 위치 값을 결정하여 상기 하나 이상의 모바일 장치로 전송할 수 있다.
본 발명의 일실시예에 따른 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 시스템은, 상기 통신 서버는 상기 가상 객체의 변화가 발생하는 경우, 상기 가상 객체의 변화에 대응되도록 상기 가상 객체의 정합 방향 및 정합 위치 값을 변경하여 상기 변경된 가상 객체의 정합 방향 및 정합 위치 값을 상기 하나 이상의 모바일 장치로 전송할 수 있다.
본 발명의 일실시예에 따른 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 시스템은, 상기 가상 객체의 변화가 요구되는 경우는, 적어도 하나 이상의 외부 입력장치로부터 상기 가상 객체의 변화를 요청 하는 입력 메시지를 수신하는 경우, 상기 가상 객체의 변화 요청에 대응되는 사용자의 동작을 감지하는 경우, 상기 가상 객체와 상호 작용이 이루어지는 사용자의 동작을 감지하는 경우 또는 인공지능에 의해 가상 객체의 상태가 변화된 경우를 포함할 수 있다.
본 발명의 일실시예에 따른 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 시스템은, 상기 하나 이상의 모바일 장치 각각은, 상기 변경된 가상 객체의 정합 방향 및 정합 위치 값을 기반으로 하여 상기 가상 객체를 현실 영상에 정합하되, 상기 정합에 의해 생성된 변경 증강 영상을 사용자에게 디스플레이할 수 있다.
상술한 문제점을 해결하기 위한 본 발명의 일실시예에 따른 서버가 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하도록 제어하는 방법은, 제 1 모바일 장치에 결합된 태그 장치의 위치 정보 및 상기 태그 장치가 바라보는 특정 방향을 나타내는 대향 정보를 측정하는 단계 및 상기 위치 정보 및 대향 정보를 기반으로 가상 객체의 정합 방향 및 정합 위치 값을 결정하여 상기 제 1 모바일 장치를 포함하는 적어도 하나 이상의 모바일 장치로 전송하는 단계를 포함하되, 상기 가상 객체의 정합 방향 및 정합 위치 값은, 상기 하나 이상의 모바일 장치의 각 사용자에게 증강 영상이 디스플레이될 수 있도록, 상기 가상 객체를 현실 영상에 정합하여 상기 증강 영상을 생성하는 것에 이용될 수 있다.
상기와 같은 본 발명에 따르면 아래에 기재된 효과를 얻을 수 있다. 다만, 본 발명을 통해 얻을 수 있는 효과는 이에 제한되지 않는다.
첫째, 본 발명에 따르면 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 방법이 제공될 수 있다.
둘째, 본 발명에 따르면 복수의 사용자 간 증강 영상 편차를 감소시킬 수 있는 증강 현실 영상 공유 방법이 제공될 수 있다.
셋째, 본 발명에 따르면, 특정 사용자의 입력행위 또는 상호작용에 의해 발생된 가상 객체의 상태 변화가 복수의 사용자에게 실시간으로 공유될 수 있는 증강 현실 영상 공유 방법이 제공될 수 있다.
넷째, 본 발명에 따르면, 실내 또는 실외 장소에 상관없이 공동 작업 환경 구축이 가능하고, 위치 측정 오차 정밀도를 높여 세밀한 종류의 작업에 적용 가능한 증강 현실 영상 공유 방법이 제공될 수 있다.
다섯째, 본 발명에 따르면, 여러 명의 사용자 간 겹칩이 발생해도 이들 각각을 식별하되 식별된 이들을 동시에 추적하고 관리함으로써 복수의 사용자에 대한 개별 상태 정보를 관리할 수 있는 증강 현실 영상 공유 방법이 제공될 수 있다.
여섯째, 본 발명에 따르면 선술한 방법을 실현시키기 위한 시스템이 제공될 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명이 적용될 수 있는 무선 통신 네트워크 환경을 예시하는 도면이다.
도 2는 본 발명의 일실시예에 따라 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 영상을 공유하는 과정을 설명하기 위한 흐름도를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따라 측위 서버를 중심으로 하여 형성되는 로컬 좌표 공간을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따라 개인별 증강 영상이 생성되는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따라 가상 객체의 변화를 모든 사용자가 공유하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 모바일 장치 및 서버의 구성을 설명하기 위한 블록도이다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.
단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전히 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
몇몇의 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다. 또한, 본 명세서 전체에서 동일한 구성요소에 대해서는 동일한 도면 부호를 사용하여 설명한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "…부" 의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 나아가, "일(a 또는 an)", "하나(one)", 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
아울러, 본 발명의 실시예들에서 사용되는 특정(特定) 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.
도 1은 본 발명이 적용될 수 있는 무선 통신 네트워크 환경을 예시하는 도면이다.
도 1을 참고하면, 본 발명이 적용될 수 있는 무선 통신 네트워크 환경은 하나 이상의 모바일 장치(100-1, 100-2), 측위 서버(200), 통신 서버(300) 및 네트워크(400)로 구성될 수 있다.
다만, 이하에서 언급되는 무선 통신 네트워크 환경은 도 1에 도시된 구성요소들 중 적어도 하나를 포함하나, 반드시 이에 한정되는 것은 아니며, 본 발명이 적용될 수 있는 무선 통신 네트워크 환경에서는 하나 이상의 모바일 장치, 하나 이상의 측위/통신 서버(예를 들어, 중개 서버, 중계 서버 및 클라이언트 서버 등) 및 하나 이상의 네트워크가 존재할 수 있으며, 각각의 장치 간에는 서로 다른 네트워크를 통하여 연결될 수 있다.
본 발명의 일실시예에 있어서, 상기 모바일 장치(100)는 증강 현실 영상 또는 증강 영상(이하, 증강 영상이라 한다.)을 생성할 수 있는 장치를 의미할 수 있으며, 상기 모바일 장치(100)는 상기 생성된 증강 영상을 사용자에게 디스플레이 할 수 있는 장치를 의미할 수 있다.
이 때, 상기 모바일 장치(100)에는 하나 이상의 프로그램(program) 또는 어플리케이션(Application)이 미리 설치되어 있을 수 있으며, 특히 본 발명의 일실시예인 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 방법과 관련된 컴퓨터 프로그램(Computer Program), API(Application Program Interface) 또는 임베디드 소프트웨어(Embaded Software)를 포함하는 어플리케이션이 상기 모바일 장치(100)에 설치되어 있을 수 있다.
또한, 상기 모바일 장치(100)는 상기 모바일 장치가 자체적으로 혹은 상기 설치된 하나 이상의 프로그램 또는 어플리케이션을 통해 증강 영상을 생성할 수 있다.
보다 구체적으로 상기 모바일 장치(100)는 디스플레이부를 통해 표시될 수 있는 현실 영상에, 가상 사물 또는 가상 객체를 실시간으로 정합(matching)함으로서 상기 증강 영상을 생성할 수 있으며, 나아가 현실 영상의 촬영을 수행한 이후, 상기 촬영된 현실 영상에 상기 가상 사물 또는 가상 객체를 정합시켜 상기 증강 영상을 생성할 수도 있다.
다만, 앞서 설명한 증강 영상을 생성하는 방법은 어디까지나 예시일 뿐 현재 개발되었거나 향후 개발될 모든 증강 영상 생성 방법이 포함되는 것으로서 본 발명은 해석될 수 있다.
한편, 상기 모바일 장치(100)에서 생성된 증강 영상 또는 이와 관련된 데이터들은, 앞서 언급한 바와 같이 상기 모바일 장치(100)의 디스플레이부를 통해 표시될 수 있으며, 상기 데이터들은 상기 증강 영상의 표시와 관련된 것일 수 있다.
또한, 상기 모바일 장치(100)는, 예를 들어 오큘러스 리프트, 광학 글라스, 모피어스 등과 같이, 디스플레이부를 통해 증강 영상이 재생될 수 있되 사용자가 신체에 착용한 후 이를 시청할 수 있는 다양한 증강 영상 재생/시청 장치를 포함하는 개념으로 해석될 수 있다.
이 때, 상기 증강 영상이 재생될 수 있는 다양한 장치를 포함하는 상기 모바일 장치(100)는, 사용자에게 다양한 시청각 자극을 제공하기 위한 다양한 입출력부를 추가적으로 더 포함할 수도 있다.
보다 구체적으로, 상기 모바일 장치(100)는 사용자 입력부(예를 들어, 카메라, 키보드, 마우스, 조이스틱, 터치패널 등)와 같은 일반적인 영상, 신호 입력 장치를 포함할 수 있으며, 그 외에도 중력 변화, 가속도 변화 등을 이용하여 사용자가 소정의 신호를 물리적으로 입력할 수 있는 입력부(혹은 센서부) 및 사용자 인터페이스(User Interface)를 통해 소정의 신호를 소프트웨어적으로 입력할 수 있는 입력부 등을 더 포함하여 이루어질 수 있다.
아울러, 상기 모바일 장치(100)에 포함될 수 있는 디스플레이부의 경우, 생성된 증강 영상을 사용자에게 제공할 수 있으며, 그 뿐만 아니라 사용자에게 입체감 있는 증강 영상을 제공하되 현실감 있는 시청각 자극을 제공할 수 있도록, 현재 개발되었거나 향후 개발될 다양한 출력장치(예를 들어, 디스플레이 장치, 음향 장치 등)가 더 포함되어 있을 수 있다.
아울러, 본 발명의 일실시예에 따른 모바일 장치(100)의 일례로는 증강 영상 재생이 가능한 AR(Augmented Reality) 장치, PC(Personal Computer), 노트북 컴퓨터, 태블릿 PC(Tablet Personal Computer), 단말 장치, 휴대폰, 이동 단말, 모바일 단말, 터미널(Terminal), MS(Mobile Station), MSS(Mobile Subscriber Station), SS(Subscriber Station), AMS(Advanced Mobile Station), WT(Wireless terminal), MTC(Machine-Type Communication) 장치, M2M(Machine-to-Machine) 장치, D2D 장치(Device-to-Device) 장치를 포함하는 개념으로 해석될 수 있다.
물론, 앞서 언급한 위 장치들은 어디까지나 예시에 불과할 뿐이며, 본 발명의 모바일 장치(100)는 상술한 예시들 이외에도 현재 개발되어 상용화되었거나 또는 향후 개발될, 데이터 또는 신호 전송이 가능하되 증강 영상을 생성 및/또는 디스플레이 할 수 있는 모든 장치를 포함하는 개념으로 해석되어야 한다.
다음으로 본 발명의 일실시예에 따른 측위 서버(200) 및 통신 서버(300)는, 본 발명이 적용될 수 있는 무선 통신 네트워크 환경을 통해 적어도 하나 이상의 다른 장치와 데이터 송수신이 가능한 객체를 의미할 수 있다.
또한, 상기 측위 서버(200) 및 통신 서버(300)의 경우 설명의 편의를 위해 이하에서는 서로 구분된 다른 객체로서 표현을 하고 있으나, 본 발명의 측위 서버(200) 및 통신 서버(300)는 하나의 서버 객체로 이루어질 수 있고, 상기 하나의 서버가 상기 측위 서버(200) 및 상기 통신 서버(300)의 기능 모두를 수행할 수도 있다.
나아가, 상기 측위 서버(200) 및 상기 통신 서버(300)는 중개 서버, 중계 서버 및/또는 클라이언트 서버의 역할을 함께 수행할 수 있는 서버로서도 해석될 수 있으며, 본 발명에서 상기 측위 서버(200) 및 통신 서버(300) 각각의 역할은 이하 도 2에 대한 설명을 통해 후술하기로 한다.
한편, 상기 측위 서버(200) 및 상기 통신 서버(300)는 클라우드(Cloud) 서버, IMS(IP Multimedia Subsystem) 서버, 텔레포니 어플리케이션(Telephony Application) 서버, IM(Instant Messaging) 서버, MGCF(Media Gateway Control Function) 서버, MSG(Messaging Gateway) 서버, CSCF(Call Session Control Function) 서버 등 현재 개발되었거나 향후 개발될 다양한 서버의 형태로서 구현될 수 있다.
한편, 다시 도 1을 참고하면, 본 발명의 네트워크(400)는 모바일 장치(100), 측위 서버(200) 및 통신 서버(300)가 증강 영상을 생성/표시/공유하는 것과 관련된 데이터를 서로 간 송수신 하기 위해 이용하는 데이터 통신망을 의미하며, 그 종류에는 특별히 제한되지 않는다.
예를 들어, 상기 네트워크(400)는 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스를 제공하는 아이피(IP: Internet Protocol)망 또는 서로 다른 IP 망을 통합한 올 아이피(All IP)망으로 구현될 수도 있다.
또한, 상기 네트워크(400)는 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE(Long Term Evolution) 망을 포함하는 이동통신망, LTE advanced(LTE-A), 5G(Five Generation)를 포함하는 이동통신망, 위성 통신망 및 와이파이(Wi-Fi)망 중 하나 이거나 또는 이들 중 적어도 하나 이상을 결합하여 이루어질 수도 있다.
도 2는 본 발명의 일실시예에 따라 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 영상을 공유하는 과정을 설명하기 위한 흐름도를 나타내는 도면이며, 도 3은 본 발명의 일실시예에 따라 측위 서버를 중심으로 하여 형성되는 로컬 좌표 공간을 설명하기 위한 도면이다.
먼저 도 3을 참고하면, 본 발명의 일실시예에 따라 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 영상을 공유하는 시스템은 모바일 장치(100-1), 태그 장치(10), 측위 서버(200) 및 통신서버장치(300)를 포함하여 이루어질 수 있다.
다만, 이하에서 언급되는 본 발명의 시스템은 도 3에 도시된 구성요소들 중 적어도 하나를 포함하나, 반드시 이에 한정되는 것은 아니며, 본 발명의 시스템에서는 하나 이상의 모바일 장치, 하나 이상의 태그 장치, 하나 이상의 측위 서버 및 하나 이상의 통신 서버 장치가 존재할 수 있으며, 각각의 장치 간에는 서로 다른 네트워크를 통하여 연결될 수 있다.
또한, 본 발명에서, 상기 태그 장치(10)는 데이터 송수신이 가능한 장치로서, 본 발명의 시스템 내에 존재하고 있는 하나 이상의 모바일 장치 각각에 적어도 하나 이상 결합되어 있을 수 있다.
이 때, 상기 태그 장치(10)는 도 3에 도시된 바와 같이 상기 모바일 장치(100-1)의 외부에 결합되어 있을 수 있으나, 이와 달리 상기 모바일 장치(100-1)의 내부에 내장된 형태로 결합되어 있을 수도 있다.
한편, 본 발명의 일실시예에 따라 상기 측위 서버(200)는 상기 모바일 장치(100-1)에 결합된 태그 장치(10)가 바라보는 특정 방향을 나타내는 대향 정보를 측정할 수 있으며, 이와 함께 상기 태그 장치(10)의 위치 정보를 측정할 수 있다. (S201)
따라서, 상기 측위 서버(200)는 상기 태그 장치(10)가 바라보는 특정 방향을 나타내는 대향 정보 및 상기 태그 장치의 위치 정보를 측정하기 위해, 상기 태그 장치(10)에 신호를 전송할 수 있으며, 이 때 상기 신호는 전파, 광파 또는 음파일 수 있으나 이에 제한되지는 않는다.
위와 같이, 상기 측위 서버(200)로부터 전송된 신호를 수신한 상기 태그 장치(10)는, 상기 태그 장치(10)가 바라보는 특정 방향을 나타내는 대향 정보 및 상기 태그 장치의 위치 정보를 상기 측위 서버(200)로 전송할 수 있으며, 이 때, 도 2 내지 도 3에는 도시되어 있지 않으나, 본 발명의 일실시예에 따르면 상기 태그 장치(10)는 상기 대향 정보 및 위치 정보와 함께 태그 장치(10)의 식별 정보를 전송할 수 있다.
여기에서, 상기 태그 장치(10)의 식별 정보는 상기 태그 장치(10)가 다른 태그 장치와 구별될 수 있도록 상기 태그 장치(10)에 부여된 ID(Identifier)를 의미하는 것으로서, 문자, 숫자 등 그 표현 형태는 제한되지 않는다.
또한, 상기 식별 정보는 상기 태그 장치(10)에 미리 발급되어 있을 수도 있으며, 이와는 달리 상기 측위 서버(200)가 상기 대향 정보 및 상기 위치 정보 측정을 위해 상기 태그 장치(10)로 신호를 전송하는 과정에서, 상기 측위 서버(200)에 의해 발급될 수도 있다.
한편, 앞서 언급한 바와 같이 상기 태그 장치(10)는 상기 모바일 장치(100-1)의 내부 또는 외부에 결합되어 있으므로, 상기 태그 장치(10)가 바라보는 특정 방향은 상기 태그 장치(10)가 결합된 모바일 장치(100-1)가 바라보는 방향과 동일한 방향일 수 있다.
따라서, 상기 측위 서버(200)는 태그 장치(10)로부터 수신된 대향 정보, 위치 정보 및 식별 정보를 기반으로 하여, 상기 수신된 대향 정보 및 위치 정보가 어떠한 태그 장치(10)로부터 수신되었는지 여부를 구분할 수 있으며, 나아가 상기 태그 장치(10)가 결합되어 있는 모바일 장치(100-1)에 대한 구분도 가능할 수 있다. 또한, 상기 태그 장치(10)로부터 수신된 대향 정보 및 위치 정보를 기반으로 사용자(또는 모바일 장치)의 시선 방향과 위치를 구체적으로 확인하는 것이 가능할 수 있다.
따라서, 본 발명의 일실시예에 따르면, 하나 이상의 모바일 장치를 동시에 관리해야 하는 상황에서도 각각의 모바일 장치 및/또는 태그 장치에 대한 구분 및 상태 파악(시선 방향 및/또는 위치)이 정확하게 이루어질 수 있으며, 그에 따라 개별적으로 각각의 상태를 관리할 수 있다.
한편, 본 발명의 일실시예에 따르면 상기 측위 서버(200)는 상기 대향 정보 및 위치 정보를 미리 정해진 로컬 좌표 공간 내 상대적인 값으로 측정할 수 있다.
보다 구체적으로, 도 3을 참고하면, 본 발명이 동작하는 시스템 내에서는 상기 측위 서버의 위치를 원점(301)으로 하는 로컬 좌표 공간이 존재할 수 있으며, 상기 로컬 좌표 공간은 상기 측위 서버의 위치를 원점(301)으로 하되, 상기 원점을 기준으로 하여 형성된 세 방향의 직교축(예를 들어, X축(302), Y축(303), Z축(304))을 포함하여 이루어질 수 있다.
앞서 설명한 바와 같이 상기 측위 서버(200)는 상기 대향 정보 및 위치 정보를 상기 로컬 좌표 공간 내 상대적인 값(또는 좌표 값)(305)으로 측정할 수 있으며(예를 들어, (X축 좌표, Y축 좌표, Z축 좌표)), 상기 로컬 좌표 공간 내 상대적인 값으로 측정된 상기 대향 정보 및 위치 정보를 상기 통신 서버(300)로 전송할 수 있다.
즉, 본 발명의 일실시예에 따르면 하나 이상의 모바일 단말 각각에 대한 대향 정보 및 위치 정보를 로컬 좌표 공간 내 상대적인 값으로 측정하고 이를 기반으로 하여 증강 영상을 생성하게 되기 때문에, 각각의 모바일 단말 간 즉, 개인 간 영상 편차를 줄일 수 있다는 장점이 있을 수 있다.
한편, 상기 측위 서버(200)로부터 상기 대향 정보 및 위치 정보를 수신한 통신 서버(300)는, 상기 대향 정보 및 위치 정보가 나타내는 로컬 좌표 공간 내 상대적인 값(305)을 기반으로, 증강 영상 생성에 이용되는 가상 객체의 정합 방향 및 정합 위치 값(또는 좌표 값)을 결정할 수 있다. (S202)
또한, 상기 통신 서버(300)는 상기 결정된 가상 객체의 정합 방향 및 정합 위치 값을 상기 모바일 장치(100-1)를 포함하는 본 발명의 시스템 내 적어도 하나 이상의 모바일 장치 각각에 전송할 수 있다.
상기 통신 서버(300)로부터 상기 가상 객체의 정합 방향 및 정합 위치 값을 수신한 상기 하나 이상의 모바일 장치 각각은, 상기 수신된 가상 객체의 정합 방향 및 정합 위치 값을 기반으로 하여, 가상 객체를 현실 영상에 정합할 수 있으며, 이를 통해 증강 영상을 생성할 수 있다. (S203)
따라서, 본 발명에서는 증강 영상의 생성에 이용되는 가상 객체에 관련된 위치 및 상태 정보 등은 통신 서버(300)에서 관리될 수 있고, 가상 객체를 가시화하여 현실 영상에 정합하기 위한 2D 또는 3D 이미지 정보는 각 모바일 장치(100-1)에서 관리될 수 있다.
한편, 상기 하나 이상의 모바일 장치 각각은 상기 통신 서버(300)로부터 상기 가상 객체의 정합 방향 및 정합 위치 값을 수신하는 경우, 상기 수신된 가상 객체의 정합 방향 및 정합 위치 값을 상기 하나 이상의 모바일 장치 내 가상 객체를 생성하는 모듈로 보낼 수 있으며, 현실 영상이 포함된 레이어와 정합 할 증강 레이어 상에서 이를 상기 가상 객체가 위치할 방향 값 및 위치 값으로 입력할 수 있다.
보다 구체적으로, 상기 모바일 장치 또는 상기 모바일 장치 내 가상 객체를 생성하는 모듈은, 현실 영상 레이어와 정합 할 증강 레이어에 상기 가상 객체를 렌더링 시킬 수 있으며, 이 때 상기 증강 레이어에 상기 가상 객체를 렌더링 하는 경우, 상기 가상 객체의 방향 및 위치를 상기 수신된 정합 방향 및 정합 위치 값을 기반으로 하여 결정할 수 있다.
그 후, 상기 가상 객체가 렌더링 된 증강 레이어를 상기 현실 영상을 포함하는 레이어와 정합함으로써 본 발명의 증강 영상을 생성할 수 있으며, 위와 같은 과정에 따라 생성된 증강 영상은 상기 하나 이상의 모바일 장치 각각의 사용자에게 디스플레이 될 수 있다. (S204)
따라서, 본 발명의 일실시예에 따르면 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 것이 가능할 수 있으며, 이에 따라 각각의 모바일 단말 간 영상 편차를 줄일 수 있다는 장점이 있을 수 있다.
도 4는 본 발명의 일실시예에 따라 개인별 증강 영상이 생성되는 과정을 설명하기 위한 도면이며, 도 5는 본 발명의 일실시예에 따라 가상 객체의 변화를 모든 사용자가 공유하는 과정을 설명하기 위한 도면이다.
이하에서는 앞서 도 2 내지 도 3에서 설명한 내용과 중복되는 범위에서는 그 설명을 생략하거나 간단히 하기로 하고, 앞서 언급한 바와 같이 변화가 반영된 가상 객체의 정합 방향 및 정합 위치 값이 통신 서버의 제어를 통해 하나 이상의 모바일 장치에서 공유되는 과정을 중심으로 설명하기로 한다.
도 4 내지 도 5를 참고하면, 사용자에게 증강 영상이 표시되는 중 특정 사용자의 입력 행위 또는 상호 작용 등에 의해 가상 객체의 상태에 변화가 생기는 경우, 위와 같은 변화가 반영된 가상 객체의 정합 방향 및 정합 위치 값이 통신 서버의 제어를 통해 하나 이상의 모바일 장치에서 공유되는 과정이 도시되어 있다.
앞서 도 2 내지 도 3에서 설명한 과정에 따라, 하나 이상의 모바일 장치에서 증강 영상을 디스플레이 하는 과정에서, 상기 증강 영상을 이루는 가상 객체의 상태에 변화가 일어나는 경우가 발생할 수 있다.
이 때, 위와 같이 가상 객체에 변화가 일어나는 경우는, 적어도 하나 이상의 외부 입력장치로부터 상기 가상 객체의 변화를 요청하는 입력 메시지를 수신하는 경우, 상기 가상 객체의 변화 요청에 대응되는 사용자의 동작을 감지하는 경우, 상기 가상 객체와 상호 작용이 이루어지는 사용자의 동작을 감지하는 경우 또는 인공지능에 의해 가상 객체의 상태가 변화된 경우를 포함할 수 있으나, 이에 제한되지는 않는다.
보다 구체적으로 먼저, 하나 이상의 외부 입력장치로부터 상기 가상 객체의 변화를 요청하는 입력 메시지를 수신하는 경우와 관련, 도 4에 도시된 바와 같이 본 발명의 시스템 내 별도의 입력 시스템이 존재하는 것으로 가정할 경우, 상기 입력 시스템 내 외부 입력장치 등을 통해 공동 작업 환경 내 임의의 사용자가 가상 객체의 상태 변화를 요청하는 지시를 입력하는 경우라고 볼 수 있다.
이 경우 상기 통신 서버는 상기 가상 객체의 상태 변화를 요청하는 지시를 기반으로 가상 객체의 정합 방향 및 정합 위치 값에 변화를 가할 수 있으며, 위와 같이 변화된 가상 객체의 정합 방향 및 정합 위치 값을 하나 이상의 모바일 장치에 공유할 수 있다.
이에 따라 상기 하나 이상의 모바일 장치 각각은, 상기 변화된 가상 객체의 정합 방향 및 정합 위치 값을 기반으로 상기 가상 객체를 현실 영상에 정합하여 변경된 증강 영상을 생성하되, 상기 변경된 증강 영상을 사용자에게 디스플레이 할 수 있으며, 이에 대한 자세한 과정은 앞서 도 2 내지 도 3에서 설명한 바와 같다.
한편, 앞서 언급한 바와 같이 본 발명의 일실시예에 따라 변화가 반영된 가상 객체의 정합 방향 및 정합 위치 값이 통신 서버의 제어를 통해 하나 이상의 모바일 장치에서 공유되면, 가상 객체의 상태 변화를 공동 작업 환경 내 모든 사용자 또는 모바일 장치가 동시에 공유할 수 있으므로, 가상 객체의 상태 변화를 복수의 사용자 간 실시간으로 공유하기가 쉽지 않다는 종래의 구조적 한계를 극복할 수 있다는 장점이 있다.
또한, 상기 통신 서버는 가상 객체의 또 다른 변화 상황 즉, 상기 가상 객체를 변화시켜줄 것을 요청하는 사용자의 입력 등에 대응되는 사용자의 동작을 감지하는 경우 또는 상기 가상 객체와 상호 작용이 이루어지는 사용자의 동작을 감지하는 경우가 발생할 수 있다.
통신 서버가 위와 같은 상황을 감지하게 되면, 앞서 설명한 바와 같이 감지된 동작 내지 상호작용을 기반으로 상기 가상 객체의 정합 방향 및 정합 위치 값에 변화를 가할 수 있으며, 위와 같이 변화된 가상 객체의 정합 방향 및 정합 위치 값을 하나 이상의 모바일 장치에 공유할 수 있다.
이에 따라 각각의 모바일 장치는 상기 변화된 가상 객체의 정합 방향 및 정합 위치 값을 기반으로 상기 가상 객체를 현실 영상에 정합하되, 상기 정합에 의해 생성된 변경 증강 영상을 사용자에게 디스플레이 할 수 있으며, 이 경우 상기 증강 영상 내 가상 객체는 위와 같은 상태 변화가 반영되어 있을 수 있다.
도 6은 본 발명의 일실시예에 따른 모바일 장치 및 서버의 구성을 설명하기 위한 블록도이다.
도 6을 참고하면, 본 발명에서 적용될 수 있는 모바일 장치 및 서버가 도시되어 있으며, 도 6에서는 각각 하나의 모바일 장치 및 하나의 서버 만을 도시하였으나, 상기 서버는 앞서 설명한 측위 서버 및/또는 통신 서버를 포함하는 개념으로 해석될 수 있다.
상기 서버는 유선 또는 무선 접속에 필요한 접속 정보를 송수신할 수 있는 송신부 및 수신부를 포함하는 무선 통신부(Radio Communication unit, 601)와 메모리부(602), 디스플레이부(603) 및 제어부(또는 프로세서, 604)를 포함할 수 있으며, 이는 예시에 불과하며 도 6에 도시된 구성 외 다른 구성을 더 포함할 수 있으며, 이와 달리 도 6에 도시된 구성 중 일부를 생략하여 구현될 수도 있다.
또한, 서버의 신호 처리, 계층 처리 등 모바일 장치(100)와의 데이터 통신에 대한 전반적인 과정은 메모리(602) 및 제어부(604)에 의해 제어되며, 상기 메모리(602), 무선 통신부(601) 및 제어부(604) 간에는 연결 관계가 형성될 수 있다.
서버에 포함된 무선 통신부(601)는 앞서 언급한 바와 같이 송신부 및 수신부를 포함할 수 있으며, 송신부 및 수신부는 모바일 장치(100), 서버 또는 도 6에 도시되어 있지 않으나 외부 입력장치 또는 외부 서버와 데이터 또는 신호를 송신 및 수신하도록 구성될 수 있다.
제어부(604)는 무선 통신부 내 송신부 및 수신부와 기능적으로 연결되어 송신부 및 수신부가 모바일 장치(100) 및 서버 간 데이터 또는 신호를 송수신하는 과정을 제어하도록 구성될 수 있다. 또한, 제어부(604)는 전송할 데이터에 대한 각종 처리를 수행한 후 송신부로 전송할 수 있으며, 그 외 수신부가 수신한 데이터에 대한 처리를 수행할 수 있다.
필요한 경우 제어부(604)는 교환된 데이터에 포함된 정보를 메모리부(602)에 저장할 수도 있다. 이와 같은 구조를 가지고 서버는 앞서의 도 1 내지 도 5에서 설명한 본 발명의 다양한 실시 형태의 방법을 수행할 수 있다.
도 6의 모바일 장치(100)를 참고하면, 상기 모바일 장치(100)의 송신부 및 수신부를 포함하는 무선 통신부(611)는 서버 또는 다른 모바일 장치와 데이터 또는 신호를 송신 및 수신하도록 구성된다.
또한, 모바일 장치(100)의 제어부(614)는 송신부 및 수신부와 기능적으로 연결되어 송신부 및 수신부가 상기 서버 또는 다른 모바일 장치를 포함하는 다른 디바이스들과 데이터 또는 신호를 송수신하는 과정을 제어하도록 구성될 수 있다.
또한, 본 발명에서 모바일 장치(100)는 서버로부터 상기 증강 영상과 관련된 정보 또는 가상 객체의 정합 방향 및 정합 위치 값을 수신하는 경우, 이를 현실 영상이 포함된 레이어와 정합 할 증강 레이어 상에서 상기 가상 객체가 위치할 방향 값 및 위치 값으로 입력할 수 있으며, 그 후 상기 가상 객체가 렌더링 된 증강 레이어를 상기 현실 영상을 포함하는 레이어와 정합함으로써 본 발명의 증강 영상을 생성한 후 디스플레이에 표시할 수 있다. 이를 위해 본 발명의 모바일 장치(100)는 상기 증강 영상을 표시(display)하는 디스플레이부(613)를 상기 사용자 단말(300)의 내부 또는 외부에 포함할 수 있다.
디스플레이부(613)는 모바일 장치(100)에서 처리되는 정보를 표시 출력하며, 구체적으로 무선 접속에 필요한 접속 정보, 증강 영상의 재생에 필요한 정보 등을 UI(User Interface) 또는 GUI(Graphic User Interface) 등으로도 표시할 수 있다.
이외에도 디스플레이부(613)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수도 있으며, 구현 형태에 따라 디스플레이부가 2개 이상 존재할 수도 있다. 예를 들어, 모바일 장치(100)에는 외부 디스플레이부와 내부 디스플레이부가 동시에 구비될 수 있다.
한편, 제어부(614)는 전송할 데이터 또는 신호에 대한 각종 처리를 수행한 후 송신부로 전송할 수 있으며, 그 외에 수신부가 수신한 데이터 또는 신호에 대한 처리를 수행할 수 있다.
필요한 경우 제어부(614)는 교환된 데이터에 포함된 정보를 메모리부(613)에 저장할 수도 있다.
모바일 장치(100) 및 서버의 제어부(604, 614)는 모바일 장치(100) 및 서버의 동작들을 지시(예를 들어, 제어, 조정, 관리 등)할 수 있으며, 각각의 제어부들(604, 614)은 프로그램 코드들 및 데이터를 저장하는 것이 가능한 메모리(602, 612)들과도 연결될 수 있다.
메모리(602, 612)는 제어부(604, 614)에 연결되어 오퍼레이팅 시스템(operating system), 어플리케이션, 및 일반 파일(general files)들을 저장할 수 있다.
본 발명의 제어부(604, 614)는 프로세서(Processor), 컨트롤러(controller), 마이크로 컨트롤러(microcontroller), 마이크로 프로세서(microprocessor), 마이크로 컴퓨터(microcomputer) 등으로도 호칭될 수 있다. 한편, 제어부는(604, 614)는 하드웨어(hardware) 또는 펌웨어(firmware), 소프트웨어, 또는 이들의 결합에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리(602, 612)에 저장되어 제어부(604, 614)에 의해 구동될 수 있다. 메모리는 상기 모바일 장치(100) 및 서버 내부 또는 외부에 위치할 수 있으며, 이미 공지된 다양한 수단에 의해 상기 제어부(604, 614)와 데이터를 주고 받을 수 있다.
한편, 상술한 방법은, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 코드를 저장하는 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함한다.
본원 발명의 실시예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 방법들은 한정적인 관점이 아닌 설명적 관점에서 고려되어야 한다. 본 발명의 범위는 발명의 상세한 설명이 아닌 특허청구 범위에 나타나며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명인 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 방법 및 그 시스템은 증강 현실 영상 공유를 위한 다양한 방법에 적용하는 것이 가능하다.
100-1: 모바일 장치 100-2: 모바일 장치
200: 측위 서버 300: 통신 서버
400: 네트워크 601, 611: 무선통신부
602, 612: 메모리부 603, 613: 디스플레이부
604, 614: 제어부

Claims (10)

  1. 데이터 송수신이 가능한 태그 장치가 결합된 하나 이상의 모바일 장치;
    상기 태그 장치가 바라보는 특정 방향을 나타내는 대향 정보 및 상기 태그 장치의 위치 정보를 측정하는 측위 서버; 및
    상기 측정된 대향 정보 및 위치 정보를 상기 측위 서버로부터 수신하고 이를 기반으로 가상 객체의 정합 방향 및 정합 위치 값을 결정하여 상기 하나 이상의 모바일 장치 각각에 전송하는 통신 서버를 포함하고,
    상기 측위 서버는 상기 대향 정보 및 위치 정보를 미리 정해진 로컬 좌표 공간 내 상대적인 값으로 측정하여 상기 통신 서버로 전송하며,
    상기 로컬 좌표 공간은 상기 측위 서버의 위치를 원점으로 하되 상기 원점을 기준으로 하여 형성된 세 방향의 직교축을 포함하여 이루어지고, 상기 측위 서버 및 상기 하나 이상의 모바일 장치 모두는 상기 로컬 좌표 공간 내에 위치하며,
    상기 통신 서버는 상기 측위 서버로부터 수신된 상기 대향 정보 및 위치 정보 상대적인 값을 기반으로 상기 로컬 좌표 공간 내에서 가상 객체의 정합 방향 및 정합 위치 값을 결정하여 상기 하나 이상의 모바일 장치로 전송하며,
    상기 하나 이상의 모바일 장치 각각은 상기 통신 서버로부터 수신된 상기 가상 객체의 정합 방향 및 정합 위치 값을 기반으로 상기 가상 객체를 포함하는 증강 레이어 및 현실 영상을 포함하는 현실 영상 레이어를 랜더링하며, 상기 가상 객체가 포함된 증강 레이어와 상기 현실 영상 레이어를 정합함으로써 상기 가상 객체를 현실 영상에 정합하고, 상기 정합에 의해 생성된 증강 영상을 사용자에게 디스플레이하고,
    상기 로컬 좌표 공간내에서 상기 가상 객체에 변화가 발생하는 경우, 상기 통신 서버는 상기 가상 객체의 변화에 대응되도록 상기 로컬 좌표 공간내에서 상기 가상 객체의 정합 방향 및 정합 위치 값을 변경하여 상기 하나 이상의 모바일 장치로 전송하는, 증강 현실 영상 공유 시스템.
  2. 제 1 항에 있어서,
    상기 태그 장치는 상기 각각의 모바일 장치 내부 또는 외부에 결합되어 있되, 상기 태그 장치가 바라보는 특정 방향은 상기 태그 장치가 결합된 모바일 장치가 바라보는 방향과 동일한 방향인 것을 특징으로 하는, 증강 현실 영상 공유 시스템.
  3. 제 1 항에 있어서,
    상기 측위 서버는 상기 태그 장치의 식별 정보를 더 측정하되,
    상기 측위 서버는 상기 측정된 식별 정보를 기반으로 하여 상기 측정된 대향 정보 및 위치 정보에 대응되는 태그 장치를 구분하는 것을 특징으로 하는, 증강 현실 영상 공유 시스템.
  4. 제 3 항에 있어서,
    상기 식별 정보는 상기 태그 장치에 미리 부여되거나 또는 상기 대향 정보 및 위치 정보 측정 시 상기 측위 서버로부터 발급되는 것을 특징으로 하는, 증강 현실 영상 공유 시스템.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제 1 항에 있어서, 상기 가상 객체에 발생 된 변화는,
    적어도 하나 이상의 외부 입력장치로부터 상기 가상 객체의 변화를 요청하는 입력 메시지를 수신하는 경우, 상기 가상 객체의 변화 요청에 대응되는 사용자의 동작을 감지하는 경우, 상기 가상 객체와 상호 작용이 이루어지는 사용자의 동작을 감지하는 경우 또는 인공지능에 의해 가상 객체의 상태가 변화된 경우를 포함하여 이루어지는 것을 특징으로 하는, 증강 현실 영상 공유 시스템.
  9. 제 8 항에 있어서,
    상기 하나 이상의 모바일 장치 각각은, 상기 변경된 가상 객체의 정합 방향 및 정합 위치 값을 기반으로 하여 상기 가상 객체를 현실 영상에 정합하되, 상기 정합에 의해 생성된 변경 증강 영상을 사용자에게 디스플레이하는 것을 특징으로 하는, 증강 현실 영상 공유 시스템.
  10. 삭제
KR1020160031859A 2016-03-17 2016-03-17 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 방법 및 그 시스템 KR101720132B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160031859A KR101720132B1 (ko) 2016-03-17 2016-03-17 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160031859A KR101720132B1 (ko) 2016-03-17 2016-03-17 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 방법 및 그 시스템

Publications (1)

Publication Number Publication Date
KR101720132B1 true KR101720132B1 (ko) 2017-03-27

Family

ID=58496918

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160031859A KR101720132B1 (ko) 2016-03-17 2016-03-17 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR101720132B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958491A (zh) * 2017-12-06 2018-04-24 河南省水利勘测设计研究有限公司 移动增强现实虚拟坐标与施工现场坐标匹配方法
KR101948792B1 (ko) * 2018-05-14 2019-02-15 (주)제타럭스시스템 증강 현실을 이용한 무인 항공기 운용 방법 및 장치
KR101932007B1 (ko) * 2017-12-15 2019-03-15 네이버랩스 주식회사 공간 메시징과 컨텐츠 공유를 위한 방법 및 그 시스템
WO2020101197A1 (ko) * 2018-11-15 2020-05-22 유엔젤주식회사 증강현실 콘텐츠 공유 방법 및 시스템
KR20210010083A (ko) * 2019-07-19 2021-01-27 주식회사 엘지유플러스 클라우드 서버 기반 증강현실 서비스 제공 방법, 이를 이용한 단말 및 클라우드 서버
KR20210064697A (ko) * 2019-11-26 2021-06-03 황영진 신호지연을 보정한 공간 공유 혼합 현실 교육 시스템
KR20210064692A (ko) * 2019-11-26 2021-06-03 황영진 신호지연을 보정한 공간 공유 혼합 현실 시스템
WO2021172872A1 (en) * 2020-02-24 2021-09-02 Samsung Electronics Co., Ltd. Method and apparatus for transmitting video content using edge computing service
JP2022509640A (ja) * 2018-11-30 2022-01-21 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー 疎結合されたリローカライゼーションサービスおよびアセット管理サービスを介して人工環境内でデジタルアセットを提示するためのシステムおよび方法
US11373340B2 (en) 2018-11-23 2022-06-28 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof
US11798274B2 (en) 2017-12-18 2023-10-24 Naver Labs Corporation Method and system for crowdsourcing geofencing-based content

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100014198A (ko) * 2008-07-31 2010-02-10 (주)지아트 증강 현실 환경에서의 3차원 모델 객체 저작 방법 및 시스템
JP2012137296A (ja) * 2010-12-24 2012-07-19 Hitachi Ltd 携帯端末の測位方法
KR20130136569A (ko) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템
KR20150035282A (ko) 2013-09-27 2015-04-06 한국과학기술연구원 증강현실 컨텐츠 저작 및 제공 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100014198A (ko) * 2008-07-31 2010-02-10 (주)지아트 증강 현실 환경에서의 3차원 모델 객체 저작 방법 및 시스템
JP2012137296A (ja) * 2010-12-24 2012-07-19 Hitachi Ltd 携帯端末の測位方法
KR20130136569A (ko) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템
KR20160017130A (ko) * 2011-03-29 2016-02-15 퀄컴 인코포레이티드 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템
KR20150035282A (ko) 2013-09-27 2015-04-06 한국과학기술연구원 증강현실 컨텐츠 저작 및 제공 시스템

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958491A (zh) * 2017-12-06 2018-04-24 河南省水利勘测设计研究有限公司 移动增强现实虚拟坐标与施工现场坐标匹配方法
CN107958491B (zh) * 2017-12-06 2021-05-14 河南省水利勘测设计研究有限公司 移动增强现实虚拟坐标与施工现场坐标匹配方法
KR101932007B1 (ko) * 2017-12-15 2019-03-15 네이버랩스 주식회사 공간 메시징과 컨텐츠 공유를 위한 방법 및 그 시스템
WO2019117583A1 (ko) * 2017-12-15 2019-06-20 네이버랩스 주식회사 공간 메시징과 컨텐츠 공유를 위한 방법 및 그 시스템
US11798274B2 (en) 2017-12-18 2023-10-24 Naver Labs Corporation Method and system for crowdsourcing geofencing-based content
KR101948792B1 (ko) * 2018-05-14 2019-02-15 (주)제타럭스시스템 증강 현실을 이용한 무인 항공기 운용 방법 및 장치
WO2020101197A1 (ko) * 2018-11-15 2020-05-22 유엔젤주식회사 증강현실 콘텐츠 공유 방법 및 시스템
US11373340B2 (en) 2018-11-23 2022-06-28 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof
JP2022509640A (ja) * 2018-11-30 2022-01-21 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー 疎結合されたリローカライゼーションサービスおよびアセット管理サービスを介して人工環境内でデジタルアセットを提示するためのシステムおよび方法
US11715269B1 (en) 2018-11-30 2023-08-01 Meta Platforms Technologies, Llc Systems and methods for presenting digital assets within artificial environments via a loosely coupled relocalization service and asset management service
JP7355821B2 (ja) 2018-11-30 2023-10-03 メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー 疎結合されたリローカライゼーションサービスおよびアセット管理サービスを介して人工環境内でデジタルアセットを提示するためのシステムおよび方法
KR102288323B1 (ko) * 2019-07-19 2021-08-10 주식회사 엘지유플러스 클라우드 서버 기반 증강현실 서비스 제공 방법, 이를 이용한 단말 및 클라우드 서버
KR20210010083A (ko) * 2019-07-19 2021-01-27 주식회사 엘지유플러스 클라우드 서버 기반 증강현실 서비스 제공 방법, 이를 이용한 단말 및 클라우드 서버
KR102299174B1 (ko) * 2019-11-26 2021-09-06 황영진 신호지연을 보정한 공간 공유 혼합 현실 시스템
KR20210064692A (ko) * 2019-11-26 2021-06-03 황영진 신호지연을 보정한 공간 공유 혼합 현실 시스템
KR102391539B1 (ko) * 2019-11-26 2022-04-26 황영진 신호지연을 보정한 공간 공유 혼합 현실 교육 시스템
KR20210064697A (ko) * 2019-11-26 2021-06-03 황영진 신호지연을 보정한 공간 공유 혼합 현실 교육 시스템
WO2021172872A1 (en) * 2020-02-24 2021-09-02 Samsung Electronics Co., Ltd. Method and apparatus for transmitting video content using edge computing service
US11570486B2 (en) 2020-02-24 2023-01-31 Samsung Electronics Co., Ltd. Method and apparatus for transmitting video content using edge computing service

Similar Documents

Publication Publication Date Title
KR101720132B1 (ko) 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 방법 및 그 시스템
US10631131B2 (en) Virtual reality and augmented reality functionality for mobile devices
US20210233272A1 (en) Data processing method and device used in virtual scenario
TWI675351B (zh) 基於擴增實境的使用者位置定位方法及裝置
WO2022088918A1 (zh) 虚拟图像的显示方法、装置、电子设备及存储介质
US10368212B2 (en) Method and apparatus for providing augmented reality services
US20160203643A1 (en) Exhibition guide apparatus, exhibition media display apparatus, mobile terminal and method for guiding exhibition
EP2974509B1 (en) Personal information communicator
KR20230006040A (ko) 표면 인식 렌즈
US9838995B2 (en) System and method for small cell based augmented reality
US9310902B2 (en) Digital signs
KR101600038B1 (ko) 소셜 증강현실 서비스 시스템 및 방법
WO2014114144A1 (en) Method, server and terminal for information interaction
KR20120066375A (ko) 증강 현실을 이용한 무선 네트워크 정보 제공 장치 및 방법
JP2019036953A (ja) 映像通話を利用した道案内方法およびシステム
US20190266793A1 (en) Apparatus, systems, and methods for tagging building features in a 3d space
US20150113567A1 (en) Method and apparatus for a context aware remote controller application
KR20150129592A (ko) 이동 단말기 및 이동 단말기의 제어방법
CN110944140A (zh) 远程展示方法、远程展示系统、电子装置、存储介质
WO2014125134A1 (es) Método para la representación de entornos virtuales localizados geográficamente y dispositivo móvil
US11388205B2 (en) Systems and methods for establishing a shared augmented reality session
KR101525936B1 (ko) 소셜 네트워크 환경에서 증강현실 서비스를 제공하는 장치 및 방법
KR101964661B1 (ko) 트래픽 감소를 위한 ｖｒ 영상의 공유 시스템
US8755819B1 (en) Device location determination using images
KR102207566B1 (ko) 증강현실을 이용한 위치기반 소셜 네트워크 서비스 제공 시스템

Legal Events

Date Code Title Description
GRNT Written decision to grant