KR101729923B1 - 스크린 영상과 증강현실 영상을 이용한 입체영상 구현 방법 및 이를 실행하는 서버 및 시스템 - Google Patents

스크린 영상과 증강현실 영상을 이용한 입체영상 구현 방법 및 이를 실행하는 서버 및 시스템 Download PDF

Info

Publication number
KR101729923B1
KR101729923B1 KR1020160079144A KR20160079144A KR101729923B1 KR 101729923 B1 KR101729923 B1 KR 101729923B1 KR 1020160079144 A KR1020160079144 A KR 1020160079144A KR 20160079144 A KR20160079144 A KR 20160079144A KR 101729923 B1 KR101729923 B1 KR 101729923B1
Authority
KR
South Korea
Prior art keywords
virtual object
image
screen
augmented reality
space
Prior art date
Application number
KR1020160079144A
Other languages
English (en)
Inventor
박영봉
박용석
Original Assignee
주식회사 엔토소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엔토소프트 filed Critical 주식회사 엔토소프트
Priority to KR1020160079144A priority Critical patent/KR101729923B1/ko
Priority to PCT/KR2016/010797 priority patent/WO2017217595A1/ko
Application granted granted Critical
Publication of KR101729923B1 publication Critical patent/KR101729923B1/ko

Links

Images

Classifications

    • H04N13/0014—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G06K19/0723—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips the record carrier comprising an arrangement for non-contact communication, e.g. wireless communication circuits on transponder cards, non-contact smart cards or RFIDs
    • H04N13/0051—
    • H04N13/0429—
    • H04N13/0459—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

스크린 영상과 증강현실 영상을 이용한 입체영상 구현 방법, 서버 및 시스템이 개시된다. 본 발명의 다양한 실시예에 따른 입체영상 구현 서버는 스크린을 포함하는 공간을 통해 입체영상을 구현하기 위한 입체영상 구현 서버로서, 상기 공간상에 설정된 가상 오브젝트의 위치를 확인하는 가상 오브젝트 관리부; 상기 가상 오브젝트가 스크린 영상으로 출력되도록 확인된 경우, 상기 스크린에 상기 가상 오브젝트를 스크린 영상으로 출력하는 스크린 영상 출력부; 상기 가상 오브젝트가 증강현실 영상으로 출력되도록 확인된 경우, 상기 공간에서 상기 가상 오브젝트를 증강현실 영상으로 출력하는 증강현실 영상 출력부; 및 상기 공간에서의 임의의 지점, 상기 스크린 및 상기 가상 오브젝트의 위치를 기반으로 상기 가상 오브젝트를 상기 스크린 영상 출력부 또는 상기 증강현실 영상 출력부 중 어느 하나를 통해 출력하도록 하는 출력 제어부를 포함할 수 있다.

Description

스크린 영상과 증강현실 영상을 이용한 입체영상 구현 방법 및 이를 실행하는 서버 및 시스템{METHOD FOR IMPLEMENTING 3D IMAGE USING SCREEN IMAGE AND AUGMENTED REALITY IMAGE AND SERVER AND SYSTEM IMPLEMENTING THE SAME}
본 발명의 다양한 실시예들은 스크린 영상과 증강현실 영상을 이용한 입체영상 구현 방법, 서버 및 시스템에 관한 것으로서, 보다 구체적으로 가상 오브젝트의 상대적인 위치를 기반으로 입체영상을 구현하는 기술에 관한 것이다.
기존 빔 프로젝트를 이용하여 입체 영상을 구현하기 위한 방법으로는 편광 현상을 이용하여 관찰자의 양쪽 눈이 각각 다른 영상을 보도록 유도함으로써 미소한 입체감을 주거나 관찰자의 시점에서 비스듬하게 객체들을 연출하는 방식이 주로 이용되었다.
최근에는 사용자 시점에서 가상의 입체영상을 구현하기 위한 증강현실(Augmented Reality, AR) 기술이 보급되고 있다. 이러한 증강현실 기술은 현실의 이미지나 배경에 3차원의 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술을 말한다.
이러한 증강현실 기술의 도입에 따라 관련 전자 기기도 점차 양산되고 있는 실정이다. 예를 들어, 깊이를 가진 입체영상을 보는 것이 가능한 헤드 마운트 디스플레이(Head Mounted Display, HMD) 또는 스마트 글라스(예: 구글 글라스™) 등이 점차 시장에 도입되고 있다.
한편, 증강현실 기술을 구현하는 예시적인 방법으로 촬영된 영상을 분석하여 출력될 물체의 공간 위치를 역으로 계산하는 영상분석(추적) 방식과, 가상 이미지가 출력될 위치를 좌표로 지정하여 직접 출력해주는 위치기반 방식 등이 있다.
한국 공개특허공보 제10-2011-0134710호
종래의 빔프로젝트만을 이용하여 입체 영상을 구현하는 방식은 스크린을 벗어난 물체에 대하여 영상으로 표현하는 것이 불가능하다는 문제점이 있었다.
또한, 증강현실 기술 중 종래의 영상분석 방식은 촬영된 영상에 포함된 마커를 분석해야 하므로 리소스 및 연산량이 커진다. 즉, 영상을 분석하는 기기에서 복잡한 연산에 따른 처리 지연 및 발열 현상이 빈번하게 발생될 수 있다.
또한, 증강현실 기술 중 종래의 위치기반 방식은 GPS 신호 등을 이용하여 증강현실 기기의 위치를 확인하는 방식을 주로 이용하는데, 이러한 방식은 실내 등과 같이 GPS 신호를 수신하기 어려운 곳에서는 위치 확인 과정에서 오류가 발생하며, 정교한 위치 표현이 어렵다는 문제점이 있었다.
본 발명의 다양한 실시예들은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 증강현실 영상과 스크린 영상을 이용하여 스크린을 벗어난 물체까지 입체 영상으로 표현할 수 있는 입체영상 구현 방법 및 시스템을 제공하는데 그 목적이 있다.
또한, 본 발명의 다양한 실시예들은 GPS 신호 또는 마커를 이용하지 않고 증강현실 기기의 방향과 위치 정보를 기반으로 효율적으로 증강현실 영상을 구현하는데 그 목적이 있다.
본 발명의 다양한 실시예에 따른 입체영상 구현 서버는 스크린을 포함하는 공간을 통해 입체영상을 구현하기 위한 입체영상 구현 서버로서, 상기 공간상에 설정된 가상 오브젝트의 위치를 확인하는 가상 오브젝트 관리부; 상기 가상 오브젝트가 스크린 영상으로 출력되도록 확인된 경우, 상기 스크린에 상기 가상 오브젝트를 스크린 영상으로 출력하는 스크린 영상 출력부; 상기 가상 오브젝트가 증강현실 영상으로 출력되도록 확인된 경우, 상기 공간에서 상기 가상 오브젝트를 증강현실 영상으로 출력하는 증강현실 영상 출력부; 및 상기 공간에서의 임의의 지점, 상기 스크린 및 상기 가상 오브젝트의 위치를 기반으로 상기 가상 오브젝트를 상기 스크린 영상 출력부 또는 상기 증강현실 영상 출력부 중 어느 하나를 통해 출력하도록 하는 출력 제어부를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 입체영상 구현 서버에서, 상기 출력 제어부는, 상기 공간에서 상기 가상 오브젝트가 상기 스크린을 기준으로 상기 임의의 지점 쪽에 위치한 경우, 상기 가상 오브젝트를 상기 증강현실 영상 출력부를 통해 증강현실 영상으로 출력하고, 상기 공간에서 상기 가상 오브젝트가 상기 스크린을 기준으로 상기 임의의 지점과 반대쪽에 위치한 경우, 상기 가상 오브젝트를 상기 스크린 영상 출력부를 통해 스크린 영상으로 출력할 수 있다.
본 발명의 다양한 실시예에 따른 입체영상 구현 서버에서, 상기 스크린이 서클 스크린 또는 돔형 스크린인 경우, 상기 출력 제어부는, 상기 가상 오브젝트가 상기 스크린의 내부에 위치한 경우, 상기 가상 오브젝트를 상기 증강현실 영상 출력부를 통해 증강현실 영상으로 출력하고, 상기 가상 오브젝트가 상기 스크린의 외부에 위치한 경우, 상기 가상 오브젝트를 상기 스크린 영상 출력부를 통해 스크린 영상으로 출력할 수 있다.
본 발명의 다양한 실시예에 따른 입체영상 구현 시스템은 스크린을 포함하는 공간을 통해 입체영상을 구현하기 위한 입체영상 구현 시스템으로서, 관찰자가 착용하는 증강현실 디스플레이 장치에 부착되거나 상기 증강현실 디스플레이 장치와 연결되는 태그장치; 상기 태그장치로부터 소정 거리 이격된 기준장치; 및 상기 태그장치 및 상기 기준장치와 통신하여 상기 기준장치의 위치를 기준으로 하는 상기 태그장치의 상대적인 위치 정보 및 상기 태그장치가 바라보는 뷰 방향 정보를 수집하고, 상기 태그장치의 위치 정보 및 상기 태그장치의 뷰 방향 정보를 기반으로 상기 증강현실 영상에서 출력될 가상 오브젝트의 위치를 결정하는 입체영상 구현 서버를 포함하고, 상기 입체 영상 구현 서버는 상기 공간상에서 상기 결정된 가상 오브젝트의 위치를 확인하고, 상기 공간에서의 임의의 지점, 상기 스크린 및 상기 가상 오브젝트의 위치를 기반으로 상기 가상 오브젝트를 스크린 영상 또는 증강현실 영상 중 어느 하나로 출력할 수 있다.
본 발명의 다양한 실시예에 따른 입체영상 구현 시스템에서, 상기 입체영상 구현 시스템 또는 상기 기준장치는 상기 태그장치의 위치를 감지하기 위한 안테나 모듈을 포함하고, 상기 안테나 모듈은 각각 다른 높이와 방향을 가지는 3개 이상의 안테나를 포함하며, 각 안테나의 위치는 상기 기준장치를 기준으로 좌표화되어 상기 입체영상 구현 서버에서 인식될 수 있다.
본 발명의 다양한 실시예에 따른 입체영상 구현 시스템에서, 상기 태그장치는 통신모듈 및 센서모듈을 포함하고, 상기 태그장치는 상기 센서모듈을 통해 상기 태그장치가 바라보는 방향을 나타내는 뷰 방향 정보를 생성하고, 생성된 뷰 방향 정보를 상기 통신모듈을 통해 상기 입체영상 구현 서버로 전송할 수 있다.
본 발명의 다양한 실시예에 따른 입체영상 구현 시스템에서, 상기 기준장치 및 상기 태그장치가 복수개인 경우, 상기 입체영상 구현 서버는 복수개의 기준장치들로부터 안테나 모듈의 전파 영역내에 위치한 각 태그장치의 위치 정보를 수집하고, 상기 복수개의 기준장치들 중 어느 하나의 기준장치 또는 임의의 지점을 원점으로 설정하며, 상기 원점에 대한 각 기준장치의 상대적인 좌표들을 제1 가상좌표 정보로서 산정하고, 제1 가상좌표 정보에 대한 상기 각 태그장치의 위치 정보를 제2 가상좌표 정보로서 산정하며, 상기 제2 가상좌표 정보 및 각 태그장치의 뷰 방향 정보를 기반으로 상기 가상 오브젝트의 위치를 결정할 수 있다.
본 발명의 다양한 실시예에 따른 입체영상 구현 방법은 스크린을 포함하는 공간을 통해 입체영상을 구현하기 위한 입체영상 구현 방법으로서, 상기 공간상에 설정된 가상 오브젝트의 위치를 확인하는 단계; 상기 공간에서의 임의의 지점, 상기 스크린 및 상기 가상 오브젝트의 위치를 기반으로 상기 가상 오브젝트를 스크린 영상 또는 증강현실 영상 중 어느 하나로 출력하는 단계를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 입체영상 구현 방법에서, 상기 가상 오브젝트를 스크린 영상 또는 증강현실 영상 중 어느 하나로 출력하는 단계는, 상기 공간에서 상기 가상 오브젝트가 상기 스크린을 기준으로 상기 임의의 지점 쪽에 위치한 경우, 상기 가상 오브젝트를 상기 증강현실 영상으로 출력하는 단계; 및 상기 공간에서 상기 가상 오브젝트가 상기 스크린을 기준으로 상기 임의의 지점과 반대쪽에 위치한 경우, 상기 가상 오브젝트를 상기 증강현실 영상으로 출력하는 단계를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 입체영상 구현 방법에서, 상기 공간상에 설정된 가상 오브젝트의 위치를 확인하는 단계는, 상기 공간에서 관찰자가 착용하는 증강현실 디스플레이 장치에 부착되는 태그장치 및 상기 태그장치로부터 소정 거리 이격된 기준장치와 통신하는 단계; 상기 기준장치의 위치를 기준점으로 하는 상기 태그장치의 상대적인 위치 정보 및 상기 태그장치가 바라보는 뷰 방향 정보를 수집하는 단계; 및 상기 태그장치의 위치 정보 및 상기 태그장치의 뷰 방향 정보를 기반으로 상기 증강현실 영상에서 출력될 가상 오브젝트의 위치를 결정하는 단계를 포함할 수 있다.
본 발명의 다양한 실시예에 따라 증강현실 장치와 빔 프로젝터를 연동하여 입체영상을 구현함에 따라 스크린을 벗어난 물체까지 입체영상으로 표현할 수 있다는 효과가 있다.
또한, 본 발명의 다양한 실시예에 따라 GPS 신호 또는 마커를 사용하지 않고 태그장치의 위치 정보와 뷰 방향 정보를 기반으로 가상 오브젝트의 출력 위치를 지정함으로써 증강현실 영상을 구현하는 처리속도가 향상되고, 처리장치에서의 발열량이 감소하며, 확장될 수 있는 분야가 증가될 수 있다는 효과가 있다.
도 1은 본 발명의 다양한 실시예에 따른 입체영상 구현 시스템의 구성도이다.
도 2 내지 도 4는 본 발명의 다양한 실시예에 따라 입체영상의 구현 원리를 나타내는 예시도이다.
도 5는 본 발명의 다양한 실시예에 따른 입체영상 구현 서버의 블록도이다.
도 6은 본 발명의 다양한 실시예에 따라 입체영상을 구현하는 동작을 나타내는 순서도이다.
도 7은 본 발명의 다양한 실시예에 따라 가상 오브젝트의 출력 위치를 결정하는 동작을 나타내는 순서도이다.
도 8은 본 발명의 다양한 실시예에 따라 가상 오브젝트의 출력 위치를 결정하는 원리를 나타내는 예시도이다.
도 9는 본 발명의 다양한 실시예에 따른 멀티 태그장치/기준장치 방식을 기반으로 가상 오브젝트의 출력 위치를 결정하는 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 문서에서 언급하는 “공간”은 증강현실 기술에서 사용되는 현실 세계의 공간을 의미할 수 있다.
또한, 본 문서에서 언급하는 “가상 공간”은 공간에 출력될 가상 오브젝트의 위치를 결정하기 위한 가상의 좌표 공간 또는 가상의 로컬 좌표 공간일 수 있다.
이하, 첨부 도면을 참조하여 입체영상 구현 시스템(10)에 대해 설명하도록 한다.
도 1은 본 발명의 다양한 실시예에 따른 입체영상 구현 시스템(10)의 구성도이다.
도면에 도시된 바와 같이, 다양한 실시예에 따른 입체영상 구현 시스템(10)은 태그장치(100), 입체영상 구현 서버(200), 기준장치(300) 및 안테나 모듈(400)을 포함할 수 있다.
도 1의 실시예에서는 입체영상 구현 시스템(10)에 가상 오브젝트 랜더링 모듈(500)과 빔 프로젝터(700)는 포함되지 않는 것으로 도시되어 있으나, 이에 한정하는 것은 아니며 다른 실시예에 따라 가상 오브젝트 랜더링 모듈(500) 및/또는 빔 프로젝터(700)가 입체영상 구현 시스템(10)에 포함될 수 있다.
본 발명의 실시예에 따른 입체영상 구현 시스템(10)은 먼저, 입체영상 구현 서버(200)가 태그장치(100), 기준장치(300) 및 안테나 모듈(400)과 통신하여 입체영상에서 출력될 가상 오브젝트의 위치를 결정할 수 있다. 가상 오브젝트의 위치를 결정하는 과정은 후술할 도 7 내지 도 9에서 구체적으로 설명하도록 한다.
그리고, 가상 오브젝트의 위치가 결정되면, 입체영상 구현 서버(200)는 가상 오브젝트의 위치, 스크린(800) 및 공간(예: 로컬 공간)에서의 임의의 지점을 기반으로 해당 가상 오브젝트를 스크린 영상 또는 증강현실 영상 중 어느 하나로 출력할 수 있다.
태그장치(100)는 증강현실 영상에서 가상 오브젝트들을 출력시킬 때 증강현실 관찰자의 시점과 매칭시키기 위한 수단일 수 있다. 즉, 관찰자의 위치와 시선 방향을 도출하기 위해서 본 발명의 다양한 실시예들은 태그장치(100)를 증강현실 디스플레이 장치(600)에 탈/부착하거나 연결할 수 있다. 이를 위해, 태그장치(100)는 증강현실 디스플레이 장치(600)에 부착되거나 연결될 수 있는 연결부를 포함할 수 있다.
태그장치(100)는 제어부(예: 프로세서 등), 저장부(예: 메모리), 유선/무선 통신 모듈(예: RF, 지그비, 적외선, 트랜시버 등) 및 센서 모듈을 포함할 수 있다. 그리고, 태그장치(100)는 통신 모듈을 통해 입체영상 구현 서버(200) 또는 안테나 모듈(400)과 유선/무선 통신을 수행할 수 있다.
다음으로, 입체영상 구현 서버(200)는 가상 오브젝트의 출력 위치를 확인하고, 확인된 가상 오브젝트를 공간 상에서 소정 조건에 따라 증강현실 영상 또는 스크린 영상으로 출력하는 기능을 수행할 수 있다. 이러한 입체영상 구현 서버(200)의 구체적인 구성은 도 5를 통해 구체적으로 설명하도록 한다.
다음으로, 기준장치(300)는 관찰자의 위치와 가상 오브젝트의 출력 위치와의 관계를 계산하기 위한 제3의 기준점으로 사용될 수 있다. 이러한 기준장치(300)는 제어부(예: 프로세서 등), 저장부(예: 메모리) 및 유선/무선 통신 모듈(예: RF, 지그비, 적외선, 트랜시버 등)을 포함할 수 있다. 도 1에서 기준장치(300)와 안테나 모듈(400)이 별도로 도시되어 있으나, 이에 한정하는 것은 아니며 기준장치(300)는 안테나 모듈(400)을 포함하여 구성될 수 있다.
다음으로, 안테나 모듈(400)은 복수의 안테나를 포함할 수 있다. 본 발명의 다양한 실시예에서, 안테나 모듈(400)은 각각 서로 다른 높이와 방향을 가지는 3개 이상의 안테나를 포함할 수 있고, 각 안테나의 위치는 가상 로컬 공간의 기준장치(300)를 기준으로 각각 좌표화되도록 안테나 모듈(400), 기준장치(300) 또는 입체영상 구현 서버(200)에서 미리 설정되거나 저장될 수 있다. 이러한 안테나 모듈(400) 또는 각각의 안테나는 통신 모듈, 프로세서, 메모리 등을 포함할 수 있다.
다음으로, 가상 오브젝트 랜더링 모듈(500)은 가상 오브젝트가 증강현실 영상으로 출력되는 것으로 결정된 경우, 입체영상 구현 서버(200)로부터 수신된 정보를 기반으로 가상 오브젝트를 랜더링할 수 있다.
입체영상 구현 서버(200)로부터 수신된 정보는 예를 들어, 태그장치(100)의 ID 정보, 태그장치(100)의 뷰 방향 정보, 태그장치(100)의 위치 정보 또는 가상 오브젝트의 출력위치 정보를 포함할 수 있다. 이러한 가상 오브젝트 랜더링 모듈(500)은 랜더링된 가상 오브젝트와 관련된 정보를 입체영상 구현 서버(200)의 통신 모듈(210) 또는 자체적으로 내장된 통신 모듈을 통해 증강현실 디스플레이 장치(600)에 전송할 수 있다.
다음으로, 증강현실 디스플레이 장치(600)는 내장된 카메라를 통해 수집된 현실의 영상과 가상 오브젝트 랜더링 모듈(500) 또는 입체영상 구현 서버(200)로부터 수신된 가상 오브젝트를 정합하여 증강현실 영상을 생성할 수 있다. 이러한 증강현실 디스플레이 장치(600)는 스마트폰, 테블릿 등과 같은 단말 또는 스마트 글라스와 같은 웨어러블 장치일 수 있으나 이에 한정하는 것은 아니다. 최종적으로, 관찰자는 증강현실 디스플레이 장치(600)를 착용하여 입체영상을 관찰할 수 있다.
다음으로, 빔 프로젝터(700)는 가상 오브젝트가 스크린 영상으로 출력되는 것으로 결정된 경우, 입체영상 구현 서버(200)로부터 수신된 정보를 기반으로 스크린(800)에 가상 오브젝트의 스크린 영상을 출력시키는 기능을 수행할 수 있다.
다음으로, 스크린(800)은 빔 프로젝터(700)로부터 투사된 영상이 출력되는 장치이다. 다양한 실시예에 따르면, 스크린(800)은 사각 스크린, 서클 스크린 또는 돔형 스크린일 수 있으나 이에 한정하는 것은 아니다.
상기와 같은 구성들에 의해 가상 오브젝트의 위치가 결정되면, 입체영상 구현 시스템(10)은 가상 오브젝트를 스크린 영상 또는 증강현실 영상 중 어느 하나로 출력할 수 있다. 도 2 내지 도 4는 본 발명의 다양한 실시예에 따라 입체영상의 구현 원리를 나타내는 예시도이다. 이러한 도 2 내지 4에서는 입체영상을 구현하기 위한 로컬 공간(Local Space)이 도시된다.
도 2에 도시되는 바와 같이 입체영상 구현 시스템(10) 또는 입체영상 구현 서버(200)는 공간에서 가상의 임의의 지점(o)을 설정할 수 있고, 공간에서 출력될 가상 오브젝트(OB1, OB2)의 위치를 확인할 수 있다.
구체적으로, 도 2에서 입체영상 구현 서버(200)는 스크린(800)을 기준으로 임의의 지점(O)쪽에 위치한 오브젝트(OB2)는 증강현실 영상으로 출력할 수 있고, 스크린(800)을 기준으로 임의의 지점(O)과 반대쪽에 위치한 오브젝트(OB1)는 스크린 영상으로 출력할 수 있다. 이러한 출력 결과는 도 3에 도시된 바와 같이 나타난다.
이에 의해, 입체영상 구현 시스템(10)은 복수의 오브젝트들에 대하여 일부는 스크린 영상으로, 나머지 일부는 증강현실 영상으로 구현함으로써 보다 입체적이고 효율적인 방법의 입체영상을 구현할 수 있다.
또한, 도 4와 같이 스크린(800)이 서클 스크린으로 구현되는 경우 또는 돔형 스크린으로 구현되는 경우가 발생할 수 있다. 이 경우, 입체영상 구현 서버(200)는 스크린(800)을 기준으로 스크린(800)의 내부 공간에 있는 가상 오브젝트(OB2)는 증강현실 영상으로 출력하고, 스크린(800)의 외부 공간에 있는 가상 오브젝트(OB1)는 스크린 영상으로 출력할 수 있다.
도 5는 본 발명의 다양한 실시예에 따른 입체영상 구현 서버(200)의 블록도이다.
도면에 도시되는 바와 같이, 입체영상 구현 서버(200)는 통신 모듈(210), 제어부(220), 가상 오브젝트 관리부(221), 스크린 영상 출력부(223), 증강현실 영상 출력부(225), 출력 제어부(227) 및 저장부(230)를 포함할 수 있다.
통신 모듈(210)은 먼저, 가상 오브젝트의 위치를 확인하기 위해 입체영상 구현 서버(200)를 태그장치(100) 또는 기준장치(300)와 통신연결할 수 있으며, 유선 통신 방식(예: 커넥터, 단자 등) 및/또는 무선 통신 방식(예: RF, 적외선, 지그비, 블루투스 또는 네트워크 등)으로 구성될 수 있다.
또한, 통신 모듈(200)은 가상 오브젝트를 스크린 영상 또는 증강현실 영상으로 출력하기 위해 가상 오브젝트 랜더링 모듈(500) 또는 빔 프로젝터(700)와 연결될 수 있다. 통신 모듈(200)은 유무선 통신 방식 이외에 내부적인 연결 방식(예: 버스)으로 가상 오브젝트 랜더링 모듈(500) 또는 빔 프로젝터(700)와 연결될 수 있다.
다음으로, 제어부(220)는 입체영상 구현 서버(200)의 전원공급 제어 등과 같은 전반적인 동작 및 입체영상 구현 서버(200)의 내부 구성 간의 신호 흐름을 제어하고 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 제어부(220)는 적어도 하나의 프로세서를 포함할 수 있다.
다음으로, 가상 오브젝트 관리부(221)는 로컬 공간에서 출력될 가상 오브젝트의 위치를 결정하는 기능을 수행할 수 있다. 이를 위해, 가상 오브젝트 관리부(221)는 입체영상 구현 시스템(10)에서 가상 오브젝트의 위치를 결정하기 위해 필요한 자료를 통신 모듈(210)을 통해 수집할 수 있다.
이러한 가상 오브젝트 관리부(221)는 태그장치(100)로부터 소정 거리 이격된 기준장치(100)의 위치를 기준점으로 하는 태그장치(100)의 상대적인 위치 정보와 태그장치(100)의 뷰 방향 정보를 수집할 수 있다. 뿐만 아니라, 가상 오브젝트 관리부(221)는 태그장치(100)로부터 태그장치(100)의 식별 정보를 수신할 수 있다.
그러면, 가상 오브젝트 관리부(221)는 태그장치(100)와 관련된 정보들(예: 식별 정보, 위치 정보, 뷰 방향 정보)을 취합할 수 있고, 태그장치(100)의 위치 정보와 뷰 방향 정보를 가상 카메라의 위치와 방향으로 설정할 수 있다. 여기서, 가상 카메라란 가상 오브젝트의 출력 위치를 결정하기 위해 증강현실 영상을 관찰자의 시점에 매핑시키는 가상의 논리적 수단일 수 있다. 예를 들어, 가상 카메라의 뷰 방향 및 위치는 증강현실 디스플레이 장치(600)에 포함된 카메라의 뷰 방향 및 위치와 매칭될 수 있다.
그리고, 가상 오브젝트 관리부(221)는 관찰자의 시선방향과 위치에 매핑된 태그장치(100)의 뷰 방향과 위치에서 가상 오브젝트의 출력 위치(예: 좌표)를 지정할 수 있다. 지정이 완료되면, 가상 오브젝트 관리부(221)는 지정된 가상 오브젝트의 출력 위치 정보를 제어부(220), 출력 제어부(227), 저장부(230) 또는 가상 오브젝트 랜더링 모듈(500)로 전달할 수 있다. 이러한 가상 오브젝트 관리부(221)의 기능수행 내용은 후술할 도 7 내지 도 9에서 추가적으로 설명하도록 한다.
다음으로, 스크린 영상 출력부(223)는 출력 제어부(227)로부터 가상 오브젝트를 스크린 영상으로 출력한다는 판단 신호를 수신할 수 있고, 빔 프로젝터(700)로 해당 가상 오브젝트의 스크린 영상을 전달할 수 있다. 이러한 스크린 영상은 스크린 영상 출력부(223)에서 미리 생성되거나 출력 제어부(227)의 판단 신호를 수신함에 따라 생성될 수 있다. 한정되지 않는 실시예로서, 전술한 도 1과 달리 빔 프로젝터(700)는 스크린 영상 출력부(223)에 포함될 수도 있다.
다음으로, 증강현실 영상 출력부(225)는 출력 제어부(227)로부터 가상 오브젝트를 증강현실 영상으로 출력한다는 판단 신호를 수신할 수 있고, 가상 오브젝트를 증강현실 영상으로 생성하기 위해 필요한 자료를 가상 오브젝트 랜더링 모듈(500)에 전달할 수 있다. 한정되지 않는 실시예로서, 전술한 도 1과 달리 가상 오브젝트 랜더링 모듈(500)은 증강현실 영상 출력부(225)에 포함될 수도 있다.
다음으로, 출력 제어부(227)는 가상 오브젝트의 위치를 확인하고, 설정된 조건에 따라 가상 오브젝트를 스크린 영상 또는 증강현실 영상으로 출력하는 기능을 수행할 수 있다.
다음으로, 저장부(230)는 제어부(220), 입체영상 구현 서버(200) 또는 입체영상 구현 시스템(10)의 다른 구성요소들로부터 수신되거나 생성된 데이터를 저장할 수 있다. 저장부(230)는 예를 들어, 메모리(memory), 캐시(cash), 버퍼(buffer) 등을 포함할 수 있다.
다양한 실시예에 따르면, 저장부(230)는 정보 DB(231) 및 컨텐츠 DB(235)를 포함할 수 있다. 이러한 정보 DB(231) 및 컨텐츠 DB(235)는 저장부(230)상에서 구분되는 것으로 도시되어 있으나, 이에 한정하지 않으며, 하나의 모듈로서 구성될 수도 있다.
정보 DB(231)는 가상 오브젝트 관리부(221)를 통해 수집된 정보들을 저장할 수 있다. 그리고, 정보 DB(231)는 입체영상 구현 서버(200)에서 생성된 가상 오브젝트의 출력위치 정보를 저장할 수 있다. 새로운 정보가 생성/수신됨에 따라, 정보 DB(231)의 기존 정보들은 소정 주기, 임의의 시점 또는 실시간으로 변경되거나 업데이트될 수 있다.
컨텐츠 DB(235)는 입체영상을 구현하는데 필요한 컨텐츠를 저장할 수 있다. 이러한 컨텐츠는 예컨대, 증강현실 영상에 삽입할 적어도 하나의 가상 오브젝트일 수 있으나 이에 한정하는 것은 아니다.
전술한 가상 오브젝트 관리부(221), 스크린 영상 출력부(223), 증강현실 영상 출력부(225) 및 출력 제어부(227)는 입체영상 구현 서버(200)의 제어부(220)의 각 기능을 논리적으로 또는 기능적으로 분류한 구성일 수 있다. 따라서, 가상 오브젝트 관리부(221), 스크린 영상 출력부(223), 증강현실 영상 출력부(225) 및 출력 제어부(227)와 제어부(220)는 하나의 모듈로서 구성될 수도 있다.
또한, 가상 오브젝트 관리부(221), 스크린 영상 출력부(223), 증강현실 영상 출력부(225), 출력 제어부(227) 및 제어부(220)의 기능은 저장부(230, 예: 메모리)에 저장된 루틴, 명령어(instruction) 또는 프로그램의 형태로 구현될 수 있다. 뿐만 아니라, 이러한 루틴, 명령어 또는 프로그램은 컴퓨터로 읽을 수 있는 저장매체에도 저장될 수 있다.
도 6은 본 발명의 다양한 실시예에 따라 입체영상을 구현하는 동작을 나타내는 순서도이다. 도 6에서 설명되는 사항 중 도 1 내지 도 5에서 설명된 내용과 중복된 내용은 생략하도록 한다.
먼저, S610 단계에서, 입체영상 구현 서버(200)는 가상 오브젝트의 위치를 확인할 수 있다. 그리고, S630 단계에서 입체영상 구현 서버(200)는 스크린을 기준으로 가상 오브젝트의 상대적인 위치를 비교할 수 있다. 이 경우, 입체영상 구현 서버(200)는 공간에서의 임의의 지점, 스크린 및 확인된 가상 오브젝트의 위치를 비교할 수 있다.
이어서, S650 단계에서 입체영상 구현 서버(200)는 비교된 결과를 기반으로 가상 오브젝트를 스크린 영상 또는 증강현실 영상 중 어느 하나로 출력할 수 있다. 예를 들어, 입체영상 구현 서버(200)는 가상 오브젝트 랜더링 모듈(500) 또는 빔 프로젝터(700)를 이용하여 증강현실 영상과 스크린 영상을 각각 출력할 수 있다. 이에 의해, S670 단계에서 로컬 공간내에서 스크린 영상과 증강현실 영상이 모두 출력되는 입체영상이 구현될 수 있다.
도 7은 본 발명의 다양한 실시예에 따라 가상 오브젝트의 출력 위치를 결정하는 동작을 나타내는 순서도이다. 이러한 도 7의 동작은 도 6의 610 단계의 구체적인 예시일 수 있으며, 설명의 편의를 위해 도 8을 참조하여 설명하도록 한다. 도 8은 본 발명의 다양한 실시예에 따라 가상 오브젝트의 출력 위치를 결정하는 원리를 나타내는 예시도이다. 또한, 도 8에서 개시되는 로컬 공간은 도 2 내지 도 4에서 개시되는 로컬 공간과 동일한 영역일 수 있으나 이에 한정하는 것은 아니며, 도 2 내지 도 4에서 개시되는 로컬 공간과 별도의 공간으로 정의될 수 있다. 그리고, 도 8에서는 도 2 내지 도 4에서 개시되는 스크린(800)과 임의의 지점(O)에 대한 표시는 생략하도록 한다.
다양한 실시예에 따르면, S710 단계에서, 입체영상 구현 서버(200)는 태그장치의 위치 정보 및 뷰 방향 정보를 수집할 수 있다.
뷰 방향 정보가 수집되기 위해, 태그장치(100)는 센서 모듈을 통해 감지된 정보를 기반으로 태그장치(100)의 뷰 방향 정보를 생성하여 입체영상 구현 서버(200)로 전송할 수 있다. 이러한 뷰 방향 정보는 예컨대, 태그장치(100)가 속한 공간(예: 로컬 공간) 내에서 태그장치(100)가 임의의 방향을 바라보는 방향 벡터값 일 수 있다. 이 경우, 태그장치(100)는 뷰 방향 정보와 함께 또는 독립적으로 태그장치(100)의 식별 정보(예: ID 등)를 입체영상 구현 서버(200)로 전송할 수 있다.
한정되지 않는 예로서, 태그장치(100)의 센서 모듈은 가속도 센서 및 지자기 센서를 포함할 수 있고, 이를 기반으로 태그장치(100)가 바라보는 방향 정보인 뷰 방향 정보를 생성할 수 있다.
구체적으로, 태그장치(100)는 가속도 센서를 이용하여 중력방향을 확인하고, 지자기 센서를 이용하여 정북방향(지구북쪽 방향)을 확인할 수 있다. 두 방향축을 이용하여 외적을 구하면 측면 방향의 직교측을 구할 수 있고, 이와 같은 방식으로 지구의 절대축 방향을 구할 수 있다. 그리고, 절대축을 기준으로 태그 장치의 방향을 구할 수 있다.
태그장치(100)를 카메라가 포함된 증강현실 디스플레이 장치(600)에 부착하여 사용하게 되면 증강현실 디스플레이 장치(600)의 카메라가 바라보는 방향과 태그장치(100)의 뷰 방향이 일치하므로, 이러한 태그장치(100)의 뷰 방향 정보를 관찰자의 시선 방향으로 활용할 수 있다. 또한, 뷰 방향을 정확히 파악하기 위해, 태그장치(100)의 정면과 후면 중 어느 한면이 뷰 방향으로 설정할 수 있도록 태그장치(100)에서 미리 정의될 수 있다.
다음으로, 태그장치(100)의 위치정보가 수집되기 위해, 기준장치(300)는 안테나 모듈(400)로부터 수신된 태그장치(100)의 위치 정보(예: 소정 영역 내에서의 좌표)를 입체영상 구현 서버(200)로 전송할 수 있다. 이 경우, 기준장치(300)는 태그장치(100)의 위치 정보와 함께 또는 독립적으로 태그장치(100)의 식별 정보(예: ID 등)를 입체영상 구현 서버(200)로 전송할 수 있다.
몇몇 실시예에 따르면, 안테나 모듈(400)은 기준장치(300)에 포함되거나 기준장치(300)와 별도로 구성될 수 있고, 유선 또는 무선 통신을 이용하여 기준장치(300) 또는 입체영상 구현 서버(200)로 태그장치(100)의 위치 정보를 전송할 수 있다. 이러한 안테나 모듈(400)은 태그장치의(100)의 위치 정보를 확인할 수 있다.
안테나 모듈(400)이 3개의 안테나를 가지는 경우로 예를 들면, 제1 안테나는 발송시각이 포함된 데이터를 전파 등을 통해 태그장치(100)에 전송할 수 있다. 그러면, 태그장치(100)는 태그장치(100)의 식별 정보를 수신된 데이터에 추가할 수 있고, 수신된 데이터에 포함된 발송시각에 태그장치(100)의 내부처리 소요시간을 추가할 수 있다.
이어서, 태그장치(100)는 식별 정보 및 내부처리 소요시간이 반영된 데이터를 제1 안테나로 전송할 수 있고, 제1 안테나는 데이터가 수신된 도착시각에서 발송시각과 태그 장치(100)의 내부처리시간을 더한 값을 빼서 왕복소요 시간을 산정할 수 있다. 그러면, 제1 안테나는 전파 속도와 왕복소요 시간을 곱해서 태그장치(100)까지의 거리를 산정할 수 있다.
이후, 제2 안테나와 제3 안테나에서도 전술한 동작을 반복하여 각각의 안테나로부터 태그장치(100)까지의 거리를 측정하고, 측정된 거리를 반지름으로 하는 3개의 구(sphere)를 이용하여 교점을 찾으면 태그 장치(100)의 위치를 좌표로 산출해 낼 수 있다.
상기와 같이 태그 장치(100)의 위치를 산출해 내는 과정은 본 발명의 다양한 실시예에 따른 예시이며 특정 방식을 한정하는 것은 아니다. 또한, 각각의 안테나가 전술한 산출과정을 연산하는 것으로 기재하였으나 이에 한정하는 것은 아니며, 이러한 산출과정은 안테나 모듈(400)에서 이루어질 수도 있다.
도 8을 참조하면, 로컬 공간(예: 로컬 좌표 공간)에 구현되는 태그장치(100), 기준장치(300) 및 증강현실 디스플레이 장치(600)가 도시된다. 또한, 로컬 좌표 공간의 구성들로부터 정보를 수신하는 입체영상 구현 서버(200)가 도시된다. 도시되어 있지 않지만, 가상 오브젝트 랜더링 모듈(500)은 입체영상 구현 서버(200) 또는 증강현실 디스플레이 장치(600)에 포함될 수 있으며, 안테나 모듈(400)은 기준장치(300)에 포함된 것으로 가정하도록 한다.
이 경우, 태그 장치(100)는 도 8에 도시된 바와 같이 증강현실 디스플레이 장치(600)의 외부에 결합되어 있을 수 있으나, 이와 달리 상기 증강현실 디스플레이 장치(600)의 내부에 내장된 형태로 결합되어 있을 수도 있다.
입체영상 구현 서버(200)는 태그장치(100)가 바라보는 뷰 방향 정보 및 태그장치(100)의 식별 정보를 태그 장치(100)로부터 수신할 수 있고, 태그 장치(100)의 위치 정보를 안테나 모듈(400) 또는 기준장치(300)로부터 수신할 수 있다. 한정되지 않는 실시예로서, 입체영상 구현 서버(200)는 뷰 방향 정보 및 위치 정보를 수집하기 위해 태그장치(100), 기준장치(300) 또는 안테나 모듈(400)로 무선신호를 전송하거나 브로드캐스팅할 수 있다.
상기와 같은 실시예들에 의해, 태그장치(100)의 위치 정보와 뷰 방향 정보가 수집될 수 있다.
다음으로, S730 단계에서, 입체영상 구현 서버(200)는 가상 오브젝트의 출력 위치를 결정할 수 있다.
도 8을 참조하면, 본 발명이 동작하는 시스템에는 기준장치(300) 위치를 기준점(또는 원점, 49)으로 하는 가상의 로컬 좌표 공간이 존재할 수 있다. 그리고, 상기 로컬 좌표 공간은 상기 기준장치(300)의 위치를 원점(49)으로 하되, 상기 원점(49)을 기준으로 하여 형성된 세 방향의 직교축(예를 들어, X축(45), Y축(43), Z축(41))을 포함하여 이루어질 수 있다.
입체영상 구현 서버(200)는 수집된 태그장치(100)의 뷰 방향 정보 및 위치 정보를 기반으로 상기 로컬 좌표 공간 내에서 태그장치(100)의 측위를 확인할 수 있다. 그리고, 입체영상 구현 서버(200)는 태그장치(100)의 뷰 방향 및 위치를 가상 카메라의 뷰 방향과 위치로 설정할 수 있다. 관찰자의 시점을 태그장치(100)와 매칭시키기 위해서이다.
입체영상 구현 서버(200)는 태그장치(100)의 뷰 방향 및 위치를 기초로 관찰자에게 제공하기 위한 가상 오브젝트의 출력위치를 결정할 수 있다. 이러한 출력위치는 도 8의 로컬 좌표 공간 내에 소정 좌표에 해당할 수 있으며, 구체적인 지정 위치는 입체영상 구현 서버(200) 또는 입체영상 구현 시스템(10)의 관리자에 의해 설정되거나 미리 설정된 컨텐츠 시나리오에 의해 결정될 수 있다.
상기와 같은 도 7 내지 도 8에 기재된 실시예에 의해, GPS 신호 또는 마커를 사용하지 않고도 가상 오브젝트의 출력 위치를 빠르고 효과적으로 지정할 수 있다.
도 9는 본 발명의 다양한 실시예에 따른 멀티 태그장치/기준장치 방식을 기반으로 가상 오브젝트의 출력 위치를 결정하는 예시도이다. 도 8과 달리, 도 9에서는 태그장치(100)와 기준장치(300)가 복수개인 경우 각 태그장치(100)의 위치정보를 결정하기 위한 실시예가 개시된다. 또한, 도 9에서 개시되는 로컬 공간 또한 도 2 내지 도 4에서 개시되는 로컬 공간과 동일한 영역일 수 있으나 이에 한정하는 것은 아니며, 도 2 내지 도 4에서 개시되는 로컬 공간과 별도의 공간으로 정의될 수 있다. 도 9에서도, 도 2 내지 도 4에서 개시되는 스크린(800)과 임의의 지점(O)에 대한 표시는 생략하도록 한다.
도면에 도시되는 바와 같이, 본 발명의 다양한 실시예에 따른 입체영상 구현 시스템(10)은 복수의 태그장치들(100_1, 100_2, 100_3)과 복수의 기준장치들(300_S, 300_1, 300_2)로 구성될 수 있다. 설명의 편의를 위해, 제1 그룹(c1)과 제 그룹(c2)으로 구분한다. 제1 그룹(c1)은 기준장치(300_1)의 안테나 모듈(400)의 전파 영역 내에 속한 구성요소들을 의미하며, 제2 그룹(c2)은 기준장치(300_2)의 안테나 모듈(400)의 전파 영역 내에 속한 구성요소들을 의미한다.
입체영상 구현 서버(200)는 제1 그룹(c1)과 제2 그룹(c2)에 속한 모든 구성들로부터 정보를 수신할 수 있다. 전술한 실시예에서 하나의 기준장치(300)가 원점 또는 기준점이 되어 태그장치(100)의 상대적인 위치를 구했다면, 도 9의 실시예에서는 각 기준장치(300)마다 상대적인 좌표값을 가지게 되므로 태그장치(100)들의 위치를 특정할 수 있는 연계 작업이 필요하다.
이를 위해, 입체영상 구현 서버(200)는 복수개의 기준장치들(300_S, 300_1, 300_2) 중 어느 하나(300_S)를 원점으로 설정할 수 있다. 다만 이에 한정하는 것은 아니며, 입체영상 구현 서버(200)는 전술한 로컬 좌표 공간의 임의의 지점을 원점으로 설정할 수도 있다.
그러면, 서버(2000)는 상기 원점에 대한 각 기준장치(300_1, 300_2)의 상대적인 좌표들을 제1 가상좌표 정보로서 산정할 수 있다. 즉, 제1 그룹(c1)의 기준장치(300_1)와 제2 그룹(c2)의 기준장치(300_2)가 원점에 대하여 상대적으로 결정되는 좌표들을 1차적으로 산정할 수 있다.
그리고, 입체영상 구현 서버(200)는 산정된 제1 가상좌표 정보에 대한 각 태그장치들(100_1, 100_2, 100_3)의 위치 정보를 제2 가상좌표 정보로서 산정할 수 있다. 이에 의해, 원점을 기준으로 하는 각 태그장치들(100_1, 100_2, 100_3)의 위치 정보가 산정될 수 있다.
상기 도 9와 같은 실시예에 의해, 본 발명의 실시예에 따른 입체영상 구현 시스템(10)은 증강현실을 구현할 수 있는 로컬 영역의 범위를 보다 확장시킬 수 있다.
전술한 실시예들에 의해서 스크린을 벗어난 물체까지 입체영상으로 표현할 수 있으며, GPS 신호 또는 마커를 사용하지 않고 태그장치의 위치 정보와 뷰 방향 정보를 기반으로 가상 오브젝트의 출력 위치를 지정할 수 있다.
본 발명의 다양한 실시예에 사용된 용어 “모듈”또는 “~부”는, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. “모듈” 또는 “~부”는 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. “모듈” 또는“~부”는 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있고, 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. “모듈” 또는“~부”는 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 발명의 다양한 실시예에 따른 “모듈” 또는“~부”는, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 발명의 다양한 실시예에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
10: 입체영상 구현 시스템 100: 태그장치
200: 입체영상 구현 서버 300: 기준장치
400: 안테나 모듈 500: 가상 오브젝트 랜더링 모듈
600: 증강현실 디스플레이 장치 700: 빔 프로젝터
800: 스크린

Claims (10)

  1. 스크린을 포함하는 공간을 통해 입체영상을 구현하기 위한 입체영상 구현 서버로서,
    상기 공간상에 설정된 가상 오브젝트의 위치를 확인하는 가상 오브젝트 관리부;
    상기 가상 오브젝트가 스크린 영상으로 출력되도록 확인된 경우, 상기 공간에 설치된 스크린에 상기 가상 오브젝트가 투영되는 스크린 영상이 출력되도록 상기 공간에 위치한 빔 프로젝터를 제어하는 스크린 영상 출력부;
    상기 가상 오브젝트가 증강현실 영상으로 출력되도록 확인된 경우, 상기 공간에서 상기 스크린과 소정 거리 이격된 위치에서 상기 가상 오브젝트를 증강현실 영상으로 출력하도록 상기 공간에 위치한 증강현실 디스플레이 장치를 제어하는 증강현실 영상 출력부; 및
    상기 공간에서의 임의의 지점과 상기 스크린 사이에 상기 가상 오브젝트가 위치하는지 여부에 따라 상기 가상 오브젝트를 스크린 영상 또는 증강현실 영상 중 어떤 영상으로 출력할지를 결정하는 출력 제어부를 포함하는 입체영상 구현 서버.
  2. 제 1항에 있어서, 상기 출력 제어부는,
    상기 공간에서의 임의의 지점과 상기 스크린 사이에 상기 가상 오브젝트가 위치한 경우, 상기 가상 오브젝트를 상기 증강현실 영상 출력부를 통해 증강현실 영상으로 출력하고,
    상기 공간에서 상기 가상 오브젝트가 상기 스크린을 기준으로 상기 임의의 지점과 반대쪽에 위치한 경우, 상기 가상 오브젝트를 상기 스크린 영상 출력부를 통해 스크린 영상으로 출력하는, 입체영상 구현 서버.
  3. 제 1항에 있어서, 상기 스크린이 서클 스크린 또는 돔형 스크린인 경우,
    상기 출력 제어부는,
    상기 가상 오브젝트가 상기 스크린의 내부에 위치한 경우, 상기 가상 오브젝트를 상기 증강현실 영상 출력부를 통해 증강현실 영상으로 출력하고,
    상기 가상 오브젝트가 상기 스크린의 외부에 위치한 경우, 상기 가상 오브젝트를 상기 스크린 영상 출력부를 통해 스크린 영상으로 출력하는, 입체영상 구현 서버.
  4. 스크린을 포함하는 공간을 통해 입체영상을 구현하기 위한 입체영상 구현 시스템으로서,
    관찰자가 착용하는 증강현실 디스플레이 장치에 부착되거나 상기 증강현실 디스플레이 장치와 연결되는 태그장치;
    상기 태그장치로부터 소정 거리 이격된 기준장치; 및
    상기 태그장치 및 상기 기준장치와 통신하여 상기 기준장치의 위치를 기준으로 하는 상기 태그장치의 상대적인 위치 정보 및 상기 태그장치가 바라보는 뷰 방향 정보를 수집하고, 상기 태그장치의 위치 정보 및 상기 태그장치의 뷰 방향 정보를 기반으로 증강현실 영상에서 출력될 가상 오브젝트의 위치를 결정하는 입체영상 구현 서버를 포함하고,
    상기 입체영상 구현 서버는 상기 공간상에서 상기 결정된 가상 오브젝트의 위치를 확인하고, 상기 공간에서의 임의의 지점과 상기 스크린 사이에 상기 가상 오브젝트가 위치하는지 여부에 따라 상기 가상 오브젝트를 스크린 영상 또는 증강현실 영상 중 어떤 영상으로 출력할지를 결정하며, 상기 가상 오브젝트를 스크린 영상으로 출력하는 경우 상기 공간에 설치된 스크린에 상기 가상 오브젝트가 투영되는 스크린 영상이 출력되도록 상기 공간에 위치한 빔 프로젝터를 제어하고, 상기 가상 오브젝트를 증강현실 영상으로 출력하는 경우 상기 공간에 위치한 상기 증강현실 디스플레이 장치를 통해 상기 가상 오브젝트를 상기 스크린과 소정 거리 이격된 위치에서 증강현실 영상으로 출력하는, 입체영상 구현 시스템.
  5. 제 4항에 있어서,
    상기 입체영상 구현 시스템 또는 상기 기준장치는 상기 태그장치의 위치를 감지하기 위한 안테나 모듈을 포함하고,
    상기 안테나 모듈은 각각 다른 높이와 방향을 가지는 3개 이상의 안테나를 포함하며, 각 안테나의 위치는 상기 기준장치를 기준으로 좌표화되어 상기 입체영상 구현 서버에서 인식되는 것을 특징으로 하는, 입체영상 구현 시스템.
  6. 제 4항에 있어서,
    상기 태그장치는 통신모듈 및 센서모듈을 포함하고,
    상기 태그장치는 상기 센서모듈을 통해 상기 태그장치가 바라보는 방향을 나타내는 뷰 방향 정보를 생성하고, 생성된 뷰 방향 정보를 상기 통신모듈을 통해 상기 입체영상 구현 서버로 전송하는, 입체영상 구현 시스템.
  7. 제 4항에 있어서,
    상기 기준장치 및 상기 태그장치가 복수개인 경우,
    상기 입체영상 구현 서버는 복수개의 기준장치들로부터 안테나 모듈의 전파 영역내에 위치한 각 태그장치의 위치 정보를 수집하고, 상기 복수개의 기준장치들 중 어느 하나의 기준장치 또는 임의의 지점을 원점으로 설정하며, 상기 원점에 대한 각 기준장치의 상대적인 좌표들을 제1 가상좌표 정보로서 산정하고, 제1 가상좌표 정보에 대한 상기 각 태그장치의 위치 정보를 제2 가상좌표 정보로서 산정하며, 상기 제2 가상좌표 정보 및 각 태그장치의 뷰 방향 정보를 기반으로 상기 가상 오브젝트의 위치를 결정하는, 입체영상 구현 시스템.
  8. 스크린을 포함하는 공간을 통해 입체영상을 구현하기 위한 입체영상 구현 방법으로서,
    상기 공간상에 설정된 가상 오브젝트의 위치를 확인하는 단계;
    상기 공간에서의 임의의 지점과 상기 스크린 사이에 상기 가상 오브젝트가 위치하는지 여부에 따라 상기 가상 오브젝트를 스크린 영상 또는 증강현실 영상 중 어떤 영상으로 출력할지를 결정하는 단계;
    상기 가상 오브젝트를 스크린 영상으로 출력하는 경우 상기 공간에 설치된 스크린에 상기 가상 오브젝트가 투영되는 스크린 영상이 출력되도록 상기 공간에 위치한 빔 프로젝터를 제어하는 단계; 및
    상기 가상 오브젝트를 증강현실 영상으로 출력하는 경우 상기 공간에 위치한 증강현실 디스플레이 장치를 통해 상기 가상 오브젝트를 상기 스크린과 소정 거리 이격된 위치에서 증강현실 영상으로 출력하는 단계를 포함하는, 입체영상 구현 방법.
  9. 제 8항에 있어서,
    상기 가상 오브젝트를 스크린 영상 또는 증강현실 영상 중 어떤 영상으로 출력할지를 결정하는 단계는,
    상기 공간에서의 임의의 지점과 상기 스크린 사이에 상기 가상 오브젝트가 위치한 경우, 상기 가상 오브젝트를 상기 증강현실 영상으로 출력하는 단계; 및
    상기 공간에서 상기 가상 오브젝트가 상기 스크린을 기준으로 상기 임의의 지점과 반대쪽에 위치한 경우, 상기 가상 오브젝트를 상기 증강현실 영상으로 출력하는 단계를 포함하는, 입체영상 구현 방법.
  10. 제 8항에 있어서,
    상기 공간상에 설정된 가상 오브젝트의 위치를 확인하는 단계는,
    상기 공간에서 관찰자가 착용하는 증강현실 디스플레이 장치에 부착되는 태그장치 및 상기 태그장치로부터 소정 거리 이격된 기준장치와 통신하는 단계;
    상기 기준장치의 위치를 기준점으로 하는 상기 태그장치의 상대적인 위치 정보 및 상기 태그장치가 바라보는 뷰 방향 정보를 수집하는 단계; 및
    상기 태그장치의 위치 정보 및 상기 태그장치의 뷰 방향 정보를 기반으로 상기 증강현실 영상에서 출력될 가상 오브젝트의 위치를 결정하는 단계를 포함하는, 입체영상 구현 방법.
KR1020160079144A 2016-06-14 2016-06-24 스크린 영상과 증강현실 영상을 이용한 입체영상 구현 방법 및 이를 실행하는 서버 및 시스템 KR101729923B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160079144A KR101729923B1 (ko) 2016-06-24 2016-06-24 스크린 영상과 증강현실 영상을 이용한 입체영상 구현 방법 및 이를 실행하는 서버 및 시스템
PCT/KR2016/010797 WO2017217595A1 (ko) 2016-06-14 2016-09-27 측위 정보를 기반으로 증강현실 영상을 구현하기 위한 서버 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160079144A KR101729923B1 (ko) 2016-06-24 2016-06-24 스크린 영상과 증강현실 영상을 이용한 입체영상 구현 방법 및 이를 실행하는 서버 및 시스템

Publications (1)

Publication Number Publication Date
KR101729923B1 true KR101729923B1 (ko) 2017-05-11

Family

ID=58740850

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160079144A KR101729923B1 (ko) 2016-06-14 2016-06-24 스크린 영상과 증강현실 영상을 이용한 입체영상 구현 방법 및 이를 실행하는 서버 및 시스템

Country Status (1)

Country Link
KR (1) KR101729923B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101829656B1 (ko) 2017-08-21 2018-03-29 이진동 증강된 가상현실을 이용하는 융합공간 기반의 무동력 승마장치 및 방법
KR102676846B1 (ko) * 2021-12-31 2024-06-20 경북대학교 산학협력단 메타버스 환경에서 돔 디스플레이 운영 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101246831B1 (ko) * 2010-06-23 2013-03-28 김보민 증강 현실 기반의 디지털뷰 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101246831B1 (ko) * 2010-06-23 2013-03-28 김보민 증강 현실 기반의 디지털뷰 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101829656B1 (ko) 2017-08-21 2018-03-29 이진동 증강된 가상현실을 이용하는 융합공간 기반의 무동력 승마장치 및 방법
KR102676846B1 (ko) * 2021-12-31 2024-06-20 경북대학교 산학협력단 메타버스 환경에서 돔 디스플레이 운영 방법

Similar Documents

Publication Publication Date Title
KR101809067B1 (ko) 마이크로파워 임펄스 레이더를 사용한 모바일 디스플레이 포지션 및 배향의 판정 기법
US9401050B2 (en) Recalibration of a flexible mixed reality device
EP3165939B1 (en) Dynamically created and updated indoor positioning map
EP3011418B1 (en) Virtual object orientation and visualization
CA2888943C (en) Augmented reality system and method for positioning and mapping
US11416719B2 (en) Localization method and helmet and computer readable storage medium using the same
CN105138135A (zh) 头戴式虚拟现实设备及虚拟现实系统
CN109117684A (zh) 用于在双目增强现实设备上选择性扫描的系统和方法
WO2018113759A1 (zh) 基于定位系统和ar/mr的探测系统及探测方法
US20220397963A1 (en) Head-mounted display
US11127156B2 (en) Method of device tracking, terminal device, and storage medium
CN110389653B (zh) 用于追踪和渲染虚拟对象的追踪系统及用于其的操作方法
US20180020203A1 (en) Information processing apparatus, method for panoramic image display, and non-transitory computer-readable storage medium
JP6730577B2 (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
CN114332423A (zh) 虚拟现实手柄追踪方法、终端及计算可读存储介质
JP2016122277A (ja) コンテンツ提供サーバ、コンテンツ表示端末、コンテンツ提供システム、コンテンツ提供方法、および、コンテンツ表示プログラム
CN113467731B (zh) 显示系统、信息处理装置和显示系统的显示控制方法
KR101729923B1 (ko) 스크린 영상과 증강현실 영상을 이용한 입체영상 구현 방법 및 이를 실행하는 서버 및 시스템
JP2014071277A (ja) ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
KR101704513B1 (ko) 측위 정보를 기반으로 증강현실 영상을 구현하기 위한 서버 및 시스템
JP3848092B2 (ja) 画像処理装置及び方法、並びにプログラム
WO2021259287A1 (zh) 深度图生成方法、设备及存储介质
CN113923437B (zh) 信息显示方法及其处理装置与显示系统
KR20130123340A (ko) 3차원 매칭을 이용한 영상 기반의 보행 경로 ｐｏｉ표출 시스템
EP4222550A1 (en) Augmented reality gaming using virtual eyewear beams

Legal Events

Date Code Title Description
GRNT Written decision to grant