KR20130003371A - 증강 현실 서비스를 위한 컨텐츠 위치 보정 장치 및 방법 - Google Patents

증강 현실 서비스를 위한 컨텐츠 위치 보정 장치 및 방법 Download PDF

Info

Publication number
KR20130003371A
KR20130003371A KR1020110064690A KR20110064690A KR20130003371A KR 20130003371 A KR20130003371 A KR 20130003371A KR 1020110064690 A KR1020110064690 A KR 1020110064690A KR 20110064690 A KR20110064690 A KR 20110064690A KR 20130003371 A KR20130003371 A KR 20130003371A
Authority
KR
South Korea
Prior art keywords
marker
virtual
information
feature
content
Prior art date
Application number
KR1020110064690A
Other languages
English (en)
Inventor
양재일
Original Assignee
양재일
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 양재일 filed Critical 양재일
Priority to KR1020110064690A priority Critical patent/KR20130003371A/ko
Publication of KR20130003371A publication Critical patent/KR20130003371A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강 현실 서비스를 위한 컨텐츠 위치 보정 장치 및 방법에 관한 것이다.
본 발명에 따른 증강 현실 서비스를 위한 컨텐츠 위치 보정 장치 및 방법은, 실사 영상 정보에 기초하여 기준 마커(marker)를 생성하고, 가상 공간 정보에 기초하여 적어도 하나의 가상 마커를 생성한 후, 상기 기준 마커와 상기 적어도 하나의 가상 마커를 비교하여, 상기 적어도 하나의 가상 마커 중 상기 기준 마커에 가장 매칭되는 최적 가상 마커를 선택하고, 상기 기준 마커와 상기 최적 가상 마커에 기초하여 컨텐츠 위치 보정 정보를 생성하는 것을 특징으로 한다.

Description

증강 현실 서비스를 위한 컨텐츠 위치 보정 장치 및 방법 {Apparatus and method for compensating position of contents for augmented reality service}
본 발명은 증강 현실 서비스를 위한 컨텐츠 위치 보정 장치 및 방법에 관한 것으로, 보다 상세하게는 증강 현실 서비스 제공 시 실사 영상 정보에 기초하여 생성된 기준 마커와 가상 공간 정보에 기초하여 생성된 적어도 하나의 가상 마커를 이용하여 증강 현실 컨텐츠의 위치를 보정하는 장치 및 방법에 관한 것이다.
증강 현실(Augmented Reality: AR) 기술은 사용자가 눈으로 보는 현실 세계에 실시간으로 부가정보를 갖는 가상 세계를 합쳐 하나의 영상으로 보여주는 기술이다. 예컨대, 휴대용 단말기로 위치 및 방향 정보를 이용하여 대략적인 위치를 파악하고, 주변의 건물 정보와 같은 객체 정보와 카메라의 움직임에 따라 입력되는 실사 영상 정보간의 비교를 통해 사용자가 원하는 서비스를 파악하여 관련 정보를 제공하는 기술이다.
이러한 증강 현실 기술은 가상 현실(Virtual Reality: VR) 기술의 한 분야로서, 실제 환경에 가상 사물(객체)을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법을 이용한다. 그러나, 증강 현실 기술은 가상의 공간과 사물만을 대상으로 하는 기존의 가상 현실 기술과 달리 현실 세계의 기반에 가상 객체를 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 장점이 있다. 그리고, 이러한 증강 현실 기술은 현재 휴대용 단말기인 스마트폰 등의 보급으로 인하여 더욱 다양한 분야에 활용되어 사용되고 있다.
한편, 모바일 증강 현실 기술은 크게 마커(Marker) 기반의 기술과 위치 정보 기반(Location Based Services: LBS)의 기술을 사용하고 있다. 마커 기반 기술은 소정의 마커를 사용하여 증강 현실을 구현하는 방식으로, 현실 공간에 마커를 설치해 두고 카메라로 촬영하면 마커의 크기나 경사도 등을 이용하여 사용자의 위치를 추정하고 이에 맞추어 가상 객체를 합성하는 방식이다. 그리고, 위치 정보 기반 기술은 단말기의 위치 정보에 기반하여 다양한 정보를 제공하는 방식이다.
그러나, 종래기술에 있어서, 마커 기반 기술은 현실 공간에 마커를 설치해야 하기 때문에 사용이 물리적으로 제한적인 단점이 있다. 또한, 위치 정보 기반 기술은 사용자 위치(즉, 단말기 위치)의 오차를 발생시키기 때문에 대부분 특정 텍스트나 정보 전달의 목적으로만 사용되고 있는 실정이다. 즉, 종래기술에 따른 위치 정보 기반 기술은 사용자 위치의 오차로 인하여 현실 세계의 건물이나 사물에 가상 객체(컨텐츠)를 정확히 매칭시킬 수 없는 단점이 있으며, 이에 따라 현실 세계와 가상 세계의 매칭 정확도가 떨어져 증강 현실로서의 몰입도가 낮아 주로 텍스트나 정보 전달의 목적으로만 사용되고 있는 실정이다.
본 발명은 전술한 바와 같은 문제점을 해결하기 위해 창안된 것으로, 본 발명의 목적은 위치 정보 기반 기술을 이용하여 증강 현실을 구현할 때 현실 세계와 가상 세계의 매칭 정확도를 향상시켜 보다 현실감 있는 증강 현실 서비스를 제공할 수 있는 장치 및 방법을 제공하는 것이다.
본 발명의 다른 목적은 마커 기반 기술의 장점과 위치 기반 기술의 장점을 모두 활용하여 보다 우수한 증강 현실 서비스를 제공할 수 있는 장치 및 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 실사 영상에 기초하여 생성된 기준 마커와 가상 공간에 기초하여 생성된 적어도 하나의 가상 마커를 이용하여 증강 현실 컨텐츠의 위치를 보정하는 장치 및 방법을 제공하는 것이다.
상기 목적을 위하여, 본 발명의 일 형태에 따른 증강 현실 서비스를 위한 컨텐츠 위치 보정 장치는, 실사 영상 정보에 기초하여 기준 마커(marker)를 생성하는 기준 마커 생성부; 가상 공간 정보에 기초하여 적어도 하나의 가상 마커를 생성하는 가상 마커 생성부; 상기 기준 마커와 상기 적어도 하나의 가상 마커를 비교하여, 상기 적어도 하나의 가상 마커 중 상기 기준 마커에 가장 매칭되는 최적 가상 마커를 선택하는 마커 비교부; 및 상기 기준 마커와 상기 최적 가상 마커에 기초하여 컨텐츠 위치 보정 정보를 생성하는 보정 정보 생성부를 포함하는 것을 특징으로 한다.
그리고, 본 발명의 다른 형태에 따른 증강 현실 서비스를 위한 컨텐츠 위치 보정 방법은, a) 실사 영상 정보에 기초하여 기준 마커(marker)를 생성하고, 가상 공간 정보에 기초하여 적어도 하나의 가상 마커를 생성하는 단계; b) 상기 기준 마커와 상기 적어도 하나의 가상 마커를 비교하는 단계; c) 상기 적어도 하나의 가상 마커 중 상기 기준 마커에 가장 매칭되는 최적 가상 마커를 선택하는 단계; 및 d) 상기 기준 마커와 상기 최적 가상 마커에 기초하여 컨텐츠 위치 보정 정보를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 실사 영상에 기초하여 생성된 기준 마커와 가상 공간에 기초하여 생성된 적어도 하나의 가상 마커를 이용하여 증강 현실 컨텐츠의 위치를 보정함으로써, 위치 정보 기반 기술을 이용하여 증강 현실을 구현할 때에도 현실 세계와 가상 세계의 매칭 정확도를 높일 수 있어 마커 기반 기술을 이용할 때와 동일한 수준의 현실감 있는 증강 현실 서비스를 제공할 수 효과를 가진다.
그리고, 본 발명에 따르면, 사용자(단말기) 위치와 증강 현실 컨텐츠의 위치를 정확히 일치시킬 수 있기 때문에, 가상 공간을 형성하는 가상 객체의 특징적인 점(이하, '특징점 '이라 함), 특징적인 선(이하, '특징선 '이라 함), 건물의 표면과 같은 특징적인 면(이하, '특징면 '이라 함) 등을 이용하여 보다 현실감 있는 다양한 컨텐츠를 제공할 수 있는 효과를 가진다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 서비스 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 서비스 방법의 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 단말기의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 증강 현실 서버의 구성도이다.
도 5는 현실 세계의 객체에 대해 특징점을 이용하여 가상 공간 정보를 생성하는 것을 설명하는 도면이다.
도 6은 가상 공간 정보에 기초하여 가상 객체를 포함하는 가상 공간을 생성하는 것을 설명하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 증강 현실 서비스를 위한 컨텐츠 위치 보정 장치의 구성도이다.
도 8은 본 발명의 일 실시예에 따른 증강 현실 서비스를 위한 컨텐츠 위치 보정 방법의 흐름도이다.
도 9는 기준 마커와 적어도 하나의 가상 마커을 비교하여 최적 가상 마커를 선택하는 과정을 설명하는 도면이다.
도 10은 단말기에 증강 현실 서비스가 구현된 것을 예시한 도면이다.
이하에서는 첨부 도면 및 바람직한 실시예를 참조하여 본 발명을 상세히 설명한다. 참고로, 하기 설명에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
먼저, 본 발명에 따른 증강 현실 서비스를 위한 컨텐츠 위치 보정 장치 및 방법을 설명하기에 앞서, 도 1 및 도 2을 참조하여 본 발명이 적용될 수 있는 증강 현실 서비스 시스템 및 방법에 대해 대략적으로 설명한다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 서비스 시스템의 구성도이다.
도 1을 참조하면, 본 발명에 따른 증강 현실 서비스 시스템은 증강 현실 기술을 구현할 수 있는 적어도 하나의 단말기(100a, 100b, 100c)와 상기 적어도 하나의 단말기(100a, 100b, 100c)에 증강 현실 서비스를 제공하는 증강 현실 서버(200)를 포함한다. 그리고, 적어도 하나의 단말기(100a, 100b, 100c)와 증강 현실 서버(200)는 통신망(예, 이동통신망, 인터넷)을 통해 서로 연결된다.
그리고, 도 1과 관련하여, 도 2는 본 발명의 일 실시예에 따른 증강 현실 서비스 방법의 흐름도를 나타낸 것이다.
도 2를 참조하면, 단계 S210에서, 단말기는 단말기 위치 정보 및 단말기 상태 정보를 증강 현실 서버로 전송한다. 여기서, 단말기 위치 정보는 GPS(Global Positioning System) 등을 이용하여 측정되는 사용자 단말기의 현재 위치를 나타내는 정보로서, 이는 경도, 위도, 고도 (또는 x 좌표값, y 좌표값, z 좌표값) 등에 대한 정보를 포함한다. 그리고, 단말기 상태 정보는 자이로(gyro) 센서, 가속도 센서 등을 이용하여 단말기(이는 측정실사 영상을 촬영하는 카메라를 포함함)의 물리적 상태를 나타내는 정보로서, 이는 방위각, 경사도, 화각(畵角) 등에 대한 정보를 포함한다.
단말기로부터 단말기 위치 정보 및 단말기 상태 정보가 전송되면, 단계 S220에서, 증강 현실 서버는 상기 단말기 위치 정보 및 단말기 상태 정보에 기초하여 가상 공간 정보 및 컨텐츠 정보를 생성한다. 여기서, 가상 공간 정보는 상기 단말기의 위치 및 상태에서 바라본 3차원 가상 공간에 대한 정보(즉, 3차원 가상 공간을 형성할 수 있는 정보)로서, 이는 단말기로부터 전송된 단말기 위치 정보 및 단말기 상태 정보에 상응하여 생성된다. 그리고, 컨텐츠 정보는 가상 공간 상에 증강 현실 구현을 위한 가상 객체를 생성할 수 있는 정보로서, 이는 전술한 가상 공간 정보에 상응하여 생성된다. 예컨대, 사용자가 동일한 위치에 있더라도 바라보는 방향에 따라서 실사 영상이 다르게 되며, 이에 따라 컨텐츠 정보도 실사 영상에 맞도록, 결과적으로는 단말기의 위치 및 상태에 따른 가상 공간에 맞도록 생성된다.
단계 S240에서, 단말기는 실사 영상에 가상 객체를 정확히 매칭시키기 위해 증강 현실 구현을 위한 컨텐츠 위치를 보정한다. 이를 상술하면, 단말기에 구비된 센서를 통해 측정된 단말기 위치 정보 및 단말기 상태 정보는 가상 공간 형성의 기초가 되는 위치 및 상태 정보와는 오차가 발생하게 된다. 이는 센서의 정밀도에 의해서도 발생하지만, 가상 공간 정보 데이터베이스를 구축할 때 사용한 센서와 단말기에 구비된 센서가 다르기 때문에 또한 필연적으로 발생하게 된다. 이에 따라, 종래기술에 따른 위치 정보 기반 증강 현실 기술은 마커 기반 기술만큼 높은 정확도(매칭도)의 컨텐츠를 제공할 수 없었으며, 주로 텍스트 위주의 정보를 제공하였다. 그러나, 본 발명에서는 실사 영상 정보에 기초하여 생성된 기준 마커와 가상 공간 정보에 기초하여 생성된 적어도 하나의 가상 마커를 이용하여 증강 현실 컨텐츠의 위치를 보정함으로써 높은 정확도(매칭도)의 컨텐츠를 제공할 수 있는데, 이에 대한 보다 상세한 설명은 후술하기로 한다.
마지막으로, 단계 S250에서, 단말기는 실사 영상에 위치 보정된 컨텐츠(가상 객체)를 합성하여 증강 현실 서비스를 제공한다.
이하에서는 도 3 및 도 4를 참조하여 본 발명에 따른 증강 현실 서비스 제공을 위한 단말기 및 증강 현실 서버에 대해 설명한다. 참고로, 이하에서는 단말기 및 증강 현실 서버의 구성요소들 중 본 발명인 컨텐츠 위치 보정과 관련성이 낮은 일반적인 구성요소에 대하여는 공지의 기술을 참조할 수 있으므로 간략히 설명하도록 하고, 본 발명인 컨텐츠 위치 보정과 관련성이 높은 구성요소를 중심으로 설명한다.
도 3은 본 발명의 일 실시예에 따른 단말기의 구성도이다.
도 3을 참조하면, 본 발명에 따른 단말기(100)는 카메라부(110), 센서부(120), 통신부(130), 저장부(140), 위치 보정부(150), 컨텐츠 생성부(160), 영상 처리부(170), 표시부(180), 제어부(190) 등을 포함한다.
먼저, 카메라부(110)는 현실 세계를 촬영하여 실사 영상에 대한 정보(즉, 실사 영상 정보)를 생성한다.
그리고, 센서부(120)는 GPS(Global Positioning System), 자이로(gyro) 센서, 가속도 센서 등을 이용하여 단말기의 현재 위치 정보(즉, 단말기 위치 정보) 및 단말기의 현재 상태 정보(즉, 단말기 상태 정보)를 생성한다. 여기서, 단말기 위치 정보는, 전술한 바와 같이, 경도, 위도, 고도 (또는 x 좌표값, y 좌표값, z 좌표값) 등에 대한 정보를 포함하고, 단말기 상태 정보는 방위각, 경사도, 화각(畵角) 등에 대한 정보를 포함한다. 참고로, 화각(畵角) 정보는 사용자에 의해 설정되었거나 또는 제품 제조 시에 설정된 카메라 설정값을 통해 알 수 있다.
통신부(130)는 송신기와 수신기 등으로 구성되어 증강 현실 서버(200)와 정보를 송수신하는 기능을 수행한다.
그리고, 저장부(140)는 메모리 등으로 구성되어 OS(Operating System), 애플리케이션, 컨텐츠, 텍스트 등을 저장한다.
위치 보정부(150)는 카메라부(110)에서 생성된 실사 영상 정보와 증강 현실 서버(200)로부터 전송된 가상 공간 정보를 이용하여 증강 현실 구현을 위한 컨텐츠의 위치를 보정한다. 참고로, 컨텐츠 위치 보정에 대한 구체적 방식에 대하여는 도 7 내지 도 9를 참조하여 하기에서 상세 설명하기로 한다.
컨텐츠 생성부(160)는 증강 현실 서버(200)로부터 전송된 컨텐츠 정보를 이용하여 가상 세계를 구현하기 위한 컨텐츠(가상 객체)를 생성한다. 참고로, 이와 같이 생성된 컨텐츠는 가상 공간 정보에 의해 형성되는 가상 세계에 상응하는 컨텐츠이다. 예컨대, 가상 객체의 일부가 현실 세계 건물에 가려져 건물 뒤쪽에 존재하는 것처럼 보이도록 건물의 윤곽선에 맞추어 건물 뒤쪽에만 가상 객체(컨텐츠)가 생성된다.
영상 처리부(170)는 카메라부(110)에서 생성된 실사 영상 정보를 기초로 생성된 실사 영상에 컨텐츠 생성부(160)에서 생성된 컨텐츠(가상 객체)를 합성하여 증강 현실 서비스를 위한 합성 영상을 생성한다.
표시부(180)는 이와 같이 영상 처리부(170)에서 생성된 합성 영상을 디스플레이한다.
그리고, 제어부(190)는 카메라부(110), 센서부(120), 통신부(130), 저장부(140), 위치 보정부(150), 컨텐츠 생성부(160), 영상 처리부(170), 표시부(180) 등을 제어하여, 단말기(100)의 전반적인 동작 및 기능 등을 제어한다.
한편, 도 4는 본 발명의 일 실시예에 따른 증강 현실 서버의 구성도이다.
도 4를 참조하면, 본 발명에 따른 증강 현실 서버(200)는 가상 공간 정보 생성부(210), 컨텐츠 정보 생성부(220), 컨텐츠 업그레이드부(230), 가상 공간 정보 데이터베이스(240), 컨텐츠 정보 데이터베이스(250), 통신부(260), 제어부(270) 등을 포함한다.
가상 공간 정보 생성부(210)는 가상 공간 정보 데이터베이스(240)를 참조하여 단말기(100)로부터 전송된 단말기 위치 정보 및 단말기 상태 정보에 상응하는 가상 공간 정보를 생성한다.
컨텐츠 정보 생성부(220)는 컨텐츠 정보 데이터베이스(250)를 참조하여 상기 가상 공간 정보 생성부(210)에서 생성된 가상 공간 정보에 상응하는 컨텐츠 정보를 생성한다.
컨텐츠 업그레이드부(230)는 컨텐츠에 대한 업그레이드를 수행하고, 이를 컨텐츠 정보 데이터베이스(250)에 저장한다. 참고로, 본 실시예에서 컨텐츠 업그레이드부(230)는 증강 현실 서버(200)의 일부로 구현되었지만, 이는 물론 증강 현실 서버(200)와는 별개의 장치나 서버로 구현될 수도 있다.
가상 공간 정보 데이터베이스(240)는 단말기의 위치 및 상태에서 바라본 3차원 가상 공간을 형성할 수 있는 정보(즉, 가상 공간 정보)를 저장한다.
이와 관련하여, 도 5는 현실 세계의 객체에 대해 특징점을 이용하여 가상 공간 정보를 생성하는 것을 설명하는 도면이다. 그리고, 도 6은 가상 공간 정보에 기초하여 가상 객체(건물)를 포함하는 가상 공간을 생성하는 것을 설명하는 도면이다. 참고로, 도 5 및 도 6에서는 이해를 돕기 위해 실사 영상 위에 특징점이나 가상 객체를 나타내었다.
이하에서는, 도 5 및 도 6을 참조하여, 본 발명에서 사용되는 가상 공간 정보에 대해 설명한다.
먼저, 현실 공간과 매칭되는 3차원 가상 공간에 대한 정보를 생성하기 위해, 현실 세계의 각 객체(예, 건물)에 대해 모서리(즉, 특징점) 등의 위치를 측정하여 각 객체에 대한 위치 정보를 얻는다. 그리고, 현실 공간의 각 객체에 대해 얻어진 위치 정보를 데이터베이스화 한다. 그러면, 이를 기초로 단말기의 위치 및 상태에 상응하는 3차원 가상 공간을 형성할 수 있으며, 도 6은 이와 같이 형성된 가상 공간을 예시한 것이다. 참고로, 가상 공간 정보를 기초로 3차원 가상 공간을 형성하는 기술은 네비게이션 등에 사용되는 3차원 지도 생성 기술을 참조할 수 있다.
다시 도 4를 참조하면, 컨텐츠 정보 데이터베이스(250)는 단말기의 위치 및 상태에 상응하는 컨텐츠를 생성할 수 있는 정보(즉, 컨텐츠 정보)를 저장한다.
그리고, 통신부(260)는 송신기와 수신기 등으로 구성되어 단말기(100)와 정보를 송수신하는 기능을 수행한다.
마지막으로, 제어부(270)는 가상 공간 정보 생성부(210), 컨텐츠 정보 생성부(220), 컨텐츠 업그레이드부(230), 가상 공간 정보 데이터베이스(240), 컨텐츠 정보 데이터베이스(250), 통신부(260) 등을 제어하여, 증강 현실 서버(2100)의 전반적인 동작 및 기능 등을 제어한다.
이하에서는 도 7 내지 도 10을 참조하여 본 발명에 따른 증강 현실 서비스를 위한 컨텐츠 위치 보정 장치 및 방법에 대해 설명한다. 참고로, 본 발명에 따른 컨텐츠 위치 보정 장치는 전술한 도 3의 단말기(100) 구성에서 위치 보정부(150)에 해당하는 것으로, 이는 단말기의 일부로 또는 별도의 장치로 구현될 수 있다.
도 7은 본 발명의 일 실시예에 따른 증강 현실 서비스를 위한 컨텐츠 위치 보정 장치의 구성도이고, 도 8은 본 발명의 일 실시예에 따른 증강 현실 서비스를 위한 컨텐츠 위치 보정 방법의 흐름도이다. 그리고, 도 9는 기준 마커와 적어도 하나의 가상 마커을 비교하여 최적 가상 마커를 선택하는 과정을 설명하는 도면이다.
도 7을 참조하면, 본 발명에 따른 컨텐츠 위치 보정 장치(700)는 기준 마커 생성기(710), 가상 마커 생성기(720), 마커 비교기(730), 보정 정보 생성기(740) 등을 포함한다.
기준 마커 생성기(710)는 실사 영상 정보에 기초하여 기준 마커를 생성한다(단계 S180). 구체적으로, 기준 마커 생성기(710)는 실사 영상 정보에 의해 생성되는 이미지(즉, 실사 영상)(도 9의 910 참조)에 대해 색상 조절, 명도 조절, 조도 조절, 채도 조절, 대조도(contrast) 조절 등을 수행하여 기준 마커(도 9의 920 참조)를 생성한다. 그리고, 이와 같이 생성된 기준 마커는 색상 차이, 명도 차이, 조도 차이, 채도 차이 등에 의해 구분될 수 있는 특징적인 부분을 포함하게 되며, 예컨대 건물의 모서리 등과 같은 특징점, 건물의 윤곽선 등과 같은 특징선, 건물의 표면 등과 같은 특징면이 이에 해당한다.
한편, 가상 마커 생성기(720)는 가상 공간 정보에 기초하여 적어도 하나의 가상 마커를 생성한다(단계 S810).
여기서, 가상 공간 정보는 단말기가 증강 현실 서버로 전송한 단말기 위치 정보 및 단말기 상태 정보에 상응하여 수신된 정보이며, 이는 단말기의 현재 위치 및 상태에 기초하여 형성되는 3차원 가상 공간을 생성할 수 있는 정보이다.
구체적으로, 가상 마커 생성기(720)는 단말기 위치 정보 및 단말기 상태 정보에 상응하는 가상 공간 정보에 기초하여 일정 오차범위 내에서 복수개의 가상 마커를 생성한다. 예컨대, 가상 마커 생성기(720)는 단말기 위치 정보 및 단말기 상태 정보를 기초로 하여 가상 공간 상의 일정 오차범위 내의 여러 지점(도 9의 930 참조)에서 바라본 3차원 가상 이미지(도 9의 940 참조)를 생성한다. 이 경우 오차는 위치뿐만 아니라 방위각, 경사도, 화각(畵角) 등에서도 발생될 수 있으며, 가상 마커 생성기(720)는 단말기 성능이나 사용자 설정 등에 따라서 위치 오차, 방위각 오차, 경사도 오차, 화각(畵角) 오차를 반영한 복수개의 3차원 가상 이미지, 즉 복수개의 가상 마커를 생성한다. 참고로, 이 때 생성하는 가상 마커의 수는 단말기 성능, 사용자 설정, 실사 영상 변화속도 등에 기초하여 결정될 수 있다.
마커 비교기(730)는 기준 마커 생성기(710)에서 생성된 기준 마커와 가상 마커 생성기(720)에서 생성된 복수개의 가상 마커를 각각 비교하여, 복수개의 가상 마커 중 기준 마커에 가장 매칭되는 최적의 가상 마커(이하 '최적 가상 마커'라 함)를 선택한다(단계 S820). 이 경우 기준 마커와 가상 마커의 비교는 특징점, 특징선, 특징면 등을 이용하여 수행될 수 있으며, 기준 마커와 가상 마커의 유사도가 일정 수준 이하인 경우에는 매칭되는 최적 가상 마커가 없는 것으로 판단할 수도 있다.
보정 정보 생성기(740)는 기준 마커와 최적 가상 마커에 기초하여 컨텐츠 위치를 보정하기 위한 정보(즉, 컨텐츠 위치 보정 정보)를 생성한다(단계 S830).
구체적으로, 보정 정보 생성기(740)는 기준 마커의 특징점, 특징선, 특징면과 이에 상응하는 최적 가상 마커의 특징점, 특징선, 특징면을 각각 비교하여, 위치 오프셋(offset), 방위각 오프셋, 경사도 오프셋, 화각 오프셋을 계산하고, 이들 오프셋을 포함하는 컨텐츠 위치 보정 정보를 생성한다.
그러면, 단말기는 이와 같이 생성된 컨텐츠 위치 보정 정보에 기초하여 증강 현실 컨텐츠의 위치를 보정하고(단계 S840), 이를 실사 영상과 결합하여 증강 현실 서비스를 제공한다.
참고로, 도 10은 단말기 화면에 증강 현실 서비스가 구현된 것을 예시한 도면인데, 도시된 바와 같이 본 발명에 따른 컨텐츠 위치 보정 기술을 이용하면 사람, 무지개 등과 같은 컨텐츠(가상 객체)가 현실 세계의 건물과 보다 정확히 매칭되어 보다 현실감 있는 증강 현실 서비스를 제공할 수 있음을 알 수 있다.
지금까지 본 발명을 바람직한 실시예를 참조하여 상세히 설명하였지만, 본 발명이 속하는 기술분야의 당업자는 본 발명의 기술적 사상이나 필수적 특징들을 변경하지 않고서 다른 구체적인 다양한 형태로 실시할 수 있는 것이므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다.
그리고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 특정되는 것이며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태는 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (12)

  1. 증강 현실 서비스를 위한 컨텐츠 위치 보정 장치에 있어서,
    실사 영상 정보에 기초하여 기준 마커(marker)를 생성하는 기준 마커 생성기;
    가상 공간 정보에 기초하여 적어도 하나의 가상 마커를 생성하는 가상 마커 생성기;
    상기 기준 마커와 상기 적어도 하나의 가상 마커를 비교하여, 상기 적어도 하나의 가상 마커 중 상기 기준 마커에 가장 매칭되는 최적 가상 마커를 선택하는 마커 비교기; 및
    상기 기준 마커와 상기 최적 가상 마커에 기초하여 컨텐츠 위치 보정 정보를 생성하는 보정 정보 생성기를 포함하는 것을 특징으로 하는 장치.
  2. 제1항에 있어서,
    상기 기준 마커 생성기는 상기 실사 영상 정보에 의해 생성된 이미지에 색상, 명도, 조도, 채도, 대조도(contrast) 중 적어도 하나를 조절하여 특징점, 특징선, 특징면 중 적어도 하나를 포함하는 기준 마커를 생성하는 것을 특징으로 하는 장치.
  3. 제1항 또는 제2항에 있어서,
    가상 마커 생성기는 단말기 위치 정보 및 단말기 상태 정보에 상응하는 상기 가상 공간 정보에 기초하여 위치, 방위각, 경사도, 화각(畵角) 중 적어도 하나를 기 설정된 오차범위 내에서 변경하여 복수개의 가상 마커를 생성하는 것을 특징으로 하는 장치.
  4. 제3항에 있어서,
    상기 복수개의 가상 마커의 수는 단말기 성능, 사용자 설정, 실사 영상 변화속도 중 적어도 하나에 기초하여 결정되는 것을 특징으로 하는 장치.
  5. 제1항 또는 제2항에 있어서,
    상기 마커 비교기는 상기 기준 마커에 포함된 특징점, 특징선. 특징면 중 적어도 하나와 상기 적어도 하나의 가상 마커에 포함된 특징점, 특징선, 특징면 중 적어도 하나를 비교하여 최적 가상 마커를 선택하는 것을 특징으로 하는 장치.
  6. 제1항 또는 제2항에 있어서,
    상기 컨텐츠 위치 보정 정보는 위치 오프셋, 방위각 오프셋, 경사도 오프셋, 화각(畵角) 오프셋 중 적어도 하나를 포함하는 것을 특징으로 하는 장치.
  7. 증강 현실 서비스를 위한 컨텐츠 위치 보정 방법에 있어서,
    a) 실사 영상 정보에 기초하여 기준 마커(marker)를 생성하고, 가상 공간 정보에 기초하여 적어도 하나의 가상 마커를 생성하는 단계;
    b) 상기 기준 마커와 상기 적어도 하나의 가상 마커를 비교하는 단계;
    c) 상기 적어도 하나의 가상 마커 중 상기 기준 마커에 가장 매칭되는 최적 가상 마커를 선택하는 단계; 및
    d) 상기 기준 마커와 상기 최적 가상 마커에 기초하여 컨텐츠 위치 보정 정보를 생성하는 단계를 포함하는 방법.
  8. 제7항에 있어서, 상기 단계 a)는,
    상기 실사 영상 정보에 의해 생성된 이미지에 색상, 명도, 조도, 채도, 대조도(contrast) 중 적어도 하나를 조절하여 특징점, 특징선, 특징면 중 적어도 하나를 포함하는 기준 마커를 생성하는 것을 특징으로 하는 방법.
  9. 제7항에 있어서, 상기 단계 a)는,
    단말기 위치 정보 및 단말기 상태 정보에 상응하는 상기 가상 공간 정보에 기초하여 위치, 방위각, 경사도, 화각(畵角) 중 적어도 하나를 기 설정된 오차범위 내에서 변경하여 복수개의 가상 마커를 생성하는 것을 특징으로 하는 방법.
  10. 제7항 내지 제9항 중 어느 한 항에 있어서, 상기 단계 b)는,
    상기 기준 마커에 포함된 특징점, 특징선. 특징면 중 적어도 하나와 상기 적어도 하나의 가상 마커에 포함된 특징점, 특징선, 특징면 중 적어도 하나를 비교하는 것을 특징으로 하는 방법.
  11. 제7항 내지 제9항 중 어느 한 항에 있어서,
    상기 컨텐츠 위치 보정 정보는 위치 오프셋, 방위각 오프셋, 경사도 오프셋, 화각(畵角) 오프셋 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  12. 제7항 내지 제9항 중 어느 한 항에 있어서,
    e) 상기 실사 영상 정보에 상응하는 실사 영상에 상기 컨텐츠 위치 보정 정보에 상응하여 위치가 보정된 컨텐츠를 합성하는 단계를 더 포함하는 것을 특징으로 하는 방법.
KR1020110064690A 2011-06-30 2011-06-30 증강 현실 서비스를 위한 컨텐츠 위치 보정 장치 및 방법 KR20130003371A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110064690A KR20130003371A (ko) 2011-06-30 2011-06-30 증강 현실 서비스를 위한 컨텐츠 위치 보정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110064690A KR20130003371A (ko) 2011-06-30 2011-06-30 증강 현실 서비스를 위한 컨텐츠 위치 보정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20130003371A true KR20130003371A (ko) 2013-01-09

Family

ID=47835612

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110064690A KR20130003371A (ko) 2011-06-30 2011-06-30 증강 현실 서비스를 위한 컨텐츠 위치 보정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20130003371A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220070777A (ko) * 2020-11-23 2022-05-31 부산대학교 산학협력단 가상마커를 이용한 확장 된 3d 데이터 기반의 공간기저벡터 정밀도 보정 장치 및 이를 이용한 공간기저벡터 정밀도 보정 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220070777A (ko) * 2020-11-23 2022-05-31 부산대학교 산학협력단 가상마커를 이용한 확장 된 3d 데이터 기반의 공간기저벡터 정밀도 보정 장치 및 이를 이용한 공간기저벡터 정밀도 보정 방법

Similar Documents

Publication Publication Date Title
KR101126449B1 (ko) 증강 현실 서비스 시스템 및 방법
US20200364938A1 (en) Fine-grain placement and viewing of virtual objects in wide-area augmented reality environments
US8963999B1 (en) Augmented reality with earth data
US9749809B2 (en) Method and system for determining the location and position of a smartphone based on image matching
EP2160714B1 (en) Augmenting images for panoramic display
US20140267234A1 (en) Generation and Sharing Coordinate System Between Users on Mobile
JP5575758B2 (ja) 空間予測近似
US20110201362A1 (en) Augmented Media Message
US20190356936A9 (en) System for georeferenced, geo-oriented realtime video streams
WO2013022642A1 (en) System for enhancing video from a mobile camera
US20120044264A1 (en) Apparatus and method for providing augmented reality
US11210864B2 (en) Solution for generating virtual reality representation
KR20100047563A (ko) 모의 훈련을 위한 증강 현실 장치 및 가상 이미지 합성 방법
US11722845B2 (en) System for combining sensor data to determine a relative position
US20150244930A1 (en) Synthetic camera lenses
JP2016122277A (ja) コンテンツ提供サーバ、コンテンツ表示端末、コンテンツ提供システム、コンテンツ提供方法、および、コンテンツ表示プログラム
US11902499B2 (en) Simulation sighting binoculars, and simulation system and methods
CN111369622B (zh) 虚实叠加应用的相机世界坐标位置获取方法、装置和系统
KR20130003371A (ko) 증강 현실 서비스를 위한 컨텐츠 위치 보정 장치 및 방법
KR101601726B1 (ko) 복수의 영상 획득 장치를 포함하는 모바일 단말기의 위치 및 자세 결정 방법 및 시스템
US11238658B2 (en) AR space image projecting system, AR space image projecting method, and user terminal
JP4733343B2 (ja) ナビゲーションシステム、ナビゲーション装置、ナビゲーション方法、及びナビゲーションプログラム
KR20210049527A (ko) 지도 생성 서버로부터 지도 정보를 수신하는 방법 이를 수행하는 단말
CN106483543A (zh) 基于地图定位app与雷达定位的终端定位方法及系统
CN109922331B (zh) 一种图像处理方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application