KR20140082610A - 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치 - Google Patents

휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치 Download PDF

Info

Publication number
KR20140082610A
KR20140082610A KR1020140060166A KR20140060166A KR20140082610A KR 20140082610 A KR20140082610 A KR 20140082610A KR 1020140060166 A KR1020140060166 A KR 1020140060166A KR 20140060166 A KR20140060166 A KR 20140060166A KR 20140082610 A KR20140082610 A KR 20140082610A
Authority
KR
South Korea
Prior art keywords
image
exhibition
portable terminal
augmented reality
background
Prior art date
Application number
KR1020140060166A
Other languages
English (en)
Inventor
정태영
서상철
김동원
Original Assignee
(주)비투지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)비투지 filed Critical (주)비투지
Priority to KR1020140060166A priority Critical patent/KR20140082610A/ko
Publication of KR20140082610A publication Critical patent/KR20140082610A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 전시 콘텐츠를 구성하는 배경이미지를 트래킹 하여 실제 전시 공간 이미지와 가상 객체 이미지를 혼합하여 사용자 휴대단말기 화면에 증강된 화면을 재생하고 사용자의 작용에 따라 인터렉티브한 동작이 가능한 휴대용 단말을 이용한 증강현실 전시콘텐츠 재생 방법 및 장치에 관한 것이다. 전시 콘텐츠에 대한 증강화면 재생시 휴대용 단말기의 카메라가 획득한 영상 속에서 특징점을 찾아 전시 콘텐츠를 구성하는 3차원 공간을 인지하고 이를 토대로 사전에 제작된 가상객체를 영상 속의 정확한 위치에 정합 시켜 사용자의 휴대용 단말 카메라 각도(화각)가 바뀌어도, 가상객체는 바뀌어 진 영상 속의 3차원 공간을 인지하여 자연스럽게 정합 되어 몰입감을 증대시키기 위한 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치에 관한 것이다.

Description

휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치{METHOD AND APAARATUS FOR AUGMENTED EXHIBITION CONTENTS IN PORTABLE TERMINAL}
본 발명은 휴대용 단말을 이용한 증강현실 전시콘텐츠 재생 방법 및 장치에 관한 것이다. 특히, 휴대용 단말을 이용하여 전시용 콘텐츠에 대해 몰입감을 높이고, 증강현실을 이용하여 상호작용 체험 전시가 가능한 휴대용 단말을 이용한 증강현실 전시콘텐츠 재생 방법 및 장치에 관한 것이다.
일반적으로, 박물관이나 전시장 내의 전시물에 관한 정보는 전시장 벽면에 부착된 패널 상에 그림이나 문자 형태로 간단하게 설명되어 있어 전시물에 관해 깊이 있는 지식이나 정보를 얻는데 한계가 있다. 이러한 문제점을 해결하기 위하여 국내 공개 특허 제2011-0107691호(공간 증강 현실 기반 인터랙티브 디스플레이 방법)에서는 공간 증강 현실 기반 인터랙티브 디스플레이 시스템 및 그 방법에 관한 것으로, 전시공간상에 고정된 사물이나 유동적인 사물에 안내 게시물을 출력하여 관찰자가 전시물을 관람하는 것만으로 해당 전시물의 정보를 획득할 수 있고 한 공간상에 존재하는 다량의 객체에 대해서 안내할 수 있는 방법이 개시되어 있다. 또한 국내 공개특허 제2003-0057053호 (이동통신을 이용한 관광 및 전시물 관람 정보제공 서비스 방법)에는 전시물 또는 전시물의 주변에 태그 장치를 설치하고, 관람객 단말기를 이용하여 전시물에 근접하면 태그 장치를 통해 전시물의 안내를 제공하는 시스템에 대해 개시되어 있다.
그러나 종래의 방법은 관람자의 몰입을 극대화하기 위해 특수한 형태의 장치 및 환경을 구성하는 형태로 전시콘텐츠가 구성되기 때문에 부가적인 장비가 필요하다. 특히 HMD(Head Mount Display) 등과 같은 고가의 장비가 부가적으로 필요할 뿐만 아니라 소수의 관람자를 대상으로 하고 있기 때문에 몰입의 극대화에는 한계를 지니고 있다.
최근 휴대용 단말기(스마트 폰 등)의 발달과 이를 이용한 증강현실 방법에 대한 연구가 활발하게 진행되고 있다.
증강현실(AR; Augmented Reality)은 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 가상현실의 하나이다. 현실세계를 가상세계로 보완해주는 개념인 AR은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 또한 증강현실은 현실 영상과 가상의 그래픽을 겹쳐서 보여주게 되는데 이때 정확한 영상을 얻어내기 위해서는 가상객체들이 2D 화면에서 원하는 자리에 그려져야 하고, 이를 해결하기 위해서는 현실 세계의 어떤 지점(예를 들어 가상객체가 그려 넣어지게 되는 위치)의 3차원 좌표가 필요하며, 이 좌표는 카메라를 기준으로 하는 좌표값이 되어야 한다. 따라서 문제는 카메라의 영상에서 현실 세계의 어떤 지점이나 물체에 대한 카메라 상대 3차원 좌표를 얻어내야 하는데, 3차원 좌표를 얻어내기 위해서는 이론적으로 2개의 카메라가 필요하며, 이는 인간이 두 눈을 통하여 깊이를 인지하는 원리와 같다. 일반적으로 모바일 기기의 경우 사용성을 위하여 한 개의 카메라만을 사용하는 경우가 많기 때문에 한 개의 카메라에서 현실 세계의 3차원 위치를 파악하는 것은 매우 어렵기 때문에 기존의 증강현실 시스템은 이 문제를 해결하기 위해 마커를 이용하고 있다. 마커는 컴퓨터 비젼 기술로 인식하기 쉬운 어떤 물체를 의미하는 것으로, 예를 들어 검은 바탕의 똑바로 쓰여 진 평면 문양이나 특이한 색상을 갖는 기하학적인 물체로 구성된다. 현재의 대부분의 증강현실 시스템은 마커를 이용하여 상대적 좌표를 추출하고 이를 활용하여 정합(registration)을 하게 된다. 또 다른 방법으로 카메라에서 영상 속 물체의 2차원 좌표를 인식할 수 있는데 이 경우 깊이를 모르기 때문에 그 물체 뒤로는 영상을 만들어 낼 수 없는 단점이 있다.(예: 물체에 가려지는 영상 등)
최근에는 번거롭게 마커를 필요로 하지 않고도 트랙킹이 가능한 이미지 트랙킹(Image tracking)기법이 연구되고 있다. 이는 인공적으로 프린트한 인쇄물로서의 마커가 아니라 현실세계 속 영상들의 특징점을 추출해 이를 트랙킹 한다. 이때 추출되는 영상 특징점이 동일한 평면상에 있는 것이 아니라 3차원 공간상의 객체에 대해 대응해야 한다. 일반적으로 이러한 공간의 특징점을 추출하는 경우 공간의 이미지를 트래킹 하여 추적하는 기술이 이용되는데 트레킹 되는 이미지가 유효한 카메라 화각 범위를 벗어나거나 화면 밖으로 나갈 경우 추적 상태가 이탈되어 증강현실 화면이 실행되지 않은 경우가 발생한다. 특히 휴대용 단말기기를 사용할 경우 사용자의 손의 움직임에 따라 카메라 화각 변화가 심해지는 문제가 있다.
본 발명의 실시 예는 상기의 문제점을 개선하기 위하여 창안된 것으로서, 전시콘테츠를 구성하는 환경 (배경 이미지)를 트래킹하여 실제 전시 공간 이미지와 가상 객체 이미지를 혼합하여 사용자 휴대 단말기 화면에 증강된 화면을 재생하고 사용자의 작용에 따라 인터렉티브한 동작이 가능한 휴대용 단말을 이용한 증강현실 전시콘텐츠 재생 방법 및 장치에 관한 것이다.
본 발명의 또 다른 목적은 휴대용 단말기를 이용하여 전시 콘텐츠에 대한 증강화면 재생시 휴대용 단말기의 카메라가 획득한 영상 속에서 특징점을 찾아 전시 콘텐츠를 구성하는 3차원 공간을 인지하고 이를 토대로 사전에 제작된 가상객체를 영상 속의 정확한 위치에 정합 시켜 사용자의 휴대용 단말 카메라 각도(화각)가 바뀌어도, 가상객체는 바뀌어 진 영상 속의 3차원 공간을 인지하여 자연스럽게 정합 되어 몰입감을 증대시키기 위한 휴대용 단말을 이용한 증강현실 전시콘텐츠 재생 방법에 관한 것이다.
상술한 목적들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 휴대용 단말을 이용한 증간현실 전시콘텐츠 재생을 위한 방법은, 전시 콘텐츠를 포함하는 공간 이미지 (배경 이미지)을 공간 배경 특징DB를 구축하는 과정과, 현실 영상에 대응하는 가상 객체 콘텐츠를 제작하는 과정과, 휴대용 단말기에서 카메라를 통하여 현실공간을 인식하는 과정과, 인식 결과를 바탕으로 3차원 공간 이미지를 형성하는 과정과, 상기 형성된 3차원 공간 이미지와 가상 객체 이미지를 정합 시켜 증강현실 전시콘텐츠를 재생하는 과정을 포함하는 것을 특징으로 한다.
상술한 목적들을 달성하기 위한 본 발명의 제 2 견지에 따르면, 휴대용 단말를 이용한 증강현실 전시콘텐츠 재생 장치는, 영상을 입력받는 영상 입력부와, 증강현실은 실현하기 위한 추적부, 추출부, 영상 분석부, 좌표 설정부, 모델 정합부, 동작 실행부를 포함하며, 증강현실 재생 화면을 디스플레이하기 위한 출력부, 사용자의 인터렉션 이벤트를 처리하기 위한 조작부와 공간 배경 특징DB, 가상객체 DB를 포함하는 저장장치를 포함하는 것을 특징으로 한다.
본 발명은 상기한 목적에 따라 다음과 같은 효과를 얻을 수 있다. 첫째, 사용자는 부가적인 도구 없이(ex. HMD, 빔 프로젝트, 깊이 카메라) 휴대용 단말기만을 이용하여 증강현실 전시 콘텐츠에 정합된 3차원 가상 콘텐츠와 상호 작용할 수 있다.
둘째, 부가적인 장비 없이 휴대용 단말을 통하여, 동시에 다수가 하나의 전시콘텐츠에 대한 몰입감 있는 증강현실을 경험할 수 있어, 전시콘텐츠에 대한 교육 등에 효과적이다.
셋째, 상기의 휴대용 단말을 이용한 증강현실 전시콘텐츠 재생 방법은 전시콘텐츠에 대한 다양하고 효율적인 메시지 전달이 가능 한 전시 및 광고 시스템으로 활용이 가능하며, 관련 유관 콘텐츠 시장(미래형 게임 등)으로의 응용력이 높아 다양한 형태의 사업으로 발전이 가능하다.
도 1은 본 발명에 실시 예에 따른 휴대폰을 이용한 증강현실 전시콘텐츠 재생 장치의 구성을 도시하는 도면,
도 2는 본 발명의 실시 예에 따른 전시콘텐츠를 포함하는 공간이미지 (배경이미지)데이터를 생성하는 방법을 도시하는 도면,
도 3은 본 발명의 실시 예에 따른 3차원 전시콘텐츠 공간을 구성하고 기준좌표축을 정렬하는 방법을 도시하는 도면,
도 4는 본 발명의 실시 예에 따른 휴대용 단말 카메라를 통한 입력 영상을 이용하여 3차원 전시공간 이미지를 생성하고, 기 제작된 가상 객체 이미지를 정합 하여, 휴대용 단말에서 전시 콘텐츠에 대한 증강된 화면을 재생하는 방법을 도시한 도면, 및
도 5는 본 발명의 실시 예에 따른 휴대용 단말을 이용한 전시콘텐츠 증강현실 재생 절차를 도시하는 도면.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명 되는 실시 예에 한정되지 않는다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.
이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 설명한다.
도 1은 본 발명에 실시 예에 따른 휴대폰을 이용한 증강현실 전시콘텐츠 재생 장치의 구성을 도시하고 있다.
상기 도 1을 참조하면, 상기 증강현실 시스템(100)은 영상 입력부(110), 추적부(120), 추출부(121), 좌표설정부(122), 모델 정합부(123), 동작 실행부(124), 출력부(130), 조작부(140), 저장장치(150)를 포함할 수 있다.
상기 영상 입력부(110)는 휴대용 단말기의 카메라로 부터 입력되는 영상 이미지(이하 "입력 이미지")을 입력 받아 인식하는 부분이다. 입력 이미지는 메모리부(150)의 공간 배경 특징 DB(151)에 저장된 전시콘텐츠를 포함하는 공간 이미지(이하 "배경 이미지")와 비교하는 기능을 포함할 수 있다.
상기 추적부(120)는 입력 이미지와 배경 이미지를 이미지 프로세싱 알고리즘을 이용하여 동일한 부분이 있는지를 트래킹하는 기능을 포함한다. 이미지 프로세싱 알고리즘은 잘 알려진 이미지 패턴 매칭 알고리즘을 이용하여 구현이 가능함으로 자세한 설명은 생략하기로 한다.
상기 추출부(120)는 상기 추적부(120)를 통하여 동일 부분으로 판명된 배경이미지에 포함된 최초 특징점을 추출하여 메모리 상에 임시 보관하는 기능을 포함한다. 메모리에 임시 보관된 최초 특징점 데이터는 사용자의 화각(휴대용 단말기의 카메라 각도)변화 움직임에 대응하여 화각 범위 내 임시로 저장된 특징점이 존재 하는지를 판단하는 기준 값으로 이용될 수 있다. 이는 화각의 움직임에 따라 추적부와 추출부 매번 실행하는 것이 아니고, 상기 최초 특징점 중 적어도 하나 이상의 특징점이 화각 범위 내에 포함되면 다음 단계를 진행하여 특징점 비교 연산속도를 최소화하기 위한 기능을 포함한다. 예를 들어 입력 이미지와 배경 이미지에 공통적 으로 포함된 최초 특징점이 A',B',C'로 정의한다면, A',B',C'는 임시 데이터 보관장소에 저장되고 사용자의 화각변화(손의 움직임에 따른 카메라 각도 변화)에 따라 새로운 특징점을 추출하는 단계에서 상기 임시로 저장된 A',B',C'중 적어도 하나 이상의 특징점이 존재한다면 특징점 추출 단계를 더 이상 진행하지 않고 다음 단계를 수행하는 기능을 포함한다.
상기 좌표 설정부(122)은 입력 이미지를 이용하여 3차원 전시 공간 이미지를 구축하는 단계를 포함한다. 이 부분에 대한 자세한 설명은 도 3에서 설명하기로 한다.
상기 모델 정합부(123)은 입력 이미지를 이용하여 구축된 3차원 전시 공간 이미지와 3차원 가상 객체 이미지의 기준 좌표를 매칭 하여 두 영상을 겹치(OVERLAP)는 기능을 포함할 수 있다.
상기 동작 실행부(124) 해당 증강현실 전시 콘텐츠가 재생되는 시점에 조작부(140) 사용자 입력이 발생 될 시, 발생 된 사용자 입력에 대한 동작을 정의한 모듈 실행, 메뉴에 대응하는 메뉴 모듈 실행, 특정 위치에서의 이벤트에 대응하기 위한 위치 이벤트 모듈 실행 기능을 포함할 수 있다.
상기 조작부(140)은 휴대용 단말에 구성된 증강현실 인터페이스로서 앱(App)형태로 제공될 수 있다. 조작부(140)는 휴대용 단말 화면상에 메뉴 형태로 제공될 수 있으며, 증강현실 재생 화면을 포함할 수 있다. 해당 메뉴나 화면을 클릭하거나 터치 할 경우 실행 이벤트가 발생하며, 이에 대응한 실행 이벤트 값이 동작 실행부(125)에 전달되어 가상 객체 DB(152)에 저장되어 있는 해당 가상 객체를 업로드 하여 증강현실 화면을 재구성하는 기능을 포함할 수 있다.
상기 저장장치(150)는 공간 배경 특징 DB (151), 가상 객체 DB(152)를 포함 할수 있다.
상기 공간 배경 특징 DB (151)는 전시콘텐츠의 배경 이미지를 사전에 제작하여 저장하는 기능을 포함할 수 있다.
상기 가상객체DB(152)는 증강된 화면을 구성하여 가상 객체에 대한 데이터 저장 장치로, 전체 신(scene)을 구성하는 신데이터(Scene Data)와 이벤트 반응 정보 및 가상 콘텐츠(예: 이벤트 값, 정점(Vertex), 텍스처(Texture),애니메이션 (Animation))3차원 객체 데이터(3D Object Data)및 멀티미디어 데이터(Multimedia Data)를 저장하는 기능을 포함할 수 있다.
도 2는 본 발명의 실시 예에 따른 배경이미지를 저장하는 방법 및 데이터 구조를 도시하는 도면으로서, 공간 배경 특징 DB (151)에 배경이미지를 저장하는 방법과 구성에 대해 도시하고 있다.
배경 이미지는 1에서 부터 n개의 이미지로 구성할 수 있으며, 일반적으로 배경 이미지는 전시콘텐츠를 중심으로 상,하, 좌, 우 측면, 배면 등으로 구분하여 구성할 수 있으며, 경우에 따라서는 그 이상의 배경 이미지를 세분화하여 데이터 화 할수 있다. 배경이미지는 마커(marker)기반 증강현실 시스템에서의 마커 기능을 담당하기 때문에 각각의 배경 이미지는 고유한 특징값을 적어도 하나 이상 포함하는 배경 이미지를 구성하는 것이 바람직할 것이다. 또한 이미지 패턴 매칭의 효율성을 위해 배경 이미지 및 특징점에 대한 인텍스(Index)값을 포함할 수 있다.
도 2(b)는 본 발명 실시 예에 따른 실제 배경 이미지에 대한 예이고, 도 2(a)의 경우 공간 배경 특징 DB (151)에 저장된 형태의 배경 이미지를 도시하고 있다. 상기 영상 입력부(110)를 통해 인지된 입력 이미지와 공간 배경 특징 DB (151)에 저장된 배경 이미지(1 부터 n)를 Open CV(Open Source Computer Vision)등과 같은 공개된 형태의 이미지 패턴 매칭 알고리즘 및 엔진을 이용하여 효율적으로 동일 이미지를 트래킹 할 수 있는 기능을 포함할 수 있다.
도 3은 본 발명의 실시 예에 따른 입력 이미지를 이용하여 3차원 전시 공간 이미지를 실시간으로 생성하고, 기준좌표를 정렬하는 방법을 도시한 도면으로서, 휴대용 단말기 카메라를 이용하여 전시 공간을 촬영할 경우 입력 이미지는 2차원 형태로 입력되며, 입력된 영상을 Open CV(Open Source Computer Vision) 프로그램 및 해당 알고리즘에 의해 도 3(a)처럼 3차원 공간 이미지로 실시간 생성할 수 있다. 이때 각각의 입력 이미지(Image ID1~Image ID4)는 고유한 기준 좌표(이미지 중앙)를 포함한다. 현재의 마커 기반이나, 단면 형태의 이미지 트래킹 증강 현실 장치의 경우 이 기준 좌표를 기점으로 가상 객체가 위치 좌표를 지정하게 된다. 따라서 트래킹 시 이 기준점이 화각에서 벗어날 경우 가상 객체가 화면상에서 사라지는 단점을 내포하고 있다. 따라서 본 발명의 실시 예에서는 이러한 점을 보완하기 위해 도 3(b)처럼 3차원 전시 공간 이미지에 하나의 3차원 전시 공간 이미지 기준좌표(310)로 설정하고 각각의 배경 이미지 기준 좌표를 3차원 전시 공간 이미지 기준좌표(310)로 이동시키는 기능을 포함할 수 있다.
도 4는 본 발명의 실시 예에 따른 상기 입력 영상에 따른 3차원 전시 공간 구성 이미지와 가상 객체 이미지를 정합하여, 휴대용 단말에서 전시 콘텐츠에 대한 증강된 화면을 재생하는 방법을 도시하는 도면으로서, 본 발명의 실시 예에서 도 4(a)는 가상 객체 DB(152)에 저장된 3차원 가상 객체 이미지고, 도 4(b)는 상기에서 입력 화면을 이용하여 3차원 전시 공간을 재구성한 이미지다.
두 이미지의 기준좌표를 매칭하여 하나의 화면으로 겹치면(OverLap) 휴대용 단말의 증강현실 콘텐츠 재생기(430)에 증강된 화면이 재생된다.
또한 도 4(C)처럼 별도의 증강현실 콘텐츠 재생기(430)를 구성하여 사용자 조작(440)에 따라 발생 되는 이벤트 값과 대응되는 가상객체 영상 및 이미지를 업로딩(Uploading) 하여 상기의 증강현실 재생 방법을 실행하여 인터렉티브한 증강현실 콘텐츠를 재생할 수 있는 기능을 포함할 수 있다.
도 5은 본 발명의 실시 예에 따른 휴대용 단말을 이용한 증강 현실 전시 콘텐츠 재생 방법에 대한 절차를 도시한 도면이다.
도 5를 참조하면, 510단계에서 상기 휴대용 단말기에서 증강현실 앱을 구동 한다. 앱이 구동될 시, 상기 휴대 단말기는 511단계에서 카메라를 통하여 입력 이미지를 입력받는다.
이후, 512단계에서 상기 휴대 단말기는 입력 이미지와 사전에 저작되어 DB에 저장된 배경이미지의 특징점 이미지 팬턴 매칭 알고리즘을 이용하여 공통 이미지를 추적하고, 513단계에서 공통 특징점을 추출한다.
상기 공통 특징점이 적어도 하나 이상 존재하면 다음 단계를 수행한다.
반면 적어도 하나 이상의 공통 특징점이 추출되지 않을 경우 다음 배경 이미지와의 비교를 통해 공통 특징점을 추출한다. 이 추출 작업은 배경 이미지(1~n)에 대해 순차적으로 진행하며, 최종 공통 특징점이 추출되지 않을 경우 상기 휴대용 단말기는 본 발명에 따른 알고리즘을 종료한다.
이후, 514단계에서는 513 단계에서 추출된 특징점을 임시 메모리에 저장하고, 515단계에서 현재 화각 내에 특징점을 추출하여 임시 메모리에 저장된 특징점을 비교하는 알고리즘을 수행한다.
상기 515단계를 통하여 적어도 하나 이상의 공통 특징점이 존재하는지를 판단하는 516단계를 수행한다. 이는 상기 휴대용 단말기 화각에 대한 변화를 검색하는 부분으로 수행 결과 적어도 하나 이상의 공통 특징점이 존재한다면 다음 단계로 진행한다. 반면 공통 특징점이 존재하지 않는 경우 입력 이미지와 배경 이미지를 비교하는 512단계를 다시 수행한다.
이후, 517단계에서는 입력된 이미지를 이용하여 3차원 전시공간 이미지를 생성하는 단계를 수행한다. 이때 Open CV(Open Source Computer Vision)함수 및 알고리즘을 이용할 수 있다.
이후, 518단계에서는 3차원 전시공간 이미지를 구성하는 각각의 배경이미지 기준좌표를 3차원 전시 공간 이미지 기준좌표로 이동하여 3차원 전시공간 이미지 내 단일 기준 좌표를 설정한다. 이는 다음 단계의 가상객체 이미지를 증강할 때 가상 객체 이미지의 기준좌표와 매칭 되는 지점으로서, 사용자 휴대용 단말의 화각 변화에도 가상 객체의 위치는 변화하지 않고 해당 위치를 유지할 수 있다.
이후, 519단계에서는 가상객체 DB에 저장된 가상 객체 데이터(씬 데이터, 3D 오브젝트 데이터, 멀티미디어 데이터 등)를 저장장치에서 실행 메모리로 업로딩 하는 단계이다. 상기 가상 객체 DB의 경우 본 발명의 실시 예처럼 앱(App)을 통하여 사용자 휴대용 단말 저장장치에 저장할 수 있으며, 웹 서버에 저장하고 통신을 통하여 다운로드를 수행하는 방법도 가능하다.
이후, 520단계에서는 3차원 전시공간이미지 기준좌표와 가상 데이터 기준좌표 매칭을 통하여 두 이미지를 오버랩(Overlap)시켜 증강 현실 화면을 재생한다.
이후, 530단계에서는 520단계에서 증강된 화면을 사용자 휴대용 단말에 구현된 증강현실 뷰어에 디스플레이한다.
이후, 522단계에서 사용자 휴대용 단말에 구현된 증강현실 인터페이스를 통하여 사용자 이벤트가 발생하였는지를 판단한다. 이벤트가 발생할 경우 이벤트 값을 가상 객체 DB에 전달하여 해당 이벤트 값(513)에 해당하는 가상 객체 데이터를 검색하는 524단계를 수행한 후 화각의 변화를 체크 하기 위해 515단계를 다시 수행한다.
이후, 이벤트가 발생하지 않거나, 증강 현실 인터페이스 종료 이벤트가 발생할 경우, 상기 휴대용 단말기는 본 발명에 따른 알고리즘을 종료한다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
110: 영상 입력부 430 : 증강현실 컨텐츠 재생기
120 : 추적부 440 : 사용자 조작
121 : 추출부 450 : 카메라 화각
122 : 좌표설정부 151 : 공간 배경 특징 DB
123 : 모델정합부 152 : 가상 객체 DB
125 : 동작 실행부 211 : 배경이미지
130 : 출력부 300 : 기준좌표
140 : 조작부

Claims (12)

  1. 휴대용 단말기를 이용한 증강현실 전시콘텐츠 재생 방법에 있어서,
    전시 콘텐츠와 배경 이미지를 이용하여 공간 배경 특징 DB 제작하는 단계;
    가상 객체 DB를 제작하는 단계;
    사용자 휴대용 단말 카메라를 이용하여 전시콘텐츠 및 전시콘텐츠 배경을 촬영하여 입력 이미지를 획득하는 단계;
    상기의 배경이미지와 입력 이미지를 비교하여 공통의 특징점을 추출하는 단계;
    상기의 추출된 특징점과 사용자 휴대용 단말의 화각 내 특징점을 비교하는 단계;
    상기 입력 이미지를 이용하여 3차원 전시 공간 이미지를 생성하는 단계;
    상기 각각의 배경 이미지의 기준 좌표를 3차원 전시공간 이미지의 기준좌표로 이동하는 단계;
    상기 3차원 전시 공간 이미지의 기준좌표와 가상 데이터의 기준 좌표를 매칭하여 증강현실 화면을 생성하는 단계;
    상기 생성된 증강현실 화면을 사용자 휴대용 단말에 재생하는 단계와,
    사용자 이벤트 발생시 이벤트 값을 이용하여 증강현실 화면을 재 구성 하고 사용자 휴대용 단말에 재생하는 단계를 포함하는 휴대용 단말기를 이용한 증강현실 전시콘텐츠 재생 방법.
  2. 제 1항에 있어서,
    상기 전시 콘텐츠의 배경 이미지를 이용하여 공간 배경 특징 DB 제작하는 단계에서,
    전시 콘텐츠를 중심으로 상,하, 좌, 우 측면, 배면의 배경이미지를 기본적인 공간 배경 특징DB 데이터로 저장할 수 있으며, 각각의 배경 이미지가 고유한 특징값을 적어도 하나 이상 포함하는 배경 이미지 및 특징점에 대한 인텍스(Index)값을 포함하여 공간 배경 특징DB를 제작하는 방법.
  3. 제 1항에 있어서,
    상기 가상 객체 DB를 제작하는 단계에서,
    증강 현실 화면을 통하여 발생 되는 이벤트에 대응하여 사용자와 상호작용하는 데이터와, 전체 씬을 구성하는 데이터 및 3차원 객체들에 대한 정보를 나타내는 3차원 객체 데이터 및 멀티미디어 데이터 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  4. 제 1항에 있어서,
    사용자 휴대용 단말 카메라를 이용하여 전시콘텐츠 및 전시콘텐츠 배경을 촬영하여 입력 이미지를 인식하는 단계에서,
    사용자 휴대용 단말 카메라 화각 범위 내에 포함되는 전시콘텐츠 및 전시콘텐츠 배경 이미지를 획득하는 것을 특징으로 하는 방법.
  5. 제 1항에 있어서,
    상기의 배경이미지와 입력 이미지를 비교하여 공통의 특징점을 추출하는 단계에서,
    상기의 배경이미지와 입력 이미지를 이미지 패턴 알고리즘을 이용하여 비교 한 후, 공통의 특징점을 추출하고, 추출된 특징점을 임시 메모리에 저장하는 것을 특징으로 하는 방법.
  6. 제 1항에 있어서,
    상기의 추출된 특징점과 사용자 휴대용 단말의 화각 내 특징점을 비교하는 단계에서,
    상기 임시 메모리에 저장된 특징점과 사용자 휴대용 단말의 화각의 변화에 따른 새로운 특징점을 추출하여 적어도 하나 이상 공통된 특징점이 존재하는 경우 특징점 추출 단계를 더 이상 진행하지 않고 다음 단계를 수행하는 것을 특징으로 하는 방법.
  7. 제 1항에 있어서,
    상기 입력 이미지를 이용하여 3차원 전시 공간 이미지를 생성하는 단계에서,
    상기 사용자 휴대용 단말기 카메라를 이용하여 전시 공간을 촬영할 경우 입력 이미지는 2차원 형태로 입력되며, 입력된 영상을 Open CV(Open Source Computer Vision) 프로그램 및 해당 알고리즘에 의해 3차원 공간 이미지로 실시간 생성하는 것을 특징으로 하는 방법.
  8. 제 1항에 있어서,
    상기 각각의 배경 이미지의 기준 좌표를 3차원 전시공간 이미지의 기준좌표로 이동하는 단계에서,
    상기 각각의 입력 이미지는 고유한 기준 좌표(이미지 중앙)를 포함하고 있으며, 이를 3차원 전시 공간 이미지에 하나의 3차원 전시 공간 이미지 기준좌표를 설정하고 각각의 배경 이미지 기준 좌표를 3차원 전시 공간 이미지 기준좌표로 이동 시키는것을 특징으로 하는 방법.
  9. 제 1항에 있어서,
    상기 3차원 전시 공간 이미지의 기준좌표와 가상 데이터의 기준 좌표를 매칭하여 증강현실 화면을 생성하는 단계에서,
    상기 3차원 전시 공간 이미지의 기준좌표와 가상 데이터의 기준 좌표를 매칭 하여 두 개의 화면을 오버랩(OverLap)시켜 증강 현실 화면을 생성하는 것을 특징으로 하는 방법.
  10. 제 1항에 있어서,
    상기 생성된 증강현실 화면을 사용자 휴대용 단말에 재생하는 단계에서,
    사용자 입력에 따라 미리 정의된 스크립트에 따라 이벤트를 수행하는 과정을 포함하며,
    상기 이벤트는, 메뉴 항목 디스플레이, 객체 터치에 따른 정보 디스플레이, 진동 발생, 소리 발생, 객체 이미지의 시각적 변경 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  11. 휴대용 단말기를 이용한 증강현실 전시콘텐츠 재생 장치에 있어서,
    상기 전시콘텐츠와 전시 배경 이미지를 사용자 휴대용 단말의 카메라를 통하여 획득하는 영상 입력부 와,
    상기 영상 입력부를 통하여 입력된 입력 이미지의 특징점을 추척하기 위한 추척부와, 특징점 추출부, 3차원 전시 공간 이미지의 기준 좌표를 재 구성 하기 위한 좌표 설정부, 3차원 전시 공간 이미지와 가상 객체 데이터를 정합 시키는 기능이 포함된 모델 정합부와 사용자의 이벤트를 전달받아 이벤트를 실행시키는 동작 실행부와 증강 현실 화면을 디스플레이하는 출력부와 사용자와의 상호작용을 위한 증강현실 인터페이스로 구성된 조작부와 사전에 제작된 공간 배경 특징DB, 가상 객체DB를 저장하는 저장 장치를 포함하는 것을 특징으로 하는 장치.
  12. 제 11항에 있어서,
    상기 출력부는 메뉴항목 디스플레이, 객체 터치에 따른 정보 디스플레이, 진동 발생, 소리 발생, 객체 이미지 시각적 변화 중 적어도 하나를 포함하는 것을 특징으로 하는 장치.


KR1020140060166A 2014-05-20 2014-05-20 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치 KR20140082610A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140060166A KR20140082610A (ko) 2014-05-20 2014-05-20 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140060166A KR20140082610A (ko) 2014-05-20 2014-05-20 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20140082610A true KR20140082610A (ko) 2014-07-02

Family

ID=51733486

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140060166A KR20140082610A (ko) 2014-05-20 2014-05-20 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20140082610A (ko)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101535579B1 (ko) * 2012-05-22 2015-07-09 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 증강 현실 인터액션 구현 방법 및 시스템
KR101641672B1 (ko) * 2015-07-21 2016-07-21 (주)디자인비아트 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템
KR20160108158A (ko) * 2015-03-05 2016-09-19 삼성전자주식회사 3차원 배경 콘텐트를 합성하는 방법 및 디바이스
KR20160112898A (ko) 2015-03-20 2016-09-28 한국과학기술원 증강현실 기반 동적 서비스 제공 방법 및 장치
WO2016153108A1 (ko) * 2015-03-20 2016-09-29 한국과학기술원 증강현실 기반 동적 서비스 제공 방법 및 장치
KR20170054146A (ko) * 2015-11-09 2017-05-17 에스케이텔레콤 주식회사 증강 현실 제공 방법
KR101874345B1 (ko) * 2017-02-08 2018-07-06 (주) 문화상상연구소 증강현실을 이용한 왕릉 유물 정보 출력방법
KR20180126146A (ko) * 2017-05-17 2018-11-27 디프트(주) 2.5차원 이미지를 활용한 가상 전시 공간 시스템 및 제공 방법
KR20190003339A (ko) * 2017-06-30 2019-01-09 주식회사 레벨나인 영상 제어 방법 및 서버
CN109716384A (zh) * 2016-09-23 2019-05-03 皮卡特有限责任公司 增强现实实现方法
KR20190048635A (ko) * 2017-10-31 2019-05-09 한국전력공사 영상 속 사물의 3d 인식 및 사물의 기준점과 표지물과의 상대좌표 정보를 이용한 실시간 영상에 표지물 위치 증강 장치, 이의 방법 및 이 방법을 저장한 컴퓨터 판독 가능 저장 매체
KR20190073715A (ko) * 2017-12-19 2019-06-27 김창영 증강현실을 이용한 부표 모니터링 방법 및 단말기
WO2019118599A3 (en) * 2017-12-13 2019-07-25 Lowe's Companies, Inc. Virtualizing objects using object models and object position data
WO2019177181A1 (ko) * 2018-03-12 2019-09-19 라인플러스(주) 뉴럴 네트워크를 이용하여 상황을 인지하는 증강 현실 제공 장치, 제공 방법 및 상기 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램
WO2019212129A1 (ko) * 2018-05-04 2019-11-07 디프트 주식회사 효율적인 데이터 관리를 위한 가상 전시 공간 제공 방법
WO2019216528A1 (ko) * 2018-05-08 2019-11-14 디프트 주식회사 2.5 차원화를 이용한 가상 전시 공간 제공 방법
WO2020050516A1 (ko) * 2018-09-05 2020-03-12 디프트 주식회사 2.5차원 가상 전시 공간을 이용한 3차원 vr 데이터 생성 방법
KR20200032596A (ko) * 2018-09-18 2020-03-26 전남대학교산학협력단 증강현실과 가상현실이 통합된 듀얼 리얼리티 환경에서 제조 서비스 정보 제공 방법 및 단말
CN111638793A (zh) * 2020-06-04 2020-09-08 浙江商汤科技开发有限公司 飞行器的展示方法、装置、电子设备及存储介质
US11875396B2 (en) 2016-05-10 2024-01-16 Lowe's Companies, Inc. Systems and methods for displaying a simulated room and portions thereof
US12087054B2 (en) 2023-03-20 2024-09-10 Lowe's Companies, Inc. Virtualizing objects using object models and object position data

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101535579B1 (ko) * 2012-05-22 2015-07-09 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 증강 현실 인터액션 구현 방법 및 시스템
KR20160108158A (ko) * 2015-03-05 2016-09-19 삼성전자주식회사 3차원 배경 콘텐트를 합성하는 방법 및 디바이스
KR20160112898A (ko) 2015-03-20 2016-09-28 한국과학기술원 증강현실 기반 동적 서비스 제공 방법 및 장치
WO2016153108A1 (ko) * 2015-03-20 2016-09-29 한국과학기술원 증강현실 기반 동적 서비스 제공 방법 및 장치
KR101641672B1 (ko) * 2015-07-21 2016-07-21 (주)디자인비아트 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템
KR20170054146A (ko) * 2015-11-09 2017-05-17 에스케이텔레콤 주식회사 증강 현실 제공 방법
US11875396B2 (en) 2016-05-10 2024-01-16 Lowe's Companies, Inc. Systems and methods for displaying a simulated room and portions thereof
CN109716384A (zh) * 2016-09-23 2019-05-03 皮卡特有限责任公司 增强现实实现方法
CN109716384B (zh) * 2016-09-23 2023-07-11 皮卡特有限责任公司 增强现实实现方法
KR101874345B1 (ko) * 2017-02-08 2018-07-06 (주) 문화상상연구소 증강현실을 이용한 왕릉 유물 정보 출력방법
KR20180126146A (ko) * 2017-05-17 2018-11-27 디프트(주) 2.5차원 이미지를 활용한 가상 전시 공간 시스템 및 제공 방법
US11069126B2 (en) 2017-05-17 2021-07-20 Dift Corporation System and method for providing virtual exhibition space utilizing 2.5 dimensional image
US11651545B2 (en) 2017-05-17 2023-05-16 Dift Corporation System and method for providing virtual exhibition space utilizing 2.5 dimensional image
KR20190003339A (ko) * 2017-06-30 2019-01-09 주식회사 레벨나인 영상 제어 방법 및 서버
KR20190048635A (ko) * 2017-10-31 2019-05-09 한국전력공사 영상 속 사물의 3d 인식 및 사물의 기준점과 표지물과의 상대좌표 정보를 이용한 실시간 영상에 표지물 위치 증강 장치, 이의 방법 및 이 방법을 저장한 컴퓨터 판독 가능 저장 매체
WO2019118599A3 (en) * 2017-12-13 2019-07-25 Lowe's Companies, Inc. Virtualizing objects using object models and object position data
US11615619B2 (en) 2017-12-13 2023-03-28 Lowe's Companies, Inc. Virtualizing objects using object models and object position data
US11062139B2 (en) 2017-12-13 2021-07-13 Lowe's Conpanies, Inc. Virtualizing objects using object models and object position data
KR20190073715A (ko) * 2017-12-19 2019-06-27 김창영 증강현실을 이용한 부표 모니터링 방법 및 단말기
US11501500B2 (en) 2018-03-12 2022-11-15 LINE Plus Corporation Augmented reality (AR) providing apparatus and method for recognizing context using neural network, and non-transitory computer-readable record medium for executing the method
WO2019177181A1 (ko) * 2018-03-12 2019-09-19 라인플러스(주) 뉴럴 네트워크를 이용하여 상황을 인지하는 증강 현실 제공 장치, 제공 방법 및 상기 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램
WO2019212129A1 (ko) * 2018-05-04 2019-11-07 디프트 주식회사 효율적인 데이터 관리를 위한 가상 전시 공간 제공 방법
US11651556B2 (en) 2018-05-04 2023-05-16 Dift Corporation Virtual exhibition space providing method for efficient data management
US11250643B2 (en) 2018-05-08 2022-02-15 Dift Corporation Method of providing virtual exhibition space using 2.5-dimensionalization
WO2019216528A1 (ko) * 2018-05-08 2019-11-14 디프트 주식회사 2.5 차원화를 이용한 가상 전시 공간 제공 방법
WO2020050516A1 (ko) * 2018-09-05 2020-03-12 디프트 주식회사 2.5차원 가상 전시 공간을 이용한 3차원 vr 데이터 생성 방법
KR20200032596A (ko) * 2018-09-18 2020-03-26 전남대학교산학협력단 증강현실과 가상현실이 통합된 듀얼 리얼리티 환경에서 제조 서비스 정보 제공 방법 및 단말
CN111638793A (zh) * 2020-06-04 2020-09-08 浙江商汤科技开发有限公司 飞行器的展示方法、装置、电子设备及存储介质
CN111638793B (zh) * 2020-06-04 2023-09-01 浙江商汤科技开发有限公司 飞行器的展示方法、装置、电子设备及存储介质
US12087054B2 (en) 2023-03-20 2024-09-10 Lowe's Companies, Inc. Virtualizing objects using object models and object position data

Similar Documents

Publication Publication Date Title
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
WO2022095467A1 (zh) 增强现实场景下的展示方法、装置、设备、介质及程序
CN106157359B (zh) 一种虚拟场景体验系统的设计方法
US8644467B2 (en) Video conferencing system, method, and computer program storage device
CN111833458B (zh) 图像显示方法及装置、设备、计算机可读存储介质
Pucihar et al. Exploring the evolution of mobile augmented reality for future entertainment systems
US20140181630A1 (en) Method and apparatus for adding annotations to an image
US20110216160A1 (en) System and method for creating pseudo holographic displays on viewer position aware devices
KR20170122725A (ko) 파라미터를 갖는 마커를 사용한 증강 현실의 장면 수정
CN112954292B (zh) 一种基于增强现实的数字博物馆导览系统和方法
KR20160112898A (ko) 증강현실 기반 동적 서비스 제공 방법 및 장치
US11232636B2 (en) Methods, devices, and systems for producing augmented reality
CN106464773B (zh) 增强现实的装置及方法
US20200211243A1 (en) Image bounding shape using 3d environment representation
WO2014094874A1 (en) Method and apparatus for adding annotations to a plenoptic light field
CN116057577A (zh) 用于增强现实的地图
JP2022507502A (ja) 拡張現実（ａｒ）のインプリント方法とシステム
KR20150022158A (ko) 기계제도 학습장치 및 학습방법
KR20190101620A (ko) 증강현실 기술을 이용한 무빙 트릭아트 구현 방법
US11961190B2 (en) Content distribution system, content distribution method, and content distribution program
CN112684893A (zh) 信息展示方法、装置、电子设备及存储介质
CN111918114A (zh) 图像显示方法、装置、显示设备及计算机可读存储介质
Kim et al. 3-d virtual studio for natural inter-“acting”
JP2020101847A (ja) 画像ファイル生成装置及び画像ファイル生成方法、画像生成装置及び画像生成方法、画像生成システム、並びにプログラム
Mori et al. An overview of augmented visualization: observing the real world as desired

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application