KR101518696B1 - 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법 - Google Patents

증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법 Download PDF

Info

Publication number
KR101518696B1
KR101518696B1 KR1020140085774A KR20140085774A KR101518696B1 KR 101518696 B1 KR101518696 B1 KR 101518696B1 KR 1020140085774 A KR1020140085774 A KR 1020140085774A KR 20140085774 A KR20140085774 A KR 20140085774A KR 101518696 B1 KR101518696 B1 KR 101518696B1
Authority
KR
South Korea
Prior art keywords
image
unit
marker
augmented reality
moving image
Prior art date
Application number
KR1020140085774A
Other languages
English (en)
Inventor
정지연
Original Assignee
정지연
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정지연 filed Critical 정지연
Priority to KR1020140085774A priority Critical patent/KR101518696B1/ko
Application granted granted Critical
Publication of KR101518696B1 publication Critical patent/KR101518696B1/ko
Priority to CN201580037587.6A priority patent/CN106664465B/zh
Priority to US15/324,801 priority patent/US9959681B2/en
Priority to PCT/KR2015/007126 priority patent/WO2016006946A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Abstract

본 발명은 증강현실 컨텐츠 생성 및 재생 시스템에 관한 것이다. 그러한 증강현실 컨텐츠 생성 및 재생 시스템은 이미지 및 동영상정보를 획득하고 화면에 표시하는 영상 획득부와; 영상 획득부에 의하여 일정 시간동안 얻어진 동영상 정보와, 촬영 시점에서 얻어진 이미지를 구분하여 자동으로 저장하는 저장부와; 저장부에 저장되는 이미지 및 동영상을 서로 매핑시키는 매핑부와; 영상 획득부를 통하여 얻어진 영상으로부터 마커에 해당하는 이미지를 인식하고, 해당 이미지에 매핑된 동영상을 호출하고, 프리뷰 상태의 화면중 마커 위치에 동영상을 오버레이하는 증강현실 처리부와; 그리고 증강현실 어플리케이션에 의하여 컨텐츠를 생성 및 재생시키는 과정을 제어하는 제어부를 포함한다.

Description

증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법{System for augmented reality contents and method of the same}
본 발명은 증강현실 컨텐츠 시스템 및 방법에 관한 것으로, 보다 상세하게는 스마트폰 등에 의하여 사진을 촬영할 때 촬영시점 전후의 영상을 같이 자동으로 저장하여 매핑시킴으로써 용이하게 증강현실 컨텐츠를 생성 및 재생할 수 있는 시스템 및 방법에 관한 것이다.
근래에는 가상현실 혹은 증강현실과 같이 가상의 오브제를 이용한 다양한 컨텐츠가 제안되고 있다.
일반적으로 가상 현실(Virtual Reality: VR)은 컴퓨터 등을 사용하여 인공적인 기술로 만들어낸 가상공간으로서 실제와 유사하지만 실제가 아닌 특징이 있다.
그리고, 증강 현실(Augmented Reality: AR)은 가상 현실의 한 분야로서 실제 환경에 가상 오브제를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.
이러한 증강 현실은 현실세계를 바탕으로 사용자가 가상의 물체와 상호 작용함으로써 향상된 현실감을 줄 수 있다는 특징을 가진다.
따라서, 증강 현실에서는 사용자가 자신이 위치해 있는 실제 환경을 인식함과 동시에, 실제 영상 위에 표현된 가상의 정보도 인식하게 된다.
이와 같은 증강 현실은 현실 영상과 가상의 그래픽을 접목하여 보여주기 때문에 보다 실감있고 정확한 영상을 얻기 위해서는 가상 객체들을 화면에서 원하는 자리에 정확히 위치시켜야 한다. 이를 구현하기 위해서는 가상객체에 대한 3차원 좌표가 필요하며, 이 좌표는 카메라를 기준으로 하는 좌표값이 되어야 한다.
그런데, 문제는 카메라의 영상에서 현실 세계의 어떤 지점이나 물체에 대한 카메라의 3차원 좌표를 확보해야 하는데, 이를 위해서는 2대 이상의 카메라가 필요하므로 3차원 위치를 파악하기가 쉽지 않다.
따라서, 이에 대한 대책으로 증강 현실에서는 가상 객체를 위치시킬 마커(marker)를 현실 세계의 공간에 배치하고 상기 마커를 기준으로 상대적 좌표를 추출하여 가상 객체를 위치시킬 위치 및 자세를 추정하는 마커 기반 인
식 기술을 이용하고 있다.
예를 들어, 고양이를 뜻하는 마커를 사용자가 임의로 만들고, 실제 고양이의 모습을 3차원 그래픽 이미지로 형상화한 3차원 가상 영상을 고양이 마커와 매칭시킨다. 이 마커를 컴퓨터에 연결된 카메라 등의 영상 인식 수단으로 인식하면, 컴퓨터 모니터에 고양이의 3차원 가상 영상이 나타나는 것이다.
이와 같이 증강현실 컨텐츠는 현실의 사진 오브제(Object)와 영상 오브제(Object)를 통하여 증강현실 컨텐츠를 생성하는 복잡한 과정을 거치게 된다.
즉, 현실 오브제인 이미지 컨텐츠를 생성하고, 가상 오브제인 영상 컨텐츠를 생성하고, 현실 Object(이미지)와 가상 Object(영상)를 매핑(Mapping)시킨 후, 이미지 컨텐츠를 인쇄한 후, 이를 마커로 인식함으로써 매핑된 영상 컨텐츠를 호출하여 재생하는 과정을 거치게 된다.
이와 같이, 종래의 증강현실 컨텐츠 생성 및 재생 시스템은 카메라 등 이미지 및 동영상을 얻기 위한 장비와, 컨텐츠를 재생하기 위한 장비 등 다양한 장비를 갖추어야 하므로 컨텐츠 제작비용이 많이 소요되는 문제점이 있다.
또한, 이러한 다양한 장비들을 이용하여 증강현실 컨텐츠를 생성 및 재생하는 과정도 복잡하므로 일반인들이 용이하게 제작하기 어려운 문제점이 있다.
1. 특허출원 10-2011-117987호(명칭: 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법) 2. 특허출원 10-2009-56608호(명칭:터치스크린 기반 사용자 인터렉션을 지원하는 증강현실 콘텐츠 제공시스템 및 장치)
따라서, 본 발명은 상기한 문제를 해결하기 위하여 제안된 것으로서, 본 발명의 과제는 스마트폰 등 간단한 이미지 및 영상획득장비에 의하여 촬영버튼을 누르는 간단한 과정에 의하여 증강현실 컨텐츠를 용이하게 생성할 수 있는 시스템 및 방법을 제공하는 것이다.
본 발명은 상기와 같은 과제를 해결하기 위하여 제안된 것으로, 본 발명의 일 실시예는, 이미지 및 동영상정보를 획득하고 화면에 표시하는 영상 획득부와;
영상 획득부의 촬영버튼을 누를 때 얻어진 이미지와, 촬영시점을 기준으로 일정 시간 동안 자동으로 얻어진 동영상 정보을 저장하는 저장부와;
저장부에 저장되는 이미지 및 동영상을 서로 매핑시키는 매핑부와;
영상 획득부를 통하여 얻어진 영상으로부터 마커에 해당하는 이미지를 인식하고, 해당 이미지에 매핑된 동영상을 호출하고, 프리뷰 상태의 화면중 마커 위치에 동영상을 오버레이하는 증강현실 처리부와; 그리고
증강현실 어플리케이션에 의하여 컨텐츠를 생성 및 재생시키는 과정을 제어하는 제어부를 포함하는 증강현실 컨텐츠 생성 및 재생 시스템을 제공한다.
상기 영상 획득부는 렌즈를 통하여 입력되는 영상을 표시부의 화면상에 표시하는 프리뷰 모드와; 프리뷰 모드 상태에서 촬영하고자 하는 영상이 표시되면 촬영버튼을 터치함으로써 해당 영상을 촬영하여 이미지 파일로 변환하는 촬영모드를 포함한다.
그리고, 상기 영상 획득부는 촬영시점을 기준으로 전,후 일정 시간대의 동영상을 자동으로 저장하거나, 촬영버튼을 누르는 시간동안의 동영상을 자동으로 저장하는 것을 특징으로 한다.
또한, 상기 증강현실 처리부는 영상 획득부를 통해 인식한 실제 영상으로부터 마커에 해당하는 이미지를 추출하고, 저장부에 저장된 이미지의 특징점 정보와 비교하여 해당 이미지를 검출하는 마커 검출부와;
마커 검출부를 통해 검출된 이미지 정보로부터 저장부에 저장된 동영상 중 매칭된 동영상의 종류를 추출하여 인식하는 트래킹부를 포함한다.
상기 제어부는 촬영버튼 신호가 입력되는 입력모듈과; 입력모듈로부터 신호가 입력되면 저장부 및 매핑부에 신호를 출력함으로써 촬영시점의 이미지와, 촬영시점의 전후 일정 시간동안 자동으로 저장되는 동영상에 키값을 설정하여 저장부에 저장하도록 제어하는 컨텐츠 생성모듈과; 증강현실 어플리케이션이 실행되면 마커 검출부를 통하여 마커에 해당하는 이미지를 인식하고, 매핑부에 신호를 전송하여 인식된 사진과 매핑된 동영상을 호출하는 컨텐츠 재생모듈과; 그리고 호출된 동영상을 표시부의 마커위치에 오버레이하여 재생시키는 영상표시모듈을 포함한다.
또한, 본 발명의 다른 실시예는, 영상 획득부의 프리뷰 모드를 통하여 영상을 촬영하는 제 1단계와;
촬영버튼이 작동하면, 해당 시점의 이미지를 촬영하고 키값을 설정하여 저장하고, 촬영시점의 전후 소정 시간 동안의 영상도 자동으로 저장하는 제 2단계와;
저장된 이미지를 매핑부에 의하여 동영상과 서로 매핑하고, 매핑정보를 저장하는 제 3단계와;
촬영된 이미지를 인쇄하는 제 4단계와;
증강현실 어플리케이션이 실행되면 마커 검출부를 통하여 마커에 해당하는 사진을 인식하고, 매핑부에 신호를 전송하여 인식된 사진과 매핑된 동영상을 호출하는 제 5단계와; 그리고
호출된 동영상을 표시부의 마커위치에 오버레이하여 재생시키는 제 6단계를 포함하는 증강현실 생성 및 재생방법을 제공한다.
상기한 바와 같이, 본 발명에 따른 증강현실 컨텐츠 생성 및 재생시스템은 스마트폰과 같은 대중화된 영상획득장치의 촬영버튼을 누르는 간단한 동작에 의하여 이미지를 얻고, 또한 촬영버튼을 누르는 시점을 기준으로 전후 일정 시간 동안의 동영상을 자동으로 저장하여 이미지와 매핑시키는 간단한 과정에 의하여 증강현실 컨텐츠를 용이하게 생성 및 재생할 수 있음으로 일반인들이 복잡한 장비 및 절차 없이도 용이하게 증강현실 컨텐츠를 제작할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실 컨텐츠 생성 시스템의 구조를 개략적으로 보여주는 도면이다.
도 2는 도 1에 도시된 증강현실 컨텐츠 생성 시스템에 의하여 컨텐츠를 생성하는 방법을 보여주는 순서도이다.
도 3은 도 1에 도시된 제어부의 구조를 개략적으로 보여주는 블럭도이다.
도 4는 도 2에 도시된 증강현실 컨텐츠 생성 시스템에 의하여 실제로 컨텐츠를 생성하는 과정을 보여주는 도면이다.
도 5는 도 1에 도시된 영상획득부의 메뉴창으로서, 사진 촬영시 동영상이 저장되는 방식을 설정하기 위한 메뉴를 보여주는 도면이다.
도 6은 도 1에 도시된 증강현실 컨텐츠 생성 시스템에 의하여 생성된 컨텐츠를 재생하는 방법을 보여주는 순서도이다.
도 7은 도 6에 도시된 증강현실 컨텐츠 생성 시스템에 의하여 실제로 컨텐츠를 재생하는 과정을 보여주는 도면이다.
도 8은 본 발명의 다른 실시예로서, 동영상에 의한 증강현실 컨텐츠를 생성하는 방법을 보여주는 순서도이다.
도 9는 도 8에 도시된 증강현실 컨텐츠 생성방법에 의하여 컨텐츠를 생성하는 과정을 보여주는 도면이다.
이하, 본 발명에 따른 증강현실 컨텐츠 생성 및 재생 시스템과 이를 이용한 방법을 첨부된 도면에 의하여 상세하게 설명한다.
도 1 내지 도 7에 도시된 바와 같이, 본 발명의 일 실시예가 제안하는 증강현실 컨텐츠 생성 및 재생 시스템(1)은 이미지 및 동영상정보를 획득하고 화면에 표시하는 영상 획득부(3)와;
영상 획득부(3)에 의하여 얻어진 이미지와, 이미지 촬영시점을 기준으로 전후 일정 시간동안 얻어진 동영상 정보를 구분하여 자동으로 저장하는 저장부(4)와;
저장부(4)에 저장되는 이미지 및 동영상을 서로 매핑시키는 매핑부(9)와;
영상 획득부(3)를 통하여 얻어진 영상으로부터 마커에 해당하는 이미지를 인식함으로써 해당 이미지에 매핑된 동영상을 호출하고, 프리뷰 상태의 화면중 마커 위치에 동영상을 오버레이하는 증강현실 처리부(10)와; 그리고
증강현실 어플리케이션에 의하여 컨텐츠를 생성 및 재생시키는 과정을 제어하는 제어부(11)를 포함한다.
이러한 구조를 갖는 증강현실 컨텐츠 생성 시스템(1)에 있어서, 영상 획득부(3)는 실제 객체 또는 마커를 포함하는 현실 환경을 촬영하여 이로부터 현실 환경에 대한 영상을 얻는다.
이 영상 획득부(3)는 컴퓨터 등의 외부 연산장치와 연결되는 디지털 카메라, 또는 웹캠(webcam)이거나, 스마트폰과 같은 이동 통신기기에 내장된 카메라일 수 있다. 이외에도 영상 디지털 정보를 얻을 수 있는 장비는 모두 포함할 수 있으며, 이러한 장비들은 증강현실 컨텐츠에 따라 적절하게 선택되어 질 수 있다.
이러한 영상 획득부(3)는 프리뷰 모드(Preview mode)와, 촬영모드가 구현가능하다. 즉, 프리뷰 모드에서는 카메라 렌즈를 통하여 입력되는 영상 데이터가 엘이디 등의 표시창을 통하여 표시됨으로써 사용자는 현재 카메라가 촬영하고 있는 피사체를 인식할 수 있다. 또한, 프리뷰 모드에서 얻어지는 영상 데이터는 저장부(4)에 저장될 수 있다.
그리고, 촬영모드에서는 프리뷰 모드 상태에서 화면상에 영상이 표시되는 중에 촬영하고자 하는 이미지가 표시되면 촬영버튼을 터치함으로써 해당 이미지에 대한 디지털 데이터를 얻게 된다.
예를 들면, 도 4에 도시된 바와 같이, 스마트폰을 이용하여 거리 장면을 촬영하는 중에, 어린이가 화면에 표시되면 촬영버튼을 눌러서 어린이에 대한 이미지를 얻게 되는 것이다.
이때 프리뷰 모드와 촬영모드는 사용자가 메뉴창 등으로 통하여 선택할 수 있으며, 제어부(11)에 의하여 모드 전환 및 작동이 가능하다. 따라서, 프리뷰 모드상태에서 동영상이 저장되는 도중에도 촬영모드를 통하여 이미지를 얻을 수 있으며, 이미지와 동영상이 동시에 저장될 수 있다.
이와 같이, 얻어진 사진 및 동영상 데이터는 이미지 저장부(7) 및 동영상 저장부(5)에 자동으로 저장될 수 있다.
이때, 저장부(4)는 디스크, 칩 등과 같은 통상적인 형태의 메모리를 포함하며, 디지털 정보를 저장하여 전자적으로 처리할 수 있는 매체이면 모두 포함한다. 따라서, 이러한 형태의 메모리에는 영상 취득부를 통하여 얻어진 이미지 및 동영상 데이터가 저장될 수 있다.
이때, 이미지 및 동영상 데이터가 저장부(4)에 단순히 저장되는 것은 아니고 촬영시점을 기준으로 전후의 동영상이 저장된다.
즉, 사용자가 촬영버튼을 작동시켜서 이미지를 얻을 때, 제어부(11)는 이 촬영시점을 기준으로 전후 소정 시간대에 촬영된 동영상이 동영상 저장부(4)에 자동으로 저장되도록 제어하게 된다.
예를 들면, 촬영 버튼을 눌러서 피사체를 촬영하는 시간이 12:00이라면, 12;00를 기준으로 10분 전인 11:50분 부터 12:00까지 시간대의 동영상과, 12:00부터 10분 후인 12:10분 까지 시간대의 동영상이 자동으로 저장될 수 있다.
결과적으로, 사용자는 스마트폰을 프리뷰 상태로 하여 피사체를 촬영하는 중에, 대상 객체를 인식하여 촬영버튼을 누르게 되면, 이 촬영시점의 사진을 얻음과 동시에, 촬영시점을 기준으로 전후 일정 시간대의 동영상도 저장부(4)에 자동으로 저장될 수 있다.
그리고, 촬영시점을 기준으로 전후 소정 시간대의 동영상을 저장하는 것은 증강현실 어플리케이션이나 영상 획득부(3) 자체에 탑재된 구동 프로그램 등의 소프트웨어에 의하여 처리가능하다.
이때, 전후 시간대는 도 5에 도시된 바와 같이 사용자가 메뉴창에서 자유롭게 설정할 수 있다.
즉, 시간 표시창을 터치하여 촬영전 동영상 자동저장 시간을 설정하거나, 촬영후 동영상 자동저장 시간을 설정할 수 있다.
그리고, 본 발명은 상기한 바와 같이 촬영 시점의 전후 일정 시간 동안의 동영상을 자동으로 저장하는 방식에 한정되는 것은 아니고 다른 방식으로도 동영상이 저장될 수 있다.
예를 들면, 메뉴창에 표시된 바와 같이 촬영 버튼을 누르고 있는 동안에 동영상이 자동으로 저장될 수 있도록 할 수 있다.
이와 같이 동영상의 자동저장 조건이 촬영시점의 전후인지, 혹은 촬영버튼을 누르고 있는 동안인지는 사용자가 작업환경에 따라 적절하게 선택할 수 있다.
상기와 같이, 사용자는 메뉴창에서 시간설정 메뉴를 팝업시키고 동영상 저장시간을 적절하게 설정할 수 있다.
그리고, 이미지 및 동영상이 저장될 때 제어부(11)는 매핑부(9)에 신호를 전송함으로써 각 데이터마다 고유한 키값(Key)을 부여하게 된다.
이와 같이 키값을 부여함으로써 마커와 동영상 매핑 정보가 DB 에 저장될 때, DB 정보에 이미지 정보를 Key 값으로 변환하여 저장함으로써 DB 검색을 용이하게 할 수 있다.
이러한 매핑부(9)는 통상적인 매핑부(9)를 의미하며, 이미지 데이터와 동영상 데이터를 서로 일대일로 매핑하게 된다. 즉, 이미지와 이에 대응하는 동영상을 서로 연결함으로써, 특정 이미지를 지정하면 이에 매핑된 동영상이 호출되어 재생되는 과정이다.
본 발명에서는 촬영시점에서 얻어진 이미지 데이터와, 촬영시점을 기준으로 전후 일정 시간대에 자동으로 저장된 동영상 데이터가 서로 매핑된다. 따라서, 촬영시점의 이미지를 지정하면, 전후 시간대의 동영상 데이터가 자동으로 호출되어 재생되는 방식이다.
이러한 매핑부(9)에서는 이미지와 동영상의 매칭시 요구되는 정보들도 결정하게 된다. 즉, 동영상 및 이미지의 대응되는 위치, 방향, 크기에 관한 정보가 요구되는 바, 이미지와 동영상에 좌표를 설정하고, 이 좌표계에 의하여 매핑정보를 연산하고 저장할 수 있다.
이와 같이 이미지 및 동영상이 매핑된 상태에서 저장됨으로써 증강현실 컨텐츠가 생성될 수 있다.
이때, 촬영된 이미지의 특징점이 적을 경우, 후술하는 바와 같이 이미지를 인쇄하여 마커로 사용하는 바, 마커 검출부에 의하여 이미지를 촬영할 때 특징점이 적으면 검출 성능이 떨어질 수 있다.
따라서, 이러한 문제를 해결하기 위하여 촬영된 이미지의 테두리에 바코드와 같은 패턴을 추가함으로써 특징점을 부가할 수 있다.
그리고, 이러한 증강현실 컨텐츠는 상기한 증강현실 처리부(10)에 의하여 재생될 수 있다. 이러한 증강현실 처리부(10)는 마커 검출부(15)와, 마커 종류 인식부(17)와, 트래킹부(19)와, 영상 표시부(13)를 포함한다.
마커 검출부(15)는 영상 획득부(3)를 통해 인식된 실제 영상으로부터 마커를 추출하고, 저장부(4)에 저장된 마커의 특징점 정보와 비교하여 마커를 검출한다.
이때, 마커는 다양한 형태의 것이 사용될 수 있으며, 본 실시예에서는 마커로서 프린터와 같은 장치에 의하여 페이퍼 형태로 인쇄된 이미지를 사용한다.
물론, 이미지를 외부 출력장치에 의하여 페이퍼 형태로 출력하지 않고, 이미지를 엘씨디(LCD)와 같은 디스플레이 화면상에 표시하여 마커로 동작할 수도 있다.
따라서, 마커 검출부(15)는 영상 획득부(3)를 통하여 인식되는 영상 중, 인쇄된 이미지가 검출되면 이를 저장부(4)에 저장된 마커의 특징들과 비교함으로써 인쇄된 이미지가 마커임을 파악하게 된다.
마커는 이와 같이 인쇄된 이미지 형태 이외에도 다양한 형태가 사용될 수 있는 바, 테두리에 흑백라인이 인쇄되어 기하학 문양이나 일정한 패턴을 이루는 바코드와 같은 고유 식별마커를 포함함은 물론, 실제 객체의 특징점을 이용한 자연 특징점(Nature Feature Point)까지 포함한다.
또한, 마커 검출부(15)는 다양한 방식에 의하여 마커를 검출할 수 있으며, 예를 들면, 실제 객체의 색상 정보, 선분 정보, 에지(edge) 정보 등을 이용하여 검출할 수 있다.
그리고, 마커 종류 인식부(17)는 마커 검출부(15)를 통해 검출된 마커 정보로부터 저장부(4)에 저장된 마커 정보와 매칭되는 마커의 종류(ID)를 추출하여 인식한다.
그리고, 트래킹부(19)는 마커 검출부(15)를 통해 검출된 각 마커의 기울기, 방향, 거리를 추적한다.
이때, 트래킹부(19)는 마커의 모양에 따라 기울기 정도를 인식할 수 있는데, 각 마커의 모양은 사전에 여러 기울기에 따라 미리 정의하여 저장부(4)에 저장해 둔다.
따라서, 촬영시 얻어진 사진을 마커로 활용하는 바, 이 사진의 기울기, 방향, 거리 정보를 트래킹함으로써, 매핑되어 호출되는 동영상도 이 사진의 기울기, 방향, 거리에 맞추어서 재생되도록 할 수 있다.
그리고, 영상표시부(13)는 이와 같이 마커 검출부(15), 종류 인식부(17), 트래킹부(19)에 의하여 얻어진 동영상을 화면상에 표시된 사진(마커)에 오버레이하게 된다.
예를 들면, 도 7에 도시된 바와 같이, 스마트폰으로 벽체를 촬영하는 중에, 벽에 걸린 사진이 인식되면 이 사진을 마커로 인식하게 되고, 이 사진에 매핑된 동영상을 호출하게 된다. 그리고, 호출된 동영상은 영상 표시부(13)에 의하여 스마트폰의 화면속 사진 위치에 오버레이될 수 있다.
결국, 스마트폰의 화면상에서 벽체가 배경화면으로 표시되는 중에 사진 위치에는 매핑된 동영상이 별도로 재생됨으로써 증강현실과 같은 환경이 구현될 수 있다.
한편, 상기한 바와 같이 증강현실 컨텐츠를 생성 및 재생하는 과정은 제어부(11)에 의하여 진행될 수 있다.
이러한 제어부(11)는 도 3에 도시된 바와 같이, 촬영버튼 신호가 입력되는 입력모듈(30)과; 입력모듈(30)로부터 신호가 입력되면 저장부(4) 및 매핑부(9)에 신호를 출력함으로써 촬영시점의 이미지와, 촬영시점의 전후 소정 시간 동안의 동영상에 키값을 설정하여 저장부(4)에 저장하도록 제어하는 컨텐츠 생성모듈(32)과; 증강현실 어플리케이션이 실행되면 마커 검출부(15)를 통하여 마커에 해당하는 이미지를 인식하고, 매핑부(9)에 신호를 전송하여 인식된 사진과 매핑된 동영상을 호출하는 컨텐츠 재생모듈(34)과; 그리고 호출된 동영상을 표시부(13)의 마커위치에 오버레이하여 재생시키는 영상표시모듈(36)을 포함한다.
보다 상세하게 설명하면, 스마트폰 등의 촬영버튼이 작동할 때 발생하는 신호는 입력모듈(30)로 전송된다.
그리고, 입력모듈(30)로부터 촬영버튼 작동 신호가 입력되면 컨텐츠 생성모듈(32)은 저장부(4) 및 매핑부(9)에 신호를 출력한다. 따라서, 촬영시점에서 얻어진 이미지에 대한 디지털 정보와, 촬영시점을 기준으로 전후 소정 시간 동안의 동영상에 대한 디지털 정보를 자동으로 저장부(4)에 저장하도록 제어한다.
이때, 이미지 정보에는 이미지를 식별할 수 있는 고유의 키값이 부여된다.
또한, 컨텐츠 생성모듈(32)은 사용자가 메뉴판을 통하여 저장시간을 입력하면, 촬영시간을 기준으로 입력된 시간만큼의 전후 시간대의 동영상이 저장되도록 제어한다.
그리고, 컨텐츠 생성모듈(32)은 촬영시점의 이미지와 전후 시간대의 동영상 이미지를 각각 구분하여 별도의 저장부(4)에 저장될 수 있도록 제어한다.
이와 같이 증강현실 컨텐츠가 생성되면, 제어부(11)는 컨텐츠 재생모듈(34)을 통하여 증강현실 컨텐츠를 재생하는 작업을 진행하게 된다.
즉, 컨텐츠 재생모듈(34)은 우선 탑재된 증강현실 어플리케이션을 실행한다. 증강현실 어플리케이션이 실행된 상태에서, 영상 획득부(3)를 통하여 현실 환경에 대한 영상이 인식되면 마커 검출부(15)를 통하여 마커에 해당하는 이미지를 검출하게 된다. 그리고, 해당 이미지가 검출되면, 매핑부(9)에 신호를 전송하여 인식된 사진과 매핑된 동영상을 호출하게 된다.
이와 같이 매핑된 동영상이 호출되면 영상 표시모듈(36)은 호출된 동영상을 표시부(13)의 마커위치에 오버레이하여 재생시키도록 제어한다.
한편, 저장부(4)는 이미지 정보를 저장하는 이미지 DB(7)와, 동영상 정보를 저장하는 동영상 DB(5)와, 매핑정보를 저장하는 매핑DB(25)와, 인식하고자 하는 복수의 마커에 대한 정보를 저장한 마커 DB(23)와, 마커 DB에 저장된 마커와 매핑되는 가상 객체에 관한 정보를 저장한 가상 객체 DB(27)를 포함한다.
이하, 본 발명의 일 실시예에 따른 증강현실 시스템을 이용하여 컨텐츠를 생성 및 재생방법에 대하여 더욱 상세하게 설명한다.
도 1, 도 2, 그리고 도 4에 도시된 바와 같이, 증강현실 컨텐츠 생성 및 재생방법은, 영상 획득부(3)의 프리뷰 모드를 통하여 영상을 촬영하는 제 1단계(S10)와;
촬영버튼이 작동하면, 해당 시점의 이미지를 촬영하고 키값을 설정하여 저장하고, 촬영시점의 전후 소정 시간 동안의 영상도 자동으로 저장하는 제 2단계(S20)와;
저장된 이미지를 매핑부(9)에 의하여 동영상과 서로 매핑하고, 매핑정보를 저장하는 제 3단계(S30)와;
촬영된 이미지를 인쇄하는 제 4단계(S40)와;
증강현실 어플리케이션이 실행되면 마커 검출부(15)를 통하여 마커에 해당하는 사진을 인식하고, 매핑부(9)에 신호를 전송하여 인식된 사진과 매핑된 동영상을 호출하는 제 5단계(S50)와; 그리고
호출된 동영상을 표시부(13)의 마커위치에 오버레이하여 재생시키는 제 6단계(S60)를 포함한다.
이러한 방법을 보다 상세하게 설명하면, 제 1단계(S10)에서는 시스템(1)을 프리뷰 모드로 설정하여 피사체를 촬영함으로써 영상을 취득하게 된다. 그리고 취득된 영상 데이터는 동영상 저장부(4)로 연속으로 저장된다.
예를 들면, 사용자는 스마트폰의 카메라를 프리뷰 모드로 설정한 상태에서 아파트 단지를 촬영하면, 촬영된 영상 데이터는 동영상 저장부(4)에 저장될 수 있다.
이와 같이 제 1단계(S10)가 완료되면, 제 2단계(S20)가 진행된다.
제 2단계(S20)에서는, 사용자가 피사체에 대하여 사진을 촬영하고자 하는 경우, 시스템(1)의 촬영버튼을 터치함으로써 이미지 데이터를 얻게 된다.
예를 들면, 도 4에 도시된 바와 같이, 스마트폰을 이용하여 거리 장면을 촬영하는 중에, 어린이가 화면에 표시되면 촬영버튼을 눌러서 어린이에 대한 이미지를 얻게 되는 것이다.
그리고, 제어부(11)는 촬영버튼의 작동신호를 감지하고, 촬영시점에 얻어진 데이터가 이미지 저장부(4)에 저장될 수 있도록 한다. 이때, 이미지 데이터에는 고유의 key값이 부여된다.
또한, 촬영시점을 기준으로 전후 소정 시간 동안의 동영상 데이터가 저장될 수 있다.
예를 들면, 촬영 버튼을 눌러서 피사체를 촬영하는 시간이 12:00이라면, 12;00를 기준으로 10분 전인 11:50분 부터 12:00까지 시간대의 동영상과, 12:00부터 10분 후인 12:10분 까지 시간대의 동영상이 자동으로 저장될 수 있다.
이와 같이 제 2단계가 완료된 후, 이미지와 동영상을 매핑시키는 제 3단계가 진행된다.
즉, 제어부(11)는 매핑부(9)에 신호를 전송함으로써 이미지와 동영상을 서로 매핑시킨다. 아울러, 매핑정보는 매핑db에 저장될 수 있다.
이와 같이 제 1 내지 제 3단계(S10,S20,S30)의 컨텐츠 재생과정을 통하여, 사용자는 프리뷰 모드 상태에서 촬영하는 중에, 촬영버튼을 터치함으로써 이미지 데이터를 얻게 되고, 이때 촬영시점의 전후 소정 시간동안의 동영상이 자동으로 저장되고, 이미지 데이터와 동영상이 서로 매핑되어 저장됨으로서 증강현실 컨텐츠를 용이하게 생성할 수 있다.
한편, 이와 같이 생성된 증강현실 컨텐츠는 아래의 순서에 의하여 재생될 수 있다.
먼저, 제 4단계(S40)가 진행되는 바, 사용자는 촬영된 이미지중 적절한 이미지를 선택한다. 즉, 스마트폰의 화면을 터치하여 이미지 db에 저장된 이미지들을 팝업시키고, 적절한 이미지를 터치함으로써 선택할 수 있다.
그리고, 선택된 이미지를 프린터 등의 외부 출력장치를 통하여 페이퍼 형태로 출력한다. 즉 이 페이퍼 형태의 이미지는 마커의 용도로 사용된다.
물론, 이미지를 외부 출력장치에 의하여 페이퍼 형태로 출력하지 않고, 화면상에 팝업한 상태로 표시할 수도 있다.
혹은 이미지 이외의 가상객체를 마커로 활용할 수도 있다. 예를 들면, 테두리에 흑백 라인이 인쇄되거나 바코드와 같은 형태가 인쇄된 가상객체도 가능하다.
이와 같이 이미지를 사진으로 출력하는 4단계가 완료된 후, 제 5단계가 진행된다.
제 5단계(S50)에서는, 증강현실 어플리케이션을 실행시키면, 프리뷰 모드로 전환됨으로써 화면상에 렌즈가 촬영하고 있는 구역에 대한 영상이 표시된다.
이때, 마커 검출부(15)는 영상 데이터중 마커를 검출하게 된다. 즉, 페이퍼로 출력된 사진의 픽셀 등 특징점 정보를 db에 저장된 데이터와 비교한다. 그리고, 사진에 매핑되는 동영상을 호출한다.
이때, 트래킹부(19)는 검출된 사진을 트래킹하여, 사진의 기울기, 방향, 거리등을 인식한다.
이와 같이, 제 5단계(S50)가 완료되면, 동영상을 재생하는 제 6단계(S60)가 진행된다.
즉, 스마트폰의 프리뷰 상태에서 배경화면이 디스플레이되고 있는 상태에서 이미지(마커)가 검출되면, 이 이미지 위치에 매핑된 동영상이 재생됨으로써 증강현실 컨텐츠를 감상할 수 있다.
예를 들면, 도 7에 도시된 바와 같이, 스마트폰으로 벽체를 촬영하는 중에, 벽에 걸린 사진이 인식되면 이 사진을 마커로 인식하게 되고, 이 사진에 매핑된 동영상을 호출하게 된다. 그리고, 호출된 동영상은 영상 표시부(13)에 의하여 스마트폰의 화면속 사진 위치에 오버레이될 수 있다.
한편, 상기 실시예에서는 사진 촬영시 전후의 동영상을 자동으로 저장하여 증강현실 컨텐츠를 생성하였지만, 본 발명은 이에 한정되는 것은 아니고 다음과 같이 기존의 동영상을 이용하여 증강현실 컨텐츠를 생성하는 것도 가능하다.
즉, 도 8 및 도 9에 도시된 바와 같이, 동영상 파일을 시스템(1)에 저장한다(S70). 그리고, 어플리케이션을 구동하여 화면상에서 동영상 파일을 재생한다.
동영상을 재생하면서 마커로 사용할 프레임을 선택하여 지정한다(S80). 즉, 화면상에서 재생되는 동영상중 특정 프레임을 캡쳐함으로써 해당 프레임을 이미지 파일 형태로 저장하게 된다.
이때, 캡쳐된 프레임은 전체 동영상중 임의 위치에 있는 프레임을 선택할 수 있다.
이와 같이 캡쳐된 이미지 파일은 키값이 설정됨으로써 가상 오브제로 해당 동영상과 매핑되어 증강현실 컨텐츠로 생성될 수 있다(S90).
1: 증강현실 컨텐츠 생성 및 재생 시스템
3: 영상 획득부
4: 저장부
9: 매핑부
10: 증강현실 컨텐츠 처리부
11: 제어부

Claims (7)

  1. 렌즈를 통하여 입력되는 영상을 화면상에 표시하는 프리뷰 모드와, 프리뷰 모드 상태에서 촬영하고자 하는 영상이 표시되면 촬영버튼을 터치함으로써 해당 영상을 촬영하여 이미지 파일로 변환하는 촬영모드를 포함하여, 이미지 및 동영상정보를 획득하고 화면에 표시하는 영상 획득부와;
    영상 획득부의 촬영버튼을 누를 때 얻어진 이미지와, 촬영시점을 기준으로 일정 시간 동안 자동으로 얻어진 동영상 정보를 저장하는 저장부와;
    저장부에 저장되는 이미지 및 동영상을 서로 매핑시키는 매핑부와;
    영상 획득부를 통하여 얻어진 영상으로부터 마커에 해당하는 이미지를 인식하고, 해당 이미지에 매핑된 동영상을 호출하고, 프리뷰 상태의 화면중 마커 위치에 동영상을 오버레이하는 증강현실 처리부와; 그리고
    증강현실 어플리케이션에 의하여 컨텐츠를 생성 및 재생시키는 과정을 제어하는 제어부를 포함하는 증강현실 컨텐츠 생성 및 재생 시스템.
  2. 삭제
  3. 제 1항에 있어서,
    상기 영상 획득부는 촬영시점을 기준으로 전,후 일정 시간대의 동영상을 자동으로 저장하거나, 촬영버튼을 누르는 시간동안의 동영상을 자동으로 저장하는 것을 특징으로 하는 증강현실 컨텐츠 생성 및 재생 시스템.
  4. 제 1항에 있어서,
    상기 증강현실 처리부는 영상 획득부를 통해 인식한 실제 영상으로부터 마커에 해당하는 이미지를 추출하고, 저장부에 저장된 이미지의 특징점 정보와 비교하여 해당 이미지를 검출하는 마커 검출부와;
    마커 검출부를 통해 검출된 이미지 정보로부터 저장부에 저장된 동영상 중 매칭된 동영상의 종류를 추출하여 인식하는 트래킹부를 포함하는 증강현실 컨텐츠 생성 및 재생 시스템.
  5. 제 4항에 있어서,
    상기 매핑부는 촬영된 이미지의 테두리에 바코드 혹은 소정 패턴을 추가하여 특징점을 부가함으로써 상기 마커 검출부가 마커임을 인식할 수 있는 것을 특징으로 하는 증강현실 컨텐츠 생성 및 재생 시스템.
  6. 제 1항에 있어서,
    상기 제어부는 촬영버튼 신호가 입력되는 입력모듈과;
    입력모듈로부터 신호가 입력되면 저장부 및 매핑부에 신호를 출력함으로써 촬영시점의 이미지와, 촬영시점의 전후 일정 시간 동안 자동으로 저장되는 동영상이나, 촬영버튼을 누르는 시간 동안 자동으로 저장되는 동영상에 키값을 설정하여 저장부에 저장하도록 제어하는 컨텐츠 생성모듈과;
    증강현실 어플리케이션이 실행되면 마커 검출부를 통하여 마커에 해당하는 이미지를 인식하고, 매핑부에 신호를 전송하여 인식된 사진과 매핑된 동영상을 호출하는 컨텐츠 재생모듈과; 그리고
    호출된 동영상을 표시부의 마커위치에 오버레이하여 재생시키는 영상표시모듈을 포함하는 증강현실 컨텐츠 생성 및 재생 시스템.
  7. 영상 획득부의 프리뷰 모드를 통하여 영상을 촬영하는 제 1단계와;
    프리뷰 모드에서 촬영하고자 하는 영상이 표시되면 촬영버튼을 터치하고, 영상 획득부의 촬영모드를 통하여 해당 시점의 이미지를 촬영하여 이미지 파일로 변환하고 그 이미지 파일의 키값을 설정하여 저장하고, 촬영시점의 전후 소정 시간 범위 혹은 촬영버튼을 누르고 있는 시간대의 동영상도 자동으로 저장하는 제 2단계와;
    저장된 이미지를 매핑부에 의하여 동영상과 서로 매핑하고, 매핑정보를 저장하는 제 3단계와;
    촬영된 이미지를 인쇄하는 제 4단계와;
    증강현실 어플리케이션이 실행되면 마커 검출부를 통하여 마커에 해당하는 사진을 인식하고, 매핑부에 신호를 전송하여 인식된 사진과 매핑된 동영상을 호출하는 제 5단계와; 그리고
    호출된 동영상을 표시부의 마커위치에 오버레이하여 재생시키는 제 6단계를 포함하는 증강현실 컨텐츠 생성 및 재생방법.
KR1020140085774A 2014-07-09 2014-07-09 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법 KR101518696B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140085774A KR101518696B1 (ko) 2014-07-09 2014-07-09 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법
CN201580037587.6A CN106664465B (zh) 2014-07-09 2015-07-09 用于创建和再现增强现实内容的系统以及使用其的方法
US15/324,801 US9959681B2 (en) 2014-07-09 2015-07-09 Augmented reality contents generation and play system and method using the same
PCT/KR2015/007126 WO2016006946A1 (ko) 2014-07-09 2015-07-09 증강현실 컨텐츠의 생성 및 재생 시스템과 이를 이용한 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140085774A KR101518696B1 (ko) 2014-07-09 2014-07-09 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법

Publications (1)

Publication Number Publication Date
KR101518696B1 true KR101518696B1 (ko) 2015-05-08

Family

ID=53394221

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140085774A KR101518696B1 (ko) 2014-07-09 2014-07-09 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법

Country Status (1)

Country Link
KR (1) KR101518696B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200046381A (ko) * 2018-10-24 2020-05-07 디에스글로벌 (주) 위치정보 및 시간정보 기반의 ar 컨텐츠 제공 방법 및 시스템
CN111915744A (zh) * 2020-08-31 2020-11-10 深圳传音控股股份有限公司 增强现实图像的交互方法、终端和存储介质
KR20220078005A (ko) 2020-12-02 2022-06-10 한국전자기술연구원 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110107542A (ko) * 2010-03-25 2011-10-04 에스케이텔레콤 주식회사 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법
KR20120081874A (ko) * 2011-01-12 2012-07-20 에스케이플래닛 주식회사 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법
KR20120099814A (ko) * 2011-01-27 2012-09-12 리얼타임비쥬얼(주) 증강현실 컨텐츠 서비스 시스템과 장치 및 그 방법
KR20130014760A (ko) * 2011-08-01 2013-02-12 김현아 이동 단말에서의 증강현실 기반 정보 처리 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110107542A (ko) * 2010-03-25 2011-10-04 에스케이텔레콤 주식회사 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법
KR20120081874A (ko) * 2011-01-12 2012-07-20 에스케이플래닛 주식회사 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법
KR20120099814A (ko) * 2011-01-27 2012-09-12 리얼타임비쥬얼(주) 증강현실 컨텐츠 서비스 시스템과 장치 및 그 방법
KR20130014760A (ko) * 2011-08-01 2013-02-12 김현아 이동 단말에서의 증강현실 기반 정보 처리 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200046381A (ko) * 2018-10-24 2020-05-07 디에스글로벌 (주) 위치정보 및 시간정보 기반의 ar 컨텐츠 제공 방법 및 시스템
KR102199686B1 (ko) 2018-10-24 2021-01-07 디에스글로벌(주) 위치정보 및 시간정보 기반의 ar 컨텐츠 제공 방법 및 시스템
CN111915744A (zh) * 2020-08-31 2020-11-10 深圳传音控股股份有限公司 增强现实图像的交互方法、终端和存储介质
KR20220078005A (ko) 2020-12-02 2022-06-10 한국전자기술연구원 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법

Similar Documents

Publication Publication Date Title
US9959681B2 (en) Augmented reality contents generation and play system and method using the same
US20230377183A1 (en) Depth-Aware Photo Editing
US7349020B2 (en) System and method for displaying an image composition template
US9123125B2 (en) Image processing method and associated apparatus
US9767612B2 (en) Method, system and apparatus for removing a marker projected in a scene
KR20170122725A (ko) 파라미터를 갖는 마커를 사용한 증강 현실의 장면 수정
KR20070105322A (ko) 포인터광 트래킹 방법, 프로그램 및 그 기록 매체
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
CN104427252A (zh) 用于合成图像的方法及其电子设备
KR101613438B1 (ko) 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법
KR20110089655A (ko) 촬영 구도를 유도하는 디지털 영상 촬영 장치 및 방법
KR20130112578A (ko) 사용자 기반의 증강 현실 정보를 제공하기 위한 장치 및 방법
CN114327700A (zh) 一种虚拟现实设备及截屏图片播放方法
JP3983624B2 (ja) 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体
KR101518696B1 (ko) 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법
US8508602B2 (en) Photographing apparatus method, and computer usable medium for photographing an object within a detection area based on a change of the object
JP5519376B2 (ja) 電子機器
KR101773891B1 (ko) 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법
JP4632417B2 (ja) 撮像装置、及びその制御方法
US20150022559A1 (en) Method and apparatus for displaying images in portable terminal
US10990802B2 (en) Imaging apparatus providing out focusing and method for controlling the same
JP4363153B2 (ja) 撮影装置、その画像処理方法及びプログラム
JP2021129293A (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
EP2590398B1 (en) Displaying of images with lighting on the basis of captured auxiliary images
JP6679430B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190403

Year of fee payment: 5