KR101613438B1 - 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법 - Google Patents
증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법 Download PDFInfo
- Publication number
- KR101613438B1 KR101613438B1 KR1020150056020A KR20150056020A KR101613438B1 KR 101613438 B1 KR101613438 B1 KR 101613438B1 KR 1020150056020 A KR1020150056020 A KR 1020150056020A KR 20150056020 A KR20150056020 A KR 20150056020A KR 101613438 B1 KR101613438 B1 KR 101613438B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- marker
- unit
- moving
- augmented reality
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 증강현실 컨텐츠 생성 및 재생 시스템에 관한 것이다. 그러한 증강현실 컨텐츠 생성 및 재생 시스템은 영상을 화면상에 표시하는 프리뷰 모드와, 프리뷰 모드 상태에서 촬영버튼을 조작하면 동영상 촬영이 진행되며, 촬영 전,후시점에 다수의 마커용 이미지가 자동으로 촬영되어 이미지 파일로 변환되는 촬영모드를 포함하는 영상 획득부와; 영상 획득부에서 얻어진 동영상 파일과 이미지 파일을 자동으로 저장하는 저장부와; 저장부에 저장되는 이미지 및 동영상을 서로 매핑시키는 매핑부와; 영상 획득부를 통하여 얻어진 영상으로부터 마커에 해당하는 이미지를 인식하고, 해당 이미지에 매핑된 동영상을 호출하고, 프리뷰 상태의 화면중 마커 위치에 동영상을 오버레이하는 증강현실 처리부와; 그리고 증강현실 어플리케이션에 의하여 컨텐츠를 생성 및 재생시키는 과정을 제어하는 제어부를 포함한다.
Description
본 발명은 증강현실 컨텐츠 시스템 및 방법에 관한 것으로, 보다 상세하게는 본 출원인의 선출원건인 특허 출원 제10-2014-85774호를 개량한 발명으로서, 스마트폰 등에 의하여 동영상을 촬영할 때 마커도 같이 자동으로 저장하고, 이때 마커의 해상도를 높일 수 있고, 마커의 품질을 확인하여 선택할 수 있으며, 일반 동영상 파일을 통하여 마커를 자동으로 추출함으로써 용이하게 증강현실 컨텐츠를 생성 및 재생할 수 있는 시스템 및 방법에 관한 것이다.
근래에는 가상현실 혹은 증강현실과 같이 가상의 오브제를 이용한 다양한 컨텐츠가 제안되고 있다.
일반적으로 가상 현실(Virtual Reality: VR)은 컴퓨터 등을 사용하여 인공적인 기술로 만들어낸 가상공간으로서 실제와 유사하지만 실제가 아닌 특징이 있다.
그리고, 증강 현실(Augmented Reality: AR)은 가상 현실의 한 분야로서 실제 환경에 가상 오브제를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.
이러한 증강 현실은 현실세계를 바탕으로 사용자가 가상의 물체와 상호 작용함으로써 향상된 현실감을 줄 수 있다는 특징을 가진다.
따라서, 증강 현실에서는 사용자가 자신이 위치해 있는 실제 환경을 인식함과 동시에, 실제 영상 위에 표현된 가상의 정보도 인식하게 된다.
이와 같은 증강 현실은 현실 영상과 가상의 그래픽을 접목하여 보여주기 때문에 보다 실감있고 정확한 영상을 얻기 위해서는 가상 객체들을 화면에서 원하는 자리에 정확히 위치시켜야 한다. 이를 구현하기 위해서는 가상객체에 대한 3차원 좌표가 필요하며, 이 좌표는 카메라를 기준으로 하는 좌표값이 되어야 한다.
그런데, 문제는 카메라의 영상에서 현실 세계의 어떤 지점이나 물체에 대한 카메라의 3차원 좌표를 확보해야 하는데, 이를 위해서는 2대 이상의 카메라가 필요하므로 3차원 위치를 파악하기가 쉽지 않다.
따라서, 이에 대한 대책으로 증강 현실에서는 가상 객체를 위치시킬 마커(marker)를 현실 세계의 공간에 배치하고 상기 마커를 기준으로 상대적 좌표를 추출하여 가상 객체를 위치시킬 위치 및 자세를 추정하는 마커 기반 인식 기술을 이용하고 있다.
예를 들어, 고양이를 뜻하는 마커를 사용자가 임의로 만들고, 실제 고양이의 모습을 3차원 그래픽 이미지로 형상화한 3차원 가상 영상을 고양이 마커와 매칭시킨다. 이 마커를 컴퓨터에 연결된 카메라 등의 영상 인식 수단으로 인식하면, 컴퓨터 모니터에 고양이의 3차원 가상 영상이 나타나는 것이다.
이와 같이 증강현실 컨텐츠는 현실의 사진 오브제(Object)와 영상 오브제(Object)를 통하여 증강현실 컨텐츠를 생성하는 복잡한 과정을 거치게 된다.
즉, 현실 오브제인 이미지 컨텐츠를 생성하고, 가상 오브제인 영상 컨텐츠를 생성하고, 현실 Object(이미지)와 가상 Object(영상)를 매핑(Mapping)시킨 후, 이미지 컨텐츠를 인쇄한 후, 이를 마커로 인식함으로써 매핑된 영상 컨텐츠를 호출하여 재생하는 과정을 거치게 된다.
이와 같이, 종래의 증강현실 컨텐츠 생성 및 재생 시스템은 카메라 등 이미지 및 동영상을 얻기 위한 장비와, 컨텐츠를 재생하기 위한 장비 등 다양한 장비를 갖추어야 하므로 컨텐츠 제작비용이 많이 소요되는 문제점이 있다.
또한, 이러한 다양한 장비들을 이용하여 증강현실 컨텐츠를 생성 및 재생하는 과정도 복잡하므로 일반인들이 용이하게 제작하기 어려운 문제점이 있다.
따라서, 본 발명은 상기한 문제를 해결하기 위하여 제안된 것으로서, 본 발명의 과제는 스마트폰 등 간단한 이미지 및 영상획득장비에 의하여 촬영버튼을 조작하는 간단한 과정에 의하여 증강현실 컨텐츠를 용이하게 생성할 수 있는 시스템 및 방법을 제공하는 것이다.
또한 본 발명은 증강현실 컨텐츠를 제작하기 위하여 동영상을 촬영할 때 마커의 저장시점을 다양하게 선택할 수 있으며, 마커의 해상도를 높일 수 있고, 마커의 품질을 확인하여 선택할 수 있으며, 일반 동영상 파일을 통하여 마커를 자동으로 추출함으로써 용이하게 생성할 수 있는 시스템 및 방법을 제공하는 것이다.
본 발명은 상기와 같은 과제를 해결하기 위하여 제안된 것으로, 본 발명의 일 실시예는,
영상을 화면상에 표시하는 프리뷰 모드와, 프리뷰 모드 상태에서 촬영하고자 하는 영상이 표시되면 촬영버튼을 조작함으로써 해당 영상을 촬영하여 이미지 파일로 변환하는 촬영모드를 포함하는 영상 획득부와;
영상 획득부에서 얻어진 동영상 파일과 이미지 파일을 자동으로 저장하는 저장부와;
저장부에 저장되는 이미지 및 동영상을 서로 맵핑시키는 매핑부와;
영상 획득부를 통하여 얻어진 영상으로부터 마커에 해당하는 이미지를 인식하고, 해당 이미지에 맵핑된 동영상을 호출하고, 프리뷰 상태의 화면중 마커 위치에 동영상을 오버레이하는 증강현실 처리부와; 그리고
증강현실 어플리케이션에 의하여 컨텐츠를 생성 및 재생시키는 과정을 제어하는 제어부를 포함하며,
영상 획득부는 프리뷰 상태에서, 촬영버튼을 누르기 시작할 때 동영상이 저장되고 촬영버튼에서 손을 뗄때 동영상 저장이 종료되는 경우로서, 촬영버튼을 누르기 시작할 때 혹은 촬영버튼에서 손을 뗄때 이미지(마커)를 자동으로 저장하거나,
촬영버튼을 눌러서 동영상 저장을 시작하고 다시 눌러서 동영상의 저장을 종료하는 방식으로서, 동영상의 저장이 시작 또는 종료될 때 이미지를 자동으로 얻거나,
촬영버튼을 눌러서 동영상 저장을 시작하고 다시 눌러서 동영상의 저장을 종료하는 방식으로서, 동영상 저장중일 때 촬영버튼을 누름으로써 이미지를 얻을 수 있는 것을 특징으로 하는 증강현실 컨텐츠 생성 및 재생 시스템을 제공한다.
본 발명의 다른 실시예는, 영상을 화면상에 표시하는 프리뷰 모드와, 프리뷰 모드 상태에서 동영상 촬영버튼을 조작하면 동영상 촬영이 진행되며, 촬영 전,후시점에 다수의 마커용 이미지가 자동으로 촬영되어 이미지 파일로 변환되는 촬영모드를 포함하는 영상 획득부와;
영상 획득부에서 얻어진 동영상 파일과 이미지 파일을 자동으로 저장하는 저장부와;
저장부에 저장되는 이미지 및 동영상을 서로 매핑시키는 매핑부와;
영상 획득부를 통하여 얻어진 영상으로부터 마커에 해당하는 이미지를 인식하고, 해당 이미지에 매핑된 동영상을 호출하고, 프리뷰 상태의 화면중 마커 위치에 동영상을 오버레이하는 증강현실 처리부와; 그리고
증강현실 어플리케이션에 의하여 컨텐츠를 생성 및 재생시키는 과정을 제어하는 제어부를 포함하는 증강현실 컨텐츠 생성 및 재생 시스템을 제공한다.
본 발명의 다른 실시예는, 영상 획득부의 프리뷰 모드를 통하여 영상을 촬영하는 제 1단계와;
프리뷰 모드에서 촬영하고자 하는 영상이 표시되면 촬영버튼을 작동하여 적어도 하나 이상의 이미지 및 동영상 데이터를 얻고 고유의 키값을 부여하여 저장하며, 촬영된 이미지중 높은 해상도의 이미지를 얻기 위한 제 2단계와;
저장된 이미지를 매핑부에 의하여 동영상과 서로 매핑하고, 매핑정보를 저장하는 제 3단계와;
촬영된 이미지를 인쇄하는 제 4단계와;
증강현실 어플리케이션이 실행되면 마커 검출부를 통하여 마커에 해당하는 사진을 인식하고, 매핑부에 신호를 전송하여 인식된 사진과 매핑된 동영상을 호출하는 제 5단계와; 그리고
호출된 동영상을 표시부의 마커위치에 오버레이하여 재생시키는 제 6단계를 포함하는 증강현실 컨텐츠 생성 및 재생방법을 제공한다.
상기한 바와 같이, 본 발명에 따른 증강현실 컨텐츠 생성 및 재생시스템은 다음과 같은 장점이 있다.
첫째, 스마트폰과 같은 대중화된 영상획득장치의 촬영버튼을 눌러서 동영상을 촬영하는 도중에, 촬영버튼을 조작하는 간단한 동작에 의하여 이미지를 얻고, 또한 촬영버튼을 누르는 시점을 기준으로 전후 일정 시간 동안의 동영상을 자동으로 저장하여 이미지와 매핑시키는 간단한 과정에 의하여 증강현실 컨텐츠를 용이하게 생성 및 재생할 수 있음으로 일반인들이 복잡한 장비 및 절차 없이도 용이하게 증강현실 컨텐츠를 제작할 수 있는 장점이 있다.
둘째, 촬영버튼을 누르기 시작할 때 동영상이 저장되고 촬영버튼에서 손을 뗄때 동영상 저장이 종료되는 경우로서, 촬영버튼을 누르기 시작할 때 혹은 촬영버튼에서 손을 뗄때 이미지(마커)를 자동으로 저장할 수 있거나,
촬영버튼을 눌러서 동영상 저장을 시작하고 다시 눌러서 동영상의 저장을 종료하는 방식으로서, 동영상의 저장이 시작 또는 종료될 때 이미지를 자동으로 얻을 수 있거나,
촬영버튼을 눌러서 동영상 저장을 시작하고 다시 눌러서 동영상의 저장을 종료하는 방식으로서 동영상 저장중일 때 촬영버튼을 누름으로써 이미지를 얻을 수 있어서 증강현실 컨텐츠를 용이하게 생성할 수 있는 장점이 있다.
셋째, 높은 해상도의 이미지를 얻기 위하여 초기 일정 시간 동안 마커용 이미지를 자동으로 복수매 혹은 소정 매수만큼 촬영하거나, 촬영버튼에서 손을 떼기 전 일정 시간동안 마커용 이미지를 자동으로 복수매 촬영하고, 1개이상의 이미지중 화질이 좋은 이미지를 선택함으로써 마커의 해상도를 높일 수 있고, 마커의 품질을 확인하여 선택할 수 있다.
넷째, 일반 동영상 파일을 통하여 마커를 자동으로 추출함으로써 용이하게 증강현실 컨텐츠를 생성 및 재생할 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실 컨텐츠 생성 시스템의 구조를 개략적으로 보여주는 도면이다.
도 2는 도 1에 도시된 증강현실 컨텐츠 생성 시스템에 의하여 컨텐츠를 생성하는 방법을 보여주는 순서도이다.
도 3은 도 1에 도시된 제어부의 구조를 개략적으로 보여주는 블럭도이다.
도 4는 도 2에 도시된 증강현실 컨텐츠 생성 시스템에 의하여 실제로 컨텐츠를 생성하는 과정을 보여주는 도면이다.
도 4a는 촬영버튼을 작동시켜서 이미지를 얻을 때, 촬영시점을 기준으로 전후 소정 시간대의 동영상이 자동으로 저장되는 과정을 개략적으로 보여주는 도면이다.
도 5는 도 1에 도시된 영상획득부의 메뉴창으로서, 사진 촬영시 동영상이 저장되는 방식을 설정하기 위한 메뉴를 보여주는 도면이다.
도 6은 촬영버튼을 누르기 시작할 때 동영상이 저장되고 촬영버튼에서 손을 뗄때 동영상 저장이 종료되는 경우에 있어서, 촬영버튼을 누르기 시작할 때 혹은 촬영버튼에서 손을 뗄때 이미지(마커)를 자동으로 저장하는 과정을 개략적으로 보여주는 도면이다.
도 7은 촬영버튼을 눌러서 동영상 저장을 시작하고 다시 눌러서 동영상의 저장을 종료하는 방식에 있어서, 동영상의 저장이 시작 또는 종료될 때 이미지를 자동으로 얻는 과정을 개략적으로 보여주는 도면이다.
도 8은 촬영버튼을 눌러서 동영상 저장을 시작하고 다시 눌러서 동영상의 저장을 종료하는 방식에 있어서, 동영상 저장중일 때 촬영버튼을 누름으로써 이미지를 얻을 수 있는 과정을 개략적으로 보여주는 도면이다.
도 9는 제어판 UI의 해당 메뉴를 보여주는 도면이다.
도 10은 동영상 촬영 시작시 이미지가 생성되는 경우에 있어서, 높은 해상도의 이미지를 얻기 위하여 초기 일정 시간 동안 마커용 이미지를 자동으로 복수매 촬영하는 과정을 보여주는 도면이다.
도 11은 동영상 촬영 시작시 이미지가 생성되는 경우에 있어서, 높은 해상도의 이미지를 얻기 위하여, 촬영버튼에서 손을 떼기 전 일정 시간동안 마커용 이미지를 자동으로 복수매 촬영하는 과정을 보여주는 도면이다.
도 12는 동영상 촬영 시작시 이미지가 생성되는 경우에 있어서, 동영상과 동일한 해상도의 이미지를 얻는 과정을 보여주는 도면이다.
도 13은 동영상의 해상도 및 이미지의 해상도를 선택하기 위한 제어판의 UI를 보여주는 도면이다.
도 14는 동영상의 화질이 낮은 경우, 복수개의 마커용 이미지 전체 혹은 일부 이미지의 화질도 낮게 되므로 동영상을 다시 촬영하여야 하는 번거로움을 방지하고자 하는 도면이다.
도 15는 촬영된 복수의 이미지중 사용자가 원하는 이미지를 선택할 수 있도록 화면상에 표시된 UI를 보여주는 도면이다.
도 16은 우수한 화질의 이미지를 선택하기 위하여 동영상 재생버튼을 눌러서 디스플레이되는 영상중 원하는 이미지를 선택하는 과정을 보여주는 도면이다.
도 17은 일반 동영상을 재생하는 과정에서 복수의 정지 이미지중 적절한 이미지를 선택하는 과정을 보여주는 도면이다.
도 18은 도 1에 도시된 증강현실 컨텐츠 생성 시스템에 의하여 생성된 컨텐츠를 재생하는 방법을 보여주는 순서도이다.
도 19는 증강현실 컨텐츠 생성 시스템에 의하여 실제로 컨텐츠를 재생하는 과정을 보여주는 도면이다.
도 20은 본 발명의 다른 실시예로서, 동영상에 의한 증강현실 컨텐츠를 생성하는 방법을 보여주는 순서도이다.
도 21은 도 20에 도시된 증강현실 컨텐츠 생성방법에 의하여 컨텐츠를 생성하는 과정을 보여주는 도면이다.
도 2는 도 1에 도시된 증강현실 컨텐츠 생성 시스템에 의하여 컨텐츠를 생성하는 방법을 보여주는 순서도이다.
도 3은 도 1에 도시된 제어부의 구조를 개략적으로 보여주는 블럭도이다.
도 4는 도 2에 도시된 증강현실 컨텐츠 생성 시스템에 의하여 실제로 컨텐츠를 생성하는 과정을 보여주는 도면이다.
도 4a는 촬영버튼을 작동시켜서 이미지를 얻을 때, 촬영시점을 기준으로 전후 소정 시간대의 동영상이 자동으로 저장되는 과정을 개략적으로 보여주는 도면이다.
도 5는 도 1에 도시된 영상획득부의 메뉴창으로서, 사진 촬영시 동영상이 저장되는 방식을 설정하기 위한 메뉴를 보여주는 도면이다.
도 6은 촬영버튼을 누르기 시작할 때 동영상이 저장되고 촬영버튼에서 손을 뗄때 동영상 저장이 종료되는 경우에 있어서, 촬영버튼을 누르기 시작할 때 혹은 촬영버튼에서 손을 뗄때 이미지(마커)를 자동으로 저장하는 과정을 개략적으로 보여주는 도면이다.
도 7은 촬영버튼을 눌러서 동영상 저장을 시작하고 다시 눌러서 동영상의 저장을 종료하는 방식에 있어서, 동영상의 저장이 시작 또는 종료될 때 이미지를 자동으로 얻는 과정을 개략적으로 보여주는 도면이다.
도 8은 촬영버튼을 눌러서 동영상 저장을 시작하고 다시 눌러서 동영상의 저장을 종료하는 방식에 있어서, 동영상 저장중일 때 촬영버튼을 누름으로써 이미지를 얻을 수 있는 과정을 개략적으로 보여주는 도면이다.
도 9는 제어판 UI의 해당 메뉴를 보여주는 도면이다.
도 10은 동영상 촬영 시작시 이미지가 생성되는 경우에 있어서, 높은 해상도의 이미지를 얻기 위하여 초기 일정 시간 동안 마커용 이미지를 자동으로 복수매 촬영하는 과정을 보여주는 도면이다.
도 11은 동영상 촬영 시작시 이미지가 생성되는 경우에 있어서, 높은 해상도의 이미지를 얻기 위하여, 촬영버튼에서 손을 떼기 전 일정 시간동안 마커용 이미지를 자동으로 복수매 촬영하는 과정을 보여주는 도면이다.
도 12는 동영상 촬영 시작시 이미지가 생성되는 경우에 있어서, 동영상과 동일한 해상도의 이미지를 얻는 과정을 보여주는 도면이다.
도 13은 동영상의 해상도 및 이미지의 해상도를 선택하기 위한 제어판의 UI를 보여주는 도면이다.
도 14는 동영상의 화질이 낮은 경우, 복수개의 마커용 이미지 전체 혹은 일부 이미지의 화질도 낮게 되므로 동영상을 다시 촬영하여야 하는 번거로움을 방지하고자 하는 도면이다.
도 15는 촬영된 복수의 이미지중 사용자가 원하는 이미지를 선택할 수 있도록 화면상에 표시된 UI를 보여주는 도면이다.
도 16은 우수한 화질의 이미지를 선택하기 위하여 동영상 재생버튼을 눌러서 디스플레이되는 영상중 원하는 이미지를 선택하는 과정을 보여주는 도면이다.
도 17은 일반 동영상을 재생하는 과정에서 복수의 정지 이미지중 적절한 이미지를 선택하는 과정을 보여주는 도면이다.
도 18은 도 1에 도시된 증강현실 컨텐츠 생성 시스템에 의하여 생성된 컨텐츠를 재생하는 방법을 보여주는 순서도이다.
도 19는 증강현실 컨텐츠 생성 시스템에 의하여 실제로 컨텐츠를 재생하는 과정을 보여주는 도면이다.
도 20은 본 발명의 다른 실시예로서, 동영상에 의한 증강현실 컨텐츠를 생성하는 방법을 보여주는 순서도이다.
도 21은 도 20에 도시된 증강현실 컨텐츠 생성방법에 의하여 컨텐츠를 생성하는 과정을 보여주는 도면이다.
이하, 본 발명에 따른 증강현실 컨텐츠 생성 및 재생 시스템과 이를 이용한 방법을 첨부된 도면에 의하여 상세하게 설명한다.
도 1 내지 도 5에 도시된 바와 같이, 본 발명의 일 실시예가 제안하는 증강현실 컨텐츠 생성 및 재생 시스템(1)은 이미지 및 동영상정보를 획득하고 화면에 표시하는 영상 획득부(3)와;
영상 획득부(3)에 의하여 얻어진 이미지와, 이미지 촬영시점을 기준으로 전후 일정 시간동안 얻어진 동영상 정보를 구분하여 자동으로 저장하는 저장부(4)와;
저장부(4)에 저장되는 이미지 및 동영상을 서로 매핑시키는 매핑부(9)와;
영상 획득부(3)를 통하여 얻어진 영상으로부터 마커에 해당하는 이미지를 인식함으로써 해당 이미지에 매핑된 동영상을 호출하고, 프리뷰 상태의 화면중 마커 위치에 동영상을 오버레이하는 증강현실 처리부(10)와; 그리고
증강현실 어플리케이션에 의하여 컨텐츠를 생성 및 재생시키는 과정을 제어하는 제어부(11)를 포함한다.
이러한 구조를 갖는 증강현실 컨텐츠 생성 시스템(1)에 있어서, 영상 획득부(3)는 실제 객체 또는 마커를 포함하는 현실 환경을 촬영하여 이로부터 현실 환경에 대한 영상을 얻는다.
이 영상 획득부(3)는 컴퓨터 등의 외부 연산장치와 연결되는 디지털 카메라, 또는 웹캠(webcam)이거나, 스마트폰과 같은 이동 통신기기에 내장된 카메라일 수 있다. 이외에도 영상 디지털 정보를 얻을 수 있는 장비는 모두 포함할 수 있으며, 이러한 장비들은 증강현실 컨텐츠에 따라 적절하게 선택되어 질 수 있다.
이러한 영상 획득부(3)는 프리뷰 모드(Preview mode)와, 촬영모드가 구현가능하다. 즉, 프리뷰 모드에서는 카메라 렌즈를 통하여 입력되는 영상 데이터가 엘이디 등의 표시창을 통하여 표시됨으로써 사용자는 현재 카메라가 촬영하고 있는 피사체를 인식할 수 있다. 또한, 프리뷰 모드에서 얻어지는 영상 데이터는 저장부(4)에 저장될 수 있다.
이때 프리뷰모드는 디스플레이상에 단순히 동영상이 표시되는 상태 뿐만 아니라, 디스플레이상에 화면임을 나타내는 사각틀 등의 형상이 표시되고 그 사각틀내에 동영상이 표시되는 상태도 포함한다.
예를 들어 디지털 카메라의 경우 화면이 표시되는 프리뷰 모드가 없이도 단순히 디스플레이상에 동영상이 표시되는 상태에서도 촬영이 가능하다.
그리고, 촬영모드에서는 프리뷰 모드 상태에서 화면상에 영상이 표시되는 중에 촬영하고자 하는 이미지가 표시되면 촬영버튼을 터치함으로써 해당 이미지에 대한 디지털 데이터를 얻게 된다.
예를 들면, 도 4에 도시된 바와 같이, 스마트폰의 프리뷰 상태에서 거리 장면을 촬영하는 중에, 어린이가 화면에 표시되면 촬영버튼을 눌러서 어린이에 대한 이미지를 얻게 되는 것이다.
이때 프리뷰 모드와 촬영모드는 사용자가 메뉴창 등으로 통하여 선택할 수 있으며, 제어부(11)에 의하여 모드 전환 및 작동이 가능하다. 따라서, 프리뷰 모드상태에서 동영상이 저장되는 도중에도 촬영모드에서 촬영버튼을 눌러서 이미지를 얻을 수 있으며, 이미지와 동영상이 동시에 저장될 수 있다.
이와 같이, 얻어진 사진 및 동영상 데이터는 이미지 저장부(7) 및 동영상 저장부(5)에 자동으로 저장될 수 있다.
이때, 저장부(4)는 디스크, 칩 등과 같은 통상적인 형태의 메모리를 포함하며, 디지털 정보를 저장하여 전자적으로 처리할 수 있는 매체이면 모두 포함한다. 따라서, 이러한 형태의 메모리에는 영상 취득부를 통하여 얻어진 이미지 및 동영상 데이터가 저장될 수 있다.
이때, 이미지 및 동영상 데이터가 저장부(4)에 단순히 저장되는 것은 아니고 촬영시점을 기준으로 전후의 동영상이 저장된다.
즉, 도 4a에 도시된 바와 같이, 사용자가 촬영버튼(B1)을 작동시켜서 이미지를 얻을 때, 제어부(11)는 이 촬영시점을 기준으로 전후 소정 시간대에 촬영된 동영상이 동영상 저장부(4)에 자동으로 저장되도록 제어하게 된다.
예를 들면, 촬영 버튼을 눌러서 피사체를 촬영하는 시간이 12:00이라면, 12;00를 기준으로 10분 전인 11:50분 부터 12:00까지 시간대의 동영상과, 12:00부터 10분 후인 12:10분 까지 시간대의 동영상이 자동으로 저장될 수 있다.
결과적으로, 사용자는 스마트폰을 프리뷰 상태로 하여 피사체를 촬영하는 중에, 대상 객체를 인식하여 촬영버튼(B1)을 누르게 되면, 이 촬영시점의 사진을 얻음과 동시에, 촬영시점을 기준으로 전후 일정 시간대의 동영상도 저장부(4)에 자동으로 저장될 수 있다.
그리고, 촬영시점을 기준으로 전후 소정 시간대의 동영상을 저장하는 것은 증강현실 어플리케이션이나 영상 획득부(3) 자체에 탑재된 구동 프로그램 등의 소프트웨어에 의하여 처리가능하다.
이때, 전후 시간대는 도 5에 도시된 바와 같이 사용자가 메뉴창에서 자유롭게 설정할 수 있다.
즉, 시간 표시창을 터치하여 촬영전 동영상 자동저장 시간을 설정하거나, 촬영후 동영상 자동저장 시간을 설정할 수 있다.
그리고, 본 발명은 상기한 바와 같이 촬영 시점의 전후 일정 시간 동안의 동영상을 자동으로 저장하는 방식에 한정되는 것은 아니고 다른 방식으로도 동영상이 저장될 수 있다.
예를 들면, 메뉴창에 표시된 바와 같이 촬영 버튼을 누르고 있는 동안에 동영상이 자동으로 저장될 수 있도록 할 수 있다.
이와 같이 동영상의 자동저장 조건이 촬영시점의 전후인지, 혹은 촬영버튼을 누르고 있는 동안인지는 사용자가 작업환경에 따라 적절하게 선택할 수 있다.
아울러, 촬영버튼에 의하여 얻어진 이미지는 마커로 사용되는 바, 이미지를 얻기 위한 촬영시점들 다양하게 변동하여 실시할 수 있다.
예를 들면, 도 6에 도시된 바와 같이, 촬영버튼(B)을 누르기 시작할 때(t1) 동영상이 저장되고 촬영버튼(B)에서 손을 뗄때(t2) 동영상 저장이 종료되는 경우로서, 촬영버튼(B)을 누르기 시작할 때(t1) 혹은 촬영버튼(B)에서 손을 뗄때(t2) 이미지(마커)를 자동으로 저장할 수 있으며, 이는 선택할 수 있다.
혹은 도 7에 도시된 바와 같이, 촬영버튼(B)을 눌러서 동영상 저장을 시작하고 다시 눌러서 동영상의 저장을 종료하는 방식으로서, 동영상의 저장이 시작(t1) 또는 종료될 때(t2) 이미지를 자동으로 얻을 수 있으며, 이는 선택할 수 있다.
혹은 도 8에 도시된 바와 같이, 촬영버튼(B)을 눌러서 동영상 저장을 시작하고(t1) 다시 누를 때(t2) 동영상의 저장을 종료하는 방식으로서, 동영상 저장중일 때 촬영버튼(B)을 누름으로써 이미지를 얻을 수 있다.
상기한 바와 같이 동영상 및 이미지 촬영버튼을 누르는 시점을 다양하게 변경하여 실시할 수 있으며, 이는 도 9에 도시된 바와 같은 제어판 UI의 해당 메뉴를 선택함으로써 진행될 수 있다.
상기와 같이, 사용자는 메뉴창에서 시간설정 메뉴를 팝업시키고 동영상 저장시간을 적절하게 설정할 수 있다.
다시 도 1 내지 도 5를 참조하면, 이미지 및 동영상이 저장될 때 제어부(11)는 매핑부(9)에 신호를 전송함으로써 각 데이터마다 고유한 키값(Key)을 부여하게 된다.
이와 같이 키값을 부여함으로써 마커와 동영상 매핑 정보가 DB 에 저장될 때, DB 정보에 이미지 정보를 Key 값으로 변환하여 저장함으로써 DB 검색을 용이하게 할 수 있다.
이러한 매핑부(9)는 통상적인 매핑부(9)를 의미하며, 이미지 데이터와 동영상 데이터를 서로 일대일로 매핑하게 된다. 즉, 이미지와 이에 대응하는 동영상을 서로 연결함으로써, 특정 이미지를 지정하면 이에 매핑된 동영상이 호출되어 재생되는 과정이다.
본 발명에서는 촬영시점에서 얻어진 이미지 데이터와, 촬영시점을 기준으로 전후 일정 시간대에 자동으로 저장된 동영상 데이터가 서로 매핑된다. 따라서, 촬영시점의 이미지를 지정하면, 전후 시간대의 동영상 데이터가 자동으로 호출되어 재생되는 방식이다.
이러한 매핑부(9)에서는 이미지와 동영상의 매칭시 요구되는 정보들도 결정하게 된다. 즉, 동영상 및 이미지의 대응되는 위치, 방향, 크기에 관한 정보가 요구되는 바, 이미지와 동영상에 좌표를 설정하고, 이 좌표계에 의하여 매핑정보를 연산하고 저장할 수 있다.
이와 같이 이미지 및 동영상이 매핑된 상태에서 저장됨으로써 증강현실 컨텐츠가 생성될 수 있다.
이때, 촬영된 이미지의 특징점이 적을 경우, 후술하는 바와 같이 이미지를 인쇄하여 마커로 사용하는 바, 마커 검출부에 의하여 이미지를 촬영할 때 특징점이 적으면 검출 성능이 떨어질 수 있다.
따라서, 이러한 문제를 해결하기 위하여 촬영된 이미지의 테두리에 바코드와 같은 패턴을 추가함으로써 특징점을 부가할 수 있다.
그리고, 이러한 증강현실 컨텐츠는 상기한 증강현실 처리부(10)에 의하여 재생될 수 있다. 이러한 증강현실 처리부(10)는 마커 검출부(15)와, 마커 종류 인식부(17)와, 트래킹부(19)와, 영상 표시부(13)를 포함한다.
마커 검출부(15)는 영상 획득부(3)를 통해 인식된 실제 영상으로부터 마커를 추출하고, 저장부(4)에 저장된 마커의 특징점 정보와 비교하여 마커를 검출한다.
이때, 마커는 다양한 형태의 것이 사용될 수 있으며, 본 실시예에서는 마커로서 프린터와 같은 장치에 의하여 페이퍼 형태로 인쇄된 이미지를 사용한다.
이러한 페이퍼 형태의 이미지는 다양한 방식으로 얻을 수 있는 바, 이미지 촬영 모드상태에서 촬영하면 해상도도 높고 화질이 선명한 이미지를 얻을 수 있으나, 반대로 동영상 촬영 모드에서 마커용 이미지를 얻는 경우에는 상대적으로 해상도가 낮은 이미지를 얻을 수 밖에 없다.
즉, 동영상의 경우 1초에 30프레임(frame)이상을 촬영하기 때문에 이미지 촬영에 비하여 해상도가 낮은 것이 통상적이다.
따라서, 동영상 촬영중에 이미지를 얻어서 마커를 생성할 경우 마커의 해상도가 낮아지고, 이러한 이미지를 페이퍼 형태로 출력하는 경우 해상도가 낮을 수 밖에 없어서 마커로 활용하기 어렵다.
이러한 점을 고려하여 본 발명에서는 동영상 촬영시에도 선명한 이미지를 얻을 수 있는 방법을 제공한다.
이때, 이미지가 저장되는 방식 관련하여, 이미지의 해상도가, 동영상 해상도 보다 높게 설정되어 있다면, 촬영 이미지 자체가 저장되어야 하며,
동영상과 이미지 해상도가 동일하다고 하면, 이미지 자체를 저장하는 방법 외에, 이미지 촬영버튼을 눌렀을때의 동영상 frame 위치만을 저장하여 나중에 frame 위치로 해당 이미지를 찾는 방식도 가능하다.
이와 같이 높은 해상도의 이미지를 얻는 방법을 도 10에 의하여 설명한다.
도시된 바와 같이, 동영상 촬영 시작시 이미지가 생성되는 경우로서, 높은 해상도의 이미지를 얻기 위하여 초기 일정 시간 동안 마커용 이미지를 자동으로 복수매 촬영하게 된다.
즉, 촬영버튼(B)을 누르면 초기 일정 시간(t1)동안 이미지가 자동으로 촬영됨으로써 마커용 이미지를 얻을 수 있고, 촬영버튼(B)을 누르고 있는 동안은 동영상이 자동으로 촬영되며, 손을 떼면 동영상 촬영이 종료된다.
이때, 초기 일정 시간(t1) 동안 마커용 이미지가 1장 이상 촬영될 수 있으며, 사용자는 추후 마커 선택과정에 있어서 다수의 이미지중 사용자가 원하는 이미지를 선택할 수 있다.
반대로 도 11에 도시된 바와 같이, 촬영버튼에서 손을 떼기 전 일정 시간동안 마커용 이미지를 자동으로 복수매 촬영할 수도 있다.
즉, 촬영버튼(B)을 누르면 동영상 촬영이 시작되어 촬영이 진행되고, 동영상 촬영을 종료하기 위하여 촬영버튼(B)에서 손을 떼면 떼기 일정 시간(t1) 전 동안 마커용 이미지가 자동으로 촬영될 수 있다. 이때에도 마커용 이미지가 1장 이상 촬영됨으로써 사용자는 추후 마커 선택과정에서 다수의 이미지중 화질이 좋은 이미지를 선택할 수 있다.
그리고, 도 12는 동영상 촬영 시작시 이미지가 생성되는 경우에 있어서, 동영상과 이미지가 동일한 해상도를 갖는 경우를 보여준다.
이 경우 마커와 동영상의 해상도가 동일하기 때문에 별도로 해상도가 높은 사진 촬영이 필요 없으며, 다만, 마커의 해상도가 동영상의 해상도 보다 높을 경우, 사진촬영은 상기한 도 10 및 11의 경우와 같이 수행될 수 있다.
그리고, 이러한 동영상의 해상도 및 이미지의 해상도는 도 13에 도시된 바와 같이 제어판에 표시되는 메뉴판(UI)에 의하여 임의로 설정할 수 있다.
아울러, 이미지의 촬영매수는 복수매가 임의로 자동 촬영되도록 설정하거나, 소정 매수로 촬영되도록 설정할 수 있다.
한편, 상기한 바와 같이 동영상을 촬영하면서 초기 일정시간 동안, 혹은 후기 일정시간 동안, 혹은 동영상 촬영과 동시에 마커용 이미지를 촬영하는 경우, 도 14 도시된 바와 같이 동영상의 화질이 낮은 경우, 복수개의 마커용 이미지 전체 혹은 일부 이미지의 화질도 낮게 되므로 동영상을 다시 촬영하여야 한다.
이러한 경우 도 15 도시된 바와 같이, 촬영된 복수의 이미지중 사용자가 원하는 이미지를 선택할 수 있도록 UI를 제공한다.
즉, 화면상에 디스플레이된 복수의 이미지중 촬영된 화면이 초점이 맞지 않아서 흐리게 나올수도 있음으로 사용자가 원하는 높은 화질의 이미지를 선택할 수도 있다.
혹은 도 16 도시된 바와 같이, 동영상 재생버튼을 눌러서 디스플레이되는 영상중 원하는 이미지를 선택할 수도 있다. 이때, 동영상 재생버튼을 누른 상태에서 일측으로 드래그하는 경우, 연속으로 재생되는 동영상이 화면의 아래창에 복수의 정지 이미지로 표시되도록 하는 것은 소프트웨어에 의하여 적절하게 처리될 수 있다.
따라서, 사용자는 화면 아래창에 표시된 다수의 이미지중 원하는 이미지를 선택할 수 있다.
그리고, 이러한 마커용 이미지 생성과정은 일반적인 동영상 파일에서도 생성할 수 있다. 즉, 본 발명에서 제안하는 증강현실 컨텐츠 생성장치에 의하여 얻어진 동영상 파일을 이용하여 마커용 이미지를 얻는 것이 아니라 기존에 촬영된 일반 동영상에서 특정 프레임(frame)을 마커용 이미지로 생성할 수도 있다.
그 과정은 상기한 과정과 유사하다. 즉 도 17에 도시된 바와 같이, 동영상 재생버튼을 눌러서 일반 동영상을 재생하고, 동영상 재생버튼을 누른 상태에서 일측으로 드래그하는 경우, 연속으로 재생되는 동영상이 화면의 아래창에 복수의 정지 이미지로 표시되도록 하며, 아래팡에 표시된 복수의 이미지중 적절한 이미지를 선택할 수 있다.
한편, 상기에서는 이미지를 페이퍼 형태로 출력하는 경우에 의하여 설명하였지만, 본 발명은 이에 한정되는 것은 아니고 이미지를 외부 출력장치에 의하여 페이퍼 형태로 출력하지 않고, 이미지를 엘씨디(LCD)와 같은 디스플레이 화면상에 표시하여 마커로 동작할 수도 있다.
따라서, 마커 검출부(15)는 영상 획득부(3)를 통하여 인식되는 영상 중, 인쇄된 이미지가 검출되면 이를 저장부(4)에 저장된 마커의 특징들과 비교함으로써 인쇄된 이미지가 마커임을 파악하게 된다.
마커는 이와 같이 인쇄된 이미지 형태 이외에도 다양한 형태가 사용될 수 있는 바, 테두리에 흑백라인이 인쇄되어 기하학 문양이나 일정한 패턴을 이루는 바코드와 같은 고유 식별마커를 포함함은 물론, 실제 객체의 특징점을 이용한 자연 특징점(Nature Feature Point)까지 포함한다.
또한, 마커 검출부(15)는 다양한 방식에 의하여 마커를 검출할 수 있으며, 예를 들면, 실제 객체의 색상 정보, 선분 정보, 에지(edge) 정보 등을 이용하여 검출할 수 있다.
그리고, 마커 종류 인식부(17)는 마커 검출부(15)를 통해 검출된 마커 정보로부터 저장부(4)에 저장된 마커 정보와 매칭되는 마커의 종류(ID)를 추출하여 인식한다.
그리고, 트래킹부(19)는 마커 검출부(15)를 통해 검출된 각 마커의 기울기, 방향, 거리를 추적한다.
이때, 트래킹부(19)는 마커의 모양에 따라 기울기 정도를 인식할 수 있는데, 각 마커의 모양은 사전에 여러 기울기에 따라 미리 정의하여 저장부(4)에 저장해 둔다.
따라서, 촬영시 얻어진 사진을 마커로 활용하는 바, 이 사진의 기울기, 방향, 거리 정보를 트래킹함으로써, 매핑되어 호출되는 동영상도 이 사진의 기울기, 방향, 거리에 맞추어서 재생되도록 할 수 있다.
그리고, 영상표시부(13)는 이와 같이 마커 검출부(15), 종류 인식부(17), 트래킹부(19)에 의하여 얻어진 동영상을 화면상에 표시된 사진(마커)에 오버레이하게 된다.
예를 들면, 도 19에 도시된 바와 같이, 스마트폰으로 벽체를 촬영하는 중에, 벽에 걸린 사진이 인식되면 이 사진을 마커로 인식하게 되고, 이 사진에 매핑된 동영상을 호출하게 된다. 그리고, 호출된 동영상은 영상 표시부(13)에 의하여 스마트폰의 화면속 사진 위치에 오버레이될 수 있다.
결국, 스마트폰의 화면상에서 벽체가 배경화면으로 표시되는 중에 사진 위치에는 매핑된 동영상이 별도로 재생됨으로써 증강현실과 같은 환경이 구현될 수 있다.
한편, 상기한 바와 같이 증강현실 컨텐츠를 생성 및 재생하는 과정은 제어부(11)에 의하여 진행될 수 있다.
이러한 제어부(11)는 도 3에 도시된 바와 같이, 촬영버튼 신호가 입력되는 입력모듈(30)과; 입력모듈(30)로부터 신호가 입력되면 저장부(4) 및 매핑부(9)에 신호를 출력함으로써 촬영된 이미지와, 촬영된 이미지와 연관된 동영상에 키값을 설정하여 저장부(4)에 저장하도록 제어하는 컨텐츠 생성모듈(32)과; 증강현실 어플리케이션이 실행되면 마커 검출부(15)를 통하여 마커에 해당하는 이미지를 인식하고, 매핑부(9)에 신호를 전송하여 인식된 사진과 매핑된 동영상을 호출하는 컨텐츠 재생모듈(34)과; 그리고 호출된 동영상을 표시부(13)의 마커위치에 오버레이하여 재생시키는 영상표시모듈(36)을 포함한다.
보다 상세하게 설명하면, 스마트폰 등의 촬영버튼이 작동할 때 발생하는 신호는 입력모듈(30)로 전송된다.
그리고, 입력모듈(30)로부터 촬영버튼 작동 신호가 입력되면 컨텐츠 생성모듈(32)은 저장부(4) 및 매핑부(9)에 신호를 출력한다. 따라서, 촬영에서 얻어진 이미지에 대한 디지털 정보와, 이미지와 연관된 동영상에 대한 디지털 정보를 자동으로 저장부(4)에 저장하도록 제어한다. 이때, 이미지 정보에는 이미지를 식별할 수 있는 고유의 키값이 부여된다.
또한, 컨텐츠 생성모듈(32)은 사용자가 메뉴판을 통하여 저장시간을 입력하면, 촬영시간을 기준으로 입력된 시간만큼의 전후 시간대의 동영상이 저장되도록 제어한다.
그리고, 컨텐츠 생성모듈(32)은 촬영시점의 이미지와 전후 시간대의 동영상 이미지를 각각 구분하여 고유의 키값을 부여한 상태에서 별도의 저장부(4)에 저장될 수 있도록 제어한다.
혹은, 컨텐츠 생성모듈(32)은 별도의 메뉴판을 통하여 얻어진 마커용 다수의 이미지에 각각 고유키값을 부여하여 저장할 수 있다.
즉, 도 9에 도시된 바와 같이, UI 설정화면은 동영상 촬영 시작시 자동 사진(마커)촬영, 동영상 촬영 종료시 자동 사진촬영, 동영상 촬영중 마커 촬영 활성화의 3가지 설정을 선택할 수 있다.
그리고, 상기 3가지의 메뉴를 선택하는 경우, 도 6 내지 도 8에 도시된 과정에 의하여 마커용 이미지가 얻어질 수 있고, 각 이미지에 고유키값을 부여하여 저장한다.
혹은, 컨텐츠 생성모듈(32)은 영상획득부를 통하여 얻은 해상도가 높은 다수의 마커용 이미지들에 고유키값을 부여하여 저장하도록 제어할 수 있다.
즉, 도 10에 도시된 바와 같이, 동영상 촬영 시작시 이미지가 생성되는 경우로서, 높은 해상도의 이미지를 얻기 위하여 초기 일정 시간 동안 마커용 이미지를 자동으로 복수매 촬영하여 얻어진 다수의 이미지에 고유키값을 부여할 수 있다.
혹은, 도 11과 같이 동영상 촬영 시작시 이미지가 생성되는 경우로서, 높은 해상도의 이미지를 얻기 위하여, 촬영버튼에서 손을 떼기 전 일정 시간동안 마커용 이미지를 자동으로 복수매 촬영하여 얻어진 이미지에 고유키값을 부여할 수 있다.
혹은, 도 15및 도 16 도시된 바와 같이, 컨텐츠 생성모듈(32)은 동일한 해상도를 갖도록 촬영된 동영상과 이미지에도 각각 고유키값을 부여하여 저장할 수도 있다.
혹은 도 17에 도시된 바와 같이, 일반 동영상에서 얻어진 특정 프레임(frame)을 이용한 마커용 이미지에도 고유키값을 부여하여 저장할 수 있다.
이와 같이 증강현실 컨텐츠가 생성되면, 제어부(11)는 컨텐츠 재생모듈(34)을 통하여 증강현실 컨텐츠를 재생하는 작업을 진행하게 된다.
즉, 컨텐츠 재생모듈(34)은 우선 탑재된 증강현실 어플리케이션을 실행한다. 증강현실 어플리케이션이 실행된 상태에서, 영상 획득부(3)를 통하여 현실 환경에 대한 영상이 인식되면 마커 검출부(15)를 통하여 마커에 해당하는 이미지를 검출하게 된다. 그리고, 해당 이미지가 검출되면, 매핑부(9)에 신호를 전송하여 인식된 사진과 매핑된 동영상을 호출하게 된다.
이와 같이 매핑된 동영상이 호출되면 영상 표시모듈(36)은 호출된 동영상을 표시부(13)의 마커위치에 오버레이하여 재생시키도록 제어한다.
한편, 저장부(4)는 이미지 정보를 저장하는 이미지 DB(7)와, 동영상 정보를 저장하는 동영상 DB(5)와, 매핑정보를 저장하는 매핑DB(25)와, 인식하고자 하는 복수의 마커에 대한 정보를 저장한 마커 DB(23)와, 마커 DB에 저장된 마커와 매핑되는 가상 객체에 관한 정보를 저장한 가상 객체 DB(27)를 포함한다.
이하, 본 발명의 일 실시예에 따른 증강현실 시스템을 이용하여 컨텐츠를 생성 및 재생방법에 대하여 더욱 상세하게 설명한다.
도 1, 도 2, 도 4, 도 19에 도시된 바와 같이, 증강현실 컨텐츠 생성 및 재생방법은, 영상 획득부(3)의 프리뷰 모드를 통하여 영상을 촬영하는 제 1단계(S10)와;
촬영버튼이 작동하면, 동영상 및 관련 이미지를 촬영하고 키값을 설정하여 저장하는 제 2단계(S20)와;
저장된 이미지를 매핑부(9)에 의하여 동영상과 서로 매핑하고, 매핑정보를 저장하는 제 3단계(S30)와;
촬영된 이미지를 인쇄하는 제 4단계(S40)와;
증강현실 어플리케이션이 실행되면 마커 검출부(15)를 통하여 마커에 해당하는 사진을 인식하고, 매핑부(9)에 신호를 전송하여 인식된 사진과 매핑된 동영상을 호출하는 제 5단계(S50)와; 그리고
호출된 동영상을 표시부(13)의 마커위치에 오버레이하여 재생시키는 제 6단계(S60)를 포함한다.
이러한 방법을 보다 상세하게 설명하면, 제 1단계(S10)에서는 시스템(1)을 프리뷰 모드로 설정하여 피사체를 촬영함으로써 영상을 취득하게 된다. 그리고 취득된 영상 데이터는 동영상 저장부(4)로 연속으로 저장된다.
예를 들면, 사용자는 스마트폰의 카메라를 프리뷰 모드로 설정한 상태에서 아파트 단지를 촬영하면, 촬영된 영상 데이터는 동영상 저장부(4)에 저장될 수 있다.
이와 같이 제 1단계(S10)가 완료되면, 제 2단계(S20)가 진행된다.
제 2단계(S20)에서는, 사용자가 피사체에 대하여 사진을 촬영하고자 하는 경우, 시스템(1)의 촬영버튼을 터치함으로써 이미지 데이터를 얻게 된다.
예를 들면, 도 4에 도시된 바와 같이, 스마트폰을 이용하여 거리 장면을 촬영하는 중에, 어린이가 화면에 표시되면 촬영버튼을 눌러서 어린이에 대한 이미지를 얻게 되는 것이다.
그리고, 제어부(11)는 촬영버튼의 작동신호를 감지하고, 촬영시점에 얻어진 데이터가 이미지 저장부(4)에 저장될 수 있도록 한다. 이때, 이미지 데이터에는 고유의 key값이 부여된다.
또한, 촬영시점을 기준으로 전후 소정 시간 동안의 동영상 데이터가 저장될 수 있다.
예를 들면, 촬영 버튼을 눌러서 피사체를 촬영하는 시간이 12:00이라면, 12;00를 기준으로 10분전인 11:50분부터 12:00까지 시간대의 동영상과, 12:00부터 10분 후인 12:10분 까지 시간대의 동영상이 자동으로 저장될 수 있다.
본 발명은 상기한 바와 같이 촬영시 이미지와, 촬영 전후 일정 시간대의 동영상에 의하여 증강현실 컨텐츠를 얻는 방식에 한정되는 것은 아니고 다양하게 변경하여 실시가능하다.
예를 들면, 도 6에 도시된 바와 같이, 촬영버튼(B)을 누르기 시작할 때(t1) 동영상이 저장되고 촬영버튼(B)에서 손을 뗄때(t2) 동영상 저장이 종료되는 경우로서, 촬영버튼(B)을 누르기 시작할 때(t1) 혹은 촬영버튼(B)에서 손을 뗄때(t2) 이미지(마커)를 자동으로 저장하여 컨텐츠를 얻을 수도 있다.
혹은 도 7에 도시된 바와 같이, 촬영버튼(B)을 눌러서 동영상 저장을 시작하고 다시 눌러서 동영상의 저장을 종료하는 방식으로서, 동영상의 저장이 시작(t1) 또는 종료될 때(t2) 이미지를 자동으로 저장하여 컨텐츠를 얻을 수도 있다.
혹은 도 8에 도시된 바와 같이, 촬영버튼(B)을 눌러서 동영상 저장을 시작하고(t1) 다시 누를 때(t2) 동영상의 저장을 종료하는 방식으로서, 동영상 저장중일 때 촬영버튼(B)을 누름으로써 이미지를 저장하여 컨텐츠를 얻을 수도 있다.
한편, 상기 제 2단계에서는 보다 높은 해상도의 이미지 파일을 얻기 위한 단계가 추가로 진행될 수 있다.
즉, 해상도 높은 파일을 얻기 위한 단계에서는, 도 10에 도시된 바와 같이, 촬영버튼(B)을 누르면 초기 일정 시간(t1)동안 이미지가 자동으로 촬영됨으로써 마커용 이미지를 얻을 수 있고, 촬영버튼(B)을 누르고 있는 동안은 동영상이 자동으로 촬영되며, 손을 떼면 동영상 촬영이 종료된다. 이때, 초기 일정 시간(t1) 동안 마커용 이미지가 1장 이상 촬영될 수 있으며, 다수의 이미지중 화질이 좋은 이미지를 선택할 수 있다.
이와 같이 제 2단계가 완료된 후, 이미지와 동영상을 매핑시키는 제 3단계가 진행된다.
즉, 제어부(11)는 매핑부(9)에 신호를 전송함으로써 이미지와 동영상을 서로 매핑시킨다. 아울러, 매핑정보는 매핑db에 저장될 수 있다.
이와 같이 제 1 내지 제 3단계(S10,S20,S30)의 컨텐츠 재생과정을 통하여, 사용자는 프리뷰 모드 상태에서 촬영하는 중에, 동영상과 이미지 데이터를 얻게 되고, 이러한 이미지 데이터와 동영상이 서로 매핑되어 저장됨으로서 증강현실 컨텐츠를 용이하게 생성할 수 있다.
한편, 이와 같이 생성된 증강현실 컨텐츠는 아래의 순서에 의하여 재생될 수 있다.
먼저, 제 4단계(S40)가 진행되는 바, 사용자는 촬영된 이미지중 적절한 이미지를 선택한다. 즉, 스마트폰의 화면을 터치하여 이미지 db에 저장된 이미지들을 팝업시키고, 적절한 이미지를 터치함으로써 선택할 수 있다.
그리고, 선택된 이미지를 프린터 등의 외부 출력장치를 통하여 페이퍼 형태로 출력한다. 즉 이 페이퍼 형태의 이미지는 마커의 용도로 사용된다.
물론, 이미지를 외부 출력장치에 의하여 페이퍼 형태로 출력하지 않고, 화면상에 팝업한 상태로 표시할 수도 있다.
혹은 이미지 이외의 가상객체를 마커로 활용할 수도 있다. 예를 들면, 테두리에 흑백 라인이 인쇄되거나 바코드와 같은 형태가 인쇄된 가상객체도 가능하다.
이와 같이 이미지를 사진으로 출력하는 4단계가 완료된 후, 제 5단계가 진행된다.
제 5단계(S50)에서는, 증강현실 어플리케이션을 실행시키면, 프리뷰 모드로 전환됨으로써 화면상에 렌즈가 촬영하고 있는 구역에 대한 영상이 표시된다.
이때, 마커 검출부(15)는 영상 데이터중 마커를 검출하게 된다. 즉, 페이퍼로 출력된 사진의 픽셀 등 특징점 정보를 db에 저장된 데이터와 비교한다. 그리고, 사진에 매핑되는 동영상을 호출한다.
이때, 트래킹부(19)는 검출된 사진을 트래킹하여, 사진의 기울기, 방향, 거리등을 인식한다.
이와 같이, 제 5단계(S50)가 완료되면, 동영상을 재생하는 제 6단계(S60)가 진행된다.
즉, 스마트폰의 프리뷰 상태에서 배경화면이 디스플레이되고 있는 상태에서 이미지(마커)가 검출되면, 이 이미지 위치에 매핑된 동영상이 재생됨으로써 증강현실 컨텐츠를 감상할 수 있다.
예를 들면, 도 19에 도시된 바와 같이, 스마트폰으로 벽체를 촬영하는 중에, 벽에 걸린 사진이 인식되면 이 사진을 마커로 인식하게 되고, 이 사진에 매핑된 동영상을 호출하게 된다. 그리고, 호출된 동영상은 영상 표시부(13)에 의하여 스마트폰의 화면속 사진 위치에 오버레이될 수 있다.
한편, 상기 실시예에서는 사진 촬영시 전후의 동영상을 자동으로 저장하여 증강현실 컨텐츠를 생성하였지만, 본 발명은 이에 한정되는 것은 아니고 다음과 같이 기존의 동영상을 이용하여 증강현실 컨텐츠를 생성하는 것도 가능하다.
즉, 도 20 및 도 21에 도시된 바와 같이, 동영상 파일을 시스템(1)에 저장한다(S70). 그리고, 어플리케이션을 구동하여 화면상에서 동영상 파일을 재생한다.
동영상을 재생하면서 마커로 사용할 프레임을 선택하여 지정한다(S80). 즉, 화면상에서 재생되는 동영상중 특정 프레임을 캡쳐함으로써 해당 프레임을 이미지 파일 형태로 저장하게 된다.
이때, 캡쳐된 프레임은 전체 동영상중 임의 위치에 있는 프레임을 선택할 수 있다.
이와 같이 캡쳐된 이미지 파일은 키값이 설정됨으로써 가상 오브제로 해당 동영상과 매핑되어 증강현실 컨텐츠로 생성될 수 있다(S90).
1: 증강현실 컨텐츠 생성 및 재생 시스템
3: 영상 획득부
4: 저장부
9: 매핑부
10: 증강현실 컨텐츠 처리부
11: 제어부
3: 영상 획득부
4: 저장부
9: 매핑부
10: 증강현실 컨텐츠 처리부
11: 제어부
Claims (11)
- 영상을 화면상에 표시하는 프리뷰 모드와, 프리뷰 모드 상태에서 촬영하고자 하는 영상이 표시되면 촬영버튼을 조작함으로써 해당 영상을 촬영하여 이미지 파일로 변환하는 촬영모드를 포함하는 영상 획득부와;
영상 획득부에서 얻어진 동영상 파일과 이미지 파일을 자동으로 저장하는 저장부와;
저장부에 저장되는 이미지 및 동영상을 서로 맵핑시키는 매핑부와;
영상 획득부를 통하여 얻어진 영상으로부터 마커에 해당하는 이미지를 인식하고, 해당 이미지에 맵핑된 동영상을 호출하고, 프리뷰 상태의 화면중 마커 위치에 동영상을 오버레이하는 증강현실 처리부와; 그리고
증강현실 어플리케이션에 의하여 컨텐츠를 생성 및 재생시키는 과정을 제어하는 제어부를 포함하며,
영상 획득부는 프리뷰 상태에서, 촬영버튼을 누르기 시작할 때 동영상이 저장되고 촬영버튼에서 손을 뗄때 동영상 저장이 종료되는 경우로서, 촬영버튼을 누르기 시작할 때 혹은 촬영버튼에서 손을 뗄때 이미지(마커)를 자동으로 저장하거나,
촬영버튼을 눌러서 동영상 저장을 시작하고 다시 눌러서 동영상의 저장을 종료하는 방식으로서, 동영상의 저장이 시작 또는 종료될 때 이미지를 자동으로 얻거나,
촬영버튼을 눌러서 동영상 저장을 시작하고 다시 눌러서 동영상의 저장을 종료하는 방식으로서, 동영상 저장중일 때 촬영버튼을 누름으로써 이미지를 얻을 수 있으며,
상기 증강현실 처리부는 영상 획득부를 통해 인식한 실제 영상으로부터 마커에 해당하는 이미지를 추출하고, 저장부에 저장된 이미지의 특징점 정보와 비교하여 해당 이미지를 검출하는 마커 검출부와;
마커 검출부를 통해 검출된 이미지 정보로부터 저장부에 저장된 동영상 중 매칭된 동영상의 종류를 추출하여 인식하는 트래킹부를 포함하는 증강현실 컨텐츠 생성 및 재생 시스템. - 영상을 화면상에 표시하는 프리뷰 모드와, 프리뷰 모드 상태에서 촬영버튼을 조작하면 동영상 촬영이 진행되며, 촬영 전,후시점에 다수의 마커용 이미지가 자동으로 촬영되어 이미지 파일로 변환되는 촬영모드를 포함하는 영상 획득부와;
영상 획득부에서 얻어진 동영상 파일과 이미지 파일을 자동으로 저장하는 저장부와;
저장부에 저장되는 이미지 및 동영상을 서로 매핑시키는 매핑부와;
영상 획득부를 통하여 얻어진 영상으로부터 마커에 해당하는 이미지를 인식하고, 해당 이미지에 매핑된 동영상을 호출하고, 프리뷰 상태의 화면중 마커 위치에 동영상을 오버레이하는 증강현실 처리부와; 그리고
증강현실 어플리케이션에 의하여 컨텐츠를 생성 및 재생시키는 과정을 제어하는 제어부를 포함하며,
상기 증강현실 처리부는 영상 획득부를 통해 인식한 실제 영상으로부터 마커에 해당하는 이미지를 추출하고, 저장부에 저장된 이미지의 특징점 정보와 비교하여 해당 이미지를 검출하는 마커 검출부와;
마커 검출부를 통해 검출된 이미지 정보로부터 저장부에 저장된 동영상 중 매칭된 동영상의 종류를 추출하여 인식하는 트래킹부를 포함하는 증강현실 컨텐츠 생성 및 재생 시스템. - 삭제
- 제 1항 또는 2항에 있어서,
상기 영상 획득부는 해상도 높은 마커용 이미지를 얻는 경우, 촬영버튼을 누르면 초기 일정 시간동안 1장 이상 이미지가 자동으로 촬영되고, 촬영버튼을 누르고 있는 동안은 동영상이 자동으로 촬영되며, 손을 떼면 동영상 촬영이 종료되거나,
촬영버튼에서 손을 떼기 전 일정 시간동안 자동으로 복수의 마커용 이미지를 촬영하여 얻어진 다수의 이미지중 화질이 좋은 이미지를 선택할 수 있는 것을 특징으로 하는 증강현실 컨텐츠 생성 및 재생 시스템. - 제 1항 또는 2항에 있어서,
상기 영상 획득부는 마커용 이미지를 얻는 경우, 동영상과 이미지를 동일한 해상도로 설정함으로써 동영상 촬영버튼을 누를 때 동영상과 동일한 해상도를 갖는 이미지를 얻을 수 있는 것을 특징으로 하는 증강 현실 컨텐츠 생성 및 재생 시스템. - 제 1항 또는 2항에 있어서,
상기 증강현실처리부는 영상획득부에 의하여 얻어진 동영상 파일 중, 특정 프레임을 화면상에 다수 표시할 수 있는 UI를 제공하고, 이중 사용자가 원하는 이미지를 선택하여 마커로 활용할 수 있도록 하는 것을 특징으로 하는 증강 현실 컨텐츠 생성 및 재생 시스템. - 삭제
- 제 1항 또는 2항에 있어서,
상기 매핑부는 촬영된 이미지의 테두리에 바코드 혹은 소정 패턴을 추가하여 특징점을 부가함으로써 상기 마커 검출부가 마커임을 인식할 수 있는 것을 특징으로 하는 증강현실 컨텐츠 생성 및 재생 시스템. - 제 1항 또는 제 2항에 있어서,
상기 제어부는 촬영버튼 신호가 입력되는 입력모듈과;
입력모듈로부터 신호가 입력되면 저장부 및 매핑부에 신호를 출력함으로써 이미지 및 동영상 데이터를 얻고 고유의 키값을 부여하여 저장하도록 제어하는 컨텐츠 생성모듈과;
증강현실 어플리케이션이 실행되면 마커 검출부를 통하여 마커에 해당하는 이미지를 인식하고, 매핑부에 신호를 전송하여 인식된 사진과 매핑된 동영상을 호출하는 컨텐츠 재생모듈과; 그리고
호출된 동영상을 표시부의 마커위치에 오버레이하여 재생시키는 영상표시모듈을 포함하는 증강현실 컨텐츠 생성 및 재생 시스템. - 영상 획득부의 프리뷰 모드를 통하여 영상을 촬영하는 제 1단계와;
프리뷰 모드에서 촬영하고자 하는 영상이 표시되면 촬영버튼을 작동하여 적어도 하나 이상의 이미지 및 동영상 데이터를 얻고 고유의 키값을 부여하여 저장하며, 촬영된 이미지중 높은 해상도의 이미지를 얻기 위한 제 2단계와;
저장된 이미지를 매핑부에 의하여 동영상과 서로 매핑하고, 매핑정보를 저장하는 제 3단계와;
촬영된 이미지를 인쇄하는 제 4단계와;
증강현실 어플리케이션이 실행되면 마커 검출부를 통하여 마커에 해당하는 사진을 인식하고, 매핑부에 신호를 전송하여 인식된 사진과 매핑된 동영상을 호출하는 제 5단계와; 그리고
호출된 동영상을 표시부의 마커위치에 오버레이하여 재생시키는 제 6단계를 포함하는 증강현실 컨텐츠 생성 및 재생방법. - 제 10항에 있어서,
상기 제 2단계는 높은 해상도의 이미지 파일을 얻기 위한 단계가 포함되며,
높은 해상도의 이미지를 얻기 위하여, 영상 획득부는 해상도 높은 마커용 이미지를 얻는 경우, 촬영버튼을 누르면 초기 일정 시간동안 1장 이상 이미지가 자동으로 촬영되고, 촬영버튼을 누르고 있는 동안은 동영상이 자동으로 촬영되며, 손을 떼면 동영상 촬영이 종료되거나,
촬영버튼에서 손을 떼기 전 일정 시간동안 자동으로 복수의 마커용 이미지를 촬영하여 얻어진 다수의 이미지중 사용자가 원하는 이미지를 선택할 수 있는 것을 특징으로 하는 증강현실 컨텐츠 생성 및 재생 방법.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150056020A KR101613438B1 (ko) | 2015-04-21 | 2015-04-21 | 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법 |
US15/324,801 US9959681B2 (en) | 2014-07-09 | 2015-07-09 | Augmented reality contents generation and play system and method using the same |
CN201580037587.6A CN106664465B (zh) | 2014-07-09 | 2015-07-09 | 用于创建和再现增强现实内容的系统以及使用其的方法 |
PCT/KR2015/007126 WO2016006946A1 (ko) | 2014-07-09 | 2015-07-09 | 증강현실 컨텐츠의 생성 및 재생 시스템과 이를 이용한 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150056020A KR101613438B1 (ko) | 2015-04-21 | 2015-04-21 | 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101613438B1 true KR101613438B1 (ko) | 2016-04-19 |
Family
ID=55917144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150056020A KR101613438B1 (ko) | 2014-07-09 | 2015-04-21 | 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101613438B1 (ko) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101891597B1 (ko) * | 2017-05-04 | 2018-10-04 | (주)필링크 | 얼굴 인식 기반의 가상객체 합성 방법 및 이를 위한 장치 |
KR20190056759A (ko) * | 2017-11-17 | 2019-05-27 | 고려대학교 산학협력단 | 가상현실 기반의 낙상 사고 예방용 환자 교육 장치 및 방법 |
WO2019117494A1 (ko) * | 2017-12-15 | 2019-06-20 | 코디소프트 주식회사 | 콘텐츠 제공장치 및 방법 |
KR102237940B1 (ko) * | 2019-11-20 | 2021-04-08 | 한국과학기술원 | 동영상이 연계된 ar 사진 제작 및 상영 시스템 |
KR20240074499A (ko) | 2022-11-21 | 2024-05-28 | 가온그룹 주식회사 | Xr 디바이스의 시점 기반 콘텐츠 재생 보정 방법 |
-
2015
- 2015-04-21 KR KR1020150056020A patent/KR101613438B1/ko active IP Right Grant
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101891597B1 (ko) * | 2017-05-04 | 2018-10-04 | (주)필링크 | 얼굴 인식 기반의 가상객체 합성 방법 및 이를 위한 장치 |
KR20190056759A (ko) * | 2017-11-17 | 2019-05-27 | 고려대학교 산학협력단 | 가상현실 기반의 낙상 사고 예방용 환자 교육 장치 및 방법 |
KR102001012B1 (ko) | 2017-11-17 | 2019-10-01 | 고려대학교산학협력단 | 가상현실 기반의 낙상 사고 예방용 환자 교육 장치 및 방법 |
WO2019117494A1 (ko) * | 2017-12-15 | 2019-06-20 | 코디소프트 주식회사 | 콘텐츠 제공장치 및 방법 |
KR102237940B1 (ko) * | 2019-11-20 | 2021-04-08 | 한국과학기술원 | 동영상이 연계된 ar 사진 제작 및 상영 시스템 |
KR20240074499A (ko) | 2022-11-21 | 2024-05-28 | 가온그룹 주식회사 | Xr 디바이스의 시점 기반 콘텐츠 재생 보정 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106664465B (zh) | 用于创建和再现增强现实内容的系统以及使用其的方法 | |
KR101613438B1 (ko) | 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법 | |
CN101325658B (zh) | 成像设备和成像方法 | |
US8780229B2 (en) | Image photographing apparatus and method of controlling the same | |
JP3863327B2 (ja) | 構図アドバイス機能付きディジタル・スチル・カメラおよびその動作制御方法 | |
EP3236650A1 (en) | Method and device for controlling a camera | |
US8767093B2 (en) | Image-capturing device, image reproduction device, and image reproduction method | |
CN103248818A (zh) | 图像撷取方法与相关图像撷取系统 | |
CN106937051A (zh) | 成像设备、成像方法和程序 | |
CN102469261A (zh) | 成像设备,成像显示控制方法和程序 | |
JP2009094867A (ja) | 情報処理装置、遠隔指示システム及び制御プログラム | |
JP2007310813A (ja) | 画像検索装置およびカメラ | |
KR20120119794A (ko) | 특수 효과들을 사용한 촬영 방법 및 장치 | |
US20190098250A1 (en) | Information processing apparatus, imaging apparatus, information processing method, and recording medium | |
JP2013007836A (ja) | 画像表示装置、画像表示方法及びプログラム | |
KR101518696B1 (ko) | 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법 | |
JP3649468B2 (ja) | 撮影機能付き電子アルバムシステム | |
JP2009187387A (ja) | 画像処理装置、画像データ通信システム及び画像処理プログラム | |
JP2000299838A (ja) | ディジタル・スチル・カメラおよびその制御方法 | |
JP2011217275A (ja) | 電子機器 | |
US8941770B2 (en) | Method and apparatus for displaying successively captured images | |
JP4632417B2 (ja) | 撮像装置、及びその制御方法 | |
US12010433B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP5366522B2 (ja) | 画像表示装置及び画像表示装置を有するデジタルカメラ | |
US10440218B2 (en) | Image processing apparatus, control method for image processing apparatus, and non-transitory computer-readable recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190403 Year of fee payment: 4 |