KR20120099814A

KR20120099814A - 증강현실 컨텐츠 서비스 시스템과 장치 및 그 방법

Info

Publication number: KR20120099814A
Application number: KR1020110008119A
Authority: KR
Inventors: 오지현; 최연철; 이상민; 박흥식; 임익환; 임종혁
Original assignee: 리얼타임비쥬얼(주)
Priority date: 2011-01-27
Filing date: 2011-01-27
Publication date: 2012-09-12

Abstract

본 발명은 증강현실 컨텐츠 서비스 시스템과, 상기 증강현실 컨텐츠 서비스 시스템을 위한 인식 DB 생성 장치, AR 컨텐츠 생성 장치, AR 컨텐츠 재생 장치 및 그 방법에 관한 것으로, 사용자들이 원하는 인식 매체에 대한 인식 정보를 생성하여 인식 데이터베이스에 저장하고, 인식 데이터베이스에 저장된 인식 정보를 이용하여 다양한 컨텐츠와 시나리오로 증강현실(AR) 컨텐츠를 구성하여 증강현실 컨텐츠 데이터베이스에 저장함으로써, 증강현실 컨텐츠 데이터베이스에서 관리되고 있는 증강현실 컨텐츠를 전달받아 AR 컨텐츠 재생 장치를 통해 재생하기 위한, 증강현실 컨텐츠 서비스 시스템과, 상기 증강현실 컨텐츠 서비스 시스템을 위한 인식 DB 생성 장치, AR 컨텐츠 생성 장치, AR 컨텐츠 재생 장치 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명의 증강현실 컨텐츠 서비스 시스템은, 인식 매체에 대한 인식 정보를 생성하여 인식 데이터베이스에 저장하기 위한 인식 DB 생성 장치; 상기 인식 데이터베이스에 저장된 인식 정보를 이용하여 다양한 컨텐츠와 시나리오로 증강현실(AR) 컨텐츠를 생성하여 증강현실 컨텐츠 데이터베이스에 저장하기 위한 증강현실 컨텐츠 생성 장치; 및 상기 증강현실 컨텐츠 데이터베이스에서 관리되고 있는 증강현실 컨텐츠를 전달받아 재생하기 위한 증강현실 컨텐츠 재생 장치를 포함한다.

Description

증강현실 컨텐츠 서비스 시스템과 장치 및 그 방법{Augmented Reality Contents Service System and Apparatus and Method}

본 발명은 증강현실 컨텐츠 서비스 기술에 관한 것으로, 더욱 상세하게는 사용자들이 원하는 인식 매체에 대한 인식 정보를 생성하여 인식 데이터베이스에 저장하고, 인식 데이터베이스에 저장된 인식 정보를 이용하여 다양한 컨텐츠와 시나리오로 증강현실(AR) 컨텐츠를 구성하여 증강현실 컨텐츠 데이터베이스에 저장함으로써, 증강현실 컨텐츠 데이터베이스에서 관리되고 있는 증강현실 컨텐츠를 전달받아 AR 컨텐츠 재생 장치를 통해 재생하기 위한, 증강현실 컨텐츠 서비스 시스템과, 상기 증강현실 컨텐츠 서비스 시스템을 위한 인식 DB 생성 장치, AR 컨텐츠 생성 장치, AR 컨텐츠 재생 장치 및 그 방법에 관한 것이다.

먼저, 이미지 기반 증강현실(AR) 기술이란 실세계에 존재하는 매체를 이용하여 카메라와 그 매체 사이의 위치와 자세 정보를 계산하여 멀티미디어를 포함하는 부가 정보를 보여주는 기술을 말한다.

그리고 증강현실 컨텐츠 서비스 시스템을 구현하기 위해서는 실세계에 존재하는 매체를 인식하고 위치와 자세를 트래킹(Tracking, 추적)하기 위한 기술이 필요하다. 여기서, 인식 및 트래킹을 수행하기 위해서는 실세계에 존재하는 인식 대상 매체가 필요하다. 기존에는 인식 대상물로 흑백(Black & White)으로 구성된 네모난 테두리를 가지는 마커 또는 내츄럴 이미지(Natural Image)를 사용하였다.

흑백(Black & White)으로 구성된 마커를 인식하는 방식에서는 입력 이미지의 이진화를 통해 테두리를 검출하여 입력 이미지 내의 해당 영역을 찾은 후 테두리 내부의 이미지를 데이터베이스(DB)에 저장하고 있는 마커 이미지들과 비교하여 인식을 수행하였다. 이때, 해당 영역의 네 코너 점을 이용하여 트래킹을 수행하였다.

내츄럴 이미지(Natural Image)를 사용하는 방식에서는 사진 또는 그림 등과 같이 일정한 패턴이 없는 이미지에서 특징점을 추출하여 인식 및 트래킹을 수행하였다. 이때, 내츄럴 이미지를 사용하는 방식에서는 인식을 위한 이미지 매체의 특징점 정보를 생성하여 데이터베이스(DB)에 미리 저장해 놓은 후, 입력 이미지에서 특징점을 추출하여 데이터베이스(DB)의 내용과 매칭하여 이미지 인식 및 트래킹을 수행하였다.

상기와 같은 종래의 방법들은 모두 개발자(사용자가 아님)가 미리 인식을 수행하고자 하는 이미지의 데이터베이스(DB)를 구축하여 해당하는 이미지에 대해서만 인식과 트래킹을 수행하여 증강현실 컨텐츠 서비스 시스템을 구현하였다.

따라서 상기와 같은 종래 기술은 증강현실 대상 이미지들에 대한 데이터베이스(DB) 구축이나 컨텐츠 구성 및 사용자(개발자가 아님)들의 활용 측면에서 온라인 서버를 통한 다중 작업/형상관리/공유의 용이성 등을 제공하지 못하는 문제점이 있으며, 이러한 문제점을 해결하고자 하는 것이 본 발명의 과제이다.

따라서 본 발명은 사용자 누구나 손쉽게 증강현실 서비스를 위한 인식 대상을 생성하고 가상의 증강현실(AR) 컨텐츠를 생성할 수 있을 뿐만 아니라 이렇게 생성된 증강현실 컨텐츠를 재생할 수 있는, 증강현실 컨텐츠 서비스 시스템과, 상기 증강현실 컨텐츠 서비스 시스템을 위한 인식 DB 생성 장치, AR 컨텐츠 생성 장치, AR 컨텐츠 재생 장치 및 그 방법을 제공하는 데 그 목적이 있다.

즉, 본 발명은 사용자들이 원하는 인식 매체에 대한 인식 정보를 생성하여 인식 데이터베이스에 저장하고, 인식 데이터베이스에 저장된 인식 정보를 이용하여 다양한 컨텐츠와 시나리오로 증강현실(AR) 컨텐츠를 구성하여 증강현실 컨텐츠 데이터베이스에 저장함으로써, 증강현실 컨텐츠 데이터베이스에서 관리되고 있는 증강현실 컨텐츠를 전달받아 AR 컨텐츠 재생 장치를 통해 재생하기 위한, 증강현실 컨텐츠 서비스 시스템과, 상기 증강현실 컨텐츠 서비스 시스템을 위한 인식 DB 생성 장치, AR 컨텐츠 생성 장치, AR 컨텐츠 재생 장치 및 그 방법을 제공하는 데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시 예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명의 증강현실 컨텐츠 서비스 시스템은, 인식 매체에 대한 인식 정보를 생성하여 인식 데이터베이스에 저장하기 위한 인식 DB 생성 장치; 상기 인식 데이터베이스에 저장된 인식 정보를 이용하여 다양한 컨텐츠와 시나리오로 증강현실(AR) 컨텐츠를 생성하여 증강현실 컨텐츠 데이터베이스에 저장하기 위한 증강현실 컨텐츠 생성 장치; 및 상기 증강현실 컨텐츠 데이터베이스에서 관리되고 있는 증강현실 컨텐츠를 전달받아 재생하기 위한 증강현실 컨텐츠 재생 장치를 포함한다.

또한, 상기 증강현실 컨텐츠 서비스 시스템은, 상기 인식 DB 생성 장치에서 생성된 인식 정보를 전달받아 저장하기 위한 상기 인식 데이터베이스와 상기 증강현실 컨텐츠 생성 장치에서 생성된 증강현실(AR) 컨텐츠를 전달받아 저장하기 위한 상기 증강현실 컨텐츠 데이터베이스를 구비하는 데이터 서버를 더 포함한다.

한편, 상기 목적을 달성하기 위한 본 발명의 증강현실 컨텐츠 서비스 방법은, 인식 DB 생성 장치가 사용자가 원하는 인식 매체에 대한 인식 정보를 생성하여 인식 데이터베이스에 저장하는 인식 정보 생성 단계; 증강현실 컨텐츠 생성 장치가 상기 인식 데이터베이스에 저장된 인식 정보를 이용하여 증강현실(AR) 컨텐츠를 생성하여 증강현실 컨텐츠 데이터베이스에 저장하는 증강현실 컨텐츠 생성 단계; 및 증강현실 컨텐츠 재생 장치가 상기 증강현실 컨텐츠 데이터베이스에서 관리되고 있는 증강현실 컨텐츠 정보와 상기 인식 데이터베이스의 인식 정보를 전달받아 상기 전달받은 인식 정보를 이용하여 상기 전달받은 증강현실 컨텐츠를 재생하는 증강현실 컨텐츠 재생 단계를 포함한다.

한편, 상기 목적을 달성하기 위한 본 발명의 인식 DB 생성 장치는, 인식 매체 영상을 획득하기 위한 영상 획득부; 상기 영상 획득부에서 획득된 인식 매체 영상에 인식 매체 영역을 설정하기 위한 영역 설정부; 상기 영역 설정부에서 설정된 인식 매체 영역에 대해서 특징점을 추출하여 복수의 형태로 변환하기 위한 특징점 처리부; 상기 특징점 처리부에서 변환된 복수의 특징점에 대하여 학습 데이터를 생성하기 위한 학습 데이터 생성부; 및 상기 학습 데이터 생성부에서 생성된 학습 데이터를 포함하는 인식 정보를 서버 측으로 전송하여 인식 데이터베이스에 저장되도록 하기 위한 전송부를 포함한다.

또한, 상기 인식 DB 생성 장치는, 상기 인식 정보(즉, 인식 데이터베이스 생성 결과)를 실행하여 실행 결과를 확인할 수 있도록 하기 위한 미리보기 수행부를 더 포함한다.

한편, 상기 목적을 달성하기 위한 본 발명의 인식 DB 생성 방법은, 인식 프로젝트를 생성하여 쉬트(Sheet)를 추가하는 단계; 사용자가 원하는 인식 매체를 촬영하여 인식 매체 영상을 획득하는 단계; 상기 획득된 인식 매체 영상에 인식 매체 영역을 설정하는 단계; 상기 설정된 인식 매체 영역에 대해서 특징점을 추출하여 복수의 형태로 변환하는 특징점 처리 단계; 상기 변환된 복수의 특징점에 대하여 학습을 수행하여 학습 데이터를 생성하는 학습 데이터 생성 단계; 및 상기 생성된 학습 데이터를 포함하는 인식 정보를 서버 측으로 전송하여 인식 데이터베이스에 저장되도록 하는 단계를 포함한다.

또한, 인식 DB 생성 방법은, 상기 인식 정보(즉, 인식 데이터베이스 생성 결과)를 실행하여 실행 결과를 확인할 수 있도록 하는 단계를 더 포함한다.

한편, 상기 목적을 달성하기 위한 본 발명의 증강현실(AR) 컨텐츠 생성 장치는, 인식 데이터베이스(DB)의 인식 정보를 전달받아 표시하기 위한 인식 정보 설정부; 컨텐츠를 등록하기 위한 컨텐츠 등록 수단; 컨텐츠 목록에서 원하는 컨텐츠를 선택하여 삽입하기 위한 컨텐츠 삽입부; 상기 컨텐츠 삽입부에서 삽입된 컨텐츠를 시나리오에 삽입하여 시나리오를 작성하기 위한 시나리오 작성부; 및 상기 시나리오 작성부에서 작성된 시나리오의 작성 정보를 포함하는 증강현실 컨텐츠를 서버 측으로 전송하여 증강현실 컨텐츠 데이터베이스에 저장되도록 하기 위한 전송부를 포함한다.

또한, 상기 증강현실(AR) 컨텐츠 생성 장치는, 액션 목록에서 원하는 액션을 선택하여 삽입하기 위한 액션 삽입부; 및 터치 센서를 삽입하기 위한 센서 삽입부를 더 포함한다.

또한, 상기 증강현실(AR) 컨텐츠 생성 장치는, 상기 증강현실 컨텐츠(즉, 증강현실 컨텐츠 생성 결과)를 실행하여 실행 결과를 확인할 수 있도록 하기 위한 미리보기 수행부를 더 포함한다.

한편, 상기 목적을 달성하기 위한 본 발명의 증강현실(AR) 컨텐츠 생성 방법은, 증강현실 컨텐츠 프로젝트를 생성하고 인식 데이터베이스를 선택하는 단계; 상기 선택된 인식 데이터베이스의 인식 정보를 전달받아 표시하는 단계; 컨텐츠를 등록하는 단계; 컨텐츠 목록에서 원하는 컨텐츠를 선택하여 삽입하는 단계; 상기 삽입된 컨텐츠를 시나리오에 삽입 및 설정하여 시나리오를 작성하는 시나리오 작성 단계; 및 상기 작성된 시나리오의 작성 정보를 포함하는 증강현실 컨텐츠를 서버 측으로 전송하여 증강현실 컨텐츠 데이터베이스에 저장되도록 하는 단계를 포함한다.

또한, 상기 증강현실(AR) 컨텐츠 생성 방법은, 액션 목록에서 원하는 액션을 선택하여 삽입하는 단계; 및 터치 센서를 삽입하는 터치 센서 삽입 단계를 더 포함한다.

또한, 상기 증강현실(AR) 컨텐츠 생성 방법은, 상기 증강현실 컨텐츠(즉, 증강현실 컨텐츠 생성 결과)를 실행하여 실행 결과를 확인할 수 있도록 하는 단계를 더 포함한다.

한편, 상기 목적을 달성하기 위한 본 발명의 증강현실 컨텐츠 재생 장치는, 증강현실 컨텐츠의 구성 정보와 인식 정보를 증강현실 컨텐츠 데이터베이스와 인식 데이터베이스로부터 전달받아 설정하기 위한 증강현실 컨텐츠 구성 정보 및 인식 정보 설정부; 영상을 입력받기 위한 영상 입력부; 상기 영상 입력부로부터의 입력 영상에 대하여 특징점을 추출하여 상기 설정된 인식 정보 중 학습 데이터와의 매칭을 수행하기 위한 특징점 처리부; 상기 특징점 처리부에서 수행된 매칭 결과를 바탕으로 인식 매체를 인식하여 인식 결과를 획득하기 위한 인식 결과 획득부; 상기 인식 결과 획득부에서 인식된 인식 매체와 카메라 사이의 위치 및 자세 매트릭스를 계산하기 위한 위치 및 자세 매트릭스 계산부; 및 상기 위치 및 자세 매트릭스 계산부에서 계산된 위치 및 자세 매트릭스를 상기 인식 결과 획득부에서 인식된 인식 매체에 상응하는 증강현실 컨텐츠 및 시나리오에 적용하여 재생하기 위한 컨텐츠 재생부를 포함한다.

또한, 상기 증강현실 컨텐츠 재생 장치는, 시나리오가 진행될 때 터치 센서 영역 내에서의 터치 동작을 인식하여 해당 시나리오를 진행하도록 상기 컨텐츠 재생부로 통보하기 위한 터치 센서 동작부를 더 포함한다.

한편, 상기 목적을 달성하기 위한 본 발명의 증강현실 컨텐츠 재생 방법은, 증강현실 컨텐츠를 증강현실 컨텐츠 데이터베이스로부터 검색하여 선택받는 단계; 상기 선택된 증강현실 컨텐츠의 구성 정보를 상기 증강현실 컨텐츠 데이터베이스로부터 전달받아 설정하고, 상기 선택된 증강현실 컨텐츠와 상응하는 인식 정보를 인식 데이터베이스로부터 전달받아 설정하는 단계; 영상을 입력받는 단계; 상기 입력된 영상에 대하여 특징점을 추출하여 상기 설정된 인식 정보 중 학습 데이터와의 매칭을 수행하는 특징점 처리 단계; 상기 수행된 매칭 결과를 바탕으로 인식 매체를 인식하여 인식 결과를 획득하는 단계; 상기 인식된 인식 매체와 카메라 사이의 위치 및 자세 매트릭스를 계산하는 단계; 및 상기 계산된 위치 및 자세 매트릭스를 상기 인식된 인식 매체에 상응하는 증강현실 컨텐츠 및 시나리오에 적용하여 재생하는 컨텐츠 재생 단계를 포함한다.

또한, 상기 증강현실 컨텐츠 재생 방법은, 시나리오가 진행될 때 터치 센서 영역 내에서의 터치 동작을 인식하여 해당 시나리오를 진행하도록 상기 컨텐츠 재생 단계로 통보하는 터치 센서 동작 단계를 더 포함한다.

이처럼, 본 발명에서는 증강현실 컨텐츠 서비스 시스템을 위한 인식 데이터베이스(DB)의 구축에 있어서 내츄럴 이미지(Natural Image)를 사용하지만, 사용자가 원하는 이미지를 이용하여 직접 인식 데이터베이스(DB)를 구성할 수 있는 인식 DB 생성 장치와 AR 컨텐츠를 생성할 수 있는 AR 컨텐츠 생성 장치를 제공한다. 이때, 인식 DB 생성 장치에 의한 인식 데이터베이스(DB)는 일예로 온라인 서버상에 구축되며, 공개 여부에 따라 인식 데이터베이스(DB) 상의 공통의 이미지에 대해 서로 다른 AR 컨텐츠를 AR 컨텐츠 생성 장치를 이용하여 다양하게 재생산할 수 있다. 그에 따라, 사용자들은 동일한 이미지에 대해서 자신이 원하는 증강현실용 컨텐츠를 선택적으로 경험할 수 있다.

상기와 같은 본 발명은, 증강현실 컨텐츠 서비스 시스템을 구현할 수 있는 플랫폼인 인식 DB 생성 장치, AR 컨텐츠 생성 장치, 및 AR 컨텐츠 재생 장치를 제공하고, 서버 측에서 인식 데이터베이스와 AR 컨텐츠 데이터베이스를 관리함으로써, 다양한 분야에서 사용자들이 증강현실 컨텐츠 서비스 시스템을 손쉽게 제작하고 활용할 수 있도록 하는 효과가 있다.

또한, 본 발명에 따르면, 사용자들은 동일한 이미지에 대해서 자신이 원하는 증강현실용 컨텐츠를 선택적으로 경험할 수 있는 효과가 있다.

즉, 본 발명에 따르면, 사용자들은 인식 매체(책, 카드, TV 영상 등)의 형태나 종류에 관계없이 사전에 인식 데이터베이스(DB)로 구축된 대상 영상이 실시간으로 카메라에 입력되면 3차원(3D) 가상 모델이나 동영상 등과 같은 멀티미디어를 증강현실 형태로 올릴 수 있다. 따라서 본 발명에 따른 증강현실 컨텐츠 서비스 시스템 플랫폼을 이용하면 개인이나 기업 등은 다양한 인식 매체에 자신이 가지고 있는 물리적인 매체(3차원 가상 모델이나 동영상 등)를 결합하여 증강현실 컨텐츠 서비스의 형태로 확장할 수 있다.

도 1은 본 발명에 따른 증강현실 컨텐츠 서비스 시스템의 일실시예 구성도,
도 2는 본 발명에 따른 증강현실 컨텐츠 서비스 시스템의 동작을 설명하기 위한 도면,
도 3은 본 발명에 따른 인식 DB 생성 장치의 일실시예 구성도,
도 4는 본 발명에 따른 인식 DB 생성 방법에 대한 일실시예 흐름도,
도 5는 본 발명에 따른 특징점에 대한 학습 데이터 생성 과정에 대한 일실시예 상세 흐름도,
도 6은 본 발명에 따른 증강현실(AR) 컨텐츠 생성 장치의 일실시예 구성도,
도 7은 본 발명에 따른 증강현실(AR) 컨텐츠 생성 방법에 대한 일실시예 흐름도,
도 8은 본 발명에 따른 터치 센서 삽입 및 그 속성 설정 과정에 대한 일실시예 흐름도,
도 9는 본 발명에 따른 증강현실(AR) 컨텐츠 재생 장치의 일실시예 구성도,
도 10은 본 발명에 따른 증강현실(AR) 컨텐츠 재생 방법에 대한 일실시예 흐름도,
도 11은 본 발명에 따른 터치 센서의 동작 과정에 대한 일실시예 상세 흐름도,
도 12는 본 발명에 따른 서버 측의 구성 및 동작을 설명하기 위한 도면이다.

상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.

그리고 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때 이는 "직접적으로 연결"되어 있는 경우뿐만 아니라 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함" 또는 "구비"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함하거나 구비할 수 있는 것을 의미한다.

도 1은 본 발명에 따른 증강현실 컨텐츠 서비스 시스템의 일실시예 구성도이고, 도 2는 본 발명에 따른 증강현실 컨텐츠 서비스 시스템의 동작을 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 본 발명에 따른 증강현실 컨텐츠 서비스 시스템은, 인식 매체에 대한 인식 정보를 생성하여 서버 측의 인식 데이터베이스에 저장하기 위한 인식 DB 생성 장치(11), 상기 인식 데이터베이스에 저장된 인식 정보를 이용하여 다양한 컨텐츠와 시나리오로 증강현실(AR) 컨텐츠를 생성하여 서버 측의 증강현실 컨텐츠 데이터베이스에 저장하기 위한 AR 컨텐츠 생성 장치(12) 및 상기 증강현실 컨텐츠 데이터베이스에서 관리되고 있는 증강현실 컨텐츠를 전달(다운로드 또는 스트리밍 등)받아 재생하기 위한 AR 컨텐츠 재생 장치(13)를 클라이언트 측에 포함한다.

그리고 본 발명에 따른 증강현실 컨텐츠 서비스 시스템을 지원하기 위하여, 서버 측에는 인식 DB 생성 장치(11)에서 생성된 인식 정보를 전달받아 저장하기 위한 인식 데이터베이스와 AR 컨텐츠 생성 장치(12)에서 생성된 증강현실(AR) 컨텐츠를 전달받아 저장하기 위한 증강현실 컨텐츠 데이터베이스를 포함하는 데이터 서버(14), 웹 및 응용 프로그램용의 웹/응용 서버(15) 및 멀티미디어 컨텐츠를 스트리밍하기 위한 스트리링 서버(16)를 구비한다. 이때, 데이터 서버(14)는 단일 컨텐츠를 저장하기 위한 단일 컨텐츠 데이터베이스를 더 포함할 수도 있다.

다음으로, 도 2를 참조하여 본 발명에 따른 증강현실 컨텐츠 서비스 시스템의 동작을 살펴보면, 다음과 같다.

먼저, 클라이언트 측의 인식 DB 생성 장치(11)가 사용자가 원하는 인식 매체에 대한 인식 정보를 생성하여 서버 측의 데이터 서버(14)의 해당 인식 데이터베이스에 저장한다(21).

그리고 클라이언트 측의 AR 컨텐츠 생성 장치(12)는 서버 측의 데이터 서버(14)의 인식 데이터베이스에 저장된 인식 정보를 이용하거나 부가적으로 서버 측의 데이터 서버(14)의 단일 컨텐츠 데이터베이스에 저장된 단일 컨텐츠와 사용자 자신이 직접 촬영한 정지영상 또는 동영상 컨텐츠와 3차원(3D) 가상 모델 등을 더 이용하여 다양한 컨텐츠와 시나리오로 증강현실(AR) 컨텐츠를 생성하여 서버 측의 데이터 서버(14)의 해당 증강현실 컨텐츠 데이터베이스에 저장한다(22).

그리고 클라이언트 측의 AR 컨텐츠 재생 장치(13)는 검색 정보를 이용하여 상기 증강현실 컨텐츠 데이터베이스에서 관리되고 있는 증강현실 컨텐츠 정보와 상기 인식 데이터베이스의 인식 정보를 다운로드(전달)받아 상기 다운로드받은 인식 정보를 이용하여 상기 다운로드받은 증강현실 컨텐츠를 재생한다(23).

이하, 도 3 내지 도 11을 참조하여 인식 DB 생성 장치(11), AR 컨텐츠 생성 장치(12), 및 AR 컨텐츠 재생 장치(13)의 구성 및 동작에 대하여 상세히 설명하기로 한다.

도 3은 본 발명에 따른 인식 DB 생성 장치(11)의 일실시예 구성도이다.

도 3에 도시된 바와 같이, 본 발명에 따른 인식 DB 생성 장치(11)는, 사용자가 원하는 인식 매체를 촬영하여 인식 매체 영상을 획득하기 위한 영상 획득부(31), 상기 영상 획득부(31)에서 획득된 인식 매체 영상에 인식 매체 영역을 설정하기 위한 영역 설정부(32), 상기 영상 획득부(31)에서 획득된 인식 매체 영상을 그레이 영상으로 변환한 후 상기 영역 설정부(32)에서 설정된 인식 매체 영역에 대해서 특징점을 추출하기 위한 특징점 추출부(33), 상기 특징점 추출부(33)에서 추출된 특징점을 복수의 형태로 변환하기 위한 특징점 변환부(34), 상기 특징점 변환부(34)에서 변환된 복수의 특징점에 대하여 학습 데이터를 생성하기 위한 학습부(즉, 학습 데이터 생성부)(35), 및 상기 생성된 학습 데이터, 상기 획득된 인식 매체 영상, 상기 추출된 특징점을 표시한 이미지, 인식 프로젝트에 대한 사용자 입력 정보 등과 같은 인식 정보를 서버 측으로 전송하여 데이터 서버(14)의 인식 데이터베이스에 저장되도록 하기 위한 전송부(36)를 포함한다.

여기서, 상기 인식 DB 생성 장치(11)는, 상기 생성된 학습 데이터, 상기 획득된 인식 매체 영상, 상기 추출된 특징점을 표시한 이미지, 상기 인식 프로젝트에 대한 사용자 입력 정보 등과 같은 인식 정보(즉, 인식 데이터베이스 생성 결과)를 실행하여 실행 결과를 확인할 수 있도록 하기 위한 미리보기 수행부(37)를 더 포함한다.

그리고 상기 특징점 추출부(33)와 특징점 변환부(34)를 포함하여 제 1 특징점 처리부라 할 수 있다.

상기 각 구성 요소에 대한 구체적인 실시예 및 그 구체적인 동작을 도 4 및 도 5를 참조하여 상세히 설명하면 다음과 같다.

도 4는 본 발명에 따른 인식 DB 생성 방법에 대한 일실시예 흐름도이다.

먼저, 인식 DB 생성 장치(14)가 새로운 인식 프로젝트를 생성(파일명 등의 폼을 생성)한 후에(41) 상기 생성된 새로운 인식 프로젝트에 쉬트(예 : 슬라이드)를 추가하여(42) 사용자가 원하는 인식 매체를 등록할 수 있도록 한다. 여기서, 인식 매체로는 글자, 그림, 카드와 같은 2차원(2D) 인쇄물과 3차원(3D)의 형태를 가지는 물체의 텍스처를 2차원(2D0 영상으로 인식하여 인식 대상물로 사용할 수 있다.

이후, 영상 획득부(31)에서는 사용자가 원하는 인식 매체(인식 대상)를 웹 카메라 등으로 촬영하여 인식 매체 영상을 획득한다(43).

이때, 상기 획득된 인식 매체 영상에는 배경 및 기타 불필요한 매체 정보가 들어있기 때문에 영역 설정부(32)에서는 해당 인식 매체 영역을 설정한다(44). 이처럼, 영역 설정부(32)에서 인식 매체 영상에 사용자가 원하는 인식 매체 영역을 설정하면, 이후에 해당 인식 매체 영역의 이미지만을 분리하여 저장함으로써, 슬라이드의 대표 이미지로 설정할 수 있도록 한다. 그리고 일반 사용자들의 경우 원하는 인식 매체의 원본 이미지 파일이 없는 경우가 대다수이기 때문에 인식 매체를 스캔하거나 원본 이미지 파일을 찾아야 하는 번거로움을 덜어준다.

이후, 특징점 추출부(33)에서는 상기 획득된 인식 매체 영상을 그레이 영상으로 변환한 후(45) 상기 설정된 인식 매체 영역에 대해서 특징점을 추출한다(46). 여기서, 특징점 추출 방식은 기존에 이미 공지되어 있는 다양한 방법들 중 어느 하나의 방식을 사용하면 된다. 본 발명에서는 일예로 패스트(FAST) 특징점 추출 방법을 사용하여 가장 특징적인 점들을 빠르게 추출한다.

이후, 특징점 변환부(34)에서는 상기 추출된 특징점을 복수의 형태로 변환한다(47). 즉, 특징점 변환부(34)에서는 상기 추출된 특징점을 중심으로 하는 이미지 영역을 구성하고, 이를 예를 들어 랜덤 어파인 트랜스폼(Random Affine Transform)을 통해 다양한 형태로 변환한다. 여기서, 랜덤 어파인 트랜스폼(Random Affine Transform)은 카메라에서 바라본 특징점의 다양한 포즈(Pose)를 미리 예상하여 추출함으로써, 인식 매체가 카메라에 들어왔을 때 인식 확률을 높일 수 있도록 한다.

이후, 학습부(35)에서는 상기와 같이 하나의 특징점에 대해서 다양한 형태로 변환된 복수의 특징점에 대하여 학습을 수행하여 학습 데이터를 생성한다(48). 즉, 학습부(35)에서는 상기 추출된 특징점의 인식 및 트래킹을 위한 학습 과정을 후술되는 도 5와 같이 수행한다. 이렇게 학습된 데이터는 추후에 AR 컨텐츠 재생 장치(13)에서 인식 및 트래킹을 수행하기 위한 비교 대상으로 사용된다.

이후, 상기 생성된 학습 데이터(각 인식 매체에 대한 특징점 학습 데이터), 상기 획득된 인식 매체 영상, 상기 추출된 특징점을 표시한 이미지, 상기 인식 프로젝트에 대한 사용자 입력 정보 등과 같은 인식 정보(즉, 인식 데이터베이스 생성 결과)를 미리보기 수행부(37)를 통하여 미리보기를 수행하여 확인할 수 있다(49). 이러한 미리보기 과정은 본 발명의 부가 과정으로, AR 컨텐츠 재생 장치(13)에서 실행되는 모습을 미리 확인할 수 있도록 해준다. 이때에는 제공되는 3D 모델이 트래킹된 결과 위에 증강되어 나타나기 때문에 인식 매체의 인식 및 트래킹 수행 결과를 확인할 수 있다.

이후, 전송부(36)에서는 상기 생성된 학습 데이터(각 인식 매체에 대한 특징점 학습 데이터), 상기 획득된 인식 매체 영상, 상기 추출된 특징점을 표시한 이미지, 상기 인식 프로젝트에 대한 사용자 입력 정보 등과 같은 인식 정보를 서버 측으로 전송하여 데이터 서버(14)의 인식 데이터베이스에 저장되도록 한다(50).

한편, 인식 DB 생성 장치(11)는 하나의 인식 프로젝트에 하나의 인식 매체를 포함시키거나 도 4의 반복 과정을 통하여 다수의 인식 매체를 패키지 형식으로 포함시킬 수 있다. 이때, 하나의 인식 프로젝트에 다수의 인식 매체를 포함시킬 경우 대표 인식 매체를 선택하여 설정함으로써, 서버 측의 인식 데이터베이스(DB) 상에서 원하는 인식 대상을 검색할 때 사용되도록 한다. 또한, 하나의 인식 프로젝트에 다수의 인식 매체를 포함하는 인식 데이터베이스(DB)를 사용할 경우 패키지 내의 인식 매체들 사이에서도 인식을 수행하여 각 해당 인식 매체에 구성된 컨텐츠를 증강하여 볼 수 있도록 한다.

도 5는 본 발명에 따른 특징점에 대한 학습 데이터 생성 과정(48)에 대한 일실시예 상세 흐름도이다.

먼저, 랜더마이즈드 포레스트를 구성하고(51) 각 특징점에 대하여 랜덤 어파인 트랜스폼(Random Affine Transform)을 적용하여(52) 그 적용 결과를 상기 구성된 랜더마이즈드 포레스트에 적용하여 각 특징점들에 대한 확률 분포 값을 계산하여(53) 학습 데이터를 생성한다(54).

이처럼, 본 발명에서는 인식 시 빠르고 보다 정확한 인식 결과를 얻기 위해 랜더마이즈드 포레스트를 이용하여 각 특징점들에 대한 확률 분포 값을 계산하여 학습 데이터를 생성한다.

도 6은 본 발명에 따른 증강현실(AR) 컨텐츠 생성 장치(12)의 일실시예 구성도이다.

도 6에 도시된 바와 같이, 본 발명에 따른 증강현실 컨텐츠 생성 장치(12)는, 사용자로부터 선택받은 인식 데이터베이스(DB)의 인식 정보를 다운로드받아 표시하기 위한 인식 정보 설정부(61), 기 생성된 컨텐츠를 등록하기 위한 컨텐츠 등록부(62), 컨텐츠를 생성하여 등록하기 위한 컨텐츠 생성부(63), 컨텐츠 목록에서 원하는 컨텐츠를 선택하여 해당 슬라이드에 삽입하기 위한 컨텐츠 삽입부(64), 액션 목록에서 원하는 액션을 선택하여 해당 슬라이드에 삽입하기 위한 액션 삽입부(65), 터치 센서를 해당 슬라이드에 삽입하기 위한 센서 삽입부(66), 상기 해당 슬라이드에 삽입된 컨텐츠, 액션, 및 터치 센서를 빌딩 블럭(Building Block) 형태로 시나리오에 삽입하기 위한 BB(Building Block) 삽입부(67), 상기 삽입된 빌딩 블럭(Building Block)을 자유롭게 배치하고 빌딩 블럭(Building Block) 간의 연결을 지정하여 사용자가 원하는 시나리오를 작성하기 위한 BB 설정부(68), 및 상기 인식 데이터베이스(DB)에 대한 정보, 상기 해당 슬라이드에 삽입된 컨텐츠, 액션, 센서에 대한 정보 및 시나리오 작성 정보와 함께 상기 AR 컨텐츠 프로젝트에 대한 사용자 입력 정보 등과 같은 AR 컨텐츠를 서버 측으로 전송하여 데이터 서버(14)의 AR 컨텐츠 데이터베이스에 저장되도록 하기 위한 전송부(70)를 포함한다.

여기서, 상기 증강현실 컨텐츠 생성 장치(12)는, 상기 인식 데이터베이스(DB)에 대한 정보, 상기 해당 슬라이드에 삽입된 컨텐츠, 액션, 센서에 대한 정보 및 시나리오 작성 정보와 함께 상기 AR 컨텐츠 프로젝트에 대한 사용자 입력 정보 등과 같은 AR 컨텐츠(즉, AR 컨텐츠 생성 결과)를 실행하여 실행 결과를 확인할 수 있도록 하기 위한 미리보기 수행부(69)를 더 포함한다.

그리고 상기 BB 삽입부(67)와 BB 설정부(68)를 포함하여 시나리오 작성부라 할 수 있다. 그리고 본 발명에서는 액션 삽입부(65)와 센서 삽입부(66) 및 그에 따른 처리 과정을 부가 요소로 하여 구현할 수도 있다.

상기 각 구성 요소에 대한 구체적인 실시예 및 그 구체적인 동작을 도 7 및 도 8을 참조하여 상세히 설명하면 다음과 같다.

도 7은 본 발명에 따른 증강현실(AR) 컨텐츠 생성 방법에 대한 일실시예 흐름도로서, 인식 DB 생성 장치(11)의 인식 DB 생성 결과(인식 정보)를 기반으로 AR 컨텐츠를 생성하는 방법을 나타내고 있다.

도 7에 도시된 바와 같이, 새로운 AR 컨텐츠 프로젝트가 생성되고 인식 데이터베이스(DB)가 선택되면 해당 인식 데이터베이스(DB)의 인식 정보 중 이미지 정보가 슬라이드에 표시되고, 사용자는 선택된 슬라이드에 컨텐츠를 삽입 및 배치하여 시나리오를 구성(작성)할 수 있다. 이때, 컨텐츠의 종류로는 애니메이션이 포함된 3차원(3D) 모델, 2차원(2D) 이미지, 동영상, 음성, 파티클 등이 있으며, 삽입된 컨텐츠에 시나리오를 적용하기 위한 각종 액션 블록들이 제공된다. 이러한 액션 블록은 컨텐츠의 이동, 크기 변화, 실행, 중지 등의 제어를 비롯하여 수학적 연산이나 로직 구성을 위한 단위 기능들을 수행한다. 또한, 터치 센서를 원하는 위치에 배치하면 사용자의 손으로 터치 센서 영역을 터치하였을 경우 사용자 인터렉션에 의한 시나리오를 구성할 수 있다. 터치 센서 기능은 키보드나 마우스와 같은 인터렉션 도구가 없이도 사용자의 손을 이용하여 가상 컨텐츠와의 인터렉션을 가능하게 해준다. 이러한 과정을 도 7을 참조하여 좀 더 상세히 살펴보면 다음과 같다.

먼저, AR 컨텐츠 생성 장치(12)는 새로운 AR 컨텐츠 프로젝트를 생성하고(71), 서버 측의 다수의 인식 데이터베이스 중에서 사용할 인식 정보를 저장하고 있는 인식 데이터베이스(DB)를 선택한다(72).

이후, 인식 정보 설정부(61)에서는 AR 컨텐츠 프로젝트 생성 시 사용자가 선택한 인식 데이터베이스(DB)의 인식 정보를 다운로드(전달)받아 표시한다(73). 즉, 선택된 인식 데이터베이스(DB)의 인식 정보를 다운로드받아 각 인식 매체의 이미지를 슬라이드와 컨텐츠 구성 창에 표시하여 줌으로써, 인식 대상 이미지 위에 다양한 컨텐츠를 배치할 수 있도록 해준다.

이후, 컨텐츠 등록부(62)에서는 기본으로 제공되는 컨텐츠 리소스 이외에 사용자가 가지고 있는 3차원(3D) 모델, 2차원(2D) 이미지, 동영상, 음성 파일 등과 같은 컨텐츠를 컨텐츠 목록에 등록한다(74).

그리고 컨텐츠 생성부(63)에서는 동영상과 음성 파일 등과 같은 컨텐츠를 즉시 생성하여 컨텐츠 목록에 등록할 수 있다(75).

이후, 원하는 컨텐츠와 액션을 선택하여 삽입하고 터치 센서를 삽입한 후에 속성을 설정한다(76). 여기서, 액션 삽입 및 터치 센서 삽입 과정은 본 발명에서는 부가 요소이다.

즉, 컨텐츠 삽입부(64)에서는 컨텐츠 목록에서 원하는 컨텐츠를 선택하여 해당 슬라이드에 삽입한다. 또한, 삽입된 컨텐츠의 속성을 설정하여 위치 및 초기 상태 등을 설정할 수 있다.

그리고 액션 삽입부(65)에서는 액션 목록에서 원하는 액션을 선택하여 해당 슬라이드에 삽입한다. 또한, 삽입된 액션의 속성을 설정할 수 있다.

그리고 센서 삽입부(66)에서는 터치 센서를 해당 슬라이드에 삽입한다. 또한, 삽입된 센서의 속성을 설정하여 위치 및 초기 상태 등을 설정할 수 있다(후술되는 도 8 참조).

이후, 상기 해당 슬라이드에 삽입된 컨텐츠, 액션, 및 터치 센서를 시나리오에 삽입 및 설정하여 시나리오를 작성한다(77).

즉, BB(Building Block) 삽입부(67)에서는 상기 해당 슬라이드에 삽입된 컨텐츠, 액션, 및 터치 센서를 빌딩 블럭(Building Block) 형태로 시나리오에 삽입한다. 이처럼, 각 항목(컨텐츠, 액션, 및 터치 센서)을 시나리오에 삽입하면 빌딩 블럭(Building Block)의 형태로 표현되며, 각 빌딩 블럭(Building Block)은 타입에 따라 입력 포트와 출력 포트를 가진다.

그리고 BB 설정부(68)에서는 상기 삽입된 빌딩 블럭(Building Block)을 자유롭게 배치하고 빌딩 블럭(Building Block) 간의 연결을 지정해 줌으로써, 사용자가 원하는 시나리오를 작성할 수 있다.

이후, 상기 인식 데이터베이스(DB)에 대한 정보, 상기 해당 슬라이드에 삽입된 컨텐츠, 액션, 센서에 대한 정보 및 시나리오 작성 정보와 함께 상기 AR 컨텐츠 프로젝트에 대한 사용자 입력 정보 등과 같은 AR 컨텐츠(즉, AR 컨텐츠 생성 결과)를 미리보기 수행부(69)를 통하여 미리보기를 수행하여 확인할 수 있다(78). 즉, 미리보기를 통하여 사용자가 설정한 컨텐츠의 배치 및 시나리오 설정이 제대로 되었는지 확인할 수 있다. 이러한 미리보기 과정은 본 발명의 부가 과정으로, AR 컨텐츠 재생 장치(13)에서 실행되는 모습을 미리 확인할 수 있도록 해준다.

이후, 전송부(70)에서는 상기 인식 데이터베이스(DB)에 대한 정보, 상기 해당 슬라이드에 삽입된 컨텐츠, 액션, 센서에 대한 정보 및 시나리오 작성 정보와 함께 상기 AR 컨텐츠 프로젝트에 대한 사용자 입력 정보 등과 같은 AR 컨텐츠를 서버 측으로 전송하여 데이터 서버(14)의 AR 컨텐츠 데이터베이스에 저장되도록 한다(79).

도 8은 본 발명에 따른 터치 센서 삽입 및 그 속성 설정 과정에 대한 일실시예 흐름도이다.

전술한 바와 같이 해당 슬라이드에 터치 센서가 삽입되면, 터치 센서 동작을 위한 참조 이미지 데이터베이스(DB)를 생성한다. 다시 말하면, 인식 매체 위에 배치된 터치 센서는 그 위에 사용자의 손이 들어오면 설정된 시나리오를 발생시키는 것으로, 터치 센서 위로 손이 들어왔을 때를 인지하기 위한 참조 이미지 데이터베이스(DB)가 필요하다.

도 8에 도시된 바와 같이, 먼저 슬라이드 상의 인식 이미지 중에서 배치된 터치 센서의 위치와 반경에 해당하는 터치 센서 영역의 이미지를 분리한다(81).

이후, 상기 분리된 터치 센서 영역의 이미지를 랩 컬러 스페이스(Lab Color Space)로 영상 변환하여(82) 빛의 밝기에 예민한 L 채널(Channel)을 제외한 a, b 채널(Channel) 정보를 터치 인식을 위한 참조 이미지로 참조 이미지 데이터베이스(DB)에 저장한다(83).

이렇게 저장된 참조 이미지는 AR 컨텐츠 재생 장치(13)에서 터치 센서 영역에 사용자가 손을 댔을 때, 손이 들어왔는지의 여부를 판단하기 위한 비교 대상으로 사용된다.

도 9는 본 발명에 따른 증강현실(AR) 컨텐츠 재생 장치(13)의 일실시예 구성도이다.

도 9에 도시된 바와 같이, 본 발명에 따른 증강현실(AR) 컨텐츠 재생 장치(13)는, AR 컨텐츠의 구성 정보와 인식 정보를 데이터 서버(14)의 AR 컨텐츠 데이터베이스와 인식 데이터베이스로부터 다운로드받아 설정하기 위한 AR 컨텐츠 구성 정보 및 인식 정보 설정부(91), 실시간 영상을 입력받기 위한 영상 입력부(92), 상기 영상 입력부(92)를 통하여 입력된 실시간 영상을 그레이 영상으로 변환하여 특징점을 추출하기 위한 특징점 추출부(93), 상기 특징점 추출부(93)에서 추출된 특징점을 세팅된 랜더마이즈드 포레스트에 적용하여 상기 설정된 인식 정보 중 학습 데이터와의 매칭을 수행하기 위한 특징점 매칭부(94), 상기 특징점 매칭부(94)에서 수행된 매칭 결과를 바탕으로 인식 매체를 인식하여 인식 결과를 획득하기 위한 인식 결과 획득부(95), 상기 인식 결과 획득부(95)에서 획득된 인식 매체와 카메라 사이의 위치 및 자세 매트릭스를 계산하기 위한 위치 및 자세 매트릭스 계산부(96), 및 상기 위치 및 자세 매트릭스 계산부(96)에서 계산된 위치 및 자세 매트릭스를 상기 인식 결과 획득부(95)에서 획득된 인식 매체의 아이디(ID)에 해당하는 AR 컨텐츠 및 시나리오에 적용하여 인식 매체 위에 증강하여 재생하기 위한 컨텐츠 재생부(97)를 포함한다.

여기서, 상기 증강현실(AR) 컨텐츠 재생 장치(13)는, 인식 성공 후 시나리오가 진행될 때 사용자의 손이 터치 센서 영역 내에 진입하였는지를 판단하여 해당 시나리오를 진행하도록 상기 컨텐츠 재생부(97)로 메시지를 전달하기 위한 터치 센서 동작부(98)를 더 포함한다. 즉, 터치 센서 동작부(98)는 시나리오가 진행될 때 터치 센서 영역 내에서의 터치 동작을 인식하여 해당 시나리오를 진행하도록 상기 컨텐츠 재생부(97)로 통보한다.

그리고 상기 특징점 추출부(93)와 특징점 매칭부(94)를 포함하여 제 2 특징점 처리부라 할 수 있다.

상기 각 구성 요소에 대한 구체적인 실시예 및 그 구체적인 동작을 도 10 및 도 11을 참조하여 상세히 설명하면 다음과 같다.

도 10은 본 발명에 따른 증강현실(AR) 컨텐츠 재생 방법에 대한 일실시예 흐름도이다.

도 10에 도시된 바와 같이, 사용자가 원하는 AR 컨텐츠를 검색하여 선택하고 인식 대상물을 카메라에 비추면, 카메라 영상에 비추어진 인식 대상물 위에 증강현실 형태로 시나리오 구성 내용에 따라 증강현실 컨텐츠를 재생하여 볼 수 있다. 이때, 사용자의 손 터치 인터렉션이 사용될 수 있다. 이러한 과정을 도 10을 참조하여 좀 더 상세히 살펴보면 다음과 같다.

먼저, AR 컨텐츠 재생 장치(13)는 브라우저를 이용하여 사용자가 원하는 AR 컨텐츠를 데이터 서버(14)의 AR 컨텐츠 데이터베이스로부터 키워드 또는 이미지 인식 기반으로 검색하여 사용자가 원하는 AR 컨텐츠를 선택받는다(101).

이후, AR 컨텐츠 구성 정보 및 인식 정보 설정부(91)에서는 상기 선택된 AR 컨텐츠의 구성 정보를 데이터 서버(14)의 AR 컨텐츠 데이터베이스로부터 다운로드(전달)받아 메모리상에 설정(세팅)하고(102), 또한 상응하는 인식 정보(학습 데이터를 포함함)를 데이터 서버(14)의 인식 데이터베이스로부터 다운로드받아 메모리상에 설정(세팅)한다(103).

이후, 영상 입력부(92)에서는 사용자의 컴퓨터 등에 설치된 웹 카메라 등을 통하여 실시간 영상을 입력받는다(104).

이후, 특징점 추출부(93)에서는, 전술한 인식 DB 생성 장치(11)의 특징점 추출부(33)와 동일한 방법으로, 상기 입력된 실시간 영상을 그레이 영상으로 변환한 후(105) 상기 그레이 영상으로 변환된 실시간 영상에 대해 특징점을 추출한다(106).

이후, 특징점 매칭부(94)에서는 상기 실시간 영상에서 추출된 특징점을 세팅된 랜더마이즈드 포레스트에 적용하여 상기 설정된 인식 정보 중 미리 학습된 데이터와의 매칭을 수행한다(107).

이후, 인식 결과 획득부(95)에서는 상기 특징점 매칭부(94)에서 수행된 매칭 결과가 인식 성공이면(108), 상기 특징점 매칭부(94)에서 수행된 매칭 결과를 바탕으로 인식된 인식 매체의 아이디(ID)를 획득한다(109). 즉, 상기 특징점 매칭부(94)에서 수행된 매칭 결과를 바탕으로 인식 매체를 인식하여 인식 결과를 획득한다. 반면에, 상기 특징점 매칭부(94)에서 수행된 매칭 결과가 인식 실패이면(108) 상기 "104" 과정으로 진행한다.

그리고 위치 및 자세 매트릭스 계산부(96)에서는 상기 특징점 매칭부(94)에서 수행된 매칭 결과가 인식 성공이면(108), 상기 특징점 매칭부(94)에서 수행된 매칭 결과를 바탕으로 인식된 인식 매체와 카메라 사이의 위치 및 자세 매트릭스를 계산한다(110). 이렇게 계산된 위치 및 자세 정보는 영상 입력부(92)로 피드백된다.

이후, 컨텐츠 재생부(97)에서는 상기 계산된 위치 및 자세 매트릭스를 상기 획득된 인식 매체의 아이디(ID)에 해당하는 AR 컨텐츠 및 시나리오에 적용하여 인식 매체 위에 증강하여 재생한다(111). 이처럼, 한번 인식 결과를 얻으면 특징점들 간의 매칭 정보만을 이용하여 매트릭스를 계산하고, 이렇게 트래킹된 정보를 컨텐츠 재생부(97)에 적용하여 AR 컨텐츠 및 시나리오를 재생한다.

한편, 사용자가 선택한 AR 컨텐츠가 여러 개의 인식 매체 정보를 가지는 패키지 형태였을 경우, 사용자가 패키지 내의 다른 인식 매체를 카메라 영상에 비췄을 때 도 10에 도시된 바와 같은 반복 과정을 수행하여 해당 컨텐츠 및 시나리오를 증강하여 재생한다.

한편, 도 10에는 미도시되었지만, 터치 센서 동작부(98)에서는 인식 성공 후 시나리오가 진행될 때 사용자의 손이 터치 센서 영역 내에 진입하였는지를 판단하여 해당 시나리오를 진행하도록 상기 컨텐츠 재생부(97)로 메시지를 전달한다(후술되는 도 11 참조).

도 11은 본 발명에 따른 터치 센서의 동작 과정에 대한 일실시예 상세 흐름도이다.

전술한 바와 같이 인식 성공이면(112) 인식 매체의 트래킹을 통해 얻어진 위치 및 자세 매트릭스에 의해 입력 영상에서의 터치 센서 위치 및 반경 정보를 획득할 수 있고(113), 그에 따라 해당 터치 센서 영역의 이미지를 분리한다(114).

상기와 같이 이미지 분리 과정을 통하여 얻어진 터치 센서 영역의 이미지를 랩 컬러 스페이스(Lab Color Space)로 변환하여 a, b 채널(Channel) 영상을 획득한다(115).

그리고 AR 컨텐츠 생성 장치(12)에서 생성된 터치 센서 영역의 참조 이미지와의 영상 비교를 통해 터치 여부를 결정하기 위한 임계값을 이전 영상의 기록을 통해 적응적으로 계산한다(116). 즉, 프레임 변화에 따른 적응적인 임계값을 계산한다. 이때, 적응적인 임계값의 계산은 사용자가 AR 컨텐츠를 재생하는 조명 환경이나 인식 매체를 움직이면서 변화될 수 있는 영상 상태를 최대한 반영하기 위함이다.

그리고 터치 센서 영역에 손이 진입함으로 인하여 상기 계산된 임계치보다 크게 다른 영상이 입력되었을 때, 즉 상기 계산된 임계치 이상의 변화가 발생하면(117) 손 터치를 인식하고(118) 해당 시나리오를 진행할 수 있도록 컨텐츠 재생부(97)로 결과를 전달한다(119). 한편, 상기 계산된 임계치 이상의 변화가 발생하지 않으면(117) "113" 과정으로 진행한다.

도 12는 본 발명에 따른 서버 측의 구성 및 동작을 설명하기 위한 도면이다.

전술한 바와 같이, 인식 DB 생성 장치(11)를 통해 사용자가 원하는 인식 매체의 인식 정보를 서버 측의 인식 데이터베이스에 업로드한다. 그리고 인식 DB 생성 장치(11)가 인식 정보를 인식 데이터베이스에 업로드할 때 사용자가 지정한 설정에 따라 인식 데이터베이스(DB)에 저장된 인식 정보의 다운로드 시의 공개 범위를 정할 수 있다.

한편, AR 컨텐츠 생성 장치(12)를 사용하는 사용자는 로컬 컴퓨터 및 서버 측에 공개되어 있는 인식 데이터베이스에서 원하는 인식 매체에 대한 정보를 선택하고, 선택된 인식 매체의 이미지 위에 원하는 컨텐츠를 구성하고 시나리오를 작성한다. 이렇게 AR 컨텐츠 생성이 완료된 최종 AR 컨텐츠를 다시 서버 측의 AR 컨텐츠 데이터베이스에 타이틀 및 제작자 정보와 함께 업로드한다. 이때, 해당 AR 컨텐츠의 진행 상태 및 서비스 공개 여부를 설정할 수 있다.

이러한 구조는 인식 데이터베이스(DB)에 저장되어 있는 하나의 인식 매체에 대하여 각기 다른 사용자의 창의적인 아이디어를 반영하여 다양한 AR 컨텐츠로 재생산할 수 있도록 하며, 이러한 AR 컨텐츠는 최종 고객의 선택에 따라 구매하도록 하여 양질의 AR 컨텐츠가 생산될 수 있도록 유도한다.

사용자는 해당 계정으로 접속하여 다양한 AR 컨텐츠를 검색하고 선택하여 증강현실 컨텐츠를 재생하여 확인할 수 있다.

서버 계정 관리부는 AR 플랫폼(Platform)을 사용하는 개인, 기업, 단체가 마케팅, 홍보, 서비스의 용도로 계정을 구분하여 관리할 수 있도록 함으로써, 다양한 목적에 특화된 서비스로 활용될 수 있도록 한다.

한편, 전술한 바와 같은 본 발명에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 치환, 변형 및 변경이 가능하다.

그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

본 발명은 증강현실 컨텐츠 서비스 등에 이용될 수 있다.

11 : 인식 DB 생성 장치 12 : AR 컨텐츠 생성 장치
13 : AR 컨텐츠 재생 장치 14 : 데이터 서버
15 : 웹/응용 서버 16 : 스트리링 서버

Claims

증강현실 컨텐츠 서비스 시스템에 있어서,
인식 매체에 대한 인식 정보를 생성하여 인식 데이터베이스에 저장하기 위한 인식 DB 생성 장치;
상기 인식 데이터베이스에 저장된 인식 정보를 이용하여 다양한 컨텐츠와 시나리오로 증강현실(AR) 컨텐츠를 생성하여 증강현실 컨텐츠 데이터베이스에 저장하기 위한 증강현실 컨텐츠 생성 장치; 및
상기 증강현실 컨텐츠 데이터베이스에서 관리되고 있는 증강현실 컨텐츠를 전달받아 재생하기 위한 증강현실 컨텐츠 재생 장치
를 포함하는 증강현실 컨텐츠 서비스 시스템.
제 1 항에 있어서,
상기 인식 DB 생성 장치에서 생성된 인식 정보를 전달받아 저장하기 위한 상기 인식 데이터베이스와 상기 증강현실 컨텐츠 생성 장치에서 생성된 증강현실(AR) 컨텐츠를 전달받아 저장하기 위한 상기 증강현실 컨텐츠 데이터베이스를 구비하는 데이터 서버
를 더 포함하는 증강현실 컨텐츠 서비스 시스템.
제 1 항에 있어서,
상기 인식 DB 생성 장치는,
인식 매체 영상을 획득하기 위한 영상 획득부;
상기 영상 획득부에서 획득된 인식 매체 영상에 인식 매체 영역을 설정하기 위한 영역 설정부;
상기 영역 설정부에서 설정된 인식 매체 영역에 대해서 특징점을 추출하여 복수의 형태로 변환하기 위한 제 1 특징점 처리부;
상기 제 1 특징점 처리부에서 변환된 복수의 특징점에 대하여 학습 데이터를 생성하기 위한 학습 데이터 생성부; 및
상기 학습 데이터 생성부에서 생성된 학습 데이터를 포함하는 인식 정보를 서버 측으로 전송하여 상기 인식 데이터베이스에 저장되도록 하기 위한 제 1 전송부
를 포함하는 증강현실 컨텐츠 서비스 시스템.
제 3 항에 있어서,
상기 제 1 특징점 처리부는,
상기 영상 획득부에서 획득된 인식 매체 영상을 그레이 영상으로 변환한 후 상기 영역 설정부에서 설정된 인식 매체 영역에 대해서 특징점을 추출하기 위한 제 1 특징점 추출부; 및
상기 제 1 특징점 추출부에서 추출된 특징점을 복수의 형태로 변환하기 위한 특징점 변환부
를 포함하는 증강현실 컨텐츠 서비스 시스템.
제 3 항에 있어서,
상기 학습 데이터 생성부는,
랜더마이즈드 포레스트를 이용하여 각 특징점들에 대한 확률 분포 값을 계산하여 학습 데이터를 생성하는 증강현실 컨텐츠 서비스 시스템.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 증강현실 컨텐츠 생성 장치는,
상기 인식 데이터베이스(DB)의 인식 정보를 전달받아 표시하기 위한 인식 정보 설정부;
컨텐츠를 등록하기 위한 컨텐츠 등록 수단;
컨텐츠 목록에서 원하는 컨텐츠를 선택하여 삽입하기 위한 컨텐츠 삽입부;
상기 컨텐츠 삽입부에서 삽입된 컨텐츠를 시나리오에 삽입하여 시나리오를 작성하기 위한 시나리오 작성부; 및
상기 시나리오 작성부에서 작성된 시나리오의 작성 정보를 포함하는 증강현실 컨텐츠를 서버 측으로 전송하여 상기 증강현실 컨텐츠 데이터베이스에 저장되도록 하기 위한 제 2 전송부
를 포함하는 증강현실 컨텐츠 서비스 시스템.
제 6 항에 있어서,
액션 목록에서 원하는 액션을 선택하여 삽입하기 위한 액션 삽입부; 및
터치 센서를 삽입하기 위한 센서 삽입부를 더 포함하되,
상기 시나리오 작성부는,
상기 삽입된 컨텐츠, 액션, 및 터치 센서를 빌딩 블럭(Building Block) 형태로 시나리오에 삽입하기 위한 BB 삽입부; 및
상기 BB 삽입부에서 삽입된 빌딩 블럭을 배치하고 상기 빌딩 블럭 간의 연결을 지정하여 사용자가 원하는 시나리오를 작성하기 위한 BB 설정부
를 포함하는 증강현실 컨텐츠 서비스 시스템.
제 6 항에 있어서,
상기 증강현실 컨텐츠 재생 장치는,
증강현실 컨텐츠의 구성 정보와 인식 정보를 상기 증강현실 컨텐츠 데이터베이스와 상기 인식 데이터베이스로부터 전달받아 설정하기 위한 증강현실 컨텐츠 구성 정보 및 인식 정보 설정부;
영상을 입력받기 위한 영상 입력부;
상기 영상 입력부로부터의 입력 영상에 대하여 특징점을 추출하여 상기 설정된 인식 정보 중 학습 데이터와의 매칭을 수행하기 위한 제 2 특징점 처리부;
상기 제 2 특징점 처리부에서 수행된 매칭 결과를 바탕으로 인식 매체를 인식하여 인식 결과를 획득하기 위한 인식 결과 획득부;
상기 인식 결과 획득부에서 인식된 인식 매체와 카메라 사이의 위치 및 자세 매트릭스를 계산하기 위한 위치 및 자세 매트릭스 계산부; 및
상기 위치 및 자세 매트릭스 계산부에서 계산된 위치 및 자세 매트릭스를 상기 인식 결과 획득부에서 인식된 인식 매체에 상응하는 증강현실 컨텐츠 및 시나리오에 적용하여 재생하기 위한 컨텐츠 재생부
를 포함하는 증강현실 컨텐츠 서비스 시스템.
제 8 항에 있어서,
상기 제 2 특징점 처리부는,
상기 영상 입력부로부터의 입력 영상을 그레이 영상으로 변환하여 특징점을 추출하기 위한 제 2 특징점 추출부; 및
상기 제 2 특징점 추출부에서 추출된 특징점을 랜더마이즈드 포레스트에 적용하여 상기 설정된 인식 정보 중 학습 데이터와의 매칭을 수행하기 위한 특징점 매칭부
를 포함하는 증강현실 컨텐츠 서비스 시스템.
제 8 항에 있어서,
시나리오가 진행될 때 터치 센서 영역 내에서의 터치 동작을 인식하여 해당 시나리오를 진행하도록 상기 컨텐츠 재생부로 통보하기 위한 터치 센서 동작부
를 더 포함하는 증강현실 컨텐츠 서비스 시스템.
증강현실 컨텐츠 서비스 방법에 있어서,
인식 DB 생성 장치가 사용자가 원하는 인식 매체에 대한 인식 정보를 생성하여 인식 데이터베이스에 저장하는 인식 정보 생성 단계;
증강현실 컨텐츠 생성 장치가 상기 인식 데이터베이스에 저장된 인식 정보를 이용하여 증강현실(AR) 컨텐츠를 생성하여 증강현실 컨텐츠 데이터베이스에 저장하는 증강현실 컨텐츠 생성 단계; 및
증강현실 컨텐츠 재생 장치가 상기 증강현실 컨텐츠 데이터베이스에서 관리되고 있는 증강현실 컨텐츠 정보와 상기 인식 데이터베이스의 인식 정보를 전달받아 상기 전달받은 인식 정보를 이용하여 상기 전달받은 증강현실 컨텐츠를 재생하는 증강현실 컨텐츠 재생 단계
를 포함하는 증강현실 컨텐츠 서비스 방법.
제 11 항에 있어서,
상기 인식 정보 생성 단계는,
인식 프로젝트를 생성하여 쉬트(Sheet)를 추가하는 단계;
사용자가 원하는 인식 매체를 촬영하여 인식 매체 영상을 획득하는 단계;
상기 획득된 인식 매체 영상에 인식 매체 영역을 설정하는 단계;
상기 설정된 인식 매체 영역에 대해서 특징점을 추출하여 복수의 형태로 변환하는 제 1 특징점 처리 단계;
상기 변환된 복수의 특징점에 대하여 학습을 수행하여 학습 데이터를 생성하는 학습 데이터 생성 단계; 및
상기 생성된 학습 데이터를 포함하는 인식 정보를 서버 측으로 전송하여 상기 인식 데이터베이스에 저장되도록 하는 단계
를 포함하는 증강현실 컨텐츠 서비스 방법.
제 12 항에 있어서,
상기 제 1 특징점 처리 단계는,
상기 획득된 인식 매체 영상을 그레이 영상으로 변환한 후 상기 설정된 인식 매체 영역에 대해서 특징점을 추출하는 단계; 및
상기 추출된 특징점을 복수의 형태로 변환하는 특징점 변환 단계
를 포함하는 증강현실 컨텐츠 서비스 방법.
제 12 항에 있어서,
상기 학습 데이터 생성 단계는,
랜더마이즈드 포레스트를 구성하는 단계;
각 특징점에 대하여 랜덤 어파인 트랜스폼(Random Affine Transform)을 적용하는 단계; 및
상기 랜덤 어파인 트랜스폼의 적용 결과를 상기 구성된 랜더마이즈드 포레스트에 적용하여 상기 각 특징점들에 대한 확률 분포 값을 계산하여 학습 데이터를 생성하는 단계
를 포함하는 증강현실 컨텐츠 서비스 방법.
제 11 항 내지 제 14 항 중 어느 한 항에 있어서,
상기 증강현실 컨텐츠 생성 단계는,
증강현실 컨텐츠 프로젝트를 생성하고 상기 인식 데이터베이스를 선택하는 단계;
상기 선택된 인식 데이터베이스의 인식 정보를 전달받아 표시하는 단계;
컨텐츠를 등록하는 단계;
컨텐츠 목록에서 원하는 컨텐츠를 선택하여 삽입하는 단계;
상기 삽입된 컨텐츠를 시나리오에 삽입 및 설정하여 시나리오를 작성하는 시나리오 작성 단계; 및
상기 작성된 시나리오의 작성 정보를 포함하는 증강현실 컨텐츠를 서버 측으로 전송하여 증강현실 컨텐츠 데이터베이스에 저장되도록 하는 단계
를 포함하는 증강현실 컨텐츠 서비스 방법.
제 15 항에 있어서,
액션 목록에서 원하는 액션을 선택하여 삽입하는 단계; 및
터치 센서를 삽입하는 터치 센서 삽입 단계를 더 포함하되,
상기 시나리오 작성 단계는,
상기 삽입된 컨텐츠, 액션, 및 터치 센서를 빌딩 블럭(Building Block) 형태로 시나리오에 삽입하는 단계; 및
상기 삽입된 빌딩 블럭을 배치하고 상기 빌딩 블럭 간의 연결을 지정하여 사용자가 원하는 시나리오를 작성하는 단계
를 포함하는 증강현실 컨텐츠 서비스 방법.
제 16 항에 있어서,
상기 터치 센서 삽입 단계는,
슬라이드 상의 인식 이미지 중에서 배치된 터치 센서의 위치와 반경에 해당하는 터치 센서 영역의 이미지를 분리하는 단계; 및
상기 분리된 터치 센서 영역의 이미지를 랩 컬러 스페이스(Lab Color Space)로 영상 변환하여 터치 인식을 위한 참조 이미지로 저장하는 단계
를 포함하는 증강현실 컨텐츠 서비스 방법.
제 15 항에 있어서,
상기 증강현실 컨텐츠 재생 단계는,
증강현실 컨텐츠를 상기 증강현실 컨텐츠 데이터베이스로부터 검색하여 선택받는 단계;
상기 선택된 증강현실 컨텐츠의 구성 정보를 상기 증강현실 컨텐츠 데이터베이스로부터 전달받아 설정하고, 상기 선택된 증강현실 컨텐츠와 상응하는 인식 정보를 상기 인식 데이터베이스로부터 전달받아 설정하는 단계;
영상을 입력받는 단계;
상기 입력된 영상에 대하여 특징점을 추출하여 상기 설정된 인식 정보 중 학습 데이터와의 매칭을 수행하는 제 2 특징점 처리 단계;
상기 수행된 매칭 결과를 바탕으로 인식 매체를 인식하여 인식 결과를 획득하는 단계;
상기 인식된 인식 매체와 카메라 사이의 위치 및 자세 매트릭스를 계산하는 단계; 및
상기 계산된 위치 및 자세 매트릭스를 상기 인식된 인식 매체에 상응하는 증강현실 컨텐츠 및 시나리오에 적용하여 재생하는 컨텐츠 재생 단계
를 포함하는 증강현실 컨텐츠 서비스 방법.
제 18 항에 있어서,
상기 제 2 특징점 처리 단계는,
상기 입력된 영상을 그레이 영상으로 변환하여 특징점을 추출하는 단계; 및
상기 추출된 특징점을 랜더마이즈드 포레스트에 적용하여 상기 설정된 인식 정보 중 학습 데이터와의 매칭을 수행하는 단계
를 포함하는 증강현실 컨텐츠 서비스 방법.
제 18 항에 있어서,
시나리오가 진행될 때 터치 센서 영역 내에서의 터치 동작을 인식하여 해당 시나리오를 진행하도록 상기 컨텐츠 재생 단계로 통보하는 터치 센서 동작 단계
를 더 포함하는 증강현실 컨텐츠 서비스 방법.
인식 DB 생성 장치에 있어서,
인식 매체 영상을 획득하기 위한 영상 획득부;
상기 영상 획득부에서 획득된 인식 매체 영상에 인식 매체 영역을 설정하기 위한 영역 설정부;
상기 영역 설정부에서 설정된 인식 매체 영역에 대해서 특징점을 추출하여 복수의 형태로 변환하기 위한 특징점 처리부;
상기 특징점 처리부에서 변환된 복수의 특징점에 대하여 학습 데이터를 생성하기 위한 학습 데이터 생성부; 및
상기 학습 데이터 생성부에서 생성된 학습 데이터를 포함하는 인식 정보를 서버 측으로 전송하여 인식 데이터베이스에 저장되도록 하기 위한 전송부
를 포함하는 인식 DB 생성 장치.
제 21 항에 있어서,
상기 특징점 처리부는,
상기 영상 획득부에서 획득된 인식 매체 영상을 그레이 영상으로 변환한 후 상기 영역 설정부에서 설정된 인식 매체 영역에 대해서 특징점을 추출하기 위한 특징점 추출부; 및
상기 특징점 추출부에서 추출된 특징점을 복수의 형태로 변환하기 위한 특징점 변환부
를 포함하는 인식 DB 생성 장치.
제 21 항 또는 제 22 항에 있어서,
상기 학습 데이터 생성부는,
랜더마이즈드 포레스트를 이용하여 각 특징점들에 대한 확률 분포 값을 계산하여 학습 데이터를 생성하는 인식 DB 생성 장치.
제 23 항에 있어서,
상기 인식 정보는,
상기 생성된 학습 데이터, 상기 획득된 인식 매체 영상, 상기 추출된 특징점을 표시한 이미지, 및 인식 프로젝트에 대한 사용자 입력 정보를 포함하는 인식 DB 생성 장치.
제 24 항에 있어서,
상기 인식 정보(즉, 인식 데이터베이스 생성 결과)를 실행하여 실행 결과를 확인할 수 있도록 하기 위한 미리보기 수행부
를 더 포함하는 인식 DB 생성 장치.
인식 DB 생성 장치에서의 인식 DB 생성 방법에 있어서,
인식 프로젝트를 생성하여 쉬트(Sheet)를 추가하는 단계;
사용자가 원하는 인식 매체를 촬영하여 인식 매체 영상을 획득하는 단계;
상기 획득된 인식 매체 영상에 인식 매체 영역을 설정하는 단계;
상기 설정된 인식 매체 영역에 대해서 특징점을 추출하여 복수의 형태로 변환하는 특징점 처리 단계;
상기 변환된 복수의 특징점에 대하여 학습을 수행하여 학습 데이터를 생성하는 학습 데이터 생성 단계; 및
상기 생성된 학습 데이터를 포함하는 인식 정보를 서버 측으로 전송하여 인식 데이터베이스에 저장되도록 하는 단계
를 포함하는 인식 DB 생성 방법.
제 26 항에 있어서,
상기 특징점 처리 단계는,
상기 획득된 인식 매체 영상을 그레이 영상으로 변환한 후 상기 설정된 인식 매체 영역에 대해서 특징점을 추출하는 단계; 및
상기 추출된 특징점을 복수의 형태로 변환하는 특징점 변환 단계
를 포함하는 인식 DB 생성 방법.
제 27 항에 있어서,
상기 특징점 변환 단계는,
상기 추출된 특징점을 중심으로 하는 이미지 영역을 구성하고, 랜덤 어파인 트랜스폼(Random Affine Transform)을 통해 복수의 형태로 변환하는 인식 DB 생성 방법.
제 27 항에 있어서,
상기 인식 DB 생성 장치는,
하나의 상기 인식 프로젝트에 하나의 인식 매체를 포함시키거나 다수의 인식 매체를 패키지 형식으로 포함시키되,
상기 하나의 인식 프로젝트에 다수의 인식 매체를 포함시킬 경우 대표 인식 매체를 선택하여 설정하는 인식 DB 생성 방법.
제 26 항 내지 제 29 항 중 어느 한 항에 있어서,
상기 학습 데이터 생성 단계는,
랜더마이즈드 포레스트를 구성하는 단계;
각 특징점에 대하여 랜덤 어파인 트랜스폼(Random Affine Transform)을 적용하는 단계; 및
상기 랜덤 어파인 트랜스폼의 적용 결과를 상기 구성된 랜더마이즈드 포레스트에 적용하여 상기 각 특징점들에 대한 확률 분포 값을 계산하여 학습 데이터를 생성하는 단계
를 포함하는 인식 DB 생성 방법.
제 30 항에 있어서,
상기 인식 정보는,
상기 생성된 학습 데이터, 상기 획득된 인식 매체 영상, 상기 추출된 특징점을 표시한 이미지, 및 상기 인식 프로젝트에 대한 사용자 입력 정보를 포함하는 인식 DB 생성 방법.
제 31 항에 있어서,
상기 인식 정보(즉, 인식 데이터베이스 생성 결과)를 실행하여 실행 결과를 확인할 수 있도록 하는 단계
를 더 포함하는 인식 DB 생성 방법.
증강현실(AR) 컨텐츠 생성 장치에 있어서,
인식 데이터베이스(DB)의 인식 정보를 전달받아 표시하기 위한 인식 정보 설정부;
컨텐츠를 등록하기 위한 컨텐츠 등록 수단;
컨텐츠 목록에서 원하는 컨텐츠를 선택하여 삽입하기 위한 컨텐츠 삽입부;
상기 컨텐츠 삽입부에서 삽입된 컨텐츠를 시나리오에 삽입하여 시나리오를 작성하기 위한 시나리오 작성부; 및
상기 시나리오 작성부에서 작성된 시나리오의 작성 정보를 포함하는 증강현실 컨텐츠를 서버 측으로 전송하여 증강현실 컨텐츠 데이터베이스에 저장되도록 하기 위한 전송부
를 포함하는 증강현실 컨텐츠 생성 장치.
제 33 항에 있어서,
액션 목록에서 원하는 액션을 선택하여 삽입하기 위한 액션 삽입부; 및
터치 센서를 삽입하기 위한 센서 삽입부를 더 포함하되,
상기 시나리오 작성부는,
상기 삽입된 컨텐츠, 액션, 및 터치 센서를 빌딩 블럭(Building Block) 형태로 시나리오에 삽입하기 위한 BB 삽입부; 및
상기 BB 삽입부에서 삽입된 빌딩 블럭을 배치하고 상기 빌딩 블럭 간의 연결을 지정하여 사용자가 원하는 시나리오를 작성하기 위한 BB 설정부
를 포함하는 증강현실 컨텐츠 생성 장치.
제 34 항에 있어서,
상기 증강현실 컨텐츠는,
상기 인식 데이터베이스(DB)에 대한 정보, 상기 삽입된 컨텐츠, 액션, 센서에 대한 정보, 상기 시나리오 작성 정보 및 증강현실 컨텐츠 프로젝트에 대한 사용자 입력 정보를 포함하는 증강현실 컨텐츠 생성 장치.
제 35 항에 있어서,
상기 증강현실 컨텐츠(즉, 증강현실 컨텐츠 생성 결과)를 실행하여 실행 결과를 확인할 수 있도록 하기 위한 미리보기 수행부
를 더 포함하는 증강현실 컨텐츠 생성 장치.
제 33 항 내지 제 36 항 중 어느 한 항에 있어서,
상기 컨텐츠 등록 수단은,
기 생성된 컨텐츠를 등록하기 위한 컨텐츠 등록부; 및
컨텐츠를 생성하여 등록하기 위한 컨텐츠 생성부
를 포함하는 증강현실 컨텐츠 생성 장치.
증강현실(AR) 컨텐츠 생성 방법에 있어서,
증강현실 컨텐츠 프로젝트를 생성하고 인식 데이터베이스를 선택하는 단계;
상기 선택된 인식 데이터베이스의 인식 정보를 전달받아 표시하는 단계;
컨텐츠를 등록하는 단계;
컨텐츠 목록에서 원하는 컨텐츠를 선택하여 삽입하는 단계;
상기 삽입된 컨텐츠를 시나리오에 삽입 및 설정하여 시나리오를 작성하는 시나리오 작성 단계; 및
상기 작성된 시나리오의 작성 정보를 포함하는 증강현실 컨텐츠를 서버 측으로 전송하여 증강현실 컨텐츠 데이터베이스에 저장되도록 하는 단계
를 포함하는 증강현실 컨텐츠 생성 방법.
제 38 항에 있어서,
액션 목록에서 원하는 액션을 선택하여 삽입하는 단계; 및
터치 센서를 삽입하는 터치 센서 삽입 단계를 더 포함하되,
상기 시나리오 작성 단계는,
상기 삽입된 컨텐츠, 액션, 및 터치 센서를 빌딩 블럭(Building Block) 형태로 시나리오에 삽입하는 단계; 및
상기 삽입된 빌딩 블럭을 배치하고 상기 빌딩 블럭 간의 연결을 지정하여 사용자가 원하는 시나리오를 작성하는 단계
를 포함하는 증강현실 컨텐츠 생성 방법.
제 39 항에 있어서,
상기 증강현실 컨텐츠는,
상기 인식 데이터베이스(DB)에 대한 정보, 상기 삽입된 컨텐츠, 액션, 센서에 대한 정보, 상기 시나리오 작성 정보 및 증강현실 컨텐츠 프로젝트에 대한 사용자 입력 정보를 포함하는 증강현실 컨텐츠 생성 방법.
제 40 항에 있어서,
상기 증강현실 컨텐츠(즉, 증강현실 컨텐츠 생성 결과)를 실행하여 실행 결과를 확인할 수 있도록 하는 단계
를 더 포함하는 증강현실 컨텐츠 생성 방법.
제 39 항 내지 제 41 항 중 어느 한 항에 있어서,
상기 터치 센서 삽입 단계는,
슬라이드 상의 인식 이미지 중에서 배치된 터치 센서의 위치와 반경에 해당하는 터치 센서 영역의 이미지를 분리하는 단계; 및
상기 분리된 터치 센서 영역의 이미지를 랩 컬러 스페이스(Lab Color Space)로 영상 변환하여 터치 인식을 위한 참조 이미지로 저장하는 단계
를 포함하는 증강현실 컨텐츠 생성 방법.
증강현실 컨텐츠 재생 장치에 있어서,
증강현실 컨텐츠의 구성 정보와 인식 정보를 증강현실 컨텐츠 데이터베이스와 인식 데이터베이스로부터 전달받아 설정하기 위한 증강현실 컨텐츠 구성 정보 및 인식 정보 설정부;
영상을 입력받기 위한 영상 입력부;
상기 영상 입력부로부터의 입력 영상에 대하여 특징점을 추출하여 상기 설정된 인식 정보 중 학습 데이터와의 매칭을 수행하기 위한 특징점 처리부;
상기 특징점 처리부에서 수행된 매칭 결과를 바탕으로 인식 매체를 인식하여 인식 결과를 획득하기 위한 인식 결과 획득부;
상기 인식 결과 획득부에서 인식된 인식 매체와 카메라 사이의 위치 및 자세 매트릭스를 계산하기 위한 위치 및 자세 매트릭스 계산부; 및
상기 위치 및 자세 매트릭스 계산부에서 계산된 위치 및 자세 매트릭스를 상기 인식 결과 획득부에서 인식된 인식 매체에 상응하는 증강현실 컨텐츠 및 시나리오에 적용하여 재생하기 위한 컨텐츠 재생부
를 포함하는 증강현실 컨텐츠 재생 장치.
제 43 항에 있어서,
상기 특징점 처리부는,
상기 영상 입력부로부터의 입력 영상을 그레이 영상으로 변환하여 특징점을 추출하기 위한 특징점 추출부; 및
상기 특징점 추출부에서 추출된 특징점을 랜더마이즈드 포레스트에 적용하여 상기 설정된 인식 정보 중 학습 데이터와의 매칭을 수행하기 위한 특징점 매칭부
를 포함하는 증강현실 컨텐츠 재생 장치.
제 43 항 또는 제 44 항에 있어서,
시나리오가 진행될 때 터치 센서 영역 내에서의 터치 동작을 인식하여 해당 시나리오를 진행하도록 상기 컨텐츠 재생부로 통보하기 위한 터치 센서 동작부
를 더 포함하는 증강현실 컨텐츠 재생 장치.
증강현실 컨텐츠 재생 방법에 있어서,
증강현실 컨텐츠를 증강현실 컨텐츠 데이터베이스로부터 검색하여 선택받는 단계;
상기 선택된 증강현실 컨텐츠의 구성 정보를 상기 증강현실 컨텐츠 데이터베이스로부터 전달받아 설정하고, 상기 선택된 증강현실 컨텐츠와 상응하는 인식 정보를 인식 데이터베이스로부터 전달받아 설정하는 단계;
영상을 입력받는 단계;
상기 입력된 영상에 대하여 특징점을 추출하여 상기 설정된 인식 정보 중 학습 데이터와의 매칭을 수행하는 특징점 처리 단계;
상기 수행된 매칭 결과를 바탕으로 인식 매체를 인식하여 인식 결과를 획득하는 단계;
상기 인식된 인식 매체와 카메라 사이의 위치 및 자세 매트릭스를 계산하는 단계; 및
상기 계산된 위치 및 자세 매트릭스를 상기 인식된 인식 매체에 상응하는 증강현실 컨텐츠 및 시나리오에 적용하여 재생하는 컨텐츠 재생 단계
를 포함하는 증강현실 컨텐츠 재생 방법.
제 46 항에 있어서,
상기 특징점 처리 단계는,
상기 입력된 영상을 그레이 영상으로 변환하여 특징점을 추출하는 단계; 및
상기 추출된 특징점을 랜더마이즈드 포레스트에 적용하여 상기 설정된 인식 정보 중 학습 데이터와의 매칭을 수행하는 단계
를 포함하는 증강현실 컨텐츠 재생 방법.
제 46 항 또는 제 47 항에 있어서,
시나리오가 진행될 때 터치 센서 영역 내에서의 터치 동작을 인식하여 해당 시나리오를 진행하도록 상기 컨텐츠 재생 단계로 통보하는 터치 센서 동작 단계
를 더 포함하는 증강현실 컨텐츠 재생 방법.
제 48 항에 있어서,
상기 터치 센서 동작 단계는,
인식 매체의 트래킹을 통해 획득된 위치 및 자세 매트릭스에 의해 상기 입력 영상에서의 터치 센서 위치 및 반경 정보를 획득하여 터치 센서 영역의 이미지를 분리하는 단계;
상기 분리된 터치 센서 영역의 이미지를 랩 컬러 스페이스(Lab Color Space)로 변환하여 소정 채널 영상을 획득하는 단계;
기 생성된 터치 센서 영역의 참조 이미지와의 영상 비교를 통해 터치 여부를 결정하기 위한 임계값을 이전 영상의 기록을 통해 적응적으로 계산하는 단계; 및
상기 계산된 임계치 이상의 변화가 발생하면 터치를 인식하고 해당 시나리오를 진행할 수 있도록 상기 컨텐츠 재생 단계로 통보하는 단계
를 포함하는 증강현실 컨텐츠 재생 방법.