KR100912264B1

KR100912264B1 - 사용자 반응형 증강 영상 생성 방법 및 시스템

Info

Publication number: KR100912264B1
Application number: KR1020080012711A
Authority: KR
Inventors: 오세진; 우운택
Original assignee: 광주과학기술원
Priority date: 2008-02-12
Filing date: 2008-02-12
Publication date: 2009-08-17
Also published as: US8619160B2; WO2009102116A2; WO2009102116A3; US20100321540A1

Abstract

본 발명은 현실 공간 또는 가상 공간의 상황 변화에 적응적으로 반응하는 증강 영상 생성 시스템 및 방법을 개시한다. 본 발명에 따른 증강 영상 생성 시스템은 상기 현실 객체와 관련된 상황 정보와, 가상 객체와 관련된 상황 정보를 기반으로 상황을 판단하는 상황 판단부, 판단된 상황에 따라 반응형 에이전트의 동작 파라미터를 생성하는 동작 파라미터 생성부 및 현실 객체에 대한 영상과 에이전트 동작 파라미터를 이용하여 증강 영상을 생성하는 증강 영상 생성부를 포함한다. 본 발명에 따르면, 상황 변화에 능동적으로 반응하며 보다 현실성 있는 증강 영상을 생성할 수 있고, 또한 사용자 고유의 선호도, 경험을 반영시킨 사용자 맞춤형 증강 영상을 생성할 수 있다.

증강 현실, 증강 영상, 가상 객체, 사용자 프로파일

Description

사용자 반응형 증강 영상 생성 방법 및 시스템{Method and system for generating user-responsive augmented image}

본 발명은 사용자 반응형 증강 영상 생성 방법 및 시스템에 관한 것으로서, 보다 상세하게는 카메라가 부착된 모바일 장치인 PDA, UMPC, 핸드폰 등을 이용하여 물리적 공간에서 가상의 에이전트와 상호작용을 할 수 있는 증강 현실 기술 기반의 오락 시스템, 교육 시스템 등에 활용될 수 있는 증강 영상 생성 방법 및 시스템에 관한 것이다.

증강 현실(Augmented Reality)은 현실 세계에 있는 물리적 대상에 컴퓨터를 통해 제작된 가상의 객체가 겹진 형태로 보이도록 하는 네트워크화된 환경을 의미한다. 증강 현실은 미리 정해진 마커 또는 식별자를 통해 현실 공간에 대한 영상에 가상의 영상을 전부 또는 부분적으로 결합시키는 영상 합성의 일 분야이다. 증강 영상(Augmented image)은 증강 현실을 기반으로 재생되는 영상으로서, 디스플레이 화면에 현실의 객체와 가상의 객체가 합성된 형태로 재생되는 영상이다.

증강 현실 기술은 가상 영상을 이용하여 현실 영상을 보완 또는 개선하는 개념으로 발전되었으며, 인간의 신체에 컴퓨터 디바이스를 부착시키는 기기 또는 휴 대 가능한 모바일 기기에 탑재 가능한 시스템의 형태로 개발되었다.

증강 현실은 사용자가 현실의 환경을 볼 수 있으면서 가상의 환경 또는 가상 정보를 볼 수 있다는 점에서 기존의 가상 현실보다 더 실재감을 느끼고 몰입을 유도할 수 있다는 점에서 다른 유형의 메타버스보다 훨씬 매력적이다. 특히 정보 전달이라는 측면에서 그 실용성이 부각되면서 원격의료진단, 교육 컨텐츠 등으로 활용되고 있다.

그러나, 종래의 증강 현실에서 구현되는 가상 객체는 어떤 주어진 상황에서 한정적인 동작만을 수행하기 때문에, 현실 공간의 상황 변화, 가상 공간의 상황 변화를 충분히 반영하지 못하는 문제가 있었다.

상기 종래 기술의 문제를 고려하여, 본 발명은 현실 객체의 상황 정보와 가상 객체의 상황 정보를 기반으로 하는 상황 판단 결과에 따라 반응하는 가상 에이전트 개념을 증강 현실에 도입시킴으로써, 현실 상황과 가상 상황의 변화에 능동적인 반응이 가능하고, 현실성과 일체감을 향상시킬 수 있는 증강 영상 생성 방법을 제공하는 것을 목적으로 한다. 또한, 본 발명은 상기 방법을 구현하는 증강 영상 생성 시스템을 제공하는 것을 목적으로 한다.

상술한 기술적 과제를 달성하기 위한 본 발명에 따른 증강 영상 생성 시스템은 현실 공간에 존재하는 현실 객체에 대한 영상을 획득하는 영상 획득부; 상기 현실 객체와 관련된 제1 상황 정보와, 가상 공간에 존재하는 가상 객체와 관련된 제2 상황 정보를 입력 받고, 미리 정해진 알고리즘에 따라 상황을 판단하는 상황 판단부;상기 가상 공간에 존재하며 상기 판단된 상황에 따라 반응하는 가상 객체인 반응형 에이전트의 동작과 관련된 에이전트 동작 파라미터를 생성하는 동작 파라미터 생성부; 및 상기 영상 획득부에서 획득된 영상과 상기 동작 파라미터 생성부에서 생성된 에이전트 동작 파라미터를 이용하여 증강 영상을 생성하는 증강 영상 생성부를 포함한다.

상술한 또 다른 기술적 과제를 달성하기 위한 본 발명에 따른 증강 영상 생성 방법은 현실 공간에 존재하는 현실 객체에 대한 영상을 획득하는 단계; 상기 현 실 객체와 관련된 제1 상황 정보와, 가상 공간에 존재하는 가상 객체와 관련된 제2 상황 정보를 입력 받고, 미리 정해진 알고리즘에 따라 상황을 판단하는 단계; 상기 가상 공간에 존재하며 상기 판단된 상황에 따라 반응하는 가상 객체인 반응형 에이전트의 동작과 관련된 에이전트 동작 파라미터를 생성하는 단계; 상기 획득된 영상과 상기 생성된 에이전트 동작 파라미터를 이용하여 증강 영상을 생성하는 단계를 포함한다.

또한, 본 발명은 상기 증강 영상 생성 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체를 제공한다.

본 발명에 따르면 증강 영상의 생성함에 있어서 현실 객체의 상황 정보와 가상 객체의 상황 정보를 기반으로 하는 상황 판단 결과에 따라 즉각적으로 상호 작용하는 에이전트를 도입함으로써, 종래에 비하여 보다 현실성이 있고, 사용자의 몰입감과 일체감을 향상시킬 수 있는 증강 영상을 생성할 수 있다. 또한, 본 발명에 따르면 사용자의 히스토리와 관련된 사용자 프로파일을 고려하여 반응형 에이전트의 동작을 조절함으로써, 사용자의 선호도, 경험을 반영한 증강 영상을 생성할 수 있다.

이하에서는 도면과 실시예를 참고하여 본 발명의 사용자 반응형 증강 영상 생성 방법 및 시스템 그리고 상기 방법을 수행하는 프로그램이 기록된 기록 매체에 대하여 구체적으로 설명한다.

도 1은 본 발명의 일 실시예에 따른 사용자 반응형 증강 영상 생성 시스템(1)을 나타내는 블록도이다. 도 1에 도시된 사용자 반응형 증강 영상 생성 시스템(1)은 영상 획득부(12), 마커 추적부(14), 가상 객체 정합부(16), 렌더링부(18), 제1 상황 정보 획득부(20), 상황 판단부(22), 반응 결정부(24), 엑추에이터(26), 제2 상황 정보 획득부(28), 사용자 프로파일 저장부(30) 및 반응 조절부(32)를 포함한다.

도 1에 도시된 사용자 반응형 증강 영상 생성 시스템(1)은 현실 공간에 존재하는 영상은 물론, 현실 공간에 존재하는 현실 객체의 상황을 나타내는 제1 상황 정보, 그리고 가상 공간 또는 증간 현실 공간에 존재하는 가상 객체의 상황을 나타내는 제2 상황 정보를 이용하여 사용자 반응형 증강 영상을 생성하는 장치이다. 특히, 도 1에 도시된 증강 영상 생성 장치는 현실 공간과 가상 공간에서의 상황에 의존하여 반응형 에이전트의 동작을 제어하고, 또한 사용자의 선호도에 따른 히스토리 정보로서 사용자 별로 저장된 사용자 프로파일을 이용하여 반응형 에이전트의 동작을 제어한다는 점에서 종래 기술과 구별된다.

영상 획득부(12)는 현실 공간에 존재하는 현실 객체에 대한 영상을 획득한다. 여기에서 현실 객체는 현실 공간에 존재하는 인지할 수 있는 물체를 의미하며, 예를 들어 사용자, 배경, 사용자의 마커, 가상 객체의 마커, 가상 에이전트의 마커 등을 의미한다. 영상 획득부(12)의 예로는 디지털 카메라, 캠코더 등의 영상 촬영 장치가 있다.

마커 추적부(14)는 상기 획득된 현실 객체에 대한 영상에서 마커를 추적하 고, 추적된 마커에 따른 가상 객체의 식별을 위한 식별 정보와 가상 객체의 위치 정보와 관련된 위치 정보를 결정한다. 추적의 대상이 되는 마커는 사용자의 동작을 인식할 수 있는 사용자 마커, 가상 객체의 마커, 가상 에이전트의 마커 등이 있다. 사용자 마커는 예를 들어 사용자의 손가락 자체를 마커로 설정할 수 도 있으며, 사용자의 손가락에 특정의 마커를 부착하는 것도 가능하다.

여기에서 가상 객체(virtual object)는 현실 공간에는 존재하지 않는 가상의 객체이다. 가상 공간에 존재하는 가상의 컨텐츠는 예를 들어, 새, 꽃, 물 조리개, 모종삽 등이 있으며, 그 종류에 특별한 제한은 없다. 가상 객체의 마커는 가상 객체를 상징하는 현실 공간에 존재하는 상징물이다. 영상 획득부로부터 촬영되는 현실 공간에 존재하는 실물을 가상 객체와 일대일로 대응시키고, 이러한 대응관계에 대한 정보는 객체 정보 저장부(미도시)에 미리 저장된다. 또한, 가상 객체를 상징하기 위한 상징물을 별도로 제작하고, 제작된 상징물을 가상 객체의 마커로 설정하는 것도 가능하다.

한편, 가상의 반응형 에이전트(virtual responsive agent)는 사용자의 동작에 반응하는 반응형 가상 객체로서, 이는 본 발명의 주된 특징을 이룬다. 반응형 에이전트도 넓은 의미의 가상 객체에 포함될 수 있다. 그러나, 종래의 인터렉티브한 가상 객체는 주변의 상황 정보를 고려하지 않고, 사용자의 동작에 따라 획일적인 반응을 보이는 수동적 동작이 객체이지만, 본 발명에서 제안하는 개념인 반응형 에이전트는 현실 공간의 변화와 증강 현실에 존재하는 가상 공간의 변화에 다라 능동적으로 동작하는 가상 객체라는 점에서 종래의 가상 객체와는 구별된다.

상술한 마커에 대한 정보, 예를 들어 마커 영상에 대한 정보, 마커에 대응되는 가상 객체 정보, 가상 객체의 식별 정보 등은 객체 정보 저장부(미도시)에 미리 저장된다. 마커 추적부(14)는 영상 획득부에서 획득된 영상으로 부터 마커가 존재하는지 여부는 실시간으로 판단하고, 마커가 존재할 경우 해당 마커에 대응되는 객체 정보의 식별 정보(ID)를 객체 정보 저장부로 부터 독출한다.

마커의 추적은 마커를 인식하고, 인식된 마커를 추적하는 과정으로 세분될 수 있다. 마커의 인식은 획득된 영상에 포함된 객체들 중에서 객체 정보 저장부에 저장된 마커 영상과 유사한 것이 있는지 여부를 판단하는 과정을 통해 수행된다. 일단 마커가 인식되고 나면, 현재 프레임의 영상과 이전 프레임의 영상 간의 템플릿 매칭 등을 통해 마커의 이동 경로를 추적할 수 있다. 추적된 마커에 따른 가상 객체의 식별 정보(ID)는 객체 정보 저장부로 부터 독출되며, 추적의 결과로서 얻을 수 있는 마커의 위치 정보, 가상 객체의 위치 정보는 식별 정보와 함께 상황 판단부(22)에 전달된다.

가상 객체 정합부(virtual object registration unit, 16)는 상기 식별 정보와 위치 정보를 이용하여 가상 객체의 위치를 보정하는 가상 객체 정합 정보(virtual object registration information)를 생성한다. 특히, 가상 객체 정합부는 식별 정보에 따른 가상 객체의 형상, 가상 객체를 촬영하고 있는 영상 획득부의 방향 등을 고려하여 수정된 위치 정보인 가상 객체 정합 정보를 생성한다.

렌더링부(rendering unit, 18)는 영상 획득부에서 획득한 영상 정보 그리고 가상 객체의 식별 정보, 가상 객체 정합 정보 및 에이전트 동작 파라미터(agent response parameter)를 이용하여 현실 영상과 가상 객체 영상을 합성시킨 증강 영상(augmented image)을 생성한다.

제1 상황 정보 획득부(20)는 시스템에 내장된 또는 외장된 센서를 이용하여 현실 공간에 존재하는 현실 객체의 상황과 관련된 상황 정보(context information)를 획득한다. 제1 상황 정보 획득부는 예를 들어 온도 센서, 혈압 센서 등과 같은 생체 신호 센서가 바람직하다. 상황과 관련된 상황 정보의 예로는 현실 공간에 존재하는 객체의 식별 정보, 위치 정보, 생체 신호 정보 및 현실 환경 정보 등이 있다.

상황 판단부(context appraisal unit, 22)는 현실 객체와 관련된 제1 상황 정보, 가상 공간에 존재하는 가상 객체와 관련된 제2 상황 정보를 입력 받고, 미리 결정된 알고리즘에 따라 현재의 상황을 판단한다. 여기에서 제2 상황 정보는 가상 객체의 식별 정보, 위치 정보, 가상 객체의 상황 변화와 관련된 정보, 가상 환경 정보 등이 있다.

반응 결정부(24)는 상황 판단부(22)의 결과 즉 판단된 상황에 따른 반응형 에이전트의 반응을 결정한다. 예를 들어, 사용자가 반응형 에이전트인 새에게 가상 객체인 새의 모이를 줄 경우, 반응 결정부는 반응형 에이전트인 새가 기분 좋아하는 반응을 보일 것을 결정할 수 있다.

또 다른 예로서, 반응 결정부는 집안에서 새에게 모이를 줄 경우에는 새가 편하게 모이를 먹는 반응을 보일 것을 결정할 수 있으며, 수업시간에 모이를 주면 새가 모이를 먹는 것을 꺼려하는 반응을 보일 것을 결정할 수 있다. 이러한 반응의 패턴은 도메인 지식(domain information)의 형태로 도메인 지식 저장부(미도시)에 저장하는 것이 바람직하다. 이 경우 상황 판단부는 상기 도메인 지식 저장부에 저장된 도메인 지식을 고려하여 현재의 상황을 판단하고, 판단 결과를 반응 결정부에 전달시킨다. 즉, 이를 통해 상황에 따라 에이전트의 반응 패턴을 다르게 조절할 수 있다.

엑추에이터(26)는 반응 결정부(24)에서 결정된 반응에 따라 반응형 에이전트의 동작 제어를 위한 에이전트 동작 파라미터를 생성한다. 에이전트 동작 파라미터는 예를 들어, 새가 기분 좋아하는 반응을 보일 경우, 새의 눈, 날개 짓, 몸짓을 제어하기 위한 동작 파라미터 등이 있다.

제2 상황 정보 획득부(28)는 가상 센서를 이용하여 가상 공간에 존재하는 가상 객체의 상황과 관련된 상황 정보(context information)를 획득한다. 여기에서 가상 센서는 실제의 센서가 아니며, 증강된 공간의 변화, 가상 객체의 변화 등을 감지하는 논리 처리 블록을 의미한다. 예를 들어, 사용자가 가상 객체인 꽃을 특정의 위치에 심고, 가상 객체인 물 조리개의 마커를 이용하여 꽃에 물을 줌으로써 가상 객체인 꽃이 만개하는 경우, 제2 상황 정보 획득부는 각각의 스텝에 따른 가상 객체의 변화를 가상 객체의 상황 정보로서 획득할 수 있다.

사용자 프로파일 저장부(30)는 사용자의 선호도 또는 경험과 관련된 사용자 히스토리 정보를 저장한다. 사용자의 경험과 관련된 히스토리 정보의 예를 들면, 사용자가 역사에 대한 배경 지식이 부족할 경우, 역사와 관련된 경험이 부족함을 사용자 히스토리 정보로서 저장될 수 있다. 선호도와 관련된 히스토리 정보의 예를 들면, 사용자가 특정 음식을 선호할 경우 해당 음식의 선호도에 대한 히스토리 정보가 프로파일 저장부에 저장될 수 있다.

반응 조절부(32)는 사용자 프로파일 저장부에 저장된 히스토리 정보(history information)에 따라 상황 판단부에서 수행되는 판단을 조절하기 위한 제1 제어 변수(control variable)를 상황 판단부에 전달하거나, 동작 파라미터 생성을 제어하기 위한 제2 제어 변수를 동작 파라미터 생성부에 전달한다. 예를 들어, 역사에 대한 경험이 부족한 즉 배경 지식이 부족한 사용자가 책을 읽을 경우, 반응 조절부(32)는 반응형 에이전트가 배경 지식을 설명하는 반응을 제어하기 위한 제1 제어 변수를 반응 결정부에 전달할 수 있다.

도 1에 도시하지는 않았지만, 본 실시예의 사용자 반응형 증강 영상 생성 시스템은 사용자가 존재하는 현실 공간에서 사용자에게 제공하는 효과 음악, 효과 영상와 같은 부가 서비스를 제공하는 현실 서비스 제공부와, 증강 공간에서 가상 객체 또는 반응형 에이전트에게 부가 서비스를 제공하는 가상 서비스 제공부를 더 포함할 수 있다. 또한, 본 실시예의 사용자 반응형 증강 영상 생성 시스템은 상술한 상황 판단의 결과, 결정된 반응, 에이전트 동작 파라미터 등에 대한 정보를 저장하는 상황 히스토리 저장부(미도시)를 더 포함하며, 일정 기간이 지나면 상황 히스토리 정보를 삭제하도록 설정할 수 있다.

도 2는 가상 객체의 상황, 현실 상황에 따라 반응형 에이전트의 반응에 대한 예를 나타내는 참고도이다. 도 2의 좌측 영상은 상황을 고려하지 않은 다양한 에이전트의 반응의 예를 나타내는 것이고, 우측 영상은 상황에 따라 반응하는 에이전트 반응의 예를 나타낸 것이다. 우측 영상은 사용자가 모종삽 마커를 통해 해바라기 꽃을 심을 경우, 해바라기 꽃에 물을 주는 경우, 해바라기 꽃이 만개한 경우, 해바라기 꽃의 뿌리를 모종삽으로 파낼 경우 각각에 따른 에이전트의 반응을 나타내는 예이다. 본 발명에 따르면 현실 객체의 상황과 가상 객체의 상황 뿐만 아니라, 사용자가 미리 설정한 사용자의 선호도와 관련된 히스토리 정보인 사용자 프로파일을 고려하여 반응형 에이전트의 반응, 동작을 결정하기 때문에 최종 결과물인 증강 영상의 패턴은 사용자에 따라 각각 다르게 나타난다.

도 3은 본 발명의 일 실시예에 따른 사용자 반응형 증강 영상 생성 방법을 나타내는 흐름도이다. 도 3에 도시된 증강 영상 생성 방법은 사용자 반응형 증강 영상 생성 시스템(1)에서 시계열적으로 수행되는 하기의 단계들을 포함한다.

도 3에 도시된 증강 영상 생성 방법은 시스템의 구동 이전에 사용자의 선호도, 경험등에 대한 히스토리 정보를 사용자 프로파일로서 구축한 후에 수행된다. 또한, 휴대 단말의 입력키를 통해 사용자 식별을 위한 사용자 식별 정보를 입력 받는 단계가 선행될 수 있다.

102단계에서 영상 획득부(12)는 현실 공간에 존재하는 현실 객체에 대한 영상을 획득한다. 본 실시예의 증강 영상 생성 시스템은 디지털 카메라와 OS(operation system)를 포함하는 휴대 단말, 예를 들어 스마트 폰, PDA, UMPC 등을 통해 구현할 수 있다. 휴대 단말에 내장된 디지털 카메라는 영상 획득부(12)로서 현실 객체에 대한 영상을 획득할 수 있다.

104단계에서 마커 추적부(14)는 102단계에서 획득된 영상에서 마커를 인식하 고, 인식된 마커를 추적한다. 마커 추적부(14)는 영상 획득부로 부터의 영상을 입력 받고, 마커 인식을 위한 영상 인식 알고리즘을 통해 마커를 인식한 다음, 인식된 마커를 추적한다.

106단계에서 마커 추적부(14)는 104단계에서 추적된 마커에 따른 가상 객체의 식별 정보와 위치 정보를 결정한다.

108단계에서 가상 객체 정합부(16)는 106단계에서 결정된 식별 정보와 위치 정보, 그리고 카메라의 방향 정보를 이용하여 가상 객체, 가상 에이전트의 위치 정보를 보정하는 가상 객체 정합 정보를 생성한다. 카메라 각도를 이용하여 가상 객체의 위치를 보정하는 것은 가상 객체의 위치만을 고려하는 것에 비하여 보다 현실감있는 증강 영상을 얻을 수 있다.

110단계에서 렌더링부(18)는 108단계에서 생성된 가상 객체 정합 정보와 102단계에서 획득한 현실 영상, 그리고 118단계에서 생성된 에이전트 동작 파라미터를 이용하여 증강 영상을 생성한다.

112단계에서 제1 상황 정보 획득부(20)는 위치 센서, 생체 신호 감지 센서 등을 통해 현실 객체와 관련된 제1 상황 정보를 획득하고, 제2 상황 정보 획득부(28)는 가상의 센서를 이용하여 가상 공간에 존재하는 가상 객체, 그리고 가상 객체의 주변 상황 관련된 제2 상황 정보를 획득한다.

114단계에서 상황 판단부(22)는 112단계에서 획득한 제1 상황 정보와 제2 상황 정보를 입력 받고, 미리 정해진 알고리즘에 따라 현재의 상황을 판단한다.

116단계에서 반응 결정부(24)는 114단계에서 판단된 상황에 따라 가상 공간 에 존재하는 가상 객체인 반응형 에이전트의 반응을 결정한다.

118단계에서 엑추에이터(actuator, 26)는 116단계에서 결정된 반응형 에이전트의 반응을 증강 현실 상에서 구체적인 영상으로 구현하기 위한 에이전트 동작 파라미터를 생성한다.

120단계에서 디스플레이부(미도시됨)는 110단계에서 생성된 증강 영상을 모니터 등의 사용자 인터페이스를 통해 사용자에게 제공한다. 휴대 단말의 경우, 휴대 단말의 액정화면모듈을 디스플레이부로 활용할 수 있다.

한편 본 발명의 사용자 반응형 증간 영상 생성 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트 들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로, 상기 개시된 실시예 들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.

본 발명의 사용자 반응형 증강 영상 생성 방법 및 시스템은, 증강 영상의 현실감, 몰입감, 공존감을 향상시킬 수 있으며, 사용자의 선호도, 경험을 반영한 증강 영상을 생성할 수 있기 때문에, 휴대폰, PDA, UMPC 등에서 구동되는 다양한 형태의 오락 관련 시스템, 교육 시스템에 적용가능하다.

도 1은 본 발명의 일 실시예에 따른 사용자 반응형 증강 영상 생성 시스템을 나타내는 블록도이다.

도 2는 가상 객체의 상황, 현실 상황에 따라 반응형 에이전트의 반응에 대한 예를 나타내는 참고도이다.

도 3은 본 발명의 일 실시예에 따른 사용자 반응형 증강 영상 생성 방법을 나타내는 블록도이다.

Claims

현실 공간에 존재하는 현실 객체에 대한 영상을 획득하는 영상 획득부;

상기 현실 객체와 관련된 제1 상황 정보와, 가상 공간에 존재하는 가상 객체와 관련된 제2 상황 정보를 입력 받고, 상기 제1 상황 정보에 따른 현실 공간의 상황과 상기 제2 상황 정보에 따른 상기 가상 객체가 존재하는 가상 공간의 상황을 고려하여, 생성하고자 하는 증강 영상의 상황을 판단하는 상황 판단부;

상기 판단된 상황에 따라 반응하는 가상 객체인 반응형 에이전트의 동작과 관련된 에이전트 동작 파라미터를 생성하는 동작 파라미터 생성부; 및

상기 영상 획득부에서 획득된 영상과 상기 동작 파라미터 생성부에서 생성된 에이전트 동작 파라미터를 이용하여 증강 영상을 생성하는 증강 영상 생성부를 포함하는 것을 특징으로 하는 증강 영상 생성 시스템.
제 1 항에 있어서,

사용자의 선호도 또는 경험과 관련된 사용자 히스토리 정보를 저장하는 사용자 프로파일 저장부; 및

상기 저장된 사용자 히스토리 정보에 따라 상황 판단을 제어하기 위한 제1 제어 변수를 상황 판단부에 전달하거나, 동작 파라미터의 생성을 제어하기 위한 제2 제어 변수를 동작 파라미터 생성부에 전달하는 반응 조절부를 더 포함하는 것을 특징으로 하는 증강 영상 생성 시스템.
제 1 항에 있어서,

상기 획득된 현실 객체에 대한 영상에서 마커를 추적하고, 상기 추적된 마커에 따른 가상 객체의 식별을 위한 식별 정보와 가상 객체의 위치 정보와 관련된 위치 정보를 결정하는 마커 추적부를 더 포함하며,

상기 상황 판단부는 상기 식별 정보와 위치 정보를 더욱 고려하여 상황을 판단하고,

상기 증강 영상 생성부는

상기 식별 정보 및 위치 정보를 이용하여 상기 가상 객체의 위치를 보정하는 가상 객체 정합 정보를 생성하는 가상 객체 정합부; 및

상기 가상 객체 정합 정보, 상기 영상 획득부에서 획득된 영상과 상기 동작 파라미터 생성부에서 생성된 에이전트 동작 파라미터를 이용하여 증강 영상을 생성하는 렌더링부를 포함하는 것을 특징으로 하는 증강 영상 생성 시스템.
제 1 항에 있어서, 상기 동작 파라미터 생성부는

상기 판단된 상황에 따른 반응형 에이전트의 반응을 결정하는 반응 결정부; 및

상기 결정된 반응에 따라 상기 반응형 에이전트의 동작을 제어하는 에이전트 동작 파라미터를 생성하는 엑추에이터를 포함하는 것을 특징으로 하는 증강 영상 생성 시스템.
제 1 항에 있어서,

상기 제 1 상황 정보는 현실 객체의 식별 정보, 위치 정보, 생체 신호 정보 및 현실 환경 정보로 이루어진 군으로 부터 선택하는 적어도 1개 이상의 정보를 포함하는 것을 특징으로 하는 증강 영상 생성 시스템.
제 1 항에 있어서,

상기 제 2 상황 정보는 가상 객체의 식별 정보, 위치 정보, 가상 객체의 상황 변화와 관련된 정보 및 가상 환경 정보로 이루어진 군으로 부터 선택되는 적어도 1개 이상의 정보를 포함하는 것을 특징으로 하는 증강 영상 생성 시스템.
제 3 항에 있어서,

상기 마커 추적부는 상기 현실 객체의 영상에 포함된 사용자 마커 영상, 가상 객체 마커 영상 또는 가상 에이전트 마커 영상을 추적하는 것을 특징으로 하는 증강 영상 생성 시스템.
a) 현실 공간에 존재하는 현실 객체에 대한 영상을 획득하는 단계;

b) 상기 현실 객체와 관련된 제1 상황 정보와, 가상 공간에 존재하는 가상 객체와 관련된 제2 상황 정보를 입력 받고, 상기 제1 상황 정보에 따른 현실 공간의 상황과 상기 제2 상황 정보에 따른 상기 가상 객체가 존재하는 가상 공간의 상황을 고려하여, 생성하고자 하는 증강 영상의 상황을 판단하는 단계;

c) 상기 가상 공간에 존재하며 상기 판단된 상황에 따라 반응하는 가상 객체인 반응형 에이전트의 동작과 관련된 에이전트 동작 파라미터를 생성하는 단계; 및

d) 상기 a)단계에서 획득된 영상과 상기 c)단계에서 생성된 에이전트 동작 파라미터를 이용하여 증강 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 증강 영상 생성 방법.
제 8 항에 있어서,

상기 b)단계에서 상황을 판단하는 것은 사용자의 선호도 또는 경험과 관련된 히스토리 정보로서 미리 저장된 사용자 프로파일을 더욱 고려하여 상황을 판단하거나, 또는 상기 c)단계에서 객체 반응 파라미터를 생성하는 것은 사용자의 선호도 또는 경험과 관련된 히스토리 정보로서 미리 저장된 사용자 프로파일을 더욱 고려하여 객체 반응 파라미터를 생성하는 것을 특징으로 하는 증강 영상 생성 방법.
제 8 항에 있어서,

상기 획득된 현실 객체에 대한 영상에서 마커를 추적하는 단계; 및

상기 추적된 마커에 따른 가상 객체의 식별을 위한 식별 정보 및 가상 객체의 위치와 관련된 위치 정보를 결정하는 단계를 더 포함하고,

상기 b)단계는 상기 식별 정보와 위치 정보를 더욱 고려하여 상황을 판단하고, 상기 d)단계는

d1) 상기 식별 정보 및 위치 정보를 이용하여 상기 가상 객체의 위치를 보정 하는 가상 객체 정합 정보 생성 단계; 및

d2) 상기 가상 객체 정합 정보를 더욱 고려하여 증강 영상을 생성하는 것을 특징으로 하는 증강 영상 생성 방법.
제 8 항에 있어서, 상기 c)단계는

c1) 상기 판단된 상황에 따른 반응형 에이전트의 반응을 결정하는 단계; 및

c2) 상기 결정된 반응에 따라 상기 반응형 에이전트의 동작을 제어하는 에이전트 동작 파라미터를 생성하는 단계를 포함하는 것을 특징으로 하는 증강 영상 생성 방법.
제 10 항에 있어서,

상기 마커를 추적하는 것은 상기 현실 객체의 영상에 포함된 사용자 마커 영상, 가상 객체 마커 영상 또는 가상 에이전트 마커 영상을 추적하는 것을 특징으로 하는 증강 영상 생성 방법.
제 8 항 내지 제 12 항에 기재된 증강 영상 생성 방법을 컴퓨터상에서 수행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.