KR101184876B1

KR101184876B1 - 영상과 상호작용이 가능한 캐릭터의 동적 효과를 생성하는 방법 및 장치

Info

Publication number: KR101184876B1
Application number: KR1020100012845A
Authority: KR
Inventors: 김현수; 안희범; 권무식; 오상욱; 이동혁; 황성택; 박안나
Original assignee: 삼성전자주식회사
Priority date: 2010-02-11
Filing date: 2010-02-11
Publication date: 2012-09-20
Also published as: KR20110093049A; CN102157006B; CN102157006A; EP2360645A2; US20110193867A1

Abstract

본 발명은 배경 영상의 특징에 따라 상기 배경과 상호작용이 가능한 캐릭터의 움직임 효과를 생성하기 위한 방법에 있어서, 배경 영상의 특징을 추출하는 과정과, 상기 추출된 배경 영상의 특징에 따라 상기 배경 영상 내에서 움직임 효과를 부여할 캐릭터를 결정하는 과정과, 사용자 입력을 포함한 외부 신호를 인식하는 과정과, 상기 배경 영상의 특징과 상기 인식된 외부 신호에 따라 상기 캐릭터의 움직임을 결정하는 과정과, 상기 배경 영상에 상기 캐릭터의 움직임을 실행하는 애니메이션을 재생하는 과정을 포함한다.

Description

영상과 상호작용이 가능한 캐릭터의 동적 효과를 생성하는 방법 및 장치{APPARATUS AND METHOD FOR CREATING CHARACTER'S DYNAMIC EFFECT RELATED TO IMAGE CONTENTS}

본 발명은 애니메이션 편집에 관한 것으로서, 특히 영상의 특징에 따라 영상 내의 캐릭터의 동적 효과를 생성하기 위한 방법 및 장치에 관한 것이다.

현재 모바일 기기에서 제공하는 플래시 기반의 애니메이션 편집기에서는 사용자가 영상 내에 캐릭터를 넣어 움직임 효과를 주고 싶은 경우, 배경 영상 및 캐릭터를 선택하고, 선택한 캐릭터의 움직임을 설정하기 위해, 미리 정의된 움직임이나 사용자가 직접 캐릭터가 움직일 경로를 터치로 입력하여 캐릭터의 움직임을 설정하도록 할 수 있다.

위와 같은 캐릭터 애니메이션 편집 기능은 사용자가 배경 영상에 적합한 캐릭터를 선정해야 하고, 또한 캐릭터의 움직임을 위해 사용자가 움직임 경로를 일일이 입력해야하는 불편함이 있으며, 몇 가지의 미리 정의된 제한적인 모션 효과 만을 줄 수 있다. 그리고 캐릭터 애니메이션을 저장하는 경우에 애니메이션은 항상 동일한 모션 효과 만을 반복하기 때문에 사용자 관점에서는 매번 동일한 효과를 보게 되는 단점이 있다.

또한 모바일 기기에서 애니메이션을 편집하는 경우, 편집에 익숙하지 않는 사용자가 배경 이미지에 적절한 캐릭터의 움직임을 PC에 비해 작은 크기의 화면을 통해 터치 입력을 이용하여 모바일 기기에서 편집하는 작업은 정확도가 떨어지게 된다. 따라서 사용자가 모바일 기기의 터치 스크린을 통해 직접 모션 라인을 그려 주는 경우 그 캐릭터의 움직임이 자연스럽지 못한 한계가 있다.

본 발명은 입력된 영상의 특징을 분석하여 자동으로 영상 내의 캐릭터의 동적 효과를 생성하기 위한 방법 및 장치를 제공하고자 한다.

이를 달성하기 위한 본 발명의 일 형태에 따르면, 배경 영상의 특징에 따라 상기 배경과 상호작용이 가능한 캐릭터의 움직임 효과를 생성하기 위한 방법에 있어서, 배경 영상의 특징을 추출하는 과정과, 상기 추출된 배경 영상의 특징에 따라 상기 배경 영상 내에서 움직임 효과를 부여할 캐릭터를 결정하는 과정과, 사용자 입력을 포함한 외부 신호를 인식하는 과정과, 상기 배경 영상의 특징과 상기 인식된 외부 신호에 따라 상기 캐릭터의 움직임을 결정하는 과정과, 상기 배경 영상에 상기 캐릭터의 움직임을 실행하는 애니메이션을 재생하는 과정을 포함함을 특징으로 하며,

상기 애니메이션 재생 중, 상기 외부 신호가 인식되는 경우, 상기 외부 신호에 따라 상기 캐릭터의 움직임을 다시 생성하여 재생하는 과정을 더 포함함을 특징으로 하며,

상기 배경 영상의 특징을 추출하는 과정은, 상기 배경 영상의 에지(edge) 정보를 추출하는 단계와, 상기 추출된 에지 정보에 따라 배경 영상의 영역을 분할하는 단계와, 상기 분할된 영역의 종류를 분류하는 단계를 포함함을 특징으로 하며,

상기 분할된 영역의 종류를 분류하는 단계는 미리 복수개의 영역의 종류에 따라 저장된 특징과, 현재 해당 영역의 특징을 비교하여 상기 해당 영역의 종류를 결정하는 단계임을 특징으로 하며,

상기 추출된 배경 영상의 특징에 따라 상기 배경 영상 내에서 움직임 효과를 부여할 캐릭터를 결정하는 과정은, 상기 배경 영상의 영역의 종류에 따라 미리 정의된 캐릭터가 존재하는 경우, 상기 미리 정의된 캐릭터를 움직임 효과를 부여할 캐릭터로 결정하는 과정임을 특징으로 하며,

상기 외부 신호는, 터치 센서, 중력 센서, 가속도 센서, 조도 센서, 마이크, 카메라 중 적어도 하나로부터 입력되는 신호이거나, 날씨정보, 시간정보, 메세지 수신, 이메일 수신 중 적어도 하나로 인해 발생되는 신호임을 특징으로 하며,

상기 배경 영상의 특징과 상기 인식된 외부 신호에 따라 상기 캐릭터의 움직임을 결정하는 과정은, 상기 배경 영상 내에서 가장 넓은 영역에 캐릭터를 배치하도록 설정하는 단계를 포함함을 특징으로 하며,

상기 배경 영상의 특징과 상기 인식된 외부 신호에 따라 상기 캐릭터의 움직임을 결정하는 과정은, 상기 배경 영상의 특징과 상기 인식된 외부 신호에 따라, 상기 캐릭터 정보에 저장된 캐릭터의 평소 움직임 정보에 따라 캐릭터의 움직임을 결정하는 단계와, 상기 외부 신호에 따라, 캐릭터 정보에 저장된 캐릭터가 반응하는 이벤트 중 적어도 하나가 발생한 경우, 상기 캐릭터 정보에 저장된 이벤트에 대한 반응 정보중 적어도 하나를 실행하도록 결정하는 단계를 포함함을 특징으로 하며,

상기 재생된 애니메이션을 저장하는 과정을 더 포함함을 특징으로 하며,

상기 재생된 애니메이션을 저장하는 과정은, 상기 재생된 애니메이션을 동영상으로 재생이 가능한 파일 포맷으로 저장하는 과정이며, 상기 파일 포맷은 저장한 데이터를 전송할 단말이 지원가능한 포맷 및 저장 용량을 판단하여 결정하는 것을 특징으로 한다.

본 발명의 다른 형태에 따르면, 배경 영상의 특징에 따라 상기 배경과 상호작용이 가능한 캐릭터의 움직임 효과를 생성하기 위한 장치에 있어서, 사용자 입력을 수신하기 위한 입력부와, 상기 배경 영상 및 복수개의 캐릭터 정보를 저장하기 위한 메모리부와, 상기 배경 영상의 특징을 추출하며, 상기 추출된 배경 영상의 특징에 따라 상기 배경 영상 내에서 움직임 효과를 부여할 캐릭터를 결정하며, 상기 사용자 입력을 포함한 외부 신호를 인식하며, 상기 배경 영상의 특징과 상기 인식된 외부 신호에 따라 상기 캐릭터의 움직임을 결정하는 제어부와, 상기 배경 영상에 상기 캐릭터의 움직임을 실행하는 애니메이션을 재생하기 위한 출력부를 포함함을 특징으로 한다.

본 발명은 애니메이션 효과를 위해 영상이나 사진, 그림 등을 해석하여 적절한 캐릭터를 추천하며, 캐릭터의 모션 효과를 자동으로 생성하여, 사용자에게 쉽고 효과적인 캐릭터 애니메이션을 만들 수 있게 하는 효과가 있다.

또한 매번 동일한 느낌의 컨텐츠가 아닌 만들 때마다 다른 애니메이션 효과를 갖는 컨텐츠를 생성할 수 있도록 하여 사용자가 생성된 컨텐츠를 재생하여 볼 때마다 다른 느낌을 가지도록 하며, 이를 휴대폰이나 스마트폰과 같은 이동 통신 장치의 배경 화면과 같은 전송가능한 포맷으로 생성해 낼 수 있도록 하여 사용자에게 다양한 애니메이션 컨텐츠를 제공할 수 있다.

본 발명은 스틸 이미지나 단순한　동영상에　캐릭터를　이용한 생동감 있는 애니메이션 효과를 부여하여, 캐릭터의 자율적　행동이나　캐릭터 간 상호　작용, 캐릭터의　배경에 따른　변화　및　캐릭터와　사용자 간의　상호작용을　통한　사용자의　감성을　자극할 수 있다.

또한 본 발명의 영상 인식, 영상의 특징 이해, 캐릭터 인공 지능의 결합을 통한 애니메이션 생성 방법을 이용한 새로운 사용자 애플리케이션 제공할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 영상의 특징에 따라 배경과 상호작용이 가능한 캐릭터의 동적 효과를 생성하기 위한 장치의 구성을 나타낸 도면
도 2는 본 발명의 일 실시 예에 따른 영상의 특징에 따라 배경과 상호작용이 가능한 캐릭터의 동적 효과를 생성하기 위한 장치에서 영상 해석부의 구성을 나타낸 도면
도 3은 본 발명의 일 실시 예에 따른 영상의 특징에 따라 배경과 상호작용이 가능한 캐릭터의 동적 효과를 생성하기 위한 동작 시, 입력 영상의 예를 나타낸 도면
도 4는 본 발명의 일 실시 예에 따른 영상의 특징에 따라 배경과 상호작용이 가능한 캐릭터의 동적 효과를 생성하기 위한 동작 시, 도 3의 영상에서 공간 특징을 추출한 예를 나타낸 도면
도 5는 본 발명의 일 실시 예에 따른 영상의 특징에 따라 배경과 상호작용이 가능한 캐릭터의 동적 효과를 생성하기 위한 동작 시, 영상 특징 해석의 예를 나타낸 도면
도 6은 본 발명의 일 실시 예에 따른 영상의 특징에 따라 배경과 상호작용이 가능한 캐릭터의 동적 효과를 생성하기 위한 동작 시, 캐릭터를 나타내는 파일 포맷의 예를 나타낸 도면
도 7은 본 발명의 일 실시 예에 따른 영상의 특징에 따라 배경과 상호작용이 가능한 캐릭터의 동적 효과를 생성하기 위한 동작 시, 도 3의 영상의 공간 특징에 따라 생성된 캐릭터의 동적 효과의 예를 나타낸 도면
도 8은 본 발명의 일 실시 예에 따른 영상의 특징에 따라 배경과 상호작용이 가능한 캐릭터의 동적 효과를 생성하기 위한 동작의 흐름을 나타낸 도면

이하 첨부된 도면을 참조하여 본 발명을 구성하는 장치 및 동작 방법을 본 발명의 실시 예를 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

본 발명은 입력된 영상의 특징을 분석하여 자동으로 영상 내의 캐릭터의 동적 효과를 생성하기 위한 방법 및 장치를 제공하고자 한다. 본 발명에서 캐릭터는 배경 영상 내에서 특정 동작(움직임)을 수행하는 그래픽 혹은 사진으로 표현된 객체를 말한다.

도 1은 본 발명의 일 실시 예에 따른 영상의 특징에 따라 배경과 상호작용이 가능한 캐릭터의 동적 효과를 생성하기 위한 장치의 구성을 나타낸 도면이다.

본 발명의 일 실시 예에 따른 영상의 특징에 따라 배경과 상호작용이 가능한 캐릭터의 동적 효과를 생성하기 위한 장치는 크게 입력부(110)와, 출력부(130)와, 메모리부(150)와, 전송부(140), 제어부(120)를 포함하여 구성된다.

입력부(110)는 터치 스크린, 터치 패드, 키패드 등으로 구성될 수 있으며, 사용자 입력을 수신한다. 본 발명의 일 실시 예에서 입력부(110)는 배경 영상에 표시할 캐릭터를 선택하기 위한 입력을 수신하며, 배경 영상에 포함된 캐릭터의 동적 효과를 생성한 경우 캐릭터의 반응을 위한 사용자 입력을 수신할 수 있다.

메모리부(150)는 상기 장치가 동작하기 위해 필요한 정보를 저장한다. 본 발명의 일 실시 예에서 메모리부(150)는 미리 입력된 배경 영상 및 복수의 캐릭터의 정보를 저장하며, 영상의 특징에 따라 캐릭터의 동적 효과를 부여한 최종 애니메이션을 생성 시 사용자의 선택에 따라 생성된 최종 애니메이션을 저장할 수 있다.

제어부(120)는 내부적으로 영상 해석부(121)와 캐릭터 추천부(122)와, 외부신호 인식부(123)와, 캐릭터 행동 결정부(124)와, 캐릭터 사용자 선택부(125)와, 실행부(렌더링부, 126)를 포함하여 구성된다.

영상 해석부(121)는 입력된 영상을 분석하고, 영상에 대한 해석 작업을 수행한다. 상기 입력 영상은 카메라부(미도시)가 장착된 경우, 카메라부로부터 촬영된 영상이나, 상기 장치에 미리 저장되어 있는 영상일 수 있다.

영상 해석부(121)는 입력 영상의 특징을 추출하여 후술할 캐릭터 추천부(122) 및 캐릭터 행동 결정부(124)로 전달한다. 도 2는 본 발명의 일 실시 예에 따른 영상의 특징에 따라 배경과 상호작용이 가능한 캐릭터의 동적 효과를 생성하기 위한 장치에서 영상 해석부의 구성을 나타낸 도면이다. 영상 해석부(121)는 도 2에 도시한 바와 같이 입력 영상의 에지를 추출하기 위한 에지 추출부(1211)와, 영상을 분할하기 위한 세그멘테이션부(1212)와, 분할된 영상의 종류를 결정하기 위한 영상 종류 분류부(1213)를 포함하여 구성될 수 있다.

따라서 영상 해석부(121)는 배경 영상의 특징을 추출하기 위해, 에지 추출부(1211)을 통해 배경 영상의 에지(edge) 정보를 추출하며, 세그멘테이션부(1212)를 통해 상기 추출된 에지 정보에 따라 배경 영상의 영역을 분할하고, 영상 종류 분류부를 통해 상기 분할된 영역의 종류를 분류한다.

도 3은 본 발명의 일 실시 예에 따른 영상의 특징에 따라 배경과 상호작용이 가능한 캐릭터의 동적 효과를 생성하기 위한 동작 시, 입력 영상의 예를 나타낸 도면이다. 도 3에 도시된 바와 같은 영상이 입력된 경우, 영상 해석부(121)는 에지 추출부(1211)를 이용하여 에지 맵(Edge Map) 정보 분석을 통하여 캐릭터가 이동할 수 있는 공간에 대한 정보를 획득한다. 도 4는 본 발명의 일 실시 예에 따른 영상의 특징에 따라 배경과 상호작용이 가능한 캐릭터의 동적 효과를 생성하기 위한 동작 시, 도 3의 영상에서 공간 특징을 추출한 예를 나타낸 도면이다. 상기 도 3의 영상에서 에지를 추출한 이상적인 결과는 도 4에 도시된 바와 같다.

그러나 카메라를 통해 입력된 입력 영상은 실제 수 많은 에지 정보들을 포함하고 있고, 공간도 매우 복잡하기 때문에 세그멘테이션(Segmentation)부(1212)를 통해 영역 분할을 수행하여 영역을 단순화 할 필요가 있다. 이때 영역 분할은 에지 추출부(1211)에서 추출한 에지 정보에 따라 분할될 수 있다. 이에 따라 입력 영상 내의 복잡도에 비례하여 추출된 배경 영상 내에 존재하는 다양한 영역 중에 비교적 큰 영역이나 특징이 두드러진 에지 정보를 가지는 영역을 추출할 수 있다.

또한 영상 해석부(121)는 영상 종류 분류부(1213)를 통해 입력 영상의 주요 영역 내의 다양한 특징 정보를 이용하여 영역 구분을 수행할 수 있다.

도 5는 본 발명의 일 실시 예에 따른 영상의 특징에 따라 배경과 상호작용이 가능한 캐릭터의 동적 효과를 생성하기 위한 동작 시, 영상의 특징을 해석한 예를 나타낸 도면이다. 본 발명은 영상의 영역 구분을 위한 특징 정보들을 미리 메모리부(150)에 데이터 베이스화하여 저장하며, 상기 영상의 특징 정보들을 데이터 베이스와 비교하여 현재 알고자 하는 관심 영역의 종류를 분류한다. 즉 입력 영상의 영역을 구분하고 해당 영역의 특성, 예를 들어 각 영역의 색상, 영역의 에지의 형태 등과 같은 특성에 따라 영역의 종류를 분류한다. 이에 따라 도 5의 영상을 예로 들면 각 영역의 특징에 따라 윗 부분의 영역을 하늘로 분류하고 아랫 부분의 영역을 바다로 분류할 수 있다. 이때 영역 구분을 위한 일반적인 특징 정보들은 영역 해석부(121)가 해석 할 수 있는 이미지 범위의 확장적인 개념으로서 사용자에 의해 미리 설정된 정보이거나, 미리 정의된 특징들을 기반한 이미지 기반 특징 데이터 베이스에 포함된 정보들이다.

영상 종류 분류부(1213)은 상기 분할된 영역의 종류를 분류하기 위해, 미리 복수개의 영역의 종류에 따라 저장된 특징과, 현재 해당 영역의 특징을 비교하여 현재 영역의 종류를 결정한다.

상기 캐릭터 추천부(122)는 영상 해석부(121)를 통해 얻어진 영상의 특성 정보를 기반으로 배경에 적합한 캐릭터들을 결정하여 추천한다. 도 6은 본 발명의 일 실시 예에 따른 영상의 특징에 따라 배경과 상호작용이 가능한 캐릭터의 동적 효과를 생성하기 위한 동작 시, 캐릭터를 나타내는 파일 포맷의 예를 나타낸 도면이다. 도 6에 도시된 바와 같이 각각의 캐릭터들의 정보는 이미 규정된 포맷으로 메모리부(150)에 미리 저장된다. 한편 상기 장치에 카메라(미도시)가 장착된 경우 사용자가 직접 촬영한 영상이나 저장된 영상을 이용하여 캐릭터를 생성할 수 있다. 또한 이러한 영상들을 이용하여 캐릭터의 움직임 효과를 나타낼 수 있는 애니메이션을 생성하여 캐릭터 정보에 저장할 수 있다.

도 6을 참조하면, 캐릭터의 평소의 움직임을 정의하는 캐릭터 액션 정보에는 움직임, 정지, 단순 움직임, 배경 경계선 반응 등의 설정값이 포함된다.

캐릭터가 반응하는 이벤트를 정의한 캐릭터 액션 이벤트 정보에는 외부 이벤트로 가속, 터치, 탭 디렉션, 특정 시간, 특정 날씨, 카메라 입력 등의 설정값이 포함되며, 내부 캐릭터간 이벤트로서, 캐릭터 간 충돌, 캐릭터 근접 반응, 다른 캐릭터 간의 충돌, 정해진 위치와 캐릭터 간의 충돌 등의 설정값이 포함된다.

캐릭터가 반응하는 이벤트가 발생 후 캐릭터의 움직임을 정의한 캐릭터 이벤트 액션 효과 정보에는 움직임, 고정, 단순 움직임, 경계선 따라감, 경계선 각 움직임, 임의의 위치 생성, 잠깐 나타났다 사라짐, 투명 효과 움직임 등의 설정값이 포함된다.

캐릭터는 상기 설정값들 중 적어도 하나 이상의 설정값이 선택되어 있어야 하며, 둘 이상의 설정값이 선택된 캐릭터는 그러한 상황이 발생한 경우, 선택된 설정값 들 중 랜덤하게 하나의 설정값을 골라 그 설정값에 따라 행동할 수 있다.

이와 같은 캐릭터 정보는 사용자가 인터넷 등의 통신망을 통해 제작된 캐릭터를 다운로드할 수 있으며, 사용자가 직접 캐릭터를 생성할 수도 있다.

한편 배경 영상에 포함시킬 캐릭터의 설정은 사용자가 특정 캐릭터를 직접 선택할 수도 있지만, 캐릭터 추천부(122)가 영상 해석부(121)를 통해 추출된 영상에 대한 특성 정보를 기반으로 배경 영상에 적합한 추천 캐릭터를 결정하여 사용자에게 제공할 수 있다. 예를 들어 추출된 배경 내에 단조로운 에지 정보가 있는 영역이 존재하면 사용자에게는 에지를 따라 움직일 수 있는 캐릭터를 제시하거나, 또는 공간 내에서 하늘이 있다고 결정되면 하늘에 연관된 캐릭터를 제시할 수 있다. 한편 캐릭터는 한 배경 영상에 동시에 두 개 이상이 선택되어 표시될 수도 있다.

상기 외부 신호 인식부(123)는 장착된 센서 등을 통해 얻을 수 있는 각종 신호들을 이용하여 의미 있는 정보들을 후술할 캐릭터 행동 결정부(124)로 전달한다.

예를 들어 외부 신호는　사용자 입력을 포함하며, 터치센서, 중력센서, 가속도센서, 조도센서, 마이크, 카메라 등의 각종 센서의 센싱 정보 및 날씨정보, 시간정보, 메세지 수진, 이메일 수신 등으로 인한 신호가 될 수 있으며, 각각의 신호들은 캐릭터 행동 결정부(124)에 메시지, 이벤트, 알림, Notification 등의 어플리케이션이 인지할 수 있는 방식으로 변환되어 전달된다. 또한 외부 신호 인식부(123)는 캐릭터 외에도 배경의 정보도 변화 시킬 수 있다. 이 경우 영상 해석부(121)에서 이에 따른 배경의 효과를 처리할 수 있다. 예를 들어, 시간적으로 밤이 되었을때나 기상 정보에 의해 눈이 내린다면, 배경에 눈이 내리거나 어두운 저녁의 배경으로 변경되도록 배경 영상에 애니메이션 효과를 줄 수 있다.

캐릭터 행동 결정부(124)는 상기 배경 영상에서 추출된 특징이나, 캐릭터의 특징 및 입력된 신호에 따라, 영상에 포함된 캐릭터의 행동을 결정한다. 기본적으로 캐릭터의 움직임은 배경 화면의 특성에 따라 자율적으로 결정된다. 예를 들어 배경 영상에 복잡도가 높은 약한 에지(Edge)들이 산재해 있으면 캐릭터의 행동이 느려지고 행동 반경이 제한되며, 캐릭터가 영상 내에서 좌충우돌하여 주변과의 충돌 횟수가 늘어나도록 표현된다.

또한 복잡도가 낮은 강한 에지가 있으면 배경과 캐릭터의 충돌 부분에서 반사되는 행동을 한다. 또한 기본적으로 배경 영상 내에서 비교적 넓은 영역에 캐릭터를 배치하도록 하며, 캐릭터가 위치된 영역의 특성에 맞는 캐릭터의 행동을 수행하도록 설정된다.

도 7은 본 발명의 일 실시 예에 따른 영상의 특징에 따라 배경과 상호작용이 가능한 캐릭터의 동적 효과를 생성하기 위한 동작 시, 도 3의 영상의 공간 특징에 따라 생성된 캐릭터의 동적 효과의 예를 나타낸 도면이다. 예를 들어, 도 7에 도시된 바와 같이, 하늘 영역에 위치된 나비 캐릭터는 날아다니도록 동적 효과가 부여된다. 또한 바다 영역에 배 캐릭터가 배치된다면 바다 수평선의 경계(에지) 정보에 따라 움직이도록 설정될 수 있다.

또한 캐릭터는 외부 신호 인식부(123)로부터 전달된 외부 신호에 따라 반응한다. 예를 들어 캐릭터의 움직임 중에 사용자 터치 입력이 전달되면 터치 입력된 좌표에 따라 캐릭터의 움직임이 달라질 수 있다. 예를 들어 사용자가 터치 입력한 좌표로 캐릭터가 움직이도록 동작할 수 있으며, 반대로 사용자가 터치 입력한 좌표에서 멀어지도록 캐릭터가 움직일 수 있다. 이러한 캐릭터의 움직임은 사용자가 각각의 캐릭터마다 세부적으로 설정할 수 있으나, 기본적으로 배경과 외부 신호에 따른 캐릭터의 일반 설정 정보에 따라 설정된다. 예를 들어 나비라는 캐릭터가 있다면 이 캐릭터는 배경 영상의 공간 내에서 특정 영역의 에지 내에서 움직이며, 사용자의 터치 입력에도 반응하며 움직일 수 있다.

이 때 각 캐릭터의 움직임을 결정하기 위한 계산은 부동소수점 연산 및 경계 등의 예외 상황에 대한 랜덤 함수를 적용하여 계산되며, 이에 따라 본 발명의 일 실시 예에 따른 애니메이션은 사용자에게 매번 다른 캐릭터 움직임 효과를 제공한다. 즉, 캐릭터가 이동하는 공간을 결정하는 방법 및 선택하는 방법, 그리고 시작 위치도 매번 동작을 생성할 경우마다 영역 내의 임의의 지점으로 결정된다. 사용자는 물리적으로 동일한 시작 위치를 지정하는 것이 불가능하며, 동일한 영상에서 동일한 캐릭터가 움직인다고 해도 매번 동일한 움직임 효과를 생성 시마다, 동일한 애니메이션은 생성되지 않는다.

캐릭터가 외부 신호 인식부(123)에 의해 전달된 정보에 반응하는 경우는, 예를 들어 캐릭터 애니메이션 실행 중에 문자 메시지가 수신된 경우에 캐릭터가 깜박이는 등의 효과를 통해서 사용자에게 문자 메시지가 왔음을 알려 줄 수 있으며, 해당 캐릭터를 터치하면 특정 정보를 표시하도록 설정할 수도 있다.

실행부(126)는 캐릭터 행동 결정부(124)에 의해 결정된 캐릭터의 효과 및 움직임을 배경 위에 그려서 최종적으로 생성한 애니메이션 이미지를 출력부로 전달한다.

출력부(130)는 터치 스크린, LCD 등으로 구성되며 영상을 출력한다. 본 발명의 일 실시 예에서는 상기 출력부(130)는 배경과　캐릭터의 움직임 효과가 부가된 애니메이션을　렌더링하여　시각적인 결과물을　표시부를 통해 출력한다. 한편, 최종 애니메이션 출력 시에는 애니메이션에 따라 음성이 재생되거나, 진동과 같은 효과가 발생하도록 할 수 있다.

전송부(140)는 영상의 특성과 센싱된 신호에 따른 캐릭터의 움직임 효과를 포함하도록 생성된 최종 애니메이션을 외부로 전송한다.

한편, 제어부(120)는 배경 영상의 특성과 외부 신호에 따른 캐릭터의 움직임 효과를 포함한 최종 애니메이션을 생성하여 메모리부(150)에 저장하거나 전송부(140)를 통해 외부로 전달할 수 있다. 이때 저장되는 형태는 단말에서 기본적으로 지원하는 포맷에 대한 사용자 정보(User Profile)를 참조하여 적절한 형태의 포맷을 생성한다. 지원되는 파일 포맷은 기본적으로 애니메이션을 제공하기 위한 SWF(ShockWaveFlash), Animated GIF(Graphics Interchange Format), MPEG(Moving Picture Experts Group), H.264 등의 동영상 포맷을 포함하며, 만일 저장하기 위한 장치가 애니메이션을 재생하기 위한 애니메이션 뷰어를 포함하지 않은 경우에는 일반적인 이미지인 JPEG(Joint Photographic Experts Group) 포맷으로 저장을 할 수 있다. 또한 저장되는 용량에 대한 체크를 통해서 적절한 저장 포맷을 선택할 수도 있다. 일반적으로 Animated GIF 의 경우에는 영상이 손실되거나 용량이 커지는 단점이 있으므로 용량에 따라 가변적으로 선택될 수 있다.

또한 제어부(120)는 애니메이션 생성 시 캐릭터를 움직이기 위해 최초 파라미터를 결정하며, 애니메이션 재생 중에도 주변 환경으로부터 입력받은 정보(외부 신호, 터치 입력 등)에 따라 캐릭터를 움직이기 위한 파라미터가 변경되어, 변경된 파라미터에 따라 캐릭터의 행동이나 움직임 궤도가 변경되어 출력하도록 한다. 즉, 상기 애니메이션 재생 중, 상기 외부 신호가 인식되는 경우, 상기 외부 신호에 따라 상기 캐릭터의 움직임을 다시 생성하여 재생한다.

도 8은 본 발명의 일 실시 예에 따른 영상의 특징에 따라 배경과 상호작용이 가능한 캐릭터의 동적 효과를 생성하기 위한 동작의 흐름을 나타낸 도면이다.

도 8을 참조하면, 본 발명의 일 실시 예에 따른 캐릭터의 동적 효과를 생성하는 동작은, 먼저 805단계에서 제어부(120)의 영상 해석부(121)가 입력된 배경 영상을 해석한다. 이 경우 배경 영상의 에지를 검출하거나, 영상의 복잡도에 따라 영상을 분할하거나, 데이터 베이스에 기 저장된 정보를 기초로 영상에서 분할된 영역의 종류를 결정한다.

다음 810단계에서 제어부(120)의 캐릭터 추천부(122)는 상기 영상 해석부(121)에서 해석한 영상의 특징에 따라 추천 캐릭터를 결정하여 표시부를 통해 사용자에게 제공한다. 이 경우 추천 캐릭터를 복수개가 될 수 있다. 다음 815단계에서는 추천한 캐릭터를 사용자가 선택한지 판단한다. 사용자가 추천한 캐릭터를 선택한 경우, 혹은 추천 캐릭터가 복수개인 경우 복수개의 추천 캐릭터 중 하나가 선택된 경우에는 820단계로 진행하여 선택된 추천 캐릭터를 배경 영상에 포함시키도록 설정한다.

상기 815단계에서 사용자가 추천 캐릭터를 선택하지 않은 경우에는 사용자가 임의로 캐릭터 목록에서 다른 캐릭터를 선택할 수 있으며 825단계로 진행하여 사용자로부터 선택된 캐릭터를 배경 영상에 포함시키도록 설정한다.

830단계에서는 애니메이션 생성 장치에 장착된 적어도 하나 이상의 센서로부터 신호를 인식한다. 835단계에서는 캐릭터 행동 결정부(124)가 상기 805단계에서 해석한 배경 영상의 특징, 선택된 캐릭터의 특징, 인식된 외부 신호를 토대로 캐릭터의 행동을 결정한다.

840단계에서는 실행부(126)가 상기 830단계에서 결정된 캐릭터 행동을 실행하며, 배경 및 캐릭터를 렌더링하여 애니메이션을 실행한다.

845단계에서는 캐릭터의 움직임 효과를 포함한 애니메이션을 저장할 지 판단한다. 845단계에서 저장하지 않는 것으로 판단하면 830단계로 진행하여 신호 인식을 대기하고 다시 캐릭터 행동을 결정하는 동작을 반복한다. 845단계에서 애니메이션을 저장하는 것으로 판단되면 850단계로 진행하여 미리 설정된 포맷으로 생성된 애니메이션을 저장하고 855단계로 진행한다. 855단계에서는 동작을 종료할지 판단하여 종료하지 않을 경우에는 830단계로 진행하고, 종료할 경우에는 전체 동작을 종료한다.

상기와 같이 본 발명의 일 실시예에 따른 영상과 상호작용이 가능한 캐릭터의 동적 효과를 생성하는 방법 및 장치의 구성 및 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다.

Claims

배경 영상의 특징에 따라 상기 배경과 상호작용이 가능한 캐릭터의 움직임 효과를 생성하기 위한 방법에 있어서,
상기 배경 영상의 특징을 추출하는 과정과,
상기 추출된 배경 영상의 특징에 따라 상기 배경 영상 내에서 움직임 효과를 부여할 캐릭터를 결정하는 과정과,
사용자 입력을 포함한 외부 신호를 인식하는 과정과,
상기 배경 영상의 특징과 상기 인식된 외부 신호에 따라 상기 캐릭터의 움직임을 결정하는 과정과,
상기 배경 영상에 상기 캐릭터의 움직임을 실행하는 애니메이션을 재생하는 과정을 포함하고,
상기 배경 영상의 특징을 추출하는 과정은,
상기 배경 영상의 에지(edge) 정보를 추출하는 단계와,
상기 추출된 에지 정보에 따라 배경 영상의 영역을 분할하는 단계와,
상기 분할된 영역의 종류를 분류하는 단계를 포함함을 특징으로 하는 캐릭터의 움직임 효과를 생성하기 위한 방법.
제 1항에 있어서,
상기 애니메이션 재생 중, 상기 외부 신호가 인식되는 경우, 상기 외부 신호에 따라 상기 캐릭터의 움직임을 다시 생성하여 재생하는 과정을 더 포함함을 특징으로 하는 캐릭터의 움직임 효과를 생성하기 위한 방법.
삭제
제 1항에 있어서, 상기 분할된 영역의 종류를 분류하는 단계는
미리 복수개의 영역의 종류에 따라 저장된 특징과, 현재 해당 영역의 특징을 비교하여 상기 해당 영역의 종류를 결정하는 단계임을 특징으로 하는 캐릭터의 움직임 효과를 생성하기 위한 방법.
제 4항에 있어서, 상기 추출된 배경 영상의 특징에 따라 상기 배경 영상 내에서 움직임 효과를 부여할 캐릭터를 결정하는 과정은,
상기 배경 영상의 영역의 종류에 따라 미리 정의된 캐릭터가 존재하는 경우, 상기 미리 정의된 캐릭터를 움직임 효과를 부여할 캐릭터로 결정하는 과정임을 특징으로 하는 캐릭터의 움직임 효과를 생성하기 위한 방법.
제 1항에 있어서, 상기 외부 신호는,
터치 센서, 중력 센서, 가속도 센서, 조도 센서, 마이크, 카메라 중 적어도 하나로부터 입력되는 신호이거나, 날씨정보, 시간정보, 메세지 수신, 이메일 수신 중 적어도 하나로 인해 발생되는 신호임을 특징으로 하는 캐릭터의 움직임 효과를 생성하기 위한 방법.
제 1항에 있어서, 상기 배경 영상의 특징과 상기 인식된 외부 신호에 따라 상기 캐릭터의 움직임을 결정하는 과정은,
상기 추출된 에지 정보에 따라 분할된 배경 영상의 영역들 중에서 가장 넓은 면적을 가지는 영역에 캐릭터를 배치하도록 설정하는 단계를 포함함을 특징으로 하는 캐릭터의 움직임 효과를 생성하기 위한 방법.
제 1항에 있어서, 상기 배경 영상의 특징과 상기 인식된 외부 신호에 따라 상기 캐릭터의 움직임을 결정하는 과정은,
상기 배경 영상의 특징과 상기 인식된 외부 신호에 따라, 상기 캐릭터 정보에 저장된 캐릭터의 평소 움직임 정보에 따라 캐릭터의 움직임을 결정하는 단계와,
상기 외부 신호에 따라, 캐릭터 정보에 저장된 캐릭터가 반응하는 이벤트 중 적어도 하나가 발생한 경우, 상기 캐릭터 정보에 저장된 이벤트에 대한 반응 정보중 적어도 하나를 실행하도록 결정하는 단계를 포함함을 특징으로 하는 캐릭터의 움직임 효과를 생성하기 위한 방법.
제 1항에 있어서,
상기 재생된 애니메이션을 저장하는 과정을 더 포함함을 특징으로 하는 캐릭터의 움직임 효과를 생성하기 위한 방법.
제 9항에 있어서, 상기 재생된 애니메이션을 저장하는 과정은,
상기 재생된 애니메이션을 동영상으로 재생이 가능한 파일 포맷으로 저장하는 과정이며, 상기 파일 포맷은 저장한 데이터를 전송할 단말이 지원가능한 포맷 및 저장 용량을 판단하여 결정하는 것을 특징으로 하는 캐릭터의 움직임 효과를 생성하기 위한 방법.
배경 영상의 특징에 따라 상기 배경과 상호작용이 가능한 캐릭터의 움직임 효과를 생성하기 위한 장치에 있어서,
사용자 입력을 수신하기 위한 입력부와,
상기 배경 영상 및 복수개의 캐릭터 정보를 저장하기 위한 메모리부와,
상기 배경 영상의 특징을 추출하며, 상기 추출된 배경 영상의 특징에 따라 상기 배경 영상 내에서 움직임 효과를 부여할 캐릭터를 결정하며, 상기 사용자 입력을 포함한 외부 신호를 인식하며, 상기 배경 영상의 특징과 상기 인식된 외부 신호에 따라 상기 캐릭터의 움직임을 결정하는 제어부와,
상기 결정된 캐릭터의 움직임에 따라 상기 배경 영상에 상기 캐릭터의 움직임을 실행하는 애니메이션을 재생하기 위한 출력부를 포함하고,
상기 제어부는 상기 배경 영상의 특징을 추출 시,
상기 배경 영상의 에지(edge) 정보를 추출하며, 상기 추출된 에지 정보에 따라 배경 영상의 영역을 분할하며, 상기 분할된 영역의 종류를 분류하는 것을 특징으로 하는 캐릭터의 움직임 효과를 생성하기 위한 장치.
제 11항에 있어서, 상기 제어부는
상기 애니메이션 재생 중, 상기 외부 신호가 인식되는 경우, 상기 외부 신호에 따라 상기 캐릭터의 움직임을 다시 생성하여 재생하는 것을 특징으로 하는 캐릭터의 움직임 효과를 생성하기 위한 장치.
삭제
제 11항에 있어서, 상기 분할된 영역의 종류를 분류하는 것은
미리 복수개의 영역의 종류에 따라 저장된 특징과, 현재 해당 영역의 특징을 비교하여 상기 해당 영역의 종류를 결정하는 것임을 특징으로 하는 캐릭터의 움직임 효과를 생성하기 위한 장치.
제 14항에 있어서, 상기 제어부가 추출된 배경 영상의 특징에 따라 상기 배경 영상 내에서 움직임 효과를 부여할 캐릭터를 결정하는 것은,
상기 배경 영상의 영역의 종류에 따라 미리 정의된 캐릭터가 존재하는 경우, 상기 미리 정의된 캐릭터를 움직임 효과를 부여할 캐릭터로 결정하는 것임을 특징으로 하는 캐릭터의 움직임 효과를 생성하기 위한 장치.
제 11항에 있어서, 상기 외부 신호는,
터치 센서, 중력 센서, 가속도 센서, 조도 센서, 마이크, 카메라 중 적어도 하나로부터 입력되는 신호이거나, 날씨정보, 시간정보, 메세지 수신, 이메일 수신 중 적어도 하나로 인해 발생되는 신호임을 특징으로 하는 캐릭터의 움직임 효과를 생성하기 위한 장치.
제 11항에 있어서, 상기 제어부가 상기 배경 영상의 특징과 상기 인식된 외부 신호에 따라 상기 캐릭터의 움직임을 결정하는 것은,
상기 추출된 에지 정보에 따라 분할된 배경 영상의 영역들 중에서 가장 넓은 면적을 가지는 영역에 캐릭터를 배치하도록 설정하는 것을 포함함을 특징으로 하는 캐릭터의 움직임 효과를 생성하기 위한 장치.
제 11항에 있어서, 상기 제어부가 상기 배경 영상의 특징과 상기 인식된 외부 신호에 따라 상기 캐릭터의 움직임을 결정하는 것은,
상기 배경 영상의 특징과 상기 인식된 외부 신호에 따라, 상기 캐릭터 정보에 저장된 캐릭터의 평소 움직임 정보에 따라 캐릭터의 움직임을 결정하며, 상기 외부 신호에 따라, 캐릭터 정보에 저장된 캐릭터가 반응하는 이벤트 중 적어도 하나가 발생한 경우, 상기 캐릭터 정보에 저장된 이벤트에 대한 반응 정보중 적어도 하나를 실행하도록 결정하는 것을 포함함을 특징으로 하는 캐릭터의 움직임 효과를 생성하기 위한 장치.
제 11항에 있어서, 상기 제어부는
상기 재생된 애니메이션을 상기 메모리부에 저장하는 것을 특징으로 하는 캐릭터의 움직임 효과를 생성하기 위한 장치.
제 19항에 있어서, 상기 제어부는 상기 재생된 애니메이션을 상기 메모리부에 저장할 때,
상기 재생된 애니메이션을 동영상으로 재생이 가능한 파일 포맷으로 저장하는 과정이며, 상기 파일 포맷은 저장한 데이터를 전송할 단말이 지원가능한 포맷 및 저장 용량을 판단하여 결정하는 것을 특징으로 하는 캐릭터의 움직임 효과를 생성하기 위한 장치.