KR101373020B1

KR101373020B1 - 정적 영상에서 애니메이션 아트 효과를 생성하기 위한 방법 및 시스템

Info

Publication number: KR101373020B1
Application number: KR1020120071984A
Authority: KR
Inventors: 알렉시 빌킨; 그나나세크르 슈르네니; 일리아 쏘포노브; 콘스탄틴 크리자노브키; 송민석
Original assignee: 삼성전자주식회사
Priority date: 2011-12-01
Filing date: 2012-07-02
Publication date: 2014-03-19
Also published as: EP2786349A4; EP2786349A1; KR20130061618A; RU2481640C1; US20130141439A1; WO2013081415A1

Abstract

본 발명은 영상 프로세싱 분야에 관한 것으로, 더욱 상세하게는 정적 영상들이 나타나는 동안에 부수하는 사운드의 파라미터 및 영상의 콘텐트에 따라 효과들이 나타나는 애니메이션 아트 효과를 생성하는 것에 관한 것이다. 정적 영상들 상에서 애니메이션 아트 효과를 생성하는 방법은 영상과 부수하는 사운드 특징 분석에 기초하여, 원본 정적 영상을 등록하고, 영상에서 관심 영역들을 검출하고 관심 영역들의 특징들을 계산하며, 관심 영역들에 앞서 검출된 특징들에 따라 아트 효과의 시각적 객체들을 생성하고, 부수하는 사운드의 특징들을 검출하고, 부수하는 사운드의 특징들에 따라 시각적 객체들의 파라미터들을 변경하며, 중첩된 아트 효과의 시각적 객체들을 포함하는 초기 원본 정적 영상으로 구성된 애니메이션의 프레임을 생성한다. 이러한 방법이 구현되는 시스템은 관심 영역들의 검출 모듈, 관심 영역들의 특징 검출 모듈, 시각적 객체들의 생성 모듈, 부수하는 사운드의 특징 검출 모듈, 애니메이션 프레임들의 생성 모듈 및 디스플레이부를 포함한다.

Description

정적 영상에서 애니메이션 아트 효과를 생성하기 위한 방법 및 시스템{THE METHOD AND SYSTEM FOR GENERATING ANIMATED ART EFFECTS ON STATIC IMAGES}

본 발명은 영상 프로세싱에 관한 것으로, 더욱 상세하게는 정적 영상들이 나타나는 동안의 부수하는 사운드(accompanying sound)의 파라미터 및 영상의 콘텐트에 따라 효과가 나타나는 애니메이션 아트 효과를 생성하는 것에 관한 것이다.

정적 영상들에 대한 아트 효과들의 생성과 관련된 문제를 해결하기 위한 다양한 접근법들이 종래 기술로서 알려져 있다. 일 예로서, 정적 영상들 및/또는 비디오 시퀀스들에 대한 아트 효과들의 생성을 위하여 폭넓게 사용되는 프로그램들, 특히 어도비 포토샵(Adobe Photoshop), 어도비 프리미어(Adobe Premier) 및 유리드 비디오 스튜디오(Ulead Video Studio)가 있다 (참조: http://ru.wikipedia.org/wiki/Adobe_Systems) [1]. 일반적으로 사용자는 원하는 효과 및 파라미터들을 수동으로 선택하고 커스터마이징할 수 있다.

다른 접근법은 영상의 콘텐트의 분석에 기초한다. 예를 들어, 미국 특허 제 7,933,454 [2]는 예비 분류에 기초하여 영상들의 품질의 개선 시스템을 청구한다. 영상 콘텐트가 분석되고, 이러한 분석에 기초하여 미리 결정된 클래스들 중 하나로 영상의 분류가 수행된다. 더욱이 영상 개선 방법은 분류의 결과들에 따라 선택된다.

다수의 특허들 및 특허 출원들이 아트 효과들의 생성 방법을 청구한다. 예를 들어, 미국 특허 출원 제 20090154762 [3] 는 이를 테면, 유화식 그림, 펜슬 드로잉, 수채화 그림 등과 같은 다양한 아트 효과들이 추가된 정적 영상의 변환에 대한 방법 및 시스템에 대한 설명을 포함한다.

미국 특허 제 7,593,023 [4]는 아트 효과의 생성을 위한 방법 및 디바이스를 청구하고, 그리고 이를 테면 프레임의 심도(depth) 및 컬러와 같은 사실적인 엘리먼트들 또는 아트 효과를 포함하는 고유한 전체 영상의 생성을 제공하는 효과에 대한 복수의 파라미터들이 랜덤하게 설정(install)된다.

미국 특허 7,904,798 [5]는 슬라이드들의 전환 속도가 부수하는 배경 사운드의 특징들에 의존하는 멀티미디어 프레젠테이션 또는 슬라이드쇼의 방법 및 시스템을 제공한다. 이러한 특허는 본 발명의 프로토타입으로서 고려될 수도 있다.

본 발명은 정적 영상들 상에서 애니메이션 아트 효과들의 생성을 위한 방법 및 시스템에 관한 것이다.

본 발명의 일 실시예에 따른 정적 영상 및 부수하는 사운드 특징 분석에 기초하여 정적 영상들 상에서 애니메이션 아트 효과들의 생성을 위한 방법은, 원본 정적 영상을 등록하는 단계; 원본 정적 영상에서 관심 영역들을 검출하고, 관심 영역들의 특징들을 계산하는 단계; 관심 영역들에서 검출된 특징들에 따라 아트 효과의 시각적 객체들을 생성하는 단계; 부수하는 사운드의 특징들을 검출하는 단계; 부수하는 사운드의 특징들에 따라 시각적 객체들의 파라미터들을 변경하는 단계; 및 중첩된 아트 효과의 시각적 객체들을 포함하는 원본 정적 영상으로 구성된 애니메이션의 프레임을 생성하는 단계를 포함할 수 있다.

또한, 본 발명의 일 실시예에 따른 방법은, 검출 프로세스 동안에 상기 관심 영역들의 영상 상에서, 휘도 제어, 대조(contrast) 제어, 감마-정정, 화이트 컬러의 밸런스의 커스텀화(customization), 영상의 컬러 시스템의 전환 중 적어도 하나의 동작을 포함하는 상기 원본 정적 영상의 예비 프로세싱이 수행될 수 있다.

또한, 본 발명의 일 실시예에 따른 방법은 볼륨, 스펙트럼, 스피드, 클록 사이클, 레이트, 리듬의 특징들의 세트로부터 상기 부수하는 사운드에 대한 임의의 서브세트가 계산될 수 있다.

또한, 본 발명의 일 실시예에 따라, 원본 정적 영상의 픽셀들은 상기 시각적 객체들과 결합하기 이전에 애니메이션의 프레임의 생성의 프로세스 동안에 필터에 의하여 프로세싱될 수 있다.

또한, 본 발명의 일 실시예에 따라, 시각적 객체들은 애니메이션의 프레임의 생성 시에 가용 시각적 객체들의 세트 중 표시(representation)를 위하여 랜덤하게 선택될 수 있다.

본 발명의 일 실시예에 따라, 시각적 객체들은 애니메이션의 프레임의 생성 시에 시각적 객체들의 특징들에 따른 확률에 기초하여 가용 시각적 객체들의 세트 중 표시를 위하여 선택될 수 있다.

본 발명의 다른 실시예에 따른, 정적 영상들 상에 애니메이션 아트 효과들의 생성을 위한 시스템은, 관심 영역들의 위치의 검출 및 영상의 데이터의 분석의 수행으로써 실행되는 관심 영역들의 검출 모듈; 관심 영역들의 특징들의 계산으로써 실행되는 관심 영역들의 특징 검출 모듈; 효과의 시각적 객체들의 생성으로써 실행되는 시각적 객체들의 생성 모듈; 부수하는 사운드의 파라미터들의 계산으로써 실행되는 부수하는 사운드의 특징 검출 모듈; 효과의 동작의 시맨틱들에 따라 부수하는 사운드의 현재 특징들에 기초하여 변경된, 시각적 객체들 및 정적 영상을 결합한, 효과의 애니메이션의 프레임들의 생성으로써 실행되는 애니메이션 프레임들의 생성 모듈; 및 애니메이션 프레임들의 생성 모듈로부터 수신된, 애니메이션의 프레임들을 사용자에게 표시함으로써 실행되는 디스플레이부를 포함할 수 있다.

본 발명의 일 실시예에 따른, 정적 영상은 관심 영역들의 검출 모듈의 입력부에 도달하고, 영상들의 분할(segmentation), 프로세싱의 툴 및 방법을 이용하여 관심 영역들의 검출 모듈은 효과의 동작의 시맨틱(semantic)들에 따라 관심 영역의 위치를 자동적으로 검출하고, 관심 영역들의 특징 검출 모듈에 추가로 전달되는 검출된 관심 영역들의 리스트는 관심 영역들의 검출 모듈의 출력부에서 형성될 수 있다.

본 발명의 일 실시예에 따라 관심 영역들의 검출 모듈에 의하여 검출된 관심 영역들의 리스트, 그리고 정적 영상은 관심 영역들의 특징 검출 모듈의 입력부에 도달하고, 관심 영역들의 특징 검출 모듈은 입력된 리스트로부터 관심 영역 각각에 대한 효과의 동작의 시맨틱들에 따라 특징들의 세트를 계산하고, 시각적 객체들의 생성 모듈에 추가로 전달되는 관심 영역들의 특징들의 리스트는 관심 영역들의 특징 검출 모듈의 출력부에서 형성될 수 있다.

본 발명의 일 실시예에 따라, 관심 영역들의 특징들의 리스트는 시각적 객체들의 생성 모듈의 입력부에 도달하고, 시각적 객체들의 생성 모듈은 그림들, 궤적들, 피크들의 세트들, 텍스쳐, 스타일들 중 적어도 하나를 포함하는 시각적 객체들의 세트를 생성하고, 효과의 동작의 시맨틱들에 따라 객체들을 합성하며, 애니메이션 프레임들의 생성 모듈에 추가로 전달되는 시각적 객체들의 리스트는 시각적 객체들의 생성 모듈의 출력부에서 형성될 수 있다.

본 발명의 일 실시예에 따라, 부수하는 사운드의 오디오 신호의 프래그먼트(fragment)는 부수하는 사운드의 특징 검출 모듈의 입력부에 도달하고, 부수하는 사운드의 특징 검출 모듈은 효과의 동작의 시맨틱들에 따라 특징들을 검출하고 오디오 데이터를 분석하며, 실시간의 부수하는 사운드의 특징들의 리스트는 애니메이션 프레임들의 생성 모듈의 요청들에 의하여 부수하는 사운드의 특징 검출 모듈의 출력부에서 형성될 수 있다.

본 발명의 일 실시예에 따라, 정적 영상, 효과의 시각적 객체들의 리스트 및 부수하는 사운드의 특징들의 리스트는 애니메이션 프레임들의 생성 모듈의 입력부에 도달하고, 애니메이션 프레임들의 생성 모듈은 효과의 시맨틱들에 따라 부수하는 사운드 특징들에 기초하여 변경된 파라미터들을 포함하는 중첩된 시각적 객체들을 포함하는 정적 영상으로 구성되는 애니메이션의 프레임의 영상을 형성하며, 디스플레이부에 추가로 전달되는 애니메이션의 프레임의 영상은 애니메이션 프레임들의 생성 모듈의 출력부에서 형성될 수 있다.

본 발명의 일 실시예에 따라, 부수하는 사운드의 특징 검출 모듈은 부수하는 사운드의 특징 검출 모듈로 하여금 애니메이션 프레임들의 생성 모듈과 비동기적으로 동작하게 하는 특징들의 값들의 외삽(extrapolation) 블록을 포함할 수 있다.

본 발명의 일 실시예에 따라, 부수하는 사운드의 특징 검출 모듈은 오디오 데이터의 새로운 프래그먼트들이 액세스가 가능해짐에 따라 오디오 데이터의 새로운 프래그먼트들을 프로세싱하고, 특징들의 값들의 외삽을 선택적으로 수행하며 애니메이션 프레임들의 생성 모듈의 요청에 응답하여 부수하는 사운드 특징들을 제공할 수 있다.

본 발명의 일 실시예에 따라, 부수하는 사운드의 특징 검출 모듈은 부수하는 사운드의 특징 검출 모듈로 하여금 애니메이션 프레임들의 생성 모듈과 비동기적으로 동작하게 하는 특징들의 값들의 내삽(interpolation) 블록을 포함할 수 있다.

본 발명의 일 실시예에 따라, 부수하는 사운드의 특징들의 검출 모듈은 오디오 데이터의 새로운 프래그먼트들이 액세스가 가능해짐에 따라 오디오 데이터의 새로운 프래그먼트들을 프로세싱하고, 특징들의 값들의 내삽을 선택적으로 수행하며 애니메이션 프레임들의 생성 모듈의 요청에 응답하여 부수하는 사운드 특징들을 제공할 수 있다.

한편, 본 발명의 일 실시예에 의하면, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.

도 1은 플래싱 라이트(Flashing light) 효과의 애니메이션의 프레임들의 일 예를 도시한다.
도 2는 본 발명에 따른 방법에 대한 순서도를 도시한다.
도 3은 본 발명의 시스템의 일 예를 도시한다.
도 4는 플래싱 라이트 효과에 대한 관심 영역의 검출 절차를 나타내는 순서도를 도시한다.
도 5는 플래싱 라이트 효과에 대한 부수하는 배경 사운드의 파라미터들의 검출 절차를 나타내는 순서도를 도시한다.
도 6은 플래싱 라이트 효과에 대한 애니메이션의 프레임들의 생성 절차를 나타내는 순서도를 도시한다.
도 7은 태양광 스팟(Sunlight spot) 효과에 대한 애니메이션의 프레임들의 생성 절차를 나타내는 순서도를 도시한다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

정적 영상들에 대하여 동적/애니메이션 아트 효과들의 생성을 위한 기존의 툴의 문제점은, 사용자에게 특정한 지식을 요구하여 오직 수동으로만 파라미터들을 커스터마이징하게 하고, 그리고 효과를 추가하게 하며, 많은 시간이 소요된다는 점이다. 그 결과인 애니메이션은, 비디오 시퀀스로서 파일의 형태로 저장되고, 많은 메모리를 차지한다. 재생 중에는 비디오 시퀀스의 동일한 프레임들이 반복되고, 관객들을 매우 빨리 지치게 만든다. 부수하는 배경 사운드의 파라미터들 및 영상의 특징들(파라미터들)에 의존하여 애니메이션 효과의 동적 등장을 변경하게 하기 위한 종래의 방법들은 존재하지 않는다.

본 발명에 따른 해결 방안으로서는, 특히, 부수하는 사운드 파라미터들에 따른 효과의 파라미터의 변경 및 각각의 구체적인(concrete) 영상에 대한 효과의 파라미터들의 조정에 기인하여 개선된 미적 특성들을 포함하는 정적 영상에 대한 아트 애니메이션 효과의 자동 즉, 사용자의 개입 없는 생성을 제공하는 툴들의 개발을 포함할 수 있다. 제공되는 접근법은 부수하는 배경 사운드에 따른 프레임들의 변경 효과 및 실시간으로 생성된 애니메이션의 프레임들의 반복의 전체적인 부재 (absence)를 실질적으로 제공할 수 있다.

많은 현대의 전자 디바이스들은 멀티미디어 능력을 포함하고, 이를 테면 슬라이드-쇼의 형태로 사진과 같은 정적 영상들을 나타낼 수 있다는 것을 주목할 필요가 있다. 이러한 슬라이드-쇼들은 종종 음악 재생과 같은 부수하는 배경 사운드를 수반할 수 있다. 사용자의 의도대로 나타나는 다양한 애니메이션 아트 효과들은 쇼가 진행될 때 정적 영상들에 적용될 수 있다. 이러한 효과들은 일반적으로 영상의 프래그먼트들의 국부적 변경 또는 영상에 의한 소정의 시각적 객체들의 움직임과 관련된다. 본 발명에서 시각적 객체들의 초기 파라미터들의 개수는 영상의 콘텐트에 의존하고, 따라서 애니메이션의 등장은 영상들 사이에서 다양할 수 있다. 효과들의 파라미터들의 개수는 이를 테면 볼륨, 사운드 스펙트럼에서의 주파수들의 할당, 리듬, 레이트(rate)와 같은 부수하는 배경 사운드의 파라미터들에 의존하고, 그리고 시각적 객체들의 등장은 프레임들 사이에서 다양할 수 있다.

도 1은 본 발명에 따른 플래싱 라이트(Flashing light) 아트 효과의 애니메이션의 몇몇의 프레임들의 일 예를 도시한다. 주어진 효과에서 플래싱 스타들의 컬러, 디멘젼(dimension) 및 위치는 원본 정적 영상의 가장 밝은 쪽들의 컬러, 디멘젼 및 위치에 의존할 수 있다. 스타들의 플래싱의 주파수는 이를 테면 스펙트럼(주파수들의 할당), 레이트, 리듬 및 볼륨과 같은 부수하는 배경 사운드의 파라미터들에 의존할 수 있다.

도 2는 본 발명에 따른 방법에 대한 순서도를 도시한다. 첫 번째 단계 201에서 원본 정적 영상이 등록/엔터될 수 있다. 또한 효과의 시맨틱(semantic)들에 따라, 영상 상에서 관심 영역들이 검출(단계 202)되고, 관심 영역의 특징들이 계산될 수 있다(단계 203). 단계 204에서 아트 효과의 시각적 객체들은 앞서 검출된 관심 영역들의 특징들에 따라 생성될 수 있다. 다음의 단계들은 애니메이션의 각각의 후속 프레임의 생성을 위하여 반복될 수 있다:

부수하는 사운드 프래그먼트를 수신(단계 205) 및 부수하는 사운드 특징들을 검출(단계 206);

부수하는 사운드 특징들에 따라 시각적 객체들의 파라미터들을 변경(단계 207);

중첩된 아트 효과의 시각적 객체들을 포함하는 초기 정적 영상으로 구성되는 애니메이션의 프레임을 생성(단계 208);

디스플레이부 상에 애니메이션 프레임을 시각화(단계 209).

열거된 단계들은 효과가 나타나는 시간까지 수행되고, 종료될 수 있거나 또는 사용자로부터 효과 발생의 종료를 위한 커맨드가 수신될 때까지 지속될 수 있다 (단계 210).

도 3은 정적 영상들 상에서 애니메이션 아트 효과들의 생성을 위한 시스템을 도시한다. 관심 영역들의 검출 모듈(301)은 원본 정적 영상을 수신할 수 있다. 모듈(301)은 이를 테면 휘도 제어, 대조(contrast), 감마-정정, 컬러 밸런스 제어, 컬러 시스템들 사이의 전환 등과 같은 영상의 예비 프로세싱의 동작이 구현되어 수행될 수 있다. 모듈(301)은 형태학적(morphological) 필터링 및 영상들의 분할 방법을 이용하여 효과의 동작의 시맨틱들에 따라 관심 영역들의 위치를 자동적으로 검출할 수 있다. 휘도, 컬러, 조직적이고 형태학적 특징들에 기초한 다양한 파라메트릭 필터링 및 분할 방법들이 사용될 수 있다. 관심 영역들의 특징 검출 모듈(302)로 추가로 전달될 수 있는 검출된 관심 영역들의 리스트는 모듈(301)의 출력부에서 형성될 수 있다.

관심 영역들의 특징 검출 모듈(302)은 입력부에서 관심 영역들의 리스트 및 초기 정적 영상을 수신할 수 있다. 관심 영역 각각에 대하여 주어진 모듈(302)은 아트 효과의 시맨틱들에 따라 특징들의 세트를 계산할 수 있다. 관심 영역들의 휘도, 컬러, 조직적이고 형태학적 특징들이 사용될 수 있다. 관심 영역들의 특징들의 리스트는 시각적 객체들의 생성 모듈(303)로 추가로 전달될 수 있다.

시각적 객체들의 생성 모듈(303)은 관심 영역들의 특징들 및 효과의 동작의 시맨틱들에 따라, 이를 테면 그림들, 궤적들, 피크들의 세트들, 텍스쳐, 스타일들과 같은 시각적 객체들의 세트를 생성하고, 그리고 객체들을 합성할 수 있다. 애니메이션 프레임들의 생성 모듈(305)로 전달되는 시각적 객체들의 리스트는 모듈(303)의 출력부에서 형성될 수 있다.

부수하는 사운드의 특징 검출 모듈(304)은 효과의 시맨틱들에 따라 입력부에서 부수하는 사운드의 오디오 신호의 프래그먼트를 수신하고, 이를 테면 볼륨, 주파수들의 할당의 스펙트럼, 클록 사이클, 레이트, 리듬 등과 같은 부수하는 사운드 파라미터들을 계산할 수 있다. 모듈(304)은 동기식 및 비동기식 모드 둘 다로 동작될 수 있다. 동기식 모드에서 부수하는 사운드의 특징 검출 모듈(304)은 부수하는 사운드의 프래그먼트를 요청하고 그리고 애니메이션의 각각의 프레임에 대하여 부수하는 사운드의 특징들을 계산할 수 있다. 비동기식 모드에서 부수하는 사운드의 특징 검출 모듈(304)은 부수하는 사운드 프래그먼트가 시스템으로 도달하는 동안 부수하는 사운드 프래그먼트를 처리하고, 실시간으로 부수하는 사운드의 특징들의 계산을 위하여 필요한 데이터를 저장(remember)할 수 있다. 부수하는 사운드의 특징 검출 모듈(304)은 모듈로 하여금 애니메이션 프레임들의 생성 모듈(305)과 비동기적으로 동작하게 하는 특징들의 값들의 외삽(extrapolation) 또는 내삽(interpolation) 블록을 포함하고, 다시 말해서, 부수하는 사운드의 특징 검출 모듈(304)은 오디오 데이터의 새로운 프래그먼트들이 액세스가 가능해짐에 따라 오디오 데이터의 새로운 프래그먼트들을 프로세싱하며, 그리고 필요하다면 특징들의 값들의 외삽 또는 내삽을 수행하고 그리고 애니메이션 프레임들의 생성 모듈(305)의 요청들에 응답하여 부수하는 사운드 특징들을 제공할 수 있다. 부수하는 사운드의 특징들의 리스트는 애니메이션 프레임들의 생성 모듈(305)의 요청들에 의하여 부수하는 사운드의 특징 검출 모듈(304)의 출력부에서 실시간으로 형성될 수 있다.

애니메이션 프레임들의 생성 모듈(305)은 입력부에서 부수하는 사운드 파라미터들, 시각적 객체들 및 원본 정적 영상을 수신할 수 있다. 주어진 모듈(305)은 효과의 동작의 시맨틱들에 따라 부수하는 사운드의 현재 특징들에 기초하여 변경된 시각적 객체들과 원본 정적 영상을 결합한 효과의 애니메이션 프레임들을 형성할 수 있다. 표시(representation) 디바이스(306)로 추가로 전달되는 애니메이션 프레임의 영상은 모듈(305)의 출력부에서 형성될 수 있다.

표시 디바이스(306)는 애니메이션 프레임들의 생성 모듈(305)로부터 수신된 애니메이션 프레임들을 사용자에게 표시할 수 있다.

모든 열거된 모듈들은 시스템 온 칩(SoC), 프로그래밍된 로직 어래이들(FPGA), 또는 주문형 집적 회로(ASIC)의 형태로 구현될 수 있다. 모듈들의 기능은 모듈들에 대한 설명 그리고 특히 애니메이션 아트 효과 '플래싱 라이트'의 구현과 같은 일 예와 같은 적절한 방법에 대한 설명으로부터 명확히 이해될 수 있을 것이다. 주어진 효과는 영상의 정방형 발광 프래그먼트들에 의하여 국소적으로 할당된 화이트 또는 컬러 스타들의 플래싱 및 회전을 도시한다.

관심 영역들의 검출 모듈은 영상 상에서 밝은 영역들을 검출하기 위하여 이하의 동작들을 수행할 수 있다 (도 4 참조).

1. 원본 영상의 휘도의 히스토그램들을 계산 (단계 401).

2. 히스토그램에 의한 분할을 위한 임계값을 계산 (단계 402).

3. 임계값 클리핑에 의하여 영상을 분할 (단계 403).

관심 영역들의 특징 검출 모듈은 이하의 동작들을 수행할 수 있다:

1. 적어도 관심 영역 각각에 대하여 이하의 특징들을 포함하는 특징들의 세트를 계산:

a. 영역 내의 컬러 컴포넌트들의 평균 값들.

b. 매스(mass)의 중앙 좌표.

c. 관심 영역의 면적 대 영상 면적의 비율.

d. 구상(rotundity) 계수 - 관심 영역의 면적과 동일한 면적을 갖는 원의 지름 대 관심 영역의 선형 디멘젼들 중 최대와의 비율.

e. 작은 광원상의 유사도의 메트릭 - 관심 영역의 상대적 면적, 구상 계수, 평균 휘도, 관심 영역의 최대 휘도의 가중 합으로서 계산되는 적분(integral) 파라미터.

2. 관심 영역들 전체에서 사전 설정된 기준을 만족시키는 특징들을 포함하는 관심 영역들을 선택.

시각적 객체들의 생성 모듈은 플래싱 및 회전 스타들, 위치 검출, 관심 영역들의 특징들에 따른 각각의 스타의 디멘젼들 및 컬러를 포함하는 시각적 객체들의 리스트를 생성할 수 있다.

부수하는 사운드의 특징 검출 모듈은 부수하는 사운드의 프래그먼트를 수신하고 사운드의 점프 변경들을 검출할 수 있다. 이러한 점프 변경들의 검출 단계들은 도 5에서 도시된다. 단계 501에서 고속 푸리에 변환(Fast Fourier Transformation; FFT)이 오디오 데이터의 프래그먼트에 대하여 수행되고 부수하는 사운드의 주파수들의 스펙트럼이 획득될 수 있다. 스펙트럼은 다수의 주파수 밴드들로 분할될 수 있다. 주파수 밴드들 중 적어도 하나에서 모양 변경이 아주 잠깐 동안 발생할 때 점프 변경이 검출될 수 있다 (단계 503).

애니메이션 프레임들의 생성 모듈은 각각의 프레임에 대하여 다음의 동작들을 수행할 수 있다 (도 6 참고):

1. 부수하는 사운드의 파라미터들에 대한 요청을 생성하고 이를 부수하는 사운드의 특징 검출 모듈에 전달 (단계 601);

2. 시각적 객체들의 출현을 변경 - 부수하는 사운드 파라미터들 및 현재의 상태에 따른 별표(asterisk)들 (단계 602);

3. 생성된 프레임의 원본 영상들을 버퍼로 복사 (단계 603);

4. 시각적 객체들의 렌더링을 수행 - 생성된 프레임 상의 별표들 (단계 604).

모듈의 동작 결과로서 별표들은 프레임들의 애니메이션 시퀀스 상에서 부수하는 사운드와 함께 플래싱할 수 있다.

본 발명의 다른 실시예는 "태양광 스팟(Sunlight spot)" 애니메이션 아트 효과일 수 있다. 광 스테인(light stain)은 주어진 효과로 영상에서 이동할 수 있다. 스테인의 이동의 궤적은 프리-어텐티브(pre-attentive) 시각적 모델에 따라 어텐션의 영역들에 의존할 수 있다. 스테인의 움직임 속력은 부수하는 사운드 레이트에 의존할 수 있다. 스테인의 형태, 컬러 및 텍스쳐는 부수하는 사운드의 프래그먼트의 스펙트럼에 의존할 수 있다.

원본 영상에서의 관심 영역들의 검출 모듈은 관심 영역들로서 드로잉 어텐션, 선택 영역들, 중요도 또는 세일리언시(saliency) 맵을 생성할 수 있다. 세일리언시 맵의 빠른 구성 방법은 "Efficient Construction of Saliency Map", Wen-Fu Lee, Tai-Hsiang Huang, Yi-Hsin Huang, Mei-Lan Chu, and Homer H. Chen (SPIE-IS&T/ Vol. 7240, 2009) [6] 문헌에 기술되어 있다. 관심 영역들의 특징 검출 모듈은 각각의 영역에 대한 매스(mass)의 중심 좌표를 계산할 수 있다. 시각적 객체들의 생성 모듈은 관심 영역들 사이에서 광 스테인의 움직임에 대한 노드들을 생성할 수 있다. 부수하는 사운드의 특징 검출 모듈은 부수하는 사운드의 프래그먼트의 스펙트럼을 계산하고 그리고 부수하는 사운드의 레이트를 검출할 수 있다. "Evaluation of Audio Beat Tracking and Music Tempo Extraction Algorithms", Martin F. Mckinney, D. Moelants, Matthew E. P. Davies, A. Klapuriby, (Journal of New Music Research, 2007) [7] 에 기술된 접근법이 이러한 목적으로 사용될 수 있다.

애니메이션 프레임들의 생성 모듈은 이하의 동작들을 수행할 수 있다 (도 7 참조).

1. 부수하는 사운드의 특징 검출 모듈의 부수하는 사운드의 프래그먼트의 레이트를 요청 (단계 701).

2. 레이트에 따라 광 스테인의 움직임 속력을 변경 (단계 702).

3. 궤적의 프래그먼트를 따라 광 스테인의 움직임을 계산 (단계 703).

4. 궤적의 프래그먼트가 통과(pass)된다면 (단계 704) 모듈이 궤적의 새로운 프래그먼트에 대한 사이트(site)들을 계산 (단계 705), 그리고 궤적의 프래그먼트를 생성 (단계 706). 직선 세그먼트, 스플라인들 또는 베지어(Bezier) 곡선들은 궤적의 프래그먼트들로서 사용될 수 있다.

5. 단계 703에서 계산된 움직임에 따라 궤적의 현재 프래그먼트에 따른 광 스테인의 위치를 변경 (단계 707).

6. 부수하는 사운드의 특징 검출 모듈로부터 사운드의 스펙트럼을 요청 (단계 708).

7. 부수하는 사운드 스펙트럼에 따른 광 스테인의 형태, 컬러 및 텍스쳐를 변경 (단계 709).

8. 생성된 프레임의 버퍼에 암흑 처리된(blackout) 원본 영상을 복사 (단계 710).

9. 애니메이션의 생성된 프레임에 광 스테인의 렌더링을 수행 (단계 711).

본 발명의 일 실시예에 따른 시스템와 관련하여서는 전술한 방법에 대한 내용이 적용될 수 있다. 따라서, 시스템과 관련하여, 전술한 방법에 대한 내용과 동일한 내용에 대하여는 설명을 생략하였다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.

본 발명의 다른 양상들이 바람직한 변경예들의 설명 및 도면들을 고려함으로써 명백해질 것이다. 본 발명의 의미 및 범위를 벗어남이 없이 다양한 변경예들, 보충예들 및 대안예들이 가능하다는 것이 통상의 기술자에게 명백할 것이다. 예를 들어, 전체의 설명은 배경 사운드/음악에 의하여 동반되는 정적 영상들의 슬라이드-쇼의 예로서 구성될 수 있다. 하지만, 멀티미디어 플레이어에서 음악의 재생은 사진들을 이용한 슬라이드-쇼 또는 사진의 배경 전시에서도 또한 동반될 수 있다. 본 발명에 따른 애니메이션 아트 효과는 멀티미디어 플레이어에서 전시되는 배경 사진들에 적용될 수 있다.

본 방법은 멀티미디어 능력을 구비한 임의의 디바이스들에서 애플리케이션으로서 구현될 수 있고, 특히 현대식 디지털 TV들, 모바일 폰들, 태블릿들, 포토 프레임들, 및 또한 개인용 컴퓨터들의 소프트웨어에서 슬라이드-쇼의 형태로 사진들의 리뷰를 위한 구조로 구현될 수 있다.

Claims

정적 영상 및 부수하는 사운드 특징 분석에 기초하여 정적 영상들 상에서 애니메이션 아트 효과들의 생성을 위한 방법으로서,
원본 정적 영상을 등록하는 단계;
상기 원본 정적 영상에서 관심 영역들을 검출하고, 상기 관심 영역들의 특징들을 계산하는 단계;
상기 관심 영역들에서 검출된 특징들에 따라 아트 효과의 시각적 객체들을 생성하는 단계;
부수하는 사운드의 특징들을 검출하는 단계;
상기 부수하는 사운드의 특징들에 따라 상기 시각적 객체들의 파라미터들을 변경하는 단계; 및
중첩된 아트 효과의 시각적 객체들을 포함하는 상기 원본 정적 영상으로 구성된 애니메이션의 프레임을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서,
상기 원본 정적 영상에서 관심 영역들을 검출하는 동안에 상기 관심 영역들의 영상 상에서,
휘도 제어, 대조(contrast) 제어, 감마-정정, 화이트 컬러의 밸런스의 커스텀화(customization), 상기 영상의 컬러 시스템의 전환 중 적어도 하나의 동작을 포함하는 상기 원본 정적 영상의 예비 프로세싱이 수행되는 것을 특징으로 하는 방법.
제 1 항에 있어서,
상기 부수하는 사운드의 특징들을 검출하는 동안에, 상기 부수하는 사운드의 오디오 신호의 프래그먼트로부터 상기 부수하는 사운드의 특징들로써 상기 부수하는 사운드의 볼륨, 스펙트럼, 스피드, 클록 사이클, 레이트, 리듬에 대한 파라미터가 계산되는 것을 특징으로 하는 방법.
제 1 항에 있어서,
상기 원본 정적 영상의 픽셀들은 상기 시각적 객체들과 결합하기 이전에 애니메이션의 프레임의 생성의 프로세스 동안에 필터에 의하여 프로세싱되는 것을 특징으로 하는 방법.
제 1 항에 있어서,
상기 시각적 객체들은 상기 애니메이션의 프레임의 생성 시에 생성된 가용 시각적 객체들의 세트 중 표시(representation)를 위하여 랜덤하게 선택되고,
상기 가용 시각적 객체들의 세트는 그림들, 궤적들, 피크들의 세트들, 텍스쳐 및 스타일 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서,
상기 시각적 객체들은 상기 애니메이션의 프레임의 생성 시에 생성된 가용 시각적 객체들의 세트 중 표시를 위하여 상기 관심 영역들의 계산된 특징에 기초하여 선택되고,
상기 가용 시각적 객체들의 세트는 그림들, 궤적들, 피크들의 세트들, 텍스쳐 및 스타일 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
정적 영상들 상에 애니메이션 아트 효과들의 생성을 위한 시스템으로서,
관심 영역들의 위치의 검출 및 영상의 데이터의 분석의 수행으로써 실행되는 관심 영역들의 검출 모듈;
상기 관심 영역들의 특징들의 계산으로써 실행되는 상기 관심 영역들의 특징 검출 모듈;
효과의 시각적 객체들의 생성으로써 실행되는 상기 시각적 객체들의 생성 모듈;
부수하는 사운드의 파라미터들의 계산으로써 실행되는 상기 부수하는 사운드의 특징 검출 모듈;
효과의 동작의 시맨틱들에 따라 상기 부수하는 사운드의 현재 특징들에 기초하여 변경된, 상기 시각적 객체들 및 상기 정적 영상을 결합한, 효과의 애니메이션의 프레임들의 생성으로써 실행되는 애니메이션 프레임들의 생성 모듈; 및
상기 애니메이션 프레임들의 생성 모듈로부터 수신된, 애니메이션의 프레임들을 사용자에게 표시함으로써 실행되는 디스플레이부를 포함하는 것을 특징으로 하는 시스템.
제 7 항에 있어서,
정적 영상은 상기 관심 영역들의 검출 모듈의 입력부에 도달하고, 영상들의 형태학적 필터링 및 분할(segmentation) 방법을 이용하여 상기 관심 영역들의 검출 모듈은 효과의 동작의 시맨틱(semantic)들에 따라 관심 영역의 위치를 자동적으로 검출하고, 상기 관심 영역들의 특징 검출 모듈에 추가로 전달되는 상기 검출된 관심 영역들의 리스트는 상기 관심 영역들의 검출 모듈의 출력부에서 형성되는 것을 특징으로 하는 시스템.
제 8 항에 있어서,
상기 관심 영역들의 검출 모듈에 의하여 검출된 상기 관심 영역들의 리스트, 그리고 상기 정적 영상은 상기 관심 영역들의 특징 검출 모듈의 입력부에 도달하고, 상기 관심 영역들의 특징 검출 모듈은 상기 입력된 리스트로부터 관심 영역 각각에 대한 효과의 동작의 시맨틱들에 따라 특징들의 세트를 계산하고, 시각적 객체들의 생성 모듈에 추가로 전달되는 상기 관심 영역들의 특징들의 리스트는 상기 관심 영역들의 특징 검출 모듈의 출력부에서 형성되는 것을 특징으로 하는 시스템.
제 9 항에 있어서,
상기 관심 영역들의 특징들의 리스트는 상기 시각적 객체들의 생성 모듈의 입력부에 도달하고, 상기 시각적 객체들의 생성 모듈은 그림들, 궤적들, 피크들의 세트들, 텍스쳐, 스타일들 중 적어도 하나를 포함하는 시각적 객체들의 세트를 생성하고, 효과의 동작의 시맨틱들에 따라 객체들을 합성하며, 애니메이션 프레임들의 생성 모듈에 추가로 전달되는 상기 시각적 객체들의 리스트는 상기 시각적 객체들의 생성 모듈의 출력부에서 형성되는 것을 특징으로 하는 시스템.
제 10 항에 있어서,
부수하는 사운드의 오디오 신호의 프래그먼트(fragment)는 상기 부수하는 사운드의 특징 검출 모듈의 입력부에 도달하고, 상기 부수하는 사운드의 특징 검출 모듈은 효과의 동작의 시맨틱들에 따라 특징들을 검출하고 오디오 데이터를 분석하며, 실시간의 부수하는 사운드의 특징들의 리스트는 상기 애니메이션 프레임들의 생성 모듈의 요청들에 의하여 상기 부수하는 사운드의 특징 검출 모듈의 출력부에서 형성되는 것을 특징으로 하는 시스템.
제 11 항에 있어서,
상기 정적 영상, 상기 시각적 객체들의 리스트 및 상기 부수하는 사운드의 특징들의 리스트는 상기 애니메이션 프레임들의 생성 모듈의 입력부에 도달하고, 상기 애니메이션 프레임들의 생성 모듈은 효과의 시맨틱들에 따라 부수하는 사운드 특징들에 기초하여 변경된 파라미터들을 포함하는 중첩된 시각적 객체들을 포함하는 상기 정적 영상으로 구성되는 애니메이션의 프레임의 영상을 형성하며, 디스플레이부에 추가로 전달되는 상기 애니메이션의 프레임의 영상은 상기 애니메이션 프레임들의 생성 모듈의 출력부에서 형성되는 것을 특징으로 하는 시스템.
제 7 항에 있어서,
상기 부수하는 사운드의 특징 검출 모듈은 상기 부수하는 사운드의 특징 검출 모듈로 하여금 상기 애니메이션 프레임들의 생성 모듈과 비동기적으로 동작하게 하는 파라미터들의 값들의 외삽(extrapolation) 블록을 포함하는 것을 특징으로 하는 시스템.
제 13 항에 있어서,
상기 부수하는 사운드의 특징 검출 모듈은 오디오 데이터의 새로운 프래그먼트들이 액세스가 가능해짐에 따라 상기 오디오 데이터의 새로운 프래그먼트들을 프로세싱하고, 상기 파라미터들의 값들의 외삽을 선택적으로 수행하며 상기 애니메이션 프레임들의 생성 모듈의 요청에 응답하여 부수하는 사운드 특징들을 제공하는 것을 특징으로 하는 시스템.
제 7 항에 있어서,
부수하는 사운드의 특징 검출 모듈은 상기 부수하는 사운드의 특징 검출 모듈로 하여금 상기 애니메이션 프레임들의 생성 모듈과 비동기적으로 동작하게 하는 파라미터들의 값들의 내삽(interpolation) 블록을 포함하는 것을 특징으로 하는 시스템.
제 15 항에 있어서,
부수하는 사운드의 특징들의 검출 모듈은 오디오 데이터의 새로운 프래그먼트들이 액세스가 가능해짐에 따라 상기 오디오 데이터의 새로운 프래그먼트들을 프로세싱하고, 상기 파라미터들의 값들의 내삽을 선택적으로 수행하며 상기 애니메이션 프레임들의 생성 모듈의 요청에 응답하여 부수하는 사운드 특징들을 제공하는 것을 특징으로 하는 시스템.
제 1 항 내지 제 6 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.