KR20130045242A - 모핑 애니메이션을 생성하기 위한 방법 및 장치 - Google Patents

모핑 애니메이션을 생성하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20130045242A
KR20130045242A KR1020127024480A KR20127024480A KR20130045242A KR 20130045242 A KR20130045242 A KR 20130045242A KR 1020127024480 A KR1020127024480 A KR 1020127024480A KR 20127024480 A KR20127024480 A KR 20127024480A KR 20130045242 A KR20130045242 A KR 20130045242A
Authority
KR
South Korea
Prior art keywords
images
adjacent
image
preprocessing
intensity
Prior art date
Application number
KR1020127024480A
Other languages
English (en)
Other versions
KR101388542B1 (ko
Inventor
란팡 동
제주 시아
유안 우
징판 친
Original Assignee
중국과학기술대학
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중국과학기술대학, 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 중국과학기술대학
Publication of KR20130045242A publication Critical patent/KR20130045242A/ko
Application granted granted Critical
Publication of KR101388542B1 publication Critical patent/KR101388542B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 실시예는 복수의 이미지로부터 모핑 애니메이션을 생성하기 위한 방법 및 장치를 제공하며, 상기 방법은, 복수의 이미지 중 인접하는 이미지들 간의 색조 차이를 감소시키기 위해 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리(hue preprocessing)를 수행하는 단계; 상기 색조 사전처리가 수행된 인접하는 이미지들의 특징 포인트 차등(feature point differential)에 따라 인접하는 이미지들 간의 중간 프레임의 분량(quantity)을 결정하는 단계, 상기 특징 포인트 차등은 인접하는 이미지들에 대응하는 특징 포인트들의 픽셀 거리에 따른 계산을 통해 획득되며, 이미지 워핑 기술(image warping technology)을 통해 인접하는 이미지들 간에, 분량이 중간 프레임들의 분량과 동일한 중간 프레임 이미지들을 생성하는 단계, 및 상기 인접하는 이미지들 간에 상기 중간 프레임 이미지들을 삽입하는 단계; 및 상기 복수의 이미지 및 상기 복수의 이미지 중 모든 인접하는 이미지 간에 삽입되는 상기 중간 프레임 이미지들로부터 모핑 애니메이션을 생성하는 단계를 포함한다. 본 발명에서 생성된 모핑 애니메이션은 부드럽고 자연스러우며, 이에 따라 모핑 애니메이션의 모핑 효과를 향상시킬 수 있다.

Description

모핑 애니메이션을 생성하기 위한 방법 및 장치{METHOD AND DEVICE FOR GENERATING MORPHING ANIMATION}
본 발명은 이미지 프로세싱 기술에 관한 것이며, 특히 모핑 애니메이션을 생성하기 위한 방법 및 장치에 관한 것이다.
여러 개의 이미지로부터 모핑 애니메이션을 생성하기 위한 방법 및 장치는 현재 폭넓게 적용되고 있다. 모핑 애니메이션의 일반적인 방법은, 이미지 워핑을 달성하는 것에 기반하여, 먼저 두 개의 이미지를 2방향으로 각각 워핑하는 것이다. 두 개의 이미지를 재생 시간 순서에 따라 각각 원시 이미지 및 목적 이미지라 하고, 2방향의 워핑은 2종류의 워핑을 포함하는데, 원시 이미지로부터 목적 이미지로 워핑하는 것과 목적 이미지로부터 원시 이미지로 워핑하는 것이다. 이 두 개의 워핑된 이미지에 이미지 그레이 스케일 융합을 수행하여 일련의 중간 이미지를 생성하고, 이에 의해 이미지 모핑이 부드럽게 된다. 그러므로 이미지 워핑 기술(image warping technology)의 품질 및 관련 특징은 이미지 모핑에 영향을 미치는 중요한 요인이다.
현재, 이미지 워핑 기술은 이미 시각 효과 및 광고 디자인에 폭넓게 적용되고 있다. 이미지 워핑 기술에 대한 광범위하고 철저한 검색 후, 공간 맵핑에 초점을 맞춘 일련의 방법들이 형성된다. 이미지 워핑에서는 공간 맵핑이 핵심이며, 이에 따르면, 이미지 워핑 기술은 대체로 3가지 타입으로 분류될 수 있다:
(1) 블록 기반의 이미지 워핑. 통상적인 알고리즘은 2-단계 메쉬 이미지 워핑 알고리즘(2-step mesh image warping algorithm) 및 삼각측정 기반의 워핑 알고리즘(triangulation-based warping algorithm)을 포함한다. 이것들의 공통적인 개념은 전체 이미지를 몇 개의 블록으로 분할한 다음 모든 작은 블록의 워핑을 조합해서 전체 이미지의 워핑을 달성하는 것이다. 이러한 타입의 알고리즘의 두드러진 이점은 워핑 속도가 빠르다는 것이다. 그렇지만, 이미지를 작은 블록으로 분할하는 사전처리 작업은 번거롭고, 블록 분할의 효과가 직접적으로 최종 워핑 효과에 영향을 미친다.
(2) 라인 기반의 워핑. 이 알고리즘의 개념은 이미지에 일련의 특징적인 라인을 만들고, 이미지상의 각 픽셀의 오프셋을 픽셀과 이러한 특징적인 라인들 간의 거리로 연대해서 결정하는 것이다. 이 방법은 워핑 속도가 느리고, 직관적이지 못하다는 것이 단점이다.
(3) 포인트 기반의 워핑. 통상적인 알고리즘은 방사상 기본 함수(radial basis function)를 기반으로 하는 워핑 알고리즘이다. 이 알고리즘의 기본적인 개념은 이미지를 복수의 산란 포인트의 대형으로 간주하는 것이다. 이미지상의 모든 포인트의 공간 맵핑은 일부의 지정된 공간 포인트의 공간 맵핑 및 소정의 적절한 방사성 기본 함수를 통해 달성된다. 이러한 알고리즘은 상대적으로 직관적이다. 그렇지만, 방사성 기본 함수는 통상적으로 가우시안 함수처럼 복잡한 함수이기 때문에, 워핑 속도가 매우 느리다. 또한, 이러한 알고리즘은 워핑된 이미지의 경계가 안정하지 않을 수도 있다.
애니메이션 모핑 효과의 수요는 계속 증가하고 있지만, 현재의 이미지 워핑 기술로는, 복수의 이미지로부터 생성된 모핑 애니메이션의 달성된 모핑 품질을 용이하게 제어하지 못하므로 더욱 개선할 필요가 있다.
본 발명의 실시예는 복수의 이미지로부터 모핑 애니메이션을 생성하기 위한 방법 및 장치를 제공하여, 모핑 시각 효과를 향상시키는 것이다.
본 발명의 실시예는 모핑 애니메이션 생성 방법을 제공하며, 상기 방법은, 복수의 이미지 중 인접하는 이미지들 간의 색조 차이를 감소시키기 위해 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리(hue preprocessing)를 수행하는 단계; 상기 색조 사전처리가 수행된 인접하는 이미지들의 특징 포인트 차등(feature point differential)에 따라 인접하는 이미지들 간의 중간 프레임의 분량(quantity)을 결정하는 단계, 상기 특징 포인트 차등은 인접하는 이미지들에 대응하는 특징 포인트들의 픽셀 거리에 따른 계산을 통해 획득되며, 이미지 워핑 기술(image warping technology)을 통해 인접하는 이미지들 간에, 분량이 중간 프레임들의 분량과 동일한 중간 프레임 이미지들을 생성하는 단계, 및 상기 인접하는 이미지들 간에 상기 중간 프레임 이미지들을 삽입하는 단계; 및 상기 복수의 이미지 및 상기 복수의 이미지 중 모든 인접하는 이미지 간에 삽입되는 상기 중간 프레임 이미지들로부터 모핑 애니메이션을 생성하는 단계를 포함한다.
본 발명의 실시예는 모핑 애니메이션 생성 장치를 제공하며, 상기 장치는, 복수의 이미지 중 인접하는 이미지들 간의 색조 차이를 감소시키기 위해 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하도록 구성되어 있는 색조 사전처리 모듈; 상기 색조 사전처리 모듈에 의해 색조 사전처리가 수행되는 인접하는 이미지들의 특징 포인트 차등(feature point differential)에 따라 중간 프레임의 분량(quantity)을 결정하고, 상기 특징 포인트 차등은 인접하는 이미지들에 대응하는 특징 포인트의 픽셀 거리에 따른 계산을 통해 획득되며, 이미지 워핑 기술을 통해 인접하는 이미지들 간에, 분량이 중간 프레임들의 분량과 동일한 중간 프레임 이미지들을 생성하며, 인접하는 이미지들 간에 중간 프레임 이미지들을 삽입하도록 구성되어 있는 중간 프레임 생성 모듈; 및 상기 복수의 이미지 및 상기 복수의 이미지 중 모든 인접하는 이미지 간에 삽입되는 중간 프레임 이미지들에 따라 모핑 애니메이션을 생성하도록 구성되어 있는 애니메이션 생성 모듈을 포함한다.
본 발명의 실시예는 음악 재생 배경 생성 방법을 제공하며, 상기 방법은, 애니메이션을 생성하는 데 사용되는 복수의 이미지를 수신하는 단계; 상기 복수의 이미지 중 인접하는 이미지들 간의 색조 차이를 감소시키기 위해 상기 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하는 단계; 상기 색조 사전처리가 수행된 인접하는 이미지들의 특징 포인트 차등(feature point differential)에 따라 중간 프레임의 분량(quantity)을 결정하는 단계, 이미지 워핑 기술(image warping technology)을 통해 인접하는 이미지들 간에, 분량이 중간 프레임들의 분량과 동일한 중간 프레임 이미지들을 생성하는 단계, 및 상기 인접하는 이미지들 간에 상기 중간 프레임 이미지들을 삽입하는 단계; 상기 복수의 이미지 및 상기 복수의 이미지 중 모든 인접하는 이미지 간에 삽입되는 상기 중간 프레임 이미지들로부터 모핑 애니메이션을 생성하는 단계; 및 상기 모핑 애니메이션을 음악 플레이어용 재생 배경으로서 사용하는 단계를 포함한다.
본 발명의 실시예는 음악 플레이어를 제공하며, 상기 음악 플레이어는, 복수의 이미지 중 인접하는 이미지들 간의 색조 차이를 감소시키기 위해 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하도록 구성되어 있는 색조 사전처리 모듈; 상기 색조 사전처리 모듈에 의해 색조 사전처리가 수행된 인접하는 이미지들의 특징 포인트 차등(feature point differential)에 따라 중간 프레임의 분량을 결정하고, 상기 특징 포인트 차등은 인접하는 이미지들에 대응하는 특징 포인트의 픽셀 거리에 따른 계산을 통해 획득되며, 이미지 워핑 기술을 통해 인접하는 이미지들 간에, 분량이 중간 프레임들의 분량과 동일한 중간 프레임 이미지들을 생성하며, 상기 인접하는 이미지들 간에 상기 중간 프레임 이미지들을 삽입하도록 구성되어 있는 중간 프레임 생성 모듈; 상기 복수의 이미지 및 상기 복수의 이미지 중 모든 인접하는 이미지 간에 삽입되는 중간 프레임 이미지들에 따라 모핑 애니메이션을 생성하도록 구성되어 있는 애니메이션 생성 모듈; 및 음악 파일을 재생하며, 상기 음악 파일의 남아 있는 재생 시간이 0보다 크면, 상기 음악 파일의 비디오 디스플레이 인터페이스상에서 상기 모핑 애니메이션을 재생하도록 구성되어 있는 재생 모듈을 포함한다.
본 발명의 실시예에서, 색조 사전처리(hue preprocessing)를 수행하고, 중간 프레임 이미지들의 분량이 중간 프레임의 분량과 동일한 상기 중간 프레임 이미지들을 인접하는 이미지들 사이에 삽입하여 모핑 애니메이션을 생성하고, 이러한 중간 프레임 이미지들의 분량은 특징 포인트 차등(feature point differential)에 따라 결정되며, 생성된 모핑 애니메이션은 부드럽고 자연스러우며, 이에 의해 모핑 애니메이션의 모핑 효과가 향상된다.
본 발명의 실시예 및 종래기술의 기술적 솔루션을 더 명확하게 나타내기 위해, 실시예 또는 종래기술을 설명하는 데 필요한 첨부된 도면에 대해 이하에 간략히 설명한다. 이하의 상세한 설명에서의 첨부된 도면은 단지 본 발명의 일부의 실시예에 지나지 않으며, 당업자는 또한 어떠한 창조적 노력 없이도 이러한 첨부된 도면을 도출해 낼 수 있다.
도 1은 본 발명의 실시예에 따라 모핑 애니메이션을 생성하는 방법에 대한 흐름도이다.
도 2는 본 발명의 다른 실시예에 따라 모핑 애니메이션을 생성하는 방법에 대한 흐름도이다.
도 3은 본 발명의 실시예에 따른 색조 모핑의 사전처리에 대한 흐름도이다.
도 4는 본 발명의 실시예에 따른 강도 모핑의 사전처리에 대한 흐름도이다.
도 5는 본 발명의 실시예에 따라 중간 프레임의 분량을 결정하는 흐름도이다.
도 6은 본 발명의 실시예에 따라 복수의 사람 얼굴 이미지로부터 모핑 애니메이션을 생성하는 장치에 대한 개략 구조도이다.
도 7은 본 발명의 실시예에 따라 음악 플레이어용 재생 배경을 생성하는 방법에 대한 흐름도이다.
도 8은 본 발명의 실시예에 따른 음악 플레이어에 대한 개략 구조도이다.
본 발명의 목적, 기술적 솔루션, 및 이점을 더 명확하게 하기 위해, 본 발명의 기술적 솔루션을 본 발명의 실시예에 첨부된 도면을 참조하여 이하에 명확하고 완전하게 설명한다. 이하의 상세한 설명에서의 실시예는 본 발명의 실시예 중 전부가 아닌 일부에 지나지 않는다는 것은 당연하다. 본 발명의 실시예를 바탕으로 하여, 당업자가 창조적 노력 없이 획득할 수 있는 모든 다른 실시예는 본 발명의 보호 범위 내에 있어야 한다.
본 발명의 실시예는 복수의 이미지로부터 모핑 애니메이션을 생성하는 방법을 제공하며, 상기 방법은, 인접하는 이미지들 간의 색조 차이를 감소시키기 위해 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리(hue preprocessing)를 수행하는 단계; 및 색조 사전처리가 수행된 인접하는 이미지들의 특징 포인트 차등(feature point differential)에 따라 인접하는 이미지들 간의 중간 프레임의 분량을 결정하고, 상기 특징 포인트 차등은 인접하는 이미지들에 대응하는 특징 포인트들의 픽셀 거리에 따른 계산을 통해 획득되며, 이미지 워핑 기술을 통해 인접하는 이미지들 간에, 분량(quantity)이 중간 프레임들의 분량과 동일한 중간 프레임 이미지들을 생성하며, 인접하는 이미지들 간에 중간 프레임 이미지들을 삽입하는 단계; 및 복수의 이미지 및 이러한 복수의 이미지 중 모든 인접하는 이미지 간에 삽입되는 중간 프레임 이미지들로부터 모핑 애니메이션을 생성하는 단계를 포함한다. 도 1을 참조하면, 도 1은 본 발명의 실시예에 따라 복수의 이미지로부터 모핑 애니메이션을 생성하는 방법에 대한 흐름도이며, 상기 방법은 이하의 단계를 포함한다:
S101: 복수의 이미지 중 인접하는 이미지들 색조 차이를 감소시키기 위해 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리(hue preprocessing)를 수행함으로써, 생성된 애니메이션이 인접하는 이미지들 간에 한 이미지에서 다른 이미지로 더 부드럽게 재생된다.
S103: 색조 사전처리가 수행된 인접하는 이미지들의 특징 포인트 차등(feature point differential)에 따라 중간 프레임의 분량을 결정하고, 이미지 워핑 기술을 통해 인접하는 이미지들 간에, 분량이 중간 프레임들의 분량과 동일한 중간 프레임 이미지들을 생성한다.
S105: 복수의 이미지 및 상기 복수의 이미지 중 모든 두 개의 인접하는 이미지 간에 삽입되는 중간 프레임 이미지들로부터 모핑 애니메이션을 생성한다.
본 발명의 구현 방법에서, S101에서 복수의 사람 얼굴 이미지 중 인접하는 이미지에 대해 색조 사전처리를 수행하는 단계 이전에, 방법은, 인접하는 이미지 간의 차이를 감소시키도록 복수의 사람 얼굴 이미지를 정렬(sorting)하는 단계를 더 포함한다. 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하는 단계는, 정렬된 복수의 사람 얼굴 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하는 단계를 참조한다.
본 발명의 실시예에 대한 흐름도가 도 2에 도시되어 있으며, 방법은 이하의 단계를 포함한다:
S201: 인접하는 이미지들 간의 차이를 감소시키도록 복수의 사람 얼굴 이미지를 정렬함으로써, 생성된 애니메이션이 더 부드럽고 자연스럽게 된다.
S203: 복수의 사람 얼굴 이미지 중 인접하는 이미지들 간의 색조 차이를 감소시키기 위해 복수의 사람 얼굴 이미지 중 인접하는 이미지들에 대해 이미지 색조 사전처리를 수행함으로써, 생성된 애니메이션이 인접하는 이미지들 간에 한 이미지에서 다른 이미지로 더 부드럽게 재생된다.
S205: 인접하는 이미지들의 유사성(similarity)에 따라 중간 프레임의 분량을 결정하고, 이미지 워핑 기술을 통해 인접하는 이미지들 간에, 분량이 중간 프레임들의 분량과 동일한 중간 프레임 이미지들을 생성한다.
S207: 복수의 사람 얼굴 이미지 및 상기 복수의 사람 얼굴 이미지 중 모든 두 개의 인접하는 이미지 간에 삽입되는 중간 프레임 이미지들로부터 모핑 애니메이션을 생성한다.
S201에서 복수의 사람 얼굴 이미지를 정렬하는 단계는 구체적으로, 사람 얼굴 크기에 따라 복수의 사람 얼굴 이미지를 정렬하는 단계를 포함한다.
구체적인 단계를 이하와 같다:
모든 픽처(picture)를 판독한 후에, 픽처의 크기를 통계하여 최소 픽처 크기를 찾아내거나, 픽처 크기를 특정하여, 모든 픽처를 동일한 픽처 크기의 픽처로 전사한다.
동일한 픽처 크기로 전사된 이미지들의 사람 얼굴 크기를 통계하고, 동일한 픽처 크기로 전사된 이미지의 사람 얼굴 크기에 따라 복수의 이미지를 올림차순 또는 내림차순으로 정렬한다.
정렬된 픽처 순서에 대해 다음의 프로세스를 수행한다.
특정한 실시예에서, 사람 얼굴 크기는 사람 얼굴 영역, 사람 얼굴 폭, 사람 얼굴 길이 등이 될 수 있다.
인접하는 사람 얼굴 이미지들의 모핑 애니메이션 효과는 인접하는 이미지들의 사람 얼굴 크기 차이에 영향을 받는다. 사람 얼굴 크기 차이가 크면, 동일한 조건에서, 달성된 모핑 애니메이션 효과가 부자연스럽고 덜 부드럽지만, 사람 얼굴 크기 차이가 작으면, 동일한 조건에서, 달성된 모핑 애니메이션 효과가 더 자연스럽고 부드럽다. 그러므로 이러한 정렬 프로세스가 없는 애니메이션 효과와 비교해서, 사람 얼굴 크기에 기초하여 정렬된 복수의 사람 얼굴 픽처에 의해 형성된 전체적인 모핑 효과가, 동등한 후속의 모핑 프로세스 방법에서 달성되는 모핑 효과보다 우수하다.
S201에서 복수의 사람 얼굴 이미지를 정렬하는 단계는 이미지 강도에 따라 복수의 사람 얼굴 이미지를 정렬하는 단계를 더 포함한다.
구체적인 단계는 다음과 같다:
하나의 이미지의 모든 샘플링 포인트의 평균 강도 값을 계산하고 이 평균 강도 값을 그 이미지의 강도 값으로 사용한다.
그런 다음 정렬된 픽처 순서에 대해 다음 프로세스가 수행된다.
인접하는 사람 얼굴 이미지들의 모핑 애니메이션 효과는 인접하는 이미지들의 강도 차이에 영향을 받는다. 강도 차이가 크면, 동일한 조건에서, 달성된 모핑 애니메이션 효과가 부자연스럽고 덜 부드럽지만, 강도 차이가 작으면, 동일한 조건에서, 달성된 모핑 애니메이션 효과가 더 자연스럽고 부드럽다. 정렬된 복수의 픽처로부터 생성된 애니메이션은 전체적인 강도에 있어서 어둠에서 밝음으로 또는 밝음에서 어둠으로 전이할 때 더 부드럽고, 이에 따라 복수의 픽처의 모핑 애니메이션의 시각 효과가 대체로 향상된다. 이러한 정렬 프로세스가 없는 애니메이션 효과와 비교해서, 사람 얼굴 크기에 기초하여 정렬된 복수의 사람 얼굴 픽처로부터 형성된 전체적인 애니메이션 효과가, 동등한 후속의 모핑 프로세스 방법에서 달성되는 애니메이션 효과보다 더 부드럽고 자연스럽다.
구체적으로, S203에서 복수의 사람 얼굴 이미지 중 인접하는 이미지들에 대해 이미지 색조 사전처리를 수행하는 단계는 구체적으로, 인접하는 이미지들의 색조 차이를 얻기 위해 인접하는 이미지들의 색조에 따라 계산을 수행하는 단계, 색조 차이에 따라 색조 차이 절대값을 획득하는 단계, 색조 차이 절대값이 제1 임계값보다 크면, 색조 차이 절대값에 따라 인접하는 이미지에서 색조를 조정해야 하는 이미지 및 색조 조정 방식을 결정하는 단계, 및 색조 조정 방식에 따라, 색조를 조정해야 하는 이미지에 대해 색조 조정을 수행하는 단계를 포함한다.
인접하는 이미지들의 색조 차이를 얻기 위해 인접하는 이미지들의 색조에 따라 계산을 수행하는 단계는, 인접하는 이미지들의 색조 차이를 얻기 위해 인접하는 이미지 중 제1 이미지의 평균 색조 값으로부터 제2 이미지의 평균 색조 값을 감산하는 단계를 포함하며, 색조 조정 방식에 따라, 색조를 조정해야 하는 이미지에 대해 색조 조정을 수행하는 단계는, 색조 차이가 0보다 크면, 제1 이미지의 각 픽셀의 색조를 감소시키거나 제2 이미지의 각 픽셀의 색조를 증가시키는 단계, 및 색조 차이가 0보다 작으면, 제1 이미지의 각 픽셀의 색조를 증가시키거나 제2 이미지의 각 픽셀의 색조를 감소시키는 단계를 포함한다.
도 3을 참조하면, 실시예에 따른 색조 모핑의 애니메이션 사전처리에 대한 흐름도가 도시되어 있으며, 프로세스는 이하의 단계를 포함한다:
S301: 인접하는 이미지 중 제1 이미지의 픽셀들의 평균 색조 값으로부터 제2 이미지의 픽셀들의 평균 색조 값을 감산하여 차이 Hdm을 계산한다.
Hdm 절대값이 제1 임계값보다 크고, Hdm이 0보다 크면:
S303: 제2 이미지의 각 픽셀의 색조 값을 적절하게 증가시킨다.
Hdm 절대값이 제1 임계값보다 크고, Hdm이 0보다 작으면:
S305: 제1 이미지의 각 픽셀의 색조 값을 적절하게 증가시킨다.
S301에서 인접하는 이미지 중 제1 이미지와 제2 이미지 간의 색조 처리를 계산하는 단계는 구체적으로 이하의 단계를 포함한다:
먼저, 제1 이미지 S 및 제2 이미지 D를 각각 HIS 컬러 모델로 변환하여, 이미지들의 임의 픽셀의 색조 값을 얻는다.
다음, 제2 이미지를 제1 이미지의 스케일과 동일한 스케일로 스케일링하는데, 제1 이미지의 폭 및 높이를 각각 W 및 H인 것으로 하고, 이러한 폭 및 높이에 있어서는 픽셀의 분량을 단위로 사용한다.
계속해서, 제1 이미지와 제2 이미지상의 대응하는 직사각형 영역을 각각 구성하는데, 여기서 직사각형의 폭은 w(0< w
Figure pct00001
W)이고, 직사각형의 폭은 h(0 < h
Figure pct00002
H)이며, 직사각형의 폭과 높이에 있어서는 픽셀의 분량을 단위로 사용한다.
그 후, 제1 이미지와 제2 이미지의 대응하는 픽셀의 색조 값을 각각 얻고, 식(1)에 나타난 바와 같이, 제1 이미지와 제2 이미지상의 대응하는 픽셀들의 색조 값의 합 Hdt를 계산한다:
(수학식 1)
Figure pct00003
마지막으로, 식(2)에 나타난 바와 같이, Hdt를 모든 메쉬 포인트의 분량으로 나누어 이미지 픽셀들의 색조 차이 평균 Hdm을 얻는다:
(수학식 2)
Hdm = Hdt/(w×h)
제1 이미지와 제2 이미지의 평균 색조 차이 Hdm은 제1 이미지와 제2 이미지의 색조 유사성을 나타내는 데 사용된다. 특정한 실시예에서, 직사각형의 폭 및 높이는 각각 H 및 W이다.
현재의 Hdm이 양의 값이고 제1 임계값보다 크면, 제2 이미지의 픽셀들의 평균 색조 값이 상대적으로 낮다는 것을 나타내므로, 제2 이미지의 모든 픽셀의 색조 값을 S503에서 적절하게 증가시킨다. 특정한 실시예에서, 제1 임계값은 0.1이고, 제2 이미지의 각 픽셀의 색조 값에 0.8×│Hdm│을 가산한다.
현재의 Hdm이 음의 값이고 제1 임계값보다 크면, 제1 이미지의 픽셀들의 평균 색조 값이 상대적으로 낮다는 것을 나타내므로, 제1 이미지의 모든 픽셀의 색조 값을 S505에서 적절하게 증가시킨다. 특정한 실시예에서, 제1 이미지의 각 픽셀의 색조 값에 0.8×│Hdm│을 가산한다.
현재의 Hdm이 0에 접근하면, 제1 이미지와 제2 이미지가 유사하므로 색조 조정이 필요하지 않다는 것을 나타낸다.
본 발명의 실시예에서, S203의 방법은, 복수의 이미지 중 인접하는 이미지들의 강도 차이를 감소시키기 위해 인접하는 이미지들에 대해 강도 사전처리를 수행하는 단계를 포함하고; 색조 사전처리가 수행된 인접하는 이미지들의 특징 포인트 차등에 따라 중간 프레임의 분량을 결정하는 단계는, 색조 사전처리 및 강도 사전처리가 수행된 인접하는 이미지들의 특징 포인트 차등에 따라 인접하는 이미지들 간의 중간 프레임의 분량을 결정하는 단계를 포함한다.
강도 사전처리는 구체적으로, 인접하는 이미지들의 강도 차이를 얻기 위해 인접하는 이미지들의 강도에 따라 계산을 수행하는 단계, 강도 차이에 따른 계산을 통해 강도 차이 절대값을 획득하는 단계, 강도 차이 절대값이 제2 임계값보다 크면, 강도 차이 절대값에 따라 인접하는 이미지에서 강도를 조정해야 하는 이미지 및 강도 조정 방식을 먼저 결정하는 단계, 및 상기 강도 조정 방식에 따라, 강도를 조정해야 하는 이미지에 대해 강도 조정을 수행하는 단계를 포함한다.
인접하는 이미지들의 강도 차이를 얻기 위해 인접하는 이미지들의 강도에 따라 계산을 수행하는 단계는, 인접하는 이미지들의 강도 차이를 얻기 위해 인접하는 이미지 중 제1 이미지의 평균 강도 값으로부터 제2 이미지의 평균 강도 값을 감산하는 단계를 포함하며, 강도 조정 방식에 따라, 강도를 조정해야 하는 이미지에 대해 강도 조정을 수행하는 단계는, 강도 차이가 0보다 크면, 제1 이미지의 각 픽셀의 강도를 감소시키거나 제2 이미지의 각 픽셀의 강도를 증가시키는 단계, 및 강도 차이가 0보다 작으면, 제1 이미지의 각 픽셀의 강도를 증가시키거나 제2 이미지의 각 픽셀의 강도를 감소시키는 단계를 포함한다.
도 4를 참조하면, 본 발명의 실시예에 따른 강도 모핑의 애니메이션 사전처리에 대한 흐름도가 도시되어 있다.
S401: 인접하는 이미지 중 제1 이미지의 픽셀들의 평균 강도 값으로부터 제2 이미지의 픽셀들의 평균 강도 값을 감산하여 인접하는 이미지들의 차이 값 Idm을 얻다.
Idm 절대값이 제2 임계값보다 크고, Idm이 0보다 크면:
S403: 제2 이미지의 각 픽셀의 강도 값을 적절하게 증가시킨다.
Idm 절대값이 제2 임계값보다 크고, Idm이 0보다 작으면:
S405: 제1 이미지의 각 픽셀의 강도 값을 적절하게 증가시킨다.
S401에서 제1 이미지와 제2 이미지의 강도 유사성을 계산하는 프로세스는 이하의 단계를 포함한다:
먼저, 제1 이미지 S 및 제2 이미지 D를 각각 HIS 컬러 모델로 변환하여, 이미지들의 임의 픽셀의 강도 값을 얻는다.
다음, 제2 이미지를 제1 이미지의 스케일과 동일한 스케일로 스케일링하는데, 제1 이미지의 폭 및 높이를 각각 W 및 H인 것으로 하고, 이러한 폭 및 높이에 있어서는 픽셀의 분량을 단위로 사용한다.
계속해서, 제1 이미지와 제2 이미지상의 대응하는 직사각형 영역을 각각 구성하는데, 여기서 직사각형의 폭은 w(0< w < W)이고, 직사각형의 폭은 h(0 < h < H)이며, 직사각형의 폭과 높이 모두에 있어서는 픽셀의 분량을 단위로 사용한다.
그 후, 제1 이미지와 제2 이미지상의 메쉬 포인트의 픽셀들의 강도 값을 각각 얻고, 식(3)에 나타난 바와 같이, 제1 이미지와 제2 이미지상에 있고 메쉬 포인트에 대응하는 픽셀들의 총 강도 값(총 강도 차이, Idt)을 계산한다:
(수학식 3)
Figure pct00004
그런 다음, 식(4)에 나타난 바와 같이, Idt를 모든 메쉬 포인트의 분량으로 나누어 이미지 픽셀들의 강도 차이 평균 Idm(평균 강도 차이)을 얻는다:
(수학식 4)
Idm = Idt/(w×h)
제1 이미지와 제2 이미지의 평균 강도 차이 Idm은 제1 이미지와 제2 이미지의 강도 유사성을 나타내는 데 사용된다. 특정한 실시예에서, 직사각형의 폭 및 높이는 각각 H 및 W이다.
현재의 Idm이 양의 값이고 제2 임계값보다 크면, 제2 이미지의 픽셀들의 평균 강도 값이 상대적으로 작다는 것을 나타내므로, 제2 이미지의 모든 픽셀의 강도 값을 S403에서 적절하게 증가시켜 제1 이미지와 제2 이미지 간의 더 높은 유사성을 얻는다. 특정한 실시예에서, 제1 임계값은 0.1이고, 제2 이미지의 각 픽셀의 강도 값에 0.8×│Idm│을 가산한다.
현재의 Idm이 음의 값이고 상대적으로 크면, 제2 이미지의 픽셀들의 평균 강도 값이 상대적으로 크다는 것을 나타내므로, 제1 이미지의 모든 픽셀의 강도 값을 적절하게 증가시켜 제1 이미지와 제2 이미지 간의 더 높은 유사성을 얻는다. 특정한 실시예에서, 제1 임계값은 0.1이고, 제1 이미지의 각 픽셀의 강도 값에 0.8×│Idm│을 가산한다.
현재의 Idm이 0에 접근하면, 제1 이미지와 제2 이미지가 유사하므로 강도 조정이 필요하지 않다는 것을 나타낸다.
인접하는 이미지들의 색조 차이가 큰 경우, 모핑 애니메이션 효과가 달성된 컬러 이미지를 확보하기가 어렵다. 그러므로 본 발명의 본 실시예에서는, 모핑 애니메이션 효과가 필요한 인접하는 이미지들의 색조 차이 및 강도 차이를 먼저 평가한다. 색조 차이 및 강도 차이가 크면, 색조 사전처리를 수행한 다음 후속의 모핑 애니메이션 프로세스를 수행한다. 자동 평가의 결과, 색조 차이 및 강도 차이가 작으면, 후속의 모핑 애니메이션 프로세스를 픽처들로 이루어진 그룹에 대해 바로 수행한다.
S205에서 인접하는 이미지들의 유사성에 따라 중간 프레임들의 분량을 결정하는 단계는, 인접하는 이미지들의 특징 포인트 차등에 따라 중간 프레임들의 분량을 결정하는 단계를 포함한다.
본 발명의 실시예에서, 특징 포인트를 추출하는 방법은,
먼저, 액티브 형상 모델(active shape model: ASM) 알고리즘을 통해 사람 얼굴 이미지 라이브러리를 트레이닝하고, ASM 트레이닝 결과를 통해 특징 포인트 검출 파일을 획득하는 단계;
현재 가장 흔하게 사용되는 사람 얼굴 검출 알고리즘인 에이다부스트 알고리즘(Adaboost algorithm)을 사용하여 사람 얼굴을 포함하는 입력 이미지에서 사람 얼굴 영역을 획득하는 단계; 및
최종적으로, ASM 트레이닝 알고리즘에 의해 출력되는 특징 포인트 검출 파일을 사용하여 사람 얼굴 영역에 사람 얼굴 특징 포인트를 위치시키는 단계
를 포함한다.
본 발명의 실시예에서는, 사람 얼굴 특징 포인트의 분량을 45로서 선택한다.
본 발명의 특정한 실시예에서는, 특징 포인트 차등을 위해 정규화에 기반한 절대 거리 방법(normalization-based absolute distance method)을 채택한다. 인접하는 이미지들을 각각 재생 시간 순서에 따라 원시 이미지 및 목적 이미지라 한다. 방법은 다음과 같다:
먼저, 스케일링 계수 xScale 및 yScale를 규정하는데, 계산 방법은 식(5) 및 식(6)에 나타난 바와 같다:
(수학식 5)
xScale = Dx/Sx
(수학식 6)
yScale = Dy/Sy
원시 이미지의 폭 및 높이를 각각 Sx 및 Sy라 하고, 목적 이미지의 폭 및 높이를 각각 Dx 및 Dy라 한다.
목적 이미지에서의 N개의 특징 포인트의 Di(1≤i≤N)의 위치를 원시 이미지의 스케일에서의 Di(1≤i≤N)의 위치로 맵핑하고 변환하며, 계산 방법은 식(7) 및 식(8)에 나타난 바와 같다:
(수학식 7)
(D'i)x = (D'i)x /xScale
(수학식 8)
(D'i)y = (D'i)y /yScale
Si는 원시 이미지의 N개의 특징 포인트의 위치인 것으로 가정하고, 단 1≤i≤N이다.
다음, 원시 이미지와 목적 이미지의 절대 특징 차이 Re를 계산하는데, 이것이 식(9)에 나타나 있다:
(수학식 9)
Figure pct00005
마지막으로, 원시 이미지와 목적 이미지의 상대 특징 차이 aRe를 계산하는데, 이것이 식(10)에 나타나 있다:
(수학식 10)
aRe = Re/Sf
원시 이미지에서의 사람 얼굴의 폭을 Sf라 가정한다.
본 발명에서는, 원시 이미지와 목적 이미지의 상대 특징 차이 aRe를 사용하여 원시 이미지와 목적 이미지의 특징 차등을 나타낸다.
원시 이미지와 목적 이미지의 사람 얼굴 특징 차이들이 상이한 경우, 모핑 애니메이션 프로세스에서, 모핑 애니메이션의 원시 이미지와 목적 이미지에 대해 중간 프레임의 분량을 상이하게 선택할 수 있다. 인접하는 이미지들의 특징 포인트 차등의 값에 따라 중간 프레임들의 분량을 결정하는 단계는, 인접하는 이미지들의 특징 포인트 차등의 값이 제1 구간 내에 있으면, 중간 프레임의 분량을 제1 분량(first quantity)으로 결정하는 단계, 및 인접하는 이미지들의 특징 포인트 차등의 값이 제2 구간 내에 있으면, 중간 프레임의 분량을 제2 분량으로 결정하는 단계를 포함하며, 제1 구간의 값은 제2 구간의 값보다 작으며, 제1 분량은 제2 분량보다 작다.
본 발명의 실시예에서는, 인접하는 이미지들을 재생 시간 순서에 따라 각각 원시 이미지 및 목적 이미지라 한다. 직관적으로 평가해 보면, 더 자연스런 모핑 애니메이션을 달성하기 위해, 원시 이미지와 목적 이미지의 특징 유사성의 값이 더 크고, 상대 특징 차이가 더 작을 때, 모핑 애니메이션 프로세스는 더 적은 중간 프레임을 필요로 하고; 원시 이미지와 목적 이미지의 특징 유사성의 값이 더 작고, 상대 특징 차이가 더 클 때, 모핑 애니메이션 프로세스는 더 많은 중간 프레임을 필요로 한다. 특정한 원시 이미지 및 목적 이미지의 평가 후, 모핑 프로세스에 대한 평가 결과에 따라 상이한 양의 중간 프레임을 선택해야 한다.
도 5를 참조하면, 본 발명의 실시예에 따라 중간 프레임의 분량을 결정하는 흐름도가 도시되어 있고, 프로세스는 이하의 단계를 포함한다:
aRe가 L보다 작으면, 삽입될 중간 프레임의 양은 N이고;
aRe가 L보다 크고 2L보다 작으면, 삽입될 중간 프레임의 양은 1.5*N이고;
aRe가 2L보다 크면, 삽입될 중간 프레임의 양은 2*N이다.
본 발명의 본 실시예에서, 제1 구간의 값은 (0,L)이고, 제2 구간의 값은 (L,2L)이며, 본 발명의 본 실시예에서의 바람직한 L의 값은 0.25이고, 당업자는 실제의 수요에 따라 다른 값을 취할 수 있고; 본 발명의 본 실시예의 제1 값은 N이고, 본 발명의 본 실시예의 제2 값은 1.5*N이며, 여기서 N은 자연수이고, 본 발명의 예시적 실시예에서, N은 16과 24 사이의 임의의 수이며, 당업자는 실제의 수요에 따라 다른 자연수를 취할 수 있다.
중간 프레임의 분량을 획득한 후, 원시 이미지와 목적 이미지로부터 중간 프레임 이미지가 생성된다. 프로세스는 이하의 단계를 포함한다:
원시 이미지 및 목적 이미지에 대해 특징 포인트 선택을 수행하고, 원시 제어 포인트(Source Control Points: SCP) 및 목적 제어 포인트(Destination Control Points: DCP)를 각각 생성한다.
SCP 및 DCP를 통해 중간 제어 포인트(Intermediate Control Points: ICP)를 생성하고, 여기서 시간 t에서의 ICP를 ICP(t)라 하는데, 이것은 본 명세서에서 선형 전이 프로세스이며, t=0이라 하면, ICP(t)를 계산하는 식은 식(11)에 나타나 있다.
(수학식 11)
ICP(t)=(1-t)*SCP(t)+t*DCP(t)t∈[0,1]
SCP 및 ICP(t)를 각각 원시 제어 포인트 및 목적 제어 포인트로서 사용하여 원시 이미지(SI)에 대해 이미지 워핑을 수행함으로써 원시 워핑 이미지(Source Warped Image: SWI(t))를 획득하고, DCP 및 ICP(t)를 각각 원시 제어 포인트 및 목적 제어 포인트로서 사용하여 목적 이미지(DI)에 대해 이미지 워핑을 수행함으로써 목적 워핑 이미지(Destination Warped Image: DWI(t))를 획득한다.
식(12)에 따라 SWI(t) 및 DWI(t)에 대해 이미지 융합(image fusion)을 수행하여 중간 이미지(Inter Image: INTER_I(t))를 획득한다.
(수학식 12)
INTER_I(t)=t*SWI(t)+(1-t)*DWI(t)
마지막으로, t에 워프 스텝 사이즈
Figure pct00006
를 가산하며, 여기서 N은 중간 이미지의 분량이고, 프로세스는 S603으로 복귀한다.
결론적으로, 모든 Δt를 통해, 원시 이미지와 목적 이미지 간의 하나의 중간 전이 이미지 INTER_(t)를 획득하고 NΔt를 통해 이미지 모핑을 완료한다.
모핑 애니메이션은 재생 지속시간이 고정되어 있는 모핑 애니메이션이다. S101에서 저장된 인접 이미지들에 대해 이미지 모핑 사전처리를 수행하기 전에, 방법은 재생 지속시간의 현재 남아 있는 시간이 0보다 큰지를 판정하는 단계를 더 포함하며, 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하는 단계는, 현재 남아 있는 시간이 0보다 크면, 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하는 단계를 포함한다.
본 발명은 복수의 이미지로부터 모핑 애니메이션을 생성하는 장치를 제공한다. 도 6을 참조하면, 본 발명의 실시예에 따라 복수의 사람 얼굴 이미지로부터 모핑 애니메이션을 생성하는 장치에 대한 개략 구조도가 도시되어 있다. 장치는 복수의 이미지 중 인접하는 이미지들의 색조 차이를 감소시키기 위해 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행함으로써, 생성된 애니메이션이 인접하는 이미지들의 한 이미지에서 다른 이미지로 더 부드럽게 전환하도록 구성되어 있는 색조 사전처리 모듈(601); 상기 색조 사전처리 모듈에 의해 색조 사전처리가 수행된 인접하는 이미지들의 특징 포인트 차등에 따라 중간 프레임들의 분량을 결정하고, 이미지 워핑 기술을 통해 인접하는 이미지들 간에, 중간 프레임 이미지의 분량이 중간 프레임의 분량과 동일한 중간 프레임 이미지를 생성하도록 구성되어 있는 중간 프레임 생성 모듈(603); 및 복수의 이미지 및 상기 복수의 이미지 중 모든 인접하는 이미지 간에 삽입되는 중간 프레임 이미지로부터 모핑 애니메이션을 생성하도록 구성되어 있는 애니메이션 생성 모듈(605)을 포함한다.
본 발명의 실시예에서, 복수의 이미지는 복수의 사람 얼굴 이미지이고, 색조 사전처리 모듈은 인접하는 이미지들의 색조 사전처리를 감소시키기 위해 복수의 사람 얼굴 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하도록 구성되어 있다.
본 발명의 다른 실시예에서는, 정렬 모듈을 더 포함하며, 상기 정렬 모듈은 복수의 사람 얼굴 이미지를 정렬하여 인접하는 이미지들 간의 차이를 대체로 감소시킴으로써, 생성된 애니메이션이 인접하는 이미지의 한 이미지에서 다른 이미지로 더 부드럽게 재생되도록 구성되어 있으며, 상기 색조 사전처리 모듈은 상기 정렬 모듈에 의해 색조 사전처리가 수행된 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하도록 구성되어 있다.
정렬 모듈은 사람 얼굴 크기에 따라 복수의 사람 얼굴 이미지를 정렬하도록 구성되어 있다.
정렬 모듈은 이미지 강도에 따라 복수의 사람 얼굴 이미지를 정렬하도록 구성되어 있다.
색조 사전처리 모듈(601)은 인접하는 이미지들의 색조 차이를 획득하기 위해 인접하는 이미지들의 색조에 따라 계산을 수행하고, 색조 차이에 따른 계산을 통해 색조 차이 절대값을 획득하고, 색조 차이 절대값이 제1 임계값보다 크면, 색조 차이 절대값에 따라 인접하는 이미지에서 색조를 조정해야 하는 이미지 및 색조 조정 방식을 결정하며, 그런 다음 색조 조정 방식에 따라, 색조를 조정해야 하는 이미지에 대해 색조 조정을 수행하도록 구성되어 있다.
중간 프레임 생성 모듈(603)은 인접하는 이미지들의 유사성에 따라 중간 프레임의 분량을 결정하도록 구성되어 있으며, 이러한 결정은 인접하는 이미지들의 특징 포인트 차등에 따라 중간 프레임의 분량을 결정하는 단계를 포함한다.
중간 프레임 생성 모듈(603)은 인접하는 이미지들의 특징 포인트 차등의 값에 따라 중간 프레임들의 분량을 결정하도록 구성되어 있으며, 이러한 결정은 구체적으로, 인접하는 이미지들의 유사성의 값이 제1 구간 내에 있으면, 중간 프레임의 분량을 제1 분량으로 결정하는 단계, 및 인접하는 이미지들의 유사성의 값이 제2 구간 내에 있으면, 중간 프레임의 분량을 제2 분량으로 결정하는 단계를 포함하며, 제1 구간의 값은 제2 구간의 값보다 작으며, 제1 분량은 제2 분량보다 작다.
장치는 복수의 사람 얼굴 이미지 중 인접하는 이미지들에 대해 강도 사전처리를 수행하도록 구성되어 있는 강도 사전처리 모듈을 더 포함하며, 중간 프레임 생성 모듈은 색조 사전처리 및 강도 사전처리가 수행된 인접하는 이미지들에 따라 모핑 애니메이션을 생성하도록 구성되어 있다.
강도 사전처리 모듈은 구체적으로, 인접하는 이미지들의 강도 차이를 얻기 위해 인접하는 이미지들의 강도에 따라 계산을 수행하고, 강도 차이에 따라 강도 차이 절대값을 획득하고, 강도 차이 절대값이 제2 임계값보다 크면, 강도 차이 절대값에 따라 인접하는 이미지에서 강도를 조정해야 하는 이미지 및 강도 조정 방식을 결정하며, 그런 다음 상기 강도 조정 방식에 따라, 강도를 조정해야 하는 이미지에 대해 강도 조정을 수행하도록 구성되어 있다.
본 발명의 실시예에서, 모핑 애니메이션은 재생 지속시간이 고정되어 있는 애니메이션이고, 상기 장치는 재생 지속시간의 현재 남아 있는 시간이 0보다 큰지를 판정하도록 구성되어 있는 판정 모듈을 더 포함하며, 색조 사전처리 모듈은 재생 지속시간의 현재 남아 있는 시간이 0보다 크면, 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하도록 구성되어 있다.
본 발명의 실시예는 음악 플레이어용 재생 배경을 생성하는 방법을 제공한다. 도 7을 참조하면, 본 발명의 실시예에 따라 음악 플레이어용 재생 배경을 생성하는 방법에 대한 흐름도가 도시되어 있으며, 이하의 단계를 포함한다:
S701: 애니메이션을 생성하는 데 사용되는 복수의 이미지를 수신한다.
S703: 복수의 이미지 중 인접하는 이미지들 간의 색조 차이를 감소시키기 위해 복수의 이미지 중 인접하는 이미지에 대해 색조 사전처리를 수행한다.
S705: 색조 사전처리가 수행된 인접하는 이미지들의 특징 포인트 차등(feature point differential)에 따라 인접하는 이미지들 간의 중간 프레임의 분량을 결정하고, 이미지 워핑 기술을 통해 인접하는 이미지들 간에, 분량이 중간 프레임들의 분량과 동일한 중간 프레임 이미지들을 생성하며, 인접하는 이미지들 간에 중간 프레임 이미지들을 삽입하며, 복수의 이미지 및 상기 복수의 이미지 중 모든 인접하는 이미지 간에 삽입되는 중간 프레임 이미지들로부터 모핑 애니메이션을 생성한다.
S707: 복수의 이미지로부터 생성된 모핑 애니메이션을 음악 플레이어용 재생 배경으로서 사용한다.
본 발명의 실시예에서, 복수의 이미지는 복수의 사람 얼굴 이미지이고, 복수의 이미지 중 인접하는 이미지에 대해 색조 사전처리를 수행하는 단계는 복수의 사람 얼굴 이미지 중 인접하는 이미지에 대해 색조 사전처리를 수행하는 단계를 포함한다.
색조 사전처리 모듈은 복수의 사람 얼굴 이미지 중 인접하는 이미지들 간의 색조 차이를 감소시키기 위해 복수의 사람 얼굴 이미지 중 인접하는 이미지에 대해 색조 사전처리를 수행하도록 구성되어 있다.
본 발명의 실시예에서, 인접하는 이미지들의 특징 포인트 차등에 따라 중간 프레임의 분량을 결정하는 단계 이전에, 상기 방법은 복수의 이미지에 사람 얼굴 이미지의 특징 포인트를 위치시키는 단계를 포함한다.
사람 얼굴 이미지의 특징 포인트를 위치시키는 단계는 자동 검출을 통해 사람 얼굴의 특징 포인트를 위치시키는 단계를 포함한다.
자동 검출을 통해 사람 얼굴의 특징 포인트를 위치시키는 단계는, 특정한 픽처에 있어서, 사람 얼굴 검출에 기초하여, 사용자가 많은 수작업을 할 필요 없이 사람 얼굴의 중요한 특징 포인트를 자동으로 검출하는 것이므로, 사람 얼굴을 위치시키는 것이 편리하고 신속하다. 자동 검출을 통해 사람 얼굴의 특징 포인트를 위치시키는 단계는 액티브 형상 모델 알고리즘(active shape model algorithm)을 통해 사람 얼굴의 특징 포인트를 검출하고 위치시키는 단계이다.
사람 얼굴 이미지의 특징 포인트를 위치시키는 단계는, 전체 드래깅(overall dragging) 또는 싱글-포인트 드래깅(single-point dragging)을 통해 사람 얼굴 이미지의 특징 포인트를 위치시키는 단계를 포함한다. 전체 드래깅 방식은 사람 얼굴의 특징 포인트를 사람 얼굴 윤곽, 눈썹, 눈, 코, 입의 5 부분의 특징 포인트로 나누고, 사람 얼굴 윤곽, 눈썹, 눈, 코, 입의 5 부분의 특징 포인트를 각각 전체로 해서 드래그하는 것이다. 눈썹 및 눈의 두 부분에 있어서는, 좌우 눈썹 및 좌우 눈도 마찬가지로 개별적으로 드래그된다. 자동 검출을 통해 위치하는 특징 포인트와 사람 얼굴의 특징 포인트의 실제 템플리트 간의 먼 거리로 인해 특징 포인트를 하나씩 이동하는 것이 귀찮은 작업이지만 전체 드래깅 방식에 의해 이러한 작업을 하지 않아도 된다.
싱글-포인트 드래깅 방식은, 사람 얼굴 특징을 정교하게 위치시키기 위해 특징 포인트를 하나씩 선택하여 드래깅하는 것이다.
본 발명의 실시예에서, 특징 포인트를 자동으로 검출하고 위치시키는 위치결정 방식이 주로 채택된다. 자동 검출 및 위치결정 방식이 만족스런 효과를 내지 못하면, 사람 얼굴 이미지의 특징 포인트를 전체 드래깅 또는 싱글-포인트 드래깅으로 위치시켜, 자동으로 검출되어 위치하고 있는 불만족스런 특징 포인트를 조정한다.
복수의 이미지 중 인접하는 이미지들에 대해 이미지 모핑 사전처리가 수행되기 전에, 방법은 음악 파일의 타임스탬프를 캡처함으로써 음악 파일의 현재 남아 있는 시간을 획득하는 단계를 포함한다. 이에 따라 현재 남아 있는 시간이 0보다 큰지를 판정한다. 현재 남아 있는 시간이 0보다 크면, 복수의 이미지 중 인접하는 이미지들에 대해 이미지 색조 사전처리를 수행하는 단계는, 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리하는 단계를 참조한다.
본 발명의 본 실시예에서는, 음악이 재생되는 것과 동시에 사진이 동적으로 로딩되며, 사람 얼굴을 변환하는 데 필요한 단지 2장의 사진만이 메모리에 로딩되고 변환 시 삭제된다. 그런 다음 새로운 2장이 사진이 메모리를 소비함이 없이 로딩된다.
사진을 로딩하는 시간 구간(time interval)이 너무 길면, 재생 배경의 부드러움에 영향을 주며, 사진을 로딩하는 시간 구간이 너무 짧으면, 재생 배경이 압도되어 혼란스럽게 되므로, 실제의 사람 얼굴의 본래의 사진을 분간할 수 없게 되고 각 프레임은 계속해서 변하게 된다. 본 발명의 본 실시예에서, 최적의 시간 구간은 3 내지 5초이지만, 본 발명은 이러한 시간 구간의 값에 제한되지 않는다.
본 발명의 실시예는 음악 플레이어를 제공하며, 음악 플레이어는, 복수의 이미지 중 인접하는 이미지들 간의 색조 차이를 감소시키기 위해 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하도록 구성되어 있는 색조 사전처리 모듈(801); 상기 색조 사전처리 모듈에 의해 색조 사전처리가 수행된 인접하는 이미지들의 특징 포인트 차등(feature point differential)에 따라 중간 프레임의 분량을 결정하고, 상기 특징 포인트 차등은 인접하는 이미지들에 대응하는 특징 포인트의 픽셀 거리에 따른 계산을 통해 획득되며, 이미지 워핑 기술을 통해 인접하는 이미지들 간에, 분량이 중간 프레임들의 분량과 동일한 중간 프레임 이미지들을 생성하며, 인접하는 이미지들 간에 중간 프레임 이미지들을 삽입하도록 구성되어 있는 중간 프레임 생성 모듈(803); 복수의 이미지 및 상기 복수의 이미지 중 모든 인접하는 이미지 간에 삽입되는 중간 프레임 이미지들에 따라 모핑 애니메이션을 생성하도록 구성되어 있는 애니메이션 생성 모듈(805); 및 음악 파일을 재생하며, 음악 파일의 남아 있는 재생 시간이 0보다 크면, 음악 파일의 비디오 디스플레이 인터페이스상에서 모핑 애니메이션을 재생하도록 구성되어 있는 재생 모듈을 포함한다.
본 발명의 본 실시예에 제공된 음악 플레이어는 음악 파일 및 복수의 이미지를 저장하도록 구성되어 있는 저장 모듈(807)을 더 포함한다.
본 발명의 본 실시예에 제공된 음악 플레이어는 음악 파일의 비디오 디스플레이 인터페이스를 디스플레이하도록 구성되어 있는 디스플레잉 모듈(809)을 더 포함한다.
첨부된 도면들은 예시적 실시예의 개략도에 지나지 않으며, 첨부된 도면에서의 모듈 또는 과정은 본 발명을 구현하는 데 반드시 필요한 것은 아님을 당업자는 이해할 수 있을 것이다.
본 실시예에 제공된 장치 내의 모듈들은 실시예에 대한 상세한 설명에 따라 배정된 방식으로 장치 내에 배치될 수 있으며, 실시예에 설명된 장치들과 다른 하나의 장치 또는 복수의 장치 내에 배치될 수도 있다는 것을 당업자는 이해할 수 있을 것이다. 실시예에서의 모듈들은 하나의 모듈로 결합될 수 있으며 복수의 서브모듈들로 분할될 수도 있다.
마지막으로, 전술한 실시예는 본 발명의 기술적 솔루션을 설명하기 위해 사용된 것에 지나지 않으며, 본 발명을 제한하려는 것이 아님을 이해해야 한다. 본 발명을 전술한 실시예를 참조하여 상세히 설명하였으나, 당업자는 전술한 실시예에에 설명된 기술적 솔루션에 대해 변형이 이루어질 수 있거나, 기술적 솔루션 중 일부의 기술적 솔루션에 대해 등가의 대체가 이루어질 수 있으나, 이러한 변형 또는 대체로 인해 대응하는 기술적 솔루션이 본 발명의 실시예에서의 기술적 솔루션의 정신 및 범주를 벗어나지 않는다는 것을 이해해야 한다.

Claims (32)

  1. 모핑 애니메이션 생성 방법에 있어서,
    복수의 이미지 중 인접하는 이미지들 간의 색조 차이를 감소시키기 위해 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리(hue preprocessing)를 수행하는 단계;
    상기 색조 사전처리가 수행된 인접하는 이미지들의 특징 포인트 차등(feature point differential)에 따라 인접하는 이미지들 간의 중간 프레임의 분량(quantity)을 결정하는 단계, 상기 특징 포인트 차등은 인접하는 이미지들에 대응하는 특징 포인트들의 픽셀 거리에 따른 계산을 통해 획득되며, 이미지 워핑 기술(image warping technology)을 통해 인접하는 이미지들 간에, 분량이 중간 프레임들의 분량과 동일한 중간 프레임 이미지들을 생성하는 단계, 및 상기 인접하는 이미지들 간에 상기 중간 프레임 이미지들을 삽입하는 단계; 및
    상기 복수의 이미지 및 상기 복수의 이미지 중 모든 인접하는 이미지 간에 삽입되는 상기 중간 프레임 이미지들로부터 모핑 애니메이션을 생성하는 단계
    를 포함하는 모핑 애니메이션 생성 방법.
  2. 제1항에 있어서,
    상기 복수의 이미지는 복수의 사람 얼굴 이미지이며,
    상기 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하는 단계는, 상기 복수의 사람 얼굴 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하는 단계를 포함하는, 모핑 애니메이션 생성 방법.
  3. 제2항에 있어서,
    상기 복수의 사람 얼굴 이미지 중 인접하는 이미지에 대해 색조 사전처리를 수행하는 단계 이전에, 상기 복수의 사람 얼굴 이미지를 정렬(sorting)하는 단계를 더 포함하며,
    상기 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하는 단계는, 정렬된 복수의 사람 얼굴 이미지 중 인접하는 이미지에 대해 색조 사전처리를 수행하는 단계를 참조하는, 모핑 애니메이션 생성 방법.
  4. 제3항에 있어서,
    상기 복수의 사람 얼굴 이미지를 정렬하는 단계는, 상기 복수의 사람 얼굴 이미지를 사람 얼굴 크기에 따라 정렬하는 단계를 포함하는, 모핑 애니메이션 생성 방법.
  5. 제3항에 있어서,
    상기 복수의 사람 얼굴 이미지를 정렬하는 단계는, 상기 복수의 사람 얼굴 이미지를 이미지 강도(image intensity)에 따라 정렬하는 단계를 포함하는, 모핑 애니메이션 생성 방법.
  6. 제2항 내지 제5항 중 어느 한 항에 있어서,
    상기 색조 사전처리를 수행하는 단계는 구체적으로, 인접하는 이미지들의 색조 차이를 얻기 위해 인접하는 이미지들의 색조에 따라 계산을 수행하는 단계, 상기 색조 차이에 따라 색조 차이 절대값을 획득하는 단계, 상기 색조 차이 절대값이 제1 임계값보다 크면, 상기 색조 차이 절대값에 따라 인접하는 이미지에서 색조를 조정해야 하는 이미지 및 색조 조정 방식을 결정하는 단계, 및 상기 색조 조정 방식에 따라, 색조를 조정해야 하는 이미지에 대해 색조 조정을 수행하는 단계를 포함하는, 모핑 애니메이션 생성 방법.
  7. 제6항에 있어서,
    상기 인접하는 이미지들의 색조 차이를 얻기 위해 인접하는 이미지들의 색조에 따라 계산을 수행하는 단계는, 인접하는 이미지들의 색조 차이를 얻기 위해 인접하는 이미지 중 제1 이미지의 평균 색조 값으로부터 제2 이미지의 평균 색조 값을 감산하는 단계를 포함하며,
    상기 색조 조정 방식에 따라, 색조를 조정해야 하는 이미지에 대해 색조 조정을 수행하는 단계는, 색조 차이가 0보다 크면, 제1 이미지의 각 픽셀의 색조를 감소시키거나 제2 이미지의 각 픽셀의 색조를 증가시키는 단계, 및 색조 차이가 0보다 작으면, 제1 이미지의 각 픽셀의 색조를 증가시키거나 제2 이미지의 각 픽셀의 색조를 감소시키는 단계를 포함하는, 모핑 애니메이션 생성 방법.
  8. 제2항 또는 제4항에 있어서,
    인접하는 이미지들의 강도 차이를 감소시키기 위해 복수의 이미지 중 인접하는 이미지들에 대해 강도 사전처리(intensity preprocessing)를 수행하는 단계를 더 포함하며,
    상기 색조 사전처리가 수행된 인접하는 이미지들의 특징 포인트 차등에 따라 인접하는 이미지들 간의 중간 프레임의 분량을 결정하는 단계는, 상기 색조 사전처리 및 상기 강도 사전처리가 수행된 인접하는 이미지들의 특징 포인트 차등에 따라 인접하는 이미지들 간의 중간 프레임의 분량을 결정하는 단계를 포함하는, 모핑 애니메이션 생성 방법.
  9. 제8항에 있어서,
    상기 강도 사전처리는 구체적으로, 인접하는 이미지들의 강도 차이를 얻기 위해 인접하는 이미지들의 강도에 따라 계산을 수행하는 단계, 상기 강도 차이에 따른 계산을 통해 강도 차이 절대값을 획득하는 단계, 상기 강도 차이 절대값이 제2 임계값보다 크면, 강도 차이 절대값에 따라 인접하는 이미지에서 강도를 조정해야 하는 이미지 및 강도 조정 방식을 먼저 결정하는 단계, 및 상기 강도 조정 방식에 따라, 강도를 조정해야 하는 이미지에 대해 강도 조정을 수행하는 단계를 포함하는, 모핑 애니메이션 생성 방법.
  10. 제9항에 있어서,
    상기 인접하는 이미지들의 강도 차이를 얻기 위해 인접하는 이미지들의 강도에 따라 계산을 수행하는 단계는, 인접하는 이미지들의 강도 차이를 얻기 위해 인접하는 이미지 중 제1 이미지의 평균 강도 값으로부터 제2 이미지의 평균 강도 값을 감산하는 단계를 포함하며,
    상기 강도 조정 방식에 따라, 강도를 조정해야 하는 이미지에 대해 강도 조정을 수행하는 단계는, 강도 차이가 0보다 크면, 제1 이미지의 각 픽셀의 강도를 감소시키거나 제2 이미지의 각 픽셀의 강도를 증가시키는 단계, 및 강도 차이가 0보다 작으면, 제1 이미지의 각 픽셀의 강도를 증가시키거나 제2 이미지의 각 픽셀의 강도를 감소시키는 단계를 포함하는, 모핑 애니메이션 생성 방법.
  11. 제1항 또는 제2항에 있어서,
    상기 색조 사전처리가 수행된 인접하는 이미지들의 특징 포인트 차등에 따라 인접하는 이미지들 간의 중간 프레임의 분량을 결정하는 단계는, 인접하는 이미지들의 특징 포인트 차등의 값이 제1 구간 내에 있으면, 중간 프레임의 분량을 제1 분량으로 결정하는 단계, 및 인접하는 이미지들의 특징 포인트 차등의 값의 값이 제2 구간 내에 있으면, 중간 프레임의 분량을 제2 분량으로 결정하는 단계를 포함하며,
    상기 제1 구간의 값은 상기 제2 구간의 값보다 작으며, 상기 제1 분량은 상기 제2 분량보다 작은, 모핑 애니메이션 생성 방법.
  12. 제1항에 있어서,
    상기 모핑 애니메이션은 재생 지속시간이 고정되어 있는 모핑 애니메이션이며, 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하는 단계 이전에, 재생 지속시간의 현재 남아 있는 시간이 0보다 큰지를 판정하는 단계를 더 포함하며,
    상기 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하는 단계는, 현재 남아 있는 시간이 0보다 크면, 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하는 단계를 포함하는, 모핑 애니메이션 생성 방법.
  13. 모핑 애니메이션 생성 장치에 있어서,
    복수의 이미지 중 인접하는 이미지들 간의 색조 차이를 감소시키기 위해 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하도록 구성되어 있는 색조 사전처리 모듈;
    상기 색조 사전처리 모듈에 의해 색조 사전처리가 수행되는 인접하는 이미지들의 특징 포인트 차등(feature point differential)에 따라 중간 프레임의 분량(quantity)을 결정하고, 상기 특징 포인트 차등은 인접하는 이미지들에 대응하는 특징 포인트의 픽셀 거리에 따른 계산을 통해 획득되며, 이미지 워핑 기술을 통해 인접하는 이미지들 간에, 분량이 중간 프레임들의 분량과 동일한 중간 프레임 이미지들을 생성하며, 인접하는 이미지들 간에 중간 프레임 이미지들을 삽입하도록 구성되어 있는 중간 프레임 생성 모듈; 및
    상기 복수의 이미지 및 상기 복수의 이미지 중 모든 인접하는 이미지 간에 삽입되는 중간 프레임 이미지들에 따라 모핑 애니메이션을 생성하도록 구성되어 있는 애니메이션 생성 모듈
    을 포함하는 모핑 애니메이션 생성 장치.
  14. 제13항에 있어서,
    상기 복수의 이미지는 복수의 사람 얼굴 이미지이며,
    상기 색조 사전처리 모듈은, 복수의 사람 얼굴 이미지 중 인접하는 이미지들 간의 색조 차이를 감소시키기 위해 복수의 사람 얼굴 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하도록 구성되어 있는, 모핑 애니메이션 생성 장치.
  15. 제14항에 있어서,
    상기 복수의 사람 얼굴 이미지를 정렬하도록 구성되어 있는 정렬 모듈(sorting module)을 더 포함하며,
    상기 색조 사전처리 모듈은 상기 정렬 모듈에 의해 정렬된 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하도록 구성되어 있는, 모핑 애니메이션 생성 장치.
  16. 제15항에 있어서,
    상기 정렬 모듈은 상기 복수의 사람 얼굴 이미지를 사람 얼굴 크기에 따라 정렬하도록 구성되어 있는, 모핑 애니메이션 생성 장치.
  17. 제15항에 있어서,
    상기 정렬 모듈은 상기 복수의 사람 얼굴 이미지를 이미지 강도에 따라 정렬하도록 구성되어 있는, 모핑 애니메이션 생성 장치.
  18. 제14항 내지 제17항 중 어느 한 항에 있어서,
    상기 색조 사전처리 모듈은, 인접하는 이미지들의 색조 차이를 획득하기 위해 인접하는 이미지들의 색조에 따라 계산을 수행하고, 상기 색조 차이에 따라 색조 차이 절대값을 획득하고, 상기 색조 차이 절대값이 제1 임계값보다 크면, 상기 색조 차이 절대값에 따라 인접하는 이미지에서 색조를 조정해야 하는 이미지 및 색조 조정 방식을 결정하며, 그런 다음 상기 색조 조정 방식에 따라, 색조를 조정해야 하는 이미지에 대해 색조 조정을 수행하도록 구성되어 있는, 모핑 애니메이션 생성 장치.
  19. 제14항 또는 제16항에 있어서,
    복수의 사람 얼굴 이미지 중 인접하는 이미지들에 대해 강도 사전처리를 수행하도록 구성되어 있는 강도 사전처리 모듈을 더 포함하며,
    상기 중간 프레임 생성 모듈은, 상기 사전처리 및 상기 강도 사전처리가 수행된 인접하는 이미지들의 특징 포인트 차등에 따라 중간 프레임의 분량을 결정하도록 구성되어 있는, 모핑 애니메이션 생성 장치.
  20. 제19항에 있어서,
    상기 강도 사전처리 모듈은 구체적으로, 인접하는 이미지들의 강도 차이를 얻기 위해 인접하는 이미지들의 강도에 따라 계산을 수행하고, 상기 강도 차이에 따라 강도 차이 절대값을 획득하고, 상기 강도 차이 절대값이 제2 임계값보다 크면, 상기 강도 차이 절대값에 따라 인접하는 이미지에서 강도를 조정해야 하는 이미지 및 강도 조정 방식을 결정하며, 그런 다음 상기 강도 조정 방식에 따라, 강도를 조정해야 하는 이미지에 대해 강도 조정을 수행하도록 구성되어 있는, 모핑 애니메이션 생성 장치.
  21. 제14항에 있어서,
    상기 중간 프레임 생성 모듈은 구체적으로, 인접하는 이미지들의 유사성의 값이 제1 구간 내에 있으면, 중간 프레임의 분량을 제1 분량으로 결정하고, 인접하는 이미지들의 유사성의 값이 제2 구간 내에 있으면, 중간 프레임의 분량을 제2 분량으로 결정하도록 구성되어 있으며,
    상기 제1 구간의 값은 상기 제2 구간의 값보다 작으며, 상기 제1 분량은 제2 분량보다 작은, 모핑 애니메이션 생성 장치.
  22. 제14항에 있어서,
    상기 모핑 애니메이션은 재생 지속시간이 고정되어 있는 애니메이션이고,
    상기 재생 지속시간의 현재 남아 있는 시간이 0보다 큰지를 판정하도록 구성되어 있는 판정 모듈
    을 더 포함하며,
    상기 색조 사전처리 모듈은, 상기 재생 지속시간의 현재 남아 있는 시간이 0보다 크면, 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하도록 구성되어 있는, 모핑 애니메이션 생성 장치.
  23. 음악 재생 배경 생성 방법에 있어서,
    애니메이션을 생성하는 데 사용되는 복수의 이미지를 수신하는 단계;
    상기 복수의 이미지 중 인접하는 이미지들 간의 색조 차이를 감소시키기 위해 상기 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하는 단계;
    상기 색조 사전처리가 수행된 인접하는 이미지들의 특징 포인트 차등(feature point differential)에 따라 중간 프레임의 분량(quantity)을 결정하는 단계, 이미지 워핑 기술(image warping technology)을 통해 인접하는 이미지들 간에, 분량이 중간 프레임들의 분량과 동일한 중간 프레임 이미지들을 생성하는 단계, 및 상기 인접하는 이미지들 간에 상기 중간 프레임 이미지들을 삽입하는 단계;
    상기 복수의 이미지 및 상기 복수의 이미지 중 모든 인접하는 이미지 간에 삽입되는 상기 중간 프레임 이미지들로부터 모핑 애니메이션을 생성하는 단계; 및
    상기 모핑 애니메이션을 음악 플레이어용 재생 배경으로서 사용하는 단계
    를 포함하는 음악 재생 배경 생성 방법.
  24. 제23항에 있어서,
    상기 복수의 이미지는 복수의 사람 얼굴 이미지이고,
    상기 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하는 단계는, 상기 복수의 사람 얼굴 이미지에 대해 색조 사전처리를 수행하는 단계를 포함하는, 음악 재생 배경 생성 방법.
  25. 제24항에 있어서,
    상기 색조 사전처리가 수행된 인접하는 이미지들의 특징 포인트 차등에 따라 중간 프레임의 분량을 결정하는 단계 이전에, 상기 인접하는 이미지들의 특징 포인트를 위치시키는 단계를 포함하는, 음악 재생 배경 생성 방법.
  26. 제25항에 있어서,
    상기 사람 얼굴 이미지의 특징 포인트를 위치시키는 단계는 자동 검출을 통해 사람 얼굴의 특징 포인트를 위치시키는 단계를 포함하는, 음악 재생 배경 생성 방법.
  27. 제26항에 있어서,
    상기 자동 검출을 통해 사람 얼굴의 특징 포인트를 위치시키는 단계는, 액티브 형상 모델 알고리즘(active shape model algorithm)을 통해 자동으로 사람 얼굴의 특징 포인트를 검출하고 위치시키는 단계를 포함하는, 음악 재생 배경 생성 방법.
  28. 제25항에 있어서,
    상기 사람 얼굴 이미지의 특징 포인트를 위치시키는 단계는, 전체 드래깅(overall dragging) 또는 싱글-포인트 드래깅(single-point dragging)을 통해 사람 얼굴 이미지의 특징 포인트를 위치시키는 단계를 포함하며,
    상기 전체 드래깅은, 사람 얼굴의 특징 포인트를, 사람 얼굴 윤곽, 눈썹, 눈, 코, 입의 5 부분의 특징 포인트로 나누는 단계, 사람 얼굴 윤곽, 눈썹, 눈, 코, 입의 5 부분의 특징 포인트를 각각 전체로 해서 드래그하는 단계를 포함하며,
    상기 싱글-포인트 드래깅은, 각각의 특징 포인트를 개별적으로 드래깅하는 단계를 포함하는, 음악 재생 배경 생성 방법.
  29. 제23항에 있어서,
    복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하는 단계 이전에, 음악 파일의 타임스탬프를 캡처함으로써 음악 파일의 현재 남아 있는 시간을 획득하는 단계, 및 현재 남아 있는 시간이 0보다 큰지를 판정하는 단계를 포함하며,
    상기 현재 남아 있는 시간이 0보다 크면, 상기 복수의 이미지 중 인접하는 이미지들에 대해 이미지 색조 사전처리를 수행하는 단계는, 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하는 단계를 참조하는, 음악 재생 배경 생성 방법.
  30. 음악 플레이어에 있어서,
    복수의 이미지 중 인접하는 이미지들 간의 색조 차이를 감소시키기 위해 복수의 이미지 중 인접하는 이미지들에 대해 색조 사전처리를 수행하도록 구성되어 있는 색조 사전처리 모듈;
    상기 색조 사전처리 모듈에 의해 색조 사전처리가 수행된 인접하는 이미지들의 특징 포인트 차등(feature point differential)에 따라 중간 프레임의 분량을 결정하고, 상기 특징 포인트 차등은 인접하는 이미지들에 대응하는 특징 포인트의 픽셀 거리에 따른 계산을 통해 획득되며, 이미지 워핑 기술을 통해 인접하는 이미지들 간에, 분량이 중간 프레임들의 분량과 동일한 중간 프레임 이미지들을 생성하며, 상기 인접하는 이미지들 간에 상기 중간 프레임 이미지들을 삽입하도록 구성되어 있는 중간 프레임 생성 모듈;
    상기 복수의 이미지 및 상기 복수의 이미지 중 모든 인접하는 이미지 간에 삽입되는 중간 프레임 이미지들에 따라 모핑 애니메이션을 생성하도록 구성되어 있는 애니메이션 생성 모듈; 및
    음악 파일을 재생하며, 상기 음악 파일의 남아 있는 재생 시간이 0보다 크면, 상기 음악 파일의 비디오 디스플레이 인터페이스상에서 상기 모핑 애니메이션을 재생하도록 구성되어 있는 재생 모듈
    을 포함하는, 음악 플레이어.
  31. 제29항에 있어서,
    상기 음악 파일 및 상기 복수의 이미지를 저장하도록 구성되어 있는 저장 모듈을 더 포함하는 음악 플레이어.
  32. 제28항에 있어서,
    상기 음악 파일의 상기 비디오 디스플레이 인터페이스를 디스플레이하도록 구성되어 있는 디스플레잉 모듈을 더 포함하는 음악 플레이어.
KR1020127024480A 2011-09-27 2011-09-27 모핑 애니메이션을 생성하기 위한 방법 및 장치 KR101388542B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/080199 WO2012149772A1 (zh) 2011-09-27 2011-09-27 一种渐变动画的生成方法和装置

Publications (2)

Publication Number Publication Date
KR20130045242A true KR20130045242A (ko) 2013-05-03
KR101388542B1 KR101388542B1 (ko) 2014-04-23

Family

ID=46010200

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127024480A KR101388542B1 (ko) 2011-09-27 2011-09-27 모핑 애니메이션을 생성하기 위한 방법 및 장치

Country Status (7)

Country Link
US (1) US8531484B2 (ko)
EP (1) EP2706507B1 (ko)
JP (1) JP5435382B2 (ko)
KR (1) KR101388542B1 (ko)
CN (1) CN102449664B (ko)
ES (1) ES2625263T3 (ko)
WO (1) WO2012149772A1 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014017114A (ja) * 2012-07-09 2014-01-30 Panasonic Corp 照明システム
CN104995662B (zh) * 2013-03-20 2020-08-11 英特尔公司 用于管理化身的设备和方法以及用于动画化化身的设备
US9286710B2 (en) * 2013-05-14 2016-03-15 Google Inc. Generating photo animations
CN109711304B (zh) * 2013-05-21 2022-06-14 深圳市腾讯计算机系统有限公司 一种人脸特征点定位方法及装置
CN103413342B (zh) * 2013-07-25 2016-06-15 南京师范大学 一种基于像素点的图像文字渐变方法
CN104424295B (zh) * 2013-09-02 2019-09-24 联想(北京)有限公司 一种信息处理方法及电子设备
CN103927175A (zh) * 2014-04-18 2014-07-16 深圳市中兴移动通信有限公司 背景界面随音频动态变化的方法和终端设备
US10049141B2 (en) * 2014-10-10 2018-08-14 salesforce.com,inc. Declarative specification of visualization queries, display formats and bindings
CN104299252B (zh) * 2014-10-17 2018-09-07 惠州Tcl移动通信有限公司 一种图片显示切换的过渡方法及其系统
CN104992462B (zh) * 2015-07-20 2018-01-30 网易(杭州)网络有限公司 一种动画播放方法、装置及终端
CN106651998B (zh) * 2015-10-27 2020-11-24 北京国双科技有限公司 基于Canvas的动画播放速度调整方法及装置
CN106887030B (zh) * 2016-06-17 2020-03-06 阿里巴巴集团控股有限公司 一种动画生成方法和装置
CN106297479A (zh) * 2016-08-31 2017-01-04 武汉木子弓数字科技有限公司 一种基于ar增强现实涂鸦技术的歌曲教学方法及系统
CN106447754B (zh) * 2016-08-31 2019-12-24 和思易科技(武汉)有限责任公司 病理动画的自动生成方法
CN106445332A (zh) * 2016-09-05 2017-02-22 深圳Tcl新技术有限公司 图标显示方法及系统
US10395412B2 (en) 2016-12-30 2019-08-27 Microsoft Technology Licensing, Llc Morphing chart animations in a browser
US10304225B2 (en) 2016-12-30 2019-05-28 Microsoft Technology Licensing, Llc Chart-type agnostic scene graph for defining a chart
US11086498B2 (en) 2016-12-30 2021-08-10 Microsoft Technology Licensing, Llc. Server-side chart layout for interactive web application charts
JP6796015B2 (ja) * 2017-03-30 2020-12-02 キヤノン株式会社 シーケンス生成装置およびその制御方法
CN107316236A (zh) * 2017-07-07 2017-11-03 深圳易嘉恩科技有限公司 基于flex的票据图片预处理编辑器
CN107341841B (zh) * 2017-07-26 2020-11-27 厦门美图之家科技有限公司 一种渐变动画的生成方法及计算设备
CN107734322B (zh) * 2017-11-15 2020-09-22 深圳超多维科技有限公司 用于裸眼3d显示终端的图像显示方法、装置及终端
CN108769361B (zh) * 2018-04-03 2020-10-27 华为技术有限公司 一种终端壁纸的控制方法、终端以及计算机可读存储介质
CN109068053B (zh) * 2018-07-27 2020-12-04 香港乐蜜有限公司 图像特效展示方法、装置和电子设备
CN109947338B (zh) * 2019-03-22 2021-08-10 腾讯科技(深圳)有限公司 图像切换显示方法、装置、电子设备及存储介质
CN110049351B (zh) * 2019-05-23 2022-01-25 北京百度网讯科技有限公司 视频流中人脸变形的方法和装置、电子设备、计算机可读介质
CN110942501B (zh) * 2019-11-27 2020-12-22 深圳追一科技有限公司 虚拟形象切换方法、装置、电子设备及存储介质
CN111524062B (zh) * 2020-04-22 2023-11-24 北京百度网讯科技有限公司 图像生成方法和装置
CN112508773B (zh) 2020-11-20 2024-02-09 小米科技(武汉)有限公司 图像处理方法及装置、电子设备、存储介质
CN113313790A (zh) * 2021-05-31 2021-08-27 北京字跳网络技术有限公司 视频生成方法、装置、设备及存储介质
CN113411581B (zh) * 2021-06-28 2022-08-05 展讯通信(上海)有限公司 视频序列的运动补偿方法、系统、存储介质及终端
CN114173067A (zh) * 2021-12-21 2022-03-11 科大讯飞股份有限公司 一种视频生成方法、装置、设备及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200865A (ja) * 1993-12-27 1995-08-04 Casio Comput Co Ltd 画像変形方法およびその装置
US6828972B2 (en) * 2002-04-24 2004-12-07 Microsoft Corp. System and method for expression mapping
JP2005135047A (ja) 2003-10-29 2005-05-26 Kyocera Mita Corp 動画生成機能を有する通信装置
JP4339675B2 (ja) * 2003-12-24 2009-10-07 オリンパス株式会社 グラデーション画像作成装置及びグラデーション画像作成方法
US7342586B2 (en) * 2004-09-13 2008-03-11 Nbor Corporation System and method for creating and playing a tweening animation using a graphic directional indicator
JP2007034724A (ja) * 2005-07-27 2007-02-08 Glory Ltd 画像処理装置、画像処理方法および画像処理プログラム
JP5078334B2 (ja) 2005-12-28 2012-11-21 三洋電機株式会社 非水電解質二次電池
KR20080018407A (ko) * 2006-08-24 2008-02-28 한국문화콘텐츠진흥원 3차원 캐릭터의 변형을 제공하는 캐릭터 변형 프로그램을기록한 컴퓨터 판독가능 기록매체
JP4775306B2 (ja) * 2007-04-23 2011-09-21 ソニー株式会社 画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラム
CN100520807C (zh) * 2007-12-28 2009-07-29 北京交通大学 基于多尺度总体变分商图像的独立分量分析人脸识别方法
CN101242476B (zh) * 2008-03-13 2010-09-29 北京中星微电子有限公司 图像颜色自动校正方法及数字摄像系统
CN101923726B (zh) * 2009-06-09 2012-04-04 华为技术有限公司 一种语音动画生成方法及系统
JP2011181996A (ja) 2010-02-26 2011-09-15 Casio Computer Co Ltd 表示順序決定装置、画像表示装置及びプログラム

Also Published As

Publication number Publication date
JP5435382B2 (ja) 2014-03-05
CN102449664B (zh) 2017-04-12
CN102449664A (zh) 2012-05-09
US8531484B2 (en) 2013-09-10
KR101388542B1 (ko) 2014-04-23
EP2706507A1 (en) 2014-03-12
EP2706507B1 (en) 2017-03-01
EP2706507A4 (en) 2016-02-17
US20130079911A1 (en) 2013-03-28
WO2012149772A1 (zh) 2012-11-08
ES2625263T3 (es) 2017-07-19
JP2013531290A (ja) 2013-08-01

Similar Documents

Publication Publication Date Title
KR101388542B1 (ko) 모핑 애니메이션을 생성하기 위한 방법 및 장치
CN107452010B (zh) 一种自动抠图算法和装置
CN107516319B (zh) 一种高精度简易交互式抠图方法、存储设备及终端
CN102741879B (zh) 由单眼图像产生深度图的方法及其系统
TWI607409B (zh) 影像優化方法以及使用此方法的裝置
CN108520219A (zh) 一种卷积神经网络特征融合的多尺度快速人脸检测方法
Shen et al. Depth-aware image seam carving
CN108537782B (zh) 一种基于轮廓提取的建筑物图像匹配与融合的方法
CN104504745B (zh) 一种基于图像分割和抠图的证件照生成方法
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
JP2011134114A (ja) パターン認識方法およびパターン認識装置
JP2018045693A (ja) 動画像背景除去方法及び動画像背景除去システム
CN101287142A (zh) 基于双向跟踪和特征点修正的平面视频转立体视频的方法
WO2019071976A1 (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
KR20070016849A (ko) 얼굴 검출과 피부 영역 검출을 적용하여 피부의 선호색변환을 수행하는 방법 및 장치
CN110321768A (zh) 用于生成头部相关传递函数滤波器的布置
KR100987412B1 (ko) 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법
KR20110014067A (ko) 스테레오 컨텐트의 변환 방법 및 시스템
KR20170015299A (ko) 배경 추적을 통한 오브젝트 추적 및 분할을 위한 방법 및 장치
CN110298281A (zh) 视频结构化方法、装置、电子设备及存储介质
CN108810415B (zh) 一种基于量子粒子群优化算法的对焦方法
CN109064525A (zh) 一种图片格式转换方法、装置、设备和存储介质
JP2012104099A (ja) ベジェ曲線を利用したコントラスト改善方法
CN104537637B (zh) 一种单幅静态图像深度估计方法及装置
Zhang et al. A real-time time-consistent 2D-to-3D video conversion system using color histogram

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170322

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180403

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190328

Year of fee payment: 6