KR20190070065A - 텍스트 기반 적응적 가창 립싱크 애니메이션 생성 장치 및 방법 - Google Patents

텍스트 기반 적응적 가창 립싱크 애니메이션 생성 장치 및 방법 Download PDF

Info

Publication number
KR20190070065A
KR20190070065A KR1020170170537A KR20170170537A KR20190070065A KR 20190070065 A KR20190070065 A KR 20190070065A KR 1020170170537 A KR1020170170537 A KR 1020170170537A KR 20170170537 A KR20170170537 A KR 20170170537A KR 20190070065 A KR20190070065 A KR 20190070065A
Authority
KR
South Korea
Prior art keywords
deformation
curve
items
generating
shape data
Prior art date
Application number
KR1020170170537A
Other languages
English (en)
Other versions
KR102058783B1 (ko
Inventor
박경주
김남중
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020170170537A priority Critical patent/KR102058783B1/ko
Publication of KR20190070065A publication Critical patent/KR20190070065A/ko
Application granted granted Critical
Publication of KR102058783B1 publication Critical patent/KR102058783B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 텍스트 기반 적응적 가창 립싱크 애니메이션 생성 장치 및 방법을 개시한다. 본 발명에 따르면, 프로세서 및 상기 프로세서에 의해 연결된 메모리를 포함하며, 상기 메모리는, 입력된 가사 텍스트의 각 음운에 따른 복수의 얼굴 모양 데이터를 추출하고, 복수의 변형 항목을 포함하는 인터페이스를 출력하고, 상기 출력된 인터페이스를 통해 상기 복수의 변형 항목 각각의 변형량을 입력 받고, 상기 입력된 복수의 변형 항목 각각의 변형량 및 변형 커브를 이용하여 상기 복수의 얼굴 모양 데이터를 연결하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 가창 립싱크 애니메이션 생성 장치가 제공된다.

Description

텍스트 기반 적응적 가창 립싱크 애니메이션 생성 장치 및 방법{Method and apparatus for generating adaptlve song lip sync animation based on text}
본 발명은 텍스트 기반 적응적 가창 립싱크 애니메이션 생성 장치 및 방법에 관한 것이다.
20 여년이 넘는 기간 동안 사실적인 3차원 얼굴 애니메이션을 제작하는 연구들이 그래픽스와 비젼 학계에서 널리 이루어져 왔다. 그래프 구조를 이용하여 입력 오디오에 대응되는 얼굴 모양 데이터를 매칭시켜서 블렌딩하여 얼굴 애니메이션을 처리하는 방법이 제안되었다.
또한, 세밀한 얼굴 움직임의 추적과 사실적인 결과를 얻기 위해 복잡한 캡쳐 장비를 이용한 연구 및 사람이 대화할 때의 립싱크를 표현하기 위하여 오디오 신호를 사용하는 연구가 제안되었다.
하지만 오디오 신호만으로는 가창 환경에서 나타나는 입모양과 머리의 움직임을 표현할 수 없는 단점이 있다. 그리고 동적 베이시안 네트워크(dynamic Bayesian network)를 이용하여 발성효과를 효과적으로 애니메이션하는 연구가 제안되었다.
최근에는 딥러닝(deep learning) 기술에 기반하여 HMD(Head Mounted Display)를 착용한 사용자의 표정에서 가려진 부분을 추정하여 사실적인 얼굴 애니메이션을 수행하는 연구가 제안되었으며, 딥러닝 기술에 기반하여 다양한 언어로 대화하는 립싱크 애니메이션을 통합된 시스템에서 처리하는 연구가 제안되었다.
종래의 립싱크 연구들은 사람이 대화하는 환경의 입모양 움직임을 사실적으로 애니메이션하는 방법에 초점을 맞추어 왔으며, 대부분 사람이 대화하고 이야기하는 상황에서 자연스러운 립싱크 애니메이션을 처리하는 방법들이 연구되어 왔다.
초기의 립싱크 연구들은 사실적인 얼굴 애니메이션을 표현하기 위하여 복잡한 얼굴 캡쳐 장비에 의존하거나 매우 많은 얼굴 캡쳐 데이터를 기반으로 처리한 방법들을 다루어 왔다. 그리고 딥러닝처럼 최신의 인공지능 기술을 이용한 립싱크 애니메이션 기술도 개발되었지만, 여전히 사람이 대화하는 환경에 초점을 맞춘 연구들이 제안되었다. 하지만 사람이 노래를 부르는 환경에서는 입술과 머리의 움직임이 다양한 형태로 변화하며, 음운의 강도에 따라 입이 벌어지는 크기가 달라진다. 기존 방법으로는 가창 환경의 립싱크 애니메이션을 사실적으로 재현하기에는 한계가 있다.
한국공개특허공보 제10-2008-0018408호
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 간단한 방법으로서 적응적으로 가창 립싱크 애니메이션을 생성할 수 있는 장치 및 방법을 제안하고자 한다.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 가창 립싱크 애니메이션 생성 장치로서, 프로세서; 및 상기 프로세서에 의해 연결된 메모리를 포함하며, 상기 메모리는, 입력된 가사 텍스트의 각 음운에 따른 복수의 얼굴 모양 데이터를 추출하고, 복수의 변형 항목을 포함하는 인터페이스를 출력하고, 상기 출력된 인터페이스를 통해 상기 복수의 변형 항목 각각의 변형량을 입력 받고, 상기 입력된 복수의 변형 항목 각각의 변형량 및 변형 커브를 이용하여 상기 복수의 얼굴 모양 데이터를 연결하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 가창 립싱크 애니메이션 생성 장치가 제공된다.
상기 변형 항목은 목관절의 X축 회전, Y축 회전, Z축 회전, 입모양의 가로, 세로, 대각선 변형, 상기 입모양의 가로 변형 감쇠, 세로 변형 감쇠, 대각선 변형 감쇠 중 적어도 하나를 포함할 수 있다.
상기 복수의 변형 항목 각각의 변형량은 시간에 따라 다르게 설정될 수 있다.
상기 복수의 변형 항목 각각의 변형량의 최대, 최소 및 변형 범위는 서로 다르게 설정될 수 있다.
상기 변형 커브는 상기 가사 텍스트에 해당하는 노래의 장르에 의해 결정될 수 있다.
상기 변형 커브는 노래의 각 구간에서 음의 높이, 소리의 크기 및 음색 중 적어도 하나에 의해 시간 구간별로 다르게 설정될 수 있다.
상기 변형 커브는 상기 복수의 변형 항목 각각에 대해 설정될 수 있다.
상기 변형 커브는 선형 커브, 베지어 커브, 비스플라인 커브, 카멜롬(Catmell-Rom) 커브 및 큐빅 스플라인 커브 중 적어도 하나를 포함할 수 있다.
본 발명의 다른 측면에 따르면, 가창 립싱크 애니메이션 생성 방법으로서, 음운에 따른 복수의 얼굴 모양 데이터를 저장하는 단계; 가사 텍스트가 입력되는 경우, 입력된 가사 텍스트의 음운을 분류하는 단계; 상기 분류된 음운에 따른 복수의 얼굴 모양 데이터를 추출하는 단계; 복수의 변형 항목을 포함하는 인터페이스 상에서, 사용자가 설정한 복수의 변형 항목 각각의 변형량을 입력 받는 단계; 및 상기 입력된 복수의 변형 항목 각각의 변형량 및 변형 커브를 이용하여 상기 추출된 복수의 얼굴 모양 데이터를 연결하는 단계를 포함하는 가창 립싱크 애니메이션 생성 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 상기한 방법을 수행하기 위한 일련의 명령어들을 포함하는 매체에 저장된 컴퓨터 프로그램이 제공된다.
본 발명에 따르면, 변형 차트(deformation chart)에 기반한 GUI 기반 제어 방법을 이용하여 입모양과 머리의 움직임을 동적으로 변형시켜 가창 립싱크 애니메이션을 효과적으로 생성할 수 있다.
도 1은 본 실시예에 따른 가상 립싱크 애니메이션 생성을 위한 인터페이스를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 가창 립싱크 애니메이션 생성 과정의 순서도이다.
도 3은 본 실시예에 따른 입모양의 세로 방향 변형 결과를 나타낸 도면이다.
도 4는 본 실시예에 따른 입모양의 가로 방향 변형 결과를 나타낸 도면이다.
도 5는 본 실시예에 따른 입모양의 대각선 방향 변형 결과를 나타낸 도면이다.
도 6은 본 실시예에 따른 목관절의 z축 회전 결과를 나타낸 도면이다.
도 7은 본 실시예에 따른 선형 커브를 나타낸 도면이다.
도 8은 본 실시예에 따른 비스플라인 커브를 나타낸 도면이다.
도 9는 본 실시예에 따른 카멜롬(Catmell-Rom) 커브를 나타낸 도면이다.
도 10은 본 발명의 바람직한 일 실시예에 따른 가창 립싱크 애니메이션 생성 장치의 구성을 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명은 변형 차트(Deformation Chart)를 이용한 GUI 기반으로 가창 립싱크 애니메이션을 생성한다.
본 실시예에 따른 변형 차트는 복수의 변형 항목과 사용자에 의해 설정된 변형 항목의 변형 커브(Deformation curve)를 포함한다.
도 1은 본 실시예에 따른 가상 립싱크 애니메이션 생성을 위한 인터페이스를 도시한 도면이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 변형 항목 리스트는 다음과 같다.
(1) 목관절 X축 회전(위아래 방향 회전 조절)
(2) 목관절 Y축 회전(좌우 방향 회전 조절)
(3) 목관절 Z축 회전(목의 기울기 조절)
(4) 입모양 가로 변형(입모양의 가로 방향 변형 조절)
(5) 입모양 세로 변형(입모양의 세로 방향 변형 조절)
(6) 입모양 좌측 대각선 변형(입모양의 왼쪽 대각선 방향 변형 조절): 입모양이 왼쪽 방향에 치우치는 비대칭적인 변형 조절
(7) 입모양 우측 대각선 변형(입모양의 오른쪽 대각선 방향 변형 조절): 입모양이 오른쪽 방향에 치우치는 비대칭적인 변형 조절
(8) 입모양 가로 변형 감쇠(입모양의 가로 방향 변형의 감쇠율 조절)
(9) 입모양 세로 변형 감쇠(입모양의 세로 방향 변형의 감쇠율 조절)
(10) 입모양 좌측 대각선 변형 감쇠(입모양의 왼쪽 대각선 방향 변형의 감쇠 조절): 입모양이 왼쪽 방향에 치우치는 비대칭적인 변형에 대한 감쇠(damping) 조절
(11) 입모양 우측 대각선 변형 감쇠(입모양의 오른쪽 대각선 방향 변형의 감쇠 조절): 입모양이 오른쪽 방향에 치우치는 비대칭적인 변형에 대한 감쇠(damping) 조절
도 2는 본 발명의 일 실시예에 따른 가창 립싱크 애니메이션 생성 과정의 순서도이다.
도 2는 상기한 인터페이스를 화면상에 출력하고, 사용자의 인터페이스에서의 설정 정보를 수신하는 장치에서의 동작을 설명한 것이다.
도 2를 참조하면, 가창 립싱크 애니메이션 생성 장치는 모든 음운에 해당하는 얼굴 모양 데이터를 저장한다(단계 200).
가사 텍스트가 입력되는 경우. 입력되는 가사 텍스트에 따라 음운을 분류하고(단계 202), 분류된 음원 각각에 따른 얼굴 모양 데이터를 키 프레임으로 설정 한다(단계 204).
이후, 사용자가 상기한 인터페이스 상에서 설정한 각 변형 항목의 변형량을 입력 받아 변형 차트에 기반한 제약 사항을 결정한다(단계 206).
예를 들어, 애국가의 "동해물과...(이하 생략)"라는 가사가 입력되는 경우, 각 음운인 "동", "해", "물", "과"에 해당하는 얼굴 모양 데이터를 추출한 이후, 시간에 따라 각 변형 항목의 변형량을 설정한다.
본 실시예에 따른 변형량은 최대, 최소 범위 내에서 결정되며, 방향에 따라 양의 방향(기준 방향) 및 음의 방향으로 설정될 수도 있다.
또한, 각 변형 항목의 변형량은 최대, 최소 및 변형 범위가 다르게 설정될 수도 있다.
도 3 내지 도 6은 본 실시예에 따른 입모양의 세로 방향, 가로 방향, 대각선 방향 및 목관절의 z축 회전의 변형 결과를 나타낸 도면이다.
상기한 바와 같이, 각 음운에 따른 얼굴 모양 데이터가 키 프레임으로 설정된 이후, 각 변형 항목의 변형량, 변형 범위, 변형 커브와 같은 제약 사항이 결정되면, 결정된 제약을 적용하여 단계 204에서의 복수의 얼굴 모양 데이터를 연결한다(단계 208).
단계 206에서 공지의 Blend Shape 알고리즘 기반으로 얼굴 모양 데이터의 연결이 수행될 수 있다.
다음으로 캐릭터 리깅(rigging)일 수행되고(단계 210), 가창 립싱크 애니메이션이 생성된다(단계 212).
본 실시예에 따르면, 변형 커브의 종류, 변형 커브의 기울기와 등락폭 및 다중 컨트롤 포인트 지정에 의한 커브의 복잡도 조절 방법 등에 의하여 효율적인 입모양의 변형과 얼굴의 회전 및 기울어짐 등을 표현할 수 있다.
도 7 내지 도 9는 본 실시예에 따른 다양한 변형 커브를 나타낸 도면이다.
도 7을 참조하면, 선형(Linear) 커브는 사용자가 마우스로 클릭한 컨트롤 포인트를 모두 직선으로 연결하는 커브로서, 변형이 직선의 형태로 이루어지며 급격한 변형과 회전, 기울기를 표현할 수 있다.
베지어(Bezier) 커브는 도면에 도시하지 않았으나, 유선형 디자인에 널리 사용되는 커브로서, 사용자가 마우스로 클릭한 컨트롤 포인트 중에서 시작점과 끝점만 지나가는 완만한 커브를 생성하며, 기울기의 변화가 매우 적은 형태의 변형과 움직임을 표현할 때 최적의 커브이다.
도 8을 참조하면, 비스플라인(B-Spline) 커브는 사용자가 마우스로 클릭한 컨트롤 포인트 중에서 시작점과 끝점만 지나가며, 컨트롤 포인트들 중에서 전체적인(global) 경로에서 크게 벗어나는 컨트롤 포인트만 배제하면서 기울기의 변화가 매우 적은 것부터 기울기의 변화가 매우 큰 것까지 모두 표현 가능하여 부드러우면서 세밀하고 큰 변형과 회전, 기울어짐을 최적으로 표현 가능한 커브이다.
보간(Interpolation) 커브는 사용자가 마우스로 클릭한 컨트롤 포인트를 모두 지나가는 커브로서 사용자가 마우스로 클릭한 모든 지점을 부드러운 곡선의 형태로 지나가는 커브이다.
보간 커브로는 다음과 같이 크게 두 가지 커브가 있다. 첫째로 카멜롬(Catmell-Rom) 커브는 곡선의 1차 미분값(gradient)이 유지되면서 모든 컨트롤 포인트를 완만하게 지나가는 커브로 사용자가 클릭한 포인트의 위치를 반영하면서 기울기의 변화가 매우 적은 형태의 변형과 움직임을 표현할 때 최적으로 사용될 수 있다(도 9 참조). 둘째로 큐빅 스플라인 커브(Cubic Spline 커브)는 곡선의 1차 미분값(gradient)과 2차 미분값(curvature)을 모두 유지되면서 모든 컨트롤 포인트를 지나가는 커브로 사용자가 클릭한 포인트의 위치를 반영하면서 커브의 기울기의 변화가 매우 적은 것부터 커브의 기울기의 변화가 매우 큰 것까지 모두 표현 가능하여 부드러우면서 세밀하고 큰 변형과 회전, 기울어짐을 최적으로 표현 가능한 커브이다.
본 실시예에 따르면, 상기한 변형 커브는 변형을 위한 다중 컨트롤 포인트 간 연결을 정의하는 것으로서, 사용자가 설정할 수도 있으나, 노래의 장르에 따라 미리 결정될 수 있다.
본 실시예에 따른 가창 립싱크 애니메이션 생성 장치는 Pitch, Loudness, Timbre 특징들을 음악 데이터에서 추출하여 naive bayes, fisher linear discriminant, k-nearest neighbor, Linear discriminant 등의 다양한 방법들을 이용하여 장르들을 분류하고, 분류된 장르에 따라 변형 커브를 자동으로 결정할 수 있다.
예를 들어, 선형 커브는 가사에 따라 입모양이 급격하게 변화하는 랩/힙합 장르에 적용될 수 있고, 베지어 커브 및 비스플라인 커브는 재즈 및 발라드와 같은 장르에 적용될 수 있다.
변형 커브의 속성 상, 베지어 커브는 재즈, 비스플라인 커브는 발라드에 적용되며, 보간 커브는 댄스 또는 성악에 적용될 수 있을 것이다.
상기에서는 장르에 따라 변형 커브가 결정되는 것으로 설명하였으나, 하나의 노래에서 Pitch(음의 높이), Loudness(소리의 크기), Timbre(음색) 특징들이 변경되는 경우, 소정 시간 구간에 따라 다른 변형 커브가 적용되는 것으로 결정될 수도 있다.
또한, 하나의 노래에서, 복수의 변형 항목 모두에 동일한 변형 커브가 적용될 수 있으나, 이에 한정되지 않고, 자연스러운 가창 립싱크 애니메이션을 생성하기 위해 복수의 변형 항목 별로 서로 다른 변형 커브가 설정될 수도 있을 것이다.
도 10은 본 발명의 바람직한 일 실시예에 따른 가창 립싱크 애니메이션 생성 장치의 구성을 도시한 도면이다.
도 10에 도시된 바와 같이, 본 실시예에 따른 장치는 프로세서(1000) 및 메모리(1002)를 포함할 수 있다.
프로세서(1000)는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다.
메모리(1002)는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리(1002)는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.
본 발명의 바람직한 일 실시예에 따르면, 메모리(1002)에는 입력된 가사 텍스트의 각 음운에 따른 복수의 얼굴 모양 데이터를 추출하고, 복수의 변형 항목을 포함하는 인터페이스를 출력하고, 상기 출력된 인터페이스를 통해 상기 복수의 변형 항목 각각의 변형량을 입력 받고, 상기 입력된 복수의 변형 항목 각각의 변형량 및 변형 커브를 이용하여 상기 복수의 얼굴 모양 데이터를 연결하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들이 저장된다.
여기서, 변형 항목은 목관절의 X축 회전, Y축 회전, Z축 회전, 입모양의 가로, 세로, 대각선 변형, 상기 입모양의 가로 변형 감쇠, 세로 변형 감쇠, 대각선 변형 감쇠 중 적어도 하나를 포함할 수 있다.
또한, 본 실시예에 따르면, 복수의 변형 항목 각각의 변형량은 시간에 따라 다르게 설정되며, 상기한 바와 같이, 복수의 변형 항목 각각의 변형량의 최대, 최소 및 변형 범위는 서로 다르게 설정될 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (10)

  1. 가창 립싱크 애니메이션 생성 장치로서,
    프로세서; 및
    상기 프로세서에 의해 연결된 메모리를 포함하며,
    상기 메모리는,
    입력된 가사 텍스트의 각 음운에 따른 복수의 얼굴 모양 데이터를 추출하고,
    복수의 변형 항목을 포함하는 인터페이스를 출력하고,
    상기 출력된 인터페이스를 통해 상기 복수의 변형 항목 각각의 변형량을 입력 받고,
    상기 입력된 복수의 변형 항목 각각의 변형량 및 변형 커브를 이용하여 상기 복수의 얼굴 모양 데이터를 연결하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 가창 립싱크 애니메이션 생성 장치.
  2. 제1항에 있어서,
    상기 변형 항목은 목관절의 X축 회전, Y축 회전, Z축 회전, 입모양의 가로, 세로, 대각선 변형, 상기 입모양의 가로 변형 감쇠, 세로 변형 감쇠, 대각선 변형 감쇠 중 적어도 하나를 포함하는 가창 립싱크 애니메이션 생성 장치.
  3. 제1항에 있어서,
    상기 복수의 변형 항목 각각의 변형량은 시간에 따라 다르게 설정되는 가창 립싱크 애니메이션 장치.
  4. 제1항에 있어서,
    상기 복수의 변형 항목 각각의 변형량의 최대, 최소 및 변형 범위는 서로 다르게 설정되는 가창 립싱크 애니메이션 장치.
  5. 제1항에 있어서,
    상기 변형 커브는 상기 가사 텍스트에 해당하는 노래의 장르에 의해 결정되는 가창 립싱크 애니메이션 생성 장치.
  6. 제1항에 있어서,
    상기 변형 커브는 노래의 각 구간에서 음의 높이, 소리의 크기 및 음색 중 적어도 하나에 의해 시간 구간별로 다르게 설정되는 가창 립싱크 애니메이션 장치.
  7. 제1항에 있어서,
    상기 변형 커브는 상기 복수의 변형 항목 각각에 대해 설정되는 가창 립싱크 애니메이션 장치.
  8. 제1항에 있어서,
    상기 변형 커브는 선형 커브, 베지어 커브, 비스플라인 커브, 카멜롬(Catmell-Rom) 커브 및 큐빅 스플라인 커브 중 적어도 하나를 포함하는 가창 립싱크 애니메이션 장치.
  9. 가창 립싱크 애니메이션 생성 방법으로서,
    음운에 따른 복수의 얼굴 모양 데이터를 저장하는 단계;
    가사 텍스트가 입력되는 경우, 입력된 가사 텍스트의 음운을 분류하는 단계;
    상기 분류된 음운에 따른 복수의 얼굴 모양 데이터를 추출하는 단계;
    복수의 변형 항목을 포함하는 인터페이스 상에서, 사용자가 설정한 복수의 변형 항목 각각의 변형량을 입력 받는 단계; 및
    상기 입력된 복수의 변형 항목 각각의 변형량 및 변형 커브를 이용하여 상기 추출된 복수의 얼굴 모양 데이터를 연결하는 단계를 포함하는 가창 립싱크 애니메이션 생성 방법.
  10. 제9항에 따른 방법을 수행하기 위한 일련의 명령어들을 포함하는 매체에 저장된 컴퓨터 프로그램.
KR1020170170537A 2017-12-12 2017-12-12 텍스트 기반 적응적 가창 립싱크 애니메이션 생성 장치 및 방법 KR102058783B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170170537A KR102058783B1 (ko) 2017-12-12 2017-12-12 텍스트 기반 적응적 가창 립싱크 애니메이션 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170170537A KR102058783B1 (ko) 2017-12-12 2017-12-12 텍스트 기반 적응적 가창 립싱크 애니메이션 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190070065A true KR20190070065A (ko) 2019-06-20
KR102058783B1 KR102058783B1 (ko) 2020-01-22

Family

ID=67103660

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170170537A KR102058783B1 (ko) 2017-12-12 2017-12-12 텍스트 기반 적응적 가창 립싱크 애니메이션 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102058783B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102251781B1 (ko) 2020-12-30 2021-05-14 (주)라이언로켓 인공신경망을 이용한 입모양 합성 장치 및 방법
KR20220096073A (ko) 2020-12-30 2022-07-07 (주)라이언로켓 인공신경망을 이용한 사용자 맞춤형 광고 출력 장치
KR20220096072A (ko) 2020-12-30 2022-07-07 (주)라이언로켓 인공신경망을 이용한 정치인 홍보영상 합성 장치
KR20220096064A (ko) 2020-12-30 2022-07-07 (주)라이언로켓 인공신경망을 이용한 실시간 방송 입모양 합성 장치
KR20220096068A (ko) 2020-12-30 2022-07-07 (주)라이언로켓 인공신경망을 이용한 화상 통화 끊김 시 입모양 합성 장치
KR20220096066A (ko) 2020-12-30 2022-07-07 (주)라이언로켓 인공신경망을 이용한 온라인 강의 현지화 장치
KR20220096067A (ko) 2020-12-30 2022-07-07 (주)라이언로켓 인공신경망을 이용한 애니메이션 캐릭터 입모양 합성 장치
KR20220096065A (ko) 2020-12-30 2022-07-07 (주)라이언로켓 인공신경망을 이용한 더빙 영화 입모양 합성 장치
KR20220096070A (ko) 2020-12-30 2022-07-07 (주)라이언로켓 인공신경망을 이용한 게임 캐릭터 입모양 합성 장치
KR20220096071A (ko) 2020-12-30 2022-07-07 (주)라이언로켓 인공신경망을 이용한 뮤직비디오 현지화 장치
KR20220096069A (ko) 2020-12-30 2022-07-07 (주)라이언로켓 인공신경망을 이용한 다자간 화상 회의 입모양 합성 장치
CN114928755A (zh) * 2022-05-10 2022-08-19 咪咕文化科技有限公司 一种视频制作方法、电子设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060031449A (ko) * 2004-10-08 2006-04-12 비쥬텍쓰리디(주) 음성 기반 자동 립싱크 애니메이션 장치와 방법 및 기록매체
JP2006259471A (ja) * 2005-03-18 2006-09-28 Kawai Musical Instr Mfg Co Ltd 歌唱練習システムおよび歌唱練習システム用プログラム
KR20080018408A (ko) 2006-08-24 2008-02-28 한국문화콘텐츠진흥원 음성 사운드 소스를 이용한 얼굴 표정 변화 프로그램을기록한 컴퓨터에서 읽을 수 있는 기록매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060031449A (ko) * 2004-10-08 2006-04-12 비쥬텍쓰리디(주) 음성 기반 자동 립싱크 애니메이션 장치와 방법 및 기록매체
JP2006259471A (ja) * 2005-03-18 2006-09-28 Kawai Musical Instr Mfg Co Ltd 歌唱練習システムおよび歌唱練習システム用プログラム
KR20080018408A (ko) 2006-08-24 2008-02-28 한국문화콘텐츠진흥원 음성 사운드 소스를 이용한 얼굴 표정 변화 프로그램을기록한 컴퓨터에서 읽을 수 있는 기록매체

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220097121A (ko) 2020-12-30 2022-07-07 (주)라이언로켓 랜덤 널링 인공신경망을 이용한 입모양 합성 장치 및 방법
KR20220097120A (ko) 2020-12-30 2022-07-07 (주)라이언로켓 입크기 판별기를 포함하는 인공신경망을 이용한 입모양 합성 장치 및 방법
KR20220097118A (ko) 2020-12-30 2022-07-07 (주)라이언로켓 인공신경망을 이용한 입모양 합성 장치 및 방법
KR20220096072A (ko) 2020-12-30 2022-07-07 (주)라이언로켓 인공신경망을 이용한 정치인 홍보영상 합성 장치
KR20220096064A (ko) 2020-12-30 2022-07-07 (주)라이언로켓 인공신경망을 이용한 실시간 방송 입모양 합성 장치
KR20220096068A (ko) 2020-12-30 2022-07-07 (주)라이언로켓 인공신경망을 이용한 화상 통화 끊김 시 입모양 합성 장치
KR20220096066A (ko) 2020-12-30 2022-07-07 (주)라이언로켓 인공신경망을 이용한 온라인 강의 현지화 장치
KR20220096067A (ko) 2020-12-30 2022-07-07 (주)라이언로켓 인공신경망을 이용한 애니메이션 캐릭터 입모양 합성 장치
KR20220096073A (ko) 2020-12-30 2022-07-07 (주)라이언로켓 인공신경망을 이용한 사용자 맞춤형 광고 출력 장치
KR102251781B1 (ko) 2020-12-30 2021-05-14 (주)라이언로켓 인공신경망을 이용한 입모양 합성 장치 및 방법
KR20220096065A (ko) 2020-12-30 2022-07-07 (주)라이언로켓 인공신경망을 이용한 더빙 영화 입모양 합성 장치
KR20220096070A (ko) 2020-12-30 2022-07-07 (주)라이언로켓 인공신경망을 이용한 게임 캐릭터 입모양 합성 장치
KR20220096071A (ko) 2020-12-30 2022-07-07 (주)라이언로켓 인공신경망을 이용한 뮤직비디오 현지화 장치
KR20220096069A (ko) 2020-12-30 2022-07-07 (주)라이언로켓 인공신경망을 이용한 다자간 화상 회의 입모양 합성 장치
KR20220097119A (ko) 2020-12-30 2022-07-07 (주)라이언로켓 얼굴 판별기를 포함하는 인공신경망을 이용한 입모양 합성 장치 및 방법
US11922723B2 (en) 2020-12-30 2024-03-05 Lionrocket Inc. Mouth shape synthesis device and method using artificial neural network
CN114928755B (zh) * 2022-05-10 2023-10-20 咪咕文化科技有限公司 一种视频制作方法、电子设备及计算机可读存储介质
CN114928755A (zh) * 2022-05-10 2022-08-19 咪咕文化科技有限公司 一种视频制作方法、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
KR102058783B1 (ko) 2020-01-22

Similar Documents

Publication Publication Date Title
KR20190070065A (ko) 텍스트 기반 적응적 가창 립싱크 애니메이션 생성 장치 및 방법
Alemi et al. GrooveNet: Real-time music-driven dance movement generation using artificial neural networks
WO2018049979A1 (zh) 一种动画合成的方法及装置
Cao et al. Expressive speech-driven facial animation
US9361722B2 (en) Synthetic audiovisual storyteller
CN113077537B (zh) 一种视频生成方法、存储介质及设备
Fan et al. A deep bidirectional LSTM approach for video-realistic talking head
EP3874460A1 (en) Computing system for expressive three-dimensional facial animation
JP7500582B2 (ja) 発話アニメーションのリアルタイム生成
CN110880315A (zh) 一种基于音素后验概率的个性化语音和视频生成系统
CN113609255B (zh) 一种面部动画的生成方法、系统及存储介质
CN111179385A (zh) 一种舞蹈动画的处理方法及装置、电子设备、存储介质
CN112734889A (zh) 一种2d角色的口型动画实时驱动方法和系统
CN113822972B (zh) 基于视频的处理方法、设备和可读介质
Wan et al. Photo-realistic expressive text to talking head synthesis.
WO2021034463A1 (en) Methods and systems for image and voice processing
Xie et al. A statistical parametric approach to video-realistic text-driven talking avatar
Ju et al. Expressive facial gestures from motion capture data
Nazarieh et al. A survey of cross-modal visual content generation
JP5109038B2 (ja) リップシンクアニメーション作成装置及びコンピュータプログラム
JP4617500B2 (ja) リップシンクアニメーション作成装置、コンピュータプログラム及び顔モデル生成装置
CN114170648A (zh) 视频生成方法、装置、电子设备及存储介质
AU2018101526A4 (en) Video interpolation based on deep learning
Luo et al. Synthesizing real-time speech-driven facial animation
Chen et al. Animating lip-sync characters with dominated animeme models

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20171212

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190313

Patent event code: PE09021S01D

AMND Amendment
PG1501 Laying open of application
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20190923

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20190313

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20190923

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20190513

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20191125

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20191025

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20190923

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20190513

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20191217

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20191217

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20221201

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230921

Start annual number: 5

End annual number: 5