KR20210129713A - 인터렉티브 대상의 구동 방법, 장치, 디바이스 및 기억 매체 - Google Patents

Abstract

본 발명은 인터렉티브 대상의 구동 방법, 장치, 디바이스 및 기억 매체를 개시하는바, 상기 인터렉티브 대상은 표시 디바이스에 전시되어 있다. 상기 방법은 상기 인터렉티브 대상의 구동 데이터를 취득하고, 상기 구동 데이터의 구동 모드를 확정하는 것; 상기 구동 모드에 응답하여, 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득하는 것; 및 상기 제어 파라미터 값에 기반하여 상기 인터렉티브 대상의 자태를 제어하는 것을 포함한다.

Description

인터렉티브 대상의 구동 방법, 장치, 디바이스 및 기억 매체

<관련 출원의 상호인용>

본 발명은 출원 번호가 2020102461120이며, 출원일이 2020년3월31일인 중국 특허출원의 우선권을 주장하는바, 당해 중국 특허 출원의 모든 내용을 인용하여 본원에 통합시킨다.

본 발명은 컴퓨터 기술분야에 관한 것인바, 구체적으로는 인터렉티브 대상의 구동 방법, 장치, 디바이스 및 기억 매체에 관한 것이다.

인간과 컴퓨터의 상호 작용은 주로 키 입력, 터치 및 음성을 통해 입력하고, 표시 스크린에 이미지, 텍스트 또는 가상 캐릭터를 표시하여 응답한다. 현재, 가상 캐릭터는 주로 음성 비서를 기반으로 개량한 것으로 디바이스의 음성을 출력할 뿐이다.

본 발명의 실시예는 인터렉티브 대상을 구동하는 기술적 해결책을 제공한다.

본 발명에 일 양태에 따르면, 표시 디바이스에 전시되어 있는 인터렉티브 대상의 구동 방법을 제공하는바, 상기 방법은 상기 인터렉티브 대상의 구동 데이터를 취득하고, 상기 구동 데이터의 구동 모드를 확정하는 것; 상기 구동 모드에 응답하여, 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득하는 것; 및 상기 제어 파라미터 값에 기반하여 상기 인터렉티브 대상의 자태를 제어하는 것을 포함한다.

본 발명에 의해 제공되는 임의의 실시 형태와 결합하면, 상기 방법은 상기 구동 데이터에 기반하여 상기 표시 디바이스 출력 음성을 제어하고, 및/또는, 텍스트를 전시하는 것을 더 포함한다.

본 발명에 의해 제공되는 임의의 실시 형태와 결합하면, 상기 구동 데이터에 대응하는 구동 모드를 확정하는 것은, 상기 구동 데이터의 타입에 기반하여 상기 구동 데이터에 대응하는 음성 데이터 시퀀스를 취득하는 것 - 상기 음성 데이터 시퀀스는 복수의 음성 데이터 단위를 포함함 -; 및 상기 음성 데이터 단위에 포함되어 있는 목표 데이터가 검출된 것에 응답하여, 상기 구동 데이터의 구동 모드를 제1 구동 모드로 확정하는 것 - 상기 목표 데이터는 상기 인터렉티브 대상의 소정의 제어 파라미터 값에 대응함 -을 포함하고, 상기 구동 모드에 응답하여, 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득하는 것은, 상기 제1 구동 모드에 응답하여, 상기 목표 데이터에 대응하는 상기 소정의 제어 파라미터 값을 상기 인터렉티브 대상의 제어 파라미터 값으로 사용하는 것을 포함한다.

본 발명에 의해 제공되는 임의의 실시 형태와 결합하면, 상기 목표 데이터는 키 단어 또는 키 문자를 포함하고, 상기 키 단어 또는 상기 키 문자는 상기 인터렉티브 대상의 소정의 동작의 소정의 제어 파라미터 값에 대응하며, 또는, 상기 목표 데이터는 음절을 포함하고, 상기 음절은 상기 인터렉티브 대상의 소정의 입 형상 동작의 소정의 제어 파라미터 값에 대응한다.

본 발명에 의해 제공되는 임의의 실시 형태와 결합하면, 상기 구동 데이터에 대응하는 구동 모드를 확정하는 것은, 상기 구동 데이터의 타입에 기반하여 상기 구동 데이터에 대응하는 음성 데이터 시퀀스를 취득하는 것 - 상기 음성 데이터 시퀀스는 복수의 음성 데이터 단위를 포함함 -; 및 상기 음성 데이터 단위에 포함되어 있는 목표 데이터가 검출되지 않으면, 상기 구동 데이터의 구동 모드를 제2구동 모드로 확정하고, 상기 목표 데이터는 상기 인터렉티브 대상의 소정의 제어 파라미터 값에 대응한다. 상기 구동 모드에 응답하여, 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득하는 것은, 상기 제2구동 모드에 응답하여, 상기 음성 데이터 시퀀스 중의 적어도 하나의 음성 데이터 단위의 특징 정보를 취득하는 것; 및 상기 특징 정보에 대응하는 상기 인터렉티브 대상의 제어 파라미터 값을 취득하는 것을 포함한다.

본 발명에 의해 제공되는 임의의 실시 형태와 결합하면, 상기 음성 데이터 시퀀스는 음소 시퀀스를 포함하고, 상기 음성 데이터 시퀀스 중의 적어도 하나의 음성 데이터 단위의 특징 정보를 취득하는 것은, 상기 음소 시퀀스에 대하여 특징 인코딩을 실행하여 상기 음소 시퀀스 대응하는 제1 코드 시퀀스를 얻는 것; 상기 제1 코드 시퀀스에 기반하여 적어도 하나의 음소에 대응하는 특징 코드를 취득하는 것; 및 상기 특징 코드에 기반하여 상기 적어도 하나의 음소의 특징 정보를 얻는 것을 포함한다.

본 발명에 의해 제공되는 임의의 실시 형태와 결합하면, 상기 음성 데이터 시퀀스는 음성 프레임 시퀀스를 포함하고, 상기 음성 데이터 시퀀스 중의 적어도 하나의 음성 데이터 단위의 특징 정보를 취득하는 것은, 상기 음성 프레임 시퀀스 대응하는 제1 음향 특징 시퀀스를 취득하는 것 - 상기 제1 음향 특징 시퀀스는 상기 음성 프레임 시퀀스 중의 각 음성 프레임에 대응하는 음향 특징 벡터를 포함함 -; 상기 제1 음향 특징 시퀀스에 기반하여 적어도 하나의 음성 프레임에 대응하는 음향 특징 벡터를 취득하는 것; 및 상기 음향 특징 벡터에 기반하여 상기 적어도 하나의 음성 프레임에 대응하는 특징 정보를 얻는 것을 포함한다.

본 발명에 의해 제공되는 임의의 실시 형태와 결합하면, 상기 인터렉티브 대상의 제어 파라미터는 얼굴부 자태 파라미터를 포함하고, 상기 얼굴부 자태 파라미터는 얼굴부 근육 제어 계수를 포함하며, 상기 얼굴부 근육 제어 계수는 적어도 하나의 얼굴부 근육의 운동 상태를 제어하기 위하여 사용되며, 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득하는 것은, 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 얼굴부 근육 제어 계수를 취득하는 것을 포함하고, 상기 제어 파라미터 값에 기반하여 상기 인터렉티브 대상의 자태를 제어하는 것은, 취득한 얼굴부 근육 제어 계수에 기반하여 상기 인터렉티브 대상이 상기 구동 데이터에 매칭하는 얼굴부 동작을 수행하도록 상기 인터렉티브 대상을 구동하는 것을 포함한다.

본 발명에 의해 제공되는 임의의 실시 형태와 결합하면, 상기 방법은 상기 얼굴부 자태 파라미터에 관련된 몸 자태의 구동 데이터를 취득하는 것; 및 상기 얼굴부 자태 파라미터 값에 관련된 몸 자태의 구동 데이터에 기반하여 상기 인터렉티브 대상이 몸 동작을 수행하도록 구동하는 것을 더 포함한다.

본 발명에 의해 제공되는 임의의 실시 형태와 결합하면, 상기 인터렉티브 대상의 제어 파라미터 값은 상기 인터렉티브 대상의 적어도 하나의 국부 영역의 제어 벡터를 포함하고, 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득하는 것은, 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 적어도 하나의 국부 영역의 제어 벡터를 취득하는 것을 포함하고, 상기 제어 파라미터 값에 기반하여 상기 인터렉티브 대상의 자태를 제어하는 것은, 취득한 상기 적어도 하나의 국부 영역의 제어 벡터에 기반하여 상기 인터렉티브 대상의 얼굴부 동작 및/또는 몸 동작을 제어하는 것을 포함한다.

본 발명에 의해 제공되는 임의의 실시 형태와 결합하면, 상기 특징 정보에 대응하는 상기 인터렉티브 대상의 제어 파라미터 값을 취득하는 것은, 상기 특징 정보를 사전에 훈련된 순환 신경망에 입력하여, 상기 특징 정보에 대응하는 상기 인터렉티브 대상의 제어 파라미터 값을 얻는 것을 포함한다.

본 발명에 일 양태에 따르면, 표시 디바이스에 전시되어 있는 인터렉티브 대상의 구동 장치를 제공하는바, 상기 장치는, 상기 인터렉티브 대상의 구동 데이터를 취득하고, 상기 구동 데이터의 구동 모드를 확정하기 위한 제1 취득 유닛; 상기 구동 모드에 응답하여, 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득하기 위한 제2취득 유닛; 및 상기 제어 파라미터 값에 기반하여 상기 인터렉티브 대상의 자태를 제어하기 위한 구동 유닛을 구비한다.

본 발명에 일 양태에 따르면, 전자 디바이스를 제공하는바, 당해 전자 디바이스는 상기 디바이스 메모리와 프로세서를 구비하며, 상기 메모리는 프로세서 상에서 운행 가능한 컴퓨터 명령을 기억하고, 상기 프로세서는 상기 컴퓨터 명령이 실행될 때에, 실현 본 발명에 의해 제공되는 임의의 실시 형태에 기재된 인터렉티브 대상의 구동 방법을 실행한다.

본 발명에 일 양태에 따르면, 컴퓨터 프로그램이 기억되어 있는 컴퓨터 판독 가능 기록 매체를 제공하는바, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때에, 본 발명에 의해 제공되는 임의의 실시 형태에 기재된 인터렉티브 대상의 구동 방법이 실행된다.

본 발명에 하나의 또는 복수의 실시예의 인터렉티브 대상의 구동 방법, 장치, 디바이스 및 컴퓨터 판독 가능 기억 매체에 따르면, 상기 인터렉티브 대상의 구동 데이터의 구동 모드에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득함으로써, 상기 인터렉티브 대상의 자태를 제어한다. 여기서, 서로 다른 구동 모드에 대하여 서로 다른 방법에 따라 해당하는 인터렉티브 대상의 제어 파라미터 값을 취득하고, 인터렉티브 대상이 상기 구동 데이터의 내용 및/또는 대응하는 음성에 매칭되는 자태를 전시하도록 하며, 목표 대상에게 인터렉티브 대상과 교류하고 있는 것과 같은 감각을 주고, 목표 대상의 인터렉티브 대상과의 인터렉티브 체험을 개선했다.

이하, 본 명세서의 하나 또는 복수의 실시예 또는 선행 기술에서의 기술적 해결책을 더 명확히 설명하기 위하여, 실시예 또는 선행 기술의 설명에 사용할 필요가 있는 도면을 간단히 소개한다. 물론, 아래의 설명되는 도면은 본 명세서의 하나 또는 복수의 실시예에 기재된 몇몇의 실시예에 지나지 않으며, 당업자는 창조적인 작업 없이 이러한 도면에 기반하여 기타 도면을 얻을 수 있다.
도 1은 본 발명의 적어도 하나의 실시예에 의해 제공되는 인터렉티브 대상의 구동 방법 중의 표시 디바이스의 모식도이다.
도 2는 본 발명의 적어도 하나의 실시예에 의해 제공되는 인터렉티브 대상의 구동 방법의 플로우 챠트이다.
도 3은 본 발명의 적어도 하나의 실시예에 의해 제공되는 음소 시퀀스에 대하여 특징 인코딩을 실행하는 과정의 모식도이다.
도 4는 본 발명의 적어도 하나의 실시예에 의해 제공되는 음소 시퀀스에 기반하여 제어 파라미터 값을 얻는 과정의 모식도이다.
도 5는 본 발명의 적어도 하나의 실시예에 의해 제공되는 음성 프레임 시퀀스에 기반하여 제어 파라미터 값을 얻는 과정의 모식도이다.
도 6은 본 발명의 적어도 하나의 실시예에 의해 제공되는 인터렉티브 대상의 구동 장치 구성 모식도이다.
도 7은 본 발명의 적어도 하나의 실시예에 의해 제공되는 전자 디바이스의 구성 모식도이다.

이하, 예시적인 실시예를 상세하게 설명하며, 그 예를 도면에 나타낸다. 이하의 설명에서 도면을 언급할 경우, 특히 명기하지 않는 한, 서로 다른 도면 내의 동일한 숫자는 동일하거나 유사한 요소를 나타낸다. 이하의 예시적인 실시예에서 서술되는 실시 형태는 본 발명과 일치한 모든 실시 형태를 대표하지 않는다. 반대로, 이들은 첨부된 특허 청구의 범위에 기재된 본 발명의 몇몇의 양태와 일치한 장치 및 방법의 예에 불과하다.

본 명세서 내의 "및/또는"이라고 하는 용어는 단지 관련 대상의 관련 관계를 설명하는 것인바, 세가지 관계가 존재할 수 있음을 나타낸다. 예를 들면, A 및/또는 B는, A가 단독으로 존재하는 것, A와 B가 동시에 존재하는 것 및 B가 단독으로 존재하는 것과 같은 세가지 관계를 포함한다. 또한, 본 명세서 내의 "적어도 일 종"이라고 하는 용어는 복수 종류 중의 임의의 일 종 또는 복수 종류 중의 적어도 두 종류의 임의의 조합을 나타낸다. 예를 들면, A, B, C 중의 적어도 일 종을 포함하는 것은, A, B 및 C로 구성된 세트에서 선택한 임의의 하나 또는 복수의 요소를 포함하는 것을 나타낸다.

본 발명의 적어도 하나의 실시예는 인터랙티브 대상의 구동 방법을 제공하는바, 상기 구동 방법은 단말 디바이스 또는 서버 등의 전자 디바이스에 의해 실행될 수 있다. 상기 단말 디바이스는 휴대전화, 태블릿 컴퓨터, 게임기, 데스크탑 컴퓨터, 광고기, 올인원기, 차량용 단말 등의 고정 단말 또는 이동 단말일 수 있다. 상기 서버는 로컬 서버 또는 클라우드 서버 등을 포함한다. 상기 방법은 프로세서에 의해 메모리에 기억되어 있는 컴퓨터 판독 가능 명령을 호출하는 방법에 의해 실현될 수 있다.

본 발명의 실시예에 있어서, 인터랙티브 대상은 목표 대상과 인터랙티브를 실행할 수 있는 임의의 가상 이미지일 수 있다. 일 실시예에 있어서, 인터랙티브 대상은 가상 캐릭터일 수 있고, 또한 가상 동물, 가상 물품, 만화 이미지 등의 인터랙티브 기능을 실현할 수 있는 기타 가상 이미지일 수 있다. 인터랙티브 대상의 표시 형식은 2D 또는 3D일 수 있지만, 본 발명은 이에 대해 한정하지 않는다. 상기 목표 대상은 사용자, 로봇 또는 기타 스마트 디바이스일 수 있다. 상기 인터랙티브 대상의 상기 목표 대상과의 인터랙티브 방법은 능동적 인터랙티브 방법 또는 수동적 인터랙티브 방법일 수 있다. 일 예에 있어서, 목표 대상이 제스처 또는 신체 동작을 수행하여 요구를 발함으로써, 능동적 인터랙티브 방법에 따라 인터랙티브 대상을 트리거하여 인터랙티브를 실행할 수 있다. 다른 일 예에 있어서, 인터랙티브 대상이 능동적으로 인사함으로써, 목표 대상이 동작 등을 수행하도록 프롬프트 하는 방법을 통해, 목표 대상이 수동적 방법을 통해 인터랙티브 대상과 인터랙티브를 실행하도록할 수 있다.

상기 인터랙티브 대상은 단말 디바이스를 이용하여 전시할 수 있으며, 상기 단말 디바이스는 텔레비전, 표시 기능을 가지는 올인원기, 프로젝터, 가상 현실(Virtual Reality, VR) 디바이스, 확장 현실(Augmented Reality, AR) 디바이스 등일 수 있으며, 본 발명은 단말 디바이스의 구체적인 형태에 대해 한정하지 않는다.

도 1은 본 발명의 적어도 하나의 실시예에 의해 제공되는 표시 디바이스를 나타낸다. 도 1에 나타낸바와 같이, 당해 표시 디바이스는 투명 표시 스크린을 구비하며, 투명 표시 스크린에 입체 이미지를 표시함으로써, 입체 효과를 가지는 가상 씬 및 인터랙티브 대상을 나타낼 수 있다. 예를 들면, 도 1의 투명 표시 스크린에 표시된 인터랙티브 대상은 가상 만화 인물을 포함한다. 몇몇의 실시예에 있어서, 본 발명에 기재된 단말 디바이스는 상기의 투명 표시 스크린을 가지는 표시 디바이스일 수 있다. 표시 디바이스는 메모리와 프로세서를 구비하는바, 여기서 메모리는 프로세서 상에서 운행 가능한 컴퓨터 명령을 기억하고, 상기 프로세서는 상기 컴퓨터 명령이 실행될 때에, 본 발명에 의해 제공되는 인터랙티브 대상의 구동 방법을 실현함으로써, 투명 표시 스크린에 표시된 인터랙티브 대상을 구동하여 목표 대상과 교류 또는 응답을 수행하도록할 수 있다.

몇몇의 실시예에 있어서, 인터랙티브 대상이 음성을 출력하도록 구동하기 위한 음성 구동 데이터에 응답하여, 인터랙티브 대상은 목표 대상에 대해 지정된 음성을 발할 수 있다. 단말 디바이스는 단말 디바이스의 주변 목표 대상의 동작, 표정, 신분, 기호 등에 기반하여 음성 구동 데이터를 생성함으로써, 인터랙티브 대상이 지정된 음성을 발하여 교류 또는 응답을 수행하도록 구동하여, 목표 대상에 대해 의인화 서비스를 제공할 수 있다. 음성 구동 데이터는 기타 방법에 의해 생성될 수도 있으며, 예를 들면, 서버가 생성하여 단말 디바이스에 송신할 수 있음을 설명할 필요가 있다.

인터랙티브 대상이 목표 대상과 인터랙티브를 실행하는 과정에 있어서, 당해 음성 구동 데이터에 기반하여 인터랙티브 대상이 지정된 음성을 발하도록 구동할 때에, 상기 인터랙티브 대상이 당해 지정된 음성과 동기화된 얼굴부의 동작을 수행하도록 구동할 수 없기에, 인터랙티브 대상이 음성을 발할 때에 둔하게 부자연스러울 수 있으며, 목표 대상의 인터랙티브 대상과의 인터랙티브 체험에 영향을 줄 가능성이 있다. 이에 감안하여 본 발명의 적어도 하나의 실시예는 인터랙티브 대상의 구동 방법을 제안하는바, 목표 대상의 인터랙티브 대상과의 인터랙티브의 체험을 향상시킨다.

도 2은, 본 발명의 적어도 하나의 실시예에 관한 인터렉티브 대상의 구동 방법의 플로우 챠트이며, 상기 인터렉티브 대상은 표시 디바이스에 전시되어 있다. 도 2에 나타낸바와 같이, 상기 방법은 단계 201∼단계 203을 포함한다.

단계 201에 있어서, 상기 인터렉티브 대상의 구동 데이터를 취득하고, 상기 구동 데이터의 구동 모드를 확정한다.

본 발명의 실시예에 있어서, 상기 음성 구동 데이터는 오디오 데이터(음성 데이터), 텍스트 등을 포함할 수 있다. 상기 음성 구동 데이터는 서버 또는 단말 디바이스에 의해 인터렉티브 대상과 인터렉티브를 실행하는 목표 대상의 동작, 표정, 신분, 기호 등에 기반하여 생성한 구동 데이터일 수도 있고, 단말 디바이스에 의해 직접 취득된, 내부 메모리로부터 호출한 음성 구동 데이터일 수도 있다. 본 발명은 당해 음성 구동 데이터의 취득 방법에 대하여 한정하지 않는다.

상기 구동 데이터의 타입 및 상기 구동 데이터 중에 포함되어 있는 정보에 기반하여 상기 구동 데이터의 구동 모드를 확정할 수 있다.

일 예에 있어서, 상기 구동 데이터의 타입에 기반하여 상기 구동 데이터에 대응하는 음성 데이터 시퀀스를 취득할 수 있는바, 여기서, 상기 음성 데이터 시퀀스는 복수의 음성 데이터 단위를 포함한다. 여기서, 상기 음성 데이터 단위는 문자 또는 단어를 단위로 구성될 수도 있고, 음소 또는 음절을 단위로 구성될 수도 있다. 텍스트 타입의 구동 데이터에 대응하여, 상기 구동 데이터에 대응하는 문자 시퀀스, 단어 시퀀스 등을 얻을 수 있고, 오디오 타입의 구동 데이터에 대응하여, 상기 구동 데이터에 대응하는 음소 시퀀스, 음절 시퀀스, 음성 프레임 시퀀스 등을 얻을 수 있다. 일 실시예에 있어서, 오디오 데이터와 텍스트 데이터는 서로 변환될 수 있다. 예를 들면, 오디오 데이터를 텍스트 데이터로 변환한 후 음성 데이터 단위의 분할을 실행하거나, 또는, 텍스트 데이터를 오디오 데이터로 변환한 후 음성 데이터 단위의 분할을 실행할 수 있는바, 본 발명은 이에 대해 한정하지 않는다.

상기 음성 데이터 단위에 포함되어 있는 목표 데이터가 검출되었을 경우, 상기 구동 데이터의 구동 모드를 제1 구동 모드로 확정할 수 있는바, 여기서 상기 목표 데이터는 인터렉티브 대상의 소정의 제어 파라미터 값에 대응한다.

상기 목표 데이터는 설정된 키 단어 또는 키 문자 등일 수 있고, 상기 키 단어 또는 상기 키 문자는 인터렉티브 대상의 소정의 동작의 소정의 제어 파라미터 값에 대응한다.

본 발명의 실시예에 있어서, 사전에 각각의 목표 데이터에 대해 소정의 동작을 매칭시킨다. 각각의 소정의 동작은 해당하는 제어 파라미터 값에 기반하여 제어하여 실현된다. 따라서, 각 목표 데이터와 소정의 동작의 제어 파라미터 값은 매칭된다. 키 단어가 "손 흔들기"인 예를 들면, 상기 음성 데이터 단위가 텍스트 형식의 "손 흔들기" 및/또는 음성 형식의 "손 흔들기"을 포함할 경우, 상기 구동 데이터가 목표 데이터를 포함한다고 확정할 수 있다.

예시적으로, 상기 목표 데이터는 음절을 포함하고, 상기 음절은 상기 인터렉티브 대상의 소정의 입 형상 동작의 소정의 제어 파라미터 값에 대응한다.

상기 목표 데이터에 대응하는 음절은 사전으로 분할된 서로 다른 음절 타입에 속하며, 또한 상기 서로 다른 음절 타입은 서로 다른 소정의 입 형상에 매칭된다. 여기서, 음절은 적어도 하나의 음소를 조합시켜 형성된 음성 단위를 포함한다. 상기 음절은 병음 언어의 음절 및 비 병음 언어 (예를 들면 중국어임)의 음절을 포함할 수 있다. 서로 다른 음절 타입은 발음 동작과 일치하거나 기본적으로 일치하는 음절이며, 서로 다른 음절 타입은 인터렉티브 대상의 서로 다른 동작에 대응한다. 일 실시예에 있어서, 서로 다른 음절 타입은 인터렉티브 대상이 이야기할 때의 서로 다른 소정의 입 형상에 대응하는바, 즉 서로 다른 발음 동작에 대응한다. 이 경우, 서로 다른 음절 타입은 각각 서로 다른 소정의 입 형상의 제어 파라미터 값에 매칭한다. 예를 들면 병음인 "ma", "man", "mang"등의 타입의 음절은 그 발음 동작이 기본적으로 일치하기 때문에, 동일한 타입으로 간주할 수 있는바, 모두 인터렉티브 대상이 이야기할 때의 "입이 열림"의 입 형상의 제어 파라미터 값에 대응한다.

상기 음성 데이터 단위에 포함되어 있는 목표 데이터가 검출되지 않았을 경우, 상기 구동 데이터의 구동 모드를 제2구동 모드로 확정할 수 있고, 여기서, 상기 목표 데이터는 인터렉티브 대상의 소정의 제어 파라미터 값에 대응한다.

당업자는 상술한 제1 구동 모드와 제2구동 모드는 예에 지나지 않는바, 본 발명의 실시예는 구체적인 구동 모드를 한정하지 않음을 이해해야 한다.

단계 202에 있어서, 상기 구동 모드에 응답하여, 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득한다.

구동 데이터의 다양한 구동 모드에 대하여, 해당하는 방식을 채용하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득할 수 있다.

일 예에 있어서, 단계 201에서 확정한 제1 구동 모드에 응답하여, 상기 목표 데이터에 대응하는 상기 소정의 제어 파라미터 값을 상기 인터렉티브 대상의 제어 파라미터 값으로 사용할 수 있다. 예를 들면, 제1 구동 모드에 대하여, 상기 음성 데이터 시퀀스에 포함되어 있는 목표 데이터 (예를 들면 "손 흔들기"임)에 대응하는 소정의 제어 파라미터 값을 상기 인터렉티브 대상의 제어 파라미터 값으로 사용할 수 있다.

일 예에 있어서, 단계 201에서 확정한 제2구동 모드에 응답하여, 상기 음성 데이터 시퀀스 중의 적어도 하나의 음성 데이터 단위의 특징 정보를 취득하고, 상기 특징 정보에 대응하는 상기 인터렉티브 대상의 제어 파라미터 값을 취득할 수 있다. 즉, 음성 데이터 시퀀스에 포함되어 있는 목표 데이터가 검출되지 않으면, 상기 음성 데이터 단위의 특징 정보에 기반하여 대응하는 제어 파라미터 값을 취득할 수 있다. 상기 특징 정보는 상기 음성 데이터 시퀀스에 대하여 특징 인코딩을 실행하여 얻어진 음성 데이터 단위의 특징 정보 및 상기 음성 데이터 시퀀스의 음향 특징 정보에 기반하여 얻어진 음성 데이터 단위의 특징 정보 등을 포함할 수 있다.

단계 203에 있어서, 상기 제어 파라미터 값에 기반하여 상기 인터렉티브 대상의 자태를 제어한다.

몇몇의 실시예에 있어서, 상기 인터렉티브 대상의 제어 파라미터는 얼굴부 자태 파라미터를 포함하고, 상기 얼굴부 자태 파라미터는 얼굴부 근육 제어 계수를 포함하며, 당해 얼굴부 근육 제어 계수는 적어도 하나의 얼굴부 근육의 운동 상태를 제어하기 위하여 사용된다. 일 실시예에 있어서, 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 얼굴부 근육 제어 계수를 취득하고, 취득한 얼굴부 근육 제어 계수에 기반하여 상기 인터렉티브 대상이 상기 구동 데이터에 매칭하는 얼굴부 동작을 수행하도록 상기 인터렉티브 대상을 구동할 수 있다.

몇몇의 실시예에 있어서, 상기 인터렉티브 대상의 제어 파라미터 값은, 상기 인터렉티브 대상의 적어도 하나의 국부 영역의 제어 벡터를 포함한다. 일 실시예에 있어서, 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 적어도 하나의 국부 영역의 제어 벡터를 취득할 수 있고, 취득한 상기 적어도 하나의 국부 영역의 제어 벡터에 기반하여 상기 인터렉티브 대상을 얼굴부 동작 및/또는 몸 동작을 제어하지만할 수 있다.

상기 인터렉티브 대상의 구동 데이터의 구동 모드에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득함으로써, 상기 인터렉티브 대상의 자태를 제어한다. 여기서, 서로 다른 구동 모드에 대하여, 서로 다른 방식에 따라 해당하는 인터렉티브 대상의 제어 파라미터 값을 취득함으로써, 인터렉티브 대상이 상기 구동 데이터의 내용 및/또는 대응하는 음성에 매칭하는 자태를 전시하도록 하기에, 목표 대상에게 인터렉티브 대상과 교류하고 있는 것과 같은 감각을 줄 수 있으며, 목표 대상의 인터렉티브 대상과의 인터렉티브 체험을 개선했다.

몇몇의 실시예에 있어서, 또한 상기 구동 데이터에 기반하여 상기 표시 디바이스 출력 음성을 제어하고, 및/또는, 텍스트를 전시할 수 있다. 또한, 음성의 출력 및/또는 텍스트의 전시 동시에, 상기 제어 파라미터 값에 기반하여 상기 인터렉티브 대상의 자태를 제어할 수 있다.

본 발명의 실시예에 있어서, 제어 파라미터 값과 상기 구동 데이터가 매칭되기 때문에, 상기 구동 데이터에 기반한 음성의 출력 및/또는 텍스트의 전시가 상기 제어 파라미터 값에 기반한 제어 인터렉티브 대상의 자태가 동기화될 경우, 인터렉티브 대상이 취한 자태와 출력한 음성 및/또는 전시한 텍스트도 동기화되기 때문에, 목표 대상에게 상기 인터렉티브 대상과 교류하고 있는 것과 같은 감각을 준다.

몇몇의 실시예에 있어서, 상기 음성 데이터 시퀀스는 음소 시퀀스를 포함한다. 상기 구동 데이터가 오디오 데이터를 포함하는 것에 응답하여, 오디오 데이터를 복수의 오디오 프레임으로 분할하고, 오디오 프레임의 상태에 기반하여 오디오 프레임을 조합시켜서 음소를 형성할 수 있다. 상기 오디오 데이터에 기반하여 형성한 각 음소는 음소 시퀀스를 형성한다. 여기서, 음소는 음성의 자연적인 속성에 기반하여 분할한 최소의 음성 단위인바, 실재의 인물 하나의 발음 동작이 하나의 음소를 형성할 수 있다. 상기 구동 데이터가 텍스트인 것에 응답하여, 상기 텍스트에 포함되어 있는 형태소에 기반하여 상기 형태소에 대응하는 음소를 얻음으로써 해당하는 음소 시퀀스를 얻을 수 있다.

몇몇의 실시예에 있어서, 이하의 방법을 통해 상기 음성 데이터 시퀀스 중의 적어도 하나의 음성 데이터 단위의 특징 정보를 취득할 수 있는바, 상기 방법은, 상기 음소 시퀀스에 대하여 특징 인코딩을 실행하여 상기 음소 시퀀스 대응하는 제1 코드 시퀀스를 얻는 것; 상기 제1 코드 시퀀스에 기반하여 적어도 하나의 음소에 대응하는 특징 코드를 취득하는 것; 및 상기 특징 코드에 기반하여 상기 적어도 하나의 음소의 특징 정보를 얻는 것을 포함한다.

도 3은, 음소 시퀀스에 대하여 특징 인코딩을 실행하는 과정을 나타내는 모식도이다. 도 3에 나타낸바와 같이, 음소 시퀀스(310)은, 음소 j, i1, j, ie4(간소화를 위하여, 일부의 음소만을 나타냄)을 포함하고, 각각의 음소 j, i1, ie4에 대하여 각각 대응하는 코드 시퀀스(321, 322, 323)를 얻는다. 각각의 코드 시퀀스에 있어서, 상기 음소가 대응되어 있는 시점에 대응하는 코드 값을 제1 수치로 설정하며 (예를 들면 1로 설정함), 상기 음소가 대응되어 있지 않는 시점에 대응하는 코드 값을 제2수치로 설정한다 (예를 들면 0으로 설정한다). 코드 시퀀스(321)의 예를 들면, 음소 시퀀스(310)에 있어서, 음소 j가 있는 시점에서 코드 시퀀스(321)의 값이 제1 수치인 1이며, 음소 j가 없는 시점에서 코드 시퀀스(321)의 값이 제2수치인 0이다. 모든 코드 시퀀스(321, 322, 323)에 의해 완전한 코드 시퀀스(320)가 구성된다.

음소 j, i1, ie4에 각각 대응하는 코드 시퀀스(321, 322, 323)의 코드 값 및 당해 3개의 코드 시퀀스 중에 대응하는 음소의 시간 길이에 기반하여, 즉 코드 시퀀스(321) 상의 j의 시간 길이, 코드 시퀀스(322) 상의 i1의 시간 길이 및, 코드 시퀀스(323) 상의 ie4의 시간 길이에 기반하여 코드 시퀀스(321, 322, 323)의 특징 정보를 얻을 수 있다.

예를 들면, 가우스 필터를 이용하여 각각 상기 코드 시퀀스(321, 322, 323) 상의 음소 j, i1, ie4의 시간에서의 연속 값에 대하여 가우스 컨볼루션 조작을 실행하여, 상기 코드 시퀀스의 특징 정보를 얻을 수 있다. 즉, 가우스 필터를 이용하여 음소의 시간 상의 연속 값에 대하여 가우스 컨볼루션 조작을 실행함으로써, 각각의 코드 시퀀스 중의 코드 값이 제2수치로부터 제1 수치 또는 제1 수치로부터 제2수치의 변화 단계가 원활해지도록 한다. 각각의 코드 시퀀스(321, 322, 323)에 대하여 각각 가우스 컨볼루션 조작을 실행함으로써, 각각의 코드 시퀀스의 특징 값을 얻는다. 여기서, 특징 값은 특징 정보 중의 파라미터를 구성하며, 각각의 코드 시퀀스의 특징 정보의 세트에 기반하여 당해 음소 시퀀스(310)에 대응하는 특징 정보 (330)를 얻는다. 당업자는 각각의 코드 시퀀스에 대하여 서로 다른 조작을 실행하여 상기 코드 시퀀스의 특징 정보를 얻을 수 있는바, 본 발명은 이에 대해 한정하지 않음을 이해해야 한다.

본 발명의 실시예에 있어서, 음소 시퀀스 중 각각의 음소의 시간 길이에 기반하여 상기 코드 시퀀스의 특징 정보를 얻음으로써 코드 시퀀스의 변화 단계가 원활해지도록 한다. 예를 들면, 코드 시퀀스의 값은 0과 1 이외에, 중간 상태의 값일 수도 있는바, 예를 들면 0.2, 0.3 등일 수 있다. 이러한 중간 상태의 값에 기반하여 취득한 자태 파라미터 값은 인터렉티브 인물의 자태 변화가 더 원활하고 자연스러워지도록 하는바, 특히 인터렉티브 인물의 표정 변화를 더 원활하고 자연스러워지도록 하며, 목표 대상의 인터렉티브 체험을 개선했다.

몇몇의 실시예에 있어서, 상기 얼굴부 자태 파라미터는 얼굴부 근육 제어 계수를 포함할 수 있다.

인간의 얼굴 운동은 해부학 관점에서 다양한 얼굴의 근육 협조적인 변형 결과이다. 따라서, 인터렉티브 대상의 얼굴 근육을 분할하여 얼굴 근육 모델을 얻고, 분할하여 얻어진 각 근육(영역)에 대하여 대응하는 얼굴 근육 제어 계수에 기반하여 그 운동을 제어하는바, 즉 각 근육에 대하여 수축/확장 제어를 실행하여 인터렉티브 인물의 얼굴이 다양한 표정을 짓도록할 수 있다. 상기 얼굴 근육 모델의 각각의 근육에 대하여, 근육이 위치하고 있는 얼굴 위치 및 근육 자신의 운동 특징에 기반하여 서로 다른 근육 제어 계수에 대응하는 운동 상태를 설정할 수 있다. 예를 들면, 윗 입술의 근육 경우, 그 제어 계수의 수치 범위는 0∼1이며, 당해 범위 내의 서로 다른 수치는 윗 입술의 근육의 서로 다른 수축/확장 상태에 대응되며, 당해 수치를 변경함으로써 입 부의 세로 방향의 개폐를 실현할 수 있다. 입 근육의 좌측의 경우, 그 제어 계수의 수치 범위는 0∼1이며, 당해 범위 내의 서로 다른 수치는 입의 근육 좌측의 수축/확장 상태에 대응되며, 당해 수치를 변경함으로써 입 부의 가로 방향의 변화를 실현할 수 있다.

음소 시퀀스에 기반하여 음성을 출력하는 동시에, 상기 음소 시퀀스에 대응하는 얼굴 근육 제어 계수 값에 기반하여 상기 인터렉티브 대상이 얼굴 표정을 짓도록 구동하고, 표시 디바이스가 음성을 출력할 때에 인터렉티브 대상이 동시에 당해 음성을 발하는 표정을 짓도록 함으로써, 목표 대상에게 당해 인터렉티브 대상이 이야기하고 있는 것과 같은 감각을 주며, 목표 대상의 인터렉티브 체험을 개선했다.

몇몇의 실시예에 있어서, 상기 인터렉티브 대상의 얼굴 동작과 몸 자태를 관련시킬 수 있다. 즉, 당해 얼굴 동작에 대응하는 얼굴 자태 파라미터 값과 상기 몸 자태를 관련시킬 수 있고, 상기 몸 자태는 몸 동작, 제스처 동작, 걸음 자태 등을 포함할 수 있다.

인터렉티브 대상을 구동하는 과정에서, 상기 얼굴 자태 파라미터 값에 관련되는 몸 자태의 구동 데이터를 취득하고, 상기 음소 시퀀스에 기반하여 음성을 출력하는 동시에, 상기 얼굴 자태 파라미터 값에 관련되는 몸 자태의 구동 데이터에 기반하여 상기 인터렉티브 대상이 몸 동작을 수행하도록 상기 인터렉티브 대상을 구동한다. 즉, 상기 인터렉티브 대상의 음성 구동 데이터에 기반하여 상기 인터렉티브 대상이 얼굴 동작을 수행하도록 구동하는 동시에, 또한 당해 얼굴 동작에 대응하는 얼굴 자태 파라미터 값에 기반하여 관련시킨 몸 자태의 구동 데이터를 취득하며, 음성을 출력할 때에 인터렉티브 대상이 동기에 해당하는 얼굴 동작 및 몸 동작을 수행하도록 구동함으로써, 인터렉티브 대상의 말하는 상태가 더 생동하고 자연스러워지도록 하여, 목표 대상의 인터렉티브 체험을 개선했다.

음성의 출력은 연속성을 유지할 필요가 있기 때문에, 일 실시예에 있어서, 음소 시퀀스 상에서 시간 윈도우를 이동시켜, 매 차례의 이동 과정에서 시간 윈도우 내의 음소를 출력한다. 여기서, 소정의 시간 길이를 매회의 이동 시간 윈도우의 스텝 크기로 설정한다. 예를 들면, 시간 윈도우의 길이를 1초로 설정하고, 소정의 시간 길이를 0.1초로 설정할 수 있다. 시간 윈도우 내의 음소를 출력하는 동시에, 시간 윈도우의 소정의 위치의 음소 또는 음소의 특징 정보에 대응하는 자태 파라미터 값을 취득하고, 상기 자태 파라미터 값을 이용하여 상기 인터렉티브 대상의 자태를 제어한다. 당해 소정의 위치는 시간 윈도우의 시작 위치부터의 소정의 시간 길이의 위치인바, 예를 들면 시간 윈도우의 길이를 1s로 설정할 경우, 당해 소정의 위치는 시간 윈도우의 시작 위치부터의 0.5s의 위치일 수 있다. 시간 윈도우를 이동할 때마다, 시간 윈도우 내의 음소를 출력하는 동시에, 시간 윈도우의 소정의 위치에 대응하는 자태 파라미터 값으로 인터렉티브 대상의 자태를 제어함으로써, 인터렉티브 대상의 자태와 출력되는 음성이 동기화되도록 하여, 목표 대상에게 상기 인터렉티브 대상과 이야기하고 있는 것과 같은 감각을 준다.

소정의 시간 길이를 변경함으로써, 자태 파라미터 값을 취득하는 시간 간격(빈도)을 변경할 수 있기에, 인터렉티브 대상이 자태를 취하는 빈도를 변경할 수 있다. 실제의 인터렉티브 씬에 따라 당해 소정의 시간 길이를 설정할 수 있으며, 인터렉티브 대상의 자태 변화가 더 자연스러워지도록할 수 있다.

몇몇의 실시예에 있어서, 인터렉티브 대상의 적어도 하나의 국부 영역의 제어 벡터를 얻음으로써 상기 인터렉티브 대상의 자태를 제어할 수 있다.

상기 국부 영역은 인터렉티브 대상의 전체(얼굴 및/또는 몸을 포함함)을 분할하여 얻은 것이다. 얼굴의 하나 또는 복수의 국부 영역의 제어는 인터렉티브 대상의 일련의 얼굴 표정 또는 동작에 대응될 수 있다. 예를 들면, 눈 부 영역의 제어는, 인터렉티브 대상의 눈 뜨기, 눈 감기, 윙크, 시각 변환 등의 얼굴 동작에 대응될 수 있다. 또한, 예를 들면 입 부 영역의 제어는 인터렉티브 대상의 입 다물기, 서로 다른 정도의 입 열기 등의 얼굴 동작에 대응될 수 있다. 몸의 그 중의 하나 또는 복수의 국부 영역의 제어는 인터렉티브 대상의 일련의 몸 동작에 대응될 수 있다. 예를 들면, 발 부 영역의 제어는 인터렉티브 대상의 보행, 점프, 차기 등의 동작에 대응될 수 있다.

상기 인터렉티브 대상의 국부 영역의 제어 파라미터는 상기 국부 영역의 자태 제어 벡터를 포함한다. 각각의 국부 영역의 자태 제어 벡터는 상기 인터렉티브 대상의 상기 국부 영역의 동작을 구동하기 위하여 사용된다. 서로 다른 자태 제어 벡터 값은 서로 다른 동작 또는 동작 진폭에 대응된다. 예를 들면, 입 부 영역의 자태 제어 벡터의 경우, 일 그룹의 자태 제어 벡터 값은 상기 인터렉티브 대상이 입 부를 조금 열도록할 수 있고, 다른 일 그룹의 자태 제어 벡터 값은 상기 인터렉티브 대상이 입 부를 크게 열도록할 수 있다. 서로 다른 자태 제어 벡터 값으로 상기 인터렉티브 대상을 구동함으로써, 해당하는 국부 영역이 서로 다른 동작 또는 서로 다른 진폭의 동작을 수행하도록할 수 있다.

국부 영역은 제어할 필요가 있는 인터렉티브 대상의 동작에 기반하여 선택할 수 있는바, 예를 들면 상기 인터렉티브 대상의 얼굴과 몸이 동시에 동작을 하는 제어할 필요가 있을 경우에는, 모든 국부 영역의 자태 제어 벡터 값을 취득할 수 있고, 상기 인터렉티브 대상의 표정을 제어할 필요가 있을 경우에는, 상기 얼굴에 대응하는 국부 영역의 자태 제어 벡터 값을 취득할 수 있다.

몇몇의 실시예에 있어서, 상기 제1 코드 시퀀스 상에서 윈도우 슬라이딩을 실행하는 방법을 통해 적어도 하나의 음소에 대응하는 특징 코드를 취득할 수 있다. 여기서, 상기 제1 코드 시퀀스는 가우스 컨볼루션 조작을 거친 후의 코드 시퀀스일 수 있다.

소정의 길이의 시간 윈도우 및 소정의 스텝 크기로 상기 코드 시퀀스에 대하여 윈도우 슬라이딩을 실행하여, 상기 시간 윈도우 내의 특징 코드를 대응하는 적어도 하나의 음소의 특징 코드로 설정하고, 윈도우 슬라이딩이 완료한 후에 얻어진 복수의 특징 코드에 기반하여 제2코드 시퀀스를 얻을 수 있다. 도 4에 나타낸바와 같이, 제1 코드 시퀀스(320) 또는 원활화 후의 제1 코드 시퀀스(430) 상에서 소정의 길이의 시간 윈도우를 슬라이딩 하여, 특징 코드1, 특징 코드2 및, 특징 코드3을 각각 얻을 수 있다. 제1 코드 시퀀스를 거친 후, 특징 코드1, 특징 코드2, 특징 코드3, …, 특징 코드M을 얻음으로써 제2코드 시퀀스(440)을 얻는다. 여기서, M은 양의 정수이며, 그 수치는 제1 코드 시퀀스의 길이, 시간 윈도우의 길이 및 시간 윈도우를 슬라이딩 하는 스텝 크기에 따라 결정된다.

특징 코드1, 특징 코드2, 특징 코드3, …, 특징 코드M에 기반하여 해당하는 자태 제어 벡터1, 자태 제어 벡터2, 자태 제어 벡터3, …, 자태 제어 벡터M을 각각 얻을 수 있으며, 따라서 자태 제어 벡터의 시퀀스(450)을 얻는다.

자태 제어 벡터의 시퀀스(450)와 제2코드 시퀀스(440)는 시간적으로 정렬된다. 상기 제2코드 시퀀스 중의 각각의 특징 코드가 음소 시퀀스 중의 적어도 하나의 음소에 기반하여 얻을 수 있기 때문에, 자태 제어 벡터의 시퀀스(450) 중의 각각의 제어 벡터도 마찬가지로 음소 시퀀스 중의 적어도 하나의 음소에 기반하여 얻을 수 있다. 텍스트 데이터에 대응하는 음소 시퀀스를 재생하는 동시에, 상기 자태 제어 벡터의 시퀀스에 기반하여 상기 인터렉티브 대상이 동작을 수행하도록 구동하면, 구동 인터렉티브 대상이 텍스트 내용에 대응하는 음성을 발하도록 하는 동시에, 음성에 동기화된 동작을 수행하도록할 수 있으므로, 목표 대상에게 상기 인터렉티브 대상과 이야기하고 있는 것과 같은 감각을 주며, 목표 대상의 인터렉티브 체험을 개선했다.

첫 번째 시간 윈도우의 소정의 타이밍부터 특징 코드를 출력하기 시작한다고 가정하면, 상기 소정의 타이밍 앞의 자태 제어 벡터 값을 기본 값으로 설정할 수 있고, 즉 음소 시퀀스를 최초로 재생할 때에 상기 인터렉티브 대상이 기본 동작을 수행하도록 하고, 상기 소정의 타이밍 후에 제1 코드 시퀀스에 기반하여 얻어진 자태 제어 벡터의 시퀀스를 이용하여 상기 인터렉티브 대상이 동작을 수행하도록 구동하기 시작한다. 도 4을 예로 들면, t0의 타이밍에서 특징 코드1을 출력하기 시작하며, t0의 타이밍 앞에 대응하는 것은 기본 자태 제어 벡터다.

상기 시간 윈도우의 길이는 상기 특징 코드에 포함되어 있는 정보의 양에 관련되어 있다. 시간 윈도우에 포함되어 있는 정보의 양이 상대적으로 많을 경우, 상기 순환 신경망 처리를 통하여 더 균일한 결과를 출력하게 된다. 시간 윈도우의 길이가 지나치게 크면, 인터렉티브 대상이 이야기할 때의 표정이 일부의 문자에 대응할 수 없게 된다. 시간 윈도우의 길이가 지나치게 작으면, 인터렉티브 대상이 이야기할 때의 표정이 딱딱해 보이게 된다. 따라서, 시간 윈도우의 시간 길이는 텍스트 데이터에 대응하는 음소가 지속되는 최소 시간에 따라 확정함으로써, 상기 인터렉티브 대상을 구동하여 수행한 동작이 음성과 더 강한 관련성을 가지도록 한다.

시간 윈도우를 슬라이딩 하는 스텝 크기는 자태 제어 벡터를 취득하는 시간 간격(빈도)에 관련되는바, 즉 구동 인터렉티브 대상이 동작을 수행하는 빈도에 관련된다. 실제의 인터렉티브 씬에 따라 상기 시간 윈도우의 길이 및 스텝 크기를 설정함으로써, 인터렉티브 대상이 짓는 표정 및 동작과 음성 사이의 관련성이 더 강하고, 또한 더 생생하고 자연스러워지도록할 수 있다.

몇몇의 실시예에 있어서, 상기 음소 시퀀스 중의 음소 간의 시간 간격이 소정의 한계값보다 클 경우, 상기 국부 영역의 소정의 자태 제어 벡터에 기반하여 상기 인터렉티브 대상이 동작을 수행하도록 구동한다. 즉, 인터렉티브 인물의 말할 때의 멈춤이 상대적으로 길면, 상기 인터렉티브 대상이 소정의 동작을 수행하도록 구동한다. 예를 들면, 출력하는 음성의 멈춤이 상대적으로 길 때에, 인터렉티브 대상이 미소의 표정을 짓도록 하거나, 또는 몸을 조금씩 흔들게 함으로써, 멈춤이 상대적으로 길 때에 인터렉티브 대상이 무표정으로 서 있는 것을 피면하고, 인터렉티브 대상이 말하는 과정이 더 자연스럽고 원활해지도록 하며, 목표 대상의 인터렉티브 대상과의 인터렉티브 익스피리언스를 개선했다.

몇몇의 실시예에 있어서, 상기 음성 데이터 시퀀스는 음성 프레임 시퀀스를 포함하고, 상기 음성 데이터 시퀀스 중의 적어도 하나의 음성 데이터 단위의 특징 정보를 취득하는 것은, 상기 음성 프레임 시퀀스 대응하는 제1 음향 특징 시퀀스를 취득하는 것 - 상기 제1 음향 특징 시퀀스는 상기 음성 프레임 시퀀스 중의 각 음성 프레임에 대응하는 음향 특징 벡터를 포함함 -; 상기 제1 음향 특징 시퀀스에 기반하여 적어도 하나의 음성 프레임에 대응하는 음향 특징 벡터를 취득하는 것; 및 상기 음향 특징 벡터에 기반하여 상기 적어도 하나의 음성 프레임에 대응하는 특징 정보를 얻는 것을 포함한다.

본 발명의 실시예에 있어서, 상기 음성 프레임 시퀀스의 음향 특징에 기반하여 인터렉티브 대상의 적어도 하나의 국부 영역의 제어 파라미터를 확정할 수도 있고, 상기 음성 프레임 시퀀스의 다른 특징에 기반하여 제어 파라미터를 확정할 수도 있다.

먼저, 상기 음성 프레임 시퀀스 대응하는 음향 특징 시퀀스를 취득한다. 여기서, 후속에서 언급되는 음향 특징 시퀀스와 구별하기 위하여, 상기 음성 프레임 시퀀스에 대응하는 음향 특징 시퀀스를 제1 음향 특징 시퀀스라고 부른다.

본 발명의 실시예에 있어서, 음향 특징은 기본 주파수 특징, 공통 피크 특징, 멜 주파수 계수(Mel Frequency Cofficient, MFCC)등과 같은 음성 감정과 관련된 특징일 수 있다.

상기 제1 음향 특징 시퀀스는 음성 프레임 시퀀스의 전체에 대하여 처리를 실행하여 얻은 것이며, MFCC특징의 예를 들면, 상기 음성 프레임 시퀀스 중의 각각의 음성 프레임에 대하여, 윈도우, 고속 푸리에 변환, 필터링, 대수 처리, 이산 코사인 처리를 실행하여 각각의 음성 프레임에 대응하는 MFCC 계수를 얻는다.

상기 제1 음향 특징 시퀀스는 음성 프레임 시퀀스의 전체에 대하여 처리를 실행하여 얻은 것이며, 음성 데이터 시퀀스의 전체 음향 특징을 반영했다.

본 발명의 실시예에 있어서, 상기 제1 음향 특징 시퀀스는 상기 음성 프레임 시퀀스 중의 각 음성 프레임에 대응하는 음향 특징 벡터를 포함한다. MFCC의 예를 들면, 상기 제1 음향 특징 시퀀스는 각 음성 프레임의 MFCC 계수를 포함한다. 상기 음성 프레임 시퀀스에 기반하여 얻어진 제1 음향 특징 시퀀스는 도 5에 나타낸바와 같다.

이어서, 상기 제1 음향 특징 시퀀스에 기반하여 적어도 하나의 음성 프레임에 대응하는 음향 특징을 취득한다.

상기 제1 음향 특징 시퀀스가 상기 음성 프레임 시퀀스 중의 각 음성 프레임에 대응하는 음향 특징 벡터를 포함할 경우, 상기 적어도 하나의 음성 프레임에 대응하는 같은 수량의 특징 벡터를 상기 음성 프레임의 음향 특징으로 이용할 수 있다. 여기서, 상술한 같은 수량의 특징 벡터는 하나의 특징 매트릭스를 형성할 수 있고, 당해 특징 매트릭스가 상기 적어도 하나의 음성 프레임의 음향 특징이다.

도 5의 예를 들면, 상기 제1 음향 특징 시퀀스 중의 N개의 특징 벡터에 의해 대응하는 N개의 음성 프레임의 음향 특징을 형성하되, 여기서 N은 양의 정수이다. 상기 제1 음향 특징 매트릭스는 복수의 음향 특징을 포함할 수 있고, 여기서 각각의 상기 음향 특징에 대응하는 음성 프레임 사이는 일부가 중복될 경우가 있다.

마지막으로, 상기 음향 특징에 대응하는 상기 인터렉티브 대상의 적어도 하나의 국부 영역의 제어 벡터를 취득한다.

얻어진 적어도 하나의 음성 프레임에 대응하는 음향 특징에 대하여, 적어도 하나의 국부 영역의 제어 벡터를 취득할 수 있다. 국부 영역은 제어할 필요가 있는 인터렉티브 대상의 동작에 기반하여 선택할 수 있다. 예를 들면, 상기 인터렉티브 대상의 얼굴부 및 몸이 동시에 동작을 수행하도록 제어할 필요가 있을 경우에는, 전부의 국부 영역의 제어 벡터를 취득할 수 있고, 상기 인터렉티브 대상의 표정을 제어할 필요가 있을 경우에는, 상기 얼굴부에 대응하는 국부 영역의 제어 벡터를 취득할 수 있다.

음성 데이터 시퀀스를 재생하는 동시에, 상기 제1 음향 특징 시퀀스를 통해 얻은 각각의 음향 특징에 대응하는 제어 벡터에 기반하여 상기 인터렉티브 대상이 동작을 수행하도록 구동함으로써, 단말 디바이스가 음성을 출력하는 동시에, 인터렉티브 대상이 출력된 음성에 매칭되는 동작을 수행하도록 할 수 있으며, 여기서 당해 동작은, 얼굴부 동작, 표정, 몸 동작 등을 포함한다. 따라서, 목표 대상에게 당해 인터렉티브 대상이 이야기하고 있는 것 같은 감각을 줄 수 있다. 상기 제어 벡터가 출력되는 음성의 음향 특징에 관련되기 때문에, 상기 제어 벡터에 기반하여 구동함으로써, 인터렉티브 대상의 표정과 몸 동작에 감정적인 요소가 추가되도록 하며, 인터렉티브 대상이 말하는 과정이 더 자연스럽고 선명해지도록 하고, 목표 대상의 인터렉티브 체험을 개선했다.

몇몇의 실시예에 있어서, 상기 제1 음향 특징 시퀀스 상에서 윈도우 슬라이딩을 실행의 방법을 통해 상기 적어도 하나의 음성 프레임에 대응하는 음향 특징을 취득할 수 있다.

소정의 길이의 시간 윈도우와 소정의 스텝 크기로 상기 제1 음향 특징 시퀀스에 대하여 윈도우 슬라이딩을 실행하여, 상기 시간 윈도우 내의 음향 특징 벡터를 대응하는 같은 수량의 음성 프레임의 음향 특징으로 설정함으로써, 이러한 음성 프레임에 공동으로 대응되는 음향 특징을 얻을 수 있다. 윈도우 슬라이딩을 완료한 후에, 얻어진 복수의 음향 특징에 기반하여 제2음향 특징 시퀀스를 얻을 수 있다.

도 5에 나타낸 인터렉티브 대상의 구동 방법의 예를 들면, 상기 음성 프레임 시퀀스는 1초에 100개의 음성 프레임이 포함되며, 상기 시간 윈도우의 길이는 1s이며, 스텝 크기는 0.04s다. 상기 제1 음향 특징 시퀀스 중의 각 특징 벡터는 음성 프레임에 대응되며, 이에 따라 상기 제1 음향 특징 시퀀스도 1초에 마찬가지로 100개의 특징 벡터가 포함된다. 상기 제1 음향 특징 시퀀스 상에서 윈도우 슬라이딩을 실행하는 과정에서, 상기 시간 윈도우 내의 100개의 특징 벡터를 얻을 때마다, 얻어진 100개의 특징 벡터를 대응하는 100개의 음성 프레임의 음향 특징으로 설정한다. 상기 제1 음향 특징 시퀀스 상에서 0.04s의 스텝 크기로 상기 시간 윈도우를 이동함으로써, 각각 제1 ∼100의 음성 프레임에 대응하는 음향 특징 1 및 제4∼104의 음성 프레임에 대응하는 음향 특징 2을 얻으며, 이렇게 하여 제1 음향 특징에 대한 처리를 완료한 후, 음향 특징 1, 음향 특징 2, …, 음향 특징M을 얻을 수 있으며, 따라서 제2음향 특징 시퀀스를 얻는다. 여기서, M은 양의 정수이며, 그 수치는 음성 프레임 시퀀스의 프레임 수량 (제1 음향 특징 시퀀스 중의 특징 벡터의 수량임), 시간 윈도우의 길이 및 스텝 크기에 따라 확정된다.

음향 특징 1, 음향 특징 2, …, 음향 특징M에 기반하여 해당하는 제어 벡터1, 제어 벡터2, …, 제어 벡터M을 각각 얻을 수 있고, 따라서 제어 벡터의 시퀀스를 얻을 수 있다.

도 5에 나타낸바와 같이, 상기 제어 벡터의 시퀀스는 상기 제2음향 특징 시퀀스와 시간 상에서 정렬되어, 상기 제2음향 특징 시퀀스 중의 음향 특징 1, 음향 특징 2, …, 음향 특징M은 각각 상기 제1 음향 특징 시퀀스 중의 N개의 특징 벡터에 기반하여 얻을 수 있으며, 따라서 상기 음성 프레임을 재생하는 동시에, 상기 제어 벡터의 시퀀스에 기반하여 상기 인터랙티브 대상이 동작을 수행하도록 구동할 수 있다.

첫 번째 시간 윈도우의 소정의 타이밍에서 음향 특징의 출력을 시작한다고 가정하면, 상기 소정의 타이밍 앞의 제어 벡터를 기본값으로 설정할 수 있는바, 즉 음성 프레임 시퀀스를 막 재생하려 할 때에, 상기 인터렉티브 대상이 기본 동작을 수행하도록 하고, 상기 소정의 타이밍 뒤에 제1 음향 특징 시퀀스에 기반하여 얻어진 제어 벡터의 시퀀스를 이용하여 상기 인터렉티브 대상이 동작을 수행하도록 구동하기 시작한다.

도 5의 예를 들면, t0 타이밍에서 음향 특징 1의 출력을 시작하고, 스텝 크기에 대응하는 시간 0.04s를 간격으로서 음향 특징을 출력하며, t1 타이밍에서 음향 특징 2의 출력을 시작하고, t2 타이밍에서 음향 특징 3의 출력을 시작하며, …, t (M-1)타이밍에서 음향 특징 M을 출력한다. 이에 대해, ti ∼ t(i+1)시간대에는 특징 벡터(i+1)이 대응되며, 여기서 i는 (M-1)미만의 정수다. 그리고, t0 타이밍 앞에서 제어 벡터는 기본 제어 벡터이다.

본 발명의 실시예에 있어서, 상기 음성 데이터 시퀀스를 재생하는 동시에, 상기 제어 벡터의 시퀀스에 기반하여 상기 인터렉티브 대상이 동작을 수행하도록 구동함으로써, 인터렉티브 대상의 동작이 출력하는 음성에 동기화되도록 하고, 목표 대상에 상기 인터렉티브 대상이 이야기하고 있는 감각을 주며, 목표 대상의 인터렉티브 대상과의 인터렉티브 체험을 개선했다.

상기 시간 윈도우의 길이는 상기 음향 특징에 포함되어 있는 정보량과 관련된다. 시간 윈도우의 길이가 클수록, 포함되어 있는 정보가 많으며, 상기 인터렉티브 대상을 구동하여 수행하는 동작과 음성의 관련성도 상대적으로 강하다. 시간 윈도우 슬라이딩의 스텝 크기는 제어 벡터를 취득하는 시간 간격(빈도)에 관련되는바, 즉 인터렉티브 대상이 동작을 수행하도록 구동하는 빈도에 관련된다. 실제의 인터렉티브 씬에 따라 상기 시간 윈도우의 길이 및 스텝 크기를 설정할 수 있으며, 인터렉티브 대상의 표정 및 동작과 음성의 관련성이 더 강해지도록 하고, 상대적으로 더 선명하고 자연스럽다.

몇몇의 실시예에 있어서, 상기 음향 특징은 L개 차원의 멜 주파수 계수 MFCC을 포함하되, 여기서 L은 양의 정수이다. MFCC은 음성 신호의 에너지 빈도 범위에서의 분포다. 상기 음성 프레임 시퀀스 중의 복수의 음성 프레임 데이터를 주파수 영역으로 변환하고, L개의 서브 영역을 포함하는 멜 필터를 이용하여 L개의 차원 MFCC을 얻는다. 음성 데이터 시퀀스의 MFCC에 기반하여 제어 벡터를 취득하고, 상기 제어 벡터에 기반하여 상기 인터렉티브 대상이 얼굴부 동작과 몸 동작을 실행하게 구동함으로써, 인터렉티브 대상의 표정과 몸 동작에 감정적인 요소가 추가되며, 인터렉티브 대상이 이야기하고 있는 과정이 더 자연스럽고 선명해지도록 하며, 따라서 목표 대상의 인터렉티브 대상과의 인터렉티브 체험을 개선한다.

몇몇의 실시예에 있어서, 상기 음성 데이터 단위의 특징 정보를 사전에 훈련된 순환 신경망에 입력하여, 상기 특징 정보에 대응하는 상기 인터렉티브 대상의 제어 파라미터 값을 얻는 것을 포함한다. 상기 순환 신경망은 시간 순환 신경망이며, 입력된 특징 정보의 이력 정보를 학습하고, 음성 단위 시퀀스에 기반하여 제어 파라미터를 출력할 수 있다. 예를 들면, 당해 제어 파라미터는 얼굴부 자태 제어 파라미터 또는 적어도 하나의 국부 영역의 제어 벡터일 수 있다.

본 발명의 실시예에 있어서, 사전에 훈련된 순환 신경망을 이용하여 상기 음성 데이터 단위의 특징 정보에 대응하는 제어 파라미터를 취득하고, 관련성이 있는 이력 특징 정보와 현재의 특징 정보를 융합함으로써, 이력제어 파라미터가 현재 제어 파라미터의 변화에 대하여 영향을 주도록 함으로써, 인터렉티브 인물의 표정 변화와 몸 동작이 더 원활하고 자연스러워지도록 한다.

몇몇의 실시예에 있어서, 이하의 방법을 통해 상기 순환 신경망을 훈련할 수 있다.

먼저, 특징 정보 샘플을 취득한다. 예를 들면, 이하의 방법을 통해 상기 특징 정보 샘플을 취득할 수 있다.

캐릭터를 발한 음성의 비디오 세그먼트를 취득하고, 상기 비디오 세그먼트 중에서 캐릭터의 해당하는 음성 세그먼트를 추출한다. 예를 들면, 실재의 인물이 이야기하고 있는 비디오 세그먼트를 취득할 수 있다. 상기 비디오 세그먼트에 대하여 샘플링을 실행하여 복수의 상기 캐릭터의 제1 이미지 프레임을 취득할 수 있다. 또한, 상기 음성 세그먼트에 대하여 샘플링을 실행하여 복수의 음성 프레임을 얻을 수 있다.

상기 제1 이미지 프레임에 대응하는 상기 음성 프레임에 포함되어 있는 음성 데이터 단위에 기반하여 상기 음성 프레임에 대응하는 특징 정보를 취득할 수 있다.

상기 제1 이미지 프레임을 상기 인터렉티브 대상이 포함된 제2이미지 프레임으로 변환하고, 상기 제2이미지 프레임에 대응하는 상기 인터렉티브 대상의 제어 파라미터 값을 취득할 수 있다.

상기 제어 파라미터 값에 기반하여 상기 제1 이미지 프레임에 대응하는 특징 정보를 라벨링하여 특징 정보 샘플을 얻을 수 있다.

몇몇의 실시예에 있어서, 상기 특징 정보는 음소의 특징 코드를 포함하며, 상기 제어 파라미터는 얼굴부 근육 제어 계수를 포함한다. 상술한 특징 정보 샘플을 취득하는 방법을 통해 얻어진 얼굴부 근육 제어 계수를 이용하여, 상기 제1 이미지 프레임에 대응하는 음소의 특징 인코딩을 라벨링함으로써, 음소의 특징 코드에 대응하는 특징 정보 샘플을 얻을 수 있다.

몇몇의 실시예에 있어서, 상기 특징 정보는 음소의 특징 코드를 포함하고, 상기 제어 파라미터는 상기 인터렉티브 대상의 적어도 하나의 부분적인 제어 벡터를 포함한다. 상술한 특징 정보 샘플을 취득하는 방법을 통해 얻은 적어도 하나가 부분적인 제어 벡터를 이용하여, 상기 제1 이미지 프레임에 대응하는 음소의 특징 코드를 라벨링하여, 음소의 특징 인코딩에 대응하는 특징 정보 샘플을 얻을 수 있다.

몇몇의 실시예에 있어서, 상기 특징 정보는 음성 프레임의 음향 특징을 포함하고, 상기 제어 파라미터는 상기 인터렉티브 대상의 적어도 하나의 부분적인 제어 벡터를 포함한다. 상술한 특징 정보 샘플을 취득하는 방법을 통해 얻어진 적어도 하나가 부분적인 제어 벡터를 이용하여, 상기 제1 이미지 프레임에 대응하는 음성 프레임의 음향 특징을 라벨링함으로써, 음성 프레임의 음향 특징에 대응하는 특징 정보 샘플을 얻을 수 있다.

당업자는 상기 특징 정보 샘플은 상기의 기재에 한정되지 않는바, 각각의 타입의 음성 데이터 단위가 다양한 특징에 대응되고, 해당하는 특징 정보 샘플을 얻을 수 있음을 이해해야 한다.

상기 특징 정보 샘플을 얻은 후에, 상기 특징 정보 샘플에 기반하여 초기 순환 신경망을 훈련하고, 네트워크의 손실 변화가 수렴 조건을 충족시키면, 상기 순환 신경망 훈련하여 얻을 수 있다. 상기 네트워크 손실은 상기 순환 신경망이 예측하여 얻을 수 있는 제어 파라미터 값과 라벨링한 제어 파라미터 값 사이의 차이를 포함한다.

본 발명의 실시예에 있어서, 캐릭터의 비디오 세그먼트를 대응하는 복수의 제1 이미지 프레임과 복수의 음성 프레임으로 분할하고, 실재의 인물이 포함된 제1 이미지 프레임을 인터렉티브 대상이 포함된 제2이미지 프레임으로 변환하며, 적어도 하나의 음성 프레임의 특징 정보에 대응하는 제어 파라미터 값을 취득함으로써, 특징 정보와 제어 파라미터 값의 대응성이 더 좋아지도록 하여, 고품질의 특징 정보 샘플을 얻고, 인터렉티브 대상의 자태가 대응하는 캐릭터의 실재 자태에 가깝도록 할 수 있다.

도 6은 본 발명의 적어도 하나의 실시예에 관한 인터렉티브 대상의 구동 장치 구성을 나타내는 모식도 이며, 도 6에 나타낸바와 같이, 당해 장치는, 상기 인터렉티브 대상의 구동 데이터를 취득하고, 상기 구동 데이터의 구동 모드를 확정하기 위한 제1 취득 유닛(601); 상기 구동 모드에 응답하여, 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득하기 위한 제2취득 유닛(602); 및 상기 제어 파라미터 값에 기반하여 상기 인터렉티브 대상의 자태를 제어하기 위한 구동 유닛(603)을 구비한다.

몇몇의 실시예에 있어서, 상기 장치는 상기 구동 데이터에 기반하여 상기 표시 디바이스 출력 음성을 제어하고, 및/또는, 텍스트를 전시하기 위한 출력 유닛을 더 구비한다.

몇몇의 실시예에 있어서, 상기 구동 데이터에 대응하는 구동 모드를 확정할 때에, 상기 제1 취득 유닛은 구체적으로, 상기 구동 데이터의 타입에 기반하여 상기 구동 데이터에 대응하는 음성 데이터 시퀀스를 취득하되, 여기서, 상기 음성 데이터 시퀀스는 복수의 음성 데이터 단위를 포함하고, 또한, 상기 음성 데이터 단위에 포함되어 있는 목표 데이터가 검출되면, 상기 구동 데이터의 구동 모드를 제1 구동 모드로 확정하되, 여기서, 상기 목표 데이터는 인터렉티브 대상의 소정의 제어 파라미터 값에 대응하고, 또한, 상기 구동 모드에 응답하여, 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득하는 것은, 상기 제1 구동 모드에 응답하여, 상기 목표 데이터에 대응하는 상기 소정의 제어 파라미터 값을 상기 인터렉티브 대상의 제어 파라미터 값으로 사용하는 것을 포함한다.

몇몇의 실시예에 있어서, 상기 목표 데이터는 키 단어 또는 키 문자를 포함하고, 상기 키 단어 또는 상기 키 문자는 인터렉티브 대상의 소정의 동작의 소정의 제어 파라미터 값에 대응하고, 또는, 상기 목표 데이터는 음절을 포함하고, 상기 음절은 상기 인터렉티브 대상의 소정의 입 형상 동작의 소정의 제어 파라미터 값에 대응한다.

몇몇의 실시예에 있어서, 상기 구동 데이터의 구동 모드를 인식할 때에, 상기 제1 취득 유닛은 구체적으로, 상기 구동 데이터의 타입에 기반하여 상기 구동 데이터에 대응하는 음성 데이터 시퀀스를 취득하되, 여기서, 상기 음성 데이터 시퀀스는 복수의 음성 데이터 단위를 포함하고, 또한, 상기 음성 데이터 단위에 포함되어 있는 목표 데이터가 검출되지 않으면, 상기 구동 데이터의 구동 모드를 제2구동 모드로 확정하되, 여기서, 상기 목표 데이터는 인터렉티브 대상의 소정의 제어 파라미터 값에 대응하고, 또한, 상기 구동 모드에 응답하여, 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득하는 것은, 상기 제2구동 모드에 응답하여, 상기 음성 데이터 시퀀스 중의 적어도 하나의 음성 데이터 단위의 특징 정보를 취득하는 것; 및 상기 특징 정보에 대응하는 상기 인터렉티브 대상의 제어 파라미터 값을 취득하는 것을 포함한다.

몇몇의 실시예에 있어서, 상기 음성 데이터 시퀀스는 음소 시퀀스를 포함하고, 상기 음성 데이터 시퀀스 중의 적어도 하나의 음성 데이터 단위의 특징 정보를 취득할 때에, 상기 제2취득 유닛은 구체적으로, 상기 음소 시퀀스에 대하여 특징 인코딩을 실행하여 상기 음소 시퀀스 대응하는 제1 코드 시퀀스를 얻고, 상기 제1 코드 시퀀스에 기반하여 적어도 하나의 음소에 대응하는 특징 코드를 취득하며, 상기 특징 코드에 기반하여 상기 적어도 하나의 음소의 특징 정보를 얻는다.

몇몇의 실시예에 있어서, 상기 음성 데이터 시퀀스는 음성 프레임 시퀀스를 포함하고, 상기 음성 데이터 시퀀스 중의 적어도 하나의 음성 데이터 단위의 특징 정보를 취득할 때에, 상기 제2취득 유닛은 구체적으로, 상기 음성 프레임 시퀀스 대응하는 제1 음향 특징 시퀀스를 취득하되, 여기서, 상기 제1 음향 특징 시퀀스는 상기 음성 프레임 시퀀스 중의 각 음성 프레임에 대응하는 음향 특징 벡터를 포함하고, 또한, 상기 제1 음향 특징 시퀀스에 기반하여 적어도 하나의 음성 프레임에 대응하는 음향 특징 벡터를 취득하고, 상기 음향 특징 벡터에 기반하여 상기 적어도 하나의 음성 프레임에 대응하는 특징 정보를 얻는다.

몇몇의 실시예에 있어서, 상기 인터렉티브 대상의 제어 파라미터는 얼굴부 자태 파라미터를 포함하고, 상기 얼굴부 자태 파라미터는 얼굴부 근육 제어 계수를 포함하며, 당해 얼굴부 근육 제어 계수는 적어도 하나의 얼굴부 근육의 운동 상태를 제어하기 위하여 사용되며, 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득할 때에, 상기 제2취득 유닛은 구체적으로, 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 얼굴부 근육 제어 계수를 취득하고, 상기 구동 유닛은 구체적으로, 취득한 얼굴부 근육 제어 계수에 기반하여 상기 인터렉티브 대상이 상기 구동 데이터에 매칭하는 얼굴부 동작을 수행하도록 상기 인터렉티브 대상을 구동하고, 또한, 상기 장치는, 상기 얼굴부 자태 파라미터에 관련된 몸 자태의 구동 데이터를 취득하고, 상기 얼굴부 자태 파라미터 값에 관련된 몸 자태의 구동 데이터에 기반하여 상기 인터렉티브 대상이 몸 동작을 수행하도록 구동하기 위한 몸구동 유닛을 더 구비한다.

몇몇의 실시예에 있어서, 상기 인터렉티브 대상의 제어 파라미터는 상기 인터렉티브 대상의 적어도 하나의 국부 영역의 제어 벡터를 포함하고, 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득할 때에, 상기 제2취득 유닛은 구체적으로, 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 적어도 하나의 국부 영역의 제어 벡터를 취득하고, 상기 구동 유닛은 구체적으로, 취득한 상기 적어도 하나의 국부 영역의 제어 벡터에 기반하여 상기 인터렉티브 대상의 얼굴부 동작 및/또는 몸 동작을 제어한다.

본 발명에 일 양태에 따르면, 전자 디바이스를 제공하는바, 상기 디바이스 메모리와 프로세서를 구비하며, 상기 메모리는 프로세서 상에서 운행 가능한 컴퓨터 명령을 기억하고, 상기 프로세서는 상기 컴퓨터 명령이 실행될 때에, 본 발명에 의해 제공되는 임의의 실시 형태에 기재된 인터렉티브 대상의 구동 방법을 실현한다.

본 발명에 일 양태에 따르면, 컴퓨터 프로그램이 기억되어 있는 컴퓨터 판독 가능 기록 매체를 제공하는바, 상기 프로그램이 프로세서에 의해 실행될 때에, 본 발명에 의해 제공되는 임의의 실시 형태에 기재된 인터렉티브 대상의 구동 방법이 실현된다.

본 명세서의 적어도 하나의 실시예는 전자 디바이스를 더 제공하고, 도 7에 나타낸바와 같이, 상기 디바이스는, 메모리와 프로세서를 구비하며, 메모리는 프로세서 상에서 운행 가능한 컴퓨터 명령을 기억하고, 프로세서는 상기 컴퓨터 명령이 실행될 때에, 본 발명이 임읜 실시예에 기재된 인터렉티브 대상의 구동 방법을 실현한다.

본 명세서 적어도 하나의 실시예는 컴퓨터 프로그램이 기억되어 있는 컴퓨터 판독 가능 기록 매체를 더 제공하는바, 상기 프로그램이 프로세서에 의해 실행될 때에, 본 발명이 임읜 실시예에 기재된 인터렉티브 대상의 구동 방법이 실현된다.

당업자는 본 발명의 하나 또는 복수의 실시예는 방법, 시스템, 또는 컴퓨터 프로그램 제품으로 제공될 수 있음을 이해해야 한다. 따라서, 본 발명의 하나 또는 복수의 실시예는 완전한 하드웨어의 실시예, 완전한 소프트웨어의 실시예, 또는 소프트웨어와 하드웨어를 조합시키는 실시예의 형식을 사용할 수 있다. 또한, 본 발명의 하나 또는 복수의 실시예는 컴퓨터 이용 가능한 프로그램 코드를 포함하는 하나 또는 복수의 컴퓨터 이용 가능한 기억 매체(disk memory, CD-ROM, 광학 메모리 등을 포함하지만, 이에 한정되지 않음) 상에서 실시되는 컴퓨터 프로그램 제품의 형식을 사용할 수 있다.

본 발명에 있어서의 각 실시예는 모두 점진적인 방식을 통해 서술되었고, 각 실시예 간의 동일 또는 유사한 부분은 서로 참조할 수 있으며, 각 실시예에서는 기타 실시예와의 차이 점에 초점을 맞춰 설명했다. 특히, 데이터 처리 디바이스의 실시예의 경우, 방법의 실시예와 기본적으로 유사하기 때문에, 상대적으로 간단히 서술했지만, 관련된 부분은 방법의 실시예의 부분 설명을 참조할 수 있다.

상기에서 본 발명의 특정 실시예를 서술했다. 기타 실시예는 첨부된 "특허청구의 범위"의 범위 내에 있다. 몇몇의 경우, 특허청구의 범위에 기재된 행위 또는 단계는 실시예와 다른 순서에 따라 실행될 수 있으며, 이 경우에도 여전히 기대하는 결과가 실현될 수 있다. 또한 도면에 나타낸 과정은, 기대하는 결과를 얻기 위하여 반드시 도면에 나타낸 특정 순서 또는 연속적인 순서를 필요로 하지 않는다. 몇몇의 실시 형태에 있어서, 멀티 태스크 처리 및 병렬 처리도 가능하거나 또는 유익할 수 있다.

본 발명의 주제 및 기능 조작의 실시예는 디지털 전자 회로, 유형 컴퓨터 소프트웨어 또는 펌웨어, 본 발명에 개시되는 구성 및 그 구조적 동등물을 포함하는 컴퓨터 하드웨어, 또는 이들의 하나 또는 복수의 조합을 통해 실현될 수 있다. 본 발명의 주제의 실시예는 하나 또는 복수의 컴퓨터 프로그램으로 실현될 수 있는바, 즉 유형의 비일시적 프로그램 캐리어 상에 부호화되어 데이터 처리 장치에 의해 실행되거나, 또는 데이터 처리 장치의 조작을 제어하기 위한 컴퓨터 프로그램 명령 중의 하나 또는 복수의 모듈에 의해 실현될 수 있다. 대체적 또는 추가적으로, 프로그램 명령은 수작업으로 생성하는 전파 신호 상에 부호화될 수 있는바, 예를 들면 기계가 생성하는 전기 신호, 광 신호, 또는 전자 신호 상에 부호화될 수 있다. 정보를 부호화하여 적절한 수신기 장치에 전송하며, 데이터 처리 장치에 의해 실행되도록 하기 위하여, 당해 신호가 생성된다. 컴퓨터 기억 매체는 기계 판독 가능 기억 디바이스, 기계 판독 가능 기억 기판, 랜덤 또는 시리얼 액세스 메모리 디바이스, 또는 이들의 하나 또는 복수의 조합일 수 있다.

본 발명 중의 처리와 논리 플로우는 하나 또는 복수의 컴퓨터 프로그램을 실행하는 하나 또는 복수의 프로그램 가능한 컴퓨터에 의해 실행될 수 있으며, 입력 데이터에 기반하여 조작을 실행하여 출력을 생성함으로써 해당하는 기능을 실행한다. 상기 처리와 논리 플로우는 또한 예를 들면 FPGA(필드 프로그래밍 가능 게이트 어레이) 또는 ASIC(전용 집적 회로) 등의 전용 논리 회로에 의해 실행될 수 있고, 또한 장치도 전용 논리 회로를 통해 실현될 수 있다.

컴퓨터 프로그램의 실행에 적합한 컴퓨터는 예를 들면 범용 및/또는 전용 마이크로 프로세서, 또는 임의의 기타 종류의 중앙 처리 유닛을 포함한다. 일반적으로 중앙 처리 유닛은 판독 전용 메모리 및/또는 랜덤 액세스 메모리로부터 명령과 데이터를 수신하게 된다. 컴퓨터의 기본 컴포넌트는 명령을 실시 또는 실행하기 위한 중앙 처리 유닛 및 명령과 데이터를 기억하기 위한 하나 또는 복수의 메모리 디바이스를 포함한다. 일반적으로 컴퓨터는 자기 디스크, 자기 광학 디스크, 또는 광학 디스크 등과 같은, 데이터를 기억하기 위한 하나 또는 복수의 대용량 기억 디바이스를 더 포함하거나, 또는 조작 가능하게 당해 대용량 기억 디바이스와 결합되어 데이터를 수신하거나, 데이터를 전송하거나, 또는 양자를 모두 포함한다. 하지만, 컴퓨터는 반드시 이러한 디바이스를 포함하는 것은 아니다. 한편, 컴퓨터는 다른 일 디바이스에 내장될 수 있는바, 예를 들면 휴대 전화, 개인용 디지털 처리 장치(PDA), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, GPS 수신기, 또는 범용 직렬 버스(USB), 플래시 드라이브 등의 휴대용 기억 디바이스에 내장될 수 있으며, 이러한 디바이스는 몇몇의 예에 지나지 않는다.

컴퓨터 프로그램 명령과 데이터의 기억에 적합한 컴퓨터 판독 가능 매체는 모든 형식의 비휘발성 메모리, 매개 및 메모리 디바이스를 포함하는바, 예를 들면 반도체 메모리 디바이스 (예를 들면 EPROM, EEPROM 및 플래시 디바이스), 자기 디스크 (예를 들면 내부 하드 디스크 또는 이동 가능 디스크), 자기 광학 디스크 및 CD ROM와 DVD-ROM 디스크를 포함한다. 프로세서와 메모리는 전용 논리 회로에 의해 보완되거나 또는 전용 논리 회로에 구비될 수 있다.

본 발명은 다양한 구체적인 실시 세부 사항을 포함하지만, 이를 본 발명의 범위 또는 보호하려고 하는 범위를 한정하는 것으로 해석해서는 안되며, 이는 주로 본 발명의 몇몇의 실시예의 특징을 서술하기 위하여 사용된다. 본 발명의 복수 실시예 중의 특정 특징은 단일 실시예에 결합되어 실시될 수도 있다. 반면에, 단일 실시예 중의 각 특징은 복수의 실시예에 나뉘어 실시되거나 또는 임의의 적절한 서브 조합에 의해 실시될 수도 있다. 한편, 특징이 상기와 같이 특정 조합으로 역할을 발휘하고, 또한 처음부터 이렇게 보호된다고 주장했지만, 보호한다고 주장한 조합 중의 하나 또는 복수의 특징은 경우에 따라 당해 조합으로부터 제외될 수도 있고, 또한 보호한다고 주장한 조합은 서브 조합 또는 서브 조합의 변형을 지향할 수 있다.

마찬가지로, 도면에서는 특정 순서에 따라 조작을 나타냈지만, 이는 이러한 조작을 나타낸 특정 순서에 따라 실행하거나 또는 순차적으로 실행하거나, 또는 예시된 모든 조작을 실행하여야만 기대하는 결과가 실현될 수 있음을 요구하는 것으로 이해해서는 안된다. 한편, 상기의 실시예 중의 각종의 시스템 모듈과 컴포넌트의 분리는 모든 실시예에서 반드시 모두 이렇게 분리되어야 한다고 이해해서는 안되며, 또한 서술한 프로그램 컴포넌트와 시스템은 일반적으로 같이 단일 소프트웨어 제품에 통합되거나, 또는 복수의 소프트웨어 제품에 패키징될 수 있음을 이해해야 한다.

따라서, 주제의 특정 실시예가 서술되었다. 기타 실시예는 첨부된 "특허청구의 범위"의 범위 내에 있다. 경우에 따라 특허청구의 범위에 기재되어 있는 동작은 기타 순서에 따라 실행될 수 있으며, 이 경우에도 여전히 기대하는 결과가 실현될 수 있다. 한편, 도면에 그려진 처리는 기대하는 결과를 실현하는데, 반드시 나타낸 특정 순서를 필요로 하지 않는다. 일부 실현에 있어서, 멀티 태스크 및 병렬 처리가 더 유익할 가능성이 있다.

상기는 본 발명의 하나 또는 복수의 실시예의 바람직한 실시예에 불과할 뿐, 본 발명의 하나 또는 복수의 실시예를 한정하려는 것이 아니다. 본 발명의 하나 또는 복수의 실시예의 정신과 원칙의 범위 내에서 행하여진 어떠한 수정, 동등의 치환, 개량 등은 모두 본 발명의 하나 또는 복수의 실시예의 범위에 포함되어야 한다.

Claims (20)

1. 표시 디바이스에 전시되어 있는 인터렉티브 대상의 구동 방법에 있어서,
   상기 인터렉티브 대상의 구동 데이터를 취득하고, 상기 구동 데이터의 구동 모드를 확정하는 것;
   상기 구동 모드에 응답하여, 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득하는 것; 및
   상기 제어 파라미터 값에 기반하여 상기 인터렉티브 대상의 자태를 제어하는 것을 포함하는
   것을 특징으로 하는 인터렉티브 대상의 구동 방법.
2. 제1 항에 있어서,
   상기 구동 데이터에 기반하여 상기 표시 디바이스 출력 음성을 제어하고, 및/또는, 텍스트를 전시하는 것을 더 포함하는
   것을 특징으로 하는 인터렉티브 대상의 구동 방법.
3. 제1 항 또는 제2항에 있어서,
   상기 구동 데이터에 대응하는 구동 모드를 확정하는 것은,
   상기 구동 데이터의 타입에 기반하여 상기 구동 데이터에 대응하는 음성 데이터 시퀀스를 취득하는 것 - 상기 음성 데이터 시퀀스는 복수의 음성 데이터 단위를 포함함 -; 및
   상기 음성 데이터 단위에 포함되어 있는 목표 데이터가 검출된 것에 응답하여, 상기 구동 데이터의 구동 모드를 제1 구동 모드로 확정하는 것 - 상기 목표 데이터는 상기 인터렉티브 대상의 소정의 제어 파라미터 값에 대응함 -을 포함하고,
   상기 구동 모드에 응답하여, 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득하는 것은,
   상기 제1 구동 모드에 응답하여, 상기 목표 데이터에 대응하는 상기 소정의 제어 파라미터 값을 상기 인터렉티브 대상의 제어 파라미터 값으로 사용하는 것을 포함하는
   것을 특징으로 하는 인터렉티브 대상의 구동 방법.
4. 제3항에 있어서,
   상기 목표 데이터는 키 단어 또는 키 문자를 포함하고, 상기 키 단어 또는 상기 키 문자는 상기 인터렉티브 대상의 소정의 동작의 소정의 제어 파라미터 값에 대응하고, 또는,
   상기 목표 데이터는 음절을 포함하고, 상기 음절은 상기 인터렉티브 대상의 소정의 입 형상 동작의 소정의 제어 파라미터 값에 대응하는
   것을 특징으로 하는 인터렉티브 대상의 구동 방법.
5. 제1 항 내지 제4항 중 어느 한 항에 있어서,
   상기 구동 데이터의 구동 모드를 확정하는 것은,
   상기 구동 데이터의 타입에 기반하여 상기 구동 데이터에 대응하는 음성 데이터 시퀀스를 취득하는 것 - 상기 음성 데이터 시퀀스는 복수의 음성 데이터 단위를 포함함 -; 및
   상기 음성 데이터 단위에 포함되어 있는 목표 데이터가 검출되지 않은 것에 응답하여, 상기 구동 데이터의 구동 모드를 제2구동 모드로 확정하는 것 - 상기 목표 데이터는 상기 인터렉티브 대상의 상기 소정의 제어 파라미터 값에 대응함 -을 포함하고,
   상기 구동 모드에 응답하여, 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득하는 것은,
   상기 제2구동 모드에 응답하여, 상기 음성 데이터 시퀀스 중의 적어도 하나의 음성 데이터 단위의 특징 정보를 취득하는 것;
   상기 특징 정보에 대응하는 상기 인터렉티브 대상의 제어 파라미터 값을 취득하는 것을 포함하는
   것을 특징으로 하는 인터렉티브 대상의 구동 방법.
6. 제5항에 있어서,
   상기 음성 데이터 시퀀스는 음소 시퀀스를 포함하고,
   상기 음성 데이터 시퀀스 중의 적어도 하나의 음성 데이터 단위의 특징 정보를 취득하는 것은,
   상기 음소 시퀀스에 대하여 특징 인코딩을 실행하여 상기 음소 시퀀스 대응하는 제1 코드 시퀀스를 얻는 것;
   상기 제1 코드 시퀀스에 기반하여 적어도 하나의 음소에 대응하는 특징 코드를 취득하는 것; 및
   상기 특징 코드에 기반하여 상기 적어도 하나의 음소의 특징 정보를 얻는 것을 포함하는
   것을 특징으로 하는 인터렉티브 대상의 구동 방법.
7. 제5항에 있어서,
   상기 음성 데이터 시퀀스는 음성 프레임 시퀀스를 포함하고,
   상기 음성 데이터 시퀀스 중의 적어도 하나의 음성 데이터 단위의 특징 정보를 취득하는 것은,
   상기 음성 프레임 시퀀스 대응하는 제1 음향 특징 시퀀스를 취득하는 것 - 상기 제1 음향 특징 시퀀스는 상기 음성 프레임 시퀀스 중의 각 음성 프레임에 대응하는 음향 특징 벡터를 포함함 -;
   상기 제1 음향 특징 시퀀스에 기반하여 적어도 하나의 음성 프레임에 대응하는 음향 특징 벡터를 취득하는 것; 및
   상기 음향 특징 벡터에 기반하여 상기 적어도 하나의 음성 프레임에 대응하는 특징 정보를 얻는 것을 포함하는
   것을 특징으로 하는 인터렉티브 대상의 구동 방법.
8. 제1 항 내지 제7항 중 어느 한 항에 있어서,
   상기 인터렉티브 대상의 제어 파라미터는 얼굴부 자태 파라미터를 포함하고, 상기 얼굴부 자태 파라미터는 얼굴부 근육 제어 계수를 포함하며, 상기 얼굴부 근육 제어 계수는 적어도 하나의 얼굴부 근육의 운동 상태를 제어하기 위하여 사용되며,
   상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득하는 것은,
   상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 얼굴부 근육 제어 계수를 취득하는 것을 포함하고,
   상기 제어 파라미터 값에 기반하여 상기 인터렉티브 대상의 자태를 제어하는 것은,
   취득한 얼굴부 근육 제어 계수에 기반하여 상기 인터렉티브 대상이 상기 구동 데이터에 매칭하는 얼굴부 동작을 수행하도록 상기 인터렉티브 대상을 구동하는 것을 포함하는
   것을 특징으로 하는 인터렉티브 대상의 구동 방법.
9. 제8항에 있어서,
   상기 얼굴부 자태 파라미터에 관련된 몸 자태의 구동 데이터를 취득하는 것; 및
   상기 얼굴부 자태 파라미터 값에 관련된 몸 자태의 구동 데이터에 기반하여 상기 인터렉티브 대상이 몸 동작을 수행하도록 구동하는 것을 더 포함하는
   것을 특징으로 하는 인터렉티브 대상의 구동 방법.
10. 제1 항 내지 제9항 중 어느 한 항에 있어서,
    상기 인터렉티브 대상의 제어 파라미터는 상기 인터렉티브 대상의 적어도 하나의 국부 영역의 제어 벡터를 포함하고,
    상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득하는 것은,
    상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 적어도 하나의 국부 영역의 제어 벡터를 취득하는 것을 포함하고,
    상기 제어 파라미터 값에 기반하여 상기 인터렉티브 대상의 자태를 제어하는 것은,
    취득한 상기 적어도 하나의 국부 영역의 제어 벡터에 기반하여 상기 인터렉티브 대상의 얼굴부 동작 및/또는 몸 동작을 제어하는 것을 포함하는
    것을 특징으로 하는 인터렉티브 대상의 구동 방법.
11. 제5항에 있어서,
    상기 특징 정보에 대응하는 상기 인터렉티브 대상의 제어 파라미터 값을 취득하는 것은,
    상기 특징 정보를 사전에 훈련된 순환 신경망에 입력하여, 상기 특징 정보에 대응하는 상기 인터렉티브 대상의 제어 파라미터 값을 얻는 것을 포함하는
    것을 특징으로 하는 인터렉티브 대상의 구동 방법.
12. 표시 디바이스에 전시되어 있는 인터렉티브 대상의 구동 장치에 있어서,
    상기 인터렉티브 대상의 구동 데이터를 취득하고, 상기 구동 데이터의 구동 모드를 확정하기 위한 제1 취득 유닛;
    상기 구동 모드에 응답하여, 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득하기 위한 제2취득 유닛; 및
    상기 제어 파라미터 값에 기반하여 상기 인터렉티브 대상의 자태를 제어하기 위한 구동 유닛을 구비하는
    것을 특징으로 하는 인터렉티브 대상의 구동 장치.
13. 제12항에 있어서,
    상기 구동 데이터에 기반하여 상기 표시 디바이스 출력 음성을 제어하고, 및/또는, 텍스트를 전시하기 위한 출력 유닛을 더 구비하는
    것을 특징으로 하는 인터렉티브 대상의 구동 장치.
14. 제12항 또는 제13항에 있어서,
    상기 구동 데이터에 대응하는 구동 모드를 확정할 때에,
    상기 제1 취득 유닛은,
    상기 구동 데이터의 타입에 기반하여 상기 구동 데이터에 대응하는 음성 데이터 시퀀스를 취득하되, 여기서, 상기 음성 데이터 시퀀스는 복수의 음성 데이터 단위를 포함하고,
    또한, 상기 음성 데이터 단위에 포함되어 있는 목표 데이터가 검출된 것에 응답하여, 상기 구동 데이터의 구동 모드를 제1 구동 모드로 확정하되, 여기서, 상기 목표 데이터 아타에 인터렉티브 대상의 소정의 제어 파라미터 값에 대응하고,
    상기 구동 모드에 응답하여 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득하는 것은,
    상기 제1 구동 모드에 응답하여, 상기 목표 데이터에 대응하는 상기 소정의 제어 파라미터 값을 상기 인터렉티브 대상의 제어 파라미터 값으로 사용하는 것을 포함하고,
    여기서, 상기 목표 데이터는 키 단어 또는 키 문자를 포함하고, 상기 키 단어 또는 상기 키 문자는 상기 인터렉티브 대상의 소정의 동작의 소정의 제어 파라미터 값에 대응하고, 또는,
    상기 목표 데이터는 음절을 포함하고, 상기 음절은 상기 인터렉티브 대상의 소정의 입 형상 동작의 소정의 제어 파라미터 값에 대응하는
    것을 특징으로 하는 인터렉티브 대상의 구동 장치.
15. 제12항 내지 제14항 중 어느 한 항에 있어서,
    상기 구동 데이터의 구동 모드를 확정할 때에,
    상기 제1 취득 유닛은,
    상기 구동 데이터의 타입에 기반하여 상기 구동 데이터에 대응하는 음성 데이터 시퀀스를 취득하되, 여기서, 상기 음성 데이터 시퀀스는 복수의 음성 데이터 단위를 포함하고,
    또한, 상기 음성 데이터 단위에 포함되어 있는 목표 데이터가 검출되지 않은 것에 응답하여, 상기 구동 데이터의 구동 모드를 제2구동 모드로 확정하되, 여기서, 상기 목표 데이터는 상기 인터렉티브 대상의 소정의 제어 파라미터 값에 대응하고,
    상기 구동 모드에 응답하여 상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득하는 것은,
    상기 제2구동 모드에 응답하여 상기 음성 데이터 시퀀스 중의 적어도 하나의 음성 데이터 단위의 특징 정보를 취득하는 것; 및
    상기 특징 정보에 대응하는 상기 인터렉티브 대상의 제어 파라미터 값을 취득하는 것을 포함하는
    것을 특징으로 하는 인터렉티브 대상의 구동 장치.
16. 제15항에 있어서,
    상기 음성 데이터 시퀀스는 음소 시퀀스를 포함하고,
    상기 음성 데이터 시퀀스 중의 적어도 하나의 음성 데이터 단위의 특징 정보를 취득할 때에,
    상기 제2취득 유닛은,
    상기 음소 시퀀스에 대하여 특징 인코딩을 실행하여 상기 음소 시퀀스 대응하는 제1 코드 시퀀스를 얻고,
    상기 제1 코드 시퀀스에 기반하여 적어도 하나의 음소에 대응하는 특징 코드를 취득하며,
    상기 특징 코드에 기반하여 상기 적어도 하나의 음소의 특징 정보를 얻고,
    또는,
    상기 음성 데이터 시퀀스는 음성 프레임 시퀀스를 포함하고,
    상기 음성 데이터 시퀀스 중의 적어도 하나의 음성 데이터 단위의 특징 정보를 취득할 때에,
    상기 제2취득 유닛은,
    상기 음성 프레임 시퀀스 대응하는 제1 음향 특징 시퀀스를 취득하되, 여기서, 상기 제1 음향 특징 시퀀스는 상기 음성 프레임 시퀀스 중의 각 음성 프레임에 대응하는 음향 특징 벡터를 포함하고,
    또한, 상기 제1 음향 특징 시퀀스에 기반하여 적어도 하나의 음성 프레임에 대응하는 음향 특징 벡터를 취득하며,
    상기 음향 특징 벡터에 기반하여 상기 적어도 하나의 음성 프레임에 대응하는 특징 정보를 얻는
    것을 특징으로 하는 인터렉티브 대상의 구동 장치.
17. 제12항 내지 제16항 중 어느 한 항에 있어서,
    상기 인터렉티브 대상의 제어 파라미터는 얼굴부 자태 파라미터를 포함하고, 상기 얼굴부 자태 파라미터는 얼굴부 근육 제어 계수를 포함하며, 상기 얼굴부 근육 제어 계수는 적어도 하나의 얼굴부 근육의 운동 상태를 제어하기 위하여 사용되며,
    상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득할 때에,
    상기 제2취득 유닛은,
    상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 상기 얼굴부 근육 제어 계수를 취득하고,
    상기 구동 유닛은,
    취득한 상기 얼굴부 근육 제어 계수에 기반하여 상기 인터렉티브 대상이 상기 구동 데이터에 매칭하는 얼굴부 동작을 수행하도록 상기 인터렉티브 대상을 구동하고,
    상기 인터렉티브 대상의 구동 장치는, 상기 얼굴부 자태 파라미터에 관련된 몸 자태의 구동 데이터를 취득하고, 상기 얼굴부 자태 파라미터 값에 관련된 몸 자태의 구동 데이터에 기반하여 상기 인터렉티브 대상이 몸 동작을 수행하도록 구동하기 위한 몸구동 유닛을 더 구비하는
    것을 특징으로 하는 인터렉티브 대상의 구동 장치.
18. 제12항 내지 제16항 중 어느 한 항에 있어서,
    상기 인터렉티브 대상의 제어 파라미터는 상기 인터렉티브 대상의 적어도 하나의 국부 영역의 제어 벡터를 포함하고,
    상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 제어 파라미터 값을 취득할 때에,
    상기 제2취득 유닛은,
    상기 구동 데이터에 기반하여 상기 인터렉티브 대상의 적어도 하나의 국부 영역의 제어 벡터를 취득하고,
    상기 구동 유닛은,
    취득한 상기 적어도 하나의 국부 영역의 제어 벡터에 기반하여 상기 인터렉티브 대상의 얼굴부 동작 및/또는 몸 동작을 제어하는
    것을 특징으로 하는 인터렉티브 대상의 구동 장치.
19. 전자 디바이스에 있어서,
    메모리와 프로세서를 구비하며,
    상기 메모리는 프로세서 상에서 운행 가능한 컴퓨터 명령을 기억하고,
    상기 프로세서는 상기 컴퓨터 명령이 실행될 때에, 제1항 내지 제11항 중 어느 한 항에 기재된 방법을 실행하는
    것을 특징으로 하는 전자 디바이스.
20. 컴퓨터 프로그램이 기억되어 있는 컴퓨터 판독 가능 기록 매체에 있어서,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때에, 제1항 내지 제11항 중 어느 한 항에 기재된 방법이 실행되는
    것을 특징으로 하는 컴퓨터 판독 가능 기록 매체.

Images