KR20210124307A - 인터랙티브 대상의 구동 방법, 장치, 디바이스 및 기록 매체 - Google Patents

Abstract

인터랙티브 대상의 구동 방법, 장치, 디바이스 및 기록 매체를 개시하는바, 상기 방법은 텍스트 데이터에 대응하는 음소 시퀀스를 취득하는 것; 상기 음소 시퀀스에 매칭하는 인터랙티브 대상의 적어도 하나의 국부 영역의 제어 파라미터 값을 취득하는 것; 및 취득한 상기 제어 파라미터 값에 기반하여 상기 인터랙티브 대상의 자태를 제어하는 것을 포함한다.

Description

인터랙티브 대상의 구동 방법, 장치, 디바이스 및 기록 매체

[관련 출원의 상호 인용]

본 발명은 출원 번호가 202010245802.4이고, 출원일이 2020년 3월 31일인 중국 특허 출원의 우선권을 주장하는바, 당해 중국 특허 출원의 모든 내용을 인용하여 본원에 통합시킨다.

[기술분야]

본 발명은 컴퓨터 기술 분야에 관한 것인바, 구체적으로는 인터랙티브 대상의 구동 방법, 장치, 디바이스 및 기록 매체에 관한 것이다.

인간과 컴퓨터의 상호 작용은 주로 키 입력, 터치 및 음성을 통해 입력하고, 표시 스크린에 이미지, 텍스트 또는 가상 캐릭터를 표시하여 응답한다. 현재, 가상 캐릭터는 주로 음성 비서를 기반으로 개량한 것이다.

본 발명의 실시예는 인터랙티브 대상을 구동하는 기술적 해결책을 제공한다.

본 발명에 일 측면에 따르면, 인터랙티브 대상의 구동 방법을 제공하는바, 상기 방법은 텍스트 데이터에 대응하는 음소 시퀀스를 취득하는 것; 상기 음소 시퀀스에 매칭하는 인터랙티브 대상의 적어도 하나의 국부 영역의 제어 파라미터 값을 취득하는 것; 및 취득한 상기 제어 파라미터 값에 기반하여 상기 인터랙티브 대상의 자태를 제어하는 것을 포함한다.

본 발명에 의해 제공되는 임의의 실시 형태와 결합하면, 상기 방법은 상기 텍스트 데이터에 기반하여 상기 인터랙티브 대상을 전시하는 표시 디바이스가 텍스트를 전시하도록 제어하는 것, 및/또는, 상기 텍스트 데이터에 대응하는 음소 시퀀스에 기반하여 상기 표시 디바이스가 음성을 출력하도록 제어하는 것을 더 포함한다.

본 발명에 의해 제공되는 임의의 실시 형태와 결합하면, 상기 인터랙티브 대상의 국부 영역의 제어 파라미터는 상기 국부 영역의 자태 제어 벡터를 포함하고, 상기 음소 시퀀스에 매칭하는 인터랙티브 대상의 적어도 하나의 국부 영역의 제어 파라미터 값을 취득하는 것은, 상기 음소 시퀀스에 대해 특징 인코딩을 실행하여 상기 음소 시퀀스에 대응하는 제1 코드 시퀀스를 얻는 것; 상기 제1 코드 시퀀스에 기반하여 적어도 하나의 음소에 대응하는 특징 코드를 취득하는 것; 및 상기 특징 코드에 대응하는 상기 인터랙티브 대상의 적어도 하나의 국부 영역의 자태 제어 벡터를 취득하는 것을 포함한다.

본 발명에 의해 제공되는 임의의 실시 형태와 결합하면, 상기 음소 시퀀스에 대해 특징 인코딩을 실행하여 상기 음소 시퀀스에 대응하는 제1 코드 시퀀스를 얻는 것은, 상기 음소 시퀀스에 포함되어 있는 복수 종류의 음소 중의 각 음소에 대해 상기 음소에 대응하는 서브 코드 시퀀스를 생성하는 것; 및 상기 복수 종류의 음소에 각각 대응하는 서브 코드 시퀀스에 기반하여 상기 음소 시퀀스에 대응하는 제1 코드 시퀀스를 얻는 것을 포함한다.

본 발명에 의해 제공되는 임의의 실시 형태와 결합하면, 상기 음소 시퀀스에 포함되어 있는 복수 종류의 음소 중의 각 음소에 대해 상기 음소에 대응하는 서브 코드 시퀀스를 생성하는 것은, 각 시점에 상기 음소가 대응되어 있는지 여부를 검출하는 것; 및 상기 음소가 대응되어 있는 시점의 코드 값을 제1 수치로 설정하고, 상기 음소가 대응되어 있지 않는 시점의 코드 값을 제2 수치로 설정함으로써, 상기 음소에 대응하는 상기 서브 코드 시퀀스를 얻는 것을 포함한다.

본 발명에 의해 제공되는 임의의 실시 형태와 결합하면, 상기 방법은 상기 복수 종류의 음소 중의 각 음소에 대응하는 상기 서브 코드 시퀀스에 대해, 가우스 필터를 이용하여 상기 음소의 시간 상의 연속 값에 대해 가우스 컨볼루션 조작을 실행하는 것을 더 포함한다.

본 발명에 의해 제공되는 임의의 실시 형태와 결합하면, 취득한 상기 제어 파라미터 값에 기반하여 상기 인터랙티브 대상의 자태를 제어하는 것은, 상기 제2 코드 시퀀스에 대응하는 자태 제어 벡터의 시퀀스를 취득하는 것; 및 상기 자태 제어 벡터의 시퀀스에 기반하여 상기 인터랙티브 대상의 자태를 제어하는 것을 포함한다.

본 발명에 의해 제공되는 임의의 실시 형태와 결합하면, 상기 방법은 상기 음소 시퀀스 중의 상기 음소 간의 시간 간격이 소정의 한계값보다 클 경우, 상기 국부 영역의 소정의 제어 파라미터 값에 기반하여 상기 인터랙티브 대상의 자태를 제어하는 것을 더 포함한다.

본 발명에 의해 제공되는 임의의 실시 형태와 결합하면, 상기 특징 코드에 대응하는 상기 인터랙티브 대상의 적어도 하나의 국부 영역의 자태 제어 벡터를 취득하는 것은, 상기 특징 코드를 사전에 훈련된 순환 뉴럴 네트워크에 입력하여, 상기 특징 코드에 대응하는 상기 인터랙티브 대상의 적어도 하나의 국부 영역의 상기 자태 제어 벡터를 얻는 것을 포함한다.

본 발명에 의해 제공되는 임의의 실시 형태와 결합하면, 상기 순환 뉴럴 네트워크는 특징 코드 샘플을 이용하여 훈련하여 얻은 것이며, 상기 방법은 캐릭터가 발한 음성의 비디오 세그먼트를 취득하고, 상기 비디오 세그먼트에 기반하여 상기 캐릭터가 포함된 복수의 제1 이미지 프레임을 취득하는 것; 상기 비디오 세그먼트 중에서 해당하는 음성 세그먼트를 추출하고, 상기 음성 세그먼트에 기반하여 샘플 음소 시퀀스를 취득하며, 상기 샘플 음소 시퀀스에 대해 특징 인코딩을 실행하는 것; 상기 제1 이미지 프레임에 대응하는 적어도 하나의 음소의 특징 코드를 취득하는 것; 상기 제1 이미지 프레임을 상기 인터랙티브 대상이 포함된 제2 이미지 프레임으로 변환하고, 상기 제2 이미지 프레임에 대응하는 적어도 하나의 국부 영역의 자태 제어 벡터 값을 취득하는 것; 및 상기 자태 제어 벡터 값에 기반하여 상기 제1 이미지 프레임에 대응하는 상기 특징 코드를 라벨링하여 상기 특징 코드 샘플을 얻는 것을 더 포함한다.

본 발명에 의해 제공되는 임의의 실시 형태와 결합하면, 상기 방법은 상기 특징 코드 샘플에 기반하여 초기 순환 뉴럴 네트워크를 훈련하고, 네트워크 손실의 변화가 결속 조건을 충족시킨 후에, 상기 순환 뉴럴 네트워크를 훈련하여 얻는 것을 더 포함하되, 여기서, 상기 네트워크 손실은 상기 순환 뉴럴 네트워크가 예측하여 얻은 상기 적어도 하나의 국부 영역의 상기 자태 제어 벡터 값과 라벨링한 상기 자태 제어 벡터 값 사이의 차이를 포함한다.

본 발명에 일 측면에 따르면, 인터랙티브 대상의 구동 장치를 제공하는바, 상기 장치는 텍스트 데이터에 대응하는 음소 시퀀스를 취득하기 위한 제1 취득 유닛; 상기 음소 시퀀스에 매칭하는 인터랙티브 대상의 적어도 하나의 국부 영역의 제어 파라미터 값을 취득하기 위한 제2 취득 유닛; 및 취득한 상기 제어 파라미터 값에 기반하여 상기 인터랙티브 대상의 자태를 제어하기 위한 구동 유닛을 구비한다.

본 발명에 일 측면에 따르면, 전자 디바이스를 제공하는바, 상기 디바이스는 메모리와 프로세서를 구비하며, 상기 메모리는 프로세서 상에서 운행 가능한 컴퓨터 명령을 기억하고, 상기 프로세서는 상기 컴퓨터 명령이 실행될 때에, 본 발명에 의해 제공되는 임의의 실시 형태에 기재된 인터랙티브 대상의 구동 방법이 실현된다.

본 발명에 일 측면에 따르면, 컴퓨터 프로그램이 기억되어 있는 컴퓨터 판독 가능 기록 매체를 제공하는바, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때에, 본 발명에 의해 제공되는 임의의 실시 형태에 기재된 인터랙티브 대상의 구동 방법이 실현된다.

본 발명의 하나 또는 복수의 실시예의 인터랙티브 대상의 구동 방법, 장치, 디바이스 및 컴퓨터 판독 가능 기록 매체에 따르면, 텍스트 데이터에 대응하는 음소 시퀀스를 취득하고, 상기 음소 시퀀스에 매칭하는 인터랙티브 대상의 적어도 하나의 국부 영역의 제어 파라미터 값을 취득하며, 상기 인터랙티브 대상의 자태를 제어함으로써, 인터랙티브 대상이 텍스트 데이터에 대응하는 음소에 매칭되는 얼굴 자태와 신체 자태를 포함하는 자태를 취할 수 있기에, 목표 대상에게 인터랙티브 대상이 텍스트 내용을 이야기하고 있는 감각을 줌으로써, 목표 대상의 인터랙티브 대상과의 인터랙티브 체험을 개선했다.

이하, 본 명세서의 하나 또는 복수의 실시예 또는 선행 기술에서의 기술적 해결책을 더 명확히 설명하기 위하여, 실시예 또는 선행 기술의 설명에 사용할 필요가 있는 도면을 간단히 소개한다. 물론, 아래의 설명되는 도면은 본 명세서의 하나 또는 복수의 실시예에 기재된 몇몇의 실시예에 지나지 않으며, 당업자는 창조적인 작업 없이 이러한 도면에 기반하여 기타 도면을 얻을 수 있다.
도 1은 본 발명의 적어도 하나의 실시예에 의해 제공되는 인터랙티브 대상의 구동 방법 중의 표시 디바이스의 모식도이다.
도 2는 본 발명의 적어도 하나의 실시예에 의해 제공되는 인터랙티브 대상의 구동 방법의 플로우 챠트이다.
도 3은 본 발명의 적어도 하나의 실시예에 의해 제공되는 음소 시퀀스에 대해 특징 인코딩을 실행하는 과정의 모식도이다.
도 4는 본 발명의 적어도 하나의 실시예에 의해 제공되는 인터랙티브 대상의 구동 장치의 구성의 모식도이다.
도 5는 본 발명의 적어도 하나의 실시예에 의해 제공되는 전자 디바이스의 구성 모식도이다.

이하, 예시적인 실시예를 상세하게 설명하며, 그 예를 도면에 나타낸다. 이하의 설명에서 도면을 언급할 경우, 특히 명기하지 않는 한, 서로 다른 도면 내의 동일한 숫자는 동일하거나 유사한 요소를 나타낸다. 이하의 예시적인 실시예에서 서술되는 실시 형태는 본 발명과 일치한 모든 실시 형태를 대표하지 않는다. 반대로, 이들은 첨부된 특허 청구의 범위에 기재된 본 발명의 몇몇의 양태와 일치한 장치 및 방법의 예에 불과하다.

본 명세서 내의 "및/또는"이라고 하는 용어는 단지 관련 대상의 관련 관계를 설명하는 것인바, 세가지 관계가 존재할 수 있음을 나타낸다. 예를 들면, A 및/또는 B는, A가 단독으로 존재하는 것, A와 B가 동시에 존재하는 것 및 B가 단독으로 존재하는 것과 같은 세가지 관계를 포함한다. 또한, 본 명세서 내의 "적어도 일 종"이라고 하는 용어는 복수 종류 중의 임의의 일 종 또는 복수 종류 중의 적어도 두 종류의 임의의 조합을 나타낸다. 예를 들면, A, B, C 중의 적어도 일 종을 포함하는 것은, A, B 및 C로 구성된 세트에서 선택한 임의의 하나 또는 복수의 요소를 포함하는 것을 나타낸다.

본 발명의 적어도 하나의 실시예는 인터랙티브 대상의 구동 방법을 제공하는바, 상기 구동 방법은 단말 디바이스 또는 서버 등의 전자 디바이스에 의해 실행될 수 있다. 상기 단말 디바이스는 휴대전화, 태블릿 컴퓨터, 게임기, 데스크탑 컴퓨터, 광고기, 올인원기, 차량용 단말 등의 고정 단말 또는 이동 단말일 수 있다. 상기 서버는 로컬 서버 또는 클라우드 서버 등을 포함한다. 상기 방법은 프로세서에 의해 메모리에 기억되어 있는 컴퓨터 판독 가능 명령을 호출하는 방법에 의해 실현될 수 있다.

본 발명의 실시예에 있어서, 인터랙티브 대상은 목표 대상과 인터랙티브를 실행할 수 있는 임의의 가상 이미지일 수 있다. 일 실시예에 있어서, 인터랙티브 대상은 가상 캐릭터일 수 있고, 또한 가상 동물, 가상 물품, 만화 이미지 등의 인터랙티브 기능을 실현할 수 있는 기타 가상 이미지일 수 있다. 인터랙티브 대상의 표시 형식은 2D 또는 3D일 수 있지만, 본 발명은 이에 대해 한정하지 않는다. 상기 목표 대상은 사용자, 로봇 또는 기타 스마트 디바이스일 수 있다. 상기 인터랙티브 대상의 상기 목표 대상과의 인터랙티브 방법은 능동적 인터랙티브 방법 또는 수동적 인터랙티브 방법일 수 있다. 일 예에 있어서, 목표 대상이 제스처 또는 신체 동작을 수행하여 요구를 발함으로써, 능동적 인터랙티브 방법에 따라 인터랙티브 대상을 트리거하여 인터랙티브를 실행할 수 있다. 다른 일 예에 있어서, 인터랙티브 대상이 능동적으로 인사함으로써, 목표 대상이 동작 등을 수행하도록 프롬프트 하는 방법을 통해, 목표 대상이 수동적 방법을 통해 인터랙티브 대상과 인터랙티브를 실행하도록 할 수 있다.

상기 인터랙티브 대상은 단말 디바이스를 이용하여 전시할 수 있으며, 상기 단말 디바이스는 텔레비전, 표시 기능을 가지는 올인원기, 프로젝터, 가상 현실(Virtual Reality, VR) 디바이스, 확장 현실(Augmented Reality, AR) 디바이스 등일 수 있으며, 본 발명은 단말 디바이스의 구체적인 형태에 대해 한정하지 않는다.

도 1은 본 발명의 적어도 하나의 실시예에 의해 제공되는 표시 디바이스를 나타낸다. 도 1에 나타낸 바와 같이, 당해 표시 디바이스는 투명 표시 스크린을 구비하며, 투명 표시 스크린에 입체 이미지를 표시함으로써, 입체 효과를 가지는 가상 씬 및 인터랙티브 대상을 나타낼 수 있다. 예를 들면, 도 1의 투명 표시 스크린에 표시된 인터랙티브 대상은 가상 만화 인물을 포함한다. 몇몇의 실시예에 있어서, 본 발명에 기재된 단말 디바이스는 상기의 투명 표시 스크린을 가지는 표시 디바이스일 수 있다. 표시 디바이스는 메모리와 프로세서를 구비하는바, 여기서 메모리는 프로세서 상에서 운행 가능한 컴퓨터 명령을 기억하고, 상기 프로세서는 상기 컴퓨터 명령이 실행될 때에, 본 발명에 의해 제공되는 인터랙티브 대상의 구동 방법을 실현함으로써, 투명 표시 스크린에 표시된 인터랙티브 대상을 구동하여 목표 대상과 교류 또는 응답을 수행하도록 할 수 있다.

몇몇의 실시예에 있어서, 인터랙티브 대상이 음성을 출력하도록 구동하기 위한 음성 구동 데이터에 응답하여, 인터랙티브 대상은 목표 대상에 대해 지정된 음성을 발할 수 있다. 단말 디바이스는 단말 디바이스의 주변 목표 대상의 동작, 표정, 신분, 기호 등에 기반하여 음성 구동 데이터를 생성함으로써, 구동 인터랙티브 대상이 지정된 음성을 발하여 응답하도록 구동하여, 목표 대상에 대해 의인화 서비스를 제공할 수 있다. 음성 구동 데이터는 기타 방법에 의해 생성될 수도 있으며, 예를 들면, 서버가 생성하여 단말 디바이스에 송신할 수 있음을 설명할 필요가 있다.

인터랙티브 대상이 목표 대상과 인터랙티브를 실행하는 과정에 있어서, 당해 음성 구동 데이터에 기반하여 인터랙티브 대상이 지정된 음성을 발하도록 구동할 때에, 상기 인터랙티브 대상이 당해 지정된 음성과 동기화된 얼굴 부의 동작을 수행하도록 구동할 수 없기에, 인터랙티브 대상이 음성을 발할 때에 둔하게 부자연스러울 수 있으며, 목표 대상의 인터랙티브 대상과의 인터랙티브 체험에 영향을 줄 가능성이 있다. 이에 감안하여 본 발명의 적어도 하나의 실시예는 인터랙티브 대상의 구동 방법을 제안하는바, 목표 대상의 인터랙티브 대상과의 인터랙티브의 체험을 향상시킨다.

도 2는 본 발명의 적어도 하나의 실시예의 인터랙티브 대상의 구동 방법을 나타내는 플로우 챠트이며, 도 2에 나타낸 바와 같이, 상기 방법은 단계 201∼단계 203을 포함한다.

단계 201이며, 텍스트 데이터에 대응하는 음소 시퀀스를 취득한다.

상기 텍스트 데이터는 상기 인터랙티브 대상을 구동하기 위한 구동 데이터일 수 있다. 당해 구동 데이터는 서버 또는 단말 디바이스에 의해 인터랙티브 대상과 인터랙티브를 실행하는 목표 대상의 동작, 표정, 신분, 기호 등에 기반하여 생성한 구동 데이터일 수도 있고, 단말 디바이스에 의해 내부 메모리로부터 호출된 음성 구동 데이터일 수도 있다. 본 발명은 당해 음성 구동 데이터의 취득 방법에 대해 한정하지 않는다.

본 발명의 실시예에 있어서, 텍스트에 포함되어 있는 형태소에 기반하여 상기 형태소에 대응하는 음소를 얻고, 텍스트에 대응하는 음소 시퀀스를 얻을 수 있다. 여기서, 음소는 음성이 자연스러운 속성에 기반하여 분할된 최소의 음성 단위이며, 실제로 존재하는 인물의 하나의 발음 동작이 하나의 음소를 형성할 수 있다.

일 실시예에 있어서, 상기 텍스트가 중국어 텍스트인 것에 응답하여, 중국어 텍스트를 병음으로 변환하고, 병음을 이용하여 음소 시퀀스를 생성하며, 각각의 음소의 타임 스탬프를 생성할 수 있다.

단계 202에 있어서, 상기 음소 시퀀스에 매칭하는 인터랙티브 대상의 적어도 하나의 국부 영역의 제어 파라미터 값을 취득한다.

상기 국부 영역은 인터랙티브 대상의 전체(얼굴 및/또는 몸을 포함함)을 분할하여 얻은 것이다. 얼굴에 하나 또는 복수의 국부 영역의 제어는 인터랙티브 대상의 일련의 얼굴 표정 또는 동작에 대응될 수 있다. 예를 들면, 눈부 영역의 제어는 인터랙티브 대상의 눈 뜨기, 눈 감기, 윙크, 시각 변환 등의 얼굴 동작에 대응될 수 있다. 또한, 예를 들면, 입 부 영역의 제어는 인터랙티브 대상의 입 다물기, 서로 다른 정도의 입 열기 등의 얼굴 동작에 대응될 수 있다. 몸의 그 중에 하나 또는 복수의 국부 영역의 제어는 인터랙티브 대상의 일련의 신체 동작에 대응될 수 있다. 예를 들면, 족 부 영역의 제어는 인터랙티브 대상의 보행, 점프, 발차기 등의 동작에 대응될 수 있다.

상기 인터랙티브 대상의 국부 영역의 제어 파라미터는 상기 국부 영역의 자태 제어 벡터를 포함한다. 각각의 국부 영역의 자태 제어 벡터는 상기 인터랙티브 대상의 상기 국부 영역의 동작을 구동하기 위하여 사용된다. 서로 다른 자태 제어 벡터 값은 서로 다른 동작 또는 동작 범위에 대응된다. 예를 들면, 입 부 영역의 자태 제어 벡터의 경우, 일 그룹의 자태 제어 벡터 값은 상기 인터랙티브 대상이 입 부를 조금 열도록 할 수 있고, 다른 일 그룹의 자태 제어 벡터 값은 상기 인터랙티브 대상이 입 부를 크게 열도록 할 수 있다. 서로 다른 자태 제어 벡터 값으로 상기 인터랙티브 대상을 구동함으로써, 해당하는 국부 영역이 서로 다른 동작 또는 다른 범위의 동작을 수행하도록 할 수 있다.

국부 영역은 제어할 필요가 있는 인터랙티브 대상의 동작에 기반하여 선택할 수 있는바, 예를 들면 상기 인터랙티브 대상의 얼굴과 신체에 대해 동시에 동작을 하는 제어할 필요가 있을 경우에는 모든 국부 영역의 자태 제어 벡터 값을 취득할 수 있으며, 상기 인터랙티브 대상의 표정을 제어할 필요가 있을 경우에는 상기 얼굴에 대응하는 국부 영역의 자태 제어 벡터 값을 취득할 수 있다.

본 발명의 실시예에 있어서, 상기 음소 시퀀스에 대해 특징 인코딩을 실행하여 특징 코드에 대응하는 제어 파라미터 값을 확정함으로써, 상기 음소 시퀀스에 대응하는 제어 파라미터 값을 확정할 수 있다. 서로 다른 인코딩 방법은 상기 음소 시퀀스의 서로 다른 특징을 표현할 수 있다. 본 발명은 구체적인 인코딩 방법에 대해 한정하지 않는다.

본 발명의 실시예에 있어서, 상기 텍스트 데이터에 대응하는 음소 시퀀스의 특징 코드와 인터랙티브 대상의 제어 파라미터 값의 대응 관계를 사전에 구축할 수 있다. 따라서, 텍스트 데이터에 기반하여 대응하는 제어 파라미터 값을 얻을 수 있다. 상기 텍스트 데이터의 음소 시퀀스의 특징 코드에 매칭하는 제어 파라미터 값을 취득하는 구체적인 방법은 나중에 상세하게 설명한다.

단계 203에 있어서, 취득한 상기 제어 파라미터 값에 기반하여 상기 인터랙티브 대상의 자태를 제어한다.

상기 제어 파라미터 값, 예를 들면 자태 제어 벡터 값은 상기 텍스트 데이터에 포함되어 있는 음소 시퀀스에 매칭된다. 예를 들면, 상기 텍스트 데이터에 기반하여 상기 인터랙티브 대상을 전시하는 표시 디바이스가 텍스트를 전시하도록 제어하고, 및/또는, 상기 텍스트 데이터에 대응하는 음소 시퀀스에 기반하여 상기 표시 디바이스가 음성을 출력하도록 제어할 경우, 인터랙티브 대상이 취한 자태와 출력한 음성 및/또는 전시한 텍스트가 동기화되므로, 따라서 목표 대상에게 상기 인터랙티브 대상이 이야기하고 있는 것 같은 감각을 준다.

본 발명의 실시예에 있어서, 텍스트 데이터에 대응하는 음소 시퀀스를 취득하고, 상기 음소 시퀀스에 매칭하는 인터랙티브 대상의 적어도 하나의 국부 영역의 제어 파라미터 값을 취득하며, 상기 인터랙티브 대상의 자태를 제어함으로써, 인터랙티브 대상이 텍스트 데이터에 대응하는 음소에 매칭되는 얼굴 자태와 신체 자태를 포함하는 자태를 취할 수 있기에, 목표 대상에게 인터랙티브 대상이 텍스트 내용을 이야기하고 있는 감각을 주며, 목표 대상의 인터랙티브 체험을 개선했다.

몇몇의 실시예에 있어서, 상기 방법은 서버에 적용되며, 당해 서버는 로컬 서버 또는 클라우드 서버 등을 포함한다. 상기 서버는 텍스트 데이터를 처리하고, 상기 인터랙티브 대상의 제어 파라미터 값을 생성하며, 상기 제어 파라미터 값에 기반하여 3차원 렌더링 엔진을 이용하여 렌더링하고, 상기 인터랙티브 대상의 동영상을 얻는다. 상기 서버는 상기 동영상을 단말에 송신하여 전시함으로써, 목표 대상과 교류 또는 응답을 실행할 수 있고, 또한 상기 동영상을 클라우드에 송신함으로써, 단말이 클라우드로부터 상기 동영상을 취득하여 목표 대상과 교류 또는 응답을 실행할 수 있다. 서버가 상기 인터랙티브 대상의 제어 파라미터 값을 생성한 후에, 또한 상기 제어 파라미터 값을 단말에 송신함으로써, 단말이 렌더링의 실행, 동영상의 생성, 전시의 실행 등의 과정을 완료하도록 한다.

몇몇의 실시예에 있어서, 상기 방법은 단말에 적용되며, 상기 단말은 텍스트 데이터를 처리하고, 상기 인터랙티브 대상의 제어 파라미터 값을 생성하며, 상기 제어 파라미터 값에 기반하여 3차원 렌더링 엔진을 이용하여 렌더링하고, 상기 인터랙티브 대상의 동영상을 얻는 상기 단말은 상기 동영상을 전시함으로써 목표 대상과 교류 또는 응답을 실행할 수 있다.

몇몇의 실시예에 있어서, 상기 텍스트 데이터에 기반하여 상기 인터랙티브 대상을 전시하는 표시 디바이스가 텍스트를 전시하도록 제어하고, 및/또는, 상기 텍스트 데이터에 대응하는 음소 시퀀스에 기반하여 상기 표시 디바이스가 음성을 출력하도록 제어할 수 있다.

본 발명의 실시예에 있어서, 상기 제어 파라미터 값과 상기 텍스트 데이터의 음소 시퀀스가 매칭되기 때문에, 상기 텍스트 데이터에 기반하여 출력한 음성 및/또는 텍스트와 상기 제어 파라미터 값에 기반하여 제어한 인터랙티브 대상의 자태가 동기화될 경우, 인터랙티브 대상이 취한 자태와 출력한 음성 및/또는 전시한 텍스트가 동기화되므로, 목표 대상에게 상기 인터랙티브 대상과 이야기하고 있는 감각을 준다.

몇몇의 실시예에 있어서, 상기 인터랙티브 대상의 적어도 하나의 국부 영역의 제어 파라미터는 자태 제어 벡터를 포함하고, 상기 자태 제어 벡터는 이하의 방법에 의해 얻을 수 있다.

먼저 상기 음소 시퀀스에 대해 특징 인코딩을 실행하여 상기 음소 시퀀스에 대응하는 코드 시퀀스를 얻는다. 후속에서 언급되는 코드 시퀀스와 구분하기 위하여, 상기 텍스트 데이터의 음소 시퀀스에 대응하는 코드 시퀀스를 제1 코드 시퀀스라 부른다. 상기 음소 시퀀스에 대해 특징 인코딩을 실행하여 제1 코드 시퀀스를 얻는다.

상기 음소 시퀀스에 포함되어 있는 복수 종류의 음소에 대해 각각의 음소에 대응하는 서브 코드 시퀀스를 생성한다.

일 예에 있어서, 각 시점에 제1 음소가 대응되어 있는지 여부를 검출하고, 상기 제1 음소는 상기 복수 종류의 음소 중의 임의의 하나이다. 상기 제1 음소가 대응되어 있는 시점의 코드 값을 제1 수치로 설정하고, 상기 제1 음소가 대응되어 있지 않는 시점의 코드 값을 제2 수치로 설정함으로써, 각각의 시점의 코드 값에 대해 값을 할당하여, 제1 음소에 대응하는 코드 시퀀스를 얻을 수 있다. 예를 들면, 상기 제1 음소가 대응되어 있는 시점의 코드 값을 1로 설정하고, 상기 제1 음소가 대응되어 있지 않는 시점의 코드 값을 0으로 설정할 수 있다. 즉, 상기 음소 시퀀스에 포함되어 있는 복수 종류의 음소 중의 각 음소에 대해 각 시점에 당해 음소가 대응되어 있는지 여부를 검출하고, 상기 음소가 대응되어 있는 시점의 코드 값을 제1 수치로 설정하며 상기 음소가 대응되어 있지 않는 시점의 코드 값을 제2 수치로 설정하고, 각각의 시점의 코드 값에 대해 값을 할당한 후에, 당해 음소에 대응하는 코드 시퀀스를 얻을 수 있다. 당업자는 상술한 코드 값의 설정은 예에 불과할 뿐, 또한 코드 값을 기타 값으로 설정할 수도 있는바, 본 발명은 이에 대해 한정하지 않음을 이해해야 한다.

상기 복수 종류의 음소에 각각 대응하는 서브 코드 시퀀스에 기반하여 상기 음소 시퀀스에 대응하는 제1 코드 시퀀스를 얻는다.

일 예에 있어서, 제1 음소에 대응하는 서브 코드 시퀀스에 대해, 가우스 필터를 이용하여 상기 제1 음소의 시간 상의 연속 값에 대해 가우스 컨볼루션 조작을 실행함으로써, 특징 코드에 대응하는 매트릭스에 대해 필터링을 실행하고, 각 음소가 변환될 때의 입 부 영역의 과도적인 동작을 원활하게 한다.

도 3은 본 발명의 적어도 하나의 실시예에 의해 제공되는 인터랙티브 대상의 구동 방법을 나타내는 모식도이다. 도 3에 나타낸 바와 같이, 음소 시퀀스(310)는 음소 j, i, j, ie4(간소화를 위하여 일부의 음소만을 나타냄)을 포함하고, 각각의 음소 j, i, ie4에 대해 각각 대응하는 서브 코드 시퀀스(321, 322, 323)을 얻는다. 각각의 서브 코드 시퀀스에 있어서, 상기 음소가 대응되어 있는 시점에 대응하는 코드 값을 제1 수치로 설정하고(예를 들면 1로 설정함), 상기 음소가 대응되어 있지 않는 시점에 대응하는 코드 값을 제2 수치로 설정한다(예를 들면 0으로 설정한다). 서브 코드 시퀀스(321)의 예를 들면, 음소 시퀀스(310) 상의 음소 j가 있는 시점에서 서브 코드 시퀀스(321)의 값이 제1 수치인 1이며, 음소 j가 없는 시점에서 서브 코드 시퀀스(321)의 값이 제2 수치인 0이다. 모든 서브 코드 시퀀스에 의해 완전한 제1 코드 시퀀스(320)이 구성된다.

이어서, 상기 제1 코드 시퀀스에 기반하여 적어도 하나의 음소에 대응하는 특징 코드를 취득한다.

음소 j, i, ie4에 각각 대응하는 서브 코드 시퀀스(321, 322, 323)의 코드 값 및 당해 세개의 서브 코드 시퀀스 중의 대응하는 음소의 시간 길이에 기반하여, 즉 서브 코드 시퀀스(321) 상의 j의 시간 길이, 서브 코드 시퀀스(322) 상의 i1의 시간 길이 및 서브 코드 시퀀스(323) 상의 ie4의 시간 길이에 기반하여, 서브 코드 시퀀스(321, 322, 323)의 특징 정보를 얻을 수 있다.

일 예에 있어서, 가우스 필터를 이용하여 각각 서브 코드 시퀀스(321, 322, 323) 중의 음소 j, i, ie4의 시간 상의 연속 값을 이용하여, 가우스 컨볼루션 조작을 실행하여 특징 코드를 원활하게 함으로써, 원활하게 한 후의 제1 코드 시퀀스(330)를 얻을 수 있다. 즉, 가우스 필터를 이용하여 음소의 시간 상의 연속 값 가우스에 대해 컨볼루션 조작을 실행함으로써, 각각의 코드 시퀀스 중의 코드 값이 제2 수치로부터 제1 수치 또는 제1 수치로부터 제2 수치로의 변화 단계가 원활해지도록 한다. 예를 들면, 코드 시퀀스의 값은 0과 1 이외에, 중간 상태의 값일 수 있으며, 예를 들면 0.2, 0.3 등일 수 있다. 이러한 중간 상태의 값에 기반하여 취득한 자태 제어 벡터는 인터랙티브 인물의 동작 변이 및 표정의 변화를 더 원활하고 자연스러워지도록 하여, 목표 대상의 인터랙티브 체험을 개선했다.

몇몇의 실시예에 있어서, 상기 제1 코드 시퀀스 상에서 윈도우 슬라이딩을 실행하는 방법을 통해 적어도 하나의 음소에 대응하는 특징 코드를 취득할 수 있다. 여기서, 상기 제1 코드 시퀀스는 가우스 컨볼루션 조작을 거친 후의 코드 시퀀스일 수 있다.

소정의 길이의 시간 윈도우 및 소정의 스텝 길이로 상기 코드 시퀀스에 대해 윈도우 슬라이딩을 실행하고, 상기 시간 윈도우 내의 특징 코드를 대응하는 적어도 하나의 음소의 특징 코드로 설정하며, 윈도우 슬라이딩이 완료한 후에 얻어진 복수의 특징 코드에 기반하여 제2 코드 시퀀스를 얻을 수 있다. 각 음소의 시간 길이가 서로 다르고, 또한 각 음소의 지속 시간과 시간 윈도우의 길이 비율도 다르기 때문에, 시간 윈도우 내의 특징 코드에 대응하는 음소 수량은 시간 윈도우의 위치에 기반하여 1, 2 또는 그 이상이 될 가능성이 있다. 도 3에 나타낸 바와 같이, 제1 코드 시퀀스(320) 또는 원활하게 한 후의 제1 코드 시퀀스(330) 상에서, 소정의 길이의 시간 윈도우를 슬라이딩 하며, 특징 코드1, 특징 코드2 및 특징 코드3을 각각 얻을 수 있다. 제1 코드 시퀀스를 거친 후, 특징 코드1, 특징 코드2, 특징 코드3, …, 특징 코드M을 얻음으로써 제2 코드 시퀀스 340을 얻는다. 여기서, M은 양의 정수이며, 그 수치는 제1 코드 시퀀스의 길이, 시간 윈도우의 길이 및 시간 윈도우를 슬라이딩 하는 스텝 길이에 따라 결정된다.

마지막으로, 상기 특징 코드에 대응하는 상기 인터랙티브 대상의 적어도 하나의 국부 영역의 자태 제어 벡터를 취득한다.

특징 코드1, 특징 코드2, 특징 코드3, …, 특징 코드M에 기반하여 해당하는 자태 제어 벡터1, 자태 제어 벡터2, 자태 제어 벡터3, …, 자태 제어 벡터M을 각각 얻을 수 있고, 따라서 자태 제어 벡터의 시퀀스 350을 얻는다.

자태 제어 벡터의 시퀀스 350과 제2 코드 시퀀스 340는 시간적으로 정렬된다. 상기 제2 코드 시퀀스 중의 각각의 특징 코드가 음소 시퀀스 중의 적어도 하나의 음소에 기반하여 얻을 수 있는 것이기 때문에, 자태 제어 벡터의 시퀀스 350 중의 각각의 제어 벡터도 마찬가지로 음소 시퀀스 중의 적어도 하나의 음소에 기반하여 얻을 수 있다. 텍스트 데이터에 대응하는 음소 시퀀스를 재생하는 동시에, 상기 자태 제어 벡터의 시퀀스에 기반하여 상기 인터랙티브 대상이 동작을 수행하도록 구동하면, 구동 인터랙티브 대상이 텍스트 내용에 대응하는 음성을 발하도록 하는 동시에, 음성에 동기화된 동작을 수행하도록 할 수 있고, 목표 대상에게 상기 인터랙티브 대상과 이야기하고 있는 감각을 주는 목표 대상의 인터랙티브 체험을 개선했다.

첫번째 시간 윈도우의 소정의 타이밍부터 특징 코드를 출력하기 시작한다고 가정하면, 상기 소정의 타이밍 앞 자태 제어 벡터 값을 디폴트 값으로 설정할 수 있는바, 즉 음소 시퀀스를 최초에 재생할 때에, 상기 인터랙티브 대상이 디폴트 동작을 수행하도록 하고, 상기 소정의 타이밍 뒤에 제1 코드 시퀀스에 기반하여 얻어진 자태 제어 벡터의 시퀀스를 이용하여 상기 인터랙티브 대상이 동작을 수행하도록 구동하기 시작한다. 도 3을 예로 들면, t0의 타이밍에서 특징 코드1을 출력하기 시작하며, t0의 타이밍 앞에 대응하는 것은 디폴트 자태 제어 벡터이다.

상기 시간 윈도우의 길이는 상기 특징 코드에 포함되어 있는 정보의 양에 관련된다. 시간 윈도우에 포함되어 있는 정보의 양이 상대적으로 클 경우, 상기 순환 뉴럴 네트워크 처리를 통해 더 균일한 결과를 출력할 수 있다. 시간 윈도우의 길이가 지나치게 크면, 인터랙티브 대상이 이야기할 때의 표정이 일부의 문자에 대응할 수 없게 된다. 시간 윈도우의 길이가 지나치게 작으면, 인터랙티브 대상이 이야기할 때의 표정이 딱딱해 보이게 된다. 따라서, 시간 윈도우의 시간 길이를 텍스트 데이터에 대응하는 음소가 지속하는 최소 시간에 의해 확정함으로써, 상기 인터랙티브 대상을 구동해 수행한 동작이 음성과 더 강한 관련성을 가지도록 한다.

시간 윈도우를 슬라이딩 하는 스텝 길이는 자태 제어 벡터를 취득하는 시간 간격(빈도)에 관련되는바, 즉 구동 인터랙티브 대상이 동작을 하는 빈도에 관련된다. 실제의 인터랙티브 씬에 따라 상기 시간 윈도우의 길이 및 스텝 길이를 설정함으로써, 인터랙티브 대상이 하는 표정 및 동작과 음성과의 관련성이 더 강하고, 또한 더 생생하고 자연스러워지도록 한다.

몇몇의 실시예에 있어서, 상기 음소 시퀀스 중의 음소 간의 시간 간격이 소정의 한계값보다 클 경우, 상기 국부 영역의 소정의 자태 제어 벡터에 기반하여 상기 인터랙티브 대상이 동작을 수행하도록 구동한다. 즉, 인터랙티브 인물의 대화 멈춤이 상대적으로 길면, 상기 인터랙티브 대상이 소정의 동작을 수행하도록 구동한다. 예를 들면, 출력하는 음성의 멈춤이 상대적으로 길 때에, 인터랙티브 대상이 미소의 표정을 짖도록 하거나 또는 몸을 약간 흔들게 함으로써, 멈춤이 상대적으로 길 때에 인터랙티브 대상이 무표정으로 바로 서 있는 것을 회피하고, 인터랙티브 대상이 이야기하는 과정이 더 자연스럽고 원활해지도록 하여, 목표 대상의 인터랙티브 대상과의 인터랙티브 익스피리언스를 개선했다.

몇몇의 실시예에 있어서, 상기 특징 코드를 사전에 훈련된 순환 뉴럴 네트워크에 입력함으로써, 상기 순환 뉴럴 네트워크가 상기 제1 코드 시퀀스에 기반하여 상기 특징 코드에 대응하는 상기 인터랙티브 대상의 적어도 하나의 국부 영역의 자태 제어 벡터를 출력하도록 할 수 있다. 상기 순환 뉴럴 네트워크는 시간 순환 뉴럴 네트워크이며, 입력한 특징 코드의 이력 정보를 학습할 수 있고, 상기 특징 코드 시퀀스에 기반하여 상기 적어도 하나의 국부 영역의 자태 제어 벡터를 출력한다. 여기서, 상기 특징 코드 시퀀스는 제1 코드 시퀀스 및 제2 코드 시퀀스를 포함한다. 상기 순환 뉴럴 네트워크는 예를 들면 장단기 기억 네트워크(Long Short-Term Memory, LSTM)일 수 있다.

본 발명의 실시예에 있어서, 사전에 훈련된 순환 뉴럴 네트워크를 이용하여 상기 특징 코드에 대응하는 상기 인터랙티브 대상의 적어도 하나의 국부 영역의 자태 제어 벡터를 취득하고, 특징 코드의 이력 특징 정보와 현재 특징 정보를 융합함으로써, 이력 자태 제어 벡터가 현재 자태 제어 벡터의 변화에 대해 영향을 주도록 하여, 인터랙티브 인물의 표정변화 및 신체 동작이 더 원활하고 자연스러워지도록 한다.

몇몇의 실시예에 있어서, 이하의 방법을 통해 상기 순환 뉴럴 네트워크를 훈련할 수 있다.

먼저 특징 코드 샘플을 취득하되, 여기서 상기 특징 코드 샘플에는 실재의 값이 라벨링되어 있고, 상기 실재의 값은 상기 인터랙티브 대상의 적어도 하나의 국부 영역의 자태 제어 벡터 값이다.

특징 코드 샘플을 얻은 후에, 상기 특징 코드 샘플에 기반하여 초기 순환 뉴럴 네트워크를 훈련하고, 네트워크 손실의 변화가 결속 조건을 충족시킨 후 상기 순환 뉴럴 네트워크를 훈련하여 얻되, 여기서 상기 네트워크 손실은 상기 순환 뉴럴 네트워크가 예측하여 얻은 상기 적어도 하나의 국부 영역의 자태 제어 벡터 값과 상기 실재의 값 사이의 차이를 포함한다.

몇몇의 실시예에 있어서, 이하의 방법을 통해 특징 코드 샘플을 취득할 수 있다.

먼저 캐릭터가 발한 음성의 비디오 세그먼트를 취득하고, 상기 비디오 세그먼트에 기반하여 상기 캐릭터가 포함된 복수의 제1 이미지 프레임을 취득한다. 예를 들면, 실재의 인물이 이야기하고 있는 비디오 세그먼트를 취득할 수 있다.

이어서, 상기 비디오 세그먼트 중에서 해당하는 음성 세그먼트를 추출하고, 상기 음성 세그먼트에 기반하여 샘플 음소 시퀀스를 취득하며, 상기 샘플 음소 시퀀스에 대해 특징 인코딩을 실행한다. 여기서, 상기 샘플 음소 시퀀스에 대해 인코딩을 실행하는 방법은 상술한 텍스트 데이터에 대응하는 음소 시퀀스의 인코딩 방법과 동일하다.

상기 샘플 음소 시퀀스에 대해 특징 인코딩을 실행하여 얻은 샘플 코드 시퀀스에 기반하여 상기 제1 이미지 프레임에 대응하는 적어도 하나의 음소의 특징 코드를 취득한다. 여기서, 상기 적어도 하나의 음소는 상기 제1 이미지 프레임의 출현 시간의 소정의 범위 내의 음소일 수 있다.

그 다음, 상기 제1 이미지 프레임을 상기 인터랙티브 대상이 포함된 제2 이미지 프레임으로 변환하고, 상기 제2 이미지 프레임에 대응하는 적어도 하나의 국부 영역의 자태 제어 벡터 값을 취득한다. 여기서, 당해 자태 제어 벡터 값은 모든 국부 영역의 자태 제어 벡터 값을 포함할 수도 있고, 그 중의 일부 국부 영역의 자태 제어 벡터 값을 포함할 수도 있다.

상기 제1 이미지 프레임이 실재의 인물이 포함된 이미지 프레임인 예를 들면, 당해 실제로 존재하는 인물의 이미지 프레임을 인터랙티브 대상이 나타내는 이미지를 포함하는 제2 이미지 프레임으로 변환할 수 있고, 여기서, 상기 실제로 존재하는 인물의 각각의 국부 영역의 자태 제어 벡터와 상기 인터랙티브 대상의 각각의 국부 영역의 자태 제어 벡터가 대응되기 때문에, 제2 이미지 프레임 내의 인터랙티브 대상의 각각의 국부 영역의 자태 제어 벡터를 취득할 수 있다.

마지막으로, 상기 자태 제어 벡터 값에 기반하여 상술한 얻어진 상기 제1 이미지 프레임에 대응하는 적어도 하나의 음소의 특징 코드를 라벨링하여 특징 코드 샘플을 얻는다.

본 발명의 실시예에 있어서, 캐릭터의 비디오 세그먼트를 대응하는 복수의 제1 이미지 프레임과 음성 세그먼트로 분할하고, 또한 실재의 인물이 포함된 제1 이미지의 프레임을 인터랙티브 대상이 포함된 제2 이미지의 프레임으로 변환하며, 음소의 특징 코드에 대응하는 자태 제어 벡터를 취득함으로써, 특징 코드와 자태 제어 벡터와의 대응성이 더 좋아지도록 하고, 고품질의 특징 코드 샘플을 얻으며, 인터랙티브 대상의 동작이 대응하는 캐릭터의 실재 동작에 더 가깝게 한다.

도 4는 본 발명의 적어도 하나의 실시예에 관한 인터랙티브 대상의 구동 장치 구성을 나타내는 모식도이며, 도 4에 나타낸 바와 같이, 당해 장치는 텍스트 데이터에 대응하는 음소 시퀀스를 취득하기 위한 제1 취득 유닛(401); 상기 음소 시퀀스에 매칭하는 인터랙티브 대상의 적어도 하나의 국부 영역의 제어 파라미터 값을 취득하기 위한 제2 취득 유닛(402); 및 취득한 상기 제어 파라미터 값에 기반하여 상기 인터랙티브 대상의 자태를 제어하기 위한 구동 유닛(403)을 구비할 수 있다.

몇몇의 실시예에 있어서, 상기 장치는 상기 텍스트 데이터에 기반하여 상기 인터랙티브 대상을 전시하는 표시 디바이스가 텍스트를 전시하도록 제어하고, 및/또는, 상기 텍스트 데이터에 대응하는 음소 시퀀스에 기반하여 상기 표시 디바이스가 음성을 출력하도록 제어하기 위한 출력 유닛을 더 구비한다.

몇몇의 실시예에 있어서, 상기 제2 취득 유닛은 구체적으로, 상기 음소 시퀀스에 대해 특징 인코딩을 실행하여 상기 음소 시퀀스에 대응하는 제1 코드 시퀀스를 얻고, 상기 제1 코드 시퀀스에 기반하여 적어도 하나의 음소에 대응하는 특징 코드를 취득하고, 상기 특징 코드에 대응하는 상기 인터랙티브 대상의 적어도 하나의 국부 영역의 자태 제어 벡터를 취득한다.

몇몇의 실시예에 있어서, 상기 음소 시퀀스에 대해 특징 인코딩을 실행하여 상기 음소 시퀀스에 대응하는 제1 코드 시퀀스를 얻을 때에, 상기 제2 취득 유닛은 구체적으로, 상기 음소 시퀀스에 포함되어 있는 복수 종류의 음소에 대해, 각각의 음소에 대응하는 서브 코드 시퀀스를 생성하고, 상기 복수 종류의 음소에 각각 대응하는 서브 코드 시퀀스에 기반하여 상기 음소 시퀀스에 대응하는 제1 코드 시퀀스를 얻는다.

몇몇의 실시예에 있어서, 상기 음소 시퀀스에 포함되어 있는 복수 종류의 음소에 대해, 각각의 음소에 대응하는 서브 코드 시퀀스를 생성할 때에, 상기 제2 취득 유닛은 구체적으로, 각 시점에 제1 음소가 대응되어 있는지 여부를 검출하되, 상기 제1 음소는 상기 복수 종류의 음소 중의 임의의 하나이다. 상기 제1 음소가 대응되어 있는 시점의 코드 값을 제1 수치로 설정하고, 상기 제1 음소가 대응되어 있지 않는 시점의 코드 값을 제2 수치로 설정함으로써, 상기 제1 음소에 대응하는 서브 코드 시퀀스를 얻는다.

몇몇의 실시예에 있어서, 상기 장치는 상기 복수 종류의 음소 중의 각 음소에 대응하는 상기 서브 코드 시퀀스에 대해, 가우스 필터를 이용하여 상기 음소의 시간 상의 연속 값에 대해 가우스 컨볼루션 조작을 실행하기 위한 필터링 유닛을 더 구비한다. 일 실시예에 있어서, 제1 음소에 대응하는 서브 코드 시퀀스에 대해, 가우스 필터를 이용하여 상기 제1 음소의 시간 상의 연속 값에 대해 가우스 컨볼루션 조작을 실행하되, 여기서, 상기 제1 음소는 상기 복수 종류의 음소 중의 임의의 하나이다.

몇몇의 실시예에 있어서, 상기 제1 코드 시퀀스에 기반하여 적어도 하나의 음소에 대응하는 특징 코드를 취득할 때에, 상기 제2 취득 유닛은 구체적으로, 소정의 길이의 시간 윈도우 및 소정의 스텝 길이로 상기 코드 시퀀스에 대해 윈도우 슬라이딩을 실행하고, 상기 시간 윈도우 내의 특징 코드를 대응하는 적어도 하나의 음소의 특징 코드로 설정하며, 윈도우 슬라이딩을 실행하여 얻은 복수의 특징 코드에 기반하여 제2 코드 시퀀스를 얻는다.

몇몇의 실시예에 있어서, 상기 구동 유닛은 구체적으로, 상기 제2 코드 시퀀스에 대응하는 자태 제어 벡터의 시퀀스를 취득하고, 상기 자태 제어 벡터의 시퀀스에 기반하여 상기 인터랙티브 대상의 자태를 제어한다.

몇몇의 실시예에 있어서, 상기 장치는 상기 음소 시퀀스 중의 음소 간의 시간 간격이 소정의 한계값보다 클 경우, 상기 국부 영역의 소정의 제어 파라미터 값에 기반하여 상기 인터랙티브 대상의 자태를 제어하기 위한 멈춤 구동 유닛을 더 구비한다.

몇몇의 실시예에 있어서, 상기 특징 코드에 대응하는 상기 인터랙티브 대상의 적어도 하나의 국부 영역의 자태 제어 벡터를 취득할 때에, 상기 제2 취득 유닛은 구체적으로, 상기 특징 코드를 사전에 훈련된 순환 뉴럴 네트워크에 입력하여, 상기 특징 코드에 대응하는 상기 인터랙티브 대상의 적어도 하나의 국부 영역의 자태 제어 벡터를 얻는다.

몇몇의 실시예에 있어서, 상기 뉴럴 네트워크는 음소 시퀀스 샘플을 이용하여 훈련하여 얻은 것이며, 상기 장치는 캐릭터가 발한 음성의 비디오 세그먼트를 취득하고, 상기 비디오 세그먼트에 기반하여 상기 캐릭터가 포함된 복수의 제1 이미지 프레임을 취득하며, 상기 비디오 세그먼트 중에서 해당하는 음성 세그먼트를 추출하고, 상기 음성 세그먼트에 기반하여 샘플 음소 시퀀스를 취득하며, 상기 샘플 음소 시퀀스에 대해 특징 인코딩을 실행하고, 상기 제1 이미지 프레임에 대응하는 적어도 하나의 음소의 특징 코드를 취득하며, 상기 제1 이미지 프레임을 상기 인터랙티브 대상이 포함된 제2 이미지 프레임으로 변환하고, 상기 제2 이미지 프레임에 대응하는 적어도 하나의 국부 영역의 자태 제어 벡터 값을 취득하며, 상기 자태 제어 벡터 값에 기반하여 상기 제1 이미지 프레임에 대응하는 특징 코드를 라벨링하고, 특징 코드 샘플을 얻기 위한 샘플 취득 유닛을 더 구비한다.

몇몇의 실시예에 있어서, 상기 장치는 상기 특징 코드 샘플에 기반하여 초기 순환 뉴럴 네트워크를 훈련하고, 네트워크 손실의 변화가 결속 조건을 충족시킨 후에, 상기 순환 뉴럴 네트워크를 훈련하고 있을 수 있기 위한 훈련 유닛을 더 구비하며, 여기서, 상기 네트워크 손실은 상기 순환 뉴럴 네트워크가 예측하여 얻은 상기 적어도 하나의 국부 영역의 자태 제어 벡터 값과 라벨링한 자태 제어 벡터 값 사이의 차이를 포함한다.

본 명세서의 적어도 하나의 실시예는 전자 디바이스를 더 제공하는바, 도 5에 나타낸 바와 같이, 상기 디바이스는 메모리와 프로세서를 구비하며, 메모리는 프로세서 상에서 운행 가능한 컴퓨터 명령을 기억하고, 프로세서는 상기 컴퓨터 명령이 실행될 때에, 본 발명이 임의의 실시예에 기재된 인터랙티브 대상의 구동 방법을 실현한다.

본 명세서의 적어도 하나의 실시예는 컴퓨터 프로그램이 기억되어 있는 컴퓨터 판독 가능 기록 매체를 더 제공하는바, 상기 프로그램이 프로세서에 의해 실행될 때에, 본 발명이 임의의 실시예에 기재된 인터랙티브 대상의 구동 방법을 실현한다.

당업자는 본 발명의 하나 또는 복수의 실시예는 방법, 시스템, 또는 컴퓨터 프로그램 제품으로 제공될 수 있음을 이해해야 한다. 따라서, 본 발명의 하나 또는 복수의 실시예는 완전한 하드웨어의 실시예, 완전한 소프트웨어의 실시예, 또는 소프트웨어와 하드웨어를 조합시키는 실시예의 형식을 사용할 수 있다. 또한, 본 발명의 하나 또는 복수의 실시예는 컴퓨터 이용 가능한 프로그램 코드를 포함하는 하나 또는 복수의 컴퓨터 이용 가능한 기억 매체(disk memory, CD-ROM, 광학 메모리 등을 포함하지만, 이에 한정되지 않음) 상에서 실시되는 컴퓨터 프로그램 제품의 형식을 사용할 수 있다.

본 발명에 있어서의 각 실시예는 모두 점진적인 방식을 통해 서술되었고, 각 실시예 간의 동일 또는 유사한 부분은 서로 참조할 수 있으며, 각 실시예에서는 기타 실시예와의 차이점에 초점을 맞춰 설명했다. 특히, 데이터 처리 디바이스의 실시예의 경우, 방법의 실시예와 기본적으로 유사하기 때문에, 상대적으로 간단히 서술했지만, 관련된 부분은 방법의 실시예의 부분 설명을 참조할 수 있다.

상기에서 본 발명의 특정 실시예를 서술했다. 기타 실시예는 첨부된 “특허청구의 범위”의 범위 내에 있다. 몇몇의 경우, 특허청구의 범위에 기재된 행위 또는 단계는 실시예와 다른 순서에 따라 실행될 수 있으며, 이 경우에도 여전히 기대하는 결과가 실현될 수 있다. 또한 도면에 나타낸 과정은, 기대하는 결과를 얻기 위하여 반드시 도면에 나타낸 특정 순서 또는 연속적인 순서를 필요로 하지 않는다. 몇몇의 실시 형태에 있어서, 멀티 태스크 처리 및 병렬 처리도 가능하거나 또는 유익할 수 있다.

본 발명의 주제 및 기능 조작의 실시예는 디지털 전자 회로, 유형 컴퓨터 소프트웨어 또는 펌웨어, 본 발명에 개시되는 구성 및 그 구조적 동등물을 포함하는 컴퓨터 하드웨어, 또는 이들의 하나 또는 복수의 조합을 통해 실현될 수 있다. 본 발명의 주제의 실시예는 하나 또는 복수의 컴퓨터 프로그램으로 실현될 수 있는바, 즉 유형의 비일시적 프로그램 캐리어 상에 부호화되어 데이터 처리 장치에 의해 실행되거나, 또는 데이터 처리 장치의 조작을 제어하기 위한 컴퓨터 프로그램 명령 중의 하나 또는 복수의 모듈에 의해 실현될 수 있다. 대체적 또는 추가적으로, 프로그램 명령은 수작업으로 생성하는 전파 신호 상에 부호화될 수 있는바, 예를 들면 기계가 생성하는 전기 신호, 광 신호, 또는 전자 신호 상에 부호화될 수 있다. 정보를 부호화하여 적절한 수신기 장치에 전송하며, 데이터 처리 장치에 의해 실행되도록 하기 위하여, 당해 신호가 생성된다. 컴퓨터 기억 매체는 기계 판독 가능 기억 디바이스, 기계 판독 가능 기억 기판, 랜덤 또는 시리얼 액세스 메모리 디바이스, 또는 이들의 하나 또는 복수의 조합일 수 있다.

본 발명 중의 처리와 논리 플로우는 하나 또는 복수의 컴퓨터 프로그램을 실행하는 하나 또는 복수의 프로그램 가능한 컴퓨터에 의해 실행될 수 있으며, 입력 데이터에 기반하여 조작을 실행하여 출력을 생성함으로써 해당하는 기능을 실행한다. 상기 처리와 논리 플로우는 또한 예를 들면 FPGA(필드 프로그래밍 가능 게이트 어레이) 또는 ASIC(전용 집적 회로) 등의 전용 논리 회로에 의해 실행될 수 있고, 또한 장치도 전용 논리 회로를 통해 실현될 수 있다.

컴퓨터 프로그램의 실행에 적합한 컴퓨터는 예를 들면 범용 및/또는 전용 마이크로 프로세서, 또는 임의의 기타 종류의 중앙 처리 유닛을 포함한다. 일반적으로 중앙 처리 유닛은 판독 전용 메모리 및/또는 랜덤 액세스 메모리로부터 명령과 데이터를 수신하게 된다. 컴퓨터의 기본 컴포넌트는 명령을 실시 또는 실행하기 위한 중앙 처리 유닛 및 명령과 데이터를 기억하기 위한 하나 또는 복수의 메모리 디바이스를 포함한다. 일반적으로 컴퓨터는 자기 디스크, 자기 광학 디스크, 또는 광학 디스크 등과 같은, 데이터를 기억하기 위한 하나 또는 복수의 대용량 기억 디바이스를 더 포함하거나, 또는 조작 가능하게 당해 대용량 기억 디바이스와 결합되어 데이터를 수신하거나, 데이터를 전송하거나, 또는 양자를 모두 포함한다. 하지만, 컴퓨터는 반드시 이러한 디바이스를 포함하는 것은 아니다. 한편, 컴퓨터는 다른 일 디바이스에 내장될 수 있는바, 예를 들면 휴대 전화, 개인용 디지털 처리 장치(PDA), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, GPS 수신기, 또는 범용 직렬 버스(USB), 플래시 드라이브 등의 휴대용 기억 디바이스에 내장될 수 있으며, 이러한 디바이스는 몇몇의 예에 지나지 않는다.

컴퓨터 프로그램 명령과 데이터의 기억에 적합한 컴퓨터 판독 가능 매체는 모든 형식의 비휘발성 메모리, 매개 및 메모리 디바이스를 포함하는바, 예를 들면 반도체 메모리 디바이스(예를 들면 EPROM, EEPROM 및 플래시 디바이스), 자기 디스크(예를 들면 내부 하드 디스크 또는 이동 가능 디스크), 자기 광학 디스크 및 CD ROM와 DVD-ROM 디스크를 포함한다. 프로세서와 메모리는 전용 논리 회로에 의해 보완되거나 또는 전용 논리 회로에 구비될 수 있다.

본 발명은 다양한 구체적인 실시 세부 사항을 포함하지만, 이를 본 발명의 범위 또는 보호하려고 하는 범위를 한정하는 것으로 해석해서는 안되며, 이는 주로 본 발명의 몇몇의 실시예의 특징을 서술하기 위하여 사용된다. 본 발명의 복수 실시예 중의 특정 특징은 단일 실시예에 결합되어 실시될 수도 있다. 반면에, 단일 실시예 중의 각 특징은 복수의 실시예에 나뉘어 실시되거나 또는 임의의 적절한 서브 조합에 의해 실시될 수도 있다. 한편, 특징이 상기와 같이 특정 조합으로 역할을 발휘하고, 또한 처음부터 이렇게 보호된다고 주장했지만, 보호한다고 주장한 조합 중의 하나 또는 복수의 특징은 경우에 따라 당해 조합으로부터 제외될 수도 있고, 또한 보호한다고 주장한 조합은 서브 조합 또는 서브 조합의 변형을 지향할 수 있다.

마찬가지로, 도면에서는 특정 순서에 따라 조작을 나타냈지만, 이는 이러한 조작을 나타낸 특정 순서에 따라 실행하거나 또는 순차적으로 실행하거나, 또는 예시된 모든 조작을 실행하여야만 기대하는 결과가 실현될 수 있음을 요구하는 것으로 이해해서는 안된다. 한편, 상기의 실시예 중의 각종의 시스템 모듈과 컴포넌트의 분리는 모든 실시예에서 반드시 모두 이렇게 분리되어야 한다고 이해해서는 안되며, 또한 서술한 프로그램 컴포넌트와 시스템은 일반적으로 같이 단일 소프트웨어 제품에 통합되거나, 또는 복수의 소프트웨어 제품에 패키징될 수 있음을 이해해야 한다.

따라서, 주제의 특정 실시예가 서술되었다. 기타 실시예는 첨부된 "특허청구의 범위"의 범위 내에 있다. 경우에 따라 특허청구의 범위에 기재되어 있는 동작은 기타 순서에 따라 실행될 수 있으며, 이 경우에도 여전히 기대하는 결과가 실현될 수 있다. 한편, 도면에 그려진 처리는 기대하는 결과를 실현하는데, 반드시 나타낸 특정 순서를 필요로 하지 않는다. 일부 실현에 있어서, 멀티 태스크 및 병렬 처리가 더 유익할 가능성이 있다.

상기는 본 발명의 하나 또는 복수의 실시예의 바람직한 실시예에 불과할 뿐, 본 발명의 하나 또는 복수의 실시예를 한정하려는 것이 아니다. 본 발명의 하나 또는 복수의 실시예의 정신과 원칙의 범위 내에서 행하여진 어떠한 수정, 동등의 치환, 개량 등은 모두 본 발명의 하나 또는 복수의 실시예의 범위에 포함되어야 한다.

Claims (20)

1. 인터랙티브 대상의 구동 방법에 있어서,
   텍스트 데이터에 대응하는 음소 시퀀스를 취득하는 것;
   상기 음소 시퀀스에 매칭하는 인터랙티브 대상의 적어도 하나의 국부 영역의 제어 파라미터 값을 취득하는 것; 및
   취득한 상기 제어 파라미터 값에 기반하여 상기 인터랙티브 대상의 자태를 제어하는 것을 포함하는
   것을 특징으로 하는 인터랙티브 대상의 구동 방법.
2. 제1항에 있어서,
   상기 텍스트 데이터에 기반하여 상기 인터랙티브 대상을 전시하는 표시 디바이스가 텍스트를 전시하도록 제어하는 것, 및/또는, 상기 텍스트 데이터에 대응하는 음소 시퀀스에 기반하여 상기 표시 디바이스가 음성을 출력하도록 제어하는 것을 더 포함하는
   것을 특징으로 하는 인터랙티브 대상의 구동 방법.
3. 제1항 또는 제2항에 있어서,
   상기 인터랙티브 대상의 국부 영역의 제어 파라미터는 상기 국부 영역의 자태 제어 벡터를 포함하고,
   상기 음소 시퀀스에 매칭하는 인터랙티브 대상의 적어도 하나의 국부 영역의 제어 파라미터 값을 취득하는 것은,
   상기 음소 시퀀스에 대해 특징 인코딩을 실행하여 상기 음소 시퀀스에 대응하는 제1 코드 시퀀스를 얻는 것;
   상기 제1 코드 시퀀스에 기반하여 적어도 하나의 음소에 대응하는 특징 코드를 취득하는 것; 및
   상기 특징 코드에 대응하는 상기 인터랙티브 대상의 적어도 하나의 국부 영역의 자태 제어 벡터를 취득하는 것을 포함하는
   것을 특징으로 하는 인터랙티브 대상의 구동 방법.
4. 제3항에 있어서,
   상기 음소 시퀀스에 대해 특징 인코딩을 실행하여 상기 음소 시퀀스에 대응하는 제1 코드 시퀀스를 얻는 것은,
   상기 음소 시퀀스에 포함되어 있는 복수 종류의 음소 중의 각 음소에 대해 상기 음소에 대응하는 서브 코드 시퀀스를 생성하는 것; 및
   상기 복수 종류의 음소에 각각 대응하는 서브 코드 시퀀스에 기반하여 상기 음소 시퀀스에 대응하는 제1 코드 시퀀스를 얻는 것을 포함하는
   것을 특징으로 하는 인터랙티브 대상의 구동 방법.
5. 제4항에 있어서,
   상기 음소 시퀀스에 포함되어 있는 복수 종류의 음소 중의 각 음소에 대해 상기 음소에 대응하는 서브 코드 시퀀스를 생성하는 것은,
   각 시점에 상기 음소가 대응되어 있는지 여부를 검출하는 것; 및
   상기 음소가 대응되어 있는 시점의 코드 값을 제1 수치로 설정하고, 상기 음소가 대응되어 있지 않는 시점의 코드 값을 제2 수치로 설정함으로써, 상기 음소에 대응하는 상기 서브 코드 시퀀스를 얻는 것을 포함하는
   것을 특징으로 하는 인터랙티브 대상의 구동 방법.
6. 제5항에 있어서,
   상기 복수 종류의 음소 중의 각 음소에 대응하는 상기 서브 코드 시퀀스에 대해, 가우스 필터를 이용하여 상기 음소의 시간 상의 연속 값에 대해 가우스 컨볼루션 조작을 실행하는 것을 더 포함하는
   것을 특징으로 하는 인터랙티브 대상의 구동 방법.
7. 제3항 내지 제6항 중 어느 한 항에 있어서,
   상기 제1 코드 시퀀스에 기반하여 적어도 하나의 음소에 대응하는 특징 코드를 취득하는 것은,
   소정의 길이의 시간 윈도우 및 소정의 스텝 길이로 상기 제1 코드 시퀀스에 대해 윈도우 슬라이딩을 실행하고, 상기 시간 윈도우 내의 특징 코드를 대응하는 상기 적어도 하나의 음소의 특징 코드로 설정하며, 상기 윈도우 슬라이딩을 실행하여 얻은 복수의 상기 특징 코드에 기반하여 제2 코드 시퀀스를 얻는 것을 포함하고,
   취득한 상기 제어 파라미터 값에 기반하여 상기 인터랙티브 대상의 자태를 제어하는 것은,
   상기 제2 코드 시퀀스에 대응하는 자태 제어 벡터의 시퀀스를 취득하는 것; 및
   상기 자태 제어 벡터의 시퀀스에 기반하여 상기 인터랙티브 대상의 자태를 제어하는 것을 포함하는
   것을 특징으로 하는 인터랙티브 대상의 구동 방법.
8. 제1항 내지 제7항 중 어느 한 항에 있어서,
   상기 음소 시퀀스 중의 상기 음소 간의 시간 간격이 소정의 한계값보다 클 경우, 상기 국부 영역의 소정의 제어 파라미터 값에 기반하여 상기 인터랙티브 대상의 자태를 제어하는 것을 더 포함하는
   것을 특징으로 하는 인터랙티브 대상의 구동 방법.
9. 제3항에 있어서,
   상기 특징 코드에 대응하는 상기 인터랙티브 대상의 적어도 하나의 국부 영역의 자태 제어 벡터를 취득하는 것은,
   상기 특징 코드를 사전에 훈련된 순환 뉴럴 네트워크에 입력하여, 상기 특징 코드에 대응하는 상기 인터랙티브 대상의 적어도 하나의 국부 영역의 상기 자태 제어 벡터를 얻는 것을 포함하는
   것을 특징으로 하는 인터랙티브 대상의 구동 방법.
10. 제9항에 있어서,
    상기 순환 뉴럴 네트워크는 특징 코드 샘플을 이용하여 훈련하여 얻은 것이며,
    상기 인터랙티브 대상의 구동 방법은,
    캐릭터가 발한 음성의 비디오 세그먼트를 취득하고, 상기 비디오 세그먼트에 기반하여 상기 캐릭터가 포함된 복수의 제1 이미지 프레임을 취득하는 것;
    상기 비디오 세그먼트 중에서 해당하는 음성 세그먼트를 추출하고, 상기 음성 세그먼트에 기반하여 샘플 음소 시퀀스를 취득하며, 상기 샘플 음소 시퀀스에 대해 특징 인코딩을 실행하는 것;
    상기 제1 이미지 프레임에 대응하는 적어도 하나의 음소의 특징 코드를 취득하는 것;
    상기 제1 이미지 프레임을 상기 인터랙티브 대상이 포함된 제2 이미지 프레임으로 변환하고, 상기 제2 이미지 프레임에 대응하는 적어도 하나의 국부 영역의 자태 제어 벡터 값을 취득하는 것; 및
    상기 자태 제어 벡터 값에 기반하여 상기 제1 이미지 프레임에 대응하는 상기 특징 코드를 라벨링하여 상기 특징 코드 샘플을 얻는 것을 더 포함하는
    것을 특징으로 하는 인터랙티브 대상의 구동 방법.
11. 제10항에 있어서,
    상기 특징 코드 샘플에 기반하여 초기 순환 뉴럴 네트워크를 훈련하고, 네트워크 손실의 변화가 결속 조건을 충족시킨 후에, 상기 순환 뉴럴 네트워크를 훈련하여 얻는 것을 더 포함하되,
    여기서, 상기 네트워크 손실은 상기 순환 뉴럴 네트워크가 예측하여 얻은 상기 적어도 하나의 국부 영역의 상기 자태 제어 벡터 값과 라벨링한 상기 자태 제어 벡터 값 사이의 차이를 포함하는
    것을 특징으로 하는 인터랙티브 대상의 구동 방법.
12. 인터랙티브 대상의 구동 장치에 있어서,
    텍스트 데이터에 대응하는 음소 시퀀스를 취득하기 위한 제1 취득 유닛;
    상기 음소 시퀀스에 매칭하는 인터랙티브 대상의 적어도 하나의 국부 영역의 제어 파라미터 값을 취득하기 위한 제2 취득 유닛; 및
    취득한 상기 제어 파라미터 값에 기반하여 상기 인터랙티브 대상의 자태를 제어하기 위한 구동 유닛을 구비하는
    것을 특징으로 하는 인터랙티브 대상의 구동 장치.
13. 제12항에 있어서,
    상기 텍스트 데이터에 기반하여 상기 인터랙티브 대상을 전시하는 표시 디바이스가 텍스트를 전시하도록 제어하고, 및/또는, 상기 텍스트 데이터에 대응하는 음소 시퀀스에 기반하여 상기 표시 디바이스가 음성을 출력하도록 제어하기 위한 출력 유닛을 더 구비하는
    것을 특징으로 하는 인터랙티브 대상의 구동 장치.
14. 제12항 또는 제13항에 있어서,
    상기 제2 취득 유닛은,
    상기 음소 시퀀스에 대해 특징 인코딩을 실행하여 상기 음소 시퀀스에 대응하는 제1 코드 시퀀스를 얻고,
    상기 제1 코드 시퀀스에 기반하여 적어도 하나의 음소에 대응하는 특징 코드를 취득하며,
    상기 특징 코드에 대응하는 상기 인터랙티브 대상의 적어도 하나의 국부 영역의 자태 제어 벡터를 취득하고,
    여기서, 상기 음소 시퀀스에 대해 특징 인코딩을 실행하여 상기 음소 시퀀스에 대응하는 제1 코드 시퀀스를 얻는 것은,
    상기 음소 시퀀스에 포함되어 있는 복수 종류의 음소 중의 각 음소에 대해 상기 음소에 대응하는 서브 코드 시퀀스를 생성하는 것; 및
    상기 복수 종류의 음소에 각각 대응하는 서브 코드 시퀀스에 기반하여 상기 음소 시퀀스에 대응하는 제1 코드 시퀀스를 얻는 것을 포함하는
    것을 특징으로 하는 인터랙티브 대상의 구동 장치.
15. 제14항에 있어서,
    상기 제1 코드 시퀀스에 기반하여 적어도 하나의 음소에 대응하는 특징 코드를 취득할 때에,
    상기 제2 취득 유닛은,
    소정의 길이의 시간 윈도우 및 소정의 스텝 길이로 상기 코드 시퀀스에 대해 윈도우 슬라이딩을 실행하고, 상기 시간 윈도우 내의 특징 코드를 대응하는 상기 적어도 하나의 음소의 특징 코드로 설정하며, 상기 윈도우 슬라이딩을 실행하여 얻은 복수의 특징 코드에 기반하여 제2 코드 시퀀스를 얻고,
    상기 구동 유닛은,
    상기 제2 코드 시퀀스에 대응하는 자태 제어 벡터의 시퀀스를 취득하고,
    상기 자태 제어 벡터의 시퀀스에 기반하여 상기 인터랙티브 대상의 자태를 제어하는
    것을 특징으로 하는 인터랙티브 대상의 구동 장치.
16. 제12항 내지 제15항 중 어느 한 항에 있어서,
    상기 음소 시퀀스 중의 상기 음소 간의 시간 간격이 소정의 한계값보다 클 경우, 상기 국부 영역의 소정의 제어 파라미터 값에 기반하여 상기 인터랙티브 대상의 자태를 제어하기 위한 멈춤 구동 유닛을 더 구비하는
    것을 특징으로 하는 인터랙티브 대상의 구동 장치.
17. 제14항에 있어서,
    상기 특징 코드에 대응하는 상기 인터랙티브 대상의 적어도 하나의 국부 영역의 자태 제어 벡터를 취득할 때에,
    상기 제2 취득 유닛은 상기 특징 코드를 사전에 훈련된 순환 뉴럴 네트워크에 입력하여, 상기 특징 코드에 대응하는 상기 인터랙티브 대상의 적어도 하나의 국부 영역의 상기 자태 제어 벡터를 얻는
    것을 특징으로 하는 인터랙티브 대상의 구동 장치.
18. 제17항에 있어서,
    샘플 취득 유닛을 더 구비하며,
    당해 샘플 취득 유닛은,
    캐릭터가 발한 음성의 비디오 세그먼트를 취득하고, 상기 비디오 세그먼트에 기반하여 상기 캐릭터가 포함된 복수의 제1 이미지 프레임을 취득하고,
    상기 비디오 세그먼트 중에서 해당하는 음성 세그먼트를 추출하고, 상기 음성 세그먼트에 기반하여 샘플 음소 시퀀스를 취득하며, 상기 샘플 음소 시퀀스에 대해 특징 인코딩을 실행하고,
    상기 제1 이미지 프레임에 대응하는 적어도 하나의 음소의 특징 코드를 취득하며,
    상기 제1 이미지 프레임을 상기 인터랙티브 대상이 포함된 제2 이미지 프레임으로 변환하고, 상기 제2 이미지 프레임에 대응하는 적어도 하나의 국부 영역의 자태 제어 벡터 값을 취득하고,
    상기 자태 제어 벡터 값에 기반하여 상기 제1 이미지 프레임에 대응하는 상기 특징 코드를 라벨링하여 상기 특징 코드 샘플을 얻으며,
    상기 인터랙티브 대상의 구동 장치는,
    상기 특징 코드 샘플에 기반하여 초기 순환 뉴럴 네트워크를 훈련하고, 네트워크 손실의 변화가 결속 조건을 충족시킨 후에, 상기 순환 뉴럴 네트워크를 훈련하고 있을 수 있기 위한 훈련 유닛을 더 구비하되,
    여기서, 상기 네트워크 손실은 상기 순환 뉴럴 네트워크가 예측하여 얻은 상기 적어도 하나의 국부 영역의 상기 자태 제어 벡터 값과 라벨링한 상기 자태 제어 벡터 값 사이의 차이를 포함하는
    것을 특징으로 하는 인터랙티브 대상의 구동 장치.
19. 전자 디바이스에 있어서,
    메모리와 프로세서를 구비하며,
    상기 메모리는 프로세서 상에서 운행 가능한 컴퓨터 명령을 기억하고,
    상기 프로세서는 상기 컴퓨터 명령이 실행될 때에, 제1항 내지 제11항 중 어느 한 항에 기재된 방법을 실행하는
    것을 특징으로 하는 전자 디바이스.
20. 컴퓨터 프로그램이 기억되어 있는 컴퓨터 판독 가능 기록 매체에 있어서,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때에, 제1항 내지 제11항 중 어느 한 항에 기재된 방법이 실현되는
    것을 특징으로 하는 컴퓨터 판독 가능 기록 매체.

Images