KR101492359B1 - 입력 지원 장치, 입력 지원 방법 및 기록 매체 - Google Patents

입력 지원 장치, 입력 지원 방법 및 기록 매체 Download PDF

Info

Publication number
KR101492359B1
KR101492359B1 KR20137022633A KR20137022633A KR101492359B1 KR 101492359 B1 KR101492359 B1 KR 101492359B1 KR 20137022633 A KR20137022633 A KR 20137022633A KR 20137022633 A KR20137022633 A KR 20137022633A KR 101492359 B1 KR101492359 B1 KR 101492359B1
Authority
KR
South Korea
Prior art keywords
character
data
command
emotion type
emotion
Prior art date
Application number
KR20137022633A
Other languages
English (en)
Other versions
KR20130116349A (ko
Inventor
히로미 후루카와
히로유키 사토
Original Assignee
유겐가이샤 본드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유겐가이샤 본드 filed Critical 유겐가이샤 본드
Publication of KR20130116349A publication Critical patent/KR20130116349A/ko
Application granted granted Critical
Publication of KR101492359B1 publication Critical patent/KR101492359B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

시청자에게 컨텐츠를 소개하기 위한 캐릭터의 동작을 적절하고 간단하고 쉽게 작성이 가능한 입력 지원 장치 등을 제공한다. 입력 지원 장치(3)의 이용자는 입력 장치(5)에 캐릭터의 동작을 지정하는 지정 명령의 입력 처리를 한다. 이 캐릭터의 동작은 컨텐츠를 소개하기 위한 것이다. 입력 지원 장치(3)는 지정 명령의 입력 처리를 지원한다. 컨텐츠는 소재 데이터(29)와 언어 데이터(31)를 포함한다. 언어 데이터(31)는 캐릭터가 발하는 음성을 포함한다. 감정 식별부(41)는 소재 데이터(29) 및 언어 데이터(31)를 분석하여, 캐릭터가 표현해야 할 감정 유형을 추론한다. 명령 추출부(43)는 캐릭터의 동작을 지정 명령 및 음성뿐만이 아니라, 추론된 감정 유형에도 기초하여 결정하고, 동작 명령을 생성한다. 확인 재생부(47)는 명령 추출부(43)가 작성한 프로그램안을 표시 장치(7)에 표시시켜 이용자에게 확인시킨다.

Description

입력 지원 장치, 입력 지원 방법 및 기록 매체{INPUT SUPPORT DEVICE, INPUT SUPPORT METHOD, AND RECORDING MEDIUM}
본 발명은 입력 지원 장치, 입력 지원 방법 및 기록 매체에 관한 것으로, 특히 컨텐츠를 소개하기 위한 캐릭터의 동작을 지정하는 지정 명령의 입력 처리를 지원하는 입력 지원 장치 등에 관한 것이다.
특허 문헌 1에는, 컴퓨터 그래픽으로 인물 캐릭터를 작성하는 경우에, 메뉴로부터 동작을 선택하고, 선택된 항목에 대응하는 동작을 시켜서 작성하는 것이 기재되어 있다.
또, 특허 문헌 2에는, 게임 분야에 있어서, 음성을 발하는 사람의 얼굴을 표시하는 일 없이, 감정의 전달을 가능하게 하기 위한 기술이 기재되어 있다. 즉, 게임 단말의 사용자는, 마이크에 의해 음성 데이터를 입력한다. 화상 작성 장치는, 음성 데이터를 기준 음성 데이터로 분류하고, 미리 기억된 캐릭터의 표정으로부터 선택하여 표시하는 것이다.
일본국 특허공개 2005－266912호 공보 일본국 특허공개 2003－248837호 공보
그렇지만, 특허 문헌 1에 나타나 있듯이, 인물 캐릭터를 작성하는 경우에는, 인물 캐릭터의 동작을 세세하게 지정할 필요가 있다. 그 때문에 전문가에게 의뢰하여 작성할 필요가 있었다. 전문가에 의한 작성은, 각 소재(사진, 비디오, 음성, 음악, 문자 등)를 완성시키고 나서 편입하여 작성한다. 그 때문에 한 번 완성해 버리면 변경은 할 수 없다. 따라서, 아마추어가 인물 캐릭터의 애니메이션을 간단하고 쉽고 적절하게 생성하는 것은 곤란하였다.
또, 특허 문헌 2는, 게임 단말의 사용자가 발한 음성을 배신할 때에, 사용자를 은닉하기 위한 것이다. 인물 캐릭터는 사용자의 치환에 지나지 않는다.
따라서, 본 발명은 시청자에게 컨텐츠를 소개하기 위한 캐릭터의 동작을 적절하고 간단하고 쉽게 작성이 가능한 입력 지원 장치 등을 제공하는 것을 목적으로 한다.
본원 발명의 제1의 관점은, 컨텐츠를 소개하기 위한 캐릭터의 동작을 지정하는 지정 명령의 입력 처리를 지원하는 입력 지원 장치로서, 상기 컨텐츠는 소재 데이터와 언어 데이터를 포함하고, 상기 언어 데이터는 상기 캐릭터가 발하는 음성을 나타내는 음성 데이터를 포함하고, 상기 소재 데이터 및 상기 언어 데이터를 분석하여 상기 캐릭터가 표현해야 할 감정 유형을 추론하는 감정 유형 추론 수단과, 상기 캐릭터의 동작을 나타내는 동작 명령을 생성하는 명령 추출 수단과, 표시 장치에 대해서 상기 컨텐츠와, 상기 동작 명령에 의한 상기 캐릭터의 동작을 동기하여 재생시키는 확인 재생 수단을 구비하고, 상기 명령 추출 수단은, 상기 캐릭터가 상기 음성을 발하기 위한 동작에 대해서는 상기 음성 데이터에 기초하여 결정하고, 상기 캐릭터가 상기 음성을 발하기 위한 동작 이외의 동작에 대해서는 표현 요소 기억 수단에 기억된 상기 캐릭터의 동작 패턴으로부터 상기 지정 명령에 기초하여 결정하고, 또한 상기 캐릭터의 동작을 상기 추론된 감정 유형에도 기초하여 결정하고, 상기 동작 명령을 생성하는 것이다.
본원 발명의 제2의 관점은, 제1의 관점의 입력 지원 장치로서, 상기 감정 유형 추론 수단은, 상기 소재 데이터 및 상기 언어 데이터를 분석하여, 복수의 기본적 감정 유형으로부터 하나 또는 복수를 선택하고, 상기 선택된 기본적 감정 유형 및 그 정도를 상기 캐릭터가 표현해야 할 감정 유형으로 하는 것이며, 복수의 상기 기본적 감정 유형을 선택했을 때는, 상기 언어 데이터의 분석에 의해 선택된 상기 기본적 감정 유형으로부터 우성 연출 처리를 결정하고, 그 외의 상기 선택된 기본적 감정 유형으로부터 보조적 연출 처리를 결정하는 것이고, 상기 명령 추출 수단은, 기본적 감정 유형과 그 정도의 조합에 의해 상기 동작을 결정하는 것이며, 상기 하나의 기본적 감정 유형이 선택되었을 때는, 선택된 상기 기본적 감정 유형 및 그 정도에 대응하여, 상기 동작을 결정하는 것이고, 상기 복수의 기본적 감정 유형이 선택되었을 때는, 상기 우성 연출 처리를 상기 보조적 연출 처리보다 큰 비중으로 참조하여 상기 동작을 결정하는 것이다.
본원 발명의 제3의 관점은, 제2의 관점의 입력 지원 장치로서, 상기 동작 패턴에는 대기 동작이 포함되어 있고, 상기 명령 추출 수단에 의해 상기 감정 유형에 의한 수정을 허가하는지 아닌지를 지정하는 수정 허가 명령이 입력되는 것이고, 상기 지정 명령의 입력이 없고, 상기 소재 데이터도 상기 언어 데이터도 없는 경우에는, 상기 명령 추출 수단은, 상기 대기 동작을 시키는 상기 동작 명령을 생성하고, 상기 지정 명령의 입력이 없고, 상기 언어 데이터 또는/및 상기 소재 데이터가 있는 경우에는, 상기 감정 유형 추론 수단은, 상기 언어 데이터 또는/및 상기 소재 데이터를 분석하여 상기 감정 유형을 식별하여 상기 동작 명령을 생성하고, 상기 지정 명령의 입력이 있고, 상기 소재 데이터 및 상기 언어 데이터가 없는 경우에는, 상기 명령 추출 수단은, 상기 지정 명령에 의해 지정된 동작을 시키는 상기 동작 명령을 생성하고, 상기 지정 명령의 입력이 있고, 상기 소재 데이터 및/또는 상기 언어 데이터가 있는 경우에, 상기 수정 허가 명령이 수정을 허가하지 않을 때는, 상기 명령 추출 수단은, 상기 지정 명령에 의해 지정된 동작을 시키는 상기 동작 명령을 생성하고, 상기 수정 허가 명령이 수정을 허가할 때는, 상기 감정 유형 추론 수단은, 상기 언어 데이터 또는/및 상기 소재 데이터를 분석하여 상기 감정 유형을 식별하고, 상기 명령 추출 수단은, 상기 지정 명령에 의해 지정된 동작을 수정하여 상기 동작 명령을 생성하는 것이다.
본원 발명의 제4의 관점은, 제1로부터 제3의 어느 하나의 관점의 입력 지원 장치로서, 과거에 행해진 동작 명령의 수정 처리를 나타내는 수정 이력을 기억하는 수정 이력 기억 수단을 구비하고, 상기 명령 추출 수단은, 상기 수정 이력도 이용하고, 상기 동작 명령을 생성하는 것이고, 상기 명령 추출 수단은, 상기 감정 유형 추론 수단에 의해 식별된 감정 유형이 시나리오 데이터 상에서 다음의 감정 유형으로 추이한 시점 또는/및 상기 지정 명령이 시나리오 데이터 상에서 다음의 지정 명령으로 추이(推移)한 시점에 있어서 가장 감정이 강해지고, 시나리오 데이터 상에서의 시간의 경과와 함께 그 감정을 감쇠시켜 상기 동작 명령을 생성하는 것이다.
본원 발명의 제5의 관점은, 제1로부터 제4의 어느 하나의 관점의 입력 지원 장치로서, 상기 동작 명령을 포함하는 시나리오 데이터를 생성하는 시나리오 데이터 생성 수단과, 상기 컨텐츠와, 상기 동작 명령에 의한 상기 캐릭터의 동작을 동기하여 재생하여 동영상 데이터를 생성하는 동영상 데이터 생성 수단을 구비하고, 원격 재생 처리 장치가, 상기 컨텐츠 및 상기 캐릭터 화상과 함께 상기 시나리오 데이터를 수신하고, 상기 컨텐츠와, 상기 시나리오 데이터에 의한 상기 캐릭터의 동작을 동기하여 재생하는 것이고, 원격 재생 장치가 상기 동영상 데이터를 수신하여 재생하는 것이다.
본원 발명의 제6의 관점은, 제1로부터 제5의 어느 하나의 관점의 입력 지원 장치로서, 상기 캐릭터는 복수 존재하고, 상기 감정 유형 추론 수단은, 일부의 캐릭터가 동작한 경우, 동작한 캐릭터의 감정 유형을 이용하여 다른 캐릭터의 감정 유형 또는/및 그 정도를 수정하는 것이다.
본원 발명의 제7의 관점은, 입력 지원 장치에 있어서, 컨텐츠를 소개하기 위한 캐릭터의 동작을 지정하는 지정 명령의 입력 처리를 지원하는 입력 지원 방법으로서, 상기 컨텐츠는 소재 데이터와 언어 데이터를 포함하고, 상기 언어 데이터는 상기 캐릭터가 발하는 음성을 나타내는 음성 데이터를 포함하고, 상기 입력 지원 장치는, 감정 유형 추론 수단과, 명령 추출 수단과, 확인 재생 수단을 구비하는 것이고, 상기 감정 유형 추론 수단이, 상기 소재 데이터 및 상기 언어 데이터를 분석하여 상기 캐릭터가 표현해야 할 감정 유형을 추론하는 감정 유형 추론 스텝과, 상기 명령 추출 수단이, 상기 캐릭터가 상기 음성을 발하기 위한 동작에 대해서는 상기 음성 데이터에 기초하여 결정하고, 상기 캐릭터가 상기 음성을 발하기 위한 동작 이외의 동작에 대해서는 표현 요소 기억 수단에 기억된 상기 캐릭터의 동작 패턴으로부터 상기 지정 명령에 기초하여 결정하고, 또한 상기 캐릭터의 동작을 상기 추론된 감정 유형에도 기초하여 결정하고, 상기 캐릭터의 동작을 나타내는 동작 명령을 생성하는 명령 추출 스텝과, 상기 확인 재생 수단이, 표시 장치에 대해서 상기 컨텐츠와, 상기 동작 명령에 의한 상기 캐릭터의 동작을 동기하여 재생시키는 확인 재생 스텝과, 상기 입력 지원 장치가, 상기 지정 명령이 추가 또는 변경된 경우, 추가 또는 변경 후의 상기 지정 명령에 대해서 처리를 행하는 스텝을 포함하는 것이다.
본원 발명의 제8의 관점은, 컴퓨터에 있어서, 제7의 관점의 입력 지원 방법을 실현하기 위한 프로그램을 정상적으로 기록한 컴퓨터 독출(read out) 가능한 기록 매체이다.
또한, 본원 발명에 있어서, 단지 캐릭터의 동작을 생성할뿐만 아니라, 예를 들면 촬영 기술, 조명, 배경색, 효과음 등도 생성하도록 해도 좋다.
또, 본원 발명을, 컴퓨터에 있어서, 제7의 관점의 입력 지원 방법을 실현하기 위한 프로그램으로서 파악해도 좋다.
본원 발명에 있어서, 표현 요소 기억 수단에는, 전문가가 작성한 캐릭터의 동작 패턴이 미리 조합 기억되어 있다. 입력 지원 장치의 사용자는 지정 명령을 입력하여, 캐릭터의 동작을 지정한다. 입력 지원 장치는, 이 지정과 아울러, 컨텐츠의 분석에 의해 얻어진 감정 유형에 의해 캐릭터의 동작을 결정한다. 이에 의해 사용자는, 캐릭터의 동작을 간단하고 쉽게 결정할 수 있고, 또한 몇 번이라도 결정한 동작을 실행시켜 수정을 행하는 일도 간단하고 쉽게 할 수 있고, 따라서 캐릭터에 컨텐츠에 맞는 감정 표현을 행하게 하는 것이 가능하게 된다. 그리고, 지정 명령의 추가, 변경 등이 이루어진 경우에는, 추가, 변경 등의 다음의 지정 명령에 대해서 처리를 행한다. 따라서, 본원 발명에 의해, 시청자에게로의 컨텐츠의 소개를 캐릭터를 이용하여 적절하고 간단하고 쉽게 행하는 것이 가능하게 된다.
종래, 특허 문헌 1에서는 캐릭터의 동작만을 지정하는 것이었다. 이 경우, 캐릭터가 지정 이외의 동작을 행하는 것은, 사용자에게 있어 부적절한 처리가 된다. 또, 특허 문헌 2에서는 사용자가 감정 데이터를 입력하는 일도 기재되어 있지만, 이를 수정하는 것 등에 대해서는 기재되지 않았다. 사용자에 의한 지정이 없는 경우에, 음성 데이터를 감정 데이터로 분류한다. 분석의 대상이 되는 데이터도, 음성 데이터라고 하는, 캐릭터의 동작에 직결하는 것에 한정되어 있다. 이것은 특허 문헌 2 기재의 기술에 있어서, 캐릭터가 사용자의 대신을 이루는 것이고, 사용자의 지정 이외의 동작을 행하는 것은, 사용자에게 있어 부적절한 처리가 되기 때문이다. 이와 같이, 배경 기술은, 캐릭터의 동작이, 사용자의 뜻에 반하지 않는다고 하는 단지 소극적인 것에 머무른다. 그 동작 지정을 자동적으로 변경하는 것은, 사용자의 뜻에 반하게 되어, 부적절한 처리가 된다. 그 때문에 특허 문헌 1 및 2에는, 동작 지정이 있었던 경우에는, 그 지정을 변경하는 것은 기재되지 않았다.
이에 반해, 본원 발명은, 시청자에게 컨텐츠를 소개하는 것을 목적으로 한다. 캐릭터의 동작은, 이 컨텐츠의 소개를 지원하기 위한 것이다. 배경 기술과는 목적이 다르다. 그 때문에 배경 기술과 달리 사용자가 캐릭터를 뜻대로 동작시킬 필요는 없다. 오히려, 컨텐츠의 소개라고 하는 목적에 맞은 것으로서 적절한 동작으로 하는 것이 사용자의 희망에 따른 것이 된다. 본원 발명에서는 전문가에 의해 동작 패턴이 미리 편입되어 있다. 사용자는 지정 명령을 입력하고, 이 동작 패턴을 이용하여 간단하고 쉽게 캐릭터를 동작시킬 수가 있다. 또한, 본원 발명은, 컨텐츠에 맞은 동작을 자동 생성한다. 이에 의해 적절한 동작을 자동 생성하는 것이 가능하게 된다. 또한, 확인 재생 수단은, 사용자에 대해서 자동 생성한 동작안을 제안한다. 이에 의해 사용자는, 보다 적절한 지정 명령을 다시 입력하는 등에 의해, 캐릭터의 동작에, 자신의 생각을 보다 명확하게 반영시키는 것이 가능하게 된다. 전문가에게 의뢰한 경우에는, 각 소재가 완성품으로서 납입되어 버려, 전체적인 정합성 때문에 사용자의 생각을 반영하는 것이 곤란하게 된다. 본원 발명은, 배경 기술과 같이, 단지 캐릭터의 동작이 사용자의 뜻에 반하는 것이 아니라고 하는 것 같은 소극적인 것은 아니다. 본원 발명은, 컨텐츠의 소개라고 하는 기준에 적절한 지정 명령의 입력을 실현한다고 하는 보다 적극적인 의의를 가지는 것이다.
특히, 본원 발명에 의하면, 입력 지원 장치의 사용자는, 화상·영상 소재, 음악 소재, 텍스트 데이터 등을 준비하는 것만으로, 이러한 소재 등으로부터 추출된 감정 유형을 가진 캐릭터가, 시청자에 대해서 이러한 소재 등을 소개하는 것이 가능하게 된다. 그 때문에 입력 지원 장치의 사용자는, 아마추어라도, 시청자가 공감하기 쉽게 되도록 소재 등의 소개를 하는 것이 가능하게 된다.
본원 발명의 제2의 관점에 의하면, 소재 데이터 및 언어 데이터를 분석하여, 복수의 기본적 감정 유형이 선택된 경우에는, 음성 데이터라고 하는 캐릭터의 동작에 가까운 정보를 포함하는 언어 데이터를 우선하여 연출 처리를 결정한다. 이에 의해 컨텐츠가 복수의 기본적 감정 유형을 배신하려고 하는 경우에도, 캐릭터의 동작에 가까운 정보로부터, 우선적인 연출 처리를 결정하는 것이 가능하게 된다.
본원 발명의 제3의 관점에 의하면, 지정 명령의 입력이 없는 경우에도 캐릭터의 동작을 자동 생성하는 것이 가능하게 된다. 그 때문에 지정 명령이 삭제된 경우에도, 삭제 후 상태에 대해서 처리를 행할 수가 있다. 또한 사용자가 지정 명령에 의한 지정 대로의 동작을 시킬 수도 있다.
본원 발명의 제4의 관점에 의하면, 시간 경과에 수반하여 감정 표현의 영향을 감쇠시킴으로써 자연스러운 감정 표현의 배신이 가능하게 된다.
본원 발명의 제5의 관점에 의하면, 시나리오 데이터의 배신(distribution)에 대해, 원격 재생 처리 장치와 같이 일정한 처리가 가능한 경우에는, 장치측에서의 처리에 의해 컨텐츠의 재생을 행한다. 이에 의해 장치가 설치된 장소에 적절한 캐릭터를 동작시키는 등, 정보의 입수자에게 주목한 시나리오 데이터의 재생이 가능하게 된다. 한편, 원격 재생 장치와 같이 동화상을 재생할 뿐인 단말의 경우에는 입력 지원 장치에 있어서 동영상 데이터를 생성하여 재생시킨다. 이에 의해 처리 능력이 부족한 장치에서도 컨텐츠의 소개가 가능하게 된다.
본원 발명의 제6의 관점에 의하면, 캐릭터가 동작하는 경우, 다른 캐릭터는 공감하도록 동작하는 것이 가능하게 된다. 즉, 동작하는 캐릭터는 표현 활동을 행하고 있어 화자가 된다. 다른 캐릭터는 이 표현 활동의 청자가 된다. 본원 발명의 제6의 관점에 의하면, 청자가 되는 캐릭터는 예를 들면 같은 감정 유형의 표현이면 재차 증폭하여 다시 표현하고, 또 다른 감정 유형의 표현이면 다른 감정 유형을 추출하여 표현한다. 이에 의해 예를 들면 제4의 관점에 나타나 있듯이 기존의 감정 표현을 감쇠시켜도, 복수의 캐릭터가 전체적으로 감정 유형을 통일하여 표현하는 것이 가능하게 된다. 시청자는, 청자가 되는 캐릭터에 동화하고, 이 캐릭터의 공감에 맞추어 컨텐츠를 시청함으로써 자연스러운 감정 유형의 전달이 가능하게 된다.
도 1은 본 발명의 실시예 1에 의한 프로그램 생성 시스템(1)의 구성 및 동작을 설명하기 위한 개념 블록도이다.
도 2는 도 1의 감정 식별부(41), 명령 추출부(43) 및 확인 재생부(47)의 동작의 개요를 나타내는 흐름도이다.
도 3은 도 1의 감정 식별부(41)에 의해 결정되는 기본적 감정 유형 및 감정 레벨의 조합과 표현 요소 기억부(25)와의 관계를 나타내는 도이다.
도 4는 도 1의 감정 식별부(41)에 의한 기본적 감정 유형 및 감정 레벨의 조합과 그 상호 관계의 결정의 관계를 나타내는 도이다.
도 5는 도 1의 명령 추출부(43)에 의한 캐릭터의 동작의 결정 처리를 나타내는 도이다.
도 6은 도 1의 명령 추출부(43)에 있어서 감정 유형의 영향을 나타내는 도이다.
도 7은 도 1의 입력 지원 장치(3)에 의해 생성되는 프로그램의 일례를 나타내는 도이다.
도 8은 도 1의 프로그램 생성 시스템(51)에 있어서의 시나리오 데이터 및 동영상 데이터의 배신(distribution)에 대해 설명하기 위한 개념 블록도이다.
도 9는 도 8의 단말 프로그램 화상 생성부(73)의 구성 및 동작을 설명하기 위한 개념 블록도이다.
도 10은 도 8의 동영상 데이터 생성부(49)의 구성 및 동작을 설명하기 위한 개념 블록도이다.
도 11은 본원 발명의 실시예 2에 있어서의 대화 상태에서의 반응 감정의 추이의 일례를 나타내는 도이다.
도 12는 본원 발명의 실시예 2에 있어서의 청취 상태에서의 반응 감정의 추이의 일례를 나타내는 도이다.
이하, 도면을 참조하여 본 발명을 실시하기 위한 형태에 대해 설명한다. 또한, 본 발명은 이하의 실시예에 한정되는 것은 아니다.
<실시예 1>
도 1은 본 발명의 실시예에 의한 프로그램 생성 시스템(1)의 구성 및 동작을 설명하기 위한 개념 블록도이다. 프로그램 생성 시스템(1)은 입력 지원 장치(3)(본원 청구항의 「입력 지원 장치」의 일례)와, 입력 장치(5)와, 표시 장치(7)(본원 청구항의 「표시 장치」의 일례)와, 원격 재생 처리 장치(9)와, 원격 재생 장치(11)를 구비한다. 입력 지원 장치(3)는 컨텐츠를 소개하기 위한 캐릭터(등장 인물이나 동물 등의 동작의 주체)의 동작을 지정하는 지정 명령의 입력 처리를 지원한다. 입력 장치(5)는 입력 지원 장치(3)의 사용자가 컨텐츠 및 지정 명령의 입력 처리를 한다. 표시 장치(7)는 입력 지원 장치(3)에 의해 생성된 프로그램안을 표시한다. 원격 재생 처리 장치(9) 및 원격 재생 장치(11)는 입력 지원 장치(3)에 의해 생성된 프로그램을 재생한다.
입력 지원 장치(3)는 컨텐츠 기억부(21)와, 지정 명령 기억부(23)와, 표현 요소 기억부(25)(본원 청구항의 「표현 요소 기억 수단」의 일례)와, 캐릭터 화상 기억부(27)를 구비한다. 컨텐츠 기억부(21)는 입력 장치(5)로부터 입력된 컨텐츠를 기억한다. 여기서, 컨텐츠는 소재 데이터(29)와 언어 데이터(31)를 포함한다. 소재 데이터(29)는 원격 재생 처리 장치(9) 및 원격 재생 장치(11)의 시청자에 대해서 배신하고 싶은 일련의 정보를 구성한다. 소재 데이터는 화상·영상 소재와 음악 소재를 포함한다. 언어 데이터(31)는 캐릭터가 발하는 음성(본원 발명의 「음성 데이터」의 일례)과, 말에 의한 설명을 포함한다. 지정 명령 기억부(23)는 입력 장치(5)로부터 입력된 지정 명령을 기억한다. 표현 요소 기억부(25)는 전문가에 의해 미리 작성된 캐릭터의 동작 패턴이 미리 조합 기억되어 있다. 캐릭터 화상 기억부(27)는 캐릭터의 화상을 기억한다.
입력 지원 장치(3)는 또한 감정 식별부(41)(본원 청구항의 「감정 유형 추론 수단」의 일례)와, 명령 추출부(43)(본원 청구항의 「명령 추출 수단」의 일례)와, 동작 명령 기억부(45)와, 확인 재생부(47)(본원 청구항의 「확인 재생 수단」의 일례)를 구비한다. 감정 식별부(41)는 지정 명령 기억부(23)에 기억된 지정 명령과 소재 데이터(29) 및 언어 데이터(31)를 분석하여, 캐릭터가 표현해야 할 감정 유형을 추론한다. 명령 추출부(43)는 표현 요소 기억부(25)에 기억된 동작 패턴을 참조하여, 캐릭터의 동작을 나타내는 동작 명령을 생성한다. 또한, 입력 장치로부터는, 수정 허가 명령도 입력된다. 이것은 명령 추출부(43)에 있어서, 감정 유형에 의한 수정을 허가하는지 아닌지를 지정하는 것이다. 이 수정 허가 명령이 수정을 허가하지 않게 하고 있는 경우에는, 명령 추출부(43)는 캐릭터에 대해서 대기 연출 또는 지정 명령에 의해 지정된 동작을 시킨다. 이 수정 허가 명령이 수정을 허가하도록 하고 있는 경우에, 이하의 수정 처리를 행하도록 한다. 확인 재생부(47)는 표시 장치(7)에 대해서 컨텐츠와 캐릭터 화상 기억부(27)의 캐릭터의 화상에 기초하여, 동작 명령에 의해 캐릭터를 동작시켜 동기하여 재생시킨다. 입력 지원 장치(3)의 사용자는, 표시 장치(7)의 표시를 참고로 하여, 지정 명령을 추가, 변경, 삭제 등을 행함으로써, 보다 적절한 캐릭터의 동작을 간단하고 쉽게 실현할 수가 있다.
입력 지원 장치(3)는 또한 시나리오 데이터 생성부(51)(본원 청구항의 「시나리오 데이터 생성 수단」의 일례)와, 동영상 데이터 생성부(49)(본원 청구항의 「동영상 데이터 생성 수단」의 일례)를 구비한다. 시나리오 데이터 생성부(51)는 동작 명령을 포함하는 시나리오 데이터를 생성한다. 동영상 데이터 생성부(49)는 컨텐츠와 동작 명령에 의한 캐릭터의 동작을 동기하여 재생하여 동영상 데이터를 생성한다. 원격 재생 처리 장치(9)는 예를 들면 개인용 컴퓨터(PC)의 기능을 구비한 것과 같이, 일정한 정보처리를 행하는 것이 가능하다. 이것은 시나리오 데이터에 기초하여 단말기로 정보처리를 행하는 배신에 적절한 것이다. 이에 의해 각 단말이 존재하는 시간·장소에 따라 프로그램을 배신하는 것이 가능하게 된다. 한편, 원격 재생 장치(11)는 단지 표시 기능만을 구비하는 모니터 등이다. 원격 재생 장치(11)는 동영상을 재생하는 것은 가능하다. 그러나, 시나리오 데이터를 배신한 것만으로는, 프로그램 배신(distribution)을 실현할 수가 없다. 그 때문에 입력 지원 장치(3)는 동영상 데이터 생성부(49)가 생성한 동영상 데이터를 이용하여, 원격 재생 장치(11)에 대한 프로그램 배신을 실현한다.
이어서, 도 2를 참조하여, 도 1의 감정 식별부(41), 명령 추출부(43) 및 확인 재생부(47)의 동작의 개요를 설명한다. 도 1의 감정 식별부(41)는 지정 명령이 입력되고 있는지 아닌지를 판단한다(스텝 ST1). 입력되고 있는 경우, 지정 명령에 의해 주연출(가장 높은 비율로 감안되어 표현되는 1개 또는 복수의 기본적 감정 유형)을 결정한다(스텝 ST2). 이어서, 언어 데이터(31)가 입력되고 있는지 아닌지를 판단한다(스텝 ST3). 언어 데이터(31)가 입력되고 있는 경우, 언어 데이터(31)에 의해 부연출(주연출의 다음으로 높은 비율로 감안되어 표현되는 1개 또는 복수의 기본적 감정 유형)을 결정한다(스텝 ST4). 이어서, 소재 데이터(29)가 입력되고 있는지 아닌지를 판단한다(스텝 ST5). 소재 데이터(29)가 입력되고 있는 경우, 소재 데이터(29)에 의해 보조 연출(부연출의 다음으로 높은 비율로 감안되어 표현되는 1개 또는 복수의 기본적 감정 유형)을 결정한다. 이에 의해 지정 명령, 언어 데이터(31) 및 소재 데이터(29)가 입력되고 있는 경우에는, 각각 1개 또는 복수의 기본적 감정 유형이 결정되고, 이 순서로 높은 비율로 감안되어 캐릭터의 동작이 결정된다.
지정 명령도 언어 데이터(31)도 소재 데이터(29)도 입력이 없는 경우(스텝 ST 1, 7 및 8에서 아니오(No)의 경우), 대기 연출을 행한다(스텝 ST9). 대기 연출은, 표현 요소 기억부(25)의 동작 패턴의 하나로서, 미리 정해져 있는 것이다. 지정 명령과 언어 데이터(31)의 입력이 없고, 소재 데이터(29)가 입력되고 있는 경우에는, 소재 데이터(29)에 의해 주연출, 부연출 및 보조 연출을 결정한다(스텝 ST10). 지정 명령의 입력이 없고, 언어 데이터(31)가 입력되고 있는 경우에는, 언어 데이터(31)에 의해 주연출 및 부연출을 결정한다(스텝 ST11). 그리고, 스텝 ST5의 판단 스텝으로 진행되어, 소재 데이터(29)가 입력되고 있지 않을 때에는, 지정 명령 또는/및 언어 데이터(31)에 의해 보조 연출을 결정한다(스텝 ST12). 지정 명령의 입력이 있고, 언어 데이터(31)의 입력이 없는 경우에는, 소재 데이터(29)가 입력되고 있는 경우에는, 소재 데이터(29)에 의해 부연출 및 보조 연출을 결정한다(스텝 ST14). 소재 데이터(29)가 입력되고 있지 않은 경우에는, 지정 명령에 의해 부연출 및 보조 연출도 결정한다(스텝 ST15). 명령 추출부(43)는 결정된 대기 연출, 또는 주연출, 부연출 및 보조 연출에 의해 동작 명령을 생성한다(스텝 ST15). 확인 재생부(47)는 표시 장치(7)에 대해서 동작안을 제시한다. 사용자는, 동작안을 참조하여, 지정 명령 등의 입력 처리를 행한다. 입력 지원 장치(3)는 수정 후의 지정 명령 등에 기초하여, 동작 명령의 생성 처리 등을 행한다.
이어서, 도 3으로부터 도 6을 참조하여, 도 1의 감정 식별부(41) 및 명령 추출부(43)의 동작에 대해 구체적으로 설명한다. 컨텐츠에는 소재 데이터(29)와 언어 데이터(31)가 포함되어 있다. 이것을 단순하게 시청자에게 배신했다고 해도, 시청자에게는 단순한 정보로서 다다를 뿐이다. 컨텐츠에 아울러, 캐릭터를 동작시켜, 감정을 전하기 위한 정보를 부가함으로써, 시청자의 평가 판단을 재촉하고, 시청자에 대해서 감성적으로 전할 수가 있다. 본원 발명은, 배경 기술과 달리, 컨텐츠를 일방적으로 전할뿐만 아니라, 시청자가 컨텐츠에 대해서 행하는 평가 판단도 지원할 수 있도록 캐릭터를 동작시키기 위한 것이다.
도 1의 표현 요소 기억부(25)에는, 예를 들면 동작 데이터로서 양손을 비스듬하게 드는 등, 캐릭터의 부분(part)마다(예를 들면, 눈썹, 눈, 어깨, 손 등)의 동작 패턴(본원 청구항의 「동작 패턴」의 일례)이 기억되어 있다. 조명 데이터로서 환경광 20%(흰색) 등, 조명광, 환경광 등의 색조·밝기·선명함이 기억되어 있다. 촬영 기술 데이터로서 상반신 등, 카메라의 위치·시간·각도가 기억되어 있다. 또한, 그 외의 데이터도 기억하고 있어도 좋다.
도 3을 참조하여, 기본적 감정 유형(본원 청구항의 「기본적 감정 유형」의 일례) 및 감정 레벨(본원 청구항의 「기본적 감정 유형의 정도」의 일례)에 대해 설명한다. 기본적 감정 유형에는, 예를 들면 조이(joy)(기쁨 등), 트러스트(trust)(신임, 신뢰, 신용 등), 앵거(anger)(분노 등) 등이 있다. 각각 감정 레벨이 설정되어 있다. 감정 식별부(41)는 지정 명령 및 컨텐츠를 분석하여, 1개 또는 복수의 기본적 감정 유형을 선택하고, 선택된 기본적 감정 유형마다 감정 레벨을 분석한다. 기본적 감정 유형과 감정 레벨의 조합에 의해, 표현 요소 기억부(25)에 기억된 동작 데이터, 조명 데이터, 촬영 기술 데이터 등의 각 데이터에 대해, 1개 또는 복수가 대응되어 있다. 예를 들면, 기본적 감정 유형 조이에 대응하여, 감정 레벨이 낮을 때에는, 동작 데이터로서 (2) “손뼉을 친다”가, 조명 데이터로서 (2) 환경광 50%(흰색)＋(3) 전신 스포트 라이트(spotlight)(흰색)가, 촬영 기술 데이터로서 (3) 전신＋(6) 정면이 선택된다. 감정 레벨이 높아지면, 동작 데이터로서 (1) “양손을 비스듬하게 위로 든다”＋(3) “몇 번이나 작게 뛰어오른다”가, 조명 데이터로서 (1) 환경광 20%(흰색)＋(3) 전신 스포트 라이트(spotlight)(흰색)가, 촬영 기술 데이터로서 (2) 얼굴 업(up)＋(6) 정면이 선택된다. 더 감정 레벨이 높아지면, 동작 데이터로서 (2) “손뼉을 친다”＋(3) “몇 번이나 작게 뛰어오른다”＋(6) “오른손을 바로 위로 든다”가, 조명 데이터로서 (2) 환경광 50%(흰색)＋(3) 전신 스포트 라이트(spotlight)(흰색)＋(4) 상반신 스포트 라이트(spotlight)가, 촬영 기술 데이터로서 (2) 얼굴 업(up)＋(4) 줌인(zoom in)＋(6) 정면이 선택된다.
도 4를 참조하여, 동작 패턴의 생성에 대해 설명한다. 명령 추출부(43)는 입가의 움직임과 같이, 캐릭터가 음성을 발하기 위한 동작에 대해서는, 컨텐츠의 언어 데이터(31)의 음성에 기초하여 결정한다. 이것은 자연스러운 발성을 위해서이다. 그 이외의 동작에 대해서는, 지정 명령과, 표현 요소 기억부(25)에 기억된 캐릭터의 동작 패턴으로부터 결정한다. 명령 추출부(43)는 또한 감정 식별부(41)에 의해 추론된 감정 유형에도 기초하여, 캐릭터의 동작을 결정하여, 동작 명령을 생성하는 것이다.
예를 들면, 언어 데이터의 설명으로서 「매우 즐거워요.」라고 기재된 경우, 형태소 해석으로부터는, 「즐겁다」라고 하는 단어로부터 조이라고 하는 기본적 감정 유형(감정 C)이 하나만 선택된다. 이것은 도 4의 단순 표현이다. 연출로서는 하나의 기본적 감정 유형에만 기초하여 캐릭터를 동작시키면 충분하다.
그렇지만, 본원 발명에서는 배경 기술과 달리, 복수의 기본적 감정 유형이 자동적으로 선택될 수 있다. 그 때문에 예를 들면 조이나 트러스트와 같은 플러스의 감정 유형뿐만이 아니라, 동시에 앵거와 같은 마이너스의 감정도 선택될 가능성이 있다. 이것이 도 4의 복합 표현에 해당한다. 예를 들면, 설명으로서 「나는 웃는 얼굴로 대답했습니다만, 무례한 행동에 분노를 억제하지 못했습니다.」라고 기재되어 있는 경우, 「나는 웃는 얼굴로 대답했습니다」라고 하는 부분의 형태소 해석에서는 플러스의 감정 A가 선택된다. 감정 레벨에 관한 정보는 없고, 예를 들면 평균치를 설정한다. 한편, 「무례한 행동에 분노를 억제하지 못했습니다.」라고 하는 부분의 형태소 해석에서는 마이너스의 감정 B가 선택된다. 감정 레벨은 큰 것이다. 이와 같이 복수의 기본적 감정 유형이 선택된 경우, 한층 더 문자 해석을 행함으로써, 기본적 감정 유형의 주격 판단을 행한다. 이 경우, 예를 들면 「만」이라고 하는 접속사에 주목하거나 「웃는 얼굴」이라고 하는 외형의 표현과 「분노」라고 하는 내심의 표현에 주목하거나 하여, 감정 A가 우성이며, 감정 B가 보조적이라고 판단된다. 그 때문에 명령 추출부(43)는 감정 A와 그 감정 레벨에 대응하는 동작을 감정 B 및 그 감정 레벨에 대응하는 동작보다 큰 비율로 감안하여, 캐릭터의 동작을 결정한다. 도 5에 나타나 있듯이, 캐릭터의 각 부분에 대해, 그 감안하는 비율에 따라 형상(포즈(pose)) 및 시간(움직임 스피드(speed))을 결정한다. 입가의 데이터 등도 필요에 따라서 수정한다. 또한, 캐릭터의 동작에 머무르지 않고, 조명 데이터, 촬영 기술 데이터 등에 대해서도 마찬가지로 결정한다.
도 4에서는 같은 언어 데이터(31) 내에서의 우성 연출 동작과 보조적 연출 동작에 관해서 설명을 했다. 본 실시예에서는 도 2에 나타나 있듯이, 지정 명령, 언어 데이터(31) 및 소재 데이터(29)의 순서로 우선하여(즉, 보다 큰 비율로 감안하여), 캐릭터의 동작을 결정한다. 그 때문에 지정 명령, 언어 데이터(31) 및 소재 데이터(29)에서는 컨텐츠의 소개에 적합하게 하면서 사용자에 의한 캐릭터의 동작의 지정에 직접적인 것일수록 큰 비율로 감안하게 된다.
이어서, 도 6을 참조하여, 감정의 영향에 대해 설명한다. 도 6에 있어서, 최초는 대기 동작으로서 「직립(정신 차림)」이었다고 한다. (1)의 동작 선택(어떤 지정 명령의 입력에 의한 지정)으로부터 (7)의 동작 선택(다른 지정 명령의 입력에 의한 지정)의 시점까지 10초이고, 그 사이, 감정 영향은 감소한다고 한다. 명령 추출부(43)는 캐릭터의 동작에, (1)의 동작 선택의 시점에서 최대의 영향이 있고, 다음의 명령의 지정까지의 10초간 영향이 자동적으로 감소하도록 한다. 그 때문에 명령 추출부(43)는 (7)의 동작 선택의 시점에서(1)의 동작 선택으로부터 9초 경과하고 있었다고 하면, (1)의 동작으로부터의 감정의 영향은 10% 정도에 머무른다. 즉, 명령 추출부(43)는 감정 유형이 시나리오 데이터 상에서 다음의 감정 유형으로 추이한 시점 또는/및 지정 명령이 시나리오 데이터 상에서 다음의 지정 명령으로 추이한 시점에 있어서 가장 감정이 강해지고, 시간의 경과와 함께 그 감정이 감쇠하도록 동작 명령을 생성한다. 이 수정 처리는, 예를 들면 도 6에 나타나 있듯이, 캐릭터의 동작, 소재 데이터(31)의 재생, 언어 데이터(29)의 재생, 및 BGM의 재생에 대해, 독립적으로 감정의 영향을 고려하도록 해도 좋다. 또, 도 1의 입력 지원 장치(3)는 수정 이력 기억부(44)(본원 청구항의 「수정 이력 기억 수단」의 일례)를 구비한다. 수정 이력 기억부(44)는, 과거에 행해진 감정 유형을 어떻게 고려해 왔는지를 나타내는 수정 이력을 기억한다. 명령 추출부(43)는 이 수정 이력에 의해, 입력 지원 장치(3)의 사용자의 기호·흥미를 참조하여, 동작 명령을 생성한다. 도 7은 도 1의 입력 지원 장치(3)에 의해 생성되는 프로그램의 일례를 나타내는 도이다.
이어서, 도 8~10을 참조하여, 시나리오 데이터 및 동영상 데이터에 의한 프로그램 배신에 대해 설명한다. 도 8~10에서는 입력 지원 장치(3)의 사용자는, 도 1의 언어 데이터(31)의 음성으로서 마이크 등의 음성 입력 수단에 의해 캐릭터를 담당하는 성우가 이야기하는 음성을 입력하는 경우에 대해 구체적으로 설명한다.
도 8의 프로그램 생성 시스템(1)에 있어서, 시나리오 데이터의 배신은, 원격 재생 처리 장치(9)와 같이 일정한 처리가 가능한 경우에는, 장치측에서의 처리에 의해 컨텐츠의 재생을 행한다. 이에 의해 장치가 설치된 장소에 적절한 캐릭터를 동작시키는 등, 정보의 입수자에게 주목한 시나리오 데이터의 재생이 가능하게 된다. 한편, 원격 재생 장치(11)와 같이 동화상을 재생할 뿐인 단말의 경우에는 입력 지원 장치에 있어서 동영상 데이터를 생성하여 재생시킨다. 이에 의해 처리 능력이 부족한 장치에서도 컨텐츠의 소개가 가능하게 된다.
도 8의 프로그램 생성 시스템(1)에는, 2개의 원격 재생 처리 장치(91, 92)(본원 청구항의 「원격 재생 처리 장치」의 일례)(이하, 첨자는 복수의 것을 나타내는 경우는 생략함) 및 원격 재생 장치(11)(본원 청구항의 「원격 재생 장치」의 일례)가 존재한다고 한다. 원격 재생 처리 장치(9) 및 원격 재생 장치(11)는 다수 있어도 좋다.
도 8을 참조하여, 입력 지원 장치(3)는 음성 양자화부(61)와, 음성 양자 기억부(62)와, 데이터 송신부(63)와, 동영상 데이터 송신부(65)를 구비한다.
음성 양자화부(61)는 컨텐츠의 언어 데이터(31)의 음성을 분할하고, 그 일부 또는 전부를 음성 요소로서 추출하고, 양자화하여 양자화 데이터를 생성한다(이하, 이 양자화 데이터를 「음성 양자」라고 한다.). 음성 양자는, 예를 들면 「오래간만이군요」라고 하는 CG 캐릭터의 대사에 대해, 「오」「래」「간」「만」「이」「군」「요」 와 같이 개개의 음성이나 무음 상태를 기준으로 하여 양자화한다. 음성 양자 기억부(62)는 생성된 각 음성 양자(量子)를 기억한다. 명령 추출부(43)는 음성 양자 기억부(62)에 기억된 음성 양자를 화상용으로 주파수 해석을 행하고, 또한 음량을 해석하는 것에 의해 캐릭터의 입가의 화상을 결정한다. 이 캐릭터의 입가의 화상은, 도 1의 캐릭터 화상 기억부(27)에 다른 화상과는 구별하여 기억되어 있다고 한다.
데이터 송신부(63)는, 원격 재생 처리 장치(9)에 대해, 시나리오 데이터 생성부(51)가 생성한 시나리오 데이터와 컨텐츠 기억부(21)에 기억된 컨텐츠를 송신한다. 도 8에서는 언어 데이터(31)의 음성에 대신하여 음성 양자를 송신하는 것으로 한다. 또, 원격 재생 처리 장치(9)는 독자적인 캐릭터 화상을 기억하고 있는 경우에는, 그 캐릭터 화상을 사용하여 컨텐츠와 캐릭터의 동작을 동기하여 재생한다. 원격 재생 처리 장치(9)가 독자적인 캐릭터 화상을 기억하고 있지 않는 경우에는, 데이터 송신부(63)가 캐릭터 화상 기억부(27)에 기억된 캐릭터의 화상을 송신한다. 동영상 데이터 송신부(65)는, 원격 재생 장치(11)에 대해, 동영상 데이터 생성부(49)가 생성한 동영상 데이터를 송신한다.
원격 재생 처리 장치(9)는 데이터 송신부(63)로부터 송신된 정보를 수신하는 수신부(71)와, 스피커(76)에 대해서 수신한 각 음성 양자를 재생시키면서 모니터(75)에 대해서 컨텐츠와 캐릭터 화상을 동기하여 재생하여 프로그램 화상을 표시시키는 단말 프로그램 화상 생성부(73)를 가진다. 원격 재생 장치(11)는 동영상 데이터를 수신하는 동영상 데이터 수신부(81)와, 수신한 동영상 데이터를 재생하는 모니터(83)를 구비한다.
도 9는 도 8의 단말 프로그램 화상 생성부(73)의 구성 및 동작을 설명하기 위한 개념 블록도이다. 단말 프로그램 화상 생성부(73)는 시나리오 데이터 기억부(101)와, 음악 소재 기억부(103)와, 캐릭터 화상 기억부(105)와, 화상·영상 소재 기억부(107)를 구비한다. 시나리오 데이터 기억부(101)는 수신한 시나리오 데이터를 기억한다. 음악 소재 기억부(103)는 음악 소재를 기억한다. 캐릭터 화상 기억부(105)는 캐릭터의 화상을 기억한다. 화상·영상 소재 기억부(107)는 화상·영상 소재를 기억한다.
캐릭터 화상 기억부(105)에 기억되는 캐릭터의 화상은 원격 재생 처리 장치(9)마다 차이가 나도 좋다. 예를 들면, 원격 재생 처리 장치(91)에 대해서는, 특별한 종류의 요소 화상 데이터(예를 들면 팬더의 종류)를 송신하고, 다른 원격 재생 처리 장치(92) 등에는 송신하지 않고, 다른 종류의 요소 화상 데이터(예를 들면 고양이의 종류)를 송신한다. 이 선택은 입력 장치(5)의 사용자가 지정함으로써, 입력 지원 장치(5)가 특별한 캐릭터의 화상을 송신하고, 다른 원격 재생 처리 장치에 대해서는 송신시키지 않게 해도 좋다. 또, 원격 재생 처리 장치(9)의 사용자가 지정하고, 특별한 캐릭터의 화상을 송신시키도록 해도 좋다. 이에 의해 원격 재생 처리 장치(91, 92)에서는 다른 캐릭터에 의해 같은 컨텐츠를 재생하는 것이 가능하게 된다. 종래, 프로그램 배신은 일방적인 정보의 흐름이었다. 이에 반해 본원 발명의 프로그램 배신은 각 원격 재생 처리 장치(9)의 설치 장소·재생 시간 등에 맞춘 프로그램 화상의 배신 처리를 가능하게 하는 것이다. 또, 특별한 캐릭터의 화상은 각 원격 재생 처리 장치로 준비된 것이라도 좋다.
우선, 단말 프로그램 화상 생성부(73)의 음성 재생에 대해 설명한다. 단말 프로그램 화상 생성부(73)는 단말 음성 동기부(109)와, 음성 재생부(111)와, 음성 송출부(113)를 구비한다. 단말 음성 동기부(109)는 각 음성 양자와 음악 소재를 동기시킨다. 음성 재생부(111)는 동기 후의 각 음성 양자 및 음악 소재를 재생시킨다. 음성 송출부(113)는 스피커(76)에 대해서 음성을 송신하여 재생시킨다.
이어서, 단말 프로그램 화상 생성부(73)가 구비하는 화상 생성부(115)에 의한 화상 표시에 대해 설명한다. 화상 생성부(115)는 캐릭터 동화상 생성부(137)와, 프로그램 화상 작성부(139)를 구비한다. 캐릭터 동화상 생성부(137)는 시나리오 데이터에 기초하여, 3D 벡터 데이터 처리에 의해, 캐릭터의 화상으로부터 캐릭터의 애니메이션 화상을 작성한다. 프로그램 화상 작성부(139)는 작성한 캐릭터 동화상과 화상·영상 소재를 합성하여 프로그램 화상을 작성한다.
어느 음성 양자에 대해서는, 화상 생성부(115)에 의한 프로그램 화상의 작성 처리의 종료후에, 화상의 표시와 음성의 재생을 하는 경우가 있을 수 있다. 이 경우, 음성 재생부(111)에 의해 재생되는 음성 양자와 화상 생성부(115)에 의한 프로그램 화상의 작성 처리의 기초가 되는 음성 양자와는 다르다. 그 때문에 단말 프로그램 화상 생성부(73)는 음성 재생부(111)에 의한 재생과 화상 생성부(115)에 의한 프로그램 화상의 표시를 동기시키는 동기부(119)를 구비한다. 동기부(119)는 음성용 주파수 해석부(131)와, 타이밍 제어부(133)를 구비한다. 음성용 주파수 해석부(131)는 음성 재생부(111)에서 재생되는 음성 양자의 주파수를 해석하여 재생 시간 데이터를 검출한다. 타이밍 제어부(133)는 재생 시간 데이터와 화상 생성부(115)로부터의 프로그램 화상의 생성 처리에 필요한 시간을 비교하여, 음성 재생부(111)에 대해서 재생의 타이밍을 제어한다.
도 10은 도 8의 동영상 데이터 생성부(49)의 구성 및 동작을 설명하기 위한 개념 블록도이다. 동영상 데이터 생성부(49)는 음성 양자 기억부(62)에 기억된 각 음성 양자, 시나리오 데이터 생성부(51)에 의해 생성된 시나리오 데이터, 캐릭터 화상 기억부(27)에 기억된 캐릭터의 화상 데이터, 컨텐츠 기억부(21)에 기억된 컨텐츠를 이용하여, 동영상 데이터를 작성한다. 동영상 데이터 생성부(49)는 음성 동기부(159)와, 화상 생성부(161)와, 2D 벡터 양자화부(163)와, 연상 화상 기억부(165)와, 합성부(167)와, 동영상 데이터 기억부(169)를 구비한다. 음성 동기부(159)는 각 음성 양자와 음악 소재를 동기한다. 화상 생성부(161)는, 프로그램 화상을 생성한다(도 9의 화상 생성부(115) 참조). 2D 벡터 양자화부(163)는 생성된 프로그램 화상에 대해서 2D 벡터 처리를 행하여 연속 화상인 화상 1, ···, 화상 n을 생성한다. 연상 화상 기억부(165)는 연속 화상을 기억한다. 합성부(167)는 음성 동기부(159)에 의해 동기된 음성과 연속 화상을 합성하여 동영상 데이터를 생성한다. 동영상 데이터 기억부(169)는 생성된 동영상 데이터를 기억한다.
또한, 원격 재생 처리 장치(9)는 동영상 데이터를 재생하는 것도 가능하다. 그 때문에 입력 지원 장치(3)나 원격 재생 처리 장치(9)의 사용자의 지시에 의해, 원격 재생 장치(11)뿐만이 아니라, 원격 재생 처리 장치(9)에 대해서도 동영상 데이터를 송신하도록 해도 좋다. 이에 의해 예를 들면 입력 지원 장치(3)의 사용자가, 복수의 단말에 동시에 같은 표시를 시키는 경우 등에, 원격 재생 처리 장치(9)의 처리를 경감하는 것이 가능하게 된다. 다만, 동영상 데이터는 송신 데이터량이 커질 가능성이 있다. 그 때문에 데이터 송신부(63)와 동영상 데이터 송신부(65)가, 데이터량이나 통신 상황에 의해, 시나리오 데이터 등의 송신을 할지, 또는 동영상 데이터의 송신을 할지를 자동적으로 선택하도록 해도 좋다.
또, 음성 양자는, 예를 들면 「오랜만이군요」라고 하는, 발성되고 나서 음성이 일시적으로 중단될 때까지의 일련의 음성을 기준으로 하여 양자화하거나 하도록, 입력된 음성을 기준으로 하여 양자화된 것이라도 좋다. 또, 음성 양자는, 일정한 시간(예를 들면, 30분의 1초 등)을 기준으로 하여 양자화된 것이라도 좋다.
또한, 도 8의 명령 추출부(43)는 입력된 음성의 진폭을 검출하고, 입의 열림 상태를 검출하여 캐릭터 화상을 생성하는 일도 가능하다.
이러한 원격 재생이 가능하게 됨으로써, 예를 들면 원격 재생 처리 장치(9)등의 앞에 사람이 있었을 때에, CG 캐릭터의 음성으로서 「오래간만이군요」라고 입력함으로써, 원격 재생 처리 장치(9) 등으로 CG 캐릭터가 「오래간만이군요」라고 이야기하도록 표시할 수가 있다. 이에 의해 실시간의 컨텐츠의 연출뿐만이 아니라, 시청자가 참가하는 형태에서의 컨텐츠가 실현 가능하게 된다. 또한, 주목도·화제성·인지도도 올라가고, 또한 실사와의 제휴를 도모하기 때문에 실제감이 향상된다. 또한, 유사적인 회화가 가능하게 되고, 사람의 유도 등, 장면에 맞은 컨텐츠를 실현하는 것이 가능하게 된다.
또한, 도 1에 있어서, 입력 장치(5) 및 표시 장치(7)는 처리의 부담이 작다. 그 때문에 이러한 장치는 사용자측의 인터넷 브라우저 등에 의해 실현되는 것이 가능하다. 예를 들면, 입력 지원 장치(3)의 사용자는 브라우저를 이용하여, 입력 지원 장치(3)에 소재 데이터(29) 및 언어 데이터(31) 및 지정 명령을 입력한다. 입력 지원 장치(3)는 웹 서버에 의해, 이 액세스를 실현한다. 그리고, 이러한 소재 등을 이용하여 처리를 행하여, 사용자의 브라우저에 표시한다. 여기서, 사용자측의 장치는 브라우저를 표시할 수 있는 것이면 좋고, 예를 들면 PC, 스마트폰, 태블릿 등이다. 또, 표시하는 브라우저는 입력용의 것과 같아도 달라도 좋다. 또한, 캐릭터 화상 기억부(27)의 캐릭터 화상은 사용자가 다른 웹 서버에 액세스하여 선택한 것이라도 좋다.
<실시예 2>
이 실시예에서는 복수의 캐릭터에 의한 감정 유형의 표현 및 그 수정에 대해 설명한다. 즉, 어느 감정 유형에 기초하여 캐릭터가 동작한 경우, 이 감정 유형을 이용하여, 다른 캐릭터의 감정 유형을 수정하는 것이다. 이하, 이것을 「반응 감정」이라고 한다.
본 실시예에서는 간단을 위해, 2개의 캐릭터가 주말의 영화의 감상에 대해 회화하는 경우에 대해 설명한다. 제1의 대사는 「주말은 영화를 보고 즐깁시다」이다. 제2의 대사는 「상영중의 영화는 무서운 영화예요」이다. 제3의 대사는 「쇼핑으로 예정 변경할까」이다.
도 11은 대화 상태에서의 반응 감정의 추이의 일례를 나타내는 도이다. 도 11에 있어서, 2개의 캐릭터(201, 203)가 대화한다. 캐릭터(201)가 제1 및 제3의 대사를 표현한다. 캐릭터(203)가 제2의 대사를 표현한다.
도 1의 감정 식별부(41)는 제1의 대사로부터 「기쁨」이라고 하는 감정 유형(감정 유형(205)(감정 유형 P1))을 추출한다. 명령 추출부(43)는 캐릭터(201)에 대해서 이 「기쁨」이라고 하는 감정을 표현시키면서 제1의 대사를 말하게 한다. 이 경우, 캐릭터(203)에는 대기 동작을 시킨다.
감정 식별부(41)는 제2의 대사로부터 「공포」라고 하는 감정 유형(감정 유형(209)(감정 유형 Q1))을 추출한다. 명령 추출부(43)는 캐릭터(203)에 대해서 이 「공포」라고 하는 감정을 표현시키면서 제2의 대사를 말하게 한다. 캐릭터(201)의 감정 유형은, 캐릭터(203)가 동작을 개시한 시점에서는 감정 유형 P1인 채이다. 그 때문에 캐릭터(201)에는, 감정 유형 P1에 기초한 대기 동작을 시킨다. 다만, 감정의 정도는 시간 경과에 수반하여 감쇠한다(감정 유형(207)(감정 유형 P1)).
감정 식별부(41)는 캐릭터(203)의 동작이 개시된 후, 캐릭터(201)의 감정 유형 또는/및 그 정도를, 캐릭터(203)의 감정 유형을 이용하여 수정한다. 예를 들면, 캐릭터(203)의 감정 유형이 캐릭터(201)의 감정 유형과 같으면, 캐릭터(201)의 감정 유형을 유지하여 감정의 정도를 증폭한다. 캐릭터(203)의 감정 유형이 캐릭터(201)의 감정 유형과 다른 경우에는, 캐릭터(201)의 감정 유형을 변경한다. 이 경우, 캐릭터(203)의 감정의 정도에 따라 캐릭터(201)의 감정의 정도를 수정해도 좋다.
도 11에서는 캐릭터(201)의 감정 유형은 「기쁨」이다. 캐릭터(203)의 감정 유형은 「공포」이다. 양자는 다르기 때문에, 감정 식별부(41)는 감정 유형(215)(감정 유형 Q1)을 이용하여, 감정 유형(213)(감정 유형 P1)을 수정한다. 도 11에서는 새로운 감정 유형인 「곤혹」을 선택한다(감정 유형(219)(감정 유형 R1)). 그리고, 명령 추출부(43)는 캐릭터(201)에 대해서 이 「곤혹」이라고 하는 감정을 표현시키면서 제3의 대사를 말하게 한다.
도 12는 청취 상태에서의 반응 감정의 추이의 일례를 나타내는 도이다. 도 11에 있어서 2개의 캐릭터(251, 253)가 대화한다. 캐릭터(251)가 제1, 제2및 제3의 대사를 표현한다. 캐릭터(253)는 청자이다.
감정 식별부(41)는 제1의 대사로부터 「기쁨」이라고 하는 감정 유형(감정 유형(255)(감정 유형 P1))을 추출한다. 명령 추출부(43)는 캐릭터(251)에 대해서 이 「기쁨」이라고 하는 감정을 표현시키면서 제1의 대사를 말하게 한다. 이 시점에서는 캐릭터(253)에는 대기 동작을 시킨다.
감정 식별부(41)는 캐릭터(251)가 동작을 개시하면, 캐릭터(251)의 감정 유형 및/또는 그 정도를 이용하여, 캐릭터(253)의 감정 유형 및/또는 그 정도를 수정한다. 도 12에서는 감정 유형을 P2에 맞추고 있다(감정 유형(263)(감정 유형 P2)). 그 때문에 캐릭터(253)에는 감정 유형 P2에 기초한 대기 동작을 시킨다.
감정 식별부(41)는 제2의 대사로부터 「공포」라고 하는 감정 유형(감정 유형(261)(감정 유형 Q1))을 추출한다. 이 시점에서는 캐릭터(251)의 감정 유형은 감정 유형 P1인 채이지만, 감정의 정도는 시간 경과에 수반하여 감쇠하고 있다(감정 유형(259)(감정 유형 P1)). 명령 추출부(251)는, 양자의 감정 유형이 다르기 때문에, 시간 경과에 수반하여 감정 유형 P2의 표현을 감쇠하면서, 감정 유형 Q2를 표현하고, 제2의 대사를 말하게 한다.
캐릭터(251)가 제2의 대사를 말하는 동작을 개시하면, 감정 식별부(41)는 캐릭터(253)의 감정 유형 P2(감정 유형(269))를 감정 유형 Q2(감정 유형 (271))를 사용하여 수정한다. 명령 추출부(43)는 수정한 감정 유형에 기초한 대기 동작을 시킨다.
제2의 대사로부터 새롭게 추출된 감정 유형 Q2는 캐릭터(251)의 감정 유형과는 다르다. 그 때문에 감정 식별부(41)는 새로운 감정 유형인 「곤혹」을 추출한다(감정 유형(265)(감정 유형 R2)). 마찬가지의 경우에는, 예를 들면 감정 유형을 유지하면서, 그 정도를 증폭한다. 명령 추출부(43)는 캐릭터(253)에 대해서 이 「곤혹」이라고 하는 감정을 표현시키면서 제3의 대사를 말하게 한다.
본 실시예에 의하면, 복수의 캐릭터가 존재하는 경우, 어느 캐릭터가 동작하면, 다른 캐릭터는 공감하도록 동작한다. 즉, 동작하는 캐릭터는 표현 활동을 행하고 있어 화자가 된다. 다른 캐릭터는 이 표현 활동의 청자가 된다. 청자가 되는 캐릭터는 예를 들면 같은 감정 유형의 표현이면 재차 증폭하여 다시 표현하고, 또 다른 감정 유형의 표현이면 다른 감정 유형을 추출하여 표현한다. 이에 의해 복수의 캐릭터가 전체적으로 감정 유형을 통일하여 표현하는 것이 가능하게 된다. 시청자는, 청자가 되는 캐릭터에 동화하고, 이 캐릭터의 공감에 맞추어 컨텐츠를 시청함으로써 자연스러운 감정 유형의 전달이 가능하게 된다.
1　프로그램 생성 시스템 3 입력 지원 장치
5 입력 장치 7 표시 장치
9 원격 재생 처리 장치 11 원격 재생 장치
21 컨텐츠 기억부 23 지정 명령 기억부
25 표현 요소 기억부 27 캐릭터 화상 기억부
29 소재 데이터 31 언어 데이터
41 감정 식별부 43 명령 추출부
44 수정 이력 기억부 45 동작 명령 기억부
47 확인 재생부 49 동영상 데이터 생성부
51 시나리오 데이터 생성부

Claims (8)

  1. 컨텐츠를 소개하기 위한 캐릭터의 동작을 지정하는 지정 명령의 입력 처리를 지원하는 입력 지원 장치로서,
    상기 컨텐츠는 소재 데이터와 언어 데이터를 포함하고,
    상기 언어 데이터는 상기 캐릭터가 발하는 음성을 나타내는 음성 데이터를 포함하고,
    상기 소재 데이터 및 상기 언어 데이터를 분석하여 상기 캐릭터가 표현해야 할 감정 유형을 추론하는 감정 유형 추론 수단과,
    상기 캐릭터의 동작을 나타내는 동작 명령을 생성하는 명령 추출 수단과,
    표시 장치에 대해서 상기 컨텐츠와, 상기 동작 명령에 의한 상기 캐릭터의 동작을 동기하여 재생시키는 확인 재생 수단을 구비하고,
    상기 명령 추출 수단은,
    상기 캐릭터가 상기 음성을 발하기 위한 동작에 대해서는 상기 음성 데이터에 기초하여 결정하고,
    상기 캐릭터가 상기 음성을 발하기 위한 동작 이외의 동작에 대해서는 표현 요소 기억 수단에 기억된 상기 캐릭터의 동작 패턴으로부터 상기 지정 명령에 기초하여 결정하고,
    또한, 상기 캐릭터의 동작을 상기 추론된 감정 유형에도 기초하여 결정하고, 상기 동작 명령을 생성하는, 입력 지원 장치.
  2. 제1항에 있어서,
    상기 감정 유형 추론 수단은,
    상기 소재 데이터 및 상기 언어 데이터를 분석하여, 복수의 기본적 감정 유형으로부터 하나 또는 복수를 선택하고, 상기 선택된 기본적 감정 유형 및 그 정도를 상기 캐릭터가 표현해야 할 감정 유형으로 하는 것이며,
    복수의 상기 기본적 감정 유형을 선택했을 때는, 상기 언어 데이터의 분석에 의해 선택된 상기 기본적 감정 유형으로부터 우성 연출 처리를 결정하고, 그 외의 상기 선택된 기본적 감정 유형으로부터 보조적 연출 처리를 결정하는 것이고,
    상기 명령 추출 수단은, 기본적 감정 유형과 그 정도의 조합에 의해 상기 동작을 결정하는 것이며,
    상기 하나의 기본적 감정 유형이 선택되었을 때는, 선택된 상기 기본적 감정 유형 및 그 정도에 대응하여, 상기 동작을 결정하는 것이고,
    상기 복수의 기본적 감정 유형이 선택되었을 때는, 상기 우성 연출 처리를 상기 보조적 연출 처리보다 큰 비중으로 참조하여 상기 동작을 결정하는 입력 지원 장치.
  3. 제2항에 있어서,
    상기 동작 패턴에는 대기 동작이 포함되어 있고,
    상기 명령 추출 수단에 의해 상기 감정 유형에 의한 수정을 허가하는지 아닌지를 지정하는 수정 허가 명령이 입력되는 것이고,
    상기 지정 명령의 입력이 없고, 상기 소재 데이터도 상기 언어 데이터도 없는 경우에는, 상기 명령 추출 수단은, 상기 대기 동작을 시키는 상기 동작 명령을 생성하고,
    상기 지정 명령의 입력이 없고, 상기 언어 데이터 또는/및 상기 소재 데이터가 있는 경우에는, 상기 감정 유형 추론 수단은, 상기 언어 데이터 또는/및 상기 소재 데이터를 분석하여 상기 감정 유형을 식별하여 상기 동작 명령을 생성하고,
    상기 지정 명령의 입력이 있고, 상기 소재 데이터 및 상기 언어 데이터가 없는 경우에는, 상기 명령 추출 수단은, 상기 지정 명령에 의해 지정된 동작을 시키는 상기 동작 명령을 생성하고,
    상기 지정 명령의 입력이 있고, 상기 소재 데이터 및/또는 상기 언어 데이터가 있는 경우에,
    상기 수정 허가 명령이 수정을 허가하지 않을 때는, 상기 명령 추출 수단은, 상기 지정 명령에 의해 지정된 동작을 시키는 상기 동작 명령을 생성하고,
    상기 수정 허가 명령이 수정을 허가할 때는, 상기 감정 유형 추론 수단은, 상기 언어 데이터 또는/및 상기 소재 데이터를 분석하여 상기 감정 유형을 식별하고, 상기 명령 추출 수단은, 상기 지정 명령에 의해 지정된 동작을 수정하여 상기 동작 명령을 생성하는 입력 지원 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    과거에 행해진 동작 명령의 수정 처리를 나타내는 수정 이력을 기억하는 수정 이력 기억 수단을 구비하고,
    상기 명령 추출 수단은, 상기 수정 이력도 이용하고, 상기 동작 명령을 생성하는 것이고,
    상기 명령 추출 수단은, 상기 감정 유형 추론 수단에 의해 식별된 감정 유형이 시나리오 데이터 상에서 다음의 감정 유형으로 추이한 시점 또는/및 상기 지정 명령이 시나리오 데이터 상에서 다음의 지정 명령으로 추이한 시점에 있어서 가장 감정이 강해지고, 시나리오 데이터 상에서의 시간의 경과와 함께 그 감정을 감쇠시켜 상기 동작 명령을 생성하는 입력 지원 장치.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 동작 명령을 포함하는 시나리오 데이터를 생성하는 시나리오 데이터 생성 수단과, 상기 컨텐츠와, 상기 동작 명령에 의한 상기 캐릭터의 동작을 동기하여 재생하여 동영상 데이터를 생성하는 동영상 데이터 생성 수단을 구비하고,
    원격 재생 처리 장치가, 상기 컨텐츠 및 상기 캐릭터 화상과 함께 상기 시나리오 데이터를 수신하고, 상기 컨텐츠와, 상기 시나리오 데이터에 의한 상기 캐릭터의 동작을 동기하여 재생하는 것이고,
    원격 재생 장치가 상기 동영상 데이터를 수신하여 재생하는 것인 입력 지원 장치.
  6. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 캐릭터는 복수 존재하고,
    상기 감정 유형 추론 수단은, 일부의 캐릭터가 동작한 경우, 동작한 캐릭터의 감정 유형을 이용하여 다른 캐릭터의 감정 유형 또는/및 그 정도를 수정하는 입력 지원 장치.
  7. 입력 지원 장치에 있어서, 컨텐츠를 소개하기 위한 캐릭터의 동작을 지정하는 지정 명령의 입력 처리를 지원하는 입력 지원 방법으로서,
    상기 컨텐츠는 소재 데이터와 언어 데이터를 포함하고,
    상기 언어 데이터는 상기 캐릭터가 발하는 음성을 나타내는 음성 데이터를 포함하고,
    상기 입력 지원 장치는, 감정 유형 추론 수단과, 명령 추출 수단과, 확인 재생 수단을 구비하는 것이고,
    상기 감정 유형 추론 수단이, 상기 소재 데이터 및 상기 언어 데이터를 분석하여 상기 캐릭터가 표현해야 할 감정 유형을 추론하는 감정 유형 추론 스텝과,
    상기 명령 추출 수단이,
    상기 캐릭터가 상기 음성을 발하기 위한 동작에 대해서는 상기 음성 데이터에 기초하여 결정하고,
    상기 캐릭터가 상기 음성을 발하기 위한 동작 이외의 동작에 대해서는 표현 요소 기억 수단에 기억된 상기 캐릭터의 동작 패턴으로부터 상기 지정 명령에 기초하여 결정하고,
    또한, 상기 캐릭터의 동작을 상기 추론된 감정 유형에도 기초하여 결정하고, 상기 캐릭터의 동작을 나타내는 동작 명령을 생성하는 명령 추출 스텝과,
    상기 확인 재생 수단이, 표시 장치에 대해서 상기 컨텐츠와, 상기 동작 명령에 의한 상기 캐릭터의 동작을 동기하여 재생시키는 확인 재생 스텝과,
    상기 입력 지원 장치가, 상기 지정 명령이 추가 또는 변경된 경우, 상기 추가 또는 변경된 지정 명령에 대해서 처리를 행하는 스텝을 포함하는 입력 지원 방법.
  8. 컴퓨터에 있어서, 제7항에 기재의 입력 지원 방법을 실현하기 위한 프로그램을 기록한 컴퓨터 독출 가능한 기록 매체.
KR20137022633A 2011-02-01 2012-01-18 입력 지원 장치, 입력 지원 방법 및 기록 매체 KR101492359B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2011-020101 2011-02-01
JP2011020101A JP4725936B1 (ja) 2011-02-01 2011-02-01 入力支援装置、入力支援方法及びプログラム
PCT/JP2012/050937 WO2012105318A1 (ja) 2011-02-01 2012-01-18 入力支援装置、入力支援方法及び記録媒体

Publications (2)

Publication Number Publication Date
KR20130116349A KR20130116349A (ko) 2013-10-23
KR101492359B1 true KR101492359B1 (ko) 2015-02-10

Family

ID=44350539

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20137022633A KR101492359B1 (ko) 2011-02-01 2012-01-18 입력 지원 장치, 입력 지원 방법 및 기록 매체

Country Status (6)

Country Link
US (1) US9898850B2 (ko)
JP (1) JP4725936B1 (ko)
KR (1) KR101492359B1 (ko)
CN (1) CN103430217B (ko)
TW (1) TWI436808B (ko)
WO (1) WO2012105318A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103369289B (zh) * 2012-03-29 2016-05-04 深圳市腾讯计算机系统有限公司 一种视频模拟形象的通信方法和装置
JP2014085952A (ja) * 2012-10-25 2014-05-12 Kddi Corp 表情生成装置およびプログラム
JP2014167737A (ja) * 2013-02-28 2014-09-11 Kddi Corp 仕草生成装置およびプログラム
CN104424955B (zh) * 2013-08-29 2018-11-27 国际商业机器公司 生成音频的图形表示的方法和设备、音频搜索方法和设备
CN103785171B (zh) * 2014-01-23 2016-08-17 北京智明星通科技有限公司 一种集成单击自感应及滑动操作模式的游戏系统及方法
WO2016035069A1 (en) * 2014-09-01 2016-03-10 Beyond Verbal Communication Ltd System for configuring collective emotional architecture of individual and methods thereof
JPWO2016068262A1 (ja) * 2014-10-29 2017-08-10 京セラ株式会社 コミュニケーションロボット
US10293260B1 (en) * 2015-06-05 2019-05-21 Amazon Technologies, Inc. Player audio analysis in online gaming environments
JP6782173B2 (ja) * 2017-01-11 2020-11-11 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および音声データ通信管理方法
CN108038160B (zh) * 2017-12-06 2019-03-08 央视动画有限公司 动态动画保存方法、动态动画调用方法及装置
US10546409B1 (en) * 2018-08-07 2020-01-28 Adobe Inc. Animation production system
JP6993314B2 (ja) * 2018-11-09 2022-01-13 株式会社日立製作所 対話システム、装置、及びプログラム
JPWO2020170441A1 (ja) * 2019-02-22 2021-12-16 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
CN109979592A (zh) * 2019-03-25 2019-07-05 广东邮电职业技术学院 心理健康预警方法、用户终端、服务器与系统
WO2021039925A1 (ja) * 2019-08-29 2021-03-04 有限会社Ｂｏｎｄ 番組作成方法、番組作成装置及び記録媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020022504A (ko) * 2000-09-20 2002-03-27 박종만 3차원 캐릭터의 동작, 얼굴 표정, 립싱크 및 립싱크된음성 합성을 지원하는 3차원 동영상 저작 도구의 제작시스템 및 방법
KR20090086805A (ko) * 2008-02-11 2009-08-14 이점식 진화하는 사이버 로봇

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3592194B2 (ja) * 2000-01-21 2004-11-24 株式会社リコー 映像内容説明文生成方法、映像内容説明文生成装置及び記録媒体
KR100374914B1 (ko) * 2000-08-30 2003-03-06 송대호 출판만화를 이용한 애니메이션 제작방법
JP2003248837A (ja) 2001-11-12 2003-09-05 Mega Chips Corp 画像作成装置、画像作成システム、音声生成装置、音声生成システム、画像作成用サーバ、プログラム、および記録媒体
EP1326445B1 (en) * 2001-12-20 2008-01-23 Matsushita Electric Industrial Co., Ltd. Virtual television phone apparatus
US20040138959A1 (en) * 2002-09-09 2004-07-15 Michal Hlavac Artificial intelligence platform
US7257538B2 (en) * 2002-10-07 2007-08-14 Intel Corporation Generating animation from visual and audio input
JP2005266912A (ja) 2004-03-16 2005-09-29 Nara Institute Of Science & Technology 人物アニメーション作成システム及びそのユーザインタフェース
TWI263156B (en) 2004-12-17 2006-10-01 Shiau-Ming Wang Automatic program production system and method thereof
JP2008046425A (ja) * 2006-08-17 2008-02-28 National Institute Of Information & Communication Technology 印象表現出力装置及び方法
CN101145244A (zh) * 2006-09-12 2008-03-19 叶琦 网络传播的数码动漫真人秀照片连环画
US20090128567A1 (en) * 2007-11-15 2009-05-21 Brian Mark Shuster Multi-instance, multi-user animation with coordinated chat
WO2009067560A1 (en) * 2007-11-20 2009-05-28 Big Stage Entertainment, Inc. Systems and methods for generating 3d head models and for using the same
JP5363797B2 (ja) * 2008-12-22 2013-12-11 任天堂株式会社 ゲームプログラムおよびゲーム装置
KR20100112764A (ko) * 2009-04-10 2010-10-20 엘지이노텍 주식회사 동작교정장치 및 그 제어방법과 이를 이용한 동작교정 서비스시스템
US9665563B2 (en) * 2009-05-28 2017-05-30 Samsung Electronics Co., Ltd. Animation system and methods for generating animation based on text-based data and user information
US10540976B2 (en) * 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US9159151B2 (en) * 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020022504A (ko) * 2000-09-20 2002-03-27 박종만 3차원 캐릭터의 동작, 얼굴 표정, 립싱크 및 립싱크된음성 합성을 지원하는 3차원 동영상 저작 도구의 제작시스템 및 방법
KR20090086805A (ko) * 2008-02-11 2009-08-14 이점식 진화하는 사이버 로봇

Also Published As

Publication number Publication date
TWI436808B (zh) 2014-05-11
CN103430217B (zh) 2016-06-08
US20140002464A1 (en) 2014-01-02
WO2012105318A1 (ja) 2012-08-09
CN103430217A (zh) 2013-12-04
US9898850B2 (en) 2018-02-20
TW201233413A (en) 2012-08-16
JP2012160082A (ja) 2012-08-23
KR20130116349A (ko) 2013-10-23
JP4725936B1 (ja) 2011-07-13

Similar Documents

Publication Publication Date Title
KR101492359B1 (ko) 입력 지원 장치, 입력 지원 방법 및 기록 매체
US11218768B2 (en) Information processing device, information processing method, and program
US20210352380A1 (en) Characterizing content for audio-video dubbing and other transformations
US20150287403A1 (en) Device, system, and method of automatically generating an animated content-item
CA2754173C (en) Adaptive videodescription player
US20120276504A1 (en) Talking Teacher Visualization for Language Learning
CN104994921A (zh) 用于分布式故事阅读的视觉内容修改
CN104918670A (zh) 用于故事阅读的基于位置的增强
CN104956317A (zh) 用于分布式故事阅读的语音修改
JP2015115892A (ja) コメント作成装置およびその制御方法
US20230027035A1 (en) Automated narrative production system and script production method with real-time interactive characters
JP4725918B2 (ja) 番組画像配信システム、番組画像配信方法及びプログラム
KR20220123576A (ko) 3차원(3d) 환경에 대한 통합된 입/출력
WO2020039702A1 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2024505988A (ja) シーン説明の再生制御
CN111787986A (zh) 基于面部表情的语音效果
US20230336804A1 (en) Contextual Audiovisual Synthesis for Attention State Management
CN115359796A (zh) 数字人手语播报方法、装置、设备及存储介质
JP2005062420A (ja) コンテンツ生成システム、コンテンツ生成方法およびコンテンツ生成プログラム
US11330307B2 (en) Systems and methods for generating new content structures from content segments
JP7329209B1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
JP7313518B1 (ja) 評価方法、評価装置、および、評価プログラム
WO2022235834A1 (en) Accessibility enhanced content creation
JP2022157292A (ja) コンテンツ再生制御システム及びプログラム
CN117876543A (zh) 一种基于数字人的互动应用方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180125

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190130

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191107

Year of fee payment: 6