JP3002136B2 - 感情変換装置 - Google Patents
感情変換装置Info
- Publication number
- JP3002136B2 JP3002136B2 JP8206909A JP20690996A JP3002136B2 JP 3002136 B2 JP3002136 B2 JP 3002136B2 JP 8206909 A JP8206909 A JP 8206909A JP 20690996 A JP20690996 A JP 20690996A JP 3002136 B2 JP3002136 B2 JP 3002136B2
- Authority
- JP
- Japan
- Prior art keywords
- emotion
- recognition
- response
- unit
- conversion device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
し、特に、人間の音声に含まれる感情に反応して動作す
るコンピュータキャラクタの構成法に関するものであ
り、応用分野として、人間にとって使い易いコンピュー
タを作り出そうとするヒューマンインタフェースの分野
や、人間とインタラクションできる機械を用いて娯楽を
提供しようとするアミューズメント,エンタティメント
の分野さらには人間とインタラクションできる新しいア
ートを創造しようとするインタラクティブアートの分野
などに用いられるような感情変換装置に関する。
クションできる機械を作り出そうというのは人間の長い
間の夢であった。昔からからくり人形,操り人形などの
形でそれを実現する技術が追求されてきた。現代に入っ
てロボットの概念が導入されるとともに、それはさらに
現実味を帯びてきた。日本における「鉄腕アトム」はそ
の代表例であろう。
野で人工知能の研究が盛んになってきたのも、この夢を
実現しようとする意欲の現れである。人工知能の分野で
は、人間の知能をソフトウェア/ハードウェアで代行さ
せることを狙っている。そして、そのようなソフトウェ
ア/ハードウェアをコンピュータに組込むことによっ
て、人間にとって使い易いコンピュータを作り出すこと
を狙っている。
ョンするための基本機能が開発されつつある。しかしな
がら、それと同時に、技術の発展とともに人間同士のコ
ミュニケーションやインタラクションでは感情のやり取
りが基本的な機能を果たしていることが認識され始め
た。その結果、人間とインタラクションできるコンピュ
ータキャラクタに感情の認識機能を持たせようとする研
究が開始され始めた。その一例として、「音声に反応す
る表情合成システム「ニューロベビー」(情報処理学会
第44回(平成4年前期)全国大会4N−9)」に発表
されたものがある。
図である。このシステムは、人間の音声に含まれる感情
を認識する感情認識部1と、認識された感情に対応する
キャラクタの反応を生成する反応パターン生成部2とか
ら構成されている。そして、このシステムは、入力音声
が感情認識部1に入力され、感情の認識が行なわれる。
次に認識された感情(以下、認識感情と称する)が反応
パターン生成部2に与えられる。反応パターン生成部2
では、認識感情の個々に応じて予め生成すべき反応パタ
ーンが設定されている。この反応パターンは、たとえば
人間が話しかけたときそれに反応するコンピュータキャ
ラクタの顔の表情パターンであったり、動作パターンで
あったりする。認識感情が入力されると、反応パターン
生成部2では、このような反応パターンがコンピュータ
グラフィックス技術などを用いて生成される。生成され
た結果はディスプレイなどに表示される。したがって、
たとえばユーザがコンピュータのディスプレイに表示さ
れているキャラクタに話しかけると、声に含まれる感情
が認識され、感情に応じてコンピュータキャラクタの反
応パターンが変化するので、ユーザはコンピュータキャ
ラクタとのインタラクションを楽しむことができる。
間と感情でのインタラクションが可能なコンピュータキ
ャラクタの開発という意味では意義があるが、以下に述
べるような欠点があった。すなわち、感情認識結果(認
識感情)が直接1対1に反応パターンに対応付けられて
いることにある。このような手段を取っているため、同
じ感情に対しはキャラクタは同じ反応パターンでしか反
応しない。すなわち、同じ調子の話しかけに対しては同
じ反応しか返ってこないため、インタラクションが単調
になる。その結果としてユーザがすぐにこのようなキャ
ラクタとインタラクションすることに飽きてしまうとい
う欠点がある。このことは人間同士のコミュニケーショ
ンを例に取って考えるとわかりやすい。人間同士の場合
は同じ感情で話しかけても、場合によって異なる反応が
返ってくる。これはコミュニケーションの状況や話しか
けられた相手の性格によって反応が異なるからである。
別の言葉で言えば、場合によって異なる反応が返ってく
ることが人間同士のコミュニケーションを人間らしくし
ている理由である。
果を単にキャラクタの表情の形で表示しているにすぎな
い。したがって、人間とのインタラクションが可能なキ
ャラクタの感情反応機能としては不十分なレベルに留ま
っていた。
間と同様に状況に応じた応答パターンを生成できるよう
な感情変換装置を提供することである。
入力された音声を感情に変換する感情変換装置であっ
て、入力された音声に含まれる感情を認識する感情認識
手段と、認識された認識感情をそれと同一かもしくは異
なる空間配置を有する応答感情に変換する感情変換手段
と、応答感情に対応した反応パターンを生成する反応パ
ターン生成手段とを備えて構成される。
変換手段は、学習機能を有する写像関数を有し、認識感
情を応答感情に写像する。
変換手段は、乱数を発生して認識感情を応答感情に不確
定に写像する。
認識手段は、入力された音声からその特徴量を抽出する
特徴抽出手段と、抽出された特徴量から感情を識別する
ための感情識別手段とを含む。
略ブロック図であり、図2は図1に示した感情認識部の
具体例を示すブロック図である。
識部1と反応パターン生成部2との間に感情変換部3が
新たに設けられる。感情認識部1は図2に示すように、
音声特徴抽出部11と感情識別部12とから構成され
る。音声特徴抽出部11は入力音声からその特徴量を抽
出する。音声の特徴量としては、種々のものが考えられ
るが、要するに感情を認識しやすい特徴量を用いればよ
い。たとえば、その一例として前述の文献に述べられて
いる特徴を用いる方式が考えられる。
は感情識別部12に入力され、感情が認識される。感情
認識の方法としては種々考えられる。その一例として、
上述の文献ではニューラルネットを用いる方法が提案さ
れている。この他にも隠れマルコフモデルを用いる方法
も考えられる。要するに、感情の認識が可能な適当な手
法を用いればよいわけであって、特に限定されるもので
はない。認識された感情をEとし、予め定められた感情
をN個とすると、EはN個の実数値よりなるベクトル E=(e1 ,e2 ,…,eN ) として表現される。
えられる。感情変換部3はEを反応感情Rに変換する機
能を持ち、この発明の特徴部分となる。Eが入力音声に
含まれる感情、すなわちコンピュータキャラクタに話し
かける人間の音声に含まれる感情であるのに対し、Rは
それを聞いたコンピュータキャラクタが感じる感情であ
るということができる。Eから直接キャラクタの反応パ
ターンを生成する従来の技術に比較して、EをRに変換
してから反応パターンを生成することは、人間が相手の
感情を受取ることによって自分自身の感情を生成する仕
組みを模擬しており、より人間同士のコミュニケーショ
ンに近い状況を実現していることになる。
有する写像関数を有し、認識感情を応答感情に写像する
ことが考えられる。その変換関数は予め与えられた学習
データを用いて学習データにチューンする機能を持つも
のとする。このような機能を持つ変換関数は種々考えら
れるが、一例としてニューラルネットを用いる方式が考
えられる。
ブロック図である。図3において、入力部31にEが与
えられると、ニューラルネット32を通すことによっ
て、出力部33にRが得られる。RはM個の実数値より
なるベクトル R=(r1 ,r2 ,…,rM ) として表現される。ニューラルネット32の各枝の重み
は予め学習データを用いた学習によって学習データにチ
ューンさせておく。
果について説明する。先に述べたように、人間は相手の
感情そのものに対応した反応をするのではなく、相手の
感情によって自分の内部に生じた感情に基づいて反応す
るわけであり、それが人間らしいコミュニケーションの
基礎となっている。したがって、そのような状況を踏ま
えた学習データの組(E1 ,R1 ),(E2 ,R2 ),
…を予め用意しておけばよい。
ケーションの様子を観察しておき、ある話者が感情Ei
を表出したとき、それに応じて相手が表出した感情Ri
によって1組の(Ei ,Ri )が求められる。当然、こ
れは話者の個性,人種,さらには話の内容によって異な
ると考えられるため、実際にコンピュータキャラクタが
用いられる場面に応じた学習データを用意しておくこと
によって、種々の状況に適したコンピュータキャラクタ
の反応を決定することができる。
ック図である。図4において、感情変換部30は入力部
34と乱数発生部35とランダム変換部36と出力部3
7とから構成される。乱数発生部35は乱数を生成する
ものであって、入力部34にEが与えられると、乱数発
生部34で生成された乱数を用いて、ランダム変換部3
6はEをRにランダムに変換する。このような機能を有
することによって、認識感情が常に一意に反応感情に対
応付けられるのではなくランダムに変化するため、人間
から見ると常に反応パターンが変化しているように見
え、機械的な対応をしているという感覚を持つことがな
くなるという利点がある。
感情Rに基づいて、コンピュータキャラクタの表情,動
作などの反応パターンをコンピュータグラフィックスな
どの手法を用いて生成する。その具体的な手法は種々考
えられるが、一例として反応感情r1 ,r2 ,r3 ,
…,rM のそれぞれに対応して典型的な反応パターンp
1 ,p2 ,p3 ,…,pM を用意しておくことが考えら
れる。具体的な生成方法としては、r1 ,r2 ,r3 ,
…,rM の最大値ri を求め、それに対応したp i をキ
ャラクタの反応パターンとして表示する方式や、r1 ,
r2 ,r3 ,…,rM の実数値をそのまま用いて、
p1 ,p2 ,p3 ,…,pM の補間を行ない、求められ
た反応パターンを表示する方式などが考えられる。要
は、Rに基づいてコンピュータキャラクタの反応パター
ンを生成できればよい。
反応感情とするようにしてもよい。これは、N=Mと
し、かつ常にei がri に対応するように設定すればい
いわけであって、これらはニューラルネットの機能の中
に含まれる。
された音声に含まれる感情を認識した後、コンピュータ
キャラクタの反応感情に変換し、その結果によって反応
パターンを生成するようにしたので、入力の音声に含ま
れる感情に直接対応した反応パターンを生成するという
従来に比べて、入力音声に含まれる感情をコンピュータ
キャラクタの感情に変換した後、コンピュータキャラク
タの感情に応じた反応パターンを生成しているがゆえ
に、人間同士のコミュニケーションと同様の現象が人間
とコンピュータキャラクタの間に生じることになる。こ
れにより、従来の機械的なコンピュータキャラクタの反
応がより人間的になり、ひいては人間から見ると人間的
で付き合いやすいコンピュータキャラクタと感ずること
ができる。このようなコンピュータキャラクタは、優れ
たヒューマンインタフェースの実現,アミューズメント
やエンタティメントの分野で大きな役割を果たすことが
できる。
る。
ク図である。
ク図である。
ク図である。
る。
Claims (4)
- 【請求項1】 入力された音声を感情に変換する感情変
換装置であって、 前記入力された音声に含まれる感情を認識する感情認識
手段、 前記感情認識手段によって認識された認識感情をそれと
同一かもしくは異なる空間配置を有する応答感情に変換
する感情変換手段、および前記感情変換手段によって変
換された応答感情に対応した反応パターンを生成する反
応パターン生成手段を備えた、感情変換装置。 - 【請求項2】 前記感情変換手段は、学習機能を有する
写像関数を有し、認識感情を応答感情に写像することを
特徴とする、請求項1の感情変換装置。 - 【請求項3】 前記感情変換手段は、乱数を発生し、認
識感情を応答感情に不確定に写像することを特徴とす
る、請求項1の感情変換装置。 - 【請求項4】 前記感情認識手段は、 前記入力された音声からその特徴量を抽出する特徴抽出
手段、および前記特徴抽出手段によって抽出された特徴
量から感情を識別するための感情識別手段を含むことを
特徴とする、請求項1の感情変換装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8206909A JP3002136B2 (ja) | 1996-08-06 | 1996-08-06 | 感情変換装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8206909A JP3002136B2 (ja) | 1996-08-06 | 1996-08-06 | 感情変換装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1049188A JPH1049188A (ja) | 1998-02-20 |
JP3002136B2 true JP3002136B2 (ja) | 2000-01-24 |
Family
ID=16531091
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8206909A Expired - Fee Related JP3002136B2 (ja) | 1996-08-06 | 1996-08-06 | 感情変換装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3002136B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107243905A (zh) * | 2017-06-28 | 2017-10-13 | 重庆柚瓣科技有限公司 | 基于养老机器人的情绪自适应系统 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3159242B2 (ja) | 1997-03-13 | 2001-04-23 | 日本電気株式会社 | 感情生成装置およびその方法 |
JP3792882B2 (ja) * | 1998-03-17 | 2006-07-05 | 株式会社東芝 | 感情生成装置及び感情生成方法 |
JP4661074B2 (ja) | 2004-04-07 | 2011-03-30 | ソニー株式会社 | 情報処理システム、情報処理方法、並びにロボット装置 |
JP2005352154A (ja) * | 2004-06-10 | 2005-12-22 | National Institute Of Information & Communication Technology | 感情状態反応動作装置 |
JP2006178063A (ja) * | 2004-12-21 | 2006-07-06 | Toyota Central Res & Dev Lab Inc | 対話処理装置 |
JP2014219594A (ja) * | 2013-05-09 | 2014-11-20 | ソフトバンクモバイル株式会社 | 会話処理システム及びプログラム |
CN113555027B (zh) * | 2021-07-26 | 2024-02-13 | 平安科技(深圳)有限公司 | 语音情感转换方法、装置、计算机设备及存储介质 |
-
1996
- 1996-08-06 JP JP8206909A patent/JP3002136B2/ja not_active Expired - Fee Related
Non-Patent Citations (8)
Title |
---|
1997年情報学シンポジウム講演論文集,土佐他「感情に反応するインタラクティブ・アクターと物語の生成」,p.109−113,1997年1月 |
Methodologies for the Conception,Design and Application of Intelligent Systems,Proceedings of IIZUKA’96 Vol.2,Shirahama et al,"A Human Cognitive Model based on Mapping Function−An Application to Emotion Procssing−",p.790−793,1996 |
情報処理学会第44回(平成4年前期)全国大会講演論文集(2),4N−9,柿本他『音声に反応する表情合成システム「ニューロベビー」』p.2−383〜2−384,(平成4年3月31日特許庁資料館受入) |
日本バーチャルリアリティ学会論文集,Vol.2,No.1,1997,土佐他「感情に反応する自律型バーチャルアクターと仮想世界の生成」,p,11−18 |
日本機械学会第72期全国大会講演論文集(▲V▼),2605,福田他「音声における感情理解」,p.141−143,(1994/8/17) |
画像ラボ,第8巻,第4号,中津「アートと工学の融合をめざした画像・音声処理 人間と自然なコミュニケーションの出来るコンピュータの実現に向けて」,p.28−31,1997年4月 |
電子情報通信学会技術研究報告[ヒューマンコミュニケーション]Vol.95,No.522,HCS95−27,川上他「3次元感情モデルに基づく表情分析・合成システムの構築」p.7−14(1996年3月発行) |
電子情報通信学会技術研究報告[教育工学]Vol.94,No.425,ET94−105,白浜他「主観的観測による感情に関する対話システム」p.17−24(1994年12月発行) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107243905A (zh) * | 2017-06-28 | 2017-10-13 | 重庆柚瓣科技有限公司 | 基于养老机器人的情绪自适应系统 |
Also Published As
Publication number | Publication date |
---|---|
JPH1049188A (ja) | 1998-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Camurri et al. | An architecture for emotional agents | |
Rokeby | Transforming mirrors | |
Rickel et al. | Toward a new generation of virtual humans for interactive experiences | |
Manninen | Rich interaction model for game and virtual environment design | |
Sherman et al. | Literacy in virtual reality: a new medium | |
Gupta et al. | Investigating roleplaying and identity transformation in a virtual reality narrative experience | |
JP3002136B2 (ja) | 感情変換装置 | |
Roquet | The immersive enclosure: Virtual reality in Japan | |
Davidson | Ontological shifts: Multi-sensoriality and embodiment in a third wave of digital interfaces | |
Doma | EEG as an input for virtual reality | |
Zamboni et al. | Expressive Elements of Lifelike Machines | |
Nishida et al. | Synthetic evidential study as augmented collective thought process–preliminary report | |
CN115081488A (zh) | 一种基于全息投影技术的场景控制方法 | |
Posada et al. | A socio-constructionist environment to create stories using tangible interfaces | |
Nakatsu et al. | Toward the realization of interactive movies-inter communication theater: concept and system | |
Kal et al. | Educational Virtual Reality Game Design for Film and Animation | |
Bell | Participatory art and computers: identifying, analysing and composing the characteristics of works of participatory art that use computer technology | |
Wu et al. | Through the Eyes of Women in Engineering | |
Gwynne | Co-Creating with the Senses: Towards an Embodiment Grammar for Conceptualising Virtual Reality (VR) Narrative Design | |
KR102458703B1 (ko) | 음성인식기반의 xr 콘텐츠 또는 메타버스 콘텐츠 서비스에서 이용자간 소통시스템 | |
Kram | System models for digital performance | |
Charitos et al. | Tracing the Impact of the Digital Virtual Ludic on Immersive Theatre: A Case of Theatre Gamification | |
Le Prado et al. | Design process for interactive sound installations: the designer, the interactor and the system. | |
Cardone | The performative role of the body in gamified vision and VR | |
Heaton | Narrative presence in virtual reality experiences |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19991026 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071112 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081112 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091112 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091112 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101112 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121112 Year of fee payment: 13 |
|
LAPS | Cancellation because of no payment of annual fees |