JP3002136B2 - 感情変換装置 - Google Patents
感情変換装置Info
- Publication number
- JP3002136B2 JP3002136B2 JP8206909A JP20690996A JP3002136B2 JP 3002136 B2 JP3002136 B2 JP 3002136B2 JP 8206909 A JP8206909 A JP 8206909A JP 20690996 A JP20690996 A JP 20690996A JP 3002136 B2 JP3002136 B2 JP 3002136B2
- Authority
- JP
- Japan
- Prior art keywords
- emotion
- recognition
- response
- unit
- conversion device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【発明の属する技術分野】この発明は感情変換装置に関
し、特に、人間の音声に含まれる感情に反応して動作す
るコンピュータキャラクタの構成法に関するものであ
り、応用分野として、人間にとって使い易いコンピュー
タを作り出そうとするヒューマンインタフェースの分野
や、人間とインタラクションできる機械を用いて娯楽を
提供しようとするアミューズメント，エンタティメント
の分野さらには人間とインタラクションできる新しいア
ートを創造しようとするインタラクティブアートの分野
などに用いられるような感情変換装置に関する。
し、特に、人間の音声に含まれる感情に反応して動作す
るコンピュータキャラクタの構成法に関するものであ
り、応用分野として、人間にとって使い易いコンピュー
タを作り出そうとするヒューマンインタフェースの分野
や、人間とインタラクションできる機械を用いて娯楽を
提供しようとするアミューズメント，エンタティメント
の分野さらには人間とインタラクションできる新しいア
ートを創造しようとするインタラクティブアートの分野
などに用いられるような感情変換装置に関する。
【０００２】
【従来の技術】人間のように振る舞い、人間とインタラ
クションできる機械を作り出そうというのは人間の長い
間の夢であった。昔からからくり人形，操り人形などの
形でそれを実現する技術が追求されてきた。現代に入っ
てロボットの概念が導入されるとともに、それはさらに
現実味を帯びてきた。日本における「鉄腕アトム」はそ
の代表例であろう。
クションできる機械を作り出そうというのは人間の長い
間の夢であった。昔からからくり人形，操り人形などの
形でそれを実現する技術が追求されてきた。現代に入っ
てロボットの概念が導入されるとともに、それはさらに
現実味を帯びてきた。日本における「鉄腕アトム」はそ
の代表例であろう。
【０００３】１９７０年代から、コンピュータ科学の分
野で人工知能の研究が盛んになってきたのも、この夢を
実現しようとする意欲の現れである。人工知能の分野で
は、人間の知能をソフトウェア／ハードウェアで代行さ
せることを狙っている。そして、そのようなソフトウェ
ア／ハードウェアをコンピュータに組込むことによっ
て、人間にとって使い易いコンピュータを作り出すこと
を狙っている。
野で人工知能の研究が盛んになってきたのも、この夢を
実現しようとする意欲の現れである。人工知能の分野で
は、人間の知能をソフトウェア／ハードウェアで代行さ
せることを狙っている。そして、そのようなソフトウェ
ア／ハードウェアをコンピュータに組込むことによっ
て、人間にとって使い易いコンピュータを作り出すこと
を狙っている。
【０００４】これらの研究の結果、人間とインタラクシ
ョンするための基本機能が開発されつつある。しかしな
がら、それと同時に、技術の発展とともに人間同士のコ
ミュニケーションやインタラクションでは感情のやり取
りが基本的な機能を果たしていることが認識され始め
た。その結果、人間とインタラクションできるコンピュ
ータキャラクタに感情の認識機能を持たせようとする研
究が開始され始めた。その一例として、「音声に反応す
る表情合成システム「ニューロベビー」（情報処理学会
第４４回（平成４年前期）全国大会４Ｎ−９）」に発表
されたものがある。
ョンするための基本機能が開発されつつある。しかしな
がら、それと同時に、技術の発展とともに人間同士のコ
ミュニケーションやインタラクションでは感情のやり取
りが基本的な機能を果たしていることが認識され始め
た。その結果、人間とインタラクションできるコンピュ
ータキャラクタに感情の認識機能を持たせようとする研
究が開始され始めた。その一例として、「音声に反応す
る表情合成システム「ニューロベビー」（情報処理学会
第４４回（平成４年前期）全国大会４Ｎ−９）」に発表
されたものがある。
【０００５】図５は上述の文献に記載された構成を示す
図である。このシステムは、人間の音声に含まれる感情
を認識する感情認識部１と、認識された感情に対応する
キャラクタの反応を生成する反応パターン生成部２とか
ら構成されている。そして、このシステムは、入力音声
が感情認識部１に入力され、感情の認識が行なわれる。
次に認識された感情（以下、認識感情と称する）が反応
パターン生成部２に与えられる。反応パターン生成部２
では、認識感情の個々に応じて予め生成すべき反応パタ
ーンが設定されている。この反応パターンは、たとえば
人間が話しかけたときそれに反応するコンピュータキャ
ラクタの顔の表情パターンであったり、動作パターンで
あったりする。認識感情が入力されると、反応パターン
生成部２では、このような反応パターンがコンピュータ
グラフィックス技術などを用いて生成される。生成され
た結果はディスプレイなどに表示される。したがって、
たとえばユーザがコンピュータのディスプレイに表示さ
れているキャラクタに話しかけると、声に含まれる感情
が認識され、感情に応じてコンピュータキャラクタの反
応パターンが変化するので、ユーザはコンピュータキャ
ラクタとのインタラクションを楽しむことができる。
図である。このシステムは、人間の音声に含まれる感情
を認識する感情認識部１と、認識された感情に対応する
キャラクタの反応を生成する反応パターン生成部２とか
ら構成されている。そして、このシステムは、入力音声
が感情認識部１に入力され、感情の認識が行なわれる。
次に認識された感情（以下、認識感情と称する）が反応
パターン生成部２に与えられる。反応パターン生成部２
では、認識感情の個々に応じて予め生成すべき反応パタ
ーンが設定されている。この反応パターンは、たとえば
人間が話しかけたときそれに反応するコンピュータキャ
ラクタの顔の表情パターンであったり、動作パターンで
あったりする。認識感情が入力されると、反応パターン
生成部２では、このような反応パターンがコンピュータ
グラフィックス技術などを用いて生成される。生成され
た結果はディスプレイなどに表示される。したがって、
たとえばユーザがコンピュータのディスプレイに表示さ
れているキャラクタに話しかけると、声に含まれる感情
が認識され、感情に応じてコンピュータキャラクタの反
応パターンが変化するので、ユーザはコンピュータキャ
ラクタとのインタラクションを楽しむことができる。
【０００６】
【発明が解決しようとする課題】上述のシステムは、人
間と感情でのインタラクションが可能なコンピュータキ
ャラクタの開発という意味では意義があるが、以下に述
べるような欠点があった。すなわち、感情認識結果（認
識感情）が直接１対１に反応パターンに対応付けられて
いることにある。このような手段を取っているため、同
じ感情に対しはキャラクタは同じ反応パターンでしか反
応しない。すなわち、同じ調子の話しかけに対しては同
じ反応しか返ってこないため、インタラクションが単調
になる。その結果としてユーザがすぐにこのようなキャ
ラクタとインタラクションすることに飽きてしまうとい
う欠点がある。このことは人間同士のコミュニケーショ
ンを例に取って考えるとわかりやすい。人間同士の場合
は同じ感情で話しかけても、場合によって異なる反応が
返ってくる。これはコミュニケーションの状況や話しか
けられた相手の性格によって反応が異なるからである。
別の言葉で言えば、場合によって異なる反応が返ってく
ることが人間同士のコミュニケーションを人間らしくし
ている理由である。
間と感情でのインタラクションが可能なコンピュータキ
ャラクタの開発という意味では意義があるが、以下に述
べるような欠点があった。すなわち、感情認識結果（認
識感情）が直接１対１に反応パターンに対応付けられて
いることにある。このような手段を取っているため、同
じ感情に対しはキャラクタは同じ反応パターンでしか反
応しない。すなわち、同じ調子の話しかけに対しては同
じ反応しか返ってこないため、インタラクションが単調
になる。その結果としてユーザがすぐにこのようなキャ
ラクタとインタラクションすることに飽きてしまうとい
う欠点がある。このことは人間同士のコミュニケーショ
ンを例に取って考えるとわかりやすい。人間同士の場合
は同じ感情で話しかけても、場合によって異なる反応が
返ってくる。これはコミュニケーションの状況や話しか
けられた相手の性格によって反応が異なるからである。
別の言葉で言えば、場合によって異なる反応が返ってく
ることが人間同士のコミュニケーションを人間らしくし
ている理由である。
【０００７】これに対して、従来の技術はいわば認識結
果を単にキャラクタの表情の形で表示しているにすぎな
い。したがって、人間とのインタラクションが可能なキ
ャラクタの感情反応機能としては不十分なレベルに留ま
っていた。
果を単にキャラクタの表情の形で表示しているにすぎな
い。したがって、人間とのインタラクションが可能なキ
ャラクタの感情反応機能としては不十分なレベルに留ま
っていた。
【０００８】それゆえに、この発明の主たる目的は、人
間と同様に状況に応じた応答パターンを生成できるよう
な感情変換装置を提供することである。
間と同様に状況に応じた応答パターンを生成できるよう
な感情変換装置を提供することである。
【０００９】
【課題を解決するための手段】請求項１に係る発明は、
入力された音声を感情に変換する感情変換装置であっ
て、入力された音声に含まれる感情を認識する感情認識
手段と、認識された認識感情をそれと同一かもしくは異
なる空間配置を有する応答感情に変換する感情変換手段
と、応答感情に対応した反応パターンを生成する反応パ
ターン生成手段とを備えて構成される。
入力された音声を感情に変換する感情変換装置であっ
て、入力された音声に含まれる感情を認識する感情認識
手段と、認識された認識感情をそれと同一かもしくは異
なる空間配置を有する応答感情に変換する感情変換手段
と、応答感情に対応した反応パターンを生成する反応パ
ターン生成手段とを備えて構成される。
【００１０】請求項２に係る発明では、請求項１の感情
変換手段は、学習機能を有する写像関数を有し、認識感
情を応答感情に写像する。
変換手段は、学習機能を有する写像関数を有し、認識感
情を応答感情に写像する。
【００１１】請求項３に係る発明では、請求項１の感情
変換手段は、乱数を発生して認識感情を応答感情に不確
定に写像する。
変換手段は、乱数を発生して認識感情を応答感情に不確
定に写像する。
【００１２】請求項４に係る発明では、請求項１の感情
認識手段は、入力された音声からその特徴量を抽出する
特徴抽出手段と、抽出された特徴量から感情を識別する
ための感情識別手段とを含む。
認識手段は、入力された音声からその特徴量を抽出する
特徴抽出手段と、抽出された特徴量から感情を識別する
ための感情識別手段とを含む。
【００１３】
【発明の実施の形態】図１はこの発明の一実施形態の概
略ブロック図であり、図２は図１に示した感情認識部の
具体例を示すブロック図である。
略ブロック図であり、図２は図１に示した感情認識部の
具体例を示すブロック図である。
【００１４】図１において、前述の図５に示した感情認
識部１と反応パターン生成部２との間に感情変換部３が
新たに設けられる。感情認識部１は図２に示すように、
音声特徴抽出部１１と感情識別部１２とから構成され
る。音声特徴抽出部１１は入力音声からその特徴量を抽
出する。音声の特徴量としては、種々のものが考えられ
るが、要するに感情を認識しやすい特徴量を用いればよ
い。たとえば、その一例として前述の文献に述べられて
いる特徴を用いる方式が考えられる。
識部１と反応パターン生成部２との間に感情変換部３が
新たに設けられる。感情認識部１は図２に示すように、
音声特徴抽出部１１と感情識別部１２とから構成され
る。音声特徴抽出部１１は入力音声からその特徴量を抽
出する。音声の特徴量としては、種々のものが考えられ
るが、要するに感情を認識しやすい特徴量を用いればよ
い。たとえば、その一例として前述の文献に述べられて
いる特徴を用いる方式が考えられる。
【００１５】音声特徴抽出部１１で抽出された音声特徴
は感情識別部１２に入力され、感情が認識される。感情
認識の方法としては種々考えられる。その一例として、
上述の文献ではニューラルネットを用いる方法が提案さ
れている。この他にも隠れマルコフモデルを用いる方法
も考えられる。要するに、感情の認識が可能な適当な手
法を用いればよいわけであって、特に限定されるもので
はない。認識された感情をＥとし、予め定められた感情
をＮ個とすると、ＥはＮ個の実数値よりなるベクトル Ｅ＝（ｅ1 ，ｅ2 ，…，ｅN ） として表現される。
は感情識別部１２に入力され、感情が認識される。感情
認識の方法としては種々考えられる。その一例として、
上述の文献ではニューラルネットを用いる方法が提案さ
れている。この他にも隠れマルコフモデルを用いる方法
も考えられる。要するに、感情の認識が可能な適当な手
法を用いればよいわけであって、特に限定されるもので
はない。認識された感情をＥとし、予め定められた感情
をＮ個とすると、ＥはＮ個の実数値よりなるベクトル Ｅ＝（ｅ1 ，ｅ2 ，…，ｅN ） として表現される。
【００１６】上述のＥは図１に示した感情変換部３に与
えられる。感情変換部３はＥを反応感情Ｒに変換する機
能を持ち、この発明の特徴部分となる。Ｅが入力音声に
含まれる感情、すなわちコンピュータキャラクタに話し
かける人間の音声に含まれる感情であるのに対し、Ｒは
それを聞いたコンピュータキャラクタが感じる感情であ
るということができる。Ｅから直接キャラクタの反応パ
ターンを生成する従来の技術に比較して、ＥをＲに変換
してから反応パターンを生成することは、人間が相手の
感情を受取ることによって自分自身の感情を生成する仕
組みを模擬しており、より人間同士のコミュニケーショ
ンに近い状況を実現していることになる。
えられる。感情変換部３はＥを反応感情Ｒに変換する機
能を持ち、この発明の特徴部分となる。Ｅが入力音声に
含まれる感情、すなわちコンピュータキャラクタに話し
かける人間の音声に含まれる感情であるのに対し、Ｒは
それを聞いたコンピュータキャラクタが感じる感情であ
るということができる。Ｅから直接キャラクタの反応パ
ターンを生成する従来の技術に比較して、ＥをＲに変換
してから反応パターンを生成することは、人間が相手の
感情を受取ることによって自分自身の感情を生成する仕
組みを模擬しており、より人間同士のコミュニケーショ
ンに近い状況を実現していることになる。
【００１７】感情変換部３の具体例として、学習機能を
有する写像関数を有し、認識感情を応答感情に写像する
ことが考えられる。その変換関数は予め与えられた学習
データを用いて学習データにチューンする機能を持つも
のとする。このような機能を持つ変換関数は種々考えら
れるが、一例としてニューラルネットを用いる方式が考
えられる。
有する写像関数を有し、認識感情を応答感情に写像する
ことが考えられる。その変換関数は予め与えられた学習
データを用いて学習データにチューンする機能を持つも
のとする。このような機能を持つ変換関数は種々考えら
れるが、一例としてニューラルネットを用いる方式が考
えられる。
【００１８】図３はそのようなニューラルネットを示す
ブロック図である。図３において、入力部３１にＥが与
えられると、ニューラルネット３２を通すことによっ
て、出力部３３にＲが得られる。ＲはＭ個の実数値より
なるベクトル Ｒ＝（ｒ1 ，ｒ2 ，…，ｒM ） として表現される。ニューラルネット３２の各枝の重み
は予め学習データを用いた学習によって学習データにチ
ューンさせておく。
ブロック図である。図３において、入力部３１にＥが与
えられると、ニューラルネット３２を通すことによっ
て、出力部３３にＲが得られる。ＲはＭ個の実数値より
なるベクトル Ｒ＝（ｒ1 ，ｒ2 ，…，ｒM ） として表現される。ニューラルネット３２の各枝の重み
は予め学習データを用いた学習によって学習データにチ
ューンさせておく。
【００１９】次に、感情変換部３に学習を行なわせる効
果について説明する。先に述べたように、人間は相手の
感情そのものに対応した反応をするのではなく、相手の
感情によって自分の内部に生じた感情に基づいて反応す
るわけであり、それが人間らしいコミュニケーションの
基礎となっている。したがって、そのような状況を踏ま
えた学習データの組（Ｅ1 ，Ｒ1 ），（Ｅ2 ，Ｒ2 ），
…を予め用意しておけばよい。
果について説明する。先に述べたように、人間は相手の
感情そのものに対応した反応をするのではなく、相手の
感情によって自分の内部に生じた感情に基づいて反応す
るわけであり、それが人間らしいコミュニケーションの
基礎となっている。したがって、そのような状況を踏ま
えた学習データの組（Ｅ1 ，Ｒ1 ），（Ｅ2 ，Ｒ2 ），
…を予め用意しておけばよい。
【００２０】具体的には、たとえば人間同士のコミュニ
ケーションの様子を観察しておき、ある話者が感情Ｅi
を表出したとき、それに応じて相手が表出した感情Ｒi
によって１組の（Ｅi ，Ｒi ）が求められる。当然、こ
れは話者の個性，人種，さらには話の内容によって異な
ると考えられるため、実際にコンピュータキャラクタが
用いられる場面に応じた学習データを用意しておくこと
によって、種々の状況に適したコンピュータキャラクタ
の反応を決定することができる。
ケーションの様子を観察しておき、ある話者が感情Ｅi
を表出したとき、それに応じて相手が表出した感情Ｒi
によって１組の（Ｅi ，Ｒi ）が求められる。当然、こ
れは話者の個性，人種，さらには話の内容によって異な
ると考えられるため、実際にコンピュータキャラクタが
用いられる場面に応じた学習データを用意しておくこと
によって、種々の状況に適したコンピュータキャラクタ
の反応を決定することができる。
【００２１】図４は感情変換部のその他の例を示すブロ
ック図である。図４において、感情変換部３０は入力部
３４と乱数発生部３５とランダム変換部３６と出力部３
７とから構成される。乱数発生部３５は乱数を生成する
ものであって、入力部３４にＥが与えられると、乱数発
生部３４で生成された乱数を用いて、ランダム変換部３
６はＥをＲにランダムに変換する。このような機能を有
することによって、認識感情が常に一意に反応感情に対
応付けられるのではなくランダムに変化するため、人間
から見ると常に反応パターンが変化しているように見
え、機械的な対応をしているという感覚を持つことがな
くなるという利点がある。
ック図である。図４において、感情変換部３０は入力部
３４と乱数発生部３５とランダム変換部３６と出力部３
７とから構成される。乱数発生部３５は乱数を生成する
ものであって、入力部３４にＥが与えられると、乱数発
生部３４で生成された乱数を用いて、ランダム変換部３
６はＥをＲにランダムに変換する。このような機能を有
することによって、認識感情が常に一意に反応感情に対
応付けられるのではなくランダムに変化するため、人間
から見ると常に反応パターンが変化しているように見
え、機械的な対応をしているという感覚を持つことがな
くなるという利点がある。
【００２２】図１に示した反応パターン生成部２は反応
感情Ｒに基づいて、コンピュータキャラクタの表情，動
作などの反応パターンをコンピュータグラフィックスな
どの手法を用いて生成する。その具体的な手法は種々考
えられるが、一例として反応感情ｒ1 ，ｒ2 ，ｒ3 ，
…，ｒM のそれぞれに対応して典型的な反応パターンｐ
1 ，ｐ2 ，ｐ3 ，…，ｐM を用意しておくことが考えら
れる。具体的な生成方法としては、ｒ1 ，ｒ2 ，ｒ3 ，
…，ｒM の最大値ｒi を求め、それに対応したｐ i をキ
ャラクタの反応パターンとして表示する方式や、ｒ1 ，
ｒ2 ，ｒ3 ，…，ｒM の実数値をそのまま用いて、
ｐ1 ，ｐ2 ，ｐ3 ，…，ｐM の補間を行ない、求められ
た反応パターンを表示する方式などが考えられる。要
は、Ｒに基づいてコンピュータキャラクタの反応パター
ンを生成できればよい。
感情Ｒに基づいて、コンピュータキャラクタの表情，動
作などの反応パターンをコンピュータグラフィックスな
どの手法を用いて生成する。その具体的な手法は種々考
えられるが、一例として反応感情ｒ1 ，ｒ2 ，ｒ3 ，
…，ｒM のそれぞれに対応して典型的な反応パターンｐ
1 ，ｐ2 ，ｐ3 ，…，ｐM を用意しておくことが考えら
れる。具体的な生成方法としては、ｒ1 ，ｒ2 ，ｒ3 ，
…，ｒM の最大値ｒi を求め、それに対応したｐ i をキ
ャラクタの反応パターンとして表示する方式や、ｒ1 ，
ｒ2 ，ｒ3 ，…，ｒM の実数値をそのまま用いて、
ｐ1 ，ｐ2 ，ｐ3 ，…，ｐM の補間を行ない、求められ
た反応パターンを表示する方式などが考えられる。要
は、Ｒに基づいてコンピュータキャラクタの反応パター
ンを生成できればよい。
【００２３】また、この発明では、認識感情をそのまま
反応感情とするようにしてもよい。これは、Ｎ＝Ｍと
し、かつ常にｅi がｒi に対応するように設定すればい
いわけであって、これらはニューラルネットの機能の中
に含まれる。
反応感情とするようにしてもよい。これは、Ｎ＝Ｍと
し、かつ常にｅi がｒi に対応するように設定すればい
いわけであって、これらはニューラルネットの機能の中
に含まれる。
【００２４】
【発明の効果】以上のように、この発明によれば、入力
された音声に含まれる感情を認識した後、コンピュータ
キャラクタの反応感情に変換し、その結果によって反応
パターンを生成するようにしたので、入力の音声に含ま
れる感情に直接対応した反応パターンを生成するという
従来に比べて、入力音声に含まれる感情をコンピュータ
キャラクタの感情に変換した後、コンピュータキャラク
タの感情に応じた反応パターンを生成しているがゆえ
に、人間同士のコミュニケーションと同様の現象が人間
とコンピュータキャラクタの間に生じることになる。こ
れにより、従来の機械的なコンピュータキャラクタの反
応がより人間的になり、ひいては人間から見ると人間的
で付き合いやすいコンピュータキャラクタと感ずること
ができる。このようなコンピュータキャラクタは、優れ
たヒューマンインタフェースの実現，アミューズメント
やエンタティメントの分野で大きな役割を果たすことが
できる。
された音声に含まれる感情を認識した後、コンピュータ
キャラクタの反応感情に変換し、その結果によって反応
パターンを生成するようにしたので、入力の音声に含ま
れる感情に直接対応した反応パターンを生成するという
従来に比べて、入力音声に含まれる感情をコンピュータ
キャラクタの感情に変換した後、コンピュータキャラク
タの感情に応じた反応パターンを生成しているがゆえ
に、人間同士のコミュニケーションと同様の現象が人間
とコンピュータキャラクタの間に生じることになる。こ
れにより、従来の機械的なコンピュータキャラクタの反
応がより人間的になり、ひいては人間から見ると人間的
で付き合いやすいコンピュータキャラクタと感ずること
ができる。このようなコンピュータキャラクタは、優れ
たヒューマンインタフェースの実現，アミューズメント
やエンタティメントの分野で大きな役割を果たすことが
できる。
【図１】この発明の一実施形態の概略ブロック図であ
る。
る。
【図２】図１に示した感情認識部の具体例を示すブロッ
ク図である。
ク図である。
【図３】図１に示した感情変換部の具体例を示すブロッ
ク図である。
ク図である。
【図４】図１に示した感情変換部の他の例を示すブロッ
ク図である。
ク図である。
【図５】従来の感情認識装置を示す概略ブロック図であ
る。
る。
１ 感情認識部 ２ 反応パターン生成部 ３ 感情変換部 １１ 音声特徴抽出部 １２ 感情識別部 ３１，３４ 入力部 ３２ ニューラルネット部 ３３，３７ 出力部 ３５ 乱数発生部 ３６ ランダム変換部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 葉原 耕平 京都府相楽郡精華町大字乾谷小字三平谷 ５番地 株式会社エイ・ティ・アール知 能映像通信研究所内 (56)参考文献 特開 平９−22296（ＪＰ，Ａ) 特開 平７−72900（ＪＰ，Ａ) 特開 平８−339446（ＪＰ，Ａ) 特開 平６−67601（ＪＰ，Ａ) 特開 平８−329269（ＪＰ，Ａ) 特開 平８−318053（ＪＰ，Ａ) 特開 平５−12023（ＪＰ，Ａ) 特開 平４−240468（ＪＰ，Ａ) 特開 平６−327842（ＪＰ，Ａ) 特開 平６−175689（ＪＰ，Ａ) 特開 平６−142342（ＪＰ，Ａ) 情報処理学会第44回（平成４年前期) 全国大会講演論文集（２），４Ｎ−９, 柿本他『音声に反応する表情合成システ ム「ニューロベビー」』ｐ．２−383〜 ２−384，（平成４年３月31日特許庁資 料館受入) 電子情報通信学会技術研究報告［教育 工学］Ｖｏｌ．94，Ｎｏ．425，ＥＴ94 −105，白浜他「主観的観測による感情 に関する対話システム」ｐ．17−24 （1994年12月発行) 日本機械学会第72期全国大会講演論文 集（▲Ｖ▼），2605，福田他「音声にお ける感情理解」，ｐ．141−143，（1994 ／８／17) 電子情報通信学会技術研究報告［ヒュ ーマンコミュニケーション］Ｖｏｌ. 95，Ｎｏ．522，ＨＣＳ95−27，川上他 「３次元感情モデルに基づく表情分析・ 合成システムの構築」ｐ．７−14（1996 年３月発行) Ｍｅｔｈｏｄｏｌｏｇｉｅｓ ｆｏｒ ｔｈｅ Ｃｏｎｃｅｐｔｉｏｎ，Ｄｅ ｓｉｇｎ ａｎｄ Ａｐｐｌｉｃａｔｉ ｏｎ ｏｆ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ，Ｐｒｏｃｅｅｄｉｎｇ ｓ ｏｆ ＩＩＺＵＫＡ’96 Ｖｏｌ. ２，Ｓｈｉｒａｈａｍａ ｅｔ ａ ｌ，”Ａ Ｈｕｍａｎ Ｃｏｇｎｉｔｉ ｖｅ Ｍｏｄｅｌ ｂａｓｅｄ ｏｎ Ｍａｐｐｉｎｇ Ｆｕｎｃｔｉｏｎ−Ａ ｎ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｅ ｍｏｔｉｏｎ Ｐｒｏｃｓｓｉｎｇ −”，ｐ．790−793，1996 画像ラボ，第８巻，第４号，中津「ア ートと工学の融合をめざした画像・音声 処理 人間と自然なコミュニケーション の出来るコンピュータの実現に向け て」，ｐ．28−31，1997年４月 1997年情報学シンポジウム講演論文 集，土佐他「感情に反応するインタラク ティブ・アクターと物語の生成」，ｐ. 109−113，1997年１月 日本バーチャルリアリティ学会論文 集，Ｖｏｌ．２，Ｎｏ．１，1997，土佐 他「感情に反応する自律型バーチャルア クターと仮想世界の生成」，ｐ，11−18 (58)調査した分野(Int.Cl.7，ＤＢ名) G10L 3/00 - 9/20 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (4)
- 【請求項１】 入力された音声を感情に変換する感情変
換装置であって、 前記入力された音声に含まれる感情を認識する感情認識
手段、 前記感情認識手段によって認識された認識感情をそれと
同一かもしくは異なる空間配置を有する応答感情に変換
する感情変換手段、および前記感情変換手段によって変
換された応答感情に対応した反応パターンを生成する反
応パターン生成手段を備えた、感情変換装置。 - 【請求項２】 前記感情変換手段は、学習機能を有する
写像関数を有し、認識感情を応答感情に写像することを
特徴とする、請求項１の感情変換装置。 - 【請求項３】 前記感情変換手段は、乱数を発生し、認
識感情を応答感情に不確定に写像することを特徴とす
る、請求項１の感情変換装置。 - 【請求項４】 前記感情認識手段は、 前記入力された音声からその特徴量を抽出する特徴抽出
手段、および前記特徴抽出手段によって抽出された特徴
量から感情を識別するための感情識別手段を含むことを
特徴とする、請求項１の感情変換装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8206909A JP3002136B2 (ja) | 1996-08-06 | 1996-08-06 | 感情変換装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8206909A JP3002136B2 (ja) | 1996-08-06 | 1996-08-06 | 感情変換装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1049188A JPH1049188A (ja) | 1998-02-20 |
| JP3002136B2 true JP3002136B2 (ja) | 2000-01-24 |
Family
ID=16531091
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8206909A Expired - Fee Related JP3002136B2 (ja) | 1996-08-06 | 1996-08-06 | 感情変換装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3002136B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107243905A (zh) * | 2017-06-28 | 2017-10-13 | 重庆柚瓣科技有限公司 | 基于养老机器人的情绪自适应系统 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3159242B2 (ja) | 1997-03-13 | 2001-04-23 | 日本電気株式会社 | 感情生成装置およびその方法 |
| JP3792882B2 (ja) * | 1998-03-17 | 2006-07-05 | 株式会社東芝 | 感情生成装置及び感情生成方法 |
| JP4661074B2 (ja) | 2004-04-07 | 2011-03-30 | ソニー株式会社 | 情報処理システム、情報処理方法、並びにロボット装置 |
| JP2005352154A (ja) * | 2004-06-10 | 2005-12-22 | National Institute Of Information & Communication Technology | 感情状態反応動作装置 |
| JP2006178063A (ja) * | 2004-12-21 | 2006-07-06 | Toyota Central Res & Dev Lab Inc | 対話処理装置 |
| JP2014219594A (ja) * | 2013-05-09 | 2014-11-20 | ソフトバンクモバイル株式会社 | 会話処理システム及びプログラム |
| CN113555027B (zh) * | 2021-07-26 | 2024-02-13 | 平安科技（深圳）有限公司 | 语音情感转换方法、装置、计算机设备及存储介质 |
-
1996
- 1996-08-06 JP JP8206909A patent/JP3002136B2/ja not_active Expired - Fee Related
Non-Patent Citations (8)
| Title |
|---|
| １９９７年情報学シンポジウム講演論文集，土佐他「感情に反応するインタラクティブ・アクターと物語の生成」，ｐ．１０９−１１３，１９９７年１月 |
| Ｍｅｔｈｏｄｏｌｏｇｉｅｓ ｆｏｒ ｔｈｅ Ｃｏｎｃｅｐｔｉｏｎ，Ｄｅｓｉｇｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎ ｏｆ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＩＺＵＫＡ’９６ Ｖｏｌ．２，Ｓｈｉｒａｈａｍａ ｅｔ ａｌ，"Ａ Ｈｕｍａｎ Ｃｏｇｎｉｔｉｖｅ Ｍｏｄｅｌ ｂａｓｅｄ ｏｎ Ｍａｐｐｉｎｇ Ｆｕｎｃｔｉｏｎ−Ａｎ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｅｍｏｔｉｏｎ Ｐｒｏｃｓｓｉｎｇ−"，ｐ．７９０−７９３，１９９６ |
| 情報処理学会第４４回（平成４年前期）全国大会講演論文集（２），４Ｎ−９，柿本他『音声に反応する表情合成システム「ニューロベビー」』ｐ．２−３８３〜２−３８４，（平成４年３月３１日特許庁資料館受入） |
| 日本バーチャルリアリティ学会論文集，Ｖｏｌ．２，Ｎｏ．１，１９９７，土佐他「感情に反応する自律型バーチャルアクターと仮想世界の生成」，ｐ，１１−１８ |
| 日本機械学会第７２期全国大会講演論文集（▲Ｖ▼），２６０５，福田他「音声における感情理解」，ｐ．１４１−１４３，（１９９４／８／１７） |
| 画像ラボ，第８巻，第４号，中津「アートと工学の融合をめざした画像・音声処理 人間と自然なコミュニケーションの出来るコンピュータの実現に向けて」，ｐ．２８−３１，１９９７年４月 |
| 電子情報通信学会技術研究報告［ヒューマンコミュニケーション］Ｖｏｌ．９５，Ｎｏ．５２２，ＨＣＳ９５−２７，川上他「３次元感情モデルに基づく表情分析・合成システムの構築」ｐ．７−１４（１９９６年３月発行） |
| 電子情報通信学会技術研究報告［教育工学］Ｖｏｌ．９４，Ｎｏ．４２５，ＥＴ９４−１０５，白浜他「主観的観測による感情に関する対話システム」ｐ．１７−２４（１９９４年１２月発行） |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107243905A (zh) * | 2017-06-28 | 2017-10-13 | 重庆柚瓣科技有限公司 | 基于养老机器人的情绪自适应系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1049188A (ja) | 1998-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Camurri et al. | An architecture for emotional agents | |
| Rokeby | Transforming mirrors | |
| Rickel et al. | Toward a new generation of virtual humans for interactive experiences | |
| Manninen | Rich interaction model for game and virtual environment design | |
| Sherman et al. | Literacy in virtual reality: a new medium | |
| Gupta et al. | Investigating roleplaying and identity transformation in a virtual reality narrative experience | |
| JP3002136B2 (ja) | 感情変換装置 | |
| Roquet | The immersive enclosure: Virtual reality in Japan | |
| Davidson | Ontological shifts: Multi-sensoriality and embodiment in a third wave of digital interfaces | |
| Doma | EEG as an input for virtual reality | |
| Zamboni et al. | Expressive Elements of Lifelike Machines | |
| Nishida et al. | Synthetic evidential study as augmented collective thought process–preliminary report | |
| CN115081488A (zh) | 一种基于全息投影技术的场景控制方法 | |
| Posada et al. | A socio-constructionist environment to create stories using tangible interfaces | |
| Nakatsu et al. | Toward the realization of interactive movies-inter communication theater: concept and system | |
| Kal et al. | Educational Virtual Reality Game Design for Film and Animation | |
| Bell | Participatory art and computers: identifying, analysing and composing the characteristics of works of participatory art that use computer technology | |
| Wu et al. | Through the Eyes of Women in Engineering | |
| Gwynne | Co-Creating with the Senses: Towards an Embodiment Grammar for Conceptualising Virtual Reality (VR) Narrative Design | |
| KR102458703B1 (ko) | 음성인식기반의 xr 콘텐츠 또는 메타버스 콘텐츠 서비스에서 이용자간 소통시스템 | |
| Kram | System models for digital performance | |
| Charitos et al. | Tracing the Impact of the Digital Virtual Ludic on Immersive Theatre: A Case of Theatre Gamification | |
| Le Prado et al. | Design process for interactive sound installations: the designer, the interactor and the system. | |
| Cardone | The performative role of the body in gamified vision and VR | |
| Heaton | Narrative presence in virtual reality experiences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19991026 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071112 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081112 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091112 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091112 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101112 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121112 Year of fee payment: 13 |
|
| LAPS | Cancellation because of no payment of annual fees |