JP2960029B2 - 発表支援装置 - Google Patents
発表支援装置Info
- Publication number
- JP2960029B2 JP2960029B2 JP5340297A JP5340297A JP2960029B2 JP 2960029 B2 JP2960029 B2 JP 2960029B2 JP 5340297 A JP5340297 A JP 5340297A JP 5340297 A JP5340297 A JP 5340297A JP 2960029 B2 JP2960029 B2 JP 2960029B2
- Authority
- JP
- Japan
- Prior art keywords
- presenter
- presentation
- unit
- support device
- recognizing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
- Controls And Circuits For Display Device (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
【０００１】
【発明の属する技術分野】この発明は発表支援装置に関
し、特に、学会や講演会などでの発表時に発表すべき内
容と同時に、発表者自身がどのような精神状態にあるの
かを発表者に表示できるような発表支援装置に関する。
し、特に、学会や講演会などでの発表時に発表すべき内
容と同時に、発表者自身がどのような精神状態にあるの
かを発表者に表示できるような発表支援装置に関する。
【０００２】
【従来の技術】学会や講演会などで講演をスムーズに進
行させることを支援する装置として、従来より一般に
「プロンプタ」と呼ばれる装置が用いられている。図４
はそのような構成を示すブロック図である。図４におい
て、プロンプタは発表内容生成部１と表示部２とから構
成されている。発表内容生成部１は、予め講演内容や発
表内容を生成するものであって、発表時に講演の内容が
順次表示部２に表示される。
行させることを支援する装置として、従来より一般に
「プロンプタ」と呼ばれる装置が用いられている。図４
はそのような構成を示すブロック図である。図４におい
て、プロンプタは発表内容生成部１と表示部２とから構
成されている。発表内容生成部１は、予め講演内容や発
表内容を生成するものであって、発表時に講演の内容が
順次表示部２に表示される。
【０００３】図５は従来のプロンプタを使用して講演を
行なうときの模式図である。表示部２は半透明型となっ
ており、講演者からは発表内容が見えるが、聴衆からは
それは見えないようになっている。したがって、聴取者
は講演者があたかも彼らに向かって原稿などを用いずに
直接彼らに向かって話しかけているかのように感じら
れ、講演者と聴衆の一体感を得ることができる。
行なうときの模式図である。表示部２は半透明型となっ
ており、講演者からは発表内容が見えるが、聴衆からは
それは見えないようになっている。したがって、聴取者
は講演者があたかも彼らに向かって原稿などを用いずに
直接彼らに向かって話しかけているかのように感じら
れ、講演者と聴衆の一体感を得ることができる。
【０００４】
【発明が解決しようとする課題】一方、従来の装置で
は、講演者は聴衆の反応を見ることはできるが、自分自
身がどのように聴衆に見られているのかに関するモニタ
機能が欠けていた。たとえば、聴衆の反応が好意的でな
いような場合、聴衆が興味を持って聞いてくれていない
と感じる場合が往々にして生じる。これらの場合、それ
が、たとえば声が上擦っていることによって生じている
のか、あるいは話す速度が速すぎて聴衆に理解されない
ためなのかなどをフィードバックする機能に欠けてい
た。
は、講演者は聴衆の反応を見ることはできるが、自分自
身がどのように聴衆に見られているのかに関するモニタ
機能が欠けていた。たとえば、聴衆の反応が好意的でな
いような場合、聴衆が興味を持って聞いてくれていない
と感じる場合が往々にして生じる。これらの場合、それ
が、たとえば声が上擦っていることによって生じている
のか、あるいは話す速度が速すぎて聴衆に理解されない
ためなのかなどをフィードバックする機能に欠けてい
た。
【０００５】それゆえに、この発明の主たる目的は、常
に発表者自身が観客にどのように見えているのかを表示
することによって、講演者自身が自分の講演状況を把握
し、それに対処することを可能とすることによって、講
演の内容を改善し、もって常によいプレゼンテーション
を可能にできるような発表支援装置を提供することであ
る。
に発表者自身が観客にどのように見えているのかを表示
することによって、講演者自身が自分の講演状況を把握
し、それに対処することを可能とすることによって、講
演の内容を改善し、もって常によいプレゼンテーション
を可能にできるような発表支援装置を提供することであ
る。
【０００６】
【課題を解決するための手段】請求項１に係る発明は、
発表者の心理状態を認識して発表者にフィードバックす
る発表支援装置であって、発表者が発声した音声に基づ
いて発表者の心理状態を認識するための認識手段と、そ
の認識結果に応じた反応の表示情報を生成する反応生成
手段と、発表者が発表すべき発表内容を生成する発表内
容生成手段と、生成された表示情報と発表内容を表示す
る表示手段とを備えて構成される。
発表者の心理状態を認識して発表者にフィードバックす
る発表支援装置であって、発表者が発声した音声に基づ
いて発表者の心理状態を認識するための認識手段と、そ
の認識結果に応じた反応の表示情報を生成する反応生成
手段と、発表者が発表すべき発表内容を生成する発表内
容生成手段と、生成された表示情報と発表内容を表示す
る表示手段とを備えて構成される。
【０００７】請求項２に係る発明では、請求項１の認識
手段は、発表者が発声した音声からその特徴量を抽出す
る特徴抽出手段と、抽出された特徴量から心理状態を識
別するための識別手段とを備えて構成される。
手段は、発表者が発声した音声からその特徴量を抽出す
る特徴抽出手段と、抽出された特徴量から心理状態を識
別するための識別手段とを備えて構成される。
【０００８】
【発明の実施の形態】図１はこの発明の一実施形態を示
すブロック図である。図１において、この発明の発表支
援装置は、マイクロフォン１１からの音声が入力される
感情認識部１２と、反応生成部１３と発表内容生成部１
４と表示部１５とから構成される。感情認識部１２は入
力された音声からそれに含まれている特徴量を抽出し、
特徴量を用いて感情の認識を行なう。
すブロック図である。図１において、この発明の発表支
援装置は、マイクロフォン１１からの音声が入力される
感情認識部１２と、反応生成部１３と発表内容生成部１
４と表示部１５とから構成される。感情認識部１２は入
力された音声からそれに含まれている特徴量を抽出し、
特徴量を用いて感情の認識を行なう。
【０００９】図２は図１に示した感情認識部１２の典型
的な構成例を示すブロック図である。感情認識部１２は
音声特徴抽出部１６と感情識別部１７とから構成され
る。音声特徴抽出部１６は入力音声からその特徴量を抽
出する。音声の特徴量としては、種々のものが考えられ
るが、感情を認識しやすい特徴量を用いればよいわけで
あり、その一例として「音声に反応する表情構成システ
ム「ニューロベビー」（情報処理学会第４４回（平成４
年前期）全国大会４Ｎ−９）」に発表されたものを用い
ることができる。
的な構成例を示すブロック図である。感情認識部１２は
音声特徴抽出部１６と感情識別部１７とから構成され
る。音声特徴抽出部１６は入力音声からその特徴量を抽
出する。音声の特徴量としては、種々のものが考えられ
るが、感情を認識しやすい特徴量を用いればよいわけで
あり、その一例として「音声に反応する表情構成システ
ム「ニューロベビー」（情報処理学会第４４回（平成４
年前期）全国大会４Ｎ−９）」に発表されたものを用い
ることができる。
【００１０】抽出された音声特徴は感情識別部１７に入
力され、感情が認識される。感情認識の方法として種々
考えられるが、その一例として上述の文献で提案されて
いる方法を用いることができる。すなわち、上述の文献
では、ニューラルネットを用いる方法が提案されている
が、この他にも隠れマルコフモデル（Hidden MarkovMod
el ）を用いる方法も考えられる。要するに、感情の認
識が可能な適当な手法を用いればよいわけであって、そ
の手法を限定するものではない。
力され、感情が認識される。感情認識の方法として種々
考えられるが、その一例として上述の文献で提案されて
いる方法を用いることができる。すなわち、上述の文献
では、ニューラルネットを用いる方法が提案されている
が、この他にも隠れマルコフモデル（Hidden MarkovMod
el ）を用いる方法も考えられる。要するに、感情の認
識が可能な適当な手法を用いればよいわけであって、そ
の手法を限定するものではない。
【００１１】ここで、認識された感情をＥとして、予め
定められた典型的な感情をＮ個とすると、ＥはＮ個の実
数値ｅｉ（ｅｉは入力の感情と典型的な感情ｉとの類似
度である）よりなるベクトルであると考えられる。
定められた典型的な感情をＮ個とすると、ＥはＮ個の実
数値ｅｉ（ｅｉは入力の感情と典型的な感情ｉとの類似
度である）よりなるベクトルであると考えられる。
【００１２】Ｅ＝（ｅ１，ｅ２，…，ｅＮ） 典型的な感情としては、怒り，喜びのようないわゆる感
情といわれるものを用いることもできる。しかしなが
ら、ここでは講演発表などに利用することを前提として
いる訳であるから、むしろ、声が上擦っている、話す速
度が速い、など発表時に典型的に現れる現象に対応した
心理状態を配置することが適切である。ニューラルニッ
トも隠れマルコフモデルも予め学習データとしてこれら
の心理状態に対応した音声を用意しておけばこれらの心
理状態を認識できるように学習することが可能であるの
で、これらの心理状態を認識することは可能である。
情といわれるものを用いることもできる。しかしなが
ら、ここでは講演発表などに利用することを前提として
いる訳であるから、むしろ、声が上擦っている、話す速
度が速い、など発表時に典型的に現れる現象に対応した
心理状態を配置することが適切である。ニューラルニッ
トも隠れマルコフモデルも予め学習データとしてこれら
の心理状態に対応した音声を用意しておけばこれらの心
理状態を認識できるように学習することが可能であるの
で、これらの心理状態を認識することは可能である。
【００１３】図１に示した反応生成部１３は感情認識結
果Ｅに基づいて、この実施形態の利用する講演者に適切
なフィードバックを与えるための表示情報を生成する。
具体的な表示情報の生成法としては以下のようなものが
考えられる。
果Ｅに基づいて、この実施形態の利用する講演者に適切
なフィードバックを与えるための表示情報を生成する。
具体的な表示情報の生成法としては以下のようなものが
考えられる。
【００１４】 Ｅの数値をそのまま表示情報とする。
この方式は簡易であるとともに慣れた講演者には結果が
ダイレクトにわかるという利点があるが、結果が数値で
表現されるだけであるので、初心者にとってはわかりに
くいという欠点がある。
この方式は簡易であるとともに慣れた講演者には結果が
ダイレクトにわかるという利点があるが、結果が数値で
表現されるだけであるので、初心者にとってはわかりに
くいという欠点がある。
【００１５】 Ｅに対応した適切なメッセージを生成
してこれを表示情報とする。たとえば、声が上擦ってい
る場合、「声が上擦っていますよ。もう少し落ちついて
喋って下さい。」などのメッセージを生成する。この方
式はよりもわかりやすいことであるが、発表内容に加
えて感情認識結果まで文字で表示されると、講演者にと
って情報を読み、理解し、対応するのに時間を要すると
いう欠点がある。
してこれを表示情報とする。たとえば、声が上擦ってい
る場合、「声が上擦っていますよ。もう少し落ちついて
喋って下さい。」などのメッセージを生成する。この方
式はよりもわかりやすいことであるが、発表内容に加
えて感情認識結果まで文字で表示されると、講演者にと
って情報を読み、理解し、対応するのに時間を要すると
いう欠点がある。
【００１６】 Ｅをコンピュータグラフィックなどの
手法を用いて生成したキャラクタの表情，動作に変換
し、これを表示情報とする。たとえば、講演が順調な間
はキャラクタはニコニコしており、声が上擦り始めると
落ちつけというようなゼスチャーをさせることが考えら
れる。この方式の利点は、視覚情報に訴えるため、直観
的に理解しやすいことが挙げられる。
手法を用いて生成したキャラクタの表情，動作に変換
し、これを表示情報とする。たとえば、講演が順調な間
はキャラクタはニコニコしており、声が上擦り始めると
落ちつけというようなゼスチャーをさせることが考えら
れる。この方式の利点は、視覚情報に訴えるため、直観
的に理解しやすいことが挙げられる。
【００１７】表示情報生成の具体的手法は種々考えられ
るが、一例として感情認識結果ｅ１，ｅ２，ｅ３，…，
ｅＭの各々に対応して典型的な反応パターンｐ１，ｐ
２，ｐ３，…，ｐＭを用意しておくことが考えられる。
具体的な生成法としては、ｅ１，ｅ２，ｅ３，…，ｅＭ
の最大値ｒｉを求め、それに対応したｐｉをキャラクタ
の反応パターンとして表示する方式や、ｅ１，ｅ２，ｅ
３，…，ｅＭの実数値をそのまま用いてｐ１，ｐ２，ｐ
３，…，ｐＭの補間を行ない、求められた反応パターン
を表示する方式などが考えられる。上述のごとく種々の
表示情報生成法が考えられるが、要は感情認識結果に対
応した表示情報が生成されればよい。
るが、一例として感情認識結果ｅ１，ｅ２，ｅ３，…，
ｅＭの各々に対応して典型的な反応パターンｐ１，ｐ
２，ｐ３，…，ｐＭを用意しておくことが考えられる。
具体的な生成法としては、ｅ１，ｅ２，ｅ３，…，ｅＭ
の最大値ｒｉを求め、それに対応したｐｉをキャラクタ
の反応パターンとして表示する方式や、ｅ１，ｅ２，ｅ
３，…，ｅＭの実数値をそのまま用いてｐ１，ｐ２，ｐ
３，…，ｐＭの補間を行ない、求められた反応パターン
を表示する方式などが考えられる。上述のごとく種々の
表示情報生成法が考えられるが、要は感情認識結果に対
応した表示情報が生成されればよい。
【００１８】生成された反応パターンは表示部１５に表
示される。同時に、発表内容生成部１４で生成されるべ
き講演内容が生成されて表示部１５に表示される。その
結果、表示部１５には、現在講演すべき内容と、その時
点での講演者の心理的状態が表示される。講演者はそれ
を見ながら、現在自分が発表すべき内容およびその際の
心理的状態を客観的に把握して、より理解してもらいた
い方向に講演を導くことができる。
示される。同時に、発表内容生成部１４で生成されるべ
き講演内容が生成されて表示部１５に表示される。その
結果、表示部１５には、現在講演すべき内容と、その時
点での講演者の心理的状態が表示される。講演者はそれ
を見ながら、現在自分が発表すべき内容およびその際の
心理的状態を客観的に把握して、より理解してもらいた
い方向に講演を導くことができる。
【００１９】図３はこの発明の一実施形態の使用例を示
す図である。図３に示すように、表示部１５には講演内
容が表示されるとともに、その下部には前述ので説明
したキャラクタが表示される。
す図である。図３に示すように、表示部１５には講演内
容が表示されるとともに、その下部には前述ので説明
したキャラクタが表示される。
【００２０】
【発明の効果】以上のように、この発明によれば、発表
者が発声した音声に基づいて心理状態を認識して、その
認識結果に応じた反応の表示情報を生成して発表内容と
ともに表示するようにしたので、発表者自身がどのよう
な精神状態であるのかを教示することができ、発表者自
身をコントロールして、講演の進み方をよりよい方向に
進めることが可能となる。このため、従来講演会などで
使われてきた「プロンプタ」に新しい可能性をもたらす
ことができ、各種講演会や学会などでの必要商品とな
り、講演会などに用いられる各種の会場に備えられるべ
き必須商品となるる
者が発声した音声に基づいて心理状態を認識して、その
認識結果に応じた反応の表示情報を生成して発表内容と
ともに表示するようにしたので、発表者自身がどのよう
な精神状態であるのかを教示することができ、発表者自
身をコントロールして、講演の進み方をよりよい方向に
進めることが可能となる。このため、従来講演会などで
使われてきた「プロンプタ」に新しい可能性をもたらす
ことができ、各種講演会や学会などでの必要商品とな
り、講演会などに用いられる各種の会場に備えられるべ
き必須商品となるる
【図１】この発明の一実施形態を示す概略ブロック図で
ある。
ある。
【図２】図１に示した感情認識部のブロック図である。
【図３】この発明の一実施形態の使用方法を説明するた
めの図である。
めの図である。
【図４】従来のプロンプタのブロック図である。
【図５】従来のプロンプタの使用例を示す図である。
１１ マイクロフォン １２ 感情認識部 １３ 反応生成部 １４ 発表内容生成部 １５ 表示部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｇ０６Ｆ 15/00 ３１０ Ｇ０６Ｆ 15/00 ３１０Ｊ Ｇ０９Ｇ 5/00 ５１０ Ｇ０９Ｇ 5/00 ５１０Ｂ Ｇ１０Ｋ 15/04 ３０２ Ｇ１０Ｋ 15/04 ３０２Ｄ Ｈ０４Ｎ 5/222 Ｈ０４Ｎ 5/222 Ｚ (58)調査した分野(Int.Cl.6，ＤＢ名) G10L 3/00 - 9/20 G10K 15/04 302 G06F 15/00 310 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (2)
- 【請求項１】 発表者の心理状態を認識して発表者にフ
ィードバックする発表支援装置であって、 前記発表者が発声した音声に基づいて、前記発表者の心
理状態を認識するための認識手段、 前記認識手段の認識結果に応じた反応の表示情報を生成
する反応生成手段、 前記発表者が発表すべき発表内容を生成する発表内容生
成手段、および前記反応生成手段によって生成された表
示情報と前記発表内容生成手段によって生成された発表
内容を表示する表示手段を備えた、発表支援装置。 - 【請求項２】 前記認識手段は、 前記発表者が発声した音声からその特徴量を抽出する特
徴抽出手段、および前記特徴抽出手段によって抽出され
た特徴量から心理状態を識別するための識別手段を備え
た、発表支援装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5340297A JP2960029B2 (ja) | 1997-03-07 | 1997-03-07 | 発表支援装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5340297A JP2960029B2 (ja) | 1997-03-07 | 1997-03-07 | 発表支援装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10254484A JPH10254484A (ja) | 1998-09-25 |
| JP2960029B2 true JP2960029B2 (ja) | 1999-10-06 |
Family
ID=12941845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5340297A Expired - Fee Related JP2960029B2 (ja) | 1997-03-07 | 1997-03-07 | 発表支援装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2960029B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002287769A (ja) * | 2001-03-28 | 2002-10-04 | Inoac Corp | メラミン吸音材およびその製造方法 |
| EP1288911B1 (en) | 2001-08-08 | 2005-06-29 | Nippon Telegraph and Telephone Corporation | Emphasis detection for automatic speech summary |
| JP2005027225A (ja) * | 2003-07-02 | 2005-01-27 | Sanyo Electric Co Ltd | 移動電話機 |
| WO2015114824A1 (ja) * | 2014-02-03 | 2015-08-06 | 株式会社日立製作所 | 発話訓練システム及び発話訓練方法 |
-
1997
- 1997-03-07 JP JP5340297A patent/JP2960029B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10254484A (ja) | 1998-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200175890A1 (en) | Device, method, and graphical user interface for a group reading environment | |
| WO2022048403A1 (zh) | 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端 | |
| US6181351B1 (en) | Synchronizing the moveable mouths of animated characters with recorded speech | |
| US6324511B1 (en) | Method of and apparatus for multi-modal information presentation to computer users with dyslexia, reading disabilities or visual impairment | |
| US20040218451A1 (en) | Accessible user interface and navigation system and method | |
| US20140315163A1 (en) | Device, method, and graphical user interface for a group reading environment | |
| JP5553609B2 (ja) | 部分イメージを活用した言語学習コンテンツ提供システム | |
| JP3125746B2 (ja) | 人物像対話装置及び人物像対話プログラムを記録した記録媒体 | |
| US20120276504A1 (en) | Talking Teacher Visualization for Language Learning | |
| CN111711834B (zh) | 录播互动课的生成方法、装置、存储介质以及终端 | |
| WO2001045088A1 (en) | Electronic translator for assisting communications | |
| KR20160111275A (ko) | 외국어 학습 시스템 및 외국어 학습 방법 | |
| JP2002503353A (ja) | 音読及び発音指導装置 | |
| CN109460548B (zh) | 一种面向智能机器人的故事数据处理方法及系统 | |
| JP2014085998A (ja) | 電子ノート作成支援装置および電子ノート作成支援装置用プログラム | |
| CN114201596A (zh) | 虚拟数字人使用方法、电子设备和存储介质 | |
| JP2960029B2 (ja) | 発表支援装置 | |
| Wersényi | Auditory representations of a graphical user interface for a better human-computer interaction | |
| EP2977983A1 (en) | Note-taking assistance system, information delivery device, terminal, note-taking assistance method, and computer-readable recording medium | |
| JP3930402B2 (ja) | オンライン教育システム、情報処理装置、情報提供方法及びプログラム | |
| JP2005189846A (ja) | 音声制御スクリーンシステム | |
| KR20020024828A (ko) | 인터넷을 이용한 상호 대화식 언어 학습방법 | |
| JP2008032788A (ja) | 語学教材データ作成用プログラム | |
| KR102265102B1 (ko) | 키네틱 타이포그래피가 적용된 자막에 대한 편집방법 및 그 전자장치 | |
| WO2022168211A1 (ja) | グラフィック表示制御装置、グラフィック表示制御方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990713 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080730 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |