JPH0651930A

JPH0651930A - 計算機

Info

Publication number: JPH0651930A
Application number: JP5122350A
Authority: JP
Inventors: Taizo Tsujimoto; 泰造辻本
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1992-06-02
Filing date: 1993-05-25
Publication date: 1994-02-25
Anticipated expiration: 2017-01-21
Also published as: US5969719A; US6271841B1; JP3248981B2

Abstract

(57)【要約】【目的】所定のウィンドウに文書等が表示され、この
文書等に対応する音声が発音されている場合に、他の文
書等は表示せずにアイコン画像を表示するとき、このア
イコン画像が発音されない音声信号に対応付けられてい
ることを、発音中の音声の聴き取りに支障なく、容易に
看て取ることができるようにする。【構成】スピーカ９から発音されない音声信号は音声
信号選択器１１で選択される。音声情報抽出手段３は、
前記選択された発音されない音声信号から実時間情報、
例えば音量レベルを抽出する。アイコン画像生成手段４
は、抽出された実時間情報に応じて、大きさが経時的に
大小変化する動的なアイコン画像を生成し、この動的な
アイコン画像は、画像合成手段６及び表示装置制御手段
５を通じてディスプレイ装置２の画面上に表示される。
従って、動的なアイコン画像は発音されない音声信号の
音量レベルに応じて大小変化する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声信号の入出力機能
と、マルチウィンドウの表示画面との双方を有する計算
機の改良に関する。

【０００２】

【従来の技術】最近では、計算機のマルチメディア化の
動きによって音声信号やビデオ等の動画を扱う機能を持
った計算機が開発されてきている。また、計算機の画面
上に複数のウィンドウと呼ばれる領域を設けて、複数の
文書等を計算機の画面上のこれ等ウィンドウの各々に同
時表示する，いわゆるマルチウィンドウ表示は一般に普
及している。更に、画面に「アイコン」と呼ばれる予め
設定した小さな図柄を複数表示し、表示された複数のア
イコンのうち何れかを操作者がマウス等を用いて選択す
ることによって計算機に対して所定の入力を行う方式も
一般に普及している。

【０００３】前記マルチウィンドウ表示においては、ウ
ィンドウに表示された文書等を一時的に参照しない場合
には、このウィンドウを「アイコン」として小面積に図
柄表４して縮小し、画面領域の有効活用を図ることが一
般に行われている。このように使用しないウィンドウを
アイコン化する場合、そのアイコンの図柄としては、そ
のウィンドウをアイコン化する際に、対応する記憶領域
から読み出された図柄が使用されて、この図柄が画面に
表示され、以後そのアイコンは再びウィンドウ化される
まで同じ図柄で静的に表示される。

【０００４】尚、１つのアイコンで、その表示中に図柄
が変更されるものがある。例えば、操作者がアイコンを
選択することによって初めて入力可能とするアイコンで
は、選択された時点で図柄を変更して、選択されたこと
を表示する。また、時計を表示するアイコンでは、時刻
の進行に応じて表示時刻が変更される。電子メールの着
信の有無を表示するアイコンでは、電子メールの着信状
況が定期的に監視され、電子メールの着信があった等の
状況の変化が検出された時点で図柄が変更される。但
し、以上のアイコンの図柄の変更は最も短い間隔でも数
秒程度であり、それより短い周期での更新はＣＰＵの負
担となる等の理由で行われない。つまり、従来の技術で
は、十分滑らかな動きをする動画としての，動的なアイ
コン画像は用いられていない。

【０００５】

【発明が解決しようとする課題】ところで、従来、音声
信号の入出力機能とマルチウィンドウ表示画面との双方
を有する計算機では、次の欠点があった。

【０００６】即ち、例えば所定のウィンドウに文書等を
表示すると同時に、この文書等に対応する所定の音声信
号を出力して発音している状態で、この表示中の文書等
のウィンドウをアイコン化すると共に、この文書等に代
えて他の文書等をウィンドウに表示した場合に、この他
の文書等に対応する他の音声信号が発音されているとき
には、前記アイコン化されたウィンドウの文書等に対応
する音声信号をも出力に混合して発音するとすれば、前
記新たに表示された文書等に対応する音声を聴き取るの
に障害となる場合が多い。

【０００７】これに対し、アイコン化されたウィンドウ
の文書等に対応する音声の発音を停止させる場合には、
新たに表示された文書等に対応する音声の聴き取りには
支障は無いものの、前記アイコン化されたウィンドウは
静的に表示されているため、操作者は、このアイコン化
されたウィンドウがその文書等に対応する音声信号に関
連付けられていることを看て取り難い欠点がある。

【０００８】本発明は前記のような従来の課題を解決す
べくなされたものであり、その目的は、音声信号の入出
力機能とマルチウィンドウ表示画面との双方を有する計
算機において、画面上のウィンドウがアイコン化されて
アイコン画像表示に代わり且つ対応する音声の発音が停
止されても、そのアイコン画像が対応する音声信号と関
連付けられていることを、発音中の音声の聴き取りに支
障なく、容易に看て取ることができる計算機を提供する
ことにある。

【０００９】

【課題を解決するための手段】前記の目的を達成するた
め、請求項１記載の発明の具体的な解決手段は、画面上
に複数のウィンドウが設定され、これ等ウィンドウに互
いに種類の異なる文書等を表示するためのディスプレイ
装置と、外部から複数の音声信号を入力し、そのうち所
定の音声信号を選択して発音する音声入出力手段と、前
記音声入出力手段から発音される音声信号以外の音声信
号より実時間情報を抽出する音声情報抽出手段と、前記
音声情報抽出手段により抽出された実時間情報に応じて
動的なアイコン画像を生成するアイコン画像生成手段
と、前記アイコン画像生成手段により生成されたアイコ
ン画像を、前記実時間情報を抽出した音声信号に対応す
る文書等に代えて前記ディスプレイ装置の画面上に表示
する表示制御手段とにより構成している。

【００１０】更に、請求項２記載の発明では、前記請求
項１記載の発明の構成に加えて、前記音声情報抽出手段
により抽出された実時間情報を、予め操作者が定めた情
報と比較し、比較条件を満すことを検出する比較手段を
設け、前記比較手段により比較条件を満すことが検出さ
れたとき、この検出信号により前記音声入出力手段、又
は前記アイコン画像生成手段及び前記表示制御手段が制
御される構成としている。

【００１１】加えて、請求項３記載の発明では、前記請
求項１又は請求項２記載の発明の音声情報抽出手段を特
定して、音声信号より抽出する実時間情報を音量レベル
に限定している。

【００１２】また、請求項４記載の発明では、前記請求
項１又は請求項２記載の発明のアイコン画像生成手段を
特定して、この生成手段が生成する動的なアイコン画像
を、基準となるアイコン画像の大きさを拡大して縮小す
ることを繰返すアイコン画像に限定している。

【００１３】更に、請求項５記載の発明では、前記請求
項３記載の発明のアイコン画像生成手段を特定して、こ
の生成手段が生成する動的なアイコン画像を、音声情報
抽出手段が音声信号より抽出した音量レベルを経時的に
指示するレベル指示計としてのアイコン画像に限定す
る。

【００１４】加えて、請求項６記載の発明では、前記請
求項１又は請求項２記載の発明の音声情報抽出手段を特
定して、この抽出手段が音声信号より抽出する実時間情
報を、音声信号の認識結果である文章に限定している。

【００１５】また、請求項７記載の発明では、前記請求
項１記載の発明を特定し、音声情報抽出手段が音声信号
より抽出する実時間情報を、音声信号の認識結果である
文章に限定すると共に、アイコン画像生成手段が生成す
る動的なアイコン画像を、前記音声情報抽出手段が音声
認識より抽出した文章の経時的な字幕に限定する。

【００１６】更に、請求項８記載の発明では、前記請求
項１又は請求項２記載の発明の音声情報抽出手段を特定
して、音声信号より抽出する実時間情報を、音声信号の
音程を認識した音階に限定している。

【００１７】加えて、請求項９記載の発明では、前記請
求項１又は請求項２記載の発明の音声情報抽出手段を特
定して、音声信号より抽出する実時間情報を、音声の音
源の認識結果に限定している。

【００１８】また、請求項１０記載の発明では、前記請
求項２記載の発明を特定して、音声情報抽出手段が音声
信号より抽出する実時間情報を、音声信号の認識結果で
ある文章に限定すると共に、比較手段を、前記音声情報
抽出手段が音声認識より抽出した文章を予め操作者が定
めた文字列と比較するものに限定し、前記比較手段によ
り文章と文字列との一致が検出されたとき、この検出信
号により音声入出力手段、又は前記アイコン画像生成手
段及び前記表示制御手段が制御される構成としている。

【００１９】更に、請求項１１記載の発明では、前記請
求項２又は請求項１０記載の発明を特定して、比較手段
により比較条件を満すことが検出されたとき、この検出
信号により、アイコン画像生成手段によるアイコン画像
の生成を停止させると共に、アイコン画像の表示に代え
て、実時間情報を抽出した音声信号に対応する文書等を
ディスプレイ装置の画面上に表示するように表示制御手
段が制御される構成としている。

【００２０】加えて、請求項１２記載の発明では、前記
請求項２又は請求項１０記載の発明を特定して、比較手
段により比較条件を満すことが検出されたとき、この検
出信号により、実時間情報を抽出していた音声信号を発
音するように音声入出力手段が制御される構成としてい
る。

【００２１】また、請求項１３記載の発明では、前記請
求項２又は請求項１０記載の発明を特定して、比較手段
により比較条件を満すことが検出されたとき、この検出
信号により、発音していた音声信号の発音を停止するよ
うに音声入出力手段が制御されると共に、ディスプレイ
装置の画面上に表示されていた文書等に代えて、アイコ
ン画像を表示するように表示制御手段が制御される構成
としている。

【００２２】

【作用】以上の構成により、請求項１〜請求項９記載の
発明では、例えば所定の文書がディスプレイ装置の画面
上のウィンドウに表示されると共に、この文書に対応す
る音声信号が音声信号入出力手段で選択されて発音され
る。

【００２３】この場合に、前記の文書とは異なる他の文
書がディスプレイ装置の画面上の所定ウィンドウに表示
された際、これに対応する音声信号が音声信号入出力手
段で選択されて発音され、それまで発音中であった音声
の発音が停止されると、この発音を停止した音声信号よ
り実時間情報、例えばその音声信号の音量レベル、その
音声信号を認識した文章、又は音声信号が音楽である場
合にはその音程を認識した音階若しくはその音源が抽出
され、この実時間情報に応じて動的なアイコン画像、例
えば大きさが経時的に大小変化する画像、音量レベルを
経時的に指示するレベル指示計の画像、又は文章を経時
的に表現した字幕が生成され、この動的なアイコン画像
が、前記発音を停止した音声信号に対応する文書に代え
て、ディスプレイ装置の画面上に表示される。従って、
アイコン化されたウィンドウが音声信号に対応付けられ
ていることが、発音中の音声の聞き取りの支障となるこ
となしに操作者に良好に提示される。

【００２４】その際、特に請求項４記載の発明では、動
的なアイコン画像は、そのアイコン画像の大きさが経時
的に大小変化するものであるので、アイコン化されたウ
ィンドウが音声信号に対応付けられていることが容易に
認識できる。

【００２５】更に、請求項７記載の発明では、発音を停
止した音声信号の認識結果である文章が経時的に字幕と
してディスプレイ装置の画面上に表現されるので、操作
者はアイコン化されて表示されない文書に対応する音声
信号に含まれる情報を容易に監視できて、操作者は適時
にそのアイコン表示を再度ウィンドウでの文書表示に変
更できて、情報を漏らさず読み取ることができる。

【００２６】また、前記請求項１〜請求項９記載の発明
において、発音されない音声信号の内容に関する情報が
アイコン画像として表示されて操作者の監視に供されて
も、例えば操作者がその表示されたアイコン画像を監視
できない等の，操作者の作業状況によってはその情報の
十分な監視が行えない場合があり、この場合には、操作
者は動的なアイコン画像から必要な情報を得ることがで
きない憾みが生じる。しかし、請求項２、請求項１０〜
請求項１２記載の発明では、操作者が聴きたい内容に関
する情報、例えば文字列が予め比較手段に設定されてい
て、発音を停止した音声信号より抽出された実時間情報
（例えば音声認識された文章）と前記設定された情報と
が比較手段において比較され、その比較条件が満された
とき、即ち発音を停止した音声信号に操作者の聴きたい
情報が含まれる場合には、音声入出力手段が制御され
て、それまで発音を停止していた音声信号の発音が自動
で再開されたり、アイコン画像生成手段及び表示制御手
段が制御されて、アイコン画像の生成が停止されると同
時にそれまで発音を停止していた音声信号に対応する文
書等がアイコン画像の表示に代えてディスプレイ装置の
画面上に自動で再表示されるので、操作者は聴きたい情
報を適時に漏らさず聴き取り又は読み取ることができ
る。

【００２７】その際、特に請求項１３記載の発明では、
発音を停止していた音声信号の発音の再開時やこの音声
信号に対応する文書等のウィンドウへの再表示時には、
それ以外の音声の発音が停止されると共に、その再表示
された文書以外の文書等の一部又は全部は表示されず、
これに代えてアイコン画像が表示される。従って、把握
したい情報が発音又は表示され、その障害となる情報の
発音又は表示が停止されるので、その把握したい情報の
聴き取り又は読み取りがより一層に容易に行われる。

【００２８】

【実施例】以下、本発明の実施例を図面に基いて説明す
る。

【００２９】（実施例１）図１において、１は音声入出
力手段、２はディスプレイ装置、３は音声情報抽出手
段、４はアイコン画像生成手段、５は表示装置制御手
段、６は画像合成手段、７はＣＧ画像生成手段、１２は
映像信号変換手段、８は以上の手段１〜７、１２を備え
た計算機である。

【００３０】前記音声入出力手段１は、外部から複数の
音声信号が入力されると共に、スピーカ９と、音声混合
増幅器１０と、音声信号選択器１１とを有する。前記音
声混合増幅器１０は、入力された複数の音声信号を所定
の重みにより重み付けし、その重み付け和を計算し、そ
の計算結果をスピーカ９から出力する混合機能を有す
る。この混合機能には、入力された複数の音声信号のう
ち所定の音声信号を出力し又は出力させない選択機能を
含んでいる。また、前記重みは可変である。前記音声信
号選択器１１は、入力された複数の音声信号のうち、前
記音声混合増幅器１０の選択機能により出力されない音
声信号を選択して出力する機能を有している。

【００３１】前記ディスプレイ装置２には、図示しない
が、画面上に複数のウィンドウが設定される。

【００３２】前記音声情報抽出手段３は、前記音声信号
選択器１１から出力される音声信号より実時間情報とし
て、その音声信号の音量レベルを抽出するものである。

【００３３】前記アイコン画像生成手段４は、前記音声
情報抽出手段３により抽出された実時間情報に応じて動
的なアイコン画像を生成するものであり、その動的なア
イコン画像としては、アイコン画像の大きさを前記抽出
された音量レベルに応じて経時的に大小変化させて動的
に見せる図２（ｃ）に示すような画像を生成して用い
る。

【００３４】前記ＣＧ画像生成手段７は、図２（ｂ）に
示すように、前記ディスプレイ装置２の画面上で各ウィ
ンドウとしての静止画像を生成する機能を有する。

【００３５】前記映像信号変換手段１２は、外部からア
ナログ信号である複数の文書等の映像信号が入力され、
これ等入力した映像信号をデジタル信号に変換する複数
個のＤ／Ａ変換器１２ａ…を有し、これ等のデジタル信
号に変換された映像信号を出力する。

【００３６】前記画像生成手段６は、前記映像信号変換
手段１２から出力された映像信号のうち所定の映像信号
を選択し、この選択した映像信号を前記ＣＧ画像生成手
段７で生成された静止画像内に表示すると共に、前記ア
イコン画像生成手段４により生成されたアイコン画像を
ディスプレイ装置２の画面の所定位置に表示するよう
に、これ等映像信号、静止画像及びアイコン画像を合成
する機能を有する。

【００３７】前記表示装置制御手段５は、前記画像合成
手段６により合成された信号に基いてディスプレイ装置
２の画面上に映像信号及びアイコン画像を表示するよう
ディスプレイ装置２を制御する機能を有する。

【００３８】そして、前記表示装置制御手段５及び画像
合成手段６により、前記アイコン画像生成手段４により
生成されたアイコン画像を、前記音声情報抽出手段３に
より実時間情報を抽出した音声信号に対応する文書等に
代えて、前記ディスプレイ装置の画面上に表示する表示
制御手段１３を構成している。

【００３９】次に、以上のように構成された計算機８の
動作について、図２を用いて説明する。尚、図２におい
て、所定のウィンドウをアイコン化した場合のアイコン
画像を１４、他のウィンドウに表示された画像を１５、
映像信号としてのビデオ動画信号を１６、このビデオ動
画信号１６に対応する音声信号を１７、映像信号として
の他のビデオ動画信号を１８、このビデオ動画信号１８
に対応する音声信号を１９として説明する。また、図２
では、音声混合増幅器１０及び音声信号選択器１１は図
示せず、それ等の機能を信号の流れで表現している。

【００４０】図２において、例えば前記の計算機８のデ
ィスプレイ装置２にビデオ動画信号（アナウンサーがニ
ュースを読み上げる動画）１６をウィンドウに表示し、
これに対応した音声信号（ニュースの読み上げ音声信
号）１７をスピーカー９より出力している状態におい
て、他のビデオ動画信号（ピアノを弾く動画信号）１８
をウィンドウに表示し、これに対応する音声信号（ピア
ノ音の音声信号）１９を音声入出力手段１で選択してス
ピーカ９から発音する場合を説明する。

【００４１】この場合、ニュースの読み上げ音声信号１
７は音声混合増幅器１０によりスピーカー９からの発音
を停止されると共に、このニュースの読み上げ音声信号
１７が音声信号選択器１１より音声情報抽出手段３へ送
られる。前記音声情報抽出手段３は、ニュースの読み上
げ音声信号１７より実時間情報として音量レベルを抽出
し、アイコン画像生成手段４に送る。前記アイコン画像
生成手段４は、抽出された音量レベルに応じて所定のア
イコン画像の大きさを拡大及び縮小変化させてることで
動的なアイコン画像を生成する。この動的なアイコン画
像は画像合成手段６でピアノを弾く動画信号１８と合成
された後、表示制御手段５によって動的なアイコン画像
１４としてディスプレイ装置２の画面上に表示される。

【００４２】従って、動的なアイコン画像１４は、その
大きさの大小変化により操作者に対してニュースの読み
上げ音声信号１７に対応していることを提示するので、
操作者はそのアイコン画像１４に音声信号１７が対応し
て存在していることを容易に認識することができる。

【００４３】ここで、スピーカ９からはピアノ音の音声
信号１９のみが発音され、ニュースの読み上げ音声信号
１７の発音は停止しているので、ピアノ音の聴取には支
障が無い。

【００４４】以上の説明では、発音されない音声信号１
７の音量レベルに応じて動的なアイコン画像１４を生成
したが、その音声信号１７の音量レベルが所定値を越え
た時点でアイコン画像１４を特に目立つ画像に変化させ
れば、過大な音量レベルを監視できる。

【００４５】（実施例２）図３は本発明の第２の実施例
を示し、発音しない音声信号１７に対応するビデオ動画
信号１６をトランペット演奏動画とした場合に、アイコ
ン画像生成手段４は、動的なアイコン画像として、音声
情報抽出手段３がトランペット音声信号１７より抽出し
た音量レベルを経時的に指示するレベル指示計（同図
（ｂ）参照）としての動的なアイコン画像２０を生成し
たものである。

【００４６】したがって、本実施例においては、発音さ
れない音声信号の情報として音量レベルを監視できる。

【００４７】（実施例３）図４は本発明の第３の実施例
を示し、発音しない音声信号に対応するビデオ動画信号
１６をアナウンサーがニュースを読み上げる動画信号と
した場合に、音声情報抽出手段３は、実時間情報とし
て、ニュースの読み上げ音声信号１７から、この音声信
号１７を認識した文章（図４では「次は明日のお天気に
ついて…」を示す）を抽出すると共に、アイコン画像生
成手段４は、動的なアイコン画像として、前記音声情報
抽出手段３がニュースの読み上げ音声信号１７を認識し
た文章の経時的な同図（ｂ）に示すような字幕２１（図
４（ａ）及び（ｂ）では「次は明日の…」と表示してい
る）を生成したものである。

【００４８】したがって、本実施例においては、発音さ
れない音声信号の情報として、その音声信号の内容を監
視できる。

【００４９】（実施例４）図５は本発明の第４の実施例
を示し、発音しない音声信号１７に対応するビデオ動画
信号１６をトランペット演奏動画とした場合に、音声情
報抽出手段３は、実時間情報として、トランペット音声
信号１７から、この音声信号１７の音程を認識した音階
を経時的に抽出すると共に、アイコン画像生成手段４
は、動的なアイコン画像として、前記音声情報抽出手段
３がトランペット音声信号１７より抽出した音階を、同
図（ｂ）に示すように経時的に５線譜に表示した楽譜２
２を生成したものである。

【００５０】したがって、本実施例においては、発音さ
れない音声信号の実時間情報として、その音声信号の内
容を監視でき、特に音声信号が音楽の場合に有効であ
る。また、抽出した楽譜を記憶媒体に蓄積しておけば、
音楽の自動採譜を兼用できる。更に、抽出した楽譜を、
蓄積しながら、同時に実時間表示した動的なアイコン画
像とすれば、自動採譜を監視できる。

【００５１】（実施例５）図６は本発明の第５の実施例
を示す。本実施例では、前記図５に示す第４の実施例と
同様の場合に、音声情報抽出手段３は、実時間情報とし
て、トランペット音声信号１７からその音源を認識し、
その音源の認識結果（即ち、「トランペット」）を抽出
すると共に、アイコン画像生成手段４は、動的なアイコ
ン画像として、前記音声情報抽出手段３が抽出した音源
の認識結果の図柄２３（同図（ｂ）に示すようなトラン
ペットの図柄）を生成したものである。

【００５２】したがって、本実施例においては、発音さ
れない音声信号の実時間情報として、その音声信号の音
源を監視でき、音声信号の種類を想像できる。尚、本実
施例では、音源の図柄を表示したが、音源の語（即ち、
「トランペット」の語）をアイコン画像として表示して
もよい。

【００５３】尚、以上の説明では、音声情報抽出手段３
によって抽出される実時間情報として音量レベル等を用
いたが、その他、音声信号の包絡線を用いてもよい。こ
の場合、音声情報抽出手段３の構成を簡単な回路で実現
できる。また、音声信号の周波数スペクトルの全部又は
一部を実時間情報として抽出してもよい。この場合に
は、周波数スペクトルの測定を行う機能が付加されるの
で、音声信号の特定周波数での信号レベルを表示できる
効果を奏する。

【００５４】また、以上の説明では、動的なアイコン画
像としてアイコン画像の大きさを経時的に大小変化させ
たが、その他、アイコン画像を回転したり、平行移動し
たり、変形させたり、又は変色させたりしてもよい。前
記アイコン画像を平行移動して動的なアイコン画像を生
成する場合には、アイコン画像生成手段４を簡単な回路
で実現できる効果がある。また、変形させる場合には、
基準となるアイコン画像として適切なものを選べば、印
象の強い動的なアイコン画像を生成できる効果がある。
更に、変色させる場合には、アイコン画像の表示領域が
変化しないので、動的なアイコン画像が他のウィンドウ
やアイコン画像にオーバーラップすることが容易に防止
できる効果がある。加えて、前記のような動的なアイコ
ン画像の生成の他に、実時間情報の一符号語毎に予めア
イコン画像を対応させて記憶しておき、抽出した実時間
情報の一符号語毎にこれ等に対応するアイコン画像を記
憶領域より読み出し出力することにより、動的なアイコ
ン画像を生成してもよい。この場合には、前記予め対応
させる多数のアイコン画像をその連続変化時に不自然さ
なく変化するように設定しておけば、印象の強い動的な
アイコン画像を生成できる効果を生じる。

【００５５】（実施例６）図７は第６の実施例を示す。
本実施例では、前記第１の実施例を示す図１の構成に比
較手段２４を別途付加した構成としている。前記比較手
段２４には、予め定めた情報、例えば文字列が設定され
て記憶される。また、前記比較手段２４は、音声情報抽
出手段３が音声信号から抽出した実時間情報、例えば音
声信号を認識した文章等が入力され、この入力された実
時間情報と前記予め定めた情報とを比較して、比較条件
が満されたとき（例えば、実時間情報と予め定めた情報
とが一致したとき）、音声入出力手段１のスピーカ９か
ら、前記実時間情報を抽出した音声信号を含めた全ての
音声信号を所定の重みで重み付けして発音するように音
声混合増幅器１０を制御すると共に、音声入出力手段１
に入力された音声信号の何れをも選択しないように音声
信号選択器１１を制御し、更にアイコン画像を生成しな
いようにアイコン画像生成手段４を制御し、ＣＧ画像生
成手段７の生成した静止画像と映像信号変換手段１２か
ら出力された全ての映像信号とを合成してこの合成後の
信号をディスプレイ装置２の画面上に表示するようにＣ
Ｇ画像生成手段７及び画像合成手段６を制御する機能を
有する。他の構成は図１と同一であるので、図１と同一
部分には同一の符号を付してその説明を省略する。

【００５６】次に、以上のように構成された計算機８の
動作を図８及び図９を用いて説明する。図８に示す前の
状態、すなわちニュースの読み上げ音声信号１７がスピ
ーカー９からの発音を停止され、この発音を停止された
ニュースの読み上げ音声信号１７より実時間情報として
音声情報抽出手段３がその音声信号１７を認識した文章
を抽出し、これに対応してアイコン画像生成手段４がそ
の文章を字幕として実時間表示して動的なアイコン画像
２１を生成して、表示装置制御手段５がこの動的なアイ
コン画像２１をディスプレイ装置２の画面上に表示して
いる状態を前提として説明する。

【００５７】いま、前記の状態で、ニュースの読み上げ
音声信号１７から実時間情報として抽出された文章（即
ち、図８に示す「次は明日のお天気について」との文
章）が比較手段２４に送られ、この比較手段２４におい
て、操作者が予め聴きたいとして設定した情報（図８で
は文字列「天気」）と常に比較されている。ここで、実
時間情報の文章中に「天気」が含まれていて、この実時
間情報中の「天気」と予め設定した情報「天気」との一
致が検出されると、比較手段２４は一致を示す信号を音
声入出力手段１、アイコン画像生成手段４、ＣＧ画像生
成手段７、及び画像合成手段６に送出する。その結果、
アイコン画像生成手段４は動的なアイコン画像２１の生
成を停止し、図９に示すように、画像合成手段６は、ピ
アノを弾く動画信号１８及びアナウンサーがニュースを
読み上げる動画１６の双方を入力し、これ等動画１６、
１８とＣＧ画像生成手段７で生成された静止画像とを合
成して、この合成信号をディスプレイ装置２の画面上の
各ウィンドウ１５、２５に表示し、その結果、ニュース
の字幕としての動的なアイコン画像２１に代えてニュー
スを読み上げる動画がウィンドウ２５に再表示される。
また、前記の画像合成手段６の動作と同時に、音声入出
力手段１がニュースの読み上げ音声信号１７をもスピー
カ９から発音させる。従って、操作者が一時的に聴き取
りから除外したニュースの読み上げ音声であっても、天
気に関する情報を自動的に監視して、その情報を漏らさ
ず適時に聴き取ることができる。

【００５８】尚、本実施例では、比較手段２４は、抽出
した実時間情報と予め設定した情報とを比較してその一
致を検出したが、その他、予め設定した情報が所定値の
音量レベル等である場合には、抽出した実時間情報（音
量レベル）がその所定値を越える場合等、実時間情報と
予め設定する情報との優劣を検出してもよく、要は、こ
の優劣の検出をも含んで、比較条件が満された時を検出
すればよい。

【００５９】また、本実施例では、音声情報抽出手段３
によって抽出される実時間情報として音声認識による文
章を用い、この文章を予め操作者が設定した文字列と比
較しているが、その他、音程認識による音階又は音源の
認識結果を用い、これ等を予め設定した音階又は音源名
と比較してもよい。

【００６０】更に、本実施例では、一致の検出信号によ
ってアイコン画像の生成を停止させてウィンドウにアナ
ウンサーがニュースを読み上げる動画を再表示したが、
この検出信号は割り込み信号としてオペレーションシス
テムに通知してもよい。この場合には、信号を監視する
ための情報処理能力の負担が軽減される。

【００６１】（実施例７）図１０は本発明の第７の実施
例を示し、前記第６の実施例を示す図９の構成の一部を
変更したものである。即ち、音声入出力手段１では、ニ
ュースの読み上げ音声信号１７と予め設定した情報
（「天気」）との一致の検出時には、このニュースの読
み上げ音声信号１７以外の音声信号、即ちピアノ音声信
号１９はスピーカ９からの発音を停止されると共に、画
像合成手段６では、ピアノを弾く動画信号１８の入力を
停止し、更にピアノ音声信号１９の実時間情報を音声情
報抽出手段３で抽出して動的なアイコン画像２６を生成
し、この動的なアイコン画像２６とアナウンサーがニュ
ースを読み上げる動画２５とをディスプレイ装置２の画
面上に表示させるよう制御する。

【００６２】したがって、本実施例では、操作者が聴き
取りたい情報（例えば天気情報）以外の情報であるピア
ノの音声はスピーカ９から発音されず、また聴き取りた
い情報以外の動画であるピアノを弾く動画は動的なアイ
コン画像として小さく表示するので、聴き取りたい情報
をより一層に聴き取り易くできる。

【００６３】

【発明の効果】以上説明したように、請求項１ないし請
求項９記載の発明の計算機によれば、所定のウィンドウ
に文書等を表示し、且つその文書等に対応する音声をス
ピーカから発音している場合に、他の文書等については
これをウィンドウに表示せず、これに代えて、この表示
しない文書に対応する音声信号から抽出した実時間情報
に応じて動的に変化するアイコン画像を表示したので、
アイコン画像が音声信号に対応付けられていることを他
の発音中の音声の聴き取りに支障なく操作者に提示でき
る。

【００６４】特に、請求項４記載の発明の計算機によれ
ば、基本的なアイコン画像の大きさを経時的に大小変化
させて動的なアイコン画像を生成したので、アイコン画
像が音声信号に対応付けられていることを一層簡易に操
作者に提示できる。

【００６５】しかも、請求項７記載の発明の計算機によ
れば、発音されない音声信号を認識した結果としての文
章を字幕として動的に表示して動的なアイコン画像とし
たので、操作者は発音されない音声に含む情報を簡易に
監視できる効果を奏する。

【００６６】また、請求項２、請求項１０〜請求項１３
の発明の計算機によれば、前記請求項１記載の発明の構
成に加えて、発音されない音声信号から抽出した実時間
情報と予め操作者が設定した情報との比較条件を満した
ときには、発音されない音声信号の発音を再開したり、
動的なアイコン画像に代えて、発音されない音声信号に
対応する文書等をウィンドウに再表示したので、操作者
は、発音されない音声に含む情報を監視できるに留まら
ず、この情報を漏らさず聴き取り及び読み取ることがで
きる効果を有する。

【図面の簡単な説明】

【図１】第１の実施例の構成を示すブロック図である。

【図２】第１の実施例の動作の説明図である。

【図３】第２の実施例の動作の説明図である。

【図４】第３の実施例の動作の説明図である。

【図５】第４の実施例の動作の説明図である。

【図６】第５の実施例の動作の説明図である。

【図７】第６の実施例の構成を示すブロック図である。

【図８】第６の実施例における一致を検出する前の動作
の説明図である。

【図９】第６の実施例における一致を検出した後の動作
の説明図である。

【図１０】第７の実施例の動作の説明図である。

【符号の説明】

１音声入出力手段２ディスプレイ装置３音声情報抽出手段４アイコン画像生成手段５表示装置制御手段６画像合成手段７ＣＧ画像生成手段８計算機９スピーカ１０音声混合増幅器１１音声信号選択器１２映像信号変換手段１２ａ，… Ｄ／Ａ変換器２４比較手段

Claims

【特許請求の範囲】

【請求項１】画面上に複数のウィンドウが設定され、
これ等ウィンドウに互いに種類の異なる文書等を各々表
示するためのディスプレイ装置と、外部から複数の音声
信号を入力し、そのうち所定の音声信号を選択して発音
する音声入出力手段と、前記音声入出力手段から発音さ
れる音声信号以外の音声信号より実時間情報を抽出する
音声情報抽出手段と、前記音声情報抽出手段により抽出
された実時間情報に応じて動的なアイコン画像を生成す
るアイコン画像生成手段と、前記アイコン画像生成手段
により生成されたアイコン画像を、前記実時間情報を抽
出した音声信号に対応する文書等に代えて前記ディスプ
レイ装置の画面上に表示する表示制御手段とを有するこ
とを特徴とする計算機。
【請求項２】画面上に複数のウィンドウが設定され、
これ等ウィンドウに互いに種類の異なる文書等を各々表
示するためのディスプレイ装置と、外部から複数の音声
信号を入力し、そのうち所定の音声信号を選択して発音
する音声入出力手段と、前記音声入出力手段から発音さ
れる音声信号以外の音声信号より実時間情報を抽出する
音声情報抽出手段と、前記音声情報抽出手段により抽出
された実時間情報に応じて動的なアイコン画像を生成す
るアイコン画像生成手段と、前記アイコン画像生成手段
により生成されたアイコン画像を、前記実時間情報を抽
出した音声信号に対応する文書等に代えて前記ディスプ
レイ装置の画面上に表示する表示制御手段と、前記音声
情報抽出手段により抽出された実時間情報を、予め操作
者が定めた情報と比較し、比較条件を満すことを検出す
る比較手段とを有し、前記比較手段により比較条件を満
すことが検出されたとき、この検出信号により前記音声
入出力手段、又は前記アイコン画像生成手段及び前記表
示制御手段が制御されることを特徴とする計算機。
【請求項３】音声情報抽出手段が音声信号より抽出す
る実時間情報は、音量レベルであることを特徴とする請
求項１又は請求項２記載の計算機。
【請求項４】アイコン画像生成手段が生成する動的な
アイコン画像は、基準となるアイコン画像の大きさを拡
大して縮小することを繰返すアイコン画像であることを
特徴とする請求項１又は請求項２記載の計算機。
【請求項５】アイコン画像生成手段が生成する動的な
アイコン画像は、音声情報抽出手段が音声信号より抽出
した音量レベルを経時的に指示するレベル指示計として
のアイコン画像であることを特徴とする請求項３記載の
計算機。
【請求項６】音声情報抽出手段が音声信号より抽出す
る実時間情報は、音声信号の認識結果である文章である
ことを特徴とする請求項１又は請求項２記載の計算機。
【請求項７】画面上に複数のウィンドウが設定され、
これ等ウィンドウに互いに種類の異なる文書等を各々表
示するためのディスプレイ装置と、外部から複数の音声
信号を入力し、そのうち所定の音声信号を選択して発音
する音声入出力手段と、前記音声入出力手段から発音さ
れる音声信号以外の音声信号より実時間情報としてその
音声信号を認識した結果である文章を抽出する音声情報
抽出手段と、前記音声情報抽出手段が音声認識より抽出
した文章の経時的な字幕よりなる動的なアイコン画像を
生成するアイコン画像生成手段と、前記アイコン画像生
成手段により生成されたアイコン画像を、前記実時間情
報を抽出した音声信号に対応する文書等に代えて前記デ
ィスプレイ装置の画面上に表示する表示制御手段とを有
することを特徴とする計算機。
【請求項８】音声情報抽出手段が音声信号より抽出す
る実時間情報は、音声信号の音程を認識した音階である
ことを特徴とする請求項１又は請求項２記載の計算機。
【請求項９】音声情報抽出手段が音声信号より抽出す
る実時間情報は、音声信号の音源の認識結果であること
を特徴とする請求項１又は請求項２記載の計算機。
【請求項１０】音声情報抽出手段が音声信号より抽出
する実時間情報は、音声信号の認識結果である文章であ
り、比較手段は、前記音声情報抽出手段が音声認識より
抽出した文章を予め操作者が定めた文字列と比較するも
のであり、前記比較手段により文章と文字列との一致が
検出されたとき、この検出信号により音声入出力手段、
又は前記アイコン画像生成手段及び前記表示制御手段が
制御されることを特徴とする請求項２記載の計算機。
【請求項１１】比較手段により比較条件を満すことが
検出されたとき、この検出信号により、アイコン画像生
成手段によるアイコン画像の生成を停止させると共に、
アイコン画像の表示に代えて、実時間情報を抽出した音
声信号に対応する文書等をディスプレイ装置の画面上に
表示するように表示制御手段が制御されることを特徴と
する請求項２又は請求項１０記載の計算機。
【請求項１２】比較手段により比較条件を満すことが
検出されたとき、この検出信号により、実時間情報を抽
出していた音声信号を発音するように音声入出力手段が
制御されることを特徴とする請求項２又は請求項１０記
載の計算機。
【請求項１３】比較手段により比較条件を満すことが
検出されたとき、この検出信号により、発音していた音
声信号の発音を停止するように音声入出力手段が制御さ
れると共に、ディスプレイ装置の画面上に表示されてい
た文書等に代えて、アイコン画像を表示するように表示
制御手段が制御されることを特徴とする請求項２又は請
求項１０記載の計算機。