JPH1141538A - 音声認識文字表示装置 - Google Patents

Abstract

(57)【要約】 【課題】 音声認識した話者音声をテロップ形式で画面
表示することにより、画像と文字により情報が重層的に
理解できるようにする。 【解決手段】 音声入力を認識して音声データを出力す
る音声認識部２２が供給する音声データを、画像変換部
２５が発声順に連なって移動する文字列からなる文字画
像データに変換し、この文字画像データを映像信号に挿
入して合成したものを表示手段であるモニタ受像機３３
に画面表示する。画面上で文字が発声順に、右から左へ
と連なって移動するよう文字データを画像変換し、コン
ピュータ映像やビデオ画像に合成してテロップ表示する
ことができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声認識された文
字をテロップ形式でモニタ受像機に画面表示するように
した音声文字認識表示装置に関する。

【０００２】

【従来の技術】音声認識された文字を文字列として送出
し、字幕スーパーとして文字列を画面に表示する音声認
識文字表示装置が提案されている。例えば、特開昭６１
−２６４８８２号「不特定話者の音声入力装置を用いた
ＴＶ・及モニターディスプレイにおける字幕スーパー文
字表示システムに関する方法」には、不特定話者の音声
認識機能を有する音声入力装置を用い、音声を文字に変
換し、モニター用テレビ及びモニターディスプレイ画面
下部の字幕スーパーとして文字を表示するようにした装
置が開示されている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来の音声認識文字表示装置は、字幕スーパーの表示位置
として指定された箇所に表示できる文字数に制限がある
ため、音声認識された発声内容が長文の場合は文字デー
タを一括して表示できず、こうした場合に話し手の喋る
速度に文字スーパー表示が追いつかないことがあり、ま
た話し手の音声が途切れたときに画面上に何らの表示も
なされないため、音声ボリュームを絞って画面を見てい
るときや聴覚障害者が字幕スーパーを頼りに画面を見る
ような場合に、話者が発言中なのか或いはモニタ受像機
自体が故障しているのかが判別できないために焦燥感に
駆られることがある等の課題があった。

【０００４】本発明は、上記課題を解決したものであ
り、音声認識した話者音声をテロップ形式で画面表示す
ることにより、画像と文字により情報が重層的に理解で
きるようにする。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、音声入力を認識して文字データを出力す
る音声認識手段と、該音声認識手段の出力文字データを
供給され、発声順に連なって移動する文字列からなる文
字画像データに変換する画像変換部と、該画像変換部の
出力文字画像データを映像信号に挿入して合成する画像
合成部と、該画像合成部の出力を画面表示する表示手段
とを具備することを特徴としている。

【０００６】また、本発明は、前記音声認識手段が、予
め設定されたしきい値レベル以下の音声入力について
は、無音であることを示す文字データを生成すること、
或いは音声入力があっても音声認識できない場合は、音
声認識不能であることを示す文字データを生成すること
等を特徴とするものである。

【０００７】さらにまた、前記画像変換部は、文字デー
タに対応する文字フォントデータを格納した文字フォン
トＲＯＭと、前記発声順に供給される文字データを受
け、前記文字フォントＲＯＭから対応する文字フォント
データを読み出し、文字を画像として表示するのに必要
な文字画像データを生成する文字画像生成部と、画面の
１行分又は１列分を越えるメモリ容量を備え、前記文字
画像生成部の出力をシフトパルスに同期して１文字ずつ
シフトさせながら書き込まれ、前記１行分又は１列分の
文字画像データを読み出して前記画像合成部に供給する
表示メモリとを具備することを特徴とするものである。

【０００８】

【発明の実施の形態】以下、本発明の実施形態を図１，
２を参照して説明する。図１は、本発明の音声認識文字
表示装置の一実施形態を示すブロック構成図、図２は、
図１に示した音声画像データ変換器の詳細回路構成図で
ある。

【０００９】図１に示す音声認識文字表示装置１は、音
声を文字認識した上で画像データに変換する音声画像デ
ータ変換器２と、画像データに変換された音声をモニタ
画面上のテロップとして表示する表示器３とから構成さ
れる。音声画像データ変換器２は、音声を集音するマイ
クロフォン２１と、このマイクロフォン２１が接続され
た音声認識部２２と、この音声認識部２２の出力を格納
するバッファメモリ２３と、バッファメモリ２３への文
字データの書き込みを制御する制御部２４と、バッファ
メモリ２３から読み出される文字データを発声順に１文
字づつ取り出し、文字が発声順に連なって移動する文字
列からなる文字画像データに変換する画像変換部２５と
から構成される。本実施形態では、音声認識部２２と制
御部２４とが音声認識手段を構成する。一方また、表示
器３は、パーソナルコンピュータやビデオ機器といった
映像信号源４から映像信号が供給される映像信号入力部
３１と、この映像信号入力部３１の出力と前記画像変換
部２５の出力とを合成する画像合成部３２と、画像合成
部３１の出力画像を表示する表示手段としてのモニタ受
像機３３とからなる。

【００１０】音声画像データ変換器２内の音声認識部２
２は、入力された音声信号を、平仮名かカタカナ又はか
な漢字交じり文字に変換するものであり、音声入力があ
っても音声認識できない場合は、音声認識不能であるこ
とを示す認識不能信号Ａを生成し、これを制御部２４に
供給する。バッファメモリ２３は、音声認識部２２にお
いて文字データに変換された音声について、文字表示速
度よりも速い速度をもって発言された音声について認識
した文字を一時的に蓄えておく働きをする。制御部２４
は、マイクロフォン２１を介して入力される音声信号を
監視し、音声信号レベルが予め定めたしきい値レベル以
下になったときは、発声がないと判断し、音声認識部２
２からバッファメモリ２３へのデータ送出を中止すると
ともに無音であることを示す文字データ例えば「・」を
生成し、これをバッファメモリ２３に書き込む働きをす
る。また、音声認識部２２から前記認識不能信号Ａが供
給された場合は、音声信号と認識不能信号Ａの両入力の
存在を確認した上で、音声認識がなされていないことを
示す文字データ例えば「？」を生成し、バッファメモリ
２３に書き込む働きをする。

【００１１】ただし、制御部２４は、バッファメモリ２
３の記憶状態を常に監視しており、無音を示す文字デー
タ「・」或いは認識不能を示す文字データ「？」につい
ては、バッファメモリ２３が空である場合、すなわちバ
ッファメモリ２３に格納された他の文字データが存在し
ない場合にだけ、バッファメモリ２３に書き込むよう自
己規制するようにしてある。これは、バッファメモリ２
３が僅かでも文字データで埋まっているときに、無音を
示す文字データ「・」や認識不能を示す文字データ
「？」が次々と縦列的に格納されてしまい、次に発言が
なされたときに音声認識された文字データが、「・」や
「？」といった文字データをバッファメモリ２３から掃
き出し終えるまで表示されないといった不都合を排除
し、即応性を高めるという理由からである。

【００１２】さらにまた、上記制御部２４は、バッファ
メモリ２３に蓄えられた文字データを読みやすい速さで
もって読み出し、画像変換部２５に発声順に送り出す働
きをする。また、バッファメモリ２３及び画像変換部２
５内の表示メモリ２５ｃの読み書きを制御するため、制
御部２４はシフトパルス発生回路２４ａを内蔵してお
り、このシフトパルス発生回路２４ａから読みやすい速
度で文字を送出するためのパルスＤ（周期Ｔ）をバッフ
ァメモリ２３に供給するとともに、文字を構成するドッ
トの横又は縦方向のドット数ｎをパルスＤの周期Ｔに乗
じた周期ｎＴのパルスＥを、表示メモリ２５ｃに供給す
る。これにより、表示メモリ２５ｃに格納される文字画
像データは、ドット単位でシフトしながら移動させられ
る。

【００１３】画像変換部２５は、バッフアメモリ２３か
ら送られてくる文字データを画像データに変換し、画面
上で文字が例えば右から左へ順に連なって移動するよう
に文字画像データを生成する。この画像変換部２５は、
図２に示したように、文字フォントＲＯＭ２５ａと文字
画像生成部２５ｂと表示メモリ２５ｃとから構成され
る。文字フォントＲＯＭ２５ａは、文字フォントデータ
を格納した読み出し専用メモリであり、音声認識部２２
の認識対象に含まれるあらゆる文字データに対応する文
字フォントデータが格納してある。文字画像生成部２５
ｂは、バッファメモリ２３からシフトパルスＤに同期し
て送出される文字データを受け、文字フォントＲＯＭ２
５ａから文字データに対応する文字フォントデータを読
み出し、文字を画像として表示するのに必要な文字画像
データを生成し、これを表示メモリ２５ｃに送出する。
表示メモリ２５ｃは、画面に表示する１行分又は１列分
の文字数に１文字分を加えたメモリ容量を有しており、
文字画像生成部２５ｂから供給される文字画像データ
を、制御部２４が内蔵するシフトパルス発生回路２４ａ
から供給されるシフトパルスＥに従ってシフトする。す
なわち、文字画像データに含まれる文字を構成する文字
フォントデータがシフトパルスＥに従ってドット単位で
画面の横方向又は縦方向にシフトすることで、テロップ
形式で移動表示される文字画像が表示メモリ２５ｃに書
き込まれる。また、表示メモリ２５ｃに書き込まれたデ
ータは１行分又は１列分が読み出され、これが背景画像
に合成されて画面表示に供される。表示メモリ２５ｃか
らの文字画像データの送出は、表示文字の移動と同期し
ているため、表示メモリ２５ｃの入力側が１文字分空く
と次の文字画像データが送り込まれる。

【００１４】ここで、展示会場等の展示ブースにおい
て、例えば新製品の宣伝或いは商品アプリケーション等
を説明するビデオ映像を映像信号源４から発し、モニタ
受像機３３にて再生し、聴衆に対して随所に解説を加え
る映像プレゼンテーションを行う場合の動作について説
明する。この場合、解説者の音声はマイクロフォン２１
を介して音声認識部２２に取り込まれる。音声認識部２
２は、音声認識により話者音声を文字データに変換し、
逐次バッファメモリ２３に格納していく。同時にまた、
話者音声が途切れたときや入力音声が認識不能である場
合は、制御部２４が、バッファメモリ２３に文字データ
が格納されていないことを確認した上で、無音部である
ことを示す文字データ「・」や認識不能を示す文字デー
タ「？」をバッファメモリ２３に書き込む。

【００１５】ところで、音声認識部２２と制御部２４か
ら送出された文字データが、バッファメモリ２３から読
み出される文字データの速度を上回る場合は、バッファ
メモリ２３に書き込まれた文字データの終端Ｂが、図２
に示すごとく縦列配列状態に図示したメモリセル上を右
側へ移動する。また、これとは逆に、音声認識部２２と
制御部２４から送出された文字データが、バッファメモ
リ２３から読み出される文字データの速度に満たない場
合は、バッファメモリ２３に書き込まれた文字データ上
の終端Ｂが、図２に示すメモリセル上を左側へ移動す
る。従って、文字データの入力が遅い場合は、バッファ
メモリ２３に書き込まれた文字データ上の終端Ｂは最左
端の位置Ｃに移動し、文字データは直ちに文字画像生成
部２５ｂに読み出される。

【００１６】一方、画像変換部２５内の文字画像生成部
２５ａは、シフトパルスＤに同期してバッファメモリ２
３から送出される文字データを受け、文字フォントＲＯ
Ｍ２５ａから文字データに対応する文字フォントデータ
を読み出す。さらに、読み出した文字フォントデータを
用い、文字を画像として表示するのに必要な文字画像デ
ータを生成し、これを表示メモリ２５ｃに送出する。た
だし、文字データがヌルの場合は無音声を示す文字
「・」が読み出され、また文字データが認識不能を示す
文字データである場合は、認識不能を示す文字「？」が
読み出される。文字画像生成部２５ｂから文字画像デー
タの供給を受けた表示メモリ２５ｃは、制御部２４が内
蔵するシフトパルス発生回路２４ａから供給されるシフ
トパルスＥに従って文字画像データをシフトする。すな
わち、文字画像データに含まれる文字を構成する文字フ
ォントデータがシフトパルスＥに従ってドット単位で画
面の横方向又は縦方向にシフトし、これによりテロップ
形式で移動する文字画像が表示メモリ２５ｃに書き込ま
れる。

【００１７】表示メモリ２５ｃから読み出された文字画
像データは画像合成部３２に供給され、画像変換部２５
で生成された表示メモリ２５ｃの入力側１文字分を除い
た文字画像データを、映像信号入力部を介して入力され
た映像信号に合成する。映像信号入力部３１には、プレ
ゼンテーション用の映像信号がビデオテープレコーダや
パーソナルコンピュータといった映像信号源４から入力
されているため、この映像信号に横１ライン分或いは縦
１ライン分の文字画像データが合成される。この場合の
合成は、例えば背景画像となる映像信号の一部にブラン
キング処理を施し、このブランキング処理により空白と
なった箇所に文字画像データを挿入するＰＩＰ（Pictur
e In Picture）方式により行われる。

【００１８】かくして、プロジェクタ等のモニタ受像機
３３を用いたプレゼンテーションにおいて、プレゼンテ
ータ或いはアナウンサの話し声が例えば画面下部に右か
ら左へ読みやすい速さで送られ、聴衆は説明用ビデオ映
像の一部にプレゼンテータの喋る音声が文字化されたテ
ロップを読み取ることができ、聴覚と視覚を合わせた総
合理解が可能である。

【００１９】このように、上記音声認識文字表示装置１
によれば、音声入力を認識して音声データを出力する音
声認識部２２が供給する音声データを、画像変換部２５
が発声順に連なって移動する文字列からなる文字画像デ
ータに変換し、この文字画像データを映像信号に挿入し
て合成したものを表示手段であるモニタ受像機３３に画
面表示する構成としたから、展示ブースや展示会場等に
おけるプレゼンテーションや、或いは表示スクリーンを
使って講演する講演会などにおいて、視覚的な理解を助
けるために表示する映像の一部に、プレゼンテータや講
演者が発する音声を文字に変換して表示したり、或いは
またテレビジョン放送で流されるニュースなどに於い
て、アナウンサが発する音声を文字に変換して画面の一
部に表示したりでき、しかも画面表示される文字は例え
ば電光表示板に移動表示されるテロップのように、画面
を上下又は左右に移動しながら表示されるため、文字表
示領域に制約を受けることなく、発声速度によらず読み
取りやすい速度でもって余すところなく確実に表示する
ことができる。

【００２０】また、音声認識部２２が、予め設定された
しきい値レベル以下の音声入力については、無音声であ
ることを示す文字データを生成するようにしたから、発
言がないときは、画面の一部に「・・・」のごとく無音
声であることを示す文字が表示され、従って聴覚障害者
や或いは出力音声を絞る代わりにテロップ表示される文
字を参照しながら映像を見ている人は、無音声箇所を機
械の故障とは明確に区別した上で安心して映像を見るこ
とができる。

【００２１】また、音声認識部２２が、音声入力があっ
ても音声認識できない場合は、音声認識不能であること
を示す文字データを生成するから、発言があっても文字
認識できない場合は、画面の一部に「？？？」のごとく
文字認識不能であることを示す文字が表示され、従って
映像を見ながら解説を加えているプレゼンテータは、喋
っている内容が音声認識できていないことを了解し、再
度分かりやすい言葉で喋るなどの対処が可能であり、視
覚を重視した明確な情報伝達或いは意志疎通が可能であ
る。

【００２２】さらにまた、画像変換部２５は、文字デー
タに対応する文字フォントデータを格納した文字フォン
トＲＯＭ２５ａと、発声順に供給される文字データを受
け、文字フォントＲＯＭ２５ａから対応する文字フォン
トデータを読み出し、文字を画像として表示するのに必
要な文字画像データを生成する文字画像生成部２５ｂ
と、画面の１行分又は１列分を越えるメモリ容量を備
え、前記文字画像生成部の出力をシフトパルスに同期し
て１文字ずつシフトさせながら書き込まれ、前記１行分
又は１列分の文字画像データを読み出して画像合成部３
２に供給する表示メモリ２５ｃとを具備するから、表示
メモリ２５ｃに書き込む文字画像データのシフトパルス
を、視聴者が最も読み取りやすい速度でもって表示文字
が移動するような周期に決定しさえすれば、画面の１行
分又は１列分だけを使用して話者音声を的確に表示する
ことができ、聴覚障害者に対する情報伝達の徹底或いは
健常者に対する重層的な情報理解の徹底を図ることがで
きる。

【００２３】なお、上記説明では、プレゼンテーション
を例に説明したが、音声認識文字表示装置１は、講演会
などの外に、例えばテレビ放送のニュースなどを音声認
識してテロップとして流すといった使用法も可能であ
る。

【００２４】

【発明の効果】以上説明したように、本発明によれば、
音声入力を認識して音声データを出力する音声認識部が
供給する音声データを、画像変換部が発声順に連なって
移動する文字列からなる文字画像データに変換し、この
文字画像データを映像信号に挿入して合成したものを表
示手段に画面表示する構成としたから、展示ブースや展
示会場等におけるプレゼンテーションや、或いは表示ス
クリーンを使って講演する講演会などにおいて、視覚的
な理解を助けるために表示する映像の一部に、プレゼン
テータや講演者が発する音声を文字に変換して表示した
り、或いはまたテレビジョン放送で流されるニュースな
どに於いて、アナウンサが発する音声を文字に変換して
画面の一部に表示したりでき、しかも画面表示される文
字は例えば電光表示板に移動表示されるテロップのよう
に、画面を上下又は左右に移動しながら表示されるた
め、文字表示領域に制約を受けることなく、発声速度に
よらず読み取りやすい速度でもって余すところなく確実
に表示することができる等の優れた効果を奏する。

【００２５】また、音声認識部が、予め設定されたしき
い値レベル以下の音声入力については、無音声であるこ
とを示す文字データを生成するようにしたから、発言が
ないときは、画面の一部に「・・・」のごとく無音声で
あることを示す文字が表示され、従って聴覚障害者や或
いは出力音声を絞る代わりにテロップ表示される文字を
参照しながら映像を見ている人は、無音声箇所を機械の
故障とは明確に区別した上で安心して映像を見ることが
できる等の効果を奏する。

【００２６】また、音声認識部が、音声入力があっても
音声認識できない場合は、音声認識不能であることを示
す文字データを生成するから、発言があっても文字認識
できない場合は、画面の一部に「？？？」のごとく文字
認識不能であることを示す文字が表示され、従って映像
を見ながら解説を加えているプレゼンテータは、喋って
いる内容が音声認識できていないことを了解し、再度分
かりやすい言葉で喋るなどの対処が可能であり、視覚を
重視した明確な情報伝達或いは意志疎通が可能である等
の効果を奏する。

【００２７】さらにまた、画像変換部は、文字データに
対応する文字フォントデータを格納した文字フォントＲ
ＯＭと、前記発声順に供給される文字データを受け、前
記文字フォントＲＯＭから対応する文字フォントデータ
を読み出し、文字を画像として表示するのに必要な文字
画像データを生成する文字画像生成部と、画面の１行分
又は１列分を越えるメモリ容量を備え、前記文字画像生
成部の出力をシフトパルスに同期して１文字ずつシフト
させながら書き込まれ、前記１行分又は１列分の文字画
像データを読み出して前記画像合成部に供給する表示メ
モリとを具備するから、表示メモリに書き込む文字画像
データのシフトパルスを、視聴者が最も読み取りやすい
速度でもって表示文字が移動するような周期に決定しさ
えすれば、画面の１行分又は１列分だけを使用して話者
音声を的確に表示することができ、聴覚障害者に対する
情報伝達の徹底或いは健常者に対する重層的な情報理解
の徹底を図ることができる等の効果を奏する。

【図面の簡単な説明】

【図１】本発明の音声認識文字表示装置の一実施形態を
示すブロック構成図である。

【図２】図１に示した音声画像データ変換器の詳細回路
構成図である。

【符号の説明】

１ 音声認識文字表示装置 ２ 音声データ変換器 ３ 表示器 ４ 映像信号源 ２１ マイクロフォン ２２ 音声認識手段（音声認識部） ２３ バッファメモリ ２４ 音声認識手段（制御部） ２４ａ シフトパルス発生回路 ２５ 画像変換部 ２５ａ 文字フォントＲＯＭ ２５ｂ 文字画像生成部 ２５ｃ 表示メモリ ３１ 映像信号入力部 ３２ 画像合成部 ３３ （表示手段）モニタ受像機

Claims (4)

【特許請求の範囲】
1. 【請求項１】 音声入力を認識して文字データを出力す
   る音声認識手段と、該音声認識手段の出力文字データを
   供給され、発声順に連なって移動する文字列からなる文
   字画像データに変換する画像変換部と、該画像変換部の
   出力文字画像データを映像信号に挿入して合成する画像
   合成部と、該画像合成部の出力を画面表示する表示手段
   とを具備することを特徴とする音声認識文字表示装置。
2. 【請求項２】 前記音声認識手段は、予め設定されたし
   きい値レベル以下の音声入力については、無音であるこ
   とを示す文字データを生成することを特徴とする請求項
   １記載の音声認識文字表示装置。
3. 【請求項３】 前記音声認識手段は、音声入力があって
   も音声認識できない場合は、音声認識不能であることを
   示す文字データを生成することを特徴とする請求項１記
   載の音声認識文字表示装置。
4. 【請求項４】 前記画像変換部は、文字データに対応す
   る文字フォントデータを格納した文字フォントＲＯＭ
   と、前記発声順に供給される文字データを受け、前記文
   字フォントＲＯＭから対応する文字フォントデータを読
   み出し、文字を画像として表示するのに必要な文字画像
   データを生成する文字画像生成部と、画面の１行分又は
   １列分を越えるメモリ容量を備え、前記文字画像生成部
   の出力をシフトパルスに同期して１文字ずつシフトさせ
   ながら書き込まれ、前記１行分又は１列分の文字画像デ
   ータを読み出して前記画像合成部に供給する表示メモリ
   とを具備することを特徴とする請求項１記載の音声文字
   認識表示装置。