JP3254542B2 - 聴覚障害者向けニュース送出装置 - Google Patents

聴覚障害者向けニュース送出装置

Info

Publication number
JP3254542B2
JP3254542B2 JP14018994A JP14018994A JP3254542B2 JP 3254542 B2 JP3254542 B2 JP 3254542B2 JP 14018994 A JP14018994 A JP 14018994A JP 14018994 A JP14018994 A JP 14018994A JP 3254542 B2 JP3254542 B2 JP 3254542B2
Authority
JP
Japan
Prior art keywords
voice
unit
news
recognition
converting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP14018994A
Other languages
English (en)
Other versions
JPH089254A (ja
Inventor
清 今村
Original Assignee
日本電気エンジニアリング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気エンジニアリング株式会社 filed Critical 日本電気エンジニアリング株式会社
Priority to JP14018994A priority Critical patent/JP3254542B2/ja
Publication of JPH089254A publication Critical patent/JPH089254A/ja
Application granted granted Critical
Publication of JP3254542B2 publication Critical patent/JP3254542B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Studio Circuits (AREA)
  • Television Systems (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は聴覚障害者向けニュース
送出装置に関し、特に放送運行業務の中のニュース番組
の送出に関する。
【０００２】
【従来の技術】従来、テレビ番組におけるニュース送出
においては、聴覚障害者向けの番組として、アナウンサ
等の映像を表示するテレビ画面の隅に手話を行う人物を
映す方法と、予め用意したニュースの要点のみを文字画
面にしてテレビ画面に合成する方法とがある。
【０００３】これらの方法において、ニュースの詳細な
内容を聴覚障害者に伝達する場合にはもっぱらテレビ画
面の隅に手話を行う人物を同時に映す方法が用いられて
いるが、この方法を用いるには手話の専門家を必要とす
る。
【０００４】手話の専門家無しにニュースの詳細な内容
を聴覚障害者に伝達しようとする場合、そのニュースの
内容を音声認識装置等を用いて認識し、その認識結果を
テレビ画面に合成する方法が考えられる。
【０００５】上記の方法で用いることができる音声認識
装置としては、特開平１−２３０１２３号公報に開示さ
れた技術のように発話者の口の動きを認識することでデ
ータ入力を可能とする方法や、特開平１−２５９４１４
号公報に開示された技術のように発話者の音声と口唇形
状とを関連付けて音声認識を行う方法等が提案されてい
る。
【０００６】また、特開平１−２５９４１４号公報に開
示された技術のように、発声音と口の動きとの相関によ
る情報を情報処理手法を用いて付加することで音声の認
識を行う方法も提案されている。
【０００７】
【発明が解決しようとする課題】上述した従来のテレビ
番組におけるニュース送出では、テレビ画面の隅に手話
を行う人物を同時に映す方法あるいはニュースの要点の
みを文字画面にしてテレビ画面に合成する方法を用いる
ことで聴覚障害者にニュースの内容を伝達しているの
で、手話の専門家を必要とするとともに、手話の専門家
がいなければニュースの要点のみしか伝達することがで
きない。
【０００８】これを解決するために、上記の音声認識装
置を用いて発話者の音声や口唇形状から認識した内容を
テレビ画面に表示することも考えられるが、その音声認
識には高速な処理が必要となるので、テレビ画面の映像
とともに表示すべき文字画面の生成をリアルタイムに行
うことは難しい。
【０００９】そこで、本発明の目的は上記の問題点を解
消し、手話の専門家を必要とすることなく、ニュースの
詳細な内容を聴覚障害者に対してリアルタイムに伝達す
ることができる聴覚障害者向けニュース送出装置を提供
することにある。
【００１０】
【課題を解決するための手段】本発明による第１の障害
者向けニュース送出装置は、ニュース送出時にそのニュ
ース内容を読上げる発声者の口唇パターン及び音声が予
め登録された口唇パターン及び音声の中にあるか否かを
照合する照合手段と、前記ニュース送出時の発声者の口
唇パターン及び音声を認識して文字情報を得る第１の認
識手段と、予め登録された口唇パターン及び音声を認識
して文字情報を得る第２の認識手段と、前記照合手段の
照合結果に応じて前記第１及び第２の認識手段各々の認
識結果のうち一方を放送用信号に変換する変換手段と、
前記変換手段の変換結果をニュース送出信号に重畳する
合成手段とを具備している。
【００１１】本発明による第２の聴覚障害者向けニュー
ス送出装置は、発声者の口唇パターンを撮影する撮影手
段と、前記発声者の音声を収集する収集手段と、前記撮
影手段による口唇パターン及び前記収集手段による音声
波形を登録する登録手段と、前記登録手段に登録された
前記口唇パターン及び前記音声波形を認識しかつ文字情
報に変換して保存する保存手段と、前記口唇パターンを
認識しかつ文字情報に変換する口唇パターン認識手段
と、前記音声波形を認識しかつ文字情報に変換する音声
認識手段と、ニュース送出時にそのニュース内容を読上
げる発声者の口唇パターン及び音声波形と前記登録手段
の内容とを照合する照合手段と、前記照合手段の照合結
果に応じて前記口唇パターン認識手段及び前記音声認識
手段各々の認識結果と前記保存手段の内容とのうち一方
を放送用信号に変換する変換手段と、前記変換手段の変
換結果をニュース送出信号に重畳する合成手段とを具備
している。
【００１２】本発明による第３の聴覚障害者向けニュー
ス送出装置は、発声者の口唇パターンを認識して文字情
報に変換する口唇パターン認識手段と、前記発声者の音
声を認識して文字情報に変換する音声認識手段と、前記
口唇パターン認識手段及び前記音声認識手段各々の認識
結果を登録する登録手段と、ニュース送出時にそのニュ
ース内容を読上げる発声者の口唇パターン及び音声に対
する前記口唇パターン認識手段及び前記音声認識手段各
々の認識結果と前記登録手段の内容とを照合する照合手
段と、前記照合手段の照合結果に応じて前記口唇パター
ン認識手段及び前記音声認識手段各々の認識結果と前記
登録手段の内容とのうち一方を放送用信号に変換する変
換手段と、前記変換手段の変換結果をニュース送出信号
に重畳する合成手段とを備えている。
【００１３】本発明による第４の聴覚障害者向けニュー
ス送出装置は、発声者の口唇パターンを認識して文字情
報に変換する口唇パターン認識手段と、前記発声者の音
声を認識して文字情報に変換する音声認識手段と、前記
口唇パターン認識手段及び前記音声認識手段各々の認識
結果を文節情報に変換する文節情報変換手段と、前記文
節情報変換手段の変換結果を登録する登録手段と、ニュ
ース送出時にそのニュース内容を読上げる発声者の口唇
パターン及び音声に対する前記文節情報変換手段の変換
結果と前記登録手段の内容とを照合する照合手段と、前
記照合手段の照合結果に応じて前記文節情報変換手段の
変換結果と前記登録手段の内容とのうち一方を放送用信
号に変換する信号変換手段と、前記信号変換手段の変換
結果をニュース送出信号に重畳する合成手段とを備えて
いる。
【００１４】本発明による第５の聴覚障害者向けニュー
ス送出装置は、発声者の口唇パターンを撮影する撮影手
段と、前記発声者の音声を収集する収集手段と、前記撮
影手段による口唇パターン及び前記収集手段による音声
波形を登録する登録手段と、前記登録手段に登録された
前記口唇パターン及び前記音声波形を認識しかつその認
識結果を文節情報に変換して保存する保存手段と、前記
口唇パターンを認識して文字情報に変換する口唇パター
ン認識手段と、前記音声波形を認識して文字情報に変換
する音声認識手段と、ニュース送出時にそのニュース内
容を読上げる発声者の口唇パターン及び音声波形と前記
登録手段の内容とを照合する照合手段と、前記照合手段
の照合結果が一致を示すときに前記保存手段の内容を放
送用信号に変換する第１の信号変換手段と、前記照合手
段の照合結果が不一致を示すときに前記口唇パターン認
識手段及び前記音声認識手段各々の認識結果を文節情報
に変換する文節変換手段と、前記文節変換手段の変換結
果を前記放送用信号に変換する第２の信号変換手段と、
前記第１及び第２の信号変換手段各々の変換結果をニュ
ース送出信号に重畳する合成手段とを備えている。
【００１５】本発明による第６の聴覚障害者向けニュー
ス送出装置は、発声者の口唇パターンを認識して文字情
報に変換する口唇パターン認識手段と、前記発声者の音
声を認識して文字情報に変換する音声認識手段と、前記
口唇パターン認識手段及び前記音声認識手段各々の認識
結果を登録する登録手段と、前記登録手段の内容を文節
情報に変換して保存する保存手段と、ニュース送出時に
そのニュース内容を読上げる発声者の口唇パターン及び
音声に対する前記口唇パターン認識手段及び前記音声認
識手段各々の認識結果と前記登録手段の内容とを照合す
る照合手段と、前記照合手段の照合結果に応じて前記口
唇パターン認識手段及び前記音声認識手段各々の認識結
果と前記保存手段の内容とのうち一方を放送用信号に変
換する変換手段と、前記変換手段の変換結果をニュース
送出信号に重畳する合成手段とを備えている。
【００１６】
【作用】ニュース番組送出前のリハーサル時の発声者の
口唇パターン及び音声波形はデータ登録部に予め登録さ
れる。このとき、データ登録部に登録された内容に対し
てパターン認識及び音声認識が行われ、さらに文節情報
に変換されて文節保存部に保存される。
【００１７】ニュース送出時、発声者の口唇パターン及
び音声波形はデータ照合部でデータ登録部に登録された
内容と照合される。この照合結果に応じて文節保存部に
保存された文節情報と、発声者の口唇パターンのパター
ン認識結果及び音声の音声認識結果を変換した文節情報
とのうち一方が信号変換器で放送用信号に変換され、信
号合成器でニュース番組の送出画面に重畳されて送出さ
れる。
【００１８】これによって、手話の専門家を必要とする
ことなく、ニュースの詳細な内容を聴覚障害者に対して
リアルタイムに伝達可能となる。
【００１９】
【実施例】次に、本発明について図面を参照して説明す
る。
【００２０】図１は本発明の一実施例の構成を示すブロ
ック図である。図において、本発明の一実施例による聴
覚障害者向けニュース送出装置は、カメラ１と、マイク
２と、パターン認識部３と、音声認識部４と、データ登
録部５と、文節保存部６と、データ照合部７と、文節送
出部８と、文節変換部９と、信号変換器１０と、信号合
成器１１とから構成されている。
【００２１】カメラ１はアナウンサ等の発声者の口唇パ
ターンを撮影し、撮影した口唇パターンをパターン認識
部３及びデータ登録部５に送出する。マイク２はアナウ
ンサ等の発声者の音声を収集し、収集した音声波形を音
声認識部４及びデータ登録部５に送出する。
【００２２】パターン認識部３はカメラ１で撮影された
口唇パターンに対してパターン認識を行い、そのパター
ン認識の結果である文字情報をデータ照合部７に出力す
る。音声認識部４はマイク２で収集された音声に対して
音声認識を行い、その音声認識の結果である文字情報を
データ照合部７に出力する。
【００２３】データ登録部５にはカメラ１からの口唇パ
ターンとマイク２からの音声波形とが予め登録される。
文節保存部６はデータ登録部５に予め登録された口唇パ
ターン及び音声波形とに対して夫々パターン認識及び音
声認識を行い、その認識結果である文字情報を文節情報
に変換して保存する。
【００２４】データ照合部７はパターン認識部３でパタ
ーン認識される口唇パターン及び音声認識部４で音声認
識される音声波形とデータ登録部５に予め登録された内
容との照合を行い、それらが一致していれば文節送出部
８に文節保存部６に保存された文節情報を送出するよう
指示する。
【００２５】これに対し、データ照合部７はそれらが不
一致であれば、文節変換部９にパターン認識部３のパタ
ーン認識の結果及び音声認識部４の音声認識の結果を文
節情報に変換するよう指示する。
【００２６】文節送出部８はデータ照合部７からの指示
に応答して文節保存部６に保存された文節情報を信号変
換器１０に送出する。文節変換部９はデータ照合部７か
らの指示に応答してパターン認識部３のパターン認識の
結果及び音声認識部４の音声認識の結果を文節情報に変
換して信号変換器１０に送出する。
【００２７】信号変換器１０は文節送出部８及び文節変
換部９からの文節情報を放送用信号（ＮＴＳＣ信号等）
に変換し、局内同期信号に合わせて信号合成器１１に出
力する。
【００２８】信号合成器１１はアナウンサ等が映った画
面、つまりニュース番組の中で送出する画面に信号変換
器１０で変換された放送用信号を重畳し、これを送出画
面として送出する。
【００２９】この図１を用いて本発明の一実施例の動作
について説明する。まず、ニュース番組を送出する前に
アナウンサ等がリハーサルを行うとき、アナウンサ等の
発声者の口唇パターンをカメラ１で撮影するとともに、
アナウンサ等の発声者の音声をマイク２で収集する。
【００３０】カメラ１で撮影された口唇パターンはパタ
ーン認識部３及びデータ登録部５に送出されるととも、
マイク２で収集された音声は音声認識部４及びデータ登
録部５に送出される。
【００３１】データ登録部５はカメラ１からの口唇パタ
ーン及びマイク２からの音声波形を登録する。このと
き、文節保存部６はデータ登録部５に登録された口唇パ
ターン及び音声波形に対してパターン認識及び音声認識
を行い、その認識結果である文字情報を文節情報に変換
して保存する。
【００３２】ニュース番組の送出時に、カメラ１がアナ
ウンサ等の発声者の口唇パターンを撮影するとともに、
マイク２がアナウンサ等の発声者の音声を収集すると、
パターン認識部３はカメラ１からの口唇パターンに対し
てパターン認識を行い、音声認識部４はマイク２からの
音声に対して音声認識を行う。
【００３３】データ照合部７はパターン認識部３でパタ
ーン認識する口唇パターン及び音声認識部４で音声認識
する音声波形とデータ登録部５の内容との照合を行い、
それらが一致していれば文節送出部８に対して文節保存
部６に保存された文節情報を信号変換器１０に送出する
よう指示する。
【００３４】文節送出部８はデータ照合部７からの指示
に応答して文節保存部６に保存された文節情報を信号変
換器１０に送出する。信号変換器１０は文節送出部８か
らの文節情報を放送用信号に変換し、局内同期信号に合
わせて信号合成器１１に出力する。
【００３５】信号合成器１１はアナウンサ等が映った画
面、つまりニュース番組の中で送出する画面に信号変換
器１０で変換された放送用信号を重畳し、これを送出画
面として送出する。
【００３６】これに対し、データ照合部７はパターン認
識部３でパターン認識する口唇パターン及び音声認識部
４で音声認識する音声波形とデータ登録部５の内容とが
不一致であれば、つまりニュースの内容がリハーサルの
ときとは異なる内容（例えば、臨時ニュースや中継放送
等）であれば、文節変換部９にパターン認識部３のパタ
ーン認識の結果及び音声認識部４の音声認識の結果を文
節情報に変換するよう指示する。
【００３７】文節変換部９はデータ照合部７からの指示
に応答してパターン認識部３のパターン認識の結果及び
音声認識部４の音声認識の結果を文節情報に変換して信
号変換器１０に送出する。信号変換器１０は文節変換部
９からの文節情報を放送用信号に変換し、局内同期信号
に合わせて信号合成器１１に出力する。
【００３８】信号合成器１１はアナウンサ等が映った画
面、つまりニュース番組の中で送出する画面に信号変換
器１０で変換された放送用信号を重畳し、これを送出画
面として送出する。
【００３９】図２は本発明の他の実施例の構成を示すブ
ロック図である。図において、本発明の他の実施例によ
る聴覚障害者向けニュース送出装置は、データ登録部１
２にパターン認識部３のパターン認識の結果及び音声認
識部４の音声認識の結果を予め登録し、データ照合部１
４でパターン認識部３及び音声認識部４の認識結果とデ
ータ登録部１２の内容とを照合するようにした以外は図
１に示す本発明の一実施例と同様の構成となっており、
同一構成要素には同一符号を付してある。また、それら
同一構成要素の処理動作は本発明の一実施例と同様であ
る。
【００４０】ここで、データ照合部１４はパターン認識
部３及び音声認識部４からの文字情報とデータ登録部１
２の文字情報とを照合するだけなので、上記の口唇パタ
ーン及び音声波形の照合に比べて処理動作を高速にする
ことができる。
【００４１】また、文節保存部１３はデータ登録部１２
に登録された文字情報を文節情報に変換するだけなの
で、データ照合部１４と同様に処理動作を高速にするこ
とができる。
【００４２】この図２を用いて本発明の一実施例の動作
について説明する。まず、ニュース番組を送出する前に
アナウンサ等がリハーサルを行うとき、アナウンサ等の
発声者の口唇パターンをカメラ１で撮影するとともに、
アナウンサ等の発声者の音声をマイク２で収集する。
【００４３】カメラ１で撮影された口唇パターンはパタ
ーン認識部３に送出されるととも、マイク２で収集され
た音声は音声認識部４に送出される。パターン認識部３
はカメラ１からの口唇パターンに対してパターン認識を
行い、その認識結果をデータ登録部１２及びデータ照合
部１４に送出する。
【００４４】音声認識部４はマイク２からの音声に対し
て音声認識を行い、その認識結果をデータ登録部１２及
びデータ照合部１４に送出する。
【００４５】データ登録部１２はパターン認識部３及び
音声認識部４の認識結果を予め登録する。このとき、文
節保存部１３はデータ登録部１２に登録されたパターン
認識部３及び音声認識部４の認識結果、つまりその認識
結果である文字情報を文節情報に変換して保存する。
【００４６】ニュース番組の送出時に、カメラ１がアナ
ウンサ等の発声者の口唇パターンを撮影するとともに、
マイク２がアナウンサ等の発声者の音声を収集すると、
パターン認識部３はカメラ１からの口唇パターンに対し
てパターン認識を行い、音声認識部４はマイク２からの
音声に対して音声認識を行う。
【００４７】データ照合部１４はパターン認識部３及び
音声認識部４の認識結果とデータ登録部１２の内容との
照合を行い、それらが一致していれば文節送出部８に対
して文節保存部１３に保存された文節情報を信号変換器
１０に送出するよう指示する。
【００４８】文節送出部８はデータ照合部１４からの指
示に応答して文節保存部１３に保存された文節情報を信
号変換器１０に送出する。信号変換器１０は文節送出部
８からの文節情報を放送用信号に変換し、局内同期信号
に合わせて信号合成器１１に出力する。
【００４９】信号合成器１１はアナウンサ等が映った画
面、つまりニュース番組の中で送出する画面に信号変換
器１０で変換された放送用信号を重畳し、これを送出画
面として送出する。
【００５０】これに対し、データ照合部１４はパターン
認識部３及び音声認識部４の認識結果とデータ登録部１
２の内容とが不一致であれば、つまりニュースの内容が
リハーサルのときとは異なる内容（例えば、臨時ニュー
スや中継放送等）であれば、文節変換部９にパターン認
識部３及び音声認識部４の認識結果を文節情報に変換す
るよう指示する。
【００５１】文節変換部９はデータ照合部１４からの指
示に応答してパターン認識部３及び音声認識部４の認識
結果を文節情報に変換して信号変換器１０に送出する。
信号変換器１０は文節変換部９からの文節情報を放送用
信号に変換し、局内同期信号に合わせて信号合成器１１
に出力する。
【００５２】信号合成器１１はアナウンサ等が映った画
面、つまりニュース番組の中で送出する画面に信号変換
器１０で変換された放送用信号を重畳し、これを送出画
面として送出する。
【００５３】図３は本発明の別の実施例の構成を示すブ
ロック図である。図において、本発明の別の実施例によ
る聴覚障害者向けニュース送出装置は、文節登録部１６
に文節変換部１５で変換された文節情報を予め登録し、
データ照合部１７で文節変換部１５で変換された文節情
報の先頭部分と文節登録部１６の内容とを照合するよう
にした以外は図１に示す本発明の一実施例と同様の構成
となっており、同一構成要素には同一符号を付してあ
る。また、それら同一構成要素の処理動作は本発明の一
実施例と同様である。
【００５４】ここで、文節照合部１７は文節変換部１５
からの文節情報の先頭部分と文節登録部１６の文節情報
とを照合するだけなので、上記の口唇パターン及び音声
波形の照合に比べて処理動作を高速にすることができ
る。
【００５５】この図３を用いて本発明の一実施例の動作
について説明する。まず、ニュース番組を送出する前に
アナウンサ等がリハーサルを行うとき、アナウンサ等の
発声者の口唇パターンをカメラ１で撮影するとともに、
アナウンサ等の発声者の音声をマイク２で収集する。
【００５６】カメラ１で撮影された口唇パターンはパタ
ーン認識部３に送出されるととも、マイク２で収集され
た音声は音声認識部４に送出される。パターン認識部３
はカメラ１からの口唇パターンに対してパターン認識を
行い、その認識結果を文節変換部１５に送出する。
【００５７】音声認識部４はマイク２からの音声に対し
て音声認識を行い、その認識結果を文節変換部１５に送
出する。文節変換部１５はパターン認識部３及び音声認
識部４の認識結果を文節情報に変換し、その文節情報を
文節登録部１６及び文節照合部１７に送出する。文節登
録部１６は文節変換部１５で変換された文節情報を予め
登録する。
【００５８】ニュース番組の送出時に、カメラ１がアナ
ウンサ等の発声者の口唇パターンを撮影するとともに、
マイク２がアナウンサ等の発声者の音声を収集すると、
パターン認識部３はカメラ１からの口唇パターンに対し
てパターン認識を行い、音声認識部４はマイク２からの
音声に対して音声認識を行う。
【００５９】文節変換部１５はパターン認識部３及び音
声認識部４の認識結果を文節情報に変換し、その文節情
報を文節照合部１７に送出する。文節照合部１７は文節
変換部１５で変換された文節情報の先頭部分と文節登録
部１６の内容との照合を行い、それらが一致していれば
文節送出部８に対して文節登録部１６に登録された文節
情報を信号変換器１０に送出するよう指示する。
【００６０】文節送出部８は文節照合部１７からの指示
に応答して文節登録部１６に登録された文節情報を信号
変換器１０に送出する。信号変換器１０は文節送出部８
からの文節情報を放送用信号に変換し、局内同期信号に
合わせて信号合成器１１に出力する。
【００６１】信号合成器１１はアナウンサ等が映った画
面、つまりニュース番組の中で送出する画面に信号変換
器１０で変換された放送用信号を重畳し、これを送出画
面として送出する。
【００６２】これに対し、文節照合部１７は文節変換部
１５で変換された文節情報の先頭部分と文節登録部１６
の内容とが不一致であれば、つまりニュースの内容がリ
ハーサルのときとは異なる内容（例えば、臨時ニュース
や中継放送等）であれば、文節変換部１５で変換された
文節情報を信号変換器１０に送出する。
【００６３】信号変換器１０は文節照合部１７からの文
節情報を放送用信号に変換し、局内同期信号に合わせて
信号合成器１１に出力する。信号合成器１１はアナウン
サ等が映った画面、つまりニュース番組の中で送出する
画面に信号変換器１０で変換された放送用信号を重畳
し、これを送出画面として送出する。
【００６４】このように、カメラ１が撮影した発声者の
口唇パターンとマイク２が収集した発声者の音声波形と
をデータ登録部５に予め登録しておき、ニュース番組の
送出時にデータ登録部５に登録された内容とパターン認
識部３でパターン認識する口唇パターン及び音声認識部
４で音声認識する音声波形とをデータ照合部７で照合
し、その照合結果に応じて文節保存部６に保存された文
節情報と文節変換部９で変換された文節情報とのうち一
方を信号変換器１０で放送用信号に変換して信号合成器
１１によりニュース送出信号に重畳することによって、
手話の専門家を必要とすることなく、ニュースの詳細な
内容を聴覚障害者に対してリアルタイムに伝達すること
ができる。
【００６５】また、カメラ１が撮影した発声者の口唇パ
ターンに対するパターン認識部３の認識結果とマイク２
が受信した発声者の音声に対する音声認識部４の認識結
果とをデータ登録部１２に予め登録しておき、ニュース
番組の送出時にデータ登録部１２に登録された内容とパ
ターン認識部３の認識結果及び音声認識部４の認識結果
とをデータ照合部１４で照合し、その照合結果に応じて
文節保存部１３に保存された文節情報と文節変換部９で
変換された文節情報とのうち一方を信号変換器１０で放
送用信号に変換して信号合成器１１によりニュース送出
信号に重畳する場合にも、上記と同様に、手話の専門家
を必要とすることなく、ニュースの詳細な内容を聴覚障
害者に対してリアルタイムに伝達することができる。
【００６６】さらに、発声者の口唇パターンに対するパ
ターン認識部３の認識結果と発声者の音声に対する音声
認識部４の認識結果とを文節変換部１５で変換した文節
情報を文節登録部１６に予め登録しておき、ニュース番
組の送出時に文節登録部１６に登録された内容と文節変
換部１５で変換した文節情報の先頭部分とを文節照合部
１７で照合し、その照合結果に応じて文節登録部１６に
登録された文節情報と文節変換部１５で変換された文節
情報とのうち一方を信号変換器１０で放送用信号に変換
して信号合成器１１によりニュース送出信号に重畳する
場合にも、上記と同様に、手話の専門家を必要とするこ
となく、ニュースの詳細な内容を聴覚障害者に対してリ
アルタイムに伝達することができる。
【００６７】
【発明の効果】以上説明したように本発明の聴覚障害者
向けニュース送出装置によれば、ニュース送出時の発声
者の口唇パターン及び音声で予め登録した口唇パターン
及び音声を照合し、照合結果に応じてニュース送出時の
発声者の口唇パターン及び音声を認識して得た文字情報
と予め登録された口唇パターン及び音声を認識して得た
文字情報とのうち一方を放送用信号に変換してニュース
送出信号に重畳することによって、手話の専門家を必要
とすることなく、ニュースの詳細な内容を聴覚障害者に
対してリアルタイムに伝送することができるという効果
がある。
【００６８】また、本発明の他の聴覚障害者向けニュー
ス送出装置によれば、発声者の口唇パターン及び音声波
形を夫々登録するとともに、その口唇パターン及び音声
波形を認識して得た文字情報を保存しておき、ニュース
送出時にそのニュース内容を読上げる発声者の口唇パタ
ーン及び音声波形と登録された口唇パターン及び音声波
形とを照合し、その照合結果に応じて口唇パターン及び
音声の認識結果と保存された文字情報とのうち一方を放
送用信号に変換してニュース送出信号に重畳することに
よって、手話の専門家を必要とすることなく、ニュース
の詳細な内容を聴覚障害者に対してリアルタイムに伝達
することができるという効果がある。
【００６９】さらに、本発明の別の聴覚障害者向けニュ
ース送出装置によれば、発声者の口唇パターン及び発声
者の音声を夫々認識して文字情報に変換して夫々登録し
ておき、ニュース送出時にそのニュース内容を読上げる
発声者の口唇パターン及び音声の認識結果と登録された
文字情報とを照合し、その照合結果に応じて口唇パター
ン及び音声の認識結果と登録された文字情報とのうち一
方を放送用信号に変換してニュース送出信号に重畳する
ことによって、手話の専門家を必要とすることなく、ニ
ュースの詳細な内容を聴覚障害者に対してリアルタイム
に伝達することができるという効果がある。
【００７０】さらにまた、本発明のさらに別の聴覚障害
者向けニュース送出装置によれば、発声者の口唇パター
ン及び発声者の音声を夫々認識して得た文字情報を文節
情報に変換して夫々登録しておき、ニュース送出時にそ
のニュース内容を読上げる発声者の口唇パターン及び音
声の認識結果を変換して得た文節情報と登録された文節
情報とを照合し、その照合結果に応じて口唇パターン及
び音声の認識結果を変換して得た文節情報と登録された
文節情報とのうち一方を放送用信号に変換してニュース
送出信号に重畳することによって、手話の専門家を必要
とすることなく、ニュースの詳細な内容を聴覚障害者に
対してリアルタイムに伝達することができるという効果
がある。
【図面の簡単な説明】
【図１】本発明の一実施例の構成を示すブロック図であ
る。
【図２】本発明の他の実施例の構成を示すブロック図で
ある。
【図３】本発明の別の実施例の構成を示すブロック図で
ある。
【符号の説明】
１ カメラ ２ マイク ３ パターン認識部 ４ 音声認識部 ５，１２ データ登録部 ６，１３ 文節保存部 ７，１４ データ照合部 ８ 文節送出部 ９，１５ 文節変換部 １０ 信号変換器 １１ 信号合成器 １６ 文節登録部 １７ 文節照合部
フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 5/278 H04N 5/222 G10L 15/24 G06F 3/16 320

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項１】 ニュース送出時にそのニュース内容を読
    上げる発声者の口唇パターン及び音声が予め登録された
    口唇パターン及び音声の中にあるか否かを照合する照合
    手段と、前記ニュース送出時の発声者の口唇パターン及
    び音声を認識して文字情報を得る第１の認識手段と、予
    め登録された口唇パターン及び音声を認識して文字情報
    を得る第２の認識手段と、前記照合手段の照合結果に応
    じて前記第１及び第２の認識手段各々の認識結果のうち
    一方を放送用信号に変換する変換手段と、前記変換手段
    の変換結果をニュース送出信号に重畳する合成手段とを
    有することを特徴とする聴覚障害者向けニュース送出装
    置。
  2. 【請求項２】 発声者の口唇パターンを撮影する撮影手
    段と、前記発声者の音声を収集する収集手段と、前記撮
    影手段による口唇パターン及び前記収集手段による音声
    波形を登録する登録手段と、前記登録手段に登録された
    前記口唇パターン及び前記音声波形を認識しかつ文字情
    報に変換して保存する保存手段と、前記口唇パターンを
    認識しかつ文字情報に変換する口唇パターン認識手段
    と、前記音声波形を認識しかつ文字情報に変換する音声
    認識手段と、ニュース送出時にそのニュース内容を読上
    げる発声者の口唇パターン及び音声波形と前記登録手段
    の内容とを照合する照合手段と、前記照合手段の照合結
    果に応じて前記口唇パターン認識手段及び前記音声認識
    手段各々の認識結果と前記保存手段の内容とのうち一方
    を放送用信号に変換する変換手段と、前記変換手段の変
    換結果をニュース送出信号に重畳する合成手段とを有す
    ることを特徴とする聴覚障害者向けニュース送出装置。
  3. 【請求項３】 発声者の口唇パターンを認識して文字情
    報に変換する口唇パターン認識手段と、前記発声者の音
    声を認識して文字情報に変換する音声認識手段と、前記
    口唇パターン認識手段及び前記音声認識手段各々の認識
    結果を登録する登録手段と、ニュース送出時にそのニュ
    ース内容を読上げる発声者の口唇パターン及び音声に対
    する前記口唇パターン認識手段及び前記音声認識手段各
    々の認識結果と前記登録手段の内容とを照合する照合手
    段と、前記照合手段の照合結果に応じて前記口唇パター
    ン認識手段及び前記音声認識手段各々の認識結果と前記
    登録手段の内容とのうち一方を放送用信号に変換する変
    換手段と、前記変換手段の変換結果をニュース送出信号
    に重畳する合成手段とを有することを特徴とする聴覚障
    害者向けニュース送出装置。
  4. 【請求項４】 発声者の口唇パターンを認識して文字情
    報に変換する口唇パターン認識手段と、前記発声者の音
    声を認識して文字情報に変換する音声認識手段と、前記
    口唇パターン認識手段及び前記音声認識手段各々の認識
    結果を文節情報に変換する文節情報変換手段と、前記文
    節情報変換手段の変換結果を登録する登録手段と、ニュ
    ース送出時にそのニュース内容を読上げる発声者の口唇
    パターン及び音声に対する前記文節情報変換手段の変換
    結果と前記登録手段の内容とを照合する照合手段と、前
    記照合手段の照合結果に応じて前記文節情報変換手段の
    変換結果と前記登録手段の内容とのうち一方を放送用信
    号に変換する信号変換手段と、前記信号変換手段の変換
    結果をニュース送出信号に重畳する合成手段とを有する
    ことを特徴とする聴覚障害者向けニュース送出装置。
  5. 【請求項５】 発声者の口唇パターンを撮影する撮影手
    段と、前記発声者の音声を収集する収集手段と、前記撮
    影手段による口唇パターン及び前記収集手段による音声
    波形を登録する登録手段と、前記登録手段に登録された
    前記口唇パターン及び前記音声波形を認識しかつその認
    識結果を文節情報に変換して保存する保存手段と、前記
    口唇パターンを認識して文字情報に変換する口唇パター
    ン認識手段と、前記音声波形を認識して文字情報に変換
    する音声認識手段と、ニュース送出時にそのニュース内
    容を読上げる発声者の口唇パターン及び音声波形と前記
    登録手段の内容とを照合する照合手段と、前記照合手段
    の照合結果が一致を示すときに前記保存手段の内容を放
    送用信号に変換する第１の信号変換手段と、前記照合手
    段の照合結果が不一致を示すときに前記口唇パターン認
    識手段及び前記音声認識手段各々の認識結果を文節情報
    に変換する文節変換手段と、前記文節変換手段の変換結
    果を前記放送用信号に変換する第２の信号変換手段と、
    前記第１及び第２の信号変換手段各々の変換結果をニュ
    ース送出信号に重畳する合成手段とを有することを特徴
    とする聴覚障害者向けニュース送出装置。
  6. 【請求項６】 発声者の口唇パターンを認識して文字情
    報に変換する口唇パターン認識手段と、前記発声者の音
    声を認識して文字情報に変換する音声認識手段と、前記
    口唇パターン認識手段及び前記音声認識手段各々の認識
    結果を登録する登録手段と、前記登録手段の内容を文節
    情報に変換して保存する保存手段と、ニュース送出時に
    そのニュース内容を読上げる発声者の口唇パターン及び
    音声に対する前記口唇パターン認識手段及び前記音声認
    識手段各々の認識結果と前記登録手段の内容とを照合す
    る照合手段と、前記照合手段の照合結果に応じて前記口
    唇パターン認識手段及び前記音声認識手段各々の認識結
    果と前記保存手段の内容とのうち一方を放送用信号に変
    換する変換手段と、前記変換手段の変換結果をニュース
    送出信号に重畳する合成手段とを有することを特徴とす
    る聴覚障害者向けニュース送出装置。
JP14018994A 1994-06-22 1994-06-22 聴覚障害者向けニュース送出装置 Expired - Fee Related JP3254542B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP14018994A JP3254542B2 (ja) 1994-06-22 1994-06-22 聴覚障害者向けニュース送出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP14018994A JP3254542B2 (ja) 1994-06-22 1994-06-22 聴覚障害者向けニュース送出装置

Publications (2)

Publication Number Publication Date
JPH089254A JPH089254A (ja) 1996-01-12
JP3254542B2 true JP3254542B2 (ja) 2002-02-12

Family

ID=15262984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14018994A Expired - Fee Related JP3254542B2 (ja) 1994-06-22 1994-06-22 聴覚障害者向けニュース送出装置

Country Status (1)

Country Link
JP (1) JP3254542B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006079456A (ja) * 2004-09-10 2006-03-23 Nippon Signal Co Ltd:The 発話識別方法及びこれを用いたパスワード照合装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3454756B2 (ja) 1999-07-05 2003-10-06 有限会社寿通商 浄水機能付きシャワーヘッド
US7504033B2 (en) 1999-07-05 2009-03-17 Kotobuki Tsushou Co., Ltd. Water quality purification cartidge
JP4761568B2 (ja) * 2004-05-12 2011-08-31 貴司 吉峰 会話支援装置
KR100839463B1 (ko) * 2006-02-27 2008-06-19 다카시 요시미네 회화지원장치 및 회화지원방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006079456A (ja) * 2004-09-10 2006-03-23 Nippon Signal Co Ltd:The 発話識別方法及びこれを用いたパスワード照合装置
JP4553667B2 (ja) * 2004-09-10 2010-09-29 日本信号株式会社 発話識別方法及びこれを用いたパスワード照合装置

Also Published As

Publication number Publication date
JPH089254A (ja) 1996-01-12

Similar Documents

Publication Publication Date Title
US5815196A (en) Videophone with continuous speech-to-subtitles translation
US5839109A (en) Speech recognition apparatus capable of recognizing signals of sounds other than spoken words and displaying the same for viewing
US7774194B2 (en) Method and apparatus for seamless transition of voice and/or text into sign language
KR101636716B1 (ko) 발언자를 구별하는 영상 회의 장치 및 방법
WO1998053438A1 (en) Segmentation and sign language synthesis
JP2000175170A (ja) 多地点テレビ会議システム及びその通信方法
JP2003299051A (ja) 情報出力装置および情報出力方法
JP2004304601A (ja) Ｔｖ電話装置、ｔｖ電話装置のデータ送受信方法
JP3254542B2 (ja) 聴覚障害者向けニュース送出装置
CN117135305B (zh) 一种电话会议实现方法、装置和系统
CN105450970B (zh) 一种信息处理方法及电子设备
CN109802968B (zh) 一种会议发言系统
JP4789227B2 (ja) 音声認識機能を内蔵した映像表示装置
JP2019176375A (ja) 動画出力装置、動画出力方法および動画出力プログラム
JP2002010138A (ja) 情報処理方法及び情報処理装置
CN114257778A (zh) 一种远程会议系统及多麦克风语音识别播放方法
JP2000333150A (ja) テレビ会議システム
US20020184036A1 (en) Apparatus and method for visible indication of speech
JP3446530B2 (ja) マルチメディア議事録作成方法及び装置
KR200294684Y1 (ko) 대화형 디지털 액자
JPH1026999A (ja) 手話翻訳装置
JPH0388592A (ja) テレビ電話装置
JPH10136260A (ja) 字幕スーパー・タイミング発生装置および方法ならびに字幕スーパー処理装置および方法
JP2664679B2 (ja) 通信システム
JPH11276517A (ja) 補聴装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20011023

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071130

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081130

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081130

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081130

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081130

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091130

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees