JP3882351B2

JP3882351B2 - 情報告知装置及び情報告知端末装置

Info

Publication number: JP3882351B2
Application number: JP21930998A
Authority: JP
Inventors: 裕己興津
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 1998-08-03
Filing date: 1998-08-03
Publication date: 2007-02-14
Anticipated expiration: 2018-08-03
Also published as: US20020026311A1; US6421644B1; JP2000056676A; US7020610B2

Description

【０００１】
【発明の属する技術分野】
本発明は情報告知装置、情報告知端末装置及び情報告知装置の制御方法に係り、特に検出した音声が何の音声であるかを判別し、判別結果に対応する情報をユーザに告知する情報告知装置、情報告知端末装置及び情報告知装置の制御方法に関する。
【０００２】
【従来の技術】
従来より、音声を検出し、分析し、予め認識させておいた複数の音声パターンと照合するとともに、予め記憶した音声パターンの中から該当する音声パターンを検索することにより、その音声が何の音声であるかを判別する装置として、いわゆる音声認識装置等が知られている。
従来の音声認識装置は、予め記憶されている音声パターンの中から該当する音声を検出したときにその音声の種類及び内容を表示するものであった。
【０００３】
以下、従来からある音声認識装置の概略構成を図３を参照して説明する。
図３において、音声入力部１１０は音声信号を検出し、電気信号に変換して音声分析部１２０に出力する。音声分析部１２０は、電気信号に変換された音声信号の周波数分析を行って特徴抽出部１３０に出力する。特徴抽出部１３０は、周波数分析された音声信号の特徴を抽出し、特徴照合部１４０に出力する。
これにより、特徴照合部１４０は、抽出された音声の特徴と特徴記憶部１５０に予め記憶されている複数の音声の特徴とを逐一照合し、該当する音声パターンを検索する。
【０００４】
これらの結果、情報出力部１７０は、特徴記憶部１５０に記憶されている音声の特徴パターンに対応してユーザが当該音声を理解し把握するために用いられる情報である出力情報を記憶した情報記憶部１６０から特徴照合部１４０において該当する音声の特徴パターンに対応した出力情報を読み出し、表示あるいは音声告知などの形で出力する。
【０００５】
【発明が解決しようとする課題】
しかし、従来の音声認識装置において、特徴記憶部１５０は特徴パターンを予め記憶しているだけであり、新たな音声パターンを記憶させることはできなかった。従って、特徴記憶部１５０に記憶されていない音声を検出したとしても、ユーザに対して告知を行うことができなかった。
ところで、聾唖者等の音声情報を認識できない人に何の音声が発生したかを音声以外の伝達手段によって報知する装置として、例えば特開平７−９３６６９号公報等に開示されている装置がある。
このような装置では、例えば室内に設置されたマイクにより、テレビ番組などからサイレンが鳴っている音を拾った場合等には、音声認識装置はサイレンの音が鳴っていると判断し、サイレンが鳴っていることを告知する告知情報を聾唖者等に通知してしまうという不具合があった。
【０００６】
さらに上記従来の音声認識装置では、音声を検出する場所と、情報を告知する場所とを離れた場所に設置できないような構成になっていたため、音声を検出できる範囲が限られ、あるいは複数箇所の音声を検出することができず、聾唖者等の立場から考えると、充分に情報を伝達することができなかった。
そこで、本発明の目的はユーザが任意の音声を登録することができるとともに、テレビ等による音声に基づいて誤った告知をしてしまうのを防止することが可能な情報告知装置、情報告知端末装置及び情報告知装置の制御方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の構成は、入力音声信号に対応する情報告知を情報告知端末装置を介して行う情報告知装置において、音声の特徴を表す音声特徴情報を記憶する特徴記憶手段と、前記音声特徴情報に対応した告知情報を記憶する告知情報記憶手段と、入力された音声に基づいて入力音声信号を出力する複数の音声入力手段と、前記入力音声信号から音声の特徴を表す音声特徴情報を抽出する特徴抽出手段と、前記特徴抽出手段が抽出した各音声特徴情報を前記各音声入力手段について分析・比較することにより音声源の位置を特定し、特定した位置を示す音声源特定情報を生成する音声源特定手段と、前記特徴抽出手段が抽出した音声特徴情報を前記特徴記憶手段を用いて判別し、判別した音声特徴情報に対応する告知情報を前記告知情報記憶手段から読み出す音声信号分析判別手段と、前記音声信号分析判別手段により読み出された告知情報を前記音声源特定情報とともに前記情報告知端末装置に送信する送信手段と、前記音声源特定情報と前記判別した音声特徴情報とに従い、告知するか否かを判断し、判断結果が否定的な場合に、前記送信手段の送信をキャンセルする判断手段とを備えたことを特徴としている。
【０００８】
請求項２記載の構成は、請求項１に記載の構成において、入力された音声に基づいて入力音声信号を出力する複数の音声入力手段と、前記複数の音声入力手段から出力された入力音声信号を前記音声特徴情報に基づいて前記音声入力手段毎に分析し、音声源の位置を特定して音声源情報を生成する音声源特定手段と、を備え、前記送信手段は、前記音声特徴情報に対応する告知情報を前記音声源情報とともに送信することを特徴としている。
【００１０】
請求項２記載の構成は、請求項１に記載の構成において、前記音声特徴情報は、音声パターンであることを特徴としている。
【００１２】
請求項３記載の構成は、請求項１又は請求項２に記載の情報告知装置から前記告知情報及び前記音声源特定情報を受信する受信装置と、前記告知情報を受信した旨を使用者に報知する受信報知手段と、前記告知情報及び前記音声源情報に対応する表示を行う表示手段と、を備えたことを特徴としている。
【００１３】
請求項４記載の構成は、音声の特徴を表す音声特徴情報を記憶する特徴記憶手段、前記音声特徴情報に対応した告知情報を記憶する告知情報記憶手段、入力された音声に基づいて入力音声信号を出力する複数の音声入力手段及び制御手段を備え、入力音声信号に対応する情報告知を情報告知端末装置を介して行う情報告知装置の制御方法において、前記制御手段が、前記入力音声信号から音声の特徴を表す音声特徴情報を抽出する特徴抽出工程と、前記制御手段が、前記特徴抽出工程において抽出した各音声特徴情報を前記各音声入力手段について分析・比較することにより音声源の位置を特定し、特定した位置を示す音声源特定情報を生成する音声源特定工程と、前記制御手段が、前記特徴抽出工程において抽出した音声特徴情報を前記特徴記憶手段を用いて判別し、判別した音声特徴情報に対応する告知情報を前記告知情報記憶手段から読み出す音声信号分析判別工程と、前記制御手段が、前記音声信号分析判別工程において読み出した告知情報を前記音声源特定情報とともに前記情報告知端末装置に送信する送信工程と、前記制御手段が、前記音声源特定情報と前記判別した音声特徴情報とに従い、告知するか否かを判断し、判断結果が否定的な場合に、前記送信工程における送信をキャンセルする判断工程とを備えたことを特徴としている。
【００１４】
次に、本発明の好適な実施形態について図面を参照して説明する。
［１］第１実施形態
［１．１］システム構成
図１は本発明の第１実施形態における情報告知システムの概略構成を示す図である。
図１において、符号１０は検出した音声を電気信号（アナログ）に変換するマイクである。２０はアナログの電気信号をサンプリングしてデジタルの電気信号に変換するＡ／Ｄ変換器である。３０は前記Ａ／Ｄ変換器２０においてデジタル信号に変換された電気信号を高速フーリエ変換等によって周波数スペクトル分析をする周波数分析器である。４０は情報告知装置全体の動作制御及び情報を処理する制御装置であり、音声パターンの抽出、照合、判別等の動作を行う。５０は前記制御装置４０において抽出された各種音声信号の音声パターンと、その音声パターンに対応する告知情報を登録することにより記憶する記憶部である。７０は音声分析の結果に基づいた告知情報を無線信号に変換し、情報送受信器８０に送信するとともに、情報送受信器８０からの動作指令などを受信する情報送受信器である。８０は前記情報送受信器７０から送信された無線信号を再び告知情報に変換し、ユーザに告知するとともに、制御装置４０の動作指令を送信する情報送受信器である。
【００１５】
ここで、記憶部５０はさらに音声パターンを記憶する特徴記憶部５１と、前記音声パターンに対応する告知情報を記憶する情報記憶部５２とに分けられている。
また、情報送受信器８０は、振動等の音声以外の報知手段によって情報送受信器７０からの情報の着信を報知する受信報知部８１と、受信された情報を表示する受信情報表示部８２と、制御装置４０の動作指令を情報送受信器８０から情報送受信器７０へ無線信号によって送信する指令入力部８３とが含まれており、文字や画像（動画でもよい）などによって告知情報を告知することが可能な無線通信手段を構成している。
この場合において、情報送受信器７０および情報送受信器８０は、告知情報の表示機能及び、振動や光による着信報知機能のある、市販されているＰＨＳや携帯電話、トランシーバ等と同等の機能を有する送受信装置によって代用することが可能であり、情報送受信器８０の受信機能だけを実現する場合であれば、情報送受信器８０については、ポケベル等の受信装置によって代用することも可能である。
【００１６】
［１．２］音声分析装置及び制御装置の概要構成及び動作
次に図１における周波数分析器３０及び制御装置４０の詳細について説明を行う。
周波数分析器３０は、Ａ／Ｄ変換器２０によってデジタル電気信号に変換された音声信号を高速フーリエ変換等により変換し、周波数及び振幅の変動の時系列スペクトルとして分析することにより音声スペクトルを得る。
周波数分析器３０によって得られた音声スペクトルは、制御装置４０に送られ、音声スペクトルから音声の特徴である音声パターンが抽出される。抽出された音声パターンは音の音色や声色等に特有の特徴を示すものである。
そして、本実施形態の情報告知装置の動作モードが後述する登録モードに設定されている場合は、制御装置４０の制御下で、音声パターンは記憶部５０の特徴記憶部５１に記憶される。
【００１７】
また、情報告知装置の動作モードが後述する判別モードに設定されている場合は、制御装置４０は、前記特徴記憶部５０に予め記憶されている複数の音声パターンと抽出された音声パターンとを逐一照合していき、最もよく適合する（例えば最も類似度が高い）音声パターンを該当する音声の音声パターンとして認識する。この場合における音声認識の方法としては、いわゆるパターンマッチングが用いられ、パターンマッチングにより音声の判別を行う。
次に音声の判別結果に基づいて該当する音声パターンに対応する告知情報が情報記憶部５２から呼び出され、情報送受信器７０によって無線信号に変換されて情報受信器８０に送信されることとなる。
【００１８】
［１．３］情報告知システムの動作
次に情報告知システムの動作について説明する。
第１実施形態の情報告知システムの動作モードとしては、音声パターンを特徴記憶部５１に記憶し、また音声パターンに対応した告知情報を情報記憶部５２に記憶する登録モードと、前記特徴記憶部５１に記憶されている複数の音声パターンと音声パターン抽出部において抽出された音声パターンとを適合する音声パターンを判別する判別モードとが存在する。
従って、情報告知システムの動作説明に先立って、各動作モードについて説明する。
【００１９】
［１．３．１］登録モード
まず、登録モードについて説明する。
情報告知装置に認識させるべき音声についての情報を登録する場合は、情報告知装置の動作モードの設定において、登録モードを選択する。
登録モードを選択し、認識させたい音声をマイク１０から入力すると、入力された音声の音声パターンが周波数分析器３０で抽出され、音声パターンは制御装置４０を介して音声パターン記憶部５０に記憶される。ここで登録される音声は、人の声に限らず、電話の着信音、サイレンの音、犬の鳴き声など、いかなる音声であってもかまわない。
さらに、登録された音声パターンに該当する音声が何の音声であるかを告知する告知情報を図示しない入力装置を介して、あるいは、情報送受信器８０を介して入力し、記憶部５０の情報記憶部５２に記憶させる。この告知情報は検出された音声が何の音声であるかを前記情報送受信器８０側に報知するための情報であり、例えば文字や画像（動画でもよい）を表示するための情報信号や、音声種別を光や色、または振動の変化などによって報知するための情報も含まれる。
この場合において、情報記憶部５２に記憶された告知情報は、特徴記憶部５１に記憶されている音声パターンにそれぞれ対応して記憶される。
【００２０】
［１．３．２］判別モード
次に入力された音声の種類を判別する、判別モードについて説明する。
情報告知装置の動作モードの設定において、判別モードを選択すると、マイク１０から入力された音声は、Ａ／Ｄ変換器においてデジタル信号に変換される。
そして、周波数分析器３０は、デジタル信号に変換された音声信号を高速フーリエ変換等によって周波数スペクトルに展開し、分析して、音声パターンを抽出する。
次に制御装置４０は、抽出された音声パターンと、特徴記憶部５１に記憶されている複数の音声パターンから最もよく適合する音声パターンを判別する。
さらに制御装置４０は、判別した音声パターンに対応する告知情報を情報記憶部５２から読みとり、情報送受信器７０に移送する。
情報送受信器７０に移送された告知情報は、無線信号に変換されて情報送受信器８０に送信されることとなる。
【００２１】
［１．３．２．１］情報表示部に表示されるべき告知情報の選択及び設定動作
つづいて情報告知装置の情報表示部に表示される告知情報の選択及び設定動作について説明する。
情報送受信器８０の情報表示部８２には情報送受信器７０から送信されてきた告知情報が表示される。
この告知情報は、文字や図形、画像等を表示するためのデータであり、特徴記憶部５１に記憶された音声の種類に対応して（すなわち、音声パターンに対応して）情報記憶部５２に複数記憶されている。
情報送受信器７０側から送信されてきた、無線信号による告知情報が着信すると、受信報知部８１が作動し、振動や光などによる伝達方法によって、情報送受信器８０を携帯する使用者に情報送受信器７０から告知情報が入ったことを報知する。
その後、当該情報送受信器８０の使用者が受信ボタンを押すと情報表示部８２に告知情報が表示される。この情報表示部８２に表示される告知情報を音声パターンに対応して記憶しているのが情報記憶部５２である。
この場合において、情報記憶部５２に記憶されている告知情報は、音声内容を文字や図形を情報表示部８２に表示することによって、使用者が何の音声が発生したかが一見してわかるような表示によって告知するためのデータとなっている。
【００２２】
［１．４］動作モードの選択、設定
動作モードの選択及び設定については、情報送受信器８０側の指令入力部８２から無線信号によって情報送受信器７０側に動作モードの選択、設定情報を送信することによっても可能である。情報送受信器８０の指令入力部８３から、動作モードの選択及び、設定をする場合、情報送受信器８０の情報表示部８２に表示される動作モードの選択、設定画面において、例えば、「動作モード：［登録モード］／［判別モード］」と表示されるモード設定の選択の中から、ボタン操作によって［登録モード］を選択し、入力して、送信する。
【００２３】
［１．５］第１実施形態の効果
本発明の第１実施形態によれば、情報告知装置の動作モードに、任意の音声とそれに対応する告知情報を入力し、記憶する登録モードを備えたことにより、ユーザが任意の音声を情報告知装置に認識判別させることができる。
また、情報送受信器８０の指令入力部８３で動作の選択設定の指令情報を入力し、その指令情報を無線信号によって情報送受信器７０を介して情報告知装置の制御装置４０を制御可能な構成にしたことにより、情報送受信器８０側のユーザから情報告知装置側の動作設定の選択設定を遠隔操作できるようになり、情報送受信器７０との間で電波の送受信が可能な範囲内であれば、情報送受信器８０を携帯して使用することが可能となり、聾唖者等のユーザが情報告知装置の音声検出部１から離れた場所にいても情報の告知が可能で、情報告知装置本体の動作設定の指令もできる。
【００２４】
［２］第２実施形態
［２．１］システム構成
次に、図２を参照して本発明の第２実施形態の構成を説明する。
図２に本発明の第２実施形態における情報告知システムの概略構成を示す。本第２実施形態の構成が第１実施形態の構成と異なる点は、さらに、音声を検出し入力音声信号を生成する、複数個のマイク１１を備え、音声源の所在位置を判別する音声源判定部６０を具備している点である。
図２において、符号１１は検出した音声を電気信号（アナログ）に変換する複数のマイクである。
音声源判定部６０は、音声パワー比較部６１と音声源特定部６２と誤動作キャンセル部６３からなっている。
音声パワー比較部６１は周波数分析器３０で分析された各マイク１１に対応する複数の音声の周波数スペクトルから、複数の音声パワーを分析、比較し、マイクの識別番号もしくは識別記号によって、音声発生源に近いマイク１１を識別する機能を有している。
【００２５】
音声源特定部６２は音声パワー比較部６１で比較された各マイク１１毎の音声パワーの分析結果から、音声源のだいたいの位置がどの辺にあるかを特定し、音声源特定情報を生成して後述する告知キャンセル部６３を介して情報送受信器７０に送出する機能を有している。
告知キャンセル部６３は、各マイク１１毎に、当該マイクからは本来的に検出されるはずのない音声を予め記憶させておき、検出されるはずのない音声が検出されたと制御装置４０で判定された場合、情報送受信器７０に音声源特定情報の送出をキャンセルする機能を持つ。この場合において、検出されるはずのない音声とは、例えば、救急車のサイレンの音が室内において検出されたような場合である。この場合には、当該救急車のサイレンの音は、室内のテレビなどから出力されたものとして、告知を行わないようにするためである。
【００２６】
［２．２］動作説明
次に、本発明の第２実施形態の動作を説明する。この場合において、本発明の第１実施形態と同様の部分については、その詳細な説明を省略する。
本発明の第２実施形態の動作において、第１実施形態の動作と異なる点は、音声源判別モード及び誤動作判別モードを備えた点である。
音声源判別モード（音声判別＋音声源判別）は、音声発生源に一番近いマイクを判別し、複数のマイク１１の判別番号もしくは判別記号を音声源特定情報とともに表示するモードである。
このモードによれば、ある一つの音声源から発生した音声を複数のマイクで検出し、当該音声の発生場所を特定し、使用者に告知することとなる。
誤動作キャンセルモード（音声判別結果：音声源判別結果）は、あるマイクではその音声を検出する可能性が本来的にない音声が発生したと音声判別結果がでた場合に、当該判別結果は誤判断である可能性が高いと判断して、告知情報の送信をキャンセルするモードである。
【００２７】
このキャンセルモードによる動作について、室内に設置したマイク１１が、テレビから発生しているサイレン音声を検出した場合の動作を説明する。
従来の音声認識装置であれば、テレビから発生しているサイレンの音声を検出した場合、サイレン音が鳴っていると判断し、情報出力部１７０にサイレン音が鳴っていることを告知する文字や画像の告知情報を出力することとなり、聾唖者等の使用者は、不必要な対応を迫られることとなってしまうという不具合が生じる。
これに対して、本発明の第２実施形態の情報告知装置においては、それぞれある程度離れた場所に設置された複数のマイク１１を用い、あるマイクの設置場所で検出されるはずのない音声が発生したと制御装置４０の音声判別結果がでた場合には、告知不要であると判断し、音声の発生に対する告知情報の送信を行わないよう制御装置４０が動作することととなる。
【００２８】
［２．３］第２実施形態の効果
本発明の第２実施形態によれば、音声を検出するマイク１１を複数個備えたことによって、一つのマイクで音声を検出していたときに較べて、複数範囲の場所で発生する、広範囲の音声を検出することが可能となった。
また、ある程度離れた場所に設置された複数のマイク１１で検出された音声パワーを比較することにより、音声の発生源に最も近いマイクを識別し、そのマイクの識別番号もしくは識別記号を、音声の種類を表示する告知情報にあわせて表示することによって、使用者は、何の音声がどのあたりで発生したかを、音声発生源から離れた場所にいても知ることができる。
さらに加えて、本来検出した音声が検出されるはずのない場所で検出した音声については、告知を行わないように構成することにより、使用者が不必要な対応を迫られることもなく、使い勝手が向上する。
【００２９】
【発明の効果】
本発明によれば、使用者が任意の音声を情報記憶装置の記憶部に登録することが可能であり、様々な使用条件の下で、条件告知を行うことができる。
また、告知情報を情報告知装置と情報告知端末装置との間で無線信号によって送受信することができるので、音声を検出する位置と告知情報を受信する位置が離れた場所にあっても情報告知が行える。
さらに、音声源のだいたいの位置を判断して検出音声の種別とともに告知することができるとともに、本来検出位置では検出されるはずのない音声については、情報告知を行わないようにすることにより、使用者が不必要な対応を迫られることもない。
【図面の簡単な説明】
【図１】本発明の第１実施形態の構成を表す図である。
【図２】本発明の第２実施形態の構成を示す図である。
【図３】従来の音声認識装置の構成を示す概略図である。
【符号の説明】
１０：マイク、１１：マイク、２０：Ａ／Ｄ変換器、３０：周波数分析器、４０：制御装置、５０：記憶部、５１：特徴記憶部、５２：情報記憶部、６０：音声源判定部、６１：音声パワー比較部、６２：音声源特定部、６３：告知キャンセル部、７０：情報送受信器、８０：情報送受信器、８１：受信報知部、８２：情報表示部、８３：指令入力部

Claims

入力音声信号に対応する情報告知を情報告知端末装置を介して行う情報告知装置において、
音声の特徴を表す音声特徴情報を記憶する特徴記憶手段と、
前記音声特徴情報に対応した告知情報を記憶する告知情報記憶手段と、
入力された音声に基づいて入力音声信号を出力する複数の音声入力手段と、
前記入力音声信号から音声の特徴を表す音声特徴情報を抽出する特徴抽出手段と、
前記特徴抽出手段が抽出した各音声特徴情報を前記各音声入力手段について分析・比較することにより音声源の位置を特定し、特定した位置を示す音声源特定情報を生成する音声源特定手段と、
前記特徴抽出手段が抽出した音声特徴情報を前記特徴記憶手段を用いて判別し、判別した音声特徴情報に対応する告知情報を前記告知情報記憶手段から読み出す音声信号分析判別手段と、
前記音声信号分析判別手段により読み出された告知情報を前記音声源特定情報とともに前記情報告知端末装置に送信する送信手段と、
前記音声源特定情報と前記判別した音声特徴情報とに従い、告知するか否かを判断し、判断結果が否定的な場合に、前記送信手段の送信をキャンセルする判断手段と
を備えたことを特徴とする情報告知装置。
請求項１記載の情報告知装置において、前記音声特徴情報は、音声パターンであることを特徴とする情報告知装置。
請求項１又は請求項２に記載の情報告知装置から前記告知情報及び前記音声源特定情報を受信する受信装置と、
前記告知情報を受信した旨を使用者に報知する受信報知手段と、
前記告知情報及び前記音声源情報に対応する表示を行う表示手段と、
を備えたことを特徴とする情報告知端末装置。
音声の特徴を表す音声特徴情報を記憶する特徴記憶手段、前記音声特徴情報に対応した告知情報を記憶する告知情報記憶手段、入力された音声に基づいて入力音声信号を出力する複数の音声入力手段及び制御手段を備え、入力音声信号に対応する情報告知を情報告知端末装置を介して行う情報告知装置の制御方法において、
前記制御手段が、前記入力音声信号から音声の特徴を表す音声特徴情報を抽出する特徴抽出工程と、
前記制御手段が、前記特徴抽出工程において抽出した各音声特徴情報を前記各音声入力手段について分析・比較することにより音声源の位置を特定し、特定した位置を示す音声源特定情報を生成する音声源特定工程と、
前記制御手段が、前記特徴抽出工程において抽出した音声特徴情報を前記特徴記憶手段を用いて判別し、判別した音声特徴情報に対応する告知情報を前記告知情報記憶手段から読み出す音声信号分析判別工程と、
前記制御手段が、前記音声信号分析判別工程において読み出した告知情報を前記音声源特定情報とともに前記情報告知端末装置に送信する送信工程と、
前記制御手段が、前記音声源特定情報と前記判別した音声特徴情報とに従い、告知するか否かを判断し、判断結果が否定的な場合に、前記送信工程における送信をキャンセルする判断工程と
を備えたことを特徴とする情報告知装置の制御方法。