JPH10282985A

JPH10282985A - 聴覚支援装置

Info

Publication number: JPH10282985A
Application number: JP9087871A
Authority: JP
Inventors: Minoru Oka; 実岡; Jintaro Deki; 仁太郎出来; Shigeru Hitomi; 繁人見
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 1997-04-07
Filing date: 1997-04-07
Publication date: 1998-10-23

Abstract

(57)【要約】【課題】日常生活で一般的に聞こえる種々な音の種別
を簡単な構成によりしかも適確に識別できるようにした
聴覚支援装置を提供する。【解決手段】周囲の音を音データとして入力部（１
０）で取り込み、この取り込んだ音データから該音デー
タに対応する音の周波数の特徴を変換処理部（３０）で
抽出し、この抽出した周波数の特徴を識別処理部（６
０）で予め設定した既知の音の周波数の特徴と比較する
ことによりこの取り込んだ音データに対応する音の種別
を識別し、これを出力部（８０）から使用者に報知す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、耳が不自由な人
等に対する聴覚支援を行う聴覚支援装置に関し、特に、
日常生活で一般的に聞こえる「音」（非言語）の種類を
識別し、その音が何の音なのかを使用者に知らせること
により聴覚支援を行う聴覚支援装置に関する。

【０００２】

【従来の技術】一般に、日常生活の中には様々な音が氾
濫しており、これらの音の種類を適確に識別できない
と、非常に困ることもあり、場合によっては非常に危険
なことがある。

【０００３】例えば、電話が鳴ったのに、耳が不自由な
ためにこの音に気が付かなかったり、また周囲の騒音で
これを識別できなかったりすると、この電話には応答で
きないので、場合によっては貴重な通話の機会を逸する
ことがある。

【０００４】また、例えば、自動車が通行者に危険を知
らせるためにクラクションを鳴らしたが、通行者が耳が
不自由なためにこれに気が付かないと、重大な事故に繋
がる虞もある。

【０００５】

【発明が解決しようとする課題】しかしながら、一般に
音を完全に認識するのはかなり難しく、そのための装置
は非常に高価になり、生活の中で気軽につかえるものに
はなり得なかった。

【０００６】そこで、この発明は、日常生活で一般的に
聞こえる種々な音の種別を簡単な構成によりしかも適確
に識別できるようにした聴覚支援装置を提供することを
目的とする。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、請求項１の発明は、周囲の音を音データとして取り
込む音取込手段と、上記音取込手段で取り込んだ音デー
タから該音データに対応する音の周波数の特徴を抽出す
る特徴抽出手段と、上記特徴抽出手段で抽出した周波数
の特徴を予め設定した既知の音の周波数の特徴と比較す
ることにより上記音取込手段で取り込んだ音データに対
応する音の種別を識別する音識別手段と、上記音識別手
段で識別した音の種別を報知する報知手段と、を具備す
ることを特徴とする。

【０００８】また、請求項２の発明は、請求項１の発明
において、上記音取込手段は、上記周囲の音のレベルが
予め設定した所定のレベルを越えた場合に該周囲の音を
音データとして取り込むことを特徴とする。

【０００９】また、請求項３の発明は、請求項２の発明
において、上記所定のレベルは、上記周囲の音の状態に
合わせて可変設定されることを特徴とする。

【００１０】また、請求項４の発明は、請求項１の発明
において、上記音取込手段は、取り込んだ音データに対
応する音の方向を検出する音方向検出手段を有し、上記
報知手段は、上記識別した音の種別とともに上記音方向
検出手段で検出した音の方向を報知することを特徴とす
る。

【００１１】また、請求項５の発明は、請求項４の発明
において、上記音方向検出手段は、それぞれ異なる方向
からの音を検出する複数のマイクロフォンと、上記複数
のマイクロフォンの上記音のそれぞれの検出音のレベル
を比較することにより該音の方向を推定する音方向推定
手段と、を具備することを特徴とする。

【００１２】また、請求項６の発明は、請求項１の発明
において、上記特徴抽出手段は、上記音取込手段で取り
込んだ音データを周波数軸データに変換する変換手段、
を具備し、上記音識別手段は、上記変換手段で変換され
た周波数軸データに対応する周波数パターンを予め設定
した既知の音に対応する周波数パターンと比較すること
により上記音取込手段で取り込んだ音データに対応する
音の種別を識別することを特徴とする。

【００１３】また、請求項７の発明は、請求項６の発明
において、上記変換手段は、上記音取込手段で取り込ん
だ時間軸データを周波数軸データに変換する高速フーリ
エ変換手段を具備することを特徴とする。

【００１４】また、請求項８の発明は、請求項６の発明
において、上記変換手段は、上記音データを予め設定さ
れた時間単位で分割する音データ分割手段を具備し、上
記音データ分割手段で分割された音データ単位で上記音
データの上記周波数軸データへの変換を行うことを特徴
とする。

【００１５】また、請求項９の発明は、請求項１の発明
において、上記音取込手段は、周囲の音を入力するマイ
クロフォンと、上記マイクロフォンで検出された音を上
記音データに変換する音データ変換手段と、を具備し、
上記マイクロフォンは、上記音データ変換手段および上
記特徴抽出手段および上記音識別手段および上記報知手
段を含む部分から分離可能に構成されることを特徴とす
る。

【００１６】また、請求項１０の発明は、請求項１の発
明において、上記報知手段は、上記音取込手段および上
記特徴抽出手段および上記音識別手段および上記報知手
段を含む部分と通信手段を介して接続されることを特徴
とする。

【００１７】

【発明の実施の形態】以下、この発明の実施の形態につ
いて添付図面を参照して詳細に説明する。

【００１８】図１は、この発明に係わる聴覚支援装置の
一実施の形態を概略ブロック図で示したものである。

【００１９】図１において、この聴覚支援装置は、入力
部１０で感知した周囲の音の種別を識別してその識別結
果を出力部８０から出力することにより該聴覚支援装置
の利用者に周囲で発生している音が何の音なのかを知ら
せるものである。

【００２０】入力部１０は、例えばマイクロフォンから
構成され、周囲で発生した音を取り込む。ここで、後に
行われるこの取り込んだ音の識別を容易にするために、
周囲で発生した音の入力レベルが予め設定した所定のレ
ベルを越えた場合のみこの周囲で発生した音を取り込む
ように構成することができる。この入力部１０で取り込
まれた周囲の音に対応するアナログ信号は、音データ処
理部２０に渡される。

【００２１】音データ処理部２０では、入力部１０から
渡された周囲の音に対応するアナログ信号をディジタル
データに変換する。この音データ処理部２０における処
理は連続的に行われ、入力部１０から入力された音に対
応するアナログ信号は全てデジタルデータに変換され
る。

【００２２】音データ処理部２０でデジタルデータに変
換された音データは、ある一定の長さに区切られて、変
換処理部３０に伝えられる。この音データ処理部２０で
デジタルデータに変換された音データは、時間軸に従っ
て変化する時間軸データである。

【００２３】変換処理部３０では、音データ処理部２０
から受け取ったこの時間軸データを周波数軸データに変
換する。この時間軸データから周波数軸データへの変換
には、高速フーリエ変換（以下、ＦＦＴという）を適用
することができる。

【００２４】この変換処理部３０における時間軸データ
から周波数軸データへの変換の様子を示すと図２のよう
になる。

【００２５】すなわち、図２において、左側の図の波形
３１は、入力部１０から入力された音に対応する時間軸
に関して変化する音データの一例を示す。この音データ
３１は、変換処理部３０における処理により、その周波
数成分が解析され、右側の図のように、その周波数成分
のスペクトルパターン３２に変換される。

【００２６】この変換処理部３０で変換された入力音に
対応するスペクトルパターン３２は記憶部４０に一時記
憶される。

【００２７】ところで、記憶部５０には、予め周囲で発
生されることが予測され、識別の必要性のある複数の既
知の音のスペクトルパターンに対応する比較パターンが
登録されている。

【００２８】識別処理部６０では、上記変換処理部３０
の処理により記憶部４０に一時記憶された周囲から検知
した音に対応するスペクトルパターンと記憶部５０に予
め登録されている上記複数の比較パターンとを比較し、
そのパターンマッチングから、周囲から検知した音の種
別を識別する。

【００２９】この識別処理部６０におけるパターンマッ
チングの手法を図で示すと、図３のようになる。

【００３０】図３において、入力データは上記記憶部４
０に一時記憶された周囲から検知した入力音に対応する
スペクトルパターン３２である。識別処理部６０では、
上記入力音に対応するスペクトルパターン３２と上記記
憶部５０に予め登録されている既知の音のスペクトルパ
ターンに対応する比較パターン５１とを比較し、その比
較波形６１から、その一致を判断することにより、入力
音の種別を識別する。

【００３１】この識別処理部６０における識別結果は伝
達部７０に通知され、伝達部７０はこの識別処理部６０
からの識別結果を可視的に表示または機械的振動で報知
することにより、この装置の利用者に知らせる。

【００３２】ところで、上記音データ処理部２０では、
上述したように一定間隔に音データを分割しているが、
ここで、音データの分割は、音識別の即時性を持たせる
ために、比較的短い区間、例えば１秒以内に分割するの
が好ましい。

【００３３】また、上記音データ処理部２０で分割した
区間の最大音圧があるレベル以下の場合若しくは最小音
圧があるレベル以上の場合には、その分割した音データ
を変換処理部３０に通知しないようにすることができ
る。この構成により変換処理部３０の負荷を軽減するこ
とができる。

【００３４】変換処理部３０における処理は、入力され
た音の特微量を抽出するものである。具体的にはＦＦＴ
を行い、時間軸のデータを周波数軸のデータに変換し、
次に、この変換された区間データをその区間の最大値で
正規化する。

【００３５】ここで、ある一定値以下の値を全て“０”
とすることも可能である。これによって、その音に特徴
的な周波数成分が強調される。

【００３６】識別処理部６０では、記憶部５０に登録さ
れている比較パターンと記憶部４０に一時記憶されてい
る入力音に対応する音データのスペクトルパターンとを
比較する。

【００３７】ここで、入力された音データは周波数、音
圧ともにある範囲を持って入力されているので、記憶部
５０に登録されている比較パターンと厳密な比較をする
と一致する入力データが無くなってしまうことが考えら
れる。

【００３８】そこで、この実施の形態の聴覚支援装置に
おいては、記憶部５０に登録される比較パターンを周波
数方向にある程度の幅を持たせ、入力データとの比較時
には音圧の比較だけを行うようにする。

【００３９】また、このときに、音のある方向にもある
程度の誤差を認める。これによって、認識率の向上をは
かることができる。

【００４０】識別処理部６０における比較において、上
述したように、入力データはある幅を持っている。ま
た、連続して全く同じデータが届くことも無いとも考え
られる。そこで、識別処理部６０において、比較パタ
ーンとの比較を行う際には、そのパターンであるか否か
の判断のために以下のようなアルゴリズムを用いる。

【００４１】すなわち、まず、比較パターンを作成す
る。この比較パターンは、特徴となる周波数帯（特徴周
波数帯と呼ぶことにする）以外は全て“０”としてお
く。また、特徴周波数帯にはある幅と高さを持たせてお
く。

【００４２】そして、比較時には入力データが全ての特
徴周波数帯の一部または全部を含んでいることを必要条
件とする。

【００４３】さらに、特徴周波数帯の一部のみを含む場
合にはどの程度含んでいるかを判断する。

【００４４】ところで、特徴周波数帯は周波数方向にあ
る幅を持っているので、ある面積を持っている。そこ
で、入力データとの比較時には入力データの特徴周波数
帯と同じ周波数帯のデータの面積を比較し、どの程度一
致しているかをみる。

【００４５】全ての特徴周波数帯で、ある割合以上の面
積が有ればその入力データは比較パターンの音であると
する。

【００４６】図４は、識別処理部６０における比較にお
いて、入力データが比較パターンに一致すると判断され
る場合の一例を示したものである。

【００４７】図４に示す場合、入力データは比較パター
ンの特徴周波数帯を全て含んでいる。

【００４８】また、各特徴周波数帯ごとの面積とその特
徴周波数帯に含まれる入力データの面積を特徴周波数帯
毎に算出し、あらかじめ決めた値以上で有ればこの入力
データは比較パターンの音であるとする。

【００４９】例えば、特徴周波数帯における比較パター
ンの面積と入力データの面積の比が１０：３以上であれ
ば一致したとする。この比較は、特徴周波数帯毎に行わ
れそれぞれの面積比が一定以上であることにより一致判
断が行われる。

【００５０】図５は、識別処理部６０における比較にお
いて、入力データが比較パターンに一致しないと判断さ
れる場合の一例を示したものである。

【００５１】図５において、入力データには、比較パタ
ーンの特徴周波数帯と一致しないものが含まれている。
この場合、入力データは比較パターンと一致しない（Ｎ
Ｇ）と判断される。

【００５２】なお、上記判断手法を単純化することも可
能である。すなわち、上記手法では面積という２次元の
情報を用いるが、周波数軸への投影の長さのみで判断す
ることも可能である。この場合は投影した長さの比で判
断する。

【００５３】また、この実施の形態の聴覚支援装置にお
いては、比較パターンを複数持つことで複数の音の識別
も可能になる。すなわち、比較パターンを複数持つこと
で、複数の音を識別することができ、かつ、一つの入力
データを複数の比較パターンで比較することによって同
時に複数の音を識別することが可能となる。

【００５４】図６は、上記複数の比較パターンを用いた
比較の様子を示したものである。図６においては、入力
データを２つの比較パターン、すなわち、比較パターン
１および比較パターン２とそれぞれ比較する。

【００５５】そして、入力データが、比較パターン１と
一致すれば、入力データには比較パターン１に対応する
音が含まれていると判断し、入力データが、比較パター
ン２と一致すれば、入力データには比較パターン２に対
応する音が含まれていると判断する。

【００５６】なお、一般の生活の中で発生する音には上
記したような単純な手法のみで認識が可能なものも多
い。

【００５７】しかし、生活の中で発生する音の中で、例
えば、単一の周波数成分しか持たないものまたは複数の
周波数が繰り返されることに特徴があるものに対しては
上述した手法のみでは識別率を上げることが難しい。

【００５８】なぜなら、単一の音に対する比較パターン
は一つの特徴周波数帯しか持たず、その周波数を持つ別
の音に対しても一致という判断をするからである。

【００５９】また、電話のベルや救急車のようにある周
波数の繰り返しにその特徴があるものはある瞬間の音が
比較パターンと一致したからといって、それが必ずその
音の特徴を見つけたことにはならない。

【００６０】そこで、上記のような音の識別に際して
は、上記の識別結果を時系列に並べることによって複雑
な音の識別を可能にする。

【００６１】すなわち、関連する比較パターンを一つの
グループとしてまとめておく。各グループにはおのおの
グループ比較パターンがあり、定期的にグループ比較パ
ターンと識別結果パターンを比べる。

【００６２】ここで、この場合、入力データは一定周期
で識別処理部に入力されるので、その結果をそのグルー
プ毎に時系列に（識別した順に）並べていく。このとき
一致するものが無ければなしも含めて並べていく。
識別結果を並べる数はグループ毎に識別可能な数だけ並
べる。また、この識別結果のデータ列は、例えば、先入
れ先出し（ＦＩＦＯ）とすることで常に最新のデータで
比較するとともに必要な記憶領域を最小にすることがで
きる。

【００６３】また、グループ比較パターンの例として各
パターンの割合を記述しておく。すなわち電話のベ
ル：パターン１：無音―１：２、記録時間３秒救急
車：パターン３：パターン４―１：１、記録時間４秒
などである。

【００６４】ここでも、比率や時間を厳密に判断するの
ではなく、ある程度の誤差を認める。例えば、電話のベ
ル：パターン１：無音―１：１．８〜２．２、記録時間
３秒、電話のベル：パターン１―０．８〜１．２秒、無
音―１．８〜２．２秒などである。

【００６５】また、一つのパターンが連続する特徴のあ
る場合は、比率をパターン５：１００％、記録時間４
秒とすればよい。この手法を採用することによって、
単一の周波数しか持たない音についても識別することが
可能になる。

【００６６】次に、図７乃至図１０に示すフローチャー
トを参照して上記実施の形態の聴覚支援装置の詳細動作
を更に説明する。

【００６７】図７は、図１に示した入力部１０および音
データ処理部２０の動作を示したものである。

【００６８】図７において、まず、入力部１０から入力
された周囲の音に対応するアナログ信号をディジタルデ
ータに変換するアナログ／ディジタル変換（Ａ／Ｄ変
換）が行われる（ステップ１０１）。

【００６９】そして、上記ステップ１０１で変換された
ディジタルデータは所定のデータサイズを決めてバッフ
ァリングが行われ（ステップ１０２）、その後、バンド
パスフィルタまたはローパスフィルタを用いたフィルタ
処理が行われる（ステップ１０３）。

【００７０】次に、上記フィルタ処理がなされたディジ
タルデータのレベルチェックが行われ（ステップ１０
４）、ここで、例えば、上記ディジタルデータの最大音
圧があるレベルを越えており、かつ最小音圧があるレベ
ルに満たない場合は、音識別の条件が成立するとして
（ステップ１０４でＯＫ）、上記フィルタ処理がなされ
たディジタルデータを変換処理部３０へ通知して（ステ
ップ１０５）、この図７に示したフローチャートの処理
を終了する。

【００７１】しかし、ステップ１０４で、上記ディジタ
ルデータの最大音圧があるレベル以下の場合若しくは最
小音圧があるレベル以上の場合には、音識別の条件が成
立していないとして（ステップ１０４でＮＧ）、次の通
知を待つ（ステップ１０６）。

【００７２】図８は、図１に示した変換処理部３０の動
作を示したものである。

【００７３】図８において、変換処理部３０は、音デー
タ処理部２０から時間軸データであるディジタルデータ
（音データ）の通知を受けると、この時間軸データを周
波数軸データに変換する高速フーリエ変換（ＦＦＴ）を
行う（ステップ３０１）。

【００７４】そして、この高速フーリエ変換（ＦＦＴ）
により変換された周波数軸データ（ＦＦＴ結果）を正規
化し（ステップ３０２）、この正規化した結果を記憶部
４０に格納し（ステップ３０３）、その後、識別処理部
６０に対する通知を行い（ステップ３０４）、この図８
に示したフローチャートの処理を終了する。

【００７５】図９は、図１に示した識別処理部６０の動
作を示したものである。

【００７６】図９において、変換処理部３０から入力音
に対応する正規化した周波数軸データ（スペクトルパタ
ーン）を記憶部４０に格納した旨の通知を受けると、ま
ず、図１に示した記憶部５０からデータ（比較パター
ン）を読み出す処理を行う（ステップ６０１）。そし
て、記憶部４０に格納したスペクトルパターンと記憶部
５０から読み出した比較パターンとのパターンマッチン
グを計算する計算処理を実行する（ステップ６０２）。

【００７７】次に、上記ステップ６０２の計算処理によ
り記憶部４０に格納したスペクトルパターンと記憶部５
０から読み出した比較パターンとが一致したか否かの判
断がおこなわれ（ステップ６０３）、ここで一致したと
判断されると（ステップ６０３でＯＫ）、この一致した
パターンを出力し（ステップ６０４）、次に、記憶部５
０に登録されている全パターンと比較したかが調べられ
（ステップ６０５）、全パターンと比較していないと判
断されると（ステップ６０５でＮＯ）、ステップ６０２
に戻り、全パターンと比較したと判断されると（ステッ
プ６０５でＹＥＳ）、この図９に示すフローチャートの
処理を終了する。

【００７８】また、ステップ６０３で、記憶部４０に格
納したスペクトルパターンと記憶部５０から読み出した
比較パターンとが一致しないと判断された場合は（ステ
ップ６０３でＮＧ）、ステップ６０５に進み、記憶部５
０に登録されている全パターンと比較したかを調べ、こ
こで、全パターンと比較していないと判断されると（ス
テップ６０５でＮＯ）、ステップ６０２に戻り、全パタ
ーンと比較したと判断されると（ステップ６０５でＹＥ
Ｓ）、この図９に示すフローチャートの処理を終了す
る。

【００７９】図１０は、図９に示したステップ６０２の
一致判断を行うための計算処理の詳細を示したものであ
る。

【００８０】図１０において、まず、図示しない入力パ
ターンカウンタおよび比較パターンカウンタを初期化し
（ステップ６１１）、続いて入力パターンデータポイン
タおよび比較パターンデータポインタを初期化する（ス
テップ６１２）。

【００８１】次に、比較パターンの１要素を読み出し
（ステップ６１３）、この読み出した要素が０かを
調べる（ステップ６１４）。

【００８２】ここで、読み出した要素が０でない場
合は（ステップ６１４でＮＯ）、比較パターンカウンタ
に上記読み出した要素を加算する（ステップ６１５）。

【００８３】次に、入力パターンの１要素を読み出し
（ステップ６１６）、入力パターンカウンタにこの読み
出した要素を加算する（ステップ６１７）。

【００８４】そして、入力パターンデータポインタおよ
び比較データポインタを更新し（ステップ６１８）、次
データありかを調べる（ステップ６１９）。

【００８５】ここで、次データがある場合は、ステップ
６１３に戻り、ない場合はステップ６２３に進む。

【００８６】また、ステップ６１４で、読み出した要素
が０であると判断された場合は（ステップ６１４で
ＹＥＳ）、その前の比較データも０であったかが調
べられる（ステップ６２２）。

【００８７】ここで、その前の比較データも０であ
ったと判断されると（ステップ６２２でＹＥＳ）、次
に、次データがあるかが調べられ（ステップ６２１）、
次データがある場合は、入力パターンデータポインタお
よび比較パターンデータポインタを更新して（ステップ
６２０）、ステップ６１３に戻るが、次データがない場
合は、一致としてこの計算処理を終了する。

【００８８】また、その前の比較データが０でなか
ったと判断された場合は（ステップ６２２でＮＯ）、ス
テップ６２３に進む。

【００８９】ステップ６２３では、入力パターンカウン
タ÷比較パターンカウンタの演算を行い、次に、その演
算結果が誤差範囲内かが調べられる（ステップ６２
４）。

【００９０】ここで、上記演算結果が誤差範囲内でない
と判断されると（ステップ６２４でＮＧ）、不一致であ
るとしてこの計算処理を終了する。

【００９１】また、ステップ６２４で、上記演算結果が
誤差範囲内であると判断されると（ステップ６２４でＯ
Ｋ）、入力パターンカウンタおよび比較パターンカウン
タを初期化し（ステップ６２５）、次に、次データあり
か否かが調べられる（ステップ６２６）。

【００９２】ここで、次データがある場合はステップ６
２０に戻るが、次データがない場合は、一致としてこの
計算処理を終了する。

【００９３】次に、この実施の形態の聴覚支援装置の外
観の構成例について説明する。

【００９４】この実施の形態の聴覚支援装置は、例え
ば、耳の不自由な人が常に携帯して利用する利用形態が
考えられるので、そのためにできるだけ小型軽量に構成
する必要がある。

【００９５】図１１は、このような利用形態を考えて構
成されたもので、この図１１に示す構成においては、図
１に示した全ての構成が１つの筐体内に納められる。こ
こで図１１に示すマイクロフォン１１は、図１に示した
入力部１０に相当し、文字表示部８１は図１に示した出
力部８０に相当する。なお、図１に示した他の構成、す
なわち、音データ処理部２０、変換処理部３０、記憶部
４０、記憶部５０、識別処理部６０、伝達部７０は、図
１１に示した筐体内に収納される。なお、図１１におい
て、設定・操作ボタン９１は、この聴覚支援装置に関す
る各種設定および操作を入力するものである。

【００９６】図１２は、汎用パーソナルコンピュータを
用いてこの聴覚支援装置を構成した場合の構成例を示し
たものである。

【００９７】図１２において、この構成の聴覚支援装置
は、汎用パーソナルコンピュータに、マイクロフォン１
１で検出した音を入力するための音声入力ボード１２を
装着することにより構成される。

【００９８】この構成において、マイクロフォン１１お
よび音声入力ボード１２で図１に示した入力部１０を構
成し、図１に示した他の構成、すなわち、音データ処理
部２０、変換処理部３０、記憶部４０、記憶部５０、識
別処理部６０、伝達部７０、出力部８０は、図１２に示
した汎用パーソナルコンピュータ上のソフトウエアで実
現するように構成したものである。

【００９９】図１３は、例えば、図１１に示すようにマ
イクロフォン内蔵型で構成した場合の具体的ハード構成
例を示したものである。

【０１００】図１３において、この聴覚支援装置を構成
する筐体２００内には、マイクロフォン（マイク）２０
１、音声入力インタフェース（音声入力Ｉ／ｆ）２０
２、ＲＯＭ２０３、ＲＡＭ２０４、ＭＰＵ２０５、表示
コントローラ２０６、表示部２０７、Ｉ／Ｏコントロー
ラ２０８、設定スイッチ２０９、バイブレータ２１０、
電池２１１を内蔵して構成される。

【０１０１】ここで、ＭＰＵ２０５は、各種処理（変換
処理、識別処理、伝達処理）を実行するものである。

【０１０２】また、ＲＯＭ２０３は、ＭＰＵ２０５が実
行するプログラムを格納するものである。また、ＲＯＭ
２０３がＦｌａｓｈＲＯＭなど電気的書き換え可能ＲＯ
Ｍを用いる場合は、このＲＯＭ２０３に、識別する比較
元テーブルや各種設定が格納される。

【０１０３】また、ＲＯＭ２０３としてＦｌａｓｈＲＯ
Ｍなど電気的書き換え可能なＲＯＭを用いる場合、ＲＡ
Ｍ２０４は、ＭＰＵ２０５が処理を実行する際のワーク
領域として使用する。また、マイクロフォン２０１によ
り入力された音をデイジタル化したデータなどもこのＲ
ＡＭ２０４に一時的にここに蓄えられる。

【０１０４】また、表示部２０７は、液晶ディスプレイ
などから構成され、入力音の識別結果、伝達内容などを
文字・絵などで表示する。

【０１０５】また、表示コントローラ２０６は、上記表
示部２０７を直接的に制御する。

【０１０６】また、設定スイッチ２０９は、本装置の各
種設定、伝達結果の消去の際の入力として使用する。

【０１０７】また、バイブレータ２１０は、登録されて
いる音が識別された場合に振動を発生させ使用者に知ら
せる。

【０１０８】また、Ｉ／Ｏコントローラ２０８は、設定
スイッチ２０９、バイブレータ２１０等、周辺の入出力
装置を制御する。

【０１０９】また、音声入力Ｉ／Ｆ２０２は、マイクロ
フォン２０１からの入力音に対してフィルタリング、デ
ィジタル化などの処理を行う。

【０１１０】また、電池２１１は、本装置の各部に動作
のための電力を供給するものである。

【０１１１】図１４は、図１３に示した構成において、
マイクロフォン（集音マイク）２０１を筐体２００に対
して外付けにして構成した構成例を示したものである。
この図１４の構成において、マイクロフォン（集音マイ
ク）２０１は、接続コネクタ２０１ａを介して音声入力
Ｉ／Ｆ２０２に接続される。その他の構成は図１３に示
したものと同様である。

【０１１２】図１５は、音を識別処理する専用ＬＳＩ２
１２を使用して構成した構成例を示したものである。こ
の図１５に示す構成においては、専用ＬＳＩ２１２が、
変換処理・識別処理など音に関する処理を実行する。

【０１１３】このような専用ＬＳＩ２１２を使用する構
成を採用すると、処理の高速化、ＭＰＵ２０５のプログ
ラム負荷削減等ができる。

【０１１４】また、周辺の制御（Ｉ／Ｏコントロール、
表示コントロール）機能をこの専用ＬＳＩ２１２に併せ
て実装して構成することも可能であり、その場合は、Ｍ
ＰＵ２０５、Ｉ／Ｏコントローラ２０８、表示コントロ
ーラ２０６が不要になるため、さらなる小型化・ローコ
スト化・省電力化が図られ、携帯により適した装置が実
現できる。

【０１１５】ところで、この発明の聴覚支援装置は、図
１１および図１３に示したように、コンパクトな大き
さ、電池による駆動で構成され、容易に携帯可能な外形
からなり、基本要素すべてが一つの筐体に納められてい
るので、携帯可能であり、日常生活上の様々な場所で本
装置の補助を受けることができる。また、外出時の車の
クラクションの音などの危険な場所においても使用者で
きる。

【０１１６】また、図１４に示すように、図１１および
図１３の構成においてマイクロフォンのみ筐体の外付け
として構成すると、筐体をポケット、腰のベルトのあた
りなどに固定した場合においても、マイクだけ外に出し
ておくことができ、これにより効果的に周囲の音を周音
する事ができる。

【０１１７】また、この発明の聴覚支援装置において
は、あるレベル（音の大きさ、音圧）以上の音が検知さ
れた場合にのみ、装置に音を取り込むように構成される
が、この構成によると、各種小さいレベルの雑音が入力
され、処理されることによる各部の処理負荷を軽減で
き、省電力化にもつながる。

【０１１８】また、上記音取り込みの閾値を外部から設
定可能として構成することができる。この構成におい
て、閾値は、段階的に設定するように構成することもで
き、また、可変のボリュームで設定できるように構成し
たり、あらかじめ数段階のレベルを定めておき、設定ス
イッチによりそのレベルの内から選択できるようにする
ことができる。

【０１１９】このような構成によると、不要な音が多く
発生している場所などでの不要な処理動作を低減できる
ため、省電力化につながる。また、使用者が、登録され
ている音の識別レベルを自由に自分の好みにあわせて設
定でき、より使いやすいものにすることができる。

【０１２０】また、この発明の聴覚支援装置において
は、音データ処理部において、あらかじめ定められた時
間単位に音データを分割する機能を持ち、その分割され
た単位のデータごとに、変換処理を行うように構成さ
れ、これにより処理の簡略化を可能にしている。

【０１２１】また、上記単位に分割されたデータを元に
比較・識別された結果を時系列に記憶し、その記憶され
た結果列の状態をもって、伝達すべき音の識別結果とす
る。

【０１２２】この構成によると、長い音の変化パターン
をとらえるのに有効であり、時間変化に特徴を持つ音、
例えば、救急車のサイレン、電話のベル等の間欠音また
は複数の音色の時間的変化がある音等の識別に効果を発
揮する。

【０１２３】また、ある一定時間の間に、所定の音が認
識されなかった場合に、その結果を伝達部に伝えるよう
に構成することができる。この構成によると、ある想定
される時間内に音が発生していないことがなんらかの異
常と関連している可能性がある場合に効果を発揮する。

【０１２４】例えば、１時間以内に電話で連絡があるこ
とになっている場合、または赤ちゃんの泣き声がある時
間以上識別されないときには、様子がおかしいかも知れ
ないので見にいく等の場合である。

【０１２５】また、変換処理においては、ＦＦＴ（高速
フーリェ変換）を適用して、時間データを周波数軸デー
タに変換する処理を行う。

【０１２６】一般に、音の場合、その特徴の大部分は周
波数成分の有無と関連がある。したがって周波数成分を
計算によって高速に求める方法の一つである上記ＦＦＴ
を用いるのは音識別において有効である。

【０１２７】また、この発明の聴覚支援装置において、
図１に示した記憶部５０に記憶される比較パターン、す
なわち、比較元テーブルを装置の外部から装置内に転送
し記憶部５０に格納するように構成することができる。
例えば、本装置にデータ伝送インターフェース（ＲＳ２
３２などの有線Ｉ／Ｆ、ＩｒＤＡなどの無線Ｉ／Ｆ）、
を備えた、外部機器（パソコンなど）からテーブルデー
タを転送できるようにする。

【０１２８】このような構成によると、使用者の希望に
沿った識別音の登録が可能となる。また、外部の機器
で、認識率が向上するように加工した後のテーブルを登
録できるようにもできる。

【０１２９】また、この発明の聴覚支援装置において、
装置自体に、上記比較元テーブルを作成し登録する機能
をもつように構成してもよい。

【０１３０】このような構成によると、識別・登録した
い音の発生源の近くに持っていき、その場で登録ができ
るようになるため、新しい音がある環境に移った場合や
いままでとは異なった音に変化した環境で使用者する場
合、例えば、たまたま泊まった宿泊先の目覚まし時計の
音がいままでとはちがうため、その場で登録し、翌朝起
きるときに識別できるようにすることなどが可能にな
る。

【０１３１】また、上記比較元テーブルの一部を選択し
て、あるいは全部を削除することができるように構成す
ることもできる。この構成によると、不要になった音を
選択して削除することができ、登録に必要なメモリ容量
が限られている場合などに、より効果的に装置を利用す
ることができる。

【０１３２】また、上記比較元テーブルの作成・登録に
際して、この聴覚支援装置の基本構成の一部を共用する
事ができる。すなわち、上記比較元テーブルの作成・登
録に必要な機能（音の入力、音の変換、登録ボタン等）
は、機能的に本装置の基本構成と類似する機能で構成で
きる。従って構成を共用することにより、装置を簡略
化、小型化でき、コストダウン、省力化にもつながる。

【０１３３】また、識別した音を使用者に報知する出力
部は、ＬＥＤの点灯、点滅等または液晶ディスプレイに
よる文字表示などの可視な表示を利用することができる
が、人が感じることのできる機械的振動を採用すること
もできる。この場合、音の種類によって振動パターンを
変えるように構成することもできる。

【０１３４】また、登録された音の内のどれかが識別さ
れたことのみ振動で伝達し、音の種類は可視表示で行う
ように構成してもよい。

【０１３５】ところで、本装置においては、本装置を携
帯用に構成し、その様な利用形態を想定しているが、そ
の場合、ポケットベルや携帯電話などのように、本装置
を着用している衣類のポケットにいれたり腰のベルトに
つけたりして使用することが想定される。その場合に
は、識別結果を可視表示ですぐに見ることはできないの
で、これを振動で伝えることは有用である。特に、本装
置は耳が不自由な人の利用を目的の一つにしており、そ
のため音で知らせることは困難であるので、まず振動で
伝えることが有効となる。

【０１３６】また、表示部における可視表示は文字また
は画像によるものであり、その表示される文字または画
像は、音の識別結果を元に、音の種類以外に音の意味
や、その音が識別された場合につぎにとるべき行動を示
唆するものにすることができる。

【０１３７】例えば、車のクラクションが識別された場
合は、「車が近づいている」「危ない！車がきた！」等
の意味の伝達を行うことも可能である。

【０１３８】また、やかんの湯がわいた音が識別された
場合は、「お湯が湧いた！やかんの火をとめて」等の意
味および行動の伝達を行うことも可能である。

【０１３９】このような構成によると、音の識別結果か
ら意味や行動を推定でき、それを伝達することにより、
より迅速にかつ有効に生活上の補助を行える。また、こ
の場合、絵を表示することにより、使用者に、文字で伝
えるより早く、より感覚的に伝達できるようにすること
も可能である。

【０１４０】また、この発明の聴覚支援装置において
は、音入力部の入力装置（マイク）の入力系統を複数持
ち、それぞれより入力された入力レベルを比較すること
により、どの入力系統の入力装置の方向に音の発生源が
あるかを推定し、その結果を前記音の識別結果とあわせ
て報知（伝達）するように構成することもできる。

【０１４１】例えば、この装置を固定設置して使用する
場合は、図１６に示すように、４方向に入力できるよう
なマイク（４方向マイク）２０１を固定して使用する。

【０１４２】そして、それぞれの方向の音をマイク入力
して装置に伝送し、処理を行い、４つの方向の音の入力
レベルを判断し、音の発生源がある方向を推定する。

【０１４３】例えば、ある同じ周波数成分を持った音
が、図１７に示すように、４方向から入力した場合、そ
の大きさの最大値（各音データの値の大きさの最大値）
がそれぞれ前：１５０、右：１４０、後：７０、左：４０だったとすると、前と右方向の値が大きくなっており、
かつ左方向が小さくなっているため、音の発生源は右前
方であろうと推定される。

【０１４４】このような構成によると、音の種類だけで
なく、その音の方向まで識別し報知することができ、使
用者により有用な補助の役割が果せる。

【０１４５】また、図１８に示すように、識別した音を
使用者に伝達する表示装置等からなる伝達部２１４を装
置筐体２００から分離し、その間は外部伝送インタフェ
ース２１３を介して通信・汎用入出力信号により接続す
るように構成することができる。

【０１４６】ここで、上記通信による接続は、モデムを
介した一般公衆網、公衆ベージャ網、構内型ベージャ伝
送によることができる。このような構成によると、発生
する音を識別する場所と使用者がいる場所がはなれてい
る場合でも使用できる。

【０１４７】例えば、お湯を沸かしている部屋から離れ
た部屋で別の作業をしている場合、赤ちゃんが寝ている
部屋に本体をおいておき、独立した伝達部を使用者が身
につけておくことにより、はなれた場所でその様子をよ
り確実に知ることができるという使用形態も可能にな
る。

【０１４８】また、本装置での識別結果を、分離された
複数の伝達部（または伝達装置）に通信を介して伝える
ように構成することもできる。

【０１４９】例えば、図１９に示すように、この装置筐
体２００に外部伝送インタフェース２１３を介して無線
伝送部２１５を接続する。

【０１５０】例えば、大きなホールや会議場などにおい
ては、この装置の認識部は音のよく聞こえる場所、例え
ば、部屋の高い場所などに設置しておき、使用者（複
数）は、小型の伝達部（構内ベージャのようなもの）２
１４−１〜２１４−ｎを持っておく。

【０１５１】そして、この装置の認識部で例えばチャイ
ムなどの特定の音が識別された場合には、その結果を同
報などにより電波を通して使用者の伝達部２１４−１〜
２１４−ｎにしらせる。

【０１５２】すなわち、大きな会議場などは、場所によ
り、また雑音の有無により確実に音が入力されない場合
が想定される。しかし、その場合においても、確実に音
が入力される場所に本体を設置しておき、使用者にはデ
ータ伝送によりその結果を伝えるように構成すれば、複
数の使用者に対してより確実にデータ伝送をすることが
できる。

【０１５３】また、図２０に示すように、分離された１
つの伝達部（または伝達装置）２１４は、離れた場所に
置かれた複数の識別装置２００ａおよび２００ｂから伝
えられる識別情報をもとに伝達を行うように構成するこ
ともできる。

【０１５４】例えば、ある部屋には電話があり、また別
の部屋には赤ちゃんがいる場合を想定する。この場合そ
れぞれの部屋に装置本体２００ａおよび２００ｂをおい
ておき、使用者は伝達部２１４をもっておく。

【０１５５】このような構成によると、例えば、装置本
体２００ａの無線伝送部２１５ａを介する情報により電
話がなったことを知ることができ、装置本体２００ｂの
無線伝送部２１５ｂを介する情報により、赤ちゃんが泣
いたことを知ることができるというように、複数の場所
での音の識別結果を知ることができる。

【０１５６】また、入力音の識別結果の伝達において、
リアルタイムで識別されている内容を伝達する、すなわ
ち、音がでている間だけ伝達し、音が消えると伝達もク
リアするように構成することもできる。

【０１５７】このような構成によると、その音が発生し
ていたという事実が重要な音の場合（赤ちゃんが泣いて
いたなど）、その音が識別された後、さらに別の音が識
別された場合にも、赤ちゃんが泣いていたという事実を
伝達できる。その事実を知ったのち、使用者が確認すれ
ばその履歴を使用者の操作に基づいて消すようにすれば
確実に事実を伝達できる。

【０１５８】

【発明の効果】以上説明したようにこの発明によれば、
周囲の音を音データとして取り込み、この取り込んだ音
データから該音データに対応する音の周波数の特徴を抽
出し、この抽出した周波数の特徴を予め設定した既知の
音の周波数の特徴と比較することによりこの取り込んだ
音データに対応する音の種別を識別し、これを使用者に
報知するように構成したので、日常生活で一般的に聞こ
える種々な音の種別を簡単な構成によりしかも適確に識
別することが可能になる。

【図面の簡単な説明】

【図１】この発明に係わる聴覚支援装置の一実施の形態
を示す概略ブロック図。

【図２】図１に示した変換処理部における時間軸データ
から周波数軸データへの変換の様子を示す図。

【図３】図１に示した識別処理部におけるパターンマッ
チングの手法を示す図。

【図４】図１に示した識別処理部における比較におい
て、入力データが比較パターンに一致すると判断される
場合の一例を示した図。

【図５】図１に示した識別処理部における比較におい
て、入力データが比較パターンに一致しないと判断され
る場合の一例を示した図。

【図６】図１に示した識別処理部における比較におい
て、複数の比較パターンを用いた比較の様子を示した
図。

【図７】図１に示した入力部および音データ処理部の動
作を示したフローチャート。

【図８】図１に示した変換処理部の動作を示したフロー
チャート。

【図９】図１に示した識別処理部の動作を示したフロー
チャート。

【図１０】図９に示したステップの一致判断を行うため
の計算処理の詳細を示したフローチャート。

【図１１】図１に示した全ての構成が１つの筐体内に納
められ構成を採用した場合の構成例を示す外観図。

【図１２】汎用パーソナルコンピュータを用いてこの聴
覚支援装置を構成した場合の構成例を示した外観図。

【図１３】図１１に示すようにマイクロフォン内蔵型で
構成した場合の具体的ハード構成例を示したブロック
図。

【図１４】図１３に示した構成において、マイクロフォ
ン（集音マイク）を筐体に対して外付けにして構成した
構成例を示したブロック図。

【図１５】音を識別処理する専用ＬＳＩを使用して構成
した構成例を示したブロック図。

【図１６】４方向に入力できるようなマイク（４方向マ
イク）を固定して使用するこの発明の他の実施の形態を
示す概略構成図。

【図１７】図１６に示した４方向マイクの動作を説明す
る図。

【図１８】識別した音を使用者に伝達する表示装置等か
らなる伝達部を装置筐体から分離し、その間は外部伝送
インタフェースを介して通信・汎用入出力信号により接
続するように構成したこの発明の他の実施の形態を示す
概略構成図。

【図１９】装置筐体に外部伝送インタフェースを介して
無線伝送部を接続し、複数の使用者が携帯する複数の伝
達部に音識別情報を送信するように構成したこの発明の
他の実施の形態を示す概略構成図。

【図２０】分離された１つの伝達部（または伝達装置）
が離れた場所に置かれた複数の識別装置から伝えられる
識別情報をもとに伝達を行うように構成したこの発明の
他の実施の形態を示す概略構成図。

【符号の説明】

１０入力部２０音データ処理部３０変換処理部４０記憶部５０記憶部６０識別処理部７０伝達部８０出力部

Claims

【特許請求の範囲】

【請求項１】周囲の音を音データとして取り込む音取
込手段と、上記音取込手段で取り込んだ音データから該音データに
対応する音の周波数の特徴を抽出する特徴抽出手段と、上記特徴抽出手段で抽出した周波数の特徴を予め設定し
た既知の音の周波数の特徴と比較することにより上記音
取込手段で取り込んだ音データに対応する音の種別を識
別する音識別手段と、上記音識別手段で識別した音の種別を報知する報知手段
と、を具備することを特徴とする聴覚支援装置。
【請求項２】上記音取込手段は、上記周囲の音のレベルが予め設定した所定のレベルを越
えた場合に該周囲の音を音データとして取り込むことを
特徴とする請求項１記載の聴覚支援装置。
【請求項３】上記所定のレベルは、上記周囲の音の状態に合わせて可変設定されることを特
徴とする請求項２記載の聴覚支援装置。
【請求項４】上記音取込手段は、取り込んだ音データに対応する音の方向を検出する音方
向検出手段を有し、上記報知手段は、上記識別した音の種別とともに上記音方向検出手段で検
出した音の方向を報知することを特徴とする請求項１記
載の聴覚支援装置。
【請求項５】上記音方向検出手段は、それぞれ異なる方向からの音を検出する複数のマイクロ
フォンと、上記複数のマイクロフォンの上記音のそれぞれの検出音
のレベルを比較することにより該音の方向を推定する音
方向推定手段と、を具備することを特徴とする請求項４記載の聴覚支援装
置。
【請求項６】上記特徴抽出手段は、上記音取込手段で取り込んだ音データを周波数軸データ
に変換する変換手段、を具備し、上記音識別手段は、上記変換手段で変換された周波数軸データに対応する周
波数パターンを予め設定した既知の音に対応する周波数
パターンと比較することにより上記音取込手段で取り込
んだ音データに対応する音の種別を識別することを特徴
とする請求項１記載の聴覚支援装置。
【請求項７】上記変換手段は、上記音取込手段で取り込んだ時間軸データを周波数軸デ
ータに変換する高速フーリエ変換手段を具備することを
特徴とする請求項６記載の聴覚支援装置。
【請求項８】上記変換手段は、上記音データを予め設定された時間単位で分割する音デ
ータ分割手段を具備し、上記音データ分割手段で分割さ
れた音データ単位で上記音データの上記周波数軸データ
への変換を行うことを特徴とする請求項６記載の聴覚支
援装置。
【請求項９】上記音取込手段は、周囲の音を入力するマイクロフォンと、上記マイクロフォンで検出された音を上記音データに変
換する音データ変換手段と、を具備し、上記マイクロフォンは、上記音データ変換手段および上記特徴抽出手段および上
記音識別手段および上記報知手段を含む部分から分離可
能に構成されることを特徴とする請求項１記載の聴覚支
援装置。
【請求項１０】上記報知手段は、上記音取込手段および上記特徴抽出手段および上記音識
別手段および上記報知手段を含む部分と通信手段を介し
て接続されることを特徴とする請求項１記載の聴覚支援
装置。