以下、図面を用いて本発明を実施するための実施形態を説明する。
(第1実施形態)
図1を参照して、本発明の第1実施形態に係る乳幼児泣き声検出装置1の構成を説明する。図1において、乳幼児泣き声検出装置1は、マイクロフォン10、ADC(アナログ・デジタル・コンバータ)11、第1フレーム生成部12、音圧レベル検出部13、連続性判定部14、周期性判定部15及び第1判定部16を備えている。また、乳幼児泣き声検出装置1は、バッファ部17、第2フレーム生成部18、周波数変換部19、倍音判定部20及び第2判定部21を備えている。
マイクロフォン10は、集音部として乳幼児の近傍に設けられ、周囲の音を集音する。マイクロフォン10は、集音した音をアナログ電気信号の音信号に変換する。マイクロフォン10は、変換で得られた音信号をADC11に与える。
ADC11は、乳幼児泣き声検出装置1が乳幼児の泣き声を検出する処理をデジタル信号で行うために、マイクロフォン10から与えられたアナログ信号の音信号をデジタル信号に変換する。ADC11は、所定のサンプリング周波数でアナログ信号の音信号をサンプリングしてデジタル信号に変換する。ADC11は、変換で得られたデジタル信号の音信号を第1フレーム生成部12及びバッファ部17に与える。
第1フレーム生成部12は、所定の時間幅に相当する所定のサンプル数でデジタル信号に変換された音信号を区切り、区切られた音信号を1フレームとして音信号のフレームを生成する。音信号は、第1フレーム生成部12で生成された1つのフレームを処理単位として、後述する処理が行われる。
第1フレーム生成部12は、音圧レベル検出部13から与えられる後述する判定結果に基づいて、新たに音信号のフレームを生成する。第1フレーム生成部12は、生成した音信号のフレームを音圧レベル検出部13に与える。
音圧レベル検出部13は、第1フレーム生成部12から与えられたフレームに含まれる音信号の音圧レベルを検出する。音圧レベル検出部13は、音信号における、最大振幅の絶対値、平均振幅の絶対値、振幅の最大二乗平均値、または振幅の二乗平均値の何れか一つを算出し、算出した値を音圧レベルとして検出する。
音圧レベル検出部13は、第1フレーム生成部12から与えられた音信号に音圧レベルが高い音信号または音圧レベルが低い音信号が含まれているか否かを判定する。ここで、音圧レベルが高い音信号とは、第1の音圧レベル以上の音信号であり、音圧レベルが低い音信号とは、第2の音圧レベル以下の音信号とする。
図2は乳幼児が泣いている状態で集音された音信号の一波形を示す図である。図2に示す音信号は、時間と振幅との関係により音信号を表したものである。以下、時間と振幅との関係により表した音信号を時間領域の音信号と呼ぶ。
図2に示す音信号は、乳幼児の泣き声の特徴を示している。乳幼児の泣き声を検出するにあたり、図2に示す音信号波形の特徴を考慮して、上記第1の音圧レベル、第2の音圧レベル、及び後述する第1の時間及び第2の時間を決めている。
図2において、区間aは泣き声が高い区間(泣き声区間)であり、母音の「あ」が支配的となる区間である。区間bは音圧レベルが区間aに比べて低い区間であり、高い泣き声と泣き声のとの間で息継ぎをしている区間(息継ぎ区間)である。
区間aと区間bとの間の区間cは、泣き始め、泣き終わり、短時間の咳等の区間であり、音信号の音圧レベルが不安定な区間であるので、泣き声の判定から除外する区間とする。
第1の音圧レベルは、集音された音信号から乳幼児が泣いているときの泣き声が高い状態、すなわち図2に示す区間aを検出するために予め設定されたレベルである。第1の音圧レベルは、例えば80[dB]〜90[dB]程度に設定される。
第2の音圧レベルは、集音された音信号から乳幼児が泣いているときに泣き声が一時止んでいる状態、すなわち図2に示す区間bを検出するために予め設定されたレベルである。第2の音圧レベルは、環境雑音レベルと同程度に設定される。
音圧レベル検出部13は、第1フレーム生成部12から与えられた音信号に音圧レベルが高い音信号または音圧レベルが低い音信号が含まれている場合には、音信号を連続性判定部14に与える。
連続性判定部14は、音圧レベル検出部13から与えられた音信号に基づいて、音圧レベルが高い音信号が連続している時間を計測する。連続性判定部14は、計測結果に基づいて、前後するフレームにわたって音圧レベルが高い音信号が第1の時間連続しているか否かを判定する。
連続性判定部14は、音圧レベル検出部13から与えられた音信号に基づいて、音圧レベルが低い音信号が連続している時間を計測する。連続性判定部14は、計測結果に基づいて、前後するフレームにわたって音圧レベルが低い音信号が第2の時間連続しているか否かを判定する。
第1の時間は、図2に示す泣き声が高い状態の区間aの時間である。したがって、第1の時間は、乳幼児が泣いているときの泣き声が高い状態、すなわち図2に示す区間aを検出するために予め設定された時間である。第1の時間は、例えば2秒〜3秒程度に設定される。
第2の時間は、図2に示す音圧レベルが低い状態の区間bの時間である。したがって、第2の時間は、乳幼児が泣いているときに泣き声が一時止んでいる状態、すなわち図2に示す区間bを検出するために予め設定された時間である。第2の時間は、例えば0.5秒〜1.0秒程度に設定される。
連続性判定部14は、第1フレーム生成部12で生成されたフレームの音信号を周期性判定部15に与える。連続性判定部14は、音圧レベルが高い音信号が第1の時間連続しているか否かの判定結果を周期性判定部15に与える。また、連続性判定部14は、音圧レベルが低い音信号が第2の時間連続しているか否かの判定結果を周期性判定部15に与える。
周期性判定部15は、連続性判定部14から与えられる判定結果と音信号とに基づいて、音信号の周期性を判定する。周期性判定部15は、音圧レベルが高い音信号が第1の時間連続していると判定され、かつ第2の音圧レベルの音信号が第2の時間連続していると判定された場合に、前後のフレームにわたって音信号の周期性を判定する。
周期性判定部15は、音圧レベルが高い音信号が第1の時間連続している図2に示す区間aと、音圧レベルが低い音信号が第2の時間連続している図2に示す区間bとが交互に少なくとも2回繰り返して発生しているか否かを判定する。
図3は上述した周期性を有する音信号の音圧レベルを2値化してモデル化した音圧レベル遷移のモデルパターンの一例を示す図である。周期性判定部15は、例えば図3に示すモデルパターンを用いて、以下のようにして音信号の周期性を判定することができる。
周期性判定部15は、図2に示す音信号に対して、音圧レベルが高い音信号と音圧レベルが低い音信号とを2値化した音圧レベル遷移パターンを作成して記憶する。乳幼児の泣き声は生理現象であるため、嗚咽や咳などで図3のように必ずしも連続性を維持できるとは限らない。また、周囲の雑音の影響により、息継ぎ区間中であっても、物音が混入することで一時的に高い音圧レベルとして検出される場合もある。よって、このような一時的な音圧レベルの変化を許容するため、周期性判定部15は、異なる状況(高い音圧レベルを検出中に一時的に出現する低い音圧レベル、又はその逆の状況)をカウントし、その回数が予め設定された許容回数に達したとする判定結果が音圧レベル検出部13から与えられると、記憶した音圧レベル遷移パターンをクリアする。つまり、判定中の音声信号は乳幼児の泣き声ではないとみなすことになる。
周期性判定部15は、記憶した音圧レベル遷移パターンと図3に示すようなモデルパターンとを比較して、両パターンが一致または近似しているか否かを判定する。判定の結果、両パターンが一致または近似している場合には、周期性判定部15は、音信号に上述した周期性があるものと判定する。一方、判定の結果、両パターンが一致または近似していない場合には、周期性判定部15は、周期性はないものと判定する。
周期性判定部15は、判定結果を第1判定部16に与える。
第1判定部16は、周期性判定部15から与えられた判定結果に基づいて、集音された音信号に乳幼児の泣き声が含まれている可能性があるか否かを判定する。
第1判定部16は、音圧レベルが高く第1の時間連続している音信号と、音圧レベルが低く第2の時間連続した音信号とが交互に周期的に発生している場合には、集音された音信号に乳幼児の泣き声が含まれている可能性があると判定する。第1判定部16は、音圧レベルが高く第1の時間連続している音信号と、音圧レベルが低く第2の時間連続した音信号とが交互に周期的に発生していない場合には、集音された音信号に乳幼児の泣き声が含まれていないものと判定する。
第1判定部16は、時間領域の音信号を処理することで、集音された音信号に乳幼児の泣き声が含まれている可能性があるか否かを判定している。第1判定部16は、集音した音信号に乳幼児の泣き声が含まれている可能性があると判定した場合には、判定結果を移行信号として第2フレーム生成部18に与える。この移行信号は、上述した時間領域における音信号の処理から以下に説明する周波数領域における音信号の処理に移行させるための制御用の信号である。
バッファ部17は、ADC11から与えられたデジタル信号の音信号を一時的に保持する。バッファ部17は、上述のようにして時間領域の音信号を処理している間、この処理が施されている音信号と同じ音信号を一時的に保持する。バッファ部17に一時的に保持された音信号は、以下に示すように周波数領域の音信号として処理される。
バッファ部17は、一時的に保持した音信号を第2フレーム生成部18に与える。
第2フレーム生成部18は、第1判定部16から移行信号が与えられると、音圧レベル検出部13から与えられた音圧レベルが高い音信号に基づいて、バッファ部17から与えられた音信号から音圧レベルが高い音信号を抽出する。第2フレーム生成部18は、抽出した音圧レベルが高い音信号に対してフレームの生成を開始する。第2フレーム生成部18は、音信号を所定の周波数幅に相当する所定のサンプル数で区切り、区切られた音信号を1フレームとして音信号のフレームを生成する。
抽出された音圧レベルが高い音信号は、第2フレーム生成部18で生成された1つのフレームを単位として、後述する処理が行われる。
第2フレーム生成部18は、生成したフレームの音信号を周波数変換部19に与える。
周波数変換部19は、第2フレーム生成部18から与えられた時間領域の音信号を周波数変換する。周波数変換の方法としては、例えば高速フーリエ変換法等の直交変換法や、フィルタバンク構成のポリフェイズフィルタ等を用いることができる。周波数変換の分解能は、乳幼児の泣き声の周波数スペクトルにおいて、後述する倍音構造であるか否かを判定できる分解能であればよい。周波数変換部19は、周波数変換された音信号の周波数スペクトルを倍音判定部20に与える。
倍音判定部20は、周波数変換部19から与えられた音信号の周波数スペクトルに基づいて、音信号が倍音構造であるか否かを判定する。上述したように、音信号の乳幼児の泣き声が高い区間は、音信号の主要成分が母音の「あ」が支配的であるので、倍音構造を有している。倍音構造とは、音信号の周波数スペクトルにおいて、音信号のエネルギーのピークが基音周波数と基音周波数のn倍(n=2,3,4,…)の高次周波数とで発生している現象である。
図4は乳幼児の泣き声における時間と周波数との関係を示したスペクトログラムの一例を示す図である。図4は周波数(縦軸)と時間(横軸)に対して、音圧レベルの変化をモノクロの濃淡で示しており、濃淡の濃い部分が音圧レベルが大きい部分である。
図5は図4の破線で囲まれた部分40を拡大した図である。
図5において、音信号のエネルギーは、基音周波数f1、基音周波数f1の2倍の高次周波数f2(2×f1)、基音周波数f1の3倍の高次周波数f3(3×f1)で強くなっている。また、音信号のエネルギーは、基音周波数f1の4倍の高次周波数(4×f1)、基音周波数f1の5倍の周波数(5×f1)、基音周波数f1の6倍の周波数(6×f1)で強くなっている。すなわち、音信号の音圧レベルは、基音周波数と高次周波数で高くなっている。
なお、図4及び図5では、高次周波数は基音周波数f1の6倍の高次周波数f6までしか記載していないが、7倍以上の高次周波数でも同様に音圧レベルは高くなっている。
これにより、図4及び図5にスペクトログラムで示す乳幼児の泣き声は、基音周波数f1とそのn倍の高次周波数(f2〜f6)とでピークが発生し、倍音構造を有していることがわかる。
図1に戻って、倍音判定部20は、音信号の周波数スペクトルの予め設定された周波数帯域において、基音周波数でピークが発生しているか否かを判定する。判定の結果、基音周波数でピークが発生している場合には、倍音判定部20は、続いて基音周波数のn倍の高次周波数でピークが発生しているか否かを判定する。判定の結果、高次周波数でピークが発生している場合には、倍音判定部20は、周波数変換部19から与えられた音信号は倍音構造であると判定する。
一方、基音周波数及びその高次周波数でピークが発生していない場合には、倍音判定部20は、周波数変換部19から与えられた音信号は倍音構造ではないと判定する。
倍音判定部20は、周波数変換部19から与えられた音信号が倍音構造であると判定した場合には、音信号の倍音構造が継続している時間を計測する。倍音判定部20は、計測した継続時間をそれまでに記憶されている継続時間に加えて記憶する。
倍音判定部20は、記憶された継続時間が予め設定された時間に達しているか否かを判定する。
乳幼児の泣き声のうち、主要成分が母音の「あ」の音圧レベルが高い部分の音信号は、一定の時間継続しているという特徴を有している。このような特徴を考慮して、倍音判定部20は、乳幼児の泣き声と他の類似する音信号とを区別するために、倍音構造の継続時間を計測して、乳幼児の泣き声を検出するために用いている。
倍音判定部20は、記憶された継続時間が予め設定された時間に達しているか否かの判定結果を第2判定部21に与える。
倍音判定部20は、周波数変換された音信号は倍音構造ではないと判定した場合には、その判定回数をカウントする。倍音判定部20は、カウントした判定回数が予め設定した許容回数に達したか否かを判定する。判定の結果、許容回数に達した場合には、倍音判定部20は、音信号に乳幼児の泣き声が含まれている可能性は極めて低いものと推定し、記憶した継続時間をクリアし、判定結果を第2フレーム生成部18に与える。一方、判定の結果、許容回数に達していない場合には、倍音判定部20は、記憶した継続時間を保持し、判定結果を第2フレーム生成部18に与える。
この処理は第1判定部の例外処理(生理的な現象により乳幼児の泣き声の連続性が損なわれる状況を回避)と同様に、一時的に非判定となる状況を考慮したからである。
第2判定部21は、倍音判定部20から与えられた判定結果に基づいて、集音された音信号に乳幼児の泣き声が含まれているか否かを判定する。
第2判定部21は、音信号の倍音構造が継続している時間が予め設定された時間に達している判定結果が与えられた場合には、集音された音信号に乳幼児の泣き声が含まれていると判定し、乳幼児の泣き声を検出する。一方、第2判定部21は、音信号の倍音構造が継続している時間が予め設定された時間に達していない判定結果が与えられた場合には、集音された音信号に乳幼児の泣き声が含まれていないと判定する。
第2判定部21は、乳幼児の泣き声を検出すると、その旨監視者などの乳幼児泣き声検出装置1の外部に通知する。
通知の方法としては、例えば通信により乳幼児泣き声検出装置1から専用の端末機器や汎用の携帯端末機器等の受信機器に乳幼児の泣き声を検出したことを送信する。受信機器は、ディスプレイによる表示などの視覚的方法、スピーカーから音を出力するなどの聴覚的方法、機械的振動などの体感的方法により受信機器を携帯している監視者などに通知する。
図6はマイクロフォン10により集音された音信号を時間領域において処理する手順を示すフローチャートである。
図6において、第1フレーム生成部12は、ステップS601にて、マイクロフォン10で集音されADC11でデジタル信号に変換された音信号を所定のサンプル数で区切ることで音信号のフレームを生成する。第1フレーム生成部12は、ステップS601にて、生成したフレームを音圧レベル検出部13に与える。
音圧レベル検出部13は、ステップS602にて、第1フレーム生成部12から与えられた音信号の音圧レベルを検出する。
音圧レベル検出部13は、ステップS603にて、音信号に音圧レベルが高い音信号または音圧レベルが低い音信号が含まれているか否かを判定する。判定の結果、音信号に音圧レベルが高い音信号または音圧レベルが低い音信号が含まれている場合には(YES)、ステップS604で示す処理が実行される。一方、判定の結果、音信号に音圧レベルが高い音信号または音圧レベルが低い音信号が含まれていない場合には(NO)、ステップS609で示す処理が実行される。
連続性判定部14は、ステップS604にて、音圧レベルが高い音信号が含まれている場合には、音圧レベルが高い音信号が連続している時間を計測する。連続性判定部14は、ステップS604にて、音圧レベルが低い音信号が含まれている場合には、音圧レベルが低い音信号が連続している時間を計測する。
連続性判定部14は、ステップS605にて、計測の結果、音圧レベルが高い音信号が第1の時間連続し、かつ音圧レベルが低い音信号が第2の時間連続しているか否かを判定する。判定の結果、音圧レベルが高い音信号が第1の時間連続し、かつ音圧レベルが低い音信号が第2の時間連続している場合には(YES)、ステップS606で示す処理が実行される。一方、判定の結果、音圧レベルが高い音信号が第1の時間連続していない、または、音圧レベルが低い音信号が第2の時間連続していない場合には(NO)、ステップS609で示す処理が実行される。これは前述の一時的な状態変化による誤検出を防止する仕組みに当たる。
周期性判定部15は、ステップS606にて、音圧レベルが高い音信号と音圧レベルが低い音信号とを2値化した音圧レベル遷移パターンを作成して記憶する。その後、ステップS607で示す処理が実行される。
周期性判定部15は、ステップS607にて、音圧レベルが高く第1の時間連続した音信号と音圧レベルが低く第2の時間連続した音信号とが少なくとも2回交互に繰り返して発生しているか否かを判定する。判定の結果、両音信号が交互に繰り返し発生している場合には(YES)、周期性判定部15は、ステップS607にて、判定結果を第1判定部16に与える。
一方、判定の結果、両音信号が交互に繰り返し発生していない場合には、周期性判定部15は、ステップS607にて、判定結果を第1判定部16に与え、その後ステップS601に示す処理が実行される。
第1判定部16は、ステップS607にて、周期性判定部15から与えられた判定結果に基づいて、集音された音信号に乳幼児の泣き声が含まれている可能性があるか否かを判定する。判定の結果、両音信号が交互に繰り返し発生している判定結果が周期性判定部15から与えられた場合には、第1判定部16は、ステップS607にて、集音された音信号に乳幼児の泣き声が含まれている可能性があると判定する。第1判定部16は、ステップS607にて、集音された音信号に乳幼児の泣き声が含まれている可能性があると判定した場合には(YES)、その後ステップS608に示す処理が実行される。
一方、判定の結果、両音信号が交互に繰り返し発生していない判定結果が周期性判定部15から与えられた場合には、第1判定部16は、ステップS607にて、集音された音信号に乳幼児の泣き声が含まれている可能性はないものと判定する。第1判定部16は、ステップS607にて、集音された音信号に乳幼児の泣き声が含まれている可能性がないものと判定した場合には(NO)、その後ステップS601に示す処理が実行される。
第1判定部16は、ステップS608にて、集音した音信号に乳幼児の泣き声が含まれている可能性があると判定した場合には、移行信号を第2フレーム生成部18に与える。
音圧レベル検出部13は、ステップS609にて、音信号に音圧レベルが高い音信号及び音圧レベルが低い音信号が含まれていないと判定した回数をカウントする。音圧レベル検出部13は、ステップS609にて、カウント後ステップS610で示す処理を実行する。
音圧レベル検出部13は、ステップS610にて、カウントした回数が予め設定された許容回数に達したか否かを判定する。判定の結果、許容回数に達した場合には(YES)、周期性判定部15は、音信号に乳幼児の泣き声が含まれている可能性は極めて低いものと推定し、ステップS611にて、記憶した音圧レベル遷移パターンをクリアする。その後、次のフレームの音信号に対して上述した処理を行うべく、ステップS601で示す処理が実行される。
一方、判別の結果、許容回数に達していない場合には(NO)、次のフレームの音信号に対して上述した処理を行うべく、ステップS601に示す処理が実行される。
図6のフローチャートに示す手順にしたがって、時間領域において音信号を処理した結果、集音された音信号に乳幼児の泣き声が含まれている可能性があると判定された場合には、引き続いて周波数領域において集音された音信号を処理する。
図7はマイクロフォン10で集音された音信号を周波数領域で処理する手順を示すフローチャートである。
図7において、バッファ部17は、ステップS701にて、ADC11から与えられるデジタル信号の音信号で、時間領域において処理される音信号を一時的に保持する。バッファ部17は、ステップS701にて、一時的に保持した音信号を第2フレーム生成部18に与える。
第2フレーム生成部18は、ステップS702にて、第1判定部16から移行信号が与えられたか否を判定する。判定の結果、移行信号が与えられた場合には(YES)、第2フレーム生成部18は、処理をステップS703に移行する。一方、移行信号が与えられていない場合には(NO)、ステップS701で示す処理が実行される。
第2フレーム生成部18は、ステップS703にて、バッファ部17から与えられた音信号のうち音圧レベルが高い音信号を所定の周波数幅に相当する所定のサンプル数で区切り、区切られた音信号を1フレームとして音信号のフレームを生成する。第2フレーム生成部18は、ステップS703にて、音圧レベルが高い音信号のフレームを周波数変換部19に与える。
周波数変換部19は、ステップS704にて、第2フレーム生成部18から与えられた音信号を周波数変換し、周波数スペクトルを生成する。周波数変換部19は、ステップS704にて、周波数変換された音信号の周波数スペクトルを倍音判定部20に与える。
倍音判定部20は、ステップS705にて、周波数変換部19から与えられた音信号の周波数スペクトルに基づいて、音信号が倍音構造であるか否かを判定する。判定の結果、音信号が倍音構造である場合には(YES)、倍音判定部20は、ステップS706にて、倍音構造が継続している時間を計測し、計測した継続時間をそれまでに記憶されている継続時間に加えて記憶する。一方、判定の結果、音信号が倍音構造でない場合には(NO)、ステップS710で示す処理が実行される。
倍音判定部20は、ステップS707にて、記憶された継続時間が予め設定された時間に達しているか否かを判定する。判定の結果、達している場合には(YES)、倍音判定部20は、ステップS707にて、判定結果を第2判定部21に与える。一方、判定の結果、達していない場合には(NO)、倍音判定部20は、ステップS707にて、判定結果を第2判定部21に与え、ステップS703で示す処理が実行される。
第2判定部21は、ステップS707にて、集音された音信号に乳幼児の泣き声が含まれているか否かを判定する。第2判定部21は、ステップS707にて、記憶された継続時間が予め設定された時間に達したとする判定結果が倍音判定部20から与えられた場合には(YES)、集音された音信号に乳幼児の泣き声が含まれていると判定する。その後、ステップS708で示す処理が実行される。
一方、第2判定部21は、ステップS707にて、記憶された継続時間が予め設定された時間に達していないとする判定結果が倍音判定部20から与えられた場合には(NO)、集音された音信号に乳幼児の泣き声は含まれていないと判定する。その後、次のフレームの音信号に対して上述した処理を行うべく、ステップS703で示す処理が実行される。
第2判定部21は、ステップS708にて、集音された音信号に乳幼児の泣き声が含まれていると判定した場合には、その旨監視者などに通知する。
倍音判定部20は、ステップS709にて、周波数変換された音信号は倍音構造ではないと判定した場合には、その判定回数をカウントする。その後、ステップS710で示す処理が実行される。
倍音判定部20は、ステップS710にて、カウントした判定回数が予め設定した許容回数に達したか否かを判定する。判定の結果、許容回数に達した場合には(YES)、倍音判定部20は、音信号に乳幼児の泣き声が含まれている可能性は極めて低いものと推定し、ステップS711にて、記憶した継続時間をクリアする。その後、次のフレームの音信号に対して上述した処理を行うべく、ステップS703で示す処理が実行される。
一方、判定の結果、許容回数に達していない場合には(NO)、ステップS703で示す処理が実行される。
上述した一連の処理が、フレーム単位で周波数領域での音信号に対して行われることによって、集音された音信号に乳幼児の泣き声が含まれているか否かを判定している。
以上説明したように、第1実施形態の乳幼児泣き声検出装置1は、以下に示す構成を採用することにより、以下に示す効果を得ることができる。
乳幼児泣き声検出装置1は、集音部として音を集音するマイクロフォン10と、マイクロフォン10で集音された音信号の音圧レベルを検出する音圧レベル検出部13を備えている。
乳幼児泣き声検出装置1は、連続性判定部14を備えている。連続性判定部14は、集音された音信号に、第1の音圧レベル以上で第1の時間連続した第1の音信号と、第2の音圧レベル以下で第2の時間連続した第2の音信号とが含まれているか否かを判定する。第2の音圧レベルは第1の音圧レベルよりも低く、第2の時間は第1の時間よりも短い。
乳幼児泣き声検出装置1は、周期性判定部15を備えている。周期性判定部15は、第1の音信号と第2の音信号とが集音された音信号に含まれていると判定された場合に、第1の音信号と第2の音信号とが少なくとも2回交互に繰り返すか否かを判定する。
乳幼児泣き声検出装置1は、第1判定部16を備えている。第1判定部16は、第1の音信号と第2の音信号とが少なくとも2回交互に繰り返すと判定された場合には、集音された音信号に乳幼児の泣き声が含まれている可能性があると判定する。
乳幼児泣き声検出装置1は、周波数変換部19を備えている。周波数変換部19は、集音された音信号に乳幼児の泣き声が含まれている可能性があると判定された場合に、第1の音信号を周波数変換する。
乳幼児泣き声検出装置1は、倍音判定部20を備えている。倍音判定部20は、周波数変換された第1の音信号が、周波数スペクトルのピークが基音周波数と高次周波数とで構成された倍音構造を有しているか否かを判定する。倍音判定部20は、倍音構造を有している場合に、倍音構造が予め設定された時間継続しているか否かを判定する。
乳幼児泣き声検出装置1は、第2判定部21を備えている。第2判定部21は、以下の判定結果が得られた場合には、集音された音信号に乳幼児の泣き声が含まれていると判定し、乳幼児の泣き声を検出する。判定結果は、乳幼児の泣き声が集音された音信号に含まれている可能性がある判定結果と、第1の音信号は倍音構造で、かつ倍音構造が予め設定された時間継続している判定結果である。
乳幼児泣き声検出装置1は、上記構成を採用することにより、背景に様々な雑音、特に乳幼児の泣き声と特徴が似通った報知音と区別して乳幼児の泣き声を検出することができる。この結果、誤検出の頻度を低減して、乳幼児の泣き声を検出する精度を高めることができる。
乳幼児泣き声検出装置1は、集音された音に乳幼児の泣き声が含まれている可能性があると判定されない場合には、周波数変換部19は周波数変換を行わず、倍音判定部20及び第2判定部21は判定動作を行わない。
乳幼児泣き声検出装置1は、上記技術的特徴を採用することにより、周波数変換部19、倍音判定部20及び第2判定部21は動作しないので、装置全体としての負荷を軽減することができる。また、乳幼児泣き声検出装置1は、上記技術的特徴を採用することにより、消費電力を削減することができる。
(第2実施形態)
図8を参照して、本発明の第2実施形態に係る乳幼児泣き声検出装置2の構成を説明する。
図8において、乳幼児泣き声検出装置2は、第1実施形態の乳幼児泣き声検出装置1の構成に比べて、周波数変動判定部80を加え、第2判定部21に代えて新たな第2判定部81を設けたことを特徴とする。
なお、図8において、図1と同一の構成には、同一の符号を付し、その説明は省略する。
ここでは、主に上述した第1実施形態との相違点について説明する。
図8において、倍音判定部20は、記憶された継続時間が予め設定された時間に達しているか否かの判定結果を周波数変動判定部80に与える。
周波数変動判定部80は、倍音判定部20から倍音構造の継続時間が予め設定された時間に達しているという判定結果が与えられると、周波数変換された音信号の周波数スペクトルのピークとなる基音周波数及び高次周波数が変動しているか否かを判定する。
図9(a)は倍音構造を有する乳幼児の泣き声のスペクトログラムの一例を示す図である。図9(a)は周波数(縦軸)と時間(横軸)に対して、音圧レベルの変化をモノクロの濃淡で示しており、濃淡の濃い部分が音圧レベルが大きい部分である。図9(a)において、乳幼児の泣き声の音圧レベルは、時間t1、t2、t3で周期的に大きく(濃淡が濃い部分)なっている。
このような音圧レベルの変化において、音圧レベルが大きいとき(濃淡が濃い部分)のそれぞれの周波数成分の基音周波数f1及び高次周波数f2〜f6は、図9(b)の模式図に示すように、時間とともに変化している。すなわち、基音周波数f1及び高次周波数f2〜f6は、泣き声の音圧レベルが大きくなったときから徐々に高くなり、その後低くなり周波数が高くなる前の元の周波数に戻る、といった特徴を有している。このように、乳幼児の泣き声は、倍音構造において上述したように基音周波数及び高次周波数が変動するといった特徴を有している。
このような特徴に対して、例えば車両の警笛を断続的に鳴らしたような倍音構造を有する報知音は、例えば図10に示すようなスペクトログラムとなる。図10は周波数(縦軸)と時間(横軸)に対して、報知音の音圧レベルの変化をモノクロの濃淡で示しており、濃淡の濃い部分が音圧レベルが大きい部分である。
図10からわかるように、音圧レベルが大きいときの周波数は時間の変化に係わらず平坦で、図9(a)に示すような周波数変動は見られない。
したがって、周波数変動判定部80は、上述した周波数の変動を検出することで、報知音等の人工的な音と乳幼児の泣き声とを区別している。
周波数変動判定部80は、判定結果を第2判定部81に与える。
第2判定部81は、周波数変動判定部80から与えられた判定結果に基づいて、集音された音信号に乳幼児の泣き声が含まれているか否かを判定する。
第2判定部81は、音信号の倍音構造で基音周波数及び高次周波数が変動しているとの判定結果が与えられた場合には、集音された音信号に乳幼児の泣き声が含まれていると判定し、乳幼児の泣き声を検出する。一方、第2判定部81は、音信号の倍音構造で基音周波数及び高次周波数が変動していないとの判定結果が与えられた場合には、集音された音信号に乳幼児の泣き声が含まれていないと判定する。
第2判定部81は、乳幼児の泣き声を検出すると、第1実施形態と同様にしてその旨監視者などの乳幼児泣き声検出装置2の外部に通知する。
図11は、第2実施形態においてマイクロフォン10で集音された音信号を周波数領域で処理する手順を示すフローチャートである。
なお、図11において、図7と同一の処理には同一の符号を付している。すなわち、図11において、ステップS701〜S706、S708〜S711に示す処理は、図7のステップS701〜S706、S708〜S711で示す処理と同一であるので、その説明は省略する。
ここでは、主に図7のフローチャートに示す処理との相違点について説明する。
図11のフローチャートに示す処理では、周波数変動判定部80を加えたことにより、ステップS705で示す処理とステップS706に示す処理との間に、ステップS1101に示す処理を追加している。また、図11のフローチャートに示す処理では、ステップS708に示す処理に代えてステップS1102に示す処理を実行している。
周波数変動判定部80は、ステップS1101にて、周波数変換された音信号の周波数スペクトルのピークとなる基音周波数及び高次周波数が変動しているか否かを判定する。判定の結果、基音周波数及び高次周波数が変動している場合には(YES)、ステップS706で示す処理が実行される。一方、判定の結果、基音周波数及び高次周波数が変動していない場合には(NO)、ステップS709で示す処理が実行される。
第2判定部81は、ステップS1102にて、倍音構造における基音周波数と高次周波数が変動しているとの判定結果が周波数変動判定部80から与えられた場合には(YES)、集音された音信号に乳幼児の泣き声が含まれていると判定する。その後、ステップS708で示す処理が実行される。
一方、第2判定部81は、ステップS1102にて、倍音構造における基音周波数と高次周波数が変動していないとの判定結果が周波数変動判定部80から与えられた場合には(NO)、集音された音信号に乳幼児の泣き声は含まれていないと判定する。その後、次のフレームの音信号に対して上述した処理を行うべく、ステップS703で示す処理が実行される。
以上説明したように、第2実施形態の乳幼児泣き声検出装置2は、以下に示す構成を採用することにより、以下に示す効果を得ることができる。
乳幼児泣き声検出装置2は、第1実施形態の乳幼児泣き声検出装置1の構成に加えて、周波数変動判定部80を備えている。周波数変動判定部80は、周波数変換された第1の音信号の周波数スペクトルにおけるピークの基音周波数及び高次周波数が、時間の推移とともに高域に変動した後、元に戻る周波数変動が発生しているか否かを判定する。
乳幼児泣き声検出装置2の第2判定部81は、第2判定部21の判定結果に加えて、第1の音信号に周波数変動が発生していると判定された場合に、集音された音信号に乳幼児の泣き声が含まれていると判定し、乳幼児の泣き声を検出する。
乳幼児泣き声検出装置2は、上記構成を採用することにより、第1実施形態の乳幼児泣き声検出装置1で得られる効果に加えて、より一層誤検出の頻度を低減して、乳幼児の泣き声を検出する精度を高めることができる。
乳幼児泣き声検出装置2は、集音された音に乳幼児の泣き声が含まれている可能性があると判定されない場合には、周波数変換部19は周波数変換を行わず、倍音判定部20、周波数変動判定部80及び第2判定部81は判定動作を行わない。
乳幼児泣き声検出装置2は、上記技術的特徴を採用することにより、周波数変換部19、倍音判定部20、周波数変動判定部80及び第2判定部81は動作しないので、装置全体としての負荷を軽減することができる。また、乳幼児泣き声検出装置2は、上記技術的特徴を採用することにより、消費電力を削減することができる。
(第3実施形態)
図12を参照して、本発明の第3実施形態に係る乳幼児泣き声検出装置の構成を説明する。
第1実施形態及び第2実施形態の乳幼児泣き声検出装置1,2では、集音された音信号を時間領域で処理した後、その処理結果に基づいて周波数領域において処理するか否かを決めている。これに対して、第3実施形態の乳幼児泣き声検出装置3は、集音された音信号の時間領域での処理と周波数領域での処理とを並行することを特徴とする。
なお、図12において、図8と同一の構成には、同一の符号を付し、その説明は省略する。ここでは、主に上述した第2実施形態との相違点について説明する。
図12において、第3実施形態の乳幼児泣き声検出装置3は、図8に示す第1フレーム生成部12、音圧レベル検出部13、連続性判定部14、周期性判定部15及び周波数変動判定部80と同一の構成を備えている。
乳幼児泣き声検出装置3は、図8に示すバッファ部17、第2フレーム生成部18が削除されている。乳幼児泣き声検出装置3は、図8に示す周波数変換部19に代えて新たな周波数変換部121を備えている。また、乳幼児泣き声検出装置3は、図8に示す倍音判定部20に代えて新たな倍音判定部122を備え、図8に示す第2判定部81に代えて新たな判定部124を備えている。また、乳幼児泣き声検出装置3は、新たに保持部123を備えている。
乳幼児泣き声検出装置3は、第1フレーム生成部12、音圧レベル検出部13、連続性判定部14及び周期性判定部15により、第2実施形態と同様に音信号を時間領域で処理する。この処理は、図6のフローチャートに示す処理を実行することで行われる。
周波数変換部121は、第1フレーム生成部12から音信号を受けて、音圧レベル検出部13で第1フレーム生成部12から与えられた音信号に音圧レベルが高い音信号が含まれていると判定された場合に、音圧レベルが高い音信号を周波数変換する。
周波数変換の方法としては、例えば高速フーリエ変換法等の直交変換法や、フィルタバンク構成のポリフェイズフィルタ等を用いることができる。周波数変換の分解能は、乳幼児の泣き声の周波数構造(スペクトル構造)において、後述する倍音構造が認識できる分解能であればよい。周波数変換部121は、周波数変換された音信号を倍音判定部122に与える。
倍音判定部122は、周波数変換部121から周波数変換された音信号を受ける他は図8に示す倍音判定部20が備えた機能と同様である。
保持部123は、周期性判定部15の判定結果及び周波数変動判定部80の判定結果を受けて、周期性判定部15の判定結果及び周波数変動判定部80の判定結果を保持する。保持部123は、保持した判定結果を判定部124に与える。
判定部124は、保持部123から与えられた判定結果に基づいて、集音された音信号に乳幼児の泣き声が含まれているか否かを判定する。
判定部124は、周期性判定部15が音信号に周期性があると判定し、かつ倍音判定部122が音信号に倍音構造の特徴を検出し、周波数変動判定部80が基音周波数及び高次周波数は変動していると判定した場合に、集音された音信号に乳幼児の泣き声が含まれているものと判定する。判定部124は、周期性判定部15が音信号に周期性がないと判定し、または倍音判定部122が音信号に倍音構造の特徴を持たないと判定するか、周波数変動判定部80が基音周波数及び高次周波数は変動していないと判定した場合に、集音された音信号に乳幼児の泣き声が含まれていないものと判定する。
なお、第3実施形態の乳幼児泣き声検出装置3は、周波数変動判定部80を備えているが、第1実施形態の乳幼児泣き声検出装置1のように周波数変動判定部80を削除し、倍音判定部122の判定結果を用いて乳幼児の泣き声を検出するようにしてもよい。
以上説明したように、第3実施形態の乳幼児泣き声検出装置3は、以下に示す構成を採用することにより、以下に示す効果を得ることができる。
乳幼児泣き声検出装置3は、集音部として音を集音するマイクロフォン10と、マイクロフォン10で集音された音信号の音圧レベルを検出する音圧レベル検出部13を備えている。
乳幼児泣き声検出装置3は、連続性判定部14を備えている。連続性判定部14は、集音された音信号に、第1の音圧レベル以上で第1の時間連続した第1の音信号と、第2の音圧レベル以下で第2の時間連続した第2の音信号とが含まれているか否かを判定する。
乳幼児泣き声検出装置3は、周期性判定部15を備えている。周期性判定部15は、第1の音信号と第2の音信号とが集音された音信号に含まれていると判定された場合に、第1の音信号と第2の音信号とが少なくとも2回交互に繰り返すか否かを判定する。
乳幼児泣き声検出装置3は、周波数変換部121を備えている。周波数変換部121は、連続性判定部14及び周期性判定部15の動作と並行して第1の音信号を周波数変換する。
乳幼児泣き声検出装置3は、倍音判定部122を備えている。倍音判定部122は、周波数変換された第1の音信号は、周波数スペクトルのピークが基音周波数と高次周波数とで構成された倍音構造を有しているか否かを判定する。倍音判定部122は、第1の音信号が倍音構造を有している場合に、倍音構造が予め設定された時間継続しているか否かを判定する。倍音判定部122は、判定動作を連続性判定部14及び周期性判定部15の動作と並行して行う。
乳幼児泣き声検出装置3は、判定部124を備えている。判定部124は、以下の判定結果が得られた場合には、集音された音信号に乳幼児の泣き声が含まれていると判定し、乳幼児の泣き声を検出する。判定結果は、第1の音信号と第2の音信号とが少なくとも2回交互に繰り返されている判定結果と、第1の音信号は倍音構造でかつ倍音構造が予め設定された時間継続している判定結果である。
乳幼児泣き声検出装置3は、上記構成を採用することにより、背景に様々な雑音、特に乳幼児の泣き声と特徴が似通った報知音と区別して乳幼児の泣き声を検出することができる。この結果、誤検出の頻度を低減して、乳幼児の泣き声を検出する精度を高めることができる。
乳幼児泣き声検出装置3は、連続性判定部14及び周期性判定部15の動作と、周波数変換部121及び倍音判定部122の動作とを並行する。
乳幼児泣き声検出装置3は、上記技術的特徴を採用することにより、第1実施形態の乳幼児泣き声検出装置1及び第2実施形態の乳幼児泣き声検出装置2に比べて、迅速に乳幼児の泣き声を検出することができる。
乳幼児泣き声検出装置3は、周波数変動判定部80を備えている。周波数変動判定部80は、周波数変換された第1の音信号の周波数スペクトルにおけるピークの基音周波数及び高次周波数が、時間の推移とともに高域に変動した後、元に戻る周波数変動が発生しているか否かを判定する。
乳幼児泣き声検出装置3の判定部124は、上記判定結果に加えてさらに第1の音信号に周波数変動が発生していると判定された場合に、集音された音信号に乳幼児の泣き声が含まれていると判定し、乳幼児の泣き声を検出する。
乳幼児泣き声検出装置3は、周波数変動判定部80を備えることで、より一層誤検出の頻度を低減して、乳幼児の泣き声を検出する精度を高めることができる。