JP4517606B2 - 監視システム、信号処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、監視システム、信号処理装置および方法、並びにプログラムに関し、特に、監視対象の音声を含む音声データから、監視対象の音声以外の雑音成分をより正確に除去することができるようにした監視システム、信号処理装置および方法、並びにプログラムに関する。

近年、情報処理技術の向上に伴い、各種の装置を用いた情報処理システムが様々な分野に適用されてきている。例えば、撮像装置、集音装置、および情報処理装置等を用いて、ユーザが肉眼で視認不可能な位置に存在する対象物を監視する監視システムがある。

撮像装置および集音装置は、例えばユーザが位置する空間と異なる他の空間に設置され、その空間において取得した情報を、通信装置等を用いてユーザが位置する空間に設置される情報処理装置に供給する。撮像装置および集音装置により供給された情報を取得した情報処理装置は、その情報に信号処理を施す等して出力用の情報を作成し、ディスプレイやスピーカ等より、その出力用の情報を出力する。ユーザは、その出力された情報を参照することにより、直接肉眼で視認することができない空間の状況を把握する。

例えば、このような監視システムとして、監視対象を乳幼児とし、その乳幼児の保護者がその乳幼児の状態を把握するために使用する乳幼児監視システムがある。乳幼児監視システムは、乳幼児が位置する空間において、カメラやマイクを用いて乳幼児の画像や音声（泣き声）を取得し、保護者が位置する空間において、その画像や音声を、ディスプレイやスピーカを介して出力する。保護者は、このような乳幼児監視システムを用いることにより、その出力された画像や音声を参照して、他の空間に位置する乳幼児の状態を容易に把握することができる。

このような乳幼児監視システムにおいて、マイクにより取得された音声情報には、通常、乳幼児の音声（泣き声）の他に、乳幼児周辺の空間において発生するその他の音声（例えば、乳幼児の近傍に位置する他の人物の音声や、乳幼児の近傍に位置するスピーカ等より出力される音声等）、すなわち、雑音成分（乳幼児監視システムが処理の対象としない音声）も含まれている。従って、乳幼児監視システムは、例えば、情報処理装置等において、取得した音声情報に対して信号処理を行い、音声情報よりこの雑音成分を除去し（低減させ）、雑音成分が除去（低減）された音声情報をスピーカより出力する。

その雑音成分の除去の方法として、例えばローパスフィルタ等を用いて不要な周波数成分（乳幼児の音声と異なる周波数帯域の信号成分）を除去する方法が考えられるが、例えば、上述したように監視対象である乳幼児の近傍に位置する他の人物の音声がマイクにより取得された音声情報に含まれる等、乳幼児の音声と同じ周波数帯域に雑音成分が存在する場合、フィルタ等を用いた周波数帯域の制限では、雑音成分を十分に除去することができない。

これに対して、２つのマイクを用い、それらのマイクより入力された音声信号間の相関を低くする分離行列を適応処理により最適化し、その最適化された分離行列を用いて、入力された音声信号より目的の音源に対応する音声のみを分離して抽出する方法がある（例えば、特許文献１参照）。

ビデオカメラは、ビデオカメラの正面軸上に間隔をあけて配置された２つのマイクより入力された音声信号に対して適応処理を行い、分離行列を最適化し、その分離行列を用いて、ピントが合わせられた被写体の発する音声を他の音声から分離することにより、その被写体の発する音声のみを収音することができる。
特開２００１-８４７１３号公報（第２−４ページ、図１乃至図３）

しかしながら、以上のような分離行列を最適化する方法においては、目的とする被写体の発声した音声を、その被写体の位置のみに基づいて判別しており、例えば、反射音等の外部環境の影響等により、雑音成分を十分に除去することができない場合があるという課題があった。

また、以上のような分離行列を最適化する方法においては、目的とする被写体の発声した音声を判別して分離するだけであり、その音声の内容に関わらず同様に分離処理を行うので、常に目的の音声をなるべく残すように分離しなければならず、例えば、目的の音声の音声レベルが無音または無音状態に近いレベルの状態である場合に、完全に分離できなかった雑音成分の方が目立ってしまう場合があるという課題があった。

本発明はこのような状況に鑑みてなされたものであり、監視対象の音声を含む音声データから、監視対象の音声以外の雑音成分をより正確に除去することができるようにするものである。

本発明の監視システムは、監視対象を監視する監視装置と、監視装置を制御する主制御装置とを備える監視システムであって、監視装置は、第１の音声入力部と、第１の音声入力部と所定の間隔をあけて配置された第２の音声入力部とを有し、第１の音声入力部において得られた第１の音声信号と、第２の音声入力部において得られた第２の音声信号を主制御装置に供給し、主制御装置は、監視装置より供給された第１の音声信号に含まれる所望の音声信号を、第２の音声信号に含まれる所望の音声信号に対して相対的に所定の量だけ遅延し、相対的に遅延された第１の音声信号と第２の音声信号とを加算して第３の音声信号を生成し、相対的に遅延された第１の音声信号と第２の音声信号との一方から他方を減算して第４の音声信号を生成し、第４の音声信号の移動平均を算出し、第１の音声信号および第２の音声信号が、所望の音声信号を多く含む第１の領域の音声信号であるか、所望の音声信号がほとんど含まれず、雑音成分を多く含む第２の領域の音声信号であるかを判定し、第１の音声信号および第２の音声信号が第２の領域の音声信号であると判定された場合、第３の音声信号から、第４の音声信号および第４の音声信号の移動平均の乗算結果を減算することにより、雑音成分を減衰させた音声信号を生成する監視システムである。

主制御装置は、第１の音声信号と第２の音声信号との相関関係を示す相関係数を算出し、算出された相関係数の値の大きさによって、第１の音声信号および第２の音声信号が、第１の領域の音声信号であるか、第２の領域の音声信号であるかを判定することができる。

前記主制御装置は、算出された相関係数の値が、予め定められた所定の閾値より大きい場合、第１の音声信号および第２の音声信号が第１の領域の音声信号であると判定し、算出された相関係数の値が閾値より小さい場合、第１の音声信号および第２の音声信号が第２の領域の音声信号であると判定することができる。

前記閾値の値は、「−１」以上であり、かつ、「１」以下であることができる。

前記主制御装置は、第１の音声入力部および第２の音声入力部の位置と、所望の音声信号に対応する音声の発生源の位置との関係に応じて、第１の音声信号を相対的に遅延する量を決定することができる。

前記主制御装置は、監視装置の動作を制御する制御情報を監視装置に供給し、監視装置は、制御情報に基づいて、音声信号を主制御装置に供給するか否かを判定することができる。

前記制御情報は、監視装置により使用されるテーブルのテーブル番号を指定する情報であることができる。

前記主制御装置は、主制御装置が有するテーブルを更新する新たなテーブルを監視装置に供給することができる。

前記主制御装置は、監視装置において使用されるセンサを指定する情報を監視装置に供給することができる。

本発明の信号処理装置は、第１の音声入力部において得られた第１の音声信号に含まれる所望の音声信号を、第１の音声入力部と所定の間隔をあけて配置された第２の音声入力部において得られた第２の音声信号に含まれる所望の音声信号に対して相対的に所定の量だけ遅延する遅延手段と、遅延手段により相対的に遅延された第１の音声信号と第２の音声信号とを加算して第３の音声信号を生成する加算手段と、遅延手段により相対的に遅延された第１の音声信号と第２の音声信号との一方から他方を減算して第４の音声信号を生成する減算手段と、減算手段により生成された第４の音声信号の移動平均を算出する移動平均算出手段と、第１の音声信号および第２の音声信号が、所望の音声信号を多く含む第１の領域の音声信号であるか、所望の音声信号がほとんど含まれず、雑音成分を多く含む第２の領域の音声信号であるかを判定する領域判定手段と、領域判定手段により第１の音声信号および第２の音声信号が第２の領域の音声信号であると判定された場合、第３の音声信号から、第４の音声信号および第４の音声信号の移動平均の乗算結果を減算することにより、雑音成分を減衰させた音声信号を生成する減衰手段とを備える。

前記第１の音声信号と第２の音声信号との相関関係を示す相関係数を算出する相関係数算出手段をさらに備え、領域判定手段は、相関係数算出手段により算出された相関係数の値の大きさによって、第１の音声信号および第２の音声信号が、第１の領域の音声信号であるか、第２の領域の音声信号であるかを判定することができる。

前記領域判定手段は、相関係数算出手段により算出された相関係数の値が、予め定められた所定の閾値より大きい場合、第１の音声信号および第２の音声信号が第１の領域の音声信号であると判定し、相関係数算出手段により算出された相関係数の値が閾値より小さい場合、第１の音声信号および第２の音声信号が第２の領域の音声信号であると判定することができる。

前記閾値の値は、「−１」以上であり、かつ、「１」以下であることができる。

前記第１の音声入力部および第２の音声入力部の位置と、所望の音声信号に対応する音声の発生源の位置との関係に応じて、遅延手段が第１の音声信号を相対的に遅延する量を決定する遅延量決定手段をさらに備え、遅延手段は、遅延量決定手段により決定された量だけ、第１の音声信号を相対的に遅延することができる。

本発明の信号処理方法は、信号処理装置の信号処理方法であって、信号処理装置の遅延手段が、第１の音声入力部において得られた第１の音声信号に含まれる所望の音声信号を、第１の音声入力部と所定の間隔をあけて配置された第２の音声入力部において得られた第２の音声信号に含まれる所望の音声信号に対して相対的に所定の量だけ遅延し、信号処理装置の加算手段が、相対的に遅延された第１の音声信号と第２の音声信号とを加算して第３の音声信号を生成し、信号処理装置の減算手段が、相対的に遅延された第１の音声信号と第２の音声信号との一方から他方を減算して第４の音声信号を生成し、信号処理装置の移動平均手段が、第４の音声信号の移動平均を算出し、信号処理装置の領域判定手段が、第１の音声信号および第２の音声信号が、所望の音声信号を多く含む第１の領域の音声信号であるか、所望の音声信号がほとんど含まれず、雑音成分を多く含む第２の領域の音声信号であるかを判定し、信号処理装置の減衰手段が、第１の音声信号および第２の音声信号が第２の領域の音声信号であると判定された場合、第３の音声信号から、第４の音声信号および第４の音声信号の移動平均の乗算結果を減算することにより、雑音成分を減衰させた音声信号を生成する。

本発明のプログラムは、コンピュータを、第１の音声入力部において得られた第１の音声信号に含まれる所望の音声信号を、第１の音声入力部と所定の間隔をあけて配置された第２の音声入力部において得られた第２の音声信号に含まれる所望の音声信号に対して相対的に所定の量だけ遅延する遅延手段と、遅延手段により相対的に遅延された第１の音声信号と第２の音声信号とを加算して第３の音声信号を生成する加算手段と、遅延手段により相対的に遅延された第１の音声信号と第２の音声信号との一方から他方を減算して第４の音声信号を生成する減算手段と、減算手段により生成された第４の音声信号の移動平均を算出する移動平均算出手段と、第１の音声信号および第２の音声信号が、所望の音声信号を多く含む第１の領域の音声信号であるか、所望の音声信号がほとんど含まれず、雑音成分を多く含む第２の領域の音声信号であるかを判定する領域判定手段と、領域判定手段により第１の音声信号および第２の音声信号が第２の領域の音声信号であると判定された場合、第３の音声信号から、第４の音声信号および第４の音声信号の移動平均の乗算結果を減算することにより、雑音成分を減衰させた音声信号を生成する減衰手段として機能させる。

本発明の監視システムにおいては、監視装置において、第１の音声入力部において得られた第１の音声信号と、第２の音声入力部において得られた第２の音声信号が主制御装置に供給され、主制御装置において、監視装置より供給された第１の音声信号に含まれる所望の音声信号が、第２の音声信号に含まれる所望の音声信号に対して相対的に所定の量だけ遅延され、相対的に遅延された第１の音声信号と第２の音声信号とを加算して第３の音声信号が生成され、相対的に遅延された第１の音声信号と第２の音声信号との一方から他方を減算して第４の音声信号が生成され、第４の音声信号の移動平均が算出され、第１の音声信号および第２の音声信号が、所望の音声信号を多く含む第１の領域の音声信号であるか、所望の音声信号がほとんど含まれず、雑音成分を多く含む第２の領域の音声信号であるかが判定され、第１の音声信号および第２の音声信号が第２の領域の音声信号であると判定された場合、第３の音声信号から、第４の音声信号および第４の音声信号の移動平均の乗算結果を減算することにより、雑音成分を減衰させた音声信号が生成される。

本発明の信号処理装置および方法、並びにプログラムにおいては、第１の音声入力部において得られた第１の音声信号に含まれる所望の音声信号が、第１の音声入力部と所定の間隔をあけて配置された第２の音声入力部において得られた第２の音声信号に含まれる所望の音声信号に対して相対的に所定の量だけ遅延され、相対的に遅延された第１の音声信号と第２の音声信号とが加算されて第３の音声信号が生成され、相対的に遅延された第１の音声信号と第２の音声信号との一方から他方が減算されて第４の音声信号が生成され、第４の音声信号の移動平均が算出され、第１の音声信号および第２の音声信号が、所望の音声信号を多く含む第１の領域の音声信号であるか、所望の音声信号がほとんど含まれず、雑音成分を多く含む第２の領域の音声信号であるかが判定され、第１の音声信号および第２の音声信号が第２の領域の音声信号であると判定された場合、第３の音声信号から、第４の音声信号および第４の音声信号の移動平均の乗算結果を減算することにより、雑音成分を減衰させた音声信号が生成される。

本発明によれば、信号を処理することができる。特に、任意の位置の監視対象の音声を含む音声データから、監視対象の音声以外の雑音成分をより正確に除去することができる。

以下に、本発明の実施の形態について図面を参照して説明する。

図１は、本発明を適用した監視システムの構成例を示すブロック図である。

図１において、監視システム１は、例えば、乳幼児を監視対象とし、その乳幼児の状態を監視する保護者をユーザとする乳幼児監視システムであり、乳幼児近傍に設置され、乳幼児を監視する監視装置１０、監視装置１０を制御し、ユーザ近傍に設置され、監視装置１０より乳幼児に関する情報を取得し、ユーザに通知する主制御装置２０により構成される。

監視装置１０は、制御情報等の送受信を行う低速通信用のアンテナ１１、および監視対象である乳幼児に関する情報である通知情報の送受信を行う高速通信用のアンテナ１２を有しており、同様に、主制御装置２０も、低速通信用のアンテナ２１および高速通信用のアンテナ２２を有している。監視装置１０および主制御装置２０は、これらのアンテナ１１およびアンテナ２１を介して、例えば、IEEE（Institute of Electronic and Electronics Engineers）８０２．１１ｂやブルートゥース（Bluetooth（登録商標））等の通信速度が遅い無線通信規格を用いて低速無線通信を行い、アンテナ１２およびアンテナ２２を介して、例えば、IEEE８０２．１１ａやIEEE８０２．１１ｇ等の通信速度が速い無線通信規格を用いて高速無線通信を行う。

なお、IEEE８０２．１１ｘは、無線LAN（Local Area Network）の標準化を推進する、IEEE（米国電気電子技術者協会）で標準化された規格であり、通信のベースとなる使用する周波数帯や変調方式などの物理層（Physical Layer）と、データフォーマットやコミュニケーション方法などのメディアアクセス制御（Medium Access Control）を規定したものである。IEEE８０２．１１ｂは、２．４GHz帯を使用し、最大１１Mbpsの転送速度で、DSSS（Direct Sequence Spectrum Spread）方式（直接拡散方式のスペクトラム拡散）の無線通信を行う無線LANの拡張規格である。また、IEEE８０２．１１ａは、５GHz帯を使用し、最大５４Mbpsの転送速度で、狭帯域の搬送波を複数使って伝送する、OFDM(Orthogonal Frequency Division Multiplex：直交周波数分割多重)という変調方式の無線通信を行う無線LANの拡張規格である。さらにIEEE８０２．１１gという２．４GHz帯を使用し、最大５４Mbpsの転送速度で、OFDM変調方式の無線通信を行う無線LANの拡張規格である。ブルートゥースは、２．４GHz帯域を用いる最大伝送速度が１Mbpsの無線伝送方式である。

後述するように、監視装置１０は、後述するセンサの出力を、アンテナ１１およびアンテナ２１を介して、低速無線通信により主制御装置２０に供給するとともに、内蔵するカメラやマイク等を介して取得した乳幼児に関する通知情報を、アンテナ１２およびアンテナ２２を介して、高速無線通信により主制御装置２０に供給する。主制御装置２０は、このようにして取得したセンサ出力や乳幼児に関する通知情報をディスプレイ等より出力する。また、主制御装置２０は、例えば、ユーザの指示等に基づいて作成された制御情報を、アンテナ２１およびアンテナ１１を介して、低速無線通信により監視装置１０に供給し、監視装置１０の動作を制御する。

乳幼児の保護者であるユーザは、主制御装置２０において出力された情報を参照し、乳幼児の状態を把握することができる。

図２は、図１の監視装置１０の詳細な構成例を示す図である。

監視装置１０は、監視装置１０の各部を制御する制御部３１、制御部３１において実行されるプログラムやデータを一時的に保持する半導体メモリであるRAM（Random Access Memory）３２、制御部３１において実行されるプログラムやデータが記録されている読み出し専用半導体メモリであるROM（Read Only Memory）３３を備えている。

制御部３１は、演算部、制御部、および保持部を含むCPU等により構成され、RAM３２やROM３３に記憶されているプログラムやデータを実行し、監視装置１０の各部を制御して、監視対象である乳幼児の画像や音声を取得し、主制御装置２０に供給する処理を行ったり、監視装置１０の設定を行ったりする。

また監視装置１０は、複数のセンサを有し、乳幼児の状態に関する情報を取得するセンサ部４１、アンテナ１１を介して主制御装置２０と低速の無線通信を行う低速通信部４２、乳幼児の画像や音声等の、ユーザに通知する情報（以下、通知情報と称する）を取得する通知情報取得部４３、通知情報取得部４３より供給された通知情報に信号処理等を施し、送信用の通知情報を生成する通知情報処理部４４、アンテナ１２を介して主制御装置２０と高速の無線通信を行う高速通信部４５、制御部３１が乳幼児の状態等に応じて各部を制御するために参照するルックアップテーブル（LUT）を記憶するLUT記憶部４６、監視装置１０の各部に電力を供給する電力供給部４７、並びに、制御部３１に制御されて、監視装置１０の各部の動作を制御する動作制御部４８を有している。

センサ部４１は、第１センサ５１、第２センサ５２、および第３センサの、互いに異なる情報を計測する３つのセンサを有し、さらに、その第１センサ５１乃至第３センサ５３の動作をそれぞれ制御するセンサドライバ５４乃至センサドライバ５６、および第１センサ５１乃至第３センサ５３のセンサ出力より制御部３１に供給するセンサ出力を選択するセレクタ５７を有している。

第１センサ５１は、図示は省略するが、乳幼児の発声する音声を取得するための簡易なマイクよりなり、センサドライバ５４に制御されて、取得した音声信号をセンサドライバ５４に出力信号として出力する。センサドライバ５４は、図示は省略するが、取得したマイクの出力信号を増幅するアンプ回路、および、その増幅された出力信号より所定のパラメータを計測して出力する計測部を内蔵しており、第１センサ５１を制御して出力させた出力信号を増幅し、乳幼児の呼吸時間と発声時間を計測し、計測値をセンサ出力としてセレクタ５７に供給する。

第２センサ５２は、図示は省略するが、乳幼児の発声する音声等による空間の圧力変化を検知し、電気信号に変換する空圧センサよりなり、センサドライバ５５に制御されて、空圧の変化を変換して得られた電気信号をセンサドライバ５５に出力信号として出力する。センサドライバ５５は、図示は省略するが、第２センサ５２の出力信号を増幅するアンプ回路、および、その増幅された出力信号より所定のパラメータを計測して出力する計測部を内蔵しており、第２センサ５２を制御して出力させた出力信号を増幅し、乳幼児の呼吸時間と発声時間を計測し、計測値をセンサ出力としてセレクタ５７に供給する。

第３センサ５３は、図示は省略するが、乳幼児の体温の変化を検知し、その変化を電気信号に変換する赤外線（温度）センサよりなり、センサドライバ５６に制御されて、体温の変化を変換して得られた電気信号をセンサドライバ５６に出力信号として出力する。センサドライバ５６は、図示は省略するが、第３センサ５３の出力信号を増幅するアンプ回路、および、その増幅された出力信号より所定のパラメータを計測して出力する計測部を内蔵しており、第３センサ５３を制御して出力させた出力信号を増幅し、乳幼児の呼吸時間と発声時間を計測し、計測値をセンサ出力としてセレクタ５７に供給する。

セレクタ５７は、制御部３１に制御され、センサドライバ５４乃至センサドライバ５６より供給された第１センサ５１乃至第第３センサ５３のセンサ出力の内、いずれか１つを選択し、制御部３１に供給する。

低速通信部４２は、上述したように、IEEE８０２．１１ｂやブルートゥース等の低速な無線通信方式により、アンテナ１１を介して、図１の主制御装置２０と通信を行い、主制御装置２０より供給された、後述するセンサ指定情報やテーブルに関する情報等を含む制御情報を取得すると、その制御情報を制御部３１に供給する。また、低速通信部４２は、制御部３１を介してセンサ部４１より供給されたセンサ出力を主制御装置２０に供給する。

通知情報取得部４３は、乳幼児を撮像し、得られた画像データを出力する撮像部６１、および乳幼児の泣き声等を集音し、得られた音声データを出力する集音部６２よりなり、主制御装置２０のディスプレイやスピーカにおいて出力される（ユーザに通知される）、乳幼児の画像データや音声データを含む通知情報を取得する。

図３は、通知情報取得部４３の内部の詳細な構成例を示す図である。図３において、撮像部６１は、被写体である乳幼児８４を撮像可能な方向に向けて設置されるカメラ８３等により構成され、監視対象である乳幼児８４を撮像し、カメラ８３のCCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）等の、図示せぬ光電素子により撮像画像を電気信号に変換し、画像データとして図２の通知情報処理部４４に供給する。また、集音部６２は、カメラ８３の横方向両側の位置に所定の間隔で設置される２本のマイク８１およびマイク８２等を有し、主に乳幼児８４が発声する音声をそれぞれ集音し、音声データとして通知情報処理部４４に供給する。なお、マイク８１およびマイク８２は、乳幼児８４が発声する音声の他に、例えば、乳幼児８４近傍に位置する他の人物８５が発声する音声等、不必要な音声も集音してしまう。従って、集音部８２は、後述するように、マイク８１において得られた音声信号と、マイク８２において得られた音声信号との遅延量を算出して利用することで、監視対象である乳幼児８４の位置と、乳幼児８４近傍に位置する、監視対象でない他の人物８５の位置とを区別し、不必要な雑音成分を除去することができるように、マイク８１とマイク８２の２つのマイクを用いて集音するようになされている。

図２に戻り、通知情報取得部４３の撮像部６１より画像データを取得したり、集音部６２より音声データを取得したりした通知情報処理部４４は、取得した画像データに画像処理を施したり、取得した音声データに信号処理を施したりする等して、送信用の通知情報を生成し、それを高速通信部４５に供給する。

高速通信部４５は、上述したように、IEEE８０２．１１ａやIEEE８０２．１１ｇ等の高速な無線通信方式により、アンテナ１２を介して、図１の主制御装置２０と通信を行い、通知情報処理部４４より供給された通知情報を主制御装置２０に供給する。

LUT記憶部４６は、半導体メモリ等により構成され、センサ出力より得られる特徴量に基づいて監視装置１０の動作を制御するためのLUT（Look Up Table）である特徴量テーブルを記憶する。

LUT記憶部４６は、例えばROMやEEPROM（Electronically Erasable and Programmable Read Only Memory）等の不揮発性のメモリからなり、工場出荷時等に記録されたLUTを記憶する基本LUT記憶部７１、および、例えば、フラッシュメモリやRAM等により構成され、図１の主制御装置２０より供給される等した新たな特徴量テーブルを記憶する更新LUT記憶部７２を内蔵しており、制御部３１に要求された特徴量テーブル（LUT）を基本LUT記憶部７１または更新LUT記憶部７２に記憶されている特徴量テーブル（LUT）より検索し、制御部３１に供給する。また、制御部３１より供給された更新テーブルを更新LUT記憶部７２に記憶させる。

電力供給部４７は、例えば、電源アダプタ、乾電池、または蓄電池等により構成され、動作制御部４８に制御され、監視装置１０の各部に電力を供給する。なお、図２においては、電力供給部４７による電力の主な供給先が矢印で示されているが、電力供給部４７は、これ以外の各部にも電力を供給する。

動作制御部４８は、制御部３１により、テーブル９１を参照するなどして算出された乳幼児８４の状態値を供給されることにより制御され、その供給された状態値に基づいて、センサ部４１、低速通信部４２、通知情報取得部４３、通知情報処理部４４、並びに、高速通信部４５等の動作の開始や終了を制御する。また、動作制御部４８は、電力供給部４７を制御して、センサ部４１、低速通信部４２、通知情報取得部４３の撮像部６１および集音部６２、通知情報取得部４４、並びに、高速通信部４５への電力の供給の開始や停止を制御する。なお、図２においては、動作制御部４８による動作の主な制御先が矢印で示されているが、動作制御部４８は、これ以外の各部の動作も制御するようにしてもよい。

次に、図１の主制御装置２０の内部の構成例について説明する。図４は、図１の主制御装置２０の内部の構成例を示すブロック図である。

図４において、主制御装置２０は、主制御装置２０の各部の動作を制御する制御部１０１、制御部１０１において実行されるプログラムやデータを一時的に保持するRAM１０２、制御部１０１において実行されるプログラムやデータが記憶されているROM１０３を有している。

制御部１０１は、演算部、制御部、および保持部を含むCPU等により構成され、RAM１０２やROM１０３に記憶されているプログラムやデータを実行し、主制御装置２０の各部を制御して、監視装置１０より供給された乳幼児８４に関する情報を取得したり、その取得した情報を解析して出力したり、ユーザ入力等に基づいて、監視装置１０の動作を制御したりする。

また、主制御装置２０は、その他に、アンテナ２１を介して監視装置１０と低速な無線通信を行う低速通信部１１１、アンテナ２２を介して監視装置１０と高速な無線通信を行う高速通信部１１２、高速通信部１１２により取得された通知情報の音声データに対して、雑音成分を除去する処理を行うフィルタバンク１１３、通知情報をデータベース化して蓄積する通知情報蓄積部１１４、通知情報蓄積部１１４に蓄積されている過去の通知情報より所望の通知情報を検索する通知情報検索部１１５、通知情報検索部１１５により検索された過去の通知情報を、監視装置１０より供給された現在の通知情報と合成する合成処理部１１６、合成処理部１１６により合成された通知情報と、監視装置１０より供給された現在の通知情報とのいずれか一方を、出力する通知情報として選択するセレクタ１１７、フィルタバンク１１３により雑音成分が除去された通知情報に含まれる音声データに対して音声解析を行い、ユーザの足音を特定する足音解析部１２１、フィルタバンク１１３により雑音成分が除去された通知情報に含まれる音声データに対して音声解析を行い、監視対象である乳幼児の泣き声の特徴量を抽出する音声解析部１２２、音声解析部１２２により抽出された乳幼児の泣き声の特徴量やユーザ入力に基づいて、ユーザが所望する泣き声の種類を特定する定性値判定部１２３、監視装置１０の動作を制御するLUTを記憶するLUT記憶部１３１、ユーザ入力を受け付ける入力部１４１、制御部１０１に制御され、乳幼児の状態を示すメッセージ等を表示する簡易表示部１４２、セレクタ１１７により出力する情報として選択された通知情報を出力する通知情報出力部１４３を有している。

低速通信部１１１は、IEEE８０２．１１ｂやブルートゥース等の低速な無線通信方式により、図２に示される監視装置１０の低速通信部４２と無線通信を行い、監視装置１０より供給されるセンサ出力を取得して制御部１０１に供給したり、制御部１０１より供給される制御情報を監視装置１０に供給したりする。監視装置１０に供給する制御情報には、例えば、テーブル番号指定情報や更新テーブル、またはセンサ指定情報などが含まれる。

高速通信部１１２は、IEEE８０２．１１ａやIEEE８０２．１１ｇ等の高速な無線通信方式により、図２に示される監視装置１０の高速通信部４５と無線通信を行い、監視装置１０より供給される通知情報を取得する。

フィルタバンク１１３は、図５に示されるような各部よりなり、取得した通知情報の雑音成分（乳幼児が発声する泣き声以外の音声）を除去する処理を行う。図５において、フィルタバンク１１３は、高速通信部１１２より供給される音声データに対して、所定の周波数以上の高周波成分を除去するローパスフィルタ１６１およびローパスフィルタ１６１により高周波成分を除去された通知情報に対して雑音成分を除去する処理を行う雑音成分除去処理部１６２を有している。

雑音成分除去処理部１６２は、ローパスフィルタ１６１により高周波成分を除去された音声データに含まれる、マイク８１により集音された音声データの成分と、マイク８２により集音された音声データの成分との間の遅延量を決定し、その遅延量を用いて音声データを補正する遅延量決定部１７１、遅延量決定部１７１において補正された音声データにおいて、マイク８１により集音された音声データの成分と、マイク８２により集音された音声データの成分とを加算する遅延補正加算処理部１７２、遅延量決定部１７１において補正された音声データにおいて、マイク８１により集音された音声データの成分と、マイク８２により集音された音声データの成分とを減算する遅延補正減算処理部１７３、遅延補正減算処理部１７３により減算された音声データより移動平均を算出する移動平均処理部１７４、遅延補正加算処理部１７２により加算された音声データおよび遅延補正減算処理部１７３により減算された音声データを加算する加算処理部１７５、加算処理部１７５において加算された音声データに基づいて、相関係数を算出する相関係数処理部１７６、音声データの内容を解析し、雑音成分を除去する部分であるか否かを判定する該当領域判定部１７７、該当領域判定部１７７において、雑音成分を除去する部分であると判定された領域において雑音成分の減衰処理を行う減衰処理部１７８を有している。

すなわち、フィルタバンク１１３は、フィルタを用いて通知情報に含まれる音声データの周波数帯域を制限するだけでなく、乳幼児８４の泣き声以外の雑音成分を除去する処理を行う。

図４に戻り、通知情報蓄積部１１４は、例えば、ハードディスク等の磁気記録媒体や、光ディスク、光磁気ディスク、または半導体メモリ等により構成され、制御部１０１に制御され、高速通信部１１２より供給された通知情報に、制御部１０１を介して供給されたセンサ出力、音声解析部１２２の解析結果、および定性値判定部１２３の判定結果を対応付けて蓄積する。

通知情報検索部１１５は、制御部１０１により供給された、監視対象の現在の状況に関する情報に基づいて、その状況と同様の状況を通知情報蓄積部１１４に蓄積されている情報より検索し、現在の状況と同様か、若しくは、最も近い状況に対応する過去の通知情報を取得し、取得したその過去の通知情報を合成処理部１１６に供給する。

合成処理部１１６は、制御部１０１に制御されて、通知情報検索部１１５より供給された過去の通知情報を高速通信部１１２より供給された現在の通知情報に合成し、その合成された通知情報をセレクタ１１７に供給する。セレクタ１１７は、制御部１０１からの指示に基づいて、合成処理部１１６より供給される通知情報と、高速通信部１１２より供給された通知情報との内、いずれか一方を選択し、通知情報出力部１４３に供給する。

入力部１４１は、キーボード、マウス、タッチペン、カメラ、またはマイク等の入力インタフェースにより構成され、ユーザからの入力を受け付け、そのユーザ入力を制御部１０１に供給する。

簡易表示部１４２は、LCD（Liquid Crystal Display）等の小型のディスプレイ等により構成され、制御部１０１に制御されて、制御部１０１より供給された情報（例えば、乳幼児の状態を示すメッセージ等の文字情報）を表示する。

通知情報出力部１４３は、モニタ１５１やスピーカ１５２等を内蔵しており、制御部１０１に制御されて、セレクタ１１７より供給された通知情報を、それらのモニタ１５１やスピーカ１５２を用いて出力する。

次に図１の監視システム１の動作について説明する。

監視装置１０の制御部３１は、後述するように、センサ部４１より供給されたセンサ出力や主制御装置２０より供給された制御情報等に基づいて、センサ部４１の動作を制御する。

初期状態において、制御部３１は、センサ部４１のセンサドライバ５４等を制御し、第１センサ５１を用いて音声信号を取得させ、その音声信号に基づいて呼吸時間と発声時間を計測させ、セレクタ５７を介してその計測結果をセンサ出力として制御部３１に供給させる。セレクタ５７は、制御部３１に制御されて、センサドライバ５４より供給される計測値（呼吸時間と発声時間）を制御部３１に供給するように入力を切り替える。

その際、制御部３１は、動作制御部４８を介して電力供給部４７を制御し、センサ部４１の第１センサ５１、センサドライバ５４、およびセレクタ５７に電力を供給させ、それ以外の第２センサ５２、第３センサ５３、センサドライバ５５、並びに、センサドライバ５６への電力の供給を停止させる。このように不必要な回路への電力の供給を停止させることにより、電力の消費を抑制させることができる。これにより、監視装置１０は、電池を電源として駆動する場合においても、より長時間動作することができる等、より効率的に動作することできる。

なお、第１センサ５１は、通常、第２センサ５２および第３センサと比較して消費電力が少なく、また集音の環境が良い場合には、最も正確にセンスすることが出来る。しかしながら、例えば、環境音（乳幼児８４の泣き声以外の不必要な雑音成分）が大きい場合等において、センサドライバ５４は、第１センサ５１より出力された、その雑音成分が多く含まれる音声信号より、十分な精度で泣き声の波形を計測できずに不正確な計測結果をセンサ出力として出力してしまう恐れがある。

ところで、一般的な乳幼児の泣き声の呼吸時間は、およそ、２００msecから６５０msecの間であり、発声時間は、およそ、２００msecから１０００msecの間であるということが広く知られている。従って、センサドライバ５４において、このような範囲外の音声パターンが頻繁に計測されるような場合、制御部３１は、第１センサ５１より出力される音声信号に環境音が許容量以上に含まれていると判断し、その場合、使用するセンサを第２センサ５２に切り替えて呼吸時間と発声時間を計測させる。

その際、制御部３１は、動作制御部４８を介して電力供給部４７を制御し、センサ部４１の第２センサ５２、センサドライバ５５、およびセレクタ５７に電力を供給させ、それ以外の第１センサ５１、第３センサ５３、センサドライバ５４、並びに、センサドライバ５６への電力の供給を停止させる。このように不必要な回路への電力の供給を停止させることにより、電力の消費を抑制させることができる。これにより、監視装置１０は、電池を電源として駆動する場合においても、より長時間動作することができる等、より効率的に動作することできる。

第２センサ５２は、空圧センサであり、ゲインの大きなセンサアンプやチャージアンプが必要であるので第１センサ５１の場合に比べて電力を消費してしまうが、精密な空気の流れを検知することができる。第２センサ５２において検知された空圧の変化は、電気信号として、第１センサ５１を使用した場合と同様に、センサドライバ５５に供給される。センサドライバ５５は、その取得した電気信号に基づいて、呼吸時間と発声時間を計測し、セレクタ５７を介してその計測結果をセンサ出力として制御部３１に供給する。セレクタ５７は、制御部３１に制御されて、センサドライバ５５より供給される計測値（呼吸時間と発声時間）を制御部３１に供給するように入力を切り替える。

しかしながら、例えば、乳幼児８４が位置する空間において、風などのその他の要因により空圧が変化する場合もあり、そのような場合、センサドライバ５５は、第２センサ５２より出力された電気信号より、十分な精度で泣き声の波形を計測できずに不正確な計測結果をセンサ出力として出力してしまう恐れがある。

従って、センサドライバ５５に供給された電気信号において、予め定められた所定の閾値を超えるような圧力値が計測されるような場合、制御部３１は、第２センサ５２より出力される電気信号に乳幼児８４の泣き声以外の要因による圧力変化が許容量以上に含まれていると判断し、その場合、使用するセンサを第３センサ５３に切り替えて呼吸時間と発声時間を計測させる。

その際、制御部３１は、動作制御部４８を介して電力供給部４７を制御し、センサ部４１の第３センサ５３、センサドライバ５６、およびセレクタ５８に電力を供給させ、それ以外の第１センサ５１、第２センサ５２、センサドライバ５４、並びに、センサドライバ５５への電力の供給を停止させる。このように不必要な回路への電力の供給を停止させることにより、電力の消費を抑制させることができる。これにより、監視装置１０は、電池を電源として駆動する場合においても、より長時間動作することができる等、より効率的に動作することできる。

第３センサ５３は、呼吸による温度変化を検知するセンサであり、環境音や風などには影響されないが、第１センサ５１や第２センサ５２の場合と比較して電力を必要とする。

また、制御部３１は、主制御装置２０より供給された制御情報を、低速通信部４２を介して取得した場合、その制御情報に含まれるセンサ指定情報に基づいて、使用するセンサを決定する。

その際、制御部３１は、動作制御部４８を介して電力供給部４７を制御し、センサ部４１において、使用するセンサに関する部分にのみ、電力を供給させ、センサ部４１のそれ以外の各部への電力の供給を停止させる。このように不必要な回路への電力の供給を停止させることにより、電力の消費を抑制させることができる。これにより、監視装置１０は、電池を電源として駆動する場合においても、より長時間動作することができる等、より効率的に動作することできる。

監視装置１０に電源が投入され、制御部３１に電源が供給されると、制御部３１は、センサ切り替え処理を実行することにより、上述したように使用するセンサの切り替えを行う。このセンサ切り替え処理を図６および図７のフローチャートを参照して説明する。

最初に、ステップＳ１において、制御部３１は、センサドライバ５４を介して、第１センサ５１が動作しているか否かを判定し、動作していないと判定した場合、ステップＳ２に処理を進める。制御部３１は、ステップＳ２において、動作制御部４８を介して電力供給部４７を制御し、第１センサ５１に対する電力の供給を開始させるとともに、センサドライバ５４およびセレクタ５７に対する電力の供給も開始させ、さらに、センサ部４１の動作させない各部（第２センサ５２、第３センサ５３、センサドライバ５５、並びに、センサドライバ５６）に対する電力の供給を停止させる。そして、制御部３１は、ステップＳ３において、センサドライバ５４を制御し、第１センサ５１による計測処理を開始させる。第１センサ５１による計測処理を開始させた制御部３１は、ステップＳ４に処理を進める。また、ステップＳ１において、第１センサ５１が動作していると判定した場合、制御部３１は、ステップＳ２およびステップＳ３の処理を省略し、ステップＳ４に処理を進める。

ステップＳ４において、制御部３１は、センサドライバ５４において計測される発声時間および呼吸時間が上述した条件（呼吸時間がおよそ２００msecから６５０msecの間で計測され、発声時間がおよそ２００msecから１０００msecの間で計測されること）を満たすか否かを判定し、その判定結果に基づいて、第１センサ５１の出力を解析可能であるか否かを判定する。センサドライバ５４において計測される発声時間および呼吸時間が上述した範囲外で頻繁に計測され、上述した条件を満たしておらず、第１センサ５１の出力を解析不可能であると判定した場合、制御部３１は、第１センサ５１より出力される音声信号に環境音が許容量以上に含まれていると判断し、使用するセンサを第２センサ５２に切り替えて呼吸時間と発声時間を計測させる。すなわち、制御部３１は、その場合、ステップＳ５に処理を進め、センサドライバ５４を制御して第１センサ５１による計測処理を終了させ、ステップＳ６において、動作制御部４８を介して電力供給部４７を制御し、第１センサ５１およびセンサドライバ５４に対する電力の供給を停止させ、ステップＳ７において、動作制御部４８を介して電力供給部４７を制御し、第２センサ５２およびセンサドライバ５５に対する電力の供給を開始させ、ステップＳ８において、センサドライバ５５を制御して、第２センサ５２による計測処理を開始させ、ステップＳ９に処理を進める。

ステップＳ９において、制御部３１は、センサドライバ５５において予め定められた所定の閾値を超えるような圧力値が計測されるか否かを判定し、その判定結果に基づいて、第２センサ５２の出力を解析可能であるか否かを判定する。センサドライバ５５において予め定められた所定の閾値を超えるような圧力値が計測され、第２センサ５２の出力を解析不可能であると判定した場合、制御部３１は、第２センサ５２より出力される電気信号に乳幼児８４の泣き声以外の要因による圧力変化が許容量以上に含まれていると判断し、使用するセンサを第３センサ５３に切り替えて呼吸時間と発声時間を計測させる。すなわち、制御部３１は、その場合、ステップＳ１０に処理を進め、センサドライバ５５を制御して第２センサ５２による計測処理を終了させ、ステップＳ１１において、動作制御部４８を介して電力供給部４７を制御し、第２センサ５２およびセンサドライバ５５に対する電力の供給を停止させ、ステップＳ１２において、動作制御部４８を介して電力供給部４７を制御し、第３センサ５３およびセンサドライバ５６に対する電力の供給を開始させ、ステップＳ１３において、センサドライバ５６を制御して、第３センサ５３による計測処理を開始させ、処理を図７のステップＳ２１に進める。

図７のステップＳ２０１において、制御部３１は、センサドライバ５６において、第３センサ５３の出力を解析可能であるか否かを判定する。センサドライバ５６において予め定められた所定の閾値を超えるような温度変化が計測され、第３センサ５３の出力を解析不可能であると判定した場合、制御部３１は、第３センサ５３より出力される電気信号に、乳幼児８４が泣き声を発生する以外の要因による温度変化が許容量以上に含まれていると判断し、センサによる呼吸時間と発声時間の計測を中止させる。すなわち、制御部３１は、その場合、ステップＳ２２に処理を進め、センサドライバ５６を制御して第３センサ５３による計測処理を終了させ、ステップＳ２３において、動作制御部４８を介して電力供給部４７を制御し、第３センサ５３、センサドライバ５４、およびセレクタ５７に対する電力の供給を停止させ（すなわち、センサ部４１に対する電力の供給を停止させ）、ステップＳ２４において、エラー処理を行った後、ステップＳ２５に処理を進め、終了処理を行った後、センサ切り替え処理を終了する。

なお、図６のステップＳ４において第１センサ５１の出力を解析可能と判定した場合、図６のステップＳ９において第２センサ５２の出力を解析可能と判定した場合、または、図７のステップＳ２１において第３センサ５３の出力を解析可能と判定した場合、制御部３１は、それぞれの場合において、それぞれのセンサを用いて計測処理を行うために、処理をステップＳ２５に進め、終了処理を行った後、センサ切り替え処理を終了する。

以上のように、制御部３１は、センサ切り替え処理を行い、最適なセンサを用いて乳幼児８４の呼吸時間と発声時間を計測させ、それらを含むセンサ出力を取得する。なお、このセンサ切り替え処理は、監視装置１０が乳幼児８４を監視している間、制御部３１により、所定の間隔で繰り返され、そのときの状態において最適なセンサが選択される。

このようにして、制御部３１は、環境に応じてセンサ部４１のセンサを切り替え、適切かつ、必要最低限の電力で所望の泣き声に反応するようにセンサ部４１を動作させる。これにより、監視装置１０は、電池を電源として駆動する場合においても、より長時間動作することができる等、より効率的に動作することできる。

また、制御部３１は、低速通信部４２を介して取得した、主制御装置２０より供給された制御情報に含まれるテーブル番号指定情報に基づいて、LUT記憶部４６の基本LUT記憶部７１に記憶されている特徴量テーブルの中から、使用する特徴量テーブルを決定する。さらに、制御部３１は、低速通信部４２を介して取得した、主制御装置２０より供給された制御情報に、新たな特徴量テーブルである更新テーブルが含まれている場合、その更新テーブルをLUT記憶部４６に供給し、更新LUT記憶部７２に記憶させるとともに、RAM３２に保持させる。制御部３１は、後述するように、その更新テーブルを参照することにより、乳幼児８４の状態値を決定し、その状態値を動作制御部４８に供給する。

制御部３１は、このようにセンサ部４１より供給されたセンサ出力や主制御装置２０より供給された制御情報等に基づいて、LUT記憶部４６より特徴量テーブルを取得し、その特徴量テーブルより算出される乳幼児８４の状態値に応じて、適宜、各部を制御し、主制御装置２０に画像データや音声データ等の通知情報を供給させる。

具体的には、制御部３１は、監視装置１０に電源が投入され、制御部３１に電源が供給されると、センサ部４１を制御して、センサ出力を供給させるとともに、監視制御処理を実行し、取得したセンサ出力と、LUT記憶部４６より取得した特徴量テーブルに基づいて各部を制御する。監視制御処理を図８のフローチャートを参照して説明する。また、必要に応じて図９を参照して説明する。

制御部３１は、最初に、ステップＳ３１において、監視制御処理を終了するか否かを判定する。終了しないと判定した場合、制御部３１は、ステップＳ３２に処理を進め、センサ部４１を制御してセンサ出力を取得し、ステップＳ３３において、取得したセンサ出力を解析し、特徴量テーブルに対応する発声時間や呼吸時間等のパラメータを生成する。パラメータを生成した制御部３１は、ステップＳ３４において、LUT記憶部４６より取得した特徴量テーブルを参照する。

図９は、LUT記憶部４６に記憶されるLUTの例を示す図である。図９に示される特徴量テーブル１８１は、乳幼児８４の泣き声の２つの特徴量と、その乳幼児８４の状態を行列で対応付けたテーブルである。特徴量テーブル１８１の列は監視対象である図３の乳幼児８４の呼吸時間（無音時間）の長さを示しており、行は監視対象である乳幼児８４の発声時間の長さを示している。特徴量テーブル１８１においては、呼吸時間および発声時間の長さに応じて、乳幼児８４の状態が値「０」乃至「３」の４段階にグループ分けされており、呼吸時間および発声時間の長さに基づいて、この値（以下、状態値と称する）が算出されるようになされている。動作制御部４８は、後述するように、この状態値に基づいて主制御装置２０に供給する情報の内容を決定する。

すなわち、制御部３１は、ステップＳ３４において、センサ部４１より出力されるセンサ出力から得られた発声時間や呼吸時間等のパラメータから、この特徴量テーブル１８１を用いて乳幼児８４の状態値を算出する。

乳幼児８４の状態値を算出した制御部３１は、ステップＳ３５において、その状態値を動作制御部４８に供給することにより、状態値に基づいて各部の動作を制御させる。

ステップＳ３５の処理を終了した制御部３１は、ステップＳ３１に処理を戻し、それ以降の処理を繰り返す。すなわち、制御部３１は、ステップＳ３１乃至ステップＳ３５の処理を繰り返し実行し、センサ部４１より供給されるセンサ出力に基づいて、各部の制御を行う。そして、ステップＳ３１において、例えば、図示せぬ入力部等を介して入力されたユーザ入力等に基づいて、監視装置１０の電源をオフしたり、サスペンド状態に移行したりするために、監視制御処理を終了すると判定した場合、制御部３１は、ステップＳ３６に処理を進め、終了処理を行った後、監視制御処理を終了する。

ところで、図９の特徴量テーブル１８１は、呼吸時間(無音時間)や発声時間に基づいて乳幼児８４の状態値を決定するテーブルであるが、一般的に、乳幼児の泣き声の意味は、その呼吸時間と発声時間、もしくはその割合で、良く分類できることが知れられている。従って、特徴量テーブル１８１における状態値を、この乳幼児の泣き声の意味に基づいて設定することにより、監視装置１０が、この特徴量テーブル１８１に基づいて、所望の泣き声の時だけを判定して、主制御装置２０へ画像データや音声データなどを送信するようにすることもできる。

また、特徴量テーブル１８１を構成する乳幼児８４の泣き声の特徴量は、上述した以外の特徴量であってもよいし、その特徴量の数もいくつであってもよい。

制御部３１は、LUT記憶部４６より利用する特徴量テーブル１８１を取得すると、それをRAM３２または制御部３１に内蔵される保持部等に保持し、上述したように、センサ部４１より供給されるセンサ出力（乳幼児８４の呼吸時間および発声時間の長さ）から、特徴量テーブル１８１を用いて乳幼児８４の状態値を決定し、その状態値を動作制御部４８に供給する。動作制御部４８は、その状態値に基づいて、電力供給部４７、通知情報取得部４３、通知情報処理部４４、高速通信部４５、センサ部４１、および低速通信部４２の動作を制御する。

例えば、状態値が「３」の場合、動作制御部４８は、電力供給部４７を制御して、通知情報取得部４３の撮像部６１および集音部６２、通知情報処理部４４、並びに高速通信部４５に電力を供給して起動し、画像データと音声データとを通知情報として主制御装置２０へ送信するように制御する。

これにより、通知情報取得部４３の撮像部６１は、動作制御部４８により制御され、監視対象である乳幼児８４を撮像し、乳幼児８４の画像を画像データとして取得し、通知情報処理部４４に供給する。また、通知情報取得部４３の集音部６２は、動作制御部４８により制御され、監視対象である乳幼児８４の発声する泣き声（乳幼児８４の位置する空間の音声）を音声データとして取得し、通知情報処理部４４に供給する。

通知情報処理部４４は、動作制御部４８により制御され、供給された画像データおよび音声データを取得すると、それらに画像処理や信号処理を施し、それらを含む送信用の通知情報を生成し、高速通信部４５に供給する。高速通信部４５は、アンテナ１２を介して主制御装置２０と通信を行い、供給された、画像データおよび音声データを含む通知情報を主制御装置２０に供給する。

また、取得した状態値が「２」の場合、動作制御部４８は、電力供給部４７を制御して、通知情報取得部４３の集音部６２、通知情報処理部４４、並びに高速通信部４５を起動し、音声データのみを主制御装置２０へ送信させる。このとき、動作制御部４８は、撮像部６１により実行されている処理を終了させるとともに、電源供給部４７を制御して撮像部６１への電力の供給を停止させる。また、この場合、送信する情報量が少ないために高速通信部４５の動作時間が、上述した状態値が「３」場合と比較して短縮されるので、監視装置１０は、電力の消費を抑制させることができる。

ところで、取得した状態値が「１」若しくは「０」の場合、動作制御部４８は、通知情報取得部４３の撮像部６１および集音部６２、通知情報処理部４４、並びに高速通信部４５の動作を停止させるとともに、電力供給部４７を制御して、これらの各部への電力の供給を停止させる。

なお、状態値が「１」乃至「３」の場合、動作制御部４８は、さらに、電源供給部４７を制御して、センサ部４１および低速通信部４２に電力を供給して起動させ、センサ出力を供給したり、制御信号を受信したりする。

この様に、動作制御部４８は、制御部３１に制御され、必要最低限の回路だけを動作させる。これにより、監視装置１０は、低消費電力化を実現することができ、電池を電源として駆動する場合においても、より長時間動作することができる等、より効率的に動作することできる。

制御部３１より状態値を供給される動作制御部４８は、監視装置１０に電源が投入されると、動作制御処理の実行を開始する。そして、制御部３１より状態値を供給されると、動作制御部４８は、上述したようにその状態値に基づいて各部の動作を制御する。図１０乃至図１２のフローチャートを参照して、動作制御処理について説明する。

最初に、動作制御部４８は、図１０のステップＳ５１において、制御部３１より供給された状態値が「０」であるか否かを判定し、状態値が「０」であると判定した場合、通知情報の提供や、主制御装置２０との低速無線通信などの処理を行わないように、監視制御装置１０の各部を制御するために、ステップＳ５２に処理を進める。

ステップＳ５２において、動作制御部４８は、監視装置１０の各部において、通知情報を主制御装置２０に供給するための処理である、後述する第１の通知情報提供処理や第２の通知情報提供処理、または、主制御装置２０と低速無線通信を行う低速通信処理が実行されているか否かを判定する。通知情報提供処理（第１の通知情報提供処理若しくは第２の通知情報提供処理）または低速通信処理が実行されていると判定した場合、動作制御部４８は、ステップＳ５３において、通知情報提供処理および低速通信処理を終了させ、ステップＳ５４において、電力供給部４７を制御し、撮像部６１、集音部６２、通知情報処理部４４、高速通信部４５、並びに、低速通信部４２に対する電力の供給を停止させる。

ステップＳ５４の処理を終了した動作制御部４８は、ステップＳ５５に処理を進める。また、ステップＳ５１において、制御部３１より供給された状態値が「０」でないと判定した場合、動作制御部４８は、ステップＳ５２乃至ステップＳ５４の処理を省略し、ステップＳ５５に処理を進める。さらに、ステップＳ５２において、通知情報提供処理（第１の通知情報提供処理若しくは第２の通知情報提供処理）、および低速通信処理が実行されていないと判定した場合、動作制御部４８は、ステップＳ５３およびステップＳ５４の処理を省略し、ステップＳ５５に処理を進める。

ステップＳ５５において、動作制御部４８は、制御部３１より供給された状態値が「１」であるか否かを判定し、状態値が「１」であると判定した場合、ステップＳ５６に処理を進める。

状態値が「１」である場合、動作制御部４８は、監視装置１０が通知情報の提供に関する処理である通知情報制御処理を行わないように監視装置１０の各部を制御するとともに、監視装置１０が主制御装置２０との低速無線通信を行うように監視装置１０の各部を制御する。

ステップＳ５６において、動作制御部４８は、監視装置１０の各部において、通知情報提供処理（第１の通知情報提供処理若しくは第２の通知情報提供処理）が実行されているか否かを判定する。通知情報提供処理が実行されていると判定した場合、動作制御部４８は、ステップＳ５７において、通知情報提供処理を終了させ、ステップＳ５８において、電力供給部４７を制御し、撮像部６１、集音部６２、通知情報処理部４４、並びに高速通信部４５に対する電力の供給を停止させる。

ステップＳ５８の処理を終了した動作制御部４８は、ステップＳ５９に処理を進める。また、ステップＳ５６において、通知情報提供処理（第１の通知情報提供処理若しくは第２の通知情報提供処理）、が実行されていないと判定した場合、動作制御部４８は、ステップＳ５７およびステップＳ５８の処理を省略し、ステップＳ５９に処理を進める。

ステップＳ５９において、動作制御部４８は、低速通信処理が実行されているか否かを判定し、低速通信部４２に電力が供給されておらず、低速通信処理が実行されていないと判定した場合、ステップＳ６０に処理を進め、電力供給部４７を制御して、低速通信部４２に対する電力の供給を開始し、ステップＳ６１において、低速通信部４２を制御して低速通信処理を開始させ、図１１のステップＳ７１に処理を進める。

また、動作制御部４８は、ステップＳ５５において、制御部３１より供給された状態値が「１」でないと判定した場合や、ステップＳ５９において、低速通信処理が実行されていると判定した場合、図１１のステップＳ７１に処理を進める。

図１１のステップＳ７１において、動作制御部４８は、制御部３１より供給された状態値が「２」であるか否かを判定し、状態値が「２」であると判定した場合、ステップＳ７２に処理を進める。

状態値が「２」である場合、動作制御部４８は、監視装置１０が通知情報として音声データのみを、主制御装置２０に供給するように監視装置１０の各部を制御するとともに、監視装置１０が主制御装置２０との低速無線通信を行うように監視装置１０の各部を制御する。

ステップＳ７２において、動作制御部４８は、監視装置１０の各部において、画像データおよび音声データを通知情報として主制御装置２０に供給する第２の通知情報提供処理が実行されているか否かを判定する。第２の通知情報提供処理が実行されていると判定した場合、動作制御部４８は、ステップＳ７３において、第２の通知情報提供処理を終了させ、ステップＳ７４において、電力供給部４７を制御し、撮像部６１に対する電力の供給を停止させる。

ステップＳ７４の処理を終了した動作制御部４８は、ステップＳ７５に処理を進める。また、ステップＳ７２において、第２の通知情報提供処理が実行されていないと判定した場合、動作制御部４８は、ステップＳ７３およびステップＳ７４の処理を省略し、ステップＳ７５に処理を進める。

ステップＳ７５において、動作制御部４８は、音声データのみを通知情報として主制御装置２０に供給する第１の通知情報提供処理が実行されているか否かを判定し、集音部６２等に電力が供給されておらず、第１の通知情報提供処理が実行されていないと判定した場合、ステップＳ７６に処理を進め、電力供給部４７を制御して、集音部６２、通知情報処理部４４、並びに高速通信部４５に対する電力の供給を開始させ、ステップＳ７７において、それらの各部を制御して第１の通知情報提供処理を開始させる。

ステップＳ７７の処理を終了した動作制御部４８は、ステップＳ７８に処理を進める。また、ステップＳ７５において、第１の通知情報提供処理が実行されていると判定した場合、動作制御部４８は、ステップＳ７６およびステップＳ７７の処理を省略し、ステップＳ７８に処理を進める。

ステップＳ７８において、動作制御部４８は、低速通信処理が実行されているか否かを判定し、低速通信部４２に電力が供給されておらず、低速通信処理が実行されていないと判定した場合、ステップＳ７９に処理を進め、電力供給部４７を制御して、低速通信部４２に対する電力の供給を開始し、ステップＳ８０において、低速通信部４２を制御して低速通信処理を開始させ、図１２のステップＳ９１に処理を進める。

また、動作制御部４８は、ステップＳ７１において、制御部３１より供給された状態値が「２」でないと判定した場合や、ステップＳ７８において、低速通信処理が実行されていると判定した場合、図１２のステップＳ９１に処理を進める。

図１２のステップＳ９１において、動作制御部４８は、制御部３１より供給された状態値が「３」であるか否かを判定し、状態値が「３」であると判定した場合、ステップＳ９２に処理を進める。

状態値が「３」である場合、動作制御部４８は、監視装置１０が高速無線通信により画像データおよび音声データを通知情報として主制御装置２０に供給するとともに、低速無線通信により制御情報を取得したり、センサ出力を主制御装置２０に供給したりするように、各部を制御する。

ステップＳ９２において、動作制御部４８は、監視装置１０の各部において、第１の通知情報提供処理が実行されているか否かを判定する。第１の通知情報提供処理が実行されていると判定した場合、動作制御部４８は、ステップＳ９３において、第１の通知情報提供処理を終了させる。

ステップＳ９３の処理を終了した動作制御部４８は、ステップＳ９４に処理を進める。また、ステップＳ９２において、第１の通知情報提供処理が実行されていないと判定した場合、動作制御部４８は、ステップＳ９３の処理を省略し、ステップＳ９４に処理を進める。

ステップＳ９４において、動作制御部４８は、第２の通知情報提供処理が実行されているか否かを判定し、撮像部６１に電力が供給されておらず、第２の通知情報提供処理が実行されていないと判定した場合、ステップＳ９５に処理を進め、電力供給部４７を制御して、撮像部６１、集音部６２、通知情報処理部４４、並びに高速通信部４５に対する電力の供給を開始させ、ステップＳ９６において、それらの各部を制御して第２の通知情報提供処理を開始させる。

ステップＳ９６の処理を終了した動作制御部４８は、ステップＳ９７に処理を進める。また、ステップＳ９４において、第２の通知情報提供処理が実行されていると判定した場合、動作制御部４８は、ステップＳ９５およびステップＳ９６の処理を省略し、ステップＳ９７に処理を進める。

ステップＳ９７において、動作制御部４８は、低速通信処理が実行されているか否かを判定し、低速通信部４２に電力が供給されておらず、低速通信処理が実行されていないと判定した場合、ステップＳ９８に処理を進め、電力供給部４７を制御して、低速通信部４２に対する電力の供給を開始し、ステップＳ９９において、低速通信部４２を制御して低速通信処理を開始させ、ステップＳ１００に処理を進める。

また、動作制御部４８は、ステップＳ９１において、制御部３１より供給された状態値が「３」でないと判定した場合や、ステップＳ９７において、低速通信処理が実行されていると判定した場合、ステップＳ１００に処理を進める。

ステップＳ１００において、動作制御部４８は、動作制御処理を終了するか否かを判定し、終了しないと判定した場合、処理を図１０のステップＳ５１に戻し、それ以降の処理を繰り返す。すなわち、動作制御部４８は、図１０のステップＳ５１乃至図１２のステップＳ１００の処理を繰り返すことにより、制御部３１より供給される状態値に基づいて、各部の動作を制御する。

図１２のステップＳ１００において、図示せぬ入力部を介して入力されたユーザ入力等に基づいて、監視装置１０の電源をオフしたり、サスペンド状態に移行したりするために、動作制御処理を終了すると判定した場合、動作制御部４８は、ステップＳ１０１に処理を進め、終了処理を行った後、動作制御処理を終了する。

以上のように、動作制御部４８が動作制御処理を実行することにより、制御部３１は、乳幼児８４の状態を示す状態値を動作制御部４８に供給することにより、各部の動作を制御し、主制御装置１０に供給する通知情報の内容を決定したり、制御情報の取得やセンサ出力の供給等を制御したりすることができる。すなわち、監視装置１０は、監視対象である乳幼児８４の状態に基づいて、必要最低限の情報を主制御装置２０に供給することができるので、低消費電力化を実現することができ、電池を電源として駆動する場合においても、より長時間動作することができる等、より効率的に動作することできる。

次に、上述した、音声データのみを通知情報として主制御装置２０に供給する第１の通知情報提供処理について、図１３のフローチャートを参照して説明する。

最初に、監視装置１０の通知情報取得部４３に含まれる集音部６２は、ステップＳ１２１において、動作制御部４８に制御され、マイク８１およびマイク８２を用いて、監視対象である乳幼児８４が存在する空間の音声を集音する集音処理を行い、音声を電気信号（音声信号）に変換し、その音声信号を増幅し、A/D（Analog / Digital）変換するなどして音声データを生成し、その音声データを通知情報処理部４４に供給するとともに、ステップＳ１２２に処理を進める。

ステップＳ１２２において、通知情報処理部４４は、動作制御部４８に制御され、供給された音声データに対してフィルタ処理や補正処理等を行い、送信用の通知情報を生成し、その通知情報を高速通信部４５に供給し、ステップＳ１２３に処理を進める。ステップＳ１２３において、高速通信部４５は、動作制御部４８に制御されて、アンテナ１２を介して主制御装置２０と高速無線通信を行い、供給された通知情報を主制御装置２０に送信する。通知情報を送信した高速通信部４５は、ステップＳ１２４に処理を進める。

ステップＳ１２４において、集音部６２、通知情報処理部４４、および高速通信部４５は、動作制御部４８に制御されて第１の通知情報提供処理を終了するか否かを判定し、終了しないと判定した場合、ステップＳ１２１に処理を戻し、それ以降の処理を繰り返す。また、動作制御部４８に制御されて、第１の通知情報提供処理を終了すると判定した場合、集音部６２、通知情報処理部４４、および高速通信部４５は、ステップＳ１２５に処理を進め、終了処理を行い、第１の通知情報提供処理を終了する。

このように、集音部６２、通知情報処理部４４、および高速通信部４５の各部は、第１の通知情報提供処理を行い、音声データのみを含む通知情報を主制御装置２０に供給する。

次に、上述した、音声データおよび画像データを通知情報として主制御装置２０に供給する第２の通知情報提供処理について、図１４のフローチャートを参照して説明する。

最初に、監視装置１０の通知情報取得部４３に含まれる撮像部６１は、ステップＳ１４１において、動作制御部４８に制御され、カメラ８３を用いて、監視対象である乳幼児８４を撮像し画像データを得る撮像処理を行い、カメラ８３に内蔵されるCCD等の光電変換素子により入射光を光電変換して画像信号を生成し、その画像信号を増幅し、A/D（Analog / Digital）変換するなどして画像データを生成し、その画像データを通知情報処理部４４に供給するとともに、ステップＳ１４２に処理を進める。

監視装置１０の通知情報取得部４３に含まれる集音部６２は、ステップＳ１４２において、動作制御部４８に制御され、マイク８１およびマイク８２を用いて、監視対象である乳幼児８４が存在する空間の音声を集音する集音処理を行い、音声を電気信号（音声信号）に変換し、その音声信号を増幅し、A/D変換するなどして音声データを生成し、その音声データを通知情報処理部４４に供給するとともに、ステップＳ１４３に処理を進める。

ステップＳ１４３において、通知情報処理部４４は、動作制御部４８に制御され、供給された画像データおよび音声データに対してフィルタ処理や補正処理等を行い、送信用の通知情報を生成し、その通知情報を高速通信部４５に供給し、ステップＳ１４４に処理を進める。ステップＳ１４４において、高速通信部４５は、動作制御部４８に制御されて、アンテナ１２を介して主制御装置２０と高速無線通信を行い、供給された通知情報を主制御装置２０に送信する。通知情報を送信した高速通信部４５は、ステップＳ１４５に処理を進める。

ステップＳ１４５において、撮像部６１、集音部６２、通知情報処理部４４、および高速通信部４５は、動作制御部４８に制御されて第２の通知情報提供処理を終了するか否かを判定し、終了しないと判定した場合、ステップＳ１４１に処理を戻し、それ以降の処理を繰り返す。また、動作制御部４８に制御されて、第２の通知情報提供処理を終了すると判定した場合、撮像部６１、集音部６２、通知情報処理部４４、および高速通信部４５は、ステップＳ１４６に処理を進め、終了処理を行い、第２の通知情報提供処理を終了する。

このように、撮像部６１、集音部６２、通知情報処理部４４、および高速通信部４５の各部は、第２の通知情報提供処理を行い、画像データおよび音声データを含む通知情報を主制御装置２０に供給する。

次に、センサ出力を主制御装置２０に供給したり、主制御装置２０より供給された制御情報を取得したりする低速通信処理について、図１５のフローチャートを参照して説明する。

最初に、ステップＳ１６１において、低速通信部４２は、主制御装置２０との通信接続処理を実行し、主制御装置２０との無線通信を確立する。ステップＳ１６２において、低速通信部４２は、ステップＳ１６１の通信接続処理により、主制御装置２０との無線通信が確立し、接続が完了したか否かを判定し、接続したと判定した場合、ステップＳ１６３に処理を進める。

ステップＳ１６３において、低速通信部４２は、低速無線通信により主制御装置２０より供給された制御情報を、アンテナ１１を介して受信したか否かを判定し、受信したと判定した場合、ステップＳ１６４に処理を進め、受信した制御情報を制御部３１に供給する。ステップＳ１６４の処理が終了すると低速通信部４２は、ステップＳ１６５に処理を進める。また、ステップＳ１６３において制御情報を受信していないと判定した場合、低速通信部４２は、ステップＳ１６４の処理を省略し、ステップＳ１６５に処理を進める。

ステップＳ１６５において、低速通信部４２は、制御部３１よりセンサ出力が供給されたか否かを判定し、供給されたと判定した場合、ステップＳ１６６に処理を進め、供給されたセンサ出力を、アンテナ１１を介して、低速の無線通信により主制御装置２０に送信する。ステップＳ１６６の処理を終了すると低速通信部４２は、ステップＳ１６７に処理を進める。また、ステップＳ１６５においてセンサ出力が供給されていないと判定した場合、低速通信部４２は、ステップＳ１６６の処理を省略し、ステップＳ１６７に処理を進める。

ステップＳ１６７において、低速通信部４２は、低速通信処理を終了するか否かを判定し、終了しないと判定した場合、処理をステップＳ１６３に戻し、それ以降の処理を繰り返す。また、ステップＳ１６７において、動作制御部４８に制御される等して、低速通信処理を終了すると判定した場合、低速通信部４２は、ステップＳ１６８に処理を進め、終了処理を行った後、低速通信処理を終了する。

なお、ステップＳ１６２において、主制御装置２０との通信の確立に失敗し、主制御装置２０と接続されていないと判定した場合、低速通信部４２は、ステップＳ１６９に処理を進め、エラー処理を行い、ステップＳ１６８において終了処理を行った後、低速通信処理を終了する。

このように、低速通信部４２は、センサ出力を主制御装置２０に供給したり、主制御装置２０より供給された制御情報を取得したりする。

以上のように、通知情報等を供給された主制御装置２０は、供給された通知情報をユーザに提示する等の各種の処理を行う。

次に、主制御装置２０の動作について説明する。

主制御装置２０の制御部１０１は、入力部１４１を介して入力されるユーザ入力、または、図１の監視装置１０より供給されるセンサ出力、若しくは通知情報に基づいて、主制御装置２０の各部の動作を制御する。

監視装置１０より音声データや画像データ等の通知情報が供給されると、高速通信部１１２は、アンテナ２２を介してその通知情報を取得し、図示せぬ内蔵キャッシュメモリ等に保持する。そして、高速通信部１１２は、例えば所定のデータ量毎に、その保持している通知情報を、通知情報蓄積部１１４、合成処理部１１６、およびセレクタ１１７に供給するとともに、その通知情報より抽出した音声データをフィルタバンク１１３に供給する。

また、監視装置１０よりセンサ出力が供給されると、低速通信部１１１は、アンテナ２１を介してそのセンサ出力を取得し、図示せぬ内蔵キャッシュメモリ等に保持する。そして、低速通信部１１１は、例えば所定のデータ量毎に、その保持しているセンサ出力を制御部１０１に供給する。

主制御装置２０の各部は、受信制御処理を実行することにより、監視装置１０より供給される通知情報やセンサ出力の受信処理を制御する。図１６のフローチャートを参照して、受信制御処理を説明する。

最初に、主制御装置２０の低速通信部１１１および高速通信部１１２は、ステップＳ１８１において、制御部１０１に制御されて、通知情報およびセンサ出力の受信を開始する。

ステップＳ１８２において、高速通信部１１２は、監視装置１０より送信された通知情報を受信したか否かを判定し、アンテナ２２を介して通知情報を受信したと判定した場合、ステップＳ１８３に処理を進め、その受信した通知情報を一時的に保持していき、ステップＳ１８４において、所定のタイミング、または、所定のデータ量を保持する毎に、その保持している通知情報より音声データを抽出し、フィルタバング１１３に供給する。また、高速通信部１１２は、ステップＳ１８５において、所定のタイミング、または、所定のデータ量を保持する毎に、保持している通知情報（音声データを含む）を通知情報蓄積部１１４、合成処理部１１６、およびセレクタ１１７等に供給する。通知情報を供給した高速通信部１１２は、ステップＳ１８６に処理を進める。また、ステップＳ１８２において、通知情報を受信していないと判定した高速通信部１１２は、ステップＳ１８３乃至ステップＳ１８５の処理を省略し、ステップＳ１８６に処理を進める。

ステップＳ１８６において、低速通信部１１１は、監視装置１０より送信されたセンサ出力を受信したか否かを判定し、アンテナ２１を介してセンサ出力を受信したと判定した場合、ステップＳ１８７に処理を進め、その受信したセンサ出力を一時的に保持していき、ステップＳ１８８において、所定のタイミング、若しくは、所定のデータ量を保持する毎に、または、ユーザ等の指示に基づいて、その保持しているセンサ出力を制御部１０１に供給する。センサ出力を供給した低速通信部１１１は、ステップＳ１８９に処理を進める。また、ステップＳ１８６において、センサ出力を受信していないと判定した低速通信部１１２は、ステップＳ１８７およびステップＳ１８８の処理を省略し、ステップＳ１８９に処理を進める。

ステップＳ１８９において、制御部１０１は、受信制御処理を終了するか否かを判定し、終了しないと判定した場合、ステップＳ１８２に処理を戻し、それ以降の処理を繰り返す。また、ステップＳ１８９において、受信制御処理を終了すると判定した場合、制御部１０１は、ステップＳ１９０において、終了処理を実行し、例えば、低速通信部１１１および高速通信部１１２を制御してセンサ出力や通知情報の受信を終了させるなどして、受信制御処理を終了する。

以上のようにして、主制御装置２０は、監視装置１０より供給される通知情報やセンサ出力を受信する。

以上のように高速通信部１１２より供給された音声データを取得したフィルタバンク１１３は、その音声データに対して、Wavelet変換、FIR（Finite Impulse Response）フィルタ、またはIIR（Infinite Impulse Response）フィルタによるローパスフィルタを用いてフィルタ処理を行ったり、雑音成分除去処理を行ったりする。例えば、フィルタバング１１３は、フィルタ処理を行うことにより、取得した音声データより、泣き声を含む周波数帯域（例えば数百Hz乃至数千Hz）の信号のみを抽出する。なお、フィルタバング１１３は、ハイパスフィルタやバンドパスフィルタを併用してフィルタ処理を行うようにしてもよい。フィルタバンク１１３による雑音成分の除去処理については後述する。また、フィルタバンク１１３は、例えば、サンプリング周波数が２４KHzの音声データに対して、データ量が１６分の１になるように間引き処理を行う等、通知情報のデータ量を必要十分に間引くことによって、後段における処理量を減らすようにしてもよい。

次に、例えば、図１８のステップＳ２５５においてフィルタバンク１１３において実行される雑音成分の除去処理について具体的に説明する。なお、以下において、「除去」と「低減」を同義語として用いて説明する。

例えば、図１７に示されるように乳幼児８４が位置し、その乳幼児８４の近傍において他の人物８５が発声しているものとする。泣き声の特徴量について上述したが、通常外部騒音が無い場合、フィルタバンク１１３に供給される音声信号（音声データ）の波形は、図１８に示されるような波形になる。そして、その音声データは、フィルタバンク１１３において処理され、図１９に示されるように絶対値化される。フィルタバンク１１３の各部は、図１９に示されるような計算用の音声信号に対して処理を行う。

図１７において乳幼児８４より出力された波形（泣き声）はマイク８１に到達したのち、マイク８２へ遅延量τ遅れて到達する。なお、以下において、マイク８１にマイク８２の波形を遅延量τ分だけ補正して、各波形の位相を互いに揃える処理のことを遅延量補正と称する。

図５に示される雑音成分除去処理部１６２において、遅延量決定部１７１は、図１７に示される遅延量τを決定する。その方法として、例えば、ユーザにパラメータを解放する（遅延量τに関する情報をユーザが入力できるようにする）ようにしてもよい。例えば、通知情報出力部１４３のモニタ１５１にタッチパネルを重畳しておき、そのモニタ１５１に表示される乳幼児８４の画像に基づいて、ユーザがモニタ１５１の画面上において乳幼児８４の顔がある部分を指定すると、その位置をユーザ入力としてタッチパネルで検出し、制御部１０１や遅延量決定部１７１が、そのユーザ入力に基づいて乳幼児８４の位置を算出して特定することができるようにし、マイク８１およびマイク８２の位置と乳幼児８４の位置との関係から遅延量τを予め算出するようにしておいてもよい。

また，雑音成分除去処理部１６２において、出力側から遅延量決定部１７１にフィードバックをかけ、遅延量決定部１７１が、処理後の乳幼児８４の泣き声を最も良好に抽出できる遅延量を決定するようにしてもよいし、さらに、通知情報出力部１４３のスピーカ１５２より出力される音声に基づいて、ユーザが、乳幼児８４の泣き声を最もはっきりと聞き取れる遅延量τを決定する情報を、入力部１４１を介して入力できるようにし、そのユーザ入力に基づいて、遅延量決定部１７１が遅延量τを決定するようにしてもよい。

さらに、遅延量決定部１７１がマイク８１において得られる音声信号と、マイク８２において得られる音声信号との間の相関係数の関係に基づいて、遅延量τを計算するようにしてもよい。これは、２本のマイク間の遅延量を補正していき、マイク８１において得られる音声信号と、マイク８２において得られる音声信号との間の相関係数が最大値をとる点を遅延量τとする方法である。

以上の遅延量τは、騒音源である他の人物８５が発声する音声についても同様に発生し、あらゆる方向からでも２本のマイク間では遅延量が発生する。

図２０においてマイク８１を基準とすると、乳幼児８４からの波形は、マイク８２に、マイク８１に到達するよりτ１だけ遅れて到達し、騒音源である他の人物８５からの波形は、マイク８１に到達するよりτ２だけ早く、マイク８２に到達している。基準マイク８１における、これらの２つの波形（波形２１１および波形２１２）を、ある基準時刻ｔ´に基づいて、それぞれｘ（ｔ´）（波形２１２）、またはｙ（t´）（波形２１１）とすると、マイク８２における、乳幼児８４からの波形（波形２２１）はｘ（ｔ´＋τ１）で表すことができ、騒音源である他の人物８５からの波形（波形２２２）はｙ（ｔ´−τ２）で表すことができる。それらの波形（波形２１１および波形２１２、並びに、波形２２１および波形２２２）を、図２０に示されるバッファ遅延器２１３およびバッファ２２３が基準時刻ｔに遅延補正すると、波形２１１は波形２１４に変換され、波形２１２は波形２１５に変換され、波形２２１は波形２２４に変換され、波形２２２は波形２２５に変換される。さらに、加算器２３１が、それらの波形（波形２１４および波形２１５、並びに、波形２２４および波形２２５）を、式（１）に示されるように加算し（ADD）、減算器２３２が、それらの波形（波形２１４および波形２１５、並びに、波形２２４および波形２２５）を、式（２）に示されるように減算する（SUB）。

ADD＝２ｘ（ｔ）＋ｙ（ｔ）＋ｙ（ｔ−（τ１＋τ２）） ・・・（１）
SUB＝ｙ（ｔ）−ｙ（ｔ−（τ１＋τ２）） ・・・（２）

以下において、変数ｘの項を乳幼児８４の項と称し、変数ｙの項を騒音源の項と称する。図５に示される雑音成分除去処理部１６２において、遅延補正加算処理部１７２は、以上に示される式（１）の演算処理（図２０の加算器２３１が実行する加算処理）を行い、遅延補正減算処理部１７３は、以上に示される式（２）の演算処理（図２０の減算器２３２が実行する減算処理）を実行する。

ここで、これらの式（１）および式（２）に基づいて、図２の集音部６２を構成する２本のマイクであるマイク８１およびマイク８２の特徴について説明する。

図２０に示されるように、基準マイクであるマイク８１において集音されて得られた音声信号を中心に遅延補正した後に、マイク８１における音声信号と、マイク８２における音声信号とを足し込む（加算する）と、乳幼児８４の泣き声の波形は強調させることができ、騒音源からの雑音成分の波形は互いに位相がずれれば減衰させることができる。

また基準マイクであるマイク８１において集音されて得られた音声信号を中心に遅延補正した後に、マイク８１における音声信号より、マイク８２における音声信号を引き込む（減算する）と、乳幼児８４の泣き声の波形は理論的になくすことができ、騒音源からの雑音成分の波形は位相を変えて残すことができる。なお、ここで理論的と記述したが、実際には、減衰項や壁や床からの反射等を考慮すると、乳幼児８４の泣き声の波形は完全には消えることはない。

騒音源（例えば、他の人物８５）は移動する場合もあり、複数存在する場合もあるので、基準マイクであるマイク８１において集音されて得られた音声信号を中心に遅延補正した後に、マイク８１における音声信号より、マイク８２における音声信号を引き込むだけの、一時的な処理では、雑音成分を十分に除去することができない場合がある。

以下において、この様な特徴を応用し、ターゲット（乳幼児８４の泣き声）以外の騒音を低減させる方法について説明する。上述した式（１）および式（２）において、騒音源の項に着目し、加算結果ADD、並びに減算結果SUBについて説明する。加算結果ADDと減算結果SUBの位相関係について説明すると、どの周波数帯域においても（τ１＋τ２）が半波長以内であれば、図２１に示されるように、減算式である式（２）の騒音源の項の方が、加算式である式（１）の騒音源の項よりも見掛け上１／４波長（π／２）遅れる。

図２１において、波形２４１は、加算式である式（１）における、マイク８１に対応する騒音源の項（ｙ（ｔ））の波形であり、波形２４２は、加算式である式（１）におけるマイク８２に対応する騒音源の項（ｙ（ｔ−（τ１＋τ２）））の波形であり、波形２４３は、波形２４１と波形２４２の合成波形である。また、波形２５１は、減算式である式（２）における、マイク８１に対応する騒音源の項（ｙ（ｔ））の波形であり、波形２５２は、減算式である式（２）におけるマイク８２に対応する騒音源の項（−ｙ（ｔ−（τ１＋τ２）））の波形であり、波形２５３は、波形２５１と波形２５２の合成波形である。なお、図２１においては、位相のずれを各マイクにおける騒音源の要素である単一周波数にて表している。

図２１において、波形２５２（ｙ（ｔ−（τ１＋τ２）））の位相は波形２４２（−ｙ（ｔ−（τ１＋τ２）））の位相に対して半波長（π）ずれている。また、波形２４３は、波形２４１と波形２４２の合成波形であり、その位相は、波形２４２の位相に対して（τ１＋τ２）／２だけ遅れている。波形２５３も同様に、波形２５１と波形２５２の合成波形であり、その位相は、波形２５２の位相に対して（τ１＋τ２）／２だけ進んでいる。従って、波形２４２および波形２５２の位相差は、波形２５２および波形２４２の位相差の半分、すなわち、１／４波長（π／２）となる。

次に、図５の移動平均処理部１７４が実行する処理について説明する。

移動平均は周波数帯域の高域の除去に主に使われ、その演算の際に、足し込まれるサンプルの数やポイントはどのような値であってもよい。上述した環境の場合、移動平均ＭＡは、以下の式（３）のように示される。

この時，足し込む波形の関数をｆ（ｘ）とし、足し込むサンプル数をαとする。

この様に自身より後方を足し込む移動平均では、図２２に示されるように、見掛け上、足し込むサンプル数αの１／２サンプルだけ位相が進む。図２２において、グラフ２６０は、横軸がサンプル数を示し、縦軸が増幅度を示すグラフである。波形２６１は、上述した関数ｆ（ｘ）の波形を示し、波形２６２は、その波形２６１より算出された移動平均ＭＡを示している。またこの時、式（３）の１／αの項より、移動平均ＭＡの波形は、周波数によって元の波形に対する減衰率（図２２のｒ）が異なる。

以上のように、騒音源の減算結果SUBは、加算結果ADDの場合に比べて、周波数の１／４波長分、見掛け上遅延する。また移動平均ＭＡは、足し込むサンプル数αの１／２分だけ位相が進む。これらの特徴を利用し、図５の加算処理部１７５は、以下の式（４）に示される演算を行い、雑音成分を除去した除去波形ＮＲを産出する。

ＮＲ＝ADD／２−Ｒ×ＭＡ×SUB ・・・（４）

式（４）において、Ｒは除去率を表し、音声信号より雑音成分を除去する割合を表している。以上の式（４）における特徴の一つとして、ターゲットとしている乳幼児８４の泣き声の波形は、原型をとどめていることがわかる。

以上のように、騒音源において発生する音声の帯域が除去できるような最適なパラメータ（移動平均足し込みサンプル数αや除去率Ｒ）を設定することで、雑音成分除去処理部１６２は、より騒音の低減を行うことができる。

例えば、乳幼児８４は、泣き声を発声する場合、呼吸に合わせて声を出したり（例えば”ギャー”等）、息を吸ったり（例えば”ーーー”等）している。なお、ここで”ーーー”は、声を出しているときと、次の声を出しているときの間（例えば、”ギャー”と”ギャー”の間）に乳幼児８４が息を吸い込むときの音（声を出していない部分の音）を示している。そこで、この声を出していない部分（無音部分）は冗長な領域であり、音声情報としては必要の無い部分であるので、雑音成分除去処理部１６２は、その部分の騒音を抑制することにより、より誤差が少ない特徴量を算出することができる。

そのために、雑音成分除去処理部１６２は、２本のマイク（マイク８１およびマイク８２）における音声信号の関係として、相関係数を利用する。図２３は、この相関関係を説明するための図である。図２３において、表２７０は、マイク８１における乳幼児８４の泣き声の波形（波形２７１）と、マイク８２における乳幼児８４の泣き声の波形（波形２７２）との相関関係、並びに、マイク８１における騒音波形（波形２７３）と、マイク８２における騒音波形（波形２７４）との相関関係を示している。表２７０においては、乳幼児８４の泣き声の波形に着目し、その遅延量を補正することで波形２７１および波形２７２の位相を揃えており、これらの波形間（波形２７１と波形２７２の間）の差分は小さくなっており、これらの波形の相関性が高くなっている。このとき、騒音波形においては、波形２７３および波形２７４のように、騒音自身の位相が異なるので、それらの波形の相関性は低くなる。

そこで、図５の相関係数処理部１７６は、式（５）により示されるような、遅延量補正後の２本のマイクにおいて得られた音声信号の相関係数ｒを算出する。

ただし、

なお、式（５）において、変数ｍ１は、マイク８１において入力される音声信号であり、変数ｍ２は、マイク８２において入力される音声信号である。また、相関係数ｒは、ｎ対の数値（ｍ１₁，ｍ２₁），（ｍ１₂，ｍ２₂），・・・，（ｍ１_n，ｍ２_n）についての相関係数である。さらに、変数Ｓ₁および変数Ｓ₂は、標準偏差を示しており、それぞれ、式（６）および式（７）のように示される。

図５の該当領域判定部１７７は、以上のように算出された相関係数を用いて、泣き声に騒音が混じっているか否か、または、発声領域であるか無音領域であるかの判定を行い、それぞれの場合において減衰処理部１７８を制御して、音声データに含まれる雑音成分を、より低減させる。

音声データの内、泣き声の部分で声を発している部分を発声領域とし、息を吸って声を発していない領域を無音領域とすると、該当領域判定部１７７は、以下の式（１０）および式（１１）に示される条件式に基づいて、判定処理を行う。なお、式（１０）および式（１１）において、変数CORは、相関係数を示しており、変数ｔｈは、予め定められた所定の閾値である。また、式（１０）は発声領域に対する条件式であり、式（１１）は、騒音混在領域であり、かつ無音領域である領域を特定する条件式である。

COR＞th ・・・（１０）
COR＜th ・・・（１１）
ただし、
−１≦ｔｈ≦１ ・・・（１２）

すなわち、式（１０）および式（１１）に示されるように、相関係数をCORとすると，相関係数COR が閾値th 以上であれば発声領域，相関係数COR が閾値th 以下であれば騒音混在領域かつ無音領域とすることで，音声信号における領域の判定が可能となる。

仮に、図５の該当領域判定部１７７が現在の音声信号の領域を無音領域かつ混在領域であると判定すると、減衰処理部１７８は、図５の加算処理部１７５までの処理により、完全に除去しきれなかった雑音成分を、式（４）の変数Ｒを変化させて、再度、減衰処理することにより、さらに雑音成分を低減させる。

なお、図１７において、乳幼児８４と騒音源である他の人物８５の位置関係が逆であっても、騒音の低減は可能である。

以上のように、音声信号より雑音成分を除去するために、フィルタバンク１１３の雑音成分除去処理部１６２は、ローパスフィルタ１６１より供給された帯域を制限された音声信号に対して、ノイズ除去処理を実行する。雑音成分除去処理部１６２によるノイズ除去処理を図２４のフローチャートを参照して説明する。

最初に、ステップＳ２１１において、雑音成分除去処理部１６２の遅延量決定部１７１は、入力された２つの音声信号に対する遅延量τを決定し、ステップＳ２１２において、２つの音声信号に対して遅延補正を行い、それらの補正結果を遅延補正加算処理部１７２および遅延補正減算処理部１７３に供給した後、ステップＳ２１３に処理を進める。ステップＳ２１３において、遅延補正加算処理部１７２は、取得した２つの補正結果を上述したように加算し、加算結果を加算処理部１７５に供給するとともに、処理をステップＳ２１４に進める。ステップＳ２１４において、遅延補正減算処理部１７３は、取得した２つの補正結果を上述したように減算し、減算結果を移動平均処理部１７４に供給し、ステップＳ２１５に処理を進める。ステップＳ２１５において、移動平均処理部１７４は、供給された減算結果に基づいて、上述したように移動平均ＭＡを算出し、その算出結果を加算処理部１７５に供給するとともに、ステップＳ２１６に処理を進める。

ステップＳ２１６において、加算処理部１７５は、上述したように加算処理（減算処理）を行い、雑音成分を除去し、雑音成分を除去した音声信号を相関係数処理部１７６に供給し、ステップＳ２１７に処理を進める。ステップＳ２１７において、相関係数処理部１７６は、供給された音声信号に基づいて相関係数を算出し、音声信号とともに、その相関係数を該当領域判定部１７７に供給し、処理をステップＳ２１８に進める。ステップＳ２１８において、該当領域判定部１７７は、供給された音声信号や相関係数を減衰処理部１７８に供給するとともに、供給された相関係数に基づいて、供給された音声信号の領域判定を行う。そして、該当領域判定部１７７は、ステップＳ２１９において、その領域が発声領域であるか否かを判定し、発声領域でないと判定した場合、ステップＳ２２０において、減衰処理部１７８を制御し、雑音成分の減衰処理を実行させる。ステップＳ２２０の処理が終了すると減衰処理部１７８は、ステップＳ２２１に処理を進める。また、ステップＳ２１９において、発声領域でないと判定した場合、該当領域判定部１７７は、ステップＳ２２０の処理を省略し、ステップＳ２２１に処理を進める。

ステップＳ２２１において、雑音成分除去処理部１６２は、ノイズ除去処理を終了するか否かを判定し、終了しないと判定した場合、処理をステップＳ２１２に戻し、それ以降の処理を繰り返し、次に入力される音声信号に対して動揺の処理を行う。また、ステップＳ２２１において、ノイズ除去処理を終了すると判定した場合、雑音成分除去処理部１６２は、ステップＳ２２２に処理を進め、終了処理を行った後、ノイズ除去処理を終了する。

以上のようにノイズ除去処理を行うことにより、雑音成分除去処理部１６２は、監視対象の位置に関わらず、雑音成分が含まれる音声信号においても目的の音声信号成分の特徴量計算の誤差を抑制することができる。これにより、監視システム１は、雑音成分が含まれる場合であっても、ユーザに対して雑音成分の少ない目的の音声信号を提供することができる。さらに、雑音成分除去処理部１６２は、雑音成分の発生源の位置によらず、同様の処理により雑音成分の除去を行うことができる。

フィルタバンク１１３は、以上のように処理した音声データを足音解析部１２１および音声解析部１２２に供給する。音声データを供給された音声解析部１２２は、その音声データを解析し、乳幼児８４の泣き声の特徴量を抽出する。この特徴量として、音声解析部１２２は、泣き声の呼吸１周期あたりの発声時間と息の吸い込み時間の割合を特徴量として検出する。なお、声の高さを表す周波数を特徴量とするようにしてももちろんよく、上述の発声時間等の特徴量と組み合わせ、特徴量の数を増やすことで泣き声の状態を正確に特定できる確率は高くなる。また、人物の状態、例えば、人物の体温や動き量を、温度センサ、赤外線センサ、またはマイクロ波センサ等を用いて計測しておき、音声解析部１２２が、それらの情報に基づいて、画像処理を行うことでより泣き声の状態をより絞り込むようにすることも可能である。

音声解析部１２２は、例えば、フィルタバンク１１３より図２５に示されるような波形の音声データを供給される。図２５に示されるように、泣き声の波形２８１においては、発声と呼吸が周期的に繰り返されている。通常、波形２８１に示されるように、この泣き声の１周期（図中Ｃの区間）において、発声している時間（図中Ａの区間）は音圧が高くなり、息を吸い込む時間（図中Ｂの区間）は音が多少鳴るものの、発声音圧に比べ統計的に十分に低くなる場合が多い。音声解析部１２２は、フィルタバンク１１３より音声データを供給されると、音声解析処理を実行することにより、これらの発声時間や呼吸時間などの特徴量を算出する。

図２６乃至図２８のフローチャートを参照して、音声解析部１２２による音声解析処理を説明する。また、必要に応じて、図２９を参照して説明する。

音声データが供給されると、音声解析部１２２は、最初にステップＳ２４１において、泣き声の始まりを検知するために単位時間あたりの信号レベルの平均値を算出し、呼吸の変わり目にあたる空白時間を検出する。例えば、音声解析部１２２に、図２９に示されるような波形の音声データが供給されるとする。なお、図２９において示される丸枠で囲まれた数字は、位置や範囲を示しており、以下においてはそれらの数字を「」で囲んで表す。図２９に示されるような波形の音声データが供給されると、音声解析部１２２は、位置「１」において、ステップＳ２４１の処理を実行する。

そして、音声解析部１２２ステップＳ２４２において、ステップＳ２４１において算出される単位時間の平均値が、予め定められた所定の第１の閾値以下であるか否かを判定し、図２９に示される音声データにおける現在の位置が、位置「１」のように、呼吸時間の範囲に位置するか否かを確認する。単位時間の平均値が第１の閾値以下でなく、現在の位置が発声時間であると判定した場合、音声解析部１２２は、ステップＳ２４１に処理を戻し、それ以降の処理を繰り返す。

また、ステップＳ２４２において、単位時間の平均値が第１の閾値以下であり、現在の位置が、位置「１」のように、呼吸時間の範囲に位置すると判定した場合、音声解析部１２２は、ステップＳ２４３に処理を進める。

ステップＳ２４３において、音声解析部１２２は、供給された音声データのサンプルのレベルを確認し、ステップＳ２４４において、そのサンプルのレベルが予め定められた所定の閾値である発声開始レベル以上であるか否かを判定する。得られたサンプルのレベルが発声開始レベルより小さく、まだ呼吸時間であると判定した場合、音声解析部１２２は、ステップＳ２４３に処理を戻し、次に供給されるサンプルについてそれ以降の処理を繰り返す。

また、ステップＳ２４４において、サンプルのレベルが発声開始以上であり、泣き声の発生時間が開始されたと判定すると、音声解析部１２２は、そのサンプル（位置）を泣き声の発声の始まりとし、ステップＳ２４５に処理を進め、メインカウンタのカウントを開始させることにより特徴量の長さの管理を開始する。例えば、図２９の信号の位置「２」のサンプルにおいて、そのレベルが発声開始レベル以上の値をとるので、音声解析部１２２は、この位置「２」よりメインカウンタのカウントを開始させる。

メインカウンタのカウントを開始させた音声解析部１２２は、ステップＳ２４６において、後述するレベル閾値である第２の閾値を決定するために、所定の区間のサンプルについて、平均音圧（レベルの平均値）を算出する。この第２の閾値は平均音圧に比例して算出される。例えば、音声解析部１２２は、図２９の信号において、発声時間内の所定の区間である区間「３」のサンプルの平均音圧（レベルの平均値）を算出する。

平均音圧を算出した音声解析部１２２は、ステップＳ２４７に処理を進め、発声時間の終了部分に対して処理を行うため、所定の時間待機する。例えば、音声解析部１２２は、図２９の信号において、区間「３」の終了位置「４」より所定の時間待機する。

所定の時間待機すると音声解析部１２２は、図２７のステップＳ２５１に処理を進める。また、音声解析部１２２は、このとき、後述するように図２８のステップＳ２７１にも処理を進め、図２７のステップＳ２５１以降の処理と並行して、図２８のステップＳ２７１以降の処理を実行する。

図２７のステップＳ２５１において、音声解析部１２２は、無音時間（呼吸時間）を計測する（呼吸時間におけるサンプル数を数える）ためにサブカウンタのカウントを開始する。そして、ステップＳ２５２において、音声解析部１２２は、サンプルのレベル（値）が予め定められた所定の閾値である第２の閾値以上であるか否かを判定する。この第２の閾値の値は、上述したように、ステップＳ２４６において算出された平均音圧に所定の係数を乗算することにより算出される。サンプルのレベルが第２の閾値以上であり、呼吸時間が終了した、または、まだ呼吸時間が開始されていないと判定した場合、音声解析部１２２は、ステップＳ２５３に処理を進め、必要に応じて仮の呼吸時間の長さを示す値を保持する変数であるサブカウンタ最大値を更新し、ステップＳ２５４において、必要に応じて、その仮の呼吸時間の終了位置を示す値を保持する変数である第１のメインカウンタ座標を更新し、ステップＳ２５５において、サブカウンタの値をリセットし、ステップＳ２５２に処理を戻し、それ以降の処理を繰り返す。

すなわち、音声解析部１２２は、ステップＳ２５２において現在の位置が呼吸時間でないと判定した場合、サブカウンタの値と、保持しているサブカウンタ最大値の値とを比較し、サブカウンタの値の方が大きい場合、その値を用いてサブカウンタ最大値を更新するとともに、そのときのメインカウンタの値を用いて第１のメインカウンタ座標を更新する。その後、音声解析部１２２は、サブカウンタの値を初期値に戻し、ステップＳ２５２に処理を戻し、それ以降の処理を繰り返す。

また、ステップＳ２５２において、サンプルの値が第２の閾値より小さいと判定した場合、音声解析部１２２は、ステップＳ２５６に処理を進め、メインカウンタのカウントが終了したか否かを判定する。メインカウンタのカウントが継続しており終了していないと判定した場合、音声解析部１２２は、ステップＳ２５２に処理を戻し、それ以降の処理を繰り返す。すなわち、音声解析部１２２は、ステップＳ２５２において、サンプル値のレベルより現在の位置が呼吸時間であると判定した場合、ステップＳ２５６において、メインカウンタのカウントが終了し、音声解析を行う区間が終了したか否かを判定する。

ステップＳ２５６において、メインカウンタのカウントが終了したと判定した場合、音声解析部１２２は、ステップＳ２５７に処理を進め、サブカウンタのカウントを終了し、ステップＳ２５８において、サブカウンタ最大値の値を取得し、ステップＳ２５９において、第１のメインカウンタ座標を取得し、ステップＳ２６０において、取得したサブカウンタの最大値および第１のメインカウンタ座標に基づいて、無音時間（呼吸時間）の開始位置を算出し、それらの値によって仮無音時間情報を作成する。

例えば、音声解析部１２２は、図２９において、サブカウンタによって仮の無音時間（呼吸時間）を示す範囲「５」の長さを算出し、その際のメインカウンタの値を利用して、その仮の呼吸時間の終了位置を示す位置「６」を求め、それらから、仮の呼吸時間の開始位置を示す位置「７」を求め、それらを用いて仮無音時間情報を作成する。

仮無音時間情報を作成した音声解析部１２２は、図２８のステップＳ２７７に処理を進める。

また、上述したように、音声解析部１２２は、図２７に示されるステップＳ２５１乃至ステップＳ２６０の処理の実行に並行して、次の泣き声の発声の開始を検知するために、図２８のステップＳ２７１乃至ステップＳ２７６の処理を実行する。ステップＳ２７１乃至ステップＳ２７４において音声解析部１２２は、図２６に示されるステップＳ２４１乃至ステップＳ２４４と同様の処理を行い、次の泣き声の発声の開始を検知する。例えば、音声解析部１２２は、図２９の信号に対して、ステップＳ２７１およびステップＳ２７２の処理を行い、単位時間の平均値を算出し、第１の閾値と比較することにより、現在の位置が呼吸時間の範囲内の位置「８」であることを確認すると、ステップＳ２７３およびステップＳ２７４の処理を行い、サンプルのレベルを発声開始レベルと比較することにより、発生開始の位置「９」を検出する。

ステップＳ２７４において、サンプルのレベルが発声開始以上であると判定した場合、音声解析部１２２は、ステップＳ２７５に処理を進め、現在のメインカウンタの値を第２のメインカウンタ座標として保持する。

そして、ステップＳ２７６において音声解析部１２２は、メインカウンタのカウントが終了したか否かを判定し、終了していないと判定した場合ステップＳ２７１に処理を戻し、それ以降の処理を繰り返す。また、ステップＳ２７６においてメインカウンタのカウントが終了したと判定した場合、音声解析部１２２は、ステップＳ２７７に処理を進める。

ステップＳ２７７において、音声解析部１２２は、図２７のステップＳ２５１乃至ステップＳ２６０の処理により作成された仮無音時間情報、並びに、図２８のステップＳ２７１乃至ステップＳ２７６の処理により検出された第２のメインカウンタ座標を用いて、仮無音時間情報に含まれる誤差成分に関する情報である誤差情報を作成し、その誤差情報を、仮無音時間情報より減算することにより、無音時間情報を作成する。

例えば、図２９において、音声解析部１２２は、第１のメインカウンタ座標の値から第２のメインカウンタ座標の値を減算することにより、発声開始の位置「９」から仮無音時間の終了位置「６」までの長さを算出し、その長さを「誤差」として「仮の無音時間」である範囲「５」の長さより減算することにより「誤差減無音時間」（すなわち、無音時間情報）を作成する。

無音時間情報を作成した音声解析部１２２は、音声解析処理を終了する。以上のように処理を行うことで、図２５に示される範囲「Ａ」、「Ｂ」、および「Ｃ」のそれぞれの長さ、すなわち泣き声の特徴量を求めることができる。

以上のように処理を行うことにより、音声解析部１２２は、複雑な処理を行わずに音声を解析し、特徴量を求めることができるので、より高速、かつ、より容易に特徴量を算出することができる。これにより、制御装置２０は、より効率的に動作することできる。

主制御装置２０において、所定のアクションが起ると、上述ように、データが入力される度に音声解析部１２２により特徴量が計算される。この特徴量は泣き声の特性を量子化したものであり、多数のデータに適応すると、任意空間内に分布される。この特徴量を用いて作成された特徴量空間内における、入力された特徴量の分布図を図３０に示す。図３０において、特徴量空間３１０は、上述したように、特徴量に基づいて作成された特徴量空間であり、その縦軸は呼吸比率を示し、横軸は泣き声周期（サンプル数）を示す。

図３０に示される特徴量空間３１０に点で示される各特徴量データは、上述したように算出された特徴量データを特徴量空間３１０にプロットしたものである。範囲３１０乃至範囲３１４は、それらの各特徴量データに対応する乳児８４の泣き声を聞いた、乳児８４の親（ユーザ）により設定される乳児８４の状態毎に各特徴量データを分類したものである。ここで状態とは、呼吸が落ち着いた甘えの状態や、呼吸が比較的激しい危険を伴う状態、甘え寄りや危険寄りといった中間的な状態を示している。例えば、図３０において、範囲３１１および範囲３１２は、甘えの状態に分類される範囲を示しており、範囲３１３は、甘えと危険の中間の状態に分類される範囲を示しており、範囲３１４は、危険の状態に分類される範囲を示している。

なお、以上においては、特徴量データを、甘え、中間、および危険の３つの状態に分類する場合について説明したが、これに限らず、分類する状態の内容はどのようなものであってもよく、いくつの状態に分類するようにしてもよい。例えば、ユーザは日頃の親子の関係から、様々な状態を把握しているので、お腹が空いた、おむつの交換、抱っこ、または、わがまま等の状態も定性値として与えることができるようにしてもよい。

以上のように、ユーザは、入力部１４１を操作することにより、予め、特徴量空間３１０に分布されている各特徴量データを、乳幼児８４の状態により分類して定性値を割り当てる。また、ユーザは、入力部１４１を操作することにより、一度分類した設定を、適宜、変更することもできる。なお、ユーザが状態を分類する際に用いられる特徴量データの数はいくつであってももちろんよいし、状態を分類するユーザの数が２人以上であってもよい。

このように特徴量空間３１０には泣き声の特徴量データに対し、ユーザから得た定性値が対応づけられている。主制御装置２０は、このように同じ定性値を与える特徴量データを予め囲い込むことで特徴量空間３１０を定性値の領域（例えば、図３０の場合、範囲３１１乃至範囲３１４）毎に分割できる。この定性値の領域の分割の方法として、評価値の比率を考慮して分割を行うようにしてもよい。

特徴量空間３１０を定性値の領域に分割する例を図３１に示す。図３１において、特徴量テーブル３２１は、特徴量空間をテーブル化したものであり、各定性値には、後述するように、特徴量空間を特徴量テーブルとしてLUT記憶部１３１に保持させるために、数値化され、番号が振られている。この数値化されたものを評価値とし、値や分解能は任意であるが、図３１においては、特徴量テーブル３２１に対するサンプル３２２に示されるように、評価値３が危険の状態と対応付けられており、評価値２は中間の状態と対応付けられており、評価値１は甘えの状態と対応付けられており、評価値０は未入力と対応づけられている。

図３１において、特徴量テーブル３２１は、特徴量空間が所定の大きさの特徴量の単位帯域（ブロック）毎に分割されたテーブルである。特徴量空間の分割方法は、これ以外であってももちろん良く、例えば、特徴量空間の分割数をいくつにしても良いし、各ブロックの大きさが互いに異なるようにしてもよいし、各ブロックの形状を任意の形状にしてもよい。また、各ブロックの領域の範囲は、可変であっても、固定であってもよい。

図３１に示される特徴量テーブルの各ブロックをLUT記憶部１３１に保持させるために、各状態を数値化する例を図３２に示す。図３２において、特徴量テーブル３２５は、図３１に示される特徴量テーブル３２１の各ブロックの評価値を乳幼児８４の状態値として数値化したものである。LUT記憶部１３１には、図３２に示されるような特徴量テーブル３２５が参照テーブルとして保存されている。

なお、LUT記憶部１３１は、図３３に示されるように、互いに内容の異なる特徴量テーブル３２５を複数保存している。図３３において、テーブルリスト３３１は、図３２に示されるような複数の特徴量テーブル３２５をリスト化したものである。このテーブルリスト３３１において、各特徴量テーブルにはテーブル番号が割り当てられて管理されており、それらの特徴量テーブル毎に各ブロックの状態値が示されている。

また、このテーブルリスト３３１には、ユーザの入力情報が全て記録されてあり、制御部１０１は、ユーザが入力部１４１を介して情報を入力する（設定を更新する）度に、その情報を追記し、LUT記憶部１３１に記憶されているテーブルリスト３３１を更新する。テーブルリスト３３１には、さらに、入力部１４１の操作度数（すなわち、テーブルリスト３３１を更新した回数）等も、制御部１０１により随時更新される。テーブルリスト３３１は、このように様々な情報を記述することが可能であり、例えば、入力時刻や他のセンサ特徴量等の情報を、その他の情報として入力情報の分類に結び付けることも可能である。

以上のように、音声解析部１２２は、フィルタバンク１１３を介して供給された音声データより泣き声の特徴量を抽出する。定性値判定部１２３は、以上のようにして予め用意しLUT記憶部１３１に記憶されている特徴量テーブルに応じて、音声解析部１２２より供給された特徴量データに対応する乳幼児８４の状態値を決定し、ユーザが所望する泣き声の種類を特定し、その情報を制御部１０１に供給する。制御部１０１は、その情報、またはユーザ入力に基づいて、通知情報に含まれる画像データを出力してユーザに提示するかどうかを再度判断する。

図３４のフローチャートを参照して、画像データ出力判定処理を説明する。

最初に、ステップＳ２９１において定性値判定部１２３は、制御部１０１を介して、LUT記憶部１３１より特徴量テーブルを取得し、ステップＳ２９２においてその特徴量テーブルを参照し、特徴量データに対応する状態値を判定する。ステップＳ２９３において、制御部１０１は、入力部１４１を制御し、画像データを出力するか否かを指定するユーザ入力を受け付けたか否かを判定し、ユーザ入力を受け付けたと判定した場合、ステップＳ２９４に処理を進め、入力されたユーザ入力に基づいて画像データを出力するか否かを判定し、ステップＳ２９６に処理を進める。また、制御部１０１は、ステップＳ２９３において、ユーザ入力を受け付けていないと判定した場合、ステップＳ２９５に処理を進め、定性値判定部１２３より供給された状態値に基づいて画像データを出力するか否かを判定し、ステップＳ２９６に処理を進める。

ステップＳ２９６において、制御部１０１は、ステップＳ２９４の処理結果、またはステップＳ２９５の処理結果に基づいて、画像データを出力するか否かを判定し、出力すると判定した場合、ステップＳ２９７に処理を進め、画像データを出力するように各部を制御し、画像データ出力判定処理を終了する。

また、ステップＳ２９６において、画像データを出力しないと判定した場合、制御部１０１は、画像データを出力しないように各部を制御し、画像データ出力判定処理を終了する。

また、ユーザに通知情報を提示中の場合、足音解析部１２１は、供給された音声データを解析し、予め登録されているユーザの足音を検知することにより、ユーザが監視装置１０の設置場所、すなわち、乳幼児８４に近接する位置に存在するか否かを判定する。例えば、足音解析部１２１は、供給された音声データよりユーザの足音を検知し、ユーザが乳幼児８４付近に位置すると判定した場合、その情報を制御部１０１に供給する。制御部１０１は、その情報に基づいて、通知情報の出力を行わないように、通知情報出力部１４３の動作を制御する。

このようにすることにより、主制御装置２０は、送信側である監視装置１０における条件だけでなく、受信側である主制御装置２０における条件に基づいて、通知情報のユーザに対する提示を制御することができる。

図３５のフローチャートを参照して、足音判定処理を説明する。

足音解析部１２１は、ステップＳ３１１において、供給された音声データに対して足音解析処理を実行し、解析結果を制御部１０１に供給する。制御部１０１は、その解析結果を取得すると、ステップＳ３１２において、ユーザが監視装置１０の近傍に位置するか否かを判定し、近傍に位置すると判定した場合、ステップＳ３１３に処理を進め通知情報（例えば、画像データ）の出力を停止するように、セレクタ１１７や通知情報出力部１４３等の各部を制御する。通知情報を出力を停止した制御部１０１は、ステップＳ３１６に処理を進める。

また、ステップＳ３１２において、ユーザが監視装置１０の近傍に位置しないと判定した場合、制御部１０１は、ステップＳ３１４に処理を進め、通知情報の出力が停止中であるか否かを判定する。通知情報の出力が停止中であると判定した場合、制御部１０１は、ステップＳ３１５に処理を進め、通知情報の出力を開始するように、セレクタ１１７や通知情報出力部１４３等の各部を制御し、ステップＳ３１６に処理を進める。また、ステップＳ３１４において通知情報の出力が停止中でないと判定した場合、制御部１０１は、ステップＳ３１５の処理を省略し、ステップＳ３１６に処理を進める。

ステップＳ３１６において、制御部１０１は、足音判定処理を終了するか否かを判定し、終了しないと判定した場合、ステップＳ３１１に処理を戻し、それ以降の処理を繰り返す。また、ステップＳ３１６において、例えば、ユーザの指示等に基づいて、足音判定処理を終了すると判定した場合、制御部１０１は、ステップＳ３１７に処理を進め、終了処理を行い、足音判定処理を終了する。

このようにすることにより、主制御装置２０は、送信側である監視装置１０における条件だけでなく、受信側である主制御装置２０における条件に基づいて、通知情報のユーザに対する提示を制御することができる。

制御部１０１は、また、低速通信部１１１を介して取得した乳幼児８４が発声する泣き声の特徴量や定性値判定部１２３より供給される解析結果等を通知情報蓄積部１１４に供給する。通知情報蓄積部１１４は、それらの情報に、フィルタバンク１１３より供給された通知情報（音声データや画像データ）を関連付けて蓄積する。

図３６のフローチャートを参照して、映像蓄積処理を説明する。

制御部１０１は、ステップＳ３３１において、音声解析部１２２において解析された音声解析結果、および定性値判定処理部１２３において判定された定性値判定結果を、定性値判定処理部１２３より取得し、ステップＳ３３２において、監視装置１０より供給されたセンサ出力を、低速通信部１１１を介して取得し、それらを通知情報蓄積部１１４に供給する。

通知情報蓄積部１１４は、制御部１０１に制御され、ステップＳ３３３において、制御部１０１より供給された、音声解析結果、定性値判定結果、および、センサ出力に対応付けて、高速通信部１１２より供給された通知情報を記録し、映像蓄積処理を終了する。

制御部１０１は、以上のような映像蓄積処理を、通知情報が高速通信部１１２より通知情報蓄積部１１４に供給されると、必要に応じて実行する。

なお、制御部１０１は、必要に応じて、通知情報検索部１１５を制御して、通知情報蓄積部１１４に記憶されている通知情報の中から、特定の条件に対応付けられた通知情報を検索させて取得させる。制御部１０１に制御されて、通知情報蓄積部１１４より通知情報を検索して取得した通知情報検索部１１５は、その通知情報を合成処理部１１６に供給する。

すなわち、制御部１０１は、通知情報蓄積部１１４、通知情報検索部１１５、合成装置１１６、並びにセレクタ１１７を、LUT記憶部１３１に記憶されているテーブルに基づいて制御することにより、通知情報の、監視装置１０より送信されてこなかった情報を、過去に供給された情報を用いて補って、ユーザに提示する。

例えば、制御部１０１は、監視装置１０より送信されてきた通知情報に含まれる画像データを、音声解析部１２２と定性値判定部１２３の結果と、低速通信部１１１を介して取得したセンサ出力に含まれる、乳幼児８４の発声する音声の特徴量をキーにして、通知情報蓄積部１１４に蓄積させる。

そして、監視装置１０より通知情報として音声データのみしか送られてこない場合、制御部１０１は、通知情報検索部１１５を制御し、音声解析部１２２と定性値判定部１２３の結果やセンサ出力等をキーとして、通知情報蓄積部１１４に蓄積されている情報の中から、現在の乳幼児８４の状況と似た状況の画像データを検索して取得し、合成装置１１６に供給させる。さらに監視装置１０は、合成装置１１６やセレクタ１１７を制御して、通知情報蓄積部１１４に蓄積されていた画像データを、監視装置１０より供給された音声データと合成し、必要に応じて通知情報出力部１４３を介して出力させる。

このように、制御部１０１は、監視装置１０より供給された通知情報を、乳幼児８４の状況に対応付けて通知情報蓄積部１１４に蓄積させておくことにより、監視装置１０より供給されない通知情報の一部または全部のデータを、通知情報蓄積部１１４に記憶されている過去の通知情報を用いて補完し、通知情報出力部１４３を制御してユーザに提示させる。

このようにすることにより、主制御装置２０は、ユーザに不便を感じさせることなく、電力消費の激しい無線通信を著しく減らすことが出来る。これにより、主制御装置２０は、監視装置１０が電池を電源として駆動する場合においても、監視装置１０を、より長時間動作することができるようにする等、より効率的に動作させることできる。

以上のような処理を行う画像データ代用判定処理を、図３７のフローチャートを参照して説明する。

最初に、制御部１０１は、ステップＳ３５１において、高速通信部１１２を制御し、画像データが供給されたか否かを判定し、供給されていないと判定した場合、ステップＳ３５２に処理を進め、音声データが供給されたか否かを判定する。音声データが供給されたと判定した場合、制御部１０１は、ステップＳ３５３に処理を進め、定性値判定部１２３より供給される音声解析結果および定性値判定結果を取得し、それらを通知情報検索部１１５に供給する。音声解析結果および定性値判定結果を取得した通知情報検索部１１５は、制御部１０１に制御され、ステップＳ３５４において、通知情報蓄積部１１４にアクセスし、取得した音声解析結果および定性値判定結果に基づいて、それらに対応する過去の通知情報を検索し、取得する。過去の通知情報を取得した通知情報検索部１１５は、その過去の通知情報を合成処理部１１６に供給する。

合成処理部１１６は、ステップＳ３５５において、制御部１０１に制御され、通知情報検索部１１５より取得した、通知情報蓄積部１１４に蓄積されていた過去の通知情報、並びに、高速通信部１１２より供給された現在の通知情報を合成し、セレクタ１１７に供給する。セレクタ１１７は、制御部１０１に制御されて、その合成された通知情報を通知情報出力部１４３に供給し、ステップＳ３５８に処理を進める。

また、ステップＳ３５２において、音声データが供給されていないと判定した場合、制御部１０１は、解析結果や判定結果を取得することができないので、ステップＳ３５６において低速通信部１１１を制御し、監視装置１０より供給されるセンサ出力を取得し、そのセンサ出力を通知情報検索部１１５に供給する。センサ出力を供給された通知情報検索部１１５は、ステップＳ３５７において、制御部１０１に制御されて通知情報蓄積部１１４にアクセスし、供給されたセンサ出力に基づいて、過去の通知情報を検索し、取得する。過去の通知情報を取得した通知情報検索部１１５は、その過去の通知情報を合成処理部１１６に供給する。合成処理部１１６は、制御部１０１に制御され、通知情報検索部１１５より取得した、通知情報蓄積部１１４に蓄積されていた過去の通知情報をセレクタ１１７に供給する。セレクタ１１７は、制御部１０１に制御されて、その過去の通知情報を通知情報出力部１４３に供給し、ステップＳ３５８に処理を進める。

ステップＳ３５８において、合成された通知情報または過去の通知情報を供給された通知情報出力部１４３は、ステップＳ３５８において、制御部１０１に制御されてその通知情報を出力する。通知情報を出力した通知情報出力部１４３は、ステップＳ３５９に処理を進める。

また、ステップＳ３５１において、画像データが供給されていると判定した場合、制御部１０１は、ステップＳ３５９に処理を進める。ステップＳ３５９において制御部１０１は、画像データ代用判定処理を終了するか否かを判定し、終了しないと判定した場合、ステップＳ３５１に処理を戻し、それ以降の処理を繰り返す。また、ステップＳ３５９において、画像データ代用判定処理を終了すると判定した場合、制御部１０１は、ステップＳ３６０に処理を進め、終了処理を実行し、画像データ代用判定処理を終了する。

また、制御部１０１は、ユーザの指示等に基づいて、簡易表示処理を実行し、低速通信部１１１を介して取得したセンサ出力等に基づいて、簡易表示情報を作成して、簡易表示部１４２において表示させる。図３８のフローチャートを参照して、簡易表示処理を説明する。

ユーザの指示等に基づいて簡易表示処理を実行した制御部１０１は、最初に、ステップＳ４０１において、低速通信部１１１を制御し、監視装置１０より供給されるセンサ出力を取得する。センサ出力を取得した制御部１０１は、ステップＳ４０２において、そのセンサ出力に基づいて、メッセージ等の簡易表示データを作成し、それを簡易表示部１４２に供給する。簡易表示データを供給された簡易表示部１４２は、ステップＳ４０３において、制御部１０１に制御されてその簡易表示データをディスプレイに表示する等して出力する。簡易表示部１４２を制御し、簡易表示データを出力させた制御部１０１は、簡易表示処理を終了する。

以上のようにすることにより、主制御装置２０は、画像データや音声データ等の通知情報だけでなく、文字データ等の簡易表示データを用いて、ユーザに乳幼児８４の状態を簡易的に通知することができる。

このようにすることにより、主制御装置２０は、ユーザに不便を感じさせることなく、電力消費の激しい無線通信を著しく減らすことが出来る。これにより、主制御装置２０は、監視装置１０が電池を電源として駆動する場合においても、監視装置１０を、より長時間動作することができるようにする等、より効率的に動作させることできる。

また、制御部１０１は、入力部１４１を介して供給されるユーザ入力等に基づいて、新たなテーブル（更新テーブル）を作成する。その場合、制御部１０１は、作成した更新テーブルを、LUT記憶部１３１に記憶させたり、低速通信部１１１を介して、監視装置１０に供給したりする。これにより主制御装置２０は、任意のテーブルを、監視装置１０に使用させることができる。

制御部１０１は、さらに、ユーザの指示等に基づいて、LUT記憶部１３１に記憶されているテーブルの中から、適切なテーブルを選択し、そのテーブルのテーブル番号を含むテーブル番号指定情報を、低速通信部１１１を介して監視装置１０に供給する。これにより主制御装置２０は、監視装置１０において用いられるテーブルを指定することができる。

また、入力部１４１を介してユーザより「重要」を意味する入力があった場合、制御部１０１は、テーブル９１の該当部分の値を「３」に設定し、以後は過去の映像を使わないようにする。その際、更新されたテーブル９１は、監視装置１０に送信され、各部の動作に反映される。

このようにすることにより、主制御装置２０は、監視装置１０より通知情報の一部または全部が供給されていない場合、低速通信部１１１を介して監視装置１０に制御情報を供給し、通知情報を再送信させることもできる。

逆に、制御部１０１は、入力部１４１を介して「重要」を意味する入力がない場合、各部を制御して、通信量を減らすようにしてもよいし、さらには通知自体も無くすことで、さらに通信量を減らすようにしてもよい。

また、制御部１０１は、ユーザの指示等に基づいて、監視装置１０において使用されるセンサ部４１のセンサを指定する。

以上のように、主制御装置２０は、低速通信部１１１を介して制御情報を監視装置１０に供給することにより、ユーザにより入力された指示を処理に反映させることができる。

図３９および図４０のフローチャートを参照してユーザ指示受付処理について説明する。

ユーザに指示情報を入力され、ユーザ指示受付処理を開始した制御部１０１は、最初に、ステップＳ４２１において、ユーザにより使用するテーブルが指定されたか否かを判定し、LUT記憶部１３１に記憶されている複数の特徴量テーブルの中から使用テーブルが指定されたと判定した場合、ステップＳ４２２に処理を進め、指定されたテーブル番号を用いて、使用テーブルに関する設定を更新し、ステップＳ４２３において、低速通信部１１１を介して、その指定されたテーブル番号を含むテーブル番号指定情報を監視装置１０に供給する。

ステップＳ４２３の処理を終了した制御部１０１は、ステップＳ４２４に処理を進める。また、ステップＳ４２１において、ユーザにより使用するテーブルが指定されていないと判定した場合、ステップＳ４２２およびステップＳ４２３の処理を省略し、ステップＳ４２４に処理を進める。

ステップＳ４２４において、制御部１０１は、ユーザにより、新たなテーブルが作成されたか否かを判定し、作成されたと判定した場合、その作成された新たなテーブルをLUT記憶部１３１に供給し、ステップＳ４２５に処理を進める。ステップＳ４２５において、LUT記憶部１３１は、制御部１０１に制御され、供給された新たなテーブルを保存する。新たなテーブルを保存させた制御部１０１は、ステップＳ４２６において、使用テーブルの設定を更新し、新たに作成されたテーブルを使用テーブルに設定し、ステップＳ４２７において、低速通信部１１１を介して、その新たなテーブルを更新テーブルとして、監視装置１０に供給する。

ステップＳ４２７の処理を終了した制御部１０１は、図４０のステップＳ４３１に処理を進める。また、図３９のステップＳ４２４において、ユーザにより新たな特徴量テーブルが作成されていないと判定した場合、制御部１０１は、ステップＳ４２５乃至ステップＳ４２７の処理を省略し、図４０のステップＳ４３１に処理を進める。

図４０のステップＳ４３１において、制御部１０１は、ユーザにより、特徴量テーブルが更新されたか否かを判定し、更新されたと判定した場合、その更新情報をLUT記憶部１３１に供給し、ステップＳ４３２に処理を進める。ステップＳ４３２において、LUT記憶部１３１は、制御部１０１に制御され、供給された更新情報を保存する。更新情報を保存させた制御部１０１は、ステップＳ４３３において、使用テーブルの設定を更新し、使用テーブルに更新情報を反映させ、ステップＳ４３４において、低速通信部１１１を介して、その更新されたテーブルを更新テーブルとして、監視装置１０に供給する。

ステップＳ４３４の処理を終了した制御部１０１は、ステップＳ４３５に処理を進める。また、ステップＳ４３１において、ユーザにより特徴量テーブルが更新されていないと判定した場合、制御部１０１は、ステップＳ４３２乃至ステップＳ４３４の処理を省略し、ステップＳ４３５に処理を進める。

ステップＳ４３５において、制御部１０１は、ユーザにより、監視装置１０において使用されるセンサを指定されたか否かを判定し、センサを指定されたと判定した場合、ステップＳ４３６において、低速通信部１１１を介して、そのセンサ指定情報を監視装置１０に供給し、ユーザ指示受付処理を終了する。また、ステップＳ４３５において、ユーザにより監視装置１０において使用されるセンサを指定されていないと判定した場合、制御部１０１は、ステップＳ４３６の処理を省略し、ユーザ指示受付処理を終了する。

以上のように、主制御装置２０は、低速通信部１１１を介して制御情報を監視装置１０に供給することにより、ユーザにより入力された指示を処理に反映させることができる。

なお、監視装置１０の制御部３１は、以上のような処理により主制御装置２０より供給された制御情報に基づいて、各部を制御する。制御部３１は、監視装置１０に電源が投入され、制御部３１に電源が供給されると、低速通信部４２を制御して、主制御装置２０より供給される制御情報を取得させるとともに、制御情報反映処理を実行し、取得した制御情報に基づいて各部を制御する。制御情報反映処理を図４１のフローチャートを参照して説明する。

最初に、ステップＳ４５１において、制御部３１は、低速通信部４２を介して制御情報を取得したか否かを判定し、取得したと判定した場合は、ステップＳ４５２に処理を進め、取得した制御情報が、監視装置１０において使用される特徴量テーブル１８１を、テーブル番号を用いて指定するテーブル番号指定情報であるか否かを判定する。取得した制御情報がテーブル番号指定情報である、または、取得した制御情報にテーブル番号指定情報が含まれると判定した場合、制御部３１は、ステップＳ４５３に処理を進め、指定されたテーブル番号に対応する特徴量テーブルをLUT記憶部４６より読み出し、その特徴量テーブルをRAM３２に保持させる等して使用テーブルとして設定する。

ステップＳ４５３の処理を終了した制御部３１は、ステップＳ４５４に処理を進める。また、ステップＳ４５２において、取得した制御情報がテーブル番号指定情報でない、または、取得した制御情報にテーブル番号指定情報が含まれていないと判定した場合、制御部３１は、ステップＳ４５３の処理を省略し、ステップＳ４５４に処理を進める。

ステップＳ４５４において制御部３１は、取得した制御情報が、主制御装置２０において更新された更新テーブルであるか否かを判定する。取得した制御情報が更新テーブルである、または、取得した制御情報に更新テーブルが含まれると判定した場合、制御部３１は、ステップＳ４５５に処理を進め、供給された更新テーブルをLUT記憶部４６の更新LUT記憶部７２に記憶させ、ステップＳ４５６において、その更新テーブルをRAM３２に保持させる等して使用テーブルとして設定する。

ステップＳ４５６の処理を終了した制御部３１は、ステップＳ４５７に処理を進める。また、ステップＳ４５４において、取得した制御情報が更新テーブルでない、または、取得した制御情報に更新テーブルが含まれていないと判定した場合、制御部３１は、ステップＳ４５５およびステップＳ４５６の処理を省略し、ステップＳ４５７に処理を進める。

ステップＳ４５７において制御部３１は、取得した制御情報が、センサ部４１において動作させるセンサを指定するセンサ指定情報であるか否かを判定する。取得した制御情報がセンサ指定情報である、または、取得した制御情報に繊細指定情報が含まれると判定した場合、制御部３１は、ステップＳ４５８に処理を進め、センサ部４１を制御し、動作させるセンサを、そのセンサ指定情報により指定されるセンサに切り替える。

ステップＳ４５８の処理を終了した制御部３１は、ステップＳ４５９に処理を進める。また、ステップＳ４５７において、取得した制御情報がセンサ指定情報でない、または、取得した制御情報にセンサ指定情報が含まれていないと判定した場合、制御部３１は、ステップ４５８の処理を省略し、ステップＳ４５９に処理を進める。さらに、ステップＳ４５１において、制御情報を取得していないと判定した場合、制御部３１は、ステップＳ４５２乃至ステップＳ４５８の処理を省略し、ステップＳ４５９に処理を進める。

ステップＳ４５９において、制御部３１は、制御情報反映処理を終了するか否かを判定し、終了しないと判定した場合、ステップＳ４５１に処理を戻し、それ以降の処理を繰り返す。ステップＳ４５９において、図示せぬ入力部等を介して入力されたユーザ入力等に基づいて、監視装置１０の電源をオフしたり、サスペンド状態に移行したりするために、制御情報反映処理を終了すると判定した場合、制御部３１は、ステップＳ４６０に処理を進め、終了処理を行った後、制御情報反映処理を終了する。

以上のように制御部３１は、制御情報を反映する。これにより、主制御装置２０は、制御情報を供給することにより、監視装置１０の動作を制御することができる。

なお、図１や図４に示される主制御装置２０の大きさは、実現可能であれば、どのような大きさであっても良く、例えば、所定の位置に設置される据え置き型の装置であってもよいし、ユーザにより携帯可能なモバイル機器であってもよい。

また、主制御装置２０の内部の構成例について、図４を参照して説明したが、これに限らず、例えば、図４２に示されるように、リモートコントローラにより、図４に示される主制御装置２０の一部の機能を別体として実現するようにしてもよい。

図４２において、リモートコントローラ３４０は、主制御装置３６０に対応する装置であり、ユーザが携帯可能なサイズの装置であり、低速通信部３４１、アンテナ３４２、入力部３４３、簡易表示部３４４、モニタ３５１およびスピーカ３５２を含む通知情報出力部３４５、高速通信部３４６、並びに、アンテナ３４７よりなる。リモートコントローラ３４０の低速通信部３４１は、アンテナ３４２を介して、主制御装置３６０の低速通信部１１１と無線通信を行い、入力部３４３を介して入力されたユーザ入力を主制御装置３６０に供給する。また、低速通信部３４１は、低速通信部１１１と無線通信を行い、簡易表示情報を取得すると、簡易表示部３４４に供給し、それを表示させる。入力部３４３は、図４の入力部１４１と同様の入力インタフェースであり、ユーザの入力を受け付け、低速通信部３４１に供給する。簡易表示部３４４は、上述した簡易表示部１４２と同様の表示部であり、低速通信部３４１を介して取得したメッセージを簡易表示する。

また、高速通信部３４６は、アンテナ３４７を介して、主制御装置３６０の高速通信部１１２と無線通信を行い、通知情報を取得すると、その通知情報を、通知情報出力部３４５に供給して出力させる。通知情報出力部３４５は、図４に示される通知情報出力部１４３と同様にモニタ３５１およびスピーカ３５２を有しており、それらを用いて、高速通信部３４６を介して供給された通知情報を出力する。

主制御装置３６０は、図４に示される主制御装置２０より、入力部１４１、簡易表示部１４２、および通知情報出力部１４３をリモートコントローラ３４０として構成させた装置である。なお、主制御装置３６０において、セレクタ１１７の出力は、高速通信部１１２に供給され、高速通信部１１２を介して、リモートコントローラ３４０に供給される。

主制御装置３６０がこのような装置である場合、主制御装置３６０は、据え置き型の装置にし、ユーザはリモートコントローラ３４０を携帯するようにしてもよい。

なお、本発明は、上述した機能以外の機能を有する構成の情報処理装置においても適用することができる。従って、上述した監視装置１０または主制御装置２０は、上述した以外の機能をさらに有するようにしてももちろんよい。

上述した一連の処理は、ハードウェアにより実行させることもできるし、上述したようにソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体等からインストールされる。

図４３は、このような処理を実行するパーソナルコンピュータの内部構成例を示す図である。

パーソナルコンピュータ４００のCPU（Central Processing Unit）４０１は、ROM４０２に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）４０３には、CPU４０１が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。

CPU４０１、ROM４０２、およびRAM４０３は、バス４０４を介して相互に接続されている。このバス４０４にはまた、入出力インタフェース４１０も接続されている。

入出力インタフェース４１０は、キーボードやマウスから構成される入力部４１１が接続され、入力部４１１に入力された信号をCPU４０１に出力する。また、入出力インタフェース４１０には、ディスプレイやスピーカなどから構成される出力部４１２も接続されている。

さらに、入出力インタフェース４１０には、ハードディスクなどから構成される記憶部４１３、および、インターネットなどのネットワークを介して他の装置とデータの通信を行う通信部４１４も接続されている。ドライブ４１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどの記録媒体からなるリムーバブルメディア４１６よりデータを読み出したり、データを書き込んだりするときに用いられる。

記録媒体は、図４３に示されるように、パーソナルコンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory），DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini-Disc）（登録商標）を含む）、若しくは半導体メモリなどよりなるパッケージメディアを含むリムーバブルメディア１２１により構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているROM４０２や記憶部４１３が含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

本発明を適用した監視システムの構成例を示すブロック図である。 図１に示される監視装置の詳細な構成例を示すブロック図である。 図２に示される通知情報取得部の詳細な構成例を示すブロック図である。 図１に示される主制御装置の詳細な構成例を示すブロック図である。 図４に示されるフィルタバンクの詳細な構成例を示すブロック図である。 センサ切り替え処理を説明するフローチャートである。 センサ切り替え処理を説明する、図６に続くフローチャートである。 監視制御処理を説明するフローチャートである。 図２のLUT記憶部に記憶されるテーブルの構成例を示す図である。 動作制御処理を説明するフローチャートである。 動作制御処理を説明する、図１０に続くフローチャートである。 動作制御処理を説明する、図１１に続くフローチャートである。 第１の通知情報提供処理を説明するフローチャートである。 第２の通知情報提供処理を説明するフローチャートである。 低速通信処理を説明するフローチャートである。 受信制御処理を説明するフローチャートである。 遅延量を説明する模式図である。 フィルタバンクに入力される音声データの波形の例を示す図である。 絶対値化された音声データの波形の例を示す図である。 遅延量補正の原理を説明する図である。 加算式と減算式の関係を説明する図である。 移動平均を説明する図である。 相関関係を説明する図である。 ノイズ除去処理を説明するフローチャートである。 乳幼児の泣き声の波形の例を示す図である。 音声解析処理を説明するフローチャートである。 音声解析処理を説明する、図２６に続くフローチャートである。 音声解析処理を説明する、図２７に続くフローチャートである。 音声解析処理の様子の例を説明する図である。 特徴量空間に分布する特徴量データの例を示す図である。 特徴量空間に対応する特徴量テーブルの例を示す図である。 数値化された特徴量テーブルの例を示す図である。 テーブルリストの例を説明する図である。 画像データ出力判定処理を説明するフローチャートである。 足音判定処理を説明するフローチャートである。 映像蓄積処理を説明するフローチャートである。 画像データ代用判定処理を説明するフローチャートである。 簡易表示処理を説明するフローチャートである。 ユーザ指示受付処理を説明するフローチャートである。 ユーザ指示受付処理を説明する、図３９に続くフローチャートである。 制御情報反映処理を説明するフローチャートである。 本発明を適用した主制御装置およびリモートコントローラの構成例を示す図である。 本発明を適用したパーソナルコンピュータの構成例を示す図である。

符号の説明

１ 監視システム， １０ 監視装置， ２０ 主制御装置， ３１ 制御部， ４１ センサ部， ４２ 低速通信部， ４３ 通知情報取得部， ４４ 通知情報処理部， ４５ 高速通信部， ４６ LUT記憶部， ４７ 電力供給部， ４８ 動作制御部， ６２ 集音部， ８１および８２ マイク， ８４ 乳幼児， ８５ 他の人物， １０１ 制御部， １１１ 低速通信部， １１２ 高速通信部， １１３ フィルタバンク， １１４ 通知情報蓄積部， １１５ 通知情報検索部， １１６ 合成処理部， １１７ セレクタ， １２１ 足音解析部， １２２ 音声解析部， １２３ 定性値判定部， １３１ LUT記憶部， １４１ 入力部， １４２ 簡易表示部， １４３ 通知情報出力部， １５１ モニタ， １５２ スピーカ， １６１ ローパスフィルタ， １６２ 雑音成分除去処理部， １７１ 遅延量決定部， １７２ 遅延補正加算処理部， １７３ 遅延補正減算処理部， １７４ 移動平均処理部， １７５ 加算処理部， １７６ 相関係数処理部， １７７ 該当領域判定部， １７８ 減衰処理部， １８１ 特徴量テーブル， ３１０ 特徴量空間 ， ３２１ 特徴量テーブル， ３２５ 特徴量テーブル， ３３１ テーブルリスト， ３４０ リモートコントローラ， ３４１ 低速通信部， ３４２ アンテナ， ３４３ 入力部， ３４４ 簡易表示部， ３４５ 通知情報出力部， ３４６ 高速通信部， ３４７ アンテナ， ３６０ 主制御装置， ４００ パーソナルコンピュータ ４１６ リムーバブルメディア

Claims (16)

1. 監視対象を監視する監視装置と、前記監視装置を制御する主制御装置とを備える監視システムであって、
   前記監視装置は、
   第１の音声入力部と、前記第１の音声入力部と所定の間隔をあけて配置された第２の音声入力部とを有し、
   前記第１の音声入力部において得られた第１の音声信号と、前記第２の音声入力部において得られた第２の音声信号を前記主制御装置に供給し、
   前記主制御装置は、
   前記監視装置より供給された前記第１の音声信号に含まれる前記所望の音声信号を、前記第２の音声信号に含まれる前記所望の音声信号に対して相対的に所定の量だけ遅延し、
   相対的に遅延された前記第１の音声信号と前記第２の音声信号とを加算して第３の音声信号を生成し、
   相対的に遅延された前記第１の音声信号と前記第２の音声信号との一方から他方を減算して第４の音声信号を生成し、
   前記第４の音声信号の移動平均を算出し、
   前記第１の音声信号および前記第２の音声信号が、所望の音声信号を多く含む第１の領域の音声信号であるか、前記所望の音声信号がほとんど含まれず、雑音成分を多く含む第２の領域の音声信号であるかを判定し、
   前記第１の音声信号および前記第２の音声信号が前記第２の領域の音声信号であると判定された場合、前記第３の音声信号から、前記第４の音声信号および前記第４の音声信号の移動平均の乗算結果を減算することにより、前記雑音成分を減衰させた音声信号を生成する
   監視システム。
2. 前記主制御装置は、
   前記第１の音声信号と前記第２の音声信号との相関関係を示す相関係数を算出し、
   算出された前記相関係数の値の大きさによって、前記第１の音声信号および前記第２の音声信号が、前記第１の領域の音声信号であるか、前記第２の領域の音声信号であるかを判定する
   請求項１に記載の監視システム。
3. 前記主制御装置は、
   算出された前記相関係数の値が、予め定められた所定の閾値より大きい場合、前記第１の音声信号および前記第２の音声信号が前記第１の領域の音声信号であると判定し、算出された前記相関係数の値が前記閾値より小さい場合、前記第１の音声信号および前記第２の音声信号が前記第２の領域の音声信号であると判定する
   請求項２に記載の監視システム。
4. 前記閾値の値は、「−１」以上であり、かつ、「１」以下である
   請求項３に記載の監視システム。
5. 前記主制御装置は、
   前記第１の音声入力部および前記第２の音声入力部の位置と、前記所望の音声信号に対応する音声の発生源の位置との関係に応じて、前記第１の音声信号を相対的に遅延する量を決定する
   請求項１に記載の監視システム。
6. 前記主制御装置は、
   前記監視装置の動作を制御する制御情報を前記監視装置に供給し、
   前記監視装置は、
   前記制御情報に基づいて、前記音声信号を前記主制御装置に供給するか否かを判定する
   請求項１に記載の監視システム。
7. 前記制御情報は、前記監視装置により使用されるテーブルのテーブル番号を指定する情報である
   請求項６に記載の監視システム。
8. 前記主制御装置は、
   前記主制御装置が有するテーブルを更新する新たなテーブルを前記監視装置に供給する
   請求項６に記載の監視システム。
9. 前記主制御装置は、
   前記監視装置において使用されるセンサを指定する情報を前記監視装置に供給する
   請求項６に記載の監視システム。
10. 第１の音声入力部において得られた第１の音声信号に含まれる前記所望の音声信号を、前記第１の音声入力部と所定の間隔をあけて配置された第２の音声入力部において得られた第２の音声信号に含まれる前記所望の音声信号に対して相対的に所定の量だけ遅延する遅延手段と、
    前記遅延手段により相対的に遅延された前記第１の音声信号と前記第２の音声信号とを加算して第３の音声信号を生成する加算手段と、
    前記遅延手段により相対的に遅延された前記第１の音声信号と前記第２の音声信号との一方から他方を減算して第４の音声信号を生成する減算手段と、
    前記減算手段により生成された前記第４の音声信号の移動平均を算出する移動平均算出手段と、
    前記第１の音声信号および前記第２の音声信号が、所望の音声信号を多く含む第１の領域の音声信号であるか、前記所望の音声信号がほとんど含まれず、雑音成分を多く含む第２の領域の音声信号であるかを判定する領域判定手段と、
    前記領域判定手段により前記第１の音声信号および前記第２の音声信号が前記第２の領域の音声信号であると判定された場合、前記第３の音声信号から、前記第４の音声信号および前記第４の音声信号の移動平均の乗算結果を減算することにより、前記雑音成分を減衰させた音声信号を生成する減衰手段と
    を備える信号処理装置。
11. 前記第１の音声信号と前記第２の音声信号との相関関係を示す相関係数を算出する相関係数算出手段をさらに備え、
    前記領域判定手段は、前記相関係数算出手段により算出された前記相関係数の値の大きさによって、前記第１の音声信号および前記第２の音声信号が、前記第１の領域の音声信号であるか、前記第２の領域の音声信号であるかを判定する
    請求項１０に記載の信号処理装置。
12. 前記領域判定手段は、前記相関係数算出手段により算出された前記相関係数の値が、予め定められた所定の閾値より大きい場合、前記第１の音声信号および前記第２の音声信号が前記第１の領域の音声信号であると判定し、前記相関係数算出手段により算出された前記相関係数の値が前記閾値より小さい場合、前記第１の音声信号および前記第２の音声信号が前記第２の領域の音声信号であると判定する
    請求項１１に記載の信号処理装置。
13. 前記閾値の値は、「−１」以上であり、かつ、「１」以下である
    請求項１２に記載の信号処理装置。
14. 前記第１の音声入力部および前記第２の音声入力部の位置と、前記所望の音声信号に対応する音声の発生源の位置との関係に応じて、前記遅延手段が前記第１の音声信号を相対的に遅延する量を決定する遅延量決定手段をさらに備え、
    前記遅延手段は、前記遅延量決定手段により決定された量だけ、前記第１の音声信号を相対的に遅延する
    請求項１０に記載の信号処理装置。
15. 信号処理装置の信号処理方法であって、
    前記信号処理装置の遅延手段が、第１の音声入力部において得られた第１の音声信号に含まれる前記所望の音声信号を、前記第１の音声入力部と所定の間隔をあけて配置された第２の音声入力部において得られた第２の音声信号に含まれる前記所望の音声信号に対して相対的に所定の量だけ遅延し、
    前記信号処理装置の加算手段が、相対的に遅延された前記第１の音声信号と前記第２の音声信号とを加算して第３の音声信号を生成し、
    前記信号処理装置の減算手段が、相対的に遅延された前記第１の音声信号と前記第２の音声信号との一方から他方を減算して第４の音声信号を生成し、
    前記信号処理装置の移動平均手段が、前記第４の音声信号の移動平均を算出し、
    前記信号処理装置の領域判定手段が、前記第１の音声信号および前記第２の音声信号が、所望の音声信号を多く含む第１の領域の音声信号であるか、前記所望の音声信号がほとんど含まれず、雑音成分を多く含む第２の領域の音声信号であるかを判定し、
    前記信号処理装置の減衰手段が、前記第１の音声信号および前記第２の音声信号が前記第２の領域の音声信号であると判定された場合、前記第３の音声信号から、前記第４の音声信号および前記第４の音声信号の移動平均の乗算結果を減算することにより、前記雑音成分を減衰させた音声信号を生成する
    信号処理方法。
16. コンピュータを、
    第１の音声入力部において得られた第１の音声信号に含まれる前記所望の音声信号を、前記第１の音声入力部と所定の間隔をあけて配置された第２の音声入力部において得られた第２の音声信号に含まれる前記所望の音声信号に対して相対的に所定の量だけ遅延する遅延手段と、
    前記遅延手段により相対的に遅延された前記第１の音声信号と前記第２の音声信号とを加算して第３の音声信号を生成する加算手段と、
    前記遅延手段により相対的に遅延された前記第１の音声信号と前記第２の音声信号との一方から他方を減算して第４の音声信号を生成する減算手段と、
    前記減算手段により生成された前記第４の音声信号の移動平均を算出する移動平均算出手段と、
    前記第１の音声信号および前記第２の音声信号が、所望の音声信号を多く含む第１の領域の音声信号であるか、前記所望の音声信号がほとんど含まれず、雑音成分を多く含む第２の領域の音声信号であるかを判定する領域判定手段と、
    前記領域判定手段により前記第１の音声信号および前記第２の音声信号が前記第２の領域の音声信号であると判定された場合、前記第３の音声信号から、前記第４の音声信号および前記第４の音声信号の移動平均の乗算結果を減算することにより、前記雑音成分を減衰させた音声信号を生成する減衰手段
    として機能させるプログラム。

Images