JP7322916B2 - 情報処理方法、情報処理システムおよびプログラム - Google Patents

Description

本発明は、情報処理方法、情報処理システムおよびプログラムに関する。

被監視者の健康状態、居住環境、安全等を見守る装置やシステムが各種提案されている。（例えば、特許文献１）

特開２００５－１９６８１２号公報

特許文献１には、補聴器を用いた見守りシステムが記載されている。この見守りシステムでは、補聴器で集音された音声に基づいて、補聴器の使用者の安否を監視者に通知している。

しかしながら、補聴器は使用者に常に装着されて使用されているとは限らず、使用者の耳から外されてその電源が切断され、あるいは充電されることも日常的に多々あり得る。そのような使用者が補聴器を装着していない時には、補聴器での集音が行えず、使用者の安否を確認して必要により通知することができない可能性がある。

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、使用者が機器を携帯していないときに、使用者の異常を適切に判定し、その判定結果を通知することができる情報処理方法、情報処理システムおよびプログラムを提供することにある。

本発明の一態様に係る情報処理方法は、マイクロホン、音声出力部及び生体情報を検出する検出部を備え、使用者に携帯される機器を含むシステムでの情報処理方法であって、前記機器が前記使用者に装着されていないかどうかを判定する判定工程と、前記判定工程で前記機器が前記使用者に装着されていることを判定した場合に、前記機器に前記検出部による前記使用者の生体情報を取得させる取得工程と、前記判定工程で前記機器が前記使用者に装着されていることを判定した場合に、前記機器に前記マイクロホンによって集音した集音データと、前記取得工程で取得した前記使用者の生体情報とに基づいて、前記使用者に関する異常が発生しているか否かを判定し、前記判定工程で前記機器が前記使用者に装着されていないことを判定した場合に、前記集音データに基づいて、前記使用者に関する異常が発生しているか否かを判定する異常判定工程と、前記異常判定工程による判定結果を出力する場合に、前記音声出力部により前記使用者に対して予め設定された音声情報を出力する出力工程と、を有する。

本発明によれば、使用者が機器を携帯していないときに、使用者の異常を適切に判定し、その判定結果を通知することができる。

本発明の一実施形態に係るシステムの概略構成を示す図である。 同実施形態に係る補聴器の電子回路の機能構成を示すブロック図である。 同実施形態に係る充電器の電子回路の機能構成を示すブロック図である。 同実施形態に係る補聴器装着時のシステム全体での処理内容を示すフローチャートである。 同実施形態に係る補聴器非装着時のシステム全体での処理内容を示すフローチャートである。

以下、本発明を補聴器とその充電器を用いた見守りシステムに適用した場合の一実施形態について、図面を参照して説明する。

［構成］
図１は、本実施形態に係るシステム全体の概略構成を示す図である。システムは、使用者ＷＰが使用する補聴器１０と、補聴器１０を充電するための充電器３０と、使用者ＷＰが所持するスマートフォンＳＰと、ウェブサーバＳＶとを有する。

スマートフォンＳＰは、使用者ＷＰが自宅にいる場合にも外出する場合にも携帯可能なモバイル機器であることを前提としている。

補聴器１０と充電器３０とスマートフォンＳＰとの間は、例えばＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標）Ｌｏｗ Ｅｎｅｒｇｙ）等の近距離通信技術により、互いに無線接続される。

スマートフォンＳＰは、ウェブサーバＳＶと、インターネットを含んだネットワークＮＷを介して接続される。

スマートフォンＳＰは、一般的なスマートフォンに限らず、他に例えばパーソナルコンピュータ（ＰＣ）、タブレット型の情報端末等といった各種の情報端末機器でも良い。スマートフォンＳＰは、予めインストールした本実施形態に係る見守り用のアプリケーションソフトを用い、ネットワークＮＷを介して接続されるウェブサーバＳＶにアクセスして、ウェブサーバＳＶとの間でデータの送受信が実行可能となる。

充電器３０は、家庭用電源に接続された状態で、使用者ＷＰが装着されている補聴器１０を取り外して収納することにより、図示する如く補聴器１０と電気的に接続され、それに応じて、補聴器１０が内蔵する充電池への充電が実行される。このように、充電器３０による補聴器１０の充電中には、使用者ＷＰは、補聴器１０を装着することも携帯することもできない。本実施形態では、例えば電磁誘導による非接触給電とするが、双方に設けた給電用の端子を直接接触させる給電方法としても良い。また、充電器３０と補聴器１０の間では、補聴器１０の充電中、補聴器１０による周囲環境の集音処理を実行させるための給電動作が前記充電動作とは別途実行され、補聴器１０で集音された音データは、スマートフォンＳＰに送信される。

スマートフォンＳＰは、前述したアプリケーションソフトにより、補聴器１０から送信された音データ等を、ネットワークＮＷを介してウェブサーバＳＶに送信する。

ウェブサーバＳＶは、前述したアプリケーションソフトを提供する企業と何らかの業務提携の関係を有するか、あるいは前述したアプリケーションソフトを提供する企業が直接運営するサーバである。ウェブサーバＳＶは、スマートフォンＳＰを介して送信された音データ等に基づき、何らかの異常が発生した可能性が高いか否かを判定するモニタリング処理を実行する。ウェブサーバＳＶは、何らかの異常が発生したと判定した時点で、事前に登録されている連絡先の対象者に、使用者ＷＰに異常が発生した可能性があることを通報する。またウェブサーバＳＶは、事前に登録されている通報要項に従い、病院や消防署等、医療機関等に対して通報するものとしても良い。

図２は、補聴器１０の電子回路の機能構成を示すブロック図である。補聴器１０は、バスラインＢ１を介して互いに接続された、音処理部１１と、制御部１２と、メインメモリ１３と、プログラムメモリ１４と、拍動センサ１５と、体温センサ１６と、加速度センサ１７と、充電コントローラ１８と、通信部１９と、マイクロホン２０と、スピーカ２１とを備える。

音処理部１１は、制御部１２の制御の下に、マイクロホン２０で集音した音を電気信号に変換し、増幅器で増幅処理を行って、スピーカ２１により再度、音として出力させる電気回路である。使用者ＷＰが補聴器１０を装着した状態では、マイクロホン２０での集音により取得した音の電気信号の周波数特性を、増幅器内のフィルタ回路を用いた周波数処理を実行することによって調整し、調整した音をスピーカ２１から出力させる。周波数処理として、音処理部１１は、周波数帯域毎に増幅率を異ならせた増幅調整を行う。具体的には、音処理部１１は通常の補聴器本来の動作として、マイクロホン２０での集音により取得した音を変換した電気信号に対し、特にヒトの声に相当する周波数範囲、例えば１００［Ｈｚ］乃至１０００［Ｈｚ］の音の音圧が他の周波数範囲よりも多少高くなるように増幅し、加えて、ヒトの声に相当する周波数範囲内でもその低域側と高域側をさらに音圧が多少高くなるように増幅することによって、出力する音声の周波数特性を調整する。

また音処理部１１は、制御部１２の制御の下に、補聴器１０が充電器３０に収納された状態では、マイクロホン２０による集音機能のみを動作させて、充電器３０が設置されている環境内で集音したデジタル値の集音データを出力する。この際に音処理部１１は、取得した集音データに対して、前述した一部の周波数帯域の増幅率を異ならせるような周波数特性の調整処理は行わない。

制御部１２は、各種信号処理等を行うプロセッサで構成される。制御部１２としては、ＣＰＵ(Central Processing Unit)、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field Programmable Gate Array)、またはＧＰＵ(Graphics Processing Unit)等の各種集積回路が用いられてもよい。すなわち、補聴器１０では、各種プロセッサが用いられ得る。

メインメモリ１３は、例えば、ＤＲＡＭ(Dynamic ＲＡＭ)、ＳＲＡＭ(Static ＲＡＭ)等の揮発性メモリが用いられ得る。メインメモリ１３は、制御部１２の主記憶装置として機能する。プログラムメモリ１４は、例えばフラッシュメモリ等の不揮発性メモリが用いられる。プログラムメモリ１４は、起動プログラムや補聴器１０が動作するための動作プログラムを記録している。メインメモリ１３およびプログラムメモリ１４は、これらに限らず各種記憶装置に置換し得る。

拍動センサ１５は、使用者ＷＰが補聴器１０を装着した状態で、例えば耳内の耳壁での血流量の変動に伴う赤外線放出量の変動から、使用者ＷＰの拍動を検出するセンサである。体温センサ１６は、同じく使用者ＷＰが補聴器１０を装着した状態で、例えば耳内の耳壁での放射熱量を示す赤外線放出量から、使用者ＷＰの体温を検出するサーモパイルやボロメータ素子を用いたセンサである。

拍動センサ１５で検出する拍動数を示すデータと、体温センサ１６で検出する体温を示すデータとが、使用者ＷＰのバイタル情報として使用される。

加速度センサ１７は、例えば互いに直交する３軸方向の加速度を検出可能な加速度センサで構成される。加速度センサ１７は、使用者ＷＰが補聴器１０を装着した状態で、加速度センサ１７に与えられる、前記の３軸方向の外力の加速度を検出する。加速度センサ１７での検出結果は、使用者ＷＰの動きを示すデータとして使用される。

充電コントローラ１８は、例えばプロセッサを含む１チップマイコンで構成され、補聴器１０を充電器３０に収納した状態で、補聴器１０の内蔵電池である充電池（図示せず）に充電を行う場合の主として充電池に流れる電流量の制御を行う充電動作専用のコントローラである。補聴器１０が充電器３０に収納された状態で電磁誘導による非接触充電を行う構造である場合、充電コントローラ１８は、充電器３０からの給電を受ける非接触トランスでの通電状態に基づいて、補聴器１０が充電器３０に電気的に接続されているか否かを判定できる。この充電コントローラ１８での接続判定の結果が制御部１２に通知されて、補聴器１０の側で充電器３０との接続の有無を示す情報が共有される。

通信部１９は、前述した如く、例えばＢＬＥ（登録商標）技術により、事前にペアリングの設定がなされた充電器３０との間で、データの送受を行う。

図３は、充電器３０の電子回路の機能構成を示すブロック図である。充電器３０は、バスラインＢ２を介して互いに接続された、充電コントローラ３１と、制御部３２と、メインメモリ３３と、プログラムメモリ３４と、バッテリコントローラ３５と、通信部３６とを備える。

充電コントローラ３１は、補聴器１０が充電器３０に収納された状態で、制御部３２の制御の下に、補聴器１０の充電池に供給する電力量（電流量）を制御する電気回路である。補聴器１０が充電器３０に収納された状態で電磁誘導による非接触充電を行う構造である場合、充電コントローラ３１は、補聴器１０への給電を行う非接触トランスでの通電状態に基づいて、補聴器１０が充電器３０に電気的に接続されているか否かを判定できる。この充電コントローラ３１での接続判定の結果が制御部３２に通知されて、充電器３０の側で補聴器１０の接続の有無を示す情報が共有される。

制御部３２は、各種信号処理等を行うプロセッサで構成される。制御部３２としては、ＣＰＵ(Central Processing Unit)、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field Programmable Gate Array)、又はＧＰＵ(Graphics Processing Unit)等の各種集積回路が用いられてもよい。すなわち、充電器３０では、各種プロセッサが用いられ得る。

メインメモリ３３は、制御部３２の主記憶装置として機能する。プログラムメモリ３４は、起動プログラムや補聴器１０が動作するための動作プログラムを記録している。
バッテリコントローラ３５は、例えばプロセッサを含む１チップマイコンで構成され、制御部３２の制御の下に、充電器３０が内蔵する、補聴器１０の充電池に比してより大容量のバッテリ（図示せず）の充放電動作を制御する。充電器３０が内蔵するバッテリは、例えばＵＳＢ（Universal Serial Bus）規格にしたがった直流電圧（＋5［Ｖ］）で充電される。

通信部３６は、前述した如く、例えばＢＬＥ（登録商標）技術により、事前にペアリングの設定がなされた補聴器１０およびスマートフォンＳＰとの間で、それぞれデータの送受信を行う。

なお、スマートフォンＳＰのハードウェア回路の機能構成については、一般的なスマートフォンやその他の情報端末機器と同様であるものとして、その説明を省略する。スマートフォンＳＰは、例えば５Ｇ規格の携帯電話通信網と通信可能な通信部を有し、補聴器１０で取得された音データをサーバＳＶに送信する。スマートフォンＳＰは、前述した補聴器１０用のアプリケーションソフトにより、補聴器１０を用いた使用者ＷＰの見守り状態の設定と解除とを切替えられる。スマートフォンＳＰにより切替えられた見守り状態の設定または解除は、システム全体で認識される情報として補聴器１０、充電器３０及びウェブサーバＳＶでも共有される。

［動作］
以下、本発明の動作について図面を参照して説明する。

なお、本実施形態では、使用者ＷＰが補聴器１０を装着している／いないに拘わらず、補聴器１０を用いた使用者ＷＰに対する見守りを行う状態を、スマートフォンＳＰに事前にインストールしたアプリケーションソフトにより設定可能であるものとする。

図４は、補聴器１０が使用者ＷＰに装着された状態で実行されるシステム全体の動作を説明するフローチャートである。補聴器１０においては、充電器３０に収納された状態から補聴器１０が取り外されることを充電コントローラ１８が検出して制御部１２に通知し、図４の処理を開始する。

処理当初に補聴器１０の制御部１２は、例えば体温センサ１６および加速度センサ１７の出力に基づいて、この補聴器１０が使用者ＷＰに装着された状態であるか否かを繰り返し判断する（ステップＳ１００）。

体温センサ１６および加速度センサ１７の出力により補聴器１０が使用者ＷＰに装着された状態であると判断した場合（ステップＳ１００のＹＥＳ）、制御部１２は、補聴器１０が使用者ＷＰに携帯されているとして、音処理部１１を制御することによって、人体装着時の補聴器１０に本来の動作を継続して実行させる。これにより、マイクロホン２０による集音動作が実行され、それにより取得された集音データが適宜、周波数帯域を考慮して音処理部１１に増幅されるとともに、スピーカ２１から拡声出力される（ステップＳ１０１）。また、補聴器の制御部１２は、補聴器１０が使用者ＷＰに装着されたことをスマートフォンＳＰに通知する。

合わせて補聴器１０を含むシステムでは、スマートフォンＳＰにおいて見守り状態が設定されているか否かを判断する（ステップＳ１０２）。

見守り状態が設定されていないと判断した場合（ステップＳ１０２のＮＯ）、補聴器１０の制御部１２は、以下のステップＳ１０３以降の処理を省略し、ステップＳ１０１からの処理に戻る。なお、スマートフォンＳＰにおける見守り状態であるか否かの判別結果は、スマートフォンＳＰの通信部から、補聴器１０の通信部１９及びウェブサーバＳＶに送信される。

また、ウェブサーバＳＶにおいては、補聴器１０を使用する使用者ＷＰに対する見守り状態を一時的に解除しているものと認識して、スマートフォンＳＰを介した補聴器１０からの音データその他の取得を中断する。

また、ステップＳ１０２において、見守り状態が設定されていると判断した場合（ステップＳ１０２のＹＥＳ）、補聴器１０の制御部１２は、マイクロホン２０で取得した集音データと、拍動センサ１５、体温センサ１６、加速度センサ１７でそれぞれ検出したバイタル情報を示すデータおよび動きを示す動きデータとを合わせて、スマートフォンＳＰへ送信する。

スマートフォンＳＰでは、補聴器１０が見守り状態に設定されている間、補聴器１０から送信された集音データ、バイタル情報を示すバイタルデータおよび動きを示す動きデータを周期的に取得してウェブサーバＳＶへ送信する（ステップＳ１０３）。この場合、前述したように、マイクロホン２０での集音により取得した音の電気信号の周波数特性は、増幅器内のフィルタ回路を用いた周波数処理を実行することによって調整される。

ウェブサーバＳＶは、使用者ＷＰに対する見守りのモニタリング処理において、予め設定されている条件式を用いたアルゴリズムに基づいて、集音データやバイタルデータ、動きを含む各種データを総合的に解析処理する（ステップＳ１０４）。

この場合、例えば、比較的長い所定時間（例えば１８時間以上）にわたって集音データで示される音が無音の状態が継続したとき、バイタルデータの値もしくはバイタルデータの変化値が所定の上限値と下限値で規定される範囲外であるとき、または、動きデータで示される使用者ＷＰの動きがない状態が上記の所定時間、継続したときに、使用者ＷＰに関する異常が発生していると判定する。

一方、上記の所定時間にわたって集音データで表される音が無音の状態が継続していないとき、または、バイタルデータの値もしくはバイタルデータの変化値が所定の上限値と下限値で規定される範囲内にあるときに、使用者ＷＰに関する異常が発生していないと判定する。上記のように異常を判定するのは、無音の状態が長時間継続したときには、長時間にわたって使用者ＷＰによる生活音が発生しておらず、使用者ＷＰが倒れている可能性があるためである。同様に、使用者ＷＰの動きが無い状態が長時間、継続したときには、使用者ＷＰが倒れている可能性があるためである。また、反対に、予め設定されている音量以上の大きさの音が発生した場合にも、異常が発生したと判定しても良い。この場合、発生した音をサーバＳＶに送信して解析を行うことで、具体的に発生した事態の詳細を推定できる。

ウェブサーバＳＶは、上記のステップＳ１０４による解析処理に基づいて、使用者ＷＰに異常が発生しているか否かを判定する（ステップＳ１０５）。使用者ＷＰに関する異常が発生していないと判定した場合（ステップＳ１０５のＮＯ）、再びステップＳ１００からの処理に戻る。

一方、ステップＳ１０５において、使用者ＷＰに関する異常が発生していると判定した場合（ステップＳ１０５のＹＥＳ）には、ウェブサーバＳＶは、事前に登録されている対象者の端末に、使用者ＷＰに関する異常が発生しているとの判定結果をメッセージデータとして送信することによって通知する（ステップＳ１０６）。この場合、対象者の端末がパーソナルコンピュータやスマートフォン、固定電話のいずれであっても良く、通知を受ける端末側では、画面に表示される画像によって、またはスピーカから出力される音声によって、異常が発生したことの通知を認識し得る。

このとき、スマートフォンＳＰにより取得可能な、使用者ＷＰが所在する位置情報等を合わせて通報するものとしても良い。なお、ステップＳ１０５の判別結果がＮＯの場合に、使用者ＷＰに関する異常が発生していないとの判定結果を、ステップＳ１０６の場合と同様の手法で対象者に通知してもよい。

またウェブサーバＳＶは、使用者ＷＰが装着している筈の補聴器１０に対して、状況に応じた音声データのフィードバック、例えば「具合が悪かったら人を呼びましょうか？」などの音声メッセージ時のデータを送出して、補聴器１０で当該音声メッセージを再生させ、使用者ＷＰへのサポート支援を行うと、より適切な対応が実現できる。

通知を実行した後、繰り返しの通報を行って混乱を招くのを避けるべく、報知ウェブサーバＳＶは、使用者ＷＰに対する見守りのモニタリング処理を一時的に解除して通常の状態に復帰するべくスマートフォンＳＰ、充電器３０及び補聴器１０に対して通達して設定させた後（ステップＳ１０７）、ステップＳ１０１からの処理に戻る。

次に図５により、使用者ＷＰが補聴器１０を耳から外して、充電器３０に収納した状態で実行される動作に説明する。

補聴器１０が充電器３０に収納され、電磁誘導による非接触充電が開始されることで、補聴器１０と充電器３０に内蔵される非接触トランスでの通電状態から、補聴器１０と充電器３０の双方で認識して判定できる。

なお、仮に使用者ＷＰが補聴器１０の電源をオフにした状態で充電器３０に収納した場合でも、補聴器１０の制御部１２は、図５に示す処理に対応して動作するものとする。同様に、充電器３０の制御部３２およびスマートフォンＳＰのＣＰＵにおいても、補聴器１０の電源の状態に関係なく、図５の処理を行なう。

充電器３０においては、補聴器１０が充電器３０に収納され、電気的に接続されたか否かを、充電コントローラ３１での通電状態により制御部３２が繰り返し判断する（ステップＳ２００）。

補聴器１０が充電器３０に収納され、電気的に接続されていると判断した場合（ステップＳ２００のＹＥＳ）には、補聴器１０が充電器３０に電気的に接続されていることで、補聴器１０が、使用者ＷＰに装着されていない、すなわち使用者ＷＰに携帯されていないとして、補聴器１０に対する本来の動作として、補聴器１０に内蔵された充電池に対する充電動作を含むスタンバイ動作を、充電コントローラ１８及び充電コントローラ３１にそれぞれ継続して実行させる（ステップＳ２０１）。

合わせて充電器３０を含むシステムでは、スマートフォンＳＰにおいて見守り状態が設定されているか否かを判断する（ステップＳ２０２）。

見守り状態が設定されていないと判断した場合（ステップＳ２０２のＮＯ）、充電器３０の制御部３２は、以下のステップＳ３０３以降の処理を省略し、ステップＳ３０１からの処理に戻る。なお、スマートフォンＳＰにおける見守り状態であるか否かの判別結果は、スマートフォンＳＰの通信部から、補聴器１０の通信部１９及びウェブサーバＳＶに送信される。

また、ウェブサーバＳＶにおいては、補聴器１０を使用する使用者ＷＰに対する見守り状態を一時的に解除しているものと認識して、スマートフォンＳＰを介した補聴器１０からの音データその他の取得を中断する。

また、ステップＳ２０２において、見守り状態が設定されていると判断した場合（ステップＳ２０２のＹＥＳ）、充電器３０の制御部３２は、補聴器１０の充電池への充電とは別系統の電源供給により、補聴器１０のマイクロホン２０で集音動作を実行させ、補聴器１０のマイクロホン２０で取得する集音データを、スマートフォンＳＰへ送信させる。

補聴器１０の充電池への充電動作と、補聴器１０で行う集音動作のための電源供給とを前述したように別系統とすることで、補聴器１０での必要な動作を実行しながら、補聴器１０の充電池の充電に要する時間を無駄に延長するのを回避できる。

スマートフォンＳＰでは、補聴器１０が見守り状態に設定されている間、補聴器１０からの集音データを周期的に取得して、ウェブサーバＳＶへ送信する（ステップＳ２０３）。前述したように、この場合の集音データには、前記周波数特性の調整処理は行われない。

ウェブサーバＳＶは、使用者ＷＰに対する見守りのモニタリング処理において、予め設定されている条件式を用いたアルゴリズムに基づいて音データを異常判定のために解析処理を実行する（ステップＳ２０４）。

この場合、例えば、比較的長い所定時間（例えば１８時間以上）にわたって音データで示される音が無音の状態が継続したときに、使用者ＷＰに関する異常が発生していると判定する。

一方、上記の所定時間にわたって集音データで表される音が無音の状態が継続していないとき、使用者ＷＰに関する異常が発生していないと判定する。上記のように異常を判定するのは、無音の状態が長時間継続したときには、長時間にわたって使用者ＷＰによる生活音が発生しておらず、使用者ＷＰが倒れている可能性があるためである。また反対に、予め設定されている以上の大きさの音が発生した場合にも、異常が発生したと判定しても良い。この場合、発生した音をサーバＳＶに送信して解析を行うことで、具体的に発生した事態の詳細を推定できる。

ウェブサーバＳＶは、解析処理の結果に基づいて、使用者ＷＰに異常が発生しているか否かを判定する（ステップＳ２０５）。使用者ＷＰに関する異常が発生していないと判定した場合（ステップＳ２０５のＮＯ）、再びステップＳ２００からの処理に戻る。

一方、ステップＳ２０５において、使用者ＷＰに関する異常が発生していると判定した場合（ステップＳ２０５のＹＥＳ）には、ウェブサーバＳＶは、事前に登録されている対象者の端末に、使用者ＷＰに関する異常が発生しているとの判定結果をメッセージデータとして送信することによって通知する（ステップＳ２０６）。この場合、対象者の端末がパーソナルコンピュータやスマートフォン、固定電話のいずれであっても良く、通知を受ける端末側では、画面に表示される画像によって、またはスピーカから出力される音声によって、異常が発生したことの通知を認識し得る。

このとき、スマートフォンＳＰにより取得可能な、使用者ＷＰが所在する位置情報等を合わせて通報するものとしても良い。なお、ステップＳ２０５の判別結果がＮＯの場合に、使用者ＷＰに関する異常が発生していないとの判定結果を、ステップＳ２０６の場合と同様の手法で対象者に通知してもよい。

またウェブサーバＳＶは、使用者ＷＰの近くに存在するはずのスマートフォンＳＰを呼出し、応答があれば、状況に応じた音声データのフィードバック、例えば「具合が悪かったら人を呼びましょうか？」などの音声メッセージを送出して出力させ、使用者ＷＰへのサポート支援を行うと、より適切な対応が実現できる。

さらに、充電器３０がスピーカとその駆動回路とを備えるものとして、スマートフォンＳＰによる電話の発呼なしに、ウェブサーバＳＶから充電器３０により使用者ＷＰに対する音声によるフィードバックを行うものとしても良い。

通知を実行した後、繰り返しの通報を行って混乱を招くのを避けるべく、報知ウェブサーバＳＶは、使用者ＷＰに対する見守りのモニタリング処理を一時的に解除して通常の状態に復帰するべくスマートフォンＳＰ、充電器３０及び補聴器１０に対して通達して設定させた後（ステップＳ２０７）、ステップＳ２００からの処理に戻る。

［実施形態の効果］
以上詳述した如く本実施形態によれば、機器としての補聴器１０が充電器３０に収納されて電気的に接続されたことを判定し（図５のステップＳ２００）、それにより補聴器１０が使用者ＷＰに装着されていない、すなわち携帯されていないことを判定した場合に、補聴器１０にマイクロホン２０を用いた集音動作を実行させ（ステップＳ２０３）、集音動作で集音した音に基づいて、使用者ＷＰに異常が発生しているか否かを判定し（ステップＳ２０４、Ｓ２０５）、判定結果を、予め指定されている、使用者ＷＰ以外の対象者にウェブサーバＳＶを介して通知する（ステップＳ２０６）。以上により、補聴器１０の非携帯時にも、使用者ＷＰの状態を適切に把握し、必要に応じて通知等の処理に移行可能となる。

また、本実施形態では、補聴器１０は、電源としての充電池をさらに備え、充電池の充電を行うための充電器３０を有し、補聴器１０が充電器３０に電気的に接続されていることを、機器が使用者に携帯（装着）されていないこととして判定する。以上により、日常生活で使用する機器に対する取り扱いの手間を増やすことなく、使用者の活動状態を把握できる。

さらに、本実施形態では、補聴器１０は、使用者ＷＰの生体情報を検出するセンサ１５～１７をさらに備え、補聴器１０が使用者ＷＰに装着されていることをさらに判定し（図４のステップＳ１００）、補聴器１０が使用者ＷＰに装着されていることを判定した場合に、補聴器１０にセンサ１５～１７による使用者ＷＰの生体情報を取得させ（図４のステップＳ１０３）、集音した集音データと取得した使用者ＷＰの生体情報とに基づいて、使用者ＷＰに関する異常が発生しているか否かを判定する（ステップＳ１０４）。以上により、使用者の活動状態をより正確に把握できる。

さらに、本実施形態では、補聴器１０が携帯されているか否かを判定し（ステップＳ１００、Ｓ２００）、補聴器１０が携帯されていないと判定されている場合と、補聴器１０が携帯されていると判定されている場合とで、集音動作により取得した集音データの周波数特性が異なるように調整するものとした（ステップＳ１０３、Ｓ２０３）。以上により、特に補聴器１０が使用者ＷＰによって使用されていない状態では、ヒトの声を聴き易くするような周波数特性の調整を行わずに集音動作を実行するので、補聴器１０が置かれている周囲の状況をより正確に判断できる。

また、本実施形態では、補聴器１０が使用者に対して音を出力するスピーカ２１をさらに備え、対象者にウェブサーバＳＶを介して通知する場合に、併せてスピーカ２１により使用者ＷＰに対して予め設定された音声情報を出力する。以上により、使用者ＷＰに異常が生じていない誤通知であった場合には、直ちにそれを解除するような処理に移行できる。また、使用者ＷＰに実際に異常が生じている場合であっても、その度合いが比較的軽度であれば、次に必要な動作に対する支援を行うことができる。

なお、図１に示したシステム構成は、補聴器１０、充電器３０と接続されたスマートフォンＳＰ側がクライアントとなるクライアント／サーバシステムで実現した例を説明したが、本発明はこれに限らず、例えばウェブサーバＳＶに相当する機能を、クラウドコンピューティング技術によりネットワーク上に分散した複数の機器により処理を実行しても良い。

また、本実施形態では、ウェブサーバＳＶが、補聴器１０での集音動作により得た集音データから使用者ＷＰの異常を判定するものとして説明したが、当該判定は充電器３０、あるいはスマートフォンＳＰが実行して、異常時の通報をウェブサーバＳＶ等、ネットワークＮＷに接続された外部の機器で行うシステムの構成も考えられる。

さらに、本実施形態では、充電器３０は、補聴器１０の充電中には、家庭用電源に接続されることで使用者ＷＰが携帯不可能に構成されているが、補聴器１０の充電中に携帯可能に構成されていてもよい。すなわち、充電器３０自体が、補聴器１０の充電用のバッテリを備えていてもよい。この場合には、補聴器１０が充電器３０に収納されて電気的に接続されていても、補聴器１０が充電器３０とともに携帯されている場合がある。このため、例えば、補聴器１０が使用者ＷＰに携帯されているか否かは、補聴器１０に設けられた加速度センサ１７で検出された加速度に基づいて、検出された加速度が値０（ゼロ）である状態が所定時間にわたって継続している場合に、補聴器１０が使用者ＷＰに携帯されていない（机などに置かれている）と判定し、検出された加速度が値０（ゼロ）である状態が所定時間にわたって継続していない場合に、補聴器１０が使用者ＷＰに携帯されていると判定してもよい。

また、本発明は、補聴器を含むシステムに限らず、屋外、屋内を問わずに使用者が存在する周囲の音を取得することが可能な環境にある機器、例えばスマートフォンなどの情報携帯機器や、腕時計型などのウェアラブル機器などにも同様に適用可能となる。

その他、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
マイクロホンを備え、使用者に携帯される機器を含むシステムでの情報処理方法であって、
前記機器が前記使用者に携帯されていないことを判定する判定工程と、
前記判定工程で前記機器が前記使用者に携帯されていないことを判定した場合に、前記機器に前記マイクロホンを用いた集音動作を実行させる集音工程と、
前記集音工程で集音した音データである集音データに基づいて、前記使用者に関する異常が発生しているか否かを判定する異常判定工程と、
前記異常判定工程による判定結果を、予め指定されている、前記使用者以外の対象者に通知装置を介して通知する通知工程と、
を有する情報処理方法。
［請求項２］
前記機器は、電源としての充電池をさらに備え、
前記システムは、前記充電池の充電を行うための充電器をさらに含み、
前記判定工程は、前記機器が前記充電器に電気的に接続されていることを、前記機器が前記使用者に携帯されていないこととして判定する、
請求項１記載の情報処理方法。
［請求項３］
前記機器は、前記使用者の生体情報を検出する検出部をさらに備え、
前記判定工程は、前記機器が前記使用者に装着されていることをさらに判定し、
前記判定工程で前記機器が前記使用者に装着されていることを判定した場合に、前記機器に前記検出部による前記使用者の生体情報を取得させる取得工程をさらに有し、
前記異常判定工程は、前記集音工程で集音した集音データと前記取得工程で取得した前記使用者の生体情報とに基づいて、前記使用者に関する異常が発生しているか否かを判定する、
請求項１または２記載の情報処理方法。
［請求項４］
前記判定工程では、前記機器が携帯されているか否かを判定し、
前記集音工程は、前記判定工程により、前記機器が携帯されていないと判定されている場合と、前記機器が携帯されていると判定されている場合とで、前記集音動作により取得した音データの周波数特性を互いに異ならせるように調整することによって、前記集音データを設定する、
請求項１乃至３いずれか記載の情報処理方法。
［請求項５］
前記機器は、前記使用者に対して音声を出力する音声出力部をさらに備え、
前記通知工程は、前記対象者に前記通知装置を介して通知する場合に、併せて前記音声出力部により前記使用者に対して予め設定された音声情報を出力する、
請求項１乃至４いずれか記載の情報処理方法。
［請求項６］
前記機器と、情報処理装置とを含み、
前記機器及び前記情報処理装置が請求項１乃至５いずれか記載の情報処理方法を協働して実行する、情報処理システム。
［請求項７］
コンピュータに請求項１乃至５いずれか記載の情報処理方法を実行させるプログラム。

１０…補聴器
１１…音処理部
１２…制御部
１３…メインメモリ
１４…プログラムメモリ
１５…拍動センサ
１６…体温センサ
１７…加速度センサ
１８…充電コントローラ
１９…通信部
２０…マイクロホン
２１…スピーカ
３０…充電器
３１…充電コントローラ
３２…制御部
３３…メインメモリ
３４…プログラムメモリ
３５…バッテリコントローラ
３６…通信部
Ｂ１、Ｂ２…バスライン
ＮＷ…ネットワーク
ＳＰ…スマートフォン
ＳＶ…ウェブサーバ
ＷＰ…使用者

Claims (9)

1. マイクロホン、音声出力部及び生体情報を検出する検出部を備え、使用者に携帯される機器を含むシステムでの情報処理方法であって、
   前記機器が前記使用者に装着されていないかどうかを判定する判定工程と、
   前記判定工程で前記機器が前記使用者に装着されていることを判定した場合に、前記機器に前記検出部による前記使用者の生体情報を取得させる取得工程と、
   前記判定工程で前記機器が前記使用者に装着されていることを判定した場合に、前記機器に前記マイクロホンによって集音した集音データと、前記取得工程で取得した前記使用者の生体情報とに基づいて、前記使用者に関する異常が発生しているか否かを判定し、前記判定工程で前記機器が前記使用者に装着されていないことを判定した場合に、前記集音データに基づいて、前記使用者に関する異常が発生しているか否かを判定する異常判定工程と、
   前記異常判定工程による判定結果を出力する場合に、前記音声出力部により前記使用者に対して予め設定された音声情報を出力する出力工程と、
   を有する情報処理方法。
2. マイクロホン及び生体情報を検出する検出部を備え、使用者に携帯される機器を含むシステムでの情報処理方法であって、
   前記機器が前記使用者に装着されていないかどうかを判定する判定工程と、
   前記判定工程で前記機器が前記使用者に装着されていることを判定した場合に、前記機器に前記検出部による前記使用者の生体情報を取得させる取得工程と、
   前記判定工程で前記機器が前記使用者に装着されていることを判定した場合に、前記機器に前記マイクロホンによって集音した集音データと、前記取得工程で取得した前記使用者の生体情報とに基づいて、前記使用者に関する異常が発生しているか否かを判定し、前記判定工程で前記機器が前記使用者に装着されていないことを判定した場合に、前記集音データに基づいて、前記使用者に関する異常が発生しているか否かを判定する異常判定工程と、
   前記異常判定工程による判定結果を出力する場合に、前記使用者以外の事前に登録された対象者に通知装置を介して通知情報を出力する出力工程と、
   を有する情報処理方法。
3. マイクロホン、音声出力部及び生体情報を検出する検出部を備え、使用者に携帯される機器を含むシステムでの情報処理方法であって、
   前記機器が前記使用者に携帯されているか否かを判定する判定工程と、
   前記機器が携帯されていないと判定されている場合と、前記機器が携帯されていると判定されている場合とで、前記機器に前記マイクロホンを用いて集音した音データの周波数特性を互いに異ならせるように調整する集音工程と、
   前記集音工程で集音した音データである集音データに基づいて、前記使用者に関する異常が発生しているか否かを判定する異常判定工程と、
   前記異常判定工程による判定結果を出力する場合に、前記音声出力部により前記使用者に対して予め設定された音声情報を出力する出力工程と、
   を有する情報処理方法。
4. マイクロホン及び生体情報を検出する検出部を備え、使用者に携帯される機器を含むシステムでの情報処理方法であって、
   前記機器が前記使用者に携帯されているか否かを判定する判定工程と、
   前記機器が携帯されていないと判定されている場合と、前記機器が携帯されていると判定されている場合とで、前記機器に前記マイクロホンを用いて集音した音データの周波数特性を互いに異ならせるように調整する集音工程と、
   前記集音工程で集音した音データである集音データに基づいて、前記使用者に関する異常が発生しているか否かを判定する異常判定工程と、
   前記異常判定工程による判定結果を出力する場合に、前記使用者以外の事前に登録された対象者に通知装置を介して通知情報を出力する出力工程と、
   を有する情報処理方法。
5. 前記機器は、電源としての充電池をさらに備え、
   前記システムは、前記充電池の充電を行うための充電器をさらに含み、
   前記判定工程は、前記機器が前記充電器に電気的に接続されていることを、前記機器が前記使用者に携帯されていないこととして判定する、
   請求項３または４記載の情報処理方法。
6. 前記機器は、前記使用者の生体情報を検出する検出部をさらに備え、
   前記判定工程は、前記機器が前記使用者に装着されていることをさらに判定し、
   前記判定工程で前記機器が前記使用者に装着されていることを判定した場合に、前記機器に前記検出部による前記使用者の生体情報を取得させる取得工程をさらに有し、
   前記異常判定工程は、前記集音工程で集音した集音データと前記取得工程で取得した前記使用者の生体情報とに基づいて、前記使用者に関する異常が発生しているか否かを判定する、
   請求項３または４記載の情報処理方法。
7. 前記判定工程では、前記機器が携帯されているか否かを判定し、
   前記判定工程により、前記機器が携帯されていないと判定されている場合と、前記機器が携帯されていると判定されている場合とで、前記機器に前記マイクロホンによって集音した集音データである音データの周波数特性を互いに異ならせるように調整する集音工程をさらに含む、
   請求項１または２記載の情報処理方法。
8. 前記機器と、情報処理装置とを含み、
   前記機器及び前記情報処理装置が請求項１乃至７いずれか記載の情報処理方法を協働して実行する、情報処理システム。
9. コンピュータに請求項１乃至７いずれか記載の情報処理方法を実行させるプログラム。