JP7038338B2 - 情報処理方法および情報処理装置 - Google Patents

Description

本開示は、情報処理方法および情報処理装置に関する。

従来、ユーザの行動を記録するシステムにおいて、ユーザが発する音を用いてユーザの位置を特定し、行動を記録する方法が提案されている（例えば、特許文献１参照）。特許文献１では、ユーザの足音を識別して時刻毎のユーザ位置を検知し、検知した位置を時系列に並べることでユーザが歩行した軌跡を記録する技術が開示されている。

特開２０１４－１９１６１６号公報

しかし、特許文献１におけるユーザの行動記録では、ユーザがその場で行った作業を判定することが困難な場合がある。例えば、家事又は育児等、生活に関する作業を記録する際にユーザの位置だけでは、ユーザが行った作業を判定することは困難である。

そこで、本開示は、過去の作業をユーザに容易に想起させて記録させることができる情報処理方法および情報処理装置を提供することを目的とする。

本開示の一態様に係る情報処理方法は、情報処理を行うプロセッサを用いて、録音装置により録音された、音源から発生する音を示す音情報を取得し、前記音情報に基づいて前記音源の音種を示す音種情報を生成し、前記音源の位置を示す音源位置情報を取得し、前記音源の位置において行われる作業を、音種および音源の位置のセットと作業との対応付けを示す作業対応付け情報を用いて判定し、判定された前記作業を示す第１作業情報を提示装置に提示させる。

なお、これらの全般的又は具体的な態様は、サーバ装置、システム、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、装置、システム、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。

上記態様により、過去の作業をユーザに容易に想起させて記録させることができる情報処理方法および情報処理装置を提供することができる。

本実施の形態に係る作業記録支援システムの構成を示す概略図である。 本実施の形態に係る収集データ保持部が保持する時刻毎の音種および音源位置の情報を示す図である。 本実施の形態に係る対応関係保持部が保持する作業内容、音種および音源範囲分布の情報を示す図である。 本実施の形態に係る音源位置座標系（相対位置）を説明する図である。 本実施の形態に係る音源位置座標系（相対位置）を説明する図である。 本実施の形態に係る音源位置座標系（絶対位置）を説明する図である。 本実施の形態に係るセンシング処理における音種検出の手順を説明するフローチャートである。 本実施の形態に係るセンシング処理における音源位置の推定の手順を説明するフローチャートである。 本実施の形態に係る閲覧用表示処理の手順を説明するフローチャートである。 本実施の形態に係る閲覧用表示処理における作業判定の手順を説明するフローチャートである。 本実施の形態に係る閲覧用表示処理におけるユーザの操作待ちの手順を説明するフローチャートである。 本実施の形態に係る作業入力および学習処理の手順を説明するフローチャートである。 本実施の形態に係るＵＩ画面の模式図である。 本実施の形態に係るＵＩ画面の模式図であり、ユーザが閲覧箇所の変更操作を行う場合のＵＩ画面例である。 本実施の形態に係る閲覧用表示処理および作業入力処理における音源位置の推定の方法を説明する図である。 本実施の形態に係る閲覧用表示処理および作業入力処理における推定された音源位置の表示方法を説明する図である。 本実施の形態に係る閲覧用表示処理および作業入力処理における作業内容の判定の方法を説明する図である。 本実施の形態に係る閲覧用表示処理および作業入力処理における判定された作業内容の表示方法を説明する図である。 本実施の形態に係る学習処理において学習情報へ保存される音源範囲分布の情報を示す図である。 本実施の形態に係る学習処理において学習情報へ保存される音源範囲分布の情報を示す図である。 本実施の形態に係る学習処理において学習情報へ保存される音源範囲分布の情報を示す図である。 変形例に係る録音部により録音された音の音傾向を示すグラフである。 図１６Ａに対応する、ＵＩ画面の模式図における声傾向グラフである。 本実施の形態における作業記録支援システムが提供するシステムの全体像を説明する図である。

（本発明の基礎となった知見）
本発明者は、従来システムに関し、以下の問題が生じることを見いだした。

従来システムは、時系列に記録した足音の音源位置座標を利用することでユーザの歩行軌跡を導出している。しかし、同じ場所に歩行した場合でも異なる作業をしていることも多々ある為、ユーザの歩行軌跡とユーザの作業内容とを単純に結び付けることは難しく、作業内容を記録する技術的な解決策に関して、従来技術では検討はされていなかった。

更に、記録する作業内容の判定にあたり、記録が必要な作業が発生した時刻に合わせた音種とユーザ位置とをユーザへ提示し、ユーザの作業想起を促すことで容易な記録入力を実現することが望まれている。また、ユーザ入力による作業記録を用いて次回以降に同様な行動が観測された場合に作業内容を判定しユーザへ提示することによりユーザ記録入力の便宜を図ることも望まれている。

このような課題を解決するために、本開示の一態様に係る情報処理方法は、情報処理を行うプロセッサを用いて、録音装置により録音された、音源から発生する音を示す音情報を取得し、前記音情報に基づいて前記音源の音種を示す音種情報を生成し、前記音源の位置を示す音源位置情報を取得し、前記音源の位置において行われる作業を、音種および音源の位置のセットと作業との対応付けを示す作業対応付け情報を用いて判定し、判定された前記作業を示す第１作業情報を提示装置に提示させる。
また、本開示に係る情報処理方法は、情報処理を行うプロセッサを用いて、録音装置により録音された、音源から発生する音を示す音情報を取得し、前記音情報に基づいて前記音源の音種を示す音種情報を生成し、前記音源の位置を示す音源位置情報を取得し、前記音源の位置において行われる作業を、音種および音源の位置のセットと作業との対応付けを示す作業対応付け情報を用いて判定し、判定された前記作業を示す第１作業情報を提示装置に提示させ、提示された前記第１作業情報に対する入力を、入力装置を介して受け付ける。

これによれば、ユーザが作業後にある程度時間が経過した場合に作業記録を行う際でも、ユーザの作業想起を促し容易な記録入力を実現する。

更に、ユーザへ視覚的に提示した各音種の音源位置を基にユーザが入力した作業記録を用いて、次回以降に同様な各音種の音源位置を検知した場合に作業の判定を行うことで、より容易な作業記録の入力を実現できる。

なお、音源位置の取得はマイクロフォンを用いても良いし、赤外線又はミリ波等の非接触で音源位置を特定してもよい。また、音源の近傍に設置した、接触することで音源位置を特定できるＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等を用いてもよい。

これにより、音源から発生した音の音種および音源位置を検出し、これに対応する作業を判定してユーザに提示することができる。したがって、ユーザは当該音が発生したときに行っていた過去の作業を容易に思い出すことができる。よって、過去の作業をユーザに容易に想起させて記録させることによりユーザの作業記録を支援することができる。

また、さらに、前記音情報が示す音が録音された時間を示す時間情報を取得し、前記セットは、音種および音源の位置ならびに前記時間情報の示す時間のセットを含んでもよい。

これにより、時間を考慮して作業を判定するため、より正確に作業を判定することができる。

また、前記作業対応付け情報は、音種が異なる複数の前記セットと作業との対応付けを示す情報を含んでもよい。

これにより、複数の声で作業を判定することができ、提示する作業の正確性を向上させることができる。

また、前記音種が異なる複数の前記セットは、音種が子供の声である前記セットおよび音種が大人の声である前記セットを含んでもよい。

これにより、育児又は家事に関する作業をより正確に判定することができる。

また、さらに、前記第１作業情報を前記時間情報とともに前記提示装置に提示させてもよい。

これにより、作業が行われたであろう時間帯をユーザに提示することができ、ユーザに作業をより正確に思い出させることが可能となる。

また、さらに、提示装置に、前記音情報が示す音の大きさに基づく前記音情報が示す音の時系列の変化を示す画像を提示させ、前記画像における時間に対応した位置に前記第１作業情報を提示させてもよい。

これにより、音の変化を提示することにより、作業時の状況を想起させ、作業を思い出しやすくすることができる。

また、さらに、前記音種情報および前記音源位置情報に基づく画像を前記提示装置に提示させてもよい。

これにより、作業に関わった人および作業を行ったであろう場所が提示されることにより、作業を思い出しやすくすることができる。

また、前記入力は、前記第１作業情報を他の作業を示す第２作業情報に変更する入力を含んでもよい。

これにより、提示された作業が実際に行った作業と異なっているときは、ユーザは当該作業を容易に修正して、修正した記録を保存することができる。

また、さらに、前記入力の受付後に、前記作業対応付け情報における前記第１作業情報を前記第２作業情報で更新してもよい。

これにより、検出された音種および音源位置と、提示された作業又は修正された作業とが保存されることにより、次回以降に判定される作業はより正確に判定される。これにより、ユーザは当該音が発生したときに行っていた作業をより容易に思い出すことができるとともに、提示された作業の修正回数が低減するため簡便に作業の記録を行うことができる。

また、前記入力は、前記第１作業情報の内容の入力を含んでもよい。

これにより、作業内容を入力させることにより、時間が経過した後、作業内容を忘れてしまっても確認することができる。

また、前記作業対応付け情報は、音種および音源の位置の変化のセットと作業との対応付けを示す情報を含んでもよい。

これにより、位置の変化に応じて作業を判定することができるため、位置だけでは区別できない作業も判定することができる。したがって、判定可能な作業のバリエーションを増やすことができる。

また、さらに、前記音源の位置の変化と音種とに基づいて前記作業を判定し、前記音源の位置の変化および前記音種と、判定された前記作業との対応付けを示す情報とを前記作業対応付け情報に追加してもよい。

これにより、ユーザが作業を登録しなくても、音種と音源位置の変化から作業を判定することができ、自動的に作業を記録することができる。

また、前記音種は、宅内又は商業施設において、人および物が発する音の種類であってもよい。

これにより、宅内又は商業施設での人や動物の声、足音や機器の動作音や警告音、落下音などの人や物が発する音等から音種を推定することができるので、ユーザは当該音種の音が発生したときに行っていた過去の作業を容易に思い出すことができる。

また、前記音種は、前記音情報の示す音の周波数、強弱、継続時間、発生頻度、発生時間帯又は発生方向を用いて検出されてもよい。

これにより、音の周波数、強弱、継続時間、発生頻度、発生時間帯又は発生方向等により音種が検出されるので、種々の音種を区別して検出することができる。

また、前記音源位置情報は、前記音源となる物体に取り付けられた第１の位置取得部、又は、前記音源の周辺に配置された第２位置取得部から取得されてもよい。

これにより、接触式又は非接触式の検出器により簡便に音源位置を検出することができる。

また、前記音源位置情報は、複数の前記録音装置のそれぞれにより録音された音波形差から生成されてもよい。

これにより、録音された音の周波数、強弱、継続時間、発生頻度、発生時間帯又は発生方向等の差から音源位置が検出されるので、他の検出器を用いる必要がなく、簡便に音源位置を検出することができる。

また、さらに、現在時間を示す現在時間情報を取得し、取得された前記現在時間情報が示す時間が、前記作業対応付け情報に登録されている前記セットが有する時間を基準とする時間である場合、前記セットに対応付けられている作業を示す前記作業情報を前記提示装置に提示させてもよい。

これにより、ユーザは、提示された作業から現在時刻が当該提示された作業を行う時間であることを思い出すことができるので、当該作業を忘れることなく行うことができる。

また、本発明の一態様に係る情報処理システムは、録音装置により録音された、音源から発生する音を示す音情報を取得し、前記音情報に基づいて前記音源の音種を示す音種情報を生成する音種検出部と、前記音源の位置を示す音源位置情報を取得する音源位置取得部と、音種情報と、音源位置情報と、音種および音源の位置のセットと作業との対応付けを示す作業対応付け情報とを記憶する記憶部と、前記音源の位置において行われる作業を、前記作業対応付け情報を用いて判定する作業判定部と、を備える。

これにより、音源から発生した音の音種および音源位置を検出し、これに対応する作業を判定してユーザに提示することができる。したがって、ユーザは当該音が発生したときに行っていた過去の作業を容易に思い出すことができる。よって、過去の作業をユーザに容易に想起させて記録させることによりユーザの作業記録を支援することができる。

なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることも出来る。

また、以下で示す「音」とは、人又は動物などの「声」だけでなく、物が発する音および物と物との関わりにより発する音も含むものとする。

（提供するシステムの概要）
まず、本実施の形態における情報処理システムの一例として、母親等のユーザが育児作業の記録を行うのを支援する作業記録支援システムの概要について説明する。なお、「作業」は、実際の作業のほか、作業により至る状態も含まれる。例えば、寝かしつけという作業と、その結果の睡眠という状態が「作業」という用語に含まれる。

本システムは、ネットワークに接続したマイクロフォンを用いて、時刻毎に発生する音および声の種類と音源位置とをセンシングして、自動録音する。本システムのユーザは、スマートフォン又はタブレットなどのユーザ端末上で、アプリ（アプリケーション）又はＷｅｂブラウザを用いて、自動録音された音種および音源位置から任意の時刻における音種と音源位置とを参照することができる。そして、ユーザは、音種と音源位置とを参考にして、その時刻に行った育児作業を想起して記録することができる。

図１７は、本実施の形態における作業記録支援システムの概要を説明する図である。図１７の左側にはシステムの利用シーン、右側には作業記録支援システムの挙動を示す。

図１７の（ａ）および（ｂ）に示すように、ユーザはオムツを交換する作業１６０１と、子どもにミルクを与える作業１６０２を実行する。一方、作業記録支援システムのネットワークに接続したマイクロフォンは、育児作業中に発生する音を収音し、作業記録支援システムに、収音された音および声の種類と音源位置が記録される。

更に、図１７の（ｃ）に示すように、育児作業を終えた後に、ユーザがスマートフォンやタブレットなどのユーザ端末を用いて育児作業を記録する作業１６０３を行う。この際に、ユーザは、育児作業をした正確な時刻を記憶していない場合も多い。そこで、ユーザは、作業したであろう時間帯に作業記録支援システムに記録された音種と音源位置とを参照することができる。そのため、ユーザは、参照される音種および音源位置を参考にして、作業記録を行うことができる。その際、ユーザは、参照した音種および音源位置と作業とを対応付けることができる。そのため、既に記録されている音種と音源位置とに類似した状況が検出された場合、作業記録支援システムは、当該音種および音源位置に対応付けられた作業をユーザに提示する。ユーザは、作業記録支援システムが提示した作業を確認して、作業に誤りがあれば訂正入力を行う。これにより、作業内容の記録をより簡易化できる。

（実施の形態）
［１．作業記録支援システムの構成］
図１は、本実施の形態における作業記録支援システム１の構成を示す図である。作業記録支援システム１は、女性（母親）又は乳児などの音源１０１から発生した声を示す音情報を取得し、取得した音情報に基づいて音種と音源位置を検出し記録するシステムである。

図１に示すように、作業記録支援システム１は、女性又は乳児などの音源１０１に配置される第１位置取得部１０２と、第２位置取得部１０３と、録音装置である録音部１０４と、音種検出部１０５と、音源位置取得部１０６と、収集データ保持部１０７と、作業判定部１０８と、音情報表示生成部１０９と、音源位置表示生成部１１０と、判定作業表示生成部１１１と、ユーザ端末１１２と、学習部１１５と、対応関係保持部１１６とを備える。音種検出部１０５、音源位置取得部１０６、収集データ保持部１０７、作業判定部１０８、音情報表示生成部１０９、音源位置表示生成部１１０、判定作業表示生成部１１１、学習部１１５および対応関係保持部１１６は、情報処理装置２に配置されている。情報処理装置２は、例えばサーバに設けられている。また、ユーザ端末１１２には、ＵＩ（ユーザインターフェース）表示部１１３およびＵＩ入力部１１４が設けられている。本実施の形態におけるＵＩ表示部１１３およびＵＩ入力部１１４は、それぞれ提示装置および入力装置である。対応関係保持部１１６は、後述するように、設定情報１１７と学習情報１１８とを有している。

作業記録支援システム１では、音源位置を特定するために、第１位置取得部１０２、第２位置取得部１０３、録音部１０４が用いられる。また、録音部１０４は、音源から発声する声および音を録音するために用いられる。さらに、録音した音および声の種類を検出する音種検出部１０５と、録音した音および声がどの位置から発生したかを特定する音源位置取得部１０６と、特定した時刻毎の音種と音源位置とを保持する為の収集データ保持部１０７がある。なお、第１位置取得部１０２と、第２位置取得部１０３は、録音部１０４により音源位置を取得することが可能な場合には用いられていなくてもよい。

また、ユーザがユーザ端末１１２を用いて作業記録を入力する際に必要な情報を表示するために、情報処理装置２では収集データ保持部１０７、作業判定部１０８、音情報表示生成部１０９、音源位置表示生成部１１０、判定作業表示生成部１１１が用いられる。ユーザ端末１１２では、ＵＩ表示部１１３とＵＩ入力部１１４とが用いられる。また、ユーザがユーザ端末１１２を用いて入力した作業記録を保持するために、情報処理装置２では、対応関係保持部１１６が用いられる。さらに、入力された作業記録を、次回の作業内容の判定に利用するために、学習部１１５が用いられる。

第１位置取得部１０２は、後述する音源位置取得部１０６が音源１０１の位置を特定するための位置情報を生成し送信する。第１位置取得部１０２は、例えば、ＧＰＳ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ビーコン等の信号を発信する発信器である。第１位置取得部１０２は、衛星から受信したＧＰＳ情報、電波通信を利用した位置推定情報を情報処理装置２へ送信する。第１位置取得部１０２は、ユーザに身に付けられる接触型の機器である。

第２位置取得部１０３は、非接触で音源位置を取得する。第２位置取得部１０３は、例えば、カメラ、赤外線又はミリ波などを用いた非接触式の位置検出器である。例えば、第２位置取得部１０３は、カメラから得られる距離画像又は赤外線もしくはミリ波を用いて得られるＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）情報から位置を推定する。そして、推定された位置を示す位置推定情報が情報処理装置２へ送信される。なお、位置を推定する前の情報（距離画像又はＴＯＦ情報など）が情報処理装置２へ送信されてもよい。

録音部１０４は、例えば複数のマイクロフォンを有するマイクロフォンアレイである。複数のマイクロフォンは、それぞれ異なる位置に配置され、各位置での音および声を録音する。これにより、複数のマイクロフォンのそれぞれにより録音された音の波形差（例えば、位相又は振幅の差）および到達時間差などから、後述するように音源位置を特定することができる。また、特定の条件を満たす音だけが録音され又は情報処理装置２に送信される。例えば、音圧が閾値以上である音だけが録音され又は情報処理装置２に送信される。

音種検出部１０５は、録音した音の種類（音種）を検出し、検出された音種を示す音種情報を生成する。ここで、音種とは、自宅などの宅内又は商業施設において、人および物が発する音の種類である。例えば、音種とは、人又は動物の声、足音、機器の動作音又は警告音、落下音などの人又は物が発する音で区分される種別である。なお、処理の対象となる音は、周波数帯に関わらず、可聴音および非可聴音を含む。音種検出部１０５は、例えば音の周波数、強弱、継続時間、発生頻度、発生時間帯又は発生方向を用いて、解析等を行うことにより音種を検出する。

音源位置取得部１０６は、録音した音の音源位置を検出し、検出された音源位置を示す音源位置情報を生成する。音源位置取得部１０６は、例えば、第１位置取得部１０２から受信されるＧＰＳ情報、位置推定情報、第２位置取得部１０３から受信される位置推定情報を受信することにより音源位置情報を取得する。なお、第１位置取得部１０２又は第２位置取得部１０３から受信される情報と、録音部１０４から受信される音情報と、に基づいて音源位置を検出することにより、音源位置情報が取得されてもよい。

収集データ保持部１０７は、音種情報と音源位置情報とを含むデータ（以下、収集データとも称する。）を、時刻ごとに保持するメモリである。収集データは、音種情報と当該音種情報が示す音種の音の音源位置情報と当該音が録音された時間（時刻）とのセットを一単位として有する。なお、収集データ保持部１０７で保持される収集データについては後述する。

作業判定部１０８は、収集データ保持部１０７で保持されている収集データと、対応関係保持部１１６に保持されている設定情報１１７および学習情報１１８のデータ（以下、登録データとも称する。）とを用いて、所定の時刻の音種情報と音源位置情報に対応するユーザの作業内容の判定を行う。

音情報表示生成部１０９は、収集データ保持部１０７が保持する収集データをユーザが閲覧可能なグラフ等として表示するための表示データを生成する。

音源位置表示生成部１１０は、ユーザ端末１１２で表示される時間帯における音種毎の音源位置データを、立体的に表示するための表示内容を生成する。音源位置表示生成部１１０は、収集データに含まれる音源位置情報に基づいて、例えば音種ごとの音源位置を三次元で表示するｘ、ｙ、ｚ座標系の表示データを生成する。

判定作業表示生成部１１１は、作業判定部１０８において収集データと登録データからユーザの作業が判定された場合には、音情報表示生成部１０９が生成したグラフ等の表示データへ重畳するための判定された作業を示す作業情報に係る表示データを生成する。なお、予め記憶されている表示データが、判定された作業に応じて選択されてもよい。

対応関係保持部１１６は、音種情報および音源位置情報とユーザの作業内容を示す作業情報とを対応付ける情報（作業対応付け情報）を保持する。対応関係保持部１１６は、音種情報および音源位置情報と作業情報とを対応付ける、事前に保持される設定情報１１７と、音種情報および音源位置情報と作業情報とを対応付ける、事後的に追加される学習情報１１８とを保持している。

ユーザ端末１１２は、例えばスマートフォンなどの携帯端末であり、ＵＩ表示部１１３と、ＵＩ入力部１１４とを有している。ＵＩ表示部１１３は、上述した音情報表示生成部１０９、音源位置表示生成部１１０および判定作業表示生成部１１１でそれぞれ生成された表示データに基づいて画像を表示する表示部である。ＵＩ入力部１１４は、ＵＩ表示部１１３に表示された内容についてのユーザからの操作入力を受け付ける。例えば、ユーザがＵＩ表示部１１３から特定の時間帯における作業内容を入力すると、入力された特定の時間帯における作業情報が情報処理装置２に送信され、学習部１１５に記録される。つまり、学習部１１５は、当該入力された特定の時間帯における音種情報と音源位置情報を収集データから特定し、特定された音種情報および音源位置情報と入力された作業情報とを関連付ける情報を学習情報１１８として対応関係保持部１１６に保持させる。これにより、作業記録支援システム１は、音種情報および音源位置情報と作業情報との対応関係を学習する。

図２は、本実施の形態に係る収集データ保持部１０７が保持する収集データの例を示す図である。図２に示すように、収集データ保持部１０７は、音発生時刻と音種と音源位置とを１つのセットとして対応付け、そのセットの集合をテーブル２０１として保持している。

音種情報は、例えば、掃除機、乳児、女性などの音源の種類と、泣き声、話し声、機械音など音の特徴の種類を含む。また、音源位置情報は、例えば、三次元空間座標である。三次元空間座標は、三次元空間におけるある点を原点とし、原点に対する音源の位置をｘ、ｙ、ｚ座標系で示したものである。また、ｘ、ｙ、ｚの座標系とともに、原点と２つの座標系（例えばｘ、ｙ）の座標とを結ぶ直線と当該２つの座標系のうちの１つ（例えばｘ）の座標軸（例えばｘ軸）とのなす角度（以下、角度αと称する。）が音源位置情報として保持されてもよい。あるいは、ｘ、ｙ、ｚのうちのいずれかの座標系（例えばｚ）に代えて、残り２つの座標系（例えばｘ、ｙ）で形成される平面に対する角度が音源位置情報として保持されてもよい。

例えば、図２に示すように、行２０４には、２０１６年１月２６日１０時２４分において検出された音種情報と音源位置情報とが保持されている。音種情報は、乳児の泣き声、音源位置情報は、ｘ＝１１２ｃｍ、ｙ＝５ｃｍ、ｚ＝１１２ｃｍ、角度α＝７°が収集データ保持部１０７に保持されている。また、行２０５には、２０１６年１月２６日１０時４８分において検出された音種情報と音源位置情報が保持されている。音種情報は、乳児の泣き声、音源位置情報は、ｘ＝１１２ｃｍ、ｙ＝９１ｃｍ、ｚ＝５０ｃｍ、角度α＝３５°が収集データ保持部１０７に保持されている。なお、収集データ保持部１０７には、音発生時刻、音種情報および音源位置情報以外の項目が保持されていてもよい。また、音種情報および音源位置情報の保持方法も、上述したテーブル２０１による保持に限らず、リレーショナルデータベースなど他の保持方法により保持されていてもよい。

図３は、本実施の形態に係る対応関係保持部１１６が保持する音種情報、音源位置情報および作業情報を示す図である。音源位置情報は、単一の音源位置を示す単一音源位置情報と、音源位置の範囲分布を示す音源範囲分布情報とを含む。図３に示すように、対応関係保持部１１６は、音種情報、音源位置情報および作業情報をテーブル３０１として保持している。テーブル３０１は、音種情報、音源位置情報および作業情報があらかじめ設定された設定情報１１７として、対応関係保持部１１６に保持されている。なお、テーブル３０１は、後述する学習情報１１８として保持されていてもよい。ここで、テーブル３０１において保持される音源位置情報は、複数の音源位置に基づいて特定される音源位置の分布を示す情報（以下、音源範囲分布とも称する。）である。

作業情報として、対応関係保持部１１６は、例えば、掃除など宅内での作業、ミルク、おむつなど育児に関する作業を保持してよい。音種情報として、対応関係保持部１１６は、収集データ保持部１０７が保持する音種情報と同様の音種情報を保持する。音源位置情報として、対応関係保持部１１６は、音源範囲分布を示す座標群（例えば、音源範囲分布の領域内の全座標又は当該領域を特定可能な一部の座標）を保持する。

例えば、図３のテーブル３０１の上段における（ａ）および（ｂ）に示すように、部屋の床３０６をｘｙ平面とし、床３０６に置かれる録音部１０４の位置を原点としてｘ軸３０８、ｙ軸３０９およびｚ軸３１０が仮想的に配置される。音源である掃除機が存在した範囲３０７が音源範囲分布として保持される。また、図３のテーブル３０１の下段における（ａ）および（ｂ）に示すように、録音部１０４の位置を原点としてｘ軸３０８、ｙ軸３０９およびｚ軸３１０が仮想的に配置される。音源である泣き声の乳児が存在した範囲３１７および女性が存在した範囲３１８が音源範囲分布としてそれぞれ保持される。

なお、対応関係保持部１１６は、設定情報１１７と学習情報１１８との両方を保持していてもよいし、いずれか一方を保持していてもよい。設定情報１１７には、音種情報、音源位置情報および作業情報をユーザが任意で設定することができる。また、学習情報１１８には、ユーザが作業内容を記録した時間帯に発生した音種と音源位置に応じて、音種情報、音源位置情報および作業情報が自動更新される。なお、学習情報１１８の自動更新の概要については、後述する図１５Ａ～図１５Ｃに示す。

次に、図４Ａおよび図４Ｂを参照して、図２に示した音源位置および図３に示した音源範囲分布として記録される音源位置情報の座標系について説明する。図４Ａおよび図４Ｂは、本実施の形態に係る音源位置座標系（相対位置）を説明する図である。図４Ａは斜視図、図４Ｂは平面図で示している。図４Ａおよび図４Ｂにおいて、座標系の原点は、部屋４０１の床４０２のある位置に配置された録音部１０４の位置であり、録音部１０４から床４０２がｘｙ平面となるようにｘ軸、ｘ軸が設定され、ｘｙ平面と垂直な方向にｚ軸が設定されている。女性４０８が部屋４０１内のソファー４０９に座って乳児４０７へミルクを与える作業においては、女性４０８の位置は、録音部１０４の位置を原点として、座標表現としては（ｘ１、ｙ１、ｚ１）で示され、ベクトル表現ではベクトル４０４＋ベクトル４０５＋ベクトル４０６で示される。また、原点である録音部１０４の位置と女性の位置とを結ぶ直線とｘ軸との角度は、αである。

図５は、本実施の形態に係る音源位置座標系（絶対位置）を説明する図である。この座標系では、録音部１０４の位置に関わらず、部屋４０１内で予め定めた位置を原点としてｘ軸、ｙ軸、ｚ軸が定められている。例えば、図５に示すように、部屋４０１の床４０２上の１つの角を原点と定め、床４０２がｘｙ平面となるようにｘ軸、ｙ軸が定められ、床４０２と垂直な方向にｚ軸が定められてよい。なお、この座標系では、録音部１０４の位置は原点に限らずどの位置であってもよい。

［２．作業記録支援システムの情報処理動作］
ここで、作業記録支援システム１の情報処理の動作について説明する。

作業記録支援システム１における情報処理は、センシング処理と、閲覧用表示処理と、作業入力および学習処理との３つの処理に大別される。

センシング処理は、時刻毎の収集データを記録する処理である。つまり、センシング処理では、音種検出と、音源位置の推定とが行われ、音種情報および音源位置情報が時刻ごとに記録される。センシング処理では、作業記録支援システム１の構成要素である、録音部１０４、音種検出部１０５、音源位置取得部１０６および収集データ保持部１０７と、第１位置取得部１０２又は第２位置取得部１０３とが用いられる。

閲覧用表示処理は、ユーザが使用するユーザ端末１１２に、センシング処理により得られた任意の時間帯の収集データを表示させる処理である。閲覧用表示処理では、作業記録支援システム１の構成要素である、収集データ保持部１０７、作業判定部１０８、音情報表示生成部１０９、音源位置表示生成部１１０および判定作業表示生成部１１１と、ユーザ端末１１２が備えるＵＩ表示部１１３およびＵＩ入力部１１４とが用いられる。

作業入力および学習処理は、閲覧情報に基づいてユーザが入力した作業内容を記録する処理と、作業内容と音種および音源位置との関係を学習し記録する処理である。作業入力および学習処理では、作業記録支援システム１の構成要素である、ＵＩ入力部１１４と、学習部１１５と、対応関係保持部１１６とが用いられる。

以下、図６～図１１を用いて、センシング処理、閲覧用表示処理、作業入力および学習処理の３つの処理の手順についてそれぞれ説明する。

［２－１．センシング処理］
センシング処理では、音種検出と、音源位置の推定とが行われる。はじめに、音種検出の手順について説明する。図６は、本実施の形態に係るセンシング処理における音種検出の手順を説明するフローチャートである。

図６に示すように、録音部１０４は起動され、録音可能状態、かつ、インターネットへ接続可能な状態へ遷移する（ステップＳ６０１）。

次に、録音部１０４は、規定音量以上の音を検知したか否かを判断する（ステップＳ６０２）。具体的には、人、その他の生き物又は物が発する音又は声が発生しているか否かを判断する。録音部１０４があらかじめ定められた規定音量以上の音を検知した場合には（ステップＳ６０２においてＹｅｓ）、録音部１０４は検知した音を録音する（ステップＳ６０３）。録音部１０４が規定音量より小さい音を検知した場合には（ステップＳ６０２においてＮｏ）、ステップＳ６０１に処理が戻る。

なお、録音部１０４は、規定音量以上の音を規定録音時間ごとに録音し、録音データを生成する。例えば、規定録音時間を１０秒とすると、録音部１０４は、規定音量以上の音が１分間継続した場合には、当該音を録音した録音データを６つ生成する。

次に、録音部１０４は、複数のマイクロフォンにより、人、その他の生き物又は物が発する音を録音する（ステップＳ６０３）。すなわち、録音部１０４が録音された音（録音データ）には、録音部１０４を構成する複数のマイクロフォンで録音された音が含まれている。

次に、録音部１０４は、音の継続時間が一回の規定録音時間を越えたかを判断する（ステップＳ６０４）。音の継続時間が一回の規定録音時間を越えた場合、すなわち、録音データが生成された場合には（ステップＳ６０４においてＹｅｓ）、録音部１０４は、録音データを音種検出部１０５へ出力する（ステップＳ６０６）。また、音の継続時間が一回の規定録音時間を越えていない場合には（ステップＳ６０４においてＮｏ）、録音部１０４は、無音状況が一定時間以上継続したかを判断する（ステップＳ６０５）。

無音状況が一定時間以上継続したと判断した場合には（ステップＳ６０５においてＹｅｓ）、録音部１０４は、録音データを音種検出部１０５へ出力する（ステップＳ６０６）。また、無音状況が一定時間以上継続していないと判断した場合には（ステップＳ６０５においてＮｏ）、ステップＳ６０３に処理が戻る。

録音データが録音部１０４から音種検出部１０５へ出力されると、音種検出部１０５は、音の中に乳児の泣き声が含まれるかを判断する（ステップＳ６０７）。音の中に乳児の泣き声が含まれると判断した場合には（ステップＳ６０７においてＹｅｓ）、音種検出部１０５は、録音部１０４が録音データを音源位置取得部１０６へ出力する（ステップＳ６０９）。また、音の中に乳児の泣き声が含まれないと判断した場合には（ステップＳ６０７においてＮｏ）、音種検出部１０５は、音の中に女性の声が含まれるかを判断する（ステップＳ６０８）。

音の中に女性の声が含まれると判断した場合には（ステップＳ６０８においてＹｅｓ）、音種検出部１０５は、録音部１０４が録音データを音源位置取得部１０６へ出力する（ステップＳ６０９）。より具体的には、音種検出部１０５は、音の中に乳児の声又は女性の声が含まれると判断した場合には、音種が乳児の声又は女性の声であることを示す音種情報を生成し、録音データとともに音源位置取得部１０６へ出力する。また、音の中に女性の声が含まれないと判断した場合には（ステップＳ６０８においてＮｏ）、音種検出部１０５は、センシング処理を終了する。

以上の手順により、作業記録支援システム１は、音種検出を終了し、続いて音源位置の推定を行う。

図７は、本実施の形態に係るセンシング処理における音源位置の推定の手順を説明するフローチャートである。

音源位置取得部１０６は、録音部１０４から受け取った複数のマイクロフォンで録音された音の波形差から、特定の音の三次元空間における音源位置を推定する。

まず、音源位置取得部１０６は、検出された音種が乳児の泣き声かを判断する（ステップＳ７０１）。検出された音種が乳児の泣き声と判断した場合には（ステップＳ７０１においてＹｅｓ）、音源位置取得部１０６は、乳児の声の三次元空間における音源位置を推定する（ステップＳ７０２）。具体的には、音源位置取得部１０６は、複数の録音データに含まれる乳児の声それぞれの波形差から当該乳児の位置を示す音源位置情報を生成する。また、検出された音種が乳児の泣き声でないと判断した場合には（ステップＳ７０１においてＮｏ）、ステップＳ７０３へ処理が進む。

音源位置取得部１０６は、検出された音種が女性の声かを判断する（ステップＳ７０３）。検出された音種が女性の声と判断した場合には、（ステップＳ７０３においてＹｅｓ）、音源位置取得部１０６は、女性の声の三次元空間における音源位置を推定する（ステップＳ７０４）。具体的には、音源位置取得部１０６は、複数の録音データに含まれる女性の声それぞれの波形差から当該女性の位置を示す音源位置情報を生成する。続けて、音源位置取得部１０６は、図２に示したように、上述した音種情報（乳児の泣き声および女性の声、又は、女性の声のみ）と音の発生時刻、および、それぞれの音源座標位置を示す音源位置情報とを対応付けて収集データ保持部１０７へ保存する（ステップＳ７０５）。

また、検出された音種が乳児の泣き声と判断した場合で（ステップＳ７０１においてＹｅｓ）、女性の声が検出されていないと判断した場合には、（ステップＳ７０３においてＮｏ）、音源位置取得部１０６は、上述した音種情報（乳児の泣き声）と音の発生時刻、および、それぞれの音源座標位置を示す音源位置情報とを対応付けて収集データ保持部１０７へ保存する（ステップＳ７０５）。

さらに、音源位置取得部１０６は、録音部１０４で録音した録音データを破棄する（ステップＳ７０６）。なお、音源位置取得部１０６は、事後に録音データを用いた別途の音処理を実行する場合は、録音データを保存してもよい。その後、作業記録支援システム１は、センシング処理を終了する。

［２－２．閲覧用表示処理］
図８は、本実施の形態に係る閲覧用表示処理の手順を説明するフローチャートである。

ユーザは、ユーザ端末１１２のアプリやＷｅｂブラウザを用いて、センシング処理で取得した音種情報および音源位置情報を閲覧する。

まず、作業判定部１０８は、ＵＩ表示部１１３に表示させるＵＩ画面を生成するための情報として、収集データを収集データ保持部１０７から取得し、音情報表示生成部１０９へ出力する（ステップＳ８０１）。

次に、音情報表示生成部１０９は、受け取った収集データのうちの特定の音種情報の数を単位時間毎に合計し、合計値を時系列に示したグラフをＵＩ表示部１１３へ出力する（ステップＳ８０２）。

また、作業判定部１０８は、収集データ保持部１０７から取得した収集データに含まれる対象の音種の音源位置情報を統計的に処理して、対象の音種の所定時間内の音源位置（音源範囲分布）を推定する（ステップＳ８０３）。作業判定部１０８は、推定された音源範囲分布を示す情報（音源範囲分布情報）を音源位置表示生成部１１０と判定作業表示生成部１１１に出力する（ステップＳ８０４）。

次に、音源位置表示生成部１１０は、受け取った対象の音種に対応する音源範囲分布情報を三次元空間上の画像に変換し、ＵＩ表示部１１３へ出力する（ステップＳ８０５）。

また、作業判定の手順は以下のとおりである。図９は、本実施の形態に係る閲覧用表示処理における作業判定の手順を説明するフローチャートである。

対応関係保持部１１６に事前に設定された設定情報１１７がなく、かつ、設定情報１１７が初めて利用される場合、作業判定部１０８は、対応関係保持部１１６に設定情報１１７および学習情報１１８が無いかどうかを判断する（ステップＳ９０１）。対応関係保持部１１６に設定情報１１７および学習情報１１８がないと判断した場合（ステップＳ９０１においてＹｅｓ）、作業判定部１０８は、作業を判定できないことを判定作業表示生成部１１１に通知する（ステップＳ９０２）。

また、対応関係保持部１１６に設定情報１１７又は学習情報１１８がある場合には（ステップＳ９０１においてＮｏ）、作業判定部１０８は、対象の音種情報に対応する音源範囲分布情報と、対応関係保持部１１６が保持する設定情報１１７および学習情報１１８とを用いて作業内容の判定を行う（ステップＳ９０３）。続いて、作業判定部１０８は、判定された作業内容を示す作業情報を判定作業表示生成部１１１へ出力する（ステップＳ９０４）。さらに、判定作業表示生成部１１１は、作業判定部１０８から受け取った作業情報をＵＩ画像へ変換してＵＩ表示部１１３へ出力する（ステップＳ９０５）。

その後、図８に示すように、ＵＩ表示部１１３は、音情報表示生成部１０９から受け取ったグラフと、音源位置表示生成部１１０から受け取った三次元空間上の画像に変換された音源範囲分布情報と、判定作業表示生成部１１１から受け取ったＵＩ画像とを含むＵＩ画面を生成し、表示する（ステップＳ８０６）。

図１０は、本実施の形態に係る閲覧用表示処理におけるユーザの操作に対する処理の手順を説明するフローチャートである。

ユーザ端末１１２は、ＵＩ表示部１１３で表示中のアプリに対して、ユーザが操作を行うまで待機する。待機中は、ＵＩ表示部１１３にはアプリの表示が継続される。まず、ユーザ端末１１２は、ユーザによりアプリ画面上の音源位置表示区間を任意の時間長又は開始時刻へ変更する操作が行われたかを判断する（ステップＳ１００１）。音源位置表示区間の変更操作が行われたと判断した場合（ステップＳ１００１においてＹｅｓ）、ＵＩ表示部１１３は、閲覧情報をユーザ指定の任意の時間長又は開始時刻へ変更する（ステップＳ１００２）。また、音源位置表示区間の変更操作が行われていないと判断した場合（ステップＳ１００１においてＮｏ）、ＵＩ入力部１１４は、ユーザがユーザ端末１１２のアプリやＷｅｂブラウザを用いて、作業内容の入力を行ったかを判断する（ステップＳ１００３）。

ユーザが作業内容の入力を行ったと判断した場合（ステップＳ１００３においてＹｅｓ）、後述する図１１に示されるステップＳ１１０１へ処理が進む。作業内容が入力されていないと判断した場合（ステップＳ１００３においてＮｏ）、作業記録支援システム１は、ユーザ端末１１２のＵＩ表示部１１３で表示されるアプリが終了したかを判断する（ステップＳ１００４）。

ＵＩ表示部１１３で表示されるアプリが終了したと判断した場合（ステップＳ１００５においてＹｅｓ）、作業記録支援システム１は、閲覧用表示処理を終了する。また、ＵＩ表示部１１３で表示されるアプリが終了していないと判断した場合（ステップＳ１００５においてＮｏ）、処理がステップＳ１００１へ戻る。

［２－３．作業入力および学習処理］
次に、作業入力および学習処理について説明する。図１１は、本実施の形態に係る作業入力および学習処理の手順を説明するフローチャートである。

ユーザが閲覧しながら、作業内容の入力を行うと、ＵＩ入力部１１４は、学習部１１５へユーザが入力した作業内容を受け付ける（ステップＳ１１０１）。次に、ＵＩ入力部１１４は、ユーザが入力した作業内容とその作業の時間帯とを出力する（ステップＳ１１０２）。

次に、学習部１１５は、収集データ保持部１０７から、その時間帯における音種情報および音源位置情報を含む収集データを取得する（ステップＳ１１０３）。次に、学習部１１５は、収集データ保持部１０７から取得した音源位置情報を統計的に処理して、各音種に対応する音源範囲分布を推定する（ステップＳ１１０４）。

次に、学習部１１５は、各音種に対応する音種情報および音源範囲分布情報と、作業内容を示す作業情報とを関連づけて対応関係保持部１１６の学習情報へ保存する（ステップＳ１１０５）。なお、保存の際に、既に同じ作業内容で保存済みの情報がある場合、学習部１１５は、後述するように、音源位置座標毎の音発生頻度の重み付けを更新する。

作業入力および学習処理が終了すると、閲覧用表示処理へ処理が戻る。具体的には、図１０のステップＳ１００１へ処理が戻る。

［３．ＵＩ画面の表示］
ユーザ端末１１２に表示されるＵＩ画面について、具体的に説明する。図１２Ａおよび図１２Ｂは、本実施の形態に係るＵＩ画面の模式図である。

図１２Ａおよび図１２Ｂに示すように、ＵＩ表示部１１３に表示されるＵＩ画面には、例えば、声傾向グラフ１２０１、音源位置マップ１２０２、および、作業入力ボタン領域１２０９が表示される。

声傾向グラフ１２０１には、各時刻における音種と音の傾向が示されている。例えば、図１２Ａでは、乳児の泣き声又はぐずりの声の程度が時刻毎に表示されている。声傾向グラフ１２０１において、横軸には時刻（例えば１分毎）が示されており、縦軸には泣き声又はぐずりが録音された録音データ数が示されている。つまり、録音データ数が多いほど、単位時間当たりの泣き声又はぐずりが生じた頻度が高いことになる。

また、音源位置マップ１２０２には、ユーザ又は作業記録支援システム１が指定した位置、すなわち時間帯１２０４における音種情報と音源位置情報とに基づく画像が表示される。ユーザは、声傾向グラフ１２０１に対する入力により時間帯１０２４を指定する。例えば、図１２Ａでは、声傾向グラフ１２０１に示された１０：４７～１０：５２の５分間の音源位置（音源範囲分布）が音源位置マップ１２０２に示されている。ここで、室内における音源位置の関係が分かり易い様に、音源位置マップ１２０２には、床１２０５、マイクロフォン１２０６、乳児１２０７および女性１２０８の位置が三次元的に表示される。

また、作業入力ボタン領域１２０９には、ユーザが作業内容の入力を行うための作業内容を示す作業情報に対応する作業入力ボタンが複数表示されている。作業情報は、育児に関する作業に限らず、例えば家事など他の作業を含んでもよい。ユーザは、複数の作業入力ボタンのうちの１つを押すことにより、表示された時刻における作業内容を入力することができる。

図１２Ｂは、ユーザが閲覧箇所の変更操作を行う場合のＵＩ画面例を示している。ユーザは、声傾向グラフ１２０１内で時間帯１２０４を変更する操作を行うことができる。この場合、図１２Ｂに示すように、ユーザは、手１２１１で声傾向グラフ１２０１内の時間帯１２０４に接触することにより、時間帯１２０４の時間長および開始時刻を変更することができる。時間帯１２０４の時間長および開始時刻が変更されると、これに追従して、音源位置マップ１２０２も変更される。

以下、表示される音源位置情報および作業情報について、図１３Ａ～図１４Ｂを参照してより詳細に説明する。

図１３Ａおよび図１３Ｂは、本実施の形態に係る閲覧用表示処理および作業入力処理における音源位置情報の推定の方法と、推定された音源位置情報の表示方法とを説明する図である。図１３Ａおよび図１３Ｂでは、乳児の泣き声と女性の声の音源が、１０：４７～１０：５２の５分間にどの位置にあったかを推定し、表示する例を示している。

図１３Ａには、収集データ保持部１０７により取得した音がテーブル１３０１として示されている。テーブル１３０１には、音種情報として記録されている乳児の泣き声および女性の声に対して、１０：４７～１０：５２の５分間の各時刻における音源位置情報がそれぞれ保持されている。作業判定部１０８は、テーブル１３０１に保持されている時間帯における、女性の声の音源位置１３０６及び乳児の泣き声の音源位置１３０５を判定する。

さらに、音源位置表示生成部１１０により、所定時間内の音源位置情報が三次元空間上の画像に変換され、ＵＩ画面として当該画像がユーザ端末１１２のＵＩ表示部１１３に表示される。つまり、推定された所定時間内の音源位置は、図１２Ａに示した音源位置マップ１２０２として表示される。

これにより、ユーザは、推定された所定時間内の音源位置を視覚的に把握することができる。よって、ユーザは、当該時間に行っていた作業を思い出しやすく、作業内容の記録を容易に行うことができる。なお、音源範囲分布が広域になる場合には、色彩又は濃淡のグラデーションを付与することで、音源位置の分布を表現し、ユーザに音源位置をより把握し易くしてもよい。

また、図１４Ａおよび図１４Ｂは、本実施の形態に係る閲覧用表示処理および作業入力処理における作業内容の判定の方法と作業内容の表示方法とを説明する図である。図１４Ａに示す（ａ）および（ｂ）は、図３に示した音源範囲分布の（ａ）および（ｂ）と同様に、音源の位置を平面図と斜視図とで示している。

図１４Ａの（ａ）および（ｂ）に示した、作業判定部１０８が判定した所定期間における音種が乳児の泣き声である音源範囲分布１４０１と音種が女性の声である音源範囲分布１４０２を示す音源位置情報は、作業判定部１０８において、対応関係保持部１１６が保持する図３の（ａ）および（ｂ）に示された音源位置情報（音源範囲分布）と比較される。それにより、対応関係保持部１１６が保持する設定情報又は学習情報において推定された音種情報と音源位置情報と類似する情報が探索される。ここで、図１４Ａの（ａ）および（ｂ）に示す乳児の泣き声と女性の声の音源位置情報（音源範囲分布）は、図３の（ａ）および（ｂ）に示された育児作業のミルク（テーブル３０１の下段）の場合の音源位置情報（音源範囲分布）と類似であると推定できる。したがって、判定作業表示生成部１１１は、図１４Ｂに示すように、判定した作業内容を示す作業情報「ミルク」を、ＵＩ表示部１１３の声傾向グラフ１２０１の該当する時間帯１４０３に表示する。なお、判定された作業内容は、図１２Ａに示した声傾向グラフ１２０１の該当する時間帯１２０４に表示される。

表示された作業情報「ミルク」と異なる作業情報が、図１２Ａに示した作業入力ボタンから入力されると、判定した作業内容は入力された作業内容に修正され、修正された作業内容を示す作業情報が対応関係保持部１１６に保存される。

［４．学習処理による学習情報の自動更新］
図１５Ａ～図１５Ｃは、本実施の形態に係る学習処理において、学習情報１１８へ保存される音源範囲分布情報を示す図である。学習情報１１８は、ユーザが入力した作業内容に対応する時間帯に発生した音の音種情報と音源位置情報に基づいて、音種情報、音源位置情報および作業情報が更新されることにより自動更新される。以下、学習情報１１８の自動更新の手順について説明する。

図１５Ａは、以前にユーザが入力した作業情報「ミルク」に対応する時間帯に検出された乳児の泣き声の音源位置１５０１と女性の声の音源位置１５０２を示している。学習部１１５は、乳児泣き声の音源位置１５０１と女性の声の音源位置１５０２の音源位置情報（音源範囲分布）を、作業情報「ミルク」に対応付けて学習情報１１８に保持している。

また、図１５Ｂは、ユーザが新たに入力した作業情報「ミルク」に対応する時間帯に検出された乳児の泣き声の音源位置１５０３と女性の声の音源位置１５０４を示している。まず、音種情報および音源位置情報は、収集データ保持部１０７に保持される。そして、学習部１１５は、新たに検出された乳児泣き声の音源位置１５０３と女性の声の音源位置１５０４を示す音源位置情報（音源範囲分布）を収集データ保持部１０７から取得し、作業情報「ミルク」に対応付けて、登録データとして学習情報１１８に保存する。このとき、図１５Ａに示した、学習情報１１８に既に保存されている登録データを残したまま、新たに登録データを保存してもよいし、学習情報１１８に既に保存されている登録データに上書きして、新たに登録データを保存してもよい。

また、図１５Ｃに示すように、学習情報１１８に既に同じ作業内容の登録データがある場合には、学習部１１５は、例えば、既に保存されている登録データの乳児の泣き声の音源位置１５０１と新たに検出された乳児の泣き声の音源位置１５０２とを合成して、作業情報「ミルク」対応付けられた乳児の泣き声の音源位置情報として、保存してもよい。また、女性の声の音源位置情報についても同様であり、学習部１１５は、既に保存されている女性の声の音源位置１５０２に、新たに検出された女性の声の音源位置１５０４を合成して保存してもよい。

さらに、図１５Ｃに示すように、学習情報１１８に既に同じ作業情報の登録データがある場合には、学習部１１５は、既に保存されている登録データの乳児の泣き声の音源位置１５０１と新たに検出された乳児の泣き声の音源位置１５０３との重複部分１５０５に重みを付けてもよい。重みが大きい位置ほど、ミルクを与える育児作業を行った可能性が高くなる。また、図示を省略するが、女性の声の音源位置情報についても同様であり、学習部１１５は、既に保存されている女性の声の音源位置１５０２と新たに検出された女性の声の音源位置１５０４との重複部分に重みを付けて、重みを保存してもよい。

［５．効果］
（効果）
以上、本実施の形態にかかる情報処理システムである作業記録支援システム１によると、音源から発生した音の音種および音源位置を検出し、これに対応する作業を判定してユーザに提示することができる。これにより、ユーザは当該音が発生したときに行っていた作業を容易に思い出すことができる。したがって、ユーザの作業記録を支援することができる。

また、検出された音種および音源位置に対応する作業が提示されるので、ユーザは当該音が発生したときに行っていた作業をより容易に思い出すことができる。また、提示された作業が実際に行った作業と異なっているときは、容易に修正することができる。

さらに、検出された音種および音源位置と、提示された作業又は修正された作業とが保存されることにより、次回以降に判定される作業はより正確に判定される。これにより、ユーザは当該音が発生したときに行っていた作業をより容易に思い出すことができるとともに、提示された作業の修正回数が低減するため簡便に作業の記録を行うことができる。

（変形例）
以下、実施の形態に係る変形例について、図１６Ａおよび図１６Ｂを用いて説明する。図１６Ａは、変形例に係る録音部１０４により録音された音の音傾向を示すグラフである。図１６Ｂは、図１６Ａに対応する、ＵＩ画面の模式図における声傾向グラフである。

本変形例に係る作業記録支援システム１は、無音状態の前後の音種および音源位置から、無音状態時の音源の状態、又は、無音状態の前後のユーザの作業内容を判定してもよい。具体的には、作業記録支援システム１は、録音部１０４により所定期間録音されない状態（無音状態）を検出すると、無音状態が開始する直前の音種および音源位置を取得し、無音状態に遷移した後に再び録音された音の音種および音源位置を取得する。無音状態前および後の音種および音源位置とから、無音状態前および後のそれぞれにおけるユーザの作業内容を判定する。例えば、無音状態前の作業としては抱っこ又は寝かしつけなどがあり、無音状態後の作業としては汗拭き又はおむつ交換などがある。なお、無音状態とは、上述した規定音量以上の音が発生していない状態である。

詳細には、図１６Ａに示すように、録音部１０４で録音された音のファイル数が時間とともに少なくなり、無音状態が続いた場合、当該無音状態の期間には、音種および音源位置が検出されない。

そこで、作業記録支援システム１において、音種検出部１０５は、録音部１０４から録音した音を受け取り、音種を推定する処理において（図６におけるステップＳ６０６）、無音状態が開始する直前および無音状態後に音が発生したときに録音された音から、無音状態が開始する直前および直後に発せられた音の音種を推定し、音種情報を生成する。そして、音種検出部１０５は、無音状態が開始する直前および直後の推定した音種情報が同一であるか否かを判定する。

また、音源位置取得部１０６は、音源位置を推定する処理において（図８におけるステップＳ８０３）、無音状態が開始する直前および無音状態後に音が発生したときに録音された音から、無音状態が開始する直前および直後に音を発した音源の音源位置を推定し、音源位置情報（音源範囲分布）を生成する。そして、無音状態が開始する直前および直後の推定した音源位置情報が同一であるか否かを検出する。

無音状態が開始する直前および無音状態終了直後の音種情報および音源位置情報（音源範囲分布）が同一又は類似である場合には、推定した音種の音源が、推定した音源位置から移動していない可能性が比較的高い。

また、対応関係保持部１１６の設定情報１１７には、無音状態前後の音種情報および音源位置情報が同一の場合の作業内容を示す作業情報として、例えば「睡眠」があらかじめ保存されている。作業判定部１０８は、作業内容を判定するときに（図９におけるステップＳ９０３）、無音状態前後の音種および音源位置に対応する作業情報「睡眠」を選択する。これにより、作業記録支援システム１は、無音状態の期間の作業を「睡眠」と判定することができる。

また、判定された作業は、図１６Ｂに示すように、ユーザ端末１１２に表示されるＵＩ画面の声傾向グラフに表示されてもよい。また、判定された作業と異なる作業がユーザ端末１１２のＵＩ入力部１１４から入力されたときは、判定された作業は入力された作業内容に修正され、修正された作業内容を示す作業情報が対応関係保持部１１６に保存されてもよい。

なお、作業記録支援システム１は、上述したように無音状態に限らず、特定の音源位置、音源位置の動き、音が発生する特定の時間帯などから、音が発生したときの作業を判定してもよい。

（その他の実施の形態）
以上、本実施の形態および変形例に係る情報処理装置および情報処理方法について、作業記録支援システム１を例として説明したが、本実施の形態に係る情報処理装置は、上述した実施の形態に示したものに限られない。

また、対応関係保持部１１６に保持されている音種情報、音源位置情報および作業情報を対応付けるテーブルは、上述したテーブル２０１に限らず、他の方法により保持されていてもよい。

また、情報処理装置および情報処理方法は、上述したように無音状態に限らず、特定の音源位置、音源位置の動き、音が発生する特定の時間帯などから、音が発生したときの作業を判定してもよい。

また、上述したような情報処理装置、録音装置、提示装置、入力装置、第１位置取得部、第２位置取得部を含む情報処理システムが提供されてもよい。

また、本実施の形態および変形例に係る情報処理システムである作業記録支援システム１は、さらに、現在時間を示す現在時間情報を取得し、取得された現在時間情報が示す時間が、作業対応付け情報に登録されているセットが有する時間を基準とする時間である場合、当該セットに対応付けられている作業を示す作業情報をユーザ端末１１２のＵＩ表示部１１３に提示させてもよい。これにより、ユーザは、ＵＩ表示部１１３に提示された作業から現在時刻が当該提示された作業を行う時間であることを思い出すことができる。よって、ユーザは、当該作業を忘れることなく行うことができる。

なお、上記態様において説明された技術は、例えば、クラウドサービスの類型において実現されうる。しかし、上記態様において説明された技術が実現されるクラウドサービスの類型はこれらに限られるものでない。

以上、本発明の一つ又は複数の態様に係る情報処理装置および情報処理方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つ又は複数の態様の範囲内に含まれてもよい。

本発明は、過去の作業内容の記録時に作業想起、および、作業記録入力を簡易化する方法として有用である。

１ 作業記録支援システム（情報処理システム）
２ 情報処理装置
１０１ 音源
１０２ 第１位置取得部
１０３ 第２位置取得部
１０４ 録音部（録音装置）
１０５ 音種検出部
１０６ 音源位置取得部
１０７ 収集データ保持部
１０８ 作業判定部
１０９ 音情報表示生成部
１１０ 音源位置表示生成部
１１１ 判定作業表示生成部
１１２ ユーザ端末
１１３ ＵＩ表示部（提示装置）
１１４ ＵＩ入力部（入力装置）
１１６ 対応関係保持部

Claims (20)

1. 情報処理を行うプロセッサを用いて、
   録音装置により録音された、音源から発生する音を示す音情報を取得し、
   前記音情報に基づいて前記音源の音種を示す音種情報を生成し、
   前記音源の位置を示す音源位置情報を取得し、
   前記音源の位置において行われる作業を、音種および音源の位置のセットと作業との対応付けを示す作業対応付け情報を用いて判定し、
   判定された前記作業を示す第１作業情報を提示装置に提示させ、
   さらに、提示された前記第１作業情報に対する入力を、入力装置を介して受け付け、
   前記入力は、前記第１作業情報を他の作業を示す第２作業情報に変更する入力を含み、
   さらに、前記入力の受付後に、前記作業対応付け情報における前記第１作業情報を前記第２作業情報で更新する
   情報処理方法。
2. 情報処理を行うプロセッサを用いて、
   録音装置により録音された、音源から発生する音を示す音情報を取得し、
   前記音情報に基づいて前記音源の音種を示す音種情報を生成し、
   前記音源の位置を示す音源位置情報を取得し、
   前記音源の位置において行われる作業を、音種および音源の位置のセットと作業との対応付けを示す作業対応付け情報を用いて判定し、
   判定された前記作業を示す第１作業情報を提示装置に提示させ、
   さらに、提示された前記第１作業情報に対する入力を、入力装置を介して受け付け、
   前記作業対応付け情報は、音種および音源の位置の変化のセットと作業との対応付けを示す情報を含み、
   さらに、前記音源の位置の変化と音種とに基づいて前記作業を判定し、
   前記音源の位置の変化および前記音種と、判定された前記作業との対応付けを示す情報とを前記作業対応付け情報に追加する
   情報処理方法。
3. さらに、前記音情報が示す音が録音された時間を示す時間情報を取得し、
   前記セットは、音種および音源の位置ならびに前記時間情報の示す時間のセットを含む
   請求項１又は２に記載の情報処理方法。
4. 前記作業対応付け情報は、音種が異なる複数の前記セットと作業との対応付けを示す情報を含む
   請求項１～３のいずれか１項に記載の情報処理方法。
5. 前記音種が異なる複数の前記セットは、音種が子供の声である前記セットおよび音種が大人の声である前記セットを含む
   請求項４に記載の情報処理方法。
6. さらに、
   前記第１作業情報を前記時間情報とともに前記提示装置に提示させる
   請求項３に記載の情報処理方法。
7. さらに、提示装置に、
   前記音情報が示す音の大きさに基づく前記音情報が示す音の時系列の変化を示す画像を提示させ、
   前記画像における時間に対応した位置に前記第１作業情報を提示させる
   請求項６に記載の情報処理方法。
8. さらに、前記音種情報および前記音源位置情報に基づく画像を前記提示装置に提示させる
   請求項１～７のいずれか１項に記載の情報処理方法。
9. 前記入力は、前記第１作業情報を他の作業を示す第２作業情報に変更する入力を含む
   請求項２に記載の情報処理方法。
10. さらに、前記入力の受付後に、前記作業対応付け情報における前記第１作業情報を前記第２作業情報で更新する
    請求項９に記載の情報処理方法。
11. 前記入力は、前記第１作業情報の内容の入力を含む
    請求項１～１０のいずれか１項に記載の情報処理方法。
12. 前記作業対応付け情報は、音種および音源の位置の変化のセットと作業との対応付けを示す情報を含む
    請求項１に記載の情報処理方法。
13. さらに、
    前記音源の位置の変化と音種とに基づいて前記作業を判定し、
    前記音源の位置の変化および前記音種と、判定された前記作業との対応付けを示す情報とを前記作業対応付け情報に追加する
    請求項１２に記載の情報処理方法。
14. 前記音種は、宅内又は商業施設において、人および物が発する音の種類である
    請求項１～１３のいずれか１項に記載の情報処理方法。
15. 前記音種は、前記音情報の示す音の周波数、強弱、継続時間、発生頻度、発生時間帯又は発生方向を用いて検出される
    請求項１～１４のいずれか１項に記載の情報処理方法。
16. 前記音源位置情報は、前記音源となる物体に取り付けられた第１の位置取得部、又は、前記音源の周辺に配置された第２位置取得部から取得される
    請求項１～１５のいずれか１項に記載の情報処理方法。
17. 前記音源位置情報は、複数の前記録音装置のそれぞれにより録音された音波形差から生成される
    請求項１～１６のいずれか１項に記載の情報処理方法。
18. さらに、
    現在時間を示す現在時間情報を取得し、
    取得された前記現在時間情報が示す時間が、前記作業対応付け情報に登録されている前記セットが有する時間を基準とする時間である場合、前記セットに対応付けられている作業を示す前記第１作業情報を前記提示装置に提示させる
    請求項３に記載の情報処理方法。
19. 録音装置により録音された、音源から発生する音を示す音情報を取得し、前記音情報に基づいて前記音源の音種を示す音種情報を生成する音種検出部と、
    前記音源の位置を示す音源位置情報を取得する音源位置取得部と、
    音種情報と、音源位置情報と、音種および音源の位置のセットと作業との対応付けを示す作業対応付け情報とを記憶する記憶部と、
    前記音源の位置において行われる作業を、前記作業対応付け情報を用いて判定する作業判定部と、を備え、
    判定された前記作業を示す第１作業情報を提示装置に提示させ、
    さらに、提示された前記第１作業情報に対する入力を、入力装置を介して受け付け、
    前記入力は、前記第１作業情報を他の作業を示す第２作業情報に変更する入力を含み、
    さらに、前記入力の受付後に、前記作業対応付け情報における前記第１作業情報を前記第２作業情報で更新する
    情報処理装置。
20. 録音装置により録音された、音源から発生する音を示す音情報を取得し、前記音情報に基づいて前記音源の音種を示す音種情報を生成する音種検出部と、
    前記音源の位置を示す音源位置情報を取得する音源位置取得部と、
    音種情報と、音源位置情報と、音種および音源の位置のセットと作業との対応付けを示す作業対応付け情報とを記憶する記憶部と、
    前記音源の位置において行われる作業を、前記作業対応付け情報を用いて判定する作業判定部と、を備え、
    判定された前記作業を示す第１作業情報を提示装置に提示させ、
    さらに、提示された前記第１作業情報に対する入力を、入力装置を介して受け付け、
    前記作業対応付け情報は、音種および音源の位置の変化のセットと作業との対応付けを示す情報を含み、
    さらに、前記音源の位置の変化と音種とに基づいて前記作業を判定し、
    前記音源の位置の変化および前記音種と、判定された前記作業との対応付けを示す情報とを前記作業対応付け情報に追加する
    情報処理装置。
    

Images