(本発明の基礎となった知見)
本発明者は、従来システムに関し、以下の問題が生じることを見いだした。
従来システムは、時系列に記録した足音の音源位置座標を利用することでユーザの歩行軌跡を導出している。しかし、同じ場所に歩行した場合でも異なる作業をしていることも多々ある為、ユーザの歩行軌跡とユーザの作業内容とを単純に結び付けることは難しく、作業内容を記録する技術的な解決策に関して、従来技術では検討はされていなかった。
更に、記録する作業内容の判定にあたり、記録が必要な作業が発生した時刻に合わせた音種とユーザ位置とをユーザへ提示し、ユーザの作業想起を促すことで容易な記録入力を実現することが望まれている。また、ユーザ入力による作業記録を用いて次回以降に同様な行動が観測された場合に作業内容を判定しユーザへ提示することによりユーザ記録入力の便宜を図ることも望まれている。
このような課題を解決するために、本開示の一態様に係る情報処理方法は、情報処理を行うプロセッサを用いて、録音装置により録音された、音源から発生する音を示す音情報を取得し、前記音情報に基づいて前記音源の音種を示す音種情報を生成し、前記音源の位置を示す音源位置情報を取得し、前記音源の位置において行われる作業を、音種および音源の位置のセットと作業との対応付けを示す作業対応付け情報を用いて判定し、判定された前記作業を示す第1作業情報を提示装置に提示させる。
また、本開示に係る情報処理方法は、情報処理を行うプロセッサを用いて、録音装置により録音された、音源から発生する音を示す音情報を取得し、前記音情報に基づいて前記音源の音種を示す音種情報を生成し、前記音源の位置を示す音源位置情報を取得し、前記音源の位置において行われる作業を、音種および音源の位置のセットと作業との対応付けを示す作業対応付け情報を用いて判定し、判定された前記作業を示す第1作業情報を提示装置に提示させ、提示された前記第1作業情報に対する入力を、入力装置を介して受け付ける。
これによれば、ユーザが作業後にある程度時間が経過した場合に作業記録を行う際でも、ユーザの作業想起を促し容易な記録入力を実現する。
更に、ユーザへ視覚的に提示した各音種の音源位置を基にユーザが入力した作業記録を用いて、次回以降に同様な各音種の音源位置を検知した場合に作業の判定を行うことで、より容易な作業記録の入力を実現できる。
なお、音源位置の取得はマイクロフォンを用いても良いし、赤外線又はミリ波等の非接触で音源位置を特定してもよい。また、音源の近傍に設置した、接触することで音源位置を特定できるGPS(Global Positioning System)等を用いてもよい。
これにより、音源から発生した音の音種および音源位置を検出し、これに対応する作業を判定してユーザに提示することができる。したがって、ユーザは当該音が発生したときに行っていた過去の作業を容易に思い出すことができる。よって、過去の作業をユーザに容易に想起させて記録させることによりユーザの作業記録を支援することができる。
また、さらに、前記音情報が示す音が録音された時間を示す時間情報を取得し、前記セットは、音種および音源の位置ならびに前記時間情報の示す時間のセットを含んでもよい。
これにより、時間を考慮して作業を判定するため、より正確に作業を判定することができる。
また、前記作業対応付け情報は、音種が異なる複数の前記セットと作業との対応付けを示す情報を含んでもよい。
これにより、複数の声で作業を判定することができ、提示する作業の正確性を向上させることができる。
また、前記音種が異なる複数の前記セットは、音種が子供の声である前記セットおよび音種が大人の声である前記セットを含んでもよい。
これにより、育児又は家事に関する作業をより正確に判定することができる。
また、さらに、前記第1作業情報を前記時間情報とともに前記提示装置に提示させてもよい。
これにより、作業が行われたであろう時間帯をユーザに提示することができ、ユーザに作業をより正確に思い出させることが可能となる。
また、さらに、提示装置に、前記音情報が示す音の大きさに基づく前記音情報が示す音の時系列の変化を示す画像を提示させ、前記画像における時間に対応した位置に前記第1作業情報を提示させてもよい。
これにより、音の変化を提示することにより、作業時の状況を想起させ、作業を思い出しやすくすることができる。
また、さらに、前記音種情報および前記音源位置情報に基づく画像を前記提示装置に提示させてもよい。
これにより、作業に関わった人および作業を行ったであろう場所が提示されることにより、作業を思い出しやすくすることができる。
また、前記入力は、前記第1作業情報を他の作業を示す第2作業情報に変更する入力を含んでもよい。
これにより、提示された作業が実際に行った作業と異なっているときは、ユーザは当該作業を容易に修正して、修正した記録を保存することができる。
また、さらに、前記入力の受付後に、前記作業対応付け情報における前記第1作業情報を前記第2作業情報で更新してもよい。
これにより、検出された音種および音源位置と、提示された作業又は修正された作業とが保存されることにより、次回以降に判定される作業はより正確に判定される。これにより、ユーザは当該音が発生したときに行っていた作業をより容易に思い出すことができるとともに、提示された作業の修正回数が低減するため簡便に作業の記録を行うことができる。
また、前記入力は、前記第1作業情報の内容の入力を含んでもよい。
これにより、作業内容を入力させることにより、時間が経過した後、作業内容を忘れてしまっても確認することができる。
また、前記作業対応付け情報は、音種および音源の位置の変化のセットと作業との対応付けを示す情報を含んでもよい。
これにより、位置の変化に応じて作業を判定することができるため、位置だけでは区別できない作業も判定することができる。したがって、判定可能な作業のバリエーションを増やすことができる。
また、さらに、前記音源の位置の変化と音種とに基づいて前記作業を判定し、前記音源の位置の変化および前記音種と、判定された前記作業との対応付けを示す情報とを前記作業対応付け情報に追加してもよい。
これにより、ユーザが作業を登録しなくても、音種と音源位置の変化から作業を判定することができ、自動的に作業を記録することができる。
また、前記音種は、宅内又は商業施設において、人および物が発する音の種類であってもよい。
これにより、宅内又は商業施設での人や動物の声、足音や機器の動作音や警告音、落下音などの人や物が発する音等から音種を推定することができるので、ユーザは当該音種の音が発生したときに行っていた過去の作業を容易に思い出すことができる。
また、前記音種は、前記音情報の示す音の周波数、強弱、継続時間、発生頻度、発生時間帯又は発生方向を用いて検出されてもよい。
これにより、音の周波数、強弱、継続時間、発生頻度、発生時間帯又は発生方向等により音種が検出されるので、種々の音種を区別して検出することができる。
また、前記音源位置情報は、前記音源となる物体に取り付けられた第1の位置取得部、又は、前記音源の周辺に配置された第2位置取得部から取得されてもよい。
これにより、接触式又は非接触式の検出器により簡便に音源位置を検出することができる。
また、前記音源位置情報は、複数の前記録音装置のそれぞれにより録音された音波形差から生成されてもよい。
これにより、録音された音の周波数、強弱、継続時間、発生頻度、発生時間帯又は発生方向等の差から音源位置が検出されるので、他の検出器を用いる必要がなく、簡便に音源位置を検出することができる。
また、さらに、現在時間を示す現在時間情報を取得し、取得された前記現在時間情報が示す時間が、前記作業対応付け情報に登録されている前記セットが有する時間を基準とする時間である場合、前記セットに対応付けられている作業を示す前記作業情報を前記提示装置に提示させてもよい。
これにより、ユーザは、提示された作業から現在時刻が当該提示された作業を行う時間であることを思い出すことができるので、当該作業を忘れることなく行うことができる。
また、本発明の一態様に係る情報処理システムは、録音装置により録音された、音源から発生する音を示す音情報を取得し、前記音情報に基づいて前記音源の音種を示す音種情報を生成する音種検出部と、前記音源の位置を示す音源位置情報を取得する音源位置取得部と、音種情報と、音源位置情報と、音種および音源の位置のセットと作業との対応付けを示す作業対応付け情報とを記憶する記憶部と、前記音源の位置において行われる作業を、前記作業対応付け情報を用いて判定する作業判定部と、を備える。
これにより、音源から発生した音の音種および音源位置を検出し、これに対応する作業を判定してユーザに提示することができる。したがって、ユーザは当該音が発生したときに行っていた過去の作業を容易に思い出すことができる。よって、過去の作業をユーザに容易に想起させて記録させることによりユーザの作業記録を支援することができる。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることも出来る。
また、以下で示す「音」とは、人又は動物などの「声」だけでなく、物が発する音および物と物との関わりにより発する音も含むものとする。
(提供するシステムの概要)
まず、本実施の形態における情報処理システムの一例として、母親等のユーザが育児作業の記録を行うのを支援する作業記録支援システムの概要について説明する。なお、「作業」は、実際の作業のほか、作業により至る状態も含まれる。例えば、寝かしつけという作業と、その結果の睡眠という状態が「作業」という用語に含まれる。
本システムは、ネットワークに接続したマイクロフォンを用いて、時刻毎に発生する音および声の種類と音源位置とをセンシングして、自動録音する。本システムのユーザは、スマートフォン又はタブレットなどのユーザ端末上で、アプリ(アプリケーション)又はWebブラウザを用いて、自動録音された音種および音源位置から任意の時刻における音種と音源位置とを参照することができる。そして、ユーザは、音種と音源位置とを参考にして、その時刻に行った育児作業を想起して記録することができる。
図17は、本実施の形態における作業記録支援システムの概要を説明する図である。図17の左側にはシステムの利用シーン、右側には作業記録支援システムの挙動を示す。
図17の(a)および(b)に示すように、ユーザはオムツを交換する作業1601と、子どもにミルクを与える作業1602を実行する。一方、作業記録支援システムのネットワークに接続したマイクロフォンは、育児作業中に発生する音を収音し、作業記録支援システムに、収音された音および声の種類と音源位置が記録される。
更に、図17の(c)に示すように、育児作業を終えた後に、ユーザがスマートフォンやタブレットなどのユーザ端末を用いて育児作業を記録する作業1603を行う。この際に、ユーザは、育児作業をした正確な時刻を記憶していない場合も多い。そこで、ユーザは、作業したであろう時間帯に作業記録支援システムに記録された音種と音源位置とを参照することができる。そのため、ユーザは、参照される音種および音源位置を参考にして、作業記録を行うことができる。その際、ユーザは、参照した音種および音源位置と作業とを対応付けることができる。そのため、既に記録されている音種と音源位置とに類似した状況が検出された場合、作業記録支援システムは、当該音種および音源位置に対応付けられた作業をユーザに提示する。ユーザは、作業記録支援システムが提示した作業を確認して、作業に誤りがあれば訂正入力を行う。これにより、作業内容の記録をより簡易化できる。
(実施の形態)
[1.作業記録支援システムの構成]
図1は、本実施の形態における作業記録支援システム1の構成を示す図である。作業記録支援システム1は、女性(母親)又は乳児などの音源101から発生した声を示す音情報を取得し、取得した音情報に基づいて音種と音源位置を検出し記録するシステムである。
図1に示すように、作業記録支援システム1は、女性又は乳児などの音源101に配置される第1位置取得部102と、第2位置取得部103と、録音装置である録音部104と、音種検出部105と、音源位置取得部106と、収集データ保持部107と、作業判定部108と、音情報表示生成部109と、音源位置表示生成部110と、判定作業表示生成部111と、ユーザ端末112と、学習部115と、対応関係保持部116とを備える。音種検出部105、音源位置取得部106、収集データ保持部107、作業判定部108、音情報表示生成部109、音源位置表示生成部110、判定作業表示生成部111、学習部115および対応関係保持部116は、情報処理装置2に配置されている。情報処理装置2は、例えばサーバに設けられている。また、ユーザ端末112には、UI(ユーザインターフェース)表示部113およびUI入力部114が設けられている。本実施の形態におけるUI表示部113およびUI入力部114は、それぞれ提示装置および入力装置である。対応関係保持部116は、後述するように、設定情報117と学習情報118とを有している。
作業記録支援システム1では、音源位置を特定するために、第1位置取得部102、第2位置取得部103、録音部104が用いられる。また、録音部104は、音源から発声する声および音を録音するために用いられる。さらに、録音した音および声の種類を検出する音種検出部105と、録音した音および声がどの位置から発生したかを特定する音源位置取得部106と、特定した時刻毎の音種と音源位置とを保持する為の収集データ保持部107がある。なお、第1位置取得部102と、第2位置取得部103は、録音部104により音源位置を取得することが可能な場合には用いられていなくてもよい。
また、ユーザがユーザ端末112を用いて作業記録を入力する際に必要な情報を表示するために、情報処理装置2では収集データ保持部107、作業判定部108、音情報表示生成部109、音源位置表示生成部110、判定作業表示生成部111が用いられる。ユーザ端末112では、UI表示部113とUI入力部114とが用いられる。また、ユーザがユーザ端末112を用いて入力した作業記録を保持するために、情報処理装置2では、対応関係保持部116が用いられる。さらに、入力された作業記録を、次回の作業内容の判定に利用するために、学習部115が用いられる。
第1位置取得部102は、後述する音源位置取得部106が音源101の位置を特定するための位置情報を生成し送信する。第1位置取得部102は、例えば、GPS、Bluetooth(登録商標)、ビーコン等の信号を発信する発信器である。第1位置取得部102は、衛星から受信したGPS情報、電波通信を利用した位置推定情報を情報処理装置2へ送信する。第1位置取得部102は、ユーザに身に付けられる接触型の機器である。
第2位置取得部103は、非接触で音源位置を取得する。第2位置取得部103は、例えば、カメラ、赤外線又はミリ波などを用いた非接触式の位置検出器である。例えば、第2位置取得部103は、カメラから得られる距離画像又は赤外線もしくはミリ波を用いて得られるTOF(Time Of Flight)情報から位置を推定する。そして、推定された位置を示す位置推定情報が情報処理装置2へ送信される。なお、位置を推定する前の情報(距離画像又はTOF情報など)が情報処理装置2へ送信されてもよい。
録音部104は、例えば複数のマイクロフォンを有するマイクロフォンアレイである。複数のマイクロフォンは、それぞれ異なる位置に配置され、各位置での音および声を録音する。これにより、複数のマイクロフォンのそれぞれにより録音された音の波形差(例えば、位相又は振幅の差)および到達時間差などから、後述するように音源位置を特定することができる。また、特定の条件を満たす音だけが録音され又は情報処理装置2に送信される。例えば、音圧が閾値以上である音だけが録音され又は情報処理装置2に送信される。
音種検出部105は、録音した音の種類(音種)を検出し、検出された音種を示す音種情報を生成する。ここで、音種とは、自宅などの宅内又は商業施設において、人および物が発する音の種類である。例えば、音種とは、人又は動物の声、足音、機器の動作音又は警告音、落下音などの人又は物が発する音で区分される種別である。なお、処理の対象となる音は、周波数帯に関わらず、可聴音および非可聴音を含む。音種検出部105は、例えば音の周波数、強弱、継続時間、発生頻度、発生時間帯又は発生方向を用いて、解析等を行うことにより音種を検出する。
音源位置取得部106は、録音した音の音源位置を検出し、検出された音源位置を示す音源位置情報を生成する。音源位置取得部106は、例えば、第1位置取得部102から受信されるGPS情報、位置推定情報、第2位置取得部103から受信される位置推定情報を受信することにより音源位置情報を取得する。なお、第1位置取得部102又は第2位置取得部103から受信される情報と、録音部104から受信される音情報と、に基づいて音源位置を検出することにより、音源位置情報が取得されてもよい。
収集データ保持部107は、音種情報と音源位置情報とを含むデータ(以下、収集データとも称する。)を、時刻ごとに保持するメモリである。収集データは、音種情報と当該音種情報が示す音種の音の音源位置情報と当該音が録音された時間(時刻)とのセットを一単位として有する。なお、収集データ保持部107で保持される収集データについては後述する。
作業判定部108は、収集データ保持部107で保持されている収集データと、対応関係保持部116に保持されている設定情報117および学習情報118のデータ(以下、登録データとも称する。)とを用いて、所定の時刻の音種情報と音源位置情報に対応するユーザの作業内容の判定を行う。
音情報表示生成部109は、収集データ保持部107が保持する収集データをユーザが閲覧可能なグラフ等として表示するための表示データを生成する。
音源位置表示生成部110は、ユーザ端末112で表示される時間帯における音種毎の音源位置データを、立体的に表示するための表示内容を生成する。音源位置表示生成部110は、収集データに含まれる音源位置情報に基づいて、例えば音種ごとの音源位置を三次元で表示するx、y、z座標系の表示データを生成する。
判定作業表示生成部111は、作業判定部108において収集データと登録データからユーザの作業が判定された場合には、音情報表示生成部109が生成したグラフ等の表示データへ重畳するための判定された作業を示す作業情報に係る表示データを生成する。なお、予め記憶されている表示データが、判定された作業に応じて選択されてもよい。
対応関係保持部116は、音種情報および音源位置情報とユーザの作業内容を示す作業情報とを対応付ける情報(作業対応付け情報)を保持する。対応関係保持部116は、音種情報および音源位置情報と作業情報とを対応付ける、事前に保持される設定情報117と、音種情報および音源位置情報と作業情報とを対応付ける、事後的に追加される学習情報118とを保持している。
ユーザ端末112は、例えばスマートフォンなどの携帯端末であり、UI表示部113と、UI入力部114とを有している。UI表示部113は、上述した音情報表示生成部109、音源位置表示生成部110および判定作業表示生成部111でそれぞれ生成された表示データに基づいて画像を表示する表示部である。UI入力部114は、UI表示部113に表示された内容についてのユーザからの操作入力を受け付ける。例えば、ユーザがUI表示部113から特定の時間帯における作業内容を入力すると、入力された特定の時間帯における作業情報が情報処理装置2に送信され、学習部115に記録される。つまり、学習部115は、当該入力された特定の時間帯における音種情報と音源位置情報を収集データから特定し、特定された音種情報および音源位置情報と入力された作業情報とを関連付ける情報を学習情報118として対応関係保持部116に保持させる。これにより、作業記録支援システム1は、音種情報および音源位置情報と作業情報との対応関係を学習する。
図2は、本実施の形態に係る収集データ保持部107が保持する収集データの例を示す図である。図2に示すように、収集データ保持部107は、音発生時刻と音種と音源位置とを1つのセットとして対応付け、そのセットの集合をテーブル201として保持している。
音種情報は、例えば、掃除機、乳児、女性などの音源の種類と、泣き声、話し声、機械音など音の特徴の種類を含む。また、音源位置情報は、例えば、三次元空間座標である。三次元空間座標は、三次元空間におけるある点を原点とし、原点に対する音源の位置をx、y、z座標系で示したものである。また、x、y、zの座標系とともに、原点と2つの座標系(例えばx、y)の座標とを結ぶ直線と当該2つの座標系のうちの1つ(例えばx)の座標軸(例えばx軸)とのなす角度(以下、角度αと称する。)が音源位置情報として保持されてもよい。あるいは、x、y、zのうちのいずれかの座標系(例えばz)に代えて、残り2つの座標系(例えばx、y)で形成される平面に対する角度が音源位置情報として保持されてもよい。
例えば、図2に示すように、行204には、2016年1月26日10時24分において検出された音種情報と音源位置情報とが保持されている。音種情報は、乳児の泣き声、音源位置情報は、x=112cm、y=5cm、z=112cm、角度α=7°が収集データ保持部107に保持されている。また、行205には、2016年1月26日10時48分において検出された音種情報と音源位置情報が保持されている。音種情報は、乳児の泣き声、音源位置情報は、x=112cm、y=91cm、z=50cm、角度α=35°が収集データ保持部107に保持されている。なお、収集データ保持部107には、音発生時刻、音種情報および音源位置情報以外の項目が保持されていてもよい。また、音種情報および音源位置情報の保持方法も、上述したテーブル201による保持に限らず、リレーショナルデータベースなど他の保持方法により保持されていてもよい。
図3は、本実施の形態に係る対応関係保持部116が保持する音種情報、音源位置情報および作業情報を示す図である。音源位置情報は、単一の音源位置を示す単一音源位置情報と、音源位置の範囲分布を示す音源範囲分布情報とを含む。図3に示すように、対応関係保持部116は、音種情報、音源位置情報および作業情報をテーブル301として保持している。テーブル301は、音種情報、音源位置情報および作業情報があらかじめ設定された設定情報117として、対応関係保持部116に保持されている。なお、テーブル301は、後述する学習情報118として保持されていてもよい。ここで、テーブル301において保持される音源位置情報は、複数の音源位置に基づいて特定される音源位置の分布を示す情報(以下、音源範囲分布とも称する。)である。
作業情報として、対応関係保持部116は、例えば、掃除など宅内での作業、ミルク、おむつなど育児に関する作業を保持してよい。音種情報として、対応関係保持部116は、収集データ保持部107が保持する音種情報と同様の音種情報を保持する。音源位置情報として、対応関係保持部116は、音源範囲分布を示す座標群(例えば、音源範囲分布の領域内の全座標又は当該領域を特定可能な一部の座標)を保持する。
例えば、図3のテーブル301の上段における(a)および(b)に示すように、部屋の床306をxy平面とし、床306に置かれる録音部104の位置を原点としてx軸308、y軸309およびz軸310が仮想的に配置される。音源である掃除機が存在した範囲307が音源範囲分布として保持される。また、図3のテーブル301の下段における(a)および(b)に示すように、録音部104の位置を原点としてx軸308、y軸309およびz軸310が仮想的に配置される。音源である泣き声の乳児が存在した範囲317および女性が存在した範囲318が音源範囲分布としてそれぞれ保持される。
なお、対応関係保持部116は、設定情報117と学習情報118との両方を保持していてもよいし、いずれか一方を保持していてもよい。設定情報117には、音種情報、音源位置情報および作業情報をユーザが任意で設定することができる。また、学習情報118には、ユーザが作業内容を記録した時間帯に発生した音種と音源位置に応じて、音種情報、音源位置情報および作業情報が自動更新される。なお、学習情報118の自動更新の概要については、後述する図15A~図15Cに示す。
次に、図4Aおよび図4Bを参照して、図2に示した音源位置および図3に示した音源範囲分布として記録される音源位置情報の座標系について説明する。図4Aおよび図4Bは、本実施の形態に係る音源位置座標系(相対位置)を説明する図である。図4Aは斜視図、図4Bは平面図で示している。図4Aおよび図4Bにおいて、座標系の原点は、部屋401の床402のある位置に配置された録音部104の位置であり、録音部104から床402がxy平面となるようにx軸、x軸が設定され、xy平面と垂直な方向にz軸が設定されている。女性408が部屋401内のソファー409に座って乳児407へミルクを与える作業においては、女性408の位置は、録音部104の位置を原点として、座標表現としては(x1、y1、z1)で示され、ベクトル表現ではベクトル404+ベクトル405+ベクトル406で示される。また、原点である録音部104の位置と女性の位置とを結ぶ直線とx軸との角度は、αである。
図5は、本実施の形態に係る音源位置座標系(絶対位置)を説明する図である。この座標系では、録音部104の位置に関わらず、部屋401内で予め定めた位置を原点としてx軸、y軸、z軸が定められている。例えば、図5に示すように、部屋401の床402上の1つの角を原点と定め、床402がxy平面となるようにx軸、y軸が定められ、床402と垂直な方向にz軸が定められてよい。なお、この座標系では、録音部104の位置は原点に限らずどの位置であってもよい。
[2.作業記録支援システムの情報処理動作]
ここで、作業記録支援システム1の情報処理の動作について説明する。
作業記録支援システム1における情報処理は、センシング処理と、閲覧用表示処理と、作業入力および学習処理との3つの処理に大別される。
センシング処理は、時刻毎の収集データを記録する処理である。つまり、センシング処理では、音種検出と、音源位置の推定とが行われ、音種情報および音源位置情報が時刻ごとに記録される。センシング処理では、作業記録支援システム1の構成要素である、録音部104、音種検出部105、音源位置取得部106および収集データ保持部107と、第1位置取得部102又は第2位置取得部103とが用いられる。
閲覧用表示処理は、ユーザが使用するユーザ端末112に、センシング処理により得られた任意の時間帯の収集データを表示させる処理である。閲覧用表示処理では、作業記録支援システム1の構成要素である、収集データ保持部107、作業判定部108、音情報表示生成部109、音源位置表示生成部110および判定作業表示生成部111と、ユーザ端末112が備えるUI表示部113およびUI入力部114とが用いられる。
作業入力および学習処理は、閲覧情報に基づいてユーザが入力した作業内容を記録する処理と、作業内容と音種および音源位置との関係を学習し記録する処理である。作業入力および学習処理では、作業記録支援システム1の構成要素である、UI入力部114と、学習部115と、対応関係保持部116とが用いられる。
以下、図6~図11を用いて、センシング処理、閲覧用表示処理、作業入力および学習処理の3つの処理の手順についてそれぞれ説明する。
[2-1.センシング処理]
センシング処理では、音種検出と、音源位置の推定とが行われる。はじめに、音種検出の手順について説明する。図6は、本実施の形態に係るセンシング処理における音種検出の手順を説明するフローチャートである。
図6に示すように、録音部104は起動され、録音可能状態、かつ、インターネットへ接続可能な状態へ遷移する(ステップS601)。
次に、録音部104は、規定音量以上の音を検知したか否かを判断する(ステップS602)。具体的には、人、その他の生き物又は物が発する音又は声が発生しているか否かを判断する。録音部104があらかじめ定められた規定音量以上の音を検知した場合には(ステップS602においてYes)、録音部104は検知した音を録音する(ステップS603)。録音部104が規定音量より小さい音を検知した場合には(ステップS602においてNo)、ステップS601に処理が戻る。
なお、録音部104は、規定音量以上の音を規定録音時間ごとに録音し、録音データを生成する。例えば、規定録音時間を10秒とすると、録音部104は、規定音量以上の音が1分間継続した場合には、当該音を録音した録音データを6つ生成する。
次に、録音部104は、複数のマイクロフォンにより、人、その他の生き物又は物が発する音を録音する(ステップS603)。すなわち、録音部104が録音された音(録音データ)には、録音部104を構成する複数のマイクロフォンで録音された音が含まれている。
次に、録音部104は、音の継続時間が一回の規定録音時間を越えたかを判断する(ステップS604)。音の継続時間が一回の規定録音時間を越えた場合、すなわち、録音データが生成された場合には(ステップS604においてYes)、録音部104は、録音データを音種検出部105へ出力する(ステップS606)。また、音の継続時間が一回の規定録音時間を越えていない場合には(ステップS604においてNo)、録音部104は、無音状況が一定時間以上継続したかを判断する(ステップS605)。
無音状況が一定時間以上継続したと判断した場合には(ステップS605においてYes)、録音部104は、録音データを音種検出部105へ出力する(ステップS606)。また、無音状況が一定時間以上継続していないと判断した場合には(ステップS605においてNo)、ステップS603に処理が戻る。
録音データが録音部104から音種検出部105へ出力されると、音種検出部105は、音の中に乳児の泣き声が含まれるかを判断する(ステップS607)。音の中に乳児の泣き声が含まれると判断した場合には(ステップS607においてYes)、音種検出部105は、録音部104が録音データを音源位置取得部106へ出力する(ステップS609)。また、音の中に乳児の泣き声が含まれないと判断した場合には(ステップS607においてNo)、音種検出部105は、音の中に女性の声が含まれるかを判断する(ステップS608)。
音の中に女性の声が含まれると判断した場合には(ステップS608においてYes)、音種検出部105は、録音部104が録音データを音源位置取得部106へ出力する(ステップS609)。より具体的には、音種検出部105は、音の中に乳児の声又は女性の声が含まれると判断した場合には、音種が乳児の声又は女性の声であることを示す音種情報を生成し、録音データとともに音源位置取得部106へ出力する。また、音の中に女性の声が含まれないと判断した場合には(ステップS608においてNo)、音種検出部105は、センシング処理を終了する。
以上の手順により、作業記録支援システム1は、音種検出を終了し、続いて音源位置の推定を行う。
図7は、本実施の形態に係るセンシング処理における音源位置の推定の手順を説明するフローチャートである。
音源位置取得部106は、録音部104から受け取った複数のマイクロフォンで録音された音の波形差から、特定の音の三次元空間における音源位置を推定する。
まず、音源位置取得部106は、検出された音種が乳児の泣き声かを判断する(ステップS701)。検出された音種が乳児の泣き声と判断した場合には(ステップS701においてYes)、音源位置取得部106は、乳児の声の三次元空間における音源位置を推定する(ステップS702)。具体的には、音源位置取得部106は、複数の録音データに含まれる乳児の声それぞれの波形差から当該乳児の位置を示す音源位置情報を生成する。また、検出された音種が乳児の泣き声でないと判断した場合には(ステップS701においてNo)、ステップS703へ処理が進む。
音源位置取得部106は、検出された音種が女性の声かを判断する(ステップS703)。検出された音種が女性の声と判断した場合には、(ステップS703においてYes)、音源位置取得部106は、女性の声の三次元空間における音源位置を推定する(ステップS704)。具体的には、音源位置取得部106は、複数の録音データに含まれる女性の声それぞれの波形差から当該女性の位置を示す音源位置情報を生成する。続けて、音源位置取得部106は、図2に示したように、上述した音種情報(乳児の泣き声および女性の声、又は、女性の声のみ)と音の発生時刻、および、それぞれの音源座標位置を示す音源位置情報とを対応付けて収集データ保持部107へ保存する(ステップS705)。
また、検出された音種が乳児の泣き声と判断した場合で(ステップS701においてYes)、女性の声が検出されていないと判断した場合には、(ステップS703においてNo)、音源位置取得部106は、上述した音種情報(乳児の泣き声)と音の発生時刻、および、それぞれの音源座標位置を示す音源位置情報とを対応付けて収集データ保持部107へ保存する(ステップS705)。
さらに、音源位置取得部106は、録音部104で録音した録音データを破棄する(ステップS706)。なお、音源位置取得部106は、事後に録音データを用いた別途の音処理を実行する場合は、録音データを保存してもよい。その後、作業記録支援システム1は、センシング処理を終了する。
[2-2.閲覧用表示処理]
図8は、本実施の形態に係る閲覧用表示処理の手順を説明するフローチャートである。
ユーザは、ユーザ端末112のアプリやWebブラウザを用いて、センシング処理で取得した音種情報および音源位置情報を閲覧する。
まず、作業判定部108は、UI表示部113に表示させるUI画面を生成するための情報として、収集データを収集データ保持部107から取得し、音情報表示生成部109へ出力する(ステップS801)。
次に、音情報表示生成部109は、受け取った収集データのうちの特定の音種情報の数を単位時間毎に合計し、合計値を時系列に示したグラフをUI表示部113へ出力する(ステップS802)。
また、作業判定部108は、収集データ保持部107から取得した収集データに含まれる対象の音種の音源位置情報を統計的に処理して、対象の音種の所定時間内の音源位置(音源範囲分布)を推定する(ステップS803)。作業判定部108は、推定された音源範囲分布を示す情報(音源範囲分布情報)を音源位置表示生成部110と判定作業表示生成部111に出力する(ステップS804)。
次に、音源位置表示生成部110は、受け取った対象の音種に対応する音源範囲分布情報を三次元空間上の画像に変換し、UI表示部113へ出力する(ステップS805)。
また、作業判定の手順は以下のとおりである。図9は、本実施の形態に係る閲覧用表示処理における作業判定の手順を説明するフローチャートである。
対応関係保持部116に事前に設定された設定情報117がなく、かつ、設定情報117が初めて利用される場合、作業判定部108は、対応関係保持部116に設定情報117および学習情報118が無いかどうかを判断する(ステップS901)。対応関係保持部116に設定情報117および学習情報118がないと判断した場合(ステップS901においてYes)、作業判定部108は、作業を判定できないことを判定作業表示生成部111に通知する(ステップS902)。
また、対応関係保持部116に設定情報117又は学習情報118がある場合には(ステップS901においてNo)、作業判定部108は、対象の音種情報に対応する音源範囲分布情報と、対応関係保持部116が保持する設定情報117および学習情報118とを用いて作業内容の判定を行う(ステップS903)。続いて、作業判定部108は、判定された作業内容を示す作業情報を判定作業表示生成部111へ出力する(ステップS904)。さらに、判定作業表示生成部111は、作業判定部108から受け取った作業情報をUI画像へ変換してUI表示部113へ出力する(ステップS905)。
その後、図8に示すように、UI表示部113は、音情報表示生成部109から受け取ったグラフと、音源位置表示生成部110から受け取った三次元空間上の画像に変換された音源範囲分布情報と、判定作業表示生成部111から受け取ったUI画像とを含むUI画面を生成し、表示する(ステップS806)。
図10は、本実施の形態に係る閲覧用表示処理におけるユーザの操作に対する処理の手順を説明するフローチャートである。
ユーザ端末112は、UI表示部113で表示中のアプリに対して、ユーザが操作を行うまで待機する。待機中は、UI表示部113にはアプリの表示が継続される。まず、ユーザ端末112は、ユーザによりアプリ画面上の音源位置表示区間を任意の時間長又は開始時刻へ変更する操作が行われたかを判断する(ステップS1001)。音源位置表示区間の変更操作が行われたと判断した場合(ステップS1001においてYes)、UI表示部113は、閲覧情報をユーザ指定の任意の時間長又は開始時刻へ変更する(ステップS1002)。また、音源位置表示区間の変更操作が行われていないと判断した場合(ステップS1001においてNo)、UI入力部114は、ユーザがユーザ端末112のアプリやWebブラウザを用いて、作業内容の入力を行ったかを判断する(ステップS1003)。
ユーザが作業内容の入力を行ったと判断した場合(ステップS1003においてYes)、後述する図11に示されるステップS1101へ処理が進む。作業内容が入力されていないと判断した場合(ステップS1003においてNo)、作業記録支援システム1は、ユーザ端末112のUI表示部113で表示されるアプリが終了したかを判断する(ステップS1004)。
UI表示部113で表示されるアプリが終了したと判断した場合(ステップS1005においてYes)、作業記録支援システム1は、閲覧用表示処理を終了する。また、UI表示部113で表示されるアプリが終了していないと判断した場合(ステップS1005においてNo)、処理がステップS1001へ戻る。
[2-3.作業入力および学習処理]
次に、作業入力および学習処理について説明する。図11は、本実施の形態に係る作業入力および学習処理の手順を説明するフローチャートである。
ユーザが閲覧しながら、作業内容の入力を行うと、UI入力部114は、学習部115へユーザが入力した作業内容を受け付ける(ステップS1101)。次に、UI入力部114は、ユーザが入力した作業内容とその作業の時間帯とを出力する(ステップS1102)。
次に、学習部115は、収集データ保持部107から、その時間帯における音種情報および音源位置情報を含む収集データを取得する(ステップS1103)。次に、学習部115は、収集データ保持部107から取得した音源位置情報を統計的に処理して、各音種に対応する音源範囲分布を推定する(ステップS1104)。
次に、学習部115は、各音種に対応する音種情報および音源範囲分布情報と、作業内容を示す作業情報とを関連づけて対応関係保持部116の学習情報へ保存する(ステップS1105)。なお、保存の際に、既に同じ作業内容で保存済みの情報がある場合、学習部115は、後述するように、音源位置座標毎の音発生頻度の重み付けを更新する。
作業入力および学習処理が終了すると、閲覧用表示処理へ処理が戻る。具体的には、図10のステップS1001へ処理が戻る。
[3.UI画面の表示]
ユーザ端末112に表示されるUI画面について、具体的に説明する。図12Aおよび図12Bは、本実施の形態に係るUI画面の模式図である。
図12Aおよび図12Bに示すように、UI表示部113に表示されるUI画面には、例えば、声傾向グラフ1201、音源位置マップ1202、および、作業入力ボタン領域1209が表示される。
声傾向グラフ1201には、各時刻における音種と音の傾向が示されている。例えば、図12Aでは、乳児の泣き声又はぐずりの声の程度が時刻毎に表示されている。声傾向グラフ1201において、横軸には時刻(例えば1分毎)が示されており、縦軸には泣き声又はぐずりが録音された録音データ数が示されている。つまり、録音データ数が多いほど、単位時間当たりの泣き声又はぐずりが生じた頻度が高いことになる。
また、音源位置マップ1202には、ユーザ又は作業記録支援システム1が指定した位置、すなわち時間帯1204における音種情報と音源位置情報とに基づく画像が表示される。ユーザは、声傾向グラフ1201に対する入力により時間帯1024を指定する。例えば、図12Aでは、声傾向グラフ1201に示された10:47~10:52の5分間の音源位置(音源範囲分布)が音源位置マップ1202に示されている。ここで、室内における音源位置の関係が分かり易い様に、音源位置マップ1202には、床1205、マイクロフォン1206、乳児1207および女性1208の位置が三次元的に表示される。
また、作業入力ボタン領域1209には、ユーザが作業内容の入力を行うための作業内容を示す作業情報に対応する作業入力ボタンが複数表示されている。作業情報は、育児に関する作業に限らず、例えば家事など他の作業を含んでもよい。ユーザは、複数の作業入力ボタンのうちの1つを押すことにより、表示された時刻における作業内容を入力することができる。
図12Bは、ユーザが閲覧箇所の変更操作を行う場合のUI画面例を示している。ユーザは、声傾向グラフ1201内で時間帯1204を変更する操作を行うことができる。この場合、図12Bに示すように、ユーザは、手1211で声傾向グラフ1201内の時間帯1204に接触することにより、時間帯1204の時間長および開始時刻を変更することができる。時間帯1204の時間長および開始時刻が変更されると、これに追従して、音源位置マップ1202も変更される。
以下、表示される音源位置情報および作業情報について、図13A~図14Bを参照してより詳細に説明する。
図13Aおよび図13Bは、本実施の形態に係る閲覧用表示処理および作業入力処理における音源位置情報の推定の方法と、推定された音源位置情報の表示方法とを説明する図である。図13Aおよび図13Bでは、乳児の泣き声と女性の声の音源が、10:47~10:52の5分間にどの位置にあったかを推定し、表示する例を示している。
図13Aには、収集データ保持部107により取得した音がテーブル1301として示されている。テーブル1301には、音種情報として記録されている乳児の泣き声および女性の声に対して、10:47~10:52の5分間の各時刻における音源位置情報がそれぞれ保持されている。作業判定部108は、テーブル1301に保持されている時間帯における、女性の声の音源位置1306及び乳児の泣き声の音源位置1305を判定する。
さらに、音源位置表示生成部110により、所定時間内の音源位置情報が三次元空間上の画像に変換され、UI画面として当該画像がユーザ端末112のUI表示部113に表示される。つまり、推定された所定時間内の音源位置は、図12Aに示した音源位置マップ1202として表示される。
これにより、ユーザは、推定された所定時間内の音源位置を視覚的に把握することができる。よって、ユーザは、当該時間に行っていた作業を思い出しやすく、作業内容の記録を容易に行うことができる。なお、音源範囲分布が広域になる場合には、色彩又は濃淡のグラデーションを付与することで、音源位置の分布を表現し、ユーザに音源位置をより把握し易くしてもよい。
また、図14Aおよび図14Bは、本実施の形態に係る閲覧用表示処理および作業入力処理における作業内容の判定の方法と作業内容の表示方法とを説明する図である。図14Aに示す(a)および(b)は、図3に示した音源範囲分布の(a)および(b)と同様に、音源の位置を平面図と斜視図とで示している。
図14Aの(a)および(b)に示した、作業判定部108が判定した所定期間における音種が乳児の泣き声である音源範囲分布1401と音種が女性の声である音源範囲分布1402を示す音源位置情報は、作業判定部108において、対応関係保持部116が保持する図3の(a)および(b)に示された音源位置情報(音源範囲分布)と比較される。それにより、対応関係保持部116が保持する設定情報又は学習情報において推定された音種情報と音源位置情報と類似する情報が探索される。ここで、図14Aの(a)および(b)に示す乳児の泣き声と女性の声の音源位置情報(音源範囲分布)は、図3の(a)および(b)に示された育児作業のミルク(テーブル301の下段)の場合の音源位置情報(音源範囲分布)と類似であると推定できる。したがって、判定作業表示生成部111は、図14Bに示すように、判定した作業内容を示す作業情報「ミルク」を、UI表示部113の声傾向グラフ1201の該当する時間帯1403に表示する。なお、判定された作業内容は、図12Aに示した声傾向グラフ1201の該当する時間帯1204に表示される。
表示された作業情報「ミルク」と異なる作業情報が、図12Aに示した作業入力ボタンから入力されると、判定した作業内容は入力された作業内容に修正され、修正された作業内容を示す作業情報が対応関係保持部116に保存される。
[4.学習処理による学習情報の自動更新]
図15A~図15Cは、本実施の形態に係る学習処理において、学習情報118へ保存される音源範囲分布情報を示す図である。学習情報118は、ユーザが入力した作業内容に対応する時間帯に発生した音の音種情報と音源位置情報に基づいて、音種情報、音源位置情報および作業情報が更新されることにより自動更新される。以下、学習情報118の自動更新の手順について説明する。
図15Aは、以前にユーザが入力した作業情報「ミルク」に対応する時間帯に検出された乳児の泣き声の音源位置1501と女性の声の音源位置1502を示している。学習部115は、乳児泣き声の音源位置1501と女性の声の音源位置1502の音源位置情報(音源範囲分布)を、作業情報「ミルク」に対応付けて学習情報118に保持している。
また、図15Bは、ユーザが新たに入力した作業情報「ミルク」に対応する時間帯に検出された乳児の泣き声の音源位置1503と女性の声の音源位置1504を示している。まず、音種情報および音源位置情報は、収集データ保持部107に保持される。そして、学習部115は、新たに検出された乳児泣き声の音源位置1503と女性の声の音源位置1504を示す音源位置情報(音源範囲分布)を収集データ保持部107から取得し、作業情報「ミルク」に対応付けて、登録データとして学習情報118に保存する。このとき、図15Aに示した、学習情報118に既に保存されている登録データを残したまま、新たに登録データを保存してもよいし、学習情報118に既に保存されている登録データに上書きして、新たに登録データを保存してもよい。
また、図15Cに示すように、学習情報118に既に同じ作業内容の登録データがある場合には、学習部115は、例えば、既に保存されている登録データの乳児の泣き声の音源位置1501と新たに検出された乳児の泣き声の音源位置1502とを合成して、作業情報「ミルク」対応付けられた乳児の泣き声の音源位置情報として、保存してもよい。また、女性の声の音源位置情報についても同様であり、学習部115は、既に保存されている女性の声の音源位置1502に、新たに検出された女性の声の音源位置1504を合成して保存してもよい。
さらに、図15Cに示すように、学習情報118に既に同じ作業情報の登録データがある場合には、学習部115は、既に保存されている登録データの乳児の泣き声の音源位置1501と新たに検出された乳児の泣き声の音源位置1503との重複部分1505に重みを付けてもよい。重みが大きい位置ほど、ミルクを与える育児作業を行った可能性が高くなる。また、図示を省略するが、女性の声の音源位置情報についても同様であり、学習部115は、既に保存されている女性の声の音源位置1502と新たに検出された女性の声の音源位置1504との重複部分に重みを付けて、重みを保存してもよい。
[5.効果]
(効果)
以上、本実施の形態にかかる情報処理システムである作業記録支援システム1によると、音源から発生した音の音種および音源位置を検出し、これに対応する作業を判定してユーザに提示することができる。これにより、ユーザは当該音が発生したときに行っていた作業を容易に思い出すことができる。したがって、ユーザの作業記録を支援することができる。
また、検出された音種および音源位置に対応する作業が提示されるので、ユーザは当該音が発生したときに行っていた作業をより容易に思い出すことができる。また、提示された作業が実際に行った作業と異なっているときは、容易に修正することができる。
さらに、検出された音種および音源位置と、提示された作業又は修正された作業とが保存されることにより、次回以降に判定される作業はより正確に判定される。これにより、ユーザは当該音が発生したときに行っていた作業をより容易に思い出すことができるとともに、提示された作業の修正回数が低減するため簡便に作業の記録を行うことができる。
(変形例)
以下、実施の形態に係る変形例について、図16Aおよび図16Bを用いて説明する。図16Aは、変形例に係る録音部104により録音された音の音傾向を示すグラフである。図16Bは、図16Aに対応する、UI画面の模式図における声傾向グラフである。
本変形例に係る作業記録支援システム1は、無音状態の前後の音種および音源位置から、無音状態時の音源の状態、又は、無音状態の前後のユーザの作業内容を判定してもよい。具体的には、作業記録支援システム1は、録音部104により所定期間録音されない状態(無音状態)を検出すると、無音状態が開始する直前の音種および音源位置を取得し、無音状態に遷移した後に再び録音された音の音種および音源位置を取得する。無音状態前および後の音種および音源位置とから、無音状態前および後のそれぞれにおけるユーザの作業内容を判定する。例えば、無音状態前の作業としては抱っこ又は寝かしつけなどがあり、無音状態後の作業としては汗拭き又はおむつ交換などがある。なお、無音状態とは、上述した規定音量以上の音が発生していない状態である。
詳細には、図16Aに示すように、録音部104で録音された音のファイル数が時間とともに少なくなり、無音状態が続いた場合、当該無音状態の期間には、音種および音源位置が検出されない。
そこで、作業記録支援システム1において、音種検出部105は、録音部104から録音した音を受け取り、音種を推定する処理において(図6におけるステップS606)、無音状態が開始する直前および無音状態後に音が発生したときに録音された音から、無音状態が開始する直前および直後に発せられた音の音種を推定し、音種情報を生成する。そして、音種検出部105は、無音状態が開始する直前および直後の推定した音種情報が同一であるか否かを判定する。
また、音源位置取得部106は、音源位置を推定する処理において(図8におけるステップS803)、無音状態が開始する直前および無音状態後に音が発生したときに録音された音から、無音状態が開始する直前および直後に音を発した音源の音源位置を推定し、音源位置情報(音源範囲分布)を生成する。そして、無音状態が開始する直前および直後の推定した音源位置情報が同一であるか否かを検出する。
無音状態が開始する直前および無音状態終了直後の音種情報および音源位置情報(音源範囲分布)が同一又は類似である場合には、推定した音種の音源が、推定した音源位置から移動していない可能性が比較的高い。
また、対応関係保持部116の設定情報117には、無音状態前後の音種情報および音源位置情報が同一の場合の作業内容を示す作業情報として、例えば「睡眠」があらかじめ保存されている。作業判定部108は、作業内容を判定するときに(図9におけるステップS903)、無音状態前後の音種および音源位置に対応する作業情報「睡眠」を選択する。これにより、作業記録支援システム1は、無音状態の期間の作業を「睡眠」と判定することができる。
また、判定された作業は、図16Bに示すように、ユーザ端末112に表示されるUI画面の声傾向グラフに表示されてもよい。また、判定された作業と異なる作業がユーザ端末112のUI入力部114から入力されたときは、判定された作業は入力された作業内容に修正され、修正された作業内容を示す作業情報が対応関係保持部116に保存されてもよい。
なお、作業記録支援システム1は、上述したように無音状態に限らず、特定の音源位置、音源位置の動き、音が発生する特定の時間帯などから、音が発生したときの作業を判定してもよい。
(その他の実施の形態)
以上、本実施の形態および変形例に係る情報処理装置および情報処理方法について、作業記録支援システム1を例として説明したが、本実施の形態に係る情報処理装置は、上述した実施の形態に示したものに限られない。
また、対応関係保持部116に保持されている音種情報、音源位置情報および作業情報を対応付けるテーブルは、上述したテーブル201に限らず、他の方法により保持されていてもよい。
また、情報処理装置および情報処理方法は、上述したように無音状態に限らず、特定の音源位置、音源位置の動き、音が発生する特定の時間帯などから、音が発生したときの作業を判定してもよい。
また、上述したような情報処理装置、録音装置、提示装置、入力装置、第1位置取得部、第2位置取得部を含む情報処理システムが提供されてもよい。
また、本実施の形態および変形例に係る情報処理システムである作業記録支援システム1は、さらに、現在時間を示す現在時間情報を取得し、取得された現在時間情報が示す時間が、作業対応付け情報に登録されているセットが有する時間を基準とする時間である場合、当該セットに対応付けられている作業を示す作業情報をユーザ端末112のUI表示部113に提示させてもよい。これにより、ユーザは、UI表示部113に提示された作業から現在時刻が当該提示された作業を行う時間であることを思い出すことができる。よって、ユーザは、当該作業を忘れることなく行うことができる。
なお、上記態様において説明された技術は、例えば、クラウドサービスの類型において実現されうる。しかし、上記態様において説明された技術が実現されるクラウドサービスの類型はこれらに限られるものでない。
以上、本発明の一つ又は複数の態様に係る情報処理装置および情報処理方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つ又は複数の態様の範囲内に含まれてもよい。