JP6761404B2

JP6761404B2 - 宅内ユーザの行動推定方法、装置およびプログラム

Info

Publication number: JP6761404B2
Application number: JP2017222998A
Authority: JP
Inventors: 剣明呉; 啓一郎帆足
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2017-11-20
Filing date: 2017-11-20
Publication date: 2020-09-23
Anticipated expiration: 2037-11-20
Also published as: JP2019095517A

Description

本発明は、宅内ユーザの行動を推定する方法、装置およびプログラムに係り、特に、テレビ音声が検知される環境下において、ユーザの行動に応じて発生する実環境音をテレビ音声と区別することでユーザ行動を正確に推定できる方法、装置およびプログラムに関する。

人が話しかけて情報を検索するロボットや、AIスピーカーなどの宅内ロボット型デバイスを国内外のIT企業などが次々と発表している。これらのデバイスを利用して、人から話をかけなくても適切な情報を能動的に提供するためには、宅内ユーザの各生活場面を理解する必要がある。

そこで、生活場面理解の手段の一つとして、環境音から家族の行動状況を把握する研究開発が進められている。環境音の認識については、会話、食事、料理、食器洗い、洗濯、掃除などのサンプル音声データを機械学習して学習モデルを生成することが可能であり、この生成された学習モデルを用いれば環境音を特定できる。

しかしながら、テレビをつけている場合、番組から多種多様な音声が再生され、テレビの音声と実環境の音声とを明確に区別することが困難であるため、ユーザの行動を正確に推定できない問題がある。

特許文献１には、予めドアチャイムや電話のベル等の報知音を記憶しておく手段と、テレビやラジオの音響出力を監視する手段とを設け、報知音が検知されると、それがテレビやラジオから同じタイミングで出力された報知音と類似するか否かを分析し、類似しなければ現実の報知音を検出した旨を使用者に告知する技術が開示されている。

特許文献２には、現実の異常音とテレビの音声とを区別するために、予め異常音検出領域と通知対象外の異常音とが対応付けられた異常通知対象外リストを用意し、（例えば、予め異常音の検出対象外となる領域範囲（テレビの設置場所）及び異常音の種類（噴水など）を登録しておく）、異常音が検出されても、それが通知対象外の音声であれば異常音として検出しない技術が開示されている。

特開平09-026354号公報特開2016-118987号公報

学位論文「相互相関法による音源位置推定」(http://www.kochi-tech.ac.jp/library/ron/2010/2010info/1110236.pdf)

特許文献１では、各報知音の事前登録が必要なこと、テレビやラジオの音響出力を確実に判別するには別デバイスの導入も必要となることから、構成が複雑化してしまう。また、この技術では宅内ユーザの行動を推定できない。

特許文献２では、領域範囲と通知対象外の異常音の対応付け表をいちいち設定・更新する必要がある。したがって、事前の登録処理が煩雑であり、また音源側と検知側との相対位置が変化すると事前登録の内容が無意味になってしまう。

本発明の目的は、上記の技術課題を解決し、マイクロフォンで検知した音を、その音響特徴のみならず音の発生方向にも着目して、テレビ音声および実環境音のいずれかに分類することで、実環境音に基づく宅内ユーザの行動推定の精度を向上させることにある。

上記の目的を達成するために、本発明は、以下の構成を具備した点に特徴がある。

(1) テレビ音声の特徴量および方向ならびに実環境音の特徴量を学習する手段と、マイクロフォンで検知した音の特徴量および音源方向を分析する手段と、前記特徴量および音源方向の分析の結果を前記学習の結果と照合し、前記検知した音をテレビ音声および実環境音のいずれかに分類する手段と、実環境音に分類した音の音源を前記学習の結果に基づいて特定する手段と、前記分類および特定の結果に基づいて宅内ユーザの行動を推定する手段とを具備した。

(2) 自装置の移動方向および移動量を検知する手段と、前記移動方向および移動量に基づいてテレビ音声の方向に関する学習結果を更新する手段とを具備した。

(3) 自装置の向きの変化量を検知する手段を更に具備し、前記更新する手段は、自装置の移動方向、移動量および向きの変化量に基づいてテレビ音声の方向に関する学習結果を更新するようにした。

(4) 前記特徴量として周波数帯域および周波数特性を採用した。

本発明によれば、以下のような効果が達成される。

(1) 検知した音をテレビ音声および実環境音のいずれかに、その音響特徴のみならずテレビ方向に基づいて分類するので、環境音がテレビ音声として送出された場合でも、これを実際の実環境音と正確に区別できるようになる。

(2) 自装置が移動すると、テレビ方向の学習結果を自装置の移動方向および移動量に応じて更新するので、自走式のロボット等に適用し、その位置が頻繁に変わる場合でも、検知した音を、その音源がテレビ方向であるか否かに基づいて環境音およびテレビ音声のいずれかに正確に分類できるようになる。

(3) 自装置の向きが変わると、テレビ方向の学習結果を自装置の向きの変化に応じて更新するので、自走式のロボット等に適用し、その向きが頻繁に変わる場合でも、検知した音を、その音源がテレビ方向であるか否かに基づいて環境音およびテレビ音声のいずれかに正確に分類できるようになる。

(4) 検知した音をテレビ音声および実環境音のいずれかに分類し、さらに実環境音に分類された音の音源を特定するための音響特徴として、音の識別性、選択性が高い周波数帯域および周波数特性を採用したので、確度の高い分類および特定が可能となり、宅内ユーザの行動推定精度を向上させることができる。

本発明の一実施形態に係る宅内ユーザ行動推定装置の主要部の構成を示した機能ブロック図である。テレビ音声の音響特徴に関する学習結果の一例を示した図である。実環境音の音響特徴に関する学習結果の一例を示した図である。本発明の一実施形態の動作を示したフローチャートである。テレビ方向の更新方法の一例を示した図である。音響特徴および音源方向の分析、計算の結果の時系列に基づいて宅内ユーザの行動を推定した結果を示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る宅内ユーザ行動推定装置の主要部の構成を示した機能ブロック図である。このような推定装置は、汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部がハードウェア化またはROM化された専用機や単能機としても構成できる。

音響情報データベース（DB）１１には、予め学習したテレビ音声に固有の音響特徴および各種の実環境音に固有の音響特徴（１１ａ）、ならびに現在の位置／向きを基準としたテレビの方向θ1およびテレビまでの距離a1（１１ｂ）が予め学習、登録されている。

前記実環境音に固有の音響特徴としては、実環境音の音源となり得る会話、料理、食器洗い、洗濯機、掃除機等の音源ごとに、機械学習により生成した固有の周波数帯域および周波数特性の学習モデルが記憶されている。

図２は、テレビ音声の音響特徴に関する学習結果の一例を示した図であり、発明者らの分析結果によれば、テレビ音声は周波数帯域が400Hz〜3500Hzの範囲内にあり、周波数特性が変動的であった。

図３は、実環境音の音響特徴に関する学習結果の一例を示した図であり、発明者らの分析結果によれば、例えば料理中に発生する音響信号は周波数帯域が700Hz〜900Hzの範囲内にあり、その周波数特性は平坦であった。同様に、洗濯機が発生する音響信号は周波数帯域が2000Hz〜3000Hzの範囲内にあり、その周波数特性は平坦であった。

図１へ戻り、分析部１２において、音響特徴分析部１２ａは、マイクロフォン１０ａ,１０ｂで検知した音響信号を分析し、その周波数帯域および周波数特性を含む各種の音響特徴を取得する。音源方向分析部１２ｂは、音響信号の音源方向を、各マイクロフォン１０ａ,１０ｂへの音響信号の到達時間差Δtに基づいて測定する。複数のマイクロフォンへの音響信号の到達時間差Δtに基づいて音源方向を推定する方法は、例えば非特許文献１に開示されている。

分類部１３は、検知した音響信号の周波数帯域、周波数特性および音源方向を、前記学習した周波数帯域、周波数特性およびテレビ方向と比較、照合することにより、検知した音響信号を実環境音およびテレビ音声のいずれかに分類する。音源特定部１４は、実環境音に分類された音響信号を対象に、その音響特徴と前記学習した各音源の音響特徴とを比較照合することで音源を特定する。

ユーザ行動推定部１５は、前記分類部１３による分類結果および前記音源特定部１４による特定結果に基づいて宅内ユーザの行動を推定する。例えば、検知された音響信号が前記分類部１３によりテレビ音声に分類されていれば、宅内ユーザはテレビ視聴中と推定される。また、検知された音響信号が前記分類部１３により実環境音に分類されており、かつ前記音源特定部１４により、その音源が掃除機と特定されると、宅内ユーザは掃除機による掃除中と推定される。前記推定結果は推定結果出力部１６により出力される。

位置測位部１７は、例えば加速度センサ１７ａを具備し、本推定装置を実装するシステムやロボット等のx，y方向に生じた加速度を時間積分して、その移動量および向きの変化を検知する。テレビ方向更新部１８は、移動前の位置／向きに前記移動量および向きの変化を反映することで、移動後の現在位置／向きから見たテレビ方向θ2を計算し、これをDB１１に更新登録する。

図４は、本発明の一実施形態の動作を示したフローチャートであり、ここでは、テレビ音声および実環境音の音響特徴ならびにテレビの方向および距離が予め学習済みであるものとして説明する。

ステップＳ１では、前回のテレビ方向の学習タイミングから自装置の位置および／または向きに変化があったか否かが、例えば実装した加速度センサ１７ａの出力履歴に基づいて判断される。位置および／または向きに変化があるとステップＳ２へ進み、その位置および／または向きの変化量に基づいて、現在の位置／向きにおけるテレビ方向θ2が計算される。ステップＳ３では、前記計算結果に基づいてテレビ方向の学習結果が更新される。

図５は、テレビ方向の更新方法の一例を示しており、移動前の位置P1で学習したテレビTVの方向をθ1，テレビTVまでの距離をa1とし、その後、位置P2まで移動した場合を考える。位置P1からP2までの移動量のx方向成分をx1、y方向成分をy1とすれば、位置P2におけるテレビTVとのx方向の距離x2およびy方向の距離y2は、それぞれ次式(1)，(2)で求められる。

x2＝a1・sinθ1＋x1 …(1)

y2＝a1・cosθ1−y1 …(2)

したがって、位置P2におけるテレビ方向θ2は次式(3)で表される。

θ2＝arctan[(a1・sinθ1＋x1)／(a1・cosθ1−y1)] …(3)

なお、位置のみならず向きの変化も検知されていると、当該向きの変化量を前記移動量に応じて反映する。

ステップＳ４において、マイク１０ａ，１０ｂが所定のレベルを超える音響信号を検知すると、ステップＳ５では、前記音響特徴分析部１２ａにより音響信号が分析され、その周波数帯域および周波数特性が測定される。ステップＳ６では、前記音源方向分析部１２ｂにより、前記検知された音響信号の音源方向が計算される。

ステップＳ７では、前記音響分析の結果及び音源方向の計算結果に基づいて、前記検知された音響信号が、テレビ音声および実環境音のいずれかに分類される。本実施形態では、周波数帯域が400Hz〜3500Hzの範囲内であり、周波数特性が変動しており、かつ音源方向が学習済みのテレビ方向θ1(またはθ2)±Δθの範囲内にあればテレビ音声に分類される。

これに対して、周波数帯域が400Hz〜3500Hz以外の周波数成分を含み、周波数特性が平坦であり、かつ音源方向が学習済みのテレビ方向θ1(またはθ2)±Δθの範囲外にあれば実環境音に分類される。

なお、例えば周波数帯域が400Hz〜3500Hzであるにもかかわらず、音源方向がテレビ方向θ1(またはθ2)±Δθの範囲外にあるといったように、周波数帯域、周波数特性および音源方向のいずれかが各分類条件から外れているような場合には、前記３つの指標を満足する条件の多数決に基づいて判別するようにしても良い。あるいは、予め前記３つの指標に対して優先度を設定しておき、優先度のより高い指標に基づいて分類するようにしても良い。

ここで、前記検知された音響信号が実環境音に分類されるとステップＳ８へ進み、当該音響信号の音響特徴を、予め登録されている各環境音源の音響特徴と比較、照合することで音源が特定される。

例えば、周波数帯域が2000Hz〜3000Hzの範囲内であり、かつ周波数特性が平坦であれば洗濯機が音源と特定される。また、周波数帯域が6000Hz〜8000Hzの範囲内であり、かつ周波数特性が変動および平坦のいずれでもなければ掃除機が音源と特定される。同様に、周波数帯域が700Hz〜900Hzの範囲内であり、かつ周波数特性が変動であれば料理が音源と特定される。

ステップＳ９では、前記分類結果および音源の特定結果に基づいて宅内ユーザの行動が推定される。図６は、音響特徴および音源方向の分析、計算の結果の時系列に基づいて宅内ユーザの行動を推定した結果を示した図であり、時刻7:00〜7:03では、音源方向が10°〜12°の範囲から、周波数帯域が400Hz〜1000Hzの範囲内で、周波数特性が変動の音響信号が検知されているので、この間の宅内ユーザの行動は「テレビ視聴」と推定される。

これに対して、時刻7:05〜7:06では、周波数帯域が700Hz〜900Hzであって前記テレビ視聴中と同様の音響信号が検知されているが、その音源方向が90°であって、テレビ方向とは大きく異なっている。しかも、周波数特性が平坦なので、当該音響信号の音源は「料理」と特定され、この間の宅内ユーザの行動は「料理中」と推定される。

時刻7:10〜7:11では、40°の音源方向から、周波数帯域が2000Hz〜3000Hzの範囲内で、周波数特性が平坦の音響信号が検知されている。したがって、当該音響信号の音源は「洗濯機」と特定され、この間の宅内ユーザの行動は「洗濯中」と推定される。

ステップＳ１０では、前記図６に示したような宅内ユーザ行動祖推定結果が前記推定結果出力部１６から印字出力、表示出力または電気的な信号として出力される。

本実施形態によれば、検知した音をテレビ音声および実環境音のいずれかに、その音響特徴のみならずテレビ方向に基づいて分類するので、環境音がテレビ音声として送出された場合でも、これを実際の実環境音と正確に区別できるようになる。

また、本実施形態によれば、自装置が移動すると、テレビ方向の学習結果を自装置の移動方向および移動量に応じて更新するので、自走式のロボット等に適用し、その位置が頻繁に変わる場合でも、検知した音を、その音源がテレビ方向であるか否かに基づいて環境音およびテレビ音声のいずれかに正確に分類できるようになる。

さらに、本実施形態によれば、自装置の向きが変わるとテレビ方向の学習結果を自装置の向きの変化に応じて更新するので、自走式のロボット等に適用し、その向きが頻繁に変わる場合でも、検知した音を、その音源がテレビ方向であるか否かに基づいて環境音およびテレビ音声のいずれかに正確に分類できるようになる。

さらに、本実施形態によれば、検知した音をテレビ音声および実環境音のいずれかに分類し、さらに実環境音に分類された音の音源を特定するための音響特徴として、音の識別性、選択性が高い周波数帯域および周波数特性を採用したので、確度の高い分類および特定が可能となり、宅内ユーザの行動推定精度を向上させることができる。

１１…音響情報データベース（DB），１０ａ,１０ｂ…マイクロフォン，１２…分析部，１２ａ…音響特徴分析部，１２ｂ…音源方向分析部，１３…分類部，１４…音源特定部，１５…ユーザ行動推定部，１６…推定結果出力部，１７…位置測位部，１７ａ…加速度センサ，１８…テレビ方向更新部

Claims

テレビ音声の特徴量および方向ならびに実環境音の特徴量を学習する手段と、
マイクロフォンで検知した音の特徴量および音源方向を分析する手段と、
前記特徴量および音源方向の分析の結果を前記学習の結果と照合し、前記検知した音をテレビ音声および実環境音のいずれかに分類する手段と、
実環境音に分類した音の音源を前記学習の結果に基づいて特定する手段と、
前記分類および特定の結果に基づいて宅内ユーザの行動を推定する手段とを具備したことを特徴とする宅内ユーザの行動推定装置。
自装置の移動方向および移動量を検知する手段と、
前記移動方向および移動量に基づいて前記テレビ音声の方向に関する学習結果を更新する手段とを具備したことを特徴とする請求項１に記載の宅内ユーザの行動推定装置。
自装置の向きの変化量を検知する手段を更に具備し、
前記更新する手段は、前記移動方向、移動量および向きの変化量に基づいて前記テレビ音声の方向に関する学習結果を更新することを特徴とする請求項２に記載の宅内ユーザの行動推定装置。
前記特徴量が、周波数帯域および周波数特性であることを特徴とする請求項１ないし３のいずれかに記載の宅内ユーザの行動推定装置。
コンピュータによる宅内ユーザの行動推定方法であって、
テレビ音声の特徴量および方向ならびに実環境音の特徴量を学習し、
マイクロフォンで検知した音の特徴量および音源方向を分析し、
前記特徴量および音源方向の分析の結果を前記学習の結果と照合し、前記検知した音をテレビ音声および実環境音のいずれかに分類し、
実環境音に分類した音の音源を前記学習の結果に基づいて特定し、
前記分類および特定の結果に基づいて宅内ユーザの行動を推定することを特徴とする宅内ユーザの行動推定方法。
自装置の移動方向および移動量を検知し、
前記移動方向および移動量に基づいて前記テレビ音声の方向に関する学習結果を更新することを特徴とする請求項５に記載の宅内ユーザの行動推定方法。
テレビ音声の特徴量および方向ならびに実環境音の特徴量を学習する手順と、
マイクロフォンで検知した音の特徴量および音源方向を分析する手順と、
前記特徴量および音源方向の分析の結果を前記学習の結果と照合し、前記検知した音をテレビ音声および実環境音のいずれかに分類する手順と、
実環境音に分類した音の音源を前記学習の結果に基づいて特定する手順と、
前記分類および特定の結果に基づいて宅内ユーザの行動を推定する手順とを、コンピュータに実行させる宅内ユーザの行動推定プログラム。
自装置の移動方向および移動量を検知する手順と、
前記移動方向および移動量に基づいて前記テレビ音声の方向に関する学習結果を更新する手順とを更に含む請求項７に記載の宅内ユーザの行動推定プログラム。