JP6402718B2 - 情報処理装置、制御方法およびプログラム - Google Patents

Description

本開示は、情報処理装置、制御方法およびプログラムに関する。

従来、携帯電話端末やスマートフォンを用いたユーザの行動認識では、携帯電話端末やスマートフォンに搭載された重力加速度を用いることが一般的であった。

例えば、下記特許文献１では、行動記録装置として携帯電話機やＰＤＡ、スマートフォン等の携帯端末等を用い、当該装置を保持するユーザの状況や行動をセンシングするセンサとしては、加速度センサ、ジャイロセンサ、磁気センサ等や緯度経度取得センサが用いられる。

特開２０１３−００３６４９号公報

しかしながら、携帯電話端末やスマートフォン等を用いた場合、当該端末の保持の仕方や端末の使い方が一様に定まらないので、推定できるユーザの行動の種類は限られていた。また、同様の理由により、ユーザの行動の推定精度を向上させるために多くのセンサデータが必要とされた。

そこで、本開示では、頭部の動きに基づいてユーザの行動を推定することが可能な情報処理装置、制御方法およびプログラムを提案する。

本開示によれば、ユーザの頭部に装着され頭部の動きを検知する検知部により検知されたデータと、学習データに基づいて算出された行動特徴量とを比較し、前記ユーザの行動を推定する推定部と、前記推定部により推定された行動に応じた制御を行う制御部と、を備える、情報処理装置を提案する。

本開示によれば、ユーザの頭部に装着され頭部の動きを検知する検知部により検知されたデータと、学習データに基づいて算出された行動特徴量とを比較し、前記ユーザの行動を推定するステップと、前記推定された行動に応じた制御を行うステップと、を含む、制御方法を提案する。

本開示によれば、コンピュータを、ユーザの頭部に装着され頭部の動きを検知する検知部により検知されたデータと、学習データに基づいて算出された行動特徴量とを比較し、前記ユーザの行動を推定する推定部と、前記推定部により推定された行動に応じた制御を行う制御部と、として機能させるための、プログラムを提案する。

以上説明したように本開示によれば、頭部の動きに基づいてユーザの行動を推定することが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態による行動推定システムの概要について説明するための図である。 本実施形態による情報処理装置の基本構成を示すブロック図である。 机に静止した状態でグラスを置く行動時の頭部の動きの検知データを示す図である。 食事中における咀嚼時の頭部の動きの検知データを示す図である。 会話中における頭部の動きの検知データを示す図である。 居眠り中における頭部の動きの検知データを示す図である。 歩行中における頭部の動きの検知データを示す図である。 本実施形態によるサーバの基本構成を示すブロック図である。 本実施形態による特徴量学習処理を示すフローチャートである。 本実施形態による基本的な行動推定処理を示すフローチャートである。 階段昇降時と推定された場合の表示制御の一例を示す図である。 人と会話していると推定された場合の表示画面例を示す図である。 表示位置の制御によりコミュニケーションを活性化する場合について説明するための図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による行動推定システムの概要
２．基本構成
２−１．情報処理装置の構成
２−２．サーバの構成
３．動作処理
３−１．特徴量学習処理
３−２．行動推定処理
４．出力制御
４−１．危険回避のための表示制御
４−２．コミュニケーションの活性化
４−３．アプリケーションへの応用
５．まとめ

＜＜１．本開示の一実施形態による行動推定システムの概要＞＞
まず、本開示の一実施形態による行動推定システムの概要について図１を参照して説明する。図１に示すように、本実施形態による行動推定システムは、ユーザの頭部に装着される情報処理装置１と、サーバ２０とを含む。

情報処理装置１は、図１に示すような眼鏡型のＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）であって、例えば両側頭部にかけて延びる柄が両耳殻にかけられることでユーザに装着される。また、情報処理装置１（メガネ型ＨＭＤ）は、装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部２ａ、２ｂが配置される構成となっている。以下、表示部２ａ、２ｂを区別する必要がない場合は両者を含めて表示部２と総称する。

表示部２には、例えば撮像レンズ４ａで撮像された現実空間の撮像画像が表示されたり、現実空間の物体に重畳して見えるよう画像が表示されたりする。また、表示部２は透過型であってもよく、情報処理装置１により表示部２がスルー状態、即ち透明または半透明の状態とされることで、ユーザが情報処理装置１を眼鏡のように常時装着しても通常の生活には支障が生じない。

また、情報処理装置１には、ユーザに装着された状態でユーザの頭部の動きを検知するための重力加速度センサ６ａ、およびジャイロセンサ６ｂといった頭部センサ系が設けられている。なお頭部センサ系は、重力加速度センサ６ａ、およびジャイロセンサ６ｂに限定されず、例えば地磁気センサ等であってもよい。

さらに、情報処理装置１には、情報処理装置１を振動させる振動部７が搭載されている。

また、上述した撮像レンズ４ａは、図１に示すように、ユーザに装着された状態で、ユーザが視認する方向を被写体方向として撮像するように、前方に向けて配置されている。

また、情報処理装置１には、装着状態でユーザの右耳孔および左耳孔に挿入できる一対のイヤホンスピーカ３ａ、３ｂが設けられる。また、右眼用の表示部２の右方と、左眼用の表示部２の左方に、外部音声を集音するマイクロホン５ａ、５ｂが配置される。

なお、図１に示す情報処理装置１の外観は一例であり、情報処理装置１をユーザが装着するための構造は多様に考えられる。情報処理装置１は、一般に眼鏡型、あるいは頭部装着型とされる装着ユニットで形成されればよく、少なくともユーザの頭部の動きを検知できればよい。

また、表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。また、撮像レンズ４ａは、図１に示す例では右眼側に前方に向けて配置されているが、左眼側に配置されてもよいし、両側に配置されてもよい。また、イヤホンスピーカ３ａ、３ｂは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために１つ設けられるのみでもよい。また、マイクロホンも、マイクロホン５ａ、５ｂのうちの一方でもよい。さらに、マイクロホン５ａ、５ｂ、またはイヤホンスピーカ３ａ、３ｂを備えない構成も考えられる。

また、情報処理装置１は、サーバ２０と通信し、サーバ２０とデータの送受信が可能である。

（背景）
ここで、従来の技術では、携帯電話端末やスマートフォン等に搭載された重力加速度や緯度経度取得センサ等を用いてユーザの行動認識を行っていたが、携帯電話端末やスマートフォン等の保持の仕方や端末の使い方は一様に定まらないので、推定できるユーザの行動の種類は限られていた。また、同様の理由により、ユーザの行動の推定精度を向上させるためには多くのセンサデータが必要であった。

また、従来の推定（認識）可能な行動の種類は、「歩行／走行、自動車移動、電車移動」といった人間の体幹を主として移動の速さデータに基づく行動と、「端末を見ている、置いている」等の端末の座標データに基づく行動の主に２パターンであった。また、認識した行動の利用方法としては、ライフログとしての記録や、アバターアプリケーションへの反映等であって、認識した行動に応じてユーザに対して何らかのフィードバックを行うものではなかった。

そこで、本実施形態では、所持位置が固定化される頭部ウェアラブルデバイス（例えば、メガネ型ＨＭＤ）を用いて、ユーザの頭部の動きに基づいてユーザの行動を推定することで、従来では認識（推定）が困難であった行動もロバストに推定可能となる。具体的には、例えば、「人と話している」、「食事をしている」、「居眠りをしている」等の頭部の運動を伴う行動を推定することができる。

また、頭部ウェアラブルデバイスは頭部に常時一様に装着されるものであって、ユーザによって端末の所持の仕方や使い方が異なることは無いので、従来、スマートフォン端末等の所持の仕方がユーザによって異なることで、学習データが膨大になっていた問題を解決することができる。

さらに、推定した行動に応じて、ユーザに対してフィードバックを行うことで、日常的に頭部ウェラブルデバイスを装着して生活している際に発生する危険への対策や、コミュニケーションの活性化等を実現することができる。

以上、本開示の一実施形態による行動推定システムの概要について説明した。続いて、本開示による行動推定システムに含まれる情報処理装置１およびサーバ２０の基本構成について順次説明する。

＜＜２．基本構成＞＞
＜２−１．情報処理装置の構成＞
図２は、本実施形態による情報処理装置１の基本構成を示すブロック図である。図２に示すように、情報処理装置１は、主制御部１０、表示部２、音声出力部３、撮像部４、音声入力部５、頭部センサ系６、振動部７、通信部１２、および記憶部１４を有する。

（頭部センサ系）
頭部センサ系６は、情報処理装置１がユーザに装着された状態でユーザの頭部の動きを検知するための各種センサである。頭部センサ系６は、例えば重力加速度センサ６ａ、ジャイロセンサ６ｂ、または地磁気センサ等により実現される。

（主制御部）
主制御部１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、不揮発性メモリ、インターフェース部を備えたマイクロコンピュータにより構成され、情報処理装置１の各構成を制御する。

また、本実施形態による主制御部１０は、図２に示すように、行動推定部１１０、および出力制御部１２０として機能する。行動推定部１１０は、ユーザの頭部に装着され頭部の動きを検知する頭部センサ系６により検知されたデータと、学習データに基づいて算出された行動特徴量とを比較し、ユーザの行動を推定する。学習データに基づいて算出された行動特徴量は、通信部１２を介してサーバ２０から取得してもよいし、記憶部１４に予め格納されていてもよい。ここで、行動特徴量とは、例えば学習データに基づいて分析された強度、分散、または相関等の値である。また、学習データとは、教師データであってもよいし、多数のユーザに装着された各情報処理装置１から収集した頭部の動きの検知データであってもよい。

ここで、各行動時に頭部センサ系６により検知されるデータの一例について、図３〜図７を参照して説明する。いずれも、重力加速度センサ６ａにより検知されるｘ軸の加速度（ａｃｃＸ）、ｙ軸の加速度（ａｃｃＹ）、ｚ軸の加速度（ａｃｃＺ）と、ジャイロセンサ６ｂにより検知されるｘ軸の角速度（ｇｙｒＸ）、ｙ軸の角速度（ｇｙｒＹ）、ｚ軸の角速度（ｇｙｒＺ）が示される。

図３は、机に静止した状態でグラスを置く行動時の頭部の動きの検知データを示す図である。図３に示す動きが検知された場合、主制御部１０の行動推定部１１０は、各行動の行動特徴量と比較し、机に静止した状態でグラスを置く行動時の行動特徴量と一致した場合、ユーザの行動を「机に静止した状態でグラスを置く行動」と推定することができる。

図４は、食事中における咀嚼時の頭部の動きの検知データを示す図である。図４に示す動きが検知された場合、主制御部１０の行動推定部１１０は、各行動の行動特徴量と比較し、食事中における咀嚼時の行動特徴量と一致した場合、ユーザの行動を「食事中における咀嚼」と推定することができる。なお咀嚼時には、図４に示すように、周期的な細かい運動が検知され得る。

図５は、会話中における頭部の動きの検知データを示す図である。図５に示す動きが検知された場合、主制御部１０の行動推定部１１０は、各行動の行動特徴量と比較し、会話中における頭部の動きの行動特徴量と一致した場合、ユーザの行動を「会話」と推定することができる。なお会話時には一般的に頷く動作が行われるために、図５に示すように、大きくやや周期的な運動が検知され得る。

図６は、居眠り中における頭部の動きの検知データを示す図である。図６に示す動きが検知された場合、主制御部１０の行動推定部１１０は、各行動の行動特徴量と比較し、居眠り中における頭部の動きの行動特徴量と一致した場合、ユーザの行動を「居眠り」と推定することができる。なお居眠り中には、図６に示すように、細かな揺れはあるもののセンサの値の絶対値は２００以下で留まる。

図７は、歩行中における頭部の動きの検知データを示す図である。図７に示す動きが検知された場合、主制御部１０の行動推定部１１０は、各行動の行動特徴量と比較し、歩行中における頭部の動きの行動特徴量と一致した場合、ユーザの行動を「歩行」と推定することができる。なお歩行中には、図７に示すように、加速度および角速度ともに周期的な値が検出され得る。

以上、各行動時に頭部センサ系６により検知されるデータの一例について具体的に説明した。なお行動推定部１１０により推定され得る行動は、上述した例に限定されず、例えば階段の昇降や、走行、歩行等の行動も頭部の動きに基づいて推定され得る。

出力制御部１２０は、行動推定部１１０により推定された行動に応じた所定の制御を行うことで、危険回避やコミュニケーションの活性化等を実現する。所定の制御とは、例えば表示内容の制御、音声出力制御、振動制御、または所定アプリケーションの起動制御等である。

（通信部）
通信部１２は、無線／有線により外部装置と接続し、データの送受信を行う機能を有する。本実施形態による通信部１２は、サーバ２０と接続し、例えば学習データに基づいて算出された行動特徴量を受信する。

（撮像部）
撮像部４は、撮像レンズ４ａ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系と、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系と、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等とを有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。

撮像レンズ４ａは、上述したように、情報処理装置１がユーザに装着された状態で、ユーザが視認する方向を被写体方向として撮像するように、前方に向けて配置されている。これにより、撮像部４は、ユーザと会話している相手の顔を撮像することが可能である。

（音声入力部）
音声入力部５は、図１に示したマイクロホン５ａ、５ｂと、そのマイクロホン５ａ、５ｂで得られた音声信号を増幅処理するマイクアンプ部やＡ／Ｄ変換器を有し、音声データを主制御部１０に出力する。主制御部１０では、音声入力部５で得られた音声データに対して、ノイズ除去、音源分離等の処理を行った上で音声認識を行うことで、ユーザによる音声入力を可能にする。また、主制御部１０では、音声入力部５で得られた音声データに対して、ノイズ除去、音源分離等の処理を行った上で音声データを記憶部１４に記憶させることで、録音を可能にする。

（表示部）
表示部２は、出力制御部１２０による制御に従って、画像データを表示する。また、表示部２は、上述したように、透過型の表示デバイスであってもよい。

（音声出力部）
音声出力部３は、図１に示した一対のイヤホンスピーカ３ａ、３ｂと、そのイヤホンスピーカ３ａ、３ｂに対するアンプ回路を有する。また、音声出力部３は、いわゆる骨伝導スピーカとして構成されてもよい。音声出力部３は、出力制御部１２０による制御に従って、音声信号データを出力（再生）する。

（振動部）
振動部７は、情報処理装置１を振動させる機能を有し、例えば偏心モータ、リニアバイブレータ、ピエゾ素子等により実現される。振動部７は、出力制御部１２０による制御に従って、情報処理装置１を振動させてユーザに注意を促すことが可能である。

（記憶部）
記憶部１４は、主制御部１０が各種処理を実行するためのプログラム等を記憶する。また、記憶部１４は、頭部の動きの学習データに基づいて算出された行動特徴量を記憶していてもよい。

以上、情報処理装置１の構成について詳細に説明した。次に、サーバ２０の基本構成について図８を参照して説明する。

＜２−２．サーバの構成＞
図８は、本実施形態によるサーバ２０の基本構成を示すブロック図である。図８に示すように、サーバ２０は、特徴量算出部２６、通信部２２、および教師データ記憶部２４を有する。

（通信部）
通信部２２は、外部装置と接続し、データの送受信を行う機能を有する。本実施形態による通信部２２は、情報処理装置１と接続し、後述する特徴量算出部２６により算出された各行動の特徴量を送信する。

（教師データ記憶部）
教師データ記憶部２４は、頭部の動きにより推定し得る各行動の教師データを記憶する。

（特徴量算出部）
特徴量算出部２６は、教師データ記憶部２４に記憶されている各行動の頭部の動きを示す教師データ、または通信部２２を介して多数のユーザが装着する情報処理装置１から収集した各行動時の頭部の動きの検知データ等の学習データに基づいて、各行動時の頭部の動きの特徴量を算出（学習）する。特徴量の算出（学習）方法については特に限定しないが、例えばＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）や決定木等が用いて分析してもよい。具体的には、特徴量算出部２６は、例えば頭部の動きの検知データ（加速度や角速度等）の強度、分散、または相関等を分析して特徴量を学習する。

以上、本実施形態によるサーバ２０の構成について説明した。続いて、本実施形態による行動推定システムの動作処理について図９〜図１０に示すフローチャートを参照して説明する。

＜＜３．動作処理＞＞
＜３−１．特徴量学習処理＞
図９は、本実施形態による特徴量学習（算出）処理を示すフローチャートである。図９に示すように、まず、ステップＳ１０３において、サーバ２０の特徴量算出部２６は、教師データとなる各行動時のセンサ値（検知データ）を取得する。具体的には、例えば特徴量算出部２６は、教師データ記憶部２４から各行動時のセンサ値（検知データ）を抽出する。

次に、ステップＳ１０６において、特徴量算出部２６は、教師データとなる各行動時のセンサ値に基づいて、特徴量を学習（算出）する。

続いて、ステップＳ１０９において、特徴量算出部２６は、算出した特徴量を、ユーザの頭部に装着される情報処理装置１に出力（送信）する。また、特徴量算出部２６は、算出した特徴量を、サーバ２０が有する特徴量記憶部（不図示）に格納してもよい。いずれの場合も、特徴量算出部２６は、情報処理装置１からの要求に応じて、各行動時の特徴量を送信する。

以上が、行動推定処理の前に行われる特徴量の学習処理である。

＜３−２．行動推定処理＞
図１０は、本実施形態による基本的な行動推定処理を示すフローチャートである。図１０に示すように、まず、ステップＳ２０３において、情報処理装置１の主制御部１０は、ユーザの頭部に装着される情報処理装置１に搭載された頭部センサ系６から、各種センサ値（すなわち頭部の動き）を取得する。

次に、ステップＳ２０６において、行動推定部１１０は、取得した各種センサ値と、教師データの特徴量とを比較し、ユーザの行動を推定する。すなわち、行動推定部１１０は、リアルタイムで取得したユーザの頭部の動きが、どの行動の教師データに基づく特徴量と一致するか否かに応じて、ユーザの行動を推定する。なお、教師データの特徴量が学習できていない場合、行動推定部１１０は、多数の他ユーザの頭部の動きを検知した検知データを用いて各行動の特徴量を学習し（教師なし学習）、学習した特徴量に基づいて行動推定することも可能である。

そして、ステップＳ２０９において、出力制御部１２０は、行動推定部１１０により推定されたユーザの行動に応じた所定の出力制御を行う。所定の出力制御とは、例えば表示内容の制御、音声出力制御、振動制御、または所定アプリケーションの起動制御の少なくともいずれかである。出力制御部１２０は、推定された行動に応じた所定の出力制御を行うことで、日常的に頭部ウェラブルデバイスを装着して生活している際に発生する危険への対策や、コミュニケーションの活性化等を実現することができる。

以上、本実施形態による行動推定処理について具体的に説明した。次に、上記Ｓ２０９に示した所定の出力制御について、複数の具体例を挙げて説明する。

＜＜４．出力制御＞
＜４−１．危険回避のための表示制御＞
例えば行動推定部１１０により「階段を昇降している」と推定された場合、出力制御部１２０は、ユーザの視界のうち足元を隠さないような表示制御を行い、危険回避を実現する。ここで、階段昇降時の表示制御の一例を図１１に示す。

出力制御部１２０は、通常、知人からのメッセージを表示する際、透過型の表示部２を介してユーザが見ている視界に含まれる表示画面３０において、図１１上に示すように画面中央に表示する。

しかし階段の昇降時には足元と表示画面３０に表示される文字とが重なって足元が見え難く危険であるので、出力制御部１２０は、例えば図１１下の表示画面３１に示すように、表示位置を上方に変更（また、必要であれば表示内容を簡略化した上で変更）することで、足元を隠さないような表示制御を行う。

また、出力制御部１２０は、行動推定部１１０により「走っている」と推定された場合、表示部２に表示する文字や画像等の大きさを通常時（歩行時）より縮小したり、表示内容を簡略化したりして表示面積を小さくすることで、ユーザの視界を遮らないよう表示制御して危険を回避する。

このように、リアルタイムで推定された行動に応じた表示制御により、日常的に透過型の頭部ウェラブルデバイスを装着して生活している際に発生する危険を回避することができる。

＜４−２．コミュニケーションの活性化＞
続いて、推定された行動に応じた出力制御によりコミュニケーションを活性化する場合の具体例について説明する。

まず、コミュニケーションの一例として、現実空間において実際に対話している行動が挙げられる。ここで、透過型の表示部２が搭載されたメガネ型ＨＭＤである情報処理装置１を装着して人と会話している場合のユーザの視界に含まれる表示画面例を図１２に示す。

図１２上に示すように、人と会話している際に透過型の表示部２における表示画面３２に表示されている情報の量が通常時のままの場合、表示されている情報が気になって対話している人物とのコミュニケーションが十分に図れないことが想定される。

そこで、出力制御部１２０は、行動推定部１１０により会話中と推定された場合、図１２下の表示画面３３に示すように、表示する情報量を通常時よりも少なくする制御を行うことで、透過型ウェアラブルデバイスによって引き起こされる現実世界とのコミュニケーションの阻害を防ぐ。

具体的には、出力制御部１２０は、例えば新着メールの通知を行う際、通常時は図１２左の表示画面３２に示すように、新着件数、送信者、およびタイトル等を表示するが、会話中は図１２右の表示画面３３に示すように、「新着メール」の文字のみを表示する。または、アイコンのみの表示や、何の表示も行わないことで、現実世界のコミュニケーションの阻害を防ぐことができる。

以上、情報量の削減によりコミュニケーションを活性化する方法について述べたが、本実施形態はこれに限定されず、例えば情報の表示位置の制御によりコミュニケーションを活性化することも可能である。以下、図１３を参照して具体的に説明する。

図１３は、表示位置の制御によりコミュニケーションを活性化する場合について説明するための図である。図１３左に示す例では、ユーザの視界に含まれる表示画面３４に表示される情報の表示位置は定位置に制御される。この場合、対話している相手の顔が動いても、表示画面３５に示すように、情報の表示位置は定位置から変更されない。このように、情報が常に定位置に表示されることで、ユーザは常に決まった位置に視線を向ければ必ず情報が得られるという安心感を得られる。

しかしながら、相手の顔の位置によっては表示情報と重なってコミュニケーションが取り難い場合が生じ得る。

そこで、他の方法として、会話している相手の顔の位置を認識し、相手の顔と重ならないように表示情報の表示位置を制御する方法が考え得る。相手の顔の位置は、例えば情報処理装置１に外側に向けて設けられた撮像レンズ４ａ（図１参照）を用いて撮像部４により撮像された撮像画像に基づいて認識される。

具体的には、まず、主制御部１０は、行動推定部１１０により会話中と推定された場合、撮像部４による撮像を開始し、撮像画像に基づいて顔認識を行い、会話している相手の顔の位置を把握する。

次いで、出力制御部１２０は、撮像画像に基づいて認識された顔の位置に応じて、表示部２に表示する情報の表示位置が、ユーザが表示部２を介して見ている相手の顔に重ならないよう制御する。また、出力制御部１２０は、撮像部４により継続的に撮像される撮像画像に基づく相手の顔の位置の変化に応じて、情報の表示位置を変化させる。これにより、図１３右の表示画面３６、３７に示すように、ユーザが会話をしている相手の顔の位置が変化した場合も、常に相手の顔と重ならないように情報の表示位置が制御されるので、コミュニケーションの活性化が実現する。

なお、以上説明したコミュニケーションの活性化では、実空間において対面する人物と会話している際の表示制御について説明したが、本実施形態はこれに限定されず、例えばユーザの注目対象が人物以外の場合にも同様に適用することが可能である。具体的には、行動推定部１１０により、ユーザがＰＣやスマートフォン等の端末を操作したり、ＴＶを閲覧したりしていると推定された場合、出力制御部１２０は、情報量を少なくしたり、注目対象の端末やＴＶの画面を避けて情報を表示するよう制御したりする。

これにより、ユーザが日常的に頭部ウェアラブルデバイス（情報処理装置１）を装着して人物以外に注目して行動している場合も、ユーザの視界を遮らないよう表示制御することにより、情報処理装置１の利便性が向上する。

＜４−３．アプリケーションへの応用＞
また、本実施形態による出力制御部１２０は、推定された行動に応じて、所定のアプリケーションを起動する制御を行ってもよい。具体的には、例えば、行動推定部１１０により「居眠りをしている」と推定された場合、出力制御部１２０は、居眠り防止のアプリケーションを起動させる。かかるアプリケーションに従って、出力制御部１２０は、例えば振動部７をＯＮし、ユーザに振動を与えることで起床を促すことができる。

そして、行動推定部１１０により、「起床した」との行動が推定された場合、出力制御部１２０は、振動部７をＯＦＦし、居眠り防止のアプリケーションを終了させる。

また、予め居眠りが推定された場合に起動するアプリケーションは、上述した居眠り防止アプリケーションの他、例えば節電アプリケーションや、ビデオアプリケーション等であってもよい。

居眠りに応じて節電アプリケーションを起動した場合、出力制御部１２０は、表示部２の電源をＯＦＦしたり、情報処理装置１の電源をスリープモードに移行させたり等の制御を行い、ユーザが居眠りしている間の消費電力を削減する。

また、居眠りに応じてビデオアプリケーションを起動した場合、出力制御部１２０は、撮像部４により周囲の様子を撮影し、また、音声入力部５により周囲の音声を録音することで、ユーザが居眠りしている間の周囲の状況を記録する。

以上説明したアプリケーションはいずれも居眠り行動が推定された場合に起動されるアプリケーションの一例であるが、どのアプリケーションを起動させるかは予めユーザが設定していてもよい。

また、推定される行動は「居眠り」に限定されず、例えば「食事中」と推定された場合、出力制御部１２０は、予め設定された健康管理アプリケーションを起動させてもよい。かかるアプリケーションに従って、出力制御部１２０は、例えば表示部２に「食べ過ぎ注意」等の通知を表示し、ユーザに警告を行うことができる。

また、健康管理アプリケーションが起動された場合、行動推定部１１０は、頭部の動きに基づいて咀嚼行動を推定し、出力制御部１２０は、咀嚼行動の回数をカウントして健康管理アプリケーションに咀嚼回数データを出力してもよい。

以上説明したように、本実施形態による出力制御部１２０は、推定された行動に応じて所定のアプリケーションを自動的に起動させ、情報処理装置１の利便性を向上させることができる。

＜＜５．まとめ＞＞
上述したように、本開示の実施形態による情報処理装置１は、ユーザの頭部に装着され、ユーザの頭部に特徴的な動きに基づいてユーザの行動をよりロバストに推定することができる。

また、頭部に装着される情報処理装置１は、人によって所持（装着）の仕方が異なることは無いので、複数のユーザに装着される各情報処理装置１において、教師データとなる各行動の動きに基づく特徴量を共通して利用することができる。また、これにより従来のスマートフォン等の人によって所持の仕方が異なる場合の膨大な学習データの問題を解決することができる。

さらに、本実施形態による情報処理装置１は、推定した行動に応じて、自動的に所定の出力制御を行うことで、日常的に頭部ウェラブルデバイスを装着して生活している際に発生する危険への対策や、コミュニケーションの活性化等を実現することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上述した情報処理装置１に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、上記実施形態は、教師データ記憶部２４および特徴量算出部２６がサーバ２０に設けられ、行動推定部１１０および出力制御部１２０は情報処理装置１に設けられるものとしたが、本技術はかかる例に限定されない。例えば、これらの構成全てをサーバ２０に設けてもよく、あるいは情報処理装置１に設けてもよい。

また、上記実施形態は、表示部２、頭部センサ系６、および主制御部１０が、頭部に装着されるウェアラブルデバイス（情報処理装置１）に全て設けられるものとしたが、本技術はかかる例に限定されない。例えば、これらの構成のうち、表示部２および頭部センサ系６は頭部に装着されるウェアラブルデバイスに設けられ、主制御部１０は、ユーザが所持するスマートフォンや携帯電話端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、タブレット端末等に設けられていてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
ユーザの頭部に装着され頭部の動きを検知する検知部により検知されたデータと、学習データに基づいて算出された行動特徴量とを比較し、前記ユーザの行動を推定する推定部と、
前記推定部により推定された行動に応じた制御を行う制御部と、
を備える、情報処理装置。
（２）
前記推定部は、前記検知されたデータと、予め教師データに基づいて算出された行動特徴量とを比較することで、前記ユーザの行動を推定する、前記（１）に記載の情報処理装置。
（３）
前記制御部は、前記推定された行動に応じた出力制御を行う、前記（１）または（２）に記載の情報処理装置。
（４）
前記出力制御は、表示内容の制御、音声出力制御、振動制御、または所定アプリケーションの起動制御の少なくともいずれかである、前記（３）に記載の情報処理装置。
（５）
前記行動特徴量は、学習データに基づいて分析された強度、分散、または相関の値である、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記検知部は、ジャイロセンサ、加速度センサ、または地磁気センサの少なくともいずれかである、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記情報処理装置は、
前記情報処理装置が前記ユーザの頭部に装着された際に、前記ユーザの眼前に配置される透過型の表示部をさらに備える、前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記制御部は、前記推定部により推定された行動に応じて、前記情報処理装置が前記ユーザの頭部に装着されるウェアラブルデバイスである場合に、前記ユーザの眼前に配置される透過型の表示部の表示内容を制御する、前記（１）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記制御部は、前記推定部により推定された行動に予め対応付けられたアプリケーションを起動するよう制御する、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
ユーザの頭部に装着され頭部の動きを検知する検知部により検知されたデータと、学習データに基づいて算出された行動特徴量とを比較し、前記ユーザの行動を推定するステップと、
前記推定された行動に応じた制御を行うステップと、
を含む、制御方法。
（１１）
コンピュータを、
ユーザの頭部に装着され頭部の動きを検知する検知部により検知されたデータと、学習データに基づいて算出された行動特徴量とを比較し、前記ユーザの行動を推定する推定部と、
前記推定部により推定された行動に応じた制御を行う制御部と、
として機能させるための、プログラム。

１ 情報処理装置
２（２ａ、２ｂ） 表示部
３ 音声出力部
３ａ、３ｂ イヤホンスピーカ
４ 撮像部
４ａ 撮像レンズ
５ 音声入力部
５ａ、５ｂ マイクロホン
６ 頭部センサ系
６ａ 重力加速度センサ
６ｂ ジャイロセンサ
７ 振動部
１０ 主制御部
１１０ 行動推定部
１２０ 出力制御部
１２ 通信部
１４ 記憶部
２０ サーバ
２２ 通信部
２４ 教師データ記憶部
２６ 特徴量算出部

Claims (17)

1. ユーザの頭部に装着され頭部の動きを検知する検知部により検知されたデータと、学習データに基づいて算出された行動特徴量とを比較し、前記ユーザの行動を推定する推定部と、
   前記推定部により推定された行動に応じた表示制御を行う制御部と、
   を備え、
   前記推定部は、前記検知部により検知された前記ユーザの頭部の動きが、所定の行動中に起こる頭部の特徴的な動きを示す行動特徴量と一致する場合、前記ユーザが対象に注目する行動中であると推定し、
   前記制御部は、前記推定部により前記ユーザが対象に注目する行動が推定された際、当該ユーザの眼前に位置する表示部に表示する情報の態様を制御する、情報処理装置。
2. 前記制御部は、対象に注目する行動が推定された際、表示する情報の量を削減する制御を行う、請求項１に記載の情報処理装置。
3. 前記制御部は、通知情報の内容は表示せず通知情報の存在有無を表示することで表示情報の量を削減する、請求項２に記載の情報処理装置。
4. 前記制御部は、文字またはアイコンにより通知情報の存在を通知する、請求項３に記載の情報処理装置。
5. 前記制御部は、対象に注目する行動が推定された際、情報の表示位置を制御する、請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記制御部は、対象に注目する行動が推定された際、予め設定した固定位置に情報を表示するよう制御する、請求項５項に記載の情報処理装置。
7. 前記制御部は、注目対象の位置に応じて情報の表示位置を制御する、請求項５項に記載の情報処理装置。
8. 前記制御部は、前記注目対象を継続的に認識し、前記情報が重畳しないよう継続的に表示位置を制御する、請求項７に記載の情報処理装置。
9. 前記ユーザが対象に注目する行動は、対話行動である、請求項２〜８のいずれか１項に記載の情報処理装置。
10. 前記ユーザが対象に注目する行動は、対話行動であって、
    前記注目対象は、前記ユーザが対話する相手の顔である、請求項７または８に記載の情報処理装置。
11. 前記注目対象は、前記ユーザが見ている表示画面である、請求項７または８に記載の情報処理装置。
12. 前記注目対象は、前記ユーザが操作している情報処理端末である、請求項７または８に記載の情報処理装置。
13. 前記検知部は、ジャイロセンサ、加速度センサ、または地磁気センサの少なくともいずれかである、請求項１〜１２のいずれか１項に記載の情報処理装置。
14. 前記推定部は、前記検知部により検知された前記ユーザの頭部の３軸方向の動きが、対話中の頷きによる頭部の特徴的な動きを示す行動特徴量と一致する場合、前記ユーザが対話中であると推定する、請求項１３に記載の情報処理装置。
15. 前記情報処理装置は、前記ユーザの頭部に装着される装置であって、
    前記ユーザの眼前に位置する透過型の表示部をさらに備える、請求項１〜１４のいずれか１項に記載の情報処理装置。
16. プロセッサが、
    ユーザの頭部に装着され頭部の動きを検知する検知部により検知されたデータと、学習データに基づいて算出された行動特徴量とを比較し、前記ユーザの行動を推定するステップと、
    前記推定された行動に応じた表示制御を行うステップと、
    を含み、
    前記推定するステップは、前記検知部により検知された前記ユーザの頭部の動きが、所定の行動中に起こる頭部の特徴的な動きを示す行動特徴量と一致する場合、前記ユーザが対象に注目する行動中であると推定し、
    前記表示制御を行うステップは、前記ユーザが対象に注目する行動が推定された際、当該ユーザの眼前に位置する表示部に表示する情報の態様を制御する、制御方法。
17. コンピュータを、
    ユーザの頭部に装着され頭部の動きを検知する検知部により検知されたデータと、学習データに基づいて算出された行動特徴量とを比較し、前記ユーザの行動を推定する推定部と、
    前記推定部により推定された行動に応じた表示制御を行う制御部と、
    として機能させ、
    前記推定部は、前記検知部により検知された前記ユーザの頭部の動きが、所定の行動中に起こる頭部の特徴的な動きを示す行動特徴量と一致する場合、前記ユーザが対象に注目する行動中であると推定し、
    前記制御部は、前記推定部により前記ユーザが対象に注目する行動が推定された際、当該ユーザの眼前に位置する表示部に表示する情報の態様を制御する、プログラム。

Images