WO2022208999A1 - 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム - Google Patents

情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム Download PDF

Info

Publication number
WO2022208999A1
WO2022208999A1 PCT/JP2021/043548 JP2021043548W WO2022208999A1 WO 2022208999 A1 WO2022208999 A1 WO 2022208999A1 JP 2021043548 W JP2021043548 W JP 2021043548W WO 2022208999 A1 WO2022208999 A1 WO 2022208999A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information processing
state
estimation unit
unit
Prior art date
Application number
PCT/JP2021/043548
Other languages
English (en)
French (fr)
Inventor
明珍 丁
麻衣 今村
英夫 長坂
雄司 川辺
和政 橋本
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/JP2021/021259 external-priority patent/WO2022208905A1/ja
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to PCT/JP2022/007705 priority Critical patent/WO2022209473A1/ja
Priority to PCT/JP2022/013213 priority patent/WO2022210111A1/ja
Priority to PCT/JP2022/015297 priority patent/WO2022210649A1/ja
Priority to US18/551,941 priority patent/US20240200947A1/en
Priority to JP2023511338A priority patent/JPWO2022210649A1/ja
Publication of WO2022208999A1 publication Critical patent/WO2022208999A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/02Synthesis of acoustic waves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones

Definitions

  • the sensor unit of the wearable device includes an acceleration sensor,
  • the angle corrector is calculating the inclination of the user in the pitch direction and the inclination in the roll direction from the gravitational acceleration when the user faces the roll direction, which is the detection value of the acceleration sensor; calculating the inclination of the user in the Yaw direction from the gravitational acceleration when the user faces the Pitch direction as the detection value of the acceleration sensor, the inclination in the Pitch direction, and the inclination in the Roll direction;
  • the tilt in the Pitch direction, the tilt in the Roll direction, and the tilt in the Yaw direction may be used as the correction values.
  • FIG. 14 shows a recognition example of processing by the location estimation unit.
  • the information processing device includes an acceleration sensor,
  • the angle corrector is calculating the inclination of the user in the pitch direction and the inclination in the roll direction from the gravitational acceleration when the user faces the roll direction, which is the detection value of the acceleration sensor; calculating the inclination of the user in the Yaw direction from the gravitational acceleration when the user faces the Pitch direction as the detection value of the acceleration sensor, the inclination in the Pitch direction, and the inclination in the Roll direction;
  • the information processing apparatus uses the tilt in the pitch direction, the tilt in the roll direction, and the tilt in the yaw direction as the correction values.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】状況に拠らず適切にユーザに対する出力を制御する情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムを提供する。 【解決手段】情報処理装置は、ユーザ状態を推定するユーザ状態推定部と、前記ユーザ状態に基づきユーザに提示する環境状態を推定する環境推定部と、前記環境状態に基づき出力を制御する出力制御部と、を具備する。

Description

情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
 本開示は、ユーザに対する出力を制御する情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムに関する。
 発話や環境音を音声認識して、認識した音に基づき楽曲等のコンテンツを選択し出力する技術がある(特許文献1)。
米国特許第10891948号明細書 米国特許第9398361号明細書 特開2010-56589号公報 特開2011-209162号公報
 発話や環境音を音声認識する技術は、音がする環境のみ適用可能である。このため、音を立てたくないユーザや、音を立てたくない状況では、適切なコンテンツを選択できないおそれがある。また、自然言語処理には高い計算能力が必要であるため、ローカルで処理することが難しい。
 以上のような事情に鑑み、本開示の目的は、状況に拠らず適切にユーザに対する出力を制御する情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムを提供することにある。
 本開示の一形態に係る情報処理装置は、
 ユーザ状態を推定するユーザ状態推定部と、
 前記ユーザ状態に基づきユーザに提示する環境状態を推定する環境推定部と、
 前記環境状態に基づき出力を制御する出力制御部と、
 を具備する。
 本実施形態によれば、状況に拠らず適切にユーザに対する出力を制御することができる。
 前記ユーザが装着したウェアラブルデバイスが有するセンサ部の検出値に基づき、ユーザ位置を推定するユーザ位置推定部と、
 前記ユーザ位置に基づき、ユーザがいる場所の属性である場所属性を推定する場所属性推定部と、
 をさらに具備し、
 前記ユーザ状態推定部は、前記場所属性に基づき、前記ユーザ状態を推定してもよい。
 前記ユーザ位置推定部は、PDR(Pedestrian Dead Reckoning)を用いて前記ユーザ位置を推定してもよい。
 本実施形態によれば、ユーザの家屋内での場所や、他のユーザコンテクストに基づき、音を立てたくない状況等の状況に拠らず適切にユーザに対する出力を制御することができる。
 前記環境推定部は、前記場所属性に基づき、前記環境状態を推定してもよい。
 例えば、ユーザがテレワーク中に仕事席にいる場合は、作業にフォーカスできるようにユーザに対する出力を制御し、ユーザが休憩場所にいる場合はリラックスできるようにユーザに対する出力を制御できる。
 前記ウェアラブルデバイスが有する前記センサ部は、加速度センサ、ジャイロセンサ、コンパス、生体センサの内、少なくとも一つを含んでもよい。
 屋外と違い家屋内は比較的に場所が狭く、特定の位置を推定するためには高精度のビーコンやカメラのような外付け設備が必要になるのが一般的である。これに対して、本実施形態によれば、外付け装備なく、ウェアラブルデバイスに装着された加速度センサ、ジャイロセンサ及び/又はコンパスを使い家屋内の位置を特定することができる。
 前記ユーザ位置推定部は、
 前記ユーザが装着した前記ウェアラブルデバイスが有する前記センサ部の前記検出値に基づき、前記ユーザの方位角の補正値を算出する角度補正部と、
 前記ユーザが装着した前記ウェアラブルデバイスが有する前記センサ部の前記検出値と、前記補正値とに基づき、前記ユーザの方位角を推定する角度推定部と、を有し、
 前記方位角を利用して前記ユーザ位置を推定してもよい。
 ウェアラブルデバイスの装着角度は、ユーザ毎に異なる。このため、加速度センサ及びジャイロセンサのセンサ軸の角度は、ユーザ毎に異なる。そこで、ユーザ位置推定部は、ユーザ毎にセンサ部のセンサ軸の角度を推定し、これを補正値として、個人差に依存することなく精度高く向き(角度)を推定することができる。
 前記ユーザ位置推定部は、前記ユーザ位置の移動経路を推定し、
 前記場所属性推定部は、前記移動経路に基づき、移動後の前記場所属性を推定してもよい。
 本実施形態によれば、例えば、ユーザがテレワーク中に仕事席にいる場合は、作業にフォーカスできるよう出力を制御し、ユーザが休憩場所にいる場合はリラックスできるよう出力を制御することができる。
 前記場所属性推定部は、複数の移動経路を保持し、推定された前記移動経路を保持された前記複数の移動経路とマッチングすることにより、移動後の前記場所属性を推定してもよい。
 本実施形態によれば、場所を移動するパターンとその順番を記憶しておいて、直近に移動したパターンからユーザの移動後の場所を特定することができる。
 前記場所属性推定部は、マッチングが所定回数失敗すると、警告を出力してもよい。
 これにより、ユーザが自分の家から違う屋内(例えば、コワーキングスペース等)に移動し、保持している複数の移動経路とは全く異なる移動経路が検出され続ける場合等に、移動後の場所属性を新たな移動経路から推定する旨をユーザに通知することもできる。
 前記場所属性推定部は、前記マッチングをDTW(dynamic time warping、動的時間伸縮法)を用いて行ってもよい。
 前記場所属性推定部は、前記ユーザがいる場所での前記ユーザの滞在時間を判断することにより、前記場所属性を推定してもよい。
 移動経路に加えて滞在時間を判断することで、より精度よく場所属性を推定できる。
 ユーザのコンテクストを取得するコンテクスト取得部をさらに具備し、
 前記ユーザ状態推定部は、取得された前記コンテクストに基づき、前記ユーザ状態を推定してもよい。
 前記コンテクストは、前記ユーザの位置情報と前記情報処理装置の端末情報の少なくともいずれかを含んでもよい。
 場所属性だけでなくユーザのコンテクストに基づきユーザ状態を推定することで、より精度よくユーザ状態を推定できる。
 前記ユーザ状態推定部は、前記ウェアラブルデバイスが有する前記センサ部の前記検出値及び/又は前記場所属性に基づき、前記ユーザ状態を推定してもよい。
 これにより、より精度よくユーザ状態を推定できる。
 前記ユーザ状態は、前記ユーザの複数の活動状態を示してもよい。
 例えば、ユーザ状態は、ブレイクタイム、ニュートラル、DND(Do Not Disturb)及びオフラインの4レベルの活動状態を示す。ブレイクタイムが最もリラックスした活動状態、ニュートラルが通常の活動状態、DNDが比較的忙しい活動状態、オフラインが最も忙しい活動状態である。
 前記出力制御部は、
 前記環境状態に基づき選択されたコンテンツを再生するコンテンツ制御部、及び/又は
 前記環境状態に基づき前記ユーザへの通知の回数を制御する通知制御部
 を有してもよい。
 コンテンツ制御部は、ユーザがフォーカスできるようなコンテンツ、ユーザがリラックスできるようなコンテンツを再生してもよい。通知制御部は、ユーザがフォーカスできるように通知回数を減らす又は無くす、ユーザがリラックス中であれば通知の回数を通常通りとしてもよい。
 前記ウェアラブルデバイスが有する前記センサ部は、加速度センサを含み、
 前記角度補正部は、
  前記加速度センサの前記検出値としての前記ユーザがRoll方向を向いたときの重力加速度から、前記ユーザのPitch方向の傾き及び前記Roll方向の傾きを算出し、
  前記加速度センサの前記検出値としての前記ユーザが前記Pitch方向を向いたときの重力加速度と、前記Pitch方向の傾き及び前記Roll方向の傾きとから、前記ユーザのYaw方向の傾きを算出し、
  前記Pitch方向の傾き、前記Roll方向の傾き及び前記Yaw方向の傾きを、前記補正値としてもよい。
 本実施形態によれば、加速度センサのみを使用して、ユーザの方位角の補正値を算出することができる。これにより、搭載センサが少ない環境でも実施でき、低コスト、省電力、小型化を実現可能である。
 本開示の一形態に係る情報処理方法は、
 ユーザ状態を推定し、
 前記ユーザ状態に基づきユーザに提示する環境状態を推定し、
 前記環境状態に基づき出力を制御する。
 本開示の一形態に係る情報処理プログラムは、
 情報処理装置のプロセッサを、
 ユーザ状態を推定するユーザ状態推定部と、
 前記ユーザ状態に基づきユーザに提示する環境状態を推定する環境推定部と、
 前記環境状態に基づき出力を制御する出力制御部
 として動作させる。
 本開示の一形態に係る情報処理システムは、
 ウェアラブルデバイスと、
 前記ウェアラブルデバイスを装着したユーザのユーザ状態を推定するユーザ状態推定部と、
 前記ユーザ状態に基づき前記ユーザに提示する環境状態を推定する環境推定部と、
 前記環境状態に基づき出力を制御する出力制御部と、
 を有する情報処理装置と、
 を具備する。
本開示の一実施形態に係る情報処理システムの構成を示す。 装着されたウェアラブルデバイスを模式的に示す。 装着されたウェアラブルデバイスの個人差を模式的に示す。 角度補正の概念を模式的に示す。 角度補正部の動作フローを示す。 ユーザの動きを模式的に示す。 角度補正の概念を模式的に示す。 角度補正部の具体的な処理を示す。 具体的な計算例を示す。 初期フレーム同士の関係を示す。 自然な正面を指定する方法を示す。 場所推定部の処理を説明するための図である。 場所推定部の処理の適用例を示す。 場所推定部の処理の認識例を示す。 場所推定部の動作フローを示す。 場所推定部の補足的な動作フローを示す。 経路が同じで違う歩き方として識別する場合の動作を示す。 場所推定部が場所を推定する方法の変形例を示す。 コンテクストからユーザに提示する環境状態を推定するフローである。 ユーザ状態推定部の動作を示す。 コンテクスト及びユーザ状態のマッピング関係を示す。 ユーザ状態推定部がユーザ状態を判断する方法を示す。 環境推定部の動作を示す。 出力制御部のコンテンツ制御部の動作を示す。 出力制御部の通知制御部の動作を示す。 本実施形態に係るコンテンツ再生システムの構成を示す。 プリセットアプリケーションのGUIの一例を示す。 コンテンツ再生制御アプリケーションの動作フローを示す。 コンテンツ提供アプリケーションを選択するために用いられるテーブルの一例を示す。 一実施形態に係る角度補正部の機能的構成を示す。 角度補正部の動作フローを示す。 デバイス座標系の定義を示す。 角βの導出方法を示す。 正面を向いているときの重力軸を示す。 下方向を向いているときの重力軸を示す。 測定データからのYaw回転算出と測定特異点を示す。 条件を満たすかどうかを判断するためのフローチャートを示す。 正面方向ベースのYaw回転定義を示す。 上下動作と曲げ角度の算出結果への影響を示す。
 以下、図面を参照しながら、本開示の実施形態を説明する。
 1.情報処理システムの構成
 図1は、本開示の一実施形態に係る情報処理システムの構成を示す。
 情報処理システム10は、情報処理装置100と、ウェアラブルデバイス200とを有する。
 情報処理装置100は、例えば、スマートフォン、タブレットコンピュータ又はパーソナルコンピュータ等の、エンドユーザが使用する端末装置である。情報処理装置100は、インターネット等のネットワークに接続される。
 ウェアラブルデバイス200は、ユーザの頭に装着されるデバイスである。ウェアラブルデバイス200は、典型的には、ワイヤレスイヤホン(図2)であるが、ワイヤレスヘッドフォンや有線ヘッドフォン、有線イヤホン、AR(Augmented Reality)またはVR(Virtual Reality)用のHMD(Head Mount Display)等であってもよい。また、図2では耳穴を完全にふさがないオープンイヤー型のイヤホンであるが、例えば耳孔を塞ぐタイプのカナル型イヤホンや補聴器、集音器等であっても良い。情報処理装置100とウェアラブルデバイス200とは、例えば、Bluetooth(登録商標)(具体的には、BLE(Bluetooth Low Energy) GATT(Generic Attribute Profile))やWi-Fi(登録商標)等の種々の近距離無線通信により相互に通信可能に接続される。ウェアラブルデバイス200は、センサ部210を有する。センサ部210は、加速度を検出する加速度センサ211と、角速度を検出するジャイロセンサ212と、方位角を検出するコンパス213とを含む。センサ部210は、さらに、心拍センサ、血流センサ、脳波センサ等の生体センサ214を含む。ウェアラブルデバイス200は、センサ部210の検出値を、情報処理装置100に供給する。
 情報処理装置100は、制御回路のCPU等のプロセッサがROMに記録された情報処理プログラムをRAMにロードして実行することにより、コンテクスト取得部110と、PDR(Pedestrian Dead Reckoning)部120(ユーザ位置推定部)と、場所推定部130(場所属性推定部)と、ユーザ状態推定部140と、環境推定部150と、出力制御部160として動作する。
 コンテクスト取得部110は、ユーザのコンテクストを取得する。ユーザのコンテクストは、位置情報及び端末情報を含む。ここで、コンテクストとは、例えばセンサ部210から取得したセンサ値や、カレンダーアプリから取得したユーザの予定情報等である。コンテクスト取得部110は、GPSセンサ111及びビーコン送受信機112等の、コンテクストとして位置情報を取得する装置を有する。コンテクスト取得部110は、さらに、コンテクストとして端末情報を取得する端末情報取得部113を有する。端末情報取得部113は、コンテクストである端末情報として、画面ロック情報(ロック、アンロック)、ユーザの行動情報(ラン、自転車、静止、徒歩、乗車中等)、場所(家やオフィス等の特定場所、不特定場所)、カレンダーアプリ情報(会議予定あり、無し)、時間情報(ワークタイム中、ワークタイム外)、電話アプリ情報(電話中)、音声認識アプリ情報(発話中)、自動DND(Do Not Disturb)設定(時間枠内、時間枠外)、手動DND設定(オン、オフライン)等を取得する。
 PDR部120(ユーザ位置推定部)は、ユーザが装着したウェアラブルデバイス200が有するセンサ部210の検出値(加速度、角速度及び方位角)に基づき、ユーザ位置を推定する。具体的には、PDR部120は、角度補正部121と、角度推定部122と、ユーザ位置推定部123とを有する。角度補正部121は、ユーザが装着したウェアラブルデバイス200が有するセンサ部210の検出値(加速度、角速度及び方位角)に基づき、ユーザの方位角の補正値を算出する。角度推定部122は、ユーザが装着したウェアラブルデバイス200が有するセンサ部210の検出値(加速度、角速度及び方位角)と、補正値とに基づき、ユーザの方位角を推定する。ユーザ位置推定部123は、補正後の方位角を利用してユーザ位置を推定する。PDR(歩行者自律航法、Pedestrian Dead Reckoning)とは、複数の自律動作するセンサからの検出値に基き、ある基準点からの相対的な位置を測位する技術である。本例では、PDR部120は、加速度センサ211、ジャイロセンサ212、コンパス213からの検出値である加速度、角速度及び方位角に基づき、ユーザ位置の部屋から部屋への変化、即ち、ユーザ位置の移動経路を推定する。
 場所推定部130(場所属性推定部)は、PDR部120が推定したユーザ位置の変化に基づき、ユーザがいる場所の属性(場所属性)を推定する。言い換えれば、PDR部120が推定した移動経路に基づき、ユーザの移動後の場所属性を推定する。場所属性は、例えば、1つの建物自体等よりさらに細かい、1つの建物内の区分である。例えば、場所属性は、1つの家屋内の、リビングルーム、寝室、トイレ、キッチン、洗面所等である。あるいは、場所属性は、1つのコーワーキングスペース内の、デスク、会議室等である。ただし、これには限定されず、場所属性が建物自体等を示すものであってもよいし、建物自体と建物内の区分両方であっても良い。
 ユーザ状態推定部140は、コンテクスト取得部110が取得したコンテクストと、ウェアラブルデバイス200が有するセンサ部210の検出値(加速度、角速度及び方位角)と、場所推定部130が推定した場所属性とに基づき、ユーザ状態を推定する。ユーザ状態は、ユーザの複数レベルの活動状態を示す。例えば、ユーザ状態は、ブレイクタイム、ニュートラル、DND(Do Not Disturb)及びオフラインの4レベルの活動状態を示す。ブレイクタイムが最もリラックスした活動状態、ニュートラルが通常の活動状態、DNDが比較的忙しい活動状態、オフラインが最も忙しい活動状態である。また、前述した4つのレベル別だけでなく、システム上で任意の数のレベル別に設定したり、ユーザ側でレベル数を適宜設定できるようにしてもよい。
 環境推定部150は、ユーザ状態推定部140が推定したユーザ状態に基づき、ユーザに提示する環境状態を推定する。環境推定部150は、さらに、場所推定部130が推定した場所属性に基づき、ユーザに提示する環境状態を推定してもよい。ユーザに提示する環境状態は、例えば、ユーザがフォーカス(集中)できるような環境状態や、ユーザがリラックスできるような環境状態である。
 出力制御部160は、環境推定部150が推定した環境状態に基づき出力を制御する。具体的には、出力制御部160は、コンテンツ制御部161及び通知制御部162を有する。コンテンツ制御部161は、環境推定部150が推定した環境状態に基づき選択されたコンテンツ(楽曲、動画等)を再生する。例えば、コンテンツ制御部161は、ネットワークを介してDSP(Digital Service Provider)に環境状態を通知し、DSPがこの環境状態に基づき選択したコンテンツ(例えばユーザがフォーカスできるようなコンテンツや、ユーザがリラックスできるようなコンテンツ等)を受信して再生すればよい。通知制御部162は、環境状態に基づきユーザへの通知の回数を制御する。例えば、通知制御部162は、ユーザがフォーカスできるように通知(アプリやメッセージの新着通知等)の回数を減らす又は無くす、ユーザがリラックス中であれば通知の回数を通常通りとする等のような処理をしてもよい。
 2.PDR部の角度補正部の動作
 図2は、装着されたウェアラブルデバイスを模式的に示す。
 ウェアラブルデバイス200は、典型的には、ワイヤレスイヤホンである。ワイヤレスイヤホンであるウェアラブルデバイス200は、スピーカ221と、ドライバユニット222と、これらを接続する音導管223とを有する。スピーカ221が耳孔に挿入されてウェアラブルデバイス200を耳に対して位置決めし、ドライバユニット222は耳の裏に位置する。加速度センサ211及びジャイロセンサ212を含むセンサ部210は、ドライバユニット222内に内蔵される。
 図3は、装着されたウェアラブルデバイスの個人差を模式的に示す。
 ウェアラブルデバイス200のドライバユニット222の顔正面に対する角度は、ユーザ毎に異なる。このため、ドライバユニット222に内蔵されたセンサ部210の加速度センサ211及びジャイロセンサ212のセンサ軸の顔正面に対する角度は、ユーザ毎に異なる。例えば、(a)は、ユーザがウェアラブルデバイス200を耳に浅く引っ掛けて装着した場合を示し、(b)は、ユーザがウェアラブルデバイス200を耳に深く固定して装着した場合を示す。(a)のユーザのセンサ軸の顔正面に対する角度と、(b)のユーザのセンサ軸の顔正面に対する角度との差は、30°以上になることもある。そこで、PDR部120は、ユーザ毎にセンサ部210のセンサ軸の顔正面に対する角度を推定し、これを補正値として、個人差に依存することなく精度高く顔の向き(角度)を推定する。
 図4は、角度補正の概念を模式的に示す。
 ウェアラブルデバイス200の方位角(azimuth)において、センサ部210が取得したセンサ値による更新値AzimuthEと、装着時の顔正面からの向きの差分AzimuthOffsetとには、「Azimuth=AzimuthE+AzimuthOffset」の関係がある。ここで、AzimuthEは、角速度を検出するジャイロセンサ212が取得したセンサ値を積算した3次元姿勢から求められる。一方、AzimuthOffsetは、ユーザ毎に異なり、装着だけでは測定ができないため、ユーザ毎にAzimuthOffsetを推定する必要がある。
 姿勢を推定するために、両耳を水平にした状態で、2つの座標系を定義する。座標系(1)は、グローバルフレーム(固定)であり、頭上に延びる垂線Z軸と、両耳を繋いで右方向を正とするX軸と、X軸及びZ軸と直交するY軸とからなる座標系である。座標系(2)は、センサフレームであり、ウェアラブルデバイス200のセンサ部210に対して固定的な座標系(XE,YE,ZE)である。補正値である姿勢差(AzimuthOffset)は、座標系(1)に対する座標系(2)の回転量を示す。
 図5は、角度補正部の動作フローを示す。図6は、ユーザの動きを模式的に示す。図7は、角度補正の概念を模式的に示す。図8は、角度補正部の具体的な処理を示す。図9は、具体的な計算例を示す。
 ユーザはウェアラブルデバイス200を装着し、正面を向いた状態(図6の(a))から、正面斜め下方向を見るように頭を下に動かす(図6の(b))(ステップS101)。角度補正部121は、頭を下に動かすときの加速度値から、グローバルフレーム座標系(X,Y,Z)に対するPitch及びRollを算出する(ステップS102)。角度補正部121は、ジャイロセンサ212の角速度値の収集を開始する。このときの時間をt0とする(ステップS103)(図8の(2)の処理)。ユーザは、次に、左右がぶれないように、正面斜め上を見上げるように頭を上にゆっくり動かす(図6の(c))(ステップS104)。角度補正部121は、ジャイロセンサ212の角速度値の収集を続ける(ステップS105)。ユーザが限界まで頭を上げると、角度補正部121は、ジャイロセンサ212の角速度値の収集を停止する。このときの時間をt1とする(ステップS106、YES)。
 角度補正部121は、収集したジャイロセンサ212の角速度値から、回転軸[αX,αy,αz,]Tを求める。この回転軸はセンサ軸を基準としたものである。次に角度補正部121は、t0のときの回転行列(rotation matrix:RotMat)を、「RotMat at t0=RZ(yaw)*RX(pitch)*RY(roll)」と定義する。このRotMatは顔正面を基準としたものである。RZ(・)、RX(・)、RY(・)はそれぞれZ軸、Y軸、X軸の回転行列である。顔正面を基準としたpitchとrollは加速度センサから求められるが、yawは不知である。角度補正部121は、RotMat*axis=[1;0;0]の関係からyawを算出できる(図8の(4)の処理)。まずRotMat*axisを[rX,ry,rz]Tとする(ステップS107)。角度補正部121は、rZが閾値から外れれば(0との差が大きければ)失敗であり、処理をやり直す(ステップS108、NO)。rZが閾値以内であれば次に進む(ステップS108、YES)。角度補正部121は、rX、rYから補正値(AzimuthOffset)を求める(ステップS109)(図8の(5)の処理)。角度補正部121は、AzimuthOffset、Pitch及びRollから回転行列(rotation matrix:RotMat)を求める(ステップS110)。このRotMatは顔正面軸を基準としたものである。
 次に、顔が下を向いた状態でなく、自然な正面を指定する方法を説明する。
 図10は、初期フレーム同士の関係を示す。
 頭を下げた初期姿勢(Head Center Pose)をI3x3(Identity Matrix)とする。センサの姿勢(右耳に付けることを想定しRight Sensor Poseとする)をRt0(図8のRotMat)とする。
 図11は、自然な正面を指定する方法を示す。
 図9の方法で右センサの姿勢(Right Sensor Pose)であるRt0を求めておけば、顔のpitchを変えたい(即ち、顔を少し上げた姿勢を原点にしたい)場合には、計算をする必要がなく、図9の方法でRt0と新しい姿勢での加速度センサ値から新しい姿勢での関係式Rt2が求められる。
 3.場所推定部の動作
 図12は、場所推定部の処理を説明するための図である。
 ユーザは家屋内でウェアラブルデバイス200を装着したまま日常な移動を行う。場所推定部130はその移動パターンと順番を記憶しておく。家屋内でユーザが移動する場所やその移動順番は、有限な数で決まっていることが多い。場所推定部130は、直近のN(例えば、N=3)個の移動パターンから場所を特定する。
 図12において、(1)はリビング(Living)から寝室(Room)に行く経路、(2)は寝室からリビングに戻る経路、(3)はリビングからトイレ(Toilet)に行く経路、(4)はトイレ(Toilet)からリビングに戻る経路、(5)はリビングからキッチン(Kitchen)に行く経路、(6)はキッチンからリビングに戻る経路である。
 例えば、ウェアラブルデバイス200を装着し、リビングで仕事を始める。しばらくしてトイレに行った後、洗面所で手を洗った後に席に戻る。またしばらくしてキッチンに移動して飲み物を取ってリビングに戻る。ここでの移動パターンは次のような移動パターンとなる。リビングからトイレ(経路(3))。トイレからリビング(経路(4))。リビングからキッチン(経路(5))。キッチンからリビング(経路(6))。
 場所推定部130は、この4個のパターンとその順番を記憶しておく。次にユーザが移動したときには、移動パターンを記憶されていたパターンとマッチングする。場所推定部130は、マッチングに成功すれば、移動後の場所が特定でき、マッチングに失敗すれば新しいパターンとして経路リストに追加する。経路リスト(図12の右側)には、直近のN(例えば、N=3)個の移動パターンの学習済みのリストである。例えば、経路リストは、「(1)リビングから寝室、(2)寝室からリビング、(5)はリビングからキッチン」の移動パターン(最上段)、「(2)寝室からリビング、(5)はリビングからキッチン、(6)はキッチンからリビング」(上から2段目)の様に、直近のN(例えば、N=3)個の移動パターンが登録されている。
 このように、場所推定部130は、複数の移動経路を保持し、PDR部120により推定された移動経路を、保持された複数の移動経路とマッチングすることにより、移動後の場所属性(リビングルーム、寝室、トイレ、キッチン、洗面所等)を推定することができる。また、場所推定部130は、ユーザがいる場所でのユーザの滞在時間を判断することにより、場所属性を推定してもよい。移動経路に加えて滞在時間を判断することで、より精度よく場所属性を推定できる。
 図13は、場所推定部の処理の適用例を示す。
 出発地点と目的地点が同じでも歩き方が異なる場合は、マッチングしないことがあり、記憶パターンに追加することで学習が行われる。このため、同じ場所間の移動であっても複数のパターンが学習される。図13の座標系は、原点を出発地点とし、原点(出発地点)から別の部屋に進むときのユーザ位置を定期的に(例えば、1秒ごとに)プロットしたユーザ位置の遷移を示す。(1)の軸は、リビング(原点)から寝室への移動経路を示す。(2)の軸は、寝室(原点)からリビングへの移動経路(距離)を示す。(3)の軸は、リビング(原点)からトイレへの移動経路を示す。(4)の軸は、トイレ(原点)からリビングへの移動経路を示す。
 図14は、場所推定部の処理の認識例を示す。
 場所推定部130は、経路を学習する際に属性を示すラベルを付ける。これにより、マッチングに成功した際に属性を示すラベルを自動で表示することができる。次に、場所推定部130の動作をより具体的に説明する。
 図15は、場所推定部の動作フローを示す。
 PDR部120は、ユーザ位置の部屋から部屋への変化、即ち、ユーザ位置の移動経路を推定する(ステップS201)。場所推定部130は、PDR部120が検出したが推定したユーザ位置の変化に基づき、ユーザが停止したことを検出する(ステップS202、YES)。場所推定部130は、停止カウンタをインクリメント(+1)する(ステップS203)。場所推定部130は、部屋から部屋への移動がN個(例えば、N=3)以上となると(ステップS204、YES)、直近のN個(例えば、N=3)の経路を、保持している複数の移動経路とマッチングする(ステップS205)。場所推定部130は、マッチングに成功すれば(ステップS206、YES)、移動後の場所を特定する(ステップS207)。一方、場所推定部130は、マッチングに失敗すれば(ステップS206、NO)、新しいパターンとして経路リストに追加する(ステップS208)。
 図16は、場所推定部の補足的な動作フローを示す。
 ところで、ユーザが自分の家から違う屋内(例えば、コワーキングスペース)に移動し、保持している複数の移動経路とは全く異なる移動経路が検出され続ける場合が考えられる。この場合、場所推定部130は、マッチング失敗(ステップS206、NO)がしばらく続く(ステップS209、YES)。一方、新たな移動経路をマッチングに成功するほどに経路リストに十分蓄積すれば(ステップS208)、マッチングに成功し(ステップS206、YES)、移動後の場所を特定することができるようになる(ステップS207)。場所推定部130は、マッチング失敗が所定回数続いた場合に(ステップS209、YES)、経路リストに登録されていない別の場所の可能性があることを示す警告を出力する(ステップS210)。これにより、移動後の場所属性を、新たな移動経路から推定する旨をユーザに通知できる。
 図17は、経路が同じで違う歩き方として識別する場合の動作を示す。
 上述のように、出発地点と目的地点が同じでも歩き方が異なる場合は、マッチングしないことがあり、記憶パターンに追加することで学習が行われる。その方法を説明する。直近のN個の経路と、データベースのN個ずつ保存されたパターンとの距離を、DTW(dynamic time warping、動的時間伸縮法)で計算し、閾値と比較する。DTW(dynamic time warping、動的時間伸縮法)とは、時系列データ同士の距離・類似度を測る際に用いる手法である。歩き方が異なるとDTWの閾値を超える場合があり、その場合、別のデータとして保存される。
 図18は、場所推定部が場所を推定する方法の変形例を示す。
 場所推定部130は、GPSセンサ111及びビーコン送受信機112が取得した位置情報に基づいて、特に屋外でのユーザがいる場所の属性(場所属性)を推定してもよい。場所推定部130は、生体センサ214が取得した生体情報に基づいて、ユーザがいる場所の属性(場所属性)を推定してもよい。例えば、生体センサ214(心拍センサ等)に基づきユーザが入眠時であることが分かれば、場所推定部130は、場所属性として寝室を推定すればよい。
 4.ユーザ状態推定部の動作
 図19は、コンテクストからユーザに提示する環境状態を推定するフローである。
 コンテクスト取得部110は、ユーザのコンテクストを取得する。ユーザ状態推定部140は、コンテクスト取得部110が取得したコンテクストと、ウェアラブルデバイス200が有するセンサ部210の検出値(加速度、角速度及び方位角)と、場所推定部130が推定した場所属性とに基づき、ユーザ状態を推定する。環境推定部150は、ユーザ状態推定部140が推定したユーザ状態に基づき、ユーザに提示する環境状態(フォーカス(集中)、リラックス等)を推定する。
 図20は、ユーザ状態推定部の動作を示す。
 ユーザ状態推定部140は、コンテクスト取得部110が取得したコンテクストと、ウェアラブルデバイス200が有するセンサ部210の検出値(加速度、角速度及び方位角)と、場所推定部130が推定した場所属性とに基づき、ユーザ状態を推定する。ユーザのコンテクストは、位置情報及び端末情報を含む。端末情報は、画面ロック情報(ロック、アンロック)、ユーザの行動情報(ラン、自転車、静止、徒歩、乗車中等)、場所(家やオフィス等の特定場所、不特定場所)、カレンダーアプリ情報(会議予定あり、無し)、時間情報(ワークタイム中、ワークタイム外)、電話アプリ情報(電話中)、音声認識アプリ情報(発話中)、自動DND(Do Not Disturb)設定(時間枠内、時間枠外)、手動DND設定(オン、オフライン)等を含む。ユーザ状態は、ユーザの複数レベルの活動状態を示す。例えば、ユーザ状態は、ブレイクタイム、ニュートラル、DND(Do Not Disturb)及びオフラインの4レベルの活動状態を示す。ブレイクタイムが最もリラックスした活動状態、ニュートラルが通常の活動状態、DNDが比較的忙しい活動状態、オフラインが最も忙しい活動状態である。
 図21は、コンテクスト及びユーザ状態のマッピング関係を示す。
 ユーザ状態推定部140は、コンテクストをユーザ状態にマッピングすることで、ユーザ状態を推定する。ユーザ状態推定部140は、例えば、コンテクストとしての画面ロック情報がアンロックであればユーザ状態はDND、ロックであればユーザ状態はニュートラルであると推定する。ユーザ状態推定部140は、その他のコンテクストについてもそれぞれユーザ状態を推定する。また、コンテクストは図21に示されているものに限られず、何かしらのコンテクストを表すものであれば、どのようなものであってもよい。
 図22は、ユーザ状態推定部がユーザ状態を判断する方法を示す。
 ユーザ状態推定部140は、複数のコンテクストについて1つでもオフラインが含まれれば、ユーザ状態をオフラインと推定する。ユーザ状態推定部140は、複数のコンテクストについてオフラインが無く、1つでもDNDが含まれれば、ユーザ状態をDNDと推定する。ユーザ状態推定部140は、複数のコンテクストについてオフライン、DND及びブレイクタイムが無ければ、ユーザ状態をニュートラルと推定する。ユーザ状態推定部140は、オフライン及びDNDが無くブレイクタイムが含まれれば、ユーザ状態をブレイクタイムと推定する。
 5.環境推定部の動作
 図23は、環境推定部の動作を示す。
 環境推定部150は、ユーザ状態推定部140が推定したユーザ状態や場所推定部130が推定した場所属性に基づき、ユーザに提示する環境状態を推定する。ユーザに提示する環境状態は、例えば、ユーザがフォーカス(集中)できるような環境状態や、ユーザがリラックスできるような環境状態である。
 例えば、(1)環境推定部150は、時間帯が仕事中、ユーザ状態がニュートラル、行動がステイ、場所がデスクであれば、ユーザに提示する環境状態をフォーカスと推定する。(2)環境推定部150は、時間帯が仕事中、ユーザ状態がブレイクタイムであれば、ユーザに提示する環境状態をリラックスと推定する。(3)環境推定部150は、時間帯が仕事外、ユーザ状態がブレイクタイムであれば、ユーザに提示する環境状態をリラックスと推定する。
 6.出力制御部の動作
 図24は、出力制御部のコンテンツ制御部の動作を示す。
 出力制御部160のコンテンツ制御部161は、環境推定部150が推定した環境状態に基づき選択されたコンテンツ(楽曲、動画等)を再生する。例えば、コンテンツ制御部161は、ネットワークを介してDSP(Digital Service Provider)に環境状態を通知し、DSPがこの環境状態に基づき選択したコンテンツ(ユーザがフォーカスできるようなコンテンツ、ユーザがリラックスできるようなコンテンツ)を受信して再生すればよい。例えば、コンテンツ制御部161は、ユーザが仕事中でユーザ状態がフォーカスであれば集中できるような音楽を再生し、ユーザ状態がリラックスであればリラックスできる音楽を再生する。例えば、コンテンツ制御部161は、ユーザの入眠時にユーザ状態がリラックスであれば睡眠を促す音楽を再生し、ユーザが眠ったら、音楽を停止する。
 図25は、出力制御部の通知制御部の動作を示す。
 出力制御部160の通知制御部162は、環境状態に基づきユーザへの通知の回数を制御する。例えば、通知制御部162は、ユーザがフォーカスできるように通知(アプリやメッセージの新着通知等)の回数を減らす又は無くす、ユーザがリラックス中であれば通知の回数を通常通りとすればよい。例えば、通知制御部162は、ユーザが仕事中でユーザ状態がフォーカスであれば通知の回数を減らし、ユーザ状態がリラックスであれば通知の回数は通常通りに行う。
 7.小括
 発話や環境音を音声認識して、認識した音に基づき楽曲等のコンテンツを選択し出力する技術がある。発話や環境音を音声認識する技術は、音がする環境のみ適用可能である。このため、音を立てたくないユーザや、音を立てたくない状況では、適切なコンテンツを選択できないおそれがある。また、自然言語処理には高い計算能力が必要であるため、ローカルで処理することが難しい。
 これに対して、本実施形態によれば、ユーザの家屋内での場所や、他のユーザコンテクストに基づき、フォーカス(集中)やリラックスを促すコンテンツを出力することができる。音を立てたくない状況等の状況に拠らず適切にユーザに対する出力を制御することができる。例えば、ユーザコンテクストにベースにして、ユーザがテレワーク中に仕事席にいる場合は、フォーカスできるコンテンツを出力し、ユーザが休憩場所にいる場合はリラックスできる音楽を流すことができる。
 屋外と違い家屋内は比較的に場所が狭く、特定の位置を推定するためには高精度のビーコンやカメラのような外付け設備が必要になるのが一般的である。これに対して、本実施形態によれば、外付け装備なく、ウェアラブルデバイス200に装着されたセンサ部210(加速度センサ211、ジャイロセンサ212、コンパス213)を使い家屋内の位置を特定することができる。具体的には、場所を移動するパターンとその順番を記憶しておいて、直近に移動したN個のパターンからユーザの移動後の場所を特定することができる。
 テレワークが一般的となっており、ユーザは家屋内で、リラックスするだけでなく仕事でフォーカスする時間が長くなっている。このとき、音を立てたくないユーザや、音を立てたくない状況は、テレワークが浸透していなかった従来に比べて多いものと考えられる。このため、本実施形態の様に、発話を必要とすることなく、家屋内の場所を特定し、ユーザに提示する環境状態を推定し、ユーザに対する出力を制御するのは今後益々利用価値が高い。
 また、本実施形態によれば、各センサ情報から得られたコンテクストをユーザ状態にマッピングすることでユーザ状態を推定するため、発話して音を立てなくてもユーザ状況を推定できる。本実施形態によれば、各センサ情報から得られたコンテクストをユーザ状態にマッピングするため、自然言語処理と比べて計算量が大幅に少なく、ローカルでの処理が容易である。
 8.コンテンツ再生システム
 図26は、本実施形態に係るコンテンツ再生システムの構成を示す。
 コンテンツ再生システム20は、情報処理装置100と、ウェアラブルデバイス200とを有する。
 情報処理装置100は、制御回路のCPU等のプロセッサがROMに記録されたコンテンツ再生制御アプリケーション300と、コンテンツ提供アプリケーション400と、プリセットアプリケーション500とをRAMにロードして実行する。なお、コンテンツ再生制御アプリケーション300は情報処理装置100ではなく、ウェアラブルデバイス200にインストールされウェアラブルデバイス200が実行してもよい。
 ウェアラブルデバイス200は、上記のように、ワイヤレスイヤホン(図2参照)、ワイヤレスヘッドフォン、有線ヘッドフォン、有線イヤホン等である。ウェアラブルデバイス200は、センサ部210と入力装置220とを有する。センサ部210は、加速度センサ211と、ジャイロセンサ212と、コンパス213と、心拍センサ、血流センサ、脳波センサ等の生体センサ214を含む(図1参照)。ウェアラブルデバイス200は、センサ部210の検出値を、コンテンツ再生制御アプリケーション300と、コンテンツ提供アプリケーション400とに入力する。入力装置220は、タッチセンサ、物理ボタン、非接触センサ等であり、ユーザによる接触または非接触の操作を入力する。入力装置220は、例えば、ウェアラブルデバイス200のドライバユニット222(図2参照)の外表面に設けられる。
 コンテンツ提供アプリケーション400は、コンテンツを提供する。コンテンツ提供アプリケーション400は、複数の異なるコンテンツ提供アプリケーション401、402を含むアプリケーション群である。例えば、複数の異なるコンテンツ提供アプリケーション401、402は、それぞれ、楽曲、環境音、ヒーリング音、ラジオ番組等の、異なるジャンルのコンテンツ(具体的には、音声コンテンツ)を提供する。複数の異なるコンテンツ提供アプリケーション401、402を区別しないとき、単に、コンテンツ提供アプリケーション400と記載する。
 コンテンツ再生制御アプリケーション300は、上記の、コンテクスト取得部110と、PDR(Pedestrian Dead Reckoning)部120(ユーザ位置推定部)と、場所推定部130(場所属性推定部)と、ユーザ状態推定部140と、環境推定部150と、出力制御部160のコンテンツ制御部161とを有する(図1参照)。コンテンツ制御部161は、環境推定部150が推定した環境状態に基づき、あるいは、ウェアラブルデバイス200の入力装置220にユーザが入力した異なる操作に基づき、コンテンツ提供アプリケーション400を選択する。コンテンツ制御部161は、環境状態に基づきコンテンツ提供アプリケーション400がコンテンツを選択するためのキューを生成し、生成したキューを選択したコンテンツ提供アプリケーション400に出力し、コンテンツ提供アプリケーション400にキューに基づきコンテンツを選択させてコンテンツをウェアラブルデバイス200から再生させる。
 プリセットアプリケーション500は、ウェアラブルデバイス200の入力装置220にユーザが入力する複数の異なる操作を、コンテンツ提供アプリケーション400が提供するサービスに関する複数の異なる機能に予め割り当てる。例えば、プリセットアプリケーション500は、複数の異なるコンテンツ提供アプリケーション401、402の選択に予め割り当てる。ウェアラブルデバイス200の入力装置220にユーザが入力する複数の異なる操作(例えば、シングルタップ、ダブルタップ、トリプルタップ、ラジオボタンの押下等)を、複数の異なるコンテンツ提供アプリケーション401、402の選択に予め割り当てる。プリセットアプリケーション500は、コンテンツ再生制御アプリケーション300から独立してもよいし、コンテンツ再生制御アプリケーション300に含まれてもよい。
 図27は、プリセットアプリケーションのGUIの一例を示す。
 プリセットアプリケーション500は、例えば、再生コントロールGUI710、音量コントロールGUI720、クイックアクセスコントロールGUI730を有する。なお、プリセットアプリケーション500が提供するGUI及び設定可能な機能と操作との組み合わせは、ウェアラブルデバイス200の機種により異なる。
 ユーザは、再生コントロールGUI710を用いて、左右のウェアラブルデバイス200の入力装置220にユーザが入力する複数の異なる操作を、コンテンツ再生時の各機能に割り当てることができる。例えば、ユーザは、右側のウェアラブルデバイス200のシングルタップ操作を再生及び一時停止に割り当て、ダブルタップ操作を次曲の再生に割り当て、トリプルタップ操作を前曲の再生に割り当て、長押し操作を音声アシスタント機能の起動に割り当てることができる。なお、各操作に割り当てられる機能は、前述に挙げた機能以外のものであってもよいし、デフォルトで各操作に機能が割り当てられていてもよい。
 ユーザは、音量コントロールGUI720を用いて、左右のウェアラブルデバイス200の入力装置220にユーザが入力する複数の異なる操作を、音量コントロールの各機能に割り当てることができる。例えば、ユーザは、左側のウェアラブルデバイス200のシングルタップ操作を音量アップに割り当て、長押し操作を音量ダウンに割り当てることができる。
 ユーザは、クイックアクセスコントロールGUI730を用いて、左右のウェアラブルデバイス200の入力装置220にユーザが入力する複数の異なる操作を、複数の異なるコンテンツ提供アプリケーション401、402を選択して起動するクイックアクセス機能に割り当てることができる。例えば、ユーザは、左側のウェアラブルデバイス200のダブルタップ操作をコンテンツ提供アプリケーション401の起動に割り当て、トリプルタップ操作をコンテンツ提供アプリケーション402の起動に割り当てることができる。
 この様に、プリセットアプリケーション500は、左右のウェアラブルデバイス200の入力装置220にユーザが入力する複数の異なる操作を、コンテンツ提供アプリケーション400を起動中の再生コントロールや音量コントロールだけでなく、コンテンツ提供アプリケーション400の選択及び起動に割り当てることができる。
 図28は、コンテンツ再生制御アプリケーションの動作フローを示す。
 コンテンツ再生制御アプリケーション300において、コンテクスト取得部110は、ユーザのコンテクストを取得する。ユーザ状態推定部140は、コンテクスト取得部110が取得したコンテクストと、ウェアラブルデバイス200が有するセンサ部210の検出値(加速度、角速度及び方位角)と、場所推定部130が推定した場所属性とに基づき、ユーザ状態(ブレイクタイム、ニュートラル、DND(Do Not Disturb)及びオフラインの4レベルの活動状態)を推定する。ここでは一例として4段階のユーザ状態を上げているが、これ以上でも以下であってもよい。また、ユーザ側で任意の数のユーザ状態を設定できるようにしてもよい。環境推定部150は、ユーザ状態推定部140が推定したユーザ状態に基づき、ユーザに提示する環境状態(フォーカス(集中)、リラックス等)を推定する(図19参照)。出力制御部160のコンテンツ制御部161は、環境推定部150が推定した環境状態に基づき、コンテンツの再生を開始すべき適切なタイミングを検出する(ステップS301)。
 コンテンツ再生制御アプリケーション300において、出力制御部160のコンテンツ制御部161は、コンテンツ提供アプリケーション400を選択する。例えば、コンテンツ制御部161は、ウェアラブルデバイス200の入力装置220にユーザが入力した異なる操作に基づき、コンテンツ提供アプリケーション400を選択する。例えば、コンテンツ制御部161は、ウェアラブルデバイス200の入力装置220にユーザが入力した操作が、ダブルタップであればコンテンツ提供アプリケーション401を選択し、トリプルタップであればコンテンツ提供アプリケーション402を選択する。あるいは、コンテンツ制御部161は、環境推定部150が推定した環境状態(後述のシナリオ)に基づき、コンテンツ提供アプリケーション400を選択する(ステップS302)。あるいは、コンテンツ制御部161は、拒否などを繰り返すと同じ条件でもシナリオが発火しなくなったりするような学習や、ユーザによる設定(例えば、状況に応じてコンテンツ提供アプリケーション400を予め設定しておく)に基づき、コンテンツ提供アプリケーション400を選択してもよい。
 図29は、コンテンツ提供アプリケーションを選択するために用いられるテーブルの一例を示す。
 例えば、コンテンツ制御部161は、テーブル600を参照し、コンテンツ提供アプリケーション400を選択する。テーブル600は、ID601、シナリオ602、ユーザコンテクスト603、キュー604を有する。シナリオ602は、環境推定部150が推定した環境状態に相当する。ユーザコンテクスト603は、コンテクスト取得部110が取得したユーザのコンテクストに基づき、ユーザ状態推定部140が推定したユーザ状態に相当する。キュー604は、コンテンツ提供アプリケーション400がコンテンツを選択するためのキューである。テーブル600において、ID601のMusic_01~09の9個のレコードに、それぞれ、コンテンツ提供アプリケーション401の選択フラグ605と、コンテンツ提供アプリケーション402の選択フラグ606とが記録される。選択フラグ605のみが記録されているレコードは、そのシナリオ602(環境状態)のときにコンテンツ提供アプリケーション401を選択することを意味する。一方、選択フラグ605、606の両方そのシナリオ602(環境状態)のときにコンテンツ提供アプリケーション401、402の何れかを別の条件により選択することを意味する。例えば、コンテンツ制御部161は、現在の時刻に実行する頻度が高いコンテンツ提供アプリケーション400、使用頻度が高いコンテンツ提供アプリケーション400等を予め学習しておき、選択してもよい。
 コンテンツ再生制御アプリケーション300において、出力制御部160のコンテンツ制御部161は、シナリオ602(環境状態)に基づき、選択されたコンテンツ提供アプリケーション400がコンテンツを選択するためのキュー604を生成する(ステップS303)。コンテンツ制御部161は、生成したキューを選択したコンテンツ提供アプリケーション400に出力し、コンテンツ提供アプリケーション400にキューに基づきコンテンツを選択させて、コンテンツをウェアラブルデバイス200から再生させる(ステップS304)。例えば、コンテンツ提供アプリケーション400は、コンテンツ再生制御アプリケーション300からのキューに基づきコンテンツの複数の候補を選択し、ウェアラブルデバイス200センサ部210から入力された検出値に基づき、複数の候補から再生すべきコンテンツを選択してもよい。また、コンテンツ提供アプリケーション400は、センサ部210から入力された検出値に基づき、例えば、ユーザのランニング速度に合わせた速いテンポの、コンテンツを選択してもよい。
 再生開始後、コンテンツ再生制御アプリケーション300のコンテンツ制御部161は、環境状態に基づき、別のコンテンツの再生を開始すべきタイミングを検出し(ステップS301)、コンテンツ提供アプリケーション400を選択し(ステップS302、このステップは省略可)、キュー604を生成し(ステップS303)、コンテンツをウェアラブルデバイス200から再生させる(ステップS304)。言い換えれば、コンテンツ再生制御アプリケーション300は、コンテンツ提供アプリケーション400が知りえないユーザの情報(即ち、ユーザコンテクスト603(ユーザ状態)、シナリオ602(環境状態))を有する。このため、コンテンツ再生制御アプリケーション300は、コンテンツ提供アプリケーション400の再生中のコンテンツを変更することが望ましいケースを知りえる。例えば、通勤中であることや、仕事を終えたことなどをトリガとして、再生中のコンテンツを変更することで、ユーザの気持ちの変化を誘導することができる。コンテンツ再生制御アプリケーション300は、(即ち、ユーザコンテクスト603(ユーザ状態)、シナリオ602(環境状態))を知りえた場合に、コンテンツ提供アプリケーション400に対して、再生中のコンテンツを変更するためのキューを送信することで、より望ましいコンテンツ(楽曲、ヒーリング音等)をユーザに提供することができる。
 さらに、コンテンツ再生制御アプリケーション300のコンテンツ制御部161は、シナリオ602(環境状態)に基づきコンテンツ提供アプリケーション400がコンテンツの再生を停止(変更ではなく)するためのキューを生成し(ステップS303)、キューをコンテンツ提供アプリケーションに出力し、コンテンツ提供アプリケーション400にキューに基づきコンテンツの再生を停止させる(ステップS304)。例えば、会議開始などの状態変化により音楽を停止したほうがいいケースがある。コンテンツ再生制御アプリケーション300はそれらの状態を検出しコンテンツ提供アプリケーション400に対して停止命令を送る。
 また、コンテンツ再生中に、コンテンツ提供アプリケーション400は、センサ部210から入力された検出値に基づき、例えば、心拍数や加速度が所定値に応じて、ユーザのランニング速度に合わせた速いテンポのコンテンツを選択し再生してもよい。言い換えれば、コンテンツ再生中に、コンテンツ提供アプリケーション400は、コンテンツ再生制御アプリケーション300のコンテンツ制御部161からキューを受信すること無く、センサ部210から入力された検出値に基づき、能動的に、再生するコンテンツの属性(テンポ、ピッチ等)を選択し、選択したコンテンツを再生することができる。要するに、コンテンツ再生中に、コンテンツ提供アプリケーション400は、能動的に、再生するコンテンツを変更することができる。
 9.結語
 本実施形態に係るコンテンツ再生システム20によれば、コンテンツ再生制御アプリケーション300がコンテンツ提供アプリケーション400を選択し、キューをコンテンツ提供アプリケーション400に出力する。このため、コンテンツ提供アプリケーション400が、複数の異なるコンテンツ提供アプリケーション401、402の間でのコンテンツ再生の競合を考慮する必要が無い。
 また、コンテンツ再生制御アプリケーション300は、ユーザの機微(センシティブ)情報である環境状態に基づきコンテンツ提供アプリケーション400がコンテンツを選択するためのキューを生成する。このため、コンテンツ再生制御アプリケーション300からコンテンツ提供アプリケーション400に、ユーザの機微(センシティブ)情報である環境状態を共有することなく、コンテンツ提供アプリケーション400は、ユーザの機微(センシティブ)情報である環境状態を反映したコンテンツを再生することができる。このため、セキュリティリスクを低くしつつ、ユーザエクスペリエンスを向上することができる。
 また、コンテンツ再生制御アプリケーション300がコンテンツ提供アプリケーション400を選択し、選択されたコンテンツ提供アプリケーション400がコンテンツを再生する。さらに、プリセットアプリケーション500により、コンテンツ再生制御アプリケーション300は、ウェアラブルデバイス200の入力装置220にユーザが入力した異なる操作に基づき、コンテンツ提供アプリケーション400を選択する。これにより、ユーザが能動的に選択する必要無く、複数の異なるコンテンツ提供アプリケーション401、402のサービスを統合したユーザエクスペリエンスを提供できる。
 10.角度補正部の一実施形態
 (1)角度補正部の機能的構成及び動作
 図3で説明したように、ユーザの耳形状及びウェアラブルデバイス200の装着方法と、ウェアラブルデバイス200へのセンサ部210の実装方法は、個人及び環境でばらつきがある。このため、「ユーザからみた正面」と「ウェアラブルデバイス200のセンサ部210の正面」は同一とならずズレが発生する。ユーザが頭部に装着したウェアラブルデバイス200が任意の座標系で正しい方向を示せるようにする必要がある。
 そこで、上記実施形態では、角度補正部121は、頭を下に動かす(図6の(b)、図5のステップS101)ときの加速度センサ211の加速度値からPitch方向の傾き及びRoll方向の傾きを算出する(ステップS102)。角度補正部121は、正面斜め上を見上げるように頭を上にゆっくり動かす(図6の(c)、ステップS104)ときのジャイロセンサ212の角速度値からYaw方向の傾きを算出できる(図8の(4)の処理)。
 これに対して、以下、角度補正部121が、ジャイロセンサ212の角速度値を使用せずに、加速度センサ211の加速度値のみから、Pitch方向の傾き及びRoll方向の傾きだけでなく、Yaw方向の傾きを算出する方法を説明する。
 図30は、一実施形態に係る角度補正部の機能的構成を示す。図31は、角度補正部の動作フローを示す。
 前提として、情報処理装置100(スマートフォン、タブレットコンピュータ又はパーソナルコンピュータ等)は、ユーザインタフェースである設定アプリケーション800がインストールされており、ユーザは、情報処理装置100の表示装置及び操作装置(タッチパネル等)を用いて、設定アプリケーション800を使用することができる。
 まず、ユーザは、操作装置を操作して、設定アプリケーション800から測定開始を指示する。設定アプリケーション800は、ウェアラブルデバイス200に角度補正操作データ801を出力する(ステップS400)。
 ウェアラブルデバイス200は、設定アプリケーション800からの指示(角度補正操作データ801)を受けて、加速度センサ211が検出する検出値である重力加速度を角度補正部121へ送信開始する。
 設定アプリケーション800は、ウェアラブルデバイス200を装着したユーザに、正面を向く(図6の(a))ように指示を出力(表示装置に表示)する(ステップS401)。
 角度補正部121は、ユーザが正面(Roll方向)を向いた(図6の(a))ときの重力加速度値から、Pitch方向の傾き及びRoll方向の傾き802を算出する(ステップS402)。算出方法は後で詳細に説明する。
 次に、設定アプリケーション800は、ウェアラブルデバイス200を装着したユーザに、左右がぶれないように頭を上下にゆっくり動かし1秒ほど停止する(図6の(b)、(c))、ように指示を出力(表示装置に表示)する(ステップS403)。
 角度補正部121は、X,Y,Z軸から重力軸との成す角を算出する(ステップS404)。角度補正部121は、算出した角が所定の条件を満たすか否かを判断する(ステップS405)。この条件は、ユーザが正面方向を向いていると加速度センサのX軸、Y軸が重力軸に対して垂直に近くなり、測定値が0に近づいてしまうのを避けるための条件であり、Z軸からの成す角が十分な曲げ角度になっていることと動作中による誤差を測定しないことが条件である(詳細は後述)。角度補正部121は、条件を満たさなければ上下動作のやり直しを指示するための測定進捗データ808を出力(表示装置に表示)する(ステップS405、No)。
 一方、角度補正部121は、条件を満たす場合(ステップS405、Yes)、ユーザが上下(Pitch方向)を向いた(図6の(b)、(c))ときの重力加速度値と、Pitch方向の傾き及びRoll方向の傾き802とから、ユーザのYaw方向の傾き803を算出する(ステップS406)。算出方法は後で詳細に説明する。角度補正部121は、Pitch方向の傾き及びRoll方向の傾き802と、Yaw方向の傾き803を、補正値804として不揮発性保存領域805に保存し(ステップS407)、測定を完了する(ステップS408)。
 角度推定部122は、不揮発性保存領域805に保存された補正値806(Pitch方向の傾き及びRoll方向の傾き802と、Yaw方向の傾き803)を読み出す。角度推定部122は、ユーザが装着したウェアラブルデバイス200が有するセンサ部210の加速度センサ211の検出値(加速度)と、読み出した補正値806とに基づき、ユーザの方位角807を推定する。角度推定部122は、方位角807を設定アプリケーション800に出力してもよい。
 (2)Pitch方向の傾き及びRoll方向の傾きの算出(ステップS402)
 ある基準姿勢をとったユーザに固定された座標系を、(X,Y,Z)と表す。ユーザから見てX軸(Pitch軸)は水平右向き、Y軸(Roll軸)は水平正面(前)向き、Z軸(Yaw軸)は鉛直上向きである。一方、ウェアラブルデバイス200に取り付けられた加速度センサ211がもつ3次元のローカル座標系を、(x,y,z)と表す。3次元座標系はいずれも右手系とする。
 上記2つの座標系(X,Y,Z)、(x,y,z)は、ユーザのウェアラブルデバイス200の装着方法の個人差によって、3自由度の相対的なズレを持っている。このズレを特定できれば、ウェアラブルデバイス200のローカル座標系(x,y,z)からユーザ座標系(X,Y,Z)を導くことができる。ここではズレのうち水平面に対する傾きを表す2自由度の成分を、基準姿勢でユーザが静止した状態で測定したウェアラブルデバイス200の加速度センサ211の値を用いて算出する。
 図32は、デバイス座標系の定義を示す。
 相対ズレ量を表す3つの角度を定義する。角度定義には様々な方法が考えられるが、ここでは後述のクォータニオン演算に適するよう、ユーザ座標系と一致する座標軸を3段階で回転させてウェアラブルデバイス200の座標系と一致させるように定義する。まず、X軸回りにα回転させる。このαは最終的にy軸が水平面となす角と一致させる。次に、回転後のy軸回りにβ回転させる。このとき、x軸が水平面となす角は、最終的にx軸が水平面となす角(γ)と一致させる。最後に、Z軸回りにθ回転させる。このθは、最終的なy軸ベクトルの水平面成分がY軸となす角と一致させる。角度α、βを、ユーザ静止状態の加速度センサ211の値から計算する。なお、θは計算できない(全ての値が解になる)ため、別の手法で求める。
 加速度センサ211の(x,y,z)方向の測定値を(Ax,Ay,Az)とする。αの定義より、数1の式となる。
Figure JPOXMLDOC01-appb-M000001
 図33は、角βの導出方法を示す。
 x軸の方向ベクトルを含む鉛直面と、z軸の方向ベクトルを含む鉛直面を考えると、x,z軸が水平面となす角γ,δを使って数2の式が導かれる。
Figure JPOXMLDOC01-appb-M000002
 数2の式より、角βが数3の式として得られる。
Figure JPOXMLDOC01-appb-M000003
 以上の結果から得られた角α、βを用いて、ウェアラブルデバイス200の座標系(x,y,z)から、水平面に対する傾きを補正したウェアラブルデバイス200の座標系(x',y',Z)への変換を行う事ができる。x'及びy'はいずれも水平面上に存在し、x及びyをZ軸回りにθ回転したものに相当する。後述のθ算出には、傾きを除去した補正後のウェアラブルデバイス200の座標系での加速度値を用いることで、軸のズレのない高精度な演算を行うことができるようになる。
 ウェアラブルデバイス200の座標系での加速度ベクトル(Ax,Ay,Az)から補正後のウェアラブルデバイス200の座標系での加速度ベクトル(Ax',Ay',Az')への回転計算をクォータニオンで行う例を示す。両座標系の関係は、図32のうち初めの2段階の回転を合成したものと考えられる。それぞれの回転クォータニオンをQ1,Q2とすると、数4の式と表せる。
Figure JPOXMLDOC01-appb-M000004
 これらを合成した回転を表すクォータニオンRは以下の式で表せる。ここで、*は共役クォータニオンを表す。
 R=Q1*Q2*
 ウェアラブルデバイス200の座標系で測定した加速度ベクトルを補正後のウェアラブルデバイス200の座標系へと変換する計算は、Rを使って、以下の式で表せる。
 (Ax',Ay',Az')=R*(Ax,Ay,Az)R
 (3)Yaw方向の傾きの算出(ステップS404-ステップS406)
 図34は、正面を向いているときの重力軸を示す。
 加速度センサ211の3軸で測定される重力加速度の値(x,y,z)を極座標に変換してYaw回転を算出する。原点からの距離をr、Z軸からのなす角をθ、X軸からのなす角をΦと定義する。このとき、(x,y,z)と(r,θ,Φ)は以下の関係式となる。
 x=rsinθcosθ、y=rsinθsinΦ、z=rcosθ
 これらの式を組み直すと、数5の式と表せる(ステップS404)。ここで、sgnは符号関数である。
Figure JPOXMLDOC01-appb-M000005
 ここでのΦが求めたいユーザ正面方向とウェアラブルデバイス200センサ正面とのズレが、Yaw方向の傾きとなる(ステップS406)。
 図35は、下方向を向いているときの重力軸を示す。図36は、測定データからのYaw回転算出と測定特異点を示す。図37は、条件を満たすかどうかを判断するためのフローチャートを示す。図38は、正面方向ベースのYaw回転定義を示す。図39は、上下動作と曲げ角度の算出結果への影響を示す。
 Φの算出は、ユーザが上下方向を向いた状態(図35)の測定結果を使用する。これはユーザが正面方向を向いていると加速度センサ211のX軸、Y軸が重力軸に対して垂直に近くなり、測定値が0に近づいてしまうのを避けるためで、この状態だと数5の式の分母が0に近づくため正しい値が算出できない(図36)。十分な曲げ角度(θ)になっていることと動作中による誤差を測定しないようにθ>45、Φの標準偏差<3の条件を満たした場合の測定結果を算出に使用する(ステップS405)(図37)。
 ユーザの耳形状や装着方法によっては上向き/下向きで条件を満たさないこともあるため、上下の2パターンの動作を実施している。上下の測定で算出結果に差異が無いことは、図36、図38及び図39で確認済みである。
 (4)結語
 特許文献1は、ユーザの頭部回転を検出し調整する。ジャイロセンサで回転角度、加速度センサでジャイロの傾きを測定し、「ユーザの頭部回転」を算出し、音像定位位置の補正を行っている。ユーザ操作により正面方向を設定し、そこからの回転動作はトレースできるが全て「ユーザ正面」を基準とした相対的な測定となるため方位のような絶対座標系には適応できない。
 特許文献2は、ナビゲーション装置の自動車に対する取付角度を、道路傾斜の影響を排除して算出する。加速度センサと、ヨー方向のジャイロセンサや走行速度センサ、GPSを組み合わせて用いる。車両の停止や走行といった状態を検知しながらデータを収集し、車両の進行方向のおよび左右方向の加速度を検出し、これらから取付角度を算出する。自動車固有の特性に依存する技術であり、人が装着するデバイスには適用できないほか、加速度センサ以外にも補助的なセンサが必要となる。
 これに対して、本実施形態によれば、ユーザ頭部に設置したデバイス内のセンサ座標系とユーザが任意の方向に定めた座標系との差分を測定し、補正する。このため、ユーザの耳及び頭部形状、装着方法によらず出力結果を一定にできる。相対座標内での補正でないため方位のような絶対座標系にも展開が可能である。
 本実施形態によれば、ユーザが頭部を上または下を向く動作(Pitch回転)を実施することで重力加速度からYaw方向の傾きを算出する。Yaw軸と重力軸が近い場合、重力加速度からYaw報告の傾きを算出することは困難だがPitch方向へ傾けることで各軸に加わる重力加速度が変化し、算出可能である。耳形状によっては特定のPitch方向に傾けても算出が困難な場合があるが上と下の2パターン測定することで回避することができる。
 本実施形態によれば、加速度センサのみを使用して、ユーザの方位角の補正値を算出することができる。これにより、搭載センサが少ない環境でも実施でき、低コスト、省電力、小型化を実現可能である。また、ジャイロセンサは使用環境や継続使用によってセンサ自体にドリフトが発生するが、加速度センサではドリフトに影響されることが無いので、信頼度が高い。
 本開示は、以下の各構成を有してもよい。
 (1)
 ユーザ状態を推定するユーザ状態推定部と、
 前記ユーザ状態に基づきユーザに提示する環境状態を推定する環境推定部と、
 前記環境状態に基づき出力を制御する出力制御部と、
 を具備する情報処理装置。
 (2)
 上記(1)に記載の情報処理装置であって、
 前記ユーザが装着したウェアラブルデバイスが有するセンサ部の検出値に基づき、ユーザ位置を推定するユーザ位置推定部と、
 前記ユーザ位置に基づき、ユーザがいる場所の属性である場所属性を推定する場所属性推定部と、
 をさらに具備し、
 前記ユーザ状態推定部は、前記場所属性に基づき、前記ユーザ状態を推定する
 情報処理装置。
 (3)
 上記(2)に記載の情報処理装置であって、
 前記ユーザ位置推定部は、PDR(Pedestrian Dead Reckoning)を用いて前記ユーザ位置を推定する
 情報処理装置。
 (4)
 上記(2)又は(3)に記載の情報処理装置であって、
 前記環境推定部は、前記場所属性に基づき、前記環境状態を推定する
 情報処理装置。
 (5)
 上記(2)乃至(4)の何れか一つに記載の情報処理装置であって、
 前記ウェアラブルデバイスが有する前記センサ部は、加速度センサ、ジャイロセンサ、コンパス、生体センサの内、少なくとも一つを含む
 情報処理装置。
 (6)
 上記(3)乃至(5)の何れか一つに記載の情報処理装置であって、
 前記ユーザ位置推定部は、
 前記ユーザが装着した前記ウェアラブルデバイスが有する前記センサ部の前記検出値に基づき、前記ユーザの方位角の補正値を算出する角度補正部と、
 前記ユーザが装着した前記ウェアラブルデバイスが有する前記センサ部の前記検出値と、前記補正値とに基づき、前記ユーザの方位角を推定する角度推定部と、を有し、
 前記方位角を利用して前記ユーザ位置を推定する
 情報処理装置。
 (7)
 上記(3)乃至(6)の何れか一つに記載の情報処理装置であって、
 前記ユーザ位置推定部は、前記ユーザ位置の移動経路を推定し、
 前記場所属性推定部は、前記移動経路に基づき、移動後の前記場所属性を推定する
 情報処理装置。
 (8)
 上記(7)に記載の情報処理装置であって、
 前記場所属性推定部は、複数の移動経路を保持し、推定された前記移動経路を保持された前記複数の移動経路とマッチングすることにより、移動後の前記場所属性を推定する
 情報処理装置。
 (9)
 上記(8)に記載の情報処理装置であって、
 前記場所属性推定部は、マッチングが所定回数失敗すると、警告を出力する
 情報処理装置。
 (10)
 上記(8)又は(9)に記載の情報処理装置であって、
 前記場所属性推定部は、前記マッチングをDTW(dynamic time warping、動的時間伸縮法)を用いて行う
 情報処理装置。
 (11)
 上記(1)乃至(10)の何れか一つに記載の情報処理装置であって、
 前記場所属性推定部は、前記ユーザがいる場所での前記ユーザの滞在時間を判断することにより、前記場所属性を推定する
 情報処理装置。
 (12)
 上記(1)乃至(11)の何れか一つに記載の情報処理装置であって、
 ユーザのコンテクストを取得するコンテクスト取得部をさらに具備し、
 前記ユーザ状態推定部は、取得された前記コンテクストに基づき、前記ユーザ状態を推定する
 情報処理装置。
 (13)
 上記(12)に記載の情報処理装置であって、
 前記コンテクストは、前記ユーザの位置情報と前記情報処理装置の端末情報の少なくともいずれかを含む
 情報処理装置。
 (14)
 上記(1)乃至(13)の何れか一つに記載の情報処理装置であって、
 前記ユーザ状態推定部は、前記ウェアラブルデバイスが有する前記センサ部の前記検出値及び/又は前記場所属性に基づき、前記ユーザ状態を推定する
 情報処理装置。
 (15)
 上記(1)乃至(14)の何れか一つに記載の情報処理装置であって、
 前記ユーザ状態は、前記ユーザの複数の活動状態を示す
 情報処理装置。
 (16)
 上記(1)乃至(15)の何れか一つに記載の情報処理装置であって、
 前記出力制御部は、
 前記環境状態に基づき選択されたコンテンツを再生するコンテンツ制御部、及び/又は
 前記環境状態に基づき前記ユーザへの通知の回数を制御する通知制御部
 を有する
 情報処理装置。
 (17)
 上記(6)に記載の情報処理装置であって、
 前記ウェアラブルデバイスが有する前記センサ部は、加速度センサを含み、
 前記角度補正部は、
  前記加速度センサの前記検出値としての前記ユーザがRoll方向を向いたときの重力加速度から、前記ユーザのPitch方向の傾き及び前記Roll方向の傾きを算出し、
  前記加速度センサの前記検出値としての前記ユーザが前記Pitch方向を向いたときの重力加速度と、前記Pitch方向の傾き及び前記Roll方向の傾きとから、前記ユーザのYaw方向の傾きを算出し、
  前記Pitch方向の傾き、前記Roll方向の傾き及び前記Yaw方向の傾きを、前記補正値とする
 情報処理装置。
 (18)
 ユーザ状態を推定し、
 前記ユーザ状態に基づきユーザに提示する環境状態を推定し、
 前記環境状態に基づき出力を制御する、
 情報処理方法。
 (19)
 情報処理装置のプロセッサを、
 ユーザ状態を推定するユーザ状態推定部と、
 前記ユーザ状態に基づきユーザに提示する環境状態を推定する環境推定部と、
 前記環境状態に基づき出力を制御する出力制御部
 として動作させる情報処理プログラム。
 (20)
 ウェアラブルデバイスと、
 前記ウェアラブルデバイスを装着したユーザのユーザ状態を推定するユーザ状態推定部と、
 前記ユーザ状態に基づき前記ユーザに提示する環境状態を推定する環境推定部と、
 前記環境状態に基づき出力を制御する出力制御部と、
 を有する情報処理装置と、
 を具備する情報処理システム。
 (21)
 情報処理装置のプロセッサを、
 ユーザ状態を推定するユーザ状態推定部と、
 前記ユーザ状態に基づきユーザに提示する環境状態を推定する環境推定部と、
 前記環境状態に基づき出力を制御する出力制御部
 として動作させる情報処理プログラム
 を記録した非一過性のコンピュータ読み取り可能な記録媒体。
 さらに、本開示は、以下の各構成を有してもよい。
 (1)
 ウェアラブルデバイスと、
  前記ウェアラブルデバイスを装着したユーザのユーザ状態を推定するユーザ状態推定部と、
  前記ユーザ状態に基づき前記ユーザの環境状態を推定する環境推定部と、
  前記環境状態に基づき、コンテンツを提供するコンテンツ提供アプリケーションがコンテンツを選択するためのキューを生成し、前記キューを前記コンテンツ提供アプリケーションに出力し、前記コンテンツ提供アプリケーションに前記キューに基づきコンテンツを選択させて前記コンテンツを再生させるコンテンツ制御部と、
 を有するコンテンツ再生制御アプリケーションと、
 を実行する制御回路を有する情報処理装置と、
 を具備するコンテンツ再生システム。
 (2)
 上記(1)に記載のコンテンツ再生システムであって、
 前記情報処理装置の前記制御回路は、複数の異なるコンテンツ提供アプリケーションを実行し、
 前記コンテンツ制御部は、前記環境状態に基づき、前記コンテンツを再生させる所定のコンテンツ提供アプリケーションを選択する
 コンテンツ再生システム。
 (3)
 上記(1)又は(2)に記載のコンテンツ再生システムであって、
 前記情報処理装置の前記制御回路は、複数の異なるコンテンツ提供アプリケーションを実行し、
 前記ウェアラブルデバイスは、入力装置を有し、
 前記コンテンツ制御部は、前記ウェアラブルデバイスにユーザが入力した異なる操作に基づき、前記コンテンツを再生させる所定のコンテンツ提供アプリケーションを選択する
 コンテンツ再生システム。
 (4)
 上記(1)乃至(3)の何れか一つに記載のコンテンツ再生システムであって、
 前記情報処理装置の前記制御回路は、複数の前記異なる操作を前記複数の異なるコンテンツ提供アプリケーションの選択に割り当てるプリセットアプリケーションを実行する
 コンテンツ再生システム。
 (5)
 上記(4)に記載のコンテンツ再生システムであって、
 前記プリセットアプリケーションは、前記コンテンツ再生制御アプリケーションに含まれる
 コンテンツ再生システム。
 (6)
 上記(1)乃至(5)の何れか一つに記載のコンテンツ再生システムであって、
 前記ウェアラブルデバイスは、センサ部を有し、
 前記コンテンツ再生制御アプリケーションは、
  前記ユーザが装着したウェアラブルデバイスが有するセンサ部から入力された検出値に基づき、ユーザ位置を推定するユーザ位置推定部と、
  前記ユーザ位置に基づき、ユーザがいる場所の属性である場所属性を推定する場所属性推定部と、
 をさらに有し、
 前記ユーザ状態推定部は、前記場所属性に基づき、前記ユーザ状態を推定する
 コンテンツ再生システム。
 (7)
 上記(6)に記載のコンテンツ再生システムであって、
 前記ウェアラブルデバイスが有する前記センサ部は、加速度センサ、ジャイロセンサ、コンパス、生体センサの内、少なくとも一つを含む
 コンテンツ再生システム。
 (8)
 上記(6)又は(7)に記載のコンテンツ再生システムであって、
 前記コンテンツ提供アプリケーションは、前記キューに基づきコンテンツの複数の候補を選択し、前記センサ部から入力された前記検出値に基づき前記複数の候補から再生すべきコンテンツを選択する
 コンテンツ再生システム。
 (9)
 上記(6)乃至(8)の何れか一つに記載のコンテンツ再生システムであって、
 前記コンテンツ提供アプリケーションは、コンテンツの再生中に、前記センサ部から入力された前記検出値に基づき、再生すべきコンテンツの属性を選択し、選択したコンテンツを再生する
 コンテンツ再生システム。
 (10)
 上記(1)乃至(9)の何れか一つに記載のコンテンツ再生システムであって、
 前記コンテンツ制御部は、前記環境状態に基づき前記コンテンツ提供アプリケーションが前記コンテンツの再生を停止するためのキューを生成し、前記キューを前記コンテンツ提供アプリケーションに出力し、前記コンテンツ提供アプリケーションに前記キューに基づき前記コンテンツの再生を停止させる
 コンテンツ再生システム。
 (11)
 上記(1)乃至(10)の何れか一つに記載のコンテンツ再生システムであって、
 前記コンテンツ再生制御アプリケーションは、
 ユーザのコンテクストを取得するコンテクスト取得部をさらに具備し、
 前記ユーザ状態推定部は、取得された前記コンテクストに基づき、前記ユーザ状態を推定する
 コンテンツ再生システム。
 (12)
  ウェアラブルデバイスを装着したユーザのユーザ状態を推定するユーザ状態推定部と、
  前記ユーザ状態に基づき前記ユーザに提示する環境状態を推定する環境推定部と、
  前記環境状態に基づき、コンテンツを提供するコンテンツ提供アプリケーションがコンテンツを選択するためのキューを生成し、前記キューを前記コンテンツ提供アプリケーションに出力し、前記コンテンツ提供アプリケーションに前記キューに基づきコンテンツを選択させて前記コンテンツを再生させるコンテンツ制御部と、
 を有するコンテンツ再生制御アプリケーションと、
 を実行する制御回路
 を具備する情報処理装置。
 (13)
 情報処理装置の制御回路を、
  ウェアラブルデバイスを装着したユーザのユーザ状態を推定するユーザ状態推定部と、
  前記ユーザ状態に基づき前記ユーザに提示する環境状態を推定する環境推定部と、
  前記環境状態に基づき、コンテンツを提供するコンテンツ提供アプリケーションがコンテンツを選択するためのキューを生成し、前記キューを前記コンテンツ提供アプリケーションに出力し、前記コンテンツ提供アプリケーションに前記キューに基づきコンテンツを選択させて前記コンテンツを再生させるコンテンツ制御部
 として動作させるコンテンツ再生制御アプリケーション。
 (14)
 情報処理装置の制御回路を、
  ウェアラブルデバイスを装着したユーザのユーザ状態を推定するユーザ状態推定部と、
  前記ユーザ状態に基づき前記ユーザに提示する環境状態を推定する環境推定部と、
  前記環境状態に基づき、コンテンツを提供するコンテンツ提供アプリケーションがコンテンツを選択するためのキューを生成し、前記キューを前記コンテンツ提供アプリケーションに出力し、前記コンテンツ提供アプリケーションに前記キューに基づきコンテンツを選択させて前記コンテンツを再生させるコンテンツ制御部
 として動作させるコンテンツ再生制御アプリケーション
 を記録した非一過性のコンピュータ読み取り可能な記録媒体。
 本技術の各実施形態及び各変形例について上に説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
 10 情報処理システム
 100 情報処理装置
 110 コンテクスト取得部
 111 GPSセンサ
 112 ビーコン送受信機
 113 端末情報取得部
 120 PDR部
 121 角度補正部
 122 角度推定部
 123 ユーザ位置推定部
 130 場所推定部
 140 ユーザ状態推定部
 150 環境推定部
 160 出力制御部
 161 コンテンツ制御部
 162 通知制御部
 200 ウェアラブルデバイス
 210 センサ部
 211 加速度センサ
 212 ジャイロセンサ
 213 コンパス
 214 生体センサ

Claims (20)

  1.  ユーザ状態を推定するユーザ状態推定部と、
     前記ユーザ状態に基づきユーザに提示する環境状態を推定する環境推定部と、
     前記環境状態に基づき出力を制御する出力制御部と、
     を具備する情報処理装置。
  2.  請求項1に記載の情報処理装置であって、
     前記ユーザが装着したウェアラブルデバイスが有するセンサ部の検出値に基づき、ユーザ位置を推定するユーザ位置推定部と、
     前記ユーザ位置に基づき、ユーザがいる場所の属性である場所属性を推定する場所属性推定部と、
     をさらに具備し、
     前記ユーザ状態推定部は、前記場所属性に基づき、前記ユーザ状態を推定する
     情報処理装置。
  3.  請求項2に記載の情報処理装置であって、
     前記ユーザ位置推定部は、PDR(Pedestrian Dead Reckoning)を用いて前記ユーザ位置を推定する
     情報処理装置。
  4.  請求項2に記載の情報処理装置であって、
     前記環境推定部は、前記場所属性に基づき、前記環境状態を推定する
     情報処理装置。
  5.  請求項2に記載の情報処理装置であって、
     前記ウェアラブルデバイスが有する前記センサ部は、加速度センサ、ジャイロセンサ、コンパス、生体センサの内、少なくとも一つを含む
     情報処理装置。
  6.  請求項3に記載の情報処理装置であって、
     前記ユーザ位置推定部は、
     前記ユーザが装着した前記ウェアラブルデバイスが有する前記センサ部の前記検出値に基づき、前記ユーザの方位角の補正値を算出する角度補正部と、
     前記ユーザが装着した前記ウェアラブルデバイスが有する前記センサ部の前記検出値と、前記補正値とに基づき、前記ユーザの方位角を推定する角度推定部と、を有し、
     前記方位角を利用して前記ユーザ位置を推定する
     情報処理装置。 
  7.  請求項3に記載の情報処理装置であって、
     前記ユーザ位置推定部は、前記ユーザ位置の移動経路を推定し、
     前記場所属性推定部は、前記移動経路に基づき、移動後の前記場所属性を推定する
     情報処理装置。
  8.  請求項7に記載の情報処理装置であって、
     前記場所属性推定部は、複数の移動経路を保持し、推定された前記移動経路を保持された前記複数の移動経路とマッチングすることにより、移動後の前記場所属性を推定する
     情報処理装置。
  9.  請求項8に記載の情報処理装置であって、
     前記場所属性推定部は、マッチングが所定回数失敗すると、警告を出力する
     情報処理装置。
  10.  請求項8に記載の情報処理装置であって、
     前記場所属性推定部は、前記マッチングをDTW(dynamic time warping、動的時間伸縮法)を用いて行う
     情報処理装置。
  11.  請求項1に記載の情報処理装置であって、
     前記場所属性推定部は、前記ユーザがいる場所での前記ユーザの滞在時間を判断することにより、前記場所属性を推定する
     情報処理装置。
  12.  請求項1に記載の情報処理装置であって、
     ユーザのコンテクストを取得するコンテクスト取得部をさらに具備し、
     前記ユーザ状態推定部は、取得された前記コンテクストに基づき、前記ユーザ状態を推定する
     情報処理装置。
  13.  請求項12に記載の情報処理装置であって、
     前記コンテクストは、前記ユーザの位置情報と前記情報処理装置の端末情報の少なくともいずれかを含む
     情報処理装置。
  14.  請求項1に記載の情報処理装置であって、
     前記ユーザ状態推定部は、前記ウェアラブルデバイスが有する前記センサ部の前記検出値及び/又は前記場所属性に基づき、前記ユーザ状態を推定する
     情報処理装置。
  15.  請求項1に記載の情報処理装置であって、
     前記ユーザ状態は、前記ユーザの複数の活動状態を示す
     情報処理装置。
  16.  請求項1に記載の情報処理装置であって、
     前記出力制御部は、
     前記環境状態に基づき選択されたコンテンツを再生するコンテンツ制御部、及び/又は
     前記環境状態に基づき前記ユーザへの通知の回数を制御する通知制御部
     を有する
     情報処理装置。
  17.  請求項6に記載の情報処理装置であって、
     前記ウェアラブルデバイスが有する前記センサ部は、加速度センサを含み、
     前記角度補正部は、
      前記加速度センサの前記検出値としての前記ユーザがRoll方向を向いたときの重力加速度から、前記ユーザのPitch方向の傾き及び前記Roll方向の傾きを算出し、
      前記加速度センサの前記検出値としての前記ユーザが前記Pitch方向を向いたときの重力加速度と、前記Pitch方向の傾き及び前記Roll方向の傾きとから、前記ユーザのYaw方向の傾きを算出し、
      前記Pitch方向の傾き、前記Roll方向の傾き及び前記Yaw方向の傾きを、前記補正値とする
     情報処理装置。
  18.  ユーザ状態を推定し、
     前記ユーザ状態に基づきユーザに提示する環境状態を推定し、
     前記環境状態に基づき出力を制御する、
     情報処理方法。
  19.  情報処理装置のプロセッサを、
     ユーザ状態を推定するユーザ状態推定部と、
     前記ユーザ状態に基づきユーザに提示する環境状態を推定する環境推定部と、
     前記環境状態に基づき出力を制御する出力制御部
     として動作させる情報処理プログラム。
  20.  ウェアラブルデバイスと、
     前記ウェアラブルデバイスを装着したユーザのユーザ状態を推定するユーザ状態推定部と、
     前記ユーザ状態に基づき前記ユーザに提示する環境状態を推定する環境推定部と、
     前記環境状態に基づき出力を制御する出力制御部と、
     を有する情報処理装置と、
     を具備する情報処理システム。
PCT/JP2021/043548 2021-03-30 2021-11-29 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム WO2022208999A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2022/007705 WO2022209473A1 (ja) 2021-03-30 2022-02-24 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
PCT/JP2022/013213 WO2022210111A1 (ja) 2021-03-30 2022-03-22 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
PCT/JP2022/015297 WO2022210649A1 (ja) 2021-03-30 2022-03-29 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
US18/551,941 US20240200947A1 (en) 2021-03-30 2022-03-29 Information processing apparatus, information processing method, information processing program, and information processing system
JP2023511338A JPWO2022210649A1 (ja) 2021-03-30 2022-03-29

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021056342 2021-03-30
JP2021-056342 2021-03-30
PCT/JP2021/021259 WO2022208905A1 (ja) 2021-03-30 2021-06-03 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
JPPCT/JP2021/021259 2021-06-03

Publications (1)

Publication Number Publication Date
WO2022208999A1 true WO2022208999A1 (ja) 2022-10-06

Family

ID=83458347

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/043548 WO2022208999A1 (ja) 2021-03-30 2021-11-29 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム

Country Status (1)

Country Link
WO (1) WO2022208999A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005167343A (ja) * 2003-11-28 2005-06-23 Sony Corp メッセージ処理方法およびメッセージ処理装置
JP2005222111A (ja) * 2004-02-03 2005-08-18 Yamaha Corp Av機器の携帯端末、av機器及びサーバー装置
WO2006008790A1 (ja) * 2004-07-15 2006-01-26 C & N Inc 携帯端末装置
JP2012212234A (ja) * 2011-03-30 2012-11-01 Kddi Corp 自律測位に用いる重力ベクトルを補正する携帯装置、プログラム及び方法
JP2016066389A (ja) * 2014-09-22 2016-04-28 ヤマハ株式会社 再生制御装置及びプログラム
JP2017176198A (ja) * 2016-03-28 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018107576A (ja) * 2016-12-26 2018-07-05 ヤマハ株式会社 再生制御方法、及びシステム
WO2020208894A1 (ja) * 2019-04-12 2020-10-15 ソニー株式会社 情報処理装置、及び情報処理方法
JP2020201138A (ja) * 2019-06-11 2020-12-17 本田技研工業株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005167343A (ja) * 2003-11-28 2005-06-23 Sony Corp メッセージ処理方法およびメッセージ処理装置
JP2005222111A (ja) * 2004-02-03 2005-08-18 Yamaha Corp Av機器の携帯端末、av機器及びサーバー装置
WO2006008790A1 (ja) * 2004-07-15 2006-01-26 C & N Inc 携帯端末装置
JP2012212234A (ja) * 2011-03-30 2012-11-01 Kddi Corp 自律測位に用いる重力ベクトルを補正する携帯装置、プログラム及び方法
JP2016066389A (ja) * 2014-09-22 2016-04-28 ヤマハ株式会社 再生制御装置及びプログラム
JP2017176198A (ja) * 2016-03-28 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018107576A (ja) * 2016-12-26 2018-07-05 ヤマハ株式会社 再生制御方法、及びシステム
WO2020208894A1 (ja) * 2019-04-12 2020-10-15 ソニー株式会社 情報処理装置、及び情報処理方法
JP2020201138A (ja) * 2019-06-11 2020-12-17 本田技研工業株式会社 情報処理装置、情報処理方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAKASHI OKUMA, KOJI MAKITA, TOMOYA ISHIKAWA, MASAKATSU KOUROGI, THOMAS VINCENT, LAURENCE NIGAY, TAKESHI KURATA: "Ego-motion tracking system for seamless combination of indoor navigation and augmented reality exhibits", IEICE TECHNICAL REPORT, MVE, IEICE, JP, vol. 112, no. 25 (MVE2012-2), 1 May 2012 (2012-05-01), JP, pages 23 - 28, XP009539912 *

Similar Documents

Publication Publication Date Title
US10880670B2 (en) Systems and methods for determining estimated head orientation and position with ear pieces
EP3014476B1 (en) Using movement patterns to anticipate user expectations
US10113877B1 (en) System and method for providing directional information
JP7456463B2 (ja) 情報処理装置、情報処理方法、並びにプログラム
US11589183B2 (en) Inertially stable virtual auditory space for spatial audio applications
CN103105926A (zh) 多传感器姿势识别
CN113825055B (zh) 空间音频应用中的头部姿态跟踪的头部到头戴式受话器旋转变换估计
JP2012220959A (ja) 入力された発話の関連性を判定するための装置および方法
US20160314801A1 (en) Content reproduction device, content reproduction program, and content reproduction method
US11670157B2 (en) Augmented reality system
JP2008299135A (ja) 音声合成装置、音声合成方法、および音声合成用プログラム
WO2022208999A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
WO2022209000A1 (ja) コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション
WO2022208905A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
WO2022209473A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
WO2022209474A1 (ja) コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション
WO2022210111A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
WO2022210113A1 (ja) コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション
US10820132B2 (en) Voice providing device and voice providing method
CN114115515A (zh) 用于帮助用户的方法和头戴式单元
JP6194740B2 (ja) 音声処理装置、音声処理方法、及びプログラム
JP2021153243A (ja) 音入出力制御装置、音入出力制御方法、及びプログラム
CN114710726B (zh) 智能穿戴设备的中心定位方法、设备及存储介质
JP7428189B2 (ja) 情報処理装置、制御方法及び制御プログラム
JP2021156600A (ja) 移動体位置推定装置および移動体位置推定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21935152

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21935152

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP