JPWO2020090223A1 - 情報処理装置、情報処理方法及び記録媒体 - Google Patents

Abstract

ユーザの体の動きに応じたリアルタイムなコンテンツの提供を可能にする仕組みを提供する。ユーザの移動動作に関するセンサ情報に基づいて予測される、前記移動動作における所定状態のタイミングの予測結果に基づいて、コンテンツの再生を制御する再生制御部（４３）、を備える情報処理装置。

Description

本開示は、情報処理装置、情報処理方法及び記録媒体に関する。

近年、ユーザの体の動きの検出結果に応じたコンテンツを提供する技術が提案されている。その一例として、歩行者の歩行テンポに応じたテンポを有する音楽コンテンツを、当該歩行者に提供する技術が提案されている。さらに、下記特許文献１では、他の歩行者の歩行テンポに応じたテンポを有する音楽コンテンツをユーザに提供するための選曲リストを作成する技術が開示されている。

特開２００７−２５００５３号公報

上記特許文献１等において提案されている技術では、ユーザの体の動きの検出結果が、音楽コンテンツの提供に用いられている。しかし、ユーザの体の動きの検出結果に応じたタイミングでリアルタイムにコンテンツを再生しようとすると、当該タイミングとコンテンツが再生されるタイミングとの間にタイムラグが生じる。センシング、センシングの結果得られたセンサ情報に基づくユーザの体の動きの検出処理、及びコンテンツの読み出し等、ユーザの体の動きが発生してからコンテンツの再生が開始されるまでに各種処理が行われるためである。

そこで、本開示では、ユーザの体の動きに応じたリアルタイムなコンテンツの提供を可能にする仕組みを提供する。

本開示によれば、ユーザの移動動作に関するセンサ情報に基づいて予測される、前記移動動作における所定状態のタイミングの予測結果に基づいて、コンテンツの再生を制御する再生制御部、を備える情報処理装置が提供される。

また、本開示によれば、ユーザの移動動作に関するセンサ情報に基づいて予測される、前記移動動作における所定状態のタイミングの予測結果に基づいて、コンテンツの再生を制御すること、を含む、プロセッサにより実行される情報処理方法が提供される。

また、本開示によれば、コンピュータを、ユーザの移動動作に関するセンサ情報に基づいて予測される、前記移動動作における所定状態のタイミングの予測結果に基づいて、コンテンツの再生を制御する再生制御部、として機能させるためのプログラムが記録された記録媒体が提供される。

本開示の一実施形態に係る情報処理装置の概要を説明するための図である。 技術的課題を説明するための図である。 本実施形態に係る情報処理装置の論理的な機能構成の一例を示すブロック図である。 本実施形態に係る再生制御の一例を説明するための図である。 本実施形態に係る情報処理装置により実行されるコンテンツの再生制御処理の流れの一例を示すフローチャートである。 本実施形態に係る情報処理装置により実行される信頼度に基づく再生制御処理の流れの一例を示すフローチャートである。 本実施形態に係る情報処理装置の論理的な構成の他の一例を示すブロック図である。 本実施形態に係る音源の再生パラメータの制御の一例を説明するための図である。 本実施形態に係る音源の再生パラメータの制御処理の一例を示すフローチャートである。 本実施形態に係る再生中の音源の拍に応じた足音の再生制の一例を説明するための図である。 本実施形態に係る再生中のマルチトラック音源の小節に応じた再生制御の一例を説明するための図である。 本実施形態に係る情報処理装置により実行される再生中のマルチトラック音源の小節に応じた再生制御処理の流れの一例を示すフローチャートである。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．はじめに
２．構成例
３．技術的特徴
３．１．基本処理
３．２．変形例
４．ハードウェア構成例
５．まとめ

＜＜１．はじめに＞＞
（１）概要
本開示の一実施形態に係る情報処理装置は、コンテンツの再生を制御する機能を有する装置である。コンテンツは、効果音、音楽、画像、映画、又はゲーム等の、音、画像、及び／又は触覚刺激により構成されるデータである。以下、図１を参照しながら、本開示の一実施形態に係る情報処理装置の概要を説明する。

図１は、本実施形態に係る情報処理装置１の概要を説明するための図である。図１に示す情報処理装置１は、ヘッドホン型の装置であり、コンテンツとして音を出力することができる。情報処理装置１は、内部に加速度センサ及びジャイロセンサ等のセンサを有し、センサにより得られたセンサ情報に基づいてコンテンツを出力することができる。

例えば、情報処理装置１を装着したユーザは、移動動作を行い得る。ここで、移動動作とは、歩行、走行、又は跳躍等の、着地を伴う動作である。このとき、図１に示すように、情報処理装置１は、センサ情報に基づいてユーザの着地のタイミングを検出し、検出されたタイミングに応じて足音を再生し得る。しかし、ユーザの移動動作の検出結果に応じたタイミングでリアルタイムに足音を再生しようとすると、着地のタイミングと足音が再生されるタイミングとの間にタイムラグが生じる。センシング、センサ情報に基づく着地のタイミングの検出、及び足音の読み出し等、ユーザの着地が発生してから足音の再生が開始されるまでに各種処理が行われるためである。この点について、図２を参照して詳しく説明する。

図２は、技術的課題を説明するための図である。図２の上段のグラフ１０１はセンサ情報の時間推移位を示すグラフであり、縦軸はセンサ情報（例えば、加速度）であり、横軸は時間である。図２の下段のグラフ１０２は、センサ情報に基づく着地の検出結果に応じたタイミングで出力される足音の波形を示すグラフであり、縦軸は振幅であり、横軸は時間である。グラフ１０１に示すセンサ情報のピークとなるタイミングｔ_１において着地が発生するものとすると、着地のタイミングｔ_１で足音が出力されることが望ましい。しかし、着地が発生してから足音の再生が開始されるまでに各種処理が行われるため、グラフ１０２に示すように、着地のタイミングｔ_１と足音の再生が開始されるタイミングｔ_２との間にタイムラグが生じる。

そこで、本開示では、ユーザの体の動きに応じたリアルタイムなコンテンツの提供を可能にする仕組みを提供する。

詳しくは、提案技術では、ユーザの移動動作の予測結果に基づいて、コンテンツの再生が制御される。例えば、情報処理装置１は、着地タイミングの予測結果に基づいて早めにコンテンツの再生を開始する。これにより、図２を参照しながら説明したタイムラグの発生が防止されるので、ユーザの着地タイミングで足音を再生することが可能となる。

一方で、ユーザが停止した場合など、予測結果と実際の動作とが相違する場合がある。そこで、提案技術では、ユーザの動作の検出と予測とが並列的に行われ、それらを組み合わせてコンテンツの再生が制御される。例えば、情報処理装置１は、予測された着地のタイミングで足音の再生を開始する一方で、当該タイミングで着地が検出されない場合には再生中の足音の音量を下げる。このような処理により、予測結果と実際の動作とが相違する場合であっても、違和感の少ないコンテンツを提供することが可能となる。

なお、図１に示した情報処理装置１の構成は、あくまで一例であり、情報処理装置１は、ヘッドホン以外にも、例えばスマートフォン、タブレット端末、又はＨＭＤ（Head Mounted Display）等として実現されてもよい。

（２）ユースケース
・第１のユースケース
第１のユースケースは、ユーザがキャラクターになりきって楽しむユースケースである。ユーザは、普段装着している、又はテーマパーク等で貸与されたヘッドホン（情報処理装置１に相当）を装着する。そして、ユーザが特定のエリアに入ったり、ヘッドホンに接続されたスマートフォンのアプリケーションが起動されたりした場合に、ユーザの移動動作に連動して足音が出力される。例えば、キャラクターがロボットである場合には機械が軋むような足音が出力され、キャラクターが小動物である場合には軽く弾むような足音が出力される。このように、キャラクターに応じた足音が提示されることで、ユーザは、キャラクターになりきって楽しむことが可能となる。

・第２のユースケース
第２のユースケースは、ユーザが仮想空間を楽しむユースケースである。ユーザは、ヘッドホン付きのＨＭＤ（情報処理装置１に相当）を装着する。ＨＭＤは、透過性の表示装置により実空間に仮想オブジェクトを重畳して表示することでＡＲ（Augmented Reality）体験をユーザに提供し得る。また、ＨＭＤは、非透過性の表示装置により仮想空間を表示することでＶＲ（Virtual Reality）体験をユーザに提供し得る。例えば、ＨＭＤは、ユーザが仮想空間のうち水がたまっている領域を歩くと、水を踏むような足音を出力する。このように、仮想空間に応じた足音が提示されることで、ユーザは、仮想空間により没入することが可能となる。

＜＜２．構成例＞＞
図３は、本実施形態に係る情報処理装置１の論理的な機能構成の一例を示すブロック図である。図３に示すように、情報処理装置１は、第１のセンサ部１０、出力部２０、記憶部３０及び制御部４０を含む。

（１）第１のセンサ部１０
第１のセンサ部１０は、ユーザの移動動作に関する情報をセンシングする機能を有する。とりわけ、第１のセンサ部１０のユーザの体の動きをセンシングする機能を有する。例えば、第１のセンサ部１０は、加速度センサ、及びジャイロセンサを含み、移動動作における体の上下運動及び着地時の衝撃等を示すセンサ情報をセンシングする。他にも、第１のセンサ部１０は、手の動き又は頭の動き等の、ユーザの体の各部位の動きをセンシングしてもよい。第１のセンサ部１０は、センシングの結果得られたセンサ情報を、制御部４０に出力する。

（２）出力部２０
出力部２０は、制御部４０による制御に基づいてコンテンツを出力する機能を有する。例えば、出力部２０は、画像を出力する表示装置、音を出力する音出力装置、及び／又は触覚刺激を出力する触覚刺激出力装置を含む。表示装置は、例えば、ディスプレイ、プロジェクタ、又は網膜投影装置により実現される。音出力装置は、例えば、ヘッドホン、イヤホン、又はヘッドホンにより実現される。触覚刺激出力装置は、例えば、偏心モータ、低周波出力装置、又は電気刺激出力装置により実現される。

（３）記憶部３０
記憶部３０は、情報処理装置１による情報処理に用いられる情報を記憶する機能を有する。例えば、記憶部３０は、出力部２０から出力されるコンテンツを記憶する。他にも、記憶部３０は、コンテンツの再生制御のための各種設定情報を記憶する。

（４）制御部４０
制御部４０は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置１内の動作全般を制御する機能を有する。図３に示すように、制御部４０は、検出部４１、予測部４２及び再生制御部４３を含む。

・検出部４１
検出部４１は、ユーザの移動動作に関するセンサ情報に基づいて、ユーザの移動動作における状態を検出する機能を有する。例えば、検出部４１は、移動動作における所定状態のタイミングを検出する。所定状態のタイミングは、例えば、歩行動作若しくは走行動作において着地するタイミング、又はジャンプ動作における最高地点に到達するタイミングである。なお、ジャンプ動作における最高地点とは、地面から足、頭部又は重心等の身体の任意の部位までの距離が最大になる状態を指す。もちろん、所定状態は、これらの例に限定されず、移動動作における任意の状態を含み得る。例えば、検出部４１は、重力方向の加速度等を示すセンサ情報の時系列推移、又はＩＮＳ（inertial navigation system）演算等のセンサ情報に基づく演算結果の時系列推移に基づいて、移動動作における所定状態のタイミングを検出する。他にも、検出部４１は、移動動作の停止、及び進行方向の変更等の、多様な状態を検出し得る。また、検出部４１は、移動動作の大きさ（歩いている又は走っている等）の度合いを、センサ情報の振幅及び／又は周期等に基づいて検出し得る。検出部４１は、検出結果を示す情報を再生制御部４３に出力する。なお、センサ情報は、センサから得られる生データであってもよいし、生データに対し平均又は外れ値の除去等の所定の処理が適用された処理結果であってもよい。また、タイミングとは、時刻を指していてもよいし、所定時刻からの経過時間を指していてもよいし、これらの値に所定の処理が適用された処理結果であってもよい。

・予測部４２
予測部４２は、ユーザの移動動作に関するセンサ情報に基づいて、移動動作における所定状態のタイミングを予測する機能を有する。即ち、予測部４２は、検出部４１により検出されるタイミングを、検出部４１により検出されるよりも前に予測する機能を有する。例えば、予測部４２は、センサ情報、ＩＮＳ演算等のセンサ情報に基づく演算結果、及び／又は検出部４１による検出結果に基づいて、移動動作における所定状態のタイミングを予測する。

・再生制御部４３
再生制御部４３は、予測部４２による予測結果に基づいて、出力部２０によるコンテンツの再生を制御する機能を有する。例えば、再生制御部４３は、記憶部３０に記憶されたコンテンツを、予測部４２による予測結果に応じた再生パラメータで再生する。再生パラメータは、例えば、再生対象のコンテンツの識別情報、再生タイミング、音量、及びエフェクト等を含む。さらに、再生制御部４３は、検出部４１による検出結果に基づいて、コンテンツを制御してもよい。例えば、再生制御部４３は、記憶部３０に記憶されたコンテンツを、検出部４１による検出結果、及び予測部４２による予測結果に応じた再生パラメータで再生する。

＜＜３．技術的特徴＞＞
＜３．１．基本処理＞
（１）所定状態のタイミングの予測
・検出結果の時系列推移を利用した予測
所定状態のタイミングは、センサ情報に基づいて検出された所定状態のタイミングの時間間隔の時系列推移に基づいて予測されてもよい。例えば、予測部４２は、過去の着地タイミングの時間間隔の平均値を前回の着地タイミングに加算することで、次回の着地タイミングを予測することができる。通常、歩行は規則的な運動であるためである。

例えば、過去の着地時刻が古い順にＴ_０、Ｔ_１、Ｔ_２、…、Ｔ_ｎである場合、着地間隔Ｄ_０、Ｄ_１、…、Ｔ_ｎ−１は、それぞれＤ_０＝Ｔ_１−Ｔ_０、Ｄ_１＝Ｔ_２−Ｔ_１、…、Ｄ_ｎ−１＝Ｔ_ｎ−Ｔ_ｎ−１と定義される。ここで、現在時刻がＴ_ｎである場合、次回の着地時刻Ｔ_ｎ＋１は、Ｔ_ｎ＋１＝Ｔ_ｎ＋Ｄ_ｎと求められる。Ｄ_ｎは、例えばＤ_０からＤ_ｎ−１までの平均値である。Ｄ_ｎを計算する際には、Ｄ_０からＤ_ｎ−１までのうち外れ値を除いたり、直近の値により重み付けを施したりすることで、Ｄ_ｎをより正確に予測することもできる。

・センサ情報の傾向を利用した予測
所定状態のタイミングは、センサ情報の時系列推移に基づいて予測されてもよい。例えば、予測部４２は、センサ情報の時系列推移が示す傾向に基づいて、次回の着地タイミングを予測する。

例えば、歩行における重力方向成分のベクトルｖが既知である場合、ベクトルｖと加速度センサの値（ｘ，ｙ，ｚ）との内積により、重力方向の加速度成分を求めることができる。予測部４２は、この重力方向の加速度成分の時系列推移と、着地タイミングの検出結果により、重力方向の加速度成分が所定の閾値を超えてから何秒後に着地するかを学習し、予測に用いる。なお、着地のタイミングは、加速度センサの値のノルム√（ｘ＾２＋ｙ＾２＋ｚ＾２）が増加してから減少に転じるタイミングとして特定され得る。

・センサ情報又はセンサ情報に基づく演算結果の時系列推移に基づく予測
所定状態のタイミングは、センサ情報の時系列推移の予測結果又はセンサ情報に基づく演算結果の時系列推移の予測結果に基づいて予測されてもよい。例えば、予測部４２は、センサ情報又はセンサ情報に基づく演算結果の時系列推移を予測し、その予測結果に基づいて次回の着地のタイミングを予測する。時系列推移の予測には、例えば、ＲＮＮ（recurrent neural network）等の任意のモデルが用いられ得る。また、予測の対象は、センサ情報そのものであってもよいし、上述した重力方向のベクトルと加速度センサの値の内積、又は上述したノルムであってもよい。

・補足
以上説明した予測技術は、適宜組み合わせて用いられてもよい。例えば、各々の予測結果が予測精度に応じて重み付け平均されることで、最終的な予測結果が得られてもよい。

（２）コンテンツの再生制御
再生制御部４３は、予測された所定状態のタイミングでコンテンツを再生する。再生制御部４３は、予測された所定状態のタイミングよりも前にコンテンツを読み出しておき、当該タイミングにおいてコンテンツの再生を開始する。さらに、再生制御部４３は、再生制御部４３は、予測された所定状態となるタイミングよりも前に音の再生を開始してもよい。例えば、再生制御部４３は、予測された所定状態となるタイミングに最大音量が再生されるように、アタック区間（音の立ち上がりから最大音量に至るまでの区間）の分、予測された所定状態となるタイミングに先行して音の再生を開始する。これにより、ユーザの状態が所定状態となるタイミングと同じタイミングで、当該所定状態に応じたコンテンツを提示することが可能となる。なお、音は、音の立ち上がりからアタック区間を経て最大音量に達し、その後減衰して消える。詳しくは、音は、時間方向に順にアタック区間、ディケイ（Ｄｅｃａｙ）区間、サステイン（Ｓｕｓｔａｉｎ）区間、及びリリース（Ｒｅｌｅａｓｅ）区間を含む。ディケイ区間は、最大音量から音量が減衰していく区間である。サステイン区間は、ディケイ区間を経て減衰した音量が継続する区間である。リリース区間は、音量が減衰して消えるまでの区間である。

再生制御部４３は、予測された所定状態のタイミングで実際に所定状態となることがセンサ情報により検出されない場合、コンテンツの再生を制御する。詳しくは、再生制御部４３は、予測部４２により予測された所定状態のタイミングで実際に所定状態となることが検出部４１により検出されない場合に、コンテンツの再生を制御する。若しくは、再生制御部４３は、所定状態とならない傾向が検出部４１により検出された場合（例えば、ユーザが歩行速度を緩めて歩行を停止しそうな状態）、コンテンツの再生を制御する。ここでのコンテンツの再生の制御として、再生制御部４３は、コンテンツの再生を停止する、音量を下げる、又は再生するコンテンツに所定のエフェクトを適用する等を行う。所定のエフェクトは、ぼかし又はフェードアウト等である。音に適用されるぼかしとは、コンテンツ内で定義された音の最大音量まで達しないように音量を制御すること、又は単に音量を下げるのではなく最大音量に達しない範囲で音量を制御することを指す。具体的には、音に適用されるぼかしとして、後述するアタックの強弱の制御が挙げられる。音に適用されるぼかしは、音に空間的な広がりを加える制御であると捉えられてもよい。具体的には、音に適用されるぼかしとして、リバーブ、ディレイ及びエコー等の空間系のエフェクトが挙げられる。画像に適用されるぼかしとは、モザイク処理等の画像コンテンツに映る物の輪郭又は境目を不明瞭にする制御である。また、音に適用されるフェードアウトとは、コンテンツ内で定義された音の最大音量を超えずに、音が次第に消えていくように音量を制御することを指す。また、画像に適用されるフェードアウトとは、画像の透過率を徐々に上げて完全に透明化させる等の、画像が次第に消えていくように制御することを指す。例えば、再生制御部４３は、予測された着地のタイミングよりも前から足音の再生を開始する一方で、予測された着地のタイミングで実際に着地が検出されない場合には、再生中の足音をフェードアウトさせる。これにより、ユーザが足音を意識しないようにすることができ、着地していないのに足音が聞こえる、といった違和感を与えることを防止することができる。例えば、足音として落ち葉を踏む音が再生される場合、アタック区間でフェードアウトさせることで、単に落ち葉が動いている音としてユーザに感じさせることができる。

これらの再生制御について、図４を参照しながら具体例を説明する。図４は、本実施形態に係る再生制御の一例を説明するための図である。図４の上段のグラフ１１１はセンサ情報の時間推移位を示すグラフであり、縦軸はセンサ情報（例えば、加速度）であり、横軸は時間である。実際には複数の軸や種類のセンサがあるが、ここでは代表的な一軸を示しているものとする。図４の下段のグラフ１１２は、着地タイミングの予測結果に応じたタイミングで出力される足音の波形を示すグラフであり、縦軸は振幅であり、横軸は時間である。グラフ１１１に示すセンサ情報のピークとなるタイミングｔ_１において着地が発生するものとする。再生制御部４３は、波形１１３に示すように、予測された着地のタイミングｔ_１よりも前のタイミングｔ_３から足音の再生を開始する。他方、着地のタイミングｔ_１において着地が検出されない場合、再生制御部４３は、波形１１４に示すように、予測された着地のタイミングｔ_１よりも前のタイミングｔ_３から足音の再生を開始しつつ、タイミングｔ_１以降は足音をフェードアウトさせる。

（３）処理の流れ
図５は、本実施形態に係る情報処理装置１により実行されるコンテンツの再生制御処理の流れの一例を示すフローチャートである。図５に示すように、まず、第１のセンサ部１０は、ユーザの歩行時のセンサ情報を取得する（ステップＳ１０２）。次いで、予測部４２は、センサ情報に基づいて、次の着地時刻を予測する（ステップＳ１０４）。次に、再生制御部４３は、予測された着地時刻に足音を再生する（ステップＳ１０６）。次いで、第１のセンサ部１０は、ユーザの歩行時のセンサ情報をさらに取得する（ステップＳ１０８）。次に、検出部４１は、ユーザが歩行を停止するか否かを検出する（ステップＳ１１０）。例えば、検出部４１は、ユーザの着地、又はユーザが歩行を停止しそうな状態にあるか否かを検出する。そして、着地が実際に検出される又は歩行を継続していることが検出される等、ユーザが歩行を停止しないことが検出された場合（ステップＳ１１０／ＮＯ）、再生制御部４３は、足音の再生を継続する（ステップＳ１１２）。その後、処理はステップＳ１０８に戻る。一方で、着地が検出されない又は歩行を停止しようとしていることが検出される等、ユーザが歩行を停止することが検出された場合（ステップＳ１１０／ＹＥＳ）、再生制御部４３は、足音をフェードアウトさせる等、足音の再生を停止する（ステップＳ１１４）。

＜３．２．変形例＞
（１）信頼度に応じた再生制御
再生制御部４３は、センサ情報の信頼度に基づいてコンテンツの再生を制御してもよい。

センサ情報の信頼度は、センサ情報に占める、ユーザの移動動作の情報の度合いとして定義され得る。情報処理装置１がヘッドホンとして実現される場合、センサ情報の信頼度が低い場合として、ヘッドホンの固定が緩く、ヘッドホンとユーザの頭とのずれに起因する振動がセンサ情報に多く含まれる場合が挙げられる。情報処理装置１がスマートフォンとして実現される場合、センサ情報の信頼度が低い場合として、ユーザがスマートフォンを手で操作しており、手の操作に起因する振動がセンサ情報に多く含まれる場合が挙げられる。

センサ情報の信頼度は、センサ情報の即時性として定義され得る。例えば、高い処理負荷に起因して、一定周期でのセンシングが失敗する場合、センサ情報の信頼度は低い。

センサ情報の信頼度は、予測部４２による予測の信頼度として定義され得る。例えば、ユーザが歩いては止まる動作を繰り返している場合等、次の動作を予測することが困難な場合、予測の信頼度は低い。また、センサ情報に占めるユーザの移動動作の情報の度合いが低い場合も、予測の信頼度は低い。

センサ情報の信頼度に基づく再生制御としては、信頼度が高いほど明瞭なコンテンツを再生し、信頼度が低いほど不明瞭なコンテンツを再生することが挙げられる。例えば、再生制御部４３は、信頼度が所定の閾値よりも高い場合にアタックが強い音を出力し、信頼度が当該所定の閾値よりも低い場合にアタックが弱い音を出力してもよい。アタックが強い音とは、アタック区間が短い、アタック区間終端の最大音量が大きい、及び／又は最大音量から所定の音量に減衰するまでの区間が短い音である。アタックが強い音の一例としては、音の立ち上がりから１秒以内に最大振幅（即ち、最大音量）の区間が現れ、１秒後以降は音の振幅が最大振幅の２０％以下に減衰するような音が挙げられる。アタックが弱い音とは、アタック区間が長い、アタック区間終端の最大音量が小さい、及び／又は最大音量から所定の音量に減衰するまでの区間が長い音である。また、再生制御部４３は、信頼度が所定の閾値よりも高い場合に音量を大きくし、信頼度が当該所定の閾値よりも低い場合に音量を小さくしてもよい。信頼度が高いほど明瞭なコンテンツを再生することで、ユーザにコンテンツを明示することが可能となる。一方で、信頼度が低いほど不明瞭なコンテンツを再生することで、予測が外れた場合にもユーザに違和感を与えにくくすることが可能となる。

図６は、本実施形態に係る情報処理装置１により実行される信頼度に基づく再生制御処理の流れの一例を示すフローチャートである。図６に示すように、まず、第１のセンサ部１０は、ユーザの歩行時のセンサ情報を取得する（ステップＳ２０２）。次いで、予測部４２は、センサ情報に基づいて、次の着地時刻を予測する（ステップＳ２０４）。次に、再生制御部４３は、センサ情報の信頼度が高いか否かを判定する（ステップＳ２０６）。センサ情報の信頼度が高いと判定された場合（ステップＳ２０６／ＹＥＳ）、再生制御部４３は、アタックの強い足音を再生する（ステップＳ２０８）。一方で、センサ情報の信頼度が低いと判定された場合（ステップＳ２０６／ＮＯ）、再生制御部４３は、アタックの弱い足音を再生する（ステップＳ２１０）。

（２）ユーザ情報又はキャラクター情報に基づく再生制御
再生制御部４３は、ユーザのユーザ情報又はユーザに対応するキャラクターのキャラクター情報に基づいて、コンテンツの再生を制御してもよい。ここでのコンテンツの再生制御としては、再生するコンテンツの選択、音量の制御、及びエフェクトの適用等が挙げられる。

・状態に基づく再生制御
ユーザ情報は、ユーザの体力、動作の変化の大きさ、動作強度、及び動作継続時間等の、ユーザの状態を示す情報を含み得る。キャラクター情報は、例えば、キャラクターの体力、動作の変化の大きさ、動作強度、及び動作継続時間等の、キャラクターの状態を示す情報を含み得る。

例えば、再生制御部４３は、センサ情報が示すユーザの移動動作の変化の大きさ（換言すると、激しさ）に基づいて、コンテンツの再生を制御する。具体的には、ユーザが走っている場合、再生制御部４３は、加速度の振幅に比例して足音の音量を大きくしたり、再生対象としてより音量の大きな足音を選択したりする。一方で、ユーザが歩いている場合、再生制御部４３は、足音の音量を小さくしたり、数回に一回の着地のタイミングで足音を再生したりする。または、再生制御部４３は、足音として再生する音源を変えたり、足音の波形を生成するアルゴリズムのパラメータを変えたりする。

例えば、再生制御部４３は、ゲームにおけるキャラクターの体力が高い場合には力強い足音を再生し、キャラクターが疲れた又は攻撃されてダメージを負った場合には足を引きずった又は崩れた足音を再生する。さらに、再生制御部４３は、キャラクターが戦闘不能になった場合には弱いイメージの足音を再生する。もちろん、足音に限らず、体を動かした場合の任意の音に、かかる制御が適用されてもよい。例えば、再生制御部４３は、キャラクターの体力が高い場合には手の動きに応じて力強い鋭い音を再生し、ダメージを負った場合には間延びした音を再生する。

・属性に基づく再生制御
ユーザ情報は、ユーザの年齢、性別、身長、体重、及び携行品等の、ユーザの属性を示す情報を含み得る。ユーザの属性を示す情報は、ユーザにより入力されてもよいし、歩き方等に基づいて認識されてもよい。キャラクター情報は、キャラクターの年齢、性別、身長、体重、装備品及び種族等の、キャラクターの属性を示す情報を含み得る。キャラクターの属性を示す情報は、ゲーム又はＶＲコンテンツ等のコンテンツ内の設定情報に基づき取得される。

例えば、ＡＲ体験において、再生制御部４３は、ユーザの年齢、履いている靴、性別に応じた足音を出力する。また、ゲーム体験において、再生制御部４３は、キャラクターが写実的なロボットである場合には機械的な足音を出力し、キャラクターがアニメーションのロボットである場合には電子音を出力し、キャラクターが動物である場合は柔らかい足音を出力する。

もちろん、足音以外にも、再生制御部４３は、ユーザの手を振り回す動きに連動して再生する音を、ユーザ又はキャラクターの属性に応じて選択してもよい。

・位置に基づく再生制御
ユーザ情報は、ユーザの地理的位置情報、ユーザが位置する地理的エリアを示す情報、ユーザが位置する建物内の部屋を示す情報、及び高度等の、ユーザの位置を示す情報を含み得る。キャラクター情報は、仮想空間におけるキャラクターの地理的位置情報、キャラクターが位置する地理的エリアを示す情報、キャラクターが位置する建物内の部屋を示す情報、及び高度等のキャラクターの位置を示す情報を含み得る。

例えば、ＡＲ体験において、再生制御部４３は、水たまりが重畳表示されたエリアでは水音を再生し、落ち葉が重畳表示されたエリアでは落ち葉を踏む音を再生する等、ユーザが位置するエリアに応じた足音を再生する。キャラクターに関しても同様である。

−構成例
ここで、図７を参照しながら、ユーザの位置を示す情報を取得するための構成を説明する。図７は、本実施形態に係る情報処理装置１の論理的な構成の他の一例を示すブロック図である。図７に示す情報処理装置１は、図３に示した構成要素に加えて、第２のセンサ部１１及び位置情報取得部４４を含む。

・第２のセンサ部１１
第２のセンサ部１１は、ユーザの位置に関する情報をセンシングする機能を有する。例えば、第２のセンサ部１１は、ユーザの周囲の撮像画像を撮像する撮像装置、周囲と信号を送受信する無線通信装置、ＧＮＳＳ（Global Navigation Satellite System）装置、地磁気センサ、又は照度センサ等を含み得る。第２のセンサ部１１は、センシングの結果得られたセンサ情報を、制御部４０に出力する。

・位置情報取得部４４
位置情報取得部４４は、第２のセンサ部１１により得られたセンサ情報に基づいて、ユーザの位置を示す情報を取得する機能を有する。例えば、位置情報取得部４４は、ユーザの周囲の撮像画像に基づくＳＬＡＭ（Simultaneous Localization and Mapping）演算の結果、周囲から受信したビーコン、ＧＮＳＳ情報、又は地磁気情報に基づいて、ユーザの位置を示す情報を取得する。位置情報取得部４４は、照度情報に基づいて、屋内か屋外かを示す情報を取得してもよい。他にも、位置情報は、例えば、ユーザ又はイベントの運営係員により手動で入力されてもよい。

・再生制御部４３
再生制御部４３は、位置情報取得部４４により取得された位置情報にさらに基づいて、コンテンツの再生を制御する。例えば、再生制御部４３は、記憶部３０に記憶されたコンテンツを、位置情報取得部４４により取得された位置情報に応じた再生パラメータで再生する。例えば、再生制御部４３は、砂漠が重畳されたエリアにユーザが位置すれば砂の音を再生し、水が重畳されたエリアにユーザが位置すれば水の音を再生する。

（３）着地検出間隔の制御
検出部４１は、着地を検出する間隔を、ユーザの状態に応じて制御してもよい。詳しくは、検出部４１は、ユーザの移動動作が大きい場合には短い間隔での着地の検出を許容する一方で、ユーザの動作が少ない場合には短い間隔での着地の検出を許容しない。

着地の検出は、典型的には、加速度又は角速度等のセンサ情報に基づいて計算された評価値が、第１の閾値を超えるか否かにより行われる。また、着地と次の着地との間にはある程度の時間があくと想定されるので、着地が検出されたあと、第２の閾値を超える時間が経過した後に次の着地が検出される。従って、検出部４１は、着地が検出された後、第２の閾値を超える時間が経過した後に、評価値が第１の閾値を超えた場合に、着地を検出する。

検出部４１は、センサ情報に基づいて、第１の閾値及び第２の閾値を動的に設定してもよい。例えば、検出部４１は、前回の着地検出時のセンサ情報の大きさに基づいて、次の着地を検出するための第１の閾値及び第２の閾値を設定する。ユーザがゆっくり歩いているとき（例えば、加速度が低い場合）、着地時の衝撃は小さく、着地と次の着地との時間間隔は長いと想定される。そこで、検出部４１は、ユーザがゆっくり歩いていることを示すセンサ情報が取得された場合、第１の閾値を小さく、第２の閾値を大きく設定する。一方で、検出部４１は、ユーザが走っているとき（例えば、加速度が大きい場合）、着地時の衝撃は大きく、着地と次の着地との時間間隔は短いと想定される。そこで、検出部４１は、ユーザが走っていることを示すセンサ情報が取得された場合、第１の閾値を大きく、第２の閾値を小さく設定する。

（４）音源の再生パラメータの制御
再生制御部４３は、検出部４１による検出結果に基づいて、音源（即ち、音楽）の再生パラメータを制御してもよい。詳しくは、再生制御部４３は、移動動作の大きさの検出結果に基づいて、音量、再生速度、ローパスフィルタのカットオフ周波数、及びパン等を設定する。例えば、再生制御部４３は、ユーザがゆっくり歩いている場合に、テンポが遅い音源を小さい音量で再生する。一方で、再生制御部４３は、ユーザが走っている場合に、テンポが速い音源を大きい音量で再生する。これにより、ユーザは、演奏技術を持っていなくても、あたかも音楽を演奏しているかのような感覚を得ることができ、高い音楽体験を享受することができる。また、ユーザが激しく動くことでより盛り上がる音楽が再生されるので、ランニング又はウォーキングが促進される。

ここで、再生パラメータの変更頻度が多いと、ユーザ体験が劣化し得る。例えば、音楽の再生速度が短期間で繰り返し変更されると、音楽の拍が乱れてしまう。そこで、再生制御部４３は、コンテンツの再生パラメータを変更後、所定時間経過するまで再生パラメータの再度の変更を抑制してもよい。換言すると、再生制御部４３は、コンテンツの再生パラメータを変更後、所定時間経過してから再生パラメータを再度変更する。これにより、再生パラメータの変更頻度が少なくなるので、ユーザ体験の劣化を防止することができる。

また、再生制御部４３は、移動動作が大きく変化した場合にセンサ情報の最大値に再生パラメータを連動させ、それ以外の場合にはデフォルトの再生パラメータを採用してもよい。これにより、基本的にはデフォルトの再生パラメータが採用されて、再生パラメータの変更頻度が少なくなるので、ユーザ体験の劣化を防止することが可能となる。

また、再生制御部４３は、コンテンツの再生パラメータを、離散化された候補の中から選択してもよい。例えば、再生制御部４３は、再生速度を連続的に変更せずに、デフォルトの再生速度の０．５倍、１倍、１．５倍、２倍の再生速度に変更する。これにより、再生パラメータが連続的に変更される場合と比較して、変更頻度が少なくなるので、ユーザ体験の劣化を防止することが可能となる。

以下、図８及び図９を参照しながら、再生パラメータの変更頻度に起因するユーザ体験の劣化を防止するための再生制御処理について具体的に説明する。

図８は、本実施形態に係る音源の再生パラメータの制御の一例を説明するための図である。図８の上段のグラフ１２１はセンサ情報の時間推移位を示すグラフであり、縦軸はセンサ情報（例えば、加速度）であり、横軸は時間である。図８の下段のグラフ１２２は、再生パラメータの時系列推移を示すグラフであり、縦軸はＢＰＭ（Beats Per Minute）であり、横軸は時間である。図８に示すように、再生制御部４３は、ユーザが移動動作を開始した時刻ｔ_４からＢＰＭを上げ始め、移動動作の大きさに応じたＢＰＭになった時刻ｔ_５でＢＰＭを固定する。そして、再生制御部４３は、移動動作が緩慢になった後も時刻ｔ_６に至るまで同じＢＰＭを維持し、その後時刻ｔ_７にかけてＢＰＭを下げる。

図９は、本実施形態に係る音源の再生パラメータの制御処理の一例を示すフローチャートである。まず、再生制御部４３は、再生パラメータＰ_０を設定する（ステップＳ３０２）。次いで、検出部４１は、センサ情報に基づいて、移動動作の大きさを検出する（ステップＳ３０４）。次に、再生制御部４３は、検出された移動動作の大きさに基づいて、新しい再生パラメータＰ_１を計算する（ステップＳ３０６）。次いで、再生制御部４３は、現在のパラメータＰ_０と新しいパラメータＰ_１との差が、閾値Ｔｈよりも大きいか否か（即ち、｜Ｐ_０−Ｐ_１｜＞Ｔｈが成り立つか否か）を判定する（ステップＳ３０８）。｜Ｐ_０−Ｐ_１｜＞Ｔｈが成り立つ場合（ステップＳ３０８／ＹＥＳ）、再生制御部４３は、再生パラメータＰ_０を設定してから所定時間経過したか否かを判定する（ステップＳ３１０）。再生パラメータＰ_０を設定してから所定時間が経過したと判定された場合（ステップＳ３１０／ＹＥＳ）、再生制御部４３は、新しい再生パラメータＰ_１を設定する（ステップＳ３１２）。他方、｜Ｐ_０−Ｐ_１｜＞Ｔｈが成り立たない（ステップＳ３０８／ＮＯ）、又は再生パラメータＰ_０を設定してから所定時間が経過していないと判定された場合（ステップＳ３１０／ＮＯ）、再生制御部４３は、再生パラメータＰ_０を維持する（ステップＳ３１４）。

（５）再生中の音源の拍に応じた再生制御
再生制御部４３は、音源を再生し、再生中の音源の拍と、移動動作における所定状態のタイミングとが整合する場合に、コンテンツ（より正確には、再生中の音源とは異なるコンテンツ）の再生を制御してもよい。ここでの所定の状態のタイミングは、検出部４１により検出されたタイミングであってもよいし、予測部４２により予測されたタイミングであってもよい。例えば、再生制御部４３は、再生中の音源の拍と予測された着地のタイミングとが整合する場合に限定して、足音を再生する。これにより、ユーザは音楽との一体感を覚えることができるので、ユーザ体験を向上させることができる。

ここで、整合するとは、完全一致のみを意味するものではなく、所定の閾値以内のずれも許容する概念である。再生制御部４３は、再生中の音源の拍と、移動動作における所定状態のタイミングとが整合する場合であって、所定の閾値以内のずれが存在する場合、再生中の音源の拍に応じたタイミングで、再生中の音源とは異なるコンテンツを再生する。例えば、再生制御部４３は、再生中の音源の拍と着地のタイミングとが整合しつつも完全一致はしていない場合、着地のタイミングではなく、再生中の音源の拍のタイミングで足音を再生する。換言すると、再生制御部４３は、足音の再生タイミングを、再生中の音源の拍のタイミングに離散化する。この点について、図１０を参照して具体的に説明する。

図１０は、本実施形態に係る再生中の音源の拍に応じた足音の再生制御の一例を説明するための図である。図１０の上段のチャート１３１は音源の拍のタイミングを「Ｘ」として時間軸上に示すチャートである。図１０の中段のチャート１３２は着地タイミングを「Ｘ」として時間軸上に示すチャートである。図１０の下段のチャート１３３は足音の再生タイミングを「Ｘ」として時間軸上に示すチャートである。チャート１３１に示すように、１２０ＢＰＭの場合、４分音符の拍は５００ミリ秒ごとに１回出現し、８分音符の拍は２５０ミリ秒ごとに１回出現する。拍の開始タイミングを０秒とおくと、足音は２５０ミリ秒で割り切れる秒数において再生されることが望ましい。チャート１３２を参照すると、着地タイミングは２００ミリ秒、及び８００ミリ秒に予測されており、これらは２５０ミリ秒では割り切れない。そこで、再生制御部４３は、２００ミリ秒の着地タイミングに応じた足音を２５０ミリ秒において再生し、８００ミリ秒の着地タイミングに応じた足音を７５０ミリ秒において再生する。これにより、ユーザの着地のタイミングと再生中の音源の拍とがずれる場合であっても、足音は拍のタイミングで再生されるので、ユーザは音楽との一体感を覚えることができる。

（６）再生中の音源の小節に応じた再生制御
再生制御部４３は、音源を再生し、再生中の音源の拍と、移動動作における所定状態のタイミングとが整合する場合に、再生中の音源の小節が切り替わるタイミングで、再生中の音源又は他の音源の再生を制御してもよい。ここでの所定の状態のタイミングは、検出部４１により検出されたタイミングであってもよいし、予測部４２により予測されたタイミングであってもよい。例えば、再生制御部４３は、再生中の音源の拍と検出又は予測された着地のタイミングとが整合する場合、再生中の音源の小節が切り替わるタイミングで、他の音源の再生を開始したり、再生中の音源の再生を停止したり、再生中の音源にエフェクトを適用したりする。適用され得るエフェクトとしては、リバーブ等の音を不明瞭化するエフェクト、及び高音域の強調等の音を明瞭化するエフェクトが挙げられる。なお、再生の開始は音量を０から上げることとして捉えられてもよく、再生の停止は音量を０にすることとして捉えられてもよい。

例えば、再生制御部４３は、所定期間にわたって移動動作が検出された場合、小節が切り替わるタイミングで他の音源の再生を開始してもよい。この場合、例えばユーザが長期間歩行するほど、再生される音源の数が徐々に増加する。他方、再生制御部４３は、所定期間にわたって移動動作が検出されない場合、小節が切り替わるタイミングで再生中の音源の再生を停止してもよい。この場合、例えばユーザが歩行を停止すると、再生される音源の数が徐々に減少する。ユーザ移動動作を継続するほど再生される音源が増え、移動動作を停止すると再生される音源が減るので、ランニング又はウォーキングを促進することが可能である。

再生中の音源の小節が切り替わるタイミングで新たな音源の再生が開始される場合、新たに再生される音源は、記憶部３０に記憶された他の音源であってもよいし、ダウンロード等により外部から得られてもよい。

他に、再生される音源は、マルチトラック音源であってもよい。マルチトラック音源とは、ボーカル及びドラム等の各々の楽器の音が収録されたトラックを複数含む音源である。再生制御部４３は、マルチトラック音源を再生する場合、再生中のマルチトラック音源の拍と、移動動作における所定状態のタイミングとが整合する場合、再生中のトラックの小節が切り替わるタイミングで、マルチトラック音源に含まれる複数のトラックの再生を制御してもよい。例えば、再生制御部４３は、再生中のマルチトラック音源の小節が切り替わるタイミングで、再生中のトラック（即ち、音量が０でないトラック）の再生を停止したり、未再生のトラック（即ち、音量が０であるトラック）の再生を開始したりする。他に、再生制御部４３は、再生中のマルチトラック音源の小節が切り替わるタイミングで、エフェクトを適用してもよい。

例えば、再生制御部４３は、所定期間にわたって移動動作が検出された場合、小節が切り替わるタイミングで未再生のトラックの再生を開始してもよい。この場合、例えばユーザが長期間歩行するほど、再生されるトラックの数が徐々に増加する。他方、再生制御部４３は、所定期間にわたって移動動作が検出されない場合、小節が切り替わるタイミングで再生中のトラックの再生を停止してもよい。この場合、例えばユーザが歩行を停止すると、再生されるトラックの数が徐々に減少する。ユーザが移動動作を継続するほど再生されるトラックが増え、移動動作を停止すると再生されるトラックが減るので、ランニング又はウォーキングを促進することが可能である。

図１１は、本実施形態に係る再生中のマルチトラック音源の小節に応じた再生制御の一例を説明するための図である。図１１の上段のチャート１４１は、ユーザの移動動作における着地のタイミングを時間軸上に示すチャートである。図１１の中段のグラフ１４２は、マルチトラック音源に含まれるトラックＡの音量を示すグラフであり、横軸は時間であり縦軸は音量である。図１１の下段のグラフ１４３は、マルチトラック音源に含まれるトラックＢの音量を示すグラフであり、縦軸は音量であり、横軸は時間である。ここで、チャート１４１に示す歩数とマルチトラック音源の拍とが整合するものとする。マルチトラック音源が４分の４拍子であるとすると、４拍（即ち、４歩）が１小節に相当する。そのため、再生制御部４３は、チャート１４１に示す４歩目のタイミング（即ち、小節の切り替わりのタイミングｔ_１０）で、グラフ１４２に示すようにトラックＡの再生を開始する。次いで、再生制御部４３は、チャート１４１に示す８歩目のタイミング（即ち、小節の切り替わりのタイミングｔ_１１）で、グラフ１４３に示すようにトラックＢの再生を開始する。そして、再生制御部４３は、ユーザが歩行を停止すると、チャート１４１に示す小節の切り替わりのタイミングｔ_１２で、グラフ１４３に示すようにトラックＢの再生を停止する。

図１２は、本実施形態に係る情報処理装置１により実行される再生中のマルチトラック音源の小節に応じた再生制御処理の流れの一例を示すフローチャートである。図１２に示すように、まず、検出部４１は、センサ情報に基づいて着地を検出する（ステップＳ４０２）。次いで、再生制御部４３は、所定期間の間に連続的に着地が検出されたか否かを判定する（ステップＳ４０４）。検出されたと判定された場合（ステップＳ４０４／ＹＥＳ）、再生制御部４３は、再生中のマルチトラック音源の拍と着地タイミングとが整合するか否かを判定する（ステップＳ４０６）。整合しないと判定される場合（ステップＳ４０６／ＮＯ）、処理は再度ステップＳ４０６に戻る。整合すると判定された場合（ステップＳ４０６／ＹＥＳ）、再生制御部４３は、再生中のマルチトラック音源の小節が切り替わるタイミングで、未再生のトラックの音量を徐々に上げる（ステップＳ４０８）。一方で、所定期間の間に連続的に着地が検出されないと判定された場合（ステップＳ４０４／ＮＯ）、再生制御部４３は、再生中のトラックの音量を徐々に下げる（ステップＳ４１０）。

＜＜４．ハードウェア構成例＞＞
最後に、図１３を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図１３は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図１３に示す情報処理装置９００は、例えば、図３及び図７に示した情報処理装置１を実現し得る。本実施形態に係る情報処理装置１による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

図１３に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、電気回路、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図３及び図７に示す制御部４０を形成し得る。

ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

他にも、入力装置９０６は、ユーザに関する情報を検知する装置により形成され得る。例えば、入力装置９０６は、画像センサ（例えば、カメラ）、深度センサ（例えば、ステレオカメラ）、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサを含み得る。また、入力装置９０６は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得してもよい。また、入力装置９０６は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して装置の緯度、経度及び高度を含む位置情報を測定するＧＮＳＳモジュールを含んでもよい。また、位置情報に関しては、入力装置９０６は、Ｗｉ−Ｆｉ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。入力装置９０６は、例えば、図３及び図７に示す第１のセンサ部１０及び第２のセンサ部１１を形成し得る。

出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば、図３及び図７に示す出力部２０を形成し得る。

ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図３及ぶ図７に示す記憶部３０を形成し得る。

ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。

接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。

通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。

なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

＜＜５．まとめ＞＞
以上、図１〜図１３を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る情報処理装置１は、ユーザの移動動作に関するセンサ情報に基づいて予測される、移動動作における所定状態のタイミングの予測結果に基づいて、コンテンツの再生を制御する。実際に移動動作における所定状態が検出されるよりも前に、予測結果に応じたコンテンツの再生制御を開始することができるので、ユーザの体の動きに応じたリアルタイムなコンテンツの提供が可能となる。例えば、情報処理装置１は、ユーザの歩行動作における着地タイミングの予測結果に基づいて、着地タイミングよりも早めに足音の再生処理を開始する。これにより、実際の着地タイミングと足音の再生タイミングとのタイムラグの発生を防止することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、情報処理装置１は、第１のセンサ部１０、第２のセンサ部１１、出力部２０、記憶部３０、及び制御部４０を含むものとしたが、本技術はかかる例に限定されない。例えば、第１のセンサ部１０、第２のセンサ部１１、出力部２０、記憶部３０、及び制御部４０の、少なくとも一部の構成要素は他の構成要素と別の装置として実現されてもよい。例えば、スマートフォンが、第１のセンサ部１０、第２のセンサ部１１、記憶部３０、及び制御部４０を含み、出力部２０を含むヘッドホンに接続されてもよい。また、スマートフォンが記憶部３０及び制御部４０を含み、第１のセンサ部１０、及び第２のセンサ部１１を含む、手足に装着されるウェアラブルデバイス、及び出力部２０を含むイヤホンに接続されてもよい。また、記憶部３０及び制御部４０は、クラウド上のサーバに含まれ、第１のセンサ部１０、第２のセンサ部１１、記憶部３０及び制御部４０を含む端末装置とネットワークを介して接続されてもよい。

また、本技術のユースケースは、上記実施形態で説明したユースケース以外にも多様に考えられる。例えば、本技術は、医療目的に利用されてもよい。例えば、情報処理装置１は、歩行のリハビリテーションを行う患者に対し、着地タイミングを音で又は画像でフィードバックする。これにより、患者は歩行リズムを把握しやすくなる。また、情報処理装置１は、次の目標ステップ位置を音又は画像で提示してもよい。さらに、情報処理装置１は、日々の歩行のログを記録して、改善度合いを患者に提供してもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザの移動動作に関するセンサ情報に基づいて予測される、前記移動動作における所定状態のタイミングの予測結果に基づいて、コンテンツの再生を制御する再生制御部、を備える情報処理装置。
（２）
前記所定状態のタイミングは、前記センサ情報に基づいて検出された前記所定状態のタイミングの時間間隔の時系列推移に基づいて予測される、前記（１）に記載の情報処理装置。
（３）
前記所定状態のタイミングは、前記センサ情報の時系列推移に基づいて予測される、前記（１）又は（２）に記載の情報処理装置。
（４）
前記所定状態のタイミングは、前記センサ情報の時系列推移の予測結果又は前記センサ情報に基づく演算結果の時系列推移の予測結果に基づいて予測される、前記（１）〜（３）のいずれか一項に記載の情報処理装置。
（５）
前記再生制御部は、
予測された前記所定状態のタイミングで前記コンテンツを再生し、
予測された前記所定状態のタイミングで実際に前記所定状態となることが前記センサ情報により検出されない場合、前記コンテンツの再生を制御する、
前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記再生制御部は、前記コンテンツの再生を停止する、音量を下げる、又は前記コンテンツに所定のエフェクトを適用する、前記（５）に記載の情報処理装置。
（７）
前記所定のエフェクトは、ぼかし、又はフェードアウトである、前記（６）に記載の情報処理装置。
（８）
前記再生制御部は、前記センサ情報の信頼度に基づいて前記コンテンツの再生を制御する、前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記再生制御部は、前記信頼度が所定の閾値よりも高い場合にアタックが強い音を出力し、前記信頼度が前記所定の閾値よりも低い場合にアタックが弱い音を出力する、前記（８）に記載の情報処理装置。
（１０）
前記所定状態のタイミングは、歩行動作若しくは走行動作において着地するタイミング、又はジャンプ動作における最高地点に到達するタイミングである、前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記再生制御部は、前記ユーザのユーザ情報、又は前記ユーザに対応するキャラクターのキャラクター情報に基づいて、前記コンテンツの再生を制御する、前記（１）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記ユーザ情報は、前記ユーザの属性、状態、又は位置の少なくともいずれかを含む、前記（１１）に記載の情報処理装置。
（１３）
前記コンテンツは、音を含み、
前記ユーザの状態は、前記センサ情報が示す前記ユーザの前記移動動作の変化の大きさを含む、
前記（１２）に記載の情報処理装置。
（１４）
前記キャラクター情報は、前記キャラクターの属性、状態、又は位置の少なくともいずれかを含む、前記（１１）に記載の情報処理装置。
（１５）
前記再生制御部は、前記コンテンツの再生パラメータを変更後、所定時間経過するまで前記再生パラメータの再度の変更を抑制する、前記（１）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記再生制御部は、音源を再生し、再生中の前記音源の拍と、予測された前記所定状態のタイミングとが整合する場合に、前記コンテンツの再生を制御する、前記（１）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記再生制御部は、音源を再生し、再生中の前記音源の拍と、前記所定状態のタイミングとが整合する場合に、再生中の前記音源の小節が切り替わるタイミングで、再生中の前記音源又は他の音源の再生を制御する、前記（１）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記再生制御部は、マルチトラック音源を再生し、再生中の前記マルチトラック音源の拍と、前記所定状態のタイミングとが整合する場合、再生中の前記マルチトラック音源の小節が切り替わるタイミングで、前記マルチトラック音源に含まれる複数のトラックの再生を制御する、前記（１７）に記載の情報処理装置。
（１９）
ユーザの移動動作に関するセンサ情報に基づいて予測される、前記移動動作における所定状態のタイミングの予測結果に基づいて、コンテンツの再生を制御すること、を含む、プロセッサにより実行される情報処理方法。
（２０）
コンピュータを、
ユーザの移動動作に関するセンサ情報に基づいて予測される、前記移動動作における所定状態のタイミングの予測結果に基づいて、コンテンツの再生を制御する再生制御部、として機能させるためのプログラムが記録された記録媒体。

１ 情報処理装置
１０ 第１のセンサ部
１１ 第２のセンサ部
２０ 出力部
３０ 記憶部
４０ 制御部
４１ 検出部
４２ 予測部
４３ 再生制御部
４４ 位置情報取得部

Claims (20)

1. ユーザの移動動作に関するセンサ情報に基づいて予測される、前記移動動作における所定状態のタイミングの予測結果に基づいて、コンテンツの再生を制御する再生制御部、を備える情報処理装置。
2. 前記所定状態のタイミングは、前記センサ情報に基づいて検出された前記所定状態のタイミングの時間間隔の時系列推移に基づいて予測される、請求項１に記載の情報処理装置。
3. 前記所定状態のタイミングは、前記センサ情報の時系列推移に基づいて予測される、請求項１に記載の情報処理装置。
4. 前記所定状態のタイミングは、前記センサ情報の時系列推移の予測結果又は前記センサ情報に基づく演算結果の時系列推移の予測結果に基づいて予測される、請求項１に記載の情報処理装置。
5. 前記再生制御部は、
   予測された前記所定状態のタイミングで前記コンテンツを再生し、
   予測された前記所定状態のタイミングで実際に前記所定状態となることが前記センサ情報により検出されない場合、前記コンテンツの再生を制御する、
   請求項１に記載の情報処理装置。
6. 前記再生制御部は、前記コンテンツの再生を停止する、音量を下げる、又は前記コンテンツに所定のエフェクトを適用する、請求項５に記載の情報処理装置。
7. 前記所定のエフェクトは、ぼかし、又はフェードアウトである、請求項６に記載の情報処理装置。
8. 前記再生制御部は、前記センサ情報の信頼度に基づいて前記コンテンツの再生を制御する、請求項１に記載の情報処理装置。
9. 前記再生制御部は、前記信頼度が所定の閾値よりも高い場合にアタックが強い音を出力し、前記信頼度が前記所定の閾値よりも低い場合にアタックが弱い音を出力する、請求項８に記載の情報処理装置。
10. 前記所定状態のタイミングは、歩行動作若しくは走行動作において着地するタイミング、又はジャンプ動作における最高地点に到達するタイミングである、請求項１に記載の情報処理装置。
11. 前記再生制御部は、前記ユーザのユーザ情報、又は前記ユーザに対応するキャラクターのキャラクター情報に基づいて、前記コンテンツの再生を制御する、請求項１に記載の情報処理装置。
12. 前記ユーザ情報は、前記ユーザの属性、状態、又は位置の少なくともいずれかを含む、請求項１１に記載の情報処理装置。
13. 前記コンテンツは、音を含み、
    前記ユーザの状態は、前記センサ情報が示す前記ユーザの前記移動動作の変化の大きさを含む、
    請求項１２に記載の情報処理装置。
14. 前記キャラクター情報は、前記キャラクターの属性、状態、又は位置の少なくともいずれかを含む、請求項１１に記載の情報処理装置。
15. 前記再生制御部は、前記コンテンツの再生パラメータを変更後、所定時間経過するまで前記再生パラメータの再度の変更を抑制する、請求項１に記載の情報処理装置。
16. 前記再生制御部は、音源を再生し、再生中の前記音源の拍と、予測された前記所定状態のタイミングとが整合する場合に、前記コンテンツの再生を制御する、請求項１に記載の情報処理装置。
17. 前記再生制御部は、音源を再生し、再生中の前記音源の拍と、前記所定状態のタイミングとが整合する場合に、再生中の前記音源の小節が切り替わるタイミングで、再生中の前記音源又は他の音源の再生を制御する、請求項１に記載の情報処理装置。
18. 前記再生制御部は、マルチトラック音源を再生し、再生中の前記マルチトラック音源の拍と、前記所定状態のタイミングとが整合する場合、再生中の前記マルチトラック音源の小節が切り替わるタイミングで、前記マルチトラック音源に含まれる複数のトラックの再生を制御する、請求項１７に記載の情報処理装置。
19. ユーザの移動動作に関するセンサ情報に基づいて予測される、前記移動動作における所定状態のタイミングの予測結果に基づいて、コンテンツの再生を制御すること、を含む、プロセッサにより実行される情報処理方法。
20. コンピュータを、
    ユーザの移動動作に関するセンサ情報に基づいて予測される、前記移動動作における所定状態のタイミングの予測結果に基づいて、コンテンツの再生を制御する再生制御部、として機能させるためのプログラムが記録された記録媒体。

Images