JPWO2016111067A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JPWO2016111067A1
JPWO2016111067A1 JP2016568284A JP2016568284A JPWO2016111067A1 JP WO2016111067 A1 JPWO2016111067 A1 JP WO2016111067A1 JP 2016568284 A JP2016568284 A JP 2016568284A JP 2016568284 A JP2016568284 A JP 2016568284A JP WO2016111067 A1 JPWO2016111067 A1 JP WO2016111067A1
Authority
JP
Japan
Prior art keywords
user
action
information processing
processing apparatus
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016568284A
Other languages
English (en)
Other versions
JP6658545B2 (ja
Inventor
荘太 松澤
荘太 松澤
小形 崇
崇 小形
仁 大久保
仁 大久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016111067A1 publication Critical patent/JPWO2016111067A1/ja
Application granted granted Critical
Publication of JP6658545B2 publication Critical patent/JP6658545B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F17/00Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3225Data transfer within a gaming system, e.g. data sent between gaming machines and users
    • G07F17/323Data transfer within a gaming system, e.g. data sent between gaming machines and users wherein the player is informed, e.g. advertisements, odds, instructions
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/18Training appliances or apparatus for special sports for skiing
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/54Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/807Gliding or sliding on surfaces, e.g. using skis, skates or boards
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F17/00Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3286Type of games
    • G07F17/3288Betting, e.g. on live events, bookmaking
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

検出されたユーザのアクションを示すアクション情報を取得する情報取得部と、上記アクションの時間的または空間的なシーケンスに従って展開するコンテンツを提供するコンテンツ提供部とを備える情報処理装置が提供される。【選択図】図1

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
例えばユーザに装着されたセンサによって提供されるセンサデータに基づいて、ユーザのさまざまな行動を検出する技術が種々提案されている。例えば、特許文献1には、センサデータの閾値処理によって認識されたユーザの行動のうち特定の行動に特化した複数の行動判定部を有し、それぞれの行動判定部における判定結果に基づいて行動情報を生成する情報処理装置が記載されている。
特開2010−198595号公報
例えば特許文献1に記載されたような技術によって検出されるユーザの行動(アクション)には、情報の生成に限らず様々な活用の仕方がありうる。しかしながら、そのような活用の仕方については、必ずしもこれまで十分に提案されてきたとはいえない。
そこで、本開示では、ユーザのアクションの検出結果に基づいて、ユーザに様々な便益をもたらすことが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、検出されたユーザのアクションを示すアクション情報を取得する情報取得部と、上記アクションの時間的または空間的なシーケンスに従って展開するコンテンツを提供するコンテンツ提供部とを備える情報処理装置が提供される。
また、本開示によれば、検出されたユーザのアクションを示すアクション情報を取得することと、プロセッサが、上記アクションの時間的または空間的なシーケンスに従って展開するコンテンツを提供することとを含む情報処理方法が提供される。
また、本開示によれば、検出されたユーザのアクションを示すアクション情報を取得する機能と、上記アクションの時間的または空間的なシーケンスに従って展開するコンテンツを提供する機能とをコンピュータに実現させるためのプログラムが提供される。
以上説明したように本開示によれば、ユーザのアクションの検出結果に基づいて、ユーザに様々な便益をもたらすことができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。 本開示の一実施形態において、ユーザのアクションに含まれるジャンプを検出するための処理の第1の例を示すフローチャートである。 図2に示したハイインパクト検出処理の例を示すフローチャートである。 図2に示した自由落下検出処理の第1の例を示すフローチャートである。 図2に示した自由落下検出処理の第2の例を示すフローチャートである。 本開示の一実施形態において、ユーザのアクションに含まれるジャンプを検出するための処理の第2の例を示すフローチャートである。 図6に示した候補区間検出処理の例を示すフローチャートである。 図7に示した鉛直方向加速度算出処理の例を示すフローチャートである。 図7に示した水平方向加速度算出処理の例を示すフローチャートである。 本開示の一実施形態において、ユーザのアクションに含まれるターン区間を検出するための処理の例を示すフローチャートである。 図10に示した回転区間検出処理の例を示すフローチャートである。 図10に示した首振り検出処理の例を示すフローチャートである。 図10に示したターン検出処理の例を示すチャートである。 本開示の一実施形態において、センサ装着状態を推定するための処理の例を示すブロック図である。 本開示の一実施形態において仮想的なゲームコースを提供するための処理の例を示すフローチャートである。 本開示の一実施形態において提供される仮想的なゲームコースの第1の例を示す図である。 本開示の一実施形態において提供される仮想的なゲームコースの第2の例を示す図である。 本開示の一実施形態において提供される仮想的なゲームコースの第2の例を示す図である。 本開示の一実施形態において提供される仮想的なゲームコースの第3の例を示す図である。 本開示の一実施形態において提供される仮想的なゲームコースの第4の例を示す図である。 本開示の一実施形態において提供される仮想的なゲームコースの第4の例を示す図である。 本開示の一実施形態において提供される音楽リズムゲームの例を示す図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.情報処理装置の機能構成
2.アクション検出処理の例
2−1.ジャンプの検出−1
2−2.ジャンプの検出−2
2−3.ターンの検出
3.付加的な処理の例
3−1.アクションスコアの算出
3−2.クラスタリング処理
3−3.センサ装着状態の推定
4.コンテンツ提供の例
4−1.仮想的なゲームコースの提供
4−2.音楽リズムゲームの提供
4−3.アクションに応じてストーリーが展開するコンテンツの提供
4−4.コレクションコンテンツの提供
5.ハードウェア構成
6.補足
(1.情報処理装置の機能構成)
図1は、本開示の一実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。図1を参照すると、情報処理装置100は、送信部101と、受信部102と、センサデバイス制御部103と、センサデータ解析部104と、解析結果処理部107と、検出区間情報保持部110と、付加的情報保持部111と、サービス制御部112とを含む。
情報処理装置100は、例えば後述するいくつかの具体的な例において示されるように、ネットワーク上のサーバを構成する単一の装置、または装置の集合体でありうる。また、情報処理装置100は、ネットワークを介してサーバと通信する端末装置、または単独で動作する端末装置であってもよい。あるいは、情報処理装置100の機能は、ネットワークを介して互いに通信するサーバと端末装置とに分散して実現されてもよい。情報処理装置100、または情報処理装置100の機能を実現する複数の装置のそれぞれのハードウェア構成については後述する。
送信部101および受信部102は、例えば有線または無線の各種通信方式によってセンサデバイスと通信する通信装置によって実現される。センサデバイスは、ユーザまたはユーザによって使用される器具に装着された少なくとも1つのセンサを含む。送信部101は、センサデバイス制御部103が出力する制御信号をセンサデバイスに送信する。受信部102は、センサデバイスからセンサデータおよび時刻情報(タイムスタンプ)を受信し、これらをセンサデバイス制御部103に入力する。図示された例において、受信部102は、ユーザまたはユーザによって使用される器具に装着されたセンサによって提供されるセンサデータを受信するセンサデータ受信部を実現する。なお、例えば情報処理装置100が、少なくとも1つのセンサを備える端末装置、より具体的にはモバイルデバイスやウェアラブルデバイスであるような場合には、センサからセンサデータを受信するドライバプログラムを実行するCPU(Central Processing Unit)などのプロセッサによってセンサデータ受信部が実現されてもよい。また、本実施形態に係る情報処理装置は、例えば、センサを備える外部の装置からセンサデータを取得する取得部を備えていてもよい。ここで、取得部は、例えば、“送信部101および受信部102を実現する上記通信装置などを介して、センサを備える外部の装置からセンサデータを受信するドライバプログラム”を実行するCPUなどのプロセッサによって、実現される。なお、取得部を備える場合、本実施形態に係る情報処理装置は、センサデータ受信部を備えない構成をとることも可能である
センサデバイス制御部103は、例えばCPUなどのプロセッサが、メモリに格納されたプログラムに従って動作することによって実現される。センサデバイス制御部103は、受信部102からセンサデータおよび時刻情報を取得する。センサデバイス制御部103は、これらのデータをセンサデータ解析部104および解析結果処理部107に提供する。センサデバイス制御部103は、必要に応じて、データの前処理を実施してもよい。また、センサデバイス制御部103は、センサデバイスの制御信号を送信部101に出力する。いくつかの実施形態において、センサデバイス制御部103は、センサデータ解析部104または解析結果処理部107における処理の結果のフィードバックに基づいて、制御信号を出力してもよい。
センサデータ解析部104は、例えばCPUなどのプロセッサが、メモリに格納されたプログラムに従って動作することによって実現される。センサデータ解析部104は、センサデバイス制御部103から提供されたセンサデータを用いた種々の解析を実行する。図示された例において、センサデータ解析部104は、特徴量抽出部105と、アクション検出部106とを含む。特徴量抽出部105は、センサデータから各種の特徴量を抽出する。アクション検出部106は、特徴量抽出部105によってセンサデータから抽出された特徴量に基づいて、ユーザのアクションを検出する。本実施形態において、アクション検出部106が検出するユーザのアクションには、ユーザのターンおよび/またはジャンプが含まれる。さらに、アクション検出部106は、歩く、走る、静止する、乗り物で移動するなどといった、その他のユーザのアクションを検出してもよい。ユーザのアクションは、それが発生した区間(アクション区間)を示す時刻情報(タイムスタンプ)に関連付けて検出されうる。センサデータ解析部104は、解析結果、より具体的には例えばアクション検出部106によって検出されたユーザのアクション区間を含む情報を、検出区間情報保持部110に格納する。また、センサデータ解析部104は、解析結果を、解析結果処理部107に提供する。
解析結果処理部107は、例えばCPUなどのプロセッサが、メモリに格納されたプログラムに従って動作することによって実現される。解析結果処理部107は、センサデータ解析部104の解析結果、より具体的にはアクション検出部106によって検出されたユーザのアクションの情報に基づいて、後段のサービス制御部112によって利用される各種の付加的な情報を生成する。図示された例において、解析結果処理部107は、クラスタリング処理部108と、スコアリング処理部109とを含む。例えば、検出されたユーザのアクションが同じ種類の複数のアクションを含む場合、クラスタリング処理部108が、これらのアクションをその特徴量(特徴量抽出部105によって抽出された特徴量であってもよいし、アクション検出部106によって算出された中間的な特徴量であってもよい)に基づいてクラスタリングしてもよい。また、同じ場合、スコアリング処理部109が、特徴量に基づいてアクションの評価を示すスコアを算出してもよい。また、クラスタリング処理部108および/またはスコアリング処理部109は、センサデバイス制御部103から提供されたセンサデータに基づいて、新たに特徴量を算出してもよい。解析結果処理部107は、処理結果、より具体的にはクラスタリング処理部108によるクラスタリングの結果や、スコアリング処理部109によって算出されたスコアの情報を、時刻情報(タイムスタンプ)とともに付加的情報保持部111に格納する。
検出区間情報保持部110および付加的情報保持部111は、例えば各種のメモリまたはストレージ装置によって実現される。検出区間情報保持部110および付加的情報保持部111は、上記のようにセンサデータ解析部104および解析結果処理部107から提供された情報を、一時的または永続的に格納する。検出区間情報保持部110に格納された情報と、付加的情報保持部111に格納された情報とは、例えば時刻情報(タイムスタンプ)によって互いに対応付けることが可能でありうる。また、検出区間情報保持部110および付加的情報保持部111には、複数のユーザのそれぞれに関する情報が格納されてもよい。
サービス制御部112は、例えばCPUなどのプロセッサが、メモリに格納されたプログラムに従って動作することによって実現される。サービス制御部112は、検出区間情報保持部110および/または付加的情報保持部111に格納された情報を利用して、サービス113を制御する。より具体的には、例えば、サービス制御部112は、検出区間情報保持部110および/または付加的情報保持部111から読み出した情報に基づいて、サービス113においてユーザに提供される情報を生成する。なお、例えば情報処理装置100がサーバであるような場合、サービス制御部112によって出力された情報は、通信装置を介して端末装置に送信されうる。また、例えば情報処理装置100が端末装置であるような場合、サービス制御部112によって出力された情報は、端末装置が備えるディスプレイ、スピーカ、またはバイブレータなどの出力装置に提供されうる。
(2.アクション検出処理の例)
以下では、本開示の一実施形態において実行されるアクション検出処理の例について説明する。これらの例では、ユーザがスノーボードをしている場合に発生するジャンプおよびターンが検出される。例えば、スノーボードの場合、加速度センサおよび角速度センサなどを含むセンサデバイスは、ウェアに埋め込まれたり、ウェアラブル端末装置やモバイル端末装置に組み込まれたりすることによって、ユーザに直接的に装着されてもよい。あるいは、センサデバイスは、スノーボードの用具、例えばボードに装着されてもよい。
なお、本実施形態で実行されるアクション検出処理はスノーボードで発生するジャンプやターンには限られず、例えばスノーボード以外のスポーツで発生するジャンプやターンについてアクション検出処理が実行されてもよい。ジャンプやターンは、さまざまなスポーツで共通して発生しうるアクションであるため、例えば以下で説明するような検出処理によって、スポーツの種類に関わらずジャンプやターンを検出することが可能でありうる。また、本実施形態で実行されるアクション検出処理では、ジャンプやターン以外のアクションが検出されてもよい。そのようなアクション検出処理には、例えば特開2010−198595号公報などに記載された行動認識の技術において利用されている様々な技術を応用することが可能である。
(2−1.ジャンプの検出−1)
図2は、本開示の一実施形態において、ユーザのアクションに含まれるジャンプを検出するための処理の第1の例を示すフローチャートである。図示された処理は、例えば上記の情報処理装置100に含まれるセンサデータ解析部104において実行される。
まず、センサデータ解析部104は、所定のタイムフレームごとに、ハイインパクト検出処理(S110)と、自由落下検出処理(S120)とを実行する。なお、これらの処理の詳細については後述する。これらの処理の結果を受けて、センサデータ解析部104に含まれるアクション検出部106は、2つのハイインパクト区間(踏み切りおよび着地と推定される)に挟まれた区間が発生したか否かを判定する(S101)。そのような区間が発生した場合、アクション検出部106は、区間の持続時間(duration)が2つの閾値(TH1,TH2)の間にあるか否かを判定する(S102)。これらの閾値は、例えば、ジャンプとしては長すぎる区間や短すぎると判断される区間を除外する目的で設定される。
S102の判定において持続時間が2つの閾値の間にあった場合、さらに、アクション検出部106は、当該区間における自由落下区間の比率が閾値(TH)を超えるか否かを判定する(S103)。自由落下区間の比率が閾値を超える場合、当該区間(2つのハイインパクト区間に挟まれた区間)がジャンプ区間であることが検出される(S104)。
図3は、図2に示したハイインパクト検出処理(S110)の例を示すフローチャートである。図3を参照すると、ハイインパクト検出処理では、センサデータに含まれる加速度(D111)が利用される。まず、センサデータ解析部104に含まれる特徴量抽出部105が、加速度のノルムを算出し(S112)、さらにノルムをLPF(Low Pass Filter)によってスムージングする(S113)。続いて、特徴量抽出部105は、スムージングされた加速度のノルムについて、所定のタイムフレームで振幅のパワーを算出する(S114)。アクション検出部106は、パワーが閾値(TH)を上回るか否かを判定し(S115)、パワーが閾値を上回る場合、当該タイムフレームがハイインパクト区間であることを検出する(S116)。
なお、本明細書および図面において、TH、TH1またはTH2などとして表記される閾値には、それぞれの処理において適切な値が設定される。つまり、これらの閾値がいずれもTHなどとして表記されていることは、これらの閾値が同じ値であることを示すものではない。
図4は、図2に示した自由落下検出処理(S120)の第1の例を示すフローチャートである。図4を参照すると、第1の例に係る自由落下検出処理では、センサデータに含まれる加速度(D121)および角速度(D125)が利用される。まず、特徴量抽出部105が加速度のノルムを算出し(S122)、アクション検出部106が各区間におけるノルムが閾値(TH)を下回るか否かを判定する(S123)。アクション検出部106は、加速度のノルムが閾値を下回った区間について、当該区間が自由落下区間であることを検出する(S124)。
一方、特徴量抽出部105は、角速度についてもノルムを算出し(S126)、さらに所定のタイムフレームにおけるノルムの分散を算出する(S127)。アクション検出部106は、角速度のノルムの分散が閾値(TH)を下回るか否かを判定し(S128)、分散が閾値を下回る場合、S124において検出された自由落下区間をマスクする(つまり、自由落下区間としての判定を取り消す)(S129)。このような角速度に基づくマスク処理は、ユーザがジャンプした場合には角速度の変化が発生するため、角速度の変化(分散)が小さい自由落下区間はジャンプ以外の原因で発生している、という知見に基づく。
なお、上記の処理において、S126〜S129におけるマスクの処理は、必ずしもS121〜S124における自由落下区間の判定処理の後に実行されなくてもよい。例えば、アクション検出部106は、マスクの処理を先行して実行し、マスクする区間として特定された区間については自由落下区間の判定処理を実行しなくてもよい。あるいは、マスクの処理は、図2に示したジャンプ区間の検出処理(S104)の後に実行され、一旦ジャンプ区間として検出された区間がマスクされてもよい。さらにいえば、図4などに示す自由落下処理(S120)は、必ずしも図2に示した区間の発生判定(S101)の前に実行される必要はなく、区間の発生判定の後、例えば自由落下区間の比率に関する判定(S103)の前に、当該区間について自由落下検出処理が実行されてもよい。
図5は、図2に示した自由落下検出処理(S120)の第2の例を示すフローチャートである。図5を参照すると、第2の例に係る自由落下検出処理では、ユーザまたはユーザによって使用される器具に装着された加速度センサによって提供されるセンサデータに含まれる加速度(D121)が利用される。S122〜S124では、特徴量抽出部105およびアクション検出部106が上記の第1の例と同様の処理を実行し、自由落下区間を検出する。
一方、本例において、特徴量抽出部105は、加速度のX軸成分およびY軸成分を抽出し(S132)、さらに加速度のX軸成分とY軸成分との間での共分散を算出する(S133)。より具体的には、例えば、特徴量抽出部105は、ユーザが基準面(水平面には限らず、傾斜面であってもよい)上を歩いたり走ったりしている場合に、加速度センサの座標軸のうちユーザの進行方向に最も近い軸をX軸、基準面の法線方向に最も近い軸をY軸とし、これらの軸方向の加速度成分(X軸成分、Y軸成分)の共分散を算出する。アクション検出部106は、共分散が閾値(TH)を下回るか否かを判定し(S134)、共分散が閾値を下回る場合、S124において検出された自由落下区間をマスクする(S129)。このような加速度の共分散に基づくマスク処理は、例えば、検出したいジャンプが専ら基準面の法線方向の変位を伴ういわゆる垂直跳びではなく、ユーザの進行方向への変位を伴うジャンプである場合に有効である。
(2−2.ジャンプの検出−2)
図6は、本開示の一実施形態において、ユーザのアクションに含まれるジャンプを検出するための処理の第2の例を示すフローチャートである。図示された処理は、上記の第1の例と同様に、例えば情報処理装置100に含まれるセンサデータ解析部104において実行される。
まず、センサデータ解析部104は、候補セクション検出処理(S140)を実行する。なお、この処理の詳細については後述する。処理の結果を受けて、センサデータ解析部104に含まれるアクション検出部106は、候補区間が発生したか否かを判定する(S105)。候補区間が発生した場合、アクション検出部106は、上記の第1の例と同様に、区間の持続時間(duration)が2つの閾値(TH1,TH2)の間にあるか否かを判定する(S102)。持続時間が2つの閾値の間にあった場合、さらに、アクション検出部106は、区間における鉛直方向および水平方向の加速度の平均値(mean)がそれぞれの閾値(THs)を超えるか否かを判定する(S106)。加速度の平均値がそれぞれの閾値を超える場合、当該候補区間がジャンプ区間であることが検出される(S104)。
図7は、図6に示した候補区間検出処理(S140)の例を示すフローチャートである。図7を参照すると、候補区間検出処理では、まず、上記で図3を参照して説明したハイインパクト検出処理(S110)と、鉛直方向加速度算出処理(S141)と、水平方向加速度算出処理(S142)とが実行される。さらに、センサデータ解析部104に含まれる特徴量抽出部105は、各区間について、S141,S142で算出された鉛直方向加速度と水平方向加速度との差分を算出する(S143)。その上で、アクション検出部106が、2つのハイインパクト区間(踏み切りおよび着地と推定される)に挟まれた区間が発生したか否かを判定する(S144)。そのような区間が発生した場合、アクション検出部106は、S143で算出された鉛直方向加速度と水平方向加速度との差分が、当該区間において閾値(TH)を超えるか否かを判定する(S145)。差分が閾値を超える場合、当該区間(2つのハイインパクト区間に挟まれた区間)がジャンプ区間の候補区間であることが検出される(S146)。
図8は、図7に示した鉛直方向加速度算出処理(S141)の例を示すフローチャートである。図8を参照すると、鉛直方向加速度算出処理では、センサデータに含まれる加速度(D151)が利用される。まず、センサデータ解析部104に含まれる特徴量抽出部105が、加速度の平均値(mean)を算出する(S152)。ここで算出される平均値は、例えば移動平均でありうる。S152で算出された加速度の平均値に基づいて、特徴量抽出部105は重力成分加速度算出処理を実行する(S153)。さらに、特徴量抽出部105は、算出された重力成分加速度のノルムを算出する(S154)。なお、重力成分加速度は、移動平均などの平均値に基づいて算出されてもよいし、LPFなどのフィルタを用いて算出されてもよい。
一方、特徴量抽出部105は、上記のS152〜S154の処理とは別に、加速度(D151)をBPF(Band Pass Filter)で処理する(S155)。図示された例において、BPFは、低周波領域のフィルタによって加速度に含まれるDC成分(つまり、重力成分)を除去し、さらに高周波領域のフィルタによって加速度をスムージングすることを目的として用いられる。なお、S155のBPFは、例えばLPFやHPF(High Pass Filter)など、他の種類のフィルタの組み合わせによって代替されてもよい。特徴量抽出部105は、BPFによって処理された加速度について、S153で算出された重力成分加速度との内積を算出する(S156)。
さらに、特徴量抽出部105は、S156で算出された内積を、S154で算出された重力成分加速度のノルムで割る(S157)。これによって、鉛直方向加速度(V158)が得られる。図示された例において、鉛直方向加速度は、BPF(S155)によって重力成分を除去した加速度を、重力成分加速度の方向に射影することによって算出されている。
図9は、図7に示した水平方向加速度算出処理(S142)の例を示すフローチャートである。図9を参照すると、水平方向加速度算出処理でも、センサデータに含まれる加速度(D151)が利用される。また、水平方向加速度算出処理では、上記で図8を参照して説明した鉛直方向加速度算出処理(S141)において算出された鉛直方向加速度が利用される。より具体的には、センサデータ解析部104に含まれる特徴量抽出部105は、鉛直方向加速度を2乗して利用する(S161)。
その一方で、特徴量抽出部加速度(D151)をBPFで処理し(S162)、加速度に含まれるDC成分を除去するとともに加速度をスムージングする。なお、S162のBPFも、例えばLPFやHPFなど、他の種類のフィルタの組み合わせによって代替されてもよい。特徴量抽出部105は、BPFによって処理された加速度のノルムを算出し(S163)、これを2乗する(S164)。さらに、特徴量抽出部105は、S161で算出された鉛直方向加速度の2乗と、S164で算出された水平方向加速度の2乗との差分を算出し(S165)、差分の平方根(S166)によって水平方向加速度(V167)を得る。
以上で説明したような、本開示の一実施形態におけるジャンプ検出では、ジャンプ検出の第1の例(図2)で自由落下検出処理に第1の例(図4)を採用する場合と、同じくジャンプ検出の第1の例(図2)で自由落下検出処理に第2の例(図5)を採用する場合と、ジャンプ検出の第2の例(図6)の場合とで、合計3種類のジャンプ検出処理が可能である。アクション検出部106を含むセンサデータ解析部104は、これらの3種類のジャンプ検出処理をそれぞれ実行した上で、それらの結果に基づいて最終的なジャンプ区間を検出してもよい。より具体的には、例えば、アクション検出部106は、3種類のジャンプ検出処理のうちの少なくとも1つでジャンプ区間が検出された場合に、当該区間を最終的なジャンプ区間として検出してもよい。あるいは、アクション検出部106は、3種類のジャンプ検出処理のうちの2つ以上、または3種類すべてでジャンプ区間が検出された場合に、当該区間を最終的なジャンプ区間として検出してもよい。
(2−3.ターンの検出)
図10は、本開示の一実施形態において、ユーザのアクションに含まれるターン区間を検出するための処理の例を示すフローチャートである。図示された処理は、例えば上記の情報処理装置100に含まれるセンサデータ解析部104において実行される。以下の処理では、センサデータ解析部104が、ユーザのアクションに含まれる回転を検出し(S210)、さらにその回転に含まれる非ターン性の回転を検出し(S230)、回転から非ターン性の回転を除いたものの中からターンを検出する(S250)。
ここで、非ターン性の回転は、例えば、センサがユーザの頭部、またはユーザの頭部に装着される器具に装着されるセンサを含む場合に、ユーザの首振りによって発生する回転を含む。非ターン性の回転は、他にも、ユーザの体動によって発生する回転、より具体的には、センサがユーザの腕部、またはユーザの腕部に装着される器具に装着されるセンサを含む場合に、ユーザの腕振りや腕回しによって発生する回転などを含みうる。
本実施形態では、センサデータ解析部104が、このような非ターン性の回転を除いた上でターン区間を検出することで、より精度の高いターン区間の検出が可能になる。そのような意味で、非ターン性の回転は、検出対象であるターンに対するノイズであるともいえ、本実施形態において、センサデータ解析部104は、ユーザのアクションに含まれる回転を検出し、さらにその回転に含まれるノイズを検出し、回転からノイズを除いたものの中からターンを検出するともいえる。
まず、センサデータ解析部104は、回転区間検出処理(S210)を実行する。本実施形態において、回転区間は、水平面方向の角速度が閾値を超える区間として定義される。センサデータ解析部104は、回転区間が発生したか否かを判定する(S201)。回転区間が発生した場合、まず、センサデータ解析部104は、首振り(HEAD SHAKE)検出処理(S230)を実行する。さらに、センサデータ解析部104は、首振りが検出されたか否かを判定し(S203)、首振りが検出されなかった場合に、さらにターン検出処理(S250)を実行する。このような処理によって、回転区間からユーザの首振り(例えば、センサが頭部装着型のウェアラブル端末装置に搭載されている場合などに発生する)によって生じた区間が除かれ、さらに回転半径や角速度、持続時間などが所望の条件を満たすターン区間を抽出することができる。
図11は、図10に示した回転区間検出処理(S210)の例を示すフローチャートである。図11を参照すると、回転区間検出処理では、センサデータに含まれる加速度(D211)および角速度(D214)が利用される。まず、センサデータ解析部104に含まれる特徴量抽出部105が、加速度の平均値(mean)を算出する(S212)。ここで算出される平均値は、例えば移動平均でありうる。S212で算出された加速度の平均値に基づいて、特徴量抽出部105は重力成分加速度算出処理を実行する(S213)。さらに、特徴量抽出部105は、S213で算出された重力成分加速度と、角速度(D214)との内積を算出する(S215)。これによって、重力成分加速度の方向への角速度の射影、つまり水平面方向(鉛直軸回り)の角速度(V216)が得られる。
ここで、特徴量抽出部105は、算出された角速度を一旦積分して(S217)、水平面方向の角変位(V218)を算出する。特徴量抽出部105は、角変位をLPFで処理する(S219)。さらに、特徴量抽出部105は、角変位を微分して(S220)、水平面方向の角速度(V221)にする。V221の角速度は、V218の角速度と比較して、S217で一旦積分され、さらに積分後の角変位がS219でLPFによって処理されたことによってスムージングされ、波形からノイズが除去されている。センサデータ解析部104に含まれるアクション検出部106は、水平面方向の角速度(V221)が閾値を上回るか否かを判定し(S222)、角速度が閾値を上回る区間を回転区間として検出する(S223)。
図12は、図10に示した首振り検出処理(S230)の例を示すフローチャートである。図12を参照すると、首振り検出処理では、図11に示した回転区間検出処理で算出された、スムージング後の水平面方向の角速度(V221)を利用する。特徴量抽出部105は、角速度の符号を取得する(S231)。回転の向きに対する符号の定義はどのようなものでもよいが、図示された例において、角速度(V221)の符号として、時計回りの回転(V232)と、反時計回りの回転(V233)とを定義する。さらに、特徴量抽出部105は、逆向きの回転が発生した時間間隔を算出する(S234)。つまり、図示された例において、特徴量抽出部105は、時計回りの回転(V232)が発生してから反時計回りの回転(V233)が発生するまでの時間間隔、および反時計回りの回転(V233)が発生してから時計回りの回転(V232)が発生するまでの時間間隔を算出する。アクション検出部106は、S234で算出された時間間隔が閾値(TH)を下回るか否かを判定し(S235)、時間間隔が閾値を下回る場合に、首振りが発生していることを検出する(S236)。
図13は、図10に示したターン検出処理(S250)の例を示すチャートである。ターン検出処理では、特徴量抽出部105によって複数の特徴量が算出され、それぞれの特徴量に基づいてアクション検出部106が閾値による判定を実施する。図13には、特徴量抽出部105がそれぞれの特徴量を算出するための処理が示されている。なお、以下の説明ではそれぞれの特徴量の算出の処理を順を追って説明するが、特徴量抽出部105による処理は必ずしも説明の順序に実行されなくてもよく、前提になる量が取得または算出されていれば、任意の順序で処理が実行されうる。
まず、特徴量抽出部105は、センサデータに含まれる加速度(D251)のノルムを算出し(S252)、さらに所定のタイムフレームにおけるノルムの平均値を算出する(S253)。このようにして算出された加速度ノルム平均(V254)は、ターン検出のための特徴量の1つとして利用される。
一方、特徴量抽出部105は、加速度(D251)を第1のLPFで処理し(S273)、重力成分加速度(V274)を算出する。さらに、特徴量抽出部105は、センサデータに含まれる角速度(D255)と重力成分加速度との内積を算出する(S256)。これによって、重力成分加速度の方向への角速度の射影、つまり水平面方向(鉛直軸回り)の角速度(V257)が得られる。特徴量抽出部105は、算出された角速度を積分して(S258)、水平面方向の角変位(V259)を算出する。角変位(V259)も、ターン検出のための特徴量の1つとして利用される。
さらに、特徴量抽出部105は、角変位(V259)と、処理の対象になっている回転区間の持続時間(duration)(V260)とに基づいて、角速度(V261)を算出する。V261の角速度は、例えばD255の角速度と比べて、より長いタイムフレーム(例えば回転区間全体でスムージングされたものでありうる。回転区間の持続時間(V260)および角変化率(V261)も、ターン検出のための特徴量の1つとして利用される。
また、特徴量抽出部105は、角変位(V259)を所定のタイムフレームについて解析する(S262)ことによって、いくつかの特徴量を算出する。より具体的には、特徴量抽出部105は、タイムフレーム内での角速度の最大値(S263,V268)、平均値(S264,V269)、分散(S265,V270)、尖度(S266,V271)、および歪度(S267,V272)を算出する。これらの特徴量も、ターン検出のための特徴量として利用される。
一方で、特徴量抽出部105は、加速度(D251)を第2のLPFで処理する(S275)。図示された例では、第1のLPF(S273)が、加速度に含まれるDC成分である重力成分加速度(V274)を抽出するために用いられたのに対して、第2のLPF(S275)は、高周波領域をフィルタすることによって加速度をスムージングするために用いられる。従って、これらのLPFの通過帯域設定は異なりうる。
特徴量抽出部105は、第2のLPF(S275)によってスムージングされた加速度と、第1のLPF(S273)によって抽出された重力成分加速度(V274)との内積を算出する(S276)。これによって、鉛直方向加速度(V277)が得られる。さらに、特徴量抽出部105は、重力成分加速度(V274)と鉛直方向加速度(V277)とを合成した加速度ベクトルの、第2のLPF(S275)によってスムージングされた加速度との差分を算出する(S278)。これによって、水平方向加速度(V279)が得られる。特徴量抽出部105は、水平方向加速度の平均値を算出する(S280).このようにして算出された水平方向加速度の平均値(V281)も、ターン検出のための特徴量として利用される。
アクション検出部106は、例えば上記のようにしてセンサデータから抽出された特徴量に基づいて、ターンが発生したか否かの判定を実施する。図示された例において、アクション検出部106は、回転区間の持続時間(V260)、水平面方向の角変位(V259)、スムージングされた角速度(V261)、加速度ノルム平均(V254)、水平方向加速度の平均値(V281)、タイムフレーム内での角速度の最大値(V268)、平均値(V269)、分散(V270)、尖度(V271)、および歪度(V272)に基づいて判定を実施する。
なお、判定に用いられる特徴量は上記の例には限られず、例えば上記の例以外の特徴量が用いられてもよいし、上記の例の特徴量の一部が用いられなくてもよい。例えば、センサデータから抽出可能な様々な種類の特徴量の中から、実際にターンが発生したときのセンサデータに基づく主成分分析によって、ターン検出に使用する特徴量の種類が決定されてもよい。あるいは、実際にターンが発生したときに現れるセンサデータの傾向に基づいて、判定に用いられる特徴量が決定されてもよい。例えば、上記の例のうち、加速度ノルム平均(V254)および水平方向加速度の平均値(V281)は、ターンの回転半径に関係する特徴量である。
また、アクション検出部106による判定において適用される各特徴量の閾値は、例えば、実際にターンが発生した時のセンサデータに基づく機械学習の結果に従って決定される。このとき、実際にターンが発生したか否かは、例えば、センサデータと同時に取得されたアクションの映像を参照してマニュアルで決定されてもよい。また、単にターンが発生したか否かだけではなく、どのようなターンかを示すラベルが与えられてもよい。より具体的には、例えば、映像を参照した結果、サービス提供者側で、ターンとして検出したい、ターンとして検出したくない、またはどちらでもよいと判定されたアクションについて、それぞれの属性を示すラベルが与えられてもよい。
以上、本開示の一実施形態において実行されるアクション検出処理のいくつかの例について説明した。既に説明した通り、本実施形態で実行されるアクション検出処理はスノーボードで発生するジャンプやターンには限られず、例えばスノーボード以外のスポーツ、またはスポーツ以外のシーンで発生するジャンプやターンについてアクション検出処理が実行されてもよい。また、本実施形態で実行されるアクション検出処理では、ジャンプやターン以外のアクションが検出されてもよい。一例として、アクション検出部106は、スノーボードなどで発生する転倒を検出してもよい。この場合、特徴量抽出部105が上述したジャンプやターンの検出と同様にして加速度のノルムを算出し、アクション検出部106が、加速度のノルムが閾値(例えば、通常の滑降では発生しない程度の大きな値でありうる)を上回った場合に、転倒の発生を検出してもよい。
(3.付加的な処理の例)
(3−1.アクションスコアの算出)
例えば、解析結果処理部107に含まれるスコアリング処理部109は、上記で図2〜図13を参照して説明したような処理によって検出されるジャンプ区間および/またはターン区間を含むアクション区間について、発生したアクションを評価するスコア(アクションスコア)を算出する。アクションスコアは、例えばアクション区間におけるセンサデータから、アクションの良し悪しや特徴を表す物理量(特徴量)を抽出し、それらを重みづけ加算することによって算出されうる。サービス制御部112は、このようにして算出されたスコアに基づいて、アクション(例えばジャンプまたはターン)に関する情報を生成する。
例えば、ジャンプ区間の場合、区間の持続時間(duration)、区間におけるX軸/Y軸/Z軸回りの角変位)、自由落下区間の割合、踏切時/着地時の衝撃の大きさなどが、スコアを算出するための特徴量として抽出されうる。また、例えば、ターン区間の場合、区間の持続時間、変位角、各速度の平均値、最大値、および標準偏差、角加速度の最大値および標準偏差などが、スコアを算出するための特徴量として抽出されうる。
なお、重みづけ加算の係数は、例えば、情報処理装置100によって提供されるサービス113において重視されるアクションの性質に応じて設定されうる。また、特徴量からアクションのスコアを算出するための方法は重みづけ加算には限られず、他の計算方法が用いられてもよい。例えば、線形回帰モデルなど、機械学習のアルゴリズムを適用することによってアクションスコアを算出してもよい。
(3−2.クラスタリング処理)
また、例えば、解析結果処理部107に含まれるクラスタリング処理部108は、上記で図2〜図13を参照して説明したような処理によって検出されるジャンプ区間および/またはターン区間を含むアクション区間について、スコアリングのために抽出した特徴量などを利用してk−means法などのクラスタリングアルゴリズムを適用し、検出されたアクションをクラスタに分類する。ジャンプ区間やターン区間の場合、例えば、区間の持続時間の長短や、回転の大小によってアクションがクラスタに分類されてもよい。クラスタリングの結果は、例えば、サービスとしてダイジェスト動画を提供するような場合に、様々な種類のジャンプやターンなどのアクションが動画に含まれるようにアクション区間を抽出するために利用される。また、良かったアクションとそうでなかったアクションとを別々のクラスタに分類することによって、ユーザ自身がアクションを振り返ったり、アクションの改善のためのコーチングに役立てたりしてもよい。
なお、解析結果処理部107は、クラスタリングと同様の処理として、特徴量の相関係数に基づいてアクション区間同士の類似度を算出してもよい(類似度が高いアクション区間は、同じクラスタに分類されたアクション区間と同様に扱うことができる)。また、例えば、解析結果処理部107は、典型的なタイプのアクションの特徴量パターンを予め用意しておき、k−NN法などによって、新たに発生したアクションがどのタイプに該当するかを判定してもよい。
(3−3.センサ装着状態の推定)
図14は、本開示の一実施形態において、センサ装着状態を推定するための処理の例を示すブロック図である。より具体的には、図示された構成によって、センサデータを提供するセンサがユーザの身体に直接的に装着されているか、ユーザによって使用される器具に装着されているかが判定される。図示された処理は、例えば上記の情報処理装置100に含まれるセンサデータ解析部104において実行される。なお、図示された例では、フィルタの遮断周波数(Fc)やタイムフレームの長さが具体的に説明されているが、これらの数値は一例であり、実際のセンサの特性などに応じて適宜変更されうる。
図示された例において、情報処理装置100の受信部102は、3軸(u,v,w)の加速度センサ121によって提供されるセンサデータを受信する。センサデータ解析部104は、センサデバイス制御部103を介してこのセンサデータを取得する。センサデータ解析部104は、まず、センサデータに含まれる加速度を1段のHPF122(Fc=0.5Hz)で処理し、その後ノルム算出123を実行する。さらに、センサデータ解析部104は、ノルムを2段のLPF124(Fc=2Hz)および2段のHPF(Fc=7Hz)でそれぞれ処理した結果について、タイムフレーム2secでの振幅(最大値と最小値の差)を算出する(125,127)。これらの結果(AおよびB)について、A/Bを演算する(128)。その結果を1段のHPF129(Fc=0.25Hz)で処理し、閾値判定130を実施する。
上記のような判定の処理は、センサがユーザの身体に直接的に装着されている場合、身体がLPFとして機能することによって加速度の高周波成分が減衰することに基づいている。上記の例におけるA(LPF124を通過した低周波成分の振幅)/B(HPFを通過した高周波成分の振幅)は、元の加速度において高周波成分が減衰しているほど大きな値になる。従って、閾値判定130では、A/BをHPF129で処理した値が閾値よりも大きい場合にはセンサがユーザの身体に直接的に装着されていると判定し、そうでない場合にはセンサが器具に装着されていると判定することができる。
上記のような推定の結果は、例えば、センサデータ解析部104の内部で利用されてもよい。この場合、センサデータ解析部104は、上述したようなユーザのアクションの検出の処理において、閾値やフィルタの設定値などを、センサが身体に装着されているか器具に装着されているかによって変更してもよい。あるいは、上記のような推定の結果は、センサデバイス制御部103にフィードバックされ、センサデバイスの測定に関するパラメータなどの設定や、センサデバイス制御部103によるセンサデータの前処理方法などを決定するために利用されてもよい。
本実施形態では、例えば上記のセンサ装着状態の推定のように、センサデータの提供側の状態に関する推定に基づいて、センサデータの処理に関する適応的な制御が実施されてもよい。他の例として、センサデータ解析部104は、加速度センサなどによって検出された衝撃の強さや動きのパターンなどから、機械学習などのアルゴリズムを用いてアクションが発生しているスポーツの種類を推定してもよい。スポーツは、一般的に認識されている種目ごとに推定されてもよいし、ボードスポーツ、水上スポーツ、自転車競技、モータースポーツなどの系統ごとに推定されてもよい。また、例えば、センサデータ解析部104は、センサが器具に装着されている場合に、器具の種類(例えばスキーの場合、スキー板に装着されているか、ストックに装着されているか、など)を推定してもよい。推定の結果は、上記のセンサ装着状態の推定結果と同様に、例えばアクションの検出などにおける閾値やフィルタの設定値の制御に利用されてもよいし、センサデバイス制御部103にフィードバックされて、センサデバイスの制御やセンサデータの前処理方法の決定に利用されてもよい。
(4.コンテンツ提供の例)
ここで、再び図1を参照して、本実施形態に係る情報処理装置のコンテンツ提供に関する構成について説明する。本実施形態では、情報処理装置100において、検出されたユーザのアクションを示すアクション情報を取得する情報取得部と、アクションの時間的または空間的なシーケンスに従って展開するコンテンツを提供するコンテンツ提供部とが実現される。
例えば、情報処理装置100において、受信部102は、センサデバイスから、センサデータおよび時刻情報(タイムスタンプ)を受信する。センサデータ解析部104に含まれるアクション検出部106は、センサデータに基づいて検出したユーザのアクションに上記のタイムスタンプを関連付けた情報を、検出区間情報保持部110に格納する。これによって、サービス制御部112は、検出区間情報保持部110から、ユーザのアクション情報と、アクションに関連付けられる時間座標(タイムスタンプ)とを取得することができる。なお、受信部102によるセンサデータの受信からアクション検出部106によるアクションの検出までの時間差が小さいような場合、アクション検出部106は、アクションが検出された時点での時刻情報(タイムスタンプ)を、センサデータとともに受信されるタイムスタンプの代わりに用いてもよい。
上記の例において、さらに、受信部102がセンサデバイスから受信するデータにユーザの位置情報が関連付けられ、アクション検出部106がユーザのアクションに位置情報を関連付けた情報を検出区間情報保持部110に格納してもよい。この場合、サービス制御部112は、検出区間情報保持部110から、ユーザのアクション情報と、アクションに関連付けられる空間座標(位置情報)とを取得することができる。なお、アクション検出部106がユーザによって携帯または装着される端末装置において実現される場合、アクション検出部106は、アクションが検出された時点で当該端末装置によって取得された位置情報を、センサデータとともに受信される位置情報の代わりに用いてもよい。
あるいは、サービス制御部112は、センサデータとは別に取得されたアクション映像を、タイムスタンプを用いてアクション情報とマッチングすることによって、アクションに関連付けられる空間座標を取得してもよい。ここで、アクションに関連付けられる空間座標は、例えば緯度経度などの絶対的な座標系によって定義されてもよいし、アクションが実行される環境、例えばスポーツ場合であればコースやコート、フィールドなどに対する相対的な座標系によって定義されてもよい。
なお、本明細書において、アクション情報は、アクション検出部106によって検出されたユーザのアクションを直接的に示す情報に限らず、検出されたユーザのアクションに関連する様々な情報を含みうる。従って、上記の例において、アクション検出部106によって提供されるアクションの検出結果だけではなく、解析結果処理部107によって生成される付加的な情報も、アクション情報に含まれうる。
上記の通り、サービス制御部112は、検出区間情報保持部110から、ユーザのアクション情報と、アクションに関連付けられる時間座標(タイムスタンプ)および/または空間座標(位置情報)とを取得することができる。あるいは、解析結果処理部107が、アクション検出部106からアクションの検出結果とともに提供されたタイムスタンプおよび/または位置情報を、アクションの検出結果に基づいて生成した付加的な情報に関連付けて付加的情報保持部111に格納する場合、サービス制御部112は、付加的情報保持部111から、アクションに関する付加的な情報と、アクションに関連付けられる時間座標(タイムスタンプ)および/または空間座標(位置情報)とを取得することができる。
サービス制御部112は、これらの情報に基づいて、アクションの時間的または空間的なシーケンスに従って展開するコンテンツを提供することができる。コンテンツは、例えば映像または音声を含む。コンテンツは、ユーザのアクションを入力として進行するゲームコンテンツであってもよい。なお、コンテンツの展開には、アクションの内容、より具体的にはアクションの種類やアクションスコアなどが反映されてもよい。
ここで、アクションの時間的なシーケンスは、検出されたアクションの時間座標の系列によって定義される。つまり、アクションの時間的なシーケンスは、ある時間的または空間的な範囲において発生した一連のアクションの発生順序および発生間隔によって定義される。より具体的には、例えば、アクションの時間的なシーケンスは、ユーザがスノーボードで斜面を滑降する間に発生する一連のジャンプやターンの発生順序および発生間隔(またはこれらを示す各アクションのタイムスタンプ)によって定義されてもよい。また、例えば、アクションの時間的なシーケンスは、午前10時から10時30分の間に発生するユーザの一連のアクションの発生順序および発生間隔(またはこれらを示す各アクションのタイムスタンプ)によって定義されてもよい。
また、アクションの空間的なシーケンスは、検出されたアクションの空間座標の系列によって定義される。つまり、アクションの空間的なシーケンスは、ある時間的または空間的な範囲において発生した一連のアクションの発生位置によって定義される。より具体的には、例えば、アクションの空間的なシーケンスは、ユーザがスノーボードで斜面を滑降する間に発生する一連のジャンプやターンの発生位置(例えば、斜面に対する相対座標でありうる)によって定義されてもよい。また、例えば、アクションの空間的なシーケンスは、午前10時から10時30分の間に発生するユーザの一連のアクションの発生位置(例えば、緯度経度に対応する絶対座標でありうる)によって定義されてもよい。
例えば、サービス制御部112は、既に検出されたアクションについて、時間的なシーケンスおよび/または空間的なシーケンスを定義し、それらに従って展開するコンテンツを提供してもよい。この場合、コンテンツは、ユーザがスノーボードで斜面を滑降する間に発生した一連のジャンプやターンに合ったテンポや曲調の変化を伴う楽曲や、ジャンプやターンに合ったタイミングで内容が変化する映像などを含んでもよい。あるいは、コンテンツは、1日の間に発生したユーザの一連のアクションが発生した時刻や場所に応じてストーリーなどの展開が変化するゲームコンテンツを含んでもよい。また、コンテンツは、さらに他の例を含んでもよい。そのような例の一部については後述する。
また、例えば、サービス制御部112は、これから検出されるアクションについて、例えばユーザの環境状態に基づいて時間的なシーケンスおよび/または空間的なシーケンスを予測し、それらに従って展開するコンテンツを提供してもよい。この場合、コンテンツは、ユーザがスノーボードで斜面を滑降する間に発生する一連のジャンプやターンを課題アクションとして、アクションの時間的または空間的なシーケンスの中で課題アクションが検出されるべき時刻や位置を指定するゲームコンテンツを含んでもよい。あるいは、コンテンツは、例えば日常行動の中で、所定の時間内でのユーザのアクションが検出される場所や時刻を指定するゲームコンテンツを含んでもよい。また、コンテンツは、さらに他の例を含んでもよい。そのような例の一部については後述する。
(4−1.仮想的なゲームコースの提供)
図15は、本開示の一実施形態において仮想的なゲームコースを提供するための処理の例を示すフローチャートである。図示された例では、予測されるユーザのアクションの空間的なシーケンスに含まれる位置と、その位置で検出されるべき課題アクションとを指定するゲームコンテンツが提供される。
図示された例において、まず、サービス制御部112は、開始トリガの入力を受け付ける(S301)。開始トリガは、例えばユーザ操作であってもよいし、ユーザがゲームコースの開始地点に設定されている実空間の位置に到達したことであってもよい。ここで、サービス制御部112は、受信部102によって受信されるセンサデータや、カメラからの画像などに基づいて環境状態を認識する(S303)。ここで、環境状態は、例えばこれからユーザのアクションが実行されるコースの長さ、幅、ゴールまでの経路、コース内に存在する障害物などの状態を含みうる。
次に、サービス制御部112は、環境状態に応じてその後のユーザのアクションの空間的なシーケンスを予測した上で、空間的なシーケンスに含まれる1または複数の位置での課題アクションを設定する(S305)。課題アクションの具体的な例については後述する。さらに、サービス制御部112は、S303で認識された環境状態およびS305で設定された位置および課題アクションに基づいて、ゲームコースを設計する(S307)。サービス制御部112は、設計されたゲームコースを表示する仮想オブジェクトをユーザが装着するHMD(Head Mounted Display)などの透過型ディスプレイを用いて実空間に仮想表示させ(S309)、これでゲームの準備が完了する(S311)。
続いて、サービス制御部112は、ゲームを開始させる(S313)。ゲームの開始タイミングは、ユーザ操作、またはユーザによるアクションの開始によって指定されてもよいし、ゲームの準備の完了後に自動的にゲームが開始されてもよい。このとき、ユーザが装着するHMDなどのディスプレイでは、仮想表示されたゲームコースとともに、ゲームを開始することを促すメッセージや、ゲームが開始されたことを通知するメッセージが表示されてもよい。ゲームの開始後、サービス制御部112は、逐次更新されるユーザの実空間での空間座標に基づいてユーザのゲームコース内での位置を更新し、S305で課題アクションを設定した位置でユーザが指定されたアクションに成功したか否かを判定する(S315)。ここで、ユーザが課題アクションに成功すればポイントが加算され(S317)、そうでなければポイントが減算される(S319)。サービス制御部112は、この判定を、ユーザがゲームコースのゴールに到達するまで繰り返す(S321)。
ユーザがゲームコースのゴールに到達すると、サービス制御部112は、S315での判定結果に基づいて総合ポイントを算出する(S323)。総合ポイントの算出にあたっては、ゴールに到達するまでの所要時間なども考慮されうる。サービス制御部112は、算出された総合ポイントをユーザに提示する(S325)。このとき、サービス制御部112は、個別の課題アクションのポイントや、課題アクション以外の要素によるポイントなどの内訳を、総合ポイントとともにユーザに提示してもよい。以上でゲームは終了する(S327)。
図16は、本開示の一実施形態において提供される仮想的なゲームコースの第1の例を示す図である。図16を参照すると、ゲーム画面1100は、スノーボードのコースCを含む実空間Rに重畳表示される。図示された例において、ゲーム画面1100は、ゲームコース1101を含む。ゲームコース1101上には、指定された位置と、それらの位置で検出されるべき課題アクションとを表示するオブジェクト、より具体的にはアイコン1103とテキスト1105とが、ゲームコース1101と同様に実空間Rに重畳表示されている。さらに、ゲーム画面1100には、現時点でのポイントや経過時間などを含むステータス1107が表示されてもよい。
ここで、図示された例において、サービス制御部112は、ユーザのアクションの空間的なシーケンスを、ユーザの環境状態に基づいて予測している。より具体的には、サービス制御部112は、ゲームコース1101として表現される空間的なシーケンスの長さを、ゲームコンテンツの開始時のユーザの環境状態に基づいて決定している。例えば、サービス制御部112は、ユーザが装着したカメラや、コースCに設置されたカメラによって撮影されたユーザの周辺の画像を取得し、この画像に基づいて環境状態を認識している。上記の例において、サービス制御部112は、ユーザの環境状態として、コースCの長さ、幅、ゴールまでの経路、コースC内に存在する障害物などの状態を認識し、これらに基づいてゲームコース1101を設定する。この結果、ゲームコース1101はコースCに沿って、コースC内に存在する障害物Bを避けて設定されている。
なお、上記のようなゲームコース1101、アイコン1103、およびテキスト1105などの表示には、AR(Augmented Reality)の技術が応用されうる。本例は、例えばユーザがHMDなどの透過型のディスプレイを装着し、実空間の像にゲーム画面1100を透過的に重畳させることが可能である場合を想定しているが、例えば、実空間が閉じられているなどしてユーザの安全が確保されるような場合であれば、ユーザが遮蔽型のHMDなどを装着して、実空間の像を含まないゲーム画面1100を見ながらゲームをプレイすることが可能であってもよい。また、遮蔽型のHMDや、スマートフォン、タブレットなどにおいて、カメラのライブビュー画像にゲーム画面1100を重畳させることによって、図16に示された例と同様の体験が可能であってもよい。以下で説明する図18〜図22の例についても同様である。
図示された例では、アイコン1103が、ターンの課題アクションが設定された位置を示すアイコン1103aと、ジャンプの課題アクションが設定された位置を示すアイコン1103bとを含む。ターンの詳細を示すテキスト1105aでは、例えばターンの回転方向と回転角度とが示される。例えば、「R40°」というテキスト1105aは、右回り(時計回り)で回転角度40度のターンが課題アクションとして指定されていることを示す。また、ジャンプの詳細を示すテキスト1105bでは、例えば課題アクションがジャンプであることと、ジャンプの高さとが示される。例えば、「JUMP 1m」というテキスト1105bは、高さ1mのジャンプが課題アクションとして指定されていることを示す。図示されているように、テキスト1105とともに、ターンの回転方向やジャンプの向きを示すアイコンが表示されてもよい。
図17および図18は、本開示の一実施形態において提供される仮想的なゲームコースの第2の例を示す図である。図17および図18に示された例では、実空間において必ずしもコースが設定されていない場所、より具体的には市街地にゲームコースが設定されている。この場合、例えば、図17に示すように、サービス制御部112は、マップ情報に基づいてユーザの環境状態を認識する。より具体的には、サービス制御部は、マップ情報と、ゲームコンテンツの開始時のユーザの位置情報とに基づいて、ユーザが所定の時間内にたどることが予測されるコースの長さ、幅、ゴールまでの経路、コース内に存在する障害物などの状態を認識し、これらに基づいて、課題アクションが指定されるポイントを含むゲームコースを設定する。
図18に示された例では、ゲーム画面1200が、実空間Rに重畳表示されている。ゲーム画面1200では、実空間Rにある道路Rdに沿って設定されたゲームコース1201が表示されている。道路Rdは必ずしも本来コースとして利用されるものではないが、例えば図17に示すようにポイントを任意に抽出した上で、コースとして利用することが可能である。ゲームコース1201上には、指定された位置を示すアイコン1203と、それらの位置で検出されるべき課題アクションを示すテキスト1205とが、ゲームコース1201と同様に実空間Rに重畳表示されている。テキスト1205は、ゲーム画面1200aにおけるテキスト1205aと、ゲーム画面1200bにおけるテキスト1205bとによって示されるように、アイコン1203までの距離が遠い場合と近い場合とで異なる内容を表示してもよい。図示された例において、テキスト1205aは課題アクションの存在を概略的に示し、テキスト1205bは課題アクションの内容を詳細に示している。
ここで、上記で図16に示した第1の例におけるゲームコースと、図17および図18に示した第2の例におけるゲームコースとの共通点と相違点について説明する。
第1の例では、実空間にあるスノーボードのコースCに沿ってゲームコース1101が設定される。ユーザはコースCに沿って滑降可能であるため、ユーザの実際の移動軌跡はゲームコース1101に近くなる。従って、例えば、移動軌跡がゲームコース1101から所定の範囲を超えてずれた場合には減点、というようなルールを設定してもよい。第1の例において、サービス制御部112は、まずコースCに沿ってゲームコース1101を決定した上で、課題アクションを設定する位置(アイコン1103によって示される)を決定してもよい。あるいは、滑降可能なコースCが複数あるような場合、サービス制御部112は、まず課題アクションを設定する位置を決定した上で、それらの位置を含むコースCに沿ってゲームコース1101を決定してもよい。
また、第1の例では、ユーザがゲームコース1101に沿って連続的に滑降しながら課題アクションが設定された位置を順次通過するため、課題アクションを実行するタイミングを指定したり、複数の課題アクションを実行する間隔(例えば、3つ以上のアクションを等間隔で実行する、など)を指定したりすることも可能である。
一方、第2の例では、実空間においては必ずしもコースではない市街地などでゲームコース1201が設定される。このような場合、サービス制御部112は、先に課題アクションを設定する位置(アイコン1203によって示される)を決定した上で、それらの位置を結ぶリンクとしてゲームコース1201を決定してもよい。この場合、例えば、課題アクションが設定された位置の間を最短距離で結ぶリンクとしてゲームコース1201が設定され、ユーザは次の目的地の方向を示すおおまかなガイドとしてゲームコース1201を参照しながら、実際の道路の形状や交通規制などに従って移動してもよい。あるいは、課題アクションが設定された位置の間を、道路の形状や交通規制などに従って移動可能なルートによって結ぶリンクとしてゲームコース1201が設定されてもよい。この場合、ユーザがゲームコース1201に沿って移動することをルールとして設定してもよい。
また、第2の例では、ゲームコース1201上でのユーザの移動と、指定された位置での課題アクションの実行とが、不連続に発生しうる。例えば、図18に示されたゲーム画面1200bでは、テキスト1205bによって、ジャンプを50回することが指定されている。この場合、ユーザは、アイコン1203によって示される位置(歩道の一角)で移動を中断し、50回ジャンプしてから、次の位置に向かって移動を再開する。このような実行の不連続性を利用して、すごろくのようにダイスやルーレットなどを使って実行する課題アクションを選択したり(例えば、ダイスで6が出た場合、6つ先の位置で指定された課題アクションを実行すればよく、途中で指定されている位置は通過するだけでよいか、通過もしなくてよい、といった例が可能である。あるいは、同じ位置でも、ダイスやルーレットの目によって異なる課題アクションが設定される例も可能である)、ある位置で指定された課題アクションが実行された時点で次の位置と課題アクションとが明らかにされたり、といったような仕掛けがゲームコース1201に加えられてもよい。
図19は、本開示の一実施形態において提供される仮想的なゲームコースの第3の例を示す図である。図19に示された例では、ゲーム画面1100において、上記の図16に示された例と同様に、実空間RにあるコースCに沿って設定されたゲームコース1101、および課題アクションが設定された位置を示すアイコン1103が表示される(図示されていないが、課題アクションの詳細を示すテキスト1105やステータス1107が同様に表示されてもよい)のに加えて、他のユーザのゲームコース1301および他のユーザについて課題アクションが設定された位置を示すアイコン1303(課題アクションを示すテキストなども同様に表示されうる)およびゲームコース1301を進む他のユーザのアバター1309が表示される。なお、アバター1309は、他のユーザを表示するオブジェクトの例である。
図示された例において、第1のユーザのゲーム画面1100に表示される他のユーザのゲームコース1301は、例えば、第1のユーザとは異なる場所にいる第2のユーザの環境状態に基づいて構成されたものでありうる。従って、画面1100に表示されるゲームコース1301、アイコン1303、およびアバター1309は、全く仮想的なものでありうる。つまり、アバター1309によって表示されている第2のユーザは、アバター1309が重畳されている実空間Rの位置には存在しない。
一方、図示された例において、第2のユーザは、第1のユーザとは異なる場所で、ゲーム画面1100と同様の画面の提供を受けている。第2のユーザに提供される画面は、第2のユーザについて、環境状態に基づいて構成されたゲームコース1101やアイコン1103などの表示を含む。また、第2のユーザに提供される画面は、第1のユーザについて、上記のゲームコース1301、アイコン1303、およびアバター1309と同様の表示を含む。
このような構成によって、第1のユーザと第2のユーザとは、仮想的に並列して配置されたゲームコース1101,1301上で対戦することが可能である。実際には、上級者ではない複数のユーザが接近して滑降することは危険でありうるが、このように仮想的なコース上で対戦するのであれば、たとえ転倒などが発生しても危険はなく、ユーザ同士の対戦を楽しむことができる。
さらに、上記のような仮想的な対戦のためのゲームコースでは、仮想的であることを利用した様々な仕掛けが設けられてもよい。例えば、ゲームコース1101とゲームコース1301とは、近い距離で並行したり、交差したりしていてもよい。また、ゲームコース1101上に表示されるアイコン1103と、ゲームコース1301上に表示されるアイコン1303とは、第1のユーザと第2のユーザとが競ったり、協力したりすることを促す課題アクションを示してもよい。より具体的には、課題アクションを先に達成した方にポイントが加算されたり、それぞれのユーザがシンクロナイズして(閾値未満の時間差で)課題アクションに成功した場合に双方にポイントが加算されたりするように課題アクションが設定されてもよい。
図20および図21は、本開示の一実施形態において提供される仮想的なゲームコースの第4の例を示す図である。図20および図21に示された例では、互いに異なる場所にいる第1のユーザおよび第2のユーザに対して、第1のユーザにはゲーム画面1200cが、第2のユーザにはゲーム画面1200dが、それぞれ提供されている。ゲーム画面1200c,1200dは、例えば上記で図17および図18を参照して説明されたゲーム画面1200の例と同様に、市街地に設定されたコースに従って表示されるゲームコース1201、アイコン1203、およびテキスト1205を含む。
図20に示す、第1のユーザに提供されるゲーム画面1200cでは、ゲームコース1201cと、アイコン1203cと、テキスト1205cとが表示されている。アイコン1203cおよびテキスト1205cは、「プレーヤB(第2のユーザ)と電車に乗る」という課題アクションを示している。一方、図21に示す、第2のユーザに提供されるゲーム画面1200dでは、ゲームコース1201dと、アイコン1203dと、テキスト1205dとが表示されている。アイコン1203dおよびテキスト1205dは、「プレーヤA(第1のユーザ)と電車に乗る」という課題アクションを示している。
上記の例では、第1のユーザおよび第2のユーザにそれぞれ提供されるゲーム画面1200c,1200dにおいて、第1のユーザと第2のユーザとが協力することによって達成される課題アクションが提示されている。このようなゲーム画面1200c,1200dも、複数のユーザが協力してゲームをプレイすることを可能にするが、上記の図19の例とは異なり、例えば第1のユーザと第2のユーザとが指定された駅で待ち合わせて一緒に電車に乗るまで、互いのユーザは相手のゲーム画面1200に登場しない。
なお、図20および図21の例では、第1のユーザと第2のユーザとが一緒に電車に乗り、それぞれのユーザのアクションとして「電車に乗っている」が検出された場合に、課題アクションが達成される。この場合、互いのユーザが出会うまでのコースはユーザが自由に選択してもよい。課題アクションを提示してから達成されるまでの間、サービス制御部112は予め完成されたゲームコース1201をそれぞれのユーザに提示するのではなく、ユーザが自らの意思で歩き回ったコースを、ゲームコース1201として認識してもよい。
(4−2.音楽リズムゲームの提供)
図22は、本開示の一実施形態において提供される音楽リズムゲームの例を示す図である。図示された例では、予測されるユーザのアクションの時間的なシーケンスに含まれる時刻と、その時刻で検出されるべき課題アクションとを指定するゲームコンテンツが提供される。
図22を参照すると、ゲーム画面1400は、実空間Rに重畳表示される。ゲーム画面1400では、リズム譜1401と、課題アクションが設定された時刻を示すアイコン1403と、課題アクションの詳細を示すテキスト1405と、アイコン1403によって示される時刻が刻々と接近してくる様子を示す接近表示1407と、現時点でのポイントや経過時間などを含むステータス1409とが表示されている。図示された例では、スノーボードの滑降中のユーザのアクションに従って展開する音楽リズムゲームが提供される。図示されていないが、ゲームのプレイ中には、ユーザのアクションの時間的なシーケンスに対応付けられた楽曲も、ヘッドフォンやスピーカなどを介してユーザに提供される。
このようなゲーム画面1400を提供するにあたり、サービス制御部112は、ユーザのアクションの時間的なシーケンスを予測し、時間的なシーケンスに対応付けられる楽曲を選択する。なお、楽曲は、ユーザ操作に従って選択され、サービス制御部112が予測される時間的なシーケンスに合わせて楽曲を編集してもよい。サービス制御部112は、ユーザのアクションの時間的なシーケンスを、ユーザの環境状態に基づいて予測する。より具体的には、例えば、サービス制御部112は、ゲームコンテンツが展開される時間的なシーケンスの長さを、ゲームコンテンツの開始時のユーザの環境状態に基づいて決定する。この場合、サービス制御部112は、ユーザが装着したカメラや、コースCに設置されたカメラによって撮影されたユーザの周辺の画像を取得し、この画像に基づいて環境状態を認識してもよい。
上記の場合、例えば、サービス制御部112は、ユーザの環境状態として、コースCの長さ、幅、ゴールまでの経路などの状態を認識し、これらに基づいてゲームコンテンツが展開される時間的なシーケンスの長さ(つまり、時間的なシーケンスに対応して提供される楽曲の長さ)や、時間的なシーケンスの中で課題アクションが設定される時刻を設定する。また、サービス制御部112は、コースの幅や障害物の有無などに応じてテンポや曲調を選択したりしてもよい。サービス制御部112は、選択された楽曲の内容、より具体的にはテンポやメロディーに合わせて課題アクションを設定してもよい。
例えば、コースCのスタート地点でユーザが楽曲を選択すると、サービス制御部112は、ユーザの位置情報や、既にコースCを滑降した他のユーザのアクション情報などに基づいてコースCの長さを推定する。さらに、サービス制御部112は、コースCの長さに応じて楽曲を編集し、課題アクションを設定する時刻を決定する。その後、ユーザが滑降を開始すると、ゲームがスタートし、楽曲の再生が開始されるとともに、リズム譜1401やアイコン1403などが動き出す。より具体的には、アイコン1403およびテキスト1405は、実空間RのコースCを滑降するユーザの足元をめがけて、接近表示1407に沿って接近してくる。なお、アイコン1403およびテキスト1405は、必ずしもコースC内の位置に関連付けられているわけではない。アイコン1403およびテキスト1405は、楽曲が課題アクションに関連付けられた再生時間に達したときにユーザの足元に到達するように、例えば一定の速さでユーザに向かって流れてくる。課題アクションは、例えばターンやジャンプでありうる。また、課題アクションとして、例えば楽曲の曲調の節目などで技を決めることがアイコン1403やテキスト1405などによって指定されてもよい。
図示された例では、上記の例におけるゲームコース1101,1201のようなコースは設定されないため、ユーザが滑降するコースは自由でありうる。ユーザは、滑降する中で、再生されている楽曲に合わせて、より具体的にはアイコン1403およびテキスト1405が足元に来たときに課題アクション(図示された例の場合、左ターンや右ターン)を実行すればよい。このとき、サービス制御部112は環境状態として例えばコースCの幅を認識し、必要に応じてユーザが滑降するコースを補正できるように、課題アクションを動的に変更してもよい。課題アクションが指定された時刻(楽曲の再生時間)に近い時刻に実行された場合には高いポイントが加算される一方で、課題アクションが指定された時刻から大きくずれて実行されたり、課題アクションとは異なるアクションが実行されたりした場合には、ポイントが減算されうる。
他の例として、サービス制御部112は、ジョギング中のユーザのアクションに従って展開する音楽リズムゲームを提供してもよい。この場合、例えば、ユーザがジョギングの予定持続時間(duration)を選択すると、サービス制御部112は予定持続時間に応じて楽曲を編集し、課題アクションを設定する時刻を決定する。なお、ジョギングの予定継続時間(ユーザの環境状態の1つ)は、例えばユーザが予め入力したスケジュールに基づいて認識されてもよい。その後、ユーザがジョギングを開始すると、ゲームがスタートし、楽曲の再生が開始されるとともに、リズム譜1401やアイコン1403などが動き出す。より具体的には、アイコン1403およびテキスト1405は、ジョギングしているユーザの足元をめがけて、接近表示1407に沿って接近してくる。例えば、1回のゲームがテンポの異なる複数の楽曲によって構成され、ユーザが変化する楽曲のテンポに合わせて課題アクションを実行しながらジョギングできた場合に高いポイントが与えられてもよい。
(4−3.アクションに応じてストーリーが展開するコンテンツの提供)
本開示の一実施形態において、サービス制御部112は、ユーザのアクションに応じてストーリーが展開するコンテンツを提供してもよい。以下、そのようなコンテンツのいくつかの例について説明する。
(課題型イベント)
例えば、サービス制御部112は、ユーザの日常生活の中で、ユーザに対して課題アクションを設定し、ユーザが指定された時間的または空間的なシーケンスに沿って課題アクションを実行することによってゲーム内のストーリーを展開させてもよい。例えば、ユーザの友人または恋人として登場するキャラクターとともにジョギングをするというイベントを発生させ、所定の時間以上継続してジョギングのアクションが検出された場合に、キャラクターからの好感度が上がってもよい。また、例えば、ある時刻までにキャラクターを指定された場所まで迎えに行くというイベントを発生させ、ユーザが実際に指定された時刻に指定された場所に到着したことが検出された場合に、キャラクターからの好感度が上がってもよい。
(行動によるイベントトリガ)
例えば、サービス制御部112は、ユーザのアクション検出結果によって示されるアクションの時間的または空間的なシーケンスに応じたイベントを発生させてもよい。より具体的には、例えば、サービス制御部112は、ユーザの帰宅が遅いことが続いた場合に、翌朝にユーザの好感度が高いキャラクターによるモーニングコールのイベントを発生させてもよい。
(アクションパターンの活用)
例えば、サービス制御部112は、ユーザの過去のアクション検出履歴から、通勤や食事などのアクションの時間的または空間的なシーケンスによって構成される習慣的なパターンを抽出し、新たに検出されたユーザのアクションがパターンと一致しているか、異なっているかに応じて異なるイベントを発生させてもよい。例えば、ユーザがいつもとは異なる時刻の(例えば1本遅い)バスに乗って通勤していることが検出された場合、ゲームにおいていつもとは異なるキャラクターが登場してもよい。
(キャラクターの属性設定)
例えば、サービス制御部112は、ユーザの過去のアクション検出履歴によって示されるアクションの時間的または空間的なシーケンスからユーザの属性を推定し、推定された属性に基づいて、ゲームに登場するキャラクターの属性を選択してもよい。ゲーム以外の例では、ユーザの端末装置などにおいてサービスを提供するエージェントプログラムの仮想人格が、ユーザの過去のアクション検出履歴によって示されるアクションの時間的または空間的なシーケンスから推定された属性に従って選択されてもよい。
(アクションに基づく回想)
例えば、サービス制御部112は、ユーザの過去のアクション検出履歴に含まれるアクションと同様の時間的または空間的なシーケンスをもつアクションが検出された場合に、以前に検出されたアクションに関連する情報に基づいて、ゲーム内のキャラクターやエージェントとユーザとの会話の内容を決定してもよい。例えば、スノーボードの滑降で発生するジャンプやターンなどのアクションが1年ぶりに検出された場合、キャラクターやエージェントが、1年前のスノーボードのときに検出された他のアクション、例えば、自動車での移動に時間がかかったことや、滑降で転倒が多かったことなどを話題にしてもよい。
(コンテキストによる表現の変化)
例えば、サービス制御部112は、アクション検出結果に含まれる時間的または空間的なシーケンスに関連する時刻および場所を、ゲーム内の表現に反映させてもよい。例えば、アクション検出結果からユーザが電車に乗っていることが推定される場合には、ゲーム内の舞台設定が電車の中に設定されてもよい。また、ユーザが乗っている路線が特定される場合には、ゲーム内での次の駅のアナウンスなどを、実際のユーザの場所に応じて提供してもよい。このとき、時刻(朝、夕方、夜など)についても、ゲーム内の設定を実際の検出結果に整合させてもよい。また、ユーザがいる場所に応じて、ゲーム内で出現するキャラクターの性格や容姿を変化させてもよい。例えば、特徴的な年代や階層の人々が集まる街にいる場合には、その街に多くいる人々に合わせた性格や容姿のキャラクターが、ゲーム内に登場してもよい。
(4−4.コレクションコンテンツの提供)
本開示の一実施形態において、サービス制御部112は、ユーザのアクション検出結果をコレクションとして用いるコンテンツを提供してもよい。ここで、コレクションとして用いる、とは、例えば、有形無形の価値をもったものとして収集や交換の対象にすることを意味する。より具体的には、サービス制御部112は、ユーザのアクション検出結果に基づいて各ユーザにポイントを付与し、ユーザはそのポイントを収集して何らかの有価物(例えば実体的なアイテムでもよいし、ソーシャルメディアで使用可能になるアバターのような仮想的なアイテムでもよい)に交換したり、保有するポイントの多さを競ったりしてもよい。以下、そのようなコンテンツのいくつかの例について説明する。
(ポイント付与率の調整)
例えば、サービス制御部112は、検出対象になるアクションの時間的または空間的なシーケンスに応じて異なる付与率で、アクションに応じたポイントをユーザに与えてもよい。例えば、移動のアクションにポイントを与える場合、移動距離が同じであれば、歩いて移動するアクション(移動に対応する時間的なシーケンスが長い)よりも走って移動するアクション(移動に対応する時間的なシーケンスが短い)に高いポイントを与えてもよい。また、例えば、スノーボードの滑降中のジャンプにポイントを与える場合、回転角度が大きいジャンプ(ジャンプに対応する空間的なシーケンスが大きい)により高いポイントを与えてもよい。なお、ポイント付与率は、時刻や場所などのコンテキスト情報との組み合わせによってさらに調整されてもよい。
(協力して達成されるアクション)
例えば、サービス制御部112は、アクションの時間的または空間的なシーケンスを含んで定義され、複数のユーザによるチームが協力して達成されるアクションにポイントを与えてもよい。より具体的には、例えば、「5人のチームで1週間に5000kcal以上をジョギングで消費する」(この場合、「1週間に」という部分が時間的なシーケンスにあたる)という課題アクションが与えられ、それぞれのユーザについて検出されたアクションから、5人のジョギングによる消費カロリーが5000kcalを超えたと判定された場合に、5人のユーザそれぞれにポイントが与えられてもよい。
(アクション検出結果に対するベット)
例えば、サービス制御部112は、1日に歩いた歩数や、スノーボードの滑降中のジャンプの高さなど、ユーザ間で競うことができるアクションの検出結果、より具体的にはアクションの時間的または空間的なシーケンスに従って算出されるスコアについて、ユーザによるポイントのベットを可能にしてもよい。より具体的には、例えば、ユーザは、自分以外のユーザのうち、アクションの検出結果について1番になるユーザを予想してポイントをベットする。例えば、1日や、所定の回数の滑降などのアクション検出の終了後、予想が当たったユーザに対して、オッズに応じてポイントが付与されてもよい。このようなベットは、例えば同じ場所でアクションを実行している複数のユーザで実施されてもよいし、ソーシャルメディアなどを介して多くのユーザが参加することが可能であってもよい。
(5.ハードウェア構成)
次に、図23を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図23は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
情報処理装置900は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、情報処理装置900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、情報処理装置900は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。情報処理装置900は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、またはFPGA(Field-Programmable Gate Array)などの処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置900内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりする。
出力装置917は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)または有機EL(Electro-Luminescence)ディスプレイなどの表示装置、スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。出力装置917は、情報処理装置900の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。
ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置919は、例えばCPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
接続ポート923は、機器を情報処理装置900に接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。また、接続ポート923は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、情報処理装置900と外部接続機器929との間で各種のデータが交換されうる。
通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線または無線のLAN(Local Area Network)、Bluetooth(登録商標)、NFC(Near Field Communication)、またはWUSB(Wireless USB)用の通信カードなどでありうる。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などを含みうる。
撮像装置933は、例えば、CMOS(Complementary Metal Oxide Semiconductor)またはCCD(Charge Coupled Device)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
センサ935は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、圧力センサ、距離センサ、または音センサ(マイクロフォン)などの各種のセンサである。センサ935は、例えば情報処理装置900の筐体の姿勢など、情報処理装置900自体の状態に関する情報や、情報処理装置900の周辺の明るさや騒音など、情報処理装置900の周辺環境に関する情報を取得する。また、センサ935は、GNSS(Global Navigation Satellite System)信号を受信して装置の緯度、経度および高度を測定するGNSS受信機を含んでもよい。
以上、情報処理装置900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
(6.補足)
本開示の実施形態は、例えば、上記で説明したような情報処理装置、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)検出されたユーザのアクションを示すアクション情報を取得する情報取得部と、
前記アクションの時間的または空間的なシーケンスに従って展開するコンテンツを提供するコンテンツ提供部と
を備える情報処理装置。
(2)前記コンテンツ提供部は、前記空間的なシーケンスに含まれる位置と、該位置で検出されるべき課題アクションとを指定するゲームコンテンツを提供する、前記(1)に記載の情報処理装置。
(3)前記コンテンツ提供部は、前記位置と前記課題アクションとを表示するオブジェクトを含むゲーム画面を、前記アクションが発生する実空間に重畳させて前記ユーザに提示する、前記(2)に記載の情報処理装置。
(4)前記ゲーム画面は、第1のユーザについての前記位置を表示するオブジェクトと、前記第1のユーザとは異なる第2のユーザについての前記位置を表示するオブジェクトと、前記第2のユーザを表示するオブジェクトとを含む、前記(3)に記載の情報処理装置。
(5)前記コンテンツ提供部は、前記空間的なシーケンスを、前記ユーザの環境状態に基づいて予測する、前記(2)〜(4)のいずれか1項に記載の情報処理装置。
(6)前記コンテンツ提供部は、前記空間的なシーケンスの長さを、前記ゲームコンテンツの開始時の前記ユーザの環境状態に基づいて決定する、前記(5)に記載の情報処理装置。
(7)前記コンテンツ提供部は、前記ユーザの周辺を撮影した画像に基づいて前記環境状態を認識する、前記(5)または(6)に記載の情報処理装置。
(8)前記コンテンツ提供部は、前記ユーザの位置情報とマップ情報とに基づいて前記環境状態を認識する、前記(5)〜(7)のいずれか1項に記載の情報処理装置。
(9)前記コンテンツ提供部は、前記時間的なシーケンスに含まれる時刻と、該時刻に検出されるべき課題アクションとを指定するゲームコンテンツを提供する、前記(1)〜(8)のいずれか1項に記載の情報処理装置。
(10)前記コンテンツ提供部は、前記時刻と前記課題アクションとを表示するオブジェクトを含むゲーム画面を、前記アクションが発生する実空間に重畳させて前記ユーザに提示する、前記(9)に記載の情報処理装置。
(11)前記コンテンツ提供部は、前記時間的なシーケンスを、前記ユーザの環境状態に基づいて予測する、前記(9)または(10)に記載の情報処理装置。
(12)前記コンテンツ提供部は、前記時間的なシーケンスの長さを、前記ゲームコンテンツの開始時の前記ユーザの環境状態に基づいて決定する、前記(11)に記載の情報処理装置。
(13)前記コンテンツ提供部は、前記ユーザのスケジュールに基づいて前記環境状態を認識する、前記(11)または(12)に記載の情報処理装置。
(14)前記時間的なシーケンスは、楽曲に対応付けられ、
前記コンテンツ提供部は、前記ゲームコンテンツとともに前記楽曲を前記ユーザに提供する、前記(11)〜(13)のいずれか1項に記載の情報処理装置。
(15)前記コンテンツ提供部は、前記アクションの時間的または空間的なシーケンスに従ってストーリーが展開するコンテンツを提供する、前記(1)〜(14)のいずれか1項に記載の情報処理装置。
(16)前記コンテンツ提供部は、前記アクションの時間的または空間的なシーケンスに従ってキャラクターまたは仮想人格の属性が決定されるコンテンツを提供する、前記(1)〜(15)のいずれか1項に記載の情報処理装置。
(17)前記コンテンツ提供部は、前記アクションの時間的または空間的なシーケンスに従って舞台設定が決定されるコンテンツを提供する、前記(1)〜(16)のいずれか1項に記載の情報処理装置。
(18)前記コンテンツ提供部は、前記アクションの時間的または空間的なシーケンスに従って算出されるスコアに対する他のユーザのベットを可能にするコンテンツを提供する、前記(1)〜(17)のいずれか1項に記載の情報処理装置。
(19)検出されたユーザのアクションを示すアクション情報を取得することと、
プロセッサが、前記アクションの時間的または空間的なシーケンスに従って展開するコンテンツを提供することと
を含む情報処理方法。
(20)検出されたユーザのアクションを示すアクション情報を取得する機能と、
前記アクションの時間的または空間的なシーケンスに従って展開するコンテンツを提供する機能と
をコンピュータに実現させるためのプログラム。
100 情報処理装置
101 送信部
102 受信部
103 センサデバイス制御部
104 センサデータ解析部
105 特徴量抽出部
106 アクション検出部
107 解析結果処理部
108 クラスタリング処理部
109 スコアリング処理部
112 サービス制御部

Claims (20)

  1. 検出されたユーザのアクションを示すアクション情報を取得する情報取得部と、
    前記アクションの時間的または空間的なシーケンスに従って展開するコンテンツを提供するコンテンツ提供部と
    を備える情報処理装置。
  2. 前記コンテンツ提供部は、前記空間的なシーケンスに含まれる位置と、該位置で検出されるべき課題アクションとを指定するゲームコンテンツを提供する、請求項1に記載の情報処理装置。
  3. 前記コンテンツ提供部は、前記位置と前記課題アクションとを表示するオブジェクトを含むゲーム画面を、前記アクションが発生する実空間に重畳させて前記ユーザに提示する、請求項2に記載の情報処理装置。
  4. 前記ゲーム画面は、第1のユーザについての前記位置を表示するオブジェクトと、前記第1のユーザとは異なる第2のユーザについての前記位置を表示するオブジェクトと、前記第2のユーザを表示するオブジェクトとを含む、請求項3に記載の情報処理装置。
  5. 前記コンテンツ提供部は、前記空間的なシーケンスを、前記ユーザの環境状態に基づいて予測する、請求項2に記載の情報処理装置。
  6. 前記コンテンツ提供部は、前記空間的なシーケンスの長さを、前記ゲームコンテンツの開始時の前記ユーザの環境状態に基づいて決定する、請求項5に記載の情報処理装置。
  7. 前記コンテンツ提供部は、前記ユーザの周辺を撮影した画像に基づいて前記環境状態を認識する、請求項5に記載の情報処理装置。
  8. 前記コンテンツ提供部は、前記ユーザの位置情報とマップ情報とに基づいて前記環境状態を認識する、請求項5に記載の情報処理装置。
  9. 前記コンテンツ提供部は、前記時間的なシーケンスに含まれる時刻と、該時刻に検出されるべき課題アクションとを指定するゲームコンテンツを提供する、請求項1に記載の情報処理装置。
  10. 前記コンテンツ提供部は、前記時刻と前記課題アクションとを表示するオブジェクトを含むゲーム画面を、前記アクションが発生する実空間に重畳させて前記ユーザに提示する、請求項9に記載の情報処理装置。
  11. 前記コンテンツ提供部は、前記時間的なシーケンスを、前記ユーザの環境状態に基づいて予測する、請求項9に記載の情報処理装置。
  12. 前記コンテンツ提供部は、前記時間的なシーケンスの長さを、前記ゲームコンテンツの開始時の前記ユーザの環境状態に基づいて決定する、請求項11に記載の情報処理装置。
  13. 前記コンテンツ提供部は、前記ユーザのスケジュールに基づいて前記環境状態を認識する、請求項11に記載の情報処理装置。
  14. 前記時間的なシーケンスは、楽曲に対応付けられ、
    前記コンテンツ提供部は、前記ゲームコンテンツとともに前記楽曲を前記ユーザに提供する、請求項11に記載の情報処理装置。
  15. 前記コンテンツ提供部は、前記アクションの時間的または空間的なシーケンスに従ってストーリーが展開するコンテンツを提供する、請求項1に記載の情報処理装置。
  16. 前記コンテンツ提供部は、前記アクションの時間的または空間的なシーケンスに従ってキャラクターまたは仮想人格の属性が決定されるコンテンツを提供する、請求項1に記載の情報処理装置。
  17. 前記コンテンツ提供部は、前記アクションの時間的または空間的なシーケンスに従って舞台設定が決定されるコンテンツを提供する、請求項1に記載の情報処理装置。
  18. 前記コンテンツ提供部は、前記アクションの時間的または空間的なシーケンスに従って算出されるスコアに対する他のユーザのベットを可能にするコンテンツを提供する、請求項1に記載の情報処理装置。
  19. 検出されたユーザのアクションを示すアクション情報を取得することと、
    プロセッサが、前記アクションの時間的または空間的なシーケンスに従って展開するコンテンツを提供することと
    を含む情報処理方法。
  20. 検出されたユーザのアクションを示すアクション情報を取得する機能と、
    前記アクションの時間的または空間的なシーケンスに従って展開するコンテンツを提供する機能と
    をコンピュータに実現させるためのプログラム。
JP2016568284A 2015-01-05 2015-10-15 情報処理装置、情報処理方法、およびプログラム Expired - Fee Related JP6658545B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015000415 2015-01-05
JP2015000415 2015-01-05
PCT/JP2015/079175 WO2016111067A1 (ja) 2015-01-05 2015-10-15 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2016111067A1 true JPWO2016111067A1 (ja) 2017-10-12
JP6658545B2 JP6658545B2 (ja) 2020-03-04

Family

ID=56342227

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016568284A Expired - Fee Related JP6658545B2 (ja) 2015-01-05 2015-10-15 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US20170352226A1 (ja)
EP (1) EP3243557B1 (ja)
JP (1) JP6658545B2 (ja)
CN (2) CN105759953B (ja)
WO (1) WO2016111067A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6914049B2 (ja) * 2017-02-15 2021-08-04 清水建設株式会社 構造物可視化装置及び構造物可視化システム
JP2018171279A (ja) * 2017-03-31 2018-11-08 株式会社愛和ライト 情報処理装置及び情報処理システム
JP7424973B2 (ja) * 2018-06-11 2024-01-30 本田技研工業株式会社 報知システム
WO2019240065A1 (ja) * 2018-06-11 2019-12-19 本田技研工業株式会社 動作評価システム
US10555058B2 (en) * 2018-06-27 2020-02-04 Aktiebolaget Skf Wireless condition monitoring sensor with near field communication commissioning hardware
JP2020092910A (ja) * 2018-12-13 2020-06-18 株式会社ドリコム 情報処理システム、情報処理方法および情報処理プログラム
US11210772B2 (en) 2019-01-11 2021-12-28 Universal City Studios Llc Wearable visualization device systems and methods
JP7168757B2 (ja) * 2019-02-26 2022-11-09 マクセル株式会社 映像表示装置及び映像表示方法
CN110180189B (zh) * 2019-06-14 2022-10-21 广州好酷信息科技有限公司 一种基于游戏游艺设备的积分排名方法及系统
JP6990735B2 (ja) 2020-03-27 2022-01-12 株式会社バンダイ プログラム、端末、ゲームシステム及びゲーム管理装置
EP3940586A1 (en) 2020-07-17 2022-01-19 Sony Group Corporation An electronic device and a related method for detecting and counting an action
JP7143872B2 (ja) * 2020-08-14 2022-09-29 カシオ計算機株式会社 情報処理装置、ランニング指標導出方法及びプログラム
JP7185670B2 (ja) * 2020-09-02 2022-12-07 株式会社スクウェア・エニックス ビデオゲーム処理プログラム、及びビデオゲーム処理システム
CN117232819B (zh) * 2023-11-16 2024-01-26 湖南大用环保科技有限公司 基于数据分析的阀体综合性能测试系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000353249A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間における指示表示及び指示表示方法
JP2007007081A (ja) * 2005-06-29 2007-01-18 Namco Bandai Games Inc ゲームシステム、楽音生成システム、曲選択システム、プログラム及び情報記憶媒体
JP2009018127A (ja) * 2007-07-13 2009-01-29 Panasonic Corp 学習支援装置および学習支援方法
JP2010240185A (ja) * 2009-04-07 2010-10-28 Kanazawa Inst Of Technology 動作学習支援装置
JP2012095914A (ja) * 2010-11-04 2012-05-24 Ns Solutions Corp ゴルフプレイヤー支援システム、ユーザ端末装置、ゴルフプレイヤー支援方法及びプログラム
JP2012239719A (ja) * 2011-05-20 2012-12-10 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム制御方法、ならびに、プログラム
JP2014054303A (ja) * 2012-09-11 2014-03-27 Casio Comput Co Ltd 運動支援装置、運動支援方法及び運動支援プログラム
JP2014174589A (ja) * 2013-03-06 2014-09-22 Mega Chips Corp 拡張現実システム、プログラムおよび拡張現実提供方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008538295A (ja) * 2005-01-10 2008-10-23 アイポイント リミテッド 体力トレーニング用音楽ペースメーカー
US20060288846A1 (en) * 2005-06-27 2006-12-28 Logan Beth T Music-based exercise motivation aid
US20070074619A1 (en) * 2005-10-04 2007-04-05 Linda Vergo System and method for tailoring music to an activity based on an activity goal
US20070254271A1 (en) * 2006-04-28 2007-11-01 Volodimir Burlik Method, apparatus and software for play list selection in digital music players
US20110183754A1 (en) * 2010-01-25 2011-07-28 Mansour Ali Saleh Alghamdi Game system based on real time and location of user
KR20130000401A (ko) * 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
US9317660B2 (en) * 2011-03-31 2016-04-19 Adidas Ag Group performance monitoring system and method
US9155964B2 (en) * 2011-09-14 2015-10-13 Steelseries Aps Apparatus for adapting virtual gaming with real world information
US8847988B2 (en) * 2011-09-30 2014-09-30 Microsoft Corporation Exercising applications for personal audio/visual system
DE202013103775U1 (de) * 2012-08-23 2013-09-05 Jakub Jirus Konditions- und/oder Fitnessgerät
US8758127B2 (en) * 2012-11-08 2014-06-24 Audible, Inc. In-vehicle gaming system for a driver
CN104008296A (zh) * 2014-06-08 2014-08-27 蒋小辉 将视频转化为游戏的方法和一种视频类游戏及其实现方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000353249A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間における指示表示及び指示表示方法
JP2007007081A (ja) * 2005-06-29 2007-01-18 Namco Bandai Games Inc ゲームシステム、楽音生成システム、曲選択システム、プログラム及び情報記憶媒体
JP2009018127A (ja) * 2007-07-13 2009-01-29 Panasonic Corp 学習支援装置および学習支援方法
JP2010240185A (ja) * 2009-04-07 2010-10-28 Kanazawa Inst Of Technology 動作学習支援装置
JP2012095914A (ja) * 2010-11-04 2012-05-24 Ns Solutions Corp ゴルフプレイヤー支援システム、ユーザ端末装置、ゴルフプレイヤー支援方法及びプログラム
JP2012239719A (ja) * 2011-05-20 2012-12-10 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム制御方法、ならびに、プログラム
JP2014054303A (ja) * 2012-09-11 2014-03-27 Casio Comput Co Ltd 運動支援装置、運動支援方法及び運動支援プログラム
JP2014174589A (ja) * 2013-03-06 2014-09-22 Mega Chips Corp 拡張現実システム、プログラムおよび拡張現実提供方法

Also Published As

Publication number Publication date
US20170352226A1 (en) 2017-12-07
EP3243557B1 (en) 2020-03-04
WO2016111067A1 (ja) 2016-07-14
JP6658545B2 (ja) 2020-03-04
CN205730297U (zh) 2016-11-30
EP3243557A1 (en) 2017-11-15
CN105759953A (zh) 2016-07-13
CN105759953B (zh) 2020-04-21
EP3243557A4 (en) 2018-05-30

Similar Documents

Publication Publication Date Title
JP6658545B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN105749548B (zh) 信息处理装置、信息处理方法以及程序
TWI786701B (zh) 用於在hmd環境中利用傳至gpu之預測及後期更新的眼睛追蹤進行快速注視點渲染的方法及系統以及非暫時性電腦可讀媒體
CN112400150B (zh) 基于预测扫视着陆点的动态图形渲染
JP6683134B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN103357177B (zh) 使用便携式游戏装置来记录或修改在主游戏系统上实时运行的游戏或应用
US20170216675A1 (en) Fitness-based game mechanics
CN108431728A (zh) 信息处理设备、信息处理方法以及程序
CN108379809A (zh) 基于ar的滑雪场虚拟轨迹引导和训练控制方法
WO2020090223A1 (ja) 情報処理装置、情報処理方法及び記録媒体
CN110446996A (zh) 一种控制方法、终端及系统
US11173375B2 (en) Information processing apparatus and information processing method
US20240303018A1 (en) Head mounted processing apparatus
US20230144578A1 (en) Barometric pressure sensor arrays for detecting presence and motion of objects for tracking or triggering a response
CN114253393A (zh) 信息处理设备、终端、方法以及计算机可读记录介质
CN117122910A (zh) 用于将真实世界声音添加到虚拟现实场景的方法和系统
KR102433084B1 (ko) 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템
US20230381649A1 (en) Method and system for automatically controlling user interruption during game play of a video game
US20240045496A1 (en) Improving accuracy of interactions for gaze-enabled ar objects when in motion
US20240139635A1 (en) Methods and systems for assistive chat interactivity
CN114995642A (zh) 基于增强现实的运动训练方法、装置、服务器及终端设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180827

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180827

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200120

R151 Written notification of patent or utility model registration

Ref document number: 6658545

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees