JPWO2015141251A1 - 情報処理装置、情報処理方法および記録媒体 - Google Patents

情報処理装置、情報処理方法および記録媒体 Download PDF

Info

Publication number
JPWO2015141251A1
JPWO2015141251A1 JP2016508555A JP2016508555A JPWO2015141251A1 JP WO2015141251 A1 JPWO2015141251 A1 JP WO2015141251A1 JP 2016508555 A JP2016508555 A JP 2016508555A JP 2016508555 A JP2016508555 A JP 2016508555A JP WO2015141251 A1 JPWO2015141251 A1 JP WO2015141251A1
Authority
JP
Japan
Prior art keywords
event
action
information processing
play
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016508555A
Other languages
English (en)
Inventor
英行 松永
英行 松永
功誠 山下
功誠 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2015141251A1 publication Critical patent/JPWO2015141251A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/003Repetitive work cycles; Sequence of movements
    • G09B19/0038Sports
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • G06F2218/10Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】センサ情報に基づいて定義されユーザのアクションに対応するイベントの種類をより正確に特定する。【解決手段】対象のアクションに起因して発生するセンシングデータを取得するデータ取得部と、上記センシングデータに現れるパターン、および上記アクションのコンテキストに基づいて上記アクションに対応するイベントを特定するイベント特定部とを備える情報処理装置が提供される。また、対象のアクションをセンシングすることと、上記センシングによって取得されたセンシングデータを送信することと、上記センシングデータを受信する情報処理装置のプロセッサが、上記センシングデータに現れるパターン、および上記アクションのコンテキストに基づいて上記アクションに対応するイベントを特定する処理を実行することとを含む情報処理方法が提供される。【選択図】図3

Description

本開示は、情報処理装置、情報処理方法および記録媒体に関する。
これまでに、センシングや解析を利用して、スポーツのプレーを支援する技術が多く開発されてきている。例えば、特許文献1には、ユーザによるスポーツのプレーの状態をより的確に把握するために、スポーツをプレーするユーザの挙動を示すセンサ情報を取得し、センサ情報に基づいてスポーツにおけるプレーイベントの発生を検出し、プレーイベントに対応するプレーイベント情報を生成する技術が記載されている。例えば、プレーイベント情報に基づいてユーザに向けた通知情報を生成したり、スポーツのプレー画像の撮像を制御したり、プレー画像に付加情報を設定したりすることによって、ユーザによるスポーツのプレーを効果的に支援することができる。
特開2013−188426号公報
例えば特許文献1に記載された技術のように、スポーツにおけるプレーイベントに対応する情報を生成し、またこの情報をプレーの支援のために利用するような場合、プレーイベントの種類を特定することは重要である。例えば、ユーザがテニスをプレーしているときに、ラケットなどに装着されたセンサから得られるセンサ情報に基づいてプレーイベントの発生が検出された場合、そのイベントがラケットのスイングか否か、スイングである場合サーブなのか、ストロークなのか、スマッシュなのかを特定することは、ユーザにとって有用な通知情報を生成したり、プレー画像の撮像を適切に制御したりするために重要である。
この点について、特許文献1では、検出されたプレーイベントの種類を、機械学習やパターン認識などを用いたセンサ情報の解析によって特定することが記載されている。このような手法によって特定可能なプレーイベントも多くあるが、例えばセンサ情報にはあまり差が現れないが異なる種類であるプレーイベントや、逆にセンサ情報には差があるものの同じ種類であるプレーイベントなどが存在する場合、特許文献1に記載された手法だけではプレーイベントを正確に特定することが困難である。なお、同様の現象は、スポーツにおけるプレーイベントだけではなく、センサ情報に基づいて定義され、ユーザのアクションに対応するイベント一般についても発生しうる。
そこで、本開示では、センサ情報に基づいて定義されユーザのアクションに対応するイベントの種類をより正確に特定することが可能な、新規かつ改良された情報処理装置、情報処理方法および記録媒体を提案する。
本開示によれば、対象のアクションに起因して発生するセンシングデータを取得するデータ取得部と、上記センシングデータに現れるパターン、および上記アクションのコンテキストに基づいて上記アクションに対応するイベントを特定するイベント特定部とを備える情報処理装置が提供される。
また、本開示によれば、対象のアクションに起因して発生するセンシングデータを取得するデータ取得機能と、上記センシングデータに現れるパターン、および上記アクションのコンテキストに基づいて上記アクションに対応するイベントを特定するイベント特定機能とを情報処理装置のプロセッサに実現させるためのプログラムが記録された記録媒体が提供される。
また、本開示によれば、対象のアクションをセンシングすることと、上記センシングによって取得されたセンシングデータを送信することと、上記センシングデータを受信する情報処理装置のプロセッサが、上記センシングデータに現れるパターン、および上記アクションのコンテキストに基づいて上記アクションに対応するイベントを特定する処理を実行することとを含む情報処理方法が提供される。
以上説明したように本開示によれば、センサ情報に基づいて定義されユーザのアクションに対応するイベントの種類をより正確に特定することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第1の実施形態に係るシステム構成の例を示す図である。 本開示の第1の実施形態に係るシステムの装置構成を概略的に示すブロック図である。 本開示の第1の実施形態における解析処理のための機能構成を示すブロック図である。 本実施形態において定義されるプレーイベントの例を示す図である。 本実施形態において定義されるテニスのプレーに関する状態の例を示す図である。 本開示の第1の実施形態において状態関連情報によらずに特定されるプレーイベントの例を示す図である。 本開示の第1の実施形態において状態関連情報を用いて特定されるプレーイベントの例を示す図である。 本開示の第1の実施形態におけるモーションデータのパターンとプレーイベントと状態との関係の例を示す図である。 本開示の第1の実施形態の変形例を示す図である。 本開示の第2の実施形態における解析処理のための機能構成を示すブロック図である。 本実施形態におけるイベント履歴を参照したプレーイベント特定の処理の例を示すフローチャートである。 本開示の実施形態に係るセンサ装置のハードウェア構成の例を示す図である。 本開示の実施形態に係る情報処理装置のハードウェア構成の例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1−1.システム構成
1−2.解析処理のための機能構成
1−3.解析処理の具体的な例
1−4.変形例
2.第2の実施形態
3.ハードウェア構成
4.補足
(1.第1の実施形態)
(1−1.システム構成)
図1は、本開示の第1の実施形態に係るシステム構成の例を示す図である。図1を参照すると、システム10は、センサ装置100と、スマートフォン200と、サーバ300とを含む。
センサ装置100は、テニスのラケットRに装着される。センサ装置100は、例えばモーションセンサを備える。モーションセンサは、例えば加速度センサ、ジャイロセンサ、および地磁気センサなどを含むのに加えて、振動センサを含んでもよい。また、センサ装置100は、気温や湿度、明るさ、位置など、スポーツをプレーするユーザの環境情報を取得するためのセンサをさらに備えてもよい。センサ装置100が備える各種のセンサによって検出されたデータは、必要に応じて前処理された上で、例えばBluetooth(登録商標)などの無線通信によってスマートフォン200に送信される。
図示された例において、センサ装置100が直接的に検出するのはラケットRのモーションであるが、ラケットRはユーザによって把持され、ユーザの意思に従って運動するため、センサ装置100はラケットRのモーションを介して間接的にユーザのモーションを検出しているともいえる。本明細書では、このような場合、センサ装置100はユーザに間接的に装着されてユーザのモーションを検出しているという。
なお、他の実施形態において、センサ装置100は、例えばユーザの衣服や靴などに装着されてもよい。この場合も、センサ装置100が直接的に検出するのは衣服や靴のモーションであるが、衣服や靴はユーザとともに運動するため、センサ装置は間接的にユーザのモーションを検出しているといえる。あるいは、センサ装置100は、例えばバンドで腕に巻き付けられるなどして、ユーザに直接的に装着されていてもよい。この場合、センサ装置100は直接的にユーザのモーションを検出しうる。センサ装置100がユーザのモーションを直接的に検出する場合だけでなく、間接的に検出する場合であっても、検出されるモーションにユーザのモーションが反映されていれば、センサ装置100が提供する検出結果に基づいて、スポーツをプレーするユーザのモーションに対応するプレーイベントを定義することが可能である。
スマートフォン200は、例えばスポーツをプレーしているユーザの近傍に配置される。この場合、スマートフォン200は、Bluetooth(登録商標)などの無線通信によってセンサ装置100から送信されたデータを受信し、必要に応じて一時的に蓄積したり処理したりした上で、ネットワーク通信によってデータをサーバ300に送信する。また、スマートフォン200は、送信されたデータに基づいてサーバ300が実行した解析の結果を受信し、ディスプレイやスピーカなどを介してユーザに向けて出力してもよい。なお、解析結果の出力時において、ユーザはスポーツをプレーしていなくてもよい。また、解析結果の出力は、スマートフォン200とは別の、ユーザによって使用される情報処理端末、例えば各種のパーソナルコンピュータやタブレット端末、ゲーム機、テレビなどによって実行されてもよい。
また、スマートフォン200は、必ずしも、スポーツをプレーしているユーザの近傍に配置されていなくてもよい。この場合、センサ装置100は、検出されたデータを内部の記憶領域(メモリまたは外部記憶装置)に蓄積しておく。例えば、スポーツのプレー後、センサ装置100とスマートフォン200とが接近したときに、Bluetooth(登録商標)などの無線通信によって、データがセンサ装置100からスマートフォン200に送信されてもよい。あるいは、スポーツのプレー後、センサ装置100とスマートフォン200とがUSBなどで有線接続されたときにデータが送信されてもよい。また、センサ装置100からスマートフォン200へのデータの受け渡しには、リムーバブル記録媒体が用いられてもよい。
サーバ300は、スマートフォン200とネットワークを介して通信し、センサ装置100が備える各種のセンサによって検出されたデータを受信する。サーバ300は、受信されたデータを用いた解析処理を実行し、スポーツのプレーに関するさまざまな情報を生成する。例えば、サーバ300は、モーションセンサによって取得された、スポーツをプレーするユーザのモーションを直接的または間接的に示すデータに基づいて、プレーイベントを定義する。プレーイベントは、例えばラケットRを用いた1回のショットに対応する。プレーイベントを定義することによって、例えば、モーションデータによって表されるユーザのプレーを、{サーブ、ストローク、ボレー、…}といったような意味をもったプレーの連なりとして把握することができる。
さらに、サーバ300は、プレーイベントの解析処理によって、プレーイベントが分類される時系列のセグメントや、プレーイベントの時間的な配列から推定されるユーザのプレーパターンなどを特定してもよい。サーバ300の解析処理によって生成された情報は、例えばスマートフォン200に送信され、スマートフォン200のディスプレイやスピーカを介してユーザに向けて出力される。あるいは、サーバ300は、スマートフォン200以外の情報処理端末に情報を送信し、ユーザに向けて出力させてもよい。また、サーバ300は、複数のユーザについてそれぞれ受信されたデータに基づいて解析処理を実行し、各ユーザについて生成されたプレーパターンなどを比較した結果に基づく情報を生成し、各ユーザの情報処理端末に送信してもよい。
図2は、本開示の第1の実施形態に係るシステムの装置構成を概略的に示すブロック図である。図2を参照すると、センサ装置100は、センサ110と、処理部120と、送信部130とを含む。スマートフォン200は、受信部210と、処理部220と、記憶部230と、送信部240と、撮像部250と、入力部260と、出力部270とを含む。サーバ300は、受信部310と、処理部320と、記憶部330と、送信部340とを含む。なお、それぞれの装置を実現するためのハードウェア構成例(センサ装置および情報処理装置のハードウェア構成例)については後述する。
センサ装置100では、センサ110が取得したデータを処理部120が処理し、処理されたデータを送信部130がスマートフォン200に送信する。センサ110は、上述の通り、例えばモーションセンサを含み、スポーツをプレーするユーザのモーションを直接的または間接的に検出する。また、センサ110は、気温や湿度、明るさ、位置など、ユーザの環境情報を取得するための他のセンサをさらに含んでもよい。処理部120は、プログラムに従って動作するプロセッサによって実現され、センサ110によって取得されたデータを必要に応じて前処理する。前処理は、例えばサンプリングやノイズ除去などを含みうる。なお、前処理は必ずしも実行されなくてもよい。送信部130は、通信装置によって実現され、例えばBluetooth(登録商標)などの無線通信を利用してデータをスマートフォン200に送信する。また、図2には示していないが、センサ装置100は、データを一時的に蓄積するための記憶部や、情報を出力するための出力部を備えてもよい。
スマートフォン200では、受信部210がセンサ装置100によって送信されたデータを受信し、送信部240がデータをサーバ300に送信する。受信部210および送信部240は、例えばBluetooth(登録商標)などの無線通信、および有線または無線のネットワーク通信を実行する通信装置によって実現される。受信されたデータは、例えば処理部220によって記憶部230に一時的に格納されてから送信される。また、受信されたデータについて、処理部220が前処理を実行してもよい。処理部220はプログラムに従って動作するプロセッサによって実現され、記憶部230はメモリまたはストレージによって実現される。受信部210は、さらに、サーバ300から送信された情報を受信してもよい。受信された情報は、例えば処理部220の制御に従って出力部270からユーザに向けて出力される。出力部270は、例えばディスプレイやスピーカを含む。
さらに、スマートフォン200では、撮像部250によって画像が取得される。撮像部250は、例えば撮像素子にレンズなどの光学系を組み合わせたカメラモジュールによって実現される。画像は、スポーツをプレーするユーザを被写体として含んでもよい。撮像部250によって取得された画像は、例えば受信部210によって受信されたデータとともに送信部240からサーバ300に送信される。画像は、サーバ300において、例えばセンサ装置100によって取得されたデータとともに解析処理に用いられてもよいし、解析処理によって生成された情報に組み込まれてもよい。入力部260は、例えばタッチパネルやハードウェアボタン、および/または音声入力やジェスチャ入力を受け付けるためのマイクロフォンやカメラを含む。処理部220は、入力部260を介して取得されたユーザ操作に従って、送信部240を介してサーバ300に情報をリクエストしてもよい。
サーバ300は、受信部310と、処理部320と、記憶部330と、送信部340とを備える。受信部310は、通信装置によって実現され、スマートフォン200からインターネットなどのネットワーク通信を利用して送信されたデータを受信する。処理部320は、例えばCPUなどのプロセッサによって実現され、受信されたデータを処理する。例えば、処理部320は、受信されたデータの処理の解析処理を実行し、解析後のデータをさらに記憶部330に蓄積したり、送信部340を介して出力したりしてもよい。あるいは、処理部320は、スマートフォン200などにおいて既に解析されたデータの蓄積および出力の制御を実行するだけであってもよい。
以上、本開示の第1の実施形態に係るシステムの構成について説明した。なお、上記で説明された構成は一例であり、他の実施形態ではさまざまな変形が可能である。例えば、上記の例では、センサ装置100によって取得されたデータを用いた解析処理がサーバ300の処理部320で実行されたが、解析処理はスマートフォン200の処理部220で実行されてもよいし、センサ装置100の処理部120で実行されてもよい。あるいは、解析処理は、処理部120,220,320のうちの一部または全部に分散して実行されてもよい。
また、システム10は、センサ装置100と、スマートフォン200と、サーバ300とを含むものとして説明されているが、例えばスマートフォン200の処理部220で解析処理が実行される場合には、システム10にサーバ300が含まれなくてもよい。つまり、本実施形態に係る処理は、センサ装置100とスマートフォン200というクライアント端末の間で完結してもよい。あるいは、この場合に、サーバ300は、スマートフォン200で実施された解析処理の結果がアップロードされたものを保存したり、結果をユーザ間で共有したりする機能を提供してもよい。
また、例えばセンサ装置100の処理部120で解析処理が実行される場合には、システム10にスマートフォン200およびサーバ300が含まれなくてもよい。つまり、本実施形態に係る処理は、センサ装置100という単一の端末装置の中で完結してもよい。あるいは、この場合に、スマートフォン200またはサーバ300は、センサ装置100で実施された解析処理の結果がアップロードされたものを保存したり、結果をユーザ間で共有したりする機能を提供してもよい。センサ装置100は、例えばユーザまたは用具に装着される専用のセンサ装置であってもよいし、携帯可能な情報処理端末に搭載されたセンサモジュールがセンサ装置100として機能してもよい。このような場合、センサ装置100は、サーバ300と直接的にデータをやりとりしてもよい。
(1−2.解析処理のための機能構成)
図3は、本開示の第1の実施形態における解析処理のための機能構成を示すブロック図である。図3を参照すると、機能構成400は、入力インターフェース401と、モーションデータ取得部403と、パターン検出部405と、イベント特定部409と、出力インターフェース413と、状態管理部415と、他センサデータ取得部417とを含む。機能構成400のうち、入力インターフェース401および出力インターフェース413を除いた処理部、すなわちモーションデータ取得部403、パターン検出部405、イベント特定部409、状態管理部415、および他センサデータ取得部417は、センサ装置100の処理部120、スマートフォン200の処理部220、および/またはサーバ300の処理部320によって実現される。以下、それぞれの機能構成についてさらに説明する。
入力インターフェース401は、解析処理に用いられる各種データの入力を受け付ける。例えば、解析処理がセンサ装置100の処理部120で実行される場合、入力インターフェース401は、処理部120がセンサ110から測定値などのデータを受け取るための内部的なインターフェースでありうる。また、例えば、解析処理がスマートフォン200の処理部220、またはサーバ300の処理部320で実行される場合、入力インターフェース401は、外部装置であるセンサ装置100またはスマートフォン200から送信されるデータを受信するための通信インターフェースでありうる。
モーションデータ取得部403は、入力インターフェース401を介して、モーションセンサによって提供されたモーションデータを取得する。本実施形態では、センサ装置100のセンサ110にモーションセンサが含まれる。モーションセンサは、例えば、3軸加速度センサや、6軸センサ(3軸加速度センサおよび3軸ジャイロセンサ)、9軸センサ(3軸加速度センサ、3軸ジャイロセンサ、および3軸地磁気センサ)を含む。さらに、モーションセンサは、振動センサを含んでもよい。上述のように、これらのセンサによって提供されるモーションデータは、ユーザによるスポーツのプレーに起因して発生する。モーションデータ取得部403は、モーションデータに含まれる測定値、または測定値が前処理されたデータを取得し、パターン検出部405に提供する。
パターン検出部405は、モーションパターン407を参照して、モーションデータ取得部403によって取得されたモーションデータに現れるパターンを検出する。モーションパターン407は、例えば、機械学習やパターン認識などの手法を用いて、モーションデータに現れる特徴を分類したパターンであり、予め解析処理を実行する装置の記憶部に格納されている。あるいは、モーションパターンは、解析処理を実行する装置とは異なる装置の記憶部に格納されており、パターン検出部405はネットワークを介してモーションパターン407を参照してもよい。パターン検出部405は、例えば、モーションデータに含まれる振動センサの波形に基づいて解析区間を設定し、解析区間における加速度や角速度などの波形をモーションパターン407として与えられる波形と比較することによって、モーションデータに現れるパターンを検出してもよい。
イベント特定部409は、パターン検出部405によって検出されたモーションデータのパターンに基づいて、ユーザのプレーに対応するプレーイベントを特定する。例えば、テニスの場合であれば、ユーザの一連のプレーの中で、ラケットのスイングが発生した場合に、モーションデータには特徴的なパターンが発生しうる。イベント特定部409は、パターン検出部405が検出した上記のパターンに基づいて、発生したスイングが何のプレーイベントであったかを特定する。
ここで、本実施形態において、プレーイベントは、スポーツのルールやセオリー、慣習などに従って規定される。例えば、テニスの場合、サーブによってラリーが開始され、サーブミスがあった場合には2回までサーブが可能であるというルールがある。また、ラリー中のテニスのショットも、例えばフォアハンドショット、バックハンドショット、ストローク、スライスボレー、スマッシュなどといった観点で分類される。イベント特定部409は、このようなルールやセオリー、慣習などに従って、例えば以下の図4に示す例のようなプレーイベントを特定する。
図4は、本実施形態において定義されるプレーイベントの例を示す図である。図示された例では、スイングが発生した場合に検出される8つのパターン(スイング−1〜スイング−8)について、対応するプレーイベントが示されている。例えば、パターン「スイング−1」は、プレーイベント「フォアハンドストローク」に対応付けられている。同様に、パターン「スイング−2」〜「スイング−7」も、それぞれ単一のプレーイベントに対応付けられている。これらのプレーイベントは、モーションデータに現れるパターンが固有であるために、パターンに基づいてプレーイベントを特定することができる。
一方、図示された例において、パターン「スイング−8」はオーバーハンドショットのパターンであるが、このパターンには「スマッシュ」および「サーブ」の2つのプレーイベントが対応付けられている。つまり、「スマッシュ」および「サーブ」のプレーイベントでは、モーションデータに現れるパターンが類似しており、パターンだけではプレーイベントを特定することが困難である。しかしながら、上述したように、「サーブ」のプレーイベントは、テニスのルール上他のショットとは明確に区別されるイベントであるために、「サーブ」のプレーイベントを特定することは、ユーザに有用な情報を提供するために重要である。
そこで、本実施形態において、イベント特定部409は、パターン検出部405によって検出されたモーションデータのパターンに基づいてプレーイベントを特定するにあたり、さらに、状態関連情報411を参照し、適切なプレーイベントを選択する。状態関連情報411は、ユーザによるスポーツのプレーの状態を示す情報である。本実施形態では、状態関連情報411が、解析処理を実行する装置の記憶部に格納されている。あるいは、状態関連情報411は、解析処理を実行する装置とは異なる装置の記憶部に格納されており、イベント特定部409はネットワークを介して状態関連情報411を参照してもよい。なお、状態関連情報411の詳細については、状態管理部415の機能とあわせて後述する。
なお、図4に示された例において、パターン「NS−1」〜「NS−7」は、スイング以外のユーザのアクションが発生した場合に検出される。これらのパターンは、一括してプレーイベント「NOT SWING」に対応付けられている。以下で説明する例では、プレーイベント「NOT SWING」はスイング以外のユーザのアクションが発生したこと以上の意味を持たないが、他の例では、パターン「NS−1」〜「NS−7」に対応する個別のプレーイベント、例えばボールを受けるときにラケットに当てて止める動作、ラケットを手で叩く動作、ラケットを落とした場合の動作などが特定されてもよい。
再び図3を参照して、イベント特定部409は、上記のような処理によって特定されたプレーイベントを示す情報を、出力インターフェース413を介して出力する。出力された情報は、例えばユーザにリアルタイムで提供される通知の生成に利用されたり、共有のためにアップロードされたり、さらなる解析処理の入力として利用されたりしてもよい。また、イベント特定部409は、プレーイベントを示す情報を、状態管理部415に提供してもよい。この場合、状態管理部415は、後述するように、発生したプレーイベントに応じて状態関連情報415を更新する。
出力インターフェース413は、イベント特定部409によって特定されたプレーイベントを示す情報を出力する。例えば、解析処理がセンサ装置100の処理部120やスマートフォン200の処理部220で実行される場合、出力インターフェース413は、プレーイベントに関連する情報をディスプレイやスピーカなどを介して出力するための内部的なインターフェースでありうる。また、例えば、出力インターフェース413は、解析結果を外部装置に送信するための通信インターフェース(例えば送信部130、送信部240、または送信部340)であってもよい。
状態管理部415は、状態関連情報411を管理する。本実施形態において、状態関連情報411は、ユーザによるスポーツのプレーの状態を示す情報であり、イベント特定部409がプレーイベントを特定するために参照される。状態管理部415は、イベント特定部409から提供された情報に基づいて状態関連情報415を更新する。また、状態管理部415は、他センサデータ取得部417から提供される情報に基づいて状態関連情報415を更新してもよい。
図5は、本実施形態において定義されるテニスのプレーに関する状態の例を示す図である。図示された例では、モーションデータ取得部403が取得するモーションデータなどに基づいて、1stサーブの待機状態W1、2ndサーブの待機状態W2、およびラリー状態Rが定義されている。状態間の遷移は、状態W1と状態Rとの間(TW1R,TRW1)、状態W2と状態Rとの間(TW2R,TRW2)、および各状態の自己遷移(TW1W1,TW2W2,TRR)について定義されている。これらの遷移には、例えばモーションデータに基づいてプレーイベントを特定するイベント特定部409から提供されるプレーイベントの情報や、他センサデータ取得部417から提供される情報などに基づく条件が対応付けられる。条件の例を、以下の表1に示す。
Figure 2015141251
なお、表1の例では、遷移TRW2に「サーブミスが検出された」という条件が対応付けられているが、サーブミスは、イベント特定部409から提供される情報によっては必ずしも検出されない。サーブミスは、例えば、他センサデータ取得部417が取得する、ボールがコート外に出たか否かを示す情報、またはユーザがマニュアル入力した情報などに基づいて検出されてもよい。
上記の表1の例にも示されるように、状態管理部415は、イベント特定部409や他センサデータ取得部417によって提供される、イベントの発生やセンサデータの変化を示す情報に基づいて状態関連情報411を更新する。また、状態管理部415は、イベント特定部409からイベントが発生したことを示す情報が提供されていない時間をタイマーなどによって計測し、所定の時間が経過した場合に状態関連情報411を更新してもよい。あるいは、状態管理部415は、定期的に状態関連情報411の更新処理を実行し、更新処理の実行時に、イベント特定部409や他センサデータ取得部417から提供された情報を状態関連情報411に反映させてもよい。
再び図3を参照して、他センサデータ取得部417は、入力インターフェース401を介して、モーションセンサとは異なる種類のセンシングデータを取得する。そのようなセンシングデータを提供するセンサは、例えばセンサ装置100のセンサ110に含まれていてもよいし、スマートフォン200に含まれていてもよいし(図2には示されていない)、センサ装置100ともスマートフォン200とも異なる装置、例えばテニスコートの周辺に設置されたカメラなどに含まれていてもよい。センサには、例えば、温度センサ、湿度センサ、照度センサ、位置センサ(GPS受信機を含む)などユーザの環境情報を取得するためのセンサが含まれてもよい。また、センサには、スポーツをプレーするユーザなどの画像を取得する撮像装置や、ユーザの脈拍などを測定する生体情報センサが含まれてもよい。
上述のように、他センサデータ取得部417によって取得されたデータは、状態管理部415による状態関連情報411の更新に用いられてもよい。なお、主にイベント特定部409が提供する情報に基づいて状態管理部415が状態関連情報411を更新する場合、他センサデータ取得部417は必ずしも設けられなくてもよい。あるいは、主に他センサデータ取得部417が提供する情報に基づいて状態管理部415が状態関連情報411を更新する場合、イベント特定部409は状態管理部415に情報を提供しなくてもよい。
(1−3.解析処理の具体的な例)
図6および図7は、本開示の第1の実施形態において、状態関連情報によらずに特定されるプレーイベントの例と、状態関連情報を用いて特定されるプレーイベントの例とを示す図である。
図6には、プレーイベント「フォアハンドストローク」の例が示されている。テニスをプレーするユーザがフォアハンドストロークでボールを打った場合、ボールのインパクトによって発生する振動波形4030aと、ラケットのスイングによって発生するモーション波形4030bとが、モーションデータ取得部403によって取得される。パターン検出部405は、例えば、振動波形4030aに基づいて解析区間を決定し、当該解析区間におけるモーション波形4030bをモーションパターン4070と比較することによって、パターン4050aを検出する。ここで、パターン4050aは、図4の例におけるパターン「スイング−1」である。図4の例に示されるように、パターン「スイング−1」は、プレーイベント「フォアハンドストローク」に1対1で対応付けられている。従って、イベント特定部409は、パターン4050aが検出された場合、状態関連情報411を参照しなくても、プレーイベント4090a(フォアハンドストローク)を特定することができる。
一方、図7には、プレーイベント「1stサーブ」の例が示されている。テニスをプレーするユーザが1本目のサーブを打った場合、図6の例と同様に、ボールのインパクトによって発生する振動波形4030aと、ラケットのスイングによって発生するモーション波形4030bとがモーションデータ取得部403によって取得され(波形自体は図6の例とは異なる)、パターン検出部405がパターン4050bを検出する。ここで、パターン4050bは、図4の例におけるパターン「スイング−8」である。図4の例に示されるように、パターン「スイング−8」は、「スマッシュ」および「サーブ」の2つのプレーイベントが対応付けられている。従って、イベント特定部409は、パターン4050bが検出された場合、状態関連情報4110を参照して、プレーイベント4090bを特定する。図示された例では、状態関連情報4110が1stサーブの待機状態W1を示しているため、プレーイベント4090bは「1stサーブ」のプレーイベントである(この例では、図4に示された例のプレーイベント「サーブ」に、1本目であることを示す情報が追加されている)。
図8は、本開示の第1の実施形態における、モーションデータのパターンと、プレーイベントと、状態との関係の例を示す図である。なお、以下で説明する例では、図4に示した例と同様にモーションデータのパターンとプレーイベントとの関係が定義され、図5に示した例と同様にテニスのプレーに関する状態が定義されているものとする。
図8を参照すると、まず、状態S11(ラリー)において、パターン検出部405がフォアハンドストロークのパターンP11(図4の例におけるパターン「スイング−1」であるが、図8の説明では便宜上フォアハンドストロークのパターンと称する。パターンP15についても同様)を検出する。このとき、イベント特定部409は、状態関連情報411を参照しなくても、フォアハンドストロークのプレーイベントE11を特定することができる。状態管理部415は、特定されたプレーイベントE11に基づいて状態関連情報411を更新する。ここでは、ラリー状態(S11)でショットイベント(E11)が発生しているため、ラリー状態Rでの自己遷移(TRR)が発生し、結果として状態S11は変更されない。
次に、状態S11(ラリー)において、パターン検出部405がNS(NOT SWING)のパターンP12を検出する。このときも、イベント特定部409は、状態関連情報411を参照しなくても、NSのプレーイベントE12を特定することができる。状態管理部415は、特定されたプレーイベントE12に基づいて状態関連情報411を更新する。ここでは、ラリー状態(S11)でNSイベント(E12)が発生しているため、ラリー状態Rから1stサーブの待機状態W1への遷移(TRW1)が発生し、ラリー状態S11は待機状態S12に変更される。
次に、状態S12(1stサーブの待機)において、パターン検出部405がオーバーハンドショットのパターンP13(図4の例におけるパターン「スイング−8」であるが、図8の説明では便宜上オーバーハンドショットのパターンと称する。パターンP14,P16についても同様)を検出する。このとき、イベント特定部409は、状態関連情報411を参照してプレーイベントを特定する。より具体的には、イベント特定部409は、パターンP13に対応するプレーの発生前の状態S12が1stサーブの待機状態であったことに基づいて、1stサーブのプレーイベントE13を特定する。
さらに、状態管理部415は、特定されたプレーイベントE13に基づいて状態関連情報411を更新する。ここでは、1stサーブの待機状態(S12)でショットイベント(E13)が発生しているため、1stサーブの待機状態W1からラリー状態Rへの遷移(TW1R)が発生し、待機状態S12はラリー状態S13に変更される。
その後、状態S13(ラリー)において、例えば他センサデータ取得部417が、サーブミスを検出する。この情報を提供された状態管理部415は、ラリー状態Rから2ndサーブの待機状態W2への遷移(TRW2)を発生させ、ラリー状態S13を2ndサーブの待機状態S14に変更する。
次に、状態S14(2ndサーブの待機)において、パターン検出部405がオーバーハンドショットのパターンP14を検出する。このときも、パターンP13の場合と同様に、イベント特定部409は状態関連情報411を参照してプレーイベントを特定する。より具体的には、イベント特定部409は、パターンP14に対応するプレーの発生前の状態S14が2ndサーブの待機状態であったことに基づいて、2ndサーブのプレーイベントE14を特定する。
さらに、状態管理部415は、特定されたプレーイベントE14に基づいて状態関連情報411を更新する。ここでは、2ndサーブの待機状態(S14)でショットイベント(E14)が発生しているため、2ndサーブの待機状態W2からラリー状態Rへの遷移(TW2R)が発生し、待機状態S14はラリー状態S15に変更される。
その後、状態S15(ラリー)において、パターン検出部405がフォアハンドストロークのパターンP15を検出し、イベント特定部409がフォアハンドストロークのプレーイベントE15を特定する。このときのイベント特定部409および状態管理部415の処理は、パターンP11の場合と同様であるため説明は省略する。結果として、ラリー状態Rでの自己遷移(TRR)が発生し、パターンP15の検出時には状態S15は変更されない。
次に、状態S15(ラリー)において、パターン検出部405がオーバーハンドショットのパターンP16を検出する。このときも、パターンP13,14の場合と同様に、イベント特定部409は状態関連情報411を参照してプレーイベントを特定する。より具体的には、イベント特定部409は、パターンP16に対応するプレーの発生前の状態S15がラリー状態であったことに基づいて、スマッシュのプレーイベントE16を特定する。
さらに、状態管理部415は、特定されたプレーイベントE16に基づいて状態関連情報411を更新する。ここでは、ラリー状態(S15)でショットイベント(E16)が発生しているため、ラリー状態Rでの自己遷移(TRR)が発生し、結果として状態S15は変更されない。
その後、状態S15(ラリー)において、パターン検出部405がモーションデータのパターンを検出せず、イベント特定部409もプレーイベントを特定しない状態が所定の時間継続した場合に、状態管理部415は、例えばタイマーなどを用いてこれを検出し、ラリー状態Rから1stサーブの待機状態W1への遷移(TRw1)を発生させ、ラリー状態S15を1stサーブの待機状態S16に変更する。
(1−4.変形例)
図9は、本開示の第1の実施形態の変形例を示す図である。図9には、上記で図5を参照して説明した例と同様にして定義される、テニスのプレーに関する状態の別の例が示されている。図示された例では、STP(ストローク練習)、SEP(サーブ練習)、VP(ボレー練習)、およびSMP(スマッシュ練習)の4つの状態が定義されている。図5に示された例と同様に、それぞれの状態の間での遷移、およびそれぞれの状態の自己遷移を、適切な条件に関連付けることによって、スポーツのプレーの進行に対応して状態を変化させることができる。
なお、上記で図5などを参照して説明した例では、遷移と条件とを対応付けるルールベースの手法によって状態の遷移が定義されたが、他の例では、例えば、観測データを基に、状態遷移モデルを自動的に学習する手法が採用されてもよい。状態遷移モデルは、例えば、HMM(Hidden Markov Model)のような確率モデルとして定義できる。
以上、本開示の第1の実施形態について説明した。本実施形態では、状態関連情報411によって、ユーザによるスポーツのプレーのコンテキストが保持されている。状態関連情報411は、イベント特定部409および/または他センサデータ取得部417が提供する情報によって更新されている。従って、イベント特定部409は、パターン検出部405によって検出されたモーションデータのパターンに基づいてプレーイベントを特定するにあたり、状態関連情報411を参照することによって、プレーのコンテキストに即した適切なプレーイベントを特定することができる。
(2.第2の実施形態)
続いて、本開示の第2の実施形態について説明する。本実施形態は、解析処理のための機能構成の一部について上記の第1の実施形態と相違するが、それ以外の構成については第1の実施形態と同様であるため、重複した説明は省略する。
図10は、本開示の第2の実施形態における解析処理のための機能構成を示すブロック図である。図10を参照すると、機能構成500は、入力インターフェース401と、モーションデータ取得部403と、パターン検出部405と、イベント特定部509と、出力インターフェース413とを含む。機能構成500のうち、入力インターフェース401および出力インターフェース413を除いた処理部、すなわちモーションデータ取得部403、パターン検出部405、およびイベント特定部509は、センサ装置100の処理部120、スマートフォン200の処理部220、および/またはサーバ300の処理部320によって実現される。センサ装置100の処理部120、スマートフォン200の処理部220、および/またはサーバ300の処理部320によって実現される。以下では、第1の実施形態とは異なる構成要素であるイベント特定部509、およびイベント特定部509が参照するイベント履歴511について、さらに説明する。
イベント特定部509は、パターン検出部405によって検出されたモーションデータのパターンに基づいて、ユーザがプレーに対応するプレーイベントを特定する。本実施形態において、イベント特定部509は、上記の第1の実施形態でイベント特定部409が参照した状態関連情報411の代わりに、イベント履歴511を参照する。本実施形態では、イベント履歴511は、解析処理を実行する装置の記憶部に格納されている。あるいは、イベント履歴511は、解析処理を実行する装置とは異なる装置の記憶部に格納されており、イベント特定部509はネットワークを介してイベント履歴511を参照してもよい。イベント特定部509は、イベント履歴511の参照が必要とされない場合も含め、プレーイベントを特定した場合、当該特定されたプレーイベントの情報をイベント履歴511に追加する。
イベント履歴511は、イベント特定部509によって特定されたイベントの履歴を示す情報であり、イベント特定部509がプレーイベントを特定するために参照される。つまり、本実施形態において、イベント特定部509は、過去に自ら特定したイベントの履歴に基づいて、新たに検出されたモーションデータのパターンに対応するプレーイベントを特定する。イベント履歴511には、例えば、第1の実施形態で図4を参照して説明したプレーイベントを示す情報と、各プレーイベントが発生した時刻を示すタイムスタンプとが格納される。
図11は、本実施形態における、イベント履歴を参照したプレーイベント特定の処理の例を示すフローチャートである。なお、以下で説明する例では、第1の実施形態で図4に示した例と同様にモーションデータのパターンとプレーイベントとの関係が定義されているものとする。従って、イベント特定部509がプレーイベントの特定にあたってイベント履歴511を参照するのは、パターン検出部405によってパターン「スイング−8」(オーバーハンドショット)が検出された場合である。
図11を参照すると、パターン検出部405によってパターン「スイング−8」(オーバーハンドショット)が検出された場合、イベント特定部509はイベント履歴511を参照し、直前に特定されたイベントがNS(NOT SWING)であるか否かを判定する(S101)。ここで、直前に特定されたイベントがNSではない、つまりショットイベントである場合(NO)、イベント特定部509は、さらに、直前のイベント(ショットイベント)が発生してから1秒未満であるか否かを判定する(S103)。なお、ここで、1秒というのはラリーにおけるショットの間隔に対応する時間閾値の一例であり、他の例では異なる時間閾値が採用されてもよい。
上記のS103の判定において、直前のイベントが発生してから1秒未満であると判定された場合(YES)、イベント特定部509は、プレーイベント「スマッシュ」を特定する(S105)。この場合、イベント特定部509は、「直前のイベントがNSではなく」(S101の判定)、かつ「直前のイベントから1秒未満である」(S103の判定)という条件によって、第1の実施形態でいうラリー状態Rと同様のプレーのコンテキストを識別しているといえる。
一方、上記のS101の判定において、直前に特定されたイベントがNSである場合(YES)、イベント特定部509は、NS以外の直前のイベントを、イベント履歴に関する判定の対象にする(S107)。NSのイベントが複数回連続して特定されている場合、イベント特定部509はそのさらに前に特定されたNS以外のイベント、つまりショットイベント判定の対象にする。
上記のS103の判定において直前のイベントが発生してから1秒未満ではなかった場合(NO)、および上記のS107においてNS以外の直前のイベントが判定の対象になった場合、イベント特定部509は、さらに、直前のイベントが1stサーブのプレーイベントであるか否かを判定する(S109)。ここで、直前のイベント(S101およびS107の結果、ショットイベントに限定されている)が1stサーブではなかった場合(NO)、イベント特定部509は、プレーイベント「1stサーブ」を特定する(S111)。この場合、イベント特定部509は、「直前のイベントがNSであり」(S101の判定)、かつ「NS以外の直前のイベントが1stサーブではない」(S109の判定)という条件、または、「直前のイベントがショットイベントであり」(S101の判定)、「直前のショットイベントから1秒以上経過しており」(S103の判定)、かつ「直前のショットイベントが1stサーブではない」(S109の判定)という条件によって、第1の実施形態でいう1stサーブの待機状態W1と同様のプレーのコンテキストを識別しているといえる。
一方、上記のS109の判定において、直前のイベントが1stサーブであった場合(YES)、イベント特定部509は、プレーイベント「2ndサーブ」を特定する(S113)。この場合、イベント特定部509は、「直前のイベントがNSであり」(S101の判定)、かつ「NS以外の直前のイベントが1stサーブである」(S109の判定)という条件、または、「直前のイベントがショットイベントであり」(S101の判定)、「直前のショットイベントから1秒以上経過しており」(S103の判定)、かつ「直前のショットイベントが1stサーブである」(S109の判定)という条件によって、第1の実施形態でいう2ndサーブの待機状態W2と同様のプレーのコンテキストを識別しているといえる。
なお、厳密には、直前のショットイベントが1stサーブであっても、サービスエースまたはサービスウィナーの場合には、その次に発生するイベントは1stサーブになりうる。従って、S109の判定は、より正確には「直前のイベントが1stサーブのプレーイベントであり、かつサーブミスが検出されたか否か」の判定であってもよい。サーブミスは、例えば、第1の実施形態で説明した他センサデータ取得部417によって取得される情報や、ユーザがマニュアル入力した情報などに基づいて検出することができる。
以上、本開示の第2の実施形態について説明した。本実施形態では、イベント履歴511に格納された情報に基づいて、ユーザによるスポーツのプレーのコンテキストが識別される。つまり、本実施形態では、プレーのコンテキストを直接的に表す情報を保持する代わりに、コンテキストを識別するためのソースになる情報であるイベント履歴511を保持しておき、コンテキストに基づく判定が必要なモーションデータのパターンが検出された場合にイベント履歴511に基づいてプレーのコンテキストが識別される。本実施形態では、第1の実施形態のように、状態管理部415が状態関連情報411を更新する処理が必要とされないため、処理負荷が軽減されうる。
(3.ハードウェア構成)
次に、図12および図13を参照して、本開示の実施形態に係るセンサ装置および情報処理装置(上述した例ではセンサ装置、スマートフォンまたはサーバ)を実現するためのハードウェア構成の例について説明する。
(センサ装置)
図12は、本開示の実施形態に係るセンサ装置のハードウェア構成の例を示す図である。図12を参照すると、センサ装置100は、センサ101と、CPU(Central Processing Unit)103と、ROM(Read Only Memory)105と、RAM(Random Access Memory)107と、ユーザインターフェース109と、外部記憶装置111と、通信装置113と、出力装置115とを含みうる。これらの要素は、例えばバスによって相互に接続される。
センサ101は、例えば加速度センサ、角速度センサ、振動センサ、地磁気センサ、温度センサ、圧力センサ(押下スイッチを含む)、またはGPS(Global Positioning System)受信機などを含む。センサ101は、カメラ(イメージセンサ)やマイクロフォン(音センサ)を含んでもよい。
CPU103、ROM105、およびRAM107は、例えば外部記憶装置111に記録されたプログラム命令を読み込んで実行することによって、様々な機能をソフトウェア的に実現する。本開示の実施形態では、CPU103、ROM105、およびRAM107によって、例えば、センサ装置100全体の制御などの機能が実現されうる。
ユーザインターフェース109は、センサ装置100へのユーザ操作を受け付ける、例えばボタンやタッチパネルなどの入力装置である。ユーザの操作は、例えば、センサ装置からのセンサ情報の送信の開始や終了を指示するものでありうる。
外部記憶装置111は、センサ装置100に関する各種の情報を記憶する。外部記憶装置111には、例えば、CPU103、ROM105、およびRAM107にソフトウェア的に機能を実現させるためのプログラム命令が格納されてもよく、またセンサ101によって取得されたデータが一時的にキャッシュされてもよい。センサ装置100が打具などに装着されることを考慮すると、外部記憶装置111としては、例えば半導体メモリなどの衝撃に強いものを使用することが望ましい。
なお、上述した、スマートフォン200がスポーツをプレーしているユーザの近傍に配置されない場合における、センサ装置100において検出されたデータを蓄積する内部の記憶領域(メモリまたは外部記憶装置)に対応する構成は、ROM105、RAM107、および/または外部記憶装置111である。
通信装置113は、有線または無線の各種通信方式によって後述する情報処理装置600と通信する。また、通信装置113は、機器間通信によって直接的に情報処理装置600と通信してもよいし、インターネットなどのネットワークを介して情報処理装置600と通信してもよい。
出力装置115は、情報を光、音声または画像として出力することが可能な装置で構成される。出力装置115は、例えばセンサ装置100における時刻やプレーイベントの検出を通知する情報を出力してもよいし、情報処理装置600から受信された解析結果、またはセンサ装置100において算出された解析結果に基づいて、ユーザに対する視覚的または聴覚的な通知を出力してもよい。出力装置115は、例えば、例えばLEDなどのランプ、LCDなどのディスプレイ、スピーカ、またはバイブレータなどを含む。
(情報処理装置)
図13は、本開示の実施形態に係る情報処理装置のハードウェア構成の例を示す図である。情報処理装置600は、本開示の実施形態に係る情報処理装置、例えば上記で説明したスマートフォン200またはサーバ300を実現しうる。なお、上述のように、情報処理装置は、センサ装置100によって実現されてもよい。
情報処理装置600は、CPU601と、ROM603と、RAM605と、ユーザインターフェース609と、外部記憶装置611と、通信装置613と、出力装置615とを含みうる。これらの要素は、例えばバスによって相互に接続される。
CPU601、ROM603、およびRAM605は、例えば外部記憶装置611に記録されたプログラム命令を読み込んで実行することによって、様々な機能をソフトウェア的に実現する。本開示の実施形態では、CPU601、ROM603、およびRAM605によって、例えば、情報処理装置600全体の制御や、上記の機能構成における処理部の機能などが実現されうる。
ユーザインターフェース609は、情報処理装置600へのユーザ操作を受け付ける、例えばボタンやタッチパネルなどの入力装置である。
外部記憶装置611は、情報処理装置600に関する各種の情報を記憶する。外部記憶装置611には、例えば、CPU601、ROM603、およびRAM605にソフトウェア的に機能を実現させるためのプログラム命令が格納されてもよく、また通信装置613が受信したセンサ情報が一時的にキャッシュされてもよい。また、外部記憶装置611には、解析結果のログが蓄積されてもよい。
出力装置615は、情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置615は、例えば、LCD(Liquid Crystal Display)などの表示装置、またはスピーカやヘッドホンなどの音声出力装置などでありうる。出力装置615は、情報処理装置600の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。
以上、センサ装置100および情報処理装置600のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
(4.補足)
本開示の実施形態は、例えば、上記で説明したような情報処理装置(スマートフォンなどの情報処理端末、サーバ、またはセンサ装置)、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
より具体的には、例えば、本開示の実施形態は、対象のアクションに起因して発生するセンシングデータを取得するデータ取得部と、前記センシングデータに現れるパターン、および前記アクションのコンテキストに基づいて前記アクションに対応するイベントを特定するイベント特定部とを備える情報処理装置を含む。
例えば、上記の第1および第2の実施形態では、対象のアクションとしてユーザによるスポーツのプレーが例示された。しかし、他の実施形態では、対象はユーザに限られず(人ではなく動物や物であってもよい)、またアクションもスポーツのプレーだけではなくあらゆるアクションを含みうる。例えば、車を運転しているユーザが頭を下げた場合、それがお辞儀であるのか居眠りであるのかを、アクションのコンテキスト(例えば運転の状態)に基づいて識別することは有用である。また、例えば、ユーザがお辞儀をした場合に、それが挨拶のお辞儀であるのか謝罪のお辞儀であるかをアクションのコンテキスト(例えば会話のトーンなど)に基づいて識別することは、ユーザの行動ステータスを共有するサービスなどでは有用である。また、アクションがスポーツのプレーである場合も、スポーツの種類はテニスには限られず、例えばバレーボール(ジャンプサーブとスパイク(アタック)をコンテキストに基づいて識別する)や卓球(フォアハンドやバックハンドのスイングやドライブと、それぞれのショットをサーブとして打った場合とをコンテキストに基づいて識別する)などであってもよい。また、本技術を適用可能なスポーツは、上記のような対戦型の球技には限られず、プレーのコンテキストが定義可能なあらゆる種類のスポーツを含みうる。
また、上記の第1および第2の実施形態では、センシングデータとしてモーションデータが例示された。しかし、他の実施形態では、センシングデータはモーションデータに限られず、対象のアクションの画像を取得する撮像装置や、対象である人や動物の脈拍などを測定する生体情報センサなどであってもよい。また、センシングデータは、温度センサ、湿度センサ、照度センサ、位置センサ(GPS受信機を含む)など、対象の環境情報を取得するためのセンサによって提供されてもよい。
また、上記の第1および第2の実施形態では、アクション(プレー)の発生前のコンテキストに基づいてイベントが特定された。しかし、他の実施形態では、アクションの発生後のコンテキストにさらに基づいてイベントが特定されてもよい。例えば、アクション(プレー)の進行中にリアルタイムでイベントを特定する場合にはアクション(プレー)の発生前のコンテキストに基づいてイベントが特定されるが、アクション(プレー)の発生後に事後的にイベントを特定する場合には、アクション(プレー)の発生後のコンテキストにさらに基づいてアクションに対応するイベントを特定することも可能である。
また、上記の第1および第2の実施形態では、センシングデータ(モーションデータ)のパターンだけではプレーイベントを特定することが困難な場合にコンテキストが参照された。しかし、他の実施形態では、コンテキストに基づく判定がパターンに基づく判定に優越してもよい。例えば、第1および第2の実施形態と同様のテニスの例において、状態関連情報411、またはイベント履歴511によって、サーブの待機状態に相当するコンテキストが示される場合には、モーションデータのパターンに関わらず、ショットが発生した場合にはサーブのプレーイベントが特定されてもよい。例えば、テニスのサーブにはオーバーヘッドサーブとアンダーサーブとがあり、アンダーサーブの場合はオーバーヘッドサーブ(スマッシュに類似)とは異なるモーションデータのパターンが発生する。上記のようにコンテキストに基づく判定を利用すれば、いずれの場合も正しくサーブのプレーイベントを検出することができる。
また、プレーヤによっては、上記の2パターンにあてはまらない変則的なフォームでサーブを打つ場合もありうる。例えば、変則的なサーブのパターンがフォアハンドストロークのパターンに類似していたり、あるいは他のどのショットのパターンにも類似していなかったりしたとしても、コンテキストに基づく判定を利用すれば、正しくサーブのプレーイベントを検出することができる。また、他の例として、相手のサーブを返すショットを、「リターン」のプレーイベントとして、他のショットとは区別してもよい。この場合、「リターン」プレーイベントは、モーションデータのパターンが示すショットの種類(フォアハンドストローク、バックハンドストロークなど)に関わらず、コンテキスト(相手のサーブの直後のショット)に基づいて特定されうる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)対象のアクションに起因して発生するセンシングデータを取得するデータ取得部と、
前記センシングデータに現れるパターン、および前記アクションのコンテキストに基づいて前記アクションに対応するイベントを特定するイベント特定部と
を備える情報処理装置。
(2)前記イベント特定部は、前記アクションに対応するイベントを、前記パターンに対応付けられる複数のイベントの中から前記コンテキストに基づいて選択する、前記(1)に記載の情報処理装置。
(3)前記アクションは、スポーツのプレーを含み、
前記イベントは、少なくとも前記スポーツのルールに従って規定されるプレーイベントを含む、前記(1)または(2)に記載の情報処理装置。
(4)前記センシングデータは、モーションデータを含む、前記(1)〜(3)のいずれか1項に記載の情報処理装置。
(5)前記イベント特定部は、前記アクションの発生前の前記コンテキストに基づいて前記アクションに対応するイベントを特定する、前記(1)〜(4)のいずれか1項に記載の情報処理装置。
(6)前記イベント特定部は、前記アクションの発生後の前記コンテキストにさらに基づいて前記アクションに対応するイベントを特定する、前記(5)に記載の情報処理装置。
(7)前記コンテキストは、少なくとも前記センシングデータに基づいて定義される、前記(1)〜(6)のいずれか1項に記載の情報処理装置。
(8)前記イベント特定部は、前記アクションの発生前のイベント履歴に基づいて前記アクションに対応するイベントを特定する、前記(7)に記載の情報処理装置。
(9)前記コンテキストは、前記センシングデータとは異なるデータに基づいて定義される、前記(1)〜(8)のいずれか1項に記載の情報処理装置。
(10)前記センシングデータは、モーションデータを含み、
前記コンテキストは、前記モーションデータとは異なる種類のセンシングデータに基づいて定義される、前記(9)に記載の情報処理装置。
(11)対象のアクションに起因して発生するセンシングデータを取得するデータ取得機能と、
前記センシングデータに現れるパターン、および前記アクションのコンテキストに基づいて前記アクションに対応するイベントを特定するイベント特定機能と
を情報処理装置のプロセッサに実現させるためのプログラムが記録された記録媒体。
(12)対象のアクションをセンシングすることと、
前記センシングによって取得されたセンシングデータを送信することと、
前記センシングデータを受信する情報処理装置のプロセッサが、前記センシングデータに現れるパターン、および前記アクションのコンテキストに基づいて前記アクションに対応するイベントを特定する処理を実行することと
を含む情報処理方法。
10 システム
100 センサ装置
110 センサ
120 処理部
200 スマートフォン
210 受信部
220 処理部
300 サーバ
310 受信部
320 処理部
403 モーションデータ取得部
405 パターン検出部
407 モーションパターン
409,509 イベント特定部
411 状態関連情報
415 状態管理部
417 他センサデータ取得部
511 イベント履歴

Claims (12)

  1. 対象のアクションに起因して発生するセンシングデータを取得するデータ取得部と、
    前記センシングデータに現れるパターン、および前記アクションのコンテキストに基づいて前記アクションに対応するイベントを特定するイベント特定部と
    を備える情報処理装置。
  2. 前記イベント特定部は、前記アクションに対応するイベントを、前記パターンに対応付けられる複数のイベントの中から前記コンテキストに基づいて選択する、請求項1に記載の情報処理装置。
  3. 前記アクションは、スポーツのプレーを含み、
    前記イベントは、少なくとも前記スポーツのルールに従って規定されるプレーイベントを含む、請求項1に記載の情報処理装置。
  4. 前記センシングデータは、モーションデータを含む、請求項1に記載の情報処理装置。
  5. 前記イベント特定部は、前記アクションの発生前の前記コンテキストに基づいて前記アクションに対応するイベントを特定する、請求項1に記載の情報処理装置。
  6. 前記イベント特定部は、前記アクションの発生後の前記コンテキストにさらに基づいて前記アクションに対応するイベントを特定する、請求項5に記載の情報処理装置。
  7. 前記コンテキストは、少なくとも前記センシングデータに基づいて定義される、請求項1に記載の情報処理装置。
  8. 前記イベント特定部は、前記アクションの発生前のイベント履歴に基づいて前記アクションに対応するイベントを特定する、請求項7に記載の情報処理装置。
  9. 前記コンテキストは、前記センシングデータとは異なるデータに基づいて定義される、請求項1に記載の情報処理装置。
  10. 前記センシングデータは、モーションデータを含み、
    前記コンテキストは、前記モーションデータとは異なる種類のセンシングデータに基づいて定義される、請求項9に記載の情報処理装置。
  11. 対象のアクションに起因して発生するセンシングデータを取得するデータ取得機能と、
    前記センシングデータに現れるパターン、および前記アクションのコンテキストに基づいて前記アクションに対応するイベントを特定するイベント特定機能と
    を情報処理装置のプロセッサに実現させるためのプログラムが記録された記録媒体。
  12. 対象のアクションをセンシングすることと、
    前記センシングによって取得されたセンシングデータを送信することと、
    前記センシングデータを受信する情報処理装置のプロセッサが、前記センシングデータに現れるパターン、および前記アクションのコンテキストに基づいて前記アクションに対応するイベントを特定する処理を実行することと
    を含む情報処理方法。
JP2016508555A 2014-03-19 2015-01-13 情報処理装置、情報処理方法および記録媒体 Pending JPWO2015141251A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014056794 2014-03-19
JP2014056794 2014-03-19
PCT/JP2015/050689 WO2015141251A1 (ja) 2014-03-19 2015-01-13 情報処理装置、情報処理方法および記録媒体

Publications (1)

Publication Number Publication Date
JPWO2015141251A1 true JPWO2015141251A1 (ja) 2017-04-06

Family

ID=54144231

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016508555A Pending JPWO2015141251A1 (ja) 2014-03-19 2015-01-13 情報処理装置、情報処理方法および記録媒体

Country Status (5)

Country Link
US (1) US10769796B2 (ja)
EP (1) EP3120902A4 (ja)
JP (1) JPWO2015141251A1 (ja)
CN (1) CN106102846A (ja)
WO (1) WO2015141251A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5994306B2 (ja) 2012-03-15 2016-09-21 ソニー株式会社 情報処理装置、情報処理システムおよびプログラム
US9457228B2 (en) * 2013-07-09 2016-10-04 Aditi Sinha Sport training equipment
WO2016025460A1 (en) 2014-08-11 2016-02-18 Icuemotion, Llc Codification and cueing system for human interactions in tennis and other sport and vocational activities
WO2016130890A1 (en) * 2015-02-13 2016-08-18 Ansarullah Ridwan Mohammed Positional analysis for prayer recognition
US10854104B2 (en) 2015-08-28 2020-12-01 Icuemotion Llc System for movement skill analysis and skill augmentation and cueing
JP6696221B2 (ja) * 2016-02-26 2020-05-20 セイコーエプソン株式会社 制御装置、受電装置、電子機器及び電力伝送システム
US10331693B1 (en) * 2016-09-12 2019-06-25 Amazon Technologies, Inc. Filters and event schema for categorizing and processing streaming event data
US10751601B2 (en) * 2016-10-28 2020-08-25 Beijing Shunyuan Kaihua Technology Limited Automatic rally detection and scoring
US10496467B1 (en) 2017-01-18 2019-12-03 Amazon Technologies, Inc. Monitoring software computations of arbitrary length and duration
JP2018156486A (ja) * 2017-03-17 2018-10-04 株式会社リコー 情報提供システム、情報提供方法およびプログラム
WO2019010435A1 (en) * 2017-07-06 2019-01-10 Icuemotion Llc SYSTEMS AND METHODS FOR TRAINING SKILL TRAINING WITH DATA
US11868405B2 (en) * 2018-01-23 2024-01-09 Sony Corporation Information processor, information processing method, and recording medium
CN111310627B (zh) * 2020-02-07 2024-01-30 广州视源电子科技股份有限公司 传感装置的检测方法、装置和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004012150A1 (ja) * 2002-07-26 2004-02-05 National Institute Of Information And Communications Technology Incorporated Administrative Agancy 画像認識装置及び画像認識プログラム
JP2005026837A (ja) * 2003-06-30 2005-01-27 Nippon Hoso Kyokai <Nhk> スポーツ映像インデックス生成装置、その方法、そのプログラム及びスポーツ中継アナウンスデータ生成装置並びにスポーツダイジェスト映像生成装置
JP2012139493A (ja) * 2010-12-29 2012-07-26 Nike Internatl Ltd チーム競技環境における運動パフォーマンスモニタリングのシステムおよび方法
WO2013069447A1 (ja) * 2011-11-08 2013-05-16 ソニー株式会社 センサ装置、解析装置および記憶媒体
JP2013188426A (ja) * 2012-03-15 2013-09-26 Sony Corp 情報処理装置、情報処理システムおよびプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6850252B1 (en) * 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
CA2364919A1 (en) * 2000-12-14 2002-06-14 Kevin Tuer Proprioceptive golf club with analysis, correction and control capabilities
US6537076B2 (en) * 2001-02-16 2003-03-25 Golftec Enterprises Llc Method and system for presenting information for physical motion analysis
US20150235143A1 (en) * 2003-12-30 2015-08-20 Kantrack Llc Transfer Learning For Predictive Model Development
JP4507992B2 (ja) * 2005-06-09 2010-07-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
US7536033B2 (en) * 2006-03-03 2009-05-19 Richard Albert Kirby Portable swing analyzer
FR2917224B1 (fr) * 2007-06-05 2010-03-12 Team Lagardere Procede et systeme d'aide a l'entrainement de sportifs de haut niveau,notamment de tennismen professionnels.
JP2011516915A (ja) * 2008-04-03 2011-05-26 韓國電子通信研究院 モーションコンテンツベースの学習装置及び方法
JP5759375B2 (ja) * 2008-08-12 2015-08-05 コーニンクレッカ フィリップス エヌ ヴェ 動き検出システム
US8628453B2 (en) * 2008-12-05 2014-01-14 Nike, Inc. Athletic performance monitoring systems and methods in a team sports environment
US8172722B2 (en) * 2008-12-05 2012-05-08 Nike, Inc. Athletic performance monitoring systems and methods in a team sports environment
JP2011223287A (ja) * 2010-04-09 2011-11-04 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
US10335091B2 (en) * 2014-03-19 2019-07-02 Tactonic Technologies, Llc Method and apparatus to infer object and agent properties, activity capacities, behaviors, and intents from contact and pressure images
CN110083303A (zh) * 2014-05-22 2019-08-02 索尼公司 信息处理设备、信息处理方法与计算机可读介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004012150A1 (ja) * 2002-07-26 2004-02-05 National Institute Of Information And Communications Technology Incorporated Administrative Agancy 画像認識装置及び画像認識プログラム
JP2005026837A (ja) * 2003-06-30 2005-01-27 Nippon Hoso Kyokai <Nhk> スポーツ映像インデックス生成装置、その方法、そのプログラム及びスポーツ中継アナウンスデータ生成装置並びにスポーツダイジェスト映像生成装置
JP2012139493A (ja) * 2010-12-29 2012-07-26 Nike Internatl Ltd チーム競技環境における運動パフォーマンスモニタリングのシステムおよび方法
WO2013069447A1 (ja) * 2011-11-08 2013-05-16 ソニー株式会社 センサ装置、解析装置および記憶媒体
JP2013188426A (ja) * 2012-03-15 2013-09-26 Sony Corp 情報処理装置、情報処理システムおよびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"テニスレッスン Vol.2 上級者への道 スマッシュ編", TENNIS365.NET, JPN7019003431, 12 January 2007 (2007-01-12), ISSN: 0004140451 *

Also Published As

Publication number Publication date
WO2015141251A1 (ja) 2015-09-24
CN106102846A (zh) 2016-11-09
EP3120902A1 (en) 2017-01-25
US20170011527A1 (en) 2017-01-12
US10769796B2 (en) 2020-09-08
EP3120902A4 (en) 2017-10-25

Similar Documents

Publication Publication Date Title
WO2015141251A1 (ja) 情報処理装置、情報処理方法および記録媒体
US11250247B2 (en) Information processing device, information processing system, and program
KR101954959B1 (ko) 운동 수행의 이미지 데이터로부터의 피드백 신호들
EP3060317B1 (en) Information processing device, recording medium, and information processing method
JP6458739B2 (ja) 解析装置、記録媒体および解析方法
JP6354461B2 (ja) フィードバック提供方法、システム、および解析装置
US10751601B2 (en) Automatic rally detection and scoring
JP6432523B2 (ja) 解析装置、記録媒体および解析方法
JP6459979B2 (ja) 解析装置、記録媒体および解析方法
KR102279626B1 (ko) 경기정보 표시 방법 및 경기정보 표시 시스템
WO2015098303A1 (ja) 解析装置、記録媒体および解析方法
JP2017022727A (ja) 情報処理装置、情報処理システムおよびプログラム
JP2013012032A (ja) 情報処理システム、端末装置、情報処理方法及びプログラム
KR20150009626A (ko) 사용자 모션을 이용한 원격 컨트롤 모듈 및 방법
WO2015098301A1 (ja) 解析装置、記録媒体および解析方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181126

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190416

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190424

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190610

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191029