JP6213146B2 - 情報処理装置、記録媒体、および情報処理方法 - Google Patents

Description

本開示は、情報処理装置、記録媒体、および情報処理方法に関する。

カメラ、またはカメラを搭載した装置の普及によって、さまざまなシーンでユーザの画像（静止画または動画）を撮影することは、今や一般的である。そのような場合において、画像は、いわゆる決定的瞬間をとらえることを期待されることが多い。例えば、スポーツのプレー中の画像を撮影する場合には、ボールのインパクトの瞬間、跳躍の瞬間、着地の瞬間、技を決めた瞬間など、ユーザが画像として記録したいであろう多くの決定的瞬間がある。このような決定的瞬間を画像として記録するための技術として、例えば、特許文献１には、スルー画像からレリーズの契機となる被写体の表情または動作（ジェスチャー）を検出し、該表情または動作が検出されたときに自動的に本撮影を実行する技術が記載されている。

特開２０１０−２７３２８０号公報

しかしながら、例えばスポーツのプレーは連続するさまざまなモーションから成り立っており、スルー画像から決定的瞬間を特定することは容易ではない。また、表情などとは異なり、決定的瞬間の持続時間はきわめて短いことが多い。このような場合に、例えば特許文献１に記載された技術を適用して、スルー画像から被写体の表情または動作を検出していたのでは、決定的瞬間を正しく検出することは難しい。

そこで、本開示では、被写体の連続するモーションの中から決定的瞬間を正確に特定して画像として抽出することが可能な、新規かつ改良された情報処理装置、記録媒体、および情報処理方法を提案する。

本開示によれば、ユーザまたはユーザに接触するオブジェクトに装着されたセンサからのセンサデータ、および上記センサデータに対応する時刻情報を受信する通信部と、上記センサデータおよび上記時刻情報に基づいて、上記ユーザまたは上記オブジェクトに所定のモーションパターンが発生した時刻を特定する解析部と、上記特定された時刻に応じて、所定の時間間隔で撮影された上記ユーザまたは上記オブジェクトを含む一連の画像から１または複数の画像を選択する画像選択部とを含む情報処理装置が提供される。

また、本開示によれば、ユーザまたはユーザに接触するオブジェクトに装着されたセンサからのセンサデータ、および上記センサデータに対応する時刻情報を受信する機能と、上記センサデータおよび上記時刻情報に基づいて、上記ユーザまたは上記オブジェクトに所定のモーションパターンが発生した時刻を特定する機能と、上記特定された時刻に応じて、所定の時間間隔で撮影された上記ユーザまたは上記オブジェクトを含む一連の画像から１または複数の画像を選択する機能とをコンピュータに実現させるためのプログラムが記録された記録媒体が提供される。

また、本開示によれば、ユーザまたはユーザに接触するオブジェクトに装着されたセンサからのセンサデータ、および上記センサデータに対応する時刻情報を受信することと、上記センサデータおよび上記時刻情報に基づいて、上記ユーザまたは上記オブジェクトに所定のモーションパターンが発生した時刻を特定することと、上記特定された時刻に応じて、所定の時間間隔で撮影された上記ユーザまたは上記オブジェクトを含む一連の画像から１または複数の画像を選択することとを含む情報処理方法が提供される。

以上説明したように本開示によれば、被写体の連続するモーションの中から決定的瞬間を正確に特定して画像として抽出することができる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係るシステムの概略的な構成を示す図である。 本開示の一実施形態に係るスマートフォンの概略的な機能構成を示す図である。 本開示の一実施形態において単一の静止画像を選択する例について説明するための図である。 本開示の一実施形態において連続写真を選択する例について説明するための図である。 本開示の一実施形態において動画像の区間を設定する例について説明するための図である。 本開示の一実施形態において継続的なモーションパターンに基づいて画像を選択する例について説明するための図である。 ショット診断アプリケーションの開始画面を示す図である。 ショット診断アプリケーションの測定中画面を示す図である。 ショット診断アプリケーションの解析中画面を示す図である。 ショット診断アプリケーションの結果画面を示す図である。 ショット診断アプリケーションの連続写真画面を示す図である。 ショット診断アプリケーションの再生コントロール画面を示す図である。 連続写真生成アプリケーションの開始画面を示す図である。 連続写真生成アプリケーションの撮影中画面を示す図である。 連続写真生成アプリケーションの生成中画面を示す図である。 連続写真生成アプリケーションの生成結果画面を示す図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．システム構成
２．機能構成
３．画像選択の例
３−１．単一の静止画像を選択する例
３−２．連続写真を選択する例
３−３．動画像の区間を設定する例
３−４．継続的なモーションパターンを検出する例
４．アプリケーションの例
４−１．ショット診断アプリケーション
４−２．連続写真生成アプリケーション
５．ハードウェア構成
６．補足

（１．システム構成）
図１は、本開示の一実施形態に係るシステムの概略的な構成を示す図である。図１を参照すると、システム１０は、センサ装置１００と、スマートフォン２００と、カメラ３００と、サーバ４００とを含む。

センサ装置１００は、ユーザまたはユーザに接触するオブジェクトに装着されたセンサである。図示された例において、ユーザはスポーツ（テニス）をプレーしている。この例において、センサ装置１００は、例えばユーザが把持しているテニスラケットのグリップ部分に嵌め込まれたり、シャフト部分に巻きつけられる。テニスラケットは、ユーザに接触するオブジェクトである。あるいは、センサ装置１００は、腕輪状の形状を有してユーザの手首に装着されてもよい。他の例において、センサ装置１００は、ユーザの体の他の部位、例えば腕や足首などに装着されてもよい。また、センサ装置１００がテニスラケットのようなオブジェクトに装着される場合、センサ装置１００は、オブジェクトは、例えばラケットのような打具、ウェア、シューズ、またはリストバンドのようなスポーツ用具でありうる。この場合、センサ装置１００は、オブジェクトに巻きつけられたり、縫い付けられたり、貼りつけられたり、予め内蔵されることによって装着されうる。

例えば、センサ装置１００は、ユーザの挙動を示すセンサデータを取得するためのセンサと、センサデータを処理するための処理回路と、スマートフォン２００との通信を実行するための通信装置とを備える。センサは、例えば加速度、角速度、振動、温度、時刻、または位置（例えば緯度経度によって表される地表上の位置、またはコートなどに対する相対的な位置）などに関するセンサデータを取得する。処理回路は、必要に応じてセンサデータを前処理する。通信装置は、スマートフォン２００との間で例えばＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信を実行する。無線通信によって、例えば、センサデータ（処理回路によって前処理されたものを含む）がセンサ装置１００からスマートフォン２００に送信される。また、無線通信によって、スマートフォン２００からセンサ装置１００に制御信号が送信されてもよい。この場合、センサおよび／または処理回路は、通信装置によって受信された制御信号に従って動作する。

スマートフォン２００は、ユーザによって使用される情報処理端末の例である。図示された例において、スマートフォン２００は、スポーツ（テニス）をプレーするユーザの近くに置かれている。ユーザは、例えばプレーの合間にスマートフォン２００を使用して、後述するようなプレー支援アプリケーションを利用する。また、スマートフォン２００は、ユーザによって使用されていない間、つまりユーザがスポーツをプレーしている最中にも、センサ装置１００やカメラ３００と連係動作してさまざまな処理を実行しうる。例えば、スマートフォン２００は、センサ装置１００から受信されたセンサデータに基づいて、カメラ３００によって撮影された画像の記録を制御してもよい。また、スマートフォン２００は、センサデータに基づいて生成された制御信号をカメラ３００に送信することによって、カメラ３００の撮影動作を制御してもよい。スマートフォン２００はセンサ装置１００にも同様に制御信号を送信してもよい。さらに、スマートフォン２００は、センサ装置１００から受信されたセンサデータやカメラ３００によって撮影された画像を、サーバ４００にアップロードしてもよい。また、スマートフォン２００は、センサ装置１００やカメラ３００との連係動作に関する処理の一部または全部を、サーバ４００に依頼してもよい。

例えば、スマートフォン２００は、センサデータや画像に関する処理を実行するためのプロセッサと、センサデータ、画像、および各種の中間データを格納するためのメモリまたはストレージと、ユーザに向けてプレー支援アプリケーションなどの画面を表示するためのディスプレイと、ユーザの操作入力を取得するためのタッチパネルなどの操作手段と、センサ装置１００、カメラ３００、およびサーバ４００との間の通信を実行するための通信装置とを備える。通信装置は、例えば、センサ装置１００およびカメラ３００とのＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信を実行する通信装置と、サーバ４００との間のネットワーク通信を実行する通信装置とを含みうる。なお、これらのハードウェア構成によって実現される機能については後述する。また、スマートフォン２００を実現しうる情報処理装置のより具体的なハードウェア構成例についても後述する。

カメラ３００は、ユーザを被写体として含む画像を撮影することが可能な撮像装置の例である。撮影される画像は、静止画であってもよいし動画であってもよい。図示された例において、カメラ３００は、スポーツ（テニス）をプレーするユーザを撮影することが可能な位置、例えばコートサイドなどに配置されている。本実施形態において、カメラ３００は、スマートフォン２００と連係動作する。例えば、カメラ３００は、撮影した画像の一部または全部を、スマートフォン２００に送信してもよい。また、例えば、カメラ３００は、スマートフォン２００から受信される制御信号に従って撮影を実行してもよい。なお、このようなカメラ３００とスマートフォン２００との連係動作のより具体的な例については後述する。

例えば、カメラ３００は、撮像素子と、レンズなどの光学系と、撮像素子および光学系の制御手段と、撮像された画像を一時的または持続的に格納するためのメモリまたはストレージと、撮像された画像を処理するためのプロセッサと、スマートフォン２００との通信を実行するための通信装置とを備える。通信装置は、スマートフォン２００との間で例えばＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信を実行する。無線通信によって、例えば、撮像された画像がカメラ３００からスマートフォン２００に送信される。また、無線通信によって、スマートフォン２００からカメラ３００に制御信号が送信されてもよい。この場合、制御手段および／またはプロセッサは、通信装置によって受信された制御信号に従って動作する。なお、カメラ３００も、後述する情報処理装置のハードウェア構成によって実現されてもよい。

サーバ４００は、スマートフォン２００とネットワークを介して通信し、センサデータや画像のアップロードを受け付けたり、スマートフォン２００の依頼に応じて処理を実行したりする。例えば、単一のユーザについては、システム１０はサーバ４００を含まずに完結しうる。一方、複数のユーザが存在する場合、サーバ４００にデータや画像がアップロードされることによって、画像をユーザ間で共有したり、複数のユーザのデータに基づいてセンサデータのパターン学習をしたりすることが可能になる。また、サーバ４００がスマートフォン２００の依頼に応じて処理を実行することによって、スマートフォン２００の処理負荷を軽減することができる。

例えば、サーバ４００は、センサデータや画像に関する処理やその他のスマートフォン２００から依頼された処理などを実行するためのプロセッサと、アップロードされたセンサデータや画像、および各種の中間データを格納するためのメモリまたはストレージと、スマートフォン２００との間の通信を実行するための通信装置とを備える１または複数のサーバ装置によって実現される。通信装置は、スマートフォン２００との間でネットワーク通信を実行する。上記のように、ネットワーク通信によって、例えばセンサデータや画像がスマートフォン２００からサーバ４００にアップロードされる。また、ネットワーク通信によって、スマートフォン２００がサーバ４００に要求したデータや、サーバ４００がスマートフォン２００の依頼に応じて実行した処理の結果が、サーバ４００からスマートフォン２００に送信されてもよい。なお、サーバ４００を構成するサーバ装置を実現しうる情報処理装置のより具体的なハードウェア構成については後述する。

なお、以上で説明したシステム１０の構成は一例にすぎず、他にもさまざまなシステムの構成が可能である。例えば、カメラ３００は、スマートフォン２００に内蔵されてもよい。この場合、上述したシステム１０におけるカメラ３００とスマートフォン２００と間の無線通信によるデータのやりとりは、スマートフォン２００内部のバスなどを介したデータのやりとりに置き換えられる。この場合、スマートフォン２００は、撮影機能、処理機能、および通信機能をもつ各種の端末装置、例えばタブレット端末またはゲーム機などに置き換えられてもよい。また、カメラ３００とスマートフォン２００とが別体である場合、スマートフォン２００は、処理機能および通信機能をもつ各種の端末装置、例えば各種のパーソナルコンピュータなどに置き換えられうる。

また、他の例として、上述したスマートフォン２００の機能の一部がカメラ３００によって実現されてもよい。例えば、センサ装置１００はカメラ３００と通信し、カメラ３００自身が、センサ装置１００から受信したセンサデータに基づいて撮影の制御を実行してもよい。この場合、カメラ３００が本開示の実施形態に係る情報処理装置でありうる。また、この場合、システム１０はスマートフォン２００を含まなくてもよい。さらに、カメラ３００はサーバ４００と通信し、画像を直接サーバ４００にアップロードしてもよい。同様に、センサ装置１００も、センサデータを直接サーバ４００にアップロードしてもよい。この場合、センサ装置１００とカメラ３００は直接的に通信しなくてもよく、カメラ３００はセンサ装置１００からサーバ４００に送信されたセンサデータに基づいてサーバ４００によって制御されうる。この場合は、サーバ４００が本開示の実施形態に係る情報処理装置であるともいえる。

（２．機能構成）
図２は、本開示の一実施形態に係るスマートフォンの概略的な機能構成を示す図である。図２を参照すると、スマートフォン２００は、送信部２０１と、受信部２０３と、センサ装置制御部２０５と、センサデータ解析部２０７と、解析結果処理部２０９と、カメラ制御部２１１と、画像保持部２１３と、画像選択部２１５と、静止画像記録部２１７と、動画像記録部２１９と、データ保持部２２１と、表示制御部２２３と、表示部２２５と、時刻情報保持部２２７とを機能構成として含む。以下、それぞれの機能構成についてさらに説明する。

送信部２０１および受信部２０３は、通信装置によって実現される。送信部２０１は、センサ装置１００に制御信号を送信する。制御信号は、例えば、センサデータの検出およびスマートフォン２００へのセンサデータの送信を開始／終了するためのコマンドを含んでもよい。また、制御信号は、センサ装置１００がセンサデータに関連付ける時刻を調整するためのコマンドを含んでもよい。後述するように、スマートフォン２００は、センサ装置１００において取得されるセンサデータと、カメラ３００が撮影した画像とに基づいて処理を実行するにあたり、これらを時刻を基準にして同期させる。従って、本実施形態では、スマートフォン２００が、センサ装置１００においてセンサデータに関連付けられる時刻と、カメラ３００において画像に関連付けられる時刻とが一致するように、それぞれの装置に時刻を調整するためのコマンドを送信しうる。なお、他の実施形態において、それぞれの装置で関連付けられる時刻によらずにセンサデータと画像とを同期させることが可能である場合には、制御信号は時刻を調整するためのコマンドを含まなくてもよい。受信部２０３は、センサ装置１００から、センサデータと、センサデータに対応する時刻情報とを受信する。

センサ装置制御部２０５は、プロセッサによって実現される。センサ装置制御部２０５は、送信部２０１および受信部２０３を介して、センサ装置１００を制御するとともに、センサ装置１００によって提供されるセンサデータおよびセンサデータに対応する時刻情報を取得する。センサ装置制御部２０５は、受信したセンサデータおよび時刻情報を、センサデータ解析部２０７に提供する。また、センサ装置制御部２０５は、送信部２０１を介してセンサ装置１００に送信する時刻調整コマンドに含まれる時刻を、時刻情報保持部２２７から取得する。

センサデータ解析部２０７は、プロセッサによって実現される。センサデータ解析部２０７は、センサ装置制御部２０５から提供されたセンサデータを解析し、解析結果を解析結果処理部２０９に提供する。より具体的には、センサデータ解析部２０７は、センサデータおよびセンサデータに対応する時刻情報に基づいて、センサ装置が装着されたユーザまたはオブジェクトに所定のモーションパターンが発生した時刻を特定する。ここで、所定のモーションパターンは、例えば、センサ装置１００が装着されるユーザまたはオブジェクトと他のオブジェクトとのインパクトによって生じるパターンを含みうる。ユーザがスポーツをプレーしている場合の例でいえば、ユーザの体または打具によるボールのインパクトがあった場合に、このようなパターンが発生しうる。

解析結果処理部２０９は、プロセッサによって実現される。解析結果処理部２０９は、センサデータ解析部２０７から取得した解析結果に基づく情報を、カメラ制御部２１１および／または画像選択部２１５に提供する。カメラ制御部２１１には、例えば、解析結果に基づく撮影開始／終了のコマンドが出力されうる。また、画像選択部２１５には、例えば、解析結果に基づく、画像選択の基準になる時刻を特定する情報が出力されうる。

カメラ制御部２１１は、プロセッサによって実現される。カメラ制御部２１１は、解析結果処理部２０９から取得される情報に基づいてカメラ３００を制御するとともに、カメラ３００から提供された画像を取得する。例えば、カメラ制御部２１１は、解析結果処理部２０９から取得される撮影開始／終了のコマンドに従って、カメラ３００に撮影開始／終了のコマンドを送信する。カメラ３００は、撮影開始／終了のコマンドに応じて、例えば撮像素子による画像の生成自体を開始／終了してもよい。あるいは、カメラ３００は、撮影開始／終了のコマンドに応じて、撮像素子によって生成された画像のスマートフォン２００への送信を開始／終了してもよい。また、カメラ３００は、撮影開始／終了のコマンドに応じて、カメラ３００における画像の記録を開始／終了してもよい。

また、カメラ制御部２１１は、時刻情報保持部２２７から取得された時刻に基づいて、カメラ３００に時刻調整コマンドを送信する。時刻調整コマンドは、センサ装置１００に送信されるものと同様に、カメラ３００が画像に関連付ける時刻を調整するためのコマンドである。上述のように、カメラ３００に送信される時刻調整コマンドと、センサ装置１００に送信される時刻調整コマンドとが、共通する時刻情報保持部２２７から取得された時刻に基づいて生成されることで、画像とセンサデータとにそれぞれ関連付けられる時刻を一致させることができる。カメラ制御部２１１がカメラ３００から受信する画像には、時刻調整コマンドに従って調整された時刻が関連付けられている。カメラ制御部２１１は、受信された画像と、画像に関連付けられた時刻とを、画像保持部２１３に格納する。

画像保持部２１３は、メモリまたはストレージによって実現される。画像保持部２１３は、カメラ制御部２１１がカメラ３００から取得した画像を、画像に関連付けられた時刻とともに保持する。ここで、画像保持部２１３は、連続的な画像を循環的に保持し続ける所定のサイズのバッファとして機能しうる。つまり、画像は、画像保持部２１３から画像選択部２１５に提供された後は、例えば容量が所定の閾値を下回った時点で破棄されうる。画像保持部２１３に格納される画像は、静止画像として扱われても動画像として扱われてもよいが、いずれも場合の所定の間隔（またはフレームレート）で連続的に撮影された画像である。

画像選択部２１５は、プロセッサによって実現される。画像選択部２１５は、解析結果処理部２０９から提供される情報に基づいて、画像保持部２１３に格納された画像の中から１または複数の画像を選択する。より具体的には、画像選択部２１５は、センサデータ解析部２０７によって特定された、ユーザまたはオブジェクトに所定のモーションパターンが発生した時刻に応じて、所定の間隔で撮影されたユーザまたはオブジェクトを含む一連の画像から１または複数の画像を選択する。この場合、画像選択部２１５は、所定のフレームレートで動画像が構成されるように画像を選択してもよいし、それぞれの画像を独立した静止画像として選択してもよい。なお、画像選択部２１５による画像選択のより具体的な例については後述する。

静止画像記録部２１７および動画像記録部２１９は、プロセッサによって実現される。静止画像記録部２１７は、画像選択部２１５によって選択された１または複数の画像を、静止画像として記録する。動画像記録部２１９は、画像選択部２１５によって選択された１または複数の画像を、動画像として記録する。静止画像および動画像は、データ保持部２２１において永続的に記録される。データ保持部２２１は、メモリまたはストレージによって実現される。

表示制御部２２３は、プロセッサによって実現される。表示制御部２２３は、データ保持部２２１に保持された静止画像または動画像を、表示部２２５に表示させる。表示部２２５は、ＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどによって実現される。静止画像または動画像は、例えばスマートフォン２００において提供されるプレー支援アプリケーションに組み込まれて表示されてもよい。また、例えば、静止画像は、ダイジェスト画像やサムネイル画像などとして単体で表示されてもよいし、一連の動作を表す連続写真のように複数が組み合わせて表示されてもよい。

（３．画像選択の例）
上述のように、本実施形態では、例えばセンサ装置１００とカメラ３００とに共通する時刻情報に基づく時刻調整コマンドが送信されることによって、センサデータと画像との時刻が一致している。これを利用して、さまざまなやり方で画像を選択し、例えばいわゆる決定的瞬間の画像を抽出してユーザに提示することができる。以下では、そのような画像の選択のいくつかの例について、図３〜図６を参照して説明する。

なお、本実施形態において、センサデータおよび画像がスマートフォン２００において受信された時刻による同期を採用しないのは、その場合、センサ装置１００とスマートフォン２００との間、およびカメラ３００とスマートフォン２００との間での通信による時間の誤差が生じてしまうためである。通信による時間の誤差は、例えば、センサ装置１００とカメラ３００との間でスマートフォン２００までの距離に差があったり、通信方式が相違していたり（例えば、一方はＢｌｕｅｔｏｏｔｈ（登録商標）で他方はサーバを経由したネットワーク通信の場合）、送受信されるデータ（センサデータと画像データ）の容量に差があったりするような場合に生じうる。

従って、他の実施形態で、例えばセンサ装置およびカメラがスマートフォンからほぼ同じ距離にあったり、通信方式が同一であったりして、通信による時間の誤差を許容できるような場合には、センサデータおよび画像が受信された時刻による同期が採用されてもよい。その場合も、精度がやや低下する（上記の通り許容範囲内である）だけで、同じように以下で説明するような画像の選択を実行することができうる。

（３−１．単一の静止画像を選択する例）
図３は、本開示の一実施形態において単一の静止画像を選択する例について説明するための図である。図３を参照すると、この例では、画像選択部２１５が、センサデータによって示されるインパクト発生時刻において、単一の画像を静止画像として選択する。インパクト発生時刻は、例えば、センサデータとして取得される加速度センサの検出結果において、高い周波数で大きな振幅の加速度変化が発生した時刻として特定することが可能である。

なお、以下で説明する画像選択の例では、カメラ制御部２１１によってカメラ３００から受信された画像保持部２１３に一時的に保持される一連の画像に、説明のために０１〜１８の番号が与えられている。画像０１〜１８は、所定の時間間隔（フレームレート）で撮影されている。画像の番号自体には意味はなく、例えば、画像０１以前、および画像１８以降にもカメラ３００から画像が受信されていてもよい。

図示された例では、センサデータと画像との時刻を一致させた結果、画像１４が、センサデータに基づいて検出されるインパクト発生時刻に撮影された画像として特定される。従って、画像選択部２１５は、画像１４を、インパクトの瞬間をとらえた静止画像として選択する。例えば、テニスでは、サーブ、ストローク、スマッシュなど、ラケットに対するボールのインパクトが発生した瞬間が決定的瞬間である可能性が高い。従って、インパクトの瞬間をとらえた画像１４は、決定的瞬間をとらえたベストショットである可能性が高い。

なお、テニスの場合に限らず、他の球技においても、ラケットやバットなどの打具に対するボールのインパクトや、ユーザの体に対するボールのインパクトが発生した瞬間が決定的瞬間である可能性が高い。また、球技以外でも、ユーザの体や用具に対する地面や床などのインパクトが発生した瞬間が決定的瞬間である可能性が高い。従って、多くのケースで、上記のように、センサが装着されたユーザまたはオブジェクトにインパクトが発生した時刻に対応する画像を静止画像として選択することによって、決定的瞬間をとらえたベストショットを得ることができる可能性がある。

（３−２．連続写真を選択する例）
図４は、本開示の一実施形態において連続写真を選択する例について説明するための図である。図４を参照すると、この例では、画像選択部２１５が、図３の例と同様にセンサデータに基づいて検出されるインパクト発生時刻の前後の所定の区間で撮影された複数の画像を、連続写真を構成する一連の画像として選択する。

図示された例では、センサデータと画像との時刻を一致させた結果、画像１４が、センサデータに基づいて検出されるインパクト発生時刻の画像として特定される。画像選択部２１５は、インパクトの前後でのユーザの動きを示す連続写真を生成するために、インパクトの発生時刻の前後の所定の区間において、一部の画像をスキップしながら複数の画像を選択する。より具体的には、図示された範囲で、画像選択部２１５は、画像０４，０８，１１，１３，１４，１５，１７，・・・を選択している（画像１７以降は図示されていないが、同様に選択される）。ここで、画像が選択される所定の区間は、例えば次に説明する動画像の例と同様に、所定の時間によって決定されてもよい。あるいは、区間は、一連の画像の所定の数（つまりフレーム数）によって決定されてもよい。

ここで、画像選択部２１５は、時間的に等間隔に画像を選択しているわけではない。より具体的には、画像選択部２１５は、インパクトの瞬間（画像１４）から時間的に離れるにつれて、スキップの間隔が長くなるように画像を選択している。例えば、インパクトの瞬間（画像１４）の前に選択される画像は、直前に位置する画像１３である。そこから過去に向かって、１つスキップして画像１１、次は２つスキップして画像０８、その次は３つスキップして画像０４というように、徐々にスキップの間隔が拡大していく。

例えば、ユーザがラケットでボールを打つ場合、ボールのインパクトの瞬間の前後でユーザおよびラケットのモーションにおける時間あたりの変位が最も大きくなり、インパクトから時間的に離れるにしたがって時間あたりの変位は小さくなる傾向がある。従って、上記のように、画像選択部２１５がインパクトの瞬間を基準にして不均等な間隔で画像を選択することによって、連続写真として見た場合により自然な画像を選択することができる。

付加的な構成として、画像選択部２１５は、所定の区間の長さをインパクトの前と後とで異ならせることによって、インパクトの前後で選択される画像の数を異ならせてもよい。図示された例でいえば、画像選択部２１５は、インパクトの瞬間で１つ（画像１４）、インパクトの前で４つ（画像０４，０８，１１，１３）の画像を選択しているのに対し、インパクトの後では３つの画像（画像１５，１７，２０（画像２０は図示せず））しか選択しなくてもよい。例えば、ユーザがラケットでボールを打つ場合に、インパクトよりも前のモーション（テイクバック）の方が、インパクトよりも後のモーション（フォロースルー）よりも注目される傾向があるとすれば、上記の付加的な構成が有効でありうる。

（３−３．動画像の区間を設定する例）
図５は、本開示の一実施形態において動画像の区間を設定する例について説明するための図である。図５を参照すると、この例では、画像選択部２１５が、図３の例と同様にセンサデータに基づいて検出されるインパクト発生時刻の前後の所定の区間で撮影された複数の画像を、動画像を構成する一連のフレーム画像として選択する。

図示された例では、センサデータと画像との時刻を一致させた結果、画像１４が、センサデータに基づいて検出されるインパクトの発生時刻の画像として特定される。画像選択部２１５は、インパクトの瞬間を含む動画像を生成するために、画像１４を含む所定の区間の画像を、動画像を構成するフレーム画像として選択する。より具体的には、画像選択部２１５は、インパクトの瞬間の前後、所定の時間ｔの範囲の画像を、動画像を構成するフレーム画像として選択する。図にはインパクトの瞬間の前しか示されていないが、後についても同様である。あるいは、所定の時間ｔの代わりに、一連の画像の所定の数（つまりフレーム数）が用いられてもよい。

上述の通り、本実施形態において、画像保持部２１３は、一連の画像を循環的に記録する所定のサイズのバッファとして機能しうる。静止画像記録部２１７や動画像記録部２１９が、画像選択部２１５によって選択された画像をバッファから読み出してデータ保存部に永続的に記録することによって、限られたサイズのバッファを使用しながら、決定的瞬間をとらえた動画像を逃さずに保存することができる。この例は、例えばプレー時間全体の画像を一旦保存し、事後的に画像解析などを実施して決定的瞬間の区間を探索する場合に比べて、バッファのサイズが少なくて済み、また長時間の動画像に対する画像解析のような負荷が高い処理を実行しなくてもよいという点で有利である。

なお、付加的な構成として、画像選択部２１５は、図４の例における付加的な構成と同様に、インパクトの瞬間の前と後とで、動画像の区間を決定するための所定の時間ｔの値を異ならせてもよい。

（３−４．継続的なモーションパターンを検出する例）
図６は、本開示の一実施形態において継続的なモーションパターンに基づいて画像を選択する例について説明するための図である。図６を参照すると、この例では、画像選択部２１５が、センサデータから検出される継続的なモーションパターンの開始時刻および／または終了時刻に基づいて決定される区間で撮影された複数の画像を、動画像を構成する一連のフレーム画像として選択する。

本実施形態では、センサデータ解析部２０７によって検出される所定のモーションパターンに、インパクトによって生じるパターンとともに、またはこれに代えて、インパクトに先行して生じる、またはインパクトに後続して生じる継続的なモーションパターンが含まれうる。図示された例では、例えばセンサデータとして取得される加速度センサの検出結果において、ユーザまたはオブジェクト（ラケットなど）に発生する継続的なモーションに対応するパターンを定義することができる。継続的なモーションは、ある程度の時間的長さをもっている点で、インパクトのような瞬間的なモーションとは異なる。継続的なモーションとしては、例えば、ラケットによるボールのインパクトの前に発生する「テイクバック」や、インパクトの後に発生する「フォロースルー」のように、インパクトに関連して発生するモーションが含まれうる。このようなモーションに対応するモーションパターンを、本明細書では継続的なモーションパターンという。

図示された例では、センサデータ解析部２０７によって検出された、インパクトに先行して生じる「テイクバック」のモーションパターンの開始時刻から、インパクトに後続して生じる「フォロースルー」のモーションパターンの終了時刻までを所定の区間に設定し、この区間で撮影された一連のフレーム画像が画像選択部２１５によって選択される。この場合、画像選択部２１５には、インパクトの瞬間を時刻として特定する情報が必ずしも与えられなくてもよい。

上記の例に示されるような、継続的なモーションパターンの開始時刻または終了時刻に基づく所定の区間の決定は、例えば、図４に示した例のような連続写真を構成する一連の画像の選択にも適用可能である。インパクトの前後に発生する継続的なモーションパターンを利用して画像を選択することによって、例えば、所定の時間やフレーム数に基づいて所定の区間を決定する場合に比べて、インパクトに関連する意味のある区間の画像をより正確に抽出することができる。

また、インパクトのような瞬間的なモーションパターンとは異なり、継続的なモーションパターンの場合は、パターンに沿ったモーションがある程度の時間にわたって継続している場合に、センサデータ解析部２０７がリアルタイムでモーションパターンの開始を判定することが可能である。それゆえ、例えば、インパクトに先立って発生する継続的なモーションパターン（例えばテイクバック）の開始がリアルタイムで検出された時点で、解析結果処理部２０９がカメラ制御部２１１に提供する情報に基づいて、撮影を開始したり、撮影された画像のスマートフォン２００への送信を開始するように、カメラ３００を制御することが可能である。

また、継続的なモーションパターンの場合、パターンに沿ったモーションがある程度の時間にわたって継続している時点で、モーションが発生していること自体は特定されうる。従って、センサデータ解析部２０７は、パターンに沿ったモーションが終了したことによって、モーションパターンの終了についてもリアルタイムで判定することが可能である。それゆえ、例えば、インパクトに後続して発生する継続的なモーションパターン（例えばフォロースルー）の終了がリアルタイムで検出された時点で、解析結果処理部２０９がカメラ制御部２１１に提供する情報に基づいて、撮影を終了したり、撮影された画像のスマートフォン２００への送信を終了するように、カメラ３００を制御することも可能である。

なお、モーションパターンの終了時のカメラ３００の制御については、開始時ほどにはリアルタイム性が求められない（多少の遅れが許容されうる）ため、継続的なモーションパターン以外、例えばインパクトによる瞬間的なモーションパターンについても、同様の処理が可能でありうる。つまり、インパクトによるモーションパターンの終了が検出された時点で、撮影を終了したり、撮影された画像のスマートフォン２００への送信を終了するように、カメラ３００を制御してもよい。ただし、インパクトに後続するモーション（例えばフォロースルー）にも意味がある場合も多いため、瞬間的なモーションパターンの場合は、モーションパターンが終了してから所定の時間が経過した後に、モーションパターン終了時のカメラ３００の制御を実行してもよい。

例えば図３〜図５に示された例では、センサデータに基づいてインパクトの瞬間が検出された後に、インパクトの瞬間の時刻に基づいて１または複数の画像が検出された。インパクトの瞬間の検出だけに基づいてこのような処理を実現するためには、少なくともカメラ３００が継続的に撮影を実行し、撮影された一連の画像が一時的に画像保持部２１３、またはカメラ３００に蓄積されている必要がある。しかしながら、例えばカメラ３００やスマートフォン２００のバッテリー消費の節減が必要とされるような場合、継続的に撮影や送信を実行するのは好ましくはない。上記のようにインパクトの瞬間に先行または後続するモーションに対応するモーションパターンをセンサデータに基づいて検出することができれば、モーションパターンの検出に応じて撮影や送信を開始／終了させることができ、バッテリー消費を節減することができる。また、他の例として、カメラ３００が高解像度と低解像度との２種類の画像を撮像可能である（例えば、カメラ３００が複数の撮像素子を備えてもよいし、撮像された画像に対する画像処理が切り替えられてもよい）場合に、モーションパターンの検出に応じて、スマートフォン２００に提供する画像を低解像度の画像から高解像度の画像へと切り替えてもよい。

なお、モーションパターンは、インパクトとは独立して検出されてもよい。例えば、スポーツなどにおけるインパクトを伴わない所定のモーションでもモーションパターンが定義可能である場合、画像選択部２１５は、モーションパターンの開始および終了の時刻を基準にして１または複数の画像を検索してもよい。

なお、上記の説明では、センサデータの例として加速度センサの検出結果を例示したが、これとともに、またはこれに代えて、ジャイロセンサや角速度センサの検出結果がセンサデータとして利用されてもよい。また、（スポーツには限らない）ユーザの動作の種類によっては、地磁気センサや気圧センサ、音センサ、光センサなども利用されうる。

（４．アプリケーションの例）
次に、本開示の一実施形態におけるアプリケーションの例について、図７〜図１６を参照して説明する。以下で説明するアプリケーションの画面は、例えば、スマートフォン２００の表示制御部２２３によって表示部２２５に表示される。

（４−１．ショット診断アプリケーション）
まず、図７〜図１２を参照して、テニスのショット診断アプリケーションの例について説明する。

図７は、ショット診断アプリケーションの開始画面を示す図である。図７を参照すると、画面２０００は、スマートフォン２００のディスプレイに表示される。画面２０００は、スルー画像２０１０と、測定開始ボタン２０２０と、センサ波形２０３０と、情報ボタン２０４０とを含む。

スルー画像２０１０は、カメラ３００によってリアルタイムで撮影されている画像である。この例において、カメラ３００は、コートサイドの所定の位置に据え付けられ、サーブを打つユーザを含む画像を撮影している。あるいは、カメラ３００がスマートフォン２００に内蔵される場合、スマートフォン２００が三脚などによってコートサイドの所定の位置に配置されていてもよい。コートまたはユーザとの位置関係が所定の関係になるようにカメラ３００を配置することによって、画像に基づくユーザのショットの診断が可能になる。

測定開始ボタン２０２０は、ショット診断のための測定を開始するためのボタンである。例えば、測定開始ボタン２０２０がタッチパネルを介して押下された場合に、センサ装置１００におけるセンサデータの取得およびセンサデータのスマートフォン２００への送信が開始されるように、スマートフォン２００がセンサ装置１００を制御してもよい。センサ波形２０３０は、例えば視覚的な効果のために表示される。測定が開始されていない時点では、センサ波形２０３０には波形が表示されなくてもよい。情報ボタン２０４０は、ショット診断アプリケーションに関するマニュアルやチュートリアルなどの情報を表示させるためのボタンである。

図８は、ショット診断アプリケーションの測定中画面を示す図である。図７に示した開始画面において測定開始ボタン２０２０が押下されると、測定が開始される。測定中の画面２０００には、スルー画像２０１０と、センサ波形２０３０と、キャンセルボタン２０５０と、測定時間表示２０６０とが含まれる。

センサ波形２０３０は、実際にセンサ装置１００のセンサによって検出されたセンサデータに基づく波形を表示してもよいが、図示された例では、センサデータに基づいてボールのインパクトが検出された場合に、インパクトを表す波形がセンサ波形２０３０として表示される。つまり、センサ波形２０３０は、センサデータの変化を示す模式的な波形であってもよい。キャンセルボタン２０５０を押下することによって、ユーザは測定を中止することが可能である。また、測定時間表示２０６０は、測定開始ボタン２０２０が押下されて測定が開始されてからの経過時間を示す。

図９は、ショット診断アプリケーションの解析中画面を示す図である。図８に示した測定中画面が表示されている状態で、ユーザがショット（サーブ）を実行すると、自動的に測定が終了され、解析が開始される。このとき、スマートフォン２００では、センサデータ解析部２０７によるセンサデータの解析によって、ショットによるボールのインパクトの発生が検出される。センサデータ解析部２０７は、例えば、インパクトが発生した時刻を基準にして解析対象区間を設定し、ショットに関するさまざまな情報、例えば、スイングスピードや、ボールスピード、ボーススピンなどの情報を抽出する。図２には示していないが、センサデータ解析部２０７は、センサデータに加えて、カメラ制御部２１１によってカメラ３００から取得された画像を解析に使用してもよい。

センサデータ解析部２０７による解析が実行されている間は、図９に示される画面２１００が表示される。画面２１００には、プログレスバー２１１０と、キャンセルボタン２１２０と、背景画像２１３０とが含まれる。プログレスバー２１１０は、解析の進行状況を示す。キャンセルボタン２１２０を押下することによって、ユーザは解析を中止させることが可能である。背景画像２１３０は、例えば、図示されているように後述するようなショット前後の連続写真であってもよいし、ショットの瞬間をとらえた単一の画像であってもよい。

図１０は、ショット診断アプリケーションの結果画面を示す図である。図１０を参照すると、画面２２００は、ショット画像２２１０と、ショット情報２２２０と、ショット位置表示２２３０と、全ショット表示ボタン２２４０とを含む。

ショット画像２２１０は、ショットの様子を表す画像である。ショット画像２２１０は、静止画像であってもよいし、動画像であってもよい。ショット画像２２１０は、ボール軌跡表示２２５０を含みうる。ボール軌跡表示２２５０は、例えば、画像選択部２１５がセンサデータに基づいて選択した、ショットによるボールのインパクト前後の所定の区間の画像に基づいて、ショット時のボールの軌跡を連続的に表現したものである。ボール軌跡表示２２５０は、ショット開始時からショット終了時までのすべてが同時に表示されてもよいし、アニメーションとして徐々に表示されてもよい。

ショット情報２２２０は、図示された例では、スイングスピード、ボールスピード、およびボールスピンを含む。これらの情報は、例えば、カメラ３００によって撮影された画像の解析に基づいて算出されてもよいし、センサ装置１００によって取得されたセンサデータに基づいて算出されてもよいし、これらの両方に基づいて算出されてもよい。また、ショット情報２２２０として表示される項目は図示された例には限られず、ショットパワーなど他の項目が表示されてもよい。

ショット位置表示２２３０は、ラケットの画像とともに、ボールのインパクトが発生したラケットの位置を表示する。インパクト位置は、例えば、インパクト時にラケットに生じた振動のパターンを、センサ装置１００によって検出されたセンサデータに基づいて識別することによって推定可能である。全ショット表示ボタン２２４０は、以前に解析された他のショットを含む、すべてのショットの情報を表示する画面への遷移のためのボタンである。

図１１は、ショット診断アプリケーションの連続写真画面を示す図である。図１１を参照すると、画面２３００には、連続写真２３１０と、ショット情報２２２０と、ショット位置表示２２３０と、全ショット表示ボタン２２４０とが含まれる。例えば、図１０に示した結果画面において、ショット情報２２２０などの結果情報表示部分を左にフリックすることで、画面２３００が表示されうる。画面２３００において、結果情報表示部分を右にフリックすることで、表示が結果画面に戻ってもよい。ショット情報２２２０、ショット位置表示２２３０、および全ショット表示ボタン２２４０は、図１０に示した画面２２００と同様の表示である。連続写真２３１０については、連続写真生成アプリケーションについての説明で後述する。つまり、ショット診断アプリケーションの連続写真画面は、図１０に示した結果画面と、後述する連続写真とを合成した画面である。

図１２は、ショット診断アプリケーションの再生コントロール画面を示す図である。図１２を参照すると、画面２４００には、ショット画像２２１０と、ショット情報２２２０と、ショット位置表示２２３０と、全ショット表示ボタン２２４０と、再生コントロール２４１０とが含まれる。例えば、図１０に示した結果画面において、ショット画像２２１０をタップすることで、画面２４００が表示されうる。画面２４００において、再びショット画像２２１０をタップすることで、表示が結果画面に戻ってもよい。画面２４００では、再生コントロール２４１０を介した操作によって、ショット画像２２１０の再生を制御することが可能である。再生コントロール２４１０は、例えば通常の再生コントロールのように開始、停止、シークなどの操作を可能にするものであってもよいし、その一部が制限されたものであってもよい。例えば、再生コントロール２４１０は、ショット画像２２１０の一時停止、再開、コマ送り、および動画像の先頭へのジャンプの操作だけを可能にするものであってもよい。

以上で説明したようなショット診断アプリケーションでは、測定の終了と解析の開始が、ユーザによるショットの実行に応じて自動的に制御される。従って、ユーザは、測定を開始するための操作をした後は、通常通りプレーを続行することができる。解析に使用される画像がセンサデータに基づいて画像選択部２１５によって自動的に選択される結果、解析対象区間がショットによるインパクトの前後に限定されるため、迅速に解析の結果を得ることができる。なお、他の例では、センサデータ解析部２０７によるモーションパターンの検出結果に基づいて、測定がユーザの操作によらずに自動的に開始されてもよい。

（４−２．連続写真生成アプリケーション）
次に、図１３〜図１６を参照して、連続写真生成アプリケーションの例について説明する。

図１３は、連続写真生成アプリケーションの開始画面を示す図である。図１３を参照すると、画面２５００は、スルー画像２５１０と、撮影開始ボタン２５２０と、センサ波形２５３０と、情報ボタン２５４０とを含む。

スルー画像２５１０は、カメラ３００によってリアルタイムで撮影されている画像である。ショット診断アプリケーションの場合と異なり、この例では、カメラ３００の設置位置は任意である。カメラ３００がスマートフォン２００に内蔵される場合、スマートフォン２００が三脚などによってコートサイドの任意の位置に配置されていてもよい。あるいは、カメラ３００またはスマートフォン２００は、テニスをプレーしているユーザとは異なるユーザによって把持されていてもよい。

撮影開始ボタン２５２０は、撮影を開始するためのボタンである。例えば、撮影開始ボタン２５２０がタッチパネルを介して押下された場合に、センサ装置１００におけるセンサデータの取得およびセンサデータのスマートフォン２００への送信が開始されるように、スマートフォン２００がセンサ装置１００を制御してもよい。なお、後述するように、連続写真を構成する複数の画像は、センサデータに基づいて画像選択部２１５によって選択されるため、撮影開始ボタン２５２０が押下された時点でのスルー画像２５１０は、必ずしも連続写真には含まれない。センサ波形２５３０は、ショット解析アプリケーションの場合と同様に、例えば視覚的な効果のために表示される。情報ボタン２５４０は、連続写真生成アプリケーションに関するマニュアルやチュートリアルなどの情報を表示させるためのボタンである。

図１４は、連続写真生成アプリケーションの撮影中画面を示す図である。図１３に示した開始画面において撮影開始ボタン２５２０が押下されると、撮影の準備状態が開始される。撮影の準備状態では、ユーザによってショットが実行された場合には、ショットの前後の画像から連続写真を生成できるように、センサ装置１００がセンサデータを取得し、センサデータがスマートフォン２００に送信される。撮影の準備状態での画面２５００には、スルー画像２５１０と、センサ波形２５３０と、キャンセルボタン２５５０と、撮影時間表示２５６０とが含まれる。キャンセルボタン２５５０を押下することによって、ユーザは撮影を中止することが可能である。また、撮影時間表示２５６０は、撮影開始ボタン２５２０が押下されてからの経過時間を示す。

図１５は、連続写真生成アプリケーションの生成中画面を示す図である。図１５を参照すると、画面２６００は、プログレスバー２６１０を含む。図１４に示した撮影中画面が表示されている状態で、ユーザがショット（サーブ）を実行すると、自動的に撮影が終了され、連続写真の生成が開始される。このとき、スマートフォン２００では、センサデータ解析部２０７によるセンサデータの解析によって、ショットによるボールのインパクトの発生が検出される。画像選択部２１５は、例えば、インパクトが発生した時刻を基準にして連続写真の区間を設定し、区間内から複数の画像を選択して連続写真を生成する。上述のように連続写真の生成のために選択される画像の時間的間隔は、不均一であってもよい。また、センサデータ解析部２０７は、さらに、センサデータの解析によってインパクトの前後に付随するモーションパターンを検出し、画像選択部２１５は、これらのモーションパターンの開始または終了の時刻に応じて連続写真の区間を設定してもよい。

図１６は、連続写真生成アプリケーションの生成結果画面を示す図である。図１６を参照すると、画面２７００は、連続写真２７１０を含む。

連続写真２７１０は、画像選択部２１５が上記のような処理によって選択した複数の画像から、プレーしているユーザの領域を同じサイズで切り出し、切り出された画像を配列することによって生成される。図示された例では左から右へと時系列が進行する連続写真が例示されているが、連続写真の例はこのようなものには限られず、例えば上下に２段以上にわたって写真が配列されたり、左右に配列する写真の数が図示された例よりも多かったり少なかったりしてもよい。

以上で説明したような連続写真生成アプリケーションでは、撮影の終了と連続写真生成の開始が、ユーザによるショットの実行に応じて自動的に制御される。従って、ユーザは、撮影を開始するための操作をした後は、通常通りプレーを続けることができる。連続写真を構成する画像が、センサデータに基づいて画像選択部２１５によって自動的に選択される結果、ショットの前後をとらえた連続写真を迅速に生成することができる。

（５．ハードウェア構成）
次に、図１７を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図１７は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態におけるスマートフォン、カメラ、およびサーバを実現しうる。

情報処理装置９００は、ＣＰＵ（Central Processing unit）９０１、ＲＯＭ（Read Only Memory）９０３、およびＲＡＭ（Random Access Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）またはＡＳＩＣ（Application Specific Integrated Circuit）と呼ばれるような処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。

通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

撮像装置９３３は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global Positioning System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

（６．補足）
本開示の実施形態は、例えば、上記で説明したような情報処理装置（スマートフォン、カメラ、またはサーバ）、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）ユーザまたはユーザに接触するオブジェクトに装着されたセンサからのセンサデータ、および前記センサデータに対応する時刻情報を受信する通信部と、
前記センサデータおよび前記時刻情報に基づいて、前記ユーザまたは前記オブジェクトに所定のモーションパターンが発生した時刻を特定する解析部と、
前記特定された時刻に応じて、所定の時間間隔で撮影された前記ユーザまたは前記オブジェクトを含む一連の画像から１または複数の画像を選択する画像選択部と
を備える情報処理装置。
（２）前記一連の画像は所定のサイズのバッファに循環的に記録され、
前記情報処理装置は、前記選択された１または複数の画像を前記バッファから読み出して永続的に記録する画像記録部をさらに備える、前記（１）に記載の情報処理装置。
（３）前記所定のモーションパターンは、継続的なモーションパターンを含み、
前記解析部は、前記継続的なモーションパターンの開始をリアルタイムで検出し、
前記情報処理装置は、前記継続的なモーションパターンが開始した場合に前記一連の画像の撮影または提供を開始するように撮像装置を制御する制御部をさらに備える、前記（１）または（２）に記載の情報処理装置。
（４）前記解析部は、前記所定のモーションパターンの終了をリアルタイムで検出し、
前記情報処理装置は、前記所定のモーションパターンが終了した場合に前記一連の画像の撮影または提供を終了するように撮像装置を制御する制御部をさらに備える、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）前記所定のモーションパターンは、前記ユーザまたは前記オブジェクトと他のオブジェクトとのインパクトによって生じるパターンを含む、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）前記画像選択部は、前記特定された時刻に撮影された画像を選択する、前記（５）に記載の情報処理装置。
（７）前記画像選択部は、前記特定された時刻の前後の所定の区間で撮影された複数の画像を選択する、前記（５）または（６）に記載の情報処理装置。
（８）前記所定の区間の長さは、所定の時間または前記一連の画像の所定の数によって決定される、前記（７）に記載の情報処理装置。
（９）前記所定のモーションパターンは、前記インパクトに先行して生じるモーションパターン、または前記インパクトに後続して生じるモーションパターンをさらに含み、
前記所定の区間は、前記先行して生じるモーションパターンの開始時刻、または前記後続して生じるモーションパターンの終了時刻に応じて決定される、前記（７）に記載の情報処理装置。
（１０）前記所定の区間の長さは、前記インパクトの前と後とで異なる、前記（７）〜（９）のいずれか１項に記載の情報処理装置。
（１１）前記画像選択部は、前記所定の区間において一部の画像をスキップしながら複数の画像を選択し、前記特定された時刻から時間的に離れるほど、前記スキップの間隔を長くする、前記（７）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）ユーザまたはユーザに接触するオブジェクトに装着されたセンサからのセンサデータ、および前記センサデータに対応する時刻情報を受信する機能と、
前記センサデータおよび前記時刻情報に基づいて、前記ユーザまたは前記オブジェクトに所定のモーションパターンが発生した時刻を特定する機能と、
前記特定された時刻に応じて、所定の時間間隔で撮影された前記ユーザまたは前記オブジェクトを含む一連の画像から１または複数の画像を選択する機能と
をコンピュータに実現させるためのプログラムが記録された記録媒体。
（１３）ユーザまたはユーザに接触するオブジェクトに装着されたセンサからのセンサデータ、および前記センサデータに対応する時刻情報を受信することと、
前記センサデータおよび前記時刻情報に基づいて、前記ユーザまたは前記オブジェクトに所定のモーションパターンが発生した時刻を特定することと、
前記特定された時刻に応じて、所定の時間間隔で撮影された前記ユーザまたは前記オブジェクトを含む一連の画像から１または複数の画像を選択することと
を含む情報処理方法。

１０ システム
１００ センサ装置
２００ スマートフォン
２０１ 送信部
２０３ 受信部
２０５ センサ装置制御部
２０７ センサデータ解析部
２０９ 解析結果処理部
２１１ カメラ制御部
２１３ 画像保持部
２１５ 画像選択部
２１７ 静止画像記録部
２１９ 動画像記録部
２２１ データ保持部
２２３ 表示制御部
２２５ 表示部
２２７ 時刻情報保持部
３００ カメラ
４００ サーバ

Claims (9)

1. ユーザまたはユーザに接触するオブジェクトに装着されたセンサからのセンサデータ、および前記センサデータに対応する時刻情報を受信する通信部と、
   前記センサデータおよび前記時刻情報に基づいて、前記ユーザまたは前記オブジェクトに所定のモーションパターンが発生した時刻を特定する解析部と、
   前記特定された時刻に応じて、所定の時間間隔で撮影された前記ユーザまたは前記オブジェクトを含む一連の画像から複数の画像を選択する画像選択部と、
   を備え、
   前記所定のモーションパターンは、前記ユーザまたは前記オブジェクトと他のオブジェクトとのインパクトによって生じるパターンを含み、
   前記画像選択部は、前記特定された時刻の前後の所定の区間で撮影された複数の画像の一部をスキップしながら複数の画像を選択し、前記特定された時刻から時間的に離れるほど、前記スキップの間隔を長くする、
   情報処理装置。
2. 前記一連の画像は所定のサイズのバッファに循環的に記録され、
   前記情報処理装置は、前記選択された複数の画像を前記バッファから読み出して永続的に記録する画像記録部をさらに備える、請求項１に記載の情報処理装置。
3. 前記所定のモーションパターンは、継続的なモーションパターンを含み、
   前記解析部は、前記継続的なモーションパターンの開始をリアルタイムで検出し、
   前記情報処理装置は、前記継続的なモーションパターンが開始した場合に前記一連の画像の撮影または提供を開始するように撮像装置を制御する制御部をさらに備える、請求項１又は２に記載の情報処理装置。
4. 前記解析部は、前記所定のモーションパターンの終了をリアルタイムで検出し、
   前記情報処理装置は、前記所定のモーションパターンが終了した場合に前記一連の画像の撮影または提供を終了するように撮像装置を制御する制御部をさらに備える、請求項１又は２に記載の情報処理装置。
5. 前記所定の区間の長さは、所定の時間または前記一連の画像の所定の数によって決定される、請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記所定のモーションパターンは、前記インパクトに先行して生じるモーションパターン、または前記インパクトに後続して生じるモーションパターンをさらに含み、
   前記所定の区間は、前記先行して生じるモーションパターンの開始時刻、または前記後続して生じるモーションパターンの終了時刻に応じて決定される、請求項１に記載の情報処理装置。
7. 前記所定の区間の長さは、前記インパクトの前と後とで異なる、請求項１〜６のいずれか１項に記載の情報処理装置。
8. ユーザまたはユーザに接触するオブジェクトに装着されたセンサからのセンサデータ、および前記センサデータに対応する時刻情報を受信する機能と、
   前記センサデータおよび前記時刻情報に基づいて、前記ユーザまたは前記オブジェクトに所定のモーションパターンが発生した時刻を特定する機能と、
   前記特定された時刻に応じて、所定の時間間隔で撮影された前記ユーザまたは前記オブジェクトを含む一連の画像から複数の画像を選択する機能と
   をコンピュータに実現させるためのプログラムであって、
   前記所定のモーションパターンは、前記ユーザまたは前記オブジェクトと他のオブジェクトとのインパクトによって生じるパターンを含み、
   前記複数の画像を選択する機能は、前記特定された時刻の前後の所定の区間で撮影された複数の画像の一部をスキップしながら前記複数の画像を選択し、前記特定された時刻から時間的に離れるほど、前記スキップの間隔を長くする、プログラムが記録された記録媒体。
9. ユーザまたはユーザに接触するオブジェクトに装着されたセンサからのセンサデータ、および前記センサデータに対応する時刻情報を受信することと、
   前記センサデータおよび前記時刻情報に基づいて、前記ユーザまたは前記オブジェクトに所定のモーションパターンが発生した時刻を特定することと、
   前記特定された時刻に応じて、所定の時間間隔で撮影された前記ユーザまたは前記オブジェクトを含む一連の画像から複数の画像を選択することと
   を含む情報処理方法であって、
   前記所定のモーションパターンは、前記ユーザまたは前記オブジェクトと他のオブジェクトとのインパクトによって生じるパターンを含み、
   前記複数の画像の選択は、前記特定された時刻の前後の所定の区間で撮影された複数の画像の一部をスキップしながら前記複数の画像を選択し、前記特定された時刻から時間的に離れるほど、前記スキップの間隔を長くする、
   情報処理方法。
   

Images