JP6447515B2 - 情報処理装置、記録媒体および情報処理方法 - Google Patents

Description

本開示は、情報処理装置、記録媒体および情報処理方法に関する。

これまでに、センシングや解析を利用して、ユーザの運動を支援する技術が多く開発されてきている。かかる技術として、例えば、テニス、バドミントン、卓球、ゴルフ、野球など、打具を用いてボールを打つスポーツにおいて、ボールが打具にヒットした回数やヒットした位置を検出し、ユーザに情報として呈示するものがある。このような技術の例として、例えば特許文献１には、テニスラケットの打面やその周辺にセンサを配置し、打面にボールがヒットしたことを検出してその回数や位置をユーザに通知する技術が記載されている。

特開昭５９−１９４７６１号公報

上記の特許文献１に記載の技術では、テニスラケットの打面上の各位置に対応して多数のセンサが配置される。これによって、打面にボールがヒットした回数のみならず打面のどこにボールがヒットしたかをも検出することが可能である。しかしながら、このような多数のセンサは、ユーザが打具を購入後に取付けるには手間がかかりすぎる。予めセンサが組み込まれた打具を販売してもよいが、打具の価格が上昇し、またユーザは打具の買い替えがしづらくなる。また、数千分の１のフレームレートで撮影可能なハイスピードカメラを利用してボールが衝突する瞬間を撮影し、ボールがヒットした位置を画像から確認する方法も考えられるが、ハイスピードカメラは高価であり、また操作も煩雑であるため、ユーザが手軽に利用することは難しい。

一方、デジタルカメラや、スマートフォンなどの端末装置に搭載されたカメラを使用して、プレー中の画像を撮影することも一般的になってきている。しかしながら、このようなカメラを使用した画像は、フレームレートが低く、またユーザやボールに対して一定した構図で撮影されるわけではないため、例えば上記のハイスピードカメラを用いて撮影された画像と同様の解析を実施することは困難である。

そこで、本開示では、撮像装置によって取得される画像の構図を指定することによって、有効な解析が可能な画像を簡便に入手することを可能にする、新規かつ改良された情報処理装置、記録媒体および情報処理方法を提案する。

本開示によれば、実空間での位置関係が既知である少なくとも２つの点の、撮像装置によって取得された画像での位置に基づいて上記画像の画角を推定する画角推定部と、上記画角に応じて規定される、被写体と上記撮像装置との位置関係が満たされるように、上記画像の構図を指定する情報を出力する構図指定情報出力部とを備える情報処理装置が提供される。

また、本開示によれば、実空間での位置関係が既知である少なくとも２つの点の、撮像装置によって取得された画像での位置に基づいて上記画像の画角を推定する機能と、上記画角に応じて規定される、被写体と上記撮像装置との位置関係が満たされるように、上記画像の構図を指定する情報を出力する機能とをコンピュータに実現させるためのプログラムが格納された記録媒体が提供される。

また、本開示によれば、プロセッサが、実空間での位置関係が既知である少なくとも２つの点の、撮像装置によって取得された画像での位置に基づいて上記画像の画角を推定することと、上記画角に応じて規定される、被写体と上記撮像装置との位置関係が満たされるように、上記画像の構図を指定する情報を出力することとを含む情報処理方法が提供される。

以上説明したように本開示によれば、撮像装置によって取得される画像の構図を指定することによって、有効な解析が可能な画像を簡便に入手することができる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係るシステム構成の例を示す図である。 本開示の一実施形態に係るシステムの概略的な装置構成を示すブロック図である。 本開示の一実施形態における処理部の構成を示す概略的なブロック図である。 本開示の一実施形態における画角の推定について説明するための図である。 本開示の一実施形態における画角の推定の処理の例を示すフローチャートである。 本開示の一実施形態における構図の指定について説明するための図である。 本開示の一実施形態におけるガイドの表示について説明するための図である。 本開示の一実施形態における構図の指定の処理の例を示すフローチャートである。 本開示の一実施形態において、構図の指定のために表示される画像の例を示す図である。 本開示の一実施形態における処理部のさらなる構成要素を示す概略的なブロック図である。 本開示の一実施形態における録画の制御の例について説明するための図である。 本開示の一実施形態における解析区間とは異なる区間の画像再生の例について説明するための図である。 本開示の一実施形態における解析中の画像表示の第１の例を示す図である。 本開示の一実施形態における解析中の画面表示の第２の例を示す図である。 本開示の一実施形態における解析中の画面表示の第３の例を示す図である。 本開示の実施形態に係るセンサ装置のハードウェア構成の例を示す図である。 本開示の実施形態に係る解析装置のハードウェア構成の例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．システム構成
２．処理部の構成
２−１．画角推定部
２−２．構図指定情報出力部
２−３．画像解析部
３．処理部のさらなる構成要素
３−１．センサデータを利用した録画の制御
３−２．解析区間とは異なる区間の画像再生
３−３．解析中の画像表示
３−４．解析結果の表示
４．ハードウェア構成
５．補足

（１．システム構成）
図１は、本開示の一実施形態に係るシステム構成の例を示す図である。図１を参照すると、システム１０は、センサ装置１００と、スマートフォン２００と、サーバ３００とを含む。

センサ装置１００は、テニスのラケットＲに装着される。センサ装置１００は、例えば振動センサを備え、ラケットＲにボールが衝突したことによってラケットＲに発生する振動を検出する。振動センサによって取得された振動データは、例えばＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信によってスマートフォン２００に送信される。また、センサ装置１００は、加速度センサや角速度センサ、地磁気センサなど（例えば９軸モーションセンサ）を備え、ラケットＲの加速度や角速度、傾きなどを検出してもよい。これらのセンサによって取得されたデータも、無線通信によってスマートフォン２００に送信される。

スマートフォン２００は、センサ装置１００から送信されたデータを受信する。スマートフォン２００は、受信したデータに基づいて解析処理を実行してもよい。この場合、スマートフォン２００は、解析結果をユーザに向けて出力するとともに、サーバ３００にアップロードしてもよい。あるいは、スマートフォン２００は、受信したデータをサーバ３００に転送してもよい。この場合、スマートフォン２００は、サーバ３００で実行された解析処理の結果を受信し、ユーザに向けて出力してもよい。

また、図示された例において、スマートフォン２００は、テニスをプレーしているユーザを被写体として含む画像を取得することが可能なカメラを備える。後述するように、本実施形態では、カメラによって取得される画像の構図を指定する情報が出力されるが、この出力はスマートフォン２００によって実行されうる。例えば、スマートフォン２００のディスプレイには、カメラによって撮像されている画像がスルー画像として表示され、スルー画像に構図を指定する情報が重畳表示されてもよい。このような情報の具体的な例については後述する。なお、スマートフォン２００は、撮像機能および出力機能を備える他の装置、例えばタブレット端末やデジタルカメラなどによって代替されてもよい。スマートフォン２００は、例えば自ら撮像画像を解析することによって構図を指定する情報を生成してもよいし、構図を指定する情報を生成するための処理をサーバ３００に依頼してもよい。

なお、別の例では、画像の構図を指定する情報を出力するスマートフォン２００のような端末装置と、画像を取得する撮像装置とが別個の装置であってもよい。例えば、システム１０はスマートフォン２００とは別にデジタルカメラを含み、デジタルカメラによって取得される画像の構図を指定する情報がスマートフォン２００を介して生成されてもよい。この場合、デジタルカメラからは、取得された画像（例えばスルー画像）のデータがスマートフォン２００に送信され、スマートフォン２００は画像の解析によって構図を指定する情報を生成する。あるいは、スマートフォン２００は画像のデータをさらにサーバ３００に転送し、構図を指定する情報の生成を依頼する。生成された情報はスマートフォン２００によって出力されるか、スマートフォン２００からデジタルカメラに送信されてデジタルカメラから出力される。スマートフォン２００自体が、情報処理機能を有するデジタルカメラによって代替されうることは上述の通りである。

サーバ３００は、スマートフォン２００とネットワークを介して通信し、センサ装置１００において取得されたデータの解析結果またはデータそのものを受信する。また、サーバ３００は、スマートフォン２００から撮像された画像のデータを受信してもよい。サーバ３００は、スマートフォン２００からアップロードされた解析結果、または自ら算出した解析結果を保存し、必要に応じてスマートフォン２００などのユーザが使用する端末装置に送信する。また、サーバ３００は、解析結果またはデータを提供したユーザ以外のユーザが使用する端末装置に解析結果を送信し、解析結果をユーザ間で共有することを可能にしてもよい。

図２は、本開示の一実施形態に係るシステムの概略的な装置構成を示すブロック図である。図２を参照すると、システム１０は、センサ装置１００と、スマートフォン２００と、サーバ３００とを含む、なお、それぞれの装置を実現する情報処理装置のハードウェア構成例については後述する。

センサ装置１００は、センサ１１０と、処理部１２０と、送信部１３０とを備える。センサ１１０は、例えば振動センサ、角速度センサ、角速度センサ、および／または地磁気センサなど（例えば９軸モーションセンサ）を含む。処理部１２０は、例えばＣＰＵなどのプロセッサによって実現され、センサ１１０によって取得されたデータを処理する。処理部１２０による処理は、例えばサンプリングやノイズ除去などの前処理であってもよいし、解析処理を含んでもよい。送信部１３０は、通信装置によって実現され、例えばＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信を利用してデータをスマートフォン２００に送信する。

スマートフォン２００は、受信部２１０と、処理部２２０と、記憶部２３０と、送信部２４０と、撮像部２５０と、入力部２６０と、出力部２７０とを備える。受信部２１０は、通信装置によって実現され、センサ装置１００からＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信を利用して送信されたデータを受信する。さらに、受信部２１０は、ネットワーク通信を利用してサーバ３００から送信されたデータを受信してもよい。処理部２２０は、例えばＣＰＵなどのプロセッサによって実現され、受信されたデータを処理する。例えば、処理部２２０は、受信されたデータを一時的に記憶部２３０に蓄積した後に、送信部２４０を介してサーバ３００に送信してもよい。また、処理部２２０は、受信または取得されたデータの解析を実行してもよい。記憶部２３０は、例えばメモリやストレージによって実現される。送信部２４０は、通信装置によって実現され、例えばインターネットなどのネットワーク通信を利用して音声データ（または解析後のデータ）をサーバ３００に送信する。

撮像部２５０は、例えば撮像素子にレンズなどの光学系を組み合わせたカメラモジュールによって実現され、テニスをプレーしているユーザを被写体として含む画像を取得する。撮像部２５０は、例えば撮像された画像を起動中は継続的に処理部２２０に提供する。処理部２２０は、提供された画像をスルー画像として出力部２７０に含まれるディスプレイに表示させ、静止画像または動画像の撮影が実行された場合には画像データを記憶部２３０に格納する。

入力部２６０は、スマートフォン２００に対するユーザの操作入力を受け付ける。入力部２６０は、例えばディスプレイ上に設けられるタッチパネルやハードウェアボタンなどの入力装置を含んでもよいし、ユーザの音声を操作入力として受け付けるためのマイクロフォンや、ユーザのジェスチャを操作入力として受け付けるためのカメラまたはセンサなどを含んでもよい。出力部２７０は、スマートフォン２００にユーザに向けてさまざまな情報を出力する。出力部２７０は、例えばディスプレイやスピーカなどを含む。出力部２７０は、例えば、撮像部２５０によって取得される画像の構図を指定する情報を出力する。

サーバ３００は、受信部３１０と、処理部３２０と、記憶部３３０と、送信部３４０とを備える。受信部３１０は、通信装置によって実現され、スマートフォン２００からインターネットなどのネットワーク通信を利用して送信されたデータを受信する。処理部３２０は、例えばＣＰＵなどのプロセッサによって実現され、受信されたデータを処理する。例えば、処理部３２０は、受信されたデータの処理の解析処理を実行し、解析後のデータをさらに記憶部３３０に蓄積したり、送信部３４０を介して出力したりしてもよい。あるいは、処理部３２０は、スマートフォン２００などにおいて既に解析されたデータの蓄積および出力の制御を実行するだけであってもよい。

（２．処理部の構成）
図３は、本開示の一実施形態における処理部の構成を示す概略的なブロック図である。図３を参照すると、本実施形態に係る処理部は、画角推定部５１０と、構図指定情報出力部５２０とを含む。処理部は、さらに、画像解析部５３０を含んでもよい。

ここで、画角推定部５１０、構図指定情報出力部５２０、および画像解析部５３０は、例えば、上記で図２を参照して説明したシステム１０において、スマートフォン２００の処理部２２０、またはサーバ３００の処理部３２０において実現される。処理部の全体が単一の装置において実現されてもよいし、１または複数の構成要素がそれぞれ別の装置に分散して実現されてもよい。

（２−１．画角推定部）
画角推定部５１０は、実空間での位置関係が既知である少なくとも２つの点の、撮像装置によって取得された画像での位置関係に基づいて画像の画角を推定する。この点について、図４および図５を参照してさらに説明する。

図４は、本開示の一実施形態における画角の推定について説明するための図である。図４には、スマートフォン２００の撮像部２５０（撮像装置）と、撮像部２５０によって取得される画像の２つの画角Ａ１，Ａ２とが示されている。画角Ａ１，Ａ２は互いに異なり、画角Ａ１の方が画角Ａ２よりも広い。このような画角の相違は、例えば撮像装置を構成する撮像素子やレンズを含む光学系の配置によって生じる。また、同じ撮像装置であっても、例えば画像の解像度を変更したり、アスペクト比を変更したり、ズーム操作をしたりすれば、画角は変化する。

例えば、画角推定部５１０は、撮像部２５０と同じスマートフォン２００において処理部２２０によって実現されうるが、その場合であっても、上記のような設定情報のすべてを撮像部２５０から内部的に取得することが容易ではない。画角推定部５１０が実現される装置と撮像装置とが別個である場合はなおさら、画角を規定する上記のような設定情報のすべてを取得することは容易ではない。

そこで、本実施形態では、画角推定部５１０が、テニスコートのサイドラインとネットとの交点Ｐ１，Ｐ４と、シングルス用のサイドラインとネットとの交点Ｐ２，Ｐ３の画像内での位置に基づいて、画像の画角を推定する。これらの点Ｐ１〜Ｐ４は、ルールに従って規定されたテニスコート上の点であるため、その位置関係は既知である。それゆえ、例えば、撮像装置（撮像部２５０）を所定の位置（例えばテニスコートのベースラインの中央上）に配置した上で点Ｐ１〜Ｐ４の方向の画像を撮像すれば、画像における点Ｐ１〜Ｐ４の位置に基づいて、画像の画角を推定することができる。

より具体的には、例えば、撮像された画像の右端に近い部分に点Ｐ１，Ｐ２が、左端に近い部分に点Ｐ３，Ｐ４がそれぞれ映っている場合、画角推定部５１０は、画角がＡ１に近いことを推定できる。また、撮像された画像の右端に近い部分に点Ｐ２が、左端に近い部分に点Ｐ３が映っていて、点Ｐ１，Ｐ４は画像に映っていない場合、画角推定部５１０は、画角がＡ２に近いことを推定できる。点Ｐ２と点Ｐ３との間の距離が既知であることから、少なくとも点Ｐ２と点Ｐ３とが画像に含まれれば、画角を推定することが可能である。ただし、点Ｐ１〜Ｐ４のすべてが画像に含まれる方が、推定の精度は高くなる。

図５は、本開示の一実施形態における画角の推定の処理の例を示すフローチャートである。図５を参照すると、まず、画角推定部５１０は、スマートフォン２００の出力部２７０に含まれるディスプレイに、スルー画像を表示させる（Ｓ１０１）。スルー画像は、撮像部２５０、または他の撮像装置によって取得された実空間の画像である。なお、スルー画像は、Ｓ１０１に先立って既に表示されていてもよい。次に、画角推定部５１０は、ディスプレイに表示されたスルー画像に、画角推定のためのマークを重畳表示させる（Ｓ１０３）。画角推定のためのマークは、例えば上記の例における点Ｐ１〜Ｐ４に対応する円や十字線などの図形である。

ここで、ユーザが、撮像装置を所定の位置に配置する（Ｓ１０５）。上記の例であれば、ユーザは、テニスコートのベースラインの中央で、ネットの方を向けて撮像装置（撮像部２５０を含むスマートフォン２００、または他の撮像装置）を配置する。さらに、ユーザは、スマートフォン２００の入力部２６０に含まれるディスプレイ上のタッチパネルを操作して、Ｓ１０３において重畳表示されたマークを移動させ、スルー画像内での所定の点に一致させる（Ｓ１０７）。例えば、上記の例における点Ｐ１〜Ｐ４の場合であれば、ユーザは、ディスプレイに表示された４つのマークを、それぞれサイドラインおよびシングルス用のサイドラインとネットとの４つの交点に一致させる。

次に、画角推定部５１０は、スルー画像における所定の点の位置と、ユーザによって移動されたマークの位置とが一致したか否かを判定する（Ｓ１０９）。ここで、画角推定部５１０がスルー画像における所定の点の位置を画像解析によって特定可能ではない場合、タッチパネルなどの入力部２６０を介したユーザの操作に基づいて、所定の点の位置とマークの位置とが一致したことが判定されてもよい。また、画角推定部５１０がスルー画像における所定の点の位置を画像解析によって特定可能である場合、画角推定部５１０は所定の点の位置とマークの位置とが一致したことを自動的に判定し、一致したと判定された場合にユーザに対して画角を確定してよいかを確認するダイアログなどを出力してもよい。

あるいは、画角推定部５１０がスルー画像における所定の点の位置を画像解析によって特定可能である場合、画角推定部５１０はＳ１０７のユーザの操作を代行し、自動的にマークを移動させてもよい。この場合、例えば、Ｓ１０５でユーザの撮像装置を所定の位置に配置した時点で入力部２６０を介して画角特定を開始させるためのユーザ操作が実行され、Ｓ１０７以降のステップがすべて自動的に実行されてもよい。あるいは、Ｓ１０７において自動的に移動されたマークの位置とスルー画像における所定の点の位置との関係をユーザが確認し、これらの位置が一致していると認められた場合に、Ｓ１０９で位置が一致したことを示すユーザ操作を実行してもよい。

Ｓ１０９において、スルー画像における所定の点の位置と重畳表示されたマークの位置とが一致したと判定された場合、画角推定部５１０は、画像の横幅の実空間における距離を算出する（Ｓ１１１）。例えば、上記の例における点Ｐ１〜Ｐ４の場合であれば、点Ｐ１〜Ｐ４の相互間の実空間での距離と、画像内でのこれらの点の相互間の距離とを比較することにより、点Ｐ１〜Ｐ４を含む面における、画像の実空間に対する縮尺を算出することができる。これにより、当該面における画像の横幅の実空間における距離を算出することができる。この算出結果は、例えば、画像における１ピクセルを実空間の距離単位（例えばメートル）に換算するための係数として表現されてもよい。

次に、画角推定部５１０は、撮像装置の位置から所定の点までの距離に基づいて画角を推定する（Ｓ１１３）。Ｓ１０５において、撮像装置は所定の位置、より具体的には例えばテニスコートのベースラインの中央に配置されている。従って、点Ｐ１〜Ｐ４を含む面と撮像装置との間の距離は既知である。それゆえ、画角推定部５１０は、例えば図４に示された画角Ａ１，Ａ２のような形で画像の画角を推定することが可能になる。画角が推定されると、撮像装置が、実空間においてどこまでの範囲を画像に収めることができるかを判定することができる。

以上、画角推定部５１０が画像の画角を推定する処理について説明した。本実施形態では、このようにして、画角推定部５１０が、実空間の位置関係が既知である２つの点の、撮像装置によって取得された画像での位置に基づいて画像の画角を推定する。画角推定部５１０は、少なくとも２つの点を含む第１の平面的または立体的なオブジェクトの像（例えば、上記の例におけるテニスコートとネットを含む像）の画像での位置に基づいて画像の画角を推定してもよい。ここで、第１の平面的または立体的なオブジェクトは、コート、フィールド、またはコース（例えば上記の例におけるテニスコート）を規定する線を含んでもよい。

また、他の例として、画角推定部５１０は、少なくとも２つの点を含む軌道を通って落下するオブジェクト（例えばボール）の画像での位置変化に基づいて画像の画角を推定してもよい。よく知られている通り、落下するオブジェクト（投げ上げられて見かけ上は上に向かっているものを含む）には、オブジェクトの質量や形状に関わらず同じ重力加速度が作用しているため、同じ初速であれば時間ごとの位置変化は同じになる。従って、例えば、オブジェクトの初速が既知であれば落下中の２つの時点、初速が未知であれば落下中の３つの時点の間での画像におけるオブジェクトの位置の変化量を測定すれば、上記の例と同様にして、オブジェクトの落下軌道を含む面における画像の実空間に対する縮尺を算出することができ、さらに撮像装置の位置からのオブジェクトの落下軌道までの距離に基づいて画像の画角を推定することができる。

さらに、他の例として、画角推定部５１０は、共通する少なくとも２つの点を含む画像を３つ以上の異なる位置から撮像することによって、撮像装置によって取得される画像の画角を推定してもよい。上記の例では、位置関係が既知である少なくとも２つの点を含む画像を、これらの点との位置関係が既知である位置から撮像することによって、単一の画像から画角が推定された。これに対して、位置関係が既知である少なくとも２つの点との位置関係が未知であっても、これらの点を共通して含む画像を３つ以上の異なる位置から撮像すれば、三角測量の原理により、それぞれの撮像位置の関係を算出することができ、さらに画像の画角を推定することができる。

（２−２．構図指定情報出力部）
再び図３を参照して、構図指定情報出力部５２０は、画角推定部５１０によって推定された画角に応じて規定される、被写体と撮像装置との位置関係が満たされるように、画像の構図を指定する情報を出力する。この点について、図６〜図９を参照してさらに説明する。

図６は、本開示の一実施形態における構図の指定について説明するための図である。図６には、スマートフォン２００の撮像部２５０（撮像装置）と、撮像部２５０によって取得される画像の画角Ａに含まれるプレーヤＰおよびボールＢとが示されている。図示された例において、撮像部２５０によって取得される画像は、プレーヤＰがボールＢを打つプレー（例えばテニスのサーブ）を解析するために利用される。

構図指定情報出力部５２０は、上記のような解析のために最適化された構図で画像を撮像するための情報を出力する。以下、最適化された構図について、テニスのサーブの場合を例として説明するが、他のプレー、他の球技、およびスポーツ以外の他の動作についても同様に構図が最適化されうる。

例えば、構図は、（１）トス中のボールが映るように最適化される。より具体的には、プレーヤＰによってトスされたボールＢがフレームアウトしないように、プレーヤＰをなるべく画像の下側に配置し、画像上方の空間を広くとる。

また、例えば、構図は、（２）ボールのインパクトポイントが映るように最適化される。より具体的には、プレーヤＰがラケットでボールＢを打つことが想定されるプレーヤＰの近傍を画像に収める。

また、例えば、構図は、（３）インパクト後のボールがある程度の時間にわたって映るように最適化される。より具体的には、インパクト後のボールＢが画角内を移動する距離（図６に示す距離Ｄ）がなるべく長く、または所定の距離以上になるように、プレーヤＰを画像の右側（図示された例のように右から左に打つ場合）に配置する。例えば、インパクト後のボールＢの速度などを画像の解析に基づいて算出する場合、ある程度の数のフレームにわたってインパクト後のボールが映っていることが望ましいため、この観点からの最適化は重要である。

また、例えば、構図は、（４）インパクト後のボールの移動方向に対する角度が直角に近づくように最適化される。より具体的には、インパクト後のボールの予想される平均的な軌道に対する撮像部２５０の角度を直角に近づける。例えば、インパクト後のボールＢの移動方向に対する角度が直角に近づくほど、フレーム間でのボールＢのトラッキングがしやすくなり、速度の算出の精度も向上する。

例えば上記のように最適化された構図は、画像の画角によって異なりうる。例えば、構図指定情報出力部５２０が、画像の中でプレーヤＰが配置されるべき位置をスルー画像への重畳表示などによって指定したとしても、画像の画角が異なれば、必ずしも上記の（１）〜（４）のような最適化が実現されるとは限らない。例えば、ある画角の画像で上記の（３）および（４）を実現した構図を、そのまま画角が異なる他の画像、例えば横幅がより狭い画像に適用すると、画像の横幅が狭まったことによって図６に示す距離Ｄが小さくなり、（３）が実現されなくなってしまう可能性がある。このような場合、後者の画像では、例えば（４）をある程度犠牲にした上で（ボールの移動方向に対して角度がついてしまうことを容認した上で）、（３）を実現することが望ましいと考えられる。

以上のような理由により、本実施形態において、構図指定情報出力部５２０は、出力する情報によって指定される構図を、画角推定部５１０によって推定された画角に応じて決定する。構図は、例えば、画角の範囲（例えば画像の横幅の距離に応じて設定される）ごとに予め用意されていてもよいし、推定された画角に応じて算出されてもよい。構図は、例えば、画像におけるプレーヤＰの立ち位置と、地面に対する撮像部２５０の角度によって表現される。

図７は、本開示の一実施形態におけるガイドの表示について説明するための図である。図７には、スルー画像ＰＩＣ１，ＰＩＣ２においてそれぞれ表示されるガイドが示されている。図示された例において、ガイドは、ガイド線Ｇ（Ｇ１，Ｇ２）と、プレーヤの立ち位置ＰＳ（ＰＳ１，ＰＳ２）とを含む。

上記のように、例えばスマートフォン２００の出力部２７０に含まれるディスプレイに表示されるスルー画像ＰＩＣには、ガイド線Ｇと、プレーヤ立ち位置ＰＳとが重畳表示される。ユーザがスマートフォンを移動させ、立ち位置ＰＳをプレーヤＰの足元に、ガイド線Ｇをテニスコートのラインにそれぞれ重ね合わせることによって、構図指定情報出力部５２０によって指定された構図が実現される。ガイド線Ｇとプレーヤ立ち位置ＰＳとを含むガイドは、構図指定情報出力部５２０によって出力される、画像の構図を指定する情報の一例である。

ここで、図示された例において、スルー画像ＰＩＣ１とスルー画像ＰＩＣ２とは、それぞれ画角が異なる画像である。従って、上述のように、それぞれの画像において実現されるべき構図は異なる。それゆえ、スルー画像ＰＩＣ１において表示されるガイド線Ｇ１および立ち位置ＰＳ１と、スルー画像ＰＩＣ２において表示されるガイド線Ｇ２および立ち位置ＰＳ２とは、互いに異なる。より具体的には、立ち位置ＰＳ１の画像左下端を基準にした座標が（１００，４００）であるのに対し、立ち位置ＰＳ２の画像左下端を基準にした座標は（８０，３８０）である。また、ガイド線Ｇ１よりもガイド線Ｇ２の方が、画像の水平方向に対して傾いている。

このように異なるガイドが表示されることによって、スルー画像ＰＩＣ１とスルー画像ＰＩＣ２とのそれぞれの場合において、プレーヤＰの立ち位置やコートのラインをガイドに合わせた場合、撮像部２５０（撮像装置）の位置および角度は異なりうる。このようにして、構図指定情報出力部５２０は、画像の画角が異なるそれぞれの場合において、それぞれの画角に適応したより適切な構図を実現することができる。

図８は、本開示の一実施形態における構図の指定の処理の例を示すフローチャートである。図８を参照すると、まず、構図指定情報出力部５２０は、画角推定部５１０によって推定された画像の画角に応じて構図を決定する（Ｓ２０１）。構図は、例えば上述の（１）〜（４）のような観点から最適化されたものでありえ、画角ごとに予め用意されたものから選択されてもよいし、画角に応じてその都度算出されてもよい。次に、構図指定情報出力部５２０は、画角と構図とに基づいて、スルー画像に重畳して表示させるガイドの座標を算出する（Ｓ２０３）。

次に、構図指定情報出力部５２０は、スマートフォン２００の出力部２７０に含まれるディスプレイに、スルー画像を表示させる（Ｓ２０５）。スルー画像は、撮像部２５０、または他の撮像装置によって取得された実空間の画像である。なお、スルー画像は、Ｓ２０５に先立って既に表示されていてもよい。さらに、構図指定情報出力部５２０は、ディスプレイに表示されたスルー画像に、Ｓ２０３において算出された座標に従ってガイドを重畳表示させる（Ｓ２０７）。ガイドは、例えば上記の図７の例に示したように、プレーヤの立ち位置ＰＳと、ガイド線Ｇとを含んでもよい。

ここで、ユーザが、ガイドの表示に従って、撮像装置を所定の位置に配置する（Ｓ２０９）。上記のように最適な構図は画角ごとに異なるが、撮像装置が配置されるべきおおよその位置は同じである（例えば、図６に示した撮像部２５０の位置）。そこで、図示された例のように、まずはユーザが撮像装置を画角に関わらず所定の位置に配置し、その後、スルー画像に重畳して表示されているガイドを利用して撮像装置の位置や姿勢を微調整する（Ｓ２１１）手順を採用してもよい。上記の図７の例であれば、ユーザ（撮影者）は、図６に示した撮像部２５０の位置に立った上で、ディスプレイに立ち位置ＰＳがプレーヤの足元に一致し、ガイド線Ｇがコートのラインに重なるように、撮像装置の位置および姿勢を微調整してもよい。

次に、構図指定情報出力部５２０は、スルー画像に表示されたガイドと、ガイドに対応するオブジェクトとが重なり合ったか否かを判定する（Ｓ２１３）。ここで、構図指定情報出力部５２０がスルー画像におけるオブジェクトの位置や形状を画像解析によって特定可能ではない場合、タッチパネルなどの入力部２６０を介したユーザの操作に基づいて、ガイドとオブジェクトとが重なり合ったことが判定されてもよい。また、構図指定情報出力部５２０がスルー画像におけるオブジェクトの位置や形状を画像解析によって特定可能である場合、構図指定情報出力部５２０はガイドとオブジェクトとが重なり合ったことを自動的に判定し、重なり合ったと判定された場合にユーザに対して構図を確定してよいかを確認するダイアログなどを出力してもよい。Ｓ２１３において、ガイドとオブジェクトとが重なり合っていると判定された場合、構図を指定する処理は終了し、例えば画像の撮像および解析の処理が開始される。

図９は、本開示の一実施形態において、構図の指定のために表示される画像の例を示す図である。図９には、例えばスマートフォン２００の出力部２７０に含まれるディスプレイに表示される画像１１００が示されている。画像１１００では、テニスコートのどちら側でサーブを打つプレーヤを撮像するかを指定するためのユーザインターフェースが表示されている。構図指定情報出力部５２０は、例えば、このようなユーザインターフェースを介して入力された情報に基づいて、指定する構図、および該構図を実現するために表示させる情報を選択する。なお、例えば、図示された例において、左側（Left side）を選択した場合と右側（Right side）を選択した場合とでは、構図指定情報出力部５２０によって表示されるガイドの左右が反転しうる。

以上、構図指定情報出力部５２０が画像の構図を指定する情報を出力する処理について説明した。本実施形態では、このようにして、構図指定情報出力部５２０が、画像の画角に応じて規定される、被写体と撮像装置との位置関係が満たされるように、画像の構図を指定する情報を出力する。構図指定情報出力部５２０は、撮像装置（撮像部２５０）によって取得されるスルー画像において視認される第２の平面的または立体的なオブジェクト（例えば、上記の例におけるプレーヤやコートのライン）に重ね合わせることによって指定された構図が実現されるガイドを表示させるための情報を出力してもよい。ここで、第２の平面的または立体的なオブジェクトは、コート、フィールド、またはコース（例えば上記の例におけるテニスコート）を規定する線と、コート、フィールド、またはコース上の所定の位置に配置された被写体（例えば上記の例におけるプレーヤ）とを含んでもよい。

また、構図指定情報出力部５２０は、被写体の近傍の少なくとも３つの点が画像で所定の位置に配置されるように、画像の構図を指定する情報を出力してもよい。上記の例のように、撮像装置（撮影者）の空間における位置が特定されている場合には、２つの点を画像で所定の位置に配置すれば画像の構図が指定できる。また、撮像装置（撮影者）の空間における位置が特定されていない場合であっても、３つの点を画像で所定の位置に配置させることによって、撮像装置（撮影者）の空間における位置を特定した上で、適切な画像の構図を指定することができる。また、被写体は、コートまたはフィールドに配置されたプレーヤと、該プレーヤのプレー（例えば上記の例におけるテニスのサーブ）によって放たれた（打たれた場合、投げられた場合、蹴られた場合などを含む）ボールとを含んでもよい。この場合、構図指定情報出力部５２０は、当該プレー後の所定の時間、ボールが画像の画角内に位置するように、画像の構図を指定する情報を出力してもよい（例えば、上記の例の（３）に示した構図の最適化）。

また、他の例として、構図指定情報出力部５２０は、ディスプレイへの表示以外の方法によって、画像の構図を指定する情報を出力してもよい。例えば、構図指定情報出力部５２０は、音声によって、画像の構図を指定する情報を出力してもよい。この場合、例えば、構図指定情報出力部５２０は、スルー画像におけるオブジェクトの位置や形状を画像解析によって特定し、ガイドとオブジェクトとのずれ量を算出する。さらに、構図指定情報出力部５２０は、ずれ量に基づいて、「少し右に移動してください」「少し左に振ってください」などの指示を、例えばスマートフォン２００の出力部２７０に含まれるスピーカから音声によって出力させてもよい。また、例えば屋内などで撮影を実行する場合には、プロジェクタまたはレーザーポインタなどを使用して、実空間にガイドを投影させてもよい。

また、さらに他の例として、構図指定情報出力部５２０は、撮像部２５０（撮像装置）が固定されておらず移動する場合に、画像の構図を指定する情報を出力してもよい。例えば、後述する画像解析部５３０による解析のためには、解析に必要な範囲、例えばテニスのサーブの場合であればプレーヤの近傍とその上方、およびボールが打ち出される方向の空間が画像に含まれていればよく、必ずしも撮像部２５０は固定されていなくてよい。この場合、画像解析部５３０は、例えばプレーヤの立ち位置やテニスコートのラインなどを基準にして撮像部２５０の空間位置や姿勢の変化を算出し、これらに基づいて取得された画像を補正して解析に使用することができる。撮像部２５０が移動する場合、構図指定情報出力部５２０は、撮像部２５０がある程度移動したとしても必要な範囲の画像が取得できるように、所定のマージンを含めて画像の構図を指定する情報を出力してもよい。

（２−３．画像解析部）
再び図３を参照して、画像解析部５３０は、構図指定情報出力部５２０が出力した情報によって指定された構図に従って取得された画像について画像解析を実行する。この画像解析によって、例えば、被写体が飛行するオブジェクトを含む場合には、オブジェクトの速度が推定される。また、被写体が自転するオブジェクトを含む場合には、オブジェクトの自転速度が推定されてもよい。被写体が放物運動するオブジェクトを含む場合には、オブジェクトの位置変化量が推定されてもよい。これらの例におけるオブジェクトは、例えばスポーツのプレーにおいて放たれた（打たれた、投げられた、または蹴られた）ボールでありうる。ボールの場合、上記の推定は、ボールスピードの推定、ボールスピンの推定、およびボールがトスされた高さの推定と解釈されてもよい。

このような画像解析は、例えば、取得される画像のフレームレートや解像度が十分に高いような場合には可能であることが知られている。しかし、例えばデジタルカメラやスマートフォンに搭載されたカメラによって取得された画像を用いてこのような画像解析を実行することは困難である。例えば、オブジェクトがフレームレートに対して大きな速度で飛行している場合、少ないフレーム数でオブジェクトがフレームアウトしてしまうと、速度などを算出することは困難である。また、オブジェクトがどのような軌跡で飛行するかが未知であると、画像の全体でオブジェクトを探索しなければならないため、フレーム間でのトラッキングなどの処理が困難である。

これに対して、本実施形態では、画角推定部５１０が推定した構図に応じて構図指定情報出力部５２０が指定した最適化された構図に従って取得された画像が、画像解析部５３０における解析の対象になる。それゆえ、例えば、プレーヤのプレーによって放たれたオブジェクト（ボール）が所定の時間（所定のフレーム数）にわたって画像の画角内に位置するように構図を設定することが可能であり、オブジェクトがインパクトの後早々にフレームアウトしてしまうことを防ぐことができる。また、構図が予め特定されていることによって、画像におけるオブジェクトの軌跡が予測可能であるため、探索の範囲を絞り込むことができ、例えば精度の高いトラッキングなどの処理が可能である。

このように、本実施形態では、撮像装置によって取得される画像の構図を指定することによって、例えばデジタルカメラやスマートフォンに搭載されたカメラによって取得された画像を用いて有効な解析を実施することが可能になりうる。なお、画像解析の具体的な手法については、これまでフレームレートや解像度が十分に高い画像を対象にして実施されてきた手法を応用することが可能であるため、ここでは詳細な説明を省略する。

（３．処理部のさらなる構成要素）
図１０は、本開示の一実施形態における処理部のさらなる構成要素を示す概略的なブロック図である。本実施形態における処理部は、例えば、以下で説明する構成要素を、図３を参照して説明した構成要素に加えて、またはこれらに代えて含んでもよい。図１０を参照すると、本実施形態に係る処理部は、画像取得部５４０と、センサデータ取得部５５０と、記録制御部５６０と、記憶部５６５と、解析部５７０と、表示制御部５８０とを含みうる。

ここで、画像取得部５４０と、センサデータ取得部５５０と、記録制御部５６０と、解析部５７０と、表示制御部５８０とは、例えば、上記で図２を参照して説明したシステム１０において、スマートフォン２００の処理部２２０、またはサーバ３００の処理部３２０において実現される。処理部の全体が単一の装置において実現されてもよいし、１または複数の構成要素がそれぞれ別の装置に分散して実現されてもよい。

画像取得部５４０は、スマートフォン２００の撮像部２５０、または他の撮像装置において撮像された画像を取得する。取得される画像は、例えばプレーヤによる一連のプレーをとらえた動画像でありうる。

センサデータ取得部５５０は、センサ装置１００のセンサ１１０から出力されたセンサデータを取得する。センサデータは、例えば、プレーヤが使用している用具（例えばラケットＲ）、またはプレーヤ自身に発生した振動やモーション（加速度、角速度、方位など）を示す。

記録制御部５６０は、ユーザの操作、および／またはセンサデータ取得部５５０によって取得されたセンサデータに基づいて、画像取得部５４０によって取得された画像の記憶部５６５への記録を制御する。例えば、記録制御部５６０は、画像取得部５４０によって取得された画像を一時的に記憶部５６５に記録し、解析部５７０による解析の対象になる部分を特定してもよい。また、記録制御部５６０は、画像取得部５４０によって取得された画像を一時的に記憶部５６５に記録し、この画像から表示制御部５８０によってディスプレイに表示される画像を生成してもよい。

解析部５７０は、画像取得部５４０によって取得された画像および／またはセンサデータ取得部５５０によって取得されたセンサデータに基づく解析処理を実行する。解析部５７０は、例えば上記で図３を参照して説明した画像解析部５３０を含んでもよい。解析部５７０は、例えば、センサデータ取得部５５０によって取得された振動データと、予め測定されたラケットＲの固有振動特性とに基づいて、ラケットＲにボールが当たった位置を算出する。また、解析部５７０は、さらにインパクト前のラケットＲの速度に基づいて、インパクト後のボールの速度や回転などを算出してもよい。解析部５７０は、例えば画像解析部５３０について既に説明したように、画像取得部５４０によって取得された画像に基づいて、ボールの速度や回転、軌跡などを算出することも可能である。

表示制御部５８０は、画像取得部５４０によって取得された画像を用いて、例えばスマートフォン２００の出力部２７０に含まれるディスプレイに画像を表示させる。例えば、表示制御部５８０は、画像取得部５４０によってリアルタイムで取得されている画像を、スルー画像としてディスプレイに表示させてもよい。また、表示制御部５８０は、記録制御部５６０によって記憶部５６５に一時的または継続的に記録された画像を再生してディスプレイに表示させてもよい。また、表示制御部５８０は、解析部５７０による各種解析結果をディスプレイに表示させてもよい。

（３−１．センサデータを利用した録画の制御）
記録制御部５６０は、例えば、センサデータ取得部５５０によって取得されたセンサデータに基づいて、画像取得部５４０によって取得された画像の録画（記憶部５６５への持続的な記録）を制御する。本実施形態では、例えば、センサデータ取得部５５０によって取得される振動データに基づいて、ラケットＲとボールとのインパクトの瞬間を特定することが可能である。そこで、記録制御部５６０は、例えばインパクトの瞬間、またはインパクトの瞬間から所定時間経過後に録画を停止させてもよい。

また、本実施形態では、例えば、センサデータ取得部５５０によって取得されるモーションデータ（加速度、角速度、方位など）に基づいて、特定のプレー、またはプレーの予備動作などが開始されたタイミングを特定することも可能でありうる。そこで、記録制御部５６０は、例えば、プレーヤが特定のプレーの予備動作を開始した場合に録画を開始させてもよい。さらに、上記のようにインパクトの瞬間やインパクトの瞬間から所定時間経過後に録画を停止させれば、録画の開始および終了をいずれも自動化することもできる。

図１１は、本開示の一実施形態における録画の制御の例について説明するための図である。図１１に示された例では、動画像（継続的に撮像されている）の５番目のフレーム目の時点で、センサデータ取得部５５０によって取得されるモーションデータに基づいて、サーブの予備動作が開始されたことが検出されている。そこで、記録制御部５６０は、ここから画像の録画を開始する。なお、図は模式的なものであるため予備動作の開始と録画開始とが同じタイミングで示されているが、実際にはモーションデータの解析と記録制御の実行のための時間が必要であるため、予備動作の開始を示すモーションデータが取得されてから上記の時間が経過した時点で録画が開始されうる。

また、図示された例では、動画像の１４番目のフレームの時点で、センサデータ取得部５５０によって取得される振動データに基づいて、ラケットとボールのインパクトが発生したことが検出されている。そこで、記録制御部５６０は、インパクトの１秒後の時点にあたる、動画像の１７番目のフレームまでで録画を終了する。このような録画の制御によって、例えば、画像として記録したいプレーの区間を過不足なく録画することができ、事後的なユーザの編集の手間を省くことができる。また、例えば、このようにして特定された画像の区間を、例えば解析部５７０による解析の対象になる解析区間として提供すれば、解析区間を探索する範囲が少なくて済み、処理負荷が低減されうる。

（３−２．解析区間とは異なる区間の画像再生）
記録制御部５６０は、上述のように、画像取得部５４０によって取得された画像を一時的に記憶部５６５に記録し、この画像から表示制御部５８０によってディスプレイに表示される画像を生成しうる。例えば、この画像は、上記の録画制御の例で説明された、ユーザによる特定のプレーの区間を切り出した動画像であってもよい。ここで、例えば、記録制御部５６０は、センサデータ取得部５５０によって取得されたセンサデータに基づいて、画像取得部５４０によって取得された画像の中から解析部５７０による解析の対象になる解析区間を特定した場合、同じ区間を表示制御部５８０が再生する区間として提供してもよいが、当該区間よりも長い区間を表示制御部５８０が再生する区間としてもよい。

図１２は、本開示の一実施形態における解析区間とは異なる区間の画像再生の例について説明するための図である。図１２に示された例では、動画像（継続的に撮像されている）の５番目のフレームから１７番目のフレームまでが、解析部５７０による解析区間として記録制御部５６０によって特定されている。その一方で、記録制御部５６０は、表示制御部５８０が解析中に再生する区間として、動画像の１番目のフレームから１８番目のフレームまでを特定する。このとき、再生される画像では、解析部５７０による解析の結果に基づいて、ボールの軌跡Ｂが表示されてもよい。

なお、図示された例において、動画像は図示された範囲の前後でも継続的に撮像されているため、１番目のフレームと１８番目のフレームは、必ずしも動画像の最初と最後のフレームを意味するわけではない。例えば、記録制御部５６０は、解析区間として特定した区間を所定の長さだけ前後に延長することによって再生区間を特定してもよい。延長の長さは、例えば、解析区間の始点および終点それぞれの、インパクト発生時点からの時間的距離に応じて決定されてもよい。

動画像を画像解析する場合、動画像を構成する各フレームの画像を処理する必要があるため、処理時間が長くなってしまう傾向がある。そこで、上記の例のように、センサデータに基づいて動画像の解析区間を過不足なく設定するとともに、解析の実行中に再生される動画像の再生区間については解析区間よりも長い区間を設定し、ユーザの体感的な解析処理の待ち時間を低減させることができる。

（３−３．解析中の画像表示）
図１３は、本開示の一実施形態における解析中の画像表示の第１の例を示す図である。図１３に示された例では、例えばスマートフォン２００の出力部２７０に含まれるディスプレイに表示される画像１３００において、ボール速度情報１３０１と、解析中表示１３０３とが、再生区間の画像から抽出された静止画像に重畳して表示されている。ボール速度情報１３０１は、例えば、解析部５７０における画像またはセンサデータに基づく解析処理の結果を利用して表示される。また、ボール速度情報１３０１は、ボールの進行方向を示す矢印１３０１ａや、ボールの軌跡を示す図形１３０１ｂとともに表示されてもよい。ボールの進行方向や、ボールの軌跡、およびボールの速度は、解析処理の進行にともなって順次特定されうる。従って、ボール速度情報１３０１を構成する要素は、例えば、解析処理において特定されたものから順に段階的に表示されてもよい。

図１４は、本開示の一実施形態における解析中の画面表示の第２の例を示す図である。図１４に示された例では、例えばスマートフォン２００の出力部２７０に含まれるディスプレイに表示される画像１４００において、解析中表示１４０１とともに、再生区間の画像から切り出された、プレーヤを含む矩形の領域が配列して表示される。これらの画像は、例えば所定の時間間隔で一連のフレーム画像から抽出される。図示された例では４つの画像が配列されているが、より多くの画像が配列されてもよい。また、例えば、多数の切り出された画像が自動的にスクロールして表示されたり、ユーザがタッチパネルなどを介して実行するフリック操作などに応じて画像がスクロールして表示されてもよい。

例えば、上記の構図指定情報出力部５２０の機能によって、画像取得部５４０によって取得される画像の構図が既知である場合には、画像解析をしなくても所定のオブジェクトを含む領域、例えばプレーヤを含む領域を画像から切り出すことができる。従って、解析処理の開始後、早い段階で上記の図１４に示した画像１４００のような表示を実現することができる。

図１５は、本開示の一実施形態における解析中の画面表示の第３の例を示す図である。図１５に示された例では、例えばスマートフォン２００の出力部２７０に含まれるディスプレイに表示される画像１５００において、解析中表示１５０１とともに、再生区間の画像から抽出された、プレーヤの画像が背景に重ね合わせて表示される。プレーヤの画像は、例えば所定の時間間隔で一連のフレーム画像から抽出された画像から、プレーヤが映っている部分を切り出すことによって取得される。図示された例では５つの画像が重ね合わされているが、より多くの画像が重ね合わされてもよい。また、上記で図１３を参照して説明した例のように、ボールの位置や速度などがさらに重畳して表示されてもよい。

上記の画像１５００のような表示を実現するためには、各画像においてプレーヤが映っている領域を特定するための画像解析が必要である。従って、画像１５００の表示には、例えば画像１４００の表示よりも時間がかかる。しかし、例えば上記の構図指定情報出力部５２０の機能によって、画像取得部５４０によって取得される画像の構図が既知である場合、画像解析によってプレーヤの像を探索する範囲が限定されるため、画像１５００の表示にかかる時間が短縮されうる。

以上で説明した表示は、例えば、いずれも、静止画像を含む画像を表示させている。これによって、例えばプレーの区間を繰り返し動画像で再生するような場合に比べて、ユーザが時間の経過を感じにくく、体感的な解析処理の待ち時間が短縮されうる。

（３−４．解析結果の表示）
また、本実施形態では、解析部５７０による解析結果を利用して、例えばプレーにおける一連の動きや、それによって実現された結果をより多面的に表現することが可能である。

例えば、表示制御部５８０が、プレーにおける一連の動きを捉えた動画像を再生する場合、センサデータに基づいてインパクトの瞬間が特定されていることを利用して、再生の途中で再生速度を変更してもよい。例えば、表示制御部５８０は、インパクトの１秒前までは１倍速、そこからインパクトの瞬間までは１／２倍速、インパクトの瞬間から０．５秒後までは１／１０倍速、それ以降は１倍速、といったように再生速度を変更してもよい。これによって、例えばインパクトの前後などの重要な区間では、自動的にスロー再生が実行される。

また、例えば、表示制御部５８０は、画像解析の結果とセンサデータの解析の結果とを同時に出力してもよい。上述のように、解析部５７０は、画像取得部５４０によって取得された画像やセンサデータ取得部５５０によって取得されたセンサデータに基づいて、プレーに関するさまざまな情報を得ることが可能である。そこで、例えば、画像解析の結果によって得られたボールの位置や速度に加えて、センサデータの解析によって得られたショットパワーやラケットの軌跡、ボールのスピン量などを、同時にディスプレイに表示させるなどして出力してもよい。

また、例えば、記録制御部５６０は、センサデータの解析によって特定されるインパクトの瞬間を基準にして、一連の動きを捉えた連続写真を生成してもよい。例えば、記録制御部５６０は、インパクトの瞬間を中心にして、インパクトに近づくほど短い間隔で、インパクトから離れるほど長い間隔で動画像のフレームを抽出して、連続写真を生成してもよい。

また、例えば、表示制御部５８０は、解析部５７０による解析結果から抽出される統計指標を出力してもよい。例えば、表示制御部５８０は、プレーヤの過去のプレーの解析結果に基づいて、トスの安定度や上達度といった統計指標をディスプレイに表示させるなどして出力してもよい。

また、例えば、表示制御部５８０は、解析部５７０による解析結果を他のプレーヤと比較した情報を出力してもよい。例えば、表示制御部５８０は、センサデータの解析によって特定されるインパクトの瞬間を基準にして、複数のプレーヤのプレーをとらえた画像を並行的に再生させてもよい。複数の画像の並行的な再生は、例えば、画像を上下や左右に配列して再生することであってもよいし、画像を透過的に重畳させて再生することであってもよい。これによって、例えば、プレーヤと他のプレーヤ（例えばプロフェッショナル）とのプレーの相違をわかりやすく表現することができ、比較結果に基づくアドバイスをすることも可能になる。

また、例えば、表示制御部５８０は、プレーにおける一連の動きを捉えた画像を再生するにあたり、センサデータに基づく解析結果を利用してエフェクトをかけてもよい。より具体的には、表示制御部５８０は、インパクト前、インパクト時、インパクト後でそれぞれ異なるエフェクトを画像または画像の一部（プレーヤやボールの領域）にかけてもよい。また、表示制御部５８０は、エフェクトの表現を、センサデータに基づく解析結果（例えばラケットやボールの速度）に応じて変化させてもよい。

（４．ハードウェア構成）
次に、図１６および図１７を参照して、本開示の実施形態に係るセンサ装置および解析装置（上述した例ではスマートフォンまたはサーバ）を実現するためのハードウェア構成の例について説明する。

（センサ装置）
図１６は、本開示の実施形態に係るセンサ装置のハードウェア構成の例を示す図である。図１６を参照すると、センサ装置１００は、センサ１０１と、ＣＰＵ（Central Processing Unit）１０３と、ＲＯＭ（Read Only Memory）１０５と、ＲＡＭ（Random Access Memory）１０７と、ユーザインターフェース１０９と、外部記憶装置１１１と、通信装置１１３と、出力装置１１５とを含みうる。これらの要素は、例えばバスによって相互に接続される。

センサ１０１は、例えば加速度センサ、角速度センサ、振動センサ、地磁気センサ、温度センサ、圧力センサ（押下スイッチを含む）、またはＧＰＳ（Global Positioning System）受信機などを含む。センサ１０１は、カメラ（イメージセンサ）やマイクロフォン（音センサ）を含んでもよい。

ＣＰＵ１０３、ＲＯＭ１０５、およびＲＡＭ１０７は、例えば外部記憶装置１１１に記録されたプログラム命令を読み込んで実行することによって、様々な機能をソフトウェア的に実現する。本開示の実施形態では、ＣＰＵ１０３、ＲＯＭ１０５、およびＲＡＭ１０７によって、例えば、センサ装置１００全体の制御などの機能が実現されうる。

ユーザインターフェース１０９は、センサ装置１００へのユーザ操作を受け付ける、例えばボタンやタッチパネルなどの入力装置である。ユーザの操作は、例えば、センサ装置からのセンサ情報の送信の開始や終了を指示するものでありうる。

外部記憶装置１１１は、センサ装置１００に関する各種の情報を記憶する。外部記憶装置１１１には、例えば、ＣＰＵ１０３、ＲＯＭ１０５、およびＲＡＭ１０７にソフトウェア的に機能を実現させるためのプログラム命令が格納されてもよく、またセンサ１０１によって取得されたデータが一時的にキャッシュされてもよい。センサ装置１００が打具などに装着されることを考慮すると、外部記憶装置１１１としては、例えば半導体メモリなどの衝撃に強いものを使用することが望ましい。

通信装置１１３は、有線または無線の各種通信方式によって後述する解析装置６００と通信する。また、通信装置１１３は、機器間通信によって直接的に解析装置６００と通信してもよいし、インターネットなどのネットワークを介して解析装置６００と通信してもよい。

出力装置１１５は、情報を光、音声または画像として出力することが可能な装置で構成される。出力装置１１５は、例えばセンサ装置１００における時刻やプレーイベントの検出を通知する情報を出力してもよいし、解析装置６００から受信された解析結果、またはセンサ装置１００において算出された解析結果に基づいて、ユーザに対する視覚的または聴覚的な通知を出力してもよい。出力装置１１５は、例えば、例えばＬＥＤなどのランプ、ＬＣＤなどのディスプレイ、スピーカ、またはバイブレータなどを含む。

（解析装置）
図１７は、本開示の実施形態に係る解析装置のハードウェア構成の例を示す図である。解析装置６００は、本開示の実施形態に係る解析装置、例えば上記で説明したスマートフォン２００またはサーバ３００を実現しうる。なお、上述のように、解析装置は、センサ装置１００によって実現されてもよい。

解析装置６００は、ＣＰＵ６０１と、ＲＯＭ６０３と、ＲＡＭ６０５と、ユーザインターフェース６０９と、外部記憶装置６１１と、通信装置６１３と、出力装置６１５とを含みうる。これらの要素は、例えばバスによって相互に接続される。

ＣＰＵ６０１、ＲＯＭ６０３、およびＲＡＭ６０５は、例えば外部記憶装置６１１に記録されたプログラム命令を読み込んで実行することによって、様々な機能をソフトウェア的に実現する。本開示の実施形態では、ＣＰＵ６０１、ＲＯＭ６０３、およびＲＡＭ６０５によって、例えば、解析装置６００全体の制御や、上記の機能構成における処理部の機能などが実現されうる。

ユーザインターフェース６０９は、解析装置６００へのユーザ操作を受け付ける、例えばボタンやタッチパネルなどの入力装置である。

外部記憶装置６１１は、解析装置６００に関する各種の情報を記憶する。外部記憶装置６１１には、例えば、ＣＰＵ６０１、ＲＯＭ６０３、およびＲＡＭ６０５にソフトウェア的に機能を実現させるためのプログラム命令が格納されてもよく、また通信装置６１３が受信したセンサ情報が一時的にキャッシュされてもよい。また、外部記憶装置６１１には、解析結果のログが蓄積されてもよい。

出力装置６１５は、情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置６１５は、例えば、ＬＣＤ（Liquid Crystal Display）などの表示装置、またはスピーカやヘッドホンなどの音声出力装置などでありうる。出力装置６１５は、解析装置６００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。

以上、センサ装置１００および解析装置６００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

（５．補足）
本開示の実施形態は、例えば、上記で説明したような解析装置（スマートフォンなどの情報処理端末、サーバ、またはセンサ装置）、システム、解析装置またはシステムで実行される情報処理方法、解析装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）実空間での位置関係が既知である少なくとも２つの点の、撮像装置によって取得された画像での位置に基づいて前記画像の画角を推定する画角推定部と、
前記画角に応じて規定される、被写体と前記撮像装置との位置関係が満たされるように、前記画像の構図を指定する情報を出力する構図指定情報出力部と
を備える情報処理装置。
（２）前記画角推定部は、前記少なくとも２つの点を含む第１の平面的または立体的なオブジェクトの像の前記画像での位置に基づいて前記画像の画角を推定する、前記（１）に記載の情報処理装置。
（３）前記第１の平面的または立体的なオブジェクトは、コート、フィールド、またはコースを規定する線を含む、前記（２）に記載の情報処理装置。
（４）前記構図指定情報出力部は、前記撮像装置によって取得されるスルー画像において視認される第２の平面的または立体的なオブジェクトに重ね合わせることによって前記指定された構図が実現されるガイドを表示させるための情報を出力する、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）前記第２の平面的または立体的なオブジェクトは、コート、フィールド、またはコースを規定する線と、前記コート、前記フィールド、または前記コース上の所定の位置に配置された前記被写体とを含む、前記（４）に記載の情報処理装置。
（６）前記構図指定情報出力部は、前記被写体の近傍の少なくとも３つの点が前記画像で所定の位置に配置されるように、前記画像の構図を指定する情報を出力する、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）前記被写体は、コートまたはフィールドに配置されたプレーヤと該プレーヤのプレーによって放たれたボールとを含む、前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８）前記構図指定情報出力部は、前記プレー後の所定の時間、前記ボールが前記画像の画角内に位置するように、前記画像の構図を指定する情報を出力する、前記（７）に記載の情報処理装置。
（９）前記画角推定部は、前記少なくとも２つの点を含む軌道を通って落下するオブジェクトの前記画像での位置変化に基づいて前記画像の画角を推定する、前記（１）または（２）に記載の情報処理装置。
（１０）前記被写体は、飛翔体を含み、
前記情報処理装置は、前記構図に従って取得された画像に基づいて前記飛翔体の速度を推定する画像解析部をさらに備える、前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１１）前記被写体は、自転するオブジェクトを含み、
前記情報処理装置は、前記構図に従って取得された画像に基づいて前記オブジェクトの自転速度を推定する画像解析部をさらに備える、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）前記被写体は、放物運動するオブジェクトを含み、
前記情報処理装置は、前記構図に従って取得された画像に基づいて前記放物運動するオブジェクトの位置変化量を推定する画像処理部をさらに備える、前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）実空間での位置関係が既知である少なくとも２つの点の、撮像装置によって取得された画像での位置に基づいて前記画像の画角を推定する機能と、
前記画角に応じて規定される、被写体と前記撮像装置との位置関係が満たされるように、前記画像の構図を指定する情報を出力する機能と
をコンピュータに実現させるためのプログラムが格納された記録媒体。
（１４）プロセッサが、実空間での位置関係が既知である少なくとも２つの点の、撮像装置によって取得された画像での位置に基づいて前記画像の画角を推定することと、
前記画角に応じて規定される、被写体と前記撮像装置との位置関係が満たされるように、前記画像の構図を指定する情報を出力することと
を含む情報処理方法。

１０ システム
１００ センサ装置
２００ スマートフォン
３００ サーバ
３１０ 受信部
５１０ 画角推定部
５２０ 構図指定情報出力部
５３０ 画像解析部
５４０ 画像取得部
５５０ センサデータ取得部
５６０ 記録制御部
５６５ 記憶部
５７０ 解析部
５８０ 表示制御部

Claims (14)

1. 撮像装置との距離が既知であれば実空間での位置関係が既知である少なくとも２つの点の、該撮像装置との距離が未知であれば実空間での位置関係が既知である少なくとも３つの点の、前記撮像装置によって取得された画像での位置に基づいて前記画像の画角を推定する画角推定部と、
   前記画角に応じて規定される、被写体と前記撮像装置との位置関係及び方向が満たされるように、前記画像の構図を指定する情報を出力する構図指定情報出力部と
   を備える情報処理装置。
2. 前記画角推定部は、前記少なくとも２つの点を含む第１の平面的または立体的なオブジェクトの像の前記画像での位置に基づいて前記画像の画角を推定する、請求項１に記載の情報処理装置。
3. 前記第１の平面的または立体的なオブジェクトは、コート、フィールド、またはコースを規定する線を含む、請求項２に記載の情報処理装置。
4. 前記構図指定情報出力部は、前記撮像装置によって取得されるスルー画像において視認される第２の平面的または立体的なオブジェクトに重ね合わせることによって前記指定された構図が実現されるガイドを表示させるための情報を出力する、請求項１〜３のいずれかに記載の情報処理装置。
5. 前記第２の平面的または立体的なオブジェクトは、コート、フィールド、またはコースを規定する線と、前記コート、前記フィールド、または前記コース上の所定の位置に配置された前記被写体とを含む、請求項４に記載の情報処理装置。
6. 前記構図指定情報出力部は、前記被写体の近傍の少なくとも３つの点が前記画像で所定の位置に配置されるように、前記画像の構図を指定する情報を出力する、請求項１〜５のいずれかに記載の情報処理装置。
7. 前記被写体は、コートまたはフィールドに配置されたプレーヤと該プレーヤのプレーによって放たれたボールとを含む、請求項１〜６のいずれかに記載の情報処理装置。
8. 前記構図指定情報出力部は、前記プレー後の所定の時間、前記ボールが前記画像の画角内に位置するように、前記画像の構図を指定する情報を出力する、請求項７に記載の情報処理装置。
9. 前記画角推定部は、初速が既知であれば前記少なくとも２つの点を含む軌道を通り、初速が未知であれば実空間での位置関係が既知である少なくとも３つの点を含む軌道を通って落下するオブジェクトの前記画像での位置変化に基づいて前記画像の画角を推定する、請求項１または２に記載の情報処理装置。
10. 前記被写体は、飛行するオブジェクトを含み、
    前記情報処理装置は、前記構図に従って取得された画像に基づいて前記オブジェクトの速度を推定する画像解析部をさらに備える、請求項１〜９のいずれかに記載の情報処理装置。
11. 前記被写体は、自転するオブジェクトを含み、
    前記情報処理装置は、前記構図に従って取得された画像に基づいて前記オブジェクトの自転速度を推定する画像解析部をさらに備える、請求項１〜１０のいずれかに記載の情報処理装置。
12. 前記被写体は、放物運動するオブジェクトを含み、
    前記情報処理装置は、前記構図に従って取得された画像に基づいて前記放物運動するオブジェクトの位置変化量を推定する画像処理部をさらに備える、請求項１〜１１のいずれかに記載の情報処理装置。
13. 撮像装置との距離が既知であれば実空間での位置関係が既知である少なくとも２つの点の、該撮像装置との距離が未知であれば実空間での位置関係が既知である少なくとも３つの点の、前記撮像装置によって取得された画像での位置に基づいて前記画像の画角を推定する機能と、
    前記画角に応じて規定される、被写体と前記撮像装置との位置関係及び方向が満たされるように、前記画像の構図を指定する情報を出力する機能と
    をコンピュータに実現させるためのプログラムが格納された記録媒体。
14. プロセッサが、撮像装置との距離が既知であれば実空間での位置関係が既知である少なくとも２つの点の、該撮像装置との距離が未知であれば実空間での位置関係が既知である少なくとも３つの点の、前記撮像装置によって取得された画像での位置に基づいて前記画像の画角を推定することと、
    前記画角に応じて規定される、被写体と前記撮像装置との位置関係及び方向が満たされるように、前記画像の構図を指定する情報を出力することと
    を含む情報処理方法。

Images