JP6897215B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、ユーザに装着されるセンサからユーザの動作を検出し、検出した動作に基づいて、撮像された画像に、動作に対応するチャプタ情報を設定する技術が知られている（例えば、特許文献１参照）。

特開２０１３−１８８４２６号公報

しかしながら、特許文献１においては、画像に設定されたチャプタの表示については検討がなされておらず、ユーザの利便性向上の余地が残されていた。

本発明は係る問題に鑑みてなされたものであり、一連の動作を示す動画像の中から表示するフレーム画像をユーザが容易に指定できるようにすることである。

上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
被写体の一連の動作を示す動画像を取得する動画像取得手段と、
前記被写体に装着されたセンサにより計測された前記の一連の動作が行われた時のセンサデータを取得するセンサデータ取得手段と、
前記センサデータ取得手段により取得されたセンサデータから、前記一連の動作に含まれる特定のポイントの時刻を特定する時刻特定手段と、
前記動画像取得手段により取得された動画像のうち表示するフレーム画像の時間軸上の位置をユーザが指定操作するための操作用画像であって、前記時刻特定手段によって特定された特定のポイントの時刻が識別可能に表示された前記操作用画像を表示手段に表示させる表示制御手段と、
ユーザの指定操作により前記操作用画像における前記特定のポイントの時刻が指定されると、前記動画像の中から前記特定のポイントに対応するフレーム画像を選択する画像選択手段と、
を備え、
前記一連の動作を示す動画像は、前記特定のポイントにより複数の部分動作の区間に区切ることが可能な動画像であり、
前記操作用画像は、前記複数の部分動作の区間の区切りごとに角を有する形状であること、を特徴とする。

本発明によれば、一連の動作を示す動画像の中から表示するフレーム画像をユーザが容易に指定することが可能となる。

本実施形態の表示システムの全体構成例を示す図である。 図１のセンサのユーザへの装着態様と３軸の方向を模式的に示す図である。 図１のセンサの機能的構成を示すブロック図である。 図１の撮像装置の機能的構成を示すブロック図である。 図１の画像処理装置の機能的構成を示すブロック図である。 ユーザのゴルフスイング動作におけるＺ軸方向の角速度の計測結果を示す図である。 図５のＣＰＵにより実行される動画表示処理Ａを示すフローチャートである。 シークバーの例を示す図である。 図５のＣＰＵにより実行される動画表示処理Ｂを示すフローチャートである。 回転角コントローラーの例を示す図である。

以下、添付図面を参照して本発明に係る実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。

＜第１の実施形態＞
［表示システム１００の構成］
図１は、本発明の第１の実施形態における表示システム１００の全体構成例を示す図である。表示システム１００は、図１に示すように、センサ１と、撮像装置２と、画像処理装置３とを備え、各装置は互いに通信接続可能に構成されている。

［センサ１の構成］
センサ１は、図２に示すように、例えば、ユーザＵの腰部等に装着され、ユーザＵの動作（本実施形態では、ゴルフスイング動作）を計測してセンサデータを取得し、画像処理装置３に送信する。

図３は、センサ１の機能的構成を示すブロック図である。図３に示すように、センサ１は、ＣＰＵ１１、ＲＡＭ（Random Access Memory）１２、記憶部１３、操作部１４、センサ部１５、通信部１６、計時部１７等を備えて構成され、各部はバス１８により接続されている。

ＣＰＵ１１は、記憶部１３に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うプロセッサである。例えば、ＣＰＵ１１は、操作部１４の操作に応じて撮像装置２と時刻同期を行う。また、ＣＰＵ１１は、操作部１４の操作に応じてセンサ部１５によるユーザＵのゴルフスイング動作の計測を開始し、ゴルフスイング動作におけるアドレス（図６参照）が検知されると、通信部１６によりアドレス検知信号を画像処理装置３に送信する。また、ゴルフスイング動作におけるフィニッシュ（図６参照）が検知されると、通信部１６によりフィニッシュ検知信号を画像処理装置３に送信するとともに、ＲＡＭ１２に記憶されているセンサデータを通信部１６により画像処理装置３に送信する。

ＲＡＭ１２は、ＣＰＵ１１に作業用のメモリ空間を提供し、データを一時的に記憶する。例えば、ＲＡＭ１２は、センサ部１５により取得された計測結果を時系列に並べて（時刻に対応付けて）センサデータとして記憶する。

記憶部１３は、不揮発性の半導体メモリやハードディスク等により構成される。記憶部１３には、ＣＰＵ１１で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。

操作部１４は、各種機能キーを備え、ユーザによる各キーの押下入力を受け付けてその操作情報をＣＰＵ１１に出力する。

センサ部１５は、図２に示すＸ軸、Ｙ軸、Ｚ軸の３軸加速度センサ、３軸ジャイロセンサ及び３軸地磁気センサ等を備えて構成され、ユーザＵのゴルフスイング動作における３軸方向の加速度、角速度及び地磁気等を計測して、各センサにおける計測結果を示すセンサデータをＣＰＵ１１に出力する。

通信部１６は、撮像装置２や画像処理装置３等の外部機器と通信を行うためのインターフェースを有する。通信部１６は、例えば、ブルートゥース（登録商標）やＷｉ−Ｆｉ等の無線通信規格に従って外部機器とデータの送受信を行う。

計時部１７は、ＲＴＣ（Real Time Clock）等により構成され、現在時刻を計時してＣＰＵ１１に出力する。

［撮像装置２の構成］
撮像装置２は、センサ１によるユーザＵのゴルフスイング動作の計測と同期してユーザＵのゴルフスイング動作を撮影した動画像を取得して画像処理装置３に送信する。

図４は、撮像装置２の機能的構成を示すブロック図である。図４に示すように、撮像装置２は、ＣＰＵ２１、ＲＡＭ２２、記憶部２３、操作部２４、表示部２５、撮像部２６、通信部２７、計時部２８等を備えて構成され、各部はバス２９により接続されている。

ＣＰＵ２１は、記憶部２３に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うプロセッサである。例えば、ＣＰＵ２１は、操作部２４の操作に応じてセンサ１と時刻同期を行う。また、ＣＰＵ２１は、通信部２７を介して画像処理装置３から撮影が指示されると、動画撮影を開始し、撮影終了が指示されると、動画撮影を終了し、撮影した動画像の画像データを撮影時刻に対応付けて動画ファイルとして通信部２７により画像処理装置３に送信する。

ＲＡＭ２２は、ＣＰＵ２１に作業用のメモリ空間を提供し、データを一時的に記憶する。例えば、ＲＡＭ２２は、撮像部２６により取得された動画像のフレーム画像を撮影時刻に対応付けて記憶する。

記憶部２３は、不揮発性の半導体メモリやハードディスク等により構成される。記憶部２３には、ＣＰＵ２１で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。

操作部２４は、各種機能キーを備え、ユーザによる各キーの押下入力を受け付けてその操作情報をＣＰＵ２１に出力する。

表示部２５は、ＬＣＤ（Liquid Crystal Display）等により構成され、ＣＰＵ２１から入力される表示信号の指示に従って、各種表示を行う。

撮像部２６は、光学レンズユニット、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ等からなる撮像素子、Ａ／Ｄ変換回路等を備えて構成され、光学系を通過した光学像を２次元の画像信号に変換し画像データを取得する。

通信部２７は、例えば、センサ１や画像処理装置３等の外部機器と通信を行うためのインターフェースを有する。通信部２７は、例えば、ブルートゥース（登録商標）やＷｉ−Ｆｉ等の無線通信規格に従って外部機器とデータの送受信を行う。或いは、ＵＳＢ（Universal Serial Bus）等の有線通信規格に従って外部機器とデータの送受信を行うこととしてもよい。

計時部２８は、ＲＴＣ等により構成され、現在時刻を計時してＣＰＵ２１に出力する。

［画像処理装置３の構成］
画像処理装置３は、撮像装置２から送信された動画像のうち表示するフレーム画像をユーザが指定操作するための操作用画像を表示し、操作用画像上からのユーザ操作に応じて動画像の中から指定されたフレーム画像を表示する装置である。画像処理装置３としては、例えば、スマートフォンやタブレット、ＰＣ（Personal Computer）等が適用可能である。

図５は、画像処理装置３の機能的構成を示すブロック図である。図５に示すように、画像処理装置３は、ＣＰＵ３１、ＲＡＭ３２、記憶部３３、操作部３４、表示部３５、第一通信部３６、第二通信部３７等を備えて構成され、各部はバス３８により接続されて構成されている。

ＣＰＵ３１は、記憶部３３のプログラム記憶部３３１に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うプロセッサである。
例えば、ＣＰＵ３１は、プログラム記憶部３３１に記憶されているゴルフスイング表示アプリが動画取得モードで起動されると、センサ１からのアドレス検知信号の受信を待機し、第二通信部３７によりセンサ１からのアドレス検知信号を受信すると、撮像装置２に撮影指示を送信する。また、ＣＰＵ３１は、第二通信部３７によりセンサ１からのフィニッシュ検知信号を受信すると、撮像装置２に撮影終了指示を送信する。また、ＣＰＵ３１は、第二通信部３７によりセンサ１からのセンサデータを受信すると、受信したセンサデータをセンサデータ記憶部３３２に記憶させ、撮像装置２から動画像の画像データを受信すると、受信した画像データを動画像記憶部３３３に記憶させる。
また、例えば、ＣＰＵ３１は、ゴルフスイング表示アプリが動画表示モードで起動されると、後述する動画表示処理Ａを実行し、表示部３５にシークバー（図８参照）を表示させる。また、ユーザによるシークバーの操作に応じて、動画像を構成するフレーム画像の中からフレーム画像を選択して表示部３５に表示させる。ＣＰＵ１１は、動画像取得手段、表示制御手段、画像選択手段として機能する。

ここで、シークバーは、動画像の中から表示するフレーム画像の時間軸上の位置をユーザが指定操作するための操作用画像である。本実施形態におけるシークバーは、シークバーの時間軸がゴルフスイング動作に含まれる部分動作（バックスイング、ダウンスイング、フォロースルー）のそれぞれに対応する区間に区切られている。

ＲＡＭ３２は、ＣＰＵ３１に作業用のメモリ空間を提供し、データを一時的に記憶する。

記憶部３３は、不揮発性の半導体メモリやハードディスク等により構成される。記憶部３３には、プログラム記憶部３３１、センサデータ記憶部３３２及び動画像記憶部３３３が設けられている。

プログラム記憶部３３１には、ＣＰＵ３１で実行されるシステムプログラムやゴルフスイング表示アプリを始めとする各種処理アプリケーションプログラム、これらのプログラムの実行に必要なデータ等が記憶されている。

センサデータ記憶部３３２には、センサ１から送信されてきたセンサデータが記憶される。例えば、センサデータには、当該センサデータに対応する動画像（すなわち、当該センサデータの表すゴルフスイング動作の計測時にそのゴルフスイング動作を撮影した動画像）と同じ識別ＩＤが付与されて記憶される。

動画像記憶部３３３には、撮像装置２から送信されてきた動画像の画像データが記憶される。例えば、動画像には、当該動画像に対応するセンサデータ（すなわち、当該動画像の撮影時にゴルフスイング動作を計測したセンサデータ）と同じ識別ＩＤが付与されて記憶される。

さらに、記憶部３３には、シークバーの画像が記憶されている。

操作部３４は、各種機能キーを備え、ユーザによる各キーの押下入力を受け付けてその操作情報をＣＰＵ３１に出力する。また、操作部３４は、表示部３５の表面を覆うように透明電極を格子状に配置したタッチパネル等を有し、手指やタッチペン等による各種操作を検出し、その操作情報をＣＰＵ３１に出力する。

表示部３５は、ＬＣＤ等により構成され、ＣＰＵ３１からの表示制御信号に従って、画面上に各種表示を行う。

第一通信部３６は、無線により基地局又はアクセスポイントを介して移動体通信網を含むインターネット等の通信ネットワークに接続し、通信ネットワークに接続された外部装置との通信を行う。

第二通信部３７は、例えば、ブルートゥース（登録商標）やＷｉ−Ｆｉ等の無線通信規格に従ってセンサ１や撮像装置２等の外部機器とデータの送受信を行う。或いは、ＵＳＢ（Universal Serial Bus）等の有線通信規格に従って外部機器とデータの送受信を行うこととしてもよい。

［ゴルフスイングの動作］
図６は、ゴルフスイングの一連の動作と、ゴルフスイングの一連の動作時においてセンサ部１５により計測されるＺ軸周り角速度の一例を示す図である。図６に示すように、ゴルフスイングの一連の動作は、アドレス、トップ、ハーフ、インパクト、フィニッシュの各ポイントを含む。ここで、アドレスはテイクバックを開始する直前、トップはバックスイングからダウンスイングへの切り替えし点、ハーフはダウンスイング中にシャフトが水平になる位置、インパクトはゴルフクラブがボールに当たる瞬間、フィニッシュはフォロースルー後に通常の姿勢に戻る切り替えし点を意味する。フォワードスイング方向を正としてユーザＵのＺ軸周りの角速度を基準に見た場合、アドレスはゼロ近傍からマイナスへ移行する直前、トップはマイナスからプラスへ転じる点、ハーフは最大値近傍、インパクトは最大値から少し経過した点、フィニッシュはプラスからゼロ近傍もしくはマイナスへ移行する点である。

［表示システム１００の動作］
次に、第１の実施形態における表示システム１００の動作について説明する。
まず、ゴルフスイングの一連の動画像を取得する動作について説明する。
ユーザＵは、センサ１及び撮像装置２を起動させ、所定の操作によりセンサ１と撮像装置２に時刻同期を行わせる。また、ユーザＵは、画像処理装置３のゴルフスイング表示アプリを動画取得モードで起動させる。次いで、ユーザＵは、撮像装置２のレンズがユーザＵを捉える位置に撮像装置２を配置し、センサ１を腰に装着して操作部１４を操作して計測開始を指示する。そして、ユーザＵは一連のゴルフスイングの動作を行う。

センサ１において、操作部１４の操作により計測開始が指示されると、ＣＰＵ１１は、センサ部１５によるユーザＵのゴルフスイング動作の計測を開始し、アドレス開始が検知されるのを待機する。ここで、図６に示すように、ユーザＵがアドレスからトップの姿勢に向けてバックスイングを開始すると、センサ部１５の角速度センサから出力されるＺ軸周りの角速度が０からマイナスへ変化する。そこで、例えば、センサ部１５から出力されたＺ軸周りの角速度がマイナス方向に予め定められた閾値（例えば、−０．３［ｒａｄ／ｓ］）以上変化した場合に、ＣＰＵ１１は、アドレス開始が検知されたと判断する。そして、ＣＰＵ１１は、通信部１６によりアドレス検知信号を画像処理装置３に送信する。

画像処理装置３において、第二通信部３７によりセンサ１からのアドレス検知信号を受信すると、ＣＰＵ３１は、第二通信部３７により撮像装置２に撮影開始指示を送信する。

撮像装置２において、通信部２７により撮影開始指示を受信すると、ＣＰＵ２１は、撮像部２６により所定のフレームレートで動画像の撮影を開始させる。

センサ１において、ＣＰＵ１１は、センサ部１５によりフィニッシュが検知されるのを待機する。ここで、図６に示すように、フィニッシュはセンサ部１５の角速度センサから出力されるＺ軸周りの角速度がプラスからゼロ近傍もしくはマイナスへ移行する点である。
そこで、ＣＰＵ１１は、例えば、アドレス開始の検知後にセンサ部１５から出力されたＺ軸周りの角速度がプラス方向から所定の閾値（例えば、０．３［ｒａｄ／ｓ］）以下となった場合に、フィニッシュが検知されたと判断する。

センサ部１５によりフィニッシュが検知されたと判断した場合、ＣＰＵ１１は、フィニッシュ検知信号を通信部１６により画像処理装置３に送信する。また、アドレス開始からフィニッシュまでの間にセンサ部１５において取得されたセンサデータを通信部１６により画像処理装置３に送信する。

画像処理装置３において、第二通信部３７によりセンサ１からのフィニッシュ検知信号を受信すると、ＣＰＵ３１は、第二通信部３７により撮像装置２に撮影終了指示を送信する。また、第二通信部３７によりセンサ１からのセンサデータを受信すると、データを識別するための識別ＩＤを発行し、発行された識別ＩＤを付与してセンサデータ記憶部３３２に記憶させる。

撮像装置２において、通信部２７により撮影終了指示を受信すると、ＣＰＵ２１は、撮像部２６に撮影を終了させ、撮影により取得された動画像の画像データ（フレーム画像）を通信部２７により画像処理装置３に送信する。なお、動画像の画像データは、例えば、動画ファイルとして画像処理装置３に送信される。

画像処理装置３において、第二通信部３７により撮像装置２から動画像の画像データを受信すると、センサデータに付与したものと同じ識別ＩＤを付与して動画像記憶部３３３に記憶させる。

画像処理装置３において、動画像記憶部３３３に記憶された動画像は、ゴルフスイング表示アプリの動作モードを動画表示モードに設定することにより表示させることができる。

図７は、動画表示モードにおいてＣＰＵ３１とゴルフスイング表示アプリとの協働により実行される動画表示処理Ａを示すフローチャートである。以下、図７を参照して動画表示処理Ａについて説明する。

まず、ＣＰＵ３１は、動画像記憶部３３３に記憶されている動画像の一覧を表示部３５に表示させ、ユーザによる動画像の選択操作を受け付ける（ステップＳ１）。

次いで、ＣＰＵ３１は、選択された動画像の画像データを動画像記憶部３３３から取得する（ステップＳ２）。
次いで、ＣＰＵ３１は、選択された動画像に対応する（同じ識別ＩＤの）センサデータをセンサデータ記憶部３３２から取得する（ステップＳ３）。

次いで、ＣＰＵ３１は、取得したセンサデータの波形を解析して、動画像におけるゴルフスイング動作の各ポイント（アドレス、トップ、インパクト、フィニッシュ）の時刻を特定する（ステップＳ４）。

次いで、ＣＰＵ３１は、各ポイントの時刻から、動画像におけるゴルフスイング動作の部分動作（バックスイング、ダウンスイング、フォロースルー）の各区間の時間長を算出する（ステップＳ５）。ここで、アドレスからトップまでがバックスイング区間、トップからインパクトまでがダウンスイング区間、インパクトからフィニッシュまでがフォロースルー区間である。

次いで、ＣＰＵ３１は、記憶部３３からシークバーの画像を読み出し、シークバーにおけるゴルフスイング動作の各区間に、計算された時間長を割り当てる（ステップＳ６）。
そして、ＣＰＵ３１は、動画像のうちアドレスのフレーム画像と、シークバーとを表示部３５に表示させる（ステップＳ７）。

図８（ａ）〜（ｃ）に、ステップＳ６において表示部３５に表示されるシークバーの例を示す。図８（ａ）は、棒形状のシークバーを示す図である。図８（ｂ）は、三角形状のシークバーを示す図である。図８（ｃ）は、ゴルフスイング動作の動作イメージを表現した形状のシークバーを示す図である。

図８（ａ）〜（ｃ）に示すように、シークバーは、ゴルフスイング動作の各区間（バックスイング区間、ダウンスイング区間、フォロースルー区間）に対応する複数の区間に分かれており、各区間の位置及び名称が識別可能に表示されている。また、シークバーには、ゴルフスイング動作における各ポイント（アドレス、トップ、インパクト、フィニッシュ）の位置も識別可能に表示されている。各ポイントは、区間の区切りと重なっている。シークバーには、つまみＴ１が設けられている。このつまみＴ１のデフォルト位置はアドレスの位置であり、このつまみＴ１をユーザが手指やタッチペン又は操作部３４の物理キーによる操作により移動させることにより、動画像における表示するフレーム画像の時間軸上の位置を指定することができる。

図８（ａ）〜（ｃ）に示すように、シークバーにゴルフスイング動作の各区間及び各ポイントが識別可能に表示されていることで、ユーザが、シークバーにおけるトップ、インパクト等のゴルフスイング動作におけるポイントとなる位置や各区間を容易に把握することができ、一連の動画像の中から表示したいフレーム画像の時間軸上の位置をユーザが容易に指定することが可能となる。

また、シークバーが一直線である場合、トップやインパクトなどのポイント（区間の区切り）でつまみＴ１を止めづらく、所望のフレーム画像が指定しづらい場合があるが、図８（ｂ）に示すように、ポイント（区間の区切り）の位置ごとに角を設けることで、つまみＴ１をポイントに移動させたいにもかかわらず、ポイントを通り過ぎて次の区間に移動してしまうことを防止することができ、ポイント位置の指定が容易となる。

また、動画像におけるゴルフスイング動作の部分動作の各区間の時間長を算出して、図８（ｂ）に示されるシークバーの各区間の長さに対応付けてユーザによる操作を受け付けるため、例えばゴルフのインパクト動作のような動きが早く、撮影されているフレーム画像数が少ない動作の区間であってもユーザは容易に所望のフレーム画像を指定することが出来る。上述の構成により、単純に部分動作の各区間に含まれる画像枚数とシークバーの各区間の長さとを一致させた表示を行うと、シークバーにおいてインパクトに対応する区間が極端に短くなってしまい、ユーザが選択しづらい表示になるという課題を解決することが出来る。

また、図８（ｃ）に示すように、シークバーをゴルフスイング動作の動作イメージを表現した形状とすることで、直感的に、シークバーにおける各ポイントや各区間の位置をユーザが把握しやすくなり、一連の動画像の中から表示したいフレーム画像の時間軸上の位置をユーザが容易に指定することが可能となる。

次いで、ＣＰＵ３１は、操作部３４によりつまみＴ１の移動操作が検出されたか否かを判断する（ステップＳ８）。操作部３４によるつまみＴ１の移動操作が検出されていないと判断した場合（ステップＳ８；ＮＯ）、ＣＰＵ３１は、ステップＳ１１に移行する。

操作部３４によりつまみＴ１の移動操作が検出されたと判断した場合（ステップＳ８；ＹＥＳ）、ＣＰＵ３１は、シークバーにおけるつまみＴ１の移動先の区間の開始位置からつまみＴ１の位置までの距離と、移動先の区間に割り当てられた時間長に基づいて、動画像の中からつまみＴ１の位置に対応するフレーム画像を選択する（ステップＳ９）。すなわち、ＣＰＵ３１は、ユーザ操作によるシークバーの表示態様の変化（ここでは、つまみＴ１の位置の変化）に応じて、動画像の中から表示するフレーム画像を選択する。そして、ＣＰＵ３１は、選択したフレーム画像以降の動画像を表示部３５に表示させ（ステップＳ１０）、ステップＳ１１に移行する。

ステップＳ１１おいて、ＣＰＵ３１は、操作部３４により動画表示の終了指示が検出されたか否かを判断する（ステップＳ１１）。
操作部３４により動画表示の終了指示が検出されていないと判断した場合（ステップＳ１１；ＮＯ）、ＣＰＵ３１は、ステップＳ８に戻る。
操作部３４により動画表示の終了指示が検出されたと判断した場合（ステップＳ１１；ＹＥＳ）、ＣＰＵ３１は、動画表示処理Ａを終了する。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
第２の実施形態において、記憶部３３には、回転角コントローラー（図１０参照）の画像が記憶されている。
その他の第２の実施形態におけるシステム構成、各装置の構成、及び動画取得動作は、第１の実施形態において説明したものと同様であるので説明を援用し、以下、第２の実施形態における動画表示処理（動画表示処理Ｂとする）について説明する。

図９は、動画表示モードにおいてＣＰＵ３１とゴルフスイング表示アプリとの協働により実行される動画表示処理Ｂを示すフローチャートである。以下、図９を参照して動画表示処理Ｂについて説明する。

まず、ＣＰＵ３１は、動画像記憶部３３３に記憶されている動画像の一覧を表示部３５に表示させ、ユーザによる動画像の選択操作を受け付ける（ステップＳ２１）。

次いで、ＣＰＵ３１は、選択された動画像の画像データを動画像記憶部３３３から取得する（ステップＳ２２）。
次いで、ＣＰＵ３１は、選択された動画像に対応する（同じ識別ＩＤの）センサデータをセンサデータ記憶部３３２から取得する（ステップＳ２３）。

次いで、ＣＰＵ３１は、取得したセンサデータの波形を解析して、動画像におけるゴルフスイング動作の各ポイント（アドレス、トップ、インパクト、フィニッシュ）の時刻を特定する（ステップＳ２４）。

次いで、ＣＰＵ３１は、センサデータのＺ軸周りの角速度をセンサデータの先頭から積分して動画像の各時刻におけるユーザＵの腰のＺ軸周りの回転角度を算出する（ステップＳ２５）。

次いで、ＣＰＵ３１は、記憶部３３から回転角コントローラーの画像を読み出し、動画像のうちアドレスのフレーム画像と、回転角コントローラーとを表示部３５に表示させる（ステップＳ２６）。

図１０は、ステップＳ２６において表示部３５に表示される回転角コントローラーの一例を示す図である。回転角コントローラーは、選択された動画像のうち表示するフレーム画像におけるユーザＵの腰の回転角度をユーザが指定操作するための操作用画像である。回転角コントローラーは、ユーザ操作に応じて回転可能な、例えば、腰をイメージさせる楕円形のコントローラー３５１と、回転角度の０°、９０°、１８０°（−１８０°）、−９０°を示す軸３５２と、を含んで構成される。コントローラー３５１には、基準マーク３５１ａが表示されている。基準マーク３５１ａが０°に一致している位置がコントローラー３５１の回転角度０°の位置であり、コントローラー３５１をユーザが回転させることで、動画像のうち、腰をその回転角度だけ回転させたときのフレーム画像を表示するフレーム画像として指定することができる。なお、コントローラー３５１を時計方向に回転させると、回転角度はマイナス方向に変位し、反時計方向に回転させると回転角度はプラス方向に変位する。図１０（ａ）は、回転角度０°の場合のコントローラー３５１を示しており、図１０（ｂ）は、回転角度−４５°の場合のコントローラー３５１を示している。

このように、表示するフレーム画像におけるユーザＵの回転角度を指定するための操作用画像として、ユーザ操作に応じて回転し、回転した角度を回転角度として入力するコントローラー３５１を表示することで、ユーザが直感的に所望する姿勢のフレーム画像を表示する画像として指定することができる。

次いで、ＣＰＵ３１は、操作部３４によりコントローラー３５１の回転操作が検出されたか否かを判断する（ステップＳ２７）。
コントローラー３５１の回転操作が検出されていないと判断した場合（ステップＳ２７；ＮＯ）、ステップＳ３１に移行する。

コントローラー３５１の回転操作が検出されたと判断した場合（ステップＳ２７；ＹＥＳ）、ＣＰＵ３１は、コントローラー３５１の回転角度と回転方向を取得する（ステップＳ２８）。

次いで、ＣＰＵ３１は、取得した回転角度と回転方向に基づいて、動画像の中からフレーム画像を選択する（ステップＳ２９）。
ここで、バックスイング時とダウンスイング時では腰の回転角度が同じになる瞬間があるが、バックスイング時はマイナス方向（時計回り）に回転し、ダウンスイング時はプラス方向（反時計周り）に回転する。したがって、回転角度と回転方向により、動画像の中からユーザにより指定されたフレーム画像を特定することができる。

そして、ＣＰＵ３１は、選択されたフレーム画像以降の動画像を表示部３５に表示させ（ステップＳ３０）、ステップＳ３１に移行する。

ステップＳ３１おいて、ＣＰＵ３１は、操作部３４により、動画表示の終了指示が検出されたか否かを判断する（ステップＳ３１）。
操作部３４により動画表示の終了指示が検出されていないと判断した場合（ステップＳ３１；ＮＯ）、ＣＰＵ３１は、ステップＳ２７に戻り、ステップＳ２７〜３１の処理を繰り返し実行する。
操作部３４により動画表示の終了指示が検出されたと判断した場合（ステップＳ３１；ＹＥＳ）、ＣＰＵ３１は、動画表示処理Ｂを終了する。

このように、第２の実施形態では、表示するフレーム画像をユーザが指定操作するための操作用画像として回転角コントローラーを表示するので、ユーザが直感的に所望する姿勢のフレーム画像を表示する画像として指定することができる。また、ユーザによるコントローラー３５１ａの回転操作に応じて表示するフレーム画像を切り替えることができるので、ユーザは、コントローラー３５１ａを回転させる速度を調整することで、注目する姿勢の画像を所望の速度で表示して閲覧することが可能となる。

以上、本発明の第１及び第２の実施形態について説明したが、上記実施形態における記述内容は、本発明に係る表示システムの好適な一例であり、これに限定されるものではない。

例えば、上記実施形態においては、センサ１と画像処理装置３が別体である場合を例にとり説明したが、例えば、３軸加速度センサ、３軸ジャイロセンサ及び３軸地磁気センサ等を備えたスマートフォンなど、センサ１と画像処理装置３とが一体的に構成されていることとしてもよい。また、例えば、カメラを備えたスマートフォンなど、撮像装置２と画像処理装置３とが一体的に構成されていることとしてもよい。

また、上記実施形態においては、画像処理装置３の表示部３５において操作用画像及び動画像の表示を行うこととしたが、操作用画像及び動画像を別体の表示装置に表示する構成としてもよい。

また、上記第１の実施形態においては、画像処理装置３において動画像が選択された後、動画像に対応するセンサデータを解析して動画像における各ポイントの再生時刻や各区間の時間長を算出することとして説明したが、これらの算出は初めてその動画像が選択されたとき又は予め行っておき、算出された動画像における各ポイントの再生時刻や各区間の時間長を動画像に対応付けて記憶しておくこととしてもよい。そして、動画像が選択された際には、その動画像に対応付けて記憶されている各ポイントの再生時刻や各区間の時間長を読み出してシークバーに割り当てることとしてもよい。

また、上記第２の実施形態においては、画像処理装置３において動画像が選択された後、動画像に対応するセンサデータに基づいて、動画像の各時刻におけるユーザＵ（被写体）の腰のＺ軸周りの回転角度を算出することとしたが、この回転角度の算出は、初めてその動画像が選択されたとき又は予め行っておき、算出された回転角度を動画像に対応付けて記憶しておくこととしてもよい。そして、動画像が選択された際には、その動画像に対応付けて記憶されている各時刻の回転角度を読み出して回転角コントローラーによるフレーム画像の指定に用いてもよい。

また、上記第２の実施形態においては、操作用画像として一つの回転可能なコントローラー１５１を表示して、コントローラー１５１の回転操作に応じて動画像からフレーム画像を選択することとして説明したが、例えば、ＣＰＵ３１は、コントローラー１５１を複数の回転角度で回転させた状態を表す複数の画像（例えば、アドレス、トップ、インパクト、フィニッシュの各ポイントに対応する回転角度でコントローラー１５１を回転させた状態を表す複数の画像）を操作用画像として表示し、ユーザにより何れかの画像が指定操作されると、指定された画像に対応する回転角度のフレーム画像を表示するフレーム画像として選択することとしてもよい。これにより、表示させたいポイントのフレーム画像をユーザがより簡易な操作で指定することが可能となる。

また、上記実施形態においては、センサ１をユーザＵの腰に装着することとして説明したが、これに限定されない。例えば、センサ１は、スマートウォッチのようなリストデバイスであってもよい。また、その他の部位（頭、腕、手首）に装着してもよい。手軽なため、身体に装着することが望ましいが、ゴルフクラブに装着することとしてもよい。また、複数個所にセンサ１を装着してもよい。例えば、腰と背中にセンサ１を装着してもよい。腰と肩の捻転差は各種競技で重要になるパラメータであるため、効果的である。

また、上記実施形態においては、センサ１からセンサデータを直接取得することとしたが、外部のネットワークを介して取得することとしてもよい。

また、上記実施形態においては、センサデータを解析して動画像の各ポイントの時刻や各区間の時間長を算出することとしたが、動画像の各フレーム画像を解析してこれらを算出することとしてもよい。また、動画像の各フレーム画像における腰の回転角度についても同様に、各フレーム画像を解析することにより求めてもよい。

また、上記実施形態においては、本発明をゴルフスイング動作を撮影した動画像を表示する場合を例にとり説明したが、これに限定されず、他の動作、例えば、テニスやゲートボール等のスイング動作を撮影した動画像を表示する場合に適用することもできる。

その他、表示システムを構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［付記］
＜請求項１＞
被写体の一連の動作を示す動画像を取得する動画像取得手段と、
前記動画像取得手段により取得された動画像のうち表示するフレーム画像の時間軸上の位置をユーザが指定操作するための操作用画像であって、前記一連の動作に含まれる部分動作のそれぞれに対応する区間が識別可能に表示された前記操作用画像を表示手段に表示させる表示制御手段と、
ユーザの指定操作による前記操作用画像の表示態様の変化に応じて、前記動画像の中から表示するフレーム画像を選択する画像選択手段と、
を備えること、を特徴とする画像処理装置。
＜請求項２＞
前記表示制御手段は、さらに前記一連の動作に含まれる特定のポイントが識別可能に表示された前記操作用画像を前記表示手段に表示させること、
を特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記操作用画像は、前記区間の区切りごとに角を有する形状であること、
を特徴とする請求項１又は２に記載の画像処理装置。
＜請求項４＞
前記操作用画像は、前記特定のポイントごとに角を有する形状であること、
を特徴とする請求項２に記載の画像処理装置。
＜請求項５＞
前記操作用画像は、前記一連の動作の動作イメージを表現した形状であること、
を特徴とする請求項１又は２に記載の画像処理装置。
＜請求項６＞
被写体の回転動作を示す動画像を取得する動画像取得手段と、
前記動画像の各フレーム画像における前記被写体の回転角度の情報を取得する回転角度取得手段と、
前記動画像取得手段により取得された動画像のうち表示するフレーム画像における前記被写体の回転角度をユーザが指定操作するための操作用画像を表示手段に表示させる表示制御手段と、
ユーザによる前記操作用画像上の指定操作に応じて、前記動画像の中から表示するフレーム画像を選択する画像選択手段と、
を備えること、を特徴とする画像処理装置。
＜請求項７＞
前記操作用画像は、ユーザ操作に応じて回転可能であり、ユーザが当該操作用画像を回転させた角度を前記表示するフレーム画像における前記被写体の回転角度として指定可能であり、
前記画像選択手段は、ユーザによる前記操作用画像の回転操作に応じて、前記動画像の中から表示するフレーム画像を選択すること、
を特徴とする請求項６に記載の画像処理装置。
＜請求項８＞
前記表示制御手段は、所定の画像を複数の回転角度で回転させた状態を表す複数の画像を前記操作用画像として前記表示手段に表示させ、
前記画像選択手段は、前記操作用画像における前記複数の画像のうちユーザにより指定操作された画像に応じて、前記動画像の中から表示するフレーム画像を選択すること、
を特徴とする請求項６に記載の画像処理装置。
＜請求項９＞
前記表示制御手段は、前記動画像の中から前記画像選択手段により選択されたフレーム画像を取得して前記表示手段に表示させること、
を特徴とする請求項１〜８のいずれか一項に記載の画像処理装置。
＜請求項１０＞
被写体の一連の動作を示す動画像を取得する工程と、
前記取得された動画像のうち表示するフレーム画像の時間軸上の位置をユーザが指定操作するための操作用画像であって、前記一連の動作に含まれる部分動作のそれぞれに対応する区間が識別可能に表示された前記操作用画像を表示手段に表示させる工程と、
ユーザの指定操作による前記操作用画像の表示態様の変化に応じて、前記動画像の中から表示するフレーム画像を選択する工程と、
を含むこと、を特徴とする画像処理方法。
＜請求項１１＞
被写体の回転動作を示す動画像を取得する工程と、
前記動画像の各フレーム画像における前記被写体の回転角度の情報を取得する工程と、
前記取得された動画像のうち表示するフレーム画像における前記被写体の回転角度をユーザが指定操作するための操作用画像を表示手段に表示させる工程と、
ユーザによる前記操作用画像上の指定操作に応じて、前記動画像の中から表示するフレーム画像を選択する工程と、
を含むこと、を特徴とする画像処理方法。
＜請求項１２＞
コンピュータを、
被写体の一連の動作を示す動画像を取得する動画像取得手段、
前記動画像取得手段により取得された動画像のうち表示するフレーム画像の時間軸上の位置をユーザが指定操作するための操作用画像であって、前記一連の動作に含まれる部分動作のそれぞれに対応する区間が識別可能に表示された前記操作用画像を表示手段に表示させる表示制御手段、
ユーザの指定操作による前記操作用画像の表示態様の変化に応じて、前記動画像の中から表示するフレーム画像を選択する画像選択手段、
として機能させるためのプログラム。
＜請求項１３＞
コンピュータを、
被写体の回転動作を示す動画像を取得する動画像取得手段、
前記動画像の各フレーム画像における前記被写体の回転角度の情報を取得する回転角度取得手段、
前記動画像取得手段により取得された動画像のうち表示するフレーム画像における前記被写体の回転角度をユーザが指定操作するための操作用画像を表示手段に表示させる表示制御手段、
ユーザによる前記操作用画像上の指定操作に応じて、前記動画像の中から表示するフレーム画像を選択する画像選択手段、
として機能させるためのプログラム。

１００ 表示システム
１ センサ
１１ ＣＰＵ
１２ ＲＡＭ
１３ 記憶部
１４ 操作部
１５ センサ部
１６ 通信部
１７ 計時部
１８ バス
２ 撮像装置
２１ ＣＰＵ
２２ ＲＡＭ
２３ 記憶部
２４ 操作部
２５ 表示部
２６ 撮像部
２７ 通信部
２８ 計時部
２９ バス
３ 画像処理装置
３１ ＣＰＵ
３２ ＲＡＭ
３３ 記憶部
３３１ プログラム記憶部
３３２ センサデータ記憶部
３３３ 動画像記憶部
３４ 操作部
３５ 表示部
３６ 第一通信部
３７ 第二通信部
３８ バス

Claims (5)

1. 被写体の一連の動作を示す動画像を取得する動画像取得手段と、
   前記被写体に装着されたセンサにより計測された前記の一連の動作が行われた時のセンサデータを取得するセンサデータ取得手段と、
   前記センサデータ取得手段により取得されたセンサデータから、前記一連の動作に含まれる特定のポイントの時刻を特定する時刻特定手段と、
   前記動画像取得手段により取得された動画像のうち表示するフレーム画像の時間軸上の位置をユーザが指定操作するための操作用画像であって、前記時刻特定手段によって特定された特定のポイントの時刻が識別可能に表示された前記操作用画像を表示手段に表示させる表示制御手段と、
   ユーザの指定操作により前記操作用画像における前記特定のポイントの時刻が指定されると、前記動画像の中から前記特定のポイントに対応するフレーム画像を選択する画像選択手段と、
   を備え、
   前記一連の動作を示す動画像は、前記特定のポイントにより複数の部分動作の区間に区切ることが可能な動画像であり、
   前記操作用画像は、前記複数の部分動作の区間の区切りごとに角を有する形状であること、
   を特徴とする画像処理装置。
2. 前記操作用画像は、前記一連の動作の動作イメージを表現した形状であること、
   を特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御手段は、前記動画像の中から前記画像選択手段により選択されたフレーム画像を取得して前記表示手段に表示させること、
   を特徴とする請求項１又は２に記載の画像処理装置。
4. 被写体の一連の動作を示す動画像を取得する工程と、
   前記被写体に装着されたセンサにより計測された前記の一連の動作が行われた時のセンサデータを取得する工程と、
   前記取得されたセンサデータから、前記一連の動作に含まれる特定のポイントの時刻を特定する工程と、
   前記取得された動画像のうち表示するフレーム画像の時間軸上の位置をユーザが指定操作するための操作用画像であって、特定された特定のポイントの時刻が識別可能に表示された前記操作用画像を表示手段に表示させる工程と、
   ユーザの指定操作による前記操作用画像における前記特定のポイントの時刻が指定されると、前記動画像の中から前記特定のポイントに対応するフレーム画像を選択する工程と、
   を含み、
   前記一連の動作を示す動画像は、前記特定のポイントにより複数の部分動作の区間に区切ることが可能な動画像であり、
   前記操作用画像は、前記複数の部分動作の区間の区切りごとに角を有する形状であること、
   を特徴とする画像処理方法。
5. コンピュータを、
   被写体の一連の動作を示す動画像を取得する動画像取得手段、
   前記被写体に装着されたセンサにより計測された前記の一連の動作が行われた時のセンサデータを取得するセンサデータ取得手段、
   前記センサデータ取得手段により取得されたセンサデータから、前記一連の動作に含まれる特定のポイントの時刻を特定する時刻特定手段、
   前記動画像取得手段により取得された動画像のうち表示するフレーム画像の時間軸上の位置をユーザが指定操作するための操作用画像であって、前記時刻特定手段によって特定された特定のポイントの時刻が識別可能に表示された前記操作用画像を表示手段に表示させる表示制御手段、
   ユーザの指定操作により前記操作用画像における前記特定のポイントの時刻が指定されると、前記動画像の中から前記特定のポイントに対応するフレーム画像を選択する画像選択手段、
   として機能させ、
   前記一連の動作を示す動画像は、前記特定のポイントにより複数の部分動作の区間に区切ることが可能な動画像であり、
   前記操作用画像は、前記複数の部分動作の区間の区切りごとに角を有する形状であることを特徴とするプログラム。

Images