JP4784538B2 - ダイジェスト画像表示装置、ダイジェスト画像表示方法及びプログラム - Google Patents

Description

本発明は、ダイジェスト画像表示装置、ダイジェスト画像表示方法及びプログラムに関するものである。

従来、スポーツ番組等のダイジェスト（digest）画像（動画）を作成して表示するダイジェスト画像表示装置がある（例えば、特許文献１参照）。

このダイジェスト画像表示装置は、テレビジョン放送において、音声信号のレベルを検出して、音声信号のレベルが閾値以上となるハイライトシーンを抽出することにより、ダイジェスト画像を作成する。
特開平９−２８４７０４号公報（第２−４頁、図１）

近年、例えば、ビデオカメラや、デジタルカメラを用いて、ゴルフ練習の姿勢解析を行うケースが増えつつある。

ゴルフ練習では、ゴルフスイングの良否がユーザのフォームに現れてくる。逆に、このフォームを解析してフォームを改善することができれば、ボールも目標とする方向に飛び、打ったボールの飛距離も延びてくる。

また、ゴルフ練習の場合、スイングを複数回行うので、ダイジェスト動画を作成することにより、フォームの良否を判別しやすくなる。

しかし、ビデオカメラや、デジタルカメラを従来のダイジェスト画像表示装置に接続してダイジェスト画像を作成しようとしても、ハイライトシーンを検出するだけでは、スイングのダイジェスト画像を作成することはできない。このため、従来のダイジェスト画像表示装置では、動作としてフォーム（姿勢）を詳細に解析することは難しい。

本発明は、このような従来の問題点に鑑みてなされたもので、動作を容易に解析することが可能なダイジェスト画像表示装置、ダイジェスト画像表示方法及びプログラムを提供することを目的とする。

この目的を達成するため、本発明の第１の観点に係るダイジェスト画像表示装置は、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する映像取得部と、
前記付随音を取得する付随音取得部と、
前記動作を比較するための、前記映像取得部が取得した映像中の動きの程度、又は前記付随音取得部が取得した付随音の大きさの程度を表す比較情報を格納する比較情報格納部と、
前記映像取得部が取得した映像又は前記付随音取得部が取得した付随音に基づいて、前記付随音が発生する各タイミングを検出するとともに、各タイミング毎の前記比較情報を取得して前記比較情報格納部に格納するタイミング検出部と、
前記映像取得部が取得した映像から、前記タイミング検出部が検出した各タイミング毎のダイジェスト画像を生成するダイジェスト画像生成部と、
前記比較情報格納部を参照し、格納された前記比較情報に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するダイジェスト画像表示部と、を備えたことを特徴とする。

前記動作は、球を用いた運動であり、
前記映像取得部は、球を用いた運動を複数回行う被写体を撮影して前記被写体の映像を取得するようにしてもよい。

前記動作は、補助具で前記球に衝撃を加えて飛球させる運動であり、
前記映像取得部は、補助具で前記球に衝撃を加えて飛球させる運動を複数回行う被写体を撮影して前記被写体の映像を取得し、
前記付随音取得部は、前記付随音として、前記補助具で前記球に衝撃を加えたときに発生する音を取得するようにしてもよい。

前記付随音取得部は、前記球に衝撃が加えられて発生する衝撃音を前記付随音として取得するものであってもよい。

前記付随音取得部は、前記付随音を取得するとともに前記付随音の大きさを取得するものであり、
前記タイミング検出部は、前記付随音取得部が取得した付随音に基づいて、前記付随音の大きさを、各タイミングの比較情報として取得し、取得した前記付随音の大きさを前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記付随音の大きさに基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するようにしてもよい。

前記ダイジェスト画像生成部が生成したダイジェスト画像毎に、前記被写体の動作を評価する評価値の入力を受け付けて、入力された評価値を前記比較情報として前記比較情報格納部に格納する評価値受付部を備え、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記評価値に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するようにしてもよい。

前記タイミング検出部は、前記映像取得部が取得した映像に基づいて、前記球に衝撃が加えられたときの前記補助具の速度を、各タイミングの比較情報として取得し、取得した前記補助具の速度を前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記補助具の速度に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するようにしてもよい。

前記タイミング検出部は、前記映像取得部が取得した映像に基づいて、前記球に衝撃が加えられたときの球速を、各タイミングの比較情報として取得し、取得した前記球速を前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記球速に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するようにしてもよい。

前記タイミング検出部は、前記映像取得部が取得した映像に基づいて、前記球の飛球方向を、各タイミングの比較情報として取得し、取得した前記飛球方向を前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記飛球方向に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するようにしてもよい。

本発明の第２の観点に係るダイジェスト画像表示方法は、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得するステップと、
前記付随音を取得するステップと、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出するステップと、
検出した各タイミング毎に、前記映像中の動きの程度又は前記付随音の大きさの程度を表す、前記動作を比較するための比較情報を取得するステップと、
取得した前記比較情報を格納するステップと、
取得した前記映像から、検出した各タイミング毎のダイジェスト画像を生成するステップと、
格納された前記比較情報に基づいて、生成した複数のダイジェスト画像を整列させて表示するステップと、を備えたことを特徴とする。

本発明の第３の観点に係るプログラムは、
コンピュータに、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する手順、
前記付随音を取得する手順、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出する手順、
検出した各タイミング毎に、前記映像中の動きの程度又は前記付随音の大きさの程度を表す、前記動作を比較するための比較情報を取得する手順、
取得した比較情報を格納する手順、
取得した前記映像から、検出した各タイミング毎のダイジェスト画像を生成する手順、
格納した前記比較情報に基づいて、生成した複数のダイジェスト画像を整列させて表示する手順、
を実行させるためのものである。

本発明によれば、動作を容易に解析することができる。

以下、本発明の実施形態に係るダイジェスト画像表示装置を図面を参照して説明する。尚、本実施形態では、ダイジェスト画像表示装置をデジタルカメラとして説明する。
（実施形態１）
実施形態１に係るデジタルカメラの構成を図１に示す。
実施形態１に係るデジタルカメラ１は、操作インタフェース１１と、音声認識ＲＯＭ１２と、映像・音声入力部１３と、エンコーダ１４と、記憶部１５と、インパクト検出部１６と、インパクト情報格納部１７と、デコーダ１８と、表示部１９と、スピーカ２０と、ＣＰＵ２１と、を備える。

本実施形態１では、動作、運動としてゴルフ練習を対象として説明する。ゴルフは、ボールを用いた競技であり、ゴルフでは、補助具としてゴルフクラブを使用し、ゴルフクラブでボールに衝撃を加えてボールを飛球させる。

ゴルフ練習では、被写体としてのユーザの動作に付随して、ゴルフクラブでボールに衝撃を加えたときのインパクト音が、動作に付随する付随音として発生する。

また、ゴルフ練習では、ユーザが同じようなスイング動作を複数回行い、その都度、インパクト音が発生する。

本実施形態１のデジタルカメラ１は、インパクト音が発生するタイミングのこのインパクト点を検出し、検出したインパクト点のインパクト情報に基づいてダイジェスト動画（画像）を生成する。このダイジェスト動画は、インパクト点を含み、その前後の予め設定された時間の動画である。

そして、デジタルカメラ１は、インパクト情報に基づいて各ダイジェスト動画を整列させることにより、ユーザの動作、運動としてのゴルフ練習の成果を解析できるようにしたものである。

このデジタルカメラ１は、高速連写可能なカメラであり、図２に示すように、三脚２に取り付けられて、画角内に、ゴルフ練習者としてのユーザ３と、ゴルフクラブ４と、ボール５と、が収まるように設置される。そして、デジタルカメラ１は、ユーザ３のゴルフ練習の様子を撮影する。

デジタルカメラ１は、図３（ａ）、（ｂ）に示すように、上面部に、電源ボタン３１とシャッタボタン３２とを備え、前面部に、レンズ３３とマイク３４とＬＥＤランプ３５とフラッシュ３６とを備える。

また、デジタルカメラ１は、図３（ｃ）に示すように、後面部に、動画撮影ボタン３７と静止画撮影ボタン３８と再生ボタン３９と液晶モニタ４０とメニューボタン４１と、コントロール部４２とを備える。

図３（ａ）に示す電源ボタン３１は、デジタルカメラ１の電源をオン、オフするためのボタンである。デジタルカメラ１は、電源ボタン３１が押下される毎に、電源をオン、オフする。

シャッタボタン３２は、撮影を指示するためのボタンである。デジタルカメラ１は、シャッタボタン３２が押下されると撮影を開始する。静止画撮影の場合、デジタルカメラ１は、電源がオンしている間、シャッタボタン３２が押下される毎に静止画撮影を行う。また、動画撮影の場合、デジタルカメラ１は、電源がオンしている間、シャッタボタン３２が押下される毎に、動画撮影の開始、動画撮影の停止を繰り返す。

図３（ａ）、（ｂ）に示すレンズ３３は、ユーザ３、ゴルフクラブ４、ボール５の像を、内蔵する撮像素子（図示せず）に結像させるためのものである。デジタルカメラ１は、ユーザ３を撮影し、撮像素子は、映像データImage1を生成する。

図３（ｂ）に示すマイク３４は、ゴルフクラブ４がボール５に衝撃を与えたときに発する打撃音、ユーザ３が発話したときの音声を取得して音声データSound1を生成するものである。

マイク３４は、打撃音の音の大きさを示すデータとして、音の大きさ（単位；sone）、音圧（単位；μpa）、音圧レベル（単位；ｄＢ）のいずれかを取得可能なものである。

ＬＥＤランプ３５は、ユーザ３の音声を入力する場合に、ユーザ３に音声の入力が可能であることを示すために点灯するものである。ＬＥＤランプ３５は、インパクト点を検出してから予め設定された時間経過後、予め設定された時間だけ、ＣＰＵ２１からＬＥＤ点灯制御信号が供給されて点灯する。フラッシュ３６は、ユーザ３等を照明するためのものである。

図３（ｃ）に示す動画撮影ボタン３７は、動画撮影を選択するためのボタンである。デジタルカメラ１は、動画撮影ボタン３７が押下されると動画撮影を選択する。

静止画撮影ボタン３８は、静止画撮影を選択するためのボタンである。静止画撮影の場合、デジタルカメラ１は、静止画撮影ボタン３８が押下されると、静止画撮影を選択する。

再生ボタン３９は、撮影によって得られた動画、静止画の再生を指示するためのボタンである。

液晶モニタ４０は、静止画、連続動画、ダイジェスト動画、メニューを表示するものである。このメニューは、デジタルカメラ１の機能を設定するためのものであり、メニューボタン４１は、このメニューを表示するためのボタンである。

コントロール部４２は、液晶モニタ４０に表示された静止画、連続動画、ダイジェスト動画を選択するとともに、デジタルカメラ１の機能を選択、設定するための操作部であり、アップキー４２Ｕと、ダウンキー４２Ｄと、左キー４２Ｌと、右キー４２Ｒと、セットキー４２Ｓと、からなる。

アップキー４２Ｕ、ダウンキー４２Ｄ、左キー４２Ｌ、右キー４２Ｒは、それぞれ、選択する画像、選択するメニューの項目を上下左右に移動させるためのボタンである。
セットキー４２Ｓは、メニューにおいて選択された項目を確定させるためのキーである。

動画撮影ボタン３７が押下されてメニューボタン４１が押下されると、デジタルカメラ１は、液晶モニタ４０に、図４（ａ）に示すような動画撮影メニューを表示させる。

動画撮影メニューは、連続動画撮影モード又はダイジェスト動画撮影モードを選択するためのメニューである。連続動画撮影モードは、動画撮影を行って連続動画を生成するモードである。

また、ダイジェスト動画撮影モードは、動画撮影を行って連続動画を生成するとともに、生成した連続動画に基づいて再生時に複数のダイジェスト動画を再生できるように所定の情報を得るためのモードである。

連続動画撮影モード又はダイジェスト動画撮影モードは、動画撮影メニューにおいて、アップキー４２Ｕ又はダウンキー４２Ｄが操作されることにより、選択される。

再生ボタン３９が押下されてメニューボタン４１が押下されると、デジタルカメラ１は、図４（ｂ）に示すような再生メニューを液晶モニタ４０に表示させる。

再生メニューは、静止画再生モード、連続動画再生モード、ダイジェスト動画再生モードのいずれかのモードを選択するメニューである。静止画再生モード、連続動画再生モード、ダイジェスト動画再生モードは、それぞれ、静止画撮影、連続動画撮影モードまたはダイジェスト動画撮影モードで得られる、静止画、連続動画、ダイジェスト動画を再生するモードである。

静止画再生モード、連続動画再生モード、ダイジェスト動画再生モードは、再生メニューにおいて、アップキー４２Ｕ、ダウンキー４２Ｄが操作されることにより選択される。

また、ダイジェスト動画再生モードが選択された場合、右キー４２Ｒが押下されると、デジタルカメラ１は、図４（ｃ）に示すような並べ替えメニューを液晶モニタ４０に表示させる。

並べ替えメニューは、詳細は後述するように得た複数の各ダイジェスト動画の並べ替え順を選択するためのメニューである。本実施形態１のデジタルカメラ１は、時刻順、音の大きさ順、スイング速度順、飛球方向順の並べ替えが可能なものであり、並べ替えメニューにおいて、これらの並べ替えを示す時刻、音の大きさ、スイング速度、飛球方向を液晶モニタ４０に表示させる。

これらの並べ替えは、並べ替えメニューにおいて、アップキー４２Ｕ、ダウンキー４２Ｄが操作されることにより選択される。

尚、デジタルカメラ１は、図４（ｃ）に示す並べ替えのうち、時刻順を初期設定（default）とする。

並べ替えメニューにおいて、アップキー４２Ｕ、ダウンキー４２Ｄが押下されて、時刻、音の大きさ、スイング速度、飛球方向のいずれかの並べ替えが選択されてセットキー４２Ｓが押下されると、デジタルカメラ１は、並べ替えを、選択された順に設定する。

図１に戻り、操作インタフェース１１は、各種ボタン、キーが操作されたときの操作情報を取得するものであり、取得した操作情報をＣＰＵ２１に供給する。

音声認識ＲＯＭ（Read Only Memory）１２は、音声認識用のデータを記憶するメモリである。

映像・音声入力部１３は、撮像素子が生成した映像データImage1、マイク３４が生成した音声データSound1を入力して、ユーザ３の映像、インパクト音を取得するものである。映像・音声入力部１３は、連続動画撮影、ダイジェスト動画撮影を行う場合、撮影を開始してから、撮影が終了するまでのすべての映像データImage1、音声データSound1を入力する。

エンコーダ１４は、映像・音声入力部１３が入力した映像データImage1、音声データSound1を、それぞれ、圧縮、符号化し、圧縮、符号化した映像データImage11、音声データSound11を生成するものである。

記憶部１５は、ＨＤＤ（Hard Disk Drive）、不揮発性メモリ等によって構成されたものであり、各種データを記憶する。記憶部１５は、データとして、エンコーダ１４が圧縮、符号化した映像データImage11、音声データSound11、図４（ａ）〜（ｃ）に示すメニュー表示用のデータを記憶する。また、記憶部１５は、データとして、ＣＰＵ２１が実行するプログラムのデータを記憶する。

インパクト検出部１６は、映像・音声入力部１３が取得したインパクト音（音声データSound1またはSound11）に基づいて、ゴルフクラブ４がボール５に衝撃を与えたときの各インパクト点を検出し、このインパクト点のインパクト情報を取得するものである。このインパクト点はインパクト音が発生するタイミングであり、インパクト情報は、ユーザ３のゴルフ練習の成果を比較するための比較情報である。

インパクト検出部１６は、図５に示すように、低周波除去フィルタ１６ａと、メモリ１６ｂと、データ出力器１６ｃと、時刻計測部１６ｄと、分離度フィルタ１６ｅと、スイング速度取得部１６ｆと、飛球方向取得部１６ｇと、音声認識部１６ｈと、を備える。

インパクト検出部１６は、ダイジェスト動画撮影モードが選択された場合、記憶部１５から、音声データSound11を読み出す。

低周波除去フィルタ１６ａは、読み出された音声データSound11から、周辺ノイズを除去するためのフィルタであり、図６（ａ）に示すように、カットオフ周波数fc以下の周波数成分を周辺ノイズとして除去する。

これにより、インパクト検出部１６は、低周波除去フィルタ１６ａから出力された図６（ｂ）に示すような音の大きさ（データ）Im_s1を取得する。

メモリ１６ｂは、打撃音を判別するため、この音の大きさIm_s1に対して予め設定された閾値S_thを記憶するものである。

データ出力器１６ｃは、低周波除去フィルタ１６ａを通過した音の大きさIm_s1の出力を制御するものである。データ出力器１６ｃは、メモリ１６ｂから閾値S_thを取得し、低周波除去フィルタ１６ａを通過した音の大きさIm_s1と閾値S_thとを比較する。

そして、データ出力器１６ｃは、比較の結果、音の大きさIm_s1が閾値S_th以上となったとき、このデータIm_sを出力し、インパクト検出部１６は、データ出力器１６ｃが音の大きさIm_s1を出力したとき、このタイミングをインパクト点と判別する。

時刻計測部１６ｄは、時刻を計測するものである。時刻計測部１６ｄは、インパクト点の時刻情報Im_tを取得する。

分離度フィルタ１６ｅは、映像データImage11から、ゴルフクラブ４、ボール５の画像を分離するフィルタである。分離度フィルタ１６ｅは、狭い範囲の濃淡値の分布が二重の環形にどの程度近いかを測ることにより映像データImage11から特定の画像を分離するフィルタである。

この分離度フィルタ１６ｅは、出力値が明るさに依存しないため、明暗の差が少ない不明瞭な特徴点に対しても安定な抽出が可能であるという特徴を有している。

スイング速度取得部１６ｆは、分離度フィルタ１６ｅが分離したゴルフクラブ４のスイング動作時のスイング速度Im_vを取得するものである。例えば、図７に示すようなゴルフクラブ４の画像４−１，４−２，４−３が得られた場合、スイング速度取得部１６ｆは、この画像４−１〜４−３のヘッドの距離と撮影間隔とに基づいてゴルフクラブ４のスイング速度Im_vを取得する。

なお、スイング速度取得部１６ｆは、時刻計測部１６ｄにより取得された時刻情報Im_tに基づいてインパクト点近傍の映像データImage11を取得し、該取得したインパクト点近傍の映像データImage11に基づいてそれぞれインパクト点毎にスイング速度Im_vを取得する。

飛球方向取得部１６ｇは、分離度フィルタ１６ｅが分離したボール５の画像から、ボール５の飛球方向を示す飛球方向Im_cを取得するものである。飛球方向取得部１６ｇは、飛球方向Im_cをｄ１〜ｄ８に分類する。

例えば、図８に示すようなボール５の画像５−１，５−２が得られた場合、飛球方向取得部１６ｇは、ボール５の飛球方向Im_cを、最も近い飛球方向ｄ２に分類する。

なお、飛球方向取得部１６ｇは、時刻計測部１６ｄにより取得された時刻情報Im_tに基づいてインパクト点近傍の映像データImage11を取得し、該取得したインパクト点近傍の映像データImage11に基づいてそれぞれインパクト点毎に飛球方向Im_cを取得する。

音声認識部１６ｈは、ユーザ３が発話した音声を認識して認識した結果の音声認識データIm_s2を出力するものである。音声認識部１６ｈは、記憶部１５から読み出した音声データSound11と音声認識ＲＯＭ１２に記憶された音声認識用のデータとを比較して、ユーザ３が発話した音声を認識する。

インパクト検出部１６は、これらの音の大きさIm_s1、時刻情報Im_t、スイング速度Im_v、飛球方向Im_cを、インパクト点毎に分類してインパクト情報としてインパクト情報格納部１７に格納する。

インパクト情報格納部１７は、上述したようにして得たインパクト情報を格納するものである。インパクト情報格納部１７は、供給されたインパクト情報を、図９に示すように、インパクト点毎に格納する。

尚、図９に示す並べ替え指定欄は、並べ替えに用いるインパクト情報を指定するための欄である。インパクト情報が指定されなければ、図中、○印で示すように、並べ替えに用いるインパクト情報を指定するデータは、初期設定の時刻情報Im_tの並べ替え指定欄に格納される。

デコーダ１８は、供給された映像データImage11、音声データSound11、メニュー表示用のデータを伸長、解読（デコード）するためのものである。

静止画再生モードが選択された場合、連続動画再生モードが選択された場合、デコーダ１８には、記憶部１５から、それぞれ、静止画の映像データImage11、連続動画の映像データImage11、音声データSound11が供給される。

また、ダイジェスト動画再生モードが選択された場合、デコーダ１８には、記憶部１５から、インパクト情報格納部１７に格納されたインパクト情報に基づいて連続動画の映像データImage11、音声データSound11から所定の映像期間または音声期間として選択された複数のダイジェスト動画の映像データImage11、音声データSound11が供給される。

また、メニューボタン４１が押下され、コントロール部４２の各キーが押下されたときは、図４（ａ）〜（ｃ）に示すようなメニューの映像データImage11が供給される。

デコーダ１８は、記憶部１５から供給された映像データImage11、音声データSound11を伸長、解読して映像データImage1、音声データSound1を生成し、この映像データImage1、音声データSound1を、それぞれ、表示部１９、スピーカ２０に供給する。

表示部１９は、図３（ｃ）に示す液晶モニタ４０を備えたものであり、ＣＰＵ２１の制御の下、デコーダ１８から供給された映像データImage1に基づいて、静止画、連続動画、複数のダイジェスト動画、メニューを液晶モニタ４０に表示する。

スピーカ２０は、ＣＰＵ２１の制御の下、デコーダ１８から供給された音声データSound1に基づいて、音声を発するものである。

ＣＰＵ（Central Processing Unit）２１は、操作インタフェース１１から供給された操作情報に基づいて、デジタルカメラ１全体を制御するものである。

ＣＰＵ２１は、操作インタフェース１１から、各種ボタン、各キーが押下された旨の情報が供給されると、供給された操作情報に基づいて各部を制御する。

具体的に、ＣＰＵ２１は、撮影前、あるいは撮影終了後に、図４（ｃ）に示す並べ替えメニューにおいて、並べ替えに用いるインパクト情報が選択された場合、操作インタフェース１１から供給された操作情報に基づいて、このインパクト情報を判別する。

そして、ＣＰＵ２１は、図９に示す並べ替え指定欄のうち、判別したインパクト情報の欄に、並べ替えを指定するデータを格納する。

ＣＰＵ２１は、操作インタフェース１１から、シャッタボタン３２が押下された旨の操作情報が供給されると、映像データImage1、音声データSound1を入力するように映像・音声入力部１３を制御する。

動画撮影の場合、ＣＰＵ２１は、操作インタフェース１１から、シャッタボタン３２が押下された旨の操作情報が供給される毎に、映像データImage1、音声データSound1の入力、入力の停止を行うように映像・音声入力部１３を制御する。

この場合、ＣＰＵ２１は、連続動画撮影モードが選択されたときだけでなく、ダイジェスト動画撮影モードが選択されたときでも、インパクト点前の動画も含めてダイジェスト動画を生成する。このため、ＣＰＵ２１は、すべての映像データImage1、音声データSound1を入力するように映像・音声入力部１３を制御する。

そして、ＣＰＵ２１は、映像・音声入力部１３が入力した映像データImage1、音声データSound1を圧縮、符号化して映像データImage11、音声データSound11を生成するようにエンコーダ１４を制御し、生成した映像データImage11、音声データSound11を記憶部１５に記憶する。

ＣＰＵ２１は、操作インタフェース１１から、ダイジェスト動画撮影モードが選択された旨の操作情報が供給されると、インパクト点を検出するようにインパクト検出部１６を制御する。

ＣＰＵ２１は、インパクト検出部１６が各インパクト点を検出すると、インパクト点毎に、当該インパクト点での画像を含むように、インパクト点前後の予め設定された時間分のダイジェスト動画を、記憶部１５が記憶する映像データImage11と音声データSound11とに基づいて生成する。ＣＰＵ２１は、インパクト点毎に生成することで得た複数のダイジェスト動画としての映像データImage11と音声データSound11とを記憶部１５に記憶する。

ユーザ３が発話した音声を認識する場合、ＣＰＵ２１は、ＬＥＤランプ３５にＬＥＤ点灯制御信号を供給して、ＬＥＤランプ３５を点灯する。

そして、ＣＰＵ２１は、ＬＥＤ点灯制御信号を供給してから予め設定された点灯時間経過後に、このＬＥＤ点灯制御信号の供給を停止して、ＬＥＤランプ３５を消灯する。

ＣＰＵ２１は、ＬＥＤ点灯制御信号を供給している間、マイク３４が生成した音声データSound1を入力するように映像・音声入力部１３を制御する。ＣＰＵ２１は、ユーザ３が発話した音声を認識するようにインパクト検出部１６を制御する。

ＣＰＵ２１は、操作インタフェース１１から、静止画再生モードが選択されて再生ボタン３９が押下された旨の操作情報が供給されると、記憶部１５から静止画の映像データImage11を読み出してデコーダ１８に供給する。

ＣＰＵ２１は、操作インタフェース１１から、連続動画再生モードが選択されて再生ボタン３９が押下された旨の操作情報が供給されると、記憶部１５から連続動画の映像データImage11、音声データSound11を読み出してデコーダ１８に供給する。

ＣＰＵ２１は、操作インタフェース１１から、ダイジェスト動画再生モードが選択されて再生ボタン３９が押下された旨の操作情報が供給されると、各インパクト点に対応するダイジェスト動画を順次再生する。

なお、ＣＰＵ２１は、ダイジェスト動画を生成および再生するため、インパクト情報格納部１７から各インパクト点の時刻情報Imt_tを読み出す。ＣＰＵ２１は、読み出した各時刻情報Imt_tに対応するように、インパクト点を含み、その前後の予め設定された時間の映像データImage11、音声データSound11を記憶部１５から読み出す。この映像データImage11、音声データSound11がダイジェスト動画用のデータであり、ＣＰＵ２１は、このようにして各インパクト点に対応するダイジェスト動画を生成する。

また、ＣＰＵ２１は、生成したダイジェスト動画の並べ替えを行う。ＣＰＵ２１は、並べ替えを行うため、インパクト情報格納部１７を参照し、図９に示す並べ替え指定欄に格納されたデータに基づいて並べ替えに用いるインパクト情報を判別する。ＣＰＵ２１は、記憶部１５から読み出した映像データImage11、音声データSound11を、判別したインパクト情報に基づいて整列させる。

ＣＰＵ２１は、整列させた映像データImage11（整列された複数のダイジェスト動画Image11）、音声データSound11をデコーダ１８に供給する。ＣＰＵ２１は、このようにして、生成した複数のダイジェスト画像を、整列させて液晶モニタ４０に表示させる。

次に実施形態１に係るデジタルカメラ１の動作を説明する。
デジタルカメラ１は、電源ボタン３１が押下されると電源をオンする。

デジタルカメラ１は、再生ボタン３９が押下され、メニューボタン４１が押下されると、図４（ｂ）に示す再生メニューを液晶モニタ４０に表示させ、ダイジェスト動画再生モードが選択されると、図４（ｃ）に示す並べ替えメニューを液晶モニタ４０に表示させる。

この並べ替えメニューにおいて、それぞれ、音の大きさ、スイング速度、飛球方向が選択され、右キー４２Ｒが押下された旨の操作情報が、操作インタフェース１１から供給されると、ＣＰＵ２１は、複数のダイジェスト画像の並べ替えに用いるインパクト情報を判別する。

ＣＰＵ２１は、このインパクト情報を判別すると、図９に示す並べ替え指定欄のうち、判別したインパクト情報の欄に、並べ替えを指定するデータを格納する。

また、ＣＰＵ２１は、図４（ａ）に示す動画撮影メニューにおいて、操作インタフェース１１から、連続動画撮影モード又はダイジェスト動画撮影モードが選択され、シャッタボタン３２が押下された旨の操作情報が供給されると、記憶部１５から、撮影処理のプログラムデータを読み出し、図１０に示すフローチャートに従って、この処理を実行する。

つまり、ＣＰＵ２１は、一回目のシャッタボタン３２が押下された旨の操作情報が供給されると、動画撮影を開始する（ステップＳ１１）。
そして、ＣＰＵ２１は、操作インタフェース１１から供給されたシャッタボタン３２の操作情報に基づいて、動画撮影継続か否かを判定する（ステップＳ１２）。

再度シャッタボタン３２が押下された旨の操作情報が供給されなかった場合、ＣＰＵ２１は、動画撮影の継続と判定する（ステップＳ１２；Ｙｅｓ）。この場合、ＣＰＵ２１は、映像データImage1、音声データSound1を入力するように映像・音声入力部１３を制御し、圧縮、符号化して映像データImage11、音声データSound11を生成するようにエンコーダ１４を制御する（ステップＳ１３）。

ＣＰＵ２１は、エンコーダ１４が生成した映像データImage11、音声データSound11を記憶部１５に記憶し（ステップＳ１４）、再度、動画撮影継続か否かを判定する（ステップＳ１２）。

再度シャッタボタン３２が押下された旨の操作情報が供給された場合、ＣＰＵ２１は、動画撮影の終了が指示されたと判定する（ステップＳ１２；Ｎｏ）。この場合、ＣＰＵ２１は、映像データImage1、音声データSound1の入力を停止するように映像・音声入力部１３を制御するとともに、操作インタフェース１１から供給された操作情報に基づいて、インパクト点を検出するか否かを判定する（ステップＳ１５）。

動画撮影メニューにおいて、ダイジェスト動画撮影モードが選択されていなかった場合、操作インタフェース１１は、その旨の操作情報をＣＰＵ２１に供給し、ＣＰＵ２１は、インパクト点を検出しないと判定する（ステップＳ１５；Ｎｏ）。この場合、ＣＰＵ２１は、この撮影処理を終了させる。

動画撮影メニューにおいて、ダイジェスト動画撮影モードが選択されていた場合、操作インタフェース１１は、その旨の操作情報をＣＰＵ２１に供給し、ＣＰＵ２１は、インパクト点を検出すると判定する（ステップＳ１５；Ｙｅｓ）。そして、ＣＰＵ２１は、インパクト点を検出するようにインパクト検出部１６を制御する。

インパクト検出部１６は、記憶部１５から、映像データImage11、音声データSound11を読み出して、上述したようにインパクト点を検出し、音の大きさIm_s1、時刻情報Im_t、スイング速度Im_v、飛球方向Im_cを、インパクト情報（比較情報）としてインパクト情報格納部１７に格納する（ステップＳ１６）。そして、ＣＰＵ２１は、この撮影処理を終了させる。

尚、再々度シャッタボタン３２が押下された旨の操作情報が供給された場合、ＣＰＵ２１は、再度、撮影処理を実行する。

次に、図４（ｂ）に示す再生メニューにおいて、ダイジェスト動画再生モードが選択されて再生ボタン３９が押下された旨の操作情報が、操作インタフェース１１から供給されると、ＣＰＵ２１は、記憶部１５から、再生処理（１）のプログラムデータを読み出して、図１１に示すフローチャートに従い、この処理を実行する。

つまり、ダイジェスト動画再生モードが選択されて再生ボタン３９が押下された旨の操作情報が、操作インタフェース１１から供給されると、ＣＰＵ２１は、ダイジェスト動画撮影モードで記憶部１５に記憶された映像データImage11、音声データSound11やインパクト情報格納部１７に格納されたインパクト情報に基づいて上述したように複数のダイジェスト動画を生成する（ステップＳ２１）。

そして、ＣＰＵ２１は、インパクト情報格納部１７を参照し、並べ替えメニューにおいて並べ替え指定欄に格納されたデータに基づいて、並べ替えが音の大きさ順か否かを判定する（ステップＳ２２）。

並べ替えが音の大きさ順と判定した場合（ステップＳ２２；Ｙｅｓ）。ＣＰＵ２１は、各インパクト点の音の大きさIm_s1を参照し、各インパクト点に対応するダイジェスト動画を音の大きさIm_s1順に並べ替え、ダイジェスト動画毎に整列された映像データImage11、音声データSound11をデコーダ１８に供給する（ステップＳ２３）。

並べ替えが音の大きさ順ではないと判定した場合（ステップＳ２２；Ｎｏ）、ＣＰＵ２１は、並べ替えがスイング速度順か否かを判定する（ステップＳ２４）。

並べ替えがスイング速度順と判定した場合（ステップＳ２４；Ｙｅｓ）、ＣＰＵ２１は、各インパクト点のスイング速度Im_vを参照し、各インパクト点のダイジェスト動画をスイング速度Im_v順に並べ替え、ダイジェスト動画毎に整列された映像データImage11、音声データSound11をデコーダ１８に供給する（ステップＳ２５）。

並べ替えがスイング速度順ではないと判定した場合（ステップＳ２４；Ｎｏ）、ＣＰＵ２１は、並べ替えが飛球方向順か否かを判定する（ステップＳ２６）。

並べ替えが飛球方向順と判定した場合（ステップＳ２６；Ｙｅｓ）、ＣＰＵ２１は、各インパクト点の飛球方向Im_cを参照し、各インパクト点のダイジェスト動画を飛球方向Im_c順に並べ替え、ダイジェスト動画毎に整列された映像データImage11、音声データSound11をデコーダ１８に供給する（ステップＳ２７）。

並べ替えが飛球方向順ではないと判定した場合（ステップＳ２６；Ｎｏ）、ＣＰＵ２１は、並べ替えが初期設定の時刻順と判定する。この場合、ＣＰＵ２１は、各インパクト点の時刻情報Im_tを参照し、各インパクト点のダイジェスト動画を時刻情報Im_t順に並べ替え、ダイジェスト動画毎に整列された映像データImage11、音声データSound11をデコーダ１８に供給する（ステップＳ２８）。

なお、デコーダ１８に供給された映像データImage11、音声データSound11は、表示部１９やスピーカ２０から時系列的に順次顕在化されて出力される。

そして、ＣＰＵ２１は、インパクト点に対応するダイジェスト動画の全て再生が終了すると、この再生処理（１）を終了させる。

次に、このデジタルカメラ１の動作を具体的な活用例に基づいて説明する。
ユーザ３は、ダイジェスト動画撮影モードでの撮影中にボール５を４球打つものとする。そして、ＣＰＵ２１は撮影処理を実行し、エンコーダ１４が生成した映像データImage11、音声データSound11を記憶部１５に記憶する。

ここでは、図１２（ａ）に示すように、時刻順にＡ，Ｂ，Ｃ，Ｄの４つのタイミングでインパクト音が発生したものとする。つまり、ボール５を打つ毎に（スイングを行う毎に）ボール５を打つ瞬間にインパクト音が発生したものとする。

インパクト検出部１６は、ダイジェスト動画撮影の終了指示に伴って、インパクト音の発生タイミングとして各インパクト点（Ａ，Ｂ，Ｃ，Ｄ）を検出するとともに、各インパクト点に対応する上述したようなインパクト情報を取得してインパクト情報格納部１７に格納する。

尚、図１２（ａ）、図１２（ｂ）における各インパクト点に対応するダイジェスト動画上に示す数値は、音の大きさ順を示し、「１」は音の大きさが最も大きく、「４」は、音の大きさが最も小さいことを示す。

また、ユーザ３が並べ替えメニューにおいてダイジェスト動画の並べ替えを指定していなければ、並べ替えを指定するデータは、図９に示すように、並べ替え指定欄のうちの初期設定の時刻情報Im_tの欄に格納されており、並べ替えは時刻順となっている。

そして、ダイジェスト動画再生モードが選択されて再生ボタン３９が押下されると、ＣＰＵ２１は、インパクト情報格納部１７を参照して、ダイジェスト動画撮影モードで記憶部１５に記憶された映像データImage11、音声データSound11（スイングを４回行ったシーン、つまり、ボール５を４回打ったシーン）やインパクト情報格納部１７に格納されたインパクト情報に基づいて上述したように複数のダイジェスト動画（スイング毎、つまり、ボール５を打つシーン毎に分離されたダイジェスト動画）を生成する。また、インパクト情報格納部１７を参照して、並べ替えに用いるインパクト情報は、時刻情報Im_tであると判別する。

そして、表示部１９は、図１２（ａ）に示すように、ＣＰＵ２１の制御（ステップＳ２８の処理）により、ダイジェスト動画をインパクト点Ａ，Ｂ，Ｃ，Ｄの順に整列させて、液晶モニタ４０に表示する。

つまり、インパクト点Ａ，Ｂ，Ｃ，Ｄに対応するそれぞれのダイジェスト動画を液晶モニタ４０に、インパクト点Ａに対応するダイジェスト動画、インパクト点Ｂに対応するダイジェスト動画、インパクト点Ｃに対応するダイジェスト動画、インパクト点Ｄに対応するダイジェスト動画の順で、動画再生表示する。

一方、ユーザ３が、図４（ｂ）に示す再生メニューにおいて、ダイジェスト動画再生モードを選択し、図４（ｃ）に示す並べ替えメニューにおいて音の大きさを選択していた場合、ＣＰＵ２１は、インパクト情報格納部１７の並べ替え指定欄のうち、音の大きさIm_s1の欄に、並べ替えを指定するデータを格納している。

このようなときに、ダイジェスト動画再生モードが選択されて再生ボタン３９が押下されると、ＣＰＵ２１は、インパクト情報格納部１７を参照して、並べ替えに用いるインパクト情報は、音の大きさIm_s1であると判別する。

そして、表示部１９は、図１２（ｂ）に示すように、ＣＰＵ２１の制御（ステップＳ２３の処理）により、ダイジェスト動画をインパクト点Ｂ，Ｄ，Ｃ，Ａの順に整列させて、液晶モニタ４０に表示する。

つまり、インパクト点Ａ，Ｂ，Ｃ，Ｄに対応するそれぞれのダイジェスト動画を液晶モニタ４０に、インパクト点Ｂに対応するダイジェスト動画、インパクト点Ｄに対応するダイジェスト動画、インパクト点Ｃに対応するダイジェスト動画、インパクト点Ａに対応するダイジェスト動画の順で、動画再生表示する。

以上説明したように、本実施形態１によれば、インパクト検出部１６は、各インパクト点を検出して、インパクト情報をインパクト情報格納部１７に格納する。ＣＰＵ２１は、並べ替えが指定されると、インパクト情報格納部１７に格納されたインパクト情報に基づいて、生成した複数のダイジェスト動画を並べ替え、整列させて液晶モニタ４０に表示するようにした。

従って、練習した中でスイングの部分のみを所望の順番で再生することができるので、ユーザ３に、ゴルフスイングの良否を分かり易く確認させることができ、ユーザ３は、ゴルフ練習の成果を容易に、しかも細かく解析することができる。

（実施形態２）
実施形態２に係るデジタルカメラは、ユーザのフォームと上級者のフォームとを比較し、ユーザのフォームを採点して、そのブレ量を表示するようにしたものである。

実施形態２のデジタルカメラ１は、図１３に示すように、図１に示した実施形態１の構成に加え、参照ブレ情報格納部２２と採点部２３とを備える。なお、本実施形態２では、実施形態１と同一の構成については、同一の符号を用い、その構成や動作についての詳細な説明は省略する。

参照ブレ情報格納部２２は、ＲＯＭ等からなり、ユーザ３のフォームを採点するためのフォームの参照データを格納するものである。

このような参照データとして、参照ブレ情報格納部２２は、例えば、図１４（ａ）に示すようにスイングしている上級者６の総ブレ量と局所ブレ量とを格納する。この上級者６の総ブレ量と局所ブレ量とは、ユーザ３の目標となる目標ブレ量を示す。

実施形態２では、ブレ量を、複数回のスイングを撮影した映像において、各スイングのタイミングと各画素とを対応させて得られた画素値の分散値の和とする。

総ブレ量は、図１４（ａ）に示すような、あるタイミングから所定時間前または所定時間後の画像を１つのフレーム画像とし、各スイングにおける上述したようなフレーム画像間ですべての画素を対象として比較したときのブレ量である。

また、局所ブレ量は、図１４（ａ）に示すような、あるタイミングから所定時間前または所定時間後の画像を１つのフレーム画像とし、各スイングにおける上述したようなフレーム画像間で、例えば、図１４（ｂ）に示すように各フレーム画像をブロックblk1〜blk8に分割し、各ブロックblk1〜blk8毎に、それぞれの画素を対象として比較したときのブレ量である。

採点部２３は、ユーザ３のフォームのブレを示す合成画像を生成して、上級者６のフォームのブレとユーザ３のフォームのブレとに基づいてユーザ３のフォームに対しての採点を行うものであり、ＣＰＵ２１からの通知を受けて処理を行う。

採点部２３は、インパクト情報格納部１７に格納されたインパクト情報のうちの時刻情報Im_tを参照し、記憶部１５に記憶されている映像データImage11に基づいて複数のダイジェスト動画を生成する。

採点部２３は、各ダイジェスト動画におけるインパクト点を基準にして各ダイジェスト動画を合成することで、合成画像を生成する。

図１５は、この合成画像の生成を示す図である。各ダイジェスト動画におけるインパクト点を、それぞれ、第１〜Ｎ（Ｎ；自然数）インパクト点とする。そして、第１〜Ｎインパクト点のそれぞれの画像１−１〜１−４，２−１〜２−４，Ｎ−１〜Ｎ−４は、第１〜Ｎインパクト点に対応するそれぞれのダイジェスト動画における各フレーム画像を示す。

また、各フレーム画像１−１〜Ｎ−１，１−２〜Ｎ−２，１−３〜Ｎ−３，１−４〜Ｎ−４は、それぞれ、第１〜Ｎインパクト点を基準とし、そこから所定時間前または所定時間後の同じタイミングでのフレーム画像を示す。

例えば、フレーム画像１−１が第１インパクト点から０．１秒前の画像であれば、フレーム画像２−１・・・Ｎ−１も、それぞれ、第２〜Ｎインパクト点から、同じ０．１秒前の画像を示す。

採点部２３は、それぞれ、各フレーム画像１−１〜Ｎ−１，１−２〜Ｎ−２，１−３〜Ｎ−３，１−４〜Ｎ−４を合成する。つまり、採点部２３は、各ダイジェスト動画をフレーム毎に合成してダイジェスト動画の合成画像を生成する。この合成画像は、インパクト点を基準としたユーザ３のフォームスピードのバラツキを画像面内でのブレとして示している。

採点部２３は、生成した合成画像の映像データImage11をデコーダ１８に供給する。

次に、採点部２３は、各合成画像におけるユーザ３のフォームに対して採点を行う。

採点部２３は、ユーザ３のフォームを採点するため、総ブレ量による採点方法又は局所ブレ量による採点方法を用いる。

総ブレ量による採点方法の場合、採点部２３は、合成画像に用いたダイジェスト動画をフレーム毎に比較することにより、ユーザ３の総ブレ量を計算する。

上級者６のフォームは、複数回スイングを行っても各スイング間のブレ量は小さい（フォームスピードのバラツキは小さい）。これに対して、初級者のブレ量は大きく、ゴルフ練習の成果が上がるに従って、ブレ量は小さくなる。

このブレ量に基づいてユーザ３のフォームの採点を行うことができる。採点部２３は、参照ブレ情報格納部２２に予め格納されている上級者６の総ブレ量を参照し、計算したユーザ３の総ブレ量と上級者６の総ブレ量との差δ１を取得する。採点部２３は、取得した差δ１と予め設定されたブレ量閾値とを比較する。

ユーザ３のフォームに対する採点を、例えば、優、良、可、不可のいずれかとするため、δ_th1，δ_th2，δ_th3（δ_th11＜δ_th2＜δ_th3）の３つのブレ量閾値が設定される。採点部２３は、メモリ（図示せず）を備え、これらのブレ量閾値δ_th1，δ_th2，δ_th3を予めメモリに記憶する。

δ_th3＜δ１の場合、採点部２３は、ユーザ３のフォームは不可と判定する。δ_th2＜δ１≦δ_th3の場合、採点部２３は、ユーザ３のフォームは可と判定する。δ_th1＜δ１≦δ_th2の場合、採点部２３は、ユーザ３のフォームは良と判定する。δ１≦δ_th1の場合、採点部２３は、ユーザ３のフォームは優と判定する。

局所ブレ量による採点方法の場合、採点部２３は、合成画像の各ブロックblk1〜blk8毎に、ユーザ３の局所ブレ量を求める。採点部２３は、参照ブレ情報格納部２２に格納された上級者６の各ブロックblk1〜blk8毎の局所ブレ量を参照し、求めたユーザ３の局所ブレ量と上級者６の局所ブレ量との差δ２を求める。採点部２３は、求めた差δ２と各ブレ量閾値δ_th1，δ_th2，δ_th3とを比較する。

局所ブレ量による採点方法の場合、採点部２３は、ブロックblk1〜blk8毎に、差δ２と各ブレ量閾値δ_th1，δ_th2，δ_th3とを比較する。

採点部２３は、ブロックblk1〜blk8毎に評価結果を示すため、ブロックblk1〜blk8毎に彩色を施したり、模様を付したりして合成画像に画像処理を施し、さらに、差δ２と各ブレ量閾値δ_th1，δ_th2，δ_th3との比較結果に基づいてこの彩色、模様を変える。

採点部２３は、総ブレ量による採点方法又は局所ブレ量による採点方法に従ってユーザ３のフォームの採点を行うと、この採点結果のデータをデコーダ１８に供給する。

総ブレ量による採点法、局所ブレ量による採点法の選択を可能とするため、記憶部１５は、図１６（ａ）に示すような選択メニュー、図１６（ｂ）に示すような採点方法選択メニューの画像データを記憶する。

選択メニューは、並べ替え又は採点方法を選択するメニューであり、採点方法選択メニューは、総ブレ量による採点法、局所ブレ量による採点法のいずれかを選択するためのメニューである。

実施形態２の場合、図４（ｂ）に示す再生メニューにおいて、ダイジェスト動画再生モードが選択されると、操作インタフェース１１は、この操作情報をＣＰＵ２１に供給し、ＣＰＵ２１は、この操作情報に基づいて記憶部１５から、選択メニューの画像データをデコーダ１８に供給する。このようにして、ＣＰＵ２１は、選択メニューを液晶モニタ４０に表示させる。

この選択メニューにおいて、アップキー４２Ｕ、ダウンキー４２Ｄが操作されて採点方法が選択され、右キー４２Ｒが押下されると、操作インタフェース１１は、この操作情報をＣＰＵ２１に供給する。

この操作情報が供給されると、ＣＰＵ２１は、記憶部１５から、採点方法選択メニューの画像データを読み出してデコーダ１８に供給する。このようにして、ＣＰＵ２１は、図１６（ｂ）に示すような採点方法選択メニューを液晶モニタ４０に表示させる。なお、本実施形態２では、図１６（ａ）に示す選択メニューで、並べ替えが選択されると、図４（ｃ）に示した並べ替えメニューに移行することが可能となっている。

総ブレ量による採点方法又は局所ブレ量による採点方法が選択された場合、操作インタフェース１１は、採点方法を選択した操作情報をＣＰＵ２１に供給する。

ＣＰＵ２１は、操作インタフェース１１から供給された操作情報に基づいて、選択された採点方法を判別し、判別した採点方法を採点部２３に通知する。

また、ＣＰＵ２１は、操作インタフェース１１から、ダイジェスト動画再生モードが選択されて再生ボタン３９が押下された旨の操作情報が供給されると、この操作情報を採点部２３に通知する。

尚、記憶部１５は、図１７に示すような指示枠７の画像データを記憶している。この指示枠７は、撮影時に、ユーザ３の姿がこの指示枠７に入るようにデジタルカメラ１の位置、向きを指定する位置決めに用いるものである。

ＣＰＵ２１は、動画撮影が選択された場合、撮影時にこの指示枠７の画像データをデコーダ１８に供給し、この指示枠７を液晶モニタ４０に表示させる。

次に実施形態２に係るデジタルカメラ１の動作を説明する。
デジタルカメラ１は、電源ボタン３１が押下されると電源をオンする。
ＣＰＵ２１は、操作インタフェース１１から、ダイジェスト動画撮影モードが選択された旨の操作情報が供給されると、図１７に示す指示枠７の画像データをデコーダ１８に供給し、液晶モニタ４０に指示枠７を表示させる。

このとき、ユーザ３は、ユーザ３自身の姿がこの指示枠７に収まるようにデジタルカメラ１の位置決めを行う。そして、ユーザ３自身の姿がこの指示枠７に収まるようにデジタルカメラ１の位置決めが行われ、操作インタフェース１１から、シャッタボタン３２が押下された旨の操作情報が供給されると、ＣＰＵ２１は、図１０に示すフローチャートに従って、実施形態１と同様に、撮影処理を実行する。

撮影処理を実行した後、操作インタフェース１１から、ダイジェスト動画再生モードが選択され、採点方法が選択された旨の操作情報が供給されると、ＣＰＵ２１は、採点部２３に、選択された採点方法を通知する。

また、操作インタフェース１１から、再生ボタン３９が押下された旨の操作情報が供給されると、ＣＰＵ２１は、この操作情報を採点部２３に通知する。採点部２３は、この通知を受けると、記憶部１５から、再生処理（２）のプログラムデータを読み出して、図１８に示すフローチャートに従い、この処理を実行する。

つまり、操作インタフェース１１から、再生ボタン３９が押下された旨の操作情報が供給されると、採点部２３は、インパクト情報格納部１７に格納されたインパクト情報を参照し、記憶部１５から、ダイジェスト動画撮影モードで撮影された映像データImage11を読み出して、複数のダイジェスト動画を生成し、上述したように、ダイジェスト動画間で、フレーム毎に画像を合成し、ダイジェスト動画の合成画像を生成する（ステップＳ３１）。

採点部２３は、ＣＰＵ２１からの通知に基づいて、総ブレ量による採点方法が選択されているか否かを判定する（ステップＳ３２）。

総ブレ量による採点方法が選択されていると判定した場合（ステップＳ３２；Ｙｅｓ）、採点部２３は、合成画像に用いた各ダイジェスト動画を比較して、フレーム毎にユーザ３の総ブレ量を計算する（ステップＳ３３）。

採点部２３は、参照ブレ情報格納部２２に格納されている上級者６の総ブレ量をフレーム毎に参照して、ユーザ３の総ブレ量とこの上級者６の総ブレ量との差δ１を計算し、計算した差δ１と各総ブレ量閾値δ_th1，δ_th2，δ_th3とを比較することにより、ユーザ３のフォームをフレーム毎に採点する（ステップＳ３４）。

採点部２３は、生成した合成画像の映像データImage11をデコーダ１８に供給する（ステップＳ３５）。

採点部２３は、採点結果のデータをデコーダ１８に供給する（ステップＳ３６）。つまり、採点部２３は、合成されたダイジェスト動画を構成する各合成フレーム画像の表示中に、表示中の合成フレーム画像に対応する採点結果を表示中の合成フレーム画像と対応付けて表示する。
そして、採点部２３は、合成されたダイジェスト動画を構成する各合成フレーム画像を全て表示するとともに、それに対応する採点結果を全て表示すると、この再生処理（２）を終了させる。

一方、ＣＰＵ２１からの通知に基づいて、局所ブレ量による採点方法が選択されていると判定した場合（ステップＳ３２；Ｎｏ）、採点部２３は、ユーザ３のフォームを分割した各ブロックblk1〜blk8毎に対して局所ブレ量をフレーム毎に計算する（ステップＳ３７）。

採点部２３は、参照ブレ情報格納部２２に格納されている上級者６の各ブロックblk1〜blk8の局所ブレ量をフレーム毎に参照して、ユーザ３の各ブロックblk1〜blk8の局所ブレ量とこの上級者６の局所ブレ量との差δ２を計算し、各ブロックblk1〜blk8毎に対して計算した差δ２と各ブレ量閾値δ_th1，δ_th2，δ_th3とを比較する。採点部２３は、比較した結果に基づいてユーザ３のフォームの採点をフレーム毎に行う（ステップＳ３８）。

採点部２３は、採点結果に基づいて合成画像に画像処理を施す（ステップＳ３９）。
採点部２３は、合成画像の映像データImage11をデコーダ１８に供給する（ステップＳ３５）。

採点部２３は、採点結果のデータをデコーダ１８に供給する（ステップＳ３６）。つまり、採点部２３は、合成されたダイジェスト動画を構成する各合成フレーム画像の表示中に、表示中の合成フレーム画像に対応するブロックblk1〜blk8毎の採点結果を表示中の合成フレーム画像における各ブロックblk1〜blk8と対応付けてそれぞれに表示する。

そして、採点部２３は、合成されたダイジェスト動画を構成する各合成フレーム画像を全て表示するとともに、それに対応する採点結果を全て表示すると、この再生処理（２）を終了させる。

次に実施形態２に係るデジタルカメラ１の動作を具体的な活用例に基づいて説明する。

ユーザ３は、ダイジェスト動画撮影モードでの撮影中にボール５を、例えば、４球打つものとする。そして、ＣＰＵ２１は撮影処理を実行し、エンコーダ１４が生成した映像データImage11、音声データSound11を記憶部１５に記憶する。

ここでは、図１２（ａ）に示すように、時刻順にＡ，Ｂ，Ｃ，Ｄの４つのタイミングでインパクト音が発生したものとする。つまり、ボール５を打つ毎に（スイングを行う毎に）ボール５を打つ瞬間にインパクト音が発生したものとする。

インパクト検出部１６は、ダイジェスト動画撮影の終了指示に伴って、インパクト音の発生タイミングとして各インパクト点（Ａ，Ｂ，Ｃ，Ｄ）を検出するとともに、各インパクト点に対応する上述したようなインパクト情報を取得してインパクト情報格納部１７に格納する。

ここで、図１６（ａ）に示したような選択メニューでは、採点方法が選択されているものとする。そして、ユーザにより、ダイジェスト動画再生モードが選択されて再生ボタン３９が押下されると、採点部２３は、インパクト情報格納部１７を参照して、ダイジェスト動画撮影モードで記憶部１５に記憶された映像データImage11、音声データSound11（スイングを４回行ったシーン、つまり、ボール５を４回打ったシーン）やインパクト情報格納部１７に格納されたインパクト情報に基づいて上述したように複数のダイジェスト動画（スイング毎、つまり、ボール５を打つシーン毎に分離されたダイジェスト動画）を生成する。

採点部２３は、各インパクト点（Ａ，Ｂ，Ｃ，Ｄ）を基準として、生成した複数のダイジェスト動画を上述したようにフレーム毎に合成する。

つまり、採点部２３は、図１５に示すように、各インパクト点に対応するダイジェスト動画における各フレーム画像１−１〜４−１，１−２〜４−２，１−３〜４−３，１−４〜４−４を、それぞれ、合成し、図１９（ａ）〜（ｄ）に示すようなフレーム毎の合成画像を生成する（ステップＳ３１の処理）。

尚、図１９（ａ）〜（ｄ）のそれぞれの映像の左上又は右上に付した数値は、それぞれ、合成画像のフレーム番号を示す。採点部２３は、ダイジェスト動画のフレーム画像毎にこのような合成画像の生成を行う。

そして、図１６（ｂ）に示したような採点方法選択メニューで総ブレ量による採点方法が選択された場合（ステップＳ３２；Ｙｅｓ）には、採点部２３が、生成した合成画像の映像データImage11をデコーダ１８に供給すると（ステップＳ３５の処理）、表示部１９は、図２０に示す合成画像を液晶モニタ４０に表示する。

また、採点部２３は、上述したように総ブレ量を計算し、ユーザ３のフォームを採点した結果の採点結果をデコーダ１８に供給し（ステップＳ３３，Ｓ３４，Ｓ３６の処理）、表示部１９は、この採点結果を液晶モニタ４０に表示する。

つまり、採点部２３は、合成されたダイジェスト動画を構成する各合成フレーム画像の表示中に、表示中の合成フレーム画像に対応する採点結果を表示中の合成フレーム画像と対応付けて表示する。

例えば、フレーム番号１の合成画像において、ユーザ３の総ブレ量と上級者６の総ブレ量との差δ１を採点部２３が計算した結果、δ_th1＜δ１≦δ_th2になったものとする。

この場合、採点部２３は、採点結果を良とし、液晶モニタ４０は、図２０に示すように、フレーム番号１の合成画像上に１／良（フレーム番号／採点結果）を表示する。

また、フレーム番号２の合成画像において、採点部２３が差δ１を計算した結果、δ_th2＜δ１≦δ_th3になったものとする。この場合、採点部２３は、採点結果を可とし、液晶モニタ４０は、図２０に示すように、フレーム番号２の合成画像上に２／可を表示する。

また、フレーム番号３の合成画像において、採点部２３が差δ１を計算した結果、δ１≦δ１th1になったものとする。この場合、採点部２３は、採点結果を優とし、液晶モニタ４０は、図２０に示すように、フレーム番号３の合成画像上に３／優を表示する。

また、フレーム番号４の合成画像において、採点部２３が差δ１を計算した結果、δ_th3＜δ１になったものとする。この場合、採点部２３は、採点結果を不可とし、液晶モニタ４０は、図２０に示すように、フレーム番号４の合成画像上に４／不可を表示する。

一方、図１６（ｂ）に示したような採点方法選択メニューで局所ブレ量による採点方法が選択されていた場合（ステップＳ３２；Ｎｏ）、採点部２３は、各ブロックblk1〜blk8毎に対して局所ブレ量をフレーム毎に計算し、ユーザ３のフォームを採点する（ステップＳ３７，Ｓ３８の処理）。

採点部２３は、図２１に示すように、ユーザ３の局所ブレ量と上級者６の局所ブレ量との差δ２と、各ブレ量閾値δ_th1，δ_th2，δ_th3と、の比較結果に基づいて、フレーム番号１の合成画像のブロックblk7、フレーム番号２の合成画像のブロックblk6、フレーム番号４の合成画像のブロックblk5，blk7に模様を付す（ステップＳ３９の処理）。

採点部２３がこの合成画像のデータをデコーダ１８に供給すると（ステップＳ３５の処理）、表示部１９は、図２１に示すように模様を付した合成画像を液晶モニタ４０に表示する。

また、採点部２３が、ユーザ３のフォームを採点した結果の採点結果をデコーダ１８に供給すると（ステップＳ３６の処理）、図２０と同じように、表示部１９は、この採点結果も合わせて液晶モニタ４０に表示する。

従って、液晶モニタ４０には、ユーザ３のフォーム、そのブレ、ユーザ３のフォームの採点結果が表示され、ユーザ３のフォームに欠点がある場合には、その欠点を示す模様がユーザ３のスイングに伴って表示される。

以上説明したように、本実施形態２によれば、上級者６の総ブレ量又は局所ブレ量とユーザ３の総ブレ量又は局所ブレ量とを比較して、ユーザ３のフォームの採点を行うようにした。

従って、ユーザ３のスイングのブレを即座に目視できるので、容易にスイングの欠点を解析することができる。また、ユーザ３のフォームを数値に基づいて客観的に採点することができる。

また、総ブレ量による採点方法を採用した場合、簡易な採点が可能となる。
また、局所ブレ量による採点方法を採用した場合、合成画像に、色彩を施したり、模様を付したりすることにより、ユーザ３に欠点箇所を容易に確認させることができる。

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、上記実施形態１では、並べ替えを図１２（ａ）、（ｂ）に示すように、各ダイジェスト動画の再生表示を時系列的に順次表示させるものとした。

しかし、図２２（ａ）に示すように、インパクト点Ａ，Ｂ，Ｃ，Ｄに対応するダイジェスト動画を一括同時再生する構成としてもよい。そしてこのときに、各ダイジェスト動画の再生表示箇所を液晶モニタ４０内でインパクト情報に基づいて並べ替えるようにしてもよい。

また、所定のダイジェスト動画を比較対象として所定の表示領域に繰り返し再生表示するとともに、他の複数のダイジェスト動画を他の表示領域に時系列的に順次再生表示させる構成としてもよい。そしてこのとき、他の複数のダイジェスト動画の他の表示領域への表示を、インパクト情報に基づいて時系列的に順次再生表示させるようにしてもよい。

例えば、図２２（ｂ）に示すように、インパクト点Ｂのダイジェスト動画を比較対象として、インパクト点Ｂのダイジェスト動画と、インパクト点Ｃ，Ｄ，Ａのそれぞれのダイジェスト動画とを、比較するように、液晶モニタ４０内で並べ替えるようにしてもよい。

また、上記実施形態１では、並べ替えを、音の大きさ、時刻、スイング速度、飛球方向順のいずれかとした。しかし、並べ替えは、これに限られるものではない。

例えば、ユーザ３の運動の成果を評価する評価値を自己採点として、ユーザ３がダイジェスト動画を参照して自己採点の入力を行えるようにして、並べ替えをこの自己採点順としてもよい。

詳述すると、デジタルカメラ１は、このような自己採点を行えるようにするため、図２３（ａ）に示すようなダイジェスト動画オプションメニュー、図２３（ｂ）に示すような自己採点メニューを液晶モニタ４０に表示させる。

図２３（ａ）に示すダイジェスト動画オプションメニューは、ダイジェスト動画のオプションを設定するためのメニューであり、自己採点、並べ替えの項目を有する。

デジタルカメラ１は、図４（ｂ）に示す再生メニューにおいて、アップキー４２Ｕ、ダウンキー４２Ｄが操作されてダイジェスト動画再生モードが選択され、右キー４２Ｒが押下されると、このダイジェスト動画オプションメニューを液晶モニタ４０に表示させる。

このダイジェスト動画オプションメニューにおいて、アップキー４２Ｕ、ダウンキー４２Ｄが操作されて自己採点が選択され、右キー４２Ｒが押下されると、デジタルカメラ１は、図２３（ｂ）に示すような自己採点メニューを液晶モニタ４０に表示させる。

自己採点メニューは、自己採点の有効、無効を選択するためのメニューであり、自己採点の有効、無効は、自己採点メニューにおいて、アップキー４２Ｕ、ダウンキー４２Ｄが操作されて有効、無効が選択され、セットキー４２Ｓが押下されることにより選択される。

ＣＰＵ２１は、操作インタフェース１１から、図２３（ｂ）に示す自己採点メニューにおいて自己採点の有効が選択された旨の操作情報が供給された場合、自己採点は有効と判定する。

自己採点の有効が選択された場合に自己採点データを入力する方法としては、キーによる入力方法、ゼスチャーを認識する方法、音声による入力方法等がある。キーによる入力方法の場合、デジタルカメラ１は、このキーを備える。

ゼスチャーを認識する方法の場合、デジタルカメラ１は、例えば、使用する手袋の色を予め登録しておき、ユーザ３が手袋をした手で数字を描いた場合に、その色の位置の変化パターンに基づいて、描いた数字を認識する。

音声による入力方法の場合、音声認識ＲＯＭ１２は、自己採点時に発話される音声を認識するための音声認識用のデータとして、「いち」、「に」、「さん」、「よん」、「ご」、・・・と、「ゆう（優）」、「りょう（良）」、「か（可）」、「ふか（不可）」といった自己採点データを記憶する。

自己採点メニューにおいて自己採点の有効が選択されていると、ＣＰＵ２１は、上述したようなダイジェスト動画撮影モードにおける撮影処理の終了後に、記憶部１５から、音声データ取得処理のプログラムデータを読み出し、図２４に示すフローチャートに従って、この処理を実行する。

ＣＰＵ２１は、インパクト情報格納部１７を参照し、インパクト情報に基づいてインパクト点の映像データImage11を記憶部１５から読み出して、デコーダ１８に供給することにより、インパクト点の映像を表示させる（ステップＳ４１）。なお、このとき表示させる映像は、上述したようにＣＰＵ２１によって生成されるダイジェスト動画であってもよい。

ＣＰＵ２１は、インパクト点でのフレーム画像（例えばインパクト音発生タイミングに対応するフレーム画像）を表示してから数秒経過後、ＬＥＤランプ３５にＬＥＤ点灯制御信号を供給してＬＥＤランプ３５を点灯する（ステップＳ４２）。

ＣＰＵ２１は、ユーザ３の発話による音声データSound1を入力して、自己採点の入力を受け付けるように、映像・音声入力部１３を制御する（ステップＳ４３）。ＣＰＵ２１は、ＬＥＤランプ３５にＬＥＤ点灯制御信号を供給してから、予め設定された時間経過後にＬＥＤ点灯制御信号の供給を停止してＬＥＤランプ３５を消灯する。

このとき、ユーザは、表示された映像を確認して自己採点を行い、ＬＥＤランプ３５の点灯中に、例えば「ゆう（優）」、「りょう（良）」、「か（可）」、「ふか（不可）」のように発話する。

エンコーダ１４は、入力された音声データSound1を圧縮、符号化して音声データSound11を生成し、ＣＰＵ２１は、エンコーダ１４が圧縮、符号化した音声データSound11を記憶部１５に記憶する（ステップＳ４４）。

ＣＰＵ２１は、インパクト情報格納部１７を参照し、インパクト情報に基づいて、他にインパクト点があるか否かを判定する（ステップＳ４５）。

他にインパクト点があると判定した場合（ステップＳ４５；Ｙｅｓ）、ＣＰＵ２１は、ステップＳ４１〜Ｓ４４を実行する。

他にインパクト点がないと判定した場合（ステップＳ４５；Ｎｏ）、ＣＰＵ２１は、この音声データ取得処理を終了させる。

記憶部１５にユーザ３の発話による音声データSound11が記憶されると、ＣＰＵ２１は、取得した音声データから自己採点データを取得するように、インパクト検出部１６を制御する。インパクト検出部１６は、記憶部１５から、この音声データSound11を読み出す。

音声認識部１６ｈは、インパクト検出部１６が記憶部１５から読み出した音声データSound11と音声認識ＲＯＭ１２に記憶された音声認識用のデータとを比較して、ユーザ３が発話した音声を認識し、音声認識データIm_s2を自己採点データとして出力する。以後、この音声認識データIm_s2を自己採点データIm_s2とする。

インパクト検出部１６は、音声認識部１６ｈが出力した自己採点データIm_s2をインパクト情報としてインパクト情報格納部１７に格納する。

なお、インパクト情報格納部１７は、図２５に示すように、インパクト検出部１６から供給された自己採点データIm_s2をインパクト点毎に格納する。

デジタルカメラ１は、このようにして音声による入力方法により自己採点データを取得する。

次に、図２３（ａ）に示すダイジェスト動画オプションメニューにおいて、アップキー４２Ｕ、ダウンキー４２Ｄが操作されて並べ替えが選択され、右キー４２Ｒが押下されると、デジタルカメラ１は、図２３（ｃ）に示すような並べ替えメニューを液晶モニタ４０に表示させる。

この並べ替えメニューにおいて、アップキー４２Ｕ、ダウンキー４２Ｄが操作され、並べ替えに用いるインパクト情報として自己採点が選択され、セットキー４２Ｓが押下された旨の操作情報が供給されると、ＣＰＵ２１は、インパクト情報格納部１７の並べ替え指定欄のうちの自己採点データの欄に、並べ替えを指定するデータを格納する。

操作インタフェース１１から、ダイジェスト動画再生モードが選択されて再生ボタン３９が押下された旨の操作情報が供給されると、ＣＰＵ２１は、記憶部１５から、再生処理（３）のプログラムのデータを読み出し、図２６に示すフローチャートに従って、この処理を実行する。

ＣＰＵ２１は、図１１に示す再生処理（１）のステップＳ２１〜２７と同様の処理を実行する（ステップＳ５１〜５７）。

ＣＰＵ２１は、操作インタフェース１１から供給された操作情報に基づいて、並べ替えが飛球方向順ではないと判定すると（ステップＳ５６；Ｎｏ）、並べ替えが自己採点順か否かを判定する（ステップＳ５８）。

並べ替えが自己採点順と判定した場合（ステップＳ５８；Ｙｅｓ）、ＣＰＵ２１は、各インパクト点の自己採点データIm_s2を参照し、各インパクト点のダイジェスト動画を自己採点データIm_s2順に並べ替え、映像データImage11、音声データSound11をデコーダ１８に供給する（ステップＳ５９）。

並べ替えが自己採点順ではないと判定した場合（ステップＳ５８；Ｎｏ）、ＣＰＵ２１は、並べ替えが初期設定の時刻順と判定し、各インパクト点のダイジェスト動画を時刻情報Im_t順に並べ替え、映像データImage11、音声データSound11をデコーダ１８に供給する（ステップＳ６０）。そして、ＣＰＵ２１は、この再生処理（３）を終了させる。

このように、ユーザ３の自己採点の結果に基づいて、ダイジェスト動画を整列させて表示させることにより、複数のダイジェスト動画をユーザ３が考えている通りに整列させることができる。このため、ユーザ３の思い通りに自己のフォームを解析を行うことができる。

また、ユーザ３の発話を音声認識して自己採点を行うようにすることにより、容易に自己採点を行うことができる。

上記実施形態１では、スイング速度、飛球方向等の演算を撮影終了後に行うものとした。しかし、これらの演算がＣＰＵの負荷に対して問題にならないような場合には、これらの演算を撮影と平行して行うようにしてもよい。

上記実施形態１では、インパクト情報を、時刻情報、音の大きさ、スイング速度、飛球方向として説明した。しかし、インパクト情報はこれに限られるものではなく、例えば、ボール５の打球速度であってもよい。この場合、インパクト検出部１６は、ボール５の中心の移動距離を検出し、この移動距離と撮影間隔とに基づいてボール５の打球速度を取得する。

上記実施形態１では、検出したインパクト点に対応する全てのダイジェスト動画を表示するものとして説明した。しかし、ダイジェスト動画の表示については、ダイジェスト動画の全てを必ずしも再生しなくてもよい。

例えば、インパクト情報を評価し、評価値の高いものだけを表示してもよい。例えば、インパクト情報としてスイングスピードを評価し、スイングスピードの最も速いものだけを表示したりしてもよい。

上記実施形態１，２では、付随して音が発生する運動として、ゴルフスイングを例に説明した。しかし、このような運動であれば、ゴルフスイングに限られるものではない。例えば、運動は、ボールを用いた運動として、テニスのサーブ練習、野球の打撃練習、バレーボールのサーブ練習、サッカーのシュート練習のような練習であってもよい。

さらに、このような運動は、ボールを用いた運動に限られるものでもなく、例えば、体操競技の跳馬練習、短距離走のスタート練習等であってもよい。

体操競技の跳馬練習の場合は、跳馬台に手をついたときに音が発生し、短距離走のスタート練習の場合、スタート合図を行うときに信号音が発生する。このように体操競技の跳馬練習、短距離走のスタート練習であっても、発生した音を基準にダイジェスト動画を生成することができる。

上記実施形態１，２では、インパクト検出部１６が音の大きさに基づいてインパクト点を検出するようにした。しかし、インパクト検出部１６は、例えば、映像に基づいてインパクト点を検出するようにしてもよい。

ゴルフ練習を例にして説明すると、インパクト点では、インパクト音を発するとともに、ボール５の球速等も変化する。映像データImage11から、この変化タイミングを検出することにより、インパクト点を検出することができる。

上記実施形態１，２では、デジタルカメラ１は、ユーザ３の正面側に配置されるものとして説明した。しかし、デジタルカメラ１の配置位置は、これに限られるものではなく、例えば、ユーザ３の後方に配置されてもよい。

この場合、指示枠７は、ユーザ３の後方から撮影するのにふさわしい形状のものとし、また、参照ブレ情報格納部２２も、上級者６の後方から撮影したときの上級者６のブレ量等を、参照データとして格納する。

上記実施形態２では、総ブレ量が大きい場合でも採点結果を表示するようにした。しかし、総ブレ量が非常に大きく、採点結果を表示するまでもないときは、採点結果の表示を省略してもよい。

上記実施形態１，２では、局所ブレ量が大きい場合、そのブロックに色彩を施したり、模様を付したり等の合成画像の加工を行うようにした。しかし、合成画像の画像処理は、これに限られるものではなく、例えば、局所ブレ量が大きいブロックを、点滅、拡大、画面切替間隔を変える等の処理であってもよい。

上記実施形態２では、ブレ量を画素値の分散の和とした。しかし、ブレ量は、このような算出方法によるものであるとは限らない。例えば、フレーム画像間の差分を撮った上で画素値の分散値を求めてもよい。また、上級者６、ユーザ３のエッジ画像を生成し、座標を設定してエッジ画像の変位の分散値に基づいて、ブレ量を算出するようにしてもよい。また、分散値の代わりに標準偏差を用いてブレ量を算出してもよい。

上記実施形態２では、ダイジェスト動画を合成した合成画像を表示するようにした。しかし、ダイジェスト動画の変わりに、静止画である各フレーム画像の合成画像を並べて表示するようにしてもよい。

上記実施形態１では、インパクト検出部１６、ＣＰＵ２１を異なる構成として説明した。また、上記実施形態２では、インパクト検出部１６、ＣＰＵ２１、採点部２３を異なる構成として説明した。しかし、これらを同じ構成としてもよい。そして、これらの構成等をデジタルカメラ１とは別のコンピュータに含まれるものとして、コンピュータとデジタルカメラ１とを接続するようにしてもよい。

上記実施形態１，２では、被写体をゴルフ練習者、動作をゴルフ練習として説明した。しかし、被写体、動作は、これに限られるものではなく、例えば、被写体を自動車、動作を衝突テストのような機械のテストとしてもよい。この場合、衝突テスト毎に、衝突音が付随音として発生するため、デジタルカメラ１は、この衝突音に基づいてダイジェスト動画を生成する。このように、上記実施形態１，２は、衝突テストのような機械のテストにも適用可能である。

上記実施形態１，２では、ダイジェスト動画は、インパクト点を含み、その前後の予め設定された時間の動画として説明した。しかし、ダイジェスト動画は、インパクト点を含み、このインパクト点を起点とした、その前またはその後の予め設定された時間の動画としてもよい。

上記実施形態１，２では、ダイジェスト動画撮影モードとダイジェスト動画再生モードとを備え、ダイジェスト動画撮影モードの実行に伴って連続動画からインパクト情報を生成し、ダイジェスト動画再生モードにおいてこの生成されたインパクト情報に基づいてダイジェスト動画を再生する構成について説明した。

しかし、ダイジェスト動画撮影モードを備えることなく、ダイジェスト動画再生モードにおいて、撮影済みの連続動画に基づいてインパクト情報を生成するとともに、これに基づいてダイジェスト動画を再生する構成としてもよい。

また、ダイジェスト動画撮影モードにおいてダイジェスト動画の生成までを実行し、ダイジェスト動画再生モードにおいてこの生成されたダイジェスト動画を再生する構成としてもよい。

上記実施形態１，２では、ダイジェスト画像表示装置をデジタルカメラ１として説明した。しかし、ダイジェスト画像表示装置は、デジタルカメラに限られるものではなく、例えば、ビデオカメラであってもよい。

また、表示部１９を大型スクリーンとして、デジタルカメラ１と分離し、さらに、撮影の開始、停止、終了を音声にて行うようにすれば、ユーザ３は、デジタルカメラ１を操作しなくても、音声により、大型スクリーンに映し出された自分のフォームを評価することができる。

また、上記実施形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、上記ダイジェスト画像表示装置を、これを含む装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。

さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

本発明の実施形態１に係るデジタルカメラの構成を示すブロック図である。 ユーザのゴルフ練習の様子を撮影するデジタルカメラを示す図である。 デジタルカメラの外観を示す図であり、（ａ）、（ｂ）、（ｃ）は、それぞれ、デジタルカメラの上面、前面、後面を示す。 図３に示す液晶モニタに表示されるメニューを示す図であり、（ａ）は、動画撮影メニュー、（ｂ）は再生メニュー、（ｃ）は、並べ替えメニューを示す。 図１に示すインパクト検出部の構成を示す図である。 図３に示すインパクト検出部の特性、データ例を示す図であり、（ａ）は、インパクト検出部内の低周波除去フィルタの特性を示す図であり、（ｂ）は、低周波除去フィルタを通過したデータ例を示す図である。 ゴルフクラブのスイング速度を求める方法を示す図である。 飛球方向を求める方法を示す図である。 インパクト情報格納部が格納するインパクト情報を示す図である。 デジタルカメラが実行する撮影処理を示すフローチャートである。 デジタルカメラが実行する再生処理（１）を示すフローチャートである。 実施形態１に係るデジタルカメラの動作の具体例を示す図である。 本発明の実施形態２に係るデジタルカメラの構成を示すブロック図である。 図１３に示す参照ブレ情報格納部が格納する参照データに用いられる上級者の例を示す図であり、（ａ）は、上級者のスイングを示し、（ｂ）は、（ａ）に示す上級者の映像を８つのブロックに分割した例を示す。 図１３に示す採点部の画像合成処理を示す図である。 液晶モニタに表示されるメニューを示す図であり、（ａ）は選択メニュー、（ｂ）は、採点方法選択メニューを示す。 撮影時、デジタルカメラの位置決め用として、図１３に示すＣＰＵが液晶モニタに表示させる指示枠を示す図である。 実施形態２に係るデジタルカメラが実行する再生処理（２）を示すフローチャートである。 実施形態２に係るデジタルカメラの動作の具体例として、採点部が生成した合成画像を示すものであり、（ａ）〜（ｄ）は、それぞれ、例として、４つのフレーム画像を合成した合成画像を示す。 実施形態２に係るデジタルカメラの動作の具体例として、総ブレ量による採点方法を用いた場合に、表示部が液晶モニタに表示した合成画像と採点結果とを示す図である。 実施形態２に係るデジタルカメラの動作の具体例として、局所ブレ量による採点方法を用いた場合に、表示部が液晶モニタに表示した合成画像と採点結果とを示す図である。 実施形態１の並べ替えの応用例（１）を示す図であり、（ａ）は、１つのダイジェスト動画と他のダイジェスト動画とを比較のため、液晶モニタ内で並べ替える例を示し、（ｂ）は、複数のダイジェスト動画を液晶モニタ内で整列させて並べ替える例を示す。 実施形態１の並べ替えの応用例（２）として、自己採点を選択するための各メニューを示す図であり、（ａ）は、ダイジェスト動画オプションメニューを示し、（ｂ）は、自己採点メニューを示し、（ｃ）は、並べ替えメニューを示す。 応用例（２）のデジタルカメラが実行する音声データ取得処理を示すフローチャートである。 応用例（２）のインパクト情報格納部が格納するインパクト情報を示す図である。 応用例（２）のデジタルカメラが実行する再生処理（３）を示すフローチャートである。

符号の説明

１・・・デジタルカメラ、１２・・・音声認識ＲＯＭ、１３・・・映像・音声入力部、１４・・・エンコーダ、１５・・・記憶部、１６・・・インパクト検出部、１７・・・インパクト情報格納部、１８・・・デコーダ、、１９・・・表示部、２１・・・ＣＰＵ、２２・・・参照ブレ情報格納部、２３・・・採点部

Claims (11)

1. 付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する映像取得部と、
   前記付随音を取得する付随音取得部と、
   前記動作を比較するための、前記映像取得部が取得した映像中の動きの程度、又は前記付随音取得部が取得した付随音の大きさの程度を表す比較情報を格納する比較情報格納部と、
   前記映像取得部が取得した映像又は前記付随音取得部が取得した付随音に基づいて、前記付随音が発生する各タイミングを検出するとともに、各タイミング毎の前記比較情報を取得して前記比較情報格納部に格納するタイミング検出部と、
   前記映像取得部が取得した映像から、前記タイミング検出部が検出した各タイミング毎のダイジェスト画像を生成するダイジェスト画像生成部と、
   前記比較情報格納部を参照し、格納された前記比較情報に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するダイジェスト画像表示部と、を備えた、
   ことを特徴とするダイジェスト画像表示装置。
2. 前記動作は、球を用いた運動であり、
   前記映像取得部は、球を用いた運動を複数回行う被写体を撮影して前記被写体の映像を取得する、
   ことを特徴とする請求項１に記載のダイジェスト画像表示装置。
3. 前記動作は、補助具で前記球に衝撃を加えて飛球させる運動であり、
   前記映像取得部は、補助具で前記球に衝撃を加えて飛球させる運動を複数回行う被写体を撮影して前記被写体の映像を取得し、
   前記付随音取得部は、前記付随音として、前記補助具で前記球に衝撃を加えたときに発生する音を取得する、
   ことを特徴とする請求項２に記載のダイジェスト画像表示装置。
4. 前記付随音取得部は、前記球に衝撃が加えられて発生する衝撃音を前記付随音として取得するものである、
   ことを特徴とする請求項３に記載のダイジェスト画像表示装置。
5. 前記付随音取得部は、前記付随音を取得するとともに前記付随音の大きさを取得するものであり、
   前記タイミング検出部は、前記付随音取得部が取得した付随音に基づいて、前記付随音の大きさを、各タイミング毎の比較情報として取得し、取得した前記付随音の大きさを前記比較情報格納部に格納し、
   前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記付随音の大きさに基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示する、
   ことを特徴とする請求項１乃至３のいずれか一項に記載のダイジェスト画像表示装置。
6. 前記ダイジェスト画像生成部が生成したダイジェスト画像毎に、前記被写体の動作を評価する評価値の入力を受け付けて、入力された評価値を前記比較情報として前記比較情報格納部に格納する評価値受付部を備え、
   前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記評価値に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示する、
   ことを特徴とする請求項１乃至３のいずれか一項に記載のダイジェスト画像表示装置。
7. 前記タイミング検出部は、前記映像取得部が取得した映像に基づいて、前記球に衝撃が加えられたときの前記補助具の速度を、各タイミング毎の比較情報として取得し、取得した前記補助具の速度を前記比較情報格納部に格納し、
   前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記補助具の速度に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示する、
   ことを特徴とする請求項３に記載のダイジェスト画像表示装置。
8. 前記タイミング検出部は、前記映像取得部が取得した映像に基づいて、前記球に衝撃が加えられたときの球速を、各タイミング毎の比較情報として取得し、取得した前記球速を前記比較情報格納部に格納し、
   前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記球速に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示する、
   ことを特徴とする請求項３に記載のダイジェスト画像表示装置。
9. 前記タイミング検出部は、前記映像取得部が取得した映像に基づいて、前記球の飛球方向を、各タイミング毎の比較情報として取得し、取得した前記飛球方向を前記比較情報格納部に格納し、
   前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記飛球方向に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示する、
   ことを特徴とする請求項２又は３に記載のダイジェスト画像表示装置。
10. 付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得するステップと、
    前記付随音を取得するステップと、
    取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出するステップと、
    検出した各タイミング毎に、前記映像中の動きの程度又は前記付随音の大きさの程度を表す、前記動作を比較するための比較情報を取得するステップと、
    取得した前記比較情報を格納するステップと、
    取得した前記映像から、検出した各タイミング毎のダイジェスト画像を生成するステップと、
    格納された前記比較情報に基づいて、生成した複数のダイジェスト画像を整列させて表示するステップと、を備えた、
    ことを特徴とするダイジェスト画像表示方法。
11. コンピュータに、
    付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する手順、
    前記付随音を取得する手順、
    取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出する手順、
    検出した各タイミング毎に、前記映像中の動きの程度又は前記付随音の大きさの程度を表す、前記動作を比較するための比較情報を取得する手順、
    取得した比較情報を格納する手順、
    取得した前記映像から、検出した各タイミング毎のダイジェスト画像を生成する手順、
    格納した前記比較情報に基づいて、生成した複数のダイジェスト画像を整列させて表示する手順、
    を実行させるためのプログラム。

Images