JP5240317B2 - Digest image display device, digest image display method and program - Google Patents
Digest image display device, digest image display method and program Download PDFInfo
- Publication number
- JP5240317B2 JP5240317B2 JP2011100293A JP2011100293A JP5240317B2 JP 5240317 B2 JP5240317 B2 JP 5240317B2 JP 2011100293 A JP2011100293 A JP 2011100293A JP 2011100293 A JP2011100293 A JP 2011100293A JP 5240317 B2 JP5240317 B2 JP 5240317B2
- Authority
- JP
- Japan
- Prior art keywords
- digest
- blur amount
- unit
- subject
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
本発明は、ダイジェスト画像表示装置、ダイジェスト画像表示方法及びプログラムに関するものである。 The present invention relates to a digest image display device, a digest image display method, and a program.
従来、スポーツ番組等のダイジェスト(digest)画像(動画)を作成して表示するダイジェスト画像表示装置がある(例えば、特許文献1参照)。 Conventionally, there is a digest image display device that creates and displays a digest image (moving image) of a sports program or the like (see, for example, Patent Document 1).
このダイジェスト画像表示装置は、テレビジョン放送において、音声信号のレベルを検出して、音声信号のレベルが閾値以上となるハイライトシーンを抽出することにより、ダイジェスト画像を作成する。 This digest image display device creates a digest image by detecting the level of an audio signal and extracting a highlight scene in which the level of the audio signal is equal to or greater than a threshold in television broadcasting.
近年、例えば、ビデオカメラや、デジタルカメラを用いて、ゴルフ練習の姿勢解析を行うケースが増えつつある。 In recent years, for example, cases of performing posture analysis for golf practice using a video camera or a digital camera are increasing.
ゴルフ練習では、ゴルフスイングの良否がユーザのフォームに現れてくる。逆に、このフォームを解析してフォームを改善することができれば、ボールも目標とする方向に飛び、打ったボールの飛距離も延びてくる。 In golf practice, the quality of the golf swing appears on the user's form. Conversely, if this form can be analyzed to improve the form, the ball also flies in the target direction and the flight distance of the hit ball also increases.
また、ゴルフ練習の場合、スイングを複数回行うので、ダイジェスト動画を作成することにより、フォームの良否を判別しやすくなる。 In golf practice, the swing is performed a plurality of times, so it is easy to determine the quality of the form by creating a digest video.
しかし、ビデオカメラや、デジタルカメラを従来のダイジェスト画像表示装置に接続してダイジェスト画像を作成しようとしても、ハイライトシーンを検出するだけでは、スイングのダイジェスト画像を作成することはできない。このため、従来のダイジェスト画像表示装置では、動作としてフォーム(姿勢)を詳細に解析することは難しい。 However, even if an attempt is made to create a digest image by connecting a video camera or a digital camera to a conventional digest image display device, a digest image of a swing cannot be created only by detecting a highlight scene. For this reason, in the conventional digest image display device, it is difficult to analyze the form (posture) in detail as the operation.
本発明は、このような従来の問題点に鑑みてなされたもので、動作を容易に解析することが可能なダイジェスト画像表示装置、ダイジェスト画像表示方法及びプログラムを提供することを目的とする。 The present invention has been made in view of such a conventional problem, and an object thereof is to provide a digest image display device, a digest image display method, and a program capable of easily analyzing the operation.
本発明の第1の観点に係るダイジェスト画像表示装置は、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する映像取得部と、
前記付随音を取得する付随音取得部と、
前記映像取得部が取得した映像又は前記付随音取得部が取得した付随音に基づいて、前記付随音が発生する各タイミングを検出するタイミング検出部と、
前記映像取得部が取得した映像から、前記タイミング検出部が検出した各タイミング毎のダイジェスト画像を生成するダイジェスト画像生成部と、
前記ダイジェスト画像生成部が各タイミング毎に生成したダイジェスト画像を、前記タイミング検出部が検出した各タイミングを基準に合成し、前記被写体の姿勢のブレを示す合成画像を生成する合成画像生成部と、
前記合成画像生成部の前記合成画像の生成に用いた各ダイジェスト画像を比較して、前記被写体の姿勢のブレ量を取得するブレ量取得部と、
目標とする目標ブレ量と前記ブレ量取得部が取得した前記被写体のブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価する評価部と、
前記合成画像生成部が生成した合成画像と前記評価部が評価した結果の評価結果とを表示するダイジェスト画像表示部と、を備えたことを特徴とする。
A digest image display device according to a first aspect of the present invention provides:
A video acquisition unit that captures a subject that performs the operation of generating an accompanying sound a plurality of times and acquires a video of the subject;
An accompanying sound acquisition unit for acquiring the accompanying sound;
A timing detection unit that detects each timing at which the accompanying sound is generated based on the video acquired by the video acquisition unit or the accompanying sound acquired by the accompanying sound acquisition unit;
A digest image generation unit that generates a digest image for each timing detected by the timing detection unit from the video acquired by the video acquisition unit;
A combined image generating unit that combines the digest images generated by the digest image generating unit at each timing with reference to the timings detected by the timing detecting unit, and generates a combined image showing blurring of the posture of the subject;
A blur amount acquisition unit that compares the digest images used to generate the composite image of the composite image generation unit and acquires a blur amount of the posture of the subject;
An evaluation unit that compares a target target blur amount with the blur amount of the subject acquired by the blur amount acquisition unit and evaluates the motion of the subject based on a difference between the target blur amount and the blur amount of the subject. When,
A digest image display unit that displays a composite image generated by the composite image generation unit and an evaluation result of a result evaluated by the evaluation unit.
前記ブレ量取得部は、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を比較して、前記被写体の姿勢の総ブレ量を取得し、
前記評価部は、目標とする目標総ブレ量と前記被写体の総ブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価するようにしてもよい。
The blur amount acquisition unit compares a plurality of digest images generated by the digest image generation unit, acquires a total blur amount of the posture of the subject,
The evaluation unit compares the target total blur amount as a target with the total blur amount of the subject, and evaluates the motion of the subject based on a difference between the target blur amount and the blur amount of the subject. Also good.
前記ブレ量取得部は、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を、それぞれ複数のブロックに分割し、分割したブロック毎の前記被写体の姿勢の局所ブレ量を取得し、
前記評価部は、前記ブレ量取得部が取得した各局所ブレ量と前記各局所ブレ量の目標とする目標局所ブレ量とをそれぞれ比較し、前記被写体の各局所ブレ量と目標局所ブレ量との差に基づいて前記被写体の動作を前記ブロック毎に評価し、
前記ダイジェスト画像表示部は、前記ダイジェスト画像生成部が生成した前記ダイジェスト画像と前記評価部がブロック毎に評価した評価結果とを表示するようにしてもよい。
The blur amount acquisition unit divides a plurality of digest images generated by the digest image generation unit into a plurality of blocks, and acquires a local blur amount of the posture of the subject for each of the divided blocks.
The evaluation unit compares each local blur amount acquired by the blur amount acquisition unit with a target local blur amount targeted for each local blur amount, and each local blur amount and target local blur amount of the subject The movement of the subject is evaluated for each block based on the difference between
The digest image display unit may display the digest image generated by the digest image generation unit and the evaluation result evaluated by the evaluation unit for each block.
前記評価部は、前記被写体の各局所ブレ量と目標局所ブレ量との差と、前記差に対して予め設定された閾値とを比較し、前記差が前記閾値以上となったブロックの画像に、評価結果を示すための画像処理を施すようにしてもよい。 The evaluation unit compares a difference between each local blur amount of the subject and the target local blur amount with a threshold value set in advance for the difference, and determines an image of the block in which the difference is equal to or greater than the threshold value. Image processing for indicating the evaluation result may be performed.
前記ダイジェスト画像生成部は、前記タイミング検出部が検出した1つのタイミングにおいて1回の動作における複数のダイジェスト画像を生成し、
前記評価部は、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を並べて合成するようにしてもよい。
The digest image generation unit generates a plurality of digest images in one operation at one timing detected by the timing detection unit,
The evaluation unit may synthesize a plurality of digest images generated by the digest image generation unit side by side.
前記目標ブレ量を記憶する目標ブレ量記憶部を備え、
前記評価部は、前記目標ブレ量記憶部を参照して、前記目標ブレ量を取得するようにしてもよい。
A target blur amount storage unit for storing the target blur amount;
The evaluation unit may acquire the target blur amount with reference to the target blur amount storage unit.
本発明の第2の観点に係るダイジェスト画像表示方法は、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得するステップと、
前記付随音を取得するステップと、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出するステップと、
取得した映像から、検出した各タイミング毎のダイジェスト画像を生成するステップと、
各タイミング毎に生成したダイジェスト画像を、検出した各タイミングを基準に合成し、前記被写体の姿勢のブレを示す合成画像を生成するステップと、
前記合成画像の生成に用いた各ダイジェスト画像を比較して、前記被写体の姿勢のブレ量を取得するステップと、
目標とする目標ブレ量と前記被写体のブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価するステップと、
前記合成画像と評価した結果の評価結果とを表示するステップと、を備えたことを特徴とする。
A digest image display method according to a second aspect of the present invention includes:
Photographing a subject that performs an operation of generating an accompanying sound a plurality of times, and obtaining an image of the subject;
Obtaining the accompanying sound;
Detecting each timing at which the accompanying sound is generated based on the acquired video or the accompanying sound; and
Generating a digest image for each detected timing from the acquired video;
Synthesizing the digest image generated at each timing with reference to each detected timing, and generating a composite image showing blurring of the posture of the subject;
Comparing each digest image used to generate the composite image to obtain a blur amount of the posture of the subject;
Comparing a target target blur amount with the subject blur amount, and evaluating the motion of the subject based on a difference between the target blur amount and the subject blur amount;
Displaying the composite image and the evaluation result of the evaluation result.
本発明の第3の観点に係るプログラムは、
コンピュータに、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する手順、
前記付随音を取得する手順、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出する手順、
取得した映像から、検出した各タイミング毎のダイジェスト画像を生成する手順、
各タイミング毎に生成したダイジェスト画像を、検出した各タイミングを基準に合成し、前記被写体の姿勢のブレを示す合成画像を生成する手順、
前記合成画像の生成に用いた各ダイジェスト画像を比較して、前記被写体の姿勢のブレ量を取得する手順、
目標とする目標ブレ量と前記被写体のブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価する手順、
前記合成画像と評価した結果の評価結果とを表示する手順、
を実行させるためのものである。
The program according to the third aspect of the present invention is:
On the computer,
A procedure for photographing a subject that performs an operation that generates an accompanying sound a plurality of times and acquiring an image of the subject,
Obtaining the accompanying sound;
A procedure for detecting each timing at which the accompanying sound is generated based on the acquired video or the accompanying sound,
A procedure for generating a digest image for each detected timing from the acquired video,
A procedure for synthesizing a digest image generated at each timing with reference to each detected timing, and generating a synthesized image showing blurring of the posture of the subject,
A procedure for comparing each digest image used to generate the composite image and obtaining a blur amount of the posture of the subject;
A procedure for comparing a target blur amount and a blur amount of the subject, and evaluating the motion of the subject based on a difference between the target blur amount and the blur amount of the subject;
A procedure for displaying the composite image and an evaluation result of the evaluation result;
Is to execute.
本発明によれば、動作を容易に解析することができる。 According to the present invention, the operation can be easily analyzed.
以下、本発明の実施形態に係るダイジェスト画像表示装置を図面を参照して説明する。尚、本実施形態では、ダイジェスト画像表示装置をデジタルカメラとして説明する。
(実施形態1)
実施形態1に係るデジタルカメラの構成を図1に示す。
実施形態1に係るデジタルカメラ1は、操作インタフェース11と、音声認識ROM12と、映像・音声入力部13と、エンコーダ14と、記憶部15と、インパクト検出部16と、インパクト情報格納部17と、デコーダ18と、表示部19と、スピーカ20と、CPU21と、を備える。
Hereinafter, a digest image display apparatus according to an embodiment of the present invention will be described with reference to the drawings. In the present embodiment, the digest image display device is described as a digital camera.
(Embodiment 1)
FIG. 1 shows the configuration of the digital camera according to the first embodiment.
The
本実施形態1では、動作、運動としてゴルフ練習を対象として説明する。ゴルフは、ボールを用いた競技であり、ゴルフでは、補助具としてゴルフクラブを使用し、ゴルフクラブでボールに衝撃を加えてボールを飛球させる。 In the first embodiment, golf practice will be described as motion and exercise. Golf is a competition using a ball. In golf, a golf club is used as an auxiliary tool, and the ball is impacted by the golf club to cause the ball to fly.
ゴルフ練習では、被写体としてのユーザの動作に付随して、ゴルフクラブでボールに衝撃を加えたときのインパクト音が、動作に付随する付随音として発生する。 In golf practice, accompanying a user's action as a subject, an impact sound when an impact is applied to the ball with a golf club is generated as an accompanying sound accompanying the action.
また、ゴルフ練習では、ユーザが同じようなスイング動作を複数回行い、その都度、インパクト音が発生する。 In golf practice, the user performs a similar swing motion a plurality of times, and an impact sound is generated each time.
本実施形態1のデジタルカメラ1は、インパクト音が発生するタイミングのこのインパクト点を検出し、検出したインパクト点のインパクト情報に基づいてダイジェスト動画(画像)を生成する。このダイジェスト動画は、インパクト点を含み、その前後の予め設定された時間の動画である。
The
そして、デジタルカメラ1は、インパクト情報に基づいて各ダイジェスト動画を整列させることにより、ユーザの動作、運動としてのゴルフ練習の成果を解析できるようにしたものである。
And the
このデジタルカメラ1は、高速連写可能なカメラであり、図2に示すように、三脚2に取り付けられて、画角内に、ゴルフ練習者としてのユーザ3と、ゴルフクラブ4と、ボール5と、が収まるように設置される。そして、デジタルカメラ1は、ユーザ3のゴルフ練習の様子を撮影する。
The
デジタルカメラ1は、図3(a)、(b)に示すように、上面部に、電源ボタン31とシャッタボタン32とを備え、前面部に、レンズ33とマイク34とLEDランプ35とフラッシュ36とを備える。
As shown in FIGS. 3A and 3B, the
また、デジタルカメラ1は、図3(c)に示すように、後面部に、動画撮影ボタン37と静止画撮影ボタン38と再生ボタン39と液晶モニタ40とメニューボタン41と、コントロール部42とを備える。
Also, as shown in FIG. 3C, the
図3(a)に示す電源ボタン31は、デジタルカメラ1の電源をオン、オフするためのボタンである。デジタルカメラ1は、電源ボタン31が押下される毎に、電源をオン、オフする。
A
シャッタボタン32は、撮影を指示するためのボタンである。デジタルカメラ1は、シャッタボタン32が押下されると撮影を開始する。静止画撮影の場合、デジタルカメラ1は、電源がオンしている間、シャッタボタン32が押下される毎に静止画撮影を行う。また、動画撮影の場合、デジタルカメラ1は、電源がオンしている間、シャッタボタン32が押下される毎に、動画撮影の開始、動画撮影の停止を繰り返す。
The shutter button 32 is a button for instructing photographing. The
図3(a)、(b)に示すレンズ33は、ユーザ3、ゴルフクラブ4、ボール5の像を、内蔵する撮像素子(図示せず)に結像させるためのものである。デジタルカメラ1は、ユーザ3を撮影し、撮像素子は、映像データImage1を生成する。
The lenses 33 shown in FIGS. 3A and 3B are for forming images of the
図3(b)に示すマイク34は、ゴルフクラブ4がボール5に衝撃を与えたときに発する打撃音、ユーザ3が発話したときの音声を取得して音声データSound1を生成するものである。
The microphone 34 shown in FIG. 3 (b) generates sound data Sound1 by acquiring a hitting sound emitted when the
マイク34は、打撃音の音の大きさを示すデータとして、音の大きさ(単位;sone)、音圧(単位;μpa)、音圧レベル(単位;dB)のいずれかを取得可能なものである。 The microphone 34 can acquire any one of sound volume (unit: sone), sound pressure (unit: μpa), and sound pressure level (unit: dB) as data indicating the volume of the hitting sound. It is.
LEDランプ35は、ユーザ3の音声を入力する場合に、ユーザ3に音声の入力が可能であることを示すために点灯するものである。LEDランプ35は、インパクト点を検出してから予め設定された時間経過後、予め設定された時間だけ、CPU21からLED点灯制御信号が供給されて点灯する。フラッシュ36は、ユーザ3等を照明するためのものである。
The
図3(c)に示す動画撮影ボタン37は、動画撮影を選択するためのボタンである。デジタルカメラ1は、動画撮影ボタン37が押下されると動画撮影を選択する。
The moving
静止画撮影ボタン38は、静止画撮影を選択するためのボタンである。静止画撮影の場合、デジタルカメラ1は、静止画撮影ボタン38が押下されると、静止画撮影を選択する。
The still
再生ボタン39は、撮影によって得られた動画、静止画の再生を指示するためのボタンである。
The
液晶モニタ40は、静止画、連続動画、ダイジェスト動画、メニューを表示するものである。このメニューは、デジタルカメラ1の機能を設定するためのものであり、メニューボタン41は、このメニューを表示するためのボタンである。
The liquid crystal monitor 40 displays a still image, a continuous moving image, a digest moving image, and a menu. This menu is for setting functions of the
コントロール部42は、液晶モニタ40に表示された静止画、連続動画、ダイジェスト動画を選択するとともに、デジタルカメラ1の機能を選択、設定するための操作部であり、アップキー42Uと、ダウンキー42Dと、左キー42Lと、右キー42Rと、セットキー42Sと、からなる。
The
アップキー42U、ダウンキー42D、左キー42L、右キー42Rは、それぞれ、選択する画像、選択するメニューの項目を上下左右に移動させるためのボタンである。
セットキー42Sは、メニューにおいて選択された項目を確定させるためのキーである。
The up key 42U, the down key 42D, the
The
動画撮影ボタン37が押下されてメニューボタン41が押下されると、デジタルカメラ1は、液晶モニタ40に、図4(a)に示すような動画撮影メニューを表示させる。
When the moving
動画撮影メニューは、連続動画撮影モード又はダイジェスト動画撮影モードを選択するためのメニューである。連続動画撮影モードは、動画撮影を行って連続動画を生成するモードである。 The moving image shooting menu is a menu for selecting a continuous moving image shooting mode or a digest moving image shooting mode. The continuous moving image shooting mode is a mode in which moving image shooting is performed to generate a continuous moving image.
また、ダイジェスト動画撮影モードは、動画撮影を行って連続動画を生成するとともに、生成した連続動画に基づいて再生時に複数のダイジェスト動画を再生できるように所定の情報を得るためのモードである。 The digest moving image shooting mode is a mode for obtaining predetermined information so that a plurality of digest moving images can be reproduced based on the generated continuous moving images while performing moving image shooting to generate continuous moving images.
連続動画撮影モード又はダイジェスト動画撮影モードは、動画撮影メニューにおいて、アップキー42U又はダウンキー42Dが操作されることにより、選択される。 The continuous moving image shooting mode or the digest moving image shooting mode is selected by operating the up key 42U or the down key 42D in the moving image shooting menu.
再生ボタン39が押下されてメニューボタン41が押下されると、デジタルカメラ1は、図4(b)に示すような再生メニューを液晶モニタ40に表示させる。
When the
再生メニューは、静止画再生モード、連続動画再生モード、ダイジェスト動画再生モードのいずれかのモードを選択するメニューである。静止画再生モード、連続動画再生モード、ダイジェスト動画再生モードは、それぞれ、静止画撮影、連続動画撮影モードまたはダイジェスト動画撮影モードで得られる、静止画、連続動画、ダイジェスト動画を再生するモードである。 The playback menu is a menu for selecting one of a still image playback mode, a continuous video playback mode, and a digest video playback mode. The still image reproduction mode, continuous moving image reproduction mode, and digest moving image reproduction mode are modes for reproducing still images, continuous moving images, and digest moving images that are obtained in still image shooting, continuous moving image shooting mode, and digest moving image shooting mode, respectively.
静止画再生モード、連続動画再生モード、ダイジェスト動画再生モードは、再生メニューにおいて、アップキー42U、ダウンキー42Dが操作されることにより選択される。 The still image playback mode, continuous video playback mode, and digest video playback mode are selected by operating the up key 42U and the down key 42D in the playback menu.
また、ダイジェスト動画再生モードが選択された場合、右キー42Rが押下されると、デジタルカメラ1は、図4(c)に示すような並べ替えメニューを液晶モニタ40に表示させる。
When the digest video playback mode is selected, when the right key 42R is pressed, the
並べ替えメニューは、詳細は後述するように得た複数の各ダイジェスト動画の並べ替え順を選択するためのメニューである。本実施形態1のデジタルカメラ1は、時刻順、音の大きさ順、スイング速度順、飛球方向順の並べ替えが可能なものであり、並べ替えメニューにおいて、これらの並べ替えを示す時刻、音の大きさ、スイング速度、飛球方向を液晶モニタ40に表示させる。
The rearrangement menu is a menu for selecting the rearrangement order of a plurality of digest videos obtained as will be described later in detail. The
これらの並べ替えは、並べ替えメニューにおいて、アップキー42U、ダウンキー42Dが操作されることにより選択される。 These rearrangements are selected by operating the up key 42U and the down key 42D in the rearrangement menu.
尚、デジタルカメラ1は、図4(c)に示す並べ替えのうち、時刻順を初期設定(default)とする。
Note that the
並べ替えメニューにおいて、アップキー42U、ダウンキー42Dが押下されて、時刻、音の大きさ、スイング速度、飛球方向のいずれかの並べ替えが選択されてセットキー42Sが押下されると、デジタルカメラ1は、並べ替えを、選択された順に設定する。
In the rearrangement menu, when the up key 42U and the down key 42D are pressed, any one of time, sound volume, swing speed, and flying direction is selected and the
図1に戻り、操作インタフェース11は、各種ボタン、キーが操作されたときの操作情報を取得するものであり、取得した操作情報をCPU21に供給する。
Returning to FIG. 1, the
音声認識ROM(Read Only Memory)12は、音声認識用のデータを記憶するメモリである。 A voice recognition ROM (Read Only Memory) 12 is a memory for storing voice recognition data.
映像・音声入力部13は、撮像素子が生成した映像データImage1、マイク34が生成した音声データSound1を入力して、ユーザ3の映像、インパクト音を取得するものである。映像・音声入力部13は、連続動画撮影、ダイジェスト動画撮影を行う場合、撮影を開始してから、撮影が終了するまでのすべての映像データImage1、音声データSound1を入力する。
The video /
エンコーダ14は、映像・音声入力部13が入力した映像データImage1、音声データSound1を、それぞれ、圧縮、符号化し、圧縮、符号化した映像データImage11、音声データSound11を生成するものである。
The
記憶部15は、HDD(Hard Disk Drive)、不揮発性メモリ等によって構成されたものであり、各種データを記憶する。記憶部15は、データとして、エンコーダ14が圧縮、符号化した映像データImage11、音声データSound11、図4(a)〜(c)に示すメニュー表示用のデータを記憶する。また、記憶部15は、データとして、CPU21が実行するプログラムのデータを記憶する。
The
インパクト検出部16は、映像・音声入力部13が取得したインパクト音(音声データSound1またはSound11)に基づいて、ゴルフクラブ4がボール5に衝撃を与えたときの各インパクト点を検出し、このインパクト点のインパクト情報を取得するものである。このインパクト点はインパクト音が発生するタイミングであり、インパクト情報は、ユーザ3のゴルフ練習の成果を比較するための比較情報である。
The
インパクト検出部16は、図5に示すように、低周波除去フィルタ16aと、メモリ16bと、データ出力器16cと、時刻計測部16dと、分離度フィルタ16eと、スイング速度取得部16fと、飛球方向取得部16gと、音声認識部16hと、を備える。
As shown in FIG. 5, the
インパクト検出部16は、ダイジェスト動画撮影モードが選択された場合、記憶部15から、音声データSound11を読み出す。
The
低周波除去フィルタ16aは、読み出された音声データSound11から、周辺ノイズを除去するためのフィルタであり、図6(a)に示すように、カットオフ周波数fc以下の周波数成分を周辺ノイズとして除去する。
The low
これにより、インパクト検出部16は、低周波除去フィルタ16aから出力された図6(b)に示すような音の大きさ(データ)Im_s1を取得する。
As a result, the
メモリ16bは、打撃音を判別するため、この音の大きさIm_s1に対して予め設定された閾値S_thを記憶するものである。
The
データ出力器16cは、低周波除去フィルタ16aを通過した音の大きさIm_s1の出力を制御するものである。データ出力器16cは、メモリ16bから閾値S_thを取得し、低周波除去フィルタ16aを通過した音の大きさIm_s1と閾値S_thとを比較する。
The
そして、データ出力器16cは、比較の結果、音の大きさIm_s1が閾値S_th以上となったとき、このデータIm_sを出力し、インパクト検出部16は、データ出力器16cが音の大きさIm_s1を出力したとき、このタイミングをインパクト点と判別する。
Then, as a result of the comparison, the
時刻計測部16dは、時刻を計測するものである。時刻計測部16dは、インパクト点の時刻情報Im_tを取得する。
The
分離度フィルタ16eは、映像データImage11から、ゴルフクラブ4、ボール5の画像を分離するフィルタである。分離度フィルタ16eは、狭い範囲の濃淡値の分布が二重の環形にどの程度近いかを測ることにより映像データImage11から特定の画像を分離するフィルタである。
The
この分離度フィルタ16eは、出力値が明るさに依存しないため、明暗の差が少ない不明瞭な特徴点に対しても安定な抽出が可能であるという特徴を有している。
The
スイング速度取得部16fは、分離度フィルタ16eが分離したゴルフクラブ4のスイング動作時のスイング速度Im_vを取得するものである。例えば、図7に示すようなゴルフクラブ4の画像4−1,4−2,4−3が得られた場合、スイング速度取得部16fは、この画像4−1〜4−3のヘッドの距離と撮影間隔とに基づいてゴルフクラブ4のスイング速度Im_vを取得する。
The swing
なお、スイング速度取得部16fは、時刻計測部16dにより取得された時刻情報Im_tに基づいてインパクト点近傍の映像データImage11を取得し、該取得したインパクト点近傍の映像データImage11に基づいてそれぞれインパクト点毎にスイング速度Im_vを取得する。
The swing
飛球方向取得部16gは、分離度フィルタ16eが分離したボール5の画像から、ボール5の飛球方向を示す飛球方向Im_cを取得するものである。飛球方向取得部16gは、飛球方向Im_cをd1〜d8に分類する。
The flying ball
例えば、図8に示すようなボール5の画像5−1,5−2が得られた場合、飛球方向取得部16gは、ボール5の飛球方向Im_cを、最も近い飛球方向d2に分類する。
For example, when the images 5-1 and 5-2 of the
なお、飛球方向取得部16gは、時刻計測部16dにより取得された時刻情報Im_tに基づいてインパクト点近傍の映像データImage11を取得し、該取得したインパクト点近傍の映像データImage11に基づいてそれぞれインパクト点毎に飛球方向Im_cを取得する。
The flying ball
音声認識部16hは、ユーザ3が発話した音声を認識して認識した結果の音声認識データIm_s2を出力するものである。音声認識部16hは、記憶部15から読み出した音声データSound11と音声認識ROM12に記憶された音声認識用のデータとを比較して、ユーザ3が発話した音声を認識する。
The
インパクト検出部16は、これらの音の大きさIm_s1、時刻情報Im_t、スイング速度Im_v、飛球方向Im_cを、インパクト点毎に分類してインパクト情報としてインパクト情報格納部17に格納する。
The
インパクト情報格納部17は、上述したようにして得たインパクト情報を格納するものである。インパクト情報格納部17は、供給されたインパクト情報を、図9に示すように、インパクト点毎に格納する。 The impact information storage unit 17 stores the impact information obtained as described above. The impact information storage unit 17 stores the supplied impact information for each impact point as shown in FIG.
尚、図9に示す並べ替え指定欄は、並べ替えに用いるインパクト情報を指定するための欄である。インパクト情報が指定されなければ、図中、○印で示すように、並べ替えに用いるインパクト情報を指定するデータは、初期設定の時刻情報Im_tの並べ替え指定欄に格納される。 Note that the rearrangement designation field shown in FIG. 9 is a field for designating impact information used for rearrangement. If the impact information is not designated, the data designating the impact information used for the rearrangement is stored in the rearrangement designation field of the initial time information Im_t, as indicated by a circle in the figure.
デコーダ18は、供給された映像データImage11、音声データSound11、メニュー表示用のデータを伸長、解読(デコード)するためのものである。
The
静止画再生モードが選択された場合、連続動画再生モードが選択された場合、デコーダ18には、記憶部15から、それぞれ、静止画の映像データImage11、連続動画の映像データImage11、音声データSound11が供給される。
When the still image playback mode is selected, or when the continuous movie playback mode is selected, the
また、ダイジェスト動画再生モードが選択された場合、デコーダ18には、記憶部15から、インパクト情報格納部17に格納されたインパクト情報に基づいて連続動画の映像データImage11、音声データSound11から所定の映像期間または音声期間として選択された複数のダイジェスト動画の映像データImage11、音声データSound11が供給される。
When the digest video playback mode is selected, the
また、メニューボタン41が押下され、コントロール部42の各キーが押下されたときは、図4(a)〜(c)に示すようなメニューの映像データImage11が供給される。
Further, when the
デコーダ18は、記憶部15から供給された映像データImage11、音声データSound11を伸長、解読して映像データImage1、音声データSound1を生成し、この映像データImage1、音声データSound1を、それぞれ、表示部19、スピーカ20に供給する。
The
表示部19は、図3(c)に示す液晶モニタ40を備えたものであり、CPU21の制御の下、デコーダ18から供給された映像データImage1に基づいて、静止画、連続動画、複数のダイジェスト動画、メニューを液晶モニタ40に表示する。
The
スピーカ20は、CPU21の制御の下、デコーダ18から供給された音声データSound1に基づいて、音声を発するものである。
The
CPU(Central Processing Unit)21は、操作インタフェース11から供給された操作情報に基づいて、デジタルカメラ1全体を制御するものである。
A CPU (Central Processing Unit) 21 controls the entire
CPU21は、操作インタフェース11から、各種ボタン、各キーが押下された旨の情報が供給されると、供給された操作情報に基づいて各部を制御する。
When the information indicating that various buttons and keys are pressed is supplied from the
具体的に、CPU21は、撮影前、あるいは撮影終了後に、図4(c)に示す並べ替えメニューにおいて、並べ替えに用いるインパクト情報が選択された場合、操作インタフェース11から供給された操作情報に基づいて、このインパクト情報を判別する。
Specifically, the
そして、CPU21は、図9に示す並べ替え指定欄のうち、判別したインパクト情報の欄に、並べ替えを指定するデータを格納する。 And CPU21 stores the data which designates rearrangement in the column of the identified impact information among the rearrangement designation | designated columns shown in FIG.
CPU21は、操作インタフェース11から、シャッタボタン32が押下された旨の操作情報が供給されると、映像データImage1、音声データSound1を入力するように映像・音声入力部13を制御する。
When the operation information indicating that the shutter button 32 is pressed is supplied from the
動画撮影の場合、CPU21は、操作インタフェース11から、シャッタボタン32が押下された旨の操作情報が供給される毎に、映像データImage1、音声データSound1の入力、入力の停止を行うように映像・音声入力部13を制御する。
In the case of moving image shooting, every time operation information indicating that the shutter button 32 is pressed is supplied from the
この場合、CPU21は、連続動画撮影モードが選択されたときだけでなく、ダイジェスト動画撮影モードが選択されたときでも、インパクト点前の動画も含めてダイジェスト動画を生成する。このため、CPU21は、すべての映像データImage1、音声データSound1を入力するように映像・音声入力部13を制御する。
In this case, the
そして、CPU21は、映像・音声入力部13が入力した映像データImage1、音声データSound1を圧縮、符号化して映像データImage11、音声データSound11を生成するようにエンコーダ14を制御し、生成した映像データImage11、音声データSound11を記憶部15に記憶する。
Then, the
CPU21は、操作インタフェース11から、ダイジェスト動画撮影モードが選択された旨の操作情報が供給されると、インパクト点を検出するようにインパクト検出部16を制御する。
When the operation information indicating that the digest moving image shooting mode is selected is supplied from the
CPU21は、インパクト検出部16が各インパクト点を検出すると、インパクト点毎に、当該インパクト点での画像を含むように、インパクト点前後の予め設定された時間分のダイジェスト動画を、記憶部15が記憶する映像データImage11と音声データSound11とに基づいて生成する。CPU21は、インパクト点毎に生成することで得た複数のダイジェスト動画としての映像データImage11と音声データSound11とを記憶部15に記憶する。
When the
ユーザ3が発話した音声を認識する場合、CPU21は、LEDランプ35にLED点灯制御信号を供給して、LEDランプ35を点灯する。
When recognizing the voice uttered by the
そして、CPU21は、LED点灯制御信号を供給してから予め設定された点灯時間経過後に、このLED点灯制御信号の供給を停止して、LEDランプ35を消灯する。
Then, the
CPU21は、LED点灯制御信号を供給している間、マイク34が生成した音声データSound1を入力するように映像・音声入力部13を制御する。CPU21は、ユーザ3が発話した音声を認識するようにインパクト検出部16を制御する。
The
CPU21は、操作インタフェース11から、静止画再生モードが選択されて再生ボタン39が押下された旨の操作情報が供給されると、記憶部15から静止画の映像データImage11を読み出してデコーダ18に供給する。
When the operation information indicating that the still image reproduction mode is selected and the
CPU21は、操作インタフェース11から、連続動画再生モードが選択されて再生ボタン39が押下された旨の操作情報が供給されると、記憶部15から連続動画の映像データImage11、音声データSound11を読み出してデコーダ18に供給する。
When the operation information indicating that the continuous video playback mode is selected and the
CPU21は、操作インタフェース11から、ダイジェスト動画再生モードが選択されて再生ボタン39が押下された旨の操作情報が供給されると、各インパクト点に対応するダイジェスト動画を順次再生する。
When the operation information indicating that the digest video playback mode is selected and the
なお、CPU21は、ダイジェスト動画を生成および再生するため、インパクト情報格納部17から各インパクト点の時刻情報Imt_tを読み出す。CPU21は、読み出した各時刻情報Imt_tに対応するように、インパクト点を含み、その前後の予め設定された時間の映像データImage11、音声データSound11を記憶部15から読み出す。この映像データImage11、音声データSound11がダイジェスト動画用のデータであり、CPU21は、このようにして各インパクト点に対応するダイジェスト動画を生成する。
Note that the
また、CPU21は、生成したダイジェスト動画の並べ替えを行う。CPU21は、並べ替えを行うため、インパクト情報格納部17を参照し、図9に示す並べ替え指定欄に格納されたデータに基づいて並べ替えに用いるインパクト情報を判別する。CPU21は、記憶部15から読み出した映像データImage11、音声データSound11を、判別したインパクト情報に基づいて整列させる。
The
CPU21は、整列させた映像データImage11(整列された複数のダイジェスト動画Image11)、音声データSound11をデコーダ18に供給する。CPU21は、このようにして、生成した複数のダイジェスト画像を、整列させて液晶モニタ40に表示させる。
The
次に実施形態1に係るデジタルカメラ1の動作を説明する。
デジタルカメラ1は、電源ボタン31が押下されると電源をオンする。
Next, the operation of the
The
デジタルカメラ1は、再生ボタン39が押下され、メニューボタン41が押下されると、図4(b)に示す再生メニューを液晶モニタ40に表示させ、ダイジェスト動画再生モードが選択されると、図4(c)に示す並べ替えメニューを液晶モニタ40に表示させる。
When the
この並べ替えメニューにおいて、それぞれ、音の大きさ、スイング速度、飛球方向が選択され、右キー42Rが押下された旨の操作情報が、操作インタフェース11から供給されると、CPU21は、複数のダイジェスト画像の並べ替えに用いるインパクト情報を判別する。
When the sound information, the swing speed, and the flying direction are selected in the rearrangement menu and operation information indicating that the right key 42R is pressed is supplied from the
CPU21は、このインパクト情報を判別すると、図9に示す並べ替え指定欄のうち、判別したインパクト情報の欄に、並べ替えを指定するデータを格納する。
When the
また、CPU21は、図4(a)に示す動画撮影メニューにおいて、操作インタフェース11から、連続動画撮影モード又はダイジェスト動画撮影モードが選択され、シャッタボタン32が押下された旨の操作情報が供給されると、記憶部15から、撮影処理のプログラムデータを読み出し、図10に示すフローチャートに従って、この処理を実行する。
Further, the
つまり、CPU21は、一回目のシャッタボタン32が押下された旨の操作情報が供給されると、動画撮影を開始する(ステップS11)。
そして、CPU21は、操作インタフェース11から供給されたシャッタボタン32の操作情報に基づいて、動画撮影継続か否かを判定する(ステップS12)。
That is, when the operation information indicating that the first shutter button 32 has been pressed is supplied, the
Then, the
再度シャッタボタン32が押下された旨の操作情報が供給されなかった場合、CPU21は、動画撮影の継続と判定する(ステップS12;Yes)。この場合、CPU21は、映像データImage1、音声データSound1を入力するように映像・音声入力部13を制御し、圧縮、符号化して映像データImage11、音声データSound11を生成するようにエンコーダ14を制御する(ステップS13)。
When the operation information indicating that the shutter button 32 is pressed again is not supplied, the
CPU21は、エンコーダ14が生成した映像データImage11、音声データSound11を記憶部15に記憶し(ステップS14)、再度、動画撮影継続か否かを判定する(ステップS12)。
The
再度シャッタボタン32が押下された旨の操作情報が供給された場合、CPU21は、動画撮影の終了が指示されたと判定する(ステップS12;No)。この場合、CPU21は、映像データImage1、音声データSound1の入力を停止するように映像・音声入力部13を制御するとともに、操作インタフェース11から供給された操作情報に基づいて、インパクト点を検出するか否かを判定する(ステップS15)。
When operation information indicating that the shutter button 32 has been pressed again is supplied, the
動画撮影メニューにおいて、ダイジェスト動画撮影モードが選択されていなかった場合、操作インタフェース11は、その旨の操作情報をCPU21に供給し、CPU21は、インパクト点を検出しないと判定する(ステップS15;No)。この場合、CPU21は、この撮影処理を終了させる。
When the digest movie shooting mode is not selected in the movie shooting menu, the
動画撮影メニューにおいて、ダイジェスト動画撮影モードが選択されていた場合、操作インタフェース11は、その旨の操作情報をCPU21に供給し、CPU21は、インパクト点を検出すると判定する(ステップS15;Yes)。そして、CPU21は、インパクト点を検出するようにインパクト検出部16を制御する。
If the digest movie shooting mode is selected in the movie shooting menu, the
インパクト検出部16は、記憶部15から、映像データImage11、音声データSound11を読み出して、上述したようにインパクト点を検出し、音の大きさIm_s1、時刻情報Im_t、スイング速度Im_v、飛球方向Im_cを、インパクト情報(比較情報)としてインパクト情報格納部17に格納する(ステップS16)。そして、CPU21は、この撮影処理を終了させる。
The
尚、再々度シャッタボタン32が押下された旨の操作情報が供給された場合、CPU21は、再度、撮影処理を実行する。
When operation information indicating that the shutter button 32 has been pressed again is supplied, the
次に、図4(b)に示す再生メニューにおいて、ダイジェスト動画再生モードが選択されて再生ボタン39が押下された旨の操作情報が、操作インタフェース11から供給されると、CPU21は、記憶部15から、再生処理(1)のプログラムデータを読み出して、図11に示すフローチャートに従い、この処理を実行する。
Next, in the playback menu shown in FIG. 4B, when the operation information indicating that the digest video playback mode is selected and the
つまり、ダイジェスト動画再生モードが選択されて再生ボタン39が押下された旨の操作情報が、操作インタフェース11から供給されると、CPU21は、ダイジェスト動画撮影モードで記憶部15に記憶された映像データImage11、音声データSound11やインパクト情報格納部17に格納されたインパクト情報に基づいて上述したように複数のダイジェスト動画を生成する(ステップS21)。
That is, when the operation information indicating that the digest video playback mode is selected and the
そして、CPU21は、インパクト情報格納部17を参照し、並べ替えメニューにおいて並べ替え指定欄に格納されたデータに基づいて、並べ替えが音の大きさ順か否かを判定する(ステップS22)。
Then, the
並べ替えが音の大きさ順と判定した場合(ステップS22;Yes)。CPU21は、各インパクト点の音の大きさIm_s1を参照し、各インパクト点に対応するダイジェスト動画を音の大きさIm_s1順に並べ替え、ダイジェスト動画毎に整列された映像データImage11、音声データSound11をデコーダ18に供給する(ステップS23)。
When it is determined that rearrangement is in order of loudness (step S22; Yes). The
並べ替えが音の大きさ順ではないと判定した場合(ステップS22;No)、CPU21は、並べ替えがスイング速度順か否かを判定する(ステップS24)。
When it is determined that the rearrangement is not in order of sound volume (step S22; No), the
並べ替えがスイング速度順と判定した場合(ステップS24;Yes)、CPU21は、各インパクト点のスイング速度Im_vを参照し、各インパクト点のダイジェスト動画をスイング速度Im_v順に並べ替え、ダイジェスト動画毎に整列された映像データImage11、音声データSound11をデコーダ18に供給する(ステップS25)。
When the rearrangement is determined to be in the order of the swing speed (step S24; Yes), the
並べ替えがスイング速度順ではないと判定した場合(ステップS24;No)、CPU21は、並べ替えが飛球方向順か否かを判定する(ステップS26)。
When it is determined that the rearrangement is not in the swing speed order (step S24; No), the
並べ替えが飛球方向順と判定した場合(ステップS26;Yes)、CPU21は、各インパクト点の飛球方向Im_cを参照し、各インパクト点のダイジェスト動画を飛球方向Im_c順に並べ替え、ダイジェスト動画毎に整列された映像データImage11、音声データSound11をデコーダ18に供給する(ステップS27)。
When the rearrangement is determined to be in order of the flying ball direction (step S26; Yes), the
並べ替えが飛球方向順ではないと判定した場合(ステップS26;No)、CPU21は、並べ替えが初期設定の時刻順と判定する。この場合、CPU21は、各インパクト点の時刻情報Im_tを参照し、各インパクト点のダイジェスト動画を時刻情報Im_t順に並べ替え、ダイジェスト動画毎に整列された映像データImage11、音声データSound11をデコーダ18に供給する(ステップS28)。
When it is determined that the rearrangement is not in the flying ball direction order (step S26; No), the
なお、デコーダ18に供給された映像データImage11、音声データSound11は、表示部19やスピーカ20から時系列的に順次顕在化されて出力される。
Note that the video data Image11 and the audio data Sound11 supplied to the
そして、CPU21は、インパクト点に対応するダイジェスト動画の全て再生が終了すると、この再生処理(1)を終了させる。
Then, when the reproduction of all the digest videos corresponding to the impact points is completed, the
次に、このデジタルカメラ1の動作を具体的な活用例に基づいて説明する。
ユーザ3は、ダイジェスト動画撮影モードでの撮影中にボール5を4球打つものとする。そして、CPU21は撮影処理を実行し、エンコーダ14が生成した映像データImage11、音声データSound11を記憶部15に記憶する。
Next, the operation of the
It is assumed that the
ここでは、図12(a)に示すように、時刻順にA,B,C,Dの4つのタイミングでインパクト音が発生したものとする。つまり、ボール5を打つ毎に(スイングを行う毎に)ボール5を打つ瞬間にインパクト音が発生したものとする。
Here, as shown in FIG. 12A, it is assumed that impact sounds are generated at four timings of A, B, C, and D in order of time. That is, it is assumed that an impact sound is generated at the moment of hitting the
インパクト検出部16は、ダイジェスト動画撮影の終了指示に伴って、インパクト音の発生タイミングとして各インパクト点(A,B,C,D)を検出するとともに、各インパクト点に対応する上述したようなインパクト情報を取得してインパクト情報格納部17に格納する。
The
尚、図12(a)、図12(b)における各インパクト点に対応するダイジェスト動画上に示す数値は、音の大きさ順を示し、「1」は音の大きさが最も大きく、「4」は、音の大きさが最も小さいことを示す。 Note that the numerical values shown on the digest video corresponding to each impact point in FIGS. 12A and 12B indicate the order of sound volume, “1” being the largest sound volume, and “4”. "" Indicates that the volume of the sound is the smallest.
また、ユーザ3が並べ替えメニューにおいてダイジェスト動画の並べ替えを指定していなければ、並べ替えを指定するデータは、図9に示すように、並べ替え指定欄のうちの初期設定の時刻情報Im_tの欄に格納されており、並べ替えは時刻順となっている。
Further, if the
そして、ダイジェスト動画再生モードが選択されて再生ボタン39が押下されると、CPU21は、インパクト情報格納部17を参照して、ダイジェスト動画撮影モードで記憶部15に記憶された映像データImage11、音声データSound11(スイングを4回行ったシーン、つまり、ボール5を4回打ったシーン)やインパクト情報格納部17に格納されたインパクト情報に基づいて上述したように複数のダイジェスト動画(スイング毎、つまり、ボール5を打つシーン毎に分離されたダイジェスト動画)を生成する。また、インパクト情報格納部17を参照して、並べ替えに用いるインパクト情報は、時刻情報Im_tであると判別する。
When the digest video playback mode is selected and the
そして、表示部19は、図12(a)に示すように、CPU21の制御(ステップS28の処理)により、ダイジェスト動画をインパクト点A,B,C,Dの順に整列させて、液晶モニタ40に表示する。
Then, as shown in FIG. 12A, the
つまり、インパクト点A,B,C,Dに対応するそれぞれのダイジェスト動画を液晶モニタ40に、インパクト点Aに対応するダイジェスト動画、インパクト点Bに対応するダイジェスト動画、インパクト点Cに対応するダイジェスト動画、インパクト点Dに対応するダイジェスト動画の順で、動画再生表示する。
That is, the respective digest videos corresponding to the impact points A, B, C, and D are displayed on the
一方、ユーザ3が、図4(b)に示す再生メニューにおいて、ダイジェスト動画再生モードを選択し、図4(c)に示す並べ替えメニューにおいて音の大きさを選択していた場合、CPU21は、インパクト情報格納部17の並べ替え指定欄のうち、音の大きさIm_s1の欄に、並べ替えを指定するデータを格納している。
On the other hand, when the
このようなときに、ダイジェスト動画再生モードが選択されて再生ボタン39が押下されると、CPU21は、インパクト情報格納部17を参照して、並べ替えに用いるインパクト情報は、音の大きさIm_s1であると判別する。
In such a case, when the digest video playback mode is selected and the
そして、表示部19は、図12(b)に示すように、CPU21の制御(ステップS23の処理)により、ダイジェスト動画をインパクト点B,D,C,Aの順に整列させて、液晶モニタ40に表示する。
Then, as shown in FIG. 12B, the
つまり、インパクト点A,B,C,Dに対応するそれぞれのダイジェスト動画を液晶モニタ40に、インパクト点Bに対応するダイジェスト動画、インパクト点Dに対応するダイジェスト動画、インパクト点Cに対応するダイジェスト動画、インパクト点Aに対応するダイジェスト動画の順で、動画再生表示する。
That is, the respective digest videos corresponding to the impact points A, B, C, and D are displayed on the
以上説明したように、本実施形態1によれば、インパクト検出部16は、各インパクト点を検出して、インパクト情報をインパクト情報格納部17に格納する。CPU21は、並べ替えが指定されると、インパクト情報格納部17に格納されたインパクト情報に基づいて、生成した複数のダイジェスト動画を並べ替え、整列させて液晶モニタ40に表示するようにした。
As described above, according to the first embodiment, the
従って、練習した中でスイングの部分のみを所望の順番で再生することができるので、ユーザ3に、ゴルフスイングの良否を分かり易く確認させることができ、ユーザ3は、ゴルフ練習の成果を容易に、しかも細かく解析することができる。
Therefore, since only the part of the swing can be reproduced in the desired order during practice, the
(実施形態2)
実施形態2に係るデジタルカメラは、ユーザのフォームと上級者のフォームとを比較し、ユーザのフォームを採点して、そのブレ量を表示するようにしたものである。
(Embodiment 2)
The digital camera according to the second embodiment compares the user's form with the expert's form, scores the user's form, and displays the blur amount.
実施形態2のデジタルカメラ1は、図13に示すように、図1に示した実施形態1の構成に加え、参照ブレ情報格納部22と採点部23とを備える。なお、本実施形態2では、実施形態1と同一の構成については、同一の符号を用い、その構成や動作についての詳細な説明は省略する。
As illustrated in FIG. 13, the
参照ブレ情報格納部22は、ROM等からなり、ユーザ3のフォームを採点するためのフォームの参照データを格納するものである。
The reference blur
このような参照データとして、参照ブレ情報格納部22は、例えば、図14(a)に示すようにスイングしている上級者6の総ブレ量と局所ブレ量とを格納する。この上級者6の総ブレ量と局所ブレ量とは、ユーザ3の目標となる目標ブレ量を示す。
As such reference data, the reference blur
実施形態2では、ブレ量を、複数回のスイングを撮影した映像において、各スイングのタイミングと各画素とを対応させて得られた画素値の分散値の和とする。 In the second embodiment, the amount of blur is the sum of the dispersion values of pixel values obtained by associating the timing of each swing with each pixel in an image obtained by shooting a plurality of swings.
総ブレ量は、図14(a)に示すような、あるタイミングから所定時間前または所定時間後の画像を1つのフレーム画像とし、各スイングにおける上述したようなフレーム画像間ですべての画素を対象として比較したときのブレ量である。 As shown in FIG. 14 (a), the total amount of blur is defined as one frame image that is a predetermined time before or after a certain time, and all pixels are covered between the frame images as described above in each swing. Is the amount of blurring when compared.
また、局所ブレ量は、図14(a)に示すような、あるタイミングから所定時間前または所定時間後の画像を1つのフレーム画像とし、各スイングにおける上述したようなフレーム画像間で、例えば、図14(b)に示すように各フレーム画像をブロックblk1〜blk8に分割し、各ブロックblk1〜blk8毎に、それぞれの画素を対象として比較したときのブレ量である。 Further, the amount of local blur is, for example, as shown in FIG. 14A, a frame image that is a predetermined time before or after a certain time as one frame image, and between the frame images as described above in each swing, for example, As shown in FIG. 14 (b), this is a blur amount when each frame image is divided into blocks blk1 to blk8 and each pixel is compared for each block blk1 to blk8.
採点部23は、ユーザ3のフォームのブレを示す合成画像を生成して、上級者6のフォームのブレとユーザ3のフォームのブレとに基づいてユーザ3のフォームに対しての採点を行うものであり、CPU21からの通知を受けて処理を行う。
The
採点部23は、インパクト情報格納部17に格納されたインパクト情報のうちの時刻情報Im_tを参照し、記憶部15に記憶されている映像データImage11に基づいて複数のダイジェスト動画を生成する。
The
採点部23は、各ダイジェスト動画におけるインパクト点を基準にして各ダイジェスト動画を合成することで、合成画像を生成する。
The
図15は、この合成画像の生成を示す図である。各ダイジェスト動画におけるインパクト点を、それぞれ、第1〜N(N;自然数)インパクト点とする。そして、第1〜Nインパクト点のそれぞれの画像1−1〜1−4,2−1〜2−4,N−1〜N−4は、第1〜Nインパクト点に対応するそれぞれのダイジェスト動画における各フレーム画像を示す。 FIG. 15 is a diagram illustrating the generation of the composite image. The impact points in each digest video are defined as first to N (N: natural number) impact points, respectively. The images 1-1 to 1-4, 2-1 to 2-4, and N-1 to N-4 of the first to N impact points are digest videos corresponding to the first to N impact points, respectively. Each frame image in is shown.
また、各フレーム画像1−1〜N−1,1−2〜N−2,1−3〜N−3,1−4〜N−4は、それぞれ、第1〜Nインパクト点を基準とし、そこから所定時間前または所定時間後の同じタイミングでのフレーム画像を示す。 Each of the frame images 1-1 to N-1, 1-2 to N-2, 1-3 to N-3, 1-4 to N-4 is based on the first to N impact points, respectively. A frame image at the same timing before or after a predetermined time is shown.
例えば、フレーム画像1−1が第1インパクト点から0.1秒前の画像であれば、フレーム画像2−1・・・N−1も、それぞれ、第2〜Nインパクト点から、同じ0.1秒前の画像を示す。 For example, if the frame image 1-1 is an image 0.1 seconds before the first impact point, the frame images 2-1. An image one second before is shown.
採点部23は、それぞれ、各フレーム画像1−1〜N−1,1−2〜N−2,1−3〜N−3,1−4〜N−4を合成する。つまり、採点部23は、各ダイジェスト動画をフレーム毎に合成してダイジェスト動画の合成画像を生成する。この合成画像は、インパクト点を基準としたユーザ3のフォームスピードのバラツキを画像面内でのブレとして示している。
The
採点部23は、生成した合成画像の映像データImage11をデコーダ18に供給する。
The
次に、採点部23は、各合成画像におけるユーザ3のフォームに対して採点を行う。
Next, the
採点部23は、ユーザ3のフォームを採点するため、総ブレ量による採点方法又は局所ブレ量による採点方法を用いる。
The
総ブレ量による採点方法の場合、採点部23は、合成画像に用いたダイジェスト動画をフレーム毎に比較することにより、ユーザ3の総ブレ量を計算する。
In the case of the scoring method based on the total blur amount, the
上級者6のフォームは、複数回スイングを行っても各スイング間のブレ量は小さい(フォームスピードのバラツキは小さい)。これに対して、初級者のブレ量は大きく、ゴルフ練習の成果が上がるに従って、ブレ量は小さくなる。 The form of the advanced player 6 has a small amount of shake between each swing even if the swing is performed a plurality of times (form speed variation is small). In contrast, the amount of shake for beginners is large, and the amount of shake decreases as the result of golf practice increases.
このブレ量に基づいてユーザ3のフォームの採点を行うことができる。採点部23は、参照ブレ情報格納部22に予め格納されている上級者6の総ブレ量を参照し、計算したユーザ3の総ブレ量と上級者6の総ブレ量との差δ1を取得する。採点部23は、取得した差δ1と予め設定されたブレ量閾値とを比較する。
Based on the amount of shake, the
ユーザ3のフォームに対する採点を、例えば、優、良、可、不可のいずれかとするため、δ_th1,δ_th2,δ_th3(δ_th11<δ_th2<δ_th3)の3つのブレ量閾値が設定される。採点部23は、メモリ(図示せず)を備え、これらのブレ量閾値δ_th1,δ_th2,δ_th3を予めメモリに記憶する。
In order to mark the
δ_th3<δ1の場合、採点部23は、ユーザ3のフォームは不可と判定する。δ_th2<δ1≦δ_th3の場合、採点部23は、ユーザ3のフォームは可と判定する。δ_th1<δ1≦δ_th2の場合、採点部23は、ユーザ3のフォームは良と判定する。δ1≦δ_th1の場合、採点部23は、ユーザ3のフォームは優と判定する。
When δ_th3 <δ1, the
局所ブレ量による採点方法の場合、採点部23は、合成画像の各ブロックblk1〜blk8毎に、ユーザ3の局所ブレ量を求める。採点部23は、参照ブレ情報格納部22に格納された上級者6の各ブロックblk1〜blk8毎の局所ブレ量を参照し、求めたユーザ3の局所ブレ量と上級者6の局所ブレ量との差δ2を求める。採点部23は、求めた差δ2と各ブレ量閾値δ_th1,δ_th2,δ_th3とを比較する。
In the case of the scoring method based on the local blur amount, the
局所ブレ量による採点方法の場合、採点部23は、ブロックblk1〜blk8毎に、差δ2と各ブレ量閾値δ_th1,δ_th2,δ_th3とを比較する。
In the case of the scoring method based on the local blur amount, the
採点部23は、ブロックblk1〜blk8毎に評価結果を示すため、ブロックblk1〜blk8毎に彩色を施したり、模様を付したりして合成画像に画像処理を施し、さらに、差δ2と各ブレ量閾値δ_th1,δ_th2,δ_th3との比較結果に基づいてこの彩色、模様を変える。
Since the
採点部23は、総ブレ量による採点方法又は局所ブレ量による採点方法に従ってユーザ3のフォームの採点を行うと、この採点結果のデータをデコーダ18に供給する。
When the
総ブレ量による採点法、局所ブレ量による採点法の選択を可能とするため、記憶部15は、図16(a)に示すような選択メニュー、図16(b)に示すような採点方法選択メニューの画像データを記憶する。
In order to enable selection of a scoring method based on the total blur amount and a scoring method based on the local blur amount, the
選択メニューは、並べ替え又は採点方法を選択するメニューであり、採点方法選択メニューは、総ブレ量による採点法、局所ブレ量による採点法のいずれかを選択するためのメニューである。 The selection menu is a menu for selecting a rearrangement or scoring method, and the scoring method selection menu is a menu for selecting either a scoring method based on the total blur amount or a scoring method based on the local blur amount.
実施形態2の場合、図4(b)に示す再生メニューにおいて、ダイジェスト動画再生モードが選択されると、操作インタフェース11は、この操作情報をCPU21に供給し、CPU21は、この操作情報に基づいて記憶部15から、選択メニューの画像データをデコーダ18に供給する。このようにして、CPU21は、選択メニューを液晶モニタ40に表示させる。
In the case of the second embodiment, when the digest video playback mode is selected in the playback menu shown in FIG. 4B, the
この選択メニューにおいて、アップキー42U、ダウンキー42Dが操作されて採点方法が選択され、右キー42Rが押下されると、操作インタフェース11は、この操作情報をCPU21に供給する。
In this selection menu, when the up key 42U and the down key 42D are operated to select a scoring method and the right key 42R is pressed, the
この操作情報が供給されると、CPU21は、記憶部15から、採点方法選択メニューの画像データを読み出してデコーダ18に供給する。このようにして、CPU21は、図16(b)に示すような採点方法選択メニューを液晶モニタ40に表示させる。なお、本実施形態2では、図16(a)に示す選択メニューで、並べ替えが選択されると、図4(c)に示した並べ替えメニューに移行することが可能となっている。
When this operation information is supplied, the
総ブレ量による採点方法又は局所ブレ量による採点方法が選択された場合、操作インタフェース11は、採点方法を選択した操作情報をCPU21に供給する。
When the scoring method based on the total blur amount or the scoring method based on the local blur amount is selected, the
CPU21は、操作インタフェース11から供給された操作情報に基づいて、選択された採点方法を判別し、判別した採点方法を採点部23に通知する。
The
また、CPU21は、操作インタフェース11から、ダイジェスト動画再生モードが選択されて再生ボタン39が押下された旨の操作情報が供給されると、この操作情報を採点部23に通知する。
Further, when the operation information indicating that the digest moving image reproduction mode is selected and the
尚、記憶部15は、図17に示すような指示枠7の画像データを記憶している。この指示枠7は、撮影時に、ユーザ3の姿がこの指示枠7に入るようにデジタルカメラ1の位置、向きを指定する位置決めに用いるものである。
The
CPU21は、動画撮影が選択された場合、撮影時にこの指示枠7の画像データをデコーダ18に供給し、この指示枠7を液晶モニタ40に表示させる。
When moving image shooting is selected, the
次に実施形態2に係るデジタルカメラ1の動作を説明する。
デジタルカメラ1は、電源ボタン31が押下されると電源をオンする。
CPU21は、操作インタフェース11から、ダイジェスト動画撮影モードが選択された旨の操作情報が供給されると、図17に示す指示枠7の画像データをデコーダ18に供給し、液晶モニタ40に指示枠7を表示させる。
Next, the operation of the
The
When the operation information indicating that the digest video shooting mode has been selected is supplied from the
このとき、ユーザ3は、ユーザ3自身の姿がこの指示枠7に収まるようにデジタルカメラ1の位置決めを行う。そして、ユーザ3自身の姿がこの指示枠7に収まるようにデジタルカメラ1の位置決めが行われ、操作インタフェース11から、シャッタボタン32が押下された旨の操作情報が供給されると、CPU21は、図10に示すフローチャートに従って、実施形態1と同様に、撮影処理を実行する。
At this time, the
撮影処理を実行した後、操作インタフェース11から、ダイジェスト動画再生モードが選択され、採点方法が選択された旨の操作情報が供給されると、CPU21は、採点部23に、選択された採点方法を通知する。
After executing the shooting process, when the digest video playback mode is selected from the
また、操作インタフェース11から、再生ボタン39が押下された旨の操作情報が供給されると、CPU21は、この操作情報を採点部23に通知する。採点部23は、この通知を受けると、記憶部15から、再生処理(2)のプログラムデータを読み出して、図18に示すフローチャートに従い、この処理を実行する。
Further, when operation information indicating that the
つまり、操作インタフェース11から、再生ボタン39が押下された旨の操作情報が供給されると、採点部23は、インパクト情報格納部17に格納されたインパクト情報を参照し、記憶部15から、ダイジェスト動画撮影モードで撮影された映像データImage11を読み出して、複数のダイジェスト動画を生成し、上述したように、ダイジェスト動画間で、フレーム毎に画像を合成し、ダイジェスト動画の合成画像を生成する(ステップS31)。
That is, when the operation information indicating that the
採点部23は、CPU21からの通知に基づいて、総ブレ量による採点方法が選択されているか否かを判定する(ステップS32)。
The
総ブレ量による採点方法が選択されていると判定した場合(ステップS32;Yes)、採点部23は、合成画像に用いた各ダイジェスト動画を比較して、フレーム毎にユーザ3の総ブレ量を計算する(ステップS33)。
When it is determined that the scoring method based on the total blur amount is selected (step S32; Yes), the
採点部23は、参照ブレ情報格納部22に格納されている上級者6の総ブレ量をフレーム毎に参照して、ユーザ3の総ブレ量とこの上級者6の総ブレ量との差δ1を計算し、計算した差δ1と各総ブレ量閾値δ_th1,δ_th2,δ_th3とを比較することにより、ユーザ3のフォームをフレーム毎に採点する(ステップS34)。
The
採点部23は、生成した合成画像の映像データImage11をデコーダ18に供給する(ステップS35)。
The
採点部23は、採点結果のデータをデコーダ18に供給する(ステップS36)。つまり、採点部23は、合成されたダイジェスト動画を構成する各合成フレーム画像の表示中に、表示中の合成フレーム画像に対応する採点結果を表示中の合成フレーム画像と対応付けて表示する。
そして、採点部23は、合成されたダイジェスト動画を構成する各合成フレーム画像を全て表示するとともに、それに対応する採点結果を全て表示すると、この再生処理(2)を終了させる。
The
Then, the
一方、CPU21からの通知に基づいて、局所ブレ量による採点方法が選択されていると判定した場合(ステップS32;No)、採点部23は、ユーザ3のフォームを分割した各ブロックblk1〜blk8毎に対して局所ブレ量をフレーム毎に計算する(ステップS37)。
On the other hand, when it is determined that the scoring method based on the local blur amount is selected based on the notification from the CPU 21 (step S32; No), the
採点部23は、参照ブレ情報格納部22に格納されている上級者6の各ブロックblk1〜blk8の局所ブレ量をフレーム毎に参照して、ユーザ3の各ブロックblk1〜blk8の局所ブレ量とこの上級者6の局所ブレ量との差δ2を計算し、各ブロックblk1〜blk8毎に対して計算した差δ2と各ブレ量閾値δ_th1,δ_th2,δ_th3とを比較する。採点部23は、比較した結果に基づいてユーザ3のフォームの採点をフレーム毎に行う(ステップS38)。
The
採点部23は、採点結果に基づいて合成画像に画像処理を施す(ステップS39)。
採点部23は、合成画像の映像データImage11をデコーダ18に供給する(ステップS35)。
The
The
採点部23は、採点結果のデータをデコーダ18に供給する(ステップS36)。つまり、採点部23は、合成されたダイジェスト動画を構成する各合成フレーム画像の表示中に、表示中の合成フレーム画像に対応するブロックblk1〜blk8毎の採点結果を表示中の合成フレーム画像における各ブロックblk1〜blk8と対応付けてそれぞれに表示する。
The
そして、採点部23は、合成されたダイジェスト動画を構成する各合成フレーム画像を全て表示するとともに、それに対応する採点結果を全て表示すると、この再生処理(2)を終了させる。
Then, the
次に実施形態2に係るデジタルカメラ1の動作を具体的な活用例に基づいて説明する。
Next, the operation of the
ユーザ3は、ダイジェスト動画撮影モードでの撮影中にボール5を、例えば、4球打つものとする。そして、CPU21は撮影処理を実行し、エンコーダ14が生成した映像データImage11、音声データSound11を記憶部15に記憶する。
It is assumed that the
ここでは、図12(a)に示すように、時刻順にA,B,C,Dの4つのタイミングでインパクト音が発生したものとする。つまり、ボール5を打つ毎に(スイングを行う毎に)ボール5を打つ瞬間にインパクト音が発生したものとする。
Here, as shown in FIG. 12A, it is assumed that impact sounds are generated at four timings of A, B, C, and D in order of time. That is, it is assumed that an impact sound is generated at the moment of hitting the
インパクト検出部16は、ダイジェスト動画撮影の終了指示に伴って、インパクト音の発生タイミングとして各インパクト点(A,B,C,D)を検出するとともに、各インパクト点に対応する上述したようなインパクト情報を取得してインパクト情報格納部17に格納する。
The
ここで、図16(a)に示したような選択メニューでは、採点方法が選択されているものとする。そして、ユーザにより、ダイジェスト動画再生モードが選択されて再生ボタン39が押下されると、採点部23は、インパクト情報格納部17を参照して、ダイジェスト動画撮影モードで記憶部15に記憶された映像データImage11、音声データSound11(スイングを4回行ったシーン、つまり、ボール5を4回打ったシーン)やインパクト情報格納部17に格納されたインパクト情報に基づいて上述したように複数のダイジェスト動画(スイング毎、つまり、ボール5を打つシーン毎に分離されたダイジェスト動画)を生成する。
Here, it is assumed that the scoring method is selected in the selection menu as shown in FIG. When the digest video playback mode is selected by the user and the
採点部23は、各インパクト点(A,B,C,D)を基準として、生成した複数のダイジェスト動画を上述したようにフレーム毎に合成する。
The
つまり、採点部23は、図15に示すように、各インパクト点に対応するダイジェスト動画における各フレーム画像1−1〜4−1,1−2〜4−2,1−3〜4−3,1−4〜4−4を、それぞれ、合成し、図19(a)〜(d)に示すようなフレーム毎の合成画像を生成する(ステップS31の処理)。
That is, the
尚、図19(a)〜(d)のそれぞれの映像の左上又は右上に付した数値は、それぞれ、合成画像のフレーム番号を示す。採点部23は、ダイジェスト動画のフレーム画像毎にこのような合成画像の生成を行う。
In addition, the numerical value attached | subjected to each upper left or upper right of each image | video of Fig.19 (a)-(d) each shows the frame number of a synthesized image. The
そして、図16(b)に示したような採点方法選択メニューで総ブレ量による採点方法が選択された場合(ステップS32;Yes)には、採点部23が、生成した合成画像の映像データImage11をデコーダ18に供給すると(ステップS35の処理)、表示部19は、図20に示す合成画像を液晶モニタ40に表示する。
When the scoring method based on the total blur amount is selected in the scoring method selection menu as shown in FIG. 16B (step S32; Yes), the
また、採点部23は、上述したように総ブレ量を計算し、ユーザ3のフォームを採点した結果の採点結果をデコーダ18に供給し(ステップS33,S34,S36の処理)、表示部19は、この採点結果を液晶モニタ40に表示する。
In addition, the
つまり、採点部23は、合成されたダイジェスト動画を構成する各合成フレーム画像の表示中に、表示中の合成フレーム画像に対応する採点結果を表示中の合成フレーム画像と対応付けて表示する。
That is, the
例えば、フレーム番号1の合成画像において、ユーザ3の総ブレ量と上級者6の総ブレ量との差δ1を採点部23が計算した結果、δ_th1<δ1≦δ_th2になったものとする。
For example, in the composite image of
この場合、採点部23は、採点結果を良とし、液晶モニタ40は、図20に示すように、フレーム番号1の合成画像上に1/良(フレーム番号/採点結果)を表示する。
In this case, the
また、フレーム番号2の合成画像において、採点部23が差δ1を計算した結果、δ_th2<δ1≦δ_th3になったものとする。この場合、採点部23は、採点結果を可とし、液晶モニタ40は、図20に示すように、フレーム番号2の合成画像上に2/可を表示する。
In the composite image of
また、フレーム番号3の合成画像において、採点部23が差δ1を計算した結果、δ1≦δ1th1になったものとする。この場合、採点部23は、採点結果を優とし、液晶モニタ40は、図20に示すように、フレーム番号3の合成画像上に3/優を表示する。
Also, in the composite image of
また、フレーム番号4の合成画像において、採点部23が差δ1を計算した結果、δ_th3<δ1になったものとする。この場合、採点部23は、採点結果を不可とし、液晶モニタ40は、図20に示すように、フレーム番号4の合成画像上に4/不可を表示する。
Further, in the composite image of
一方、図16(b)に示したような採点方法選択メニューで局所ブレ量による採点方法が選択されていた場合(ステップS32;No)、採点部23は、各ブロックblk1〜blk8毎に対して局所ブレ量をフレーム毎に計算し、ユーザ3のフォームを採点する(ステップS37,S38の処理)。
On the other hand, when the scoring method based on the local blur amount is selected in the scoring method selection menu as shown in FIG. 16B (step S32; No), the
採点部23は、図21に示すように、ユーザ3の局所ブレ量と上級者6の局所ブレ量との差δ2と、各ブレ量閾値δ_th1,δ_th2,δ_th3と、の比較結果に基づいて、フレーム番号1の合成画像のブロックblk7、フレーム番号2の合成画像のブロックblk6、フレーム番号4の合成画像のブロックblk5,blk7に模様を付す(ステップS39の処理)。
As shown in FIG. 21, the
採点部23がこの合成画像のデータをデコーダ18に供給すると(ステップS35の処理)、表示部19は、図21に示すように模様を付した合成画像を液晶モニタ40に表示する。
When the
また、採点部23が、ユーザ3のフォームを採点した結果の採点結果をデコーダ18に供給すると(ステップS36の処理)、図20と同じように、表示部19は、この採点結果も合わせて液晶モニタ40に表示する。
Further, when the
従って、液晶モニタ40には、ユーザ3のフォーム、そのブレ、ユーザ3のフォームの採点結果が表示され、ユーザ3のフォームに欠点がある場合には、その欠点を示す模様がユーザ3のスイングに伴って表示される。
Therefore, on the
以上説明したように、本実施形態2によれば、上級者6の総ブレ量又は局所ブレ量とユーザ3の総ブレ量又は局所ブレ量とを比較して、ユーザ3のフォームの採点を行うようにした。
As described above, according to the second embodiment, the total blur amount or local blur amount of the advanced user 6 and the total blur amount or local blur amount of the
従って、ユーザ3のスイングのブレを即座に目視できるので、容易にスイングの欠点を解析することができる。また、ユーザ3のフォームを数値に基づいて客観的に採点することができる。
Therefore, since the swing blur of the
また、総ブレ量による採点方法を採用した場合、簡易な採点が可能となる。
また、局所ブレ量による採点方法を採用した場合、合成画像に、色彩を施したり、模様を付したりすることにより、ユーザ3に欠点箇所を容易に確認させることができる。
In addition, when the scoring method based on the total blur amount is adopted, simple scoring is possible.
In addition, when the scoring method based on the amount of local blur is adopted, the
尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、上記実施形態1では、並べ替えを図12(a)、(b)に示すように、各ダイジェスト動画の再生表示を時系列的に順次表示させるものとした。
In carrying out the present invention, various forms are conceivable and the present invention is not limited to the above embodiment.
For example, in the first embodiment, as shown in FIGS. 12A and 12B, rearrangement display of each digest video is sequentially displayed in time series.
しかし、図22(a)に示すように、インパクト点A,B,C,Dに対応するダイジェスト動画を一括同時再生する構成としてもよい。そしてこのときに、各ダイジェスト動画の再生表示箇所を液晶モニタ40内でインパクト情報に基づいて並べ替えるようにしてもよい。 However, as shown in FIG. 22 (a), the digest moving images corresponding to the impact points A, B, C, and D may be reproduced simultaneously. At this time, the reproduction display locations of the digest videos may be rearranged in the liquid crystal monitor 40 based on the impact information.
また、所定のダイジェスト動画を比較対象として所定の表示領域に繰り返し再生表示するとともに、他の複数のダイジェスト動画を他の表示領域に時系列的に順次再生表示させる構成としてもよい。そしてこのとき、他の複数のダイジェスト動画の他の表示領域への表示を、インパクト情報に基づいて時系列的に順次再生表示させるようにしてもよい。 Alternatively, a predetermined digest video may be repeatedly reproduced and displayed in a predetermined display area as a comparison target, and another plurality of digest videos may be sequentially reproduced and displayed in time series in the other display areas. At this time, the display of the other plurality of digest videos in other display areas may be sequentially reproduced and displayed in time series based on the impact information.
例えば、図22(b)に示すように、インパクト点Bのダイジェスト動画を比較対象として、インパクト点Bのダイジェスト動画と、インパクト点C,D,Aのそれぞれのダイジェスト動画とを、比較するように、液晶モニタ40内で並べ替えるようにしてもよい。
For example, as shown in FIG. 22 (b), the digest video at impact point B is compared, and the digest video at impact point B and each digest video at impact points C, D, and A are compared. They may be rearranged in the
また、上記実施形態1では、並べ替えを、音の大きさ、時刻、スイング速度、飛球方向順のいずれかとした。しかし、並べ替えは、これに限られるものではない。 In the first embodiment, the rearrangement is performed in any of the order of sound volume, time, swing speed, and flying ball direction. However, rearrangement is not limited to this.
例えば、ユーザ3の運動の成果を評価する評価値を自己採点として、ユーザ3がダイジェスト動画を参照して自己採点の入力を行えるようにして、並べ替えをこの自己採点順としてもよい。
For example, the evaluation value for evaluating the result of the exercise of the
詳述すると、デジタルカメラ1は、このような自己採点を行えるようにするため、図23(a)に示すようなダイジェスト動画オプションメニュー、図23(b)に示すような自己採点メニューを液晶モニタ40に表示させる。
More specifically, in order to enable the
図23(a)に示すダイジェスト動画オプションメニューは、ダイジェスト動画のオプションを設定するためのメニューであり、自己採点、並べ替えの項目を有する。 The digest movie option menu shown in FIG. 23A is a menu for setting digest movie options, and has items of self-scoring and rearrangement.
デジタルカメラ1は、図4(b)に示す再生メニューにおいて、アップキー42U、ダウンキー42Dが操作されてダイジェスト動画再生モードが選択され、右キー42Rが押下されると、このダイジェスト動画オプションメニューを液晶モニタ40に表示させる。
In the playback menu shown in FIG. 4B, the
このダイジェスト動画オプションメニューにおいて、アップキー42U、ダウンキー42Dが操作されて自己採点が選択され、右キー42Rが押下されると、デジタルカメラ1は、図23(b)に示すような自己採点メニューを液晶モニタ40に表示させる。
In this digest movie option menu, when the up key 42U and the down key 42D are operated to select the self-scoring and the right key 42R is pressed, the
自己採点メニューは、自己採点の有効、無効を選択するためのメニューであり、自己採点の有効、無効は、自己採点メニューにおいて、アップキー42U、ダウンキー42Dが操作されて有効、無効が選択され、セットキー42Sが押下されることにより選択される。 The self-scoring menu is a menu for selecting valid / invalid of the self-scoring. Valid / invalid of the self-scoring is selected by selecting the valid / invalid by operating the up key 42U and the down key 42D in the self-scoring menu. The key is selected by pressing the set key 42S.
CPU21は、操作インタフェース11から、図23(b)に示す自己採点メニューにおいて自己採点の有効が選択された旨の操作情報が供給された場合、自己採点は有効と判定する。
The
自己採点の有効が選択された場合に自己採点データを入力する方法としては、キーによる入力方法、ゼスチャーを認識する方法、音声による入力方法等がある。キーによる入力方法の場合、デジタルカメラ1は、このキーを備える。
Examples of methods for inputting self-scoring data when self-scoring is enabled include a key input method, a gesture recognition method, and a voice input method. In the case of the key input method, the
ゼスチャーを認識する方法の場合、デジタルカメラ1は、例えば、使用する手袋の色を予め登録しておき、ユーザ3が手袋をした手で数字を描いた場合に、その色の位置の変化パターンに基づいて、描いた数字を認識する。
In the case of the method for recognizing a gesture, for example, the
音声による入力方法の場合、音声認識ROM12は、自己採点時に発話される音声を認識するための音声認識用のデータとして、「いち」、「に」、「さん」、「よん」、「ご」、・・・と、「ゆう(優)」、「りょう(良)」、「か(可)」、「ふか(不可)」といった自己採点データを記憶する。
In the case of the voice input method, the
自己採点メニューにおいて自己採点の有効が選択されていると、CPU21は、上述したようなダイジェスト動画撮影モードにおける撮影処理の終了後に、記憶部15から、音声データ取得処理のプログラムデータを読み出し、図24に示すフローチャートに従って、この処理を実行する。
When the self-scoring is enabled in the self-scoring menu, the
CPU21は、インパクト情報格納部17を参照し、インパクト情報に基づいてインパクト点の映像データImage11を記憶部15から読み出して、デコーダ18に供給することにより、インパクト点の映像を表示させる(ステップS41)。なお、このとき表示させる映像は、上述したようにCPU21によって生成されるダイジェスト動画であってもよい。
The
CPU21は、インパクト点でのフレーム画像(例えばインパクト音発生タイミングに対応するフレーム画像)を表示してから数秒経過後、LEDランプ35にLED点灯制御信号を供給してLEDランプ35を点灯する(ステップS42)。
The
CPU21は、ユーザ3の発話による音声データSound1を入力して、自己採点の入力を受け付けるように、映像・音声入力部13を制御する(ステップS43)。CPU21は、LEDランプ35にLED点灯制御信号を供給してから、予め設定された時間経過後にLED点灯制御信号の供給を停止してLEDランプ35を消灯する。
The
このとき、ユーザは、表示された映像を確認して自己採点を行い、LEDランプ35の点灯中に、例えば「ゆう(優)」、「りょう(良)」、「か(可)」、「ふか(不可)」のように発話する。
At this time, the user performs self-scoring by confirming the displayed video, and during the lighting of the
エンコーダ14は、入力された音声データSound1を圧縮、符号化して音声データSound11を生成し、CPU21は、エンコーダ14が圧縮、符号化した音声データSound11を記憶部15に記憶する(ステップS44)。
The
CPU21は、インパクト情報格納部17を参照し、インパクト情報に基づいて、他にインパクト点があるか否かを判定する(ステップS45)。
The
他にインパクト点があると判定した場合(ステップS45;Yes)、CPU21は、ステップS41〜S44を実行する。
If it is determined that there is another impact point (step S45; Yes), the
他にインパクト点がないと判定した場合(ステップS45;No)、CPU21は、この音声データ取得処理を終了させる。
When it is determined that there is no other impact point (step S45; No), the
記憶部15にユーザ3の発話による音声データSound11が記憶されると、CPU21は、取得した音声データから自己採点データを取得するように、インパクト検出部16を制御する。インパクト検出部16は、記憶部15から、この音声データSound11を読み出す。
When the voice data Sound11 based on the speech of the
音声認識部16hは、インパクト検出部16が記憶部15から読み出した音声データSound11と音声認識ROM12に記憶された音声認識用のデータとを比較して、ユーザ3が発話した音声を認識し、音声認識データIm_s2を自己採点データとして出力する。以後、この音声認識データIm_s2を自己採点データIm_s2とする。
The
インパクト検出部16は、音声認識部16hが出力した自己採点データIm_s2をインパクト情報としてインパクト情報格納部17に格納する。
The
なお、インパクト情報格納部17は、図25に示すように、インパクト検出部16から供給された自己採点データIm_s2をインパクト点毎に格納する。
As shown in FIG. 25, the impact information storage unit 17 stores the self-scoring data Im_s2 supplied from the
デジタルカメラ1は、このようにして音声による入力方法により自己採点データを取得する。
In this way, the
次に、図23(a)に示すダイジェスト動画オプションメニューにおいて、アップキー42U、ダウンキー42Dが操作されて並べ替えが選択され、右キー42Rが押下されると、デジタルカメラ1は、図23(c)に示すような並べ替えメニューを液晶モニタ40に表示させる。
Next, in the digest movie option menu shown in FIG. 23A, when the up key 42U and the down key 42D are operated to select the rearrangement and the right key 42R is pressed, the
この並べ替えメニューにおいて、アップキー42U、ダウンキー42Dが操作され、並べ替えに用いるインパクト情報として自己採点が選択され、セットキー42Sが押下された旨の操作情報が供給されると、CPU21は、インパクト情報格納部17の並べ替え指定欄のうちの自己採点データの欄に、並べ替えを指定するデータを格納する。
In this rearrangement menu, when the up key 42U and the down key 42D are operated, self-scoring is selected as impact information used for rearrangement, and operation information indicating that the
操作インタフェース11から、ダイジェスト動画再生モードが選択されて再生ボタン39が押下された旨の操作情報が供給されると、CPU21は、記憶部15から、再生処理(3)のプログラムのデータを読み出し、図26に示すフローチャートに従って、この処理を実行する。
When the operation information indicating that the digest video playback mode is selected and the
CPU21は、図11に示す再生処理(1)のステップS21〜27と同様の処理を実行する(ステップS51〜57)。 CPU21 performs the process similar to step S21-27 of the reproduction | regeneration process (1) shown in FIG. 11 (step S51-57).
CPU21は、操作インタフェース11から供給された操作情報に基づいて、並べ替えが飛球方向順ではないと判定すると(ステップS56;No)、並べ替えが自己採点順か否かを判定する(ステップS58)。
When the
並べ替えが自己採点順と判定した場合(ステップS58;Yes)、CPU21は、各インパクト点の自己採点データIm_s2を参照し、各インパクト点のダイジェスト動画を自己採点データIm_s2順に並べ替え、映像データImage11、音声データSound11をデコーダ18に供給する(ステップS59)。
When it is determined that the rearrangement is in the self-scoring order (step S58; Yes), the
並べ替えが自己採点順ではないと判定した場合(ステップS58;No)、CPU21は、並べ替えが初期設定の時刻順と判定し、各インパクト点のダイジェスト動画を時刻情報Im_t順に並べ替え、映像データImage11、音声データSound11をデコーダ18に供給する(ステップS60)。そして、CPU21は、この再生処理(3)を終了させる。
When it is determined that the rearrangement is not in the self-scoring order (step S58; No), the
このように、ユーザ3の自己採点の結果に基づいて、ダイジェスト動画を整列させて表示させることにより、複数のダイジェスト動画をユーザ3が考えている通りに整列させることができる。このため、ユーザ3の思い通りに自己のフォームを解析を行うことができる。
In this way, by displaying the digest videos in alignment based on the result of the self-scoring of the
また、ユーザ3の発話を音声認識して自己採点を行うようにすることにより、容易に自己採点を行うことができる。
In addition, self-scoring can be performed easily by recognizing speech of the
上記実施形態1では、スイング速度、飛球方向等の演算を撮影終了後に行うものとした。しかし、これらの演算がCPUの負荷に対して問題にならないような場合には、これらの演算を撮影と平行して行うようにしてもよい。 In the first embodiment, calculations such as the swing speed and the flying ball direction are performed after the photographing is completed. However, when these calculations do not pose a problem with respect to the load on the CPU, these calculations may be performed in parallel with photographing.
上記実施形態1では、インパクト情報を、時刻情報、音の大きさ、スイング速度、飛球方向として説明した。しかし、インパクト情報はこれに限られるものではなく、例えば、ボール5の打球速度であってもよい。この場合、インパクト検出部16は、ボール5の中心の移動距離を検出し、この移動距離と撮影間隔とに基づいてボール5の打球速度を取得する。
In the first embodiment, the impact information is described as time information, sound volume, swing speed, and flying ball direction. However, the impact information is not limited to this, and may be the hitting speed of the
上記実施形態1では、検出したインパクト点に対応する全てのダイジェスト動画を表示するものとして説明した。しかし、ダイジェスト動画の表示については、ダイジェスト動画の全てを必ずしも再生しなくてもよい。
In
例えば、インパクト情報を評価し、評価値の高いものだけを表示してもよい。例えば、インパクト情報としてスイングスピードを評価し、スイングスピードの最も速いものだけを表示したりしてもよい。 For example, impact information may be evaluated and only those with high evaluation values may be displayed. For example, the swing speed may be evaluated as impact information, and only the fastest swing speed may be displayed.
上記実施形態1,2では、付随して音が発生する運動として、ゴルフスイングを例に説明した。しかし、このような運動であれば、ゴルフスイングに限られるものではない。例えば、運動は、ボールを用いた運動として、テニスのサーブ練習、野球の打撃練習、バレーボールのサーブ練習、サッカーのシュート練習のような練習であってもよい。 In the first and second embodiments, the golf swing has been described as an example of the accompanying motion that generates sound. However, such an exercise is not limited to a golf swing. For example, the exercise may be exercises such as tennis serve practice, baseball batting practice, volleyball serve practice, soccer shoot practice, etc., as exercise using a ball.
さらに、このような運動は、ボールを用いた運動に限られるものでもなく、例えば、体操競技の跳馬練習、短距離走のスタート練習等であってもよい。 Furthermore, such exercise is not limited to exercise using a ball, and may be, for example, practice of jumping in gymnastics, practice of starting short distance running, or the like.
体操競技の跳馬練習の場合は、跳馬台に手をついたときに音が発生し、短距離走のスタート練習の場合、スタート合図を行うときに信号音が発生する。このように体操競技の跳馬練習、短距離走のスタート練習であっても、発生した音を基準にダイジェスト動画を生成することができる。 In the practice of jumping in gymnastics, a sound is generated when a hand is touched on a jumping platform, and in the case of a start practice of short distance running, a signal sound is generated when a start signal is given. As described above, a digest movie can be generated on the basis of the generated sound even in the practice of jumping in gymnastics and the start practice of short-distance running.
上記実施形態1,2では、インパクト検出部16が音の大きさに基づいてインパクト点を検出するようにした。しかし、インパクト検出部16は、例えば、映像に基づいてインパクト点を検出するようにしてもよい。
In the first and second embodiments, the
ゴルフ練習を例にして説明すると、インパクト点では、インパクト音を発するとともに、ボール5の球速等も変化する。映像データImage11から、この変化タイミングを検出することにより、インパクト点を検出することができる。
When explaining golf practice as an example, at the impact point, an impact sound is emitted and the ball speed of the
上記実施形態1,2では、デジタルカメラ1は、ユーザ3の正面側に配置されるものとして説明した。しかし、デジタルカメラ1の配置位置は、これに限られるものではなく、例えば、ユーザ3の後方に配置されてもよい。
In the first and second embodiments, the
この場合、指示枠7は、ユーザ3の後方から撮影するのにふさわしい形状のものとし、また、参照ブレ情報格納部22も、上級者6の後方から撮影したときの上級者6のブレ量等を、参照データとして格納する。
In this case, the
上記実施形態2では、総ブレ量が大きい場合でも採点結果を表示するようにした。しかし、総ブレ量が非常に大きく、採点結果を表示するまでもないときは、採点結果の表示を省略してもよい。 In the second embodiment, the scoring result is displayed even when the total blur amount is large. However, when the total blur amount is very large and it is not necessary to display the scoring result, the scoring result display may be omitted.
上記実施形態1,2では、局所ブレ量が大きい場合、そのブロックに色彩を施したり、模様を付したり等の合成画像の加工を行うようにした。しかし、合成画像の画像処理は、これに限られるものではなく、例えば、局所ブレ量が大きいブロックを、点滅、拡大、画面切替間隔を変える等の処理であってもよい。 In the first and second embodiments, when the amount of local blur is large, the synthesized image is processed such as coloring or adding a pattern to the block. However, the image processing of the composite image is not limited to this, and may be, for example, processing such as blinking, enlarging, and changing the screen switching interval for a block having a large local blur amount.
上記実施形態2では、ブレ量を画素値の分散の和とした。しかし、ブレ量は、このような算出方法によるものであるとは限らない。例えば、フレーム画像間の差分を撮った上で画素値の分散値を求めてもよい。また、上級者6、ユーザ3のエッジ画像を生成し、座標を設定してエッジ画像の変位の分散値に基づいて、ブレ量を算出するようにしてもよい。また、分散値の代わりに標準偏差を用いてブレ量を算出してもよい。
In the second embodiment, the blur amount is the sum of the dispersion of pixel values. However, the blur amount is not always based on such a calculation method. For example, a variance value of pixel values may be obtained after taking a difference between frame images. Alternatively, the edge images of the advanced user 6 and the
上記実施形態2では、ダイジェスト動画を合成した合成画像を表示するようにした。しかし、ダイジェスト動画の変わりに、静止画である各フレーム画像の合成画像を並べて表示するようにしてもよい。 In the second embodiment, a composite image obtained by combining digest videos is displayed. However, instead of the digest video, a composite image of each frame image that is a still image may be displayed side by side.
上記実施形態1では、インパクト検出部16、CPU21を異なる構成として説明した。また、上記実施形態2では、インパクト検出部16、CPU21、採点部23を異なる構成として説明した。しかし、これらを同じ構成としてもよい。そして、これらの構成等をデジタルカメラ1とは別のコンピュータに含まれるものとして、コンピュータとデジタルカメラ1とを接続するようにしてもよい。
In the said
上記実施形態1,2では、被写体をゴルフ練習者、動作をゴルフ練習として説明した。しかし、被写体、動作は、これに限られるものではなく、例えば、被写体を自動車、動作を衝突テストのような機械のテストとしてもよい。この場合、衝突テスト毎に、衝突音が付随音として発生するため、デジタルカメラ1は、この衝突音に基づいてダイジェスト動画を生成する。このように、上記実施形態1,2は、衝突テストのような機械のテストにも適用可能である。
In the first and second embodiments, the subject is a golf practitioner and the operation is a golf practice. However, the subject and motion are not limited to this, and for example, the subject may be a car and the motion may be a machine test such as a collision test. In this case, since a collision sound is generated as an accompanying sound for each collision test, the
上記実施形態1,2では、ダイジェスト動画は、インパクト点を含み、その前後の予め設定された時間の動画として説明した。しかし、ダイジェスト動画は、インパクト点を含み、このインパクト点を起点とした、その前またはその後の予め設定された時間の動画としてもよい。 In the first and second embodiments, the digest moving image is described as a moving image of a preset time before and after the impact point including the impact point. However, the digest movie may include an impact point, and may be a movie of a preset time before or after the impact point.
上記実施形態1,2では、ダイジェスト動画撮影モードとダイジェスト動画再生モードとを備え、ダイジェスト動画撮影モードの実行に伴って連続動画からインパクト情報を生成し、ダイジェスト動画再生モードにおいてこの生成されたインパクト情報に基づいてダイジェスト動画を再生する構成について説明した。 In the first and second embodiments, the digest video shooting mode and the digest video playback mode are provided, and impact information is generated from the continuous video in accordance with the execution of the digest video shooting mode, and the generated impact information in the digest video playback mode. The configuration for reproducing the digest video based on the above has been described.
しかし、ダイジェスト動画撮影モードを備えることなく、ダイジェスト動画再生モードにおいて、撮影済みの連続動画に基づいてインパクト情報を生成するとともに、これに基づいてダイジェスト動画を再生する構成としてもよい。 However, without providing the digest movie shooting mode, the digest movie playback mode may be configured to generate impact information based on the captured continuous movie and play the digest movie based on this.
また、ダイジェスト動画撮影モードにおいてダイジェスト動画の生成までを実行し、ダイジェスト動画再生モードにおいてこの生成されたダイジェスト動画を再生する構成としてもよい。 Further, it may be configured to execute up to the generation of a digest video in the digest video shooting mode and to play back the generated digest video in the digest video playback mode.
上記実施形態1,2では、ダイジェスト画像表示装置をデジタルカメラ1として説明した。しかし、ダイジェスト画像表示装置は、デジタルカメラに限られるものではなく、例えば、ビデオカメラであってもよい。
In the first and second embodiments, the digest image display device is described as the
また、表示部19を大型スクリーンとして、デジタルカメラ1と分離し、さらに、撮影の開始、停止、終了を音声にて行うようにすれば、ユーザ3は、デジタルカメラ1を操作しなくても、音声により、大型スクリーンに映し出された自分のフォームを評価することができる。
Further, if the
また、上記実施形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、上記ダイジェスト画像表示装置を、これを含む装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、CD−ROM(Compact Disk Read-Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto Optical disk)などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。 In the above-described embodiment, the program is described as being stored in advance in a memory or the like. However, a program for operating the digest image display device as all or a part of the device including the digest image display device, or executing the above-described processing, a flexible disk, a CD-ROM (Compact Disk Read-Only Memory), The program is stored and distributed in a computer-readable recording medium such as a DVD (Digital Versatile Disk) or MO (Magneto Optical disk), installed in another computer, and operated as the above-mentioned means. It may be executed.
さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。 Furthermore, the program may be stored in a disk device or the like included in a server device on the Internet, and may be downloaded onto a computer by being superimposed on a carrier wave, for example.
1・・・デジタルカメラ、12・・・音声認識ROM、13・・・映像・音声入力部、14・・・エンコーダ、15・・・記憶部、16・・・インパクト検出部、17・・・インパクト情報格納部、18・・・デコーダ、19・・・表示部、21・・・CPU、22・・・参照ブレ情報格納部、23・・・採点部
DESCRIPTION OF
Claims (8)
前記付随音を取得する付随音取得部と、
前記映像取得部が取得した映像又は前記付随音取得部が取得した付随音に基づいて、前記付随音が発生する各タイミングを検出するタイミング検出部と、
前記映像取得部が取得した映像から、前記タイミング検出部が検出した各タイミング毎のダイジェスト画像を生成するダイジェスト画像生成部と、
前記ダイジェスト画像生成部が各タイミング毎に生成したダイジェスト画像を、前記タイミング検出部が検出した各タイミングを基準に合成し、前記被写体の姿勢のブレを示す合成画像を生成する合成画像生成部と、
前記合成画像生成部の前記合成画像の生成に用いた各ダイジェスト画像を比較して、前記被写体の姿勢のブレ量を取得するブレ量取得部と、
目標とする目標ブレ量と前記ブレ量取得部が取得した前記被写体のブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価する評価部と、
前記合成画像生成部が生成した合成画像と前記評価部が評価した結果の評価結果とを表示するダイジェスト画像表示部と、を備えた、
ことを特徴とするダイジェスト画像表示装置。 A video acquisition unit that captures a subject that performs the operation of generating an accompanying sound a plurality of times and acquires a video of the subject;
An accompanying sound acquisition unit for acquiring the accompanying sound;
A timing detection unit that detects each timing at which the accompanying sound is generated based on the video acquired by the video acquisition unit or the accompanying sound acquired by the accompanying sound acquisition unit;
A digest image generation unit that generates a digest image for each timing detected by the timing detection unit from the video acquired by the video acquisition unit;
A combined image generating unit that combines the digest images generated by the digest image generating unit at each timing with reference to the timings detected by the timing detecting unit, and generates a combined image showing blurring of the posture of the subject;
A blur amount acquisition unit that compares the digest images used to generate the composite image of the composite image generation unit and acquires a blur amount of the posture of the subject;
An evaluation unit that compares a target target blur amount with the blur amount of the subject acquired by the blur amount acquisition unit and evaluates the motion of the subject based on a difference between the target blur amount and the blur amount of the subject. When,
A digest image display unit for displaying a composite image generated by the composite image generation unit and an evaluation result of a result evaluated by the evaluation unit;
A digest image display device.
前記評価部は、目標とする目標総ブレ量と前記被写体の総ブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価する、
ことを特徴とする請求項1に記載のダイジェスト画像表示装置。 The blur amount acquisition unit compares a plurality of digest images generated by the digest image generation unit, acquires a total blur amount of the posture of the subject,
The evaluation unit compares a target total blur amount to be a target and a total blur amount of the subject, and evaluates an operation of the subject based on a difference between the target blur amount and the blur amount of the subject.
The digest image display device according to claim 1 .
前記評価部は、前記ブレ量取得部が取得した各局所ブレ量と前記各局所ブレ量の目標とする目標局所ブレ量とをそれぞれ比較し、前記被写体の各局所ブレ量と目標局所ブレ量との差に基づいて前記被写体の動作を前記ブロック毎に評価し、
前記ダイジェスト画像表示部は、前記ダイジェスト画像生成部が生成した前記ダイジェスト画像と前記評価部がブロック毎に評価した評価結果とを表示する、
ことを特徴とする請求項1に記載のダイジェスト画像表示装置。 The blur amount acquisition unit divides a plurality of digest images generated by the digest image generation unit into a plurality of blocks, and acquires a local blur amount of the posture of the subject for each of the divided blocks.
The evaluation unit compares each local blur amount acquired by the blur amount acquisition unit with a target local blur amount targeted for each local blur amount, and each local blur amount and target local blur amount of the subject The movement of the subject is evaluated for each block based on the difference between
The digest image display unit displays the digest image generated by the digest image generation unit and the evaluation result evaluated by the evaluation unit for each block.
The digest image display device according to claim 1 .
ことを特徴とする請求項3に記載のダイジェスト画像表示装置。 The evaluation unit compares a difference between each local blur amount of the subject and the target local blur amount with a threshold value set in advance for the difference, and determines an image of the block in which the difference is equal to or greater than the threshold value. , Apply image processing to show the evaluation results,
The digest image display device according to claim 3 .
前記評価部は、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を並べて合成する、
ことを特徴とする請求項1乃至4のいずれか1項に記載のダイジェスト画像表示装置。 The digest image generation unit generates a plurality of digest images in one operation at one timing detected by the timing detection unit,
The evaluation unit synthesizes a plurality of digest images generated by the digest image generation unit.
Digest image display apparatus according to any one of claims 1 to 4, characterized in that.
前記評価部は、前記目標ブレ量記憶部を参照して、前記目標ブレ量を取得する、
ことを特徴とする請求項1乃至5のいずれか1項に記載のダイジェスト画像表示装置。 A target blur amount storage unit for storing the target blur amount;
The evaluation unit refers to the target blur amount storage unit to obtain the target blur amount;
Digest image display apparatus according to any one of claims 1 to 5, characterized in that.
前記付随音を取得するステップと、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出するステップと、
取得した映像から、検出した各タイミング毎のダイジェスト画像を生成するステップと、
各タイミング毎に生成したダイジェスト画像を、検出した各タイミングを基準に合成し、前記被写体の姿勢のブレを示す合成画像を生成するステップと、
前記合成画像の生成に用いた各ダイジェスト画像を比較して、前記被写体の姿勢のブレ量を取得するステップと、
目標とする目標ブレ量と前記被写体のブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価するステップと、
前記合成画像と評価した結果の評価結果とを表示するステップと、を備えた、
ことを特徴とするダイジェスト画像表示方法。 Photographing a subject that performs an operation of generating an accompanying sound a plurality of times, and obtaining an image of the subject;
Obtaining the accompanying sound;
Detecting each timing at which the accompanying sound is generated based on the acquired video or the accompanying sound; and
Generating a digest image for each detected timing from the acquired video;
Synthesizing the digest image generated at each timing with reference to each detected timing, and generating a composite image showing blurring of the posture of the subject;
Comparing each digest image used to generate the composite image to obtain a blur amount of the posture of the subject;
Comparing a target target blur amount with the subject blur amount, and evaluating the motion of the subject based on a difference between the target blur amount and the subject blur amount;
Displaying the composite image and the evaluation result of the evaluation result,
The digest image display method characterized by the above-mentioned.
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する手順、
前記付随音を取得する手順、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出する手順、
取得した映像から、検出した各タイミング毎のダイジェスト画像を生成する手順、
各タイミング毎に生成したダイジェスト画像を、検出した各タイミングを基準に合成し、前記被写体の姿勢のブレを示す合成画像を生成する手順、
前記合成画像の生成に用いた各ダイジェスト画像を比較して、前記被写体の姿勢のブレ量を取得する手順、
目標とする目標ブレ量と前記被写体のブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価する手順、
前記合成画像と評価した結果の評価結果とを表示する手順、
を実行させるためのプログラム。 On the computer,
A procedure for photographing a subject that performs an operation that generates an accompanying sound a plurality of times and acquiring an image of the subject,
Obtaining the accompanying sound;
A procedure for detecting each timing at which the accompanying sound is generated based on the acquired video or the accompanying sound,
A procedure for generating a digest image for each detected timing from the acquired video,
A procedure for synthesizing a digest image generated at each timing with reference to each detected timing, and generating a synthesized image showing blurring of the posture of the subject,
A procedure for comparing each digest image used to generate the composite image and obtaining a blur amount of the posture of the subject;
A procedure for comparing a target blur amount and a blur amount of the subject, and evaluating the motion of the subject based on a difference between the target blur amount and the blur amount of the subject;
A procedure for displaying the composite image and an evaluation result of the evaluation result;
A program for running
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011100293A JP5240317B2 (en) | 2011-04-28 | 2011-04-28 | Digest image display device, digest image display method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011100293A JP5240317B2 (en) | 2011-04-28 | 2011-04-28 | Digest image display device, digest image display method and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007070223A Division JP4784538B2 (en) | 2007-03-19 | 2007-03-19 | Digest image display device, digest image display method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011205657A JP2011205657A (en) | 2011-10-13 |
JP5240317B2 true JP5240317B2 (en) | 2013-07-17 |
Family
ID=44881724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011100293A Expired - Fee Related JP5240317B2 (en) | 2011-04-28 | 2011-04-28 | Digest image display device, digest image display method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5240317B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5794215B2 (en) * | 2012-09-20 | 2015-10-14 | カシオ計算機株式会社 | Image processing apparatus, image processing method, and program |
JP6256738B2 (en) * | 2013-09-06 | 2018-01-10 | カシオ計算機株式会社 | Movie selection device, movie selection method and program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2740085B2 (en) * | 1992-08-25 | 1998-04-15 | 株式会社クボタ | Hitting motion practice machine |
JP2002210055A (en) * | 2001-01-17 | 2002-07-30 | Saibuaasu:Kk | Swing measuring system |
JP4143389B2 (en) * | 2002-11-22 | 2008-09-03 | キヤノン株式会社 | Video recording device |
-
2011
- 2011-04-28 JP JP2011100293A patent/JP5240317B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011205657A (en) | 2011-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4784538B2 (en) | Digest image display device, digest image display method and program | |
CN103888643B (en) | Information reporting device, information report method and recording medium | |
US12029961B2 (en) | Flagging irregularities in user performance in an exercise machine system | |
CN103581522B (en) | information notification apparatus and information notification method | |
JP6673221B2 (en) | Information processing apparatus, information processing method, and program | |
KR100347960B1 (en) | Video game machine and controlling method of it | |
GB2567579A (en) | Billiard ball striking assistance method, billiard ball striking assistance system, and portable electronic device | |
CN105450911B (en) | Image processing apparatus, image processing method | |
EP1907076A1 (en) | A method for analyzing the motion of a person during an activity | |
JP4264368B2 (en) | Practical skill analysis system and program | |
JP2006345270A (en) | Information processing device and method therefor, photographing device and program | |
JP2007300562A (en) | Image processing apparatus and image processing method | |
JP5786892B2 (en) | Movie playback device, movie playback method and program | |
JP6149365B2 (en) | Information generating apparatus, information generating method and program | |
JP5283649B2 (en) | Apparatus and method for analyzing an action of shooting an arrow using a bow | |
CN103914700B (en) | Display control unit, display control method and recording medium | |
JP5240317B2 (en) | Digest image display device, digest image display method and program | |
US20200387288A1 (en) | Information processing apparatus, method for controlling the same, and storage medium | |
JP2011234018A (en) | Information processing device, method, and program | |
JP6679951B2 (en) | Teaching Assist System and Teaching Assist Program | |
JP5318016B2 (en) | GAME SYSTEM, GAME SYSTEM CONTROL METHOD, AND PROGRAM | |
JP7051728B2 (en) | Interactive robot and its control device | |
JP2020135177A (en) | Program, device, and method for analyzing moving image | |
JP7513938B2 (en) | Information processing method, information processing device, and program | |
KR102234548B1 (en) | Body balance check system using Jump rope exercise posture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130318 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5240317 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |