JP5754439B2 - 情報報知装置、情報報知方法及びプログラム - Google Patents

Description

本発明は、情報報知装置、情報報知方法及びプログラムに関する。

従来の技術として、ゴルフスイングの動作の確認のためにゴルフボールを挟んでユーザに対向するように外部装置を設ける技術が知られている（例えば、特許文献１参照）。

特開２００４―３２１７６７号公報

しかしながら、特許文献１の技術では、頭部ぶれ検出用マーカーのような外部装置の設置が必須であるため、ゴルフスイングの動作を客観的に把握できる時期が当該動作中に限られてしまうという問題があった。

本発明は、このような状況に鑑みてなされたものであり、被写体の動作を当該動作中でなくとも容易に確認できることを目的とする。

上記目的を達成するため、本発明の一態様の情報報知装置は、
被写体の動作が夫々撮像された複数の動画像を取得する取得手段と、
前記取得手段により取得された前記複数の動画像中の各動画像から、前記被写体の動作における特定の状態を検出する状態検出手段と、
前記状態検出手段により検出された特定の状態に対応する画像を前記各動画像から検出する画像検出手段と、
前記画像検出手段により検出された画像同士を比較する比較手段と、
前記比較手段による比較結果に基づいて、被写体同士の動作における差異情報を文字情報として報知する報知制御手段と、
を備えることを特徴とする。

本発明によれば、被写体の動作を当該動作中でなくとも容易に確認できる。

本発明の一実施形態に係る情報報知装置１のハードウェアの構成を示すブロック図である。 図１の情報報知装置１の機能的構成のうち、比較結果報知処理を実行するための機能的構成を示す機能ブロック図である。 撮像画像の座標系を示した図である。 ７個の特定のスイングの状態の画像毎に、プレーヤとプロゴルファとについて、顔画像の位置等を示す図である。 報知画像の一例を示す図である。 報知画像の一例を示す図である。 報知画像の一例を示す図である。 報知画像の一例を示す図である。 報知画像の一例を示す図である。 図２の機能構成を有する図１の情報報知装置１が実行する比較結果報知処理の流れを示すフローチャートである。 報知画像の一例を示す図である。

以下、本発明の実施形態について、図面を用いて説明する。

［構成］
図１は、本発明の一実施形態に係る情報報知装置のハードウェアの構成を示すブロック図である。
情報報知装置１は、例えばデジタルカメラとして構成される。

情報報知装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。

ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１やＲＡＭ１３等に適宜供給される。
ここで、本実施形態では、例えば１／３０秒毎に１枚の撮像画像のデータが撮像部１６から順次出力されて、動画像（連写画像）のデータが構成される。即ち、以下においては、撮像画像とは、断りのない限り、動画像を構成する単位画像（フレーム画像やフィールド画像）であるものとする。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

図２は、このような情報報知装置１の機能的構成のうち、比較結果報知処理を実行するための機能的構成を示す機能ブロック図である。
比較結果報知処理とは、撮像された動画像に含まれる被写体の動作の解析結果と、比較対象とする人物等の動作の解析結果とを比較し、当該比較した結果に基づいて報知情報を生成して報知するための一連の処理をいう。
本実施形態においては、情報報知装置１によって撮像された動画像に含まれるプレーヤのゴルフスイングの解析結果（以下、「プレーヤの解析結果」と呼ぶ）に基づく情報と、予め比較対象画像記憶部６２に記憶されている動画像に含まれるプロゴルファのゴルフスイングの解析結果（以下、「プロゴルファの解析結果」と呼ぶ）に基づく情報とを比較する例について説明する。ただし、情報報知装置１によって撮像された動画像に含まれるプレーヤの現在のゴルフスイングの解析結果に基づく情報と、過去に撮像された動画像に含まれる当該プレーヤのゴルフスイングの解析結果に基づく情報とを比較する等、種々の情報を比較することも可能である。

比較結果報知処理が実行される場合には、図２に示すように、ＣＰＵ１１において、撮像制御部４１と、画像取得部４２と、画像読出し部４３と、状態検出部４４と、顔検出部４５と、位置等検出部４６と、比較部４７と、アドバイス情報生成部４８と、報知画像生成部４９と、報知制御部５０とが機能する。

ただし、図２は例示であり、ＣＰＵ１１の機能の少なくとも一部を、ＧＡ（Ｇｒａｐｈｉｃｓ Ａｃｃｅｌｅｒａｔｏｒ）等の画像処理を行うハードウェアを備えて、これに委譲しても良い。

比較結果報知処理が実行される場合、記憶部１９の一領域として設けられた、取得画像記憶部６１と、比較対象画像記憶部６２とが用いられる。
取得画像記憶部６１においては、撮像部１６から出力され、画像取得部４２により取得された動画像（複数の撮像画像）のデータが記憶されている。
比較対象画像記憶部６２においては、プロゴルファのゴルフスイングについての動画像が予め記憶されている。

撮像制御部４１は、入力部１７を介して入力される各種撮像条件を設定し、撮像部１６における撮像の動作を制御する。
本実施形態においては、一連の動作をする被写体（プレーヤ）を撮像するため、撮像制御部４１は、撮像部１６に、被写体を連続的に撮像させ、動画像のデータとして出力させる。

画像取得部４２は、撮像部１６から出力された動画像のデータを取得する。その後、画像取得部４２は、動画像のデータをエンコードして取得画像記憶部６１に記憶させる。

画像読出し部４３は、取得画像記憶部６１に記憶されたプレーヤの動画像のデータと、比較対象画像記憶部６２に記憶されたプロゴルファの動画像のデータとを読み出す。即ち、画像読出し部４３は、取得画像記憶部６１及び比較対象画像記憶部６２に記憶された動画像のデータを、撮像画像（単位画像）を単位として順次デコードしつつ、デコードされた一連の撮像画像のデータをＲＡＭ１３に記憶する。

状態検出部４４は、画像読出し部４３によって読み出された、プレーヤの動画像のデータとプロゴルファの動画像のデータとに基づいて、特定のスイングの状態の画像を、プレーヤ及びプロゴルファ毎に検出する。ここで、特定のスイングの状態とは、後述する図４に示すような、「アドレス」の状態、「ハーフバック」の状態、「トップ」の状態、「ハーフダウン」の状態、「インパクト」の状態、「フォロー」の状態、及び「フィニッシュ」の状態の７個の状態のことをいう。
具体的には、状態検出部４４は、プレーヤの動画像のデータとプロゴルファの動画像のデータとに基づいて、ゴルフクラブのシャフト部分の画像データを抽出する。さらに、状態検出部４４は、抽出された画像データに基づいて、ハフ変換を実行し、当該実行結果に基づいて、ゴルフクラブのシャフト部分の画像の水平面とのなす角度を検出する。さらにまた、状態検出部４４は、検出された角度に基づいて、上述した７個の特定のスイングの状態の画像を、プレーヤ及びプロゴルファ毎に検出する。
また、状態検出部４４は、検出した７個の特定のスイングの状態の画像を、プレーヤ及びプロゴルファ毎にＲＡＭ１３に記憶する。

顔検出部４５は、状態検出部４４により検出された７個の特定のスイングの状態の画像毎に、プレーヤ及びプロゴルファの夫々の顔の部分の画像（以下、「顔画像」と呼ぶ）を検出する。顔画像の検出は、顔検出器（図示せず）が設けられ、当該顔検出器からの出力に基づいて実行される。

位置等検出部４６は、７個の特定のスイングの状態の画像毎に、顔検出部４５により検出された顔画像の撮像画像における位置座標を検出する。具体的には、位置等検出部４６は、図３に示す撮像画像の座標系における顔画像の位置座標を検出する。図３は、撮像画像の座標系を示した図である。撮像画像における座標は、Ｘ−Ｙ平面上の座標として定義可能であるが、後述する顔の左右方向の向き等を定義するために、図３において、Ｚ軸が便宜的に示されている。
図４は、７個の特定のスイングの状態の画像毎に、プレーヤとプロゴルファとについて、顔画像の位置等を示す図である。検出された顔画像の位置座標は、図４のパラメータ「ｃ」によって示される。例えば、図４のプロゴルファの「アドレス」の状態では、当該位置座標は、Ｘ＝３３，Ｙ＝１８であることが示されている。
なお、位置等検出部４６は、検出された顔画像の位置座標を７個の特定のスイングの状態の画像毎に対応付けてＲＡＭ１３に記憶する。

また、位置等検出部４６は、検出された顔画像に基づいて、プレーヤ及びプロゴルファ夫々について、顔の左右方向の向き、顔の上下方向の向き、及び、顔の回転方向への傾きを検出する。ここで、顔の正面方向のベクトルとＺ軸とが平行である場合、顔の左右方向及び上下方向の向きは０度である。この場合を基準として、顔の左右方向の向きは、顔の正面方向のベクトルのＺ−Ｘ平面への射影ベクトルのＹ軸回りの回転角で示され、顔の上下方向の向きは、顔の正面方向のベクトルのＹ−Ｚ平面への射影ベクトルのＸ軸回りの回転角で示される。
また、顔の正面方向のベクトルとＹ軸とが平行である場合、顔の傾きは０度である。この場合を基準として、顔の傾きは、顔の正面方向のベクトルのＸ−Ｙ平面への射影ベクトルのＺ軸回りの回転角で示される。
検出された、顔の左右方向の向き及び顔の上下方向の向きは、図４のパラメータ「ａ」によって示される。例えば、図４のプロゴルファの「ハーフバック」の状態では、顔が右方向に５度、下方向に３３度、傾いていることが示されている。
また、検出された顔の回転方向への傾きは、図４のパラメータ「ｂ」によって示される。例えば、図４のプロゴルファの「トップ」の状態では、顔の傾きが１１度であることが示されている。
なお、位置等検出部４６は、検出された顔の左右方向の向き、顔の上下方向の向き、及び、検出された顔の回転方向への傾きを７個の特定のスイングの状態の画像毎に対応付けてＲＡＭ１３に記憶する。

また、位置等検出部４６は、顔画像の大きさ、及びゴルフボールの画像（以下、「ゴルフボール画像」と呼ぶ）の撮像画像における位置座標を検出する。顔画像の大きさは、撮像画像中の顔画像の面積として検出される。ゴルフボール画像の撮像画像における位置の検出は、ゴルフボール検出器（図示せず）が設けられ、当該ゴルフボール検出器からの出力に基づいて実行される。
検出された顔画像の大きさは、図４のパラメータ「ｄ」によって示される。例えば、図４のプロゴルファの場合、顔画像の大きさが９．５であることが示されている。
また、検出されたゴルフボール画像の位置座標は、図４のパラメータ「ｅ」によって示される。例えば、図４のプロゴルファの場合、ゴルフボール画像の位置座標が、Ｘ＝３８，Ｙ＝７８であることが示されている。
なお、位置等検出部４６は、顔画像の大きさ、及びゴルフボール画像の撮像画像における位置座標を、プレーヤ及びプロゴフファ毎にＲＡＭ１３に記憶する。

比較部４７は、位置等検出部４６により検出された、顔画像の位置座標、顔の左右方向の向き、顔の上下方向の向き、及び、顔の回転方向への傾きについて、プレーヤとプロゴルファとでの各値を比較し、これらの差分を算出する。

アドバイス情報生成部４８は、比較部４７による比較結果である各差分値に基づいて、アドバイス情報を生成する。アドバイス情報とは、プレーヤに対して報知される文字情報である。アドバイス情報の内容は、プレーヤとプロゴルファとの間における、顔画像の位置の差分値に基づく情報、例えば、図５に示す「下に１５ｃｍ右に１５ｃｍ頭を動かしてください」である。さらに、アドバイス情報生成部４８は、生成したアドバイス情報を、「位置アドバイス情報」として、プレーヤのスイングの状態と対応付けてＲＡＭ１３に記憶する。
また、別の態様のアドバイス情報の内容は、プレーヤとプロゴルファとの間における、顔画像の位置座標、顔の左右方向の向き、顔の上下方向の向き、及び、顔の回転方向への傾き、の夫々の差分値に基づく情報、例えば、図６に示す「角度差：左右：２５°／上下：２７°／傾き１９°プロ位置：下に１５ｃｍ右に１５ｃｍ」である。さらに、アドバイス情報生成部４８は、生成したアドバイス情報を、「位置及び角度差アドバイス情報」として、プレーヤのスイングの状態と対応付けてＲＡＭ１３に記憶する。
また、別の態様のアドバイス情報の内容は、例えば、図７に示す、ゴルフボール画像８５のＸ座標とプレーヤの顔画像のＸ座標との差分値である、「１４ｃｍ」、ゴルフボール画像８６のＸ座標とプロゴルファの顔画像のＸ座標との差分値である、「３１ｃｍ」、及び、これらの差分値同士の差分に基づく情報である、「差：１７ｃｍ」である。さらに、アドバイス情報生成部４８は、生成したアドバイス情報を、「ボール差アドバイス情報」として、プレーヤのスイングの状態と対応付けてＲＡＭ１３に記憶する。
また、別の態様のアドバイス情報の内容は、プレーヤの顔画像の位置座標のスイング状態毎の遷移に基づく情報、例えば、図９に示す「アドレスからトップまで頭が動き過ぎです」である。さらに、アドバイス情報生成部４８は、生成したアドバイス情報を、「グラフアドバイス情報」としてＲＡＭ１３に記憶する。

報知画像生成部４９は、アドバイス情報生成部４８によって生成されたアドバイス情報、状態検出部４４によって検出された、プレーヤ及びプロゴルファ毎の７個の特定のスイングの状態の画像、及び、位置等検出部４６により検出された、顔画像の位置座標、顔の左右方向の向き、顔の上下方向の向き、顔の回転方向への傾き、ゴルフボール画像の位置座標、に基づいて、報知画像のデータを生成する。

例えば、図５に示す報知画像のデータが生成される場合、報知画像生成部４９は、状態検出部４４に検出されたプレーヤの「トップ」の状態の画像のデータをＲＡＭ１３から抽出し、プレーヤの「トップ」の状態の「位置アドバイス情報」をＲＡＭ１３から抽出する。また、報知画像生成部４９は、プレーヤの顔画像の位置及び顔の正面方向を表すマーク画像８１、及びプロゴルファの顔画像の位置及び顔の正面方向を表すマーク画像８２の各データを、位置等検出部４６により検出された、顔画像の位置座標、顔の左右方向の向き、顔の上下方向の向き、に基づいて生成する。そして、報知画像生成部４９は、マーク画像８１をプレーヤの顔画像に重畳させ、プレーヤの「トップ」の状態の画像と、ＲＡＭ１３から抽出したプレーヤの「トップ」の状態と関連付けられて格納された「位置アドバイス情報」と、マーク画像８１，８２とを含む画像のデータを、図５に示す報知画像のデータとして生成する。

また、例えば、図６に示す報知画像のデータが生成される場合、報知画像生成部４９は、状態検出部４４に検出されたプレーヤ及びプロゴルファの「トップ」の状態の画像のデータをＲＡＭ１３から抽出し、プレーヤの「トップ」の状態の「位置及び角度差アドバイス情報」をＲＡＭ１３から抽出する。また、報知画像生成部４９は、プレーヤの顔画像の位置及び顔の正面方向を表すマーク画像８３、及びプロゴルファの顔画像の位置及び顔の正面方向を表すマーク画像８４の各データを、位置等検出部４６により検出された、顔画像の位置座標、顔の左右方向の向き、顔の上下方向の向き、に基づいて生成する。そして、報知画像生成部４９は、マーク画像８３をプレーヤの顔画像に重畳させ、マーク画像８３とプレーヤの「トップ」の状態の画像とを含む画像のデータを、図６に示す報知画像の左半分の領域のデータとして生成する。また、報知画像生成部４９は、マーク画像８４をプロゴルファの顔画像に重畳させ、マーク画像８４とプロゴルファの「トップ」の状態の画像とを含む画像のデータを、図６に示す報知画像の右半分の領域のデータとして生成する。さらに、報知画像生成部４９は、ＲＡＭ１３から抽出したプレーヤの「トップ」の状態と関連付けられて格納された「位置及び角度差アドバイス情報」と、報知画像の左半分の領域のデータと、報知画像の右半分の領域のデータとを合わせて、図６に示す報知画像のデータとして生成する。

また、例えば、図７に示す報知画像のデータが生成される場合、報知画像生成部４９は、状態検出部４４に検出されたプレーヤ及びプロゴルファの「ハーフダウン」の状態の画像のデータをＲＡＭ１３から抽出し、プレーヤの「ハーフダウン」の状態の「ボール差アドバイス情報」をＲＡＭ１３から抽出する。また、報知画像生成部４９は、ＲＡＭ１３から抽出したプレーヤの「ハーフダウン」の状態と関連付けられて格納された「ボール差アドバイス情報」に含まれるゴルフボール画像のＸ座標とプレーヤの顔画像のＸ座標との差分値（以下、「プレーヤ差分値」と呼ぶ）と、プレーヤの「ハーフダウン」の状態の画像とを含む画像のデータを、図７に示す報知画像の左半分の領域のデータとして生成する。また、報知画像生成部４９は、当該「ボール差アドバイス情報」に含まれるゴルフボール画像のＸ座標とプロゴルファの顔画像のＸ座標との差分値（以下、「プロゴルファ差分値」と呼ぶ）と、プロゴルファの「ハーフダウン」の状態の画像と、を図７に示す報知画像の右半分の領域のデータとして生成する。さらに、報知画像生成部４９は、プレーヤ差分値とプロゴルファ差分値との差分値、報知画像の左半分の領域のデータ、及び、報知画像の右半分の領域のデータを合わせて、図７に示す報知画像のデータとして生成する。

また、例えば、図８に示す報知画像のデータが生成される場合、報知画像生成部４９は、状態検出部４４に検出されたプレーヤ及びプロゴルファ夫々の「トップ」及び「アドレス」の状態の画像のデータをＲＡＭ１３から抽出する。また、報知画像生成部４９は、プレーヤの「アドレス」の状態での顔画像の位置及び顔の正面方向を表すマーク画像８７、プレーヤの「トップ」の状態での顔画像の位置及び顔の正面方向を表すマーク画像８８、プロゴルファの「アドレス」の状態での顔画像の位置及び顔の正面方向を表すマーク画像８９、プロゴルファの「トップ」の状態での顔画像の位置及び顔の正面方向を表すマーク画像９０を、位置等検出部４６により検出された、顔画像の位置座標、顔の左右方向の向き、顔の上下方向の向き、に基づいて生成する。
そして、報知画像生成部４９は、マーク画像８７をプレーヤ「アドレス」の状態の顔画像に重畳させ、マーク画像８８をプレーヤ「トップ」の状態の顔画像に重畳させ、マーク画像８７，８８とプレーヤの「アドレス」及び「トップ」の状態の画像とを含む画像のデータを、図８に示す報知画像の左半分の領域のデータとして生成する。また、報知画像生成部４９は、マーク画像８９をプロゴルファの「アドレス」の状態の顔画像に重畳させ、マーク画像９０をプロゴルファの「トップ」状態の顔画像に重畳させ、マーク画像８９，９０とプロゴルファの「アドレス」及び「トップ」の状態の画像とを含む画像のデータを、図８に示す報知画像の右半分の領域のデータとして生成する。さらに、報知画像生成部４９は、報知画像の左半分の領域のデータ、及び、報知画像の右半分の領域のデータを合わせて、図８に示す報知画像のデータとして生成する。

また、例えば、図９に示す報知画像のデータが生成される場合、報知画像生成部４９は、位置等検出部４６により検出されてＲＡＭ１３に格納された、７個の特定のスイングの状態におけるプレーヤ及びプロゴルファの顔画像の位置座標を読み出す。また、報知画像生成部４９は、プレーヤの「グラフアドバイス情報」をＲＡＭ１３から抽出する。そして、報知画像生成部４９は、読み出した当該位置座標に基づいて、当該位置座標の遷移のグラフをプレーヤ及びプロゴルファの夫々について生成し、当該グラフのデータ及び当該「グラフアドバイス情報」を図９に示す報知画像のデータとして生成する。

なお、報知画像生成部４９により生成された報知画像のデータは、ＲＡＭ１３に記憶される。

報知制御部５０は、報知画像生成部４９により生成された報知画像のデータを出力部１８に表示出力させる。この際、報知制御部５０は、入力部１７を介したユーザによる入力操作に応じて、報知画像生成部４９により生成されてＲＡＭ１３に記憶された報知画像のデータを選択して出力部１８に表示出力させる。

［比較結果報知処理］
続いて、情報報知装置１が実行する比較結果報知処理について説明する。
図１０は、図２の機能構成を有する図１の情報報知装置１が実行する比較結果報知処理の流れの一例を示すフローチャートである。

図１０において、被写体の撮像が開始されるために、情報報知装置１の入力部１７が操作されると、次のようなステップＳ１乃至Ｓ１０の処理が実行される。

ステップＳ１において、撮像制御部４１は、撮像部１６に、被写体（プレーヤ）を連続的に撮像させ、動画像のデータとして出力させる。
ステップＳ２において、画像取得部４２は、撮像部１６から出力された動画像のデータを取得する。その後、画像取得部４２は、動画像のデータをエンコードして取得画像記憶部６１に記憶させる。

ステップＳ３において、画像読出し部４３は、取得画像記憶部６１に記憶されたプレーヤの動画像のデータと、比較対象画像記憶部６２に予め記憶されたプロゴルファの動画像のデータとを読み出す。即ち、画像読出し部４３は、取得画像記憶部６１及び比較対象画像記憶部６２に記憶された動画像のデータを、撮像画像（単位画像）を単位として順次デコードしつつ、デコードされた一連の撮像画像のデータをＲＡＭ１３に記憶する。

ステップＳ４において、状態検出部４４は、ステップ３において読み出された、プレーヤの動画像のデータとプロゴルファの動画像のデータとに基づいて、特定のスイングの状態の画像を、プレーヤ及びプロゴルファ毎に検出する。ここで、特定のスイングの状態とは、後述する図４に示すような、「アドレス」の状態、「ハーフバック」の状態、「トップ」の状態、「ハーフダウン」の状態、「インパクト」の状態、「フォロー」の状態、及び「フィニッシュ」の状態の７個の状態のことをいう。また、状態検出部４４は、検出した７個の特定のスイングの状態の画像を、プレーヤ及びプロゴルファ毎にＲＡＭ１３に記憶する。

ステップＳ５において、顔検出部４５は、ステップＳ４において検出された７個の特定のスイングの状態の画像毎に、プレーヤ及びプロゴルファの夫々の顔画像を検出する。

ステップＳ６において、位置等検出部４６は、７個の特定のスイングの状態の画像毎に、ステップＳ５において検出された顔画像の撮像画像における位置座標を検出する。また、位置等検出部４６は、ステップＳ５において検出された顔画像に基づいて、プレーヤ及びプロゴルファ夫々について、顔の左右方向の向き、顔の上下方向の向き、及び、顔の回転方向への傾きを検出する。なお、位置等検出部４６は、検出された、顔画像の位置座標、顔の左右方向の向き、顔の上下方向の向き、及び、検出された顔の回転方向への傾きを７個の特定のスイングの状態の画像毎に対応付けてＲＡＭ１３に記憶する。
また、ステップＳ６において、位置等検出部４６は、顔画像の大きさ、及びゴルフボール画像の撮像画像における位置座標を検出する。なお、位置等検出部４６は、顔画像の大きさ、及びゴルフボール画像の撮像画像における位置座標を、プレーヤ及びプロゴフファ毎にＲＡＭ１３に記憶する。

ステップＳ７において、比較部４７は、位置等検出部４６により検出された、顔画像の位置座標、顔の左右方向の向き、顔の上下方向の向き、及び、顔の回転方向への傾きについて、プレーヤとプロゴルファとでの各値を比較し、これらの差分を算出する。

ステップＳ８において、アドバイス情報生成部４８は、ステップＳ７における算出結果である、各差分値に基づいてアドバイス情報（上述した「位置アドバイス情報」等）を生成する。さらに、アドバイス情報生成部４８は、生成した「位置アドバイス情報」、「位置及び角度差アドバイス情報」及び「ボール差アドバイス情報」をプレーヤのスイングの状態と対応付けてＲＡＭ１３に記憶する。さらに、アドバイス情報生成部４８は、生成した「グラフアドバイス情報」をＲＡＭ１３に記憶する。

ステップＳ９において、報知画像生成部４９は、ステップＳ８において生成されたアドバイス情報、ステップＳ４において検出された、プレーヤ及びプロゴルファ毎の７個の特定のスイングの状態の画像、及び、ステップＳ６により検出された、顔画像の位置座標、顔の左右方向の向き、顔の上下方向の向き、顔の回転方向への傾き、ゴルフボール画像の位置座標、に基づいて、図５乃至図９に示す報知画像のデータを生成する。また、報知画像生成部４９は、生成された報知画像のデータを、ＲＡＭ１３に記憶される。

ステップＳ１０において、報知制御部５０は、報知画像生成部４９により生成された報知画像のデータを出力部１８に表示出力させる。この際、報知制御部５０は、入力部１７を介したユーザによる入力操作に応じて、報知画像生成部４９により生成されてＲＡＭ１３に記憶された報知画像のデータを選択して出力部１８に表示出力させる。

以上、本発明の実施形態について説明した。
以上のような比較結果報知処理を実行する情報報知装置１は、画像取得部４２と、状態検出部４４と、顔検出部４５と、比較部４７と、報知制御部５０とを備える。
画像取得部４２は、被写体の動作が夫々撮像された複数の動画像を取得する。
状態検出部４４は、画像取得部４２により取得された複数の動画像中の各動画像から、被写体の動作における特定のスイングの状態を検出する。
顔検出部４５は、状態検出部４４により検出された特定のスイングの状態に対応する画像を各動画像から検出する。
比較部４７は、顔検出部４５により検出された画像同士を比較する。
報知制御部５０は、比較部４７による比較結果に基づく情報を報知する。
したがって、プレーヤのスイング動作の後に、特定のスイングの状態における、プレーヤの画像とプロゴルファの画像との比較結果に基づく情報、例えば、顔画像の位置の比較結果の情報が報知される。よって、特定のスイングの状態における、被写体としてのプレーヤと、プロゴルファとの相違点をゴルフスイング中でなくとも容易に確認できる。

状態検出部４４は、一連の動作の７個の特定のスイングの状態を検出する。
顔検出部４５は、７個の特定のスイングの状態毎に顔部分の画像を検出する。
比較部４７は、顔検出部４５により検出された複数の画像同士を比較する。
したがって、複数の特定のスイングの状態における、被写体としてのプレーヤと、プロゴルファとの相違点をゴルフスイング中でなくとも容易に確認できる。

顔検出部４５は、検出された特定のスイングの状態に対応する画像から被写体の顔画像を検出する。
比較部４７は、顔検出部４５により検出された部分画像同士で比較する。
したがって、プレーヤのスイング動作の後に、特定のスイングの状態における、プレーヤの画像とプロゴルファの画像との比較結果に基づく情報、例えば、顔画像の位置の比較結果の情報が報知される。よって、特定のスイングの状態における、被写体としてのプレーヤと、プロゴルファとの相違点をゴルフスイング中でなくとも容易に確認できる。

また、情報報知装置１は、位置等検出部４６を備える。
位置等検出部４６は、顔検出部４５により検出された顔部分の画像の位置又は向きを検出する。
比較部４７は、位置等検出部４６により検出された顔部分の画像の位置又は向きをプレーヤ及びプロゴルファ同士で比較する。
したがって、複数の特定のスイングの状態における、被写体としてのプレーヤと、プロゴルファとの顔の位置又は向きの相違点をゴルフスイング中でなくとも容易に確認できる。

また、情報報知装置１は、報知画像生成部４９を備える。
報知画像生成部４９は、比較部４７による比較結果に基づいて報知画像のデータを生成する。
また、報知画像生成部４９は、比較部４７による位置等検出部４６により検出された顔部分の画像の位置又は向きをプレーヤ及びプロゴルファ同士で比較した比較結果に基づくアドバイス情報と、及び／又は、プレーヤ及びプロゴルファ夫々についての顔部分の画像の位置又は向きを表すマーク画像８１〜８４とを含む報知画像を生成する。
報知制御部５０は、報知画像生成部４９により生成された報知画像を報知する。
したがって、複数の特定のスイングの状態における、被写体としてのプレーヤと、プロゴルファとの顔の位置又は向きの相違点をゴルフスイング中でなくとも容易に確認できるとともに、アドバイス情報により当該顔の位置又は向きの相違点を具体的に把握でき、さらに、マーク画像により当該顔又は向きの位置の相違点を視覚的に把握できる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、情報報知装置１は、１個であるが、これに限られず、２個設けて、被写体を多視点から撮影してもよい。これにより、図１１に示すように、２個の特定のスイングの状態との比較結果において、前後方向の差分を把握できる報知画像を報知してもよい。

また、上述の実施形態では、プレーヤ及びプロゴルファの顔画像の位置を検出したが、これに限られるものではない。例えば、顔以外に腕や脚などの画像の位置を検出してもよい。

また、上述の実施形態では、特定のスイングの状態として、「アドレス」の状態等の７個の状態を特定したが、これに限られず、その他の状態を検出してもよい。また、特定のスイングの状態の数は、６個以下でも、８個以上でもよい。

また、上述の実施形態では、ゴルフスイングが写された動画像のデータを対象として、本発明を適用する場合を例に挙げて説明したが、本発明は、種々の動作の比較に適用することができる。例えば、野球のバットのスイング、テニスのラケットのスイングあるいはダンスの振り付け等の各種スポーツの動作を比較する場合に適用することが可能である。
また、本発明は、楽器演奏、料理（包丁やフライパンさばき）、手品、陶芸の他、さらに技能五輪、アビリンピック種目など、さまざまな動作の比較にも応用できる。

また、上述の実施形態では、本発明が適用される情報報知装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成しても良いし、ソフトウェア単体で構成しても良いし、それらの組み合わせで構成しても良い。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであっても良い。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
被写体の動作が夫々撮像された複数の動画像を取得する取得手段と、
前記取得手段により取得された複数の動画像中の各動画像から、前記被写体の動作における特定の状態を検出する状態検出手段と、
前記状態検出手段により検出された特定の状態に対応する画像を前記各動画像から検出する画像検出手段と、
前記画像検出手段により検出された画像同士を比較する比較手段と、
前記比較手段による比較結果に基づく情報を報知する報知制御手段と、
を備えることを特徴とする情報報知装置。
［付記２］
前記状態検出手段は、前記複数の動画像中の各動画像から複数種の特定の状態を検出し、
前記画像検出手段は、前記状態検出手段により検出された複数種の特定の状態に対応する複数の画像を検出し、
前記比較手段は、前記画像検出手段により検出された複数の画像同士を比較する、
ことを特徴とする付記１に記載の情報報知装置。
［付記３］
前記画像検出手段により検出された前記特定の状態に対応する画像から前記被写体の部分画像を検出する部分画像検出手段を更に備え、
前記比較手段は、前記部分画像検出手段により検出された部分画像同士で比較する、
ことを特徴とする付記１又は２に記載の情報報知装置。
［付記４］
前記部分画像検出手段により検出された部分の画像の位置又は向きを検出する位置検出手段を更に備え、
前記比較手段は、前記位置検出手段により検出された部分の画像の位置又は向きを前記複数の被写体同士で比較する、
ことを特徴とする付記３に記載の情報報知装置。
［付記５］
前記比較手段による比較結果に基づいて、報知画像を生成する画像生成手段を更に備え、
前記画像生成手段は、前記比較手段による前記位置検出手段により検出された部分の画像の位置又は向きを前記複数の被写体同士で比較した結果の情報、及び／又は、前記複数の被写体夫々についての前記所定部分の画像の位置又は向きを表す画像を含む報知画像とを生成し、
前記報知制御手段は、前記報知画像生成手段により生成された報知画像、を前記比較結果に基づく情報として報知する、
ことを特徴とする付記４に記載の情報報知装置。
［付記６］
情報報知装置が実行する方法であって、
被写体の動作が夫々撮像された複数の動画像を取得する取得ステップと、
前記取得ステップにより取得された複数の動画像中の各動画像から、前記被写体の動作における特定の状態を検出する状態検出ステップと、
前記状態検出ステップにより検出された特定の状態に対応する画像を前記各動画像から検出する画像検出ステップと、
前記画像検出ステップにより検出された画像同士を比較する比較ステップと、
前記比較ステップによる比較結果に基づく情報を報知する報知制御ステップと、
を含むことを特徴とする情報報知方法。
［付記７］
コンピュータに、
被写体の動作が夫々撮像された複数の動画像を取得する取得手段、
前記取得手段により取得された複数の動画像中の各動画像から、前記被写体の動作における特定の状態を検出する状態検出手段、
前記状態検出手段により検出された特定の状態に対応する画像を前記各動画像から検出する画像検出手段、
前記画像検出手段により検出された画像同士を比較する比較手段、
前記比較手段による比較結果に基づく情報を報知する報知制御手段、
実行させることを特徴とするプログラム。

１・・・画像処理装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，４１・・・撮像制御部，４２・・・画像取得部，４３・・・画像読出し部，４４・・・状態検出部，４５・・・顔検出部，４６・・・位置等検出部，４７・・・比較部，４８・・・アドバイス情報生成部，４９・・・報知画像生成部，５０・・・報知制御部，６１・・・取得画像記憶部，６２・・・比較対象画像記憶部，８１〜８４，８７〜９０・・・マーク画像、８５，８６・・・ゴルフボール画像

Claims (9)

1. 被写体の動作が夫々撮像された複数の動画像を取得する取得手段と、
   前記取得手段により取得された前記複数の動画像中の各動画像から、前記被写体の動作における特定の状態を検出する状態検出手段と、
   前記状態検出手段により検出された特定の状態に対応する画像を前記各動画像から検出する画像検出手段と、
   前記画像検出手段により検出された画像同士を比較する比較手段と、
   前記比較手段による比較結果に基づいて、被写体同士の動作における差異情報を文字情報として報知する報知制御手段と、
   を備えることを特徴とする情報報知装置。
2. 前記報知制御手段は、前記比較手段による比較結果に基づき、前記被写体同士の動作を一致させるための情報を報知する、
   ことを特徴とする請求項１に記載の情報報知装置。
3. 前記比較手段による比較結果に基づき、報知情報を生成する報知情報生成手段、
   を更に備え、
   前記報知制御手段は、前記報知情報生成手段により生成された報知情報を報知する、
   ことを特徴とする請求項１又は２に記載の情報報知装置。
4. 前記状態検出手段は、前記複数の動画像中の各動画像から複数種の特定の状態を検出し、
   前記画像検出手段は、前記状態検出手段により検出された複数種の特定の状態に対応する複数の画像を検出し、
   前記比較手段は、前記画像検出手段により検出された複数の画像同士を比較する、
   ことを特徴とする請求項１に記載の情報報知装置。
5. 前記画像検出手段により検出された前記特定の状態に対応する画像から前記被写体の部分画像を検出する部分画像検出手段を更に備え、
   前記比較手段は、前記部分画像検出手段により検出された部分画像同士で比較する、
   ことを特徴とする請求項１又は４に記載の情報報知装置。
6. 前記部分画像検出手段により検出された部分の画像の位置又は向きを検出する位置検出手段を更に備え、
   前記比較手段は、前記位置検出手段により検出された部分の画像の位置又は向きを前記複数の被写体同士で比較する、
   ことを特徴とする請求項５に記載の情報報知装置。
7. 前記比較手段による比較結果に基づいて、報知画像を生成する画像生成手段を更に備え、
   前記画像生成手段は、前記比較手段による前記位置検出手段により検出された部分の画像の位置又は向きを前記複数の被写体同士で比較した結果の情報、及び／又は、前記複数の被写体夫々についての所定部分の画像の位置又は向きを表す画像を含む報知画像を生成し、
   前記報知制御手段は、前記画像生成手段により生成された報知画像を前記比較結果に基づく情報として報知する、
   ことを特徴とする請求項６に記載の情報報知装置。
8. 情報報知装置が実行する情報報知方法であって、
   被写体の動作が夫々撮像された複数の動画像を取得する取得ステップと、
   前記取得ステップにより取得された前記複数の動画像中の各動画像から、前記被写体の動作における特定の状態を検出する状態検出ステップと、
   前記状態検出ステップにより検出された特定の状態に対応する画像を前記各動画像から検出する画像検出ステップと、
   前記画像検出ステップにより検出された画像同士を比較する比較ステップと、
   前記比較ステップによる比較結果に基づいて、被写体同士の動作における差異情報を文字情報として報知する報知制御ステップと、
   を含むことを特徴とする情報報知方法。
9. コンピュータを、
   被写体の動作が夫々撮像された複数の動画像を取得する取得手段、
   前記取得手段により取得された前記複数の動画像中の各動画像から、前記被写体の動作における特定の状態を検出する状態検出手段、
   前記状態検出手段により検出された特定の状態に対応する画像を前記各動画像から検出する画像検出手段、
   前記画像検出手段により検出された画像同士を比較する比較手段、
   前記比較手段による比較結果に基づいて、被写体同士の動作における差異情報を文字情報として報知する報知制御手段、
   として機能させることを特徴とするプログラム。

Images