JP6350587B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来の技術として、別々に記録された複数の動画像に対して、再生タイミングを合わせたマルチ表示による同時再生を行う技術が知られている（例えば特許文献１参照）。

平１０―３０４２９９号公報

しかしながら、上述した特許文献１に記載の技術では、単に、各動画像の中央領域を自動的に抽出してマルチ表示による再生をする技術のため、各動画像の撮影角度や位置によってはマルチ表示をしても比較しづらくなる虞がある。
そこで本発明は、上述のような状況に鑑みてなされたものであり、複数の画像の比較を容易にすることを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
被写体の一連の動作が撮像されている画像群を取得する取得手段と、
前記画像群のうち少なくとも一つの画像における前記被写体の動作の特徴となる前記被写体の領域をユーザ操作により特定する第１の特定手段と、
前記第１の特定手段により特定された前記領域に基づいて、前記取得手段により取得された前記画像群のうち少なくとも１つの画像を正規化する正規化手段と、
を備えることを特徴とする。

本発明によれば、複数の画像の比較を容易にすることができる。

本発明の表示制御装置の実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 撮像装置の機能的構成のうち、このようなスライドショー表示処理を実行するための機能的構成を示す機能ブロック図である。 スライドショー表示処理で表示される出力部の表示例を示す図である。 状態画像の正規化の一例を説明するための模式図である。 ヒストグラムの生成を示す模式図である。 正規化画像と共にヒストグラムを表示させた一例を示す図である。 図２の機能的構成を有する図１の撮像装置が実行するスライドショー表示処理の流れを説明するフローチャートである。 画像の正規化の一例を示す図である。 画像の正規化を行う手法の一例を説明するための模式図である。 画像の正規化を行う手法の一例を説明するための模式図である。 画像の正規化を行う手法の一例を説明するための模式図である。 画像の正規化を行う手法の一例を説明するための模式図である。 画像の正規化を行う手法の一例を説明するための模式図である。 画像の正規化を行う手法の一例を説明するための模式図である。

以下、本発明の一実施形態について図面を適宜参照しつつ説明する。

図１は、本発明の表示制御装置の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。

撮像部１７は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像部１７の出力信号として出力される。
このような撮像部１７の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１、ＲＡＭ１３、及び画像処理部１４等に適宜供給される。

入力部１８は、ディスプレイで構成される出力部１９の表示画面に積層されるタッチパネルで構成されており、ユーザの指示操作に応じて各種情報を入力する。また、入力部１８は、各種ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。

以下、上述した機能を有する本実施形態の撮像装置１について説明する。
図２は、撮像装置１の機能的構成のうち、スライドショー表示処理を実行するための機能的構成を示す機能ブロック図である。
「スライドショー表示処理」とは、記憶される複数の動画像から選択された動画像から抽出した画像を所定のサイズに調整してスイングの動作毎に順次表示するまでの一連の処理である。画像を所定の動作毎に順次表示することを、以下、スライドショー表示と呼ぶ。ゴルフのスイングを撮影した動画像を表示対象とする本実施形態では、例えば、スイングの一連の動作を象徴する動作を含む画像を時間軸に沿って表示することで、スライドショー表示を行う。
ここで、「スイングの一連の動作」とは、アドレス、テイクバック、トップ、インパクト、フォロー、フィニッシュ等のスイングの各動作を含む動作である。

スライドショー表示処理を実行する場合には、ＣＰＵ１１においては、表示範囲指定部５１と、画像解析部５２と、画像抽出部５３と、正規化部５４と、ヒストグラム生成部５５と、表示制御部５６と、を備える。
なお、表示範囲指定部５１、画像解析部５２、画像抽出部５３、正規化部５４、ヒストグラム生成部５５及び表示制御部５６の各機能は、本実施形態のようにＣＰＵ１１に搭載されている必要は特になく、これらの各機能のうち少なくとも一部を、画像処理部１４に移譲させることも可能である。

記憶部２０の一領域として、動画像記憶部７１と、正規化画像記憶部７２と、ヒストグラム記憶部７３と、が設けられる。

動画像記憶部７１には、撮像部１７で撮像した動画像、通信部２１等を介して外部から取得した動画像等の動画像のデータが記憶されている。なお、本実施形態において、動画像記憶部７１には、ゴルフのスイングを正面方向から撮影した動画像のデータが記憶される。具体的には、動画像記憶部７１には、ゴルフのスイングを正面方向から撮影した動画像のデータであって、撮影時間、撮影場所、スイング対象者が異なる動画像のデータが複数記憶される。

正規化画像記憶部７２には、動画像から抽出された状態画像を所定の規則で補正した画像（以下、「正規化画像」という）のデータが記憶される。正規化画像記憶部７２には、具体的には、スイング対象者等の被写体が同一のサイズになるように補正された正規化画像のデータが記憶される。また、正規化画像記憶部７２には、動画像から抽出された複数のスイングの動作が特定された正規化画像のデータが動画像毎に管理されて記憶される。また、正規化画像のデータのヘッダには、スイングに関する各種情報が付加されている。スイングの情報としては、ヘッダ情報には、例えば、動画像の撮影日時、スイング対象者名、クラブの種類、クラブの平均ヘッドスピード、ボールスピード、スイングの動作等の情報が含まれる。これらの情報は、画像解析により自動的に入力されたり、ユーザにより入力されたりして付加される。本実施形態においては、付加されるスイングの情報が正規化画像の検索を行う項目となる。

ヒストグラム記憶部７３には、動画像を解析した結果として得られるスイングの情報やユーザが入力したスイングの情報に基づいて生成されたヒストグラムのデータが記憶される。ヒストグラムは、正規化画像記憶部７２に記憶される正規化画像と対応付けられて記憶される。

表示範囲指定部５１は、動画像記憶部７１にされる全動画像の中から、スライドショー表示の対象となる動画像（以下、「対象動画像」という）を指定する。表示範囲指定部５１は、例えば、撮影時期、スイング対象者の名前、クラブの種類毎に対象動画像を指定する。ユーザは、入力部１８を介して、対象動画像の範囲の条件を指定する。その結果に基づいて、表示範囲指定部５１は、対象動画像を指定する。

図３は、スライドショー表示処理で表示される出力部１９の表示例を示す図である。
なお、表示画面においては、「比較動画範囲指定」の欄１００と、「一覧表示」の欄１０１が設けられる。
「比較動画範囲指定」の欄１００には、「一覧表示」の欄１０１で表示する画像の検索キーとなる項目が表示され、プルダウンとして各項目の事項が選択可能に構成される。
「撮影日時」の項目では、撮影された日時を選択できる。本表示例では、例えば、「半年前〜」として動画像の生成時期が半年前から現在までの動画像が選択されている。
「人選択」の項目では、人物名から動画像の記憶対象となる人物を選択することができる。本表示例においては、「山田 太郎」が選択されている。
「クラブ指定」の項目では、使用されているクラブを選択できる。本表示例では、「ドライバー」が選択されている。
「状態」の項目では、スイングの状態が選択できる。本表示例では、「インパクト」が選択されている。「一覧表示」の欄１０１に表示する動画像のフレームの指定が行われる。
「パラメータ」の項目では、上述した項目以外の動画像の選択項目が選択できる。本表示例では、クラブのヘッドスピードの速い動画像を選択可能な「ヘッドスピード」が選択できる。なお、「パラメータ」の項目は、ヒストグラムの生成に用いる項目となる。
また、「比較動画範囲指定」の欄１００には、上述した項目で動画像の検索を行うことを指示するための「表示」ボタンが表示される。本実施形態においては、この「表示」ボタンが選択されることで、「撮影日時」、「人選択」、「クラブ指定」、「状態」の条件で対象動画像の指定が行われる。
ここで、本実施形態では、これら各項目の条件を選択することで、自動的に対象動画像が指定されるものとして説明するが、対象動画像をユーザが任意に指定してもよい。

また、「一覧表示」の欄１０１には、「比較動画範囲指定」の欄１００で指定された条件で検索された動画像が複数表示される。
本表示例では、上述した項目で検索を行った結果が３×３の９個表示される。また、本表示例では、「状態」の項目で「インパクト」が指定されているために、検索された動画像のうち、「インパクト」を含むフレーム画像が表示されている。
また、表示される順番は、動画像の撮影日時の古い順番で表示される。なお、表示は種々の方法で行うことができるが、例えば、項目で選択した「ヘッドスピード」の速い順番に表示させるように構成することができる。
即ち、「一覧表示」の欄１０１には、「比較動画範囲指定」の欄１００で指定された項目に基づいた検索結果となる動画像が撮影日時順に表示されると共に、動画像のうち指定された状態に対応したフレームが表示される。

図２に戻り、画像解析部５２は、対象動画像に対して画像解析を行い、動画像内における所定のスイングの動作を含むフレーム画像を特定したり、動画像における被写体（ボールやスイング対象者）の位置を特定したりする。
また、画像の解析に関して、種々の手法が用いられるが、例えば、スイングについては、スイング対象者の位置、ボール位置及びクラブの位置の変化から特定することができる。即ち、スイングについては、スイング対象者の位置とボール位置とクラブの遷移によってアドレス・テイクバック・トップが特定可能であり、スイング対象者の位置とボールの有無と、クラブの遷移によってインパクト・フォロー・フィニッシュが特定可能となる。また、スイング対象者の頭の位置については、周知の顔認識技術等を用いることで特定することができる。
また、ボール位置については、撮影時のライブビュー表示においてマークを表示してボールをマークに合わせることでボール位置を限定するように構成してもよい。
また、スイング対象者の頭やボール位置は、画像の解析で自動的に行わなくても、ユーザが位置を指定することで特定させることができる。

画像抽出部５３は、表示範囲指定部５１によって指定された動画像から所定のスイングの動作の状態の画像（以下、「状態画像」という）を抽出する。即ち、画像抽出部５３は、１つの動画像から、所定の動作を含む状態画像を複数抽出する。

正規化部５４は、画像抽出部５３によって抽出された状態画像を所定の規則で変更する補正（以下、「正規化」という）を行うことにより、正規化画像を生成する。本実施形態において、正規化部５４は、インパクトの動作の状態画像を基準にして、ボール位置とスイング対象者における頭部の位置との距離が所定の距離となるように、全ての状態画像のサイズの正規化を行う。これにより、比較すべき画像間においては、カメラから被写体との距離等の撮影条件のばらつきや、スイング対象者の体格が異なることによる比較しづらさを抑えることができる。このため、画像間の適正な比較のため補正すべき点以外の差異がより際立つことになり、このような差異がユーザに認識されやすくなる。
また、正規化部５４は、サイズを所定の規則で変更する補正以外にも、例えば、画像を所定の規則で変更する補正や画像中の被写体の位置を所定の規則で変更する補正も行うことができる。
このように正規化部５４は、スイング対象者におけるスイングの動作の際の姿勢を各動画像から抽出した状態画像で比較することができる要素について正規化を行うことができる。

図４は、状態画像の正規化の一例を説明するための模式図である。
状態画像の正規化は、図４に示すように、例えば、状態画像ｐ１，ｐ２の間でスイング対象者の位置が撮影位置の違いにより異なるため、撮影位置の異なる各対象画像が同一の位置・大きさ・角度で表示されることにより行われる。
図４の例では、一点鎖線で示したように、各状態画像ｐ１，ｐ２でスイング対象者の膝の位置が異なるため、正規化処理として、スイング対象者の位置を一致させる。具体的には、正規化部５４は、被写体が中央に位置し、且つ、ボールが収まるサイズで画像の切り出しを行うことで正規化画像を生成する。
図４における正規化は、絶対的な基準に基づいて画像を補正するものといえる。

図２に戻り、ヒストグラム生成部５５は、画像解析部５２での画像解析の結果やユーザが入力した情報に基づいたスイングの情報からヒストグラムを生成する。本実施形態において、ヒストグラム生成部５５は、図３で指定されたように、画像解析の結果得られたクラブのヘッドスピードの平均値からヒストグラムを生成する。ヒストグラムは、動画像記憶部７１に記憶される全動画像におけるクラブのヘッドスピードの平均値を所定のスピード単位を棒グラフで表し、正規化画像が属する部分は色分け等をして視覚的に切り分けて表したものである。

図５は、ヒストグラムの生成を示す模式図である。
図５に示すように、ヒストグラム生成部５５は、対象動画像の解析結果から、対象動画像をヘッドスピード毎に分けて、ヘッドスピード毎の対象動画像の数（頻度）をヒストグラムとして表示する。本実施形態においては、ヘッドスピードを１２段階に分けた頻度をヒストグラムとして表している。具体的には、ヒストグラムでは、一般的なヘッドスピードの範囲を中心にして、「３５ｍ／ｓ」から「５０ｍ／ｓ」を１ｍ／ｓ毎に頻度を棒グラフの形式で表示している。全対象動画像を対象としたヒストグラムでは、「３８ｍ／ｓ」で「頻度１」、「３９ｍ／ｓ」で「頻度２」、「４０ｍ／ｓ」で「頻度４」、「４１ｍ／ｓ」で「頻度５」、「４２ｍ／ｓ」で「頻度６」、「４３ｍ／ｓ」で「頻度５」、「４４ｍ／ｓ」で「頻度７」、「４５ｍ／ｓ」で「頻度２」、「４７ｍ／ｓ」で「頻度１」という結果が表示される。

図２に戻り、表示制御部５６は、表示範囲指定部５１によって指定された条件に基づいて検索された検索結果を、一覧表示するように出力部１９を制御する。具体的には、表示制御部５６は、図３の「比較動画範囲指定」の欄１００で指定された条件で検索された動画像を、「一覧表示」の欄１０１に一覧表示させるように出力部１９を制御する。
また、表示制御部５６は、正規化画像記憶部７２に記憶される指定された状態の正規化画像を所定のタイミングで順次表示してスライドショー表示をするように出力部１９を制御する。その際、表示制御部５６は、ヒストグラム記憶部７３に記憶されるヒストグラムのうち、一覧表示された正規化画像に対応するヒストグラムを当該正規化画像と共にスライドショー表示させるように出力部１９を制御する。

図６は、正規化画像と共にヒストグラムを表示させた一例を示す図である。
図６の例では、正規化画像の右下の隅に、ヒストグラムを表示させている。また、表示されるヒストグラムにおいては、正規化画像が属している範囲の色を異ならせて表示する。これにより、ユーザは、表示されている正規化画像が対象動画の中でどのくらいの評価であるか、即ち、正規化画像が表示するスイングの評価が全体の中でどの程度であるのかを視覚的に認識することができる。

次に、図７を参照して、このような図２の機能的構成の撮像装置１が実行するスライドショー表示処理について説明する。
図７は、図２の機能的構成を有する図１の撮像装置１が実行するスライドショー表示処理の流れを説明するフローチャートである。

スライドショー表示処理は、ユーザにより入力部１８に対するスライドショー表示処理の開始操作がなされたことを契機として開始される。

ステップＳ１において、動画像記憶部７１にされる全動画像の中から対象動画像を指定する。表示範囲指定部５１は、例えば、図３に示すように、撮影時期、スイング対象者の名前、クラブの種類毎に対象動画像を指定する。表示範囲指定部５１は、正規化画像として抽出する範囲を指定する。

ステップＳ２において、画像解析部５２は、対象動画像の解析をする。即ち、画像解析部５２は、表示範囲指定部５１により指定された対象動画像を解析する。本実施形態においては、動画像を解析することにより、対象動画像のクラブのヘッドスピード、対象動画像のボール位置、対象動画像のスイング対象者における頭の位置、対象動画像における状態画像を特定する。

ステップＳ３において、画像抽出部５３は、画像解析部５２の解析結果から状態画像を抽出する。即ち、画像抽出部５３は、対象動画像のうち、スイング対象者の動作がアドレス、トップ、インパクト、フィニッシュ等の動作となる状態画像を抽出する。

ステップＳ４において、正規化部５４は、抽出した状態画像を正規化する。即ち、正規化部５４は、画像の比較が容易となるように、大きさ・角度・位置を一致させる補正を各状態画像に対して行う。
例えば、正規化部５４は、図４に示すように、各状態画像中のスイング対象者の位置が一致するように、各状態画像中のスイング対象者の位置が画像の中央となるような補正を行う。

ステップＳ５において、ヒストグラム生成部５５は、所定のパラメータの分散を模式的に示したヒストグラムを生成する。ヒストグラム生成部５５は、各動画像を解析した所定のパラメータから、全ての動画像の分散を算出することで、表示対象となる各動画像の状態画像のパラメータが算出した分散のどの部類に属するかを表示しているヒストグラムを生成する。

ステップＳ６において、表示制御部５６は、スライドショー表示を行う。即ち、表示制御部５６は、正規化画像を各動画像に対し順次切り替えることで、スライドショー表示を行う。これにより、出力部１９では、各画像が所定のタイミングで順次表示される。また、出力部１９では、被写体であるスイング対象者の位置や大きさが統一された正規化画像が表示されるために、動作の違いが明確になり、撮影条件が異なる他の動画像との比較が容易となる。
また、スライドショー表示に際しては、表示された正規化画像に対応したヒストグラムが正規化画像の隅に重畳的に表示されるように構成することもできる。この場合、具体的には、図６の例のような画像の隅にヒストグラムを配置したような画像が表示されることとなる。
また、本実施形態においては、スライドショー表示が行われている状態で、図６に示すように、表示された正規化画像に対応したヒストグラムが正規化画像の隅に重畳的に表示される。

したがって、撮像装置１においては、撮影条件の差異を低減させることで、スイングの動作による差異のみを明確にして表示することができ、各状態画像の比較を容易にすることができる。

次に、画像の正規化の他の例について説明する。
図８は、画像の正規化の一例を示す図である。
上述した実施形態では、画像の正規化は、例えば、スイング対象者の位置を中央にするように構成した。本例では、上述した実施形態とは異なる観点での画像の正規化について説明する。

図８（ａ）の例では、スイング対象者の頭の位置と、ボール位置との距離を所定の距離とする補正を行うことで、撮影条件やスイング対象者の体格が異なっていても、両肩の傾き、手首の位置、スタンスの中心位置、スタンスの幅等の違いがより明確となる表示を行うことができる。
また、表示を行う際には、両肩の傾き、手首の位置、スタンスの中心位置、スタンスの幅等の要素で生成されたヒストグラムを表示することで、ユーザに認識させることができる。
また、差異を強調したい場合には、強調したい部分を積極的に切り出す補正が行われる。例えば、姿勢を強調したい場合には、クラブヘッドを含まない部分を切り出しが行われる。また、スイング全体の差異を強調したい場合には、クラブの遷移の範囲、即ち、アドレス状態のクラブヘッドの位置と、クラブを振り上げた時のクラブヘッドの最高位置が含まれるような部分の切り出しが行われる。

また、図８（ｂ）は、上述したようにスイング対象者を正面から撮影した動画像ではなく、飛球方向のとは逆の後面から撮影した場合の画像の正規化の一例である。
図８（ｂ）の例では、ボール位置と、スイング対象者における右足のつま先の距離（以下、「スタンス距離」という）を所定の距離とする補正が行われる。これにより、表示画面では、例えば、上半身の傾きである前傾角やクラブのシャフトの中心線と地面とが作り出す角度であるライ角等の違いがより際だったものとして表すことができる。
また、表示を行う際には、前傾角やライ角等の要素で生成されたヒストグラムを表示することで、ユーザに違いをより強く認識させることができる。

また、図８（ｃ）に示すように、クラブ最高位置と、ボール位置を含むようにスイング対象者の右足付近を切り出すことにより、地面とクラブのスイングの角度であるスイングプレーン角度が際立つ表示を行うことができる。
表示を行う際には、スイングプレーン角度等の要素で生成されたヒストグラムを表示することで、ユーザにより違いを認識させることができる。

次に、ユーザの操作により、画像の正規化を行う手法について説明する。本例では、２つの正規化画像を並べて表示する例について説明する。
図９乃至１４は、画像の正規化を行う手法の一例を説明するための模式図である。
図４では、２つの状態画像を絶対的な基準に基づいて補正したが、図９乃至１４は、一方の画像を他方の画像に対応させるように補正するものである。つまり、図９乃至１４における正規化は、相対的な基準に基づいて画像を補正するものといえる。
なお、図９乃至１４に示す例では、２つの正規化画像を並べて表示するが、左側に表示される画像Ａには、プロを撮影した画像が用いられ、右側に表示される画像Ｂには、アマチュアを撮影した画像が用いられる。ユーザは、プロの画像に基づいて、アマチュアの画像を正規化する。即ち、画像Ａを基準として画像Ｂを補正する。
また、基準とする画像は、ユーザが任意に指定できるが、図２の画像解析部５２によって画像を解析することで、自動で指定することも可能である。例えば、画像を解析して測定したヘッドスピードの速さ等から、測定結果が優位な画像を基準とする画像に指定することができる。なお、ヘッダ情報に記載されるスイング対象者の名前等を判断して、特定の人物の画像を基準に指定することとしてもよい。

図９は、スイング対象者の傾きを変更する画像の正規化の手法について示す図である。
画像の正規化の手法としては、まず、ユーザは、入力部１８を介して、画像Ａのつま先の通るラインを指定する。このように指定することで、図９に示すように、破線が形成される。この破線を画像Ｂにおいて確認すると、破線とスイング対象者のつま先とがずれていることがわかる。
そして、破線とスイング対象者のつま先とがずれているため、ユーザは、スイング対象者の両方のつま先を指定する。これにより、図９に示すように、太線が形成される。次に、ユーザは、太線の端部（本実施形態においては、破線上にある左のつま先側の端部）を指定する。これにより、正規化のためにスイング対象者を回転させる際の回転中心が決定される。最後に、ユーザは、画像の正規化の処理を実行させる操作をすることで、下段に示すように、画像Ｂのスイング対象者のつま先が破線と一致した正規化画像が生成される。
なお、正規化画像が生成された際に、下段の画像Ｂに示すように、角度の変化の数値を示すように構成してもよい。また、角度の変化の数値を表示した場合は、破線等の補助線は所定時間経過後に消去し、角度の変化の数値はそのまま表示されるように構成してもよい。

図１０は、スイング対象者の傾きを変更する画像の正規化の他の手法について示す図である。
図１０の例では、スイング対象者の傾きを変更する点では同じであるが図９の例とは異なり、画像をドラッグしてドロップする操作をすることで、画像の正規化の処理を実行するように撮像装置１が構成される。
即ち、図１０の例では、角度を変更する基準となる両方のつま先を指定して、基準となる画像Ａに画像Ｂ中のスイング対象者の画像の角度を補正することにより、画像Ａのスイング対象者の角度と一致した正規化画像が生成される。また、正規化画像が生成された際には、角度の変更があった画像Ｂ側に、変更した角度の数値を一定期間表示する。

図１１は、スイング対象者の傾きを変更する画像の正規化の他の手法について示す図である。
図９及び図１０の例では、指定されたスイング対象者の傾き箇所と基準画像に基づいて、角度の変更を行うように構成したが、図１１の例では、角度の変化度合いをユーザが手書きで指定して角度の変更を行う。
具体的には、スイング対象者の傾き箇所を指定した後に、角度の変化の度合いを手書きで入力し、手書きがテキストとして認識されることで、角度の変更が行われる。手書きがテキストとして認識されることは、手書きの表示がテキストの所定のフォントで表示されることで示される。

図１２は、スイング対象者の位置を変更する画像の正規化の手法について示す図である。
図１２の例では、画像Ａのボールを基準としたスイング対象者の位置と同一の座標に画像Ｂのスイング対象者の位置を変更する。
具体的には、ボール位置を中心として、スイング対象者を画像Ａと同一の位置に移動させたい場合には、画像Ａ及び画像Ｂそれぞれについてボール位置を指定して、画像Ｂのスイング対象者の画像を画像Ａに移動させることで、画像Ｂのスイング対象者の位置が画像Ａの座標と同じ位置になる。この際、移動量の値を画像Ｂに一定期間表示する。

図１３は、スイング対象者の高さ方向の縮尺を変更する画像の正規化の手法について示す図である。
図１３では、上段に破線で示すように、画像Ａと画像Ｂでは、スイング対象者のつま先から頭までの長さが異なる。そこで、中段に示すように、長さを合わせたい部位（頭とつま先）を指定して、基準となる画像Ａに画像Ｂのスイング対象者の画像を移動させることで、下段に示すように、スイング対象者のつま先から頭までの長さが一致した正規化画像を生成することができる。この際、画像Ｂの縮尺率が画像Ｂに一定期間表示される。

図１４は、スイング対象者の高さ方向の縮尺を変更する画像の正規化の他の手法について示す図である。
図１４は、図１１の手法と同じであり、縮尺をさせたい部分を指定した後に、縮尺率を手書きで入力し、手書きがテキストとして認識されることで、縮尺率の変更が行われる。手書き入力がテキストとして認識されたことは、手書き入力の表示がテキストの所定のフォントで表示されることで識別して示される。

以上のように構成される撮像装置１は、正規化部５４と、表示制御部５６と、を備える。
正規化部５４は、複数の画像における少なくとも１つの画像の領域を正規化する。
表示制御部５６は、正規化部５４により正規化された画像を含む複数の画像を出力部１９に表示させる。
これにより、撮像装置１においては、複数の画像における少なくとも１つの画像の領域を正規化した画像を表示させるために、複数の画像の比較を容易にすることができる。

また、正規化部５４は、複数の画像における各画像の領域の位置、大きさ、角度の何れかが所定の位置、大きさ、角度の何れかになるように各画像を補正することで、正規化する。
これにより、撮像装置１においては、出力部１９で、各画像の領域の位置、大きさ、角度の何れかが所定の位置、大きさ、角度になるように補正された各画像を表示でき、複数の画像の比較を容易にすることができる。

また、撮像装置１は、画像解析部５２を備える。
画像解析部５２は、補正すべき各画像の領域を特定する。
正規化部５４は、画像解析部５２により特定された領域の位置、大きさ、角度の何れかが所定の位置、大きさ、角度の何れかになるように各画像を補正する。
これにより、撮像装置１においては、出力部１９で、各画像の領域の位置、大きさ、角度の何れかが所定の位置、大きさ、角度になるように補正された各画像を表示でき、複数の画像の比較を容易にすることができる。

また、撮像装置１は、入力部１８を備える。
入力部１８は、補正すべき各画像の領域を入力手段から検出されたユーザ操作により特定する。
正規化部５４は、入力部１８により特定された領域の位置、大きさ、角度の何れかが所定の位置、大きさ、角度の何れかになるように各画像を補正する。
これにより、撮像装置１においては、出力部１９で、各画像の領域の位置、大きさ、角度の何れかが所定の位置、大きさ、角度になるように補正された各画像を表示でき、複数の画像の比較を容易にすることができる。

また、撮像装置１は、画像解析部５２を備える。
画像解析部５２は、複数の画像から補正の基準とすべき画像を選択する。
正規化部５４は、画像解析部５２により選択された画像の所定の位置、大きさ、角度の何れかになるように他の画像を補正する。

また、撮像装置１においては、複数の画像は、複数の動画像からそれぞれ特定の画像を抽出したものを用いて構成される。
撮像装置１においては、複数の動画像の比較を容易にすることができる。

また、撮像装置１は、ヒストグラム生成部５５を備える。
ヒストグラム生成部５５は、動画像を評価する指標となるヒストグラムを生成する。
表示制御部５６は、ヒストグラム生成部５５により生成されたヒストグラムを複数の画像と共に出力部１９に表示させる。
これにより、撮像装置１においては、画像の特徴を認識する画像を提供することができる。

表示制御部５６は、各画像を所定のタイミングで表示画像が切り替わるスライドショー表示で出力部１９に表示させる。
これにより、撮像装置１においては、複数の動画像の比較を容易にすることができる。

表示制御部５６は、各画像を一覧表示で出力部１９に表示させる。
これにより、撮像装置１においては、複数の動画像の比較を容易にすることができる。

また、ＣＰＵ１１は、撮像部１７、記憶部２０（本実施形態においては、動画像記憶部７１）又は通信部２１を介して他の装置等から複数の動画像を取得する。
正規化部５４は、ＣＰＵ１１により取得された複数の動画像中の各画像を正規化する。
表示制御部５６は、正規化部５４により正規化された各画像を表示させる。
これにより、撮像装置１においては、取得した動画像において複数の動画像の比較を容易にすることができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述した実施形態では、ヒストグラムの生成と正規化画像の生成を同時期に行ったがこれに限られない。動画像が記憶され次第逐次行うこともできるが、ヒストグラムの生成と正規化画像の生成とは、処理負担等を考慮して、異なるタイミングで行うことができ、例えば、動画像の取得時に正規化画像の生成を行い、スライドショー表示の際にヒストグラムの生成を行う等の種々の変更が可能である。

また、上述した実施形態では、動画像から状態画像の抽出を行った後に正規化を行って、正規化画像を生成したがこれに限られない。例えば、まず、正規化を行ってから、当該正規化を行った動画像から状態画像を抽出して正規化画像を生成してもよい。

また、上述した実施形態では、各動画像から抽出した正規化画像をスライドショー表示するように構成したがこれに限られない。各動画像を正規化して、該当するフレーム画像を順次表示するようにしてもよい。
また、上述した実施形態において、画像Ａを基準として画像Ｂを補正して正規化を行う場合を例に挙げて説明したがこれに限られない。即ち、画像Ａを基準として、複数の画像を補正して正規化を行い、画像Ａとこれら複数の正規化された画像とを並べて表示（一覧表示）してもよい。これにより、１つの画像を基準として正規化された複数の画像の比較を容易に行うことができる。

また、上述した実施形態では、動画像から解析したスイングスピードをパラメータとしたヒストグラムを用いたがこれに限られない。ヒストグラムは、スイングから得られる情報をパラメータとすることができ、例えば、ボールスピード、ヘッドスピード、ボールスピードとヘッドスピードの比率であるスマッシュファクター、左右足幅・左右足内のボール位置・ボール足先距離等の各種スタンス、ダイナミックライ角、前景角、スイングリズム、ボールと手首の水平距離、ボールと頭の水平距離、スイングプレーン角度、アドレス時の肩傾き角、スイングリズム等をパラメータとして用いることができる。
また、上述した実施形態では、スライド画像と共にヒストグラムを表示するように構成したがこれに限られず、例えば、記憶されている全動画像中におけるショットの善し悪しをアイコン等で示したり、スイングのアドバイスをテキスト等で示したりするように構成することができる。

また、上述した実施形態では、スライドショー表示として、検索した動画像における所定の動作を含むフレーム画像から生成した正規化画像を、時間軸に沿って順次表示するように構成したがこれに限られない。正規化画像は、所定の動作を含むフレーム画像に限らず、動画像を構成するフレーム画像から生成するように構成してもよい。この場合、表示においては、全てのフレーム画像が正規化された動画像が表示されることとなる。
また、表示形態は、例えば、図３の「一覧表示」の欄１０１のような表示領域に正規化された各動画像のフレーム画像を同期させるように表示することが考えられる。また、正規化の手法としては、図９乃至１４に該当する技術を適用できる。
また、表示形態は、画像が比較できるように表示できればよく、例えば、選択した１つ画像を切り替えて表示したり、複数の画像を一覧的に表示したり、２つの画像を並列して表示したり、複数の画像を重ねて表示したりしてもよい。また、複数の画像を表示する場合には、それぞれの画像を同じサイズで表示するように構成してもよいし、各画像に「主」と「従」の関係を付けて、例えば、優位な結果を持っている画像を「主」として大きいサイズで表示し、他の画像を「従」として「主」となる画像よりも小さいサイズで表示する等の表示を行うように構成してもよい。
また、表示のタイミングに関しては、所定のタイミングで表示させるように構成したがこれに限られない。例えば、比較を所望する箇所に対応する部分の表示を強調的に遅らせるように構成したり、比較して表示する場合には、差分の大きい部分を強調的に遅らせて表示したりして構成してもよい。また、強調的な表示に関しては、表示の速度に差を設けることに限らずに、例えば、画像の周囲の色を変更する等の強調的な表示を行うように構成してもよい。なお、強調的な表示を行うにあたっては、画像解析結果や予め登録された情報等を利用して、表示対象の判断を行う。

また、上述した実施形態では、正規化画像の生成は、表示する対象を決定してから行うように構成したがこれに限られない。正規化画像の生成は、例えば、動画像の取得後等の表示する対象を決定する以前に予め行うように構成することもできる。このように構成することで、表示による処理と画像の生成による処理を分散することができるために、表示におけるレスポンスを速くすることができる。一方で、表示する対象を決定してから画像を生成することで、表示対象とならない画像の処理を行うことがなく、また、生成した画像を保持しておく必要がないため、メモリの負担を軽減することができる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）、等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
複数の画像における少なくとも１つの画像の領域を正規化する正規化手段と、
前記正規化手段により正規化された画像を含む前記複数の画像を表示手段に表示させる表示制御手段と、
を備えることを特徴とする表示制御装置。
［付記２］
前記正規化手段は、複数の画像における各画像の領域の位置、大きさ、角度の何れかが所定の位置、大きさ、角度の何れかになるように補正することで、正規化する、
ことを特徴とする付記１に記載の表示制御装置。
［付記３］
補正すべき各画像の領域を特定する領域特定手段を備え、
前記正規化手段は、前記領域特定手段により特定された前記領域の位置、大きさ、角度の何れかが所定の位置、大きさ、角度の何れかになるように各画像を補正する、
ことを特徴とする付記２に記載の表示制御装置。
［付記４］
補正すべき各画像の領域を入力手段から検出されたユーザ操作により特定するユーザ操作特定手段と、
前記正規化手段は、前記ユーザ操作特定手段により特定された領域の位置、大きさ、角度の何れかが所定の位置、大きさ、角度の何れかになるように各画像を補正する、
ことを特徴とする付記２に記載の表示制御装置。
［付記５］
複数の画像から補正の基準とすべき画像を選択する画像選択手段を備え、
前記正規化手段は、前記画像選択手段により選択された画像の所定の位置、大きさ、角度の何れかになるように他の画像を補正する、
ことを特徴とする付記２に記載の表示制御装置。
［付記６］
前記複数の画像は、複数の動画像からそれぞれ特定の画像を抽出したものを用いて構成される、
ことを特徴とする付記１から５の何れか１つに記載の表示制御装置。
［付記７］
画像を評価した指標を生成する指標生成手段を備え、
前記表示制御手段は、前記指標生成手段により生成された前記指標を前記複数の画像と共に前記表示手段に表示させる、
ことを特徴とする付記１から６の何れか１つに記載の表示制御装置。
［付記８］
前記指標生成手段は、前記指標を各画像の特定の領域を解析してヒストグラムとして生成し、
前記表示制御手段は、前記ヒストグラムを前記複数の画像と共に前記表示手段に表示させる、
ことを特徴とする付記７に記載の表示制御装置。
［付記９］
前記表示制御手段は、各画像を所定のタイミングで表示画像が切り替わるスライドショー表示で前記表示手段に表示させる、
ことを特徴とする付記１から８の何れか１つに記載の表示制御装置。
［付記１０］
前記表示制御手段は、各画像を一覧表示で前記表示手段に表示させる、
ことを特徴とする付記１から８の何れか１つに記載の表示制御装置。
［付記１１］
複数の動画像を取得する取得手段を更に備え、
前記正規化手段は、前記取得手段により取得された複数の動画像中の各画像を正規化し、
前記表示制御手段は、前記正規化手段により正規化された各画像を表示させることを特徴とする付記１から１０の何れか１つに記載の表示制御装置。
［付記１２］
表示制御装置で実行される表示制御方法であって、
複数の画像における少なくとも１つの画像の領域を正規化する正規化ステップと、
前記正規化ステップにより正規化された画像を含む前記複数の画像を表示手段に表示させる表示制御ステップと、
を含むことを特徴とする表示制御方法。
［付記１３］
コンピュータを、
複数の画像における少なくとも１つの画像の領域を正規化する正規化手段、
前記正規化手段により正規化された画像を含む前記複数の画像を表示手段に表示させる表示制御手段、
として機能させることを特徴とするプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・画像処理部，１５・・・バス，１６・・・入出力インターフェース，１７・・・撮像
部，１８・・・入力部，１９・・・出力部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，３１・・・リムーバブルメディア，５１・・・表示範囲指定部，５２・・・画像解析部，５３・・・画像抽出部，５４・・・正規化部，５５・・・ヒストグラム生成部，５６・・・表示制御部，７１・・・動画像記憶部，７２・・・正規化画像記憶部，７３・・・ヒストグラム記憶部

Claims (15)

1. 被写体の一連の動作が撮像されている画像群を取得する取得手段と、
   前記画像群のうち少なくとも一つの画像における前記被写体の動作の特徴となる前記被写体の領域をユーザ操作により特定する第１の特定手段と、
   前記第１の特定手段により特定された前記領域に基づいて、前記取得手段により取得された前記画像群のうち少なくとも１つの画像を正規化する正規化手段と、
   を備えることを特徴とする画像処理装置。
2. 前記正規化手段は、前記画像群における各画像の位置、大きさ、角度の何れかが所定の位置、大きさ、角度に合うように補正する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像群から前記被写体の動作の特徴となる一つの画像を選択する画像選択手段を備え、
   前記第１の特定手段は、前記画像選択手段により選択された画像から前記被写体の領域を特定する、
   ことを特徴とする請求項１から２の何れか１項に記載の画像処理装置。
4. 前記正規化手段は、前記第１の特定手段の特定結果に基づいて、前記画像選択手段により選択された画像の所定の位置、大きさ、角度の何れかに合うように前記画像群のうちの前記選択された画像を除く他の画像を補正する、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記画像群は、複数の静止画像からなる画像群である、
   ことを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
6. 画像を評価する評価手段と、
   前記評価手段による評価結果に対応する指標を生成する指標生成手段と、
   前記指標生成手段により生成された前記指標を前記画像群のうちの少なくとも一つの画像と共に表示手段に表示させる表示制御手段と、を更に備える
   ことを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
7. 前記指標生成手段は、前記指標として各画像の特定の領域を解析してヒストグラム情報を生成し、
   前記表示制御手段は、前記ヒストグラム情報を、前記複数の画像群のうちの少なくとも一つの画像と共に前記表示手段に表示させる、
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記表示制御手段は、前記画像群を所定のタイミングで表示画像が切り替わるスライドショー表示で前記表示手段に表示させる、
   ことを特徴とする請求項６又は７の何れか１項に記載の画像処理装置。
9. 前記表示制御手段は、前記画像群を一覧表示で前記表示手段に表示させる、
   ことを特徴とする請求項６から８の何れか１項に記載の画像処理装置。
10. 前記取得手段により取得された前記画像群のうち少なくとも１つの画像から他の画像との比較のための補助位置情報を生成する生成手段、
    を更に備え、
    前記正規化手段は、前記生成手段により生成された前記補助位置情報に基づいて、前記画像群のうち少なくとも１つの画像を正規化する、
    ことを特徴とする請求項１に記載の画像処理装置。
11. 表示制御装置で実行される表示制御方法であって、
    被写体の一連の動作が撮像されている画像群を取得する取得ステップと、
    前記画像群のうち少なくとも一つの画像における前記被写体の動作の特徴となる前記被写体の領域をユーザ操作により特定する第１の特定ステップと、
    前記特定ステップにより特定された前記領域に基づいて、前記取得ステップにより取得された前記画像群のうち少なくとも１つの画像を正規化する正規化ステップと、
    を含むことを特徴とする画像処理方法。
12. コンピュータを、
    被写体の一連の動作が撮像されている画像群を取得する取得手段、
    前記画像群のうち少なくとも一つの画像における前記被写体の動作の特徴となる前記被写体の領域をユーザ操作により特定する第１の特定手段、
    前記特定手段により特定された前記領域に基づいて、前記取得手段により取得された前記画像群のうち少なくとも１つの画像を正規化する正規化手段、
    としての機能させることを特徴とするプログラム。
13. 被写体の一連の動作が撮像されている画像群を取得する取得手段と、
    前記画像群から前記被写体の動作の特徴となる一つの画像を選択する画像選択手段と、
    前記画像選択手段により選択された画像から前記被写体の領域をユーザ操作により特定する第１の特定手段と、
    前記第１の特定手段により特定された前記領域に基づいて、前記取得手段により取得された前記画像群のうち少なくとも１つの画像を正規化する正規化手段と、
    を備えることを特徴とする画像処理装置。
14. 被写体の一連の動作が撮像されている画像群を取得する取得手段と、
    前記画像群のうち少なくとも一つの画像における前記被写体の動作の特徴となる前記被写体の領域を特定する第１の特定手段と、
    前記第１の特定手段により特定された前記領域に基づいて、前記取得手段により取得された前記画像群のうち少なくとも１つの画像を正規化する正規化手段と、
    を備えることを特徴とする画像処理装置。
15. 被写体の一連の動作が撮像されている画像群を取得する取得手段と、
    前記画像群から前記被写体の動作の特徴となる一つの画像を選択する画像選択手段と、
    前記画像選択手段により選択された画像から前記被写体の領域を特定する第１の特定手段と、
    前記第１の特定手段により特定された前記領域に基づいて、前記取得手段により取得された前記画像群のうち少なくとも１つの画像を正規化する正規化手段と、
    を備えることを特徴とする画像処理装置。

Images