JP6558461B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、一覧表示がされた画像からユーザが送信したい画像を選択して、外部機器に送信する制御を行う技術がある（例えば、特許文献１参照）。

特開２０１１−１２０２７９号公報

しかしながら、上述した特許文献１に記載の技術では、ユーザが処理対象の画像の選択や送信等の所定の制御をするまでに複数の操作をする必要があるため、当該所定の制御をするまでの操作が煩雑になるという問題があった。

本発明は、このような状況に鑑みてなされたものであり、装置に所望の制御をさせるための操作を簡潔にすることを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
連続して撮像された画像データを取得する画像取得手段と、
前記画像データの記憶手段への記憶に関する指示があるか否かを判定する第１の判定手段と、
前記第１の判定手段により前記記憶手段への記憶に関する指示があると判定されると、前記画像データを前記記憶手段に記憶させるように制御する記憶制御手段と、
前記記憶に関する指示に応答して、前記画像取得手段が取得した画像データに対応するライブビュー画像と共に、前記画像データへの所定の処理のための第一指標画像を表示手段に表示させるよう制御する第１の表示制御手段と、
前記ライブビュー画像中の被写体の画像の位置が前記第一指標画像の位置に重なったか否かを判定する第２の判定手段と、
前記第２の判定手段により前記被写体の画像の位置が前記第一指標画像の位置に重なったと判定された場合、前記画像データに前記所定の処理を行う処理手段と、
を備えたことを特徴とする。

本発明によれば、装置に所望の制御をさせるための操作を簡潔にすることができる。

本発明の画像処理装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 図１の撮像装置の機能的構成のうち、動画記憶処理を実行するための機能的構成を示す機能ブロック図である。 図２の機能的構成を有する図１の撮像装置が実行する動画記憶処理の流れを説明するフローチャートである。 動画再生モードにおける表示画面の遷移の一例を示す模式図である。 動画送信モードにおける表示画面の遷移の一例を示す模式図である。 スイングを行うプレーヤーの身体全体の形状に対応するグリッド画像の例を示す図である。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の画像処理装置の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、または、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１等に適宜供給される。

入力部１７は、各種ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

このように構成される撮像装置１においては、特定の動画記憶モード（本実施例では、「自動ムービーカットモード」）に設定されている場合に、所定の被写体の形状に対応する指標画像（以下、「グリッド画像」と呼ぶ。）を表示し、所定の操作（シャッタボタンの半押しあるいはムービーボタンの押下等）が行われると、ジェスチャによる動画の記憶指示のための指標画像（以下、「動画記憶アイコン」と呼ぶ。）を表示し、動画記憶を行う待機状態となる。そして、グリッド画像または動画記憶アイコンに被写体の画像が重ねられた場合、あるいは、動画記憶アイコンにタッチ操作された場合、タイマー設定された時間後（例えば１０秒後）から、設定された時間（例えば５秒間）だけハイスピード動画が記憶される。そして、ハイスピード動画の記憶が終了すると、所定の動作の期間（例えばゴルフのスイングにおいてゴルフクラブがボールに当たる直前から直後まで、あるいは、ゴルフのスイングにおけるアドレスからフィニッシュまで）を残して、当該所定の動作の期間の前後の動画が自動でカットされる。動画のカットが終了すると、設定に応じて、動画の再生を行うための指標画像（以下、「再生アイコン」と呼ぶ。）または動画の送信を行うための指標画像（以下、「送信アイコン」と呼ぶ。）が表示される。再生アイコンに被写体の画像が重ねられた場合、あるいは、再生アイコンにタッチ操作された場合、カットされたハイスピード動画が再生（例えば早送り再生）される。また、送信アイコンに被写体の画像が重ねられた場合、あるいは、送信アイコンにタッチ操作された場合、カットされたハイスピード動画が外部装置（例えばスマートフォン等）に送信される。

図２は、このような撮像装置１の機能的構成のうち、動画記憶処理を実行するための機能的構成を示す機能ブロック図である。
「動画記憶処理」とは、自動ムービーカットモードにおいてハイスピード動画を記憶し、所定の動作の期間を切り取った後に、再生アイコンあるいは送信アイコンを表示して、ハイスピード動画を再生あるいは送信する一連の処理である。

動画記憶処理が実行される場合、図２に示すように、ＣＰＵ１１において、出力制御部５１と、撮像制御部５２と、画像解析部５３と、画像取得部５４と、動画生成部５５と、記憶制御部５６と、通信制御部５７と、が機能する。

また、記憶部１９の一領域には、指標画像記憶部７１と、動画記憶部７２が設定される。
指標画像記憶部７１には、ライブビュー画像に重畳して表示される各種指標画像が記憶される。具体的には、グリッド画像、動画記憶アイコン、再生アイコンあるいは送信アイコン等の画像が記憶される。なお、本実施形態において、グリッド画像は、ゴルフクラブのヘッドの形状に対応しているものとする。
動画記憶部７２には、撮像部１６から取得した動画のデータや動画記憶処理においてカットされた後のハイスピード動画のデータ等が記憶される。

出力制御部５１は、ライブビュー画像と共に、ライブビュー画像上に指標画像記憶部７１に記憶される指標画像を表示させるように出力部１８を制御する。その結果、出力部１８には、ライブビュー画像と、当該ライブビュー画像上に指標が表示され、後述するように、当該ライブビュー画像に映し出されている被写体（例えば、ゴルフクラブや人の手等）の画像が指標画像に重畳されると、動画の記憶開始の指示や外部装置への動画の送信の指示等を行うことができる。
また、出力制御部５１は、撮像装置１においてハイスピード動画を再生する場合、ハイスピード動画のフレームレート（ここでは１０００ｆｐｓ）からフレームを間引くことにより、より低いフレームレート（例えば３０ｆｐｓ）で再生する。なお、ユーザがハイスピード動画を詳細に確認したい場合には、スマートフォンあるいはＰＣ等に送信して再生することにより、ハイスピード動画のフレームレートのままで再生を行うことができる。

撮像制御部５２は、ユーザによって設定された各種撮影のためのモードに応じて、撮像処理を行うように撮像部１６を制御する。本実施形態において、動画記憶処理でハイスピード動画が記憶される際には、ライブビュー画像の撮像範囲よりも狭い範囲（例えば、中央付近に限定した範囲）のみを対象にハイスピード動画が記憶される。これにより、撮像装置１における処理負荷が軽減される。

画像解析部５３は、撮像部１６から逐次出力されるライブビュー画像を解析して、指標画像が表示されている位置に被写体の画像が重畳されているか否かを判定する。具体的には、画像解析部５３は、指標画像が表示されている領域のライブビュー画像（指標画像の背景のライブビュー画像）に生じた変化に基づいて、被写体の画像が重畳されているか否かを判定する。
即ち、指標画像が表示されている位置に被写体の画像が重畳されているか否かは、動画像データを構成する複数のフレーム画像データの間で隣接するフレーム画像データ間を比較し、指標画像が表示されている領域に被写体（ゴルフクラブのヘッド等）が存在しない状態のフレーム画像データと、指標画像が表示されている領域に被写体が存在する状態のフレーム画像データとの画素値の変化を特定することにより判定することができる。
具体的には、隣接するフレーム画像データにおける指標画像が表示されている領域間の各画素値の差分値の総計が閾値以上であった場合に、当該総計が閾値以上となっていれば、指標画像が表示されている領域に被写体が存在するものと推定できる。詳細には、本実施形態においては、指標画像が表示されている領域における画素の輝度値の差分値から差分二乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）（以下、「評価値」という。）を算出し、評価値が閾値以上であった場合に、指標画像が表示されている領域に被写体が存在するものと推定する。
なお、このとき用いる閾値は、指標画像が表示されている領域において、被写体が存在しない状態（撮像装置１設置後のキャリブレーションのタイミング等）で算出されたフレーム画像データ間の差分値を所定の期間で算出した平均値から決定することができる。

画像取得部５４は、撮像部１６から出力される画像を、動画を構成するフレーム画像として取得したり、動画記憶部７２に記憶される処理対象となる動画（以下、「処理対象動画」という。）として取得したりする。

動画生成部５５は、撮像部１６から順次取得したフレーム画像のデータに所定の処理（例えば、記憶されたハイスピード動画から、被写体の画像がグリッド画像に重なっているフレーム画像あるいは被写体の特定の動作の範囲（例えばアドレスからフィニッシュ）が記憶されたフレーム画像等、一部の動画を切り出す「動画のカット」や、ホワイトバランスの調整処理あるいは圧縮処理等の「画像処理」）を施すことにより動画を生成する。なお、自動ムービーカットモードにおいて、動画のカットを自動的に行うか否かを設定することが可能であり、動画のカットを自動で行わない場合には、動画生成部５５は、画像処理のみを行うことによって動画を生成する。

記憶制御部５６は、動画生成部５５により生成された動画のデータを動画記憶部７２やリムーバブルメディア３１に記憶させる。また、記憶制御部５６は、撮像部１６から出力された動画のデータを動画記憶部７２に記憶させる。

通信制御部５７は、画像取得部５４によって取得された処理対象動画を外部装置に送信するように通信部２０を制御する。

図３は、図２の機能的構成を有する図１の撮像装置１が実行する動画記憶処理の流れを説明するフローチャートである。動画記憶処理の開始前に、動画記憶後の処理のモード（本実施形態においては、動画生成後に、動画を再生する「動画再生モード」、または、生成した動画を外部装置に送信する「動画送信モード」のいずれか）が設定される。
図４は、動画再生モードにおける表示画面の遷移の一例を示す模式図である。また、図５は、動画送信モードにおける表示画面の遷移の一例を示す模式図である。以下、図４及び図５を適宜参照しながら、動画記憶処理の流れを説明する。
動画記憶処理は、ユーザによる入力部１７への動画記憶処理開始の操作により開始される。

ステップＳ１１において、出力制御部５１は、動画記憶待機状態として、自動ムービーカットモードの初期画面（図４（Ｂ）、図５（Ｂ）参照）を表示するように出力部１８を制御する。

ステップＳ１２において、撮像制御部５２は、ユーザによる入力部１７であるシャッタボタンの半押し操作あるいは録画ボタンの押下でモーション待機状態（ジェスチャによる記憶指示が可能な状態）への移行指示があったか否かを判定する。
モーション待機状態への移行指示がない場合には、ステップＳ１２においてＮＯと判定されて、処理はステップＳ１１に戻る。
一方、モーション待機状態への移行指示があった場合には、ステップＳ１２においてＹＥＳと判定されて、処理はステップＳ１２に進む。

ステップＳ１３において、出力制御部５１は、モーション待機状態として、撮像部１６から取得したライブビュー画像に動画記憶アイコンを重畳表示するように出力部１８を制御する。その結果、図４（Ｃ）、図５（Ｃ）に示すようにライブビュー画像上に動画記憶アイコンが重畳表示された画面が出力部１８に表示される。

ステップＳ１４において、画像解析部５３は、被写体の画像が動画記憶アイコンに重畳されたか否かを判定する。
被写体の画像が動画記憶アイコンに重なってない場合には、ステップＳ１４においてＮＯと判定されて、ステップＳ１４の処理が繰り返される。
一方、被写体の画像が動画記憶アイコンに重なった場合には、ステップＳ１４においてＹＥＳと判定されて、処理はステップＳ１５に進む。

ステップＳ１５において、撮像制御部５２は、動画記憶を開始するまでのカウントダウン（本実施形態においては、１０秒）を行う。この際、出力制御部５１は、カウントダウンの表示を行うように出力部１８を制御する。その結果、出力部１８では、図４（Ｄ）、図５（Ｄ）に示すようにカウントダウンの表示が行われる。

ステップＳ１６において、撮像制御部５２は、動画記憶を開始するように撮像部１６を制御する。この際、出力制御部５１は、動画の記憶中を示す表示を行うように出力部１８を制御する。その結果、出力部１８では、図４（Ｅ）、図５（Ｅ）に示すように動画の記憶中を示す表示が行われる。

ステップＳ１７において、画像取得部５４は、撮像部１６から出力される画像を、動画を構成するフレーム画像として取得する。

ステップＳ１８において、撮像制御部５２は、動画記憶を終了するか否かを判定する。具体的には、動画記憶の開始から所定時間（ここでは５秒）が経過したか否かが判定される。
動画記憶を終了しない場合には、ステップＳ１８においてＮＯと判定されて、処理はステップＳ１７に戻る。
一方、動画記憶を終了する場合には、ステップＳ１８においてＹＥＳと判定されて、処理はステップＳ１９に進む。この際、撮像制御部５２は、動画記憶を終了するように撮像部１６を制御する。

ステップＳ１９において、動画生成部５５は、画像取得部５４によってフレーム画像として取得された画像から動画を生成する。この際、出力制御部５１は、画像処理中を示す表示を行うように出力部１８を制御する。その結果、出力部１８では、図４（Ｆ）、図５（Ｆ）に示すように画像処理中を示す表示が行われる。

ステップＳ２０において、記憶制御部５６は、動画生成部５５によって生成された動画を動画記憶部７２に記憶させる。また、この際に、動画生成部５５によって生成された動画は、リムーバブルメディア３１にも記憶される。

ステップＳ２１において、出力制御部５１は、撮像部１６から取得したライブビュー画像に再生アイコンまたは送信アイコンを重畳表示するように出力部１８を制御する。その結果、出力部１８では、図４（Ｇ）、図５（Ｇ）に示すように、ライブビュー画像上に再生アイコンまたは送信アイコンが重畳表示された画面が出力部１８に表示される。

ステップＳ２２において、画像解析部５３は、被写体の画像が再生アイコンまたは送信アイコンに重なったか否かを判定する。
被写体の画像が再生アイコンまたは送信アイコンに重なってない場合には、ステップＳ２２においてＮＯと判定されて、ステップＳ２２の処理が繰り返される。
一方、被写体の画像が再生アイコンまたは送信アイコンに重なった場合には、ステップＳ２２においてＹＥＳと判定されて、処理はステップＳ２３に進む。

ステップＳ２３において、画像取得部５４は、記憶制御部５６によって動画記憶部７２に記憶された動画を処理対象動画として取得する。

ステップＳ２４において、通信制御部５７または出力制御部５１は、動画記憶後の処理のモード設定に基づいて、処理対象動画を再生するように出力部１８を制御するか、または、外部装置に処理対象動画を送信するように通信部２０を制御する。この際、出力制御部５１は、プレビュー再生の表示または送信準備のための表示を行うように出力部１８を制御する。その結果、出力部１８では、図４（Ｈ）のプレビュー再生、図５（Ｈ）〜（Ｋ）の動画の送信準備のための表示が行われる。なお、動画送信モードにおいては、図５（Ｈ）〜（Ｋ）に示すように、処理対象動画の送信先である外部装置の側で、受信のための所定の準備が行われる。

ステップＳ２５において、出力制御部５１は、復帰画面を表示するように出力部１８を制御する。その結果、出力部１８では、図４（Ｇ）、図５（Ｌ）に示すような復帰画面が出力部１８に表示される。
その後、動画記憶処理は終了する。

以上のように構成される撮像装置１は、撮像部１６と、画像解析部５３と、記憶制御部５６と、出力制御部５１と、記憶部１９と、出力部１８と、通信制御部５７または出力制御部５１と、を備える。
撮像部１６は、被写体を連続して撮像して、画像データを逐次出力する。
画像解析部５３は、撮像部１６により出力された画像データの記憶部１９への記憶に関する指示があるか否かを判定する。
記憶制御部５６は、画像解析部５３により記憶部１９への記憶に関する指示があると判定されると、撮像部１６により出力された画像データを記憶部１９に記憶させるよう制御する。
出力制御部５１は、記憶に関する指示に応答して、撮像部１６により逐次出力された画像データに対応するライブビュー画像と共に、記憶部１９に記憶された画像データの処理のための指標画像を出力部１８に表示させるよう制御する。
画像解析部５３は、出力制御部５１により出力部１８に表示されたライブビュー画像中の被写体の画像の位置が画像データの処理のための指標画像の位置に重なったか否かを判定する。
通信制御部５７または出力制御部５１は、画像解析部５３により被写体の画像の位置が画像データの処理のための指標画像の位置に重なったと判定された場合、記憶部１９に記憶された画像データに所定の処理を行う。
これにより、画像データの記憶に関する指示が行われた場合に、画像データの取得後、画像データの処理のための指標画像がライブビュー画像と共に表示される。そして、被写体の画像が画像データの処理のための指標画像の位置に重ねられると、記憶手段に記憶された画像データに所定の処理が行われる。
そのため、ユーザは、ライブビュー画像において、自らの手や道具等の画像を画像データの処理のための指標画像に重ねることで、撮像装置１に所定の処理を行わせることができる。
したがって、撮像装置１においては、装置に所望の制御をさせる操作を簡潔にすることができる。

通信制御部５７は、所定の処理として、記憶制御部５６により記憶部１９に記憶された画像データを外部に送信するよう制御する。
これにより、撮像装置１においては、画像データを外部に送信させる操作を簡潔にすることができる。

出力制御部５１は、所定の処理として、記憶制御部５６により記憶部１９に記憶された画像データを出力部１８に表示させるよう制御する。
これにより、撮像装置１においては、画像データを出力部１８に表示させる操作を簡潔にすることができる。

また、撮像装置１は、ライブビュー画像と記憶に関する指示のための指標画像とを出力部１８に表示させるよう制御する出力制御部５１を更に備える。
画像解析部５３は、出力制御部５１により出力部１８に表示されたライブビュー画像中の被写体の画像の位置と記憶に関する指示のための指標画像の位置とが重なったか否かを判定することで、画像データの記憶部１９への記憶に関する指示があるか否かを判定する。
これにより、ユーザは、ライブビュー画像において、自らの手や道具等の画像を記憶に関する指示のための指標画像に重ねることで、記憶に関する指示を行うことができる。
したがって、撮像装置１においては、装置に所望の制御をさせるための操作を簡潔にすることができる。

出力制御部５１は、画像データの処理のための指標画像と共に、記憶に関する指示のための指標画像を出力部１８に表示させるよう制御する。
画像解析部５３は、ライブビュー画像中の被写体の画像の位置と記憶に関する指示のための指標画像の位置とが重なったか否かを判定することで、画像データの記憶部１９への記憶に関する指示があるか否かを判定する。
これにより、ユーザは、ライブビュー画像において、自らの手や道具等の画像を画像データの処理のための指標画像あるいは記憶に関する指示のための指標画像に重ねることで、画像データの処理あるいは記憶に関する指示を行うことができる。
したがって、撮像装置１においては、装置に所望の制御をさせるための操作を簡潔にすることができる。

また、撮像装置１は、記憶制御部５６により記憶部１９に記憶された画像データを取得する画像取得部５４を更に備える。
出力制御部５１は、記憶に関する指示として、画像取得部５４により画像データが取得されたことに応答して、撮像部１６により逐次出力された画像データに対応するライブビュー画像と共に、記憶部１９に記憶された画像データの処理のための指標画像を出力部１８に表示させるよう制御する。
これにより、撮像装置１においては、画像取得部５４により画像データが取得されたことに応答して、撮像部１６により逐次出力された画像データに対応するライブビュー画像と共に、記憶部１９に記憶された画像データの処理のための指標画像を出力部１８に表示させることができる。
したがって、撮像装置１においては、ライブビュー画像と指標画像の出力部１８に表示際に、装置に所望の制御をさせるための操作を簡潔にすることができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態の図３のステップＳ２１において、再生アイコンまたは送信アイコンを重畳表示させるタイミングは、動画の記憶に関する指示に直接的または間接的に応答するものであれば、必要に応じて種々考えることができる。
例えば、記憶媒体への動画の記憶指示、動画を構成するフレーム画像の取得の終了、または記憶媒体への動画の記憶の終了に応答して再生アイコンまたは送信アイコンを重畳表示させることが考えられる。

上述の実施形態では、グリッド画像は、ゴルフクラブのヘッドの形状に対応するものとして説明したが、これに限られない。即ち、グリッド画像は、スイングを行うプレーヤーの身体全体の形状に対応するものとしてもよい。
図６は、スイングを行うプレーヤーの身体全体の形状に対応するグリッド画像の例を示す図である。
図６に示すように、グリッド画像を、スイングを行うプレーヤーの身体全体の形状に対応させる場合、図６（ａ）に示すように、プレーヤーを身体の正面から見た形状に対応するグリッド画像としたり、図６（ｂ）に示すように、プレーヤーを打球方向の後方から見た形状に対応するグリッド画像としたりすることができる。
このように、グリッド画像の形状を種々変化させることで、ユーザが望む各種動作を簡潔な操作で記憶することができる。
なお、グリッド画像を、スイングを行うプレーヤーの身体全体の形状に対応させる場合、図６（ａ）、図６（ｂ）に示すように、プレーヤーがスイングを行う軌道上に、動画記憶アイコンまたは補助的なグリッド画像を表示することとしてもよい。そして、スイングを行うプレーヤーの身体全体の画像がグリッド画像に重畳し、かつ、動画記憶アイコンあるいは補助的なグリッド画像に被写体（例えばゴルフクラブ）の画像が重畳した場合に、タイマー設定された時間後（例えば１０秒後）から、設定された時間（例えば５秒間）だけハイスピード動画が記憶されるものとしてもよい。
この場合、プレーヤーがアドレスに入ったのみでは記憶指示が行われないため、プレーヤーは、より適切なタイミングで記憶指示を行うことができる。

上述の実施形態では、動画送信モードにおいて、１つの動画生成後に、外部装置への動画の送信を行うものとして説明したが、これに限られない。即ち、複数の動画を生成した後に、これらをまとめて外部装置へ送信する処理を行うこととしてもよい。これにより、複数の動画を外部装置へ送信する処理を簡単に行うことができる。

また、上述の実施形態では、動画送信モードにおいて、復帰画面として動画記憶待機状態に戻るものとして説明したが、これに限られない。例えば、復帰画面として、モーション待機状態（図５（Ｃ）、図５（Ｄ）参照）に戻ることとしてもよい。この場合、動画の撮り直しや、送信のし直しを簡単に行うことができる。

また、上述の実施形態において、動画送信モードで外部装置へ送信しなかった動画については、撮像装置１から削除することとしてもよい。即ち、記憶された動画のうち、外部装置へ送信されなかったものは、ユーザにとって価値が低いものとして、自動的に削除することができる。
これにより、不要な動画を削除する手間を軽減することができる。
また、外部装置へ送信された動画を、撮像装置１に残しておくこととしてもよい。これにより、ユーザにとって価値が高い動画を撮像装置１においても容易に確認することが可能となる。

また、上述の実施形態において、動画の記憶後に、再生アイコンあるいは送信アイコンがライブビュー画像に重畳して表示されるものとして説明したが、これに限られない。即ち、動画の記憶前は、再生アイコンあるいは送信アイコンを網掛け表示やモノクロ表示等の操作が無効な状態で表示させておき、記憶後に動画のカットが完了した後に、再生アイコンあるいは送信アイコンの網掛け表示の状態の解除やモノクロ表示が赤等に色付くことにより、操作が有効な状態とすることも可能である。

また、上述の実施形態において、動画再生モードであるか動画送信モードであるかに応じて、再生アイコンまたは送信アイコンのいずれかが表示されるものとして説明したが、これに限られない。即ち、動画の記憶後に、再生アイコン及び送信アイコンの両方が表示されるようにしてもよい。

また、上述の実施形態において、動画を対象に本発明を適用した場合について説明したが、これに限られない。即ち、静止画を対象に本発明を適用することが可能である。この場合、例えば、ジェスチャによる記憶指示をトリガとして、連写によって記憶された複数の静止画のうち、特定の期間に記憶されたものを抽出すること等が可能である。

また、上述の実施形態では、ゴルフのスイング動作を例に挙げて説明したが、本発明は、種々の動作を記憶する際に適用可能である。例えば、野球のバッティングの動作、テニスのラケットのスイング動作等に適用可能である。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、動画の記憶機能を有する電子機器一般に適用することができる。例えば、本発明は、ノート型のパーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
被写体を連続して撮像して、画像データを逐次出力する撮像手段と、
前記撮像手段により出力された画像データの記憶手段への記憶に関する指示があるか否かを判定する第１の判定手段と、
前記第１の判定手段により前記記憶手段への記憶に関する指示があると判定されると、前記撮像手段により出力された画像データを前記記憶手段に記憶させるように制御する記憶制御手段と、
前記記憶に関する指示に応答して、前記撮像手段により逐次出力された画像データに対応するライブビュー画像と共に、前記記憶手段に記憶された画像データの処理のための指標画像を表示手段に表示させるよう制御する第１の表示制御手段と、
前記第１の表示制御手段により前記表示手段に表示された前記ライブビュー画像中の被写体の画像の位置が前記画像データの処理のための指標画像の位置に重なったか否かを判定する第２の判定手段と、
前記第２の判定手段により前記被写体の画像の位置が前記画像データの処理のための指標画像の位置に重なったと判定された場合、前記記憶手段に記憶された画像データに所定の処理を行う処理手段と、
を備えたことを特徴とする画像処理装置。
［付記２］
前記処理手段は、前記所定の処理として、前記記憶制御手段により前記記憶手段に記憶された画像データを外部に送信するよう制御する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記処理手段は、前記所定の処理として、前記記憶制御手段により前記記憶手段に記憶された画像データを表示手段に表示させるよう制御する、
ことを特徴とする付記１または２に記載の画像処理装置。
［付記４］
前記ライブビュー画像と前記記憶に関する指示のための指標画像とを前記表示手段に表示させるよう制御する第２の表示制御手段を更に備え、
前記第１の判定手段は、前記第２の表示制御手段により前記表示手段に表示された前記ライブビュー画像中の被写体の画像の位置と前記記憶に関する指示のための指標画像の位置とが重なったか否かを判定することで、前記画像データの前記記憶手段への前記記憶に関する指示があるか否かを判定する、
ことを特徴とする付記１から３の何れか１つに記載の画像処理装置。
［付記５］
前記第１の表示制御手段は、前記画像データの処理のための指標画像と共に、前記記憶に関する指示のための指標画像を前記表示手段に表示させるよう制御し、
前記第１の判定手段は、前記ライブビュー画像中の被写体の画像の位置と前記記憶に関する指示のための指標画像の位置とが重なったか否かを判定することで、前記画像データの前記記憶手段への記憶に関する指示があるか否かを判定する、
ことを特徴とする付記１から４の何れか１つに記載の画像処理装置。
［付記６］
前記記憶制御手段により前記記憶手段に記憶された前記画像データを取得する取得手段を更に備え、
前記第１の表示制御手段は、前記記憶に関する指示として、前記取得手段により前記画像データが取得されたことに応答して、前記撮像手段により逐次出力された画像データに対応するライブビュー画像と共に、前記記憶手段に記憶された画像データの処理のための指標画像を表示手段に表示させるよう制御する、
ことを特徴とする付記１から５の何れか１つに記載の画像処理装置。
［付記７］
被写体を連続して撮像して、画像データを逐次出力する撮像手段と、記憶手段と、表示手段と、を備える画像処理装置で実行される画像処理方法であって、
前記撮像手段により出力された画像データの前記記憶手段への記憶に関する指示があるか否か判定する第１の判定ステップと、
前記第１の判定ステップにより前記記憶手段への記憶に関する指示があると判定されると、前記撮像手段により出力された画像データを前記記憶手段に記憶させるように制御する記憶制御ステップと、
前記記憶に関する指示に応答して、前記撮像手段により逐次出力された画像データに対応するライブビュー画像と共に、前記記憶手段に記憶された画像データの処理のための指標画像を前記表示手段に表示させるよう制御する第１の表示制御ステップと、
前記第１の表示制御ステップにより前記表示手段に表示された前記ライブビュー画像中の被写体の画像の位置が前記画像データの処理のための指標画像の位置に重なったか否かを判定する第２の判定ステップと、
前記第２の判定ステップにより前記被写体の画像の位置が前記画像データの処理のための指標画像の位置に重なったと判定された場合、前記記憶手段に記憶された画像データに所定の処理を行う処理ステップと、
を含むことを特徴とする画像処理方法。
［付記８］
被写体を連続して撮像して、画像データを逐次出力する撮像手段と、記憶手段と、表示手段と、を備える画像処理装置を制御するコンピュータを、
前記撮像手段により出力された画像データの前記記憶手段への記憶に関する指示があるか否か判定する第１の判定手段、
前記第１の判定手段により前記記憶手段への記憶に関する指示があると判定されると、前記撮像手段により出力された画像データを前記記憶手段に記憶させるように制御する記憶制御手段、
前記記憶に関する指示に応答して、前記撮像手段により逐次出力された画像データに対応するライブビュー画像と共に、前記記憶手段に記憶された画像データの処理のための指標画像を前記表示手段に表示させるよう制御する第１の表示制御手段、
前記第１の表示制御手段により前記表示手段に表示された前記ライブビュー画像中の被写体の画像の位置が前記画像データの処理のための指標画像の位置に重なったか否かを判定する第２の判定手段、
前記第２の判定手段により前記被写体の画像の位置が前記画像データの処理のための指標画像の位置に重なったと判定された場合、前記記憶手段に記憶された画像データに所定の処理を行う処理手段、
として機能させることを特徴とするプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・出力制御部，５２・・・撮像制御部，５３・・・画像解析部，５４・・・画像取得部，５５・・・動画生成部，５６・・・記憶制御部，５７・・・通信制御部，７１・・・指標画像記憶部，７２・・・動画記憶部

Claims (9)

1. 連続して撮像された画像データを取得する画像取得手段と、
   前記画像データの記憶手段への記憶に関する指示があるか否かを判定する第１の判定手段と、
   前記第１の判定手段により前記記憶手段への記憶に関する指示があると判定されると、
   前記画像データを前記記憶手段に記憶させるように制御する記憶制御手段と、
   前記記憶に関する指示に応答して、前記画像取得手段が取得した画像データに対応するライブビュー画像と共に、前記画像データへの所定の処理のための第一指標画像を表示手段に表示させるよう制御する第１の表示制御手段と、
   前記ライブビュー画像中の被写体の画像の位置が前記第一指標画像の位置に重なったか否かを判定する第２の判定手段と、
   前記第２の判定手段により前記被写体の画像の位置が前記第一指標画像の位置に重なったと判定された場合、前記画像データに前記所定の処理を行う処理手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記処理手段は、前記所定の処理として、前記画像データを外部に送信するよう制御する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記処理手段は、前記所定の処理として、前記画像データを表示手段に表示させるよう制御する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記ライブビュー画像と前記記憶に関する指示のための第二指標画像とを前記表示手段に表示させるよう制御する第２の表示制御手段を更に備え、
   前記第１の判定手段は、前記ライブビュー画像中の被写体の画像の位置と前記第二指標画像の位置とが重なったか否かを判定することで、前記画像データの前記記憶手段への前記記憶に関する指示があるか否かを判定する、
   ことを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
5. 前記第１の表示制御手段は、前記第一指標画像と共に、前記記憶に関する指示のための第二指標画像を前記表示手段に表示させるよう制御し、
   前記第１の判定手段は、前記ライブビュー画像中の被写体の画像の位置と前記第二指標画像の位置とが重なったか否かを判定することで、前記画像データの前記記憶手段への記憶に関する指示があるか否かを判定する、
   ことを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
6. 前記記憶制御手段により前記記憶手段に記憶された前記画像データを取得する取得手段を更に備え、
   前記第１の表示制御手段は、前記記憶に関する指示として、前記取得手段により前記画像データが取得されたことに応答して、前記画像取得手段により取得された画像データに対応するライブビュー画像と共に、前記第一指標画像を表示手段に表示させるよう制御する、
   ことを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
7. 前記第１の表示制御手段は、前記記憶に関する指示に応答して、前記画像取得手段により取得された画像データに対応するライブビュー画像と共に、前記記憶手段に記憶された前記画像データへの所定の処理のための第一指標画像を表示手段に表示させるよう制御し、
   前記処理手段は、前記第２の判定手段により前記被写体の画像の位置が前記第一指標画像の位置に重なったと判定された場合、前記記憶手段に記憶された前記画像データに所定の処理をおこなう
   ことを特徴とする請求項１から６の何れか１項に記載の画像処理装置。
8. 連続して撮像された画像データを取得する画像取得手段と、表示手段と、を備える画像処理装置で実行される画像処理方法であって、
   前記画像データの記憶手段への記憶に関する指示があるか否か判定する第１の判定ステップと、
   前記第１の判定ステップにより前記記憶手段への記憶に関する指示があると判定されると、前記画像データを前記記憶手段に記憶させるように制御する記憶制御ステップと、
   前記記憶に関する指示に応答して、前記画像取得手段が取得した画像データに対応するライブビュー画像と共に、前記画像データへの所定の処理のための第一指標画像を表示手段に表示させるよう制御する第１の表示制御ステップと、
   前記ライブビュー画像中の被写体の画像の位置が前記第一指標画像の位置に重なったか否かを判定する第２の判定ステップと、
   前記第２の判定ステップにより前記被写体の画像の位置が前記第一指標画像の位置に重なったと判定された場合、前記画像データに前記所定の処理を行う処理ステップと、
   を含むことを特徴とする画像処理方法。
9. 連続して撮像された画像データを取得する画像取得手段と、表示手段と、を備える画像処理装置を制御するコンピュータを、
   前記画像データの記憶手段への記憶に関する指示があるか否かを判定する第１の判定手段、
   前記第１の判定手段により前記記憶手段への記憶に関する指示があると判定されると、
   前記画像データを前記記憶手段に記憶させるように制御する記憶制御手段、
   前記記憶に関する指示に応答して、前記画像取得手段が取得した画像データに対応するライブビュー画像と共に、前記画像データへの所定の処理のための第一指標画像を表示手段に表示させるよう制御する第１の表示制御手段、
   前記ライブビュー画像中の被写体の画像の位置が前記第一指標画像の位置に重なったか否かを判定する第２の判定手段、
   前記第２の判定手段により前記被写体の画像の位置が前記第一指標画像の位置に重なったと判定された場合、前記画像データに前記所定の処理を行う処理手段、
   として機能させることを特徴とするプログラム。

Images