JP5481877B2 - 画像抽出装置 - Google Patents

Description

本発明は、連続的に撮像された複数の画像の中から所望の画像を抽出することができる画像抽出装置に関する。

従来、デジタルカメラ等による高速連写又は高フレームレートによる撮像を行うことによって、決定的な瞬間の撮像が行われている。しかしながら、連写等による撮像によって大量の枚数の画像が生成されるため、その大量の枚数の画像の中から、所望の画像を抽出するために様々な技術がこれまでに開発されている（例えば、特許文献１等参照）。

特許文献１には、例えば、ラベルや色情報等の複数のカテゴリをまたいで選択されたメタデータのよる論理和又は論理積を検索条件として、画像を検索する技術が開示されている。

しかしながら、従来技術である特許文献１のような方法では、あらかじめ撮像した各画像に対して、各カテゴリについてのラベルや色情報等を付与したメタデータテーブルを作成する必要がある。

上記従来技術が有する問題に鑑み、本発明の目的は、連続的に撮像された複数の画像から容易に所望の画像を抽出することができる技術を提供することにある。

本発明を例示する画像抽出装置の一態様は、連続的に撮像された複数の画像を読み込む入力部と、複数の画像の各々に対応付けられる撮像時の情報を取得する情報取得部と、所定の条件を満たす撮像時の情報が対応付けられている画像を複数の画像から抽出する画像抽出部とを備え、複数の画像の各々は、撮像指示の信号に基づいて撮像された画像であり、撮像時の情報は、撮像指示の信号の数である。
また、所定の条件を満たす情報を複数の画像の各々に対応付けられる撮像時の情報から抽出する情報抽出部を備え、画像抽出部は、情報抽出部の抽出結果に基づいて複数の画像から対応する画像を抽出してもよい。

また、複数の画像と撮像時の情報とは時系列に基づいて対応付けられても良い。

また、複数の画像の各々の画像における特徴量を抽出する特徴量抽出部をさらに備え、画像抽出部は、情報抽出部の抽出結果及び特徴量に基づいて複数の画像から対応する画像を抽出しても良い。

また、撮影時の情報は、複数の画像から得られる情報以外の情報であっても良い。

また、撮像時の情報は、音声情報であっても良い。

また、特徴量は、輝度情報であっても良い。

また、特徴量は、被写体の速度情報であっても良い。

本発明によれば、連続的に撮像された複数の画像から容易に所望の画像を抽出することができる。

本発明の第１の実施形態に係る電子カメラ１００の構成図 第１の実施形態に係る電子カメラ１００の撮像手順を示すフローチャート 第１の実施形態に係る電子カメラ１００の画像抽出処理を示すフローチャート 表示部１１に表示される画像抽出のための抽出パラメータの選択画面の一例を示す図 本発明の第２の実施形態に係る電子カメラ２００の構成図 第２の実施形態又は第３の実施形態における抽出パラメータの重ね合わせ処理の一例を示す図

≪第１の実施形態≫
図１は、本発明の第１の実施形態に係る電子カメラ１００の構成図である。

電子カメラ１００は、撮像レンズ１、撮像素子２、Ａ／Ｄ変換部３、ＣＰＵ４、メモリ５、バッファメモリ６、マイクロホン７、Ａ／Ｄ変換部８、操作部材９、記憶部１０、表示部１１及び画像処理部１２から構成される。ＣＰＵ４、メモリ５、バッファメモリ６、Ａ／Ｄ変換部８、操作部材９、記憶部１０、表示部１１及び画像処理部１２は、バス１３を介して情報伝達可能に接続されている。なお、図１は電子カメラ１００の主要部分のみを示す。例えば、図１において、ＣＰＵ４の指令に従って、撮像素子２に撮影指示のタイミングパルスを発するタイミングジェネレータ等は省略されている。

撮像レンズ１は、複数の光学レンズにより構成され、被写体からの光束を撮像素子２の受光面に結像する。

撮像素子２は、ＣＰＵ４の指令を受けてタイミングジェネレータ（不図示）が発するタイミングパルスに基づいて動作し、撮像レンズ１によって結像される被写体の像を取得する。撮像素子２には、ＣＣＤやＣＭＯＳの半導体のイメージセンサ等を適宜選択して用いることができる。

撮像素子２から出力された画像信号は、Ａ／Ｄ変換部３においてデジタル信号に変換され出力される。なお、撮像素子２は、操作部材９によって単一又は連写による静止画像の撮影モードが選択された場合には、全画素からの画像信号を出力する。操作部材９によって動画の撮影モードが選択された場合には、撮像素子２は、全画素のうち水平又は垂直走査方向に間引いた画素の画像信号を出力する。Ａ／Ｄ変換部３は、撮像素子２とともに、ＣＰＵ４の指令によりタイミングジェネレータ（不図示）が発するタイミングパルスに基づいて動作する。その出力結果は、一時的にフレームメモリ（不図示）に記録された後、バッファメモリ６に記録される。なお、バッファメモリ６には、任意の不揮発性メモリを適宜選択して用いることができる。

ＣＰＵ４は、ユーザにより操作部材９の電源釦が押されて、電子カメラ１００の電源が入ると、記憶部１０に記憶されている制御プログラムを読み込み、電子カメラ１００を初期化する。そして、ＣＰＵ４は、操作部材９を介してユーザからの指示を受け付けると、制御プログラムに基づいて、撮像素子２に対して被写体の撮像、画像処理部１２に対して撮像した画像の画像処理、処理された画像やマイクロホン７によって録音された音声データのメモリ５や記憶部１０への記録又は画像の表示部１１への表示等の制御を行う。ＣＰＵ４には、一般的なコンピュータのＣＰＵが使用できる。

マイクロホン７は、電子カメラ１００の周囲の音声を取得してアナログの音声信号を出力する。その音声信号は、Ａ／Ｄ変換部８によってデジタル信号に変換され、メモリ５に記録される。マイクロホン７は、一般的なマイクロホンを用いることが可能であり、小型のものを用いるのが好ましい。また、メモリ５には、任意の不揮発性メモリを適宜選択して用いることができる。なお、本実施形態では、その音声信号をメモリ５に記録するにあたり、ＣＰＵ４は、その音声信号のファイルを生成するとともに、録音開始及び終了時刻やサンプリング周波数等の付加情報をそのファイルに付加する。これにより、後述するように、同時に撮像される画像の撮像時間との対応付けが容易になる。

操作部材９は、ユーザによる部材操作の内容に応じた操作信号をＣＰＵ４に出力する。操作部材９には、例えば、電源釦、撮影モード等のモード設定釦及びレリーズ釦等の操作部材を有する。なお、操作部材９は、液晶画面等の表示部１１の画面の前面に設けられるタッチパネル形式の釦であっても良い。

記憶部１０は、ＣＰＵ４が用いる電子カメラ１００を制御する制御プログラム、撮像された静止画像や動画、及び音声データ等を記憶する。記憶部１０に保持されるプログラムや画像等は、バス１３を介して、ＣＰＵ４から適宜参照することができる。記憶部１０は、一般的なハードディスク装置、光磁気ディスク装置または脱着可能なメモリカード等の記憶装置を選択して用いることができる。

表示部１１は、撮影された画像やモード設定画面等を表示し、液晶モニタ等を適宜選択して用いることができる。

画像処理部１２は、補間処理、輪郭強調処理やホワイトバランス補正等の画像処理や、処理された画像をＪＰＥＧ形式やＹＵＶ形式等のファイル形式にするとともに、撮像日時や撮像方式等の画像付加情報を、上記ファイルに付加等を行うディジタルフロントエンド回路である。

次に、本実施形態に係る電子カメラ１００による撮影手順について、図２のフローチャートを参照しながら説明する。なお、本実施形態では、電子カメラ１００の連写による撮像を行うものとして説明する。

ユーザにより操作部材９の電源釦が押されると、ＣＰＵ４は、電子カメラ１００の記憶部１０に保持されている制御プログラムを読み込み、電子カメラ１００を初期化する。そして、ユーザが、操作部材９のモード設定釦を用いて、例えば、単一又は連写による静止画像の撮像や動画の撮像の選択や画質の設定、或いは連写を選択した場合その撮影中に音声録音を行うか否か等のモード設定を行う。なお、以下の説明では、連写の撮影モード及び音声録音のモードが選択された場合について説明する。

ステップＳ１０：ＣＰＵ４は、ユーザからの被写体の撮像指示を受け付けるまで待機する（ＮＯ側）。ユーザによって操作部材９のレリーズ釦が押されると、ＣＰＵ４は、撮像指示が出されたと判定しステップＳ１１（ＹＥＳ側）へ移行する。

ステップＳ１１：ＣＰＵ４は、タイミングジェネレータ（不図示）を介して、撮像素子２に対して被写体の撮像指令を出力して、撮像素子２は、全画素読み出しによる被写体の撮像を行う。同時に、ＣＰＵ４は、マイクロホン７に対して音声録音の開始指令を出し、マイクロホン７は、電子カメラ１００の周囲の音声を取得する。ＣＰＵ４は、撮像素子２に対して撮像した画像の画像信号を出力させて、Ａ／Ｄ変換部３でデジタル信号に変換し、バッファメモリ６に一時的に記録させる。一方、ＣＰＵ４は、マイクロホン７によって取得された音声信号を、Ａ／Ｄ変換部８でデジタル信号に変換し、メモリ５において録音開始時刻及びサンプリング周波数等の情報を付加したファイルに記録する。

ステップＳ１２：ＣＰＵ４は、バッファメモリ６に記録された画像を、バス１３を介して画像処理部１２へ転送する。画像処理部１２は、転送されてきた画像に対して、補間処理、輪郭強調処理及びホワイトバランス補正等の画像処理を行う。そして、画像処理部１２は、処理された画像をＪＰＥＧ形式やＹＵＶ形式等のファイル形式にするとともに、撮像日時や撮像方式等の画像付加情報を付加して、記憶部１０に記録する。

ステップＳ１３：ＣＰＵ４は、ユーザによって操作部材９のレリーズ釦が押され続けられているか否かを判定する。ＣＰＵ４は、ユーザがレリーズ釦を押し続けている場合、ステップＳ１１（ＹＥＳ側）へ移行し、マイクロホン７による電子カメラ１００の周囲の音声の録音を継続するとともに、撮像素子２に対して次の画像を撮像させ、ステップＳ１１〜ステップＳ１３の処理を行う。一方、ＣＰＵ４は、ユーザによるレリーズ釦解除の信号を受信した場合（ＮＯ側）、マイクロホン７による電子カメラ１００の周囲の音声の録音を終了するとともに、メモリ５に記録された音声データのファイルを、録音の終了時刻の情報を付加して記憶部１０に記録し、一連の連写撮像を終了する。

以上が、電子カメラ１００による被写体を連写によって撮像する場合の手順である。

次に、連写によって撮像された多数の画像の中から、ユーザが所望する画像を抽出する画像抽出処理について、図３のフローチャートに基づいて説明する。本実施形態では、例えば、上記の連写による撮像において、ゴルフのティーショット時のゴルファーのスイングが撮像されたものとし、ユーザは、連続的に撮像されたゴルファーのスイングの複数の画像のうち、ちょうどゴルフクラブにゴルフボールが当たった瞬間の画像を抽出する場合を、例にして説明する。なお、ゴルフ以外の他のスポーツ（例えば、野球やテニス等）の場合においても、連写によって撮像された画像の中から、同様の手順に基づいて所望の画像を抽出することができる。

ステップＳ２０：ユーザは、操作部材９のモード設定釦を操作して、連写されたゴルファーのスイングの画像の中から、ゴルフクラブにゴルフボールが当たった瞬間の画像を抽出するための設定を行う。具体的には、ユーザは、操作部材９のモード設定釦を操作して、画像抽出モードを選択する。画像抽出モードが選択されると、表示部１１には、図４に示すような、画像抽出するために使用する抽出パラメータの選択画面が表示される。ここで、本実施形態では、ゴルフボールがゴルフクラブに当たった瞬間の画像を抽出するために、ゴルフクラブがゴルフボールにあった時の音の大きさと、ゴルフクラブのヘッドやゴルフボール等の速度に基づいて抽出する。そこで、ユーザは、操作部材９の十字釦等を用いカーソル等を操作して、図４に示すように、抽出パラメータのうち「音」と「速度」とを選択して決定釦を押すとともに、各抽出パラメータの閾値の値を入力する。なお、各抽出パラメータの閾値は、あらかじめ電子カメラ１００に設定されている値を用いても良い。

ここで、図４に示される画像抽出のための抽出パラメータ「音」、「速度」、「レリーズタイミング」及び「明るさ」の各々について簡単に説明する。

「音」とは、電子カメラ１００のマイクロホン７によって録音された電子カメラ１００の周囲の音声データにおける音の大きさをいう。したがって、その音声データに記録された音の大きさの時間変化に基づいて、例えば、ユーザによって設定された閾値（例えば、５０デシベル）以上になった時の時間が抽出され、その抽出された時間に撮像された画像が抽出される。そして、ユーザは、抽出された画像の中から、例えば、ゴルフボールがゴルフクラブに当たった瞬間を捉えた画像を容易に取得することができる。

「速度」とは、対象となる被写体の移動速度をいう。即ち、本実施形態のように連写によってゴルファーのスイングが撮像された場合、公知の技術である各画像間の画素値の差分又は各画像のエッジ量の差分から検出されるゴルフクラブやゴルフボールの速度をいう。そして、ユーザによって設定された速度の閾値（例えば、ゴルフボールの速度が１０キロ／時）以上になった時に撮像された画像が抽出される。そして、ユーザは、その抽出された画像の中から、例えば、ゴルフボールがゴルフクラブに当たった瞬間を捉えた画像を抽出することができる。なお、「速度」を選択する際に、画像のどの部分に写っている被写体の移動速度を求めるのかを、あらかじめユーザが指定できるようにしておくことが好ましく、本実施形態では、例えば、ゴルフボールの写っている位置又は領域が、表示部１１を介して、指定できるものとする。

「レリーズタイミング」については、後述する他の実施例形態の説明の際に説明する。

「明るさ」とは、撮像された画像それぞれの輝度値をいう。例えば、稲妻や花火、又は誕生日におけるケーキのローソクの炎を吹き消す瞬間のように、ユーザによって設定された閾値以上（又は以下）になった時に撮像された画像が抽出され、ユーザは、その抽出された画像の中から、稲妻や花火の決定的な瞬間の画像を抽出することができる。

ステップＳ２１：ＣＰＵ４は、記憶部１０から、上記で撮像された複数の画像及びマイクロホン７で取得され録音された音声データを読み込む。

ステップＳ２２：ＣＰＵ４は、読み込んだ複数の画像を画像処理部１２へ転送して、画像処理部１２に、各画像の特徴量の１つである被写体（例えば、ゴルフボール）の移動速度を、公知の方法に基づいて算出させる。画像処理部１２は、算出した各複数の画像におけるゴルフボールの速度の値が、バス１３を介して、メモリ５に記録される。

ステップＳ２３：ＣＰＵ４は、ステップＳ２０において、ユーザに設定された音の大きさが５０デシベル以上になった時の時間で且つゴルフボールが１０キロ／時以上という条件を、全て満たした画像を抽出する。ＣＰＵ４は、抽出された画像を表示部１１に一覧表又はスライドショーにして表示する。

ステップＳ２４：ＣＰＵ４は、ユーザによって所望の画像が選択されたか否かを判定する。具体的には、ステップＳ２３において、表示部１１に一覧表又はスライドショーにて表示されている抽出された画像の中から、ユーザが操作部材９の十字釦等を用いて、所望の一枚のゴルフボールがゴルフクラブに当たった瞬間の画像を選択する。ＣＰＵ４は、操作部材９からユーザによって一枚の画像が選択されたことを示す信号を受信した場合（ＹＥＳ側）、選択された一枚の画像を表示部１１に大きく表示するとともに、記憶部１０に記録して一連の処理を終了する。一方、ＣＰＵ４は、ユーザにとって所望の画像が選択されず、抽出条件を変更して再度抽出したいという操作部材９からの信号を受信した場合、ステップＳ２０（ＮＯ側）へ移行して、抽出パラメータの選択及び閾値の設定変更等を行い、再度ステップＳ２０〜ステップＳ２３の処理を、所望の画像が抽出されるまで行う。

このように本実施形態では、連写によって大量に撮像された画像の中から、撮像した画像から算出される特徴量とともに、画像自身からは求めることができない電子カメラ１００の周囲の音声等の撮影時の情報に基づいて、所望の画像を高速に且つ確度高く抽出することができる。
≪第２の実施形態≫
本発明の第２の実施形態に係る電子カメラ２００は、図５に示すように、第１の実施形態に係る電子カメラ１００の構成と基本的には同じである。したがって、本実施形態における電子カメラ２００の構成を示す図５において、第１の実施形態に係る電子カメラ１００と同じ構成要素については、同じ符号を付与して詳細な説明は省略する。

一方、本実施形態に係る電子カメラ２００と第１の実施形態に係る電子カメラ１００とで異なる点は、図５に示すように、レリーズ釦５０を備えるとともに、送信部６０及び送信アンテナ７０を有するリモコン２５０と、電子カメラ２００は、リモコン２５０からの撮像指示の電波を受信する受信部２０及び受信アンテナ３０を新たに備えている点にある。これにより、本実施形態のＣＰＵ４は、電子カメラ２００を直接操作するユーザによって、操作部材９のレリーズ釦が押されたことによる撮像指示の開始時刻及びレリーズ釦が解除された時の撮像の終了時刻とともに、リモコン２５０を所持した複数のユーザの各々のからの撮像指示である信号を受信した時の開始時刻と受信しなくなった時の終了時刻とを、記憶部１０に記録する。

一方、本実施形態に係る電子カメラ２００の撮像手順は、図２に示すステップＳ１０〜ステップＳ１３のフローチャートと基本的には同じであり、詳細な説明は省略する。しかしながら、本実施形態における撮像手順において、下記のステップにおける動作が、第１の実施形態における動作と異なる。
１）ステップＳ１０において、ＣＰＵ４は、電子カメラ２００を直接操作するユーザによって操作部材９のレリーズ釦が押されたことによる撮像指示の信号だけでなく、リモコン２５０を所持した各ユーザからの撮像指示の信号のいずれか１つでも、受信したか否かを判定する。同時に、ＣＰＵ４は、ユーザ毎に撮像指示の開始時刻をメモリ５に記録する。

２）ステップＳ１３において、ＣＰＵ４が、少なくとも１人のユーザからの撮像指示が出されているか否かを判定する。即ち、１人でも撮像指示を出している限り、ステップＳ１１からステップＳ１３の電子カメラ２００の連写による被写体の撮像は継続される。

そこで、本実施形態における上記構成を有する電子カメラ２００の性能が発揮される場面として、例えば、野球場において、電子カメラ２００を直接操作してピッチャーの表情を撮像するカメラマンと、ピッチャーだけでなくバッターをも見ることのできる複数の場所に配置され、リモコン２５０を所持した複数のアシスタントとによって、ピッチャーの表情を連写によって撮像する場合が挙げられる。即ち、電子カメラ２００を直接操作して撮像するカメラマン自身は、ピッチャーのみを見ているために、バッターが打った瞬間を見ることができない。そのために、カメラマンがバッターにホームラン等を打たれた瞬間のピッチャーの表情を撮像することは、非常に困難である。一方、リモコン２５０を所持した複数のアシスタントが野球場の複数の場所に配置されることにより、バッターが打つ瞬間を直接見ることができ、各アシスタントは、リモコン２５０を用いてカメラマンとは独立に電子カメラ２００に対して、撮像指示を出すことによって、バッターにホームラン等を打たれた瞬間のピッチャーの表情を確実に撮像することが可能となる。

なお、本実施形態に係る電子カメラ２００は、野球以外の他のスポーツ（例えば、サッカー等）の場合に対しても、適用することができる。また、結婚式における新郎新婦の表情の撮像やパーティにおける友人の表情等を、撮像する場合おいても適用することができる。

次に、本実施形態に係る電子カメラ２００による画像抽出処理については、第１の実施形態に係る電子カメラ１００の場合の図３のフローチャートと基本的に同じである。ただし、本実施形態における抽出処理と第１の実施形態における抽出処理とが異なる点は、ステップＳ２０において、ユーザ（カメラマン）は、連写された画像の中から、バッターにホームラン等を打たれた瞬間のピッチャーの表情を捉えた画像を抽出するために、本実施形態では、図４に示すように、表示部１１に表示される抽出パラメータのうち、バッターが打った瞬間の音の大きさと、カメラマン及び複数のアシスタントによって撮像指示が出された数に基づいて抽出する点にある。即ち、カメラマンは、操作部材９の十字釦等を用いカーソル等を操作して、抽出パラメータのうち「音」と「レリーズタイミング」とを選択して決定釦を押すとともに、各抽出パラメータの閾値の値を入力する。なお、各抽出パラメータの閾値は、あらかじめ電子カメラ２００に設定されている値を用いても良い。

ここで、「レリーズタイミング」とは、上述したように電子カメラ２００を直接操作するカメラマンとともに、リモコン２５０を所持するアシスタントによる撮像指示が出された数（又は撮像指示を出した人数）をいう。したがって、メモリ５に記録されているカメラマン及び各アシスタントが撮像指示を出した開始時刻から終了時刻までの時間間隔に基づいて、例えば、撮像指示が出された数（例えば、３）以上になった時の時間が抽出され、その抽出された時間に撮像された画像が抽出される。そして、ユーザは、抽出された画像の中から、例えば、バッターにホームラン等を打たれた瞬間のピッチャーの表情を捉えた画像を容易に取得することができる。

即ち、図３のステップＳ２３において、ＣＰＵ４は、ステップＳ２０で、ユーザが設定した音の大きさが５０デシベル以上になった時間で且つレリーズタイミングが３以上という条件を、全て満たした画像を抽出する。ＣＰＵ４は、抽出された画像を表示部１１に一覧表又はスライドショーにして表示する。そして、ステップＳ２４において、ユーザは、その抽出された画像の中から所望の画像を選択するか、抽出パラメータ及びその閾値を変更して、再度画像の抽出処理を行う。

このように本実施形態では、連写によって大量に撮像された画像の中から、撮像した画像から算出される特徴量とともに、画像自身からは求めることができない電子カメラ２００の周囲の音声やレリーズタイミング等の撮影時の情報に基づいて、所望の画像を高速に且つ確度高く抽出することができる。

また、電子カメラ２００が、レリーズ釦５０、送信部６０及び送信アンテナ７０から構成されるリモコン２５０からの撮像指示の電波を受信する受信部２０及び受信アンテナ３０を備えることにより、電子カメラ２００を直接操作するユーザが認識できない状況であっても、リモコン２５０を所持したユーザからの撮像指示に基づいて撮像することができ、決定的な瞬間の画像を取り逃がすことをなくすことができる。
≪第３の実施形態≫
本発明の第３の実施形態に係る電子カメラは、第２の実施形態に係る電子カメラ２００と同じである。したがって、本実施形態における電子カメラ２００を構成する各構成要素についての詳細な説明は省略する。

また、本実施形態に係る電子カメラ２００の撮像手順は、第２の実施形態において補足説明した事項を考慮した、図２に示すステップＳ１０〜ステップＳ１３のフローチャートに従って行われる。よって、本実施形態における、電子カメラ２００の撮像手順についての詳細な説明は省略する。同様に、本実施形態に係る電子カメラ２００による画像抽出処理についても、第２の実施形態において補足説明した事項を考慮した、図３に示すステップＳ２０〜ステップＳ２４のフローチャート基づいて行われることから、詳細な説明は省略する。

次に、本実施形態に係る電子カメラ２００の性能が発揮される場面として、例えば、電子カメラ２００を直接操作してサーフボーダーを撮像しているカメラマンと、リモコン２５０を所持したサーフボーダーとによって、サーフボーダーがジャンプする瞬間を連写によって撮像する場合が挙げられる。即ち、電子カメラ２００を直接操作してサーフボーダーを撮像するカメラマン自身は、いつサーフボーダーがジャンプするかを知ることはできない。一方、リモコン２５０を所持したサーフボーダーは、波や風の状態に応じていつジャンプするかのタイミングを直接見極めることができるため、サーフボーダーが、リモコン２５０を用いて、カメラマンとは独立に電子カメラ２００に対して、撮像指示を出すことによって、サーフボーダーがジャンプする瞬間を撮像することが可能となる。
なお、サーフボード以外の他のスポーツ（例えば、ウインドサーフィンやスノーボード等）に対しても、適用することができる。

そして、本実施形態に係る電子カメラ２００による画像抽出処理において、ユーザ（カメラマン）は、ステップＳ２０で、連写された画像の中から、サーフボーダーがジャンプした瞬間の画像を抽出するために、図４に示すように、表示部１１に表示される抽出パラメータのうち、ジャンプした瞬間の波又は風切り音等の音の大きさ、カメラマン及びサーフボーダーによる撮像指示が出された数、及びサーフボードの速度に基づいて抽出するものとする。即ち、カメラマンは、操作部材９の十字釦等を用いカーソル等を操作して、抽出パラメータのうち「音」、「レリーズタイミング」及び「速度」を選択して決定釦を押すとともに、各抽出パラメータの閾値の値を入力する。なお、本実施形態における「レリーズタイミング」の閾値として、「少なくともサーフボーダーからの撮像指示有り」と設定するものとする。

そして、図３のステップＳ２３において、ＣＰＵ４は、ユーザが設定した音の大きさが５０デシベル以上となり、レリーズタイミングとして少なくともサーフボーダーから撮像指示を受けた時間で且つサーフボードの速度が２０キロ／時という条件を、全て満たした画像を抽出する。ＣＰＵ４は、抽出された画像を表示部１１に一覧表又はスライドショーにして表示する。そして、ステップＳ２４において、ユーザは、その抽出された画像の中から所望の画像を抽出するか、抽出パラメータ及びその閾値を変更して再度画像の抽出処理を行う。

このように本実施形態では、連写によって大量に撮像された画像の中から、撮像した画像から算出される特徴量とともに、画像自身からは求めることができない電子カメラ２００の周囲の音声等の撮影時の情報に基づいて、所望の画像を高速に且つ確度高く抽出することができる。

また、電子カメラ２００が、レリーズ釦５０、送信部６０及び送信アンテナ７０から構成されるリモコン２５０からの撮像指示の電波を受信する受信部２０及び受信アンテナ３０を備えることにより、電子カメラ２００を直接操作するユーザが認識できない状況であっても、リモコン２５０を所持したユーザからの撮像指示に基づいて撮像することができ、決定的な瞬間の画像を取り逃がすことをなくすことができる。
≪実施形態の補足事項≫
第１の実施形態ないし第３の実施形態において、画像抽出のための抽出パラメータとして、図４に示したように、「音」、「速度」、「レリーズタイミング」及び「明るさ」を用いたが、次のようなパラメータを抽出パラメータとして用いても良い。例えば、撮影時の情報として、「音の周波数」や「レリーズ釦を全押ししている時間」等や、画像の特徴量として、「人物の顔の数」、「人物の顔の位置」又は「加速度」等を用いても良い。

また、電子カメラ１００又は電子カメラ２００において、稲妻等からの電磁波等の強度を捉えて記録する受信回路をさらに備え、そのような電磁波等の強度を撮影時の情報として用いても良い
なお、第１の実施形態ないし第３の実施形態において、抽出パラメータである「音」、「速度」及び「レリーズタイミング」の各々の閾値を、５０又は２０デジベル、１０又は２０キロ／時、２又は「少なくともサーフボーダーからの撮像指示有り」としたが、被写体の撮像対象や撮影状況に応じて、適宜閾値の値や内容を決めるのが好ましい。

なお、第２の実施形態又は第３の実施形態において、ＣＰＵ４は、マイクロホン７による取得された音声データとともに、電子カメラ２００を直接操作するカメラマン、及びリモコン２５０を所持する各アシスタント又はサーフボーダーそれぞれからの撮像指示の開始時刻及び終了時刻をメモリ５に記録し、電子カメラ２００における画像抽出処理において、ＣＰＵ４は、音声データ及び各人の撮像指示の開始時刻及び撮像解除の終了時刻のデータに基づいて、音の大きさ及びレリーズタイミングの数のそれぞれの値が閾値以上（又は閾値以下）になった時に撮像された画像を抽出したが、次のようにしても良い。例えば、図６に示すように、ＣＰＵ４は、カメラマン及び各アシスタント又はサーフボーダーのレリーズ釦が押されている撮像指示が出されている時間間隔（図６（ａ）〜（ｄ））におけるレリーズタイミングの数（図６（ｅ））、音の大きさ（図６（ｆ））及び速度（図６（ｇ））のそれぞれの情報を、あらかじめ設定された各抽出パラメータに対する重み付け処理を行うことによって得られる、例えば、図６（ｈ）のような情報を用いて、所定の閾値以上（又は以下）となる時に撮像された画像を抽出するようにしても良い。

なお、第３の実施形態において、画像抽出のための抽出パラメータとして、「音」、「速度」及び「レリーズタイミング」を用いたが、次のようにしても良い。例えば、サーフボーダーが、ジャンプする瞬間にリモコン２５０のレリーズ釦５０を押すことで、撮像指示を電子カメラ２００に対して出力する代わりに、サーフボーダーが気合いの大声を上げてジャンプすることにより、ユーザは、抽出パラメータを「音」のみ又は「音」と「速度」とを選択して、ＣＰＵ４は、マイクロホン７によって録音された音声データのうち、閾値以上となるサーフボーダーの大声が発せられた時間を抽出して、その抽出された時間に撮像された画像を抽出しても良い。

なお、本発明に係る画像抽出装置における各工程を実現するためのプログラムを備え、画像抽出装置としてコンピュータを機能させることに対しても適用可能である。

本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈されてはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

１ 撮像レンズ、２ 撮像素子、３、８ Ａ／Ｄ変換部、４ ＣＰＵ、５ メモリ、６ バッファメモリ、７ マイクロホン、９ 操作部材、１０ 記憶部、１１ 表示部、１２ 画像処理部、１３ バス、１００ 電子カメラ

特開２００８−１６５４２４号公報

Claims (8)

1. 連続的に撮像された複数の画像を読み込む入力部と、
   前記複数の画像の各々に対応付けられる撮像時の情報を取得する情報取得部と、
   所定の条件を満たす前記撮像時の情報が対応付けられている画像を前記複数の画像から抽出する画像抽出部とを備え、
   前記複数の画像の各々は、撮像指示の信号に基づいて撮像された画像であり、
   前記撮像時の情報は、前記撮像指示の信号の数である
   ことを特徴とする画像抽出装置。
2. 請求項１に記載の画像抽出装置において、
   前記所定の条件を満たす情報を前記複数の画像の各々に対応付けられる撮像時の情報から抽出する情報抽出部を備え、
   前記画像抽出部は、前記情報抽出部の抽出結果に基づいて前記複数の画像から対応する画像を抽出する
   ことを特徴とする画像抽出装置。
3. 請求項１又は請求項２に記載の画像抽出装置において、
   前記複数の画像と前記撮像時の情報とは時系列に基づいて対応付けられることを特徴とする画像抽出装置。
4. 請求項２に記載の画像抽出装置において、
   前記複数の画像の各々の画像における特徴量を抽出する特徴量抽出部をさらに備え、
   前記画像抽出部は、
   前記情報抽出部の抽出結果及び前記特徴量に基づいて前記複数の画像から対応する画像を抽出する
   ことを特徴とする画像抽出装置。
5. 請求項１ないし請求項４のいずれか１項に記載の画像抽出装置において、
   前記撮像時の情報は、前記複数の画像から得られる情報以外の情報であることを特徴とする画像抽出装置。
6. 請求項１ないし請求項４のいずれか１項に記載の画像抽出装置において、
   前記撮像時の情報は、音声情報であることを特徴とする画像抽出装置。
7. 請求項４に記載の画像抽出装置において、
   前記特徴量は、輝度情報であることを特徴とする画像抽出装置。
8. 請求項４に記載の画像抽出装置において、
   前記特徴量は、被写体の速度情報であることを特徴とする画像抽出装置。

Images