JP5359343B2

JP5359343B2 - 電子カメラ

Info

Publication number: JP5359343B2
Application number: JP2009032304A
Authority: JP
Inventors: 幸一阿部
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-02-16
Filing date: 2009-02-16
Publication date: 2013-12-04
Anticipated expiration: 2029-02-16
Also published as: JP2010192957A

Description

本発明は、連続して撮影された複数コマの画像を１枚の画像に合成するマルチ連写機能を有する電子カメラに関する。

被写体の動きを連写した複数枚の画像を１枚の画像に合成するマルチ連写機能を有する電子カメラが知られている。例えば、ゴルフクラブをスイングする動作を所定の撮影間隔で連写して、連写した複数枚の画像を並べて１枚のマルチ連写画像に合成することにより、ゴルフクラブを振り下ろす様子を確認することができる。

ところが、マルチ連写の撮影間隔は予め設定されているので、設定された撮影間隔と被写体が動く速さとの関係が適切でない場合は、最適な合成画像が得られないという問題がある。例えば、ゴルフクラブのスイングの開始点がマルチ連写した合成画像の最初の画像にならない場合や、スイングの終了点がマルチ連写した合成画像の最後の画像にならない場合などがある。また、マルチ連写の撮影間隔に対して被写体の動きが極端に速い場合は、動作の開始点と動作の終了点との間に撮影される画像が少なくなってしまうので、ゴルフクラブが振り下ろされる様子がよくわからない。逆に、マルチ連写の撮影間隔に対して被写体の動きが極端に遅い場合は、被写体の動作開始点と動作終了点との間に撮影される画像が多くなってしまうので、合成される画像が重なって潰れてしまうことがある。

そこで、撮影開始点と撮影終了点をユーザー操作で自由に決定できるようにした電子カメラが考えられている（例えば、特許文献１参照）。

ところが、従来技術の場合は、撮影開始点と撮影終了点をユーザー操作で決定しなければならないという問題がある。また、ユーザー操作が被写体の動きに一致しない場合は、マルチ連写の合成画像が必ずしも最適な合成画像にはならない。特に撮影開始点の決定は難しく、ユーザーが指示する撮影開始点と被写体の動作開始点との間にタイムラグが発生し易いので、被写体が動き始めてから遅れて撮影が開始される可能性がある。逆に、被写体が動き始める前に早く撮影が開始される可能性もある。同様に撮影終了点の決定についても、ユーザーが指示する撮影終了点と被写体の動作終了点との間にタイムラグが発生する可能性がある。

このように、従来技術ではマルチ連写する際にユーザーが指示する撮影開始点および撮影終了点と被写体の動作開始点および動作終了点とが必ずしも一致せず、最適なマルチ連写画像が得られないという問題があった。

本発明の目的は、被写体の動作に合致したマルチ連写画像を得ることができる電子カメラを提供することである。

本発明に係る電子カメラは、被写体を連写する撮像部と、撮影開始を指示する撮影開始指示部と、前記撮像部で連写された被写体の動き検出量を検出する動き検出部と、前記撮影開始指示前に前記撮像部で連写された複数枚の画像と、前記撮影開始指示後に前記撮像部で連写された複数枚の画像とを記憶する記憶部と、前記動き検出部で検出した被写体の動き検出量から被写体の動作開始点および動作終了点を判別する動作範囲判別部と、前記記憶部に一時的に記憶された複数枚の画像の中から、前記動作範囲判別部が判別した被写体の動作開始点と動作終了点との間で撮影された任意の画像を所定枚数選択する画像選択部と、前記画像選択部が選択した所定枚数の画像を１枚のマルチ連写画像に合成する画像合成部とを有することを特徴とする。

また、より好ましくは、前記記憶部は、前記撮影開始指示前に前記撮像部で撮像される常に最新の複数枚の画像を巡回的に記憶するリングバッファを有し、前記撮影開始指示前から前記撮像部で撮像された画像を前記リングバッファに巡回的に記憶する動作を開始する制御部を更に設けたことを特徴とする。

また、より好ましくは、前記画像合成部は、前記動き検出部が検出する動き検出量に応じて、マルチ連写画像を構成する画像枚数を決定することを特徴とする。

また、より好ましくは、前記画像合成部は、前記動き検出部が検出する動き検出量が所定値より大きい場合はマルチ連写画像の枚数を多くし、前記動き検出部が検出する動き検出量が所定値より小さい場合はマルチ連写画像の枚数を少なくするよう制御することを特徴とする。

本発明に係る電子カメラは、被写体の動作に合致したマルチ連写の合成画像を得ることができる。

本実施形態に係る電子カメラ１０１の構成を示すブロック図である。マルチ連写画面の様子を示す説明図である。制御部１０８のマルチ連写処理を示すブロック図である。動き検出の方法を説明する説明図である。動作開始点および動作終了点の判別方法を示す説明図である。撮影開始点が早い場合や遅い場合の例を示す説明図である。マルチ連写撮影処理を示すフローチャートである。撮影される画像フレームからマルチ連写画像を選択する様子を示す説明図である。本実施形態でのマルチ連写撮影画像の例を示す説明図である。動き検出量の大きさを判別する例を示す説明図である。

以下、本発明に係る電子カメラ１０１の実施形態について説明する。図１は、本実施形態に係る電子カメラ１０１の構成を示すブロック図である。図１において、電子カメラ１０１は、撮影光学系１０２と、撮像素子１０３と、Ａ／Ｄ変換部１０４と、システムバス１０５と、バッファメモリ１０６と、ＴＧ（タイミングジェネレータ）１０７と、制御部１０８と、フラッシュメモリ１０９と、操作部１１０と、表示モニタ１１１と、メモリカードＩ／Ｆ１１２とで構成される。

図１において、撮影光学系１０２に入射された被写体光は、撮像素子１０３の受光面に入射される。撮像素子１０３の受光面には、二次元状に光電変換部が配置されており、各光電変換部に入射される光量に応じた電気信号に変換し、Ａ／Ｄ変換部１０４に出力する。Ａ／Ｄ変換部１０４は、撮像素子１０３から出力される電気信号をデジタル信号に変換し、１画面分のデジタル信号を撮影画像データとしてシステムバス１０５を介してバッファメモリ１０６に一時的に記憶する。

バッファメモリ１０６は、揮発性の高速メモリで構成され、撮影画像を一時的に記憶するだけでなく、画像処理時の処理用バッファや表示モニタ１１１に画像を表示する際の表示用バッファとしても利用される。特に、本実施形態に係る電子カメラ１０１の「マルチ連写撮影モード」においては、操作部１１０に含まれるレリーズボタン押下前に連写撮影される所定枚数の画像を記憶するプリキャプチャバッファ領域１０６ａと、レリーズボタン押下時に連写撮影される複数枚の画像を一時的に記憶する連写バッファ領域１０６ｂとを有している。ここで、プリキャプチャバッファ領域１０６ａは、少なくとも１枚以上の所定枚数の画像を記憶できる領域で構成され、連写される画像を時系列に記憶していく。そして、所定枚数の画像が記憶されたら、一番古い撮影画像に一番新しい撮影画像を上書きしながら記憶していくので、常に最新の所定枚数の撮影画像がプリキャプチャバッファ領域に記憶されている。つまり、プリキャプチャバッファ領域１０６ａは、いわゆるリングバッファである。

ＴＧ１０７は、制御部１０８の指令に応じて、撮像素子１０３やＡ／Ｄ変換部１０４に動作タイミングを与える。例えば、制御部１０８は、電子カメラ１０１の撮影モードに応じた解像度の画像信号を読み出すようＴＧ１０７に指令を与える。そして、ＴＧ１０７は、制御部１０８から指令された解像度で撮像素子１０３から画像信号を読み出すためのタイミングを撮像素子１０３に出力する。同時に、ＴＧ１０７は、撮像素子１０３から読み出される画像信号を１画素毎にＡ／Ｄ変換するためのタイミングをＡ／Ｄ変換部１０４に出力する。Ａ／Ｄ変換部１０４でＡ／Ｄ変換された１画面分の画像データは、システムバス１０５を介してバッファメモリ１０６に一時的に記憶される。

制御部１０８は、バッファメモリ１０６に一時的に記憶された画像データに対して、例えば、ホワイトバランス処理，色補正処理，ガンマ変換処理などの画像処理を行う。さらに、制御部１０８は、例えばＪＰＥＧ規格に準拠した画像圧縮処理を行い、圧縮処理後のＪＰＥＧ画像データをメモリカードＩ／Ｆ１１２に接続されているメモリカード１１２ａに保存する。特に、本実施形態では、制御部１０８は「マルチ連写撮影モード」におけるマルチ連写撮影処理も行う。尚、マルチ連写撮影処理については後で詳しく説明する。

フラッシュメモリ１０９は、不揮発性のメモリで構成され、電子カメラ１０１の撮影モードの設定内容、或いは露出情報やフォーカス情報などのパラメータや設定値などを記憶する。特に、本実施形態では、「マルチ連写撮影モード」のパラメータ（マルチ連写画像を構成する画像枚数や動き検出量の閾値など）が記憶される。そして、これらのパラメータは、デフォルト値が電子カメラ１０１の製造時に記憶されているが、電子カメラ１０１の設定メニューでユーザーが自由に変更することができる。

操作部１１０は、電源ボタン、レリーズボタン、カーソルキーなどの操作ボタンで構成される。ユーザーは、これらの操作ボタンを操作して電子カメラ１０１を操作する。これらの操作ボタンの操作情報は制御部１０８に出力され、制御部１０８は操作部１１０から入力する操作情報に応じて電子カメラ１０１全体の動作を制御する。

表示モニタ１１１は、制御部１０８の指令に応じて、バッファメモリ１０６に一時的に記憶されている撮影画像やメモリカード１１２ａから一旦バッファメモリ１０６に読み出された撮影済みの画像などを表示する。また、制御部１０８が出力するメニュー画面なども表示モニタ１１１に表示される。

メモリカードＩ／Ｆ１１２は、メモリカード１１２ａを接続するためのインターフェースで、メモリカード１１２ａに保存されている画像データやその他のデータをシステムバス１０５を介して制御部１０８に読み出したり、逆に制御部１０８がシステムバス１０５を介して出力する画像データやその他のデータをメモリカード１１２ａに書き込む。

次に、本実施形態に係る電子カメラ１０１の「マルチ連写撮影モード」について説明する。「マルチ連写撮影モード」は、時間的に連続して撮影（連写）された複数枚の画像をモザイク状に並べて表示する撮影モードである。例えば、図２（ａ）に示すように、時間的に連続して複数枚の画像が連写される場合、連写された画像からマルチ連写表示する枚数の画像を選択して１枚の画像に並べて合成し、表示モニタ１１１に表示する。例えば、１枚目から４枚目までの４枚の連写画像を表示モニタ１１１に表示する場合は、図２（ｂ）に示すように表示される。或いは、１枚目から１６枚目までの１６枚の連写画像を表示モニタ１１１に表示する場合は、図２（ｃ）に示すように表示される。同様に、１枚目から２５枚目までの２５枚の連写画像を表示モニタ１１１に表示する場合は、図２（ｄ）に示すように表示される。尚、マルチ連写画像に合成される画像枚数は図２の場合に限らず、２のべき乗の数であっても構わないし、表示モニタ１１１の上半分に図２（ｂ）と同じ大きさの画像を２枚表示し、下半分に図２（ｃ）と同じ大きさの画像を８枚表示するようにしても構わない。また、表示モニタ１１１に表示する場合に、図２（ａ）の連写画像から連続して複数枚の画像を選択する必要はなく、１枚置きや２枚置き或いはランダムに選択しても構わない。例えば、図２（ａ）の連写画像から２枚置きに画像を選択して図２（ｂ）の４枚のマルチ連写画像を合成する場合は、図２（ａ）の連写画像から１枚目の画像、４枚目の画像、８枚目の画像、１２枚目の画像をそれぞれ選択して、図２（ｅ）に示すようなマルチ連写画像を合成する。

次に、図１の制御部１０８について詳しく説明する。制御部１０８は、内部に予め記憶されているプログラムに従って動作するＣＰＵで構成され、電子カメラ１０１の各部を制御する。図３は、制御部１０８の「マルチ連写撮影モード」に関係する処理ブロックを示すブロック図である。図３において、「マルチ連写撮影モード」に関係する処理ブロックは、動き検出部１２１と、動作範囲判別部１２２と、画像選択部１２３と、画像合成部１２４とで構成される。以下、各処理ブロックについて順に説明する。

動き検出部１２１は、連写撮影されてバッファメモリ１０６に一時的に記憶された画像を読み出して動き検出量を求める。動き検出量は、時系列に連続して撮影された時間的に前後する２枚の画像の差分を求め、動きのある部分（動体部分）を抽出する。そして、例えば、動体部分が移動した距離を動き検出量とする。この時、動体部分が広範囲で、その中の位置によって移動した距離が異なる場合は、例えば重心位置の移動距離を動き検出量としても構わないし、複数点の平均移動距離を動き検出量としても構わない。或いは、ＭＰＥＧ規格による動画データの場合は、動画圧縮処理に用いられる動きベクトルを利用して動きベクトルの大きさを動き検出量としても構わない。または、上記のように動体部分を抽出せずに、単純に時間的に前後する２枚の画像の差分値を求め、全画素の差分値の総和を動き検出量としても構わない。

ここで、動き検出量を求める一例として、ゴルフクラブをスイングする様子を連写する場合について図４を用いて説明する。図４において、画像１，画像２および画像３は、ゴルフクラブを構えている画像で、静止画像のようにほとんど変化しないので、画像１と画像２の差分および画像２と画像３の差分からそれぞれ求められる動き検出量はほぼ０となり変化しない。ところが、図４の画像４はゴルフクラブを少し振り上げた状態なので、画像３と画像４との差分から求められる動き検出量は、画像２と画像３との差分から求められる動き検出量≒０よりも大きく、例えば動き検出量≒１０となる。このようにして、動き検出部１２１が求めた動き検出量の変化から被写体に動きがあったか否かを判別できる。

動作範囲判別部１２２は、動き検出部１２１で検出した被写体の動き検出量から被写体の動作開始点および動作終了点を判別する。ここで、動作開始点および動作終了点の判別方法について図５（ａ）を用いて説明する。図５（ａ）は、時間的に連続して撮影される連写画像の中の画像１から画像６４までを抜き出したもので、前後する２枚の画像間の動き検出量の変化を示している。図５（ａ）の動き検出量の変化を示すグラフにおいて、画像１と画像２の間の動き検出量はｍ１、画像２と画像３の間の動き検出量はｍ２、同様に画像６１と画像６２の間の動き検出量はｍ６１のように表す。そして、動き検出量ｍ１からｍ６４において、動作変化点を検出する。例えば、図５（ａ）において、画像２の動き検出量ｍ２は動き検出量閾値Ｍｔｈより小さいが、画像３の動き検出量ｍ３は動き検出量閾値Ｍｔｈより大きいので、画像２と画像３の間が動作変化点（動作開始点Ｔｓ）となる。この結果、例えば、マルチ連写画像の最初の画像（開始画像）は、動き検出量が動き検出量閾値Ｍｔｈより小さい方から大きい方に変化する動作開始点Ｔｓの直前の画像２となる。

同様に、画像６１の動き検出量ｍ６１は動き検出量閾値Ｍｔｈより大きいが、画像６２の動き検出量ｍ６２は動き検出量閾値Ｍｔｈより小さいので、画像６１と画像６２の間が動作変化点（動作終了点Ｔｅ）となる。この結果、例えば、マルチ連写画像の最後の画像（終了画像）は、動き検出量が動き検出量閾値Ｍｔｈより大きい方から小さい方に変化する動作終了点Ｔｅの直後の画像６２となる。

ここで、動き検出量閾値Ｍｔｈは、電子カメラ１０１の製造時に予めフラッシュメモリ１０９に記憶された固定値としたが、撮影前に設定メニューでユーザーが動き検出量閾値Ｍｔｈを設定できるようにしても構わない。また、このような固定値ではなく、一連の連写画像から動き検出量を求めた後で、求めた動き検出量の中の最大の動き検出量と最小の動き検出量とを用いて動き検出量閾値Ｍｔｈを求めるようにしても構わない。例えば、動き検出量の分布を求めた場合、動きがない時と動きがある時とに２分された分布が得られると思われるので、２つの分布の谷間に動き検出量閾値Ｍｔｈを設けるようにしても構わない。或いは、単純に最大の動き検出量と最小の動き検出量との中間に動き検出量閾値Ｍｔｈを設けても構わない。

このようにして、動作範囲判別部１２２は、マルチ連写画像の動作開始点と動作終了点とを判別することができる。

画像選択部１２３は、動作範囲判別部１２２が判別した被写体の動作開始点と動作終了点との間に撮影された複数枚の画像の中から任意の画像を所定枚数だけ選択する。ここで、所定枚数は、図２で説明したように１枚のマルチ連写画像に合成する枚数に相当し、予めフラッシュメモリ１０９に設定されている。例えば、マルチ連写画像に合成する画像の枚数が１６枚だとすると、図５（ａ）で動作範囲判別部１２２が判別したマルチ連写画像の動作開始点Ｔｓと動作終了点Ｔｅとからマルチ連写画像に合成する画像の開始画像は画像２で終了画像は画像６２となるので、画像選択部１２３は画像２から画像６２の６１枚の画像から１６枚の画像を選択する。この場合は、画像２から４枚置きに画像６，画像１０，画像１４・・・画像５８，画像６２の１６枚の画像を選択すれば、図５（ｂ）に示すようなマルチ連写画像が得られる。尚、４枚置きなど整数倍にならない場合は、部分的に２枚置きや３枚置き或いは５枚置きなどになっても構わない。この場合は、画像２から画像６２の間の画像において、相対的に動き検出量が小さい画像が連続する場合は間引く画像枚数を多くし、逆に相対的に動き検出量が大きい画像が連続する場合が間引く画像枚数を少なくするなどの処理を行っても構わない。この結果、動きの速い部分の枚数が多くなり、動きの遅い部分の枚数が少なくなるので、画像間の動きが平均化されてわかり易いマルチ連写画像を得ることができる。

画像合成部１２４は、画像選択部１２３が選択した所定枚数の画像を１枚のマルチ連写画像に合成する。例えば図５の場合は、画像２から画像６４までの画像の中から４枚置きに選択した１６枚の画像を用いて図５（ｂ）に示すようなマルチ連写画像を合成する。画像合成部１２４で合成したマルチ連写画像は、制御部１０８から表示モニタ１１１に表示されたり、メモリカードＩ／Ｆ１１２を介してメモリカード１１２ａに保存される。

ここで、図５（ａ）の説明は、動作開始点Ｔｓおよび動作終了点Ｔｅを含む連写画像がバッファメモリ１０６に取り込まれているという前提で行ったが、実際にはいつ動作が開始されるのかわからないので、被写体を見てレリーズボタンを押下した時点では既に動作開始点Ｔｓを過ぎていることになり、図６（ａ）に示すように撮影が遅れてしまうという問題がある。逆にレリーズボタンの押下が早すぎる場合は、動作開始までの無駄な画像が膨大に撮影されることになってメモリ容量が不足したり、或いは１回のレリーズボタンで撮影する連写枚数が決められている場合は、図６（ｂ）に示すように動作終了まで撮影されないという問題が生じる。

そこで、本実施形態に係る電子カメラ１０１は、バッファメモリ１０６にプリキャプチャバッファ領域１０６ａと連写バッファ領域１０６ｂとを設け、レリーズボタン押下前の連写画像はプリキャプチャバッファ領域１０６ａに最新の所定フレーム或いは所定時間の連写画像を常に更新しながら記憶し、レリーズボタン押下後の連写画像は連写バッファ領域１０６ｂに記憶するようになっている。そして、画像選択部１２３は、プリキャプチャバッファ領域１０６ａと連写バッファ領域１０６ｂとの両方に記憶された画像からマルチ連写画像に使用する画像を選択する。これにより、本実施形態に係る電子カメラ１０１は、レリーズボタン押下前の画像を含む一連の連写画像の中からマルチ連写画像に合成する画像を選択するので、被写体の動作開始点を逃すことなく撮影することができる。

次に、「マルチ連写撮影モード」における制御部１０８（動き検出部１２１，動作範囲判別部１２２，画像選択部１２３および画像合成部１２４）の動作について、図７のフローチャートと図８の説明図とを用いて詳しく説明する。尚、図８は、時間的に連続して撮影される画像フレームと、バッファメモリ１０６のプリキャプチャバッファ領域１０６ａに取り込まれる画像フレームと、連写バッファ領域１０６ｂに取り込まれる画像フレームと、最終的に画像合成されるマルチ連写画像（マルチ連写画像の枚数は１６枚）と、動き検出量の変化との関係を描いた図である。以下、図７のフローチャートに従って順に説明する。

（ステップＳ１００）ユーザーは、操作部１１０の撮影モード選択ボタンで「マルチ連写撮影モード」を選択する。この時点で、制御部１０８は、連写撮影を開始する。図８においては、画像フレームｐ１の撮影を開始する。

（ステップＳ１０１）制御部１０８は、連写撮影する画像をバッファメモリ１０６のプリキャプチャバッファ領域１０６ａに一時的に記憶する。そして、所定枚数の画像が記憶されたら（或いはプリキャプチャバッファ領域１０６ａの記憶領域が一杯になったら）、一番古い撮影画像に一番新しい撮影画像を上書きして記憶し、常に最新の所定枚数（例えば８枚など）または所定時間（例えば２秒など）の連写画像をプリキャプチャバッファ領域１０６ａに記憶する。尚、図８では、プリキャプチャバッファ領域１０６ａを領域ａと領域ｂと領域ｃと領域ｄとの４つの記憶領域で構成される場合の例を示しており、領域ａ，領域ｂ，領域ｃ，領域ｄの順に連写される画像フレームが記憶され、領域ｄの次は再び領域ａから順に巡回的に連写される画像フレームを記憶する。例えば、最初に撮影された画像フレームｐ１はプリキャプチャバッファ領域１０６ａの領域ａに記憶される。画像フレームｐ１の次に撮影される画像フレームｐ２はプリキャプチャバッファ領域１０６ａの領域ｂに記憶される。同様に、画像フレームｐ３は領域ｃに、画像フレームｐ４は領域ｄにそれぞれ記憶される。そして、画像フレームｐ４の次に撮影される画像フレームｐ５はプリキャプチャバッファ領域１０６ａの領域ａに記憶されている画像フレームｐ１を上書きして同じ領域ａに記憶される。同様に、画像フレームｐ６はプリキャプチャバッファ領域１０６ａの領域ｂに記憶されている画像フレームｐ２を上書きして同じ領域ｂに記憶され、画像フレームｐ７は画像フレームｐ３を上書きして同じ領域ｃに記憶される。このようにして、レリーズボタンが全押しされる時点Ｔｒまでに撮影される画像フレームｐ８，ｐ９およびｐ１０は、領域ｄ，領域ａおよび領域ｂにそれぞれ記憶されている前の画像フレームを上書きしながら記憶し、プリキャプチャバッファ領域１０６ａには常に最新の４枚の画像フレームが記憶される。また、最新の画像フレームがどの領域にあるかを示すポインタ情報も更新しながら記憶するので、制御部１０８は最新の画像フレームがプリキャプチャバッファ領域１０６ａのどの領域にどの順番で記憶されているのかを知ることができる。例えば、図８のレリーズボタン全押し時点Ｔｒでは、ポインタ情報は領域ｂを示しているので、制御部１０８は、プリキャプチャバッファ領域１０６ａに記憶されている画像フレームの中で最新の画像フレームは領域ｂに記憶された画像フレームであることがわかる。そして、領域ａ，領域ｂ，領域ｃ，領域ｄ，領域ａ，領域ｂ，領域ｃ・・・の順に巡回的に記憶されるので、領域ｂが一番新しい画像フレームである場合は、領域ｂ，領域ａ，領域ｄ，領域ｃの順に古い画像フレームであることがわかる。

（ステップＳ１０２）制御部１０８は、レリーズボタンが押下されたか否かを判別する。レリーズボタンが押下された場合はステップＳ１０３に進み、レリーズボタンが押下されていない場合はステップＳ１０１に戻ってプリキャプチャバッファ領域１０６ａへの記憶を続行する。

（ステップＳ１０３）制御部１０８は、連写撮影する画像をバッファメモリ１０６の連写バッファ領域１０６ｂに一時的に記憶する。そして、予め設定された所定枚数（例えば３００枚など）または所定時間（例えば５秒など）の連写画像を連写バッファ領域１０６ｂに取り込んだら連写撮影を終了する。図８においては、レリーズボタン全押し時点Ｔｒ以降に撮影される画像フレームｐ１１は、バッファメモリ１０６の連写バッファ領域１０６ｂの領域ｒ１に記憶される。連写バッファ領域１０６ｂは、撮影される画像フレームが終了するまで記憶するので、レリーズボタンが押下されてから連写撮影される画像枚数が例えば３６枚に設定されている場合は、撮影される画像フレームｐ１１から画像フレームｐ４６までの全ての画像フレームを連写バッファ領域１０６ｂの領域ｒ１から領域ｒ３６までの記憶領域にそれぞれ記憶する。

（ステップＳ１０４）制御部１０８の動作範囲判別部１２２は、先に説明したように、マルチ連写画像の動作開始点と動作終了点とを判別する。尚、この時、動作範囲判別部１２２は、プリキャプチャバッファ領域１０６ａと連写バッファ領域１０６ｂとの両方に記憶された画像からマルチ連写画像の動作開始点と動作終了点とを判別する。つまり、図８の場合は、プリキャプチャバッファ領域１０６ａの古い画像フレームから順に領域ｃ，領域ｄ，領域ａおよび領域ｂの４枚と、連写バッファ領域１０６ｂの領域ｒ１からｒ３６までの領域に記憶されている３６枚とを合わせて合計４０枚の画像フレームから動作開始点と動作終了点とを判別する。例えば図８においては、動き検出量閾値Ｍｔｈ１より小さい動き検出量から動き検出量閾値Ｍｔｈ１より大きい動き検出量に変化する点を動作開始点Ｔｓ１として検出し、動き検出量閾値Ｍｔｈ１より大きい動き検出量から動き検出量閾値Ｍｔｈ１より小さい動き検出量に変化する点を動作終了点Ｔｅ１として検出する。

（ステップＳ１０５）制御部１０８の画像選択部１２３は、先に説明したように、動作範囲判別部１２２が判別した被写体の動作開始点と動作終了点との間で撮影された複数枚の画像の中から任意の画像を画像間隔を調整しながら所定枚数だけ選択する。図８の場合は、動作開始点Ｔｓ１の直前の画像フレームｐ８をマルチ連写の開始画像とし、動作終了点Ｔｅ１の直後の画像フレームｐ２３をマルチ連写の終了画像としてそれぞれ選択する。そして、図５で説明したように、動作開始点と動作終了点との間で撮影された複数枚の画像の中から任意の画像を画像間隔を調整しながらマルチ連写画像に必要な枚数の画像を選択するが、図８の場合は画像フレームｐ８から画像フレームｐ２３までの枚数がマルチ連写画像の枚数（１６枚）と丁度同じなので、画像選択部１２３は画像フレームｐ８から画像フレームｐ２３まで１６枚の画像フレームをそのままマルチ連写画像を合成する画像として選択する。

（ステップＳ１０６）制御部１０８の画像合成部１２４は、先に説明したように、画像選択部１２３が選択した所定枚数の画像を１枚のマルチ連写画像に合成する。図８においては、画像フレームｐ８をマルチ連写画像の画像１とする。同様に、画像フレームｐ９はマルチ連写画像の画像２に、画像フレームｐ１０は画像３に、画像フレームｐ１１は画像４に、画像フレームｐ２２は画像１５に、画像フレームｐ２３は画像１６にそれぞれ対応させて図２（ｃ）の構成のマルチ連写画像を合成する。この結果、図９に示すような被写体の動作に合致したマルチ連写画像を得ることができる。

（ステップＳ１０７）制御部１０８は、画像合成部１２４で合成したマルチ連写画像は、表示モニタ１１１に表示したり、メモリカードＩ／Ｆ１１２を介してメモリカード１１２ａに保存する。

（ステップＳ１０８）本処理ステップは必ずしも実行する必要はないが、必要に応じて、バッファメモリ１０６のプリキャプチャバッファ領域１０６ａと連写バッファ領域１０６ｂとに記憶されている連写画像をメモリカードＩ／Ｆ１１２を介してメモリカード１１２ａに保存するようにしても構わない。

尚、メモリカード１１２ａに保存された連写画像はパソコンなどで読み取ることができるので、ステップＳ１０４からステップＳ１０６（またはステップＳ１０７）までの処理を行うプログラムをパソコンにインストールして実行することにより、本実施形態に係る電子カメラ１０１と同様にパソコンでマルチ連写画像を作成することができる。特に、パソコンでマルチ連写画像を作成する場合は、マルチ連写画像の枚数や動き検出部１２１の動き検出量を求める方法或いは動作範囲判別部１２２の動き検出量閾値Ｍｔｈなどを自由に変えることができるので、様々なマルチ連写画像を作成することができる。

（ステップＳ１０９）一連の「マルチ連写撮影モード」を終了する。

このように、本実施形態に係る電子カメラ１０１は、「マルチ連写撮影モード」が選択されると連写撮影を開始し、レリーズボタン押下前に常に最新の所定枚数の画像（または所定時間に撮影される画像）をプリキャプチャバッファ領域１０６ａに記憶するので、被写体が動き始めてから遅れて連写撮影が開始されることがなく、確実にマルチ連写の開始画像を撮影することができ、被写体の動作に合致したマルチ連写画像を得ることができる。

尚、上記の実施形態では、マルチ連写画像に合成する画像枚数を予め設定しておくようにしたが、動き検出部１２１が検出する動き検出量に応じて、画像合成部１２４でマルチ連写画像に合成する画像枚数を決定するようにしても構わない。例えば、図１０に示すように、動き検出量の変化を検出するための閾値を大きい閾値（大閾値Ｌｓｈ）と小さい閾値（小閾値Ｓｓｈ）との２つを設けて、動き検出量が大閾値Ｌｓｈより大きく変化した場合は合成する画像の枚数を多くし、動き検出量が大閾値Ｌｓｈより小さいが小閾値Ｓｓｈより大きく変化した場合は合成する画像の枚数を少なくするよう制御しても構わない。

また、本実施形態では説明が分かり易いように、動き検出部１２１と、動作範囲判別部１２２と、画像選択部１２３と、画像合成部１２４とに各ブロックを分けて構成したが、例えば動作範囲判別部１２２と画像選択部１２３とをまとめて画像選択部としても構わない。

さらに、動き検出部１２１と、動作範囲判別部１２２と、画像選択部１２３と、画像合成部１２４とを制御部１０８の処理の一部として構成したが、制御部１０８とは別に専用のハードウェア回路などで構成しても構わない。

１０１・・・電子カメラ１０２・・・撮影光学系
１０３・・・撮像素子１０４・・・Ａ／Ｄ変換部
１０５・・・システムバス１０６・・・バッファメモリ
１０７・・・ＴＧ（タイミングジェネレータ）
１０８・・・制御部１０９・・・フラッシュメモリ
１１０・・・操作部１１１・・・表示モニタ
１１２・・・メモリカードＩ／Ｆ１１２ａ・・・メモリカード
１２１・・・動き検出部１２２・・・動作範囲判別部
１２３・・・画像選択部１２４・・・画像合成部

特開２００４−２４８０５８号公報

Claims

被写体を連写する撮像部と、
撮影開始を指示する撮影開始指示部と、
前記撮像部で連写された被写体の動き検出量を検出する動き検出部と、
前記撮影開始指示前に前記撮像部で連写された複数枚の画像と、前記撮影開始指示後に前記撮像部で連写された複数枚の画像とを記憶する記憶部と、
前記動き検出部で検出した被写体の動き検出量から被写体の動作開始点および動作終了点を判別する動作範囲判別部と、
前記記憶部に一時的に記憶された複数枚の画像の中から、前記動作範囲判別部が判別した被写体の動作開始点と動作終了点との間で撮影された任意の画像を所定枚数選択する画像選択部と、
前記画像選択部が選択した所定枚数の画像を１枚のマルチ連写画像に合成する画像合成部と
を有することを特徴とする電子カメラ。
請求項１に記載の電子カメラにおいて、
前記記憶部は、前記撮影開始指示前に前記撮像部で撮像される常に最新の複数枚の画像を巡回的に記憶するリングバッファを有し、
前記撮影開始指示前から前記撮像部で撮像された画像を前記リングバッファに巡回的に記憶する動作を開始する制御部を更に設けた
ことを特徴とする電子カメラ。
請求項１または２に記載の電子カメラにおいて、
前記画像合成部は、前記動き検出部が検出する動き検出量に応じて、マルチ連写画像を構成する画像枚数を決定することを特徴とする電子カメラ。
請求項３に記載の電子カメラにおいて、
前記画像合成部は、前記動き検出部が検出する動き検出量が所定値より大きい場合はマルチ連写画像の枚数を多くし、前記動き検出部が検出する動き検出量が所定値より小さい場合はマルチ連写画像の枚数を少なくするよう制御することを特徴とする電子カメラ。