JP4214781B2 - 撮像装置および方法、記録媒体、並びにプログラム - Google Patents
撮像装置および方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP4214781B2 JP4214781B2 JP2003009127A JP2003009127A JP4214781B2 JP 4214781 B2 JP4214781 B2 JP 4214781B2 JP 2003009127 A JP2003009127 A JP 2003009127A JP 2003009127 A JP2003009127 A JP 2003009127A JP 4214781 B2 JP4214781 B2 JP 4214781B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- circuit
- images
- imaging
- multiplication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置および方法、記録媒体、並びにプログラムに関し、特に、高速撮像で得られた画像をS／N(Signal to Noise Ratio)の高い高S／N画像として出力すること等ができるようにした撮像装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
例えば、従来のデジタルビデオカメラでは、フィールド周期で画像が撮像され、そのフィールド周期の画像に所定の信号処理が施される。そして、その信号処理後の画像が、フィールド周期で出力される。
【０００３】
また、従来のビデオカメラとしては、フィールド周期以上のレートで高速に撮像を行い、その高速撮像によって得られた画像を、順次、フィールド周期で出力するものがある。この場合、フィールド周期より高速で撮像された画像が、フィールド周期で再生されることになるため、その再生画像は、スロー再生されたものとなる。
【０００４】
さらに、高速撮像を行うビデオカメラとしては、例えば、CCD(Charge Coupled Device)固体撮像素子の撮像出力により形成されるｎ倍の時間軸圧縮画像信号に対し、通常の同期信号を付加することによって、通常のコンポジット信号と同一のビデオ信号を出力するものがある（例えば、特許文献１参照）。なお、特許文献１に記載のビデオカメラでは、高速撮像された複数枚の画像を１画面の異なる位置に配置した形の画像を構成するようになっている。
【０００５】
【特許文献１】
特開昭６４−５１８７６号公報
【０００６】
【発明が解決しようとする課題】
ところで近年、デジタルカメラの小型化と高精細化に伴い、デジタルカメラに搭載されるCCDやCMOS（Complementary Mental Oxide Semiconductor）等の撮像素子において、光電変換を行う受光部（セル）のセルサイズの小型化が進んでいる。
【０００７】
しかしながら、セルサイズの小型化は、受光部の受光感度を低下させる。そのような撮像素子を用いて、フィールド周期で画像を撮像し、フィールド周期のまま信号処理を行って出力すると、出力された画像は、被写体やノイズの種類により、Ｓ／Ｎが悪い（低い）画像となってしまうことがある。
【０００８】
Ｓ／Ｎ低下の原因であるノイズを信号処理によって抑制しようとしても、小型化による回路規模的な制約や、リダクションが難しい種類のノイズが存在し、信号処理によってＳ／Ｎを改善するには限界がある。
【０００９】
一方、ビデオカメラによって、画像を撮像し、その画像から、動いている被写体の速度を信号処理によって抽出する場合、その速度抽出を、単にフィールド周期で撮像された画像を用いて行うときには、高速で移動する被写体については、精度良く速度抽出を行うのが困難である。
【００１０】
即ち、図１Ａに示されるように、被写体であるプレーヤが、ゴルフのスイングを行い、その画像をビデオカメラで撮像した場合を考える。なお、図１Ａにおける画像１−１乃至画像１−９は、プレーヤの動きを説明するものであり、ビデオカメラにより撮像された、その撮像結果としての画像を示すものではない。すなわち、画像１−１乃至１−９は、スイング中のプレーヤの瞬時の姿勢を、時系列に表している。
【００１１】
図１Ｂは、図１Ａに示した画像１−１乃至１−９の一連の姿勢として表されるプレーヤの動作としてのスイングを、ビデオカメラによって、フィールド周期で撮像した場合に得られる画像２−１乃至画像２−３を示している。
【００１２】
プレーヤは、フィールド周期よりも速い速度で動いているため、ビデオカメラにおいてフィールド周期で撮像される画像２−１乃至画像２−３は、動きのある部分がにじむように繋がり、ボケた状態のものとなる。
【００１３】
この画像２−１乃至画像２−３を利用して、被写体の動作速度の抽出を行うと、時刻と被写体の位置関係を正確に認識することが困難なため、動作速度を精度良く判別することが困難であった。
【００１４】
図２は、動作速度がさらに速い被写体をビデオカメラによりフィールド周期で撮像して得られる画像を示している。即ち、図２は、図１の画像１−５に示した姿勢をプレーヤがとったタイミング付近で、ゴルフクラブのヘッド部分をフィールド周期で撮像して得られる画像を示している。
【００１５】
図２で示される画像１１には、１つのクラブヘッド１２が撮影されている。すなわち、クラブヘッド１２Ａとクラブヘッド１２Ｂは、同一のクラブヘッド１２（クラブヘッド１２Ａとクラブヘッド１２Ｂを特別区別する必要がない場合は、クラブヘッド１２と称する）である。クラブヘッド１２は、クラブヘッド１２Ａからクラブヘッド１２Ｂの方向に移動している。画像１１では、説明のためにクラブヘッド１２Ａとクラブヘッド１２Ｂの位置で、クラブヘッド１２の像を強調して描いているが、クラブヘッド１２の移動速度は、フィールド周期よりもはるかに速いため、実際には、画像１１のクラブヘッド１２の像は、一様に画像１１の左端から右端までつながったものとなる。従って、画像１１に表示されたクラブヘッド１２の像からは、クラブヘッド１２の変位の始点と終点を区別することが極めて困難である。
【００１６】
従って、フィールド周期よりさらに速い動作速度の被写体をフィールド周期で撮像した場合には、その撮像により得られる画像から、被写体の速度を抽出することは、極めて困難である。
【００１７】
本発明は、このような状況に鑑みてなされたものであり、例えばＳ／Ｎの高い高Ｓ／Ｎ画像や高精度な被写体の動作速度抽出を可能とする画像などの、ユーザが希望する画像を取得することができるようにするものである。
【００１８】
【課題を解決するための手段】
本発明の撮像装置は、垂直同期信号の周期より短い周期のタイミング信号を生成するタイミング信号生成手段と、タイミング信号生成手段が生成するタイミング信号に従い、被写体の画像を撮像する撮像手段と、撮像手段が出力する複数枚の画像を合成し、１枚の画像を出力する合成手段とを備え、合成手段は、撮像手段が出力する画像にフィルタ係数を乗算する乗算手段と、乗算手段の乗算結果を記憶する記憶手段と、乗算手段の出力と、記憶手段に記憶された乗算結果とを加算する加算手段と、フィルタ係数の数であるタップ数を変更するタップ数変更手段とを有することを特徴とする。
【００２０】
フィルタ係数を変更するフィルタ係数変更手段をさらに設けることができる。
【００２２】
撮像手段が、奇数フィールドと偶数フィールドの画像を交互に出力する場合において、奇数フィールドと偶数フィールドの画像とを加算し、全ライン分の画素情報を有するプログレッシブ画像を生成するプログレッシブ画像生成手段をさらに備え、合成手段は、複数枚のプログレッシブ画像を合成することができる。
【００２３】
撮像手段が出力する画像の信号成分を変換する変換手段をさらに備え、合成手段は、変換手段の前段または後段に配置されるようにすることができる。
【００２４】
合成手段は、垂直同期信号の周期で合成した画像を出力するようにすることができる。
【００２５】
本発明の撮像方法は、垂直同期信号の周期より短い周期のタイミング信号を生成するタイミング信号生成ステップと、タイミング信号生成ステップにおいて生成されるタイミング信号に従い、被写体の画像を撮像する撮像ステップと、撮像ステップの処理で得られる複数枚の画像を合成し、１枚の画像を出力する合成ステップとを含み、合成ステップの処理は、撮像ステップの処理により撮像された画像にフィルタ係数を乗算する乗算ステップと、乗算ステップの処理による結果である乗算結果を所定の記憶手段に記憶させる記憶ステップと、乗算ステップの出力と、記憶手段に記憶された乗算結果とを加算する加算ステップと、フィルタ係数の数であるタップ数を変更するタップ数変更ステップとを有することを特徴とする。
【００２６】
本発明の記録媒体のプログラムは、垂直同期信号の周期より短い周期のタイミング信号を生成するタイミング信号生成ステップと、タイミング信号生成ステップにおいて生成されるタイミング信号に従い、被写体の画像を撮像する撮像ステップと、撮像ステップの処理で得られる複数枚の画像を合成し、１枚の画像を出力する合成ステップとを含み、合成ステップの処理は、撮像ステップの処理により撮像された画像にフィルタ係数を乗算する乗算ステップと、乗算ステップの処理による結果である乗算結果を所定の記憶手段に記憶させる記憶ステップと、乗算ステップの出力と、記憶手段に記憶された乗算結果とを加算する加算ステップと、フィルタ係数の数であるタップ数を変更するタップ数変更ステップとを有することを特徴とする。
【００２７】
本発明のプログラムは、垂直同期信号の周期より短い周期のタイミング信号を生成するタイミング信号生成ステップと、タイミング信号生成ステップにおいて生成されるタイミング信号に従い、被写体の画像を撮像する撮像ステップと、撮像ステップの処理で得られる複数枚の画像を合成し、１枚の画像を出力する合成ステップとを含み、合成ステップの処理は、撮像ステップの処理により撮像された画像にフィルタ係数を乗算する乗算ステップと、乗算ステップの処理による結果である乗算結果を所定の記憶手段に記憶させる記憶ステップと、乗算ステップの出力と、記憶手段に記憶された乗算結果とを加算する加算ステップと、フィルタ係数の数であるタップ数を変更するタップ数変更ステップとを有する処理をコンピュータに実行させることを特徴とする。
【００２８】
本発明においては、垂直同期信号の周期より短い周期のタイミング信号が生成され、生成されたタイミング信号に従い、被写体の画像が撮像される。そして、撮像された複数枚の画像が合成されて、１枚の画像が出力される。
【００２９】
撮像装置は、独立した装置であっても良いし、１つの装置のデジタルカメラ信号処理を行うブロックであっても良い。
【００３０】
【発明の実施の形態】
図３は、本発明を適用したデジタルビデオカメラ２１の第１の実施の形態の構成例を示している。
【００３１】
タイミングジェネレータ３１には、所定の周波数の垂直同期信号が入力される。ここで、タイミングジェネレータ３１に入力される垂直同期信号は、例えば、NTSC(National Television System Committee)方式におけるフィールド周期の垂直同期信号であるとする。従って、その周波数（垂直同期周波数）は、６０Hzである。タイミングジェネレータ３１は、入力された垂直同期信号を、１／ｎに分周し、これにより、NTSC方式の垂直同期信号よりも周期の短い垂直同期信号である短周期垂直同期信号を生成して、撮像素子３２に出力する。さらに、タイミングジェネレータ３１は、短周期垂直同期信号に同期した露光タイミング信号を生成し、撮像素子３２に供給する。なお、タイミングジェネレータ３１に入力される垂直同期信号は、NTSC方式の垂直同期信号である必要はなく、例えば、ＰＡＬ(Phase Alternation by Line)方式やその他の方式の垂直同期信号であってもよい。ここで、ＰＡＬ方式の垂直同期信号の周波数は、５０Hzである。また、タイミングジェネレータ３１で行われる垂直同期信号の分周の分周比を表すｎは、１より大の値であり、ここでは説明を簡単にするため、ｎは、２以上の整数であるとする。
【００３２】
撮像素子３２には、タイミングジェネレータ３１から出力される、NTSC方式の垂直同期信号の１／ｎ倍の周期の短周期垂直同期信号と、露光時間（シャッタースピード）および露光のタイミングを表す露光タイミング信号が入力される。露光タイミング信号によって規定される露光のタイミングや露光時間は、ユーザが操作部４４を操作することにより決定することができる。撮像素子３２は、タイミングジェネレータ３１が出力する露光タイミング信号に同期して、被写体からの光を、露光タイミング信号における露光時間の間だけ受光する。そして、撮像素子３２は、その受光量を光電変換し、その結果得られる電気信号としての画像を、タイミングジェネレータ３１が出力する短周期垂直同期信号に同期してフレーム処理回路３３に出力する。ここで、撮像素子３２は、CCDやCMOSイメージャなどで構成することができる。また、撮像素子３２は、インターレース画像を出力するようにすることもできるし、プログレッシブ画像を出力するようにすることもできる。なお、撮像素子３２がプログレッシブ画像を出力する場合は、デジタルビデオカメラ２１は、後述するフレーム処理回路３３を設けずに構成することができる。
【００３３】
ここで、図４は、タイミングジェネレータ３１に入力されるNTSC方式の垂直同期信号と、タイミングジェネレータ３１から撮像素子３２に入力される短周期垂直同期周波数（以下、タイミングジェネレータ出力信号とも称する）、および露光タイミング信号における露光時間との関係を示す図である。
【００３４】
タイミングジェネレータ３１に入力される垂直同期信号の周波数を、ＦVS[Hz]と表すとすると、図４Ａに示されるように、その垂直同期信号は、１／ＦVS秒間隔のパルスとして表すことができる。タイミングジェネレータ３１が、図４Ａの垂直同期信号を分周比１／４で分周するとした場合、タイミングジェネレータ出力信号は、図４Ｂに示されるようになる。図４Ｃと図４Ｄは、露光時間が異なる露光タイミング信号を示している。露光タイミング信号は、タイミングジェネレータ出力信号に同期したパルス列となっており、そのローレベルの区間が露光時間を表す。図４Ｃの露光タイミング信号の露光時間は、時間Ｔ1となっており、この露光タイミング信号によれば、撮像素子３２は、図４Ｃに示されるようにＴ1時間の間に受光した光量に対応する画像を出力する。図４Ｄの露光タイミング信号では、露光時間がＴ1時間より短いＴ2時間となっており、従って、図４Ｃの露光タイミング信号を用いる場合よりも、少量の光量が撮像素子３２で受光される。
【００３５】
撮像素子３２において、図４Ｃの露光タイミング信号にしたがい、被写体を撮像したときには、露光時間Ｔ1が長いため、撮像素子３２の図示せぬ画素（セル）が受光量に応じてチャージする電荷が飽和することがある。一方、撮像素子３２において、図４Ｄの露光タイミング信号にしたがい、被写体を撮像したときには、露光時間Ｔ2が短いため、撮像素子３２の画素（にチャージされる電荷）の飽和を避けることができる。しかしながら、図４Ｄの露光タイミング信号を用いて被写体を撮像した場合、被写体の暗い部分に対応する画素には、電荷がほとんどチャージされず、被写体の暗い部分については、一様に暗い画像が得られることになる。そこで、図３のデジタルビデオカメラ２１では、被写体の明るい部分で、撮像素子３２の画素が飽和しない程度の露光時間の露光タイミング信号によって、１フィールド周期に複数枚の画像を高速撮像する。さらに、デジタルビデオカメラ２１では、後述する合成回路３５において、高速撮像された複数枚の画像が、例えば、同一位置どうしの画素の画素値が加算されることにより合成される。画素値を加算すると、その加算結果としての画素値は、加算前の画素値よりも、ダイナミックレンジが大きいものとなる。したがって、上述のように、複数の画像を加算によって合成した場合には、Ｓ／Ｎの良い画像を得ることができる。
【００３６】
図３に戻り、フレーム処理回路３３は、撮像素子３２から入力された画像が、インターレース画像である場合、即ち、撮像素子３２が、奇数行（ODD側）の画像（奇数フィールドの画像）と偶数行（EVEN側）の画像（偶数フィールドの画像）を、交互に出力する場合、その奇数行と偶数行の画像から、全ライン分の画素情報を有するプログレッシブ画像（フレーム画像）を生成し、カメラ信号処理回路３４に出力する。一方、撮像素子３２が、プログレッシブ画像を出力する場合、フレーム処理回路３３は、特に処理を行わず、撮像素子３２が出力するプログレッシブ画像を、そのままカメラ信号処理回路３４に出力する（スルー出力する）。したがって、この場合、上述したように、フレーム処理回路３３は、設ける必要がない。
【００３７】
いま、例えば、撮像素子３２がフィールド周期あたり、ｎ枚（フィールド）のインターレース画像を出力するとした場合、フレーム処理回路３３が出力する画像の枚数（フレーム数）は、ｎの半分、つまりｎ／２枚となる。一方、撮像素子３２が、フィールド周期あたり、ｎ枚（フレーム）のプログレッシブ画像を出力するとした場合、フレーム処理回路３３が出力する画像の枚数もｎ枚となる。なお、以下では、フレーム処理回路３３は、フィールド周期あたり、Ｎ枚のプログレッシブ画像を出力するものとする。
【００３８】
カメラ信号処理回路３４は、フレーム処理回路３３から入力された画像の画素値としてのRAWデータを、例えば、輝度信号（Y）と色差信号（Cr,Cb）に変換して、合成回路３５（のフィルタ係数乗算回路３７）に出力する。
【００３９】
また、カメラ信号処理回路３４は、フレーム処理回路３３から入力される画像のサイズが、所定のビデオサイズ（例えば、水平７２０画素×垂直４８０画素など）より大の場合、必要に応じてフレーム処理回路３３から入力された画像のサイズを所定のビデオサイズに変換する解像度変換（画素数変換）を行い、所定のビデオサイズの画素情報量をもつ画像として出力する。カメラ信号処理回路３４に入力される画像のサイズが所定のビデオサイズより大となる場合としては、例えば、デジタルビデオカメラ２１が静止画をキャプチャする機能を兼ね備えていて、動画を撮像する場合よりも高い解像度で静止画が撮像されて出力される場合がある。なお、カメラ信号処理回路３４は、上述したような、画像のサイズが所定のビデオサイズより大となる画像の解像度変換を行わず、そのままの解像度で出力することもできるし、フレーム処理回路３３から入力される画像を任意の画像のサイズに適応的に変換することもできる。
【００４０】
合成回路３５には、カメラ信号処理回路３４から輝度信号と色差信号に変換された全ライン分の画素情報を有するＮ枚の画像（プログレッシブ画像）が、タイミングジェネレータ３１がフィールド周期にＮ回発生するパルスであるタイミングジェネレータ出力信号に同期して入力される。従って、カメラ信号処理回路３４から合成回路３５には、フィールド周期あたり、Ｎ枚のプログレッシブ画像が入力される。合成回路３５は、カメラ信号処理回路３４から入力されたフィールド周期あたりＮ枚の画像を、予め設定された所定の数であるＦのフィールド（Ｆフィールド）に亘って合成する。即ち、合成回路３５は、Ｎ×Ｆ枚の画像を、１枚の画像に合成（フィルタリング）し、記録再生回路４１に出力する。合成回路３５では、カメラ信号処理回路３４から入力されたＮ×Ｆ枚の画像が、１枚の画像となって出力されることから、入力された画像の枚数を減らすという意味で、合成回路３５は、デシメーションフィルタであるということができる。なお、合成回路３５において合成の対象とする画像のフィールド数を表すＦは、例えば、ユーザが操作部４４を操作することにより設定することができる。また、フィールド数Ｆとしては、あるデフォルトの値を、合成回路３５に設定しておくことも可能である。
【００４１】
例えば、タイミングジェネレータ３１に入力されるフィールド周期の垂直同期周波数をＦVSとすると、合成回路３５は、Ｆ／ＦVS秒間に合成回路３５に入力されるＮ×Ｆ枚の画像を、１枚の画像に合成して出力する（これを基本動作と称する）。合成回路３５は、この基本動作を、フィールド周期（垂直同期信号の周期）である１／ＦVS秒間隔（画像Ｎ枚間隔）で開始することにより、フィールド周期の１／Ｎ倍の周期での高速撮像により得られた画像のうちのＦ回のフィールドに跨るＮ×Ｆ枚の画像から１／ＦVS秒毎に１枚の合成画像を生成して出力する。ここで、図５を参照して、Ｆ＝２とした場合の合成回路３５の動作についてさらに説明する。
【００４２】
図５においては、フィールド周期（１／ＦVS秒間隔）の垂直同期信号に同期して、１フィールド周期あたりＮ枚の入力画像（プログレッシブ画像）Ｉtが、合成回路３５に入力される。すなわち、時刻ｔ１乃至ｔ２の間に、Ｎ枚の画像Ｉt1-1乃至画像Ｉt1-Nがカメラ信号処理回路３４から合成回路３５に入力される。その後、時刻ｔ２乃至ｔ３の間に、Ｎ枚の画像Ｉt2-1乃至画像Ｉt2-Nがカメラ信号処理回路３４から合成回路３５に入力される。以下、同様に、入力画像Ｉtは、カメラ信号処理回路３４から合成回路３５に順次入力され、時刻ｔ８乃至ｔ９の間には、Ｎ枚の画像Ｉt8-1乃至画像Ｉt8-Nがカメラ信号処理回路３４から合成回路３５に入力される。つまり、時刻ｔｉ乃至ｔ（ｉ＋１）の間に、画像Ｉti-1乃至画像Ｉti-Nがカメラ信号処理回路３４から合成回路３５に入力される（ｉ＝１，２，・・・）。なお、時刻ｔｉから時刻ｔ（ｉ＋１）までの時間間隔は、フィールド周期である。また、時刻ｔｉは、図４Ａに示した垂直同期信号（のローレベル）のタイミングに相当する。
【００４３】
いま、Ｆ＝２としているので、合成回路３５は、図５のＲ1で示される時刻ｔ１からｔ３までの２フィールド分の時間の間に得られる画像Ｉt1-1乃至画像Ｉt2-Nの２Ｎ枚の画像を合成し、その合成結果を画像ＩO1として出力する。なお、２Ｎ枚の画像Ｉt1-1乃至画像Ｉt2-Nのうちの最後の画像Ｉt2-Nが得られるのは、その最初の画像Ｉt1-1が得られる時刻ｔ１から２フィールド分の時間だけ後の時刻ｔ３であるから、合成回路３５において、２Ｎ枚の画像Ｉt1-1乃至画像Ｉt2-Nの合成結果である画像ＩO1が得られるのは、早くても時刻ｔ３である。従って、合成回路３５は、時刻ｔ３に画像ＩO1を出力する。
【００４４】
ところで、合成回路３５は、上述したように、高速撮像により得られた複数枚の画像を合成し、その結果得られる合成画像を、フィールド周期で出力する。そこで、合成回路３５は、時刻ｔ１から時刻ｔ３までの２Ｎ枚の画像を合成した合成画像を出力したフィールドの、次のフィールドで出力する合成画像を時刻ｔ１から１フィールド分だけ後の時刻ｔ２から時刻ｔ４までの２Ｎ枚の画像から生成する。即ち、合成回路３５は、図５のＲ2で示される時刻ｔ２から時刻ｔ４までの２フィールド分の時間の間に得られる２Ｎ枚の画像を合成し、時刻ｔ４に画像ＩO2として出力する。さらに、合成回路３５は、時刻ｔ２から時刻ｔ４までの２Ｎ枚の画像を合成した合成画像を出力したフィールドの、次のフィールドで出力する合成画像を時刻ｔ２から１フィールド分だけ後の時刻ｔ３から時刻ｔ５までの２Ｎ枚の画像から生成する。即ち、合成回路３５は、図５のＲ3で示される時刻ｔ３から時刻ｔ５までの２フィールド分の時間の間に得られる２Ｎ枚の画像を合成し、時刻ｔ５に画像ＩO3として出力する。合成回路３５は、以下同様にして、合成対象とする２Ｎ枚の画像を、フィールド周期に対応する枚数Ｎずつずらしていきながら、２Ｎ枚の画像を合成し、その合成により得られるＩOiを、フィールド周期で出力する。
【００４５】
図３に戻り、合成回路３５の内部の構成について説明する。
【００４６】
フィルタ係数制御回路３６は、フィルタ係数乗算回路３７が画像に乗算するフィルタ係数を決定し、フィルタ係数乗算回路３７に供給する。合成回路３５において、Ｆ回のフィールドに跨りＮ×Ｆ枚の画像を合成（フィルタリング）する場合、そのタップ数は、Ｎ×Ｆとなり、フィルタ係数制御回路３６では、Ｎ×Ｆ個のフィルタ係数が設定される。フィルタ係数乗算回路３７は、カメラ信号処理回路３４から入力された画像に、フィルタ係数制御回路３６から供給されたフィルタ係数を乗算し、加算回路３８に出力する。
【００４７】
ユーザは、操作部４４を操作することにより、フィルタ係数制御回路３６がフィルタ係数乗算回路３７に供給するフィルタ係数を任意の値に設定することができる。また、用途に合わせて、数種類のフィルタ係数の値のセットを、フィルタ係数制御回路３６の内部のメモリ（不図示）に登録しておき、ユーザに、操作部４４を操作してもらうことによって、用途またはフィルタ係数のセット自体を選択してもらうようにしてもよい。また、操作部４４につまみを設け、そのつまみをユーザが操作した場合に、そのつまみの位置に相当する値をフィルタ係数制御回路３６において生成し、フィルタ係数乗算回路３７に供給するようにすることもできる。詳細は、後述するが、フィルタ係数乗算回路３７で用いるフィルタ係数の値により、合成回路３５では、Ｓ／Ｎの高い画像や、被写体の動作を高精度で速度抽出することができる画像などを得ることができる。
【００４８】
加算回路３８は、フィルタ係数乗算回路３７から出力された画像と、フレームメモリ４０から読み出された画像を加算し、フレームメモリ４０に出力する。
【００４９】
メモリ制御回路３９は、フレームメモリ４０を制御することにより、加算回路３８から出力された画像をフレームメモリ４０に書き込む。また、メモリ制御回路３９は、フレームメモリ４０を制御することにより、フレームメモリ４０に記憶された画像を読み出し、加算回路３８に供給する。また、メモリ制御回路３９は、フレームメモリ４０に記憶された画像を読み出し、記録再生回路４１に出力させる。さらに、メモリ制御回路３９は、フレームメモリ４０をリセットする（記憶内容を消去する）。
【００５０】
フレームメモリ４０は、メモリ制御回路３９の制御の下、加算回路３８から供給される画像を記憶するとともに、その記憶した画像を読み出し、加算回路３８または記録再生回路４１に供給する。
【００５１】
記録再生回路４１は、合成回路３５（のフレームメモリ４０）から供給される画像を、表示回路４２に供給する。また、記録再生回路４１は、操作部４４が操作されることにより、操作部４４から記録媒体４３への記録を行う旨の指令を受けると、合成回路３５から供給される画像を、例えば、MPEG(Moving Picture Experts Group)方式や、DV（Digital Video）方式、JPEG(Joint Photographic Experts Group)方式等に従って符号化し、記録媒体４３に供給して記録させる。さらに、記録再生回路４１は、操作部４４が操作されることにより、操作部４４から記録媒体４３を再生する指令を受けると、記録媒体４３から画像の符号化データを読み出し、そのまま、あるいは復号して、表示回路４２に供給して表示させる。
【００５２】
表示回路４２は、液晶ディスプレイ等で構成され、記録再生回路４１から供給される画像を表示する。
【００５３】
記録媒体４３は、例えば、DVD(Digital Versatile Disk)や、磁気テープ、あるいはメモリスティック（商標）などの半導体メモリ等で構成され、そこには、記録再生回路４１から供給される符号化データが書き込まれる。なお、記録媒体４３は、デジタルビデオカメラ２１に対して、着脱可能となされている。
【００５４】
次に、図６のフローチャートを参照して、図３のデジタルビデオカメラ２１の高速撮像画像合成処理について説明する。この処理は、例えば、デジタルビデオカメラ２１の電源が投入されると同時に開始される。なお、この図６のフローチャートでは、説明を簡単にするため、Ｆ＝１の場合の高速撮像画像合成処理について説明し、Ｆが２以上の場合の高速撮像画像合成処理については、図６のフローチャートの説明の後で、さらに説明する。
【００５５】
初めに、ステップＳ１において、タイミングジェネレータ３１は、入力されたフィールド周期の垂直同期信号から、周期がフィールド周期の１／ｎ（ｎ倍のレート）のパルスとしてのタイミングジェネレータ出力信号（図４Ｂ）を生成するとともに、そのタイミングジェネレータ出力信号に同期した露光タイミング信号（図４Ｃ，図４Ｄ）を生成し、撮像素子３２への供給を開始して、ステップＳ２に進む。
【００５６】
ステップＳ２において、撮像素子３２は、タイミングジェネレータ３１から供給される露光タイミング信号に同期して、被写体の高速撮像を開始するとともに、その撮像により得られる画像のフレーム処理回路３３への出力を開始して、ステップＳ３に進む。なお、撮像素子３２からフレーム処理回路３３への画像の出力は、タイミングジェネレータ３１が出力するタイミングジェネレータ出力信号に同期して行われる。
【００５７】
ステップＳ３において、フレーム処理回路３３は、撮像素子３２から供給された画像（撮像素子３２の出力）が、プログレッシブ画像であるか、またはインターレース画像であるかを判定する。プログレッシブ画像ではない（インターレース画像である）と判定された場合、ステップＳ４に進み、フレーム処理回路３３は、撮像素子３２から交互に入力される奇数行（ODD側）の画像と偶数行（EVEN側）の画像から、全ライン分の画素情報を有するプログレッシブ画像を生成し、カメラ信号処理回路３４に出力する処理を開始する。
【００５８】
一方、ステップＳ３において、撮像素子３２から供給された画像（撮像素子３２の出力）が、プログレッシブ画像であると判定された場合、ステップＳ５に進み、フレーム処理回路３３は、撮像素子３２から供給された画像をそのままカメラ信号処理回路３４に出力する（スルー出力する）処理を開始する。
【００５９】
ステップＳ４またはステップＳ５の処理の後、ステップＳ６に進み、カメラ信号処理回路３４は、カメラ信号処理を開始する。すなわち、カメラ信号処理回路３４は、フレーム処理回路３３から出力される画像（RAWデータの画像）を、輝度信号（Y）と色差信号（Cr,Cb）の画像に変換して合成回路３５（のフィルタ係数乗算回路３７）に出力する処理を開始する。
【００６０】
ステップＳ１乃至ステップＳ６で開始された処理は、図６の高速撮像画像合成処理が行われている間、すなわち、デジタルビデオカメラ２１の電源が投入されている間、続行される。
【００６１】
ステップＳ６の処理の後、ステップＳ７に進み、メモリ制御回路３９は、内部に保持する、画像枚数を表す変数ｉに１を代入し、処理をステップＳ８に進める。
【００６２】
ステップＳ８において、フィルタ係数乗算回路３７は、カメラ信号処理回路３４から高速撮像された画像が出力されるのを待って、その画像を受信する。さらに、フィルタ係数乗算回路３７は、カメラ信号処理回路３４から受信した画像の各画素に、ｉ番目のフィルタ係数を乗算し、加算回路３８に出力して、処理をステップＳ８からステップＳ９に進める。このときのフィルタ係数は、フィルタ係数制御回路３６により予め設定されている。なお、フィルタ係数乗算回路３７で使用するフィルタ係数の数は、合成結果としての１枚の画像を得るのに合成する画像の枚数に一致する。いまの場合、上述したように、Ｆ＝１としているので、フィルタ係数の数は、フィールド周期の間に高速撮像される画像の枚数であるＮ個（Ｎタップ）である。そして、フィルタ係数乗算回路３７は、カメラ信号処理回路３７から供給されるｉ枚目の画像を構成する各画素（の画素値）に対して、Ｎ個のフィルタ係数のうちのｉ番目のフィルタ係数を乗算する。
【００６３】
ステップＳ９において、メモリ制御回路３９は、フレームメモリ４０に書き込まれているデータ（画像）を読み出し、加算回路３８に供給し、ステップＳ１０に進む。なお、最初の読み出しの場合、フレームメモリ４０は、電源投入と同時に初期リセットされるようになされており、従って、電源投入直後に、最初のステップＳ９においてフレームメモリ４０から読み出されるデータは、ゼロである。
【００６４】
ステップＳ１０において、加算回路３８は、メモリ制御回路３９がフレームメモリ４０から読み出して供給したデータ（画像）に、フィルタ係数乗算回路３７が出力したデータ（画像）を加算し、フレームメモリ４０に出力して、ステップＳ１１に進む。
【００６５】
ステップＳ１１において、メモリ制御回路３９は、加算回路３８が出力したデータ（画像）を、フレームメモリ４０に上書きする形で書き込み、これにより、フレームメモリ４０に、高速撮像されたｉ枚の画像にフィルタ係数を乗算して加算することにより得られた画像を記憶させ、処理をステップＳ１２に進める。
【００６６】
ステップＳ１２において、メモリ制御回路３９は、画像枚数が、Ｎ×Ｆ枚目であるか、すなわち、画像枚数を表すｉの値が、Ｎ×Ｆに等しいかどうかを判定する。なお、ここでは、上述したように、Ｆ＝１としているので、ステップＳ１２では、実質的には、変数ｉがＮに等しいかどうかが判定される。ステップＳ１２において、画像枚数ｉの値がＮ×Ｆに等しくないと判定された場合、メモリ制御回路３９は、処理をステップＳ１３に進め、画像枚数ｉを１つインクリメントし、処理をステップＳ８に戻す。そして、ステップＳ８乃至ステップＳ１３の処理が繰り返される。
【００６７】
一方、ステップＳ１２において、画像枚数を表すｉの値がＮ×Ｆに等しいと判定された場合、即ち、フレームメモリ４０に、高速撮像されたＮ×Ｆ枚の画像を合成した合成画像、つまり、ここでは、そのＮ×Ｆ枚の画像にフィルタ係数を乗算し、加算して得られた画像が記憶された場合、メモリ制御回路３９は、処理をステップＳ１４に進め、そのＮ×Ｆ枚の画像が合成（加算）された画像を、フレームメモリ４０から読み出し、記録再生回路４１に出力して、処理をステップＳ１５に進める。
【００６８】
そして、ステップＳ１５において、メモリ制御回路３９は、フレームメモリ４０をリセットし、処理をステップＳ１６に進める。
【００６９】
ステップＳ１６において、記録再生回路４１は、フレームメモリ４０から供給された画像を、所定の方式で符号化して表示回路４２に供給して表示させ、ステップＳ１７に進む。
【００７０】
ステップＳ１７において、メモリ制御回路３９は、カメラ信号処理回路３４から合成回路３５に画像が出力されているかどうかを判定する。ステップＳ１７において、カメラ信号処理回路３４から合成回路３５に画像が出力されていると判定された場合、メモリ制御回路３９は、処理をステップＳ７に戻し、それ以降の処理が繰り返される。
【００７１】
一方、ステップＳ１７において、カメラ信号処理回路３４から合成回路３５に画像が出力されていないと判定された場合、即ち、例えば、ユーザがデジタルビデオカメラ２１の電源をオフするなどして、撮像素子３２における画像の撮像が停止された場合、高速撮像画像合成処理は終了される。
【００７２】
図７は、Ｆ＝１の場合の合成回路３５に入出力される画像を、時系列に沿って表した図である。
【００７３】
合成回路３５（のフィルタ係数乗算回路３７）には、フィールド周期あたり、Ｎ枚の画像が入力される。即ち、最初のフィールド周期である時刻ｔ１乃至ｔ２の間に、画像Ｉt1-1乃至画像Ｉt1-NのＮ枚が入力される。そして、次のフィールド周期である時刻ｔ２乃至ｔ３の間に、画像Ｉt2-1乃至画像Ｉt2-NのＮ枚が入力される。つまり、時刻ｔｉ乃至ｔ(ｉ＋１)の間に、画像Ｉti-1乃至画像Ｉti-NのＮ枚が順次入力される（ｉ＝１，２，３，・・・）。合成回路３５では、図６のフローチャートで説明したように、高速撮像された画像にフィルタ係数が乗算され、フィルタ係数が乗算された画像（データ）と、フレームメモリ４０の記憶値とが加算され、その加算結果としての画像がフレームメモリ４０に上書きされる。
【００７４】
初めに、フレームメモリ４０は、画像Ｉt1-1乃至画像Ｉt1-NのＮ枚の画像を合成するまでの間、即ち、１枚目の画像Ｉt1-1が合成回路３５に入力されてから、Ｎ枚目の画像Ｉt1-Nが合成回路３５に入力され、フィルタ係数が乗算された画像Ｉt1-Nとフレームメモリ４０の記憶値とが加算されるまでの間（図７のＦＭ1で示される期間）、加算（合成）された画像を記憶するために占有される。そして、画像Ｉt1-1乃至画像Ｉt1-NのＮ枚の画像の合成結果としての画像ＩO-1が得られると、合成回路３５は、その画像ＩO-1を記録再生回路４１に出力し、その直後のタイミング、即ち、次のフィールド周期が開始する時刻ｔ２のタイミングにおいて、メモリ制御回路３９が、フレームメモリ４０に記憶された、画像Ｉt1-1乃至画像Ｉt1-NのＮ枚の画像の合成結果としての画像のデータをリセットする。次に、フレームメモリ４０は、画像Ｉt2-1乃至画像Ｉt2-NのＮ枚の画像を合成するまでの間、即ち、１枚目の画像Ｉt2-1が合成回路３５に入力されてから、Ｎ枚目の画像Ｉt2-Nが合成回路３５に入力され、フィルタ係数が乗算された画像Ｉt2-Nとフレームメモリ４０の記憶値とが加算されるまでの間（図７のＦＭ2で示される期間）、加算（合成）された画像を記憶するために占有される。そして、画像Ｉt2-1乃至画像Ｉt2-NのＮ枚の画像の合成結果としての画像ＩO-2が得られると、合成回路３５は、その画像ＩO-2を記録再生回路４１に出力し、その直後のタイミング、即ち、次のフィールド周期が開始する時刻ｔ３のタイミングにおいて、メモリ制御回路３９が、フレームメモリ４０に記憶された、画像Ｉt2-1乃至画像Ｉt2-NのＮ枚の画像の合成結果としての画像のデータをリセットする。以下、同様にして、時刻ｔ３以降についても、フィールド周期ごとに、Ｎ枚の合成結果としての画像ＩOが合成回路３５から記録再生回路４１に出力され、その直後のタイミングでフレームメモリ４０がリセットされた後、次の合成（加算）が開始される。
【００７５】
図８は、Ｆ＝２の場合の、合成回路３５に入出力される画像を、時系列に沿って表した図である。
【００７６】
合成回路３５には、図７の場合と同様に、フィールド周期あたり（１／ＦVS秒間）、Ｎ枚の高速撮像された画像が入力される。いまの場合、Ｆ＝２であるから、合成回路３５は、２フィールドに亘る２Ｎ枚の高速撮像された画像を合成し、その結果得られる合成画像をフィールド周期で出力する。従って、合成回路３５は、２Ｎ枚の画像が供給されるまで、その２Ｎ枚の画像それぞれが入力されるごとに加算回路３８で求められる合成画像の途中結果を記憶しておかなければならない。さらに、合成回路３５は、合成画像をフィールド周期で出力するから、あるフィールド周期で出力する合成画像の合成を開始した後、１フィールド周期遅れで、次のフィールド周期に出力する合成画像の合成を開始する必要がある。そして、この合成においても、合成回路３５は、合成回路３５に２Ｎ枚の画像が供給されるまで、その２Ｎ枚の画像それぞれが入力されるごとに加算回路３８で求められる合成画像の途中結果を記憶しておかなければならない。以上から、各フィールド周期では、次のフィールド周期に出力する合成画像の途中結果と、さらにその次のフィールド周期に出力する合成画像の途中結果を記憶しなければならず、そのために、合成回路３５には、２枚のフレームメモリ４０が必要となる。そこで、いま、２枚のフレームメモリを４０−１と４０−２と記述する。
【００７７】
時刻ｔ１から２フィールド周期分である時刻ｔ３までの２Ｎ枚の画像Ｉ't1-1乃至画像Ｉ't2-(N-1)が合成（加算）される途中結果の画像、および最終的に時刻ｔ１から２Ｎ枚目の画像Ｉ't2-Nが合成された合成結果としての画像は、フレームメモリ４０−１に記憶される。従って、図８のＦＭ'1に示される期間、フレームメモリ４０−１は、画像Ｉ't1-1乃至画像Ｉ't2-Nの２Ｎ枚の画像の合成画像とその途中結果を記憶するために占有される。フレームメモリ４０−１に時刻ｔ１乃至時刻ｔ３の間に記憶された合成結果としての画像は、２Ｎ枚の画像の合成が終わったとき、すなわち、２Ｎ枚目の画像Ｉ't2-Nにフィルタ係数が乗算され、フィルタ係数が乗算された画像Ｉ't2-Nと、フレームメモリ４０−１に記憶された途中結果としての合成画像との合成が終わったとき、画像Ｉ'O-1として合成回路３５から記録再生回路４１に出力される。そして、次のフィールド周期が開始する時刻ｔ３のタイミングにおいて、メモリ制御回路３９は、フレームメモリ４０−１に記憶された画像Ｉt1-1乃至画像Ｉt2-Nの２Ｎ枚の画像の合成結果としての画像Ｉ'O-1のデータをリセットする。そして、合成回路３５は、次の合成を開始して、合成画像とその途中結果をフレームメモリ４０−１に記憶する。従って、次にフレームメモリ４０−１は、図８のＦＭ'3で示される間、すなわち、時刻ｔ３乃至ｔ５の間、画像Ｉt3-1乃至画像Ｉt4-Nの２Ｎ枚の画像の合成のために占有され、その２Ｎ枚の画像の合成が終わったとき、フレームメモリ４０−１に記憶された合成結果としての画像は、画像Ｉ'O-3として記録再生回路４１に出力される。そして、次のフィールド周期が開始する時刻ｔ５のタイミングにおいて、メモリ制御回路３９は、フレームメモリ４０−１に記憶された画像Ｉt3-1乃至画像Ｉt4-Nの２Ｎ枚の画像の合成結果としての画像Ｉ'O-3のデータをリセットする。
【００７８】
一方、時刻ｔ１から１フィールド周期遅れの時刻ｔ２から合成が開始される、２Ｎ枚の画像Ｉ't2-1乃至画像Ｉ't3-(N-1)の合成の途中結果の画像および合成結果としての画像は、他方のフレームメモリ４０−２に記憶される。なぜなら、時刻ｔ２乃至時刻ｔ３の期間は、フレームメモリ４０−１は、時刻ｔ１から開始された画像Ｉ't1-1乃至画像Ｉ't2-Nの２Ｎ枚の画像の合成画像とその途中結果を記憶するために占有されているからである。
【００７９】
フレームメモリ４０−２では、初めに、時刻ｔ２から２フィールド周期分である時刻ｔ４までの２Ｎ枚の画像Ｉ't2-1乃至画像Ｉ't3-(N-1)が合成（加算）される途中結果の画像、および最終的に時刻ｔ２から２Ｎ枚目の画像Ｉ't3-Nが合成された合成結果としての画像が、記憶される。従って、図８のＦＭ'2に示される期間、フレームメモリ４０−２は、画像Ｉ't2-1乃至画像Ｉ't3-Nの２Ｎ枚の画像の合成画像とその途中結果を記憶するために占有される。フレームメモリ４０−２に時刻ｔ２乃至時刻ｔ４の間に記憶された合成結果としての画像は、２Ｎ枚の画像の合成が終わったとき、すなわち、２Ｎ枚目の画像Ｉ't3-Nにフィルタ係数が乗算され、フィルタ係数が乗算された画像Ｉ't3-Nと、フレームメモリ４０−２に記憶された途中結果としての合成画像との合成が終わったとき、画像Ｉ'O-2として合成回路３５から記録再生回路４１に出力される。そして、次のフィールド周期が開始する時刻ｔ４のタイミングにおいて、メモリ制御回路３９は、フレームメモリ４０−２に記憶された画像Ｉt2-1乃至画像Ｉt3-Nの２Ｎ枚の画像の合成結果としての画像Ｉ'O-2のデータをリセットする。そして、合成回路３５は、次の合成を開始して、合成画像とその途中結果をフレームメモリ４０−２に記憶する。従って、次にフレームメモリ４０−２は、図８のＦＭ'4で示される間、すなわち、時刻ｔ４乃至ｔ６の間、画像Ｉt4-1乃至画像Ｉt5-Nの２Ｎ枚の画像の合成のために占有され、その２Ｎ枚の画像の合成が終わったとき、フレームメモリ４０−２に記憶された合成結果としての画像は、画像Ｉ'O-4として記録再生回路４１に出力される。そして、次のフィールド周期が開始する時刻ｔ６のタイミングにおいて、メモリ制御回路３９は、フレームメモリ４０−２に記憶された画像Ｉt4-1乃至画像Ｉt5-Nの２Ｎ枚の画像の合成結果としての画像Ｉ'O-4のデータをリセットする。
【００８０】
フレームメモリ４０−１とフレームメモリ４０−２それぞれに記憶された画像が、２フィールド周期ごとに、１フィールド周期だけずれたタイミングで交互に出力されることで、合成回路３５から記録再生回路４１に出力される画像Ｉ'Oは、１フィールド周期ごとに出力されることとなる。
【００８１】
Ｆ回のフィールド周期に跨るＮ×Ｆ枚の画像を合成し、フィールド周期ごとに１枚の画像を出力するには、Ｆ枚のフレームメモリ４０が必要となる。なぜなら、１枚のフレームメモリには、Ｆ回のフィールドに亘って合成される画像が記憶されるので、１枚のフレームメモリでは、Ｆフィールド周期ごとにしか合成画像を得ることができない。２枚のフレームメモリでは、図８で説明したように、合成結果としての画像を、Ｆフィールド周期で２つのフレームメモリそれぞれが、交互に出力することにより、Ｆ／２フィールド周期で出力することができる。従って、Ｆ枚のフレームメモリであれば、Ｆ／Ｆフィールド周期ごと、即ち、１フィールド周期で、合成結果としての画像を出力することができる。
【００８２】
なお、高速撮像された１フィールドあたりＮ枚の画像が、Ｆ回のフィールドに亘って合成される場合、図６を参照して説明したフローチャートのステップＳ７乃至ステップＳ１５の処理は、フィールド周期で出力される合成画像の途中結果を記憶するＦ枚のフレームメモリ４０それぞれに関して並列に行われる。図９は、Ｆフィールドに亘るＮ×Ｆ枚の高速撮像された画像を合成し、フィールド周期で合成画像を出力する合成回路３５の概略構成例を示している。
【００８３】
図９の合成回路３５は、Ｆ個のフィルタ部５１−１乃至５１−Ｆから構成され、各フィルタ部５１−ｐ（ｐ＝１，・・・，Ｆ）は、フィルタ係数乗算回路３７、加算回路３８、フレームメモリ４０で構成されている。フィルタ部５１−ｐは、ｐ＋ｋＦ番目のフィールド周期で出力する合成画像を、ｐ＋（ｋ−１）Ｆ乃至ｐ＋ｋＦ−１番目のフィールド周期に亘って得られる高速撮像されたＮ×Ｆ枚の画像から生成して出力する（ｋ＝１，２，・・・）。なお、フィルタ部５１−ｐを構成するフィルタ係数乗算回路３７、加算回路３８、フレームメモリ４０の処理は、上述したとおりである。
【００８４】
ここで、フィルタ部５１−ｐは、Ｎ×Ｆ枚の高速撮像された画像の、ある位置に注目すれば、Ｎ×Ｆ枚の画像の、注目している位置のＮ×Ｆ個の画素それぞれにフィルタ係数を乗算し、そのＮ×Ｆ個の乗算結果を加算する。従って、フィルタ部５１−ｐは、Ｎ×ＦタップのFIR（Finite Impulse Response）フィルタと等価であるから、フィルタ部５１−ｐとしては、図１０に示されるような、一般的なFIRフィルタの構成を採用することもできる。
【００８５】
図１０において、フレームメモリ６１−１は、カメラ信号処理回路３４から供給される高速撮像された画像を一時記憶する。そして、フレームメモリ６１−ｊ（ｊ＝２，３，・・・，Ｎ×Ｆ）は、その前段のフレームメモリ６１−（ｊ−１）に記憶された画像をタイミングジェネレータ出力信号の周期だけ遅延させて記憶する。これにより、フレームメモリ６１−１乃至６１−（Ｎ×Ｆ）には、高速撮像された、時系列のＮ×Ｆ枚の画像が記憶される。フィルタ係数乗算回路６２−１乃至６２−（N×F）のそれぞれは、フレームメモリ６１−ｊ（ｊ＝１，２，・・・，Ｎ×Ｆ）に記憶されたデータ（画像）に、ｊ番目のフィルタ係数を乗算し、加算回路６３に出力する。加算回路６３は、フィルタ係数乗算回路６２−１乃至６２−（N×F）のそれぞれから出力されたＮ×Ｆ枚の画像の同一位置の画素どうしを加算し、これにより、合成画像を得て出力する。
【００８６】
フィルタ部５１−ｐとして、図１０に示した通常のFIRフィルタを用いると、１つのフィルタ部５１−ｐ（ｐ＝１，・・・，Ｆ）にＮ×Ｆ枚のフレームメモリが必要になり、さらに、Ｆ個のフィールドに亘る合成を行うために、並列に処理を行うＦ個のフィルタ部５１−１乃至５１−Ｆが必要となるので、全部で、Ｎ×Ｆ×Ｆ個のフレームメモリが必要となる。
【００８７】
一方、図９で示した構成によると、全部でＦ個のフレームメモリがあればよい。したがって、図９の構成による場合は、図１０に示した通常のFIRフィルタを用いる場合より、１／（Ｎ×Ｆ）倍にフレームメモリの個数を削減することが可能である。
【００８８】
なお、合成回路３５としては、FIRフィルタの他、例えば、IIR（Infinite Impulse Response）フィルタを採用することもできる。
【００８９】
次に、図１Ａで示したプレーヤのゴルフスイングの動作を、図３のデジタルビデオカメラ２１で撮影して得られる合成画像について説明する。
【００９０】
図１１は、図３のフィルタ係数乗算回路３７におけるＮ×Ｆ個のタップのフィルタ係数として、正の値を採用した場合に、フィールド周期で得られる合成画像を示している。なお、図１１Ａは、図４Ｃに示した長い露光時間Ｔ1で撮像されたものであり、図１１Ｂは、図４Ｄに示した短い露光時間Ｔ2で撮像されたものである。
【００９１】
フィルタ係数乗算回路３７のフィルタ係数に正の値を採用することにより、Ｎ×Ｆ枚の画像は、フィルタ係数を重みとして重み付け加算される。従って、Ｎ×Ｆ枚の画像におけるノイズ成分は積分され、合成画像のＳ／Ｎは、高速撮像された１枚の画像のＳ／Ｎと比較して向上する。すなわち、ノイズの少ない画像が得られ、画質を向上させることができる。さらに、合成画像は、上述したように、ダイナミックレンジの大きなものとなる。
【００９２】
図１１Ａに示される画像８１乃至画像８３は、長い露光時間Ｔ1で高速撮像された画像を合成し、フィールド周期で得られるものであり、そのため、図１Ｂの画像２−１乃至画像２−３における場合と同様に、被写体が動いている部分で、ボケが生じるが、Ｓ／Ｎの高い高Ｓ／Ｎの画像となる。
【００９３】
図１１Ｂの画像９１乃至画像９３は、短い露光時間Ｔ2で高速撮像された画像を合成し、フィールド周期で得られるものであり、被写体の瞬時の姿勢がボケずに明瞭に表示されたものとなっている。即ち、画像９１では、図１Ａの画像１−１乃至画像１−３それぞれに示した被写体の瞬時の姿勢が比較的明瞭に表示されている。また、画像９２では、図１Ａの画像１−４乃至画像１−６それぞれに示した被写体の瞬時の姿勢が比較的明瞭に表示されている。画像９３では、図１Ａの画像１−７乃至画像１−９それぞれに示した被写体の瞬時の姿勢が比較的明瞭に表示されている。すなわち、図１１Ａでは、被写体の動きのある部分がにじんで（つながって）見えるのに対し、図１１Ｂでは、露光時間を短くしたことにより、被写体の動きがさらに分解されていて、より細かい動作を表示することが可能となっている。
【００９４】
以上のように、フィルタ係数乗算回路３７のフィルタ係数に正の値を採用することにより、高速撮像された画像のノイズ成分が積分されて、Ｓ／Ｎを向上させた高Ｓ／Ｎの画像を、フィールド周期で得ることができる。さらに、画像のダイナミックレンジが拡大し、特に、明るい部分のレベル方向の解像度を向上させることができる。また、いわゆる動きボケを低減した画像を得ることが可能となる。なお、フィルタ係数を適切に設定することで、種々のノイズを除去することが可能となる。
【００９５】
次に、図１２を参照して、図３のフィルタ係数乗算回路３７におけるＮ×Ｆ個のタップのフィルタ係数として、正と負の両方の値を採用した場合に得られる合成画像について説明する。
【００９６】
フィルタ係数として正と負の両方の値を採用することにより、加算回路３８では、実質的に、高速撮像された複数の画像の、同一位置の画素間の、減算処理が行われることとなる。この減算処理によれば、高速撮像された画像において、時間軸方向に動きの無い被写体の部分は相殺されるので、時間軸方向に動きのある被写体の部分のみを抽出することができる。
【００９７】
即ち、図１２Ａと図１２Ｂは、図３のデジタルビデオカメラ２１で高速撮像された、時系列に連続した画像１０１と画像１０２をそれぞれ示している。
【００９８】
画像１０１と画像１０２において、物体１１１および物体１１２は、静止している被写体であり、物体１１３Ａおよび物体１１３Ｂは、同一の物体１１３で、この物体１１３は、画像１０１が撮像された時刻から画像１０２が撮像された時刻までの間に、画像１０１上の物体１１３Ａの位置から画像１０２上の物体１１３Ｂの位置まで移動している。
【００９９】
画像１０１と画像１０２を、正と負の両方の値を有する、例えば｛１，−１｝の２タップのフィルタ係数を用いて合成すると、画像１０１から画像１０２が減算され、図１２Ｃに示される画像１０３が合成画像として得られる。なお、｛１，−１｝のフィルタ係数を、合成回路３５で用いる場合、合成回路３５は、ハイパスフィルタとして機能することになる。
【０１００】
画像１０３では、画像１０１と画像１０２それぞれで静止している被写体である物体１１１と物体１１２の部分は、相殺されて表示されておらず、動きのあった物体１１３の部分である物体１１３Ａと物体１１３Ｂの部分のみが表示されている。なお、ここでは、図１２Ａの画像１０１に正のフィルタ係数（１）を乗算するが、図１２Ｂの画像１０２には、負のフィルタ係数（−１）を乗算しているので、その画素（画素値）の正負が反転する。このため、図１２Ｃでは、その画素の正負が反転している物体１１３Ｂの部分を影を付して示してある。
【０１０１】
図１２Ｃの画像１０３から、例えば、物体１１３Ａを始点とし、物体１１３Ｂを終点として、動いている物体１１３の変位量Ｌを求めることができる。また、画像１０１が撮像された時刻から画像１０２が撮像された時刻までの時間は、１／（ＦVS×Ｎ）秒である。従って、被写体（物体１１３Ｂ）の速度は、ＦVS×Ｎ×Ｌと求めることができる。
【０１０２】
なお、上述の場合には、高速撮像された、時系列に連続する画像に対して、正と負の値のフィルタ係数を乗算する減算処理の例を示したが、減算処理を行う複数の画像は、時系列に連続している必要はなく、例えば、正の値のフィルタ係数が乗算される画像と、負の値のフィルタ係数が乗算される画像の周期は、タイミングジェネレータ出力信号の周期の所定数倍となるようにしてもよい。
【０１０３】
以上のように、フィールド周期に複数枚（Ｎ枚）の画像を高速撮像し、フィルタ係数として正と負の数を設定することにより、高精度な被写体の速度抽出を行うことができる。
【０１０４】
このような高精度の速度抽出は、例えば、動くものを検知して撮影する監視カメラや、物体の動きを検出し、その動きから物体の次の動作を予測して、その物体を掴むようなロボットなどに適用することができる。
【０１０５】
次に、上記のように、１／（ＦVS×Ｎ）秒の時間間隔で、被写体の変位を捉えることが出来ない場合、すなわち、被写体の動作（変位）が１／（ＦVS×Ｎ）秒間に、１枚の画像に収まらない程大きい場合を考える。
【０１０６】
例えば、図２で示されるクラブヘッドを撮像して得られる画像においては、被写体であるクラブヘッドの動きが非常に高速であるため、タイミングジェネレータ出力信号の周期である１／（ＦVS×Ｎ）秒間に被写体の変位の開始位置と終了位置が明確に表示されない。従って、被写体の変位量を精度良く検出することができず、被写体の速度抽出の精度が低下してしまう。
【０１０７】
この場合、ストロボを発光させ、これにより被写体に照明をあてることで、速度抽出の精度の低下を防止することができる。即ち、図１３は、ストロボの発光を印加してクラブヘッドを高速撮像して得られる画像を示している。
【０１０８】
図１３Ａ乃至図１３Ｄは、ストロボ発光時間を、例えば１／１００００秒間程度として、ストロボを連続発光した場合の、各ストロボ発光時のクラブヘッド１３１の位置１３１Ａ乃至位置１３１Ｄを示している。
【０１０９】
１／（ＦVS×Ｎ）秒間隔でクラブヘッド１３１を高速撮像すると、図１３Ｅに示されるように、クラブヘッド１３１が、その移動軌跡に沿って、画枠の左端から右端までつながってはいるが、ストロボが発光した瞬間のクラブヘッド１３１の位置１３１Ａ乃至位置１３１Ｄにおいて、クラブヘッド１３１の輝度信号レベルが非常に高い画像が得られる。図１３Ｅに示される画像と、例えば、図１３Ｅの画像を高速撮像したタイミングジェネレータ出力信号の周期の次の周期で高速撮像された画像を用いて、図１２で説明した減算処理を行うことにより、輝度信号レベルが高いクラブヘッド１３１の位置１３１Ａ乃至位置１３１Ｄのみを捉えることができ、例えば、位置１３１Ａから位置１３１Ｂまでの移動距離を、ストロボ発光時間間隔で除算することにより、クラブヘッド１３１について、高精度な速度抽出を行うことができる。
【０１１０】
なお、現在のビデオカメラに搭載されているストロボとしては、発光時間が、例えば１／１００００秒程度のものがあり、高速撮像の時間間隔（１／（ＦVS×Ｎ）秒）に対しては、この発光時間は、十分に短い時間と言える。即ち、ＦVSは、例えば、NTSC方式で６０Hzであり、Nは現時点では技術的に一桁程度の値となる。従って、高速撮像の周期（タイミングジェネレータ出力信号の周期）は、短くとも１／６００秒程度であり、ストロボの発光時間である１／１００００は、１／６００に比較して、十分短時間である。
【０１１１】
さて、これまで上述した例では、タップ数はＮ×Ｆ個であり、Ｎ×Ｆ個のフィルタ係数をＮ×Ｆ枚の画像それぞれに乗算したが、タップ数は、Ｎ×Ｆ個、即ち、１フィールド周期に得られる、高速撮像された画像の枚数Ｎの整数倍の数のみならず任意の数に設定することができる。
【０１１２】
図１４は、Ｎ＝５、即ち、フィールド周期に、５回の高速撮像を行って得られる画像ＩSに対して、タップ数が６個に設定され、６枚単位で高速撮像された画像が合成される場合を示している。
【０１１３】
図１４において、垂直同期信号の周波数は、NTSC方式と同一の６０Hzとなっている。したがって、撮像素子３２では、１／６０秒間隔に５枚の画像ＩSが高速撮像され、合成回路３５に入力される。いまの場合、合成回路３５は、タップ数を６個としているので、最初に、１フィールド目の５枚の高速撮像された画像と、２フィールド目の１枚目の高速撮像された画像の６枚、即ち、図１４のＲ21で示される期間の画像を合成する。次に、合成回路３５は、２フィールド目の５枚の高速撮像された画像と、３フィールド目の１枚目の高速撮像された画像の６枚、即ち、図１４のＲ22で示される期間の画像を合成する。以下、同様に、合成回路３５では、所定のフィールドの５枚の高速撮像された画像と、次のフィールドの１枚目の高速撮像された画像の合わせて６枚の画像が合成され、記録再生回路４１に出力される。
【０１１４】
例えば、５０Hzの電源で駆動される蛍光灯の下で撮像を行う場合、NTSC方式の垂直同期信号の周期である１／６０秒間隔で撮像を行うと、２０Hzのフリッカが発生する。一方、１／６０秒間に５回の撮像が行われ、上述のように６枚の高速撮像された画像が１枚として出力されると、その画像の撮像周期は、実質的に、６×１／（６０×５）＝１／５０秒周期となる。この周期は、蛍光灯を駆動する電源の周期に一致するので、合成によって得られる画像には、フリッカが生じない。
【０１１５】
フィルタ係数や、フィルタ係数の数（タップ数）は、上述したもの以外にも、任意に設定可能である。例えば、タップ数を３タップとして、その３タップのフィルタ係数を｛−１，２，−１｝というように設定することもできる。
【０１１６】
さらに、上述した例では、Ｆ個のフィールドに亘って高速撮像された画像を合成する場合、合成を開始する時間間隔（フレームメモリ４０をリセットする時間間隔も同様）としてフィールド周期分の位相差を持たせることにより、画像を出力する周期を、フィールド周期とするようにしたが、画像を出力する周期は、任意の周期とすることができる。この合成された画像を出力する周期は、例えば、ユーザが操作部４４を操作することにより設定することができる。
【０１１７】
図１５を参照して、デジタルビデオカメラ２１において、高速撮像され、合成された画像を、２フィールド周期（２／ＦVS秒間隔）で出力する場合について説明する。なお、図５と対応する部分については、同一の符号を付してあり、その説明は適宜省略する。
【０１１８】
図１５では、Ｆ＝３、即ち、３フィールドに亘る３Ｎ枚の高速撮像された画像が合成され、かつ、合成結果としての画像が２フィールド周期ごとに合成回路３５から記録再生回路４１に出力される。従って、合成回路３５では、時刻ｔ１乃至ｔ４の間の３Ｎ枚の画像（Ｒ'1で示される区間の画像）が合成され、時刻ｔ４のタイミングにおいて、その合成結果としての画像Ｉ'O1が記録再生回路４１に出力される。次に、合成回路３５では、時刻ｔ３乃至ｔ６の間の３Ｎ枚の画像（Ｒ'2で示される区間の画像）が合成され、時刻ｔ６のタイミングにおいて、その合成結果としての画像Ｉ'O2が記録再生回路４１に出力される。以下、同様に、合成回路３５では、２フィールド間隔（２／ＦVS秒間隔）で、３Ｎ枚の画像を合成して得られる画像Ｉ'Oが出力される。
【０１１９】
また、デジタルビデオカメラ２１では、動画に限らず、静止画を得るようにすることができる。その場合には、Ｎ×Ｆ枚の画像が高速撮像され、そのＮ×Ｆ枚の画像を合成したものが、１枚（回）だけ出力される。
【０１２０】
次に、図１６は、本発明を適用したデジタルビデオカメラ２１の第２の実施の形態の構成例を示している。なお、図中、図３における場合と対応する部分については、同一の符号を付しており、以下では、その説明は適宜省略する。
【０１２１】
すなわち、図３では、撮像素子３２の後段にフレーム処理回路３３が配置され、フレーム処理回路３３の後段にカメラ信号処理回路３４が配置されているのに対して、図１６では、撮像素子３２の後段にカメラ信号処理回路３４が配置され、カメラ信号処理回路３４の後段にフレーム処理回路３３が配置されている。
【０１２２】
この場合、撮像素子３２から出力された撮像画像が、カメラ信号処理回路３４に入力される。カメラ信号処理回路３４は、撮像素子３２から入力された画像の画素値としてのRAWデータを有する画像を、輝度信号(Y)と色差信号（Cr,Cb）に変換して、フレーム処理回路３３に出力する。そして、フレーム処理回路３３は、カメラ信号処理回路３４から入力されたフィールド周期あたりｎ枚の画像が、インターレース画像である場合、そのインターレース画像を構成する奇数行（ODD側）の画像と偶数行（EVEN側）の画像を順次加算し、全ライン分の画素情報を有する画像を生成し、合成回路３５に出力する。一方、カメラ信号処理回路３４から入力された画像が、プログレッシブ画像である場合、フレーム処理回路３３は、処理を行わず、そのまま合成回路３５に出力する（スルー出力する）。その他のブロックは、図３で示した第１の実施の形態と同様である。
【０１２３】
図１７は、本発明を適用したデジタルビデオカメラ２１の第３の実施の形態の構成例を示している。なお、図中、図３における場合と対応する部分については、同一の符号を付しており、以下では、その説明は適宜省略する。
【０１２４】
すなわち、図３では、フレーム処理回路３３の後段にカメラ信号処理回路３４が配置され、カメラ信号処理回路３４の後段に合成回路３５が配置されているのに対して、図１７では、フレーム処理回路３３の後段に合成回路３５が配置され、合成回路３５の後段にカメラ信号処理回路３４が配置されている。
【０１２５】
この場合、合成回路３５は、フレーム処理回路３３から入力された全ライン分の画素情報（RAWデータ）を有する画像を、予め設定された所定の数のフィールド（Ｆ回のフィールド）に亘るＮ×Ｆ枚の画像ごとに合成して、１枚の画像としてフィールド周期でカメラ信号処理回路３４に出力する。そして、カメラ信号処理回路３４は、合成回路３５から出力された、画像の画素値としてのRAWデータを有するＮ×Ｆ枚が合成された画像を、輝度信号(Y)と色差信号（Cr,Cb）に変換して、記録再生回路４１に出力する。その他のブロックは、図３で示した第１の実施の形態と同様である。
【０１２６】
以上のように、合成回路３５は、撮像素子３２と記録再生回路４１のブロックの間の任意の位置、即ち、カメラ信号処理回路３４と記録再生回路４１の間（図３に示される第1の実施の形態）、フレーム処理回路３３と記録再生回路４１の間（図１６に示される第２の実施の形態）、または、フレーム処理回路３３とカメラ信号処理回路３４の間（図１７に示される第３の実施の形態）などに置くことができる。
【０１２７】
また、合成回路３５は、上述したように、デジタルビデオカメラ２１を構成する１つのブロックとして構成してもよいし、独立の装置として構成してもよい。
【０１２８】
さらに、図３、図１６、および図１７においては、合成回路３５には、全ライン（フレーム）分の画素情報を有する画像を処理させるようにしたが、インターレース画像（フィールド画像）を処理させるようにしてもよい。その場合、合成回路３５の後段において、全ライン分の画素情報を有する画像の変換処理、すなわち、インターレース画像からプログレッシブ画像に変換する処理を行うようにすることができる。
【０１２９】
上述した一連の処理（図６のフローチャートで示した処理）は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、図６のフローチャートで示した処理を行う装置は、例えば、図１８に示されるようなパーソナルコンピュータにより構成される。
【０１３０】
図１８において、CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２に記憶されているプログラム、または記憶部３０８からRAM（Random Access Memory）３０３にロードされたプログラムに従って各種の処理を実行する。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１３１】
CPU３０１、ROM３０２、およびRAM３０３は、バス３０４を介して相互に接続されている。このバス３０４にはまた、入出力インタフェース３０５も接続されている。
【０１３２】
入出力インタフェース３０５には、キーボード、マウスなどよりなる入力部３０６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部３０７、ハードディスクなどより構成される記憶部３０８、モデム、ターミナルアダプタなどより構成される通信部３０９、CCDやCMOS等の撮像素子などより構成される撮像部３３１が接続されている。通信部３０９は、インターネットなどのネットワークを介しての通信処理を行う。撮像部３３１は、被写体を高速撮像し、その結果得られた画像データを入出力インタフェース３０５を介してＣＰＵ３０１等に供給する。ＣＰＵ３０１は、図３の合成回路３５等が行う処理を実行する。
【０１３３】
入出力インタフェース３０５にはまた、必要に応じてドライブ３１０が接続され、磁気ディスク３２１、光ディスク３２２、光磁気ディスク３２３、或いは半導体メモリ３２４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３０８にインストールされる。
【０１３４】
以上のように、高速撮像された複数枚の画像を合成するようにしたので、高Ｓ／Ｎの画像や、精度の良い速度抽出を行うことができる画像、その他のユーザが所望する画像を得ることが可能となる。
【０１３５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３６】
【発明の効果】
以上のごとく本発明によれば、高速撮像で得られた画像をS／Nの高い高S／N画像として出力することができる。
【０１３７】
また、本発明によれば、高精度な速度抽出を行うことができる。
【図面の簡単な説明】
【図１】ゴルフプレーヤの動きを説明する図である。
【図２】ゴルフクラブのヘッド部分をフィールド周期で撮像して得られる画像を示す図である。
【図３】本発明を適用したデジタルビデオカメラの構成例を示すブロック図である。
【図４】図３のデジタルビデオカメラに使用される信号を説明する図である。
【図５】合成回路の動作について説明する図である。
【図６】図３のデジタルビデオカメラの高速撮像画像合成処理を説明するフローチャートである。
【図７】Ｆ＝1の場合の合成回路の画像合成について説明する図である。
【図８】Ｆ＝２の場合の合成回路の画像合成について説明する図である。
【図９】合成回路の概略構成を示した図である。
【図１０】合成回路として一般的なFIRフィルタを用いた場合の概略構成を示した図である。
【図１１】本発明のデジタルカメラにおいてフィルタ係数として正の値を採用した場合に得られる合成画像を説明する図である。
【図１２】本発明のデジタルカメラにおいてフィルタ係数として正と負の値を採用した場合に得られる合成画像を説明する図である。
【図１３】ストロボの発光を印加してクラブヘッドを高速撮像して得られる画像を示す図である。
【図１４】Ｎ＝５，タップ数を６個とした場合の高速撮像された画像の合成を説明する図である。
【図１５】２フィールド周期で合成画像が出力される場合を説明する図である。
【図１６】本発明を適用したデジタルビデオカメラの第２の実施の形態の構成例を示す図である。
【図１７】本発明を適用したデジタルビデオカメラの第３の実施の形態の構成例を示す図である。
【図１８】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
３１ タイミングジェネレータ， ３２ 撮像素子， ３３ フレーム処理回路， ３４ カメラ信号処理回路， ３５ 合成回路， ３６ フィルタ係数制御回路， ３７ フィルタ係数乗算回路， ３８ 加算回路， ３９ メモリ制御回路， ４０ フレームメモリ， ４１ 記録再生回路， ４２ 表示回路，
４３ 記録媒体， ４４ 操作部
【発明の属する技術分野】
本発明は、撮像装置および方法、記録媒体、並びにプログラムに関し、特に、高速撮像で得られた画像をS／N(Signal to Noise Ratio)の高い高S／N画像として出力すること等ができるようにした撮像装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
例えば、従来のデジタルビデオカメラでは、フィールド周期で画像が撮像され、そのフィールド周期の画像に所定の信号処理が施される。そして、その信号処理後の画像が、フィールド周期で出力される。
【０００３】
また、従来のビデオカメラとしては、フィールド周期以上のレートで高速に撮像を行い、その高速撮像によって得られた画像を、順次、フィールド周期で出力するものがある。この場合、フィールド周期より高速で撮像された画像が、フィールド周期で再生されることになるため、その再生画像は、スロー再生されたものとなる。
【０００４】
さらに、高速撮像を行うビデオカメラとしては、例えば、CCD(Charge Coupled Device)固体撮像素子の撮像出力により形成されるｎ倍の時間軸圧縮画像信号に対し、通常の同期信号を付加することによって、通常のコンポジット信号と同一のビデオ信号を出力するものがある（例えば、特許文献１参照）。なお、特許文献１に記載のビデオカメラでは、高速撮像された複数枚の画像を１画面の異なる位置に配置した形の画像を構成するようになっている。
【０００５】
【特許文献１】
特開昭６４−５１８７６号公報
【０００６】
【発明が解決しようとする課題】
ところで近年、デジタルカメラの小型化と高精細化に伴い、デジタルカメラに搭載されるCCDやCMOS（Complementary Mental Oxide Semiconductor）等の撮像素子において、光電変換を行う受光部（セル）のセルサイズの小型化が進んでいる。
【０００７】
しかしながら、セルサイズの小型化は、受光部の受光感度を低下させる。そのような撮像素子を用いて、フィールド周期で画像を撮像し、フィールド周期のまま信号処理を行って出力すると、出力された画像は、被写体やノイズの種類により、Ｓ／Ｎが悪い（低い）画像となってしまうことがある。
【０００８】
Ｓ／Ｎ低下の原因であるノイズを信号処理によって抑制しようとしても、小型化による回路規模的な制約や、リダクションが難しい種類のノイズが存在し、信号処理によってＳ／Ｎを改善するには限界がある。
【０００９】
一方、ビデオカメラによって、画像を撮像し、その画像から、動いている被写体の速度を信号処理によって抽出する場合、その速度抽出を、単にフィールド周期で撮像された画像を用いて行うときには、高速で移動する被写体については、精度良く速度抽出を行うのが困難である。
【００１０】
即ち、図１Ａに示されるように、被写体であるプレーヤが、ゴルフのスイングを行い、その画像をビデオカメラで撮像した場合を考える。なお、図１Ａにおける画像１−１乃至画像１−９は、プレーヤの動きを説明するものであり、ビデオカメラにより撮像された、その撮像結果としての画像を示すものではない。すなわち、画像１−１乃至１−９は、スイング中のプレーヤの瞬時の姿勢を、時系列に表している。
【００１１】
図１Ｂは、図１Ａに示した画像１−１乃至１−９の一連の姿勢として表されるプレーヤの動作としてのスイングを、ビデオカメラによって、フィールド周期で撮像した場合に得られる画像２−１乃至画像２−３を示している。
【００１２】
プレーヤは、フィールド周期よりも速い速度で動いているため、ビデオカメラにおいてフィールド周期で撮像される画像２−１乃至画像２−３は、動きのある部分がにじむように繋がり、ボケた状態のものとなる。
【００１３】
この画像２−１乃至画像２−３を利用して、被写体の動作速度の抽出を行うと、時刻と被写体の位置関係を正確に認識することが困難なため、動作速度を精度良く判別することが困難であった。
【００１４】
図２は、動作速度がさらに速い被写体をビデオカメラによりフィールド周期で撮像して得られる画像を示している。即ち、図２は、図１の画像１−５に示した姿勢をプレーヤがとったタイミング付近で、ゴルフクラブのヘッド部分をフィールド周期で撮像して得られる画像を示している。
【００１５】
図２で示される画像１１には、１つのクラブヘッド１２が撮影されている。すなわち、クラブヘッド１２Ａとクラブヘッド１２Ｂは、同一のクラブヘッド１２（クラブヘッド１２Ａとクラブヘッド１２Ｂを特別区別する必要がない場合は、クラブヘッド１２と称する）である。クラブヘッド１２は、クラブヘッド１２Ａからクラブヘッド１２Ｂの方向に移動している。画像１１では、説明のためにクラブヘッド１２Ａとクラブヘッド１２Ｂの位置で、クラブヘッド１２の像を強調して描いているが、クラブヘッド１２の移動速度は、フィールド周期よりもはるかに速いため、実際には、画像１１のクラブヘッド１２の像は、一様に画像１１の左端から右端までつながったものとなる。従って、画像１１に表示されたクラブヘッド１２の像からは、クラブヘッド１２の変位の始点と終点を区別することが極めて困難である。
【００１６】
従って、フィールド周期よりさらに速い動作速度の被写体をフィールド周期で撮像した場合には、その撮像により得られる画像から、被写体の速度を抽出することは、極めて困難である。
【００１７】
本発明は、このような状況に鑑みてなされたものであり、例えばＳ／Ｎの高い高Ｓ／Ｎ画像や高精度な被写体の動作速度抽出を可能とする画像などの、ユーザが希望する画像を取得することができるようにするものである。
【００１８】
【課題を解決するための手段】
本発明の撮像装置は、垂直同期信号の周期より短い周期のタイミング信号を生成するタイミング信号生成手段と、タイミング信号生成手段が生成するタイミング信号に従い、被写体の画像を撮像する撮像手段と、撮像手段が出力する複数枚の画像を合成し、１枚の画像を出力する合成手段とを備え、合成手段は、撮像手段が出力する画像にフィルタ係数を乗算する乗算手段と、乗算手段の乗算結果を記憶する記憶手段と、乗算手段の出力と、記憶手段に記憶された乗算結果とを加算する加算手段と、フィルタ係数の数であるタップ数を変更するタップ数変更手段とを有することを特徴とする。
【００２０】
フィルタ係数を変更するフィルタ係数変更手段をさらに設けることができる。
【００２２】
撮像手段が、奇数フィールドと偶数フィールドの画像を交互に出力する場合において、奇数フィールドと偶数フィールドの画像とを加算し、全ライン分の画素情報を有するプログレッシブ画像を生成するプログレッシブ画像生成手段をさらに備え、合成手段は、複数枚のプログレッシブ画像を合成することができる。
【００２３】
撮像手段が出力する画像の信号成分を変換する変換手段をさらに備え、合成手段は、変換手段の前段または後段に配置されるようにすることができる。
【００２４】
合成手段は、垂直同期信号の周期で合成した画像を出力するようにすることができる。
【００２５】
本発明の撮像方法は、垂直同期信号の周期より短い周期のタイミング信号を生成するタイミング信号生成ステップと、タイミング信号生成ステップにおいて生成されるタイミング信号に従い、被写体の画像を撮像する撮像ステップと、撮像ステップの処理で得られる複数枚の画像を合成し、１枚の画像を出力する合成ステップとを含み、合成ステップの処理は、撮像ステップの処理により撮像された画像にフィルタ係数を乗算する乗算ステップと、乗算ステップの処理による結果である乗算結果を所定の記憶手段に記憶させる記憶ステップと、乗算ステップの出力と、記憶手段に記憶された乗算結果とを加算する加算ステップと、フィルタ係数の数であるタップ数を変更するタップ数変更ステップとを有することを特徴とする。
【００２６】
本発明の記録媒体のプログラムは、垂直同期信号の周期より短い周期のタイミング信号を生成するタイミング信号生成ステップと、タイミング信号生成ステップにおいて生成されるタイミング信号に従い、被写体の画像を撮像する撮像ステップと、撮像ステップの処理で得られる複数枚の画像を合成し、１枚の画像を出力する合成ステップとを含み、合成ステップの処理は、撮像ステップの処理により撮像された画像にフィルタ係数を乗算する乗算ステップと、乗算ステップの処理による結果である乗算結果を所定の記憶手段に記憶させる記憶ステップと、乗算ステップの出力と、記憶手段に記憶された乗算結果とを加算する加算ステップと、フィルタ係数の数であるタップ数を変更するタップ数変更ステップとを有することを特徴とする。
【００２７】
本発明のプログラムは、垂直同期信号の周期より短い周期のタイミング信号を生成するタイミング信号生成ステップと、タイミング信号生成ステップにおいて生成されるタイミング信号に従い、被写体の画像を撮像する撮像ステップと、撮像ステップの処理で得られる複数枚の画像を合成し、１枚の画像を出力する合成ステップとを含み、合成ステップの処理は、撮像ステップの処理により撮像された画像にフィルタ係数を乗算する乗算ステップと、乗算ステップの処理による結果である乗算結果を所定の記憶手段に記憶させる記憶ステップと、乗算ステップの出力と、記憶手段に記憶された乗算結果とを加算する加算ステップと、フィルタ係数の数であるタップ数を変更するタップ数変更ステップとを有する処理をコンピュータに実行させることを特徴とする。
【００２８】
本発明においては、垂直同期信号の周期より短い周期のタイミング信号が生成され、生成されたタイミング信号に従い、被写体の画像が撮像される。そして、撮像された複数枚の画像が合成されて、１枚の画像が出力される。
【００２９】
撮像装置は、独立した装置であっても良いし、１つの装置のデジタルカメラ信号処理を行うブロックであっても良い。
【００３０】
【発明の実施の形態】
図３は、本発明を適用したデジタルビデオカメラ２１の第１の実施の形態の構成例を示している。
【００３１】
タイミングジェネレータ３１には、所定の周波数の垂直同期信号が入力される。ここで、タイミングジェネレータ３１に入力される垂直同期信号は、例えば、NTSC(National Television System Committee)方式におけるフィールド周期の垂直同期信号であるとする。従って、その周波数（垂直同期周波数）は、６０Hzである。タイミングジェネレータ３１は、入力された垂直同期信号を、１／ｎに分周し、これにより、NTSC方式の垂直同期信号よりも周期の短い垂直同期信号である短周期垂直同期信号を生成して、撮像素子３２に出力する。さらに、タイミングジェネレータ３１は、短周期垂直同期信号に同期した露光タイミング信号を生成し、撮像素子３２に供給する。なお、タイミングジェネレータ３１に入力される垂直同期信号は、NTSC方式の垂直同期信号である必要はなく、例えば、ＰＡＬ(Phase Alternation by Line)方式やその他の方式の垂直同期信号であってもよい。ここで、ＰＡＬ方式の垂直同期信号の周波数は、５０Hzである。また、タイミングジェネレータ３１で行われる垂直同期信号の分周の分周比を表すｎは、１より大の値であり、ここでは説明を簡単にするため、ｎは、２以上の整数であるとする。
【００３２】
撮像素子３２には、タイミングジェネレータ３１から出力される、NTSC方式の垂直同期信号の１／ｎ倍の周期の短周期垂直同期信号と、露光時間（シャッタースピード）および露光のタイミングを表す露光タイミング信号が入力される。露光タイミング信号によって規定される露光のタイミングや露光時間は、ユーザが操作部４４を操作することにより決定することができる。撮像素子３２は、タイミングジェネレータ３１が出力する露光タイミング信号に同期して、被写体からの光を、露光タイミング信号における露光時間の間だけ受光する。そして、撮像素子３２は、その受光量を光電変換し、その結果得られる電気信号としての画像を、タイミングジェネレータ３１が出力する短周期垂直同期信号に同期してフレーム処理回路３３に出力する。ここで、撮像素子３２は、CCDやCMOSイメージャなどで構成することができる。また、撮像素子３２は、インターレース画像を出力するようにすることもできるし、プログレッシブ画像を出力するようにすることもできる。なお、撮像素子３２がプログレッシブ画像を出力する場合は、デジタルビデオカメラ２１は、後述するフレーム処理回路３３を設けずに構成することができる。
【００３３】
ここで、図４は、タイミングジェネレータ３１に入力されるNTSC方式の垂直同期信号と、タイミングジェネレータ３１から撮像素子３２に入力される短周期垂直同期周波数（以下、タイミングジェネレータ出力信号とも称する）、および露光タイミング信号における露光時間との関係を示す図である。
【００３４】
タイミングジェネレータ３１に入力される垂直同期信号の周波数を、ＦVS[Hz]と表すとすると、図４Ａに示されるように、その垂直同期信号は、１／ＦVS秒間隔のパルスとして表すことができる。タイミングジェネレータ３１が、図４Ａの垂直同期信号を分周比１／４で分周するとした場合、タイミングジェネレータ出力信号は、図４Ｂに示されるようになる。図４Ｃと図４Ｄは、露光時間が異なる露光タイミング信号を示している。露光タイミング信号は、タイミングジェネレータ出力信号に同期したパルス列となっており、そのローレベルの区間が露光時間を表す。図４Ｃの露光タイミング信号の露光時間は、時間Ｔ1となっており、この露光タイミング信号によれば、撮像素子３２は、図４Ｃに示されるようにＴ1時間の間に受光した光量に対応する画像を出力する。図４Ｄの露光タイミング信号では、露光時間がＴ1時間より短いＴ2時間となっており、従って、図４Ｃの露光タイミング信号を用いる場合よりも、少量の光量が撮像素子３２で受光される。
【００３５】
撮像素子３２において、図４Ｃの露光タイミング信号にしたがい、被写体を撮像したときには、露光時間Ｔ1が長いため、撮像素子３２の図示せぬ画素（セル）が受光量に応じてチャージする電荷が飽和することがある。一方、撮像素子３２において、図４Ｄの露光タイミング信号にしたがい、被写体を撮像したときには、露光時間Ｔ2が短いため、撮像素子３２の画素（にチャージされる電荷）の飽和を避けることができる。しかしながら、図４Ｄの露光タイミング信号を用いて被写体を撮像した場合、被写体の暗い部分に対応する画素には、電荷がほとんどチャージされず、被写体の暗い部分については、一様に暗い画像が得られることになる。そこで、図３のデジタルビデオカメラ２１では、被写体の明るい部分で、撮像素子３２の画素が飽和しない程度の露光時間の露光タイミング信号によって、１フィールド周期に複数枚の画像を高速撮像する。さらに、デジタルビデオカメラ２１では、後述する合成回路３５において、高速撮像された複数枚の画像が、例えば、同一位置どうしの画素の画素値が加算されることにより合成される。画素値を加算すると、その加算結果としての画素値は、加算前の画素値よりも、ダイナミックレンジが大きいものとなる。したがって、上述のように、複数の画像を加算によって合成した場合には、Ｓ／Ｎの良い画像を得ることができる。
【００３６】
図３に戻り、フレーム処理回路３３は、撮像素子３２から入力された画像が、インターレース画像である場合、即ち、撮像素子３２が、奇数行（ODD側）の画像（奇数フィールドの画像）と偶数行（EVEN側）の画像（偶数フィールドの画像）を、交互に出力する場合、その奇数行と偶数行の画像から、全ライン分の画素情報を有するプログレッシブ画像（フレーム画像）を生成し、カメラ信号処理回路３４に出力する。一方、撮像素子３２が、プログレッシブ画像を出力する場合、フレーム処理回路３３は、特に処理を行わず、撮像素子３２が出力するプログレッシブ画像を、そのままカメラ信号処理回路３４に出力する（スルー出力する）。したがって、この場合、上述したように、フレーム処理回路３３は、設ける必要がない。
【００３７】
いま、例えば、撮像素子３２がフィールド周期あたり、ｎ枚（フィールド）のインターレース画像を出力するとした場合、フレーム処理回路３３が出力する画像の枚数（フレーム数）は、ｎの半分、つまりｎ／２枚となる。一方、撮像素子３２が、フィールド周期あたり、ｎ枚（フレーム）のプログレッシブ画像を出力するとした場合、フレーム処理回路３３が出力する画像の枚数もｎ枚となる。なお、以下では、フレーム処理回路３３は、フィールド周期あたり、Ｎ枚のプログレッシブ画像を出力するものとする。
【００３８】
カメラ信号処理回路３４は、フレーム処理回路３３から入力された画像の画素値としてのRAWデータを、例えば、輝度信号（Y）と色差信号（Cr,Cb）に変換して、合成回路３５（のフィルタ係数乗算回路３７）に出力する。
【００３９】
また、カメラ信号処理回路３４は、フレーム処理回路３３から入力される画像のサイズが、所定のビデオサイズ（例えば、水平７２０画素×垂直４８０画素など）より大の場合、必要に応じてフレーム処理回路３３から入力された画像のサイズを所定のビデオサイズに変換する解像度変換（画素数変換）を行い、所定のビデオサイズの画素情報量をもつ画像として出力する。カメラ信号処理回路３４に入力される画像のサイズが所定のビデオサイズより大となる場合としては、例えば、デジタルビデオカメラ２１が静止画をキャプチャする機能を兼ね備えていて、動画を撮像する場合よりも高い解像度で静止画が撮像されて出力される場合がある。なお、カメラ信号処理回路３４は、上述したような、画像のサイズが所定のビデオサイズより大となる画像の解像度変換を行わず、そのままの解像度で出力することもできるし、フレーム処理回路３３から入力される画像を任意の画像のサイズに適応的に変換することもできる。
【００４０】
合成回路３５には、カメラ信号処理回路３４から輝度信号と色差信号に変換された全ライン分の画素情報を有するＮ枚の画像（プログレッシブ画像）が、タイミングジェネレータ３１がフィールド周期にＮ回発生するパルスであるタイミングジェネレータ出力信号に同期して入力される。従って、カメラ信号処理回路３４から合成回路３５には、フィールド周期あたり、Ｎ枚のプログレッシブ画像が入力される。合成回路３５は、カメラ信号処理回路３４から入力されたフィールド周期あたりＮ枚の画像を、予め設定された所定の数であるＦのフィールド（Ｆフィールド）に亘って合成する。即ち、合成回路３５は、Ｎ×Ｆ枚の画像を、１枚の画像に合成（フィルタリング）し、記録再生回路４１に出力する。合成回路３５では、カメラ信号処理回路３４から入力されたＮ×Ｆ枚の画像が、１枚の画像となって出力されることから、入力された画像の枚数を減らすという意味で、合成回路３５は、デシメーションフィルタであるということができる。なお、合成回路３５において合成の対象とする画像のフィールド数を表すＦは、例えば、ユーザが操作部４４を操作することにより設定することができる。また、フィールド数Ｆとしては、あるデフォルトの値を、合成回路３５に設定しておくことも可能である。
【００４１】
例えば、タイミングジェネレータ３１に入力されるフィールド周期の垂直同期周波数をＦVSとすると、合成回路３５は、Ｆ／ＦVS秒間に合成回路３５に入力されるＮ×Ｆ枚の画像を、１枚の画像に合成して出力する（これを基本動作と称する）。合成回路３５は、この基本動作を、フィールド周期（垂直同期信号の周期）である１／ＦVS秒間隔（画像Ｎ枚間隔）で開始することにより、フィールド周期の１／Ｎ倍の周期での高速撮像により得られた画像のうちのＦ回のフィールドに跨るＮ×Ｆ枚の画像から１／ＦVS秒毎に１枚の合成画像を生成して出力する。ここで、図５を参照して、Ｆ＝２とした場合の合成回路３５の動作についてさらに説明する。
【００４２】
図５においては、フィールド周期（１／ＦVS秒間隔）の垂直同期信号に同期して、１フィールド周期あたりＮ枚の入力画像（プログレッシブ画像）Ｉtが、合成回路３５に入力される。すなわち、時刻ｔ１乃至ｔ２の間に、Ｎ枚の画像Ｉt1-1乃至画像Ｉt1-Nがカメラ信号処理回路３４から合成回路３５に入力される。その後、時刻ｔ２乃至ｔ３の間に、Ｎ枚の画像Ｉt2-1乃至画像Ｉt2-Nがカメラ信号処理回路３４から合成回路３５に入力される。以下、同様に、入力画像Ｉtは、カメラ信号処理回路３４から合成回路３５に順次入力され、時刻ｔ８乃至ｔ９の間には、Ｎ枚の画像Ｉt8-1乃至画像Ｉt8-Nがカメラ信号処理回路３４から合成回路３５に入力される。つまり、時刻ｔｉ乃至ｔ（ｉ＋１）の間に、画像Ｉti-1乃至画像Ｉti-Nがカメラ信号処理回路３４から合成回路３５に入力される（ｉ＝１，２，・・・）。なお、時刻ｔｉから時刻ｔ（ｉ＋１）までの時間間隔は、フィールド周期である。また、時刻ｔｉは、図４Ａに示した垂直同期信号（のローレベル）のタイミングに相当する。
【００４３】
いま、Ｆ＝２としているので、合成回路３５は、図５のＲ1で示される時刻ｔ１からｔ３までの２フィールド分の時間の間に得られる画像Ｉt1-1乃至画像Ｉt2-Nの２Ｎ枚の画像を合成し、その合成結果を画像ＩO1として出力する。なお、２Ｎ枚の画像Ｉt1-1乃至画像Ｉt2-Nのうちの最後の画像Ｉt2-Nが得られるのは、その最初の画像Ｉt1-1が得られる時刻ｔ１から２フィールド分の時間だけ後の時刻ｔ３であるから、合成回路３５において、２Ｎ枚の画像Ｉt1-1乃至画像Ｉt2-Nの合成結果である画像ＩO1が得られるのは、早くても時刻ｔ３である。従って、合成回路３５は、時刻ｔ３に画像ＩO1を出力する。
【００４４】
ところで、合成回路３５は、上述したように、高速撮像により得られた複数枚の画像を合成し、その結果得られる合成画像を、フィールド周期で出力する。そこで、合成回路３５は、時刻ｔ１から時刻ｔ３までの２Ｎ枚の画像を合成した合成画像を出力したフィールドの、次のフィールドで出力する合成画像を時刻ｔ１から１フィールド分だけ後の時刻ｔ２から時刻ｔ４までの２Ｎ枚の画像から生成する。即ち、合成回路３５は、図５のＲ2で示される時刻ｔ２から時刻ｔ４までの２フィールド分の時間の間に得られる２Ｎ枚の画像を合成し、時刻ｔ４に画像ＩO2として出力する。さらに、合成回路３５は、時刻ｔ２から時刻ｔ４までの２Ｎ枚の画像を合成した合成画像を出力したフィールドの、次のフィールドで出力する合成画像を時刻ｔ２から１フィールド分だけ後の時刻ｔ３から時刻ｔ５までの２Ｎ枚の画像から生成する。即ち、合成回路３５は、図５のＲ3で示される時刻ｔ３から時刻ｔ５までの２フィールド分の時間の間に得られる２Ｎ枚の画像を合成し、時刻ｔ５に画像ＩO3として出力する。合成回路３５は、以下同様にして、合成対象とする２Ｎ枚の画像を、フィールド周期に対応する枚数Ｎずつずらしていきながら、２Ｎ枚の画像を合成し、その合成により得られるＩOiを、フィールド周期で出力する。
【００４５】
図３に戻り、合成回路３５の内部の構成について説明する。
【００４６】
フィルタ係数制御回路３６は、フィルタ係数乗算回路３７が画像に乗算するフィルタ係数を決定し、フィルタ係数乗算回路３７に供給する。合成回路３５において、Ｆ回のフィールドに跨りＮ×Ｆ枚の画像を合成（フィルタリング）する場合、そのタップ数は、Ｎ×Ｆとなり、フィルタ係数制御回路３６では、Ｎ×Ｆ個のフィルタ係数が設定される。フィルタ係数乗算回路３７は、カメラ信号処理回路３４から入力された画像に、フィルタ係数制御回路３６から供給されたフィルタ係数を乗算し、加算回路３８に出力する。
【００４７】
ユーザは、操作部４４を操作することにより、フィルタ係数制御回路３６がフィルタ係数乗算回路３７に供給するフィルタ係数を任意の値に設定することができる。また、用途に合わせて、数種類のフィルタ係数の値のセットを、フィルタ係数制御回路３６の内部のメモリ（不図示）に登録しておき、ユーザに、操作部４４を操作してもらうことによって、用途またはフィルタ係数のセット自体を選択してもらうようにしてもよい。また、操作部４４につまみを設け、そのつまみをユーザが操作した場合に、そのつまみの位置に相当する値をフィルタ係数制御回路３６において生成し、フィルタ係数乗算回路３７に供給するようにすることもできる。詳細は、後述するが、フィルタ係数乗算回路３７で用いるフィルタ係数の値により、合成回路３５では、Ｓ／Ｎの高い画像や、被写体の動作を高精度で速度抽出することができる画像などを得ることができる。
【００４８】
加算回路３８は、フィルタ係数乗算回路３７から出力された画像と、フレームメモリ４０から読み出された画像を加算し、フレームメモリ４０に出力する。
【００４９】
メモリ制御回路３９は、フレームメモリ４０を制御することにより、加算回路３８から出力された画像をフレームメモリ４０に書き込む。また、メモリ制御回路３９は、フレームメモリ４０を制御することにより、フレームメモリ４０に記憶された画像を読み出し、加算回路３８に供給する。また、メモリ制御回路３９は、フレームメモリ４０に記憶された画像を読み出し、記録再生回路４１に出力させる。さらに、メモリ制御回路３９は、フレームメモリ４０をリセットする（記憶内容を消去する）。
【００５０】
フレームメモリ４０は、メモリ制御回路３９の制御の下、加算回路３８から供給される画像を記憶するとともに、その記憶した画像を読み出し、加算回路３８または記録再生回路４１に供給する。
【００５１】
記録再生回路４１は、合成回路３５（のフレームメモリ４０）から供給される画像を、表示回路４２に供給する。また、記録再生回路４１は、操作部４４が操作されることにより、操作部４４から記録媒体４３への記録を行う旨の指令を受けると、合成回路３５から供給される画像を、例えば、MPEG(Moving Picture Experts Group)方式や、DV（Digital Video）方式、JPEG(Joint Photographic Experts Group)方式等に従って符号化し、記録媒体４３に供給して記録させる。さらに、記録再生回路４１は、操作部４４が操作されることにより、操作部４４から記録媒体４３を再生する指令を受けると、記録媒体４３から画像の符号化データを読み出し、そのまま、あるいは復号して、表示回路４２に供給して表示させる。
【００５２】
表示回路４２は、液晶ディスプレイ等で構成され、記録再生回路４１から供給される画像を表示する。
【００５３】
記録媒体４３は、例えば、DVD(Digital Versatile Disk)や、磁気テープ、あるいはメモリスティック（商標）などの半導体メモリ等で構成され、そこには、記録再生回路４１から供給される符号化データが書き込まれる。なお、記録媒体４３は、デジタルビデオカメラ２１に対して、着脱可能となされている。
【００５４】
次に、図６のフローチャートを参照して、図３のデジタルビデオカメラ２１の高速撮像画像合成処理について説明する。この処理は、例えば、デジタルビデオカメラ２１の電源が投入されると同時に開始される。なお、この図６のフローチャートでは、説明を簡単にするため、Ｆ＝１の場合の高速撮像画像合成処理について説明し、Ｆが２以上の場合の高速撮像画像合成処理については、図６のフローチャートの説明の後で、さらに説明する。
【００５５】
初めに、ステップＳ１において、タイミングジェネレータ３１は、入力されたフィールド周期の垂直同期信号から、周期がフィールド周期の１／ｎ（ｎ倍のレート）のパルスとしてのタイミングジェネレータ出力信号（図４Ｂ）を生成するとともに、そのタイミングジェネレータ出力信号に同期した露光タイミング信号（図４Ｃ，図４Ｄ）を生成し、撮像素子３２への供給を開始して、ステップＳ２に進む。
【００５６】
ステップＳ２において、撮像素子３２は、タイミングジェネレータ３１から供給される露光タイミング信号に同期して、被写体の高速撮像を開始するとともに、その撮像により得られる画像のフレーム処理回路３３への出力を開始して、ステップＳ３に進む。なお、撮像素子３２からフレーム処理回路３３への画像の出力は、タイミングジェネレータ３１が出力するタイミングジェネレータ出力信号に同期して行われる。
【００５７】
ステップＳ３において、フレーム処理回路３３は、撮像素子３２から供給された画像（撮像素子３２の出力）が、プログレッシブ画像であるか、またはインターレース画像であるかを判定する。プログレッシブ画像ではない（インターレース画像である）と判定された場合、ステップＳ４に進み、フレーム処理回路３３は、撮像素子３２から交互に入力される奇数行（ODD側）の画像と偶数行（EVEN側）の画像から、全ライン分の画素情報を有するプログレッシブ画像を生成し、カメラ信号処理回路３４に出力する処理を開始する。
【００５８】
一方、ステップＳ３において、撮像素子３２から供給された画像（撮像素子３２の出力）が、プログレッシブ画像であると判定された場合、ステップＳ５に進み、フレーム処理回路３３は、撮像素子３２から供給された画像をそのままカメラ信号処理回路３４に出力する（スルー出力する）処理を開始する。
【００５９】
ステップＳ４またはステップＳ５の処理の後、ステップＳ６に進み、カメラ信号処理回路３４は、カメラ信号処理を開始する。すなわち、カメラ信号処理回路３４は、フレーム処理回路３３から出力される画像（RAWデータの画像）を、輝度信号（Y）と色差信号（Cr,Cb）の画像に変換して合成回路３５（のフィルタ係数乗算回路３７）に出力する処理を開始する。
【００６０】
ステップＳ１乃至ステップＳ６で開始された処理は、図６の高速撮像画像合成処理が行われている間、すなわち、デジタルビデオカメラ２１の電源が投入されている間、続行される。
【００６１】
ステップＳ６の処理の後、ステップＳ７に進み、メモリ制御回路３９は、内部に保持する、画像枚数を表す変数ｉに１を代入し、処理をステップＳ８に進める。
【００６２】
ステップＳ８において、フィルタ係数乗算回路３７は、カメラ信号処理回路３４から高速撮像された画像が出力されるのを待って、その画像を受信する。さらに、フィルタ係数乗算回路３７は、カメラ信号処理回路３４から受信した画像の各画素に、ｉ番目のフィルタ係数を乗算し、加算回路３８に出力して、処理をステップＳ８からステップＳ９に進める。このときのフィルタ係数は、フィルタ係数制御回路３６により予め設定されている。なお、フィルタ係数乗算回路３７で使用するフィルタ係数の数は、合成結果としての１枚の画像を得るのに合成する画像の枚数に一致する。いまの場合、上述したように、Ｆ＝１としているので、フィルタ係数の数は、フィールド周期の間に高速撮像される画像の枚数であるＮ個（Ｎタップ）である。そして、フィルタ係数乗算回路３７は、カメラ信号処理回路３７から供給されるｉ枚目の画像を構成する各画素（の画素値）に対して、Ｎ個のフィルタ係数のうちのｉ番目のフィルタ係数を乗算する。
【００６３】
ステップＳ９において、メモリ制御回路３９は、フレームメモリ４０に書き込まれているデータ（画像）を読み出し、加算回路３８に供給し、ステップＳ１０に進む。なお、最初の読み出しの場合、フレームメモリ４０は、電源投入と同時に初期リセットされるようになされており、従って、電源投入直後に、最初のステップＳ９においてフレームメモリ４０から読み出されるデータは、ゼロである。
【００６４】
ステップＳ１０において、加算回路３８は、メモリ制御回路３９がフレームメモリ４０から読み出して供給したデータ（画像）に、フィルタ係数乗算回路３７が出力したデータ（画像）を加算し、フレームメモリ４０に出力して、ステップＳ１１に進む。
【００６５】
ステップＳ１１において、メモリ制御回路３９は、加算回路３８が出力したデータ（画像）を、フレームメモリ４０に上書きする形で書き込み、これにより、フレームメモリ４０に、高速撮像されたｉ枚の画像にフィルタ係数を乗算して加算することにより得られた画像を記憶させ、処理をステップＳ１２に進める。
【００６６】
ステップＳ１２において、メモリ制御回路３９は、画像枚数が、Ｎ×Ｆ枚目であるか、すなわち、画像枚数を表すｉの値が、Ｎ×Ｆに等しいかどうかを判定する。なお、ここでは、上述したように、Ｆ＝１としているので、ステップＳ１２では、実質的には、変数ｉがＮに等しいかどうかが判定される。ステップＳ１２において、画像枚数ｉの値がＮ×Ｆに等しくないと判定された場合、メモリ制御回路３９は、処理をステップＳ１３に進め、画像枚数ｉを１つインクリメントし、処理をステップＳ８に戻す。そして、ステップＳ８乃至ステップＳ１３の処理が繰り返される。
【００６７】
一方、ステップＳ１２において、画像枚数を表すｉの値がＮ×Ｆに等しいと判定された場合、即ち、フレームメモリ４０に、高速撮像されたＮ×Ｆ枚の画像を合成した合成画像、つまり、ここでは、そのＮ×Ｆ枚の画像にフィルタ係数を乗算し、加算して得られた画像が記憶された場合、メモリ制御回路３９は、処理をステップＳ１４に進め、そのＮ×Ｆ枚の画像が合成（加算）された画像を、フレームメモリ４０から読み出し、記録再生回路４１に出力して、処理をステップＳ１５に進める。
【００６８】
そして、ステップＳ１５において、メモリ制御回路３９は、フレームメモリ４０をリセットし、処理をステップＳ１６に進める。
【００６９】
ステップＳ１６において、記録再生回路４１は、フレームメモリ４０から供給された画像を、所定の方式で符号化して表示回路４２に供給して表示させ、ステップＳ１７に進む。
【００７０】
ステップＳ１７において、メモリ制御回路３９は、カメラ信号処理回路３４から合成回路３５に画像が出力されているかどうかを判定する。ステップＳ１７において、カメラ信号処理回路３４から合成回路３５に画像が出力されていると判定された場合、メモリ制御回路３９は、処理をステップＳ７に戻し、それ以降の処理が繰り返される。
【００７１】
一方、ステップＳ１７において、カメラ信号処理回路３４から合成回路３５に画像が出力されていないと判定された場合、即ち、例えば、ユーザがデジタルビデオカメラ２１の電源をオフするなどして、撮像素子３２における画像の撮像が停止された場合、高速撮像画像合成処理は終了される。
【００７２】
図７は、Ｆ＝１の場合の合成回路３５に入出力される画像を、時系列に沿って表した図である。
【００７３】
合成回路３５（のフィルタ係数乗算回路３７）には、フィールド周期あたり、Ｎ枚の画像が入力される。即ち、最初のフィールド周期である時刻ｔ１乃至ｔ２の間に、画像Ｉt1-1乃至画像Ｉt1-NのＮ枚が入力される。そして、次のフィールド周期である時刻ｔ２乃至ｔ３の間に、画像Ｉt2-1乃至画像Ｉt2-NのＮ枚が入力される。つまり、時刻ｔｉ乃至ｔ(ｉ＋１)の間に、画像Ｉti-1乃至画像Ｉti-NのＮ枚が順次入力される（ｉ＝１，２，３，・・・）。合成回路３５では、図６のフローチャートで説明したように、高速撮像された画像にフィルタ係数が乗算され、フィルタ係数が乗算された画像（データ）と、フレームメモリ４０の記憶値とが加算され、その加算結果としての画像がフレームメモリ４０に上書きされる。
【００７４】
初めに、フレームメモリ４０は、画像Ｉt1-1乃至画像Ｉt1-NのＮ枚の画像を合成するまでの間、即ち、１枚目の画像Ｉt1-1が合成回路３５に入力されてから、Ｎ枚目の画像Ｉt1-Nが合成回路３５に入力され、フィルタ係数が乗算された画像Ｉt1-Nとフレームメモリ４０の記憶値とが加算されるまでの間（図７のＦＭ1で示される期間）、加算（合成）された画像を記憶するために占有される。そして、画像Ｉt1-1乃至画像Ｉt1-NのＮ枚の画像の合成結果としての画像ＩO-1が得られると、合成回路３５は、その画像ＩO-1を記録再生回路４１に出力し、その直後のタイミング、即ち、次のフィールド周期が開始する時刻ｔ２のタイミングにおいて、メモリ制御回路３９が、フレームメモリ４０に記憶された、画像Ｉt1-1乃至画像Ｉt1-NのＮ枚の画像の合成結果としての画像のデータをリセットする。次に、フレームメモリ４０は、画像Ｉt2-1乃至画像Ｉt2-NのＮ枚の画像を合成するまでの間、即ち、１枚目の画像Ｉt2-1が合成回路３５に入力されてから、Ｎ枚目の画像Ｉt2-Nが合成回路３５に入力され、フィルタ係数が乗算された画像Ｉt2-Nとフレームメモリ４０の記憶値とが加算されるまでの間（図７のＦＭ2で示される期間）、加算（合成）された画像を記憶するために占有される。そして、画像Ｉt2-1乃至画像Ｉt2-NのＮ枚の画像の合成結果としての画像ＩO-2が得られると、合成回路３５は、その画像ＩO-2を記録再生回路４１に出力し、その直後のタイミング、即ち、次のフィールド周期が開始する時刻ｔ３のタイミングにおいて、メモリ制御回路３９が、フレームメモリ４０に記憶された、画像Ｉt2-1乃至画像Ｉt2-NのＮ枚の画像の合成結果としての画像のデータをリセットする。以下、同様にして、時刻ｔ３以降についても、フィールド周期ごとに、Ｎ枚の合成結果としての画像ＩOが合成回路３５から記録再生回路４１に出力され、その直後のタイミングでフレームメモリ４０がリセットされた後、次の合成（加算）が開始される。
【００７５】
図８は、Ｆ＝２の場合の、合成回路３５に入出力される画像を、時系列に沿って表した図である。
【００７６】
合成回路３５には、図７の場合と同様に、フィールド周期あたり（１／ＦVS秒間）、Ｎ枚の高速撮像された画像が入力される。いまの場合、Ｆ＝２であるから、合成回路３５は、２フィールドに亘る２Ｎ枚の高速撮像された画像を合成し、その結果得られる合成画像をフィールド周期で出力する。従って、合成回路３５は、２Ｎ枚の画像が供給されるまで、その２Ｎ枚の画像それぞれが入力されるごとに加算回路３８で求められる合成画像の途中結果を記憶しておかなければならない。さらに、合成回路３５は、合成画像をフィールド周期で出力するから、あるフィールド周期で出力する合成画像の合成を開始した後、１フィールド周期遅れで、次のフィールド周期に出力する合成画像の合成を開始する必要がある。そして、この合成においても、合成回路３５は、合成回路３５に２Ｎ枚の画像が供給されるまで、その２Ｎ枚の画像それぞれが入力されるごとに加算回路３８で求められる合成画像の途中結果を記憶しておかなければならない。以上から、各フィールド周期では、次のフィールド周期に出力する合成画像の途中結果と、さらにその次のフィールド周期に出力する合成画像の途中結果を記憶しなければならず、そのために、合成回路３５には、２枚のフレームメモリ４０が必要となる。そこで、いま、２枚のフレームメモリを４０−１と４０−２と記述する。
【００７７】
時刻ｔ１から２フィールド周期分である時刻ｔ３までの２Ｎ枚の画像Ｉ't1-1乃至画像Ｉ't2-(N-1)が合成（加算）される途中結果の画像、および最終的に時刻ｔ１から２Ｎ枚目の画像Ｉ't2-Nが合成された合成結果としての画像は、フレームメモリ４０−１に記憶される。従って、図８のＦＭ'1に示される期間、フレームメモリ４０−１は、画像Ｉ't1-1乃至画像Ｉ't2-Nの２Ｎ枚の画像の合成画像とその途中結果を記憶するために占有される。フレームメモリ４０−１に時刻ｔ１乃至時刻ｔ３の間に記憶された合成結果としての画像は、２Ｎ枚の画像の合成が終わったとき、すなわち、２Ｎ枚目の画像Ｉ't2-Nにフィルタ係数が乗算され、フィルタ係数が乗算された画像Ｉ't2-Nと、フレームメモリ４０−１に記憶された途中結果としての合成画像との合成が終わったとき、画像Ｉ'O-1として合成回路３５から記録再生回路４１に出力される。そして、次のフィールド周期が開始する時刻ｔ３のタイミングにおいて、メモリ制御回路３９は、フレームメモリ４０−１に記憶された画像Ｉt1-1乃至画像Ｉt2-Nの２Ｎ枚の画像の合成結果としての画像Ｉ'O-1のデータをリセットする。そして、合成回路３５は、次の合成を開始して、合成画像とその途中結果をフレームメモリ４０−１に記憶する。従って、次にフレームメモリ４０−１は、図８のＦＭ'3で示される間、すなわち、時刻ｔ３乃至ｔ５の間、画像Ｉt3-1乃至画像Ｉt4-Nの２Ｎ枚の画像の合成のために占有され、その２Ｎ枚の画像の合成が終わったとき、フレームメモリ４０−１に記憶された合成結果としての画像は、画像Ｉ'O-3として記録再生回路４１に出力される。そして、次のフィールド周期が開始する時刻ｔ５のタイミングにおいて、メモリ制御回路３９は、フレームメモリ４０−１に記憶された画像Ｉt3-1乃至画像Ｉt4-Nの２Ｎ枚の画像の合成結果としての画像Ｉ'O-3のデータをリセットする。
【００７８】
一方、時刻ｔ１から１フィールド周期遅れの時刻ｔ２から合成が開始される、２Ｎ枚の画像Ｉ't2-1乃至画像Ｉ't3-(N-1)の合成の途中結果の画像および合成結果としての画像は、他方のフレームメモリ４０−２に記憶される。なぜなら、時刻ｔ２乃至時刻ｔ３の期間は、フレームメモリ４０−１は、時刻ｔ１から開始された画像Ｉ't1-1乃至画像Ｉ't2-Nの２Ｎ枚の画像の合成画像とその途中結果を記憶するために占有されているからである。
【００７９】
フレームメモリ４０−２では、初めに、時刻ｔ２から２フィールド周期分である時刻ｔ４までの２Ｎ枚の画像Ｉ't2-1乃至画像Ｉ't3-(N-1)が合成（加算）される途中結果の画像、および最終的に時刻ｔ２から２Ｎ枚目の画像Ｉ't3-Nが合成された合成結果としての画像が、記憶される。従って、図８のＦＭ'2に示される期間、フレームメモリ４０−２は、画像Ｉ't2-1乃至画像Ｉ't3-Nの２Ｎ枚の画像の合成画像とその途中結果を記憶するために占有される。フレームメモリ４０−２に時刻ｔ２乃至時刻ｔ４の間に記憶された合成結果としての画像は、２Ｎ枚の画像の合成が終わったとき、すなわち、２Ｎ枚目の画像Ｉ't3-Nにフィルタ係数が乗算され、フィルタ係数が乗算された画像Ｉ't3-Nと、フレームメモリ４０−２に記憶された途中結果としての合成画像との合成が終わったとき、画像Ｉ'O-2として合成回路３５から記録再生回路４１に出力される。そして、次のフィールド周期が開始する時刻ｔ４のタイミングにおいて、メモリ制御回路３９は、フレームメモリ４０−２に記憶された画像Ｉt2-1乃至画像Ｉt3-Nの２Ｎ枚の画像の合成結果としての画像Ｉ'O-2のデータをリセットする。そして、合成回路３５は、次の合成を開始して、合成画像とその途中結果をフレームメモリ４０−２に記憶する。従って、次にフレームメモリ４０−２は、図８のＦＭ'4で示される間、すなわち、時刻ｔ４乃至ｔ６の間、画像Ｉt4-1乃至画像Ｉt5-Nの２Ｎ枚の画像の合成のために占有され、その２Ｎ枚の画像の合成が終わったとき、フレームメモリ４０−２に記憶された合成結果としての画像は、画像Ｉ'O-4として記録再生回路４１に出力される。そして、次のフィールド周期が開始する時刻ｔ６のタイミングにおいて、メモリ制御回路３９は、フレームメモリ４０−２に記憶された画像Ｉt4-1乃至画像Ｉt5-Nの２Ｎ枚の画像の合成結果としての画像Ｉ'O-4のデータをリセットする。
【００８０】
フレームメモリ４０−１とフレームメモリ４０−２それぞれに記憶された画像が、２フィールド周期ごとに、１フィールド周期だけずれたタイミングで交互に出力されることで、合成回路３５から記録再生回路４１に出力される画像Ｉ'Oは、１フィールド周期ごとに出力されることとなる。
【００８１】
Ｆ回のフィールド周期に跨るＮ×Ｆ枚の画像を合成し、フィールド周期ごとに１枚の画像を出力するには、Ｆ枚のフレームメモリ４０が必要となる。なぜなら、１枚のフレームメモリには、Ｆ回のフィールドに亘って合成される画像が記憶されるので、１枚のフレームメモリでは、Ｆフィールド周期ごとにしか合成画像を得ることができない。２枚のフレームメモリでは、図８で説明したように、合成結果としての画像を、Ｆフィールド周期で２つのフレームメモリそれぞれが、交互に出力することにより、Ｆ／２フィールド周期で出力することができる。従って、Ｆ枚のフレームメモリであれば、Ｆ／Ｆフィールド周期ごと、即ち、１フィールド周期で、合成結果としての画像を出力することができる。
【００８２】
なお、高速撮像された１フィールドあたりＮ枚の画像が、Ｆ回のフィールドに亘って合成される場合、図６を参照して説明したフローチャートのステップＳ７乃至ステップＳ１５の処理は、フィールド周期で出力される合成画像の途中結果を記憶するＦ枚のフレームメモリ４０それぞれに関して並列に行われる。図９は、Ｆフィールドに亘るＮ×Ｆ枚の高速撮像された画像を合成し、フィールド周期で合成画像を出力する合成回路３５の概略構成例を示している。
【００８３】
図９の合成回路３５は、Ｆ個のフィルタ部５１−１乃至５１−Ｆから構成され、各フィルタ部５１−ｐ（ｐ＝１，・・・，Ｆ）は、フィルタ係数乗算回路３７、加算回路３８、フレームメモリ４０で構成されている。フィルタ部５１−ｐは、ｐ＋ｋＦ番目のフィールド周期で出力する合成画像を、ｐ＋（ｋ−１）Ｆ乃至ｐ＋ｋＦ−１番目のフィールド周期に亘って得られる高速撮像されたＮ×Ｆ枚の画像から生成して出力する（ｋ＝１，２，・・・）。なお、フィルタ部５１−ｐを構成するフィルタ係数乗算回路３７、加算回路３８、フレームメモリ４０の処理は、上述したとおりである。
【００８４】
ここで、フィルタ部５１−ｐは、Ｎ×Ｆ枚の高速撮像された画像の、ある位置に注目すれば、Ｎ×Ｆ枚の画像の、注目している位置のＮ×Ｆ個の画素それぞれにフィルタ係数を乗算し、そのＮ×Ｆ個の乗算結果を加算する。従って、フィルタ部５１−ｐは、Ｎ×ＦタップのFIR（Finite Impulse Response）フィルタと等価であるから、フィルタ部５１−ｐとしては、図１０に示されるような、一般的なFIRフィルタの構成を採用することもできる。
【００８５】
図１０において、フレームメモリ６１−１は、カメラ信号処理回路３４から供給される高速撮像された画像を一時記憶する。そして、フレームメモリ６１−ｊ（ｊ＝２，３，・・・，Ｎ×Ｆ）は、その前段のフレームメモリ６１−（ｊ−１）に記憶された画像をタイミングジェネレータ出力信号の周期だけ遅延させて記憶する。これにより、フレームメモリ６１−１乃至６１−（Ｎ×Ｆ）には、高速撮像された、時系列のＮ×Ｆ枚の画像が記憶される。フィルタ係数乗算回路６２−１乃至６２−（N×F）のそれぞれは、フレームメモリ６１−ｊ（ｊ＝１，２，・・・，Ｎ×Ｆ）に記憶されたデータ（画像）に、ｊ番目のフィルタ係数を乗算し、加算回路６３に出力する。加算回路６３は、フィルタ係数乗算回路６２−１乃至６２−（N×F）のそれぞれから出力されたＮ×Ｆ枚の画像の同一位置の画素どうしを加算し、これにより、合成画像を得て出力する。
【００８６】
フィルタ部５１−ｐとして、図１０に示した通常のFIRフィルタを用いると、１つのフィルタ部５１−ｐ（ｐ＝１，・・・，Ｆ）にＮ×Ｆ枚のフレームメモリが必要になり、さらに、Ｆ個のフィールドに亘る合成を行うために、並列に処理を行うＦ個のフィルタ部５１−１乃至５１−Ｆが必要となるので、全部で、Ｎ×Ｆ×Ｆ個のフレームメモリが必要となる。
【００８７】
一方、図９で示した構成によると、全部でＦ個のフレームメモリがあればよい。したがって、図９の構成による場合は、図１０に示した通常のFIRフィルタを用いる場合より、１／（Ｎ×Ｆ）倍にフレームメモリの個数を削減することが可能である。
【００８８】
なお、合成回路３５としては、FIRフィルタの他、例えば、IIR（Infinite Impulse Response）フィルタを採用することもできる。
【００８９】
次に、図１Ａで示したプレーヤのゴルフスイングの動作を、図３のデジタルビデオカメラ２１で撮影して得られる合成画像について説明する。
【００９０】
図１１は、図３のフィルタ係数乗算回路３７におけるＮ×Ｆ個のタップのフィルタ係数として、正の値を採用した場合に、フィールド周期で得られる合成画像を示している。なお、図１１Ａは、図４Ｃに示した長い露光時間Ｔ1で撮像されたものであり、図１１Ｂは、図４Ｄに示した短い露光時間Ｔ2で撮像されたものである。
【００９１】
フィルタ係数乗算回路３７のフィルタ係数に正の値を採用することにより、Ｎ×Ｆ枚の画像は、フィルタ係数を重みとして重み付け加算される。従って、Ｎ×Ｆ枚の画像におけるノイズ成分は積分され、合成画像のＳ／Ｎは、高速撮像された１枚の画像のＳ／Ｎと比較して向上する。すなわち、ノイズの少ない画像が得られ、画質を向上させることができる。さらに、合成画像は、上述したように、ダイナミックレンジの大きなものとなる。
【００９２】
図１１Ａに示される画像８１乃至画像８３は、長い露光時間Ｔ1で高速撮像された画像を合成し、フィールド周期で得られるものであり、そのため、図１Ｂの画像２−１乃至画像２−３における場合と同様に、被写体が動いている部分で、ボケが生じるが、Ｓ／Ｎの高い高Ｓ／Ｎの画像となる。
【００９３】
図１１Ｂの画像９１乃至画像９３は、短い露光時間Ｔ2で高速撮像された画像を合成し、フィールド周期で得られるものであり、被写体の瞬時の姿勢がボケずに明瞭に表示されたものとなっている。即ち、画像９１では、図１Ａの画像１−１乃至画像１−３それぞれに示した被写体の瞬時の姿勢が比較的明瞭に表示されている。また、画像９２では、図１Ａの画像１−４乃至画像１−６それぞれに示した被写体の瞬時の姿勢が比較的明瞭に表示されている。画像９３では、図１Ａの画像１−７乃至画像１−９それぞれに示した被写体の瞬時の姿勢が比較的明瞭に表示されている。すなわち、図１１Ａでは、被写体の動きのある部分がにじんで（つながって）見えるのに対し、図１１Ｂでは、露光時間を短くしたことにより、被写体の動きがさらに分解されていて、より細かい動作を表示することが可能となっている。
【００９４】
以上のように、フィルタ係数乗算回路３７のフィルタ係数に正の値を採用することにより、高速撮像された画像のノイズ成分が積分されて、Ｓ／Ｎを向上させた高Ｓ／Ｎの画像を、フィールド周期で得ることができる。さらに、画像のダイナミックレンジが拡大し、特に、明るい部分のレベル方向の解像度を向上させることができる。また、いわゆる動きボケを低減した画像を得ることが可能となる。なお、フィルタ係数を適切に設定することで、種々のノイズを除去することが可能となる。
【００９５】
次に、図１２を参照して、図３のフィルタ係数乗算回路３７におけるＮ×Ｆ個のタップのフィルタ係数として、正と負の両方の値を採用した場合に得られる合成画像について説明する。
【００９６】
フィルタ係数として正と負の両方の値を採用することにより、加算回路３８では、実質的に、高速撮像された複数の画像の、同一位置の画素間の、減算処理が行われることとなる。この減算処理によれば、高速撮像された画像において、時間軸方向に動きの無い被写体の部分は相殺されるので、時間軸方向に動きのある被写体の部分のみを抽出することができる。
【００９７】
即ち、図１２Ａと図１２Ｂは、図３のデジタルビデオカメラ２１で高速撮像された、時系列に連続した画像１０１と画像１０２をそれぞれ示している。
【００９８】
画像１０１と画像１０２において、物体１１１および物体１１２は、静止している被写体であり、物体１１３Ａおよび物体１１３Ｂは、同一の物体１１３で、この物体１１３は、画像１０１が撮像された時刻から画像１０２が撮像された時刻までの間に、画像１０１上の物体１１３Ａの位置から画像１０２上の物体１１３Ｂの位置まで移動している。
【００９９】
画像１０１と画像１０２を、正と負の両方の値を有する、例えば｛１，−１｝の２タップのフィルタ係数を用いて合成すると、画像１０１から画像１０２が減算され、図１２Ｃに示される画像１０３が合成画像として得られる。なお、｛１，−１｝のフィルタ係数を、合成回路３５で用いる場合、合成回路３５は、ハイパスフィルタとして機能することになる。
【０１００】
画像１０３では、画像１０１と画像１０２それぞれで静止している被写体である物体１１１と物体１１２の部分は、相殺されて表示されておらず、動きのあった物体１１３の部分である物体１１３Ａと物体１１３Ｂの部分のみが表示されている。なお、ここでは、図１２Ａの画像１０１に正のフィルタ係数（１）を乗算するが、図１２Ｂの画像１０２には、負のフィルタ係数（−１）を乗算しているので、その画素（画素値）の正負が反転する。このため、図１２Ｃでは、その画素の正負が反転している物体１１３Ｂの部分を影を付して示してある。
【０１０１】
図１２Ｃの画像１０３から、例えば、物体１１３Ａを始点とし、物体１１３Ｂを終点として、動いている物体１１３の変位量Ｌを求めることができる。また、画像１０１が撮像された時刻から画像１０２が撮像された時刻までの時間は、１／（ＦVS×Ｎ）秒である。従って、被写体（物体１１３Ｂ）の速度は、ＦVS×Ｎ×Ｌと求めることができる。
【０１０２】
なお、上述の場合には、高速撮像された、時系列に連続する画像に対して、正と負の値のフィルタ係数を乗算する減算処理の例を示したが、減算処理を行う複数の画像は、時系列に連続している必要はなく、例えば、正の値のフィルタ係数が乗算される画像と、負の値のフィルタ係数が乗算される画像の周期は、タイミングジェネレータ出力信号の周期の所定数倍となるようにしてもよい。
【０１０３】
以上のように、フィールド周期に複数枚（Ｎ枚）の画像を高速撮像し、フィルタ係数として正と負の数を設定することにより、高精度な被写体の速度抽出を行うことができる。
【０１０４】
このような高精度の速度抽出は、例えば、動くものを検知して撮影する監視カメラや、物体の動きを検出し、その動きから物体の次の動作を予測して、その物体を掴むようなロボットなどに適用することができる。
【０１０５】
次に、上記のように、１／（ＦVS×Ｎ）秒の時間間隔で、被写体の変位を捉えることが出来ない場合、すなわち、被写体の動作（変位）が１／（ＦVS×Ｎ）秒間に、１枚の画像に収まらない程大きい場合を考える。
【０１０６】
例えば、図２で示されるクラブヘッドを撮像して得られる画像においては、被写体であるクラブヘッドの動きが非常に高速であるため、タイミングジェネレータ出力信号の周期である１／（ＦVS×Ｎ）秒間に被写体の変位の開始位置と終了位置が明確に表示されない。従って、被写体の変位量を精度良く検出することができず、被写体の速度抽出の精度が低下してしまう。
【０１０７】
この場合、ストロボを発光させ、これにより被写体に照明をあてることで、速度抽出の精度の低下を防止することができる。即ち、図１３は、ストロボの発光を印加してクラブヘッドを高速撮像して得られる画像を示している。
【０１０８】
図１３Ａ乃至図１３Ｄは、ストロボ発光時間を、例えば１／１００００秒間程度として、ストロボを連続発光した場合の、各ストロボ発光時のクラブヘッド１３１の位置１３１Ａ乃至位置１３１Ｄを示している。
【０１０９】
１／（ＦVS×Ｎ）秒間隔でクラブヘッド１３１を高速撮像すると、図１３Ｅに示されるように、クラブヘッド１３１が、その移動軌跡に沿って、画枠の左端から右端までつながってはいるが、ストロボが発光した瞬間のクラブヘッド１３１の位置１３１Ａ乃至位置１３１Ｄにおいて、クラブヘッド１３１の輝度信号レベルが非常に高い画像が得られる。図１３Ｅに示される画像と、例えば、図１３Ｅの画像を高速撮像したタイミングジェネレータ出力信号の周期の次の周期で高速撮像された画像を用いて、図１２で説明した減算処理を行うことにより、輝度信号レベルが高いクラブヘッド１３１の位置１３１Ａ乃至位置１３１Ｄのみを捉えることができ、例えば、位置１３１Ａから位置１３１Ｂまでの移動距離を、ストロボ発光時間間隔で除算することにより、クラブヘッド１３１について、高精度な速度抽出を行うことができる。
【０１１０】
なお、現在のビデオカメラに搭載されているストロボとしては、発光時間が、例えば１／１００００秒程度のものがあり、高速撮像の時間間隔（１／（ＦVS×Ｎ）秒）に対しては、この発光時間は、十分に短い時間と言える。即ち、ＦVSは、例えば、NTSC方式で６０Hzであり、Nは現時点では技術的に一桁程度の値となる。従って、高速撮像の周期（タイミングジェネレータ出力信号の周期）は、短くとも１／６００秒程度であり、ストロボの発光時間である１／１００００は、１／６００に比較して、十分短時間である。
【０１１１】
さて、これまで上述した例では、タップ数はＮ×Ｆ個であり、Ｎ×Ｆ個のフィルタ係数をＮ×Ｆ枚の画像それぞれに乗算したが、タップ数は、Ｎ×Ｆ個、即ち、１フィールド周期に得られる、高速撮像された画像の枚数Ｎの整数倍の数のみならず任意の数に設定することができる。
【０１１２】
図１４は、Ｎ＝５、即ち、フィールド周期に、５回の高速撮像を行って得られる画像ＩSに対して、タップ数が６個に設定され、６枚単位で高速撮像された画像が合成される場合を示している。
【０１１３】
図１４において、垂直同期信号の周波数は、NTSC方式と同一の６０Hzとなっている。したがって、撮像素子３２では、１／６０秒間隔に５枚の画像ＩSが高速撮像され、合成回路３５に入力される。いまの場合、合成回路３５は、タップ数を６個としているので、最初に、１フィールド目の５枚の高速撮像された画像と、２フィールド目の１枚目の高速撮像された画像の６枚、即ち、図１４のＲ21で示される期間の画像を合成する。次に、合成回路３５は、２フィールド目の５枚の高速撮像された画像と、３フィールド目の１枚目の高速撮像された画像の６枚、即ち、図１４のＲ22で示される期間の画像を合成する。以下、同様に、合成回路３５では、所定のフィールドの５枚の高速撮像された画像と、次のフィールドの１枚目の高速撮像された画像の合わせて６枚の画像が合成され、記録再生回路４１に出力される。
【０１１４】
例えば、５０Hzの電源で駆動される蛍光灯の下で撮像を行う場合、NTSC方式の垂直同期信号の周期である１／６０秒間隔で撮像を行うと、２０Hzのフリッカが発生する。一方、１／６０秒間に５回の撮像が行われ、上述のように６枚の高速撮像された画像が１枚として出力されると、その画像の撮像周期は、実質的に、６×１／（６０×５）＝１／５０秒周期となる。この周期は、蛍光灯を駆動する電源の周期に一致するので、合成によって得られる画像には、フリッカが生じない。
【０１１５】
フィルタ係数や、フィルタ係数の数（タップ数）は、上述したもの以外にも、任意に設定可能である。例えば、タップ数を３タップとして、その３タップのフィルタ係数を｛−１，２，−１｝というように設定することもできる。
【０１１６】
さらに、上述した例では、Ｆ個のフィールドに亘って高速撮像された画像を合成する場合、合成を開始する時間間隔（フレームメモリ４０をリセットする時間間隔も同様）としてフィールド周期分の位相差を持たせることにより、画像を出力する周期を、フィールド周期とするようにしたが、画像を出力する周期は、任意の周期とすることができる。この合成された画像を出力する周期は、例えば、ユーザが操作部４４を操作することにより設定することができる。
【０１１７】
図１５を参照して、デジタルビデオカメラ２１において、高速撮像され、合成された画像を、２フィールド周期（２／ＦVS秒間隔）で出力する場合について説明する。なお、図５と対応する部分については、同一の符号を付してあり、その説明は適宜省略する。
【０１１８】
図１５では、Ｆ＝３、即ち、３フィールドに亘る３Ｎ枚の高速撮像された画像が合成され、かつ、合成結果としての画像が２フィールド周期ごとに合成回路３５から記録再生回路４１に出力される。従って、合成回路３５では、時刻ｔ１乃至ｔ４の間の３Ｎ枚の画像（Ｒ'1で示される区間の画像）が合成され、時刻ｔ４のタイミングにおいて、その合成結果としての画像Ｉ'O1が記録再生回路４１に出力される。次に、合成回路３５では、時刻ｔ３乃至ｔ６の間の３Ｎ枚の画像（Ｒ'2で示される区間の画像）が合成され、時刻ｔ６のタイミングにおいて、その合成結果としての画像Ｉ'O2が記録再生回路４１に出力される。以下、同様に、合成回路３５では、２フィールド間隔（２／ＦVS秒間隔）で、３Ｎ枚の画像を合成して得られる画像Ｉ'Oが出力される。
【０１１９】
また、デジタルビデオカメラ２１では、動画に限らず、静止画を得るようにすることができる。その場合には、Ｎ×Ｆ枚の画像が高速撮像され、そのＮ×Ｆ枚の画像を合成したものが、１枚（回）だけ出力される。
【０１２０】
次に、図１６は、本発明を適用したデジタルビデオカメラ２１の第２の実施の形態の構成例を示している。なお、図中、図３における場合と対応する部分については、同一の符号を付しており、以下では、その説明は適宜省略する。
【０１２１】
すなわち、図３では、撮像素子３２の後段にフレーム処理回路３３が配置され、フレーム処理回路３３の後段にカメラ信号処理回路３４が配置されているのに対して、図１６では、撮像素子３２の後段にカメラ信号処理回路３４が配置され、カメラ信号処理回路３４の後段にフレーム処理回路３３が配置されている。
【０１２２】
この場合、撮像素子３２から出力された撮像画像が、カメラ信号処理回路３４に入力される。カメラ信号処理回路３４は、撮像素子３２から入力された画像の画素値としてのRAWデータを有する画像を、輝度信号(Y)と色差信号（Cr,Cb）に変換して、フレーム処理回路３３に出力する。そして、フレーム処理回路３３は、カメラ信号処理回路３４から入力されたフィールド周期あたりｎ枚の画像が、インターレース画像である場合、そのインターレース画像を構成する奇数行（ODD側）の画像と偶数行（EVEN側）の画像を順次加算し、全ライン分の画素情報を有する画像を生成し、合成回路３５に出力する。一方、カメラ信号処理回路３４から入力された画像が、プログレッシブ画像である場合、フレーム処理回路３３は、処理を行わず、そのまま合成回路３５に出力する（スルー出力する）。その他のブロックは、図３で示した第１の実施の形態と同様である。
【０１２３】
図１７は、本発明を適用したデジタルビデオカメラ２１の第３の実施の形態の構成例を示している。なお、図中、図３における場合と対応する部分については、同一の符号を付しており、以下では、その説明は適宜省略する。
【０１２４】
すなわち、図３では、フレーム処理回路３３の後段にカメラ信号処理回路３４が配置され、カメラ信号処理回路３４の後段に合成回路３５が配置されているのに対して、図１７では、フレーム処理回路３３の後段に合成回路３５が配置され、合成回路３５の後段にカメラ信号処理回路３４が配置されている。
【０１２５】
この場合、合成回路３５は、フレーム処理回路３３から入力された全ライン分の画素情報（RAWデータ）を有する画像を、予め設定された所定の数のフィールド（Ｆ回のフィールド）に亘るＮ×Ｆ枚の画像ごとに合成して、１枚の画像としてフィールド周期でカメラ信号処理回路３４に出力する。そして、カメラ信号処理回路３４は、合成回路３５から出力された、画像の画素値としてのRAWデータを有するＮ×Ｆ枚が合成された画像を、輝度信号(Y)と色差信号（Cr,Cb）に変換して、記録再生回路４１に出力する。その他のブロックは、図３で示した第１の実施の形態と同様である。
【０１２６】
以上のように、合成回路３５は、撮像素子３２と記録再生回路４１のブロックの間の任意の位置、即ち、カメラ信号処理回路３４と記録再生回路４１の間（図３に示される第1の実施の形態）、フレーム処理回路３３と記録再生回路４１の間（図１６に示される第２の実施の形態）、または、フレーム処理回路３３とカメラ信号処理回路３４の間（図１７に示される第３の実施の形態）などに置くことができる。
【０１２７】
また、合成回路３５は、上述したように、デジタルビデオカメラ２１を構成する１つのブロックとして構成してもよいし、独立の装置として構成してもよい。
【０１２８】
さらに、図３、図１６、および図１７においては、合成回路３５には、全ライン（フレーム）分の画素情報を有する画像を処理させるようにしたが、インターレース画像（フィールド画像）を処理させるようにしてもよい。その場合、合成回路３５の後段において、全ライン分の画素情報を有する画像の変換処理、すなわち、インターレース画像からプログレッシブ画像に変換する処理を行うようにすることができる。
【０１２９】
上述した一連の処理（図６のフローチャートで示した処理）は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、図６のフローチャートで示した処理を行う装置は、例えば、図１８に示されるようなパーソナルコンピュータにより構成される。
【０１３０】
図１８において、CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２に記憶されているプログラム、または記憶部３０８からRAM（Random Access Memory）３０３にロードされたプログラムに従って各種の処理を実行する。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１３１】
CPU３０１、ROM３０２、およびRAM３０３は、バス３０４を介して相互に接続されている。このバス３０４にはまた、入出力インタフェース３０５も接続されている。
【０１３２】
入出力インタフェース３０５には、キーボード、マウスなどよりなる入力部３０６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部３０７、ハードディスクなどより構成される記憶部３０８、モデム、ターミナルアダプタなどより構成される通信部３０９、CCDやCMOS等の撮像素子などより構成される撮像部３３１が接続されている。通信部３０９は、インターネットなどのネットワークを介しての通信処理を行う。撮像部３３１は、被写体を高速撮像し、その結果得られた画像データを入出力インタフェース３０５を介してＣＰＵ３０１等に供給する。ＣＰＵ３０１は、図３の合成回路３５等が行う処理を実行する。
【０１３３】
入出力インタフェース３０５にはまた、必要に応じてドライブ３１０が接続され、磁気ディスク３２１、光ディスク３２２、光磁気ディスク３２３、或いは半導体メモリ３２４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３０８にインストールされる。
【０１３４】
以上のように、高速撮像された複数枚の画像を合成するようにしたので、高Ｓ／Ｎの画像や、精度の良い速度抽出を行うことができる画像、その他のユーザが所望する画像を得ることが可能となる。
【０１３５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３６】
【発明の効果】
以上のごとく本発明によれば、高速撮像で得られた画像をS／Nの高い高S／N画像として出力することができる。
【０１３７】
また、本発明によれば、高精度な速度抽出を行うことができる。
【図面の簡単な説明】
【図１】ゴルフプレーヤの動きを説明する図である。
【図２】ゴルフクラブのヘッド部分をフィールド周期で撮像して得られる画像を示す図である。
【図３】本発明を適用したデジタルビデオカメラの構成例を示すブロック図である。
【図４】図３のデジタルビデオカメラに使用される信号を説明する図である。
【図５】合成回路の動作について説明する図である。
【図６】図３のデジタルビデオカメラの高速撮像画像合成処理を説明するフローチャートである。
【図７】Ｆ＝1の場合の合成回路の画像合成について説明する図である。
【図８】Ｆ＝２の場合の合成回路の画像合成について説明する図である。
【図９】合成回路の概略構成を示した図である。
【図１０】合成回路として一般的なFIRフィルタを用いた場合の概略構成を示した図である。
【図１１】本発明のデジタルカメラにおいてフィルタ係数として正の値を採用した場合に得られる合成画像を説明する図である。
【図１２】本発明のデジタルカメラにおいてフィルタ係数として正と負の値を採用した場合に得られる合成画像を説明する図である。
【図１３】ストロボの発光を印加してクラブヘッドを高速撮像して得られる画像を示す図である。
【図１４】Ｎ＝５，タップ数を６個とした場合の高速撮像された画像の合成を説明する図である。
【図１５】２フィールド周期で合成画像が出力される場合を説明する図である。
【図１６】本発明を適用したデジタルビデオカメラの第２の実施の形態の構成例を示す図である。
【図１７】本発明を適用したデジタルビデオカメラの第３の実施の形態の構成例を示す図である。
【図１８】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
３１ タイミングジェネレータ， ３２ 撮像素子， ３３ フレーム処理回路， ３４ カメラ信号処理回路， ３５ 合成回路， ３６ フィルタ係数制御回路， ３７ フィルタ係数乗算回路， ３８ 加算回路， ３９ メモリ制御回路， ４０ フレームメモリ， ４１ 記録再生回路， ４２ 表示回路，
４３ 記録媒体， ４４ 操作部
Claims (8)
- 垂直同期信号の周期より短い周期のタイミング信号を生成するタイミング信号生成手段と、
前記タイミング信号生成手段が生成するタイミング信号に従い、被写体の画像を撮像する撮像手段と、
前記撮像手段が出力する複数枚の前記画像を合成し、１枚の画像を出力する合成手段と
を備え、
前記合成手段は、
前記撮像手段が出力する前記画像にフィルタ係数を乗算する乗算手段と、
前記乗算手段の乗算結果を記憶する記憶手段と、
前記乗算手段の出力と、前記記憶手段に記憶された前記乗算結果とを加算する加算手段と、
前記フィルタ係数の数であるタップ数を変更するタップ数変更手段と
を有する
ことを特徴とする撮像装置。 - 前記フィルタ係数を変更するフィルタ係数変更手段をさらに備える
ことを特徴とする請求項１に記載の撮像装置。 - 前記撮像手段が、奇数フィールドと偶数フィールドの画像を交互に出力する場合において、
前記奇数フィールドと偶数フィールドの画像とを加算し、全ライン分の画素情報を有するプログレッシブ画像を生成するプログレッシブ画像生成手段をさらに備え、
前記合成手段は、複数枚の前記プログレッシブ画像を合成する
ことを特徴とする請求項１に記載の撮像装置。 - 前記撮像手段が出力する前記画像の信号成分を変換する変換手段をさらに備え、
前記合成手段は、前記変換手段の前段または後段に配置される
ことを特徴とする請求項１に記載の撮像装置。 - 前記合成手段は、前記垂直同期信号の周期で、合成した前記画像を出力する
ことを特徴とする請求項１に記載の撮像装置。 - 垂直同期信号の周期より短い周期のタイミング信号を生成するタイミング信号生成ステップと、
前記タイミング信号生成ステップにおいて生成されるタイミング信号に従い、被写体の画像を撮像する撮像ステップと、
前記撮像ステップの処理で得られる複数枚の前記画像を合成し、１枚の画像を出力する合成ステップと
を含み、
前記合成ステップの処理は、
前記撮像ステップの処理により撮像された前記画像にフィルタ係数を乗算する乗算ステップと、
前記乗算ステップの処理による結果である乗算結果を所定の記憶手段に記憶させる記憶ステップと、
前記乗算ステップの出力と、前記記憶手段に記憶された前記乗算結果とを加算する加算ステップと、
前記フィルタ係数の数であるタップ数を変更するタップ数変更ステップと
を有する
ことを特徴とする撮像方法。 - 垂直同期信号の周期より短い周期のタイミング信号を生成するタイミング信号生成ステップと、
前記タイミング信号生成ステップにおいて生成されるタイミング信号に従い、被写体の画像を撮像する撮像ステップと、
前記撮像ステップの処理で得られる複数枚の前記画像を合成し、１枚の画像を出力する合成ステップと
を含み、
前記合成ステップの処理は、
前記撮像ステップの処理により撮像された前記画像にフィルタ係数を乗算する乗算ステップと、
前記乗算ステップの処理による結果である乗算結果を所定の記憶手段に記憶させる記憶ステップと、
前記乗算ステップの出力と、前記記憶手段に記憶された前記乗算結果とを加算する加算ステップと、
前記フィルタ係数の数であるタップ数を変更するタップ数変更ステップと
を有する
ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 垂直同期信号の周期より短い周期のタイミング信号を生成するタイミング信号生成ステップと、
前記タイミング信号生成ステップの処理において生成されるタイミング信号に従い、被写体の画像を撮像する撮像ステップと、
前記撮像ステップの処理で得られる複数枚の前記画像を合成し、１枚の画像を出力する合成ステップと
を含み、
前記合成ステップの処理は、
前記撮像ステップの処理により撮像された前記画像にフィルタ係数を乗算する乗算ステップと、
前記乗算ステップの処理による結果である乗算結果を所定の記憶手段に記憶させる記憶ステップと、
前記乗算ステップの出力と、前記記憶手段に記憶された前記乗算結果とを加算する加算ステップと、
前記フィルタ係数の数であるタップ数を変更するタップ数変更ステップと
を有する
処理をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003009127A JP4214781B2 (ja) | 2003-01-17 | 2003-01-17 | 撮像装置および方法、記録媒体、並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003009127A JP4214781B2 (ja) | 2003-01-17 | 2003-01-17 | 撮像装置および方法、記録媒体、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004222109A JP2004222109A (ja) | 2004-08-05 |
| JP4214781B2 true JP4214781B2 (ja) | 2009-01-28 |
Family
ID=32898708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003009127A Expired - Fee Related JP4214781B2 (ja) | 2003-01-17 | 2003-01-17 | 撮像装置および方法、記録媒体、並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4214781B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006129069A (ja) | 2004-10-28 | 2006-05-18 | Canon Inc | 撮像装置及び撮像方法 |
| JP4781147B2 (ja) * | 2006-03-30 | 2011-09-28 | キヤノン株式会社 | 撮像装置及び画像処理方法 |
| JP4979969B2 (ja) | 2006-04-03 | 2012-07-18 | 三星電子株式会社 | 撮像装置および撮像方法 |
| JP2007282134A (ja) * | 2006-04-11 | 2007-10-25 | Olympus Imaging Corp | 撮像装置 |
| JP5304080B2 (ja) * | 2008-07-30 | 2013-10-02 | 株式会社ニコン | 画像再生装置および画像再生プログラム |
-
2003
- 2003-01-17 JP JP2003009127A patent/JP4214781B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004222109A (ja) | 2004-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20110242368A1 (en) | Image pickup apparatus, image pickup system, and image pickup method | |
| JP2003158653A (ja) | ディジタル・ムービ・カメラおよびその動作制御方法 | |
| KR101108640B1 (ko) | 동영상을 기록하는 기록 장치, 기록 방법 및 컴퓨터로 판독 가능한 기록 매체 | |
| JP2009194770A (ja) | 撮像装置、動画再生装置及びそのプログラム | |
| JP2009111518A (ja) | 撮像装置、画像再生装置及びそのプログラム、画像ファイルのデータ構造 | |
| JP2007104623A (ja) | 映像信号伝送システム、撮像装置、信号処理装置および映像信号伝送方法 | |
| JP5829122B2 (ja) | 撮像装置および評価値生成装置 | |
| JP4214781B2 (ja) | 撮像装置および方法、記録媒体、並びにプログラム | |
| JP2004336608A (ja) | 画像データの変換方法および変換回路と、電子カメラ | |
| KR100766074B1 (ko) | 주사변환이 가능한 감시카메라 및 주사변환방법 | |
| KR100943932B1 (ko) | 촬상장치 | |
| JP2010004396A (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
| JP3399454B2 (ja) | デジタルカメラ及び画像処理方法、並びに画像撮影プログラムを記録した記録媒体 | |
| JP4178455B2 (ja) | フレーム変換方法、フレーム変換回路および電子カメラ | |
| JP2005184693A (ja) | 画像信号処理装置 | |
| JP5315093B2 (ja) | 撮像装置および撮像方法 | |
| JPH11298783A (ja) | 撮像装置、及び撮像方法 | |
| JP3489852B2 (ja) | 高精細撮像装置 | |
| JP2003092764A (ja) | 画像信号処理装置 | |
| JPH07322114A (ja) | 撮像装置 | |
| JP2006229552A (ja) | ビデオカメラ | |
| JPH11313239A (ja) | 撮像装置 | |
| JP3078024B2 (ja) | 映像信号記録再生処理装置 | |
| JP4070550B2 (ja) | 画像信号処理装置 | |
| JP4956341B2 (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051005 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080715 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080910 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081014 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081027 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4214781 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131114 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |