JP5268500B2 - 画像記録装置、画像再生装置、並びに画像処理装置および方法 - Google Patents

Description

本発明は、画像を撮像し、その画像データを記録媒体に記録する画像記録装置、記録媒体に記録された画像データを再生して出力する画像再生装置、並びに画像処理装置および方法に関する。

近年、デジタルビデオカメラ、デジタルカメラにおいては、動画像並びに静止画像を撮影できるものがある。このようなデジタルビデオカメラ、デジタルカメラは、動画撮影モード／静止画撮影モードを備え、動画を撮影したい場合、カメラ本体を動画撮影モードにして撮影し、静止画を撮影したい場合、静止画撮影モードにして撮影する。

例えば、静止画を撮影する場合、ブラケット撮影をすることが行われる。これは、１回の撮影指示によって、複数の露出条件で静止画を撮影して記録媒体に記録しておき、その複数の撮影画像の中から、撮影者が自分の意図したものに一番近いものを選択できるというものである。

また、動画撮影において、ｍ種類（ｍは２以上の整数）の露出条件を準備し、１秒間にｍ×ｎ（ｎは２以上の整数）フレームレートで、ｍ種類の露出条件を１フレーム毎に切り替えながら撮影しておく。そして、再生時に同じ露出条件のフレームを１秒間にｎフレームレートで再生するということが提案されている（特許文献１参照）。
特開２００４−８０３７６公報

しかしながら、上記従来の画像記録装置および画像再生装置では、再生時に露出条件を変えた画像を得ることは可能であるが、画像の先鋭度（ボケ具合、解像感）を選択することはできなかった。

例えば、スポーツをしているところを、動画あるいは静止画で撮影した場合、後から再生してみると、見たかったシーンがボケていたり、ブレていたりしても、選択する余地がなかった。ましてや撮影し直すことはできなかった。

そこで、本発明は、撮影者が記録時に意図していた先鋭度で再生できるばかりでなく、解像度が足りなくてボケていた場合でも、撮影後に記録時の先鋭度を変更して再生することが可能である画像記録装置、画像再生装置、並びに画像処理装置および方法を提供することを目的とする。

上記目的を達成するために、本発明の画像記録装置は、動画像を撮像し、その画像データを記録媒体に記録する画像記録装置であって、動画像を撮像する撮像手段と、前記撮像手段からフレーム毎の画像データを読み出す読出手段と、前記読出手段によって読み出される画像データの読み出し時間を設定する読み出し時間設定手段と、前記画像データを再生する際の再生レートに基づく１フレーム期間内で有効な画像として撮像される期間を示す画像有効時間を設定する画像有効時間設定手段と、前記設定された読み出し時間毎に前記読出手段によって連続して読み出される画像データとともに、前記読み出し時間および前記画像有効時間を示す情報を前記記録媒体に記録する記録手段とを備えたことを特徴とする。

本発明の画像再生装置は、記録媒体に記録された画像データを再生し、動画像として出力する画像再生装置であって、前記記録媒体に記録された画像データをフレーム毎に再生する再生手段と、前記フレーム毎に再生される画像データの読み出し時間を示す情報を前記記録媒体から読み込んで設定する読み出し時間設定手段と、再生レートを設定する再生レート設定手段と、前記再生レートに基づく１フレーム期間内で有効な画像として撮像される期間を示す画像有効時間の情報を前記記録媒体から読み込んで設定する画像有効時間設定手段と、前記設定された再生レート毎に前記設定された画像有効時間分に相当するフレーム数の画像データを合成する画像合成手段とを備え、前記合成された画像データを前記動画像として出力することを特徴とする。

本発明の画像記録装置は、静止画像を撮像し、その画像データを記録媒体に記録する画像記録装置であって、静止画像を撮像する撮像手段と、前記撮像手段からフレーム毎の画像データを読み出す読出手段と、前記読出手段によって読み出される画像データの読み出し時間を設定する読み出し時間設定手段と、静止画像として取り込む期間を示す画像有効時間を設定する画像有効時間設定手段と、前記記録媒体に記録される画像データの記録時間を設定する撮影時間設定手段と、静止画撮影を開始した時点である撮影点を設定する撮影点設定手段と、前記設定された読み出し時間毎に前記読出手段によって連続して読み出される画像データとともに、前記読み出し時間、前記画像有効時間、前記記録時間および前記撮影点を示す情報を前記記録媒体に記録する記録手段とを備えたことを特徴とする。

本発明の画像再生装置は、記録媒体に記録された画像データを再生し、静止画像として出力する画像再生装置であって、前記記録媒体に記録された画像データをフレーム毎に再生する再生手段と、前記フレーム毎に再生される画像データの読み出し時間を示す情報を前記記録媒体から読み込んで設定する読み出し時間設定手段と、静止画像として取り込む期間を示す画像有効時間の情報を前記記録媒体から読み込んで設定する画像有効時間設定手段と、前記再生される画像データの記録時間を示す情報を前記記録媒体から読み込んで設定する記録時間設定手段と、静止画撮影を開始した時点である撮影点を示す情報を前記記録媒体から読み込んで設定する撮影点設定手段と、前記設定された撮影点から前記設定された画像有効時間分に相当するフレーム数の画像データを合成する画像合成手段とを備え、前記合成された画像データを前記静止画像として出力することを特徴とする。

本発明では、例えば動画像撮影の場合、読み出し時間毎に連続して読み出される画像データとともに、読み出し時間および画像有効時間を示す情報を記録媒体に記録する。これにより、撮影者が意図する画像有効時間（シャッタ速度）をデータとして記録することができる。そして、再生時、そのデータを利用することで、撮影後の動画像の先鋭度を変更して視ることが可能となる。このように、撮影者が記録時に意図していた先鋭度で再生できるばかりでなく、解像度が足りなくてボケていた場合でも、撮影後に記録時の先鋭度を変更して再生することが可能である。

本発明の実施の形態について図面を参照しながら説明する。本実施形態に係わる画像記録装置および画像再生装置は画像記録再生装置に適用される。

［第１の実施形態］
第１の実施形態では、動画像データの記録および再生について説明する。始めに、動画像データを記録する場合を示す。図１は第１の実施形態における画像記録再生装置内の画像記録回路の構成を示すブロック図である。画像記録再生装置として、デジタルビデオカメラ等が挙げられる。

この画像記録回路は、撮像回路１０１、信号処理回路１０２、バッファ１０３、記録回路１０４、記録媒体１０５、読み出し制御回路１０６、管理情報生成回路１０７および制御回路１０８を有する。また、画像記録回路は、仮想再生レート設定回路１０９、読み出し時間設定回路１１０、記録画像有効時間設定回路１１１および入力端子１１２、１１３、１１４、１１５を有する。

撮像回路１０１は撮像素子と、撮像画像の読出部とを有し、撮像素子によって動画像を撮像し、読出手段によって設定された読み出し時間毎にフレーム毎の画像データを読み出し、信号処理回路１０２に出力する。信号処理回路１０２は、カメラ信号処理のほか、必要に応じて画像圧縮等を行う。バッファ１０３は、信号処理回路１０２から出力される画像データを一時的に記憶する（バッファする）。記録回路１０４は信号処理回路１０２からの画像信号（画像データ）を記録媒体１０５に記録する。記録媒体１０５には画像データが記録される。

読み出し制御回路１０６は撮像回路１０１を制御する。管理情報生成回路１０７は、記録媒体１０５に記録される画像データの管理情報を生成する。仮想再生レート設定回路１０９は再生時の再生レートを設定する。読み出し時間設定回路１１０は撮像回路１０１における画像データの読み出し時間を設定する。記録画像有効時間設定回路１１１は再生レートに基づく１フレーム期間内で有効な画像として撮像される期間を示す画像有効時間を設定する。

上記構成を有する画像記録回路の記録動作を示す。図２は画像データの記録動作を示すタイミングチャートである。読み出し時間設定回路１１０は、撮像素子からフレーム画像として読み出すための読み出し時間Ｄｔ（図２では１／１２００秒）を制御回路１０８に設定する。

仮想再生レート設定回路１０９は、再生対象となるフレームレートＦｔ（秒）を制御回路１０８に設定する。図２では、フレームレートＦｔ＝１／３０秒およびフィールドレートＶｔ＝１／６０秒が設定される。

記録画像有効時間設定回路１１１は、撮影者による設定、システムのモード（Ｔｖモードなど）設定等により、画像有効時間Ｓｔ（図２では、Ｓｔ＝１／１００秒）を制御回路１０８に設定する。

制御回路１０８は、読み出し時間設定回路１１０により設定された読み出し時間Ｄｔを読み出し制御回路１０６に設定する。読み出し制御回路１０６は、フレーム画像としての読み出し時間Ｄｔ（図２では、１／１２００秒）で撮像回路１０１を駆動し、撮像回路１０１から撮像データを出力させる。

信号処理回路１０２は、撮像回路１０１から出力される撮像データに、色抽出、γ補正などのカメラ信号処理を施し、画像データとして出力する。

撮影者がユーザインタフェース（図示せず）を介して記録開始を指示すると、その指示信号は入力端子１１５から制御回路１０８に入力される。制御回路１０８は、記録を開始する記録開始タイミングＰ（０）（図２参照）を各ブロックに指示する。信号処理回路１０２は、カメラ信号処理を行った画像データに対し、必要に応じて画像圧縮を行い、バッファ１０３に供給する。

制御回路１０８は、さらに、仮想再生レート設定回路１０９に設定されている再生レートであるフレームレートＦｔ（フィールドレートＶｔ）に従って、記録タイミングＰｑ（０）、Ｐ（１）、Ｐｑ（１）、Ｐ（２）、……を管理情報生成回路１０７に供給する。

制御回路１０８は、さらに、記録画像有効時間設定回路１１１から供給された画像有効時間Ｓｔを管理情報生成回路１０７に供給する。

管理情報生成回路１０７は、制御回路１０８から供給された記録タイミングＰｑ（０）、Ｐ（１）、Ｐｑ（１）、Ｐ（２）、……を、対応する各フレーム画像データに一致させ、フラグを付加する。さらに、管理情報生成回路１０７は、各フレーム画像データに、読み出し時間Ｄｔ、フレームレートＦｔ（フィールドレートＶｔ）、画像有効時間Ｓｔ等の管理情報を付加し、バッファ１０３に一時的に記憶（バッファ）されている画像データを多重化する。

管理情報が多重化された画像データはバッファ１０３から記録回路１０４に供給される。記録回路１０４は、記録媒体１０５に記録するために必要な誤り訂正処理、変調等を施し、処理等が施された画像データを記録媒体１０５に記録する。

管理情報生成回路１０７は、記録回路１０４を介して記録媒体１０５に記録される各フレーム画像データに対し、図３に示すように、記録開始タイミングＰ（０）からのオフセットアドレスを生成する。管理情報生成回路１０７は、このオフセットアドレスに、撮像回路１０１からの読み出し時間Ｄｔ、再生対象となるフレームレートＦｔ、フィールドレートＶｔ、画像有効時間Ｓｔの情報を加えて管理情報データとする。そして、管理情報生成回路１０７は、記録媒体１０５に画像データを記録していない時、バッファ１０３および記録回路１０４を介して管理情報データを記録媒体１０５に記録する。

図３は管理情報データを示すテーブルである。このテーブルには、読み出し時間Ｄｔ、フレームレートＦｔ、フィールドレートＶｔ、画像有効時間（期間）Ｓｔ、記録タイミングＰｑ（０）、Ｐ（１）、……、が示されている。さらに、このテーブルには、各フレーム画像データ毎の記録開始タイミングＰ（０）からのオフセットアドレス（ａｄｄｒｅｓｓ１、２、……、Ｎ）が示されている。なお、管理情報データは、前述したように、画像データに付加して記録されてもよいし、画像データとは別ファイルで記録されてもよい。

また、画像記録回路では、画像有効時間Ｓｔだけでなく読み出し時間Ｄｔについても設定変更可能であるが、少なくとも数式（１）の関係を満たす必要がある。

Ｄｔ ＜ Ｓｔ ……（１）
また、フレームレートＦｔ、フィールドレートＶｔについても設定変更が可能である。例えば、Ｆｔ＝１／２５秒、Ｖｔ＝１／５０秒、あるいはＦｔ＝１／６０秒、Ｖｔ＝１／６０秒等に設定が変更可能である。

つぎに、記録媒体１０５に記録された動画像データを再生する場合を示す。図４は画像記録再生装置内の画像再生回路の構成を示すブロック図である。この画像再生回路は、記録媒体１０５に記録された画像データを再生するものである。画像再生回路は、再生回路４０１、バッファ４０２、出力画像生成回路４０３、出力端子４０４および管理情報抽出回路４０５を有する。また、画像再生回路は、記録画像レート設定回路４０６、画像有効時間設定回路４０７、再生レート設定回路４０８、再生制御回路４０９および入力端子４１０を有する。

前述したように、記録媒体１０５には、画像データおよび管理情報データが記録されている。再生回路４０１は記録媒体１０５に記録されている画像データを再生する。バッファ４０２は再生回路４０１で再生された画像データを一時的に記憶する（バッファする）。出力画像生成回路４０３（画像合成手段）は、バッファ４０２から出力される画像データに対し、合成等を行って出力する。

管理情報抽出回路４０５は、再生回路４０１から出力される画像データに多重化されている管理情報を抽出して記憶する。記録画像レート設定回路４０６は、管理情報抽出回路４０５からの情報に従って、記録媒体１０５に記録されている画像データの記録時のフレームレート（読み出し時間Ｄｔ）を再生制御回路４０９に設定する。画像有効時間設定回路４０７は、管理情報抽出回路４０５からの情報に従って、画像有効時間Ｓｔを再生制御回路４０９に設定する。

再生レート設定回路４０８は、管理情報抽出回路４０５からの情報に従って、再生レートを再生制御回路４０９に設定する。再生制御回路４０９は、再生回路４０１、バッファ４０２、出力画像生成回路４０３等の各ブロックを、設定されたパラメータに従って制御し、再生画像を生成させる。入力端子４１０は再生条件などのパラメータを再生制御回路４０９に入力するためのものである。

上記構成を有する画像再生回路の再生動作を示す。再生時、再生制御回路４０９は、再生回路４０１を制御し、記録媒体１０５に記録されている管理情報データを読み出し、再生回路４０１を介して管理情報抽出回路４０５に供給する。管理情報抽出回路４０５は、供給された管理情報データを記憶するとともに、記録時に記録された読み出し時間Ｄｔ（図２の１／１２００秒）を抽出し、記録画像レート設定回路４０６に供給する。

また、管理情報抽出回路４０５は、画像有効時間Ｓｔ（図２のＳｔ＝１／１００秒）を画像有効時間設定回路４０７に供給する。さらに、管理情報抽出回路４０５は、再生レート（図２のＦｔ＝１／３０秒、Ｖｔ＝１／６０秒）を再生レート設定回路４０８に供給する。

再生制御回路４０９は、管理情報データの読み出しを終えると、再生回路４０１を制御する。すなわち、再生制御回路４０９は、記録媒体１０５に記録されている画像データの再生を、管理情報抽出回路４０５に記録されている管理情報を基に、記録開始タイミングＰ（０）のフレームから開始する。例えば、図３に示すように、記録開始タイミングＰ（０）として記録されているアドレス（ａｄｄｒｅｓｓ）の「０」を基に、再生が開始される。図５および図６は再生時における記録媒体からの画像データの読み出しを示すタイミングチャートである。

再生時、再生制御回路４０９は、記録画像レート設定回路４０６に設定されている読み出し時間Ｄｔに基づき、再生回路４０１を制御する。つまり、再生回路４０１は、図５（ａ）に示すように、１フレームの画像データを、少なくとも読み出し時間Ｄｔに間に合うレートで記録媒体１０５から読み出し、バッファ４０２に供給する。

また、再生制御回路４０９は、画像有効時間設定回路４０７に設定されている画像有効時間Ｓｔおよび記録画像レート値（読み出し時間）Ｄｔを基に、数式（２）に従ってフレーム数Ｆｐ（画像有効時間分に相当するフレーム数）を計算する。

Ｆｐ ＝ Ｓｔ ／Ｄｔ ……（２）
再生制御回路４０９は、図５（ｂ）に示すように、記録開始タイミングＰ（０）から再生された再生フレームのうち、数式（２）で計算されたフレーム数Ｆｐに相当するフレーム（［ｔａ０，ｔａ１］の区間のフレーム）をバッファ４０２から読み出す。そして、再生制御回路４０９は読み出したフレームを出力画像生成回路４０３に供給する。

出力画像生成回路４０３は、バッファ４０２から供給されたフレーム数Ｆｐの画像データを合成し、１枚の画像データＰｒ０を作成する。図５（ｃ）に示すように、記録開始タイミングＰ（０）時点から再生レートＶｔ（秒）の代表画像として、画像データＰｒ０が出力端子４０４から出力される。

同様に、図５（ｂ）に示すように、記録タイミングＰｑ（０）において、［ｔａ２，ｔａ３］区間のフレーム数Ｆｐの画像データが出力画像生成回路４０３で合成される。図５（ｃ）に示すように、記録タイミングＰｑ（０）時点から再生レートＶｔ（秒）の代表画像として、画像データＰｒ１が出力端子４０４から出力される。同様に、画像データＰｒ２、Ｐｒ３、Ｐｒ４が出力端子４０４から出力され、出力端子４０４に接続されるモニタ（図示せず）等で視ることができる。

ここで、ユーザは、モニタで視た際、再生画像がボケているので、もう少し先鋭な画像、つまり時間的な解像度（時間方向の解像度）が欲しいと思った場合、メニュー、ボタン等のユーザインタフェース（図示せず）から指示することが可能である。すなわち、時間方向の解像度を変更する指示が入力端子４１０から再生制御回路４０９に入力される。再生制御回路４０９は、時間方向の解像度を上げる指示が行われると、画像有効時間設定回路４０７に対し、画像有効時間Ｓｔｓを新たに設定する（図６（ｄ）参照）。新たに設定された画像有効時間Ｓｔｓは、それ以前に設定された画像有効時間Ｓｔに対して数式（３）の関係を満たすものであり、例えば１／２００秒である。

Ｓｔｓ ＜ Ｓｔ ……（３）
再生制御回路４０９は、画像有効時間設定回路４０７に設定された画像有効時間Ｓｔｓ、および記録画像レート設定回路４０６に設定されている記録画像レート値（画像読み出し時間）Ｄｔを基に、数式（４）に従って新たなフレーム数Ｆｐｓを計算する。

Ｆｐｓ ＝ Ｓｔｓ ／Ｄｔ ……（４）
計算された新たなフレーム数Ｆｐｓは、それ以前に設定されたフレーム数Ｆｐに対して数式（５）の関係を満たすものである。

Ｆｐｓ ＜ Ｆｐ ……（５）
再生制御回路４０９は、図６（ｄ）に示すように、記録開始タイミングＰ（０）の時点から再生された再生フレームのうち、数式（４）で計算されたフレーム数Ｆｐｓに相当するフレームをバッファ４０２から読み出し、出力画像生成回路４０３に供給する。このフレーム数Ｆｐｓに相当するフレームは、図６（ｄ）に示す［ｔａ０，ｔｂ０］の区間のフレームである。

出力画像生成回路４０３は、バッファ４０２から供給されたフレーム数Ｆｐｓのフレームを合成し、１枚の画像データＰｒｓ０を作成する。図６（ｅ）に示すように、記録開始タイミングＰ（０）から再生レートＶｔの代表画像として、画像データＰｒｓ０が出力端子４０４から出力される。

同様に、図６（ｄ）に示すように、記録タイミングＰｑ（０）において、［ｔａ２，ｔｂ１］区間のフレーム数Ｆｐｓのフレームが出力画像生成回路４０３で合成される。そして、記録タイミングＰｑ（０）の代表画像として、画像データＰｒｓ１が出力端子４０４から出力される。以降同様に、画像データＰｒｓ２、Ｐｒｓ３、Ｐｒｓ４が出力され、出力端子４０４に接続されたモニタ（図示せず）等で視ることができる。

これにより、ユーザは、画像データＰｒ０、Ｐｒ１、Ｐｒ２、Ｐｒ３、Ｐｒ４、……よりもボケの少ない、時間的に解像度の高い画像を視ることができる。

また、画像記録再生装置は、上記のように記録することで、再生時、再生レートＦｔに合わせて、記録されている画像データの画像有効時間Ｓｔ分のフレームを使って再生画像を生成する。このとき、再生画像がボケていたり、ブレている場合、画像有効時間Ｓｔを短く設定して再生することで、より先鋭な画像が得られる。逆に、動きが少ない画像で、ノイズ感をもっと小さくしたいような場合、画像有効時間Ｓｔを長くして再生することも可能である。

第１の実施形態の画像記録再生装置は、動画像データを記録する際、高速な読み出し時間Ｄｔで撮像を行い、撮像された画像を全て記録すると共に、再生レートＦｔ（Ｖｔ）、読み出し時間Ｄｔおよび画像有効時間Ｓｔを画像データと共に記録媒体に記録する。そして、画像記録再生装置は、動画像データの再生時、再生レートに合わせて、画像有効時間Ｓｔ内で記録されている画像データを元に再生する。これにより、撮影者の意図した再生を行うことができる。また、先鋭度を変更したい場合、画像有効時間Ｓｔを再生時に変更することで、先鋭度の異なる再生画像を得ることができる。

このように、動画像撮影の場合、読み出し時間毎に連続して読み出される画像データとともに、読み出し時間および画像有効時間を記録媒体に記録する。これにより、撮影者が意図する画像有効時間（シャッタ速度）をデータとして記録することができる。そして、再生時、そのデータを利用することで、撮影後の動画像の先鋭度を変更して視ることが可能となる。すなわち、撮影者が記録時に意図していた先鋭度で再生できるばかりでなく、解像度が足りなくてボケていた場合でも、撮影後に記録時の先鋭度を変更して再生することが可能である。また、再生時、再生レートを記録媒体から読み出して利用することができる。また、画像テータおよびその管理情報を１つのファイルとして取り扱うことができる。また、飛び越し走査による画像データの再生にも対応することができる。また、読み出し時間を有効な範囲内で任意に設定することができる。また、再生時、再生レートに合わせて、画像有効時間内に記録されている画像データを再生することで、撮影者の意図した動画像の再生を行うことができる。また、合成されるフレーム数を容易に調整することができる。また、再生時に設定する操作を行うことなく、撮影時に撮影者の意図した先鋭度で記録した再生画像を得ることができる。また、再生される動画像の再生レートが変更可能である。また、再生される動画像がブレていたり、ボケていたりして、先鋭度を変更したい場合、画像有効時間を再生時に変更することで、より先鋭な再生画像を得ることが可能になる。

なお、本実施形態では、再生レートＦｔ（Ｖｔ）、読み出し時間Ｄｔおよび画像有効時間Ｓｔは画像データに多重化されて記録媒体に記録されたが、これらの情報は画像データのメタデータとして記録媒体に記録されるようにしてもよい。

また、再生レート毎に合成される画像データの開始フレーム位置は変更可能であってもよい。これにより、再生される動画像のシーンをずらすことができる。

［第２の実施形態］
第２の実施形態では、静止画像データの記録および再生ついて説明する。始めに、静止画像データを記録する場合を示す。図７は第２の実施形態における画像記録再生装置内の画像記録回路の構成を示すブロック図である。画像記録再生装置として、デジタルＳＬＲ（一眼レフカメラ）が挙げられる。

画像記録回路は、撮像回路６０１、信号処理回路６０２、バッファ６０３、記録回路６０４、記録媒体６０５、読み出し制御回路６０６、管理情報生成回路６０７および制御回路６０８を有する。また、画像記録回路は、撮影時間設定回路６１０、撮影点設定回路６１２、読み出し時間設定回路６１４、記録画像有効時間設定回路６１６および入力端子６０９、６１１、６１３、６１５、６１７を有する。

撮像回路６０１は撮像素子と、撮像画像の読出部とを有し、撮像素子によって静止画像を撮像し、読出手段によって設定された読み出し時間毎に撮像された静止画像を表わすフレーム画像データを読み出し、信号処理回路６０２に出力する。信号処理回路６０２はカメラ信号処理のほか、必要に応じて画像圧縮等を行う。バッファ６０３は信号処理回路６０２からの出力を一時的に記憶する（バッファする）。記録回路６０４は信号処理回路６０２からの画像信号を記録媒体６０５に記録する。読み出し制御回路６０６は撮像回路６０１を制御する。

管理情報生成回路６０７は記録される画像データの管理情報を生成する。入力端子６０９には、制御回路６０８への制御パラメータが入力される。撮影時間設定回路６１０は１回の撮影で記録される画像データの撮影時間を設定する。撮影点設定回路６１２は撮影時間設定回路６１０で設定された撮影時間内で記録される画像データのうち、撮影者がシャッタを押して静止画として取り込む時点（撮影点）を示す時間を設定する。

読み出し時間設定回路６１４は撮像回路６０１における画像データの読み出し時間を設定する。記録画像有効時間設定回路６１６は、撮影者がシャッタを押して静止画として取り込んだ期間を示す画像有効時間を設定する。また、記録画像有効時間設定回路６１６は、撮影者による設定、システムのモード（Ｔｖ、Ａｖ、ＡＵＴＯモードなど）設定等により、画像有効時間Ｃｔを制御回路６０８に設定する。

上記構成を有する画像記録回路の記録動作を示す。図８は画像データの記録動作を示すタイミングチャートである。図８では、画像有効時間Ｃｔ＝１／２００秒に設定されている。読み出し時間設定回路６１４は、図８に示すように、撮像素子からのフレーム画像としての読み出し時間Ｄｔ（秒）を制御回路６０８に設定する。図８では、読み出し時間Ｄｔ＝１／１２００秒に設定されている。

撮影時間設定回路６１０は、図８に示すように、静止画撮影を行った時に記録される画像データの撮影時間Ｒｔ（秒）を制御回路６０８に設定する。図８では、撮影時間Ｒｔ＝１／１２秒に設定されている。

撮影点設定回路６１２は、撮影者がシャッタを押した時、静止画撮影を行った時点（図８の時点Ｓ（１））から遡ってどの時点から記録するかを示す撮影点Ｐｔを制御回路６０８に設定する。つまり、撮影点Ｐｔは、記録された画像データのどの時点から撮影者が静止画として取り込んだ画像データであるかを示す。図８では、Ｐｔ＝１／２４秒に設定されている。このように、撮影開始時、撮影点からオフセット時間だけ遡った時点からの画像データが記録媒体に記録される。さらに、記録時間からオフセット時間だけ差し引いた時間分の画像データが記録媒体に記録される。

上記パラメータは設定変更であるが、少なくとも数式（６）に示す関係を満たす必要がある。

Ｄｔ ≦ Ｃｔ ＜ Ｒｔ ……（６）
制御回路６０８は、読み出し時間設定回路６１４に設定された読み出し時間Ｄｔを読み出し制御回路６０６に設定する。読み出し制御回路６０６は、撮像回路６０１を読み出し時間Ｄｔ（図８では、１／１２００秒）で駆動し、撮像回路６０１から撮像データ（画像データ）を出力させる。

信号処理回路６０２は、撮像回路６０１から出力される撮像データに、色抽出、γ補正などのカメラ信号処理を施し、画像データとして出力する。さらに、信号処理回路６０２は、必要に応じて、カメラ信号処理を行った画像データに対し、画像圧縮を行い、バッファ６０３に供給する。バッファ６０３は信号処理回路６０２から供給される画像データを蓄積していく。

ここで、撮影者が静止画を撮影しようとしてシャッタ（図示せず）を押した時、その記録開始の指示情報が入力端子６０９から制御回路６０８に入力される。

制御回路６０８は、記録開始指示情報を受け取ったタイミングで撮像回路６０１から読み出される画像データに対し、時点Ｓ（１）のマーキングを行う。制御回路６０８は、バッファ６０３に蓄積されている画像データに対し、マーキングが行われた時点Ｓ（１）から撮影点Ｐｔ（図８では、Ｐｔ＝１／２４秒）遡った時点Ｓ（０）から、記録回路６０４を介して記録媒体６０５に記録していくように、制御する。

記録を開始すると、記録回路６０４は、記録媒体６０５に記録するために必要な誤り訂正処理、変調等を施し、記録媒体６０５に記録する。制御回路６０８は、撮影点Ｐｔ、撮影時間Ｒｔ、読み出し時間Ｄｔおよび画像有効時間Ｃｔを管理情報生成回路６０７に供給する。

管理情報生成回路６０７は、読み出し時間Ｄｔ、撮影点Ｐｔ、撮影時間Ｒｔ、画像有効時間Ｃｔ等を含む管理情報データを作成する。図９は管理情報データを示すテーブルである。管理情報生成回路６０７は、撮影時点Ｓ（１）の画像データのオフセットアドレスａｄｄｒｅｓｓＳ１、各フレーム画像データのオフセットアドレスａｄｄｒｅｓｓ１、ａｄｄｒｅｅｓ２、……、を作成する。そして、管理情報生成回路６０７は、作成したこれらのデータをバッファ６０３に管理情報データとしてバッファしていく。ここで、撮影時点Ｓ（１）の画像データのオフセットアドレスａｄｄｒｅｓｓＳ１とは、記録される画像データの、記録を開始した時点Ｓ（０）のアドレスからのオフセットアドレスである。

画像データの記録が記録時間（撮影時間）Ｒｔで終えた後、記録回路６０４は、一連の画像データに対し、この管理情報データを付加データとして記録する。

なお、記録回路６０４は、撮影時間Ｒｔの間、画像データをバッファ６０３に蓄積し、管理情報データを先に記録媒体６０５に記録してから、画像データを記録するようにしてもよい。あるいは、記録回路６０４は、管理情報データを別ファイルとして記録媒体６０５に記録するようにしてもよい。

つぎに、記録媒体６０５に記録された静止画像データを再生する場合について説明する。図１０は画像記録再生装置における画像再生回路の構成を示すブロック図である。この画像再生回路は、再生回路７０１、バッファ７０２、出力画像生成回路７０３、出力端子７０４および管理情報抽出回路７０５を有する。また、画像再生回路は、記録時間設定回路７０６、再生開始点設定回路７０７、記録画像レート設定回路７０８、画像有効時間設定回路７０９、再生制御回路７１０および入力端子７１１を有する。

ここで、前述したように、記録媒体６０５には、画像データおよび管理情報データが記録されている。再生回路７０１は記録媒体６０５に記録されている画像データを再生する。バッファ７０２は再生回路７０１で再生された画像データを一時的に記憶する（バッファする）。

出力画像生成回路７０３は、バッファ７０２から出力される画像データを合成して出力用の画像データとする。出力端子７０４には、画像データが出力される。管理情報抽出回路７０５は、再生回路７０１で再生される管理情報を抽出し、記憶する。記録時間設定回路７０６は、管理情報抽出回路７０５からの情報に従って、記録媒体６０５に記録されている画像データの撮影時間を設定する。

再生開始点設定回路７０７は撮影点を設定する。記録画像レート設定回路７０８は記録時のレート（読み出し時間）を設定する。画像有効時間設定回路７０９は画像有効時間を設定する。再生制御回路７１０は、設定されたパラメータに従って、再生回路７０１、バッファ７０２、出力画像生成回路７０３等の各ブロックを制御し、再生画像を生成させる。入力端子７１１には、再生制御回路７１０への再生条件などのパラメータが入力される。

上記構成を有する画像再生回路の再生動作を示す。再生時、再生制御回路７１０は、再生回路７０１を制御し、記録媒体６０５に記録されている管理情報データを読み出し、再生回路７０１を介して管理情報抽出回路７０５に供給する。

管理情報抽出回路７０５は、供給された管理情報データを記憶するとともに、記録時に記録された読み出し時間Ｄｔ（図８の１／１２００秒）を抽出し、記録画像レート設定回路７０８に供給する。また、管理情報抽出回路７０５は、画像有効時間Ｃｔ（図８のＣｔ＝１／２００秒）を画像有効時間設定回路７０９に供給する。また、管理情報抽出回路７０５は、撮影時間Ｒｔ（図８のＲｔ＝１／１２秒）を記録時間設定回路７０６に供給する。また、管理情報抽出回路７０５は、撮影点Ｐｔ（図８のＰｔ＝１／２４秒）を再生開始点設定回路７０７に供給する。

管理情報データの読み出しが終わると、再生制御回路７１０は、管理情報抽出回路７０５に記憶された管理情報データを基に、数式（７）に従って有効なフレーム枚数Ｇｐを計算する。

Ｇｐ ＝ Ｃｔ／Ｄｔ ……（７）
再生制御回路７１０は、管理情報抽出回路７０５に記憶された管理情報データを基に、数式（７）で計算されるフレーム枚数Ｇｐの画像データを、再生回路７０１を介してマーキングされた時点Ｓ（ １ ）の画像データから連続して読み出す。そして、再生制御回路７１０は、読み出された画像データをバッファ７０２に供給する。つまり、再生制御回路７１０は、図８の［ｔｓ０，ｔｓ１］区間のフレーム画像データを読み出し、バッファ７０２に記憶する。

なお、本実施形態では、有効なフレーム枚数Ｇｐを、数式（７）に従った計算により求めたが、記録時に管理情報データとして記録しておき、再生時に読み出すようにしてもよい。また、記録媒体６０５に記録された画像データから、数式（８）に従って、静止画撮影時までのフレーム数を計算し、管理情報抽出回路７０５に記憶されている各フレーム画像データのテーブルから時点Ｓ（０）の記録位置を知るようにしてもよい。

Ｃｐｆ ＝ Ｐｔ／Ｄｔ ……（８）
再生制御回路７１０は、バッファ７０２に記憶されたフレーム枚数Ｇｐのフレーム画像データを出力画像生成回路７０３に出力する。出力画像生成回路７０３は、図８のフレーム枚数Ｇｐのフレーム画像データから１枚のフレーム画像データを生成し、出力端子７０４から出力させる。図１１はフレーム枚数Ｇｐのフレーム画像データから１枚のフレーム画像データを生成する様子を示す図である。フレーム画像データは、出力端子７０４に接続されたモニタ、プリンタ等に出力される。ユーザはモニタの出力画像あるいは印刷された画像を視ることができる。

このとき、ユーザは、画像がブレているので、もう少し先鋭にしたいと思った場合、メニュー、ボタン等のユーザインタフェース（図示せず）からその指示を行う。そして、時間方向の解像度を変更する指示が入力端子７１１から再生制御回路７１０になされる。

図１２は画像データの再生動作を示すタイミングチャートである。再生制御回路７１０は、時間方向の解像度を上げる指示がなされると、画像有効時間設定回路７０９に対し、新たな画像有効時間Ｃｔｓを設定する。この新たな画像有効時間Ｃｔｓは、数式（９）を満たすように設定され、例えばＣｔｓ＝１／４００秒である。

Ｃｔｓ ＜ Ｃｔ ……（９）
再生制御回路７１０は、画像有効時間設定回路７０９に設定された画像有効時間Ｃｔｓと記録画像レート設定回路７０８に設定されている記録画像レート値（画像読み出し時間）Ｄｔを基に、数式（１０）に従って、新たな有効なフレーム枚数Ｇｐｓを計算する。計算された新たな有効なフレーム枚数Ｇｐｓは、数式（１１）を満たす。

Ｇｐｓ ＝ Ｃｔｓ／Ｄｔ ……（１０）
Ｇｐｓ ＜ Ｇｐ ……（１１）
再生制御回路７１０は、管理情報抽出回路７０５に記憶された管理情報データを基に、数式（１０）で計算されるフレーム枚数Ｇｐｓの画像データを、再生回路７０１を介して時点Ｓ（ １ ）の画像データから連続して読み出し、バッファ７０２に供給する。つまり、再生制御回路７１０は、図１２の［ｔｓ０，ｔｓｑ０］の区間のフレーム画像データを読み出し、バッファ７０２に記憶させる。

再生制御回路７１０は、バッファ７０２に記憶された新たな有効なフレーム枚数Ｇｐｓのフレーム画像データを出力画像生成回路７０３に出力する。出力画像生成回路７０３は、図１２のフレーム枚数Ｇｐｓのフレーム画像データから１枚のフレーム画像データを生成し、出力端子７０４から出力させる。図１３はフレーム枚数Ｇｐｓのフレーム画像データから１枚のフレーム画像データを生成する様子を示す図である。フレーム画像データは、出力端子７０４に接続されたモニタ、プリンタ等に出力される。ユーザはモニタの出力画像あるいは印刷された画像を視ることができる。

このように、画像記録再生装置は、静止画像データを記録する際、高速な読み出し時間Ｄｔで撮像を行い、静止画を撮影するタイミング（撮影点）Ｐｔの前後の期間の画像データを記録する。さらに、画像記録再生装置は、静止画を撮影したタイミングと撮影時の画像有効期間Ｃｔを一緒に記録する。そして、画像記録再生装置は、静止画像データの再生時、記録した画像データに対し、静止画を記録したタイミングから画像有効時間（期間）Ｃｔ分のフレーム画像データを使って、再生画像を生成（合成）する。

このとき、再生画像がブレていた場合、画像有効期間Ｃｔを短く設定して再生することで、より先鋭な画像を得ることができる。また、再生画像がボケていり、撮影時の思惑とは違ったシーンだった場合、静止画を撮影したタイミング（撮影点）Ｐｔをずらして再生画像を生成することで、所望のシーンを得ることができる。

第２の実施形態の画像記録再生装置は、高速な読み出し時間Ｄｔで撮像を行い、静止画を撮影するタイミング（撮影点）Ｐｔの前後の期間の画像データを記録する。さらに、画像記録再生装置は、静止画を撮影したタイミング（撮影点）Ｐｔと撮影時の画像有効時間（期間）Ｃｔを一緒に記録する。これにより、再生時、撮影者が意図した記録時のタイミングで再生することが可能である。また、先鋭度や撮影タイミングを変更して、再生することも可能である。

このように、静止画撮影の場合、読み出し時間毎に連続して読み出される画像データとともに、読み出し時間、画像有効時間、記録時間および撮影点を記録媒体に記録する。再生時、撮影者が意図した記録時のタイミングで再生することが可能である。また、画像有効時間を変更することで、先鋭度、すなわちボケ具合を変えて再生することが可能となる。さらに、撮影したタイミングを変更することで、撮影点を変えた再生も可能となる。

すなわち、再生画像がボケていたり、ブレている場合、画像有効時間を短く設定して再生することで、より先鋭な画像が得られる。逆に、動きが少ない画像で、ノイズ感をもっと小さくしたいような場合、画像有効時間を長くして再生することも可能である。また、先鋭度を変更したい場合、画像有効時間を再生時に変更することで、先鋭度の異なる再生画像を得ることができる。このように、撮影者が記録時に意図していた先鋭度で再生できるばかりでなく、解像度が足りなくてボケていた場合でも、撮影後に記録時の先鋭度を変更して再生することが可能である。

また、撮影点の前後のフレーム画像を画像データとして記録することができる。また、画像テータおよびその管理情報を１つのファイルとして取り扱うことができる。また、読み出し時間、画像有効時間、記録時間および撮影点を有効な範囲内で任意に設定することができる。また、再生時、画像有効時間内に記録されている画像データを再生することで、撮影者の意図した静止画像の再生を行うことができる。また、合成されるフレーム数を容易に調整することができる。また、再生時に設定する操作を行うことなく、撮影時に撮影者の意図した先鋭度で記録した再生画像を得ることができる。また、再生される画像がブレていたり、ボケていたりした場合、先鋭度の調整を簡単に行うことができる。また、再生画像がボケていり、撮影時の思惑とは違ったシーンだった場合、静止画を撮影したタイミング（撮影点）をずらして再生画像を生成することで、所望のシーンを得ることができる。

なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。

例えば、上記実施形態では、撮像素子としてＣＣＤ素子が用いられたが、ＣＭＯＳ素子が用いられてもよいことは勿論である。

また、上記実施形態の画像記録再生装置は、出力端子を介して外部のモニタなどの表示装置に出力していたが、表示装置を内蔵している場合、内蔵する表示装置に出力してもよい。表示装置としては、液晶ディスプレイに限らず、有機ＥＬディスプレイ、表面電界ディスプレイ（ＳＥＤ）、プラズマディスプレイなどを用いてもよい。

また、画像記録再生装置としては、デジタルビデオカメラ、デジタルコンパクトカメラ、デジタルＳＬＲ（一眼レフカメラ）等に適用可能である。

第１の実施形態における画像記録再生装置内の画像記録回路の構成を示すブロック図である。 画像データの記録動作を示すタイミングチャートである。 管理情報データを示すテーブルである。 画像記録再生装置内の画像再生回路の構成を示すブロック図である。 再生時における記録媒体からの画像データの読み出しを示すタイミングチャートである。 図５につづく再生時における記録媒体からの画像データの読み出しを示すタイミングチャートである。 第２の実施形態における画像記録再生装置内の画像記録回路の構成を示すブロック図である。 画像データの記録動作を示すタイミングチャートである。 管理情報データを示すテーブルである。 画像記録再生装置における画像再生回路の構成を示すブロック図である。 フレーム枚数Ｇｐのフレーム画像データから１枚のフレーム画像データを生成する様子を示す図である。 画像データの再生動作を示すタイミングチャートである。 フレーム枚数Ｇｐｓのフレーム画像データから１枚のフレーム画像データを生成する様子を示す図である。

符号の説明

１０１、６０１ 撮像回路
１０４ 記録回路
１０５、６０５ 記録媒体
１０６、６０６ 読み出し制御回路
１０７、６０７ 管理情報生成回路
１０８、６０８ 制御回路
１０９ 仮想再生レート設定回路
１１０、６１４ 読み出し時間設定回路
１１１、６１６ 記録画像有効設定回路
４０１ 再生回路
４０３ 出力画像生成回路
４０５、７０５ 管理情報抽出回路
４０６、７０８ 記録画像レート設定回路
４０７、７０９ 画像有効時間設定回路
４０８ 再生レート設定回路
４０９、７１０ 再生制御回路
６１０ 撮影時間設定回路
６１２ 撮影点設定回路
７０６ 記録時間設定回路
７０７ 再生開始点設定回路

Claims (18)

1. 動画像を撮像し、その画像データを記録媒体に記録する画像記録装置であって、
   動画像を撮像する撮像手段と、
   前記撮像手段からフレーム毎の画像データを読み出す読出手段と、
   前記読出手段によって読み出される画像データの読み出し時間を設定する読み出し時間設定手段と、
   前記画像データを再生する際の再生レートに基づく１フレーム期間内で有効な画像として撮像される期間を示す画像有効時間を設定する画像有効時間設定手段と、
   前記設定された読み出し時間毎に前記読出手段によって連続して読み出される画像データとともに、前記読み出し時間および前記画像有効時間を示す情報を前記記録媒体に記録する記録手段とを備えたことを特徴とする画像記録装置。
2. 前記再生レートを設定する再生レート設定手段を備え、
   前記記録手段は、前記設定された再生レートの情報を、前記読み出し時間および前記画像有効時間を示す情報とともに、前記記録媒体に記録することを特徴とする請求項１記載の画像記録装置。
3. 前記再生レートは、フレームレートおよびフィールドレートの情報を含むことを特徴とする請求項１または２記載の画像記録装置。
4. 記録媒体に記録された画像データを再生し、動画像として出力する画像再生装置であって、
   前記記録媒体に記録された画像データをフレーム毎に再生する再生手段と、
   前記フレーム毎に再生される画像データの読み出し時間を示す情報を前記記録媒体から読み込んで設定する読み出し時間設定手段と、
   再生レートを設定する再生レート設定手段と、
   前記再生レートに基づく１フレーム期間内で有効な画像として撮像される期間を示す画像有効時間の情報を前記記録媒体から読み込んで設定する画像有効時間設定手段と、
   前記設定された再生レート毎に前記設定された画像有効時間分に相当するフレーム数の画像データを合成する画像合成手段とを備え、
   前記合成された画像データを前記動画像として出力することを特徴とする画像再生装置。
5. 前記画像合成手段は、前記設定された読み出し時間と前記設定された画像有効時間とから、前記画像有効時間分に相当する画像データとして、前記画像有効時間を前記読み出し時間で除したフレーム数の画像データを前記記録媒体から読み出し、前記再生レート毎に合成することを特徴とする請求項４記載の画像再生装置。
6. 前記読み出し時間設定手段は、前記再生手段によって再生され、前記記録媒体に記録された画像データから前記読み出し時間を抽出して設定し、
   前記画像有効時間設定手段は、前記再生手段によって再生され、前記記録媒体に記録された画像データから前記画像有効時間を抽出して設定し、
   前記再生レート設定手段は、前記再生手段によって再生され、前記記録媒体に記録された画像データから前記再生レートを抽出して設定することを特徴とする請求項４または５記載の画像再生装置。
7. 前記再生レート設定手段は、再生時に前記再生レートを設定することを特徴とする請求項４から６のいずれか１項に記載の画像再生装置。
8. 前記画像有効時間設定手段は、再生時に前記画像有効時間を変更可能であることを特徴とする請求項４から７のいずれか１項に記載の画像再生装置。
9. 前記画像合成手段は、前記再生レート毎に合成する画像データの開始フレーム位置を変更可能であることを特徴とする請求項４から８のいずれか１項に記載の画像再生装置。
10. 静止画像を撮像し、その画像データを記録媒体に記録する画像記録装置であって、
    静止画像を撮像する撮像手段と、
    前記撮像手段からフレーム毎の画像データを読み出す読出手段と、
    前記読出手段によって読み出される画像データの読み出し時間を設定する読み出し時間設定手段と、
    静止画像として取り込む期間を示す画像有効時間を設定する画像有効時間設定手段と、 前記記録媒体に記録される画像データの記録時間を設定する撮影時間設定手段と、
    静止画撮影を開始した時点である撮影点を設定する撮影点設定手段と、
    前記設定された読み出し時間毎に前記読出手段によって連続して読み出される画像データとともに、前記読み出し時間、前記画像有効時間、前記記録時間および前記撮影点を示す情報を前記記録媒体に記録する記録手段とを備えたことを特徴とする画像記録装置。
11. 前記撮影点は、前記記録媒体に記録される画像データの記録開始からのオフセット時間であり、
    前記記録手段は、撮影開始時、前記撮影点から前記オフセット時間だけ遡った時点からの画像データを前記記録媒体に記録するとともに、前記記録時間から前記オフセット時間だけ差し引いた時間分の画像データを前記記録媒体に記録することを特徴とする請求項１０記載の画像記録装置。
12. 前記記録手段は、前記読み出し時間、前記画像有効時間、前記記録時間および前記撮影点を示す情報を前記画像データに多重化して記録することを特徴とする請求項１０または１１記載の画像記録装置。
13. 前記読み出し時間をＤｔとし、前記画像有効時間をＣｔとし、前記記録時間をＲｔとし、前記撮影点をＰｔとした場合、Ｄｔ≦Ｃｔ＜Ｐｔ＜Ｒｔの関係を満たすことを特徴とする請求項１０から１２のいずれか１項に記載の画像記録装置。
14. 記録媒体に記録された画像データを再生し、静止画像として出力する画像再生装置であって、
    前記記録媒体に記録された画像データをフレーム毎に再生する再生手段と、
    前記フレーム毎に再生される画像データの読み出し時間を示す情報を前記記録媒体から読み込んで設定する読み出し時間設定手段と、
    静止画像として取り込む期間を示す画像有効時間の情報を前記記録媒体から読み込んで設定する画像有効時間設定手段と、
    前記再生される画像データの記録時間を示す情報を前記記録媒体から読み込んで設定する記録時間設定手段と、
    静止画撮影を開始した時点である撮影点を示す情報を前記記録媒体から読み込んで設定する撮影点設定手段と、
    前記設定された撮影点から前記設定された画像有効時間分に相当するフレーム数の画像データを合成する画像合成手段とを備え、
    前記合成された画像データを前記静止画像として出力することを特徴とする画像再生装置。
15. 前記画像合成手段は、前記設定された読み出し時間と前記設定された画像有効時間とから、前記画像有効時間分に相当するフレーム数の画像データとして、前記画像有効時間を前記読み出し時間で除したフレーム数の画像データを合成することを特徴とする請求項１４記載の画像再生装置。
16. 前記読み出し時間設定手段は、前記再生手段によって再生され、前記記録媒体に記録された画像データから前記読み出し時間を抽出して設定し、
    前記画像有効時間設定手段は、前記再生手段によって再生され、前記記録媒体に記録された画像データから前記画像有効時間を抽出して設定し、
    前記記録時間設定手段は、前記再生手段によって再生され、前記記録媒体に記録された画像データから前記記録時間を抽出して設定し、
    前記撮影点設定手段は、前記再生手段によって再生され、前記記録媒体に記録された画像データから前記撮影点を抽出して設定することを特徴とする請求項１４または１５記載の画像再生装置。
17. 前記画像有効時間設定手段は、再生時に前記画像有効時間を変更可能であることを特徴とする請求項１４から１６のいずれか１項に記載の画像再生装置。
18. 前記撮影点設定手段は、再生時に前記撮影点を変更可能であることを特徴とする請求項１４から１７のいずれか１項に記載の画像再生装置。

Images