JP4424174B2 - 撮像装置と撮像方法 - Google Patents

Description

この発明は、撮像装置と撮像方法に関する。詳しくは、撮像フレームレートの撮像画像を所望のフレームレートとなるようにフレーム間引きを行ってメモリに書き込み、このメモリに書き込まれた撮像画像を所望のフレームレートで読み出すことで、記録される撮像画像の確認や撮像フレームレートと異なるフレームレートでの撮像画像の記録を少ない消費電力で可能とするものである。

撮像装置では、被写体を撮像する際のフレームレート（以下「撮像フレームレート」という）を特許文献１に記載されているように可変して、被写体の動きを実際の速度とは異なる速度で表示することが可能とされている。例えば、撮像フレームレートで撮像を行い得られた画像信号を撮像フレームレートよりも低いフレームレートで再生すれば、被写体の動きが実際の速度よりも遅くなったスロー再生画像を得ることができる。

特開２０００−１２５２１０号公報

ところで、電子ビューファインダに表示される画像のフレームレート（以下「表示フレームレート」という）が撮像フレームレートと異なると、撮像画像を電子ビューファインダに表示することができない。このため、動作モードが録画待機状態であるスタンバイモードとされたとき、撮像フレームレートを表示フレームレートと等しくすることで電子ビューファインダに撮像画像を表示する。また、録画モードのとき、撮像フレームレートを所望のフレームレートに設定する。このように、スタンバイモードと録画モードで撮像フレームレートを異なるものとすると、撮像画像の構図などの確認は正しくできるものの、撮像素子の電荷蓄積時間が異なることから、絞りの調整状態の確認や、シャッタ動作を行ったときの撮像画像の確認等を正しく行うことが難しい。

また、メモリ等の記憶装置を設け、被写体の撮像や記憶装置への撮像画像の記録は撮像フレームレートで行い、記憶装置から例えば撮像画像を間引きして読み出すことで、表示フレームレートの撮像画像を生成する方法もある。この場合、構図などの確認だけでなく絞りの調整状態の確認等も正しく行うことができる。しかし、記憶装置への撮像画像の記録は表示フレームレートよりも高い撮像フレームレートで行われることから、撮像装置の消費電力は大きくなってしまう。

そこで、この発明では、撮像画像の確認等を容易かつ少ない消費電力で可能とする撮像装置と撮像方法を提供するものである。

この発明に係る撮像装置は、撮像フレームレートで撮像画像の画像信号を生成する撮像素子と、撮像素子で生成された画像信号をディジタルの画像信号に変換する変換手段と、変換手段で得られた画像信号を記憶する、複数の記憶領域を有するメモリと、メモリへの画像信号の書き込みとメモリからの画像信号の読み出しを制御して、撮像フレームレートの画像信号を所望のフレームレートの画像信号に変換するメモリ制御手段を有し、メモリ制御手段は、メモリに撮像画像の画像信号が所望のフレームレートで記憶されるようにフレーム間引きを行って画像信号の書き込みを行い、該書き込みを行うとき、録画モードと録画待機状態であるスタンバイモードでは、それぞれ異なる記憶領域を用いるものである

また、この発明に係る撮像方法は、撮像フレームレートで撮像画像の画像信号を生成する撮像工程と、撮像工程で生成された画像信号をディジタルの画像信号に変換する変換工程と、変換工程で得られた画像信号の複数の記憶領域を有するメモリへの書き込みと、該メモリからの画像信号の読み出しを制御して、撮像フレームレートの画像信号を所望のフレームレートの画像信号に変換するメモリ制御工程を有し、メモリ制御工程では、メモリに撮像画像の画像信号が所望のフレームレートで記憶されるようにフレーム間引きを行って画像信号の書き込みが行われ、該書き込みが行われるとき、録画モードと録画待機状態であるスタンバイモードで異なる記憶領域が用いられるものである。

この発明においては、メモリから所定の画像信号を読み出す際に、読み出した画像信号のフレームレートが所望値になるように、該画像信号のフレームを時間方向に積分することが好適である。また、スタンバイモードで用いる記憶領域は、少なくとも１フレーム分の画像信号が記憶可能で、記憶領域の位置が固定されて、この記憶領域に画像信号が書き込まれる。また、録画モードで用いる記憶領域は、複数フレーム分の画像信号が記憶可能とされて、この記憶領域がサイクリックに使用されて画像信号の書き込みが行われる。

この発明によれば、撮像画像の画像信号が所望のフレームレートで記憶されるようにフレーム間引きが行われてメモリに書き込まれる。このようにメモリに書き込まれた画像信号を読み出すことで、少ない消費電力で撮像中の画像をリアルタイムに表示できる。また、絞りや露光時間などの設定は同じで，フレームレートだけを種々に変更したような撮像画像を簡単に記録できるため使い勝手を向上させることができる。

また、メモリの記憶領域が複数に分割されて、メモリに画像信号を書き込むとき、録画モードと録画待機状態であるスタンバイモードで異なる記憶領域が用いられる。このように、記憶領域を切り換えることで、例えば記憶された撮像画像を管理する場合のソフトウェアの負担が軽減できる。

さらに、スタンバイモードでは、スタンバイモードで用いる記憶領域の位置を固定してこの記憶領域に画像信号が書き込まれるので、撮像中の画像を例えば電子ビューファインダに表示するとき、メモリからの画像信号の読み出しを容易に行うことができる。また、録画モードでは、録画モードで用いる記憶領域をサイクリックに使用して画像信号の書き込みが行われるので、メモリを効率良く利用して、所望の撮像画像を記憶させることができる。

以下、図を参照しながら、この発明の形態について説明する。図１は、撮像装置１０の構成を示すブロック図である。

撮像部１１は、例えばＣＭＯＳ型やＣＣＤ型の固体撮像素子を用いて、撮像フレームレートの撮像信号を生成する。この撮像フレームレートは、撮像画像を記録媒体に記録するときの記録フレームレートや電子ビューファインダ表示画像の表示フレームレート以上のフレームレートとする。

図２は、例えばカラムアンプ方式のＣＭＯＳ型固体撮像素子を用いて構成された撮像部１１の構成を示すブロック図である。この撮像部１１は、例えば１クロックで４画素の画素信号を並列に出力することで、１クロックで１画素の画素信号を出力する撮像部に比べて、４倍の撮像フレームレートを実現する。

垂直走査制御回路１１１は、画素信号を読み出すラインの選択を行う。水平走査制御回路１１２は、画素列選択回路１１３を駆動して、画素信号を読み出す水平方向の画素位置の選択を行う。画素列選択回路１１３は、ライン方向に対して直交する方向の画素列に一方の端子を接続して他方の端子を出力アンプ１１４と接続したスイッチ群１１３swで構成されている。

出力アンプ１１４は、１クロックで出力する画素信号の数に合わせて並列に設けるものとして、各出力アンプ１１４に画素列選択回路１１３のスイッチ群１１３swを振り分けて接続する。例えば１クロックで４画素の画素信号を並列に出力するときには、４個の出力アンプ１１４-1〜１１４-4を並列に設ける。また、出力アンプ１１４-1には、「４Ｌ＋１（Ｌは０または正の整数）」番目に位置する画素列と接続されるスイッチ１１３sw-(4L+1)を接続する。同様に、出力アンプ１１４-2〜１１４-4には、「４Ｌ＋２」〜「４Ｌ＋４」番目に位置する画素列と接続されるスイッチ１１３sw-(4L+2)〜１１３sw-(4L+4)をそれぞれ接続する。

ここで、垂直走査制御回路１１１は、１ライン目の画素の画素信号読み出しを行い、水平走査制御回路１１２は、画素列選択回路１１３のスイッチ１１３sw-1〜１１３sw-4を同時にオン状態とする。このとき、出力アンプ１１４-1〜１１４-4からは、画素Ｐ(1,1)〜Ｐ(4,1)の画素信号Ｓp-(1,1)〜Ｓp-(4,1)が並列に出力される。水平走査制御回路１１２は、次のクロックで画素列選択回路１１３のスイッチ１１３sw-5〜１１３sw-8を同時にオン状態とする。このとき、出力アンプ１１４-1〜１１４-4からは、画素Ｐ(5,1)〜Ｐ(8,1)の画素信号Ｓp-(5,1)〜Ｓp-(8,1)が出力される。以下同様にして、４画素単位で画素信号を並列に繰り返し出力することで、１クロックで１画素の画素信号を出力する撮像部に比べて、４倍のフレームレートの画像信号ＳＡを出力できる。

また、図３に示すように、例えばカラムＡ／Ｄ変換方式のＣＭＯＳ型固体撮像素子を用いて撮像部１１ａを構成して、ディジタルの画像信号ＤＡを出力させるものとして良い。この場合、アナログ−ディジタル変換を行うＡ／Ｄ変換処理部１１３adは、画素列選択回路１１３のスイッチ１１３swの信号入力側あるいは信号出力側に設ける。Ａ／Ｄ変換処理部１１３adは、各画素から読み出されたアナログの画素信号をディジタルの画素信号に変換して、出力アンプ１１４に供給する。また、Ａ／Ｄ変換処理部１１３adに供給される画素信号は、ライン方向と直交する方向に連続する画素の画素信号である。一方、図２の出力アンプ１１４から並列に出力される画像信号ＳＡは、水平方向に４画素分離れた画素の信号が連続したものである。このため、並列に出力される画像信号ＳＡをそれぞれプリフィルタを通して折り返し成分を除去してからアナログ−ディジタル変換すると、フィルタ処理の結果が並列出力数に応じて離れた画素位置に影響を及ぼす生じるおそれがある。しかし、Ａ／Ｄ変換処理部１１３adにプリフィルタ（図示せず）を設けるものとすれば、ライン方向と直交する方向に連続する画素の画素信号が供給されるので、プリフィルタは、離れた画素位置に影響を及ぼすことなく良好に折り返し成分を除去できる。

前段処理部１３-1は、撮像部１１の出力アンプ１１４-1から出力された画像信号ＳＡ-1のゲイン調整や黒レベル調整を行ってＡ／Ｄ変換処理部１４-1に供給する。Ａ／Ｄ変換処理部１４-1は、前段処理部１３-1から供給された画像信号をディジタルの画像信号ＤＢ-1に変換してメモリ制御部１５に供給する。また、前段処理部１３-2〜１３-4およびＡ／Ｄ変換処理部１４-2〜１４-4も、前段処理部１３-1やＡ／Ｄ変換処理部１４-1と同様な処理を行い、得られたディジタルの画像信号ＤＢ-2〜ＤＢ-4をメモリ制御部１５に供給する。なお、Ａ／Ｄ変換処理部１４-1〜１４-4では、折り返し成分の除去を行うものとしても良い。

図３に示す撮像部１１ａから出力された折り返し成分の除去された画像信号ＤＡ-1〜ＤＡ-4を用いる場合、前段処理部１３-1〜１３-4は、画像信号ＤＡ-1〜ＤＡ-4を用いてゲイン調整や黒レベル調整を行い、調整後の画像信号を画像信号ＤＢ-1〜ＤＢ-4としてメモリ制御部１５に供給する。

なお、前段処理部１３-1〜１３-4は、ゲイン調整や黒レベル調整の調整量をそれぞれの前段処理部で独立に制御可能とする。このように、調整量を独立に制御可能とすることで、撮像部１１（１１ａ）から並列に出力される画像信号の信号レベルがばらつきを生じても、各画像信号をそれぞれ正しく調整できる。

メモリ制御部１５は、供給されたディジタルの画像信号ＤＢをメモリ１６に記憶させる。また、メモリ１６に記憶されている画像信号を読み出してマルチプレクサ１８に供給する。

図４は、メモリ制御部１５の構成を示すブロック図である。メモリ制御部１５は、タイミング信号生成部１５１と制御情報レジスタ１５２と書込読出処理部１５３を有している。タイミング信号生成部１５１は、供給された画像信号ＤＢをメモリ１６に書き込んだり（以下メモリ１６に書き込まれている画像信号を画像信号ＤＣという）、メモリ１６に書き込まれている画像信号ＤＣを読み出して（以下メモリ１６から読み出した画像信号を画像信号ＤＤという）出力するための基準となるタイミング信号ＴＭを生成する。このタイミング信号ＴＭは、後述する同期信号発生部３１から供給されたクロック信号ＴＳckや同期信号ＴＳ-m，ＴＳ-cに基づいて生成する。制御情報レジスタ１５２は、後述する動作制御部３５と接続されており、動作制御部３５から供給された制御情報やメモリ１６の構成や書込読出処理部１５３の動作状態等に関する情報を保持する。

書込読出処理部１５３は、タイミング信号生成部１５１で生成されたタイミング信号ＴＭや制御情報レジスタ１５２に保持されている制御情報ＪＨに基づき、書込制御信号ＷＣや読出制御信号ＲＣを生成してメモリ１６に供給することで、メモリ１６の所望の領域に画像信号の書き込み、あるいはメモリ１６の所望の領域から画像信号を読み出す。なお、図４では、画像信号ＤＤとして画像信号ＤＢと同様に４つの画像信号ＤＤ-1〜ＤＤ-4を並列に出力する場合を示している。

また、書込読出処理部１５３は、メモリ１６に書き込む画像信号やメモリ１６から読み出した画像信号を一時保持するバッファ（図示せず）を有している。このため、撮像フレームレートの画像信号ＤＢが供給されるタイミングと画像信号ＤＢをメモリ１６に書き込むタイミングが一致しなくとも、画像信号ＤＢがバッファに一時保持されることから、正しく画像信号ＤＢをメモリ１６に書き込むことができる。また、メモリ１６から画像信号を読み出して出力する場合も、読み出した画像信号がバッファに一時保持されることから、画像信号の読み出しを所望のフレームレートのタイミングで行うことができなくとも、所望のフレームレートの画像信号ＤＤとしてメモリ制御部１５から出力できる。例えば表示フレームレートや記録フレームレートで画像信号を出力できる。

このように、撮像画像の画像信号をメモリ１６に記憶させることで、メモリ制御部１５に供給された画像信号ＤＢのフレームレートとメモリ制御部１５から出力される画像信号ＤＤのフレームレートを独立したものとすることができる。

メモリ１６は、撮像フレームレートの高い画像信号を記憶したり、撮像フレームレートの画像信号をメモリ１６に書き込みながら、画像信号を読み出して所望のフレームレートで出力できるように、信号の書き込みや読み出しを高速に行うことができるメモリを用いて構成する。例えば、クロック信号の立ち上がりと立ち下がりの両方で信号の書き込みや読み出しを行うことができるＤＤＲＳＤＲＡＭ(Double Data Rate Synchronous Dynamic Random Access Memory)を用いて構成する。

マルチプレクサ１８は、メモリ１６から読み出した画像信号ＤＤ-1〜ＤＤ-4を時分割多重してフレーム単位の画像信号を生成する。ここで、撮像画像を表示するため表示フレームレートの画像信号を生成するようにメモリ１６から画像信号の読み出しがメモリ制御部１５によって行われたとき、マルチプレクサ１８は、生成したフレーム単位の画像信号を画像信号ＤＥとしてＶＦ用プロセス部２１に供給する。また、撮像画像を記録するため記録フレームレートの画像信号を生成するようにメモリ１６から画像信号の読み出しがメモリ制御部１５によって行われたとき、マルチプレクサ１８は、生成したフレーム単位の画像信号を画像信号ＤＦとして本線用プロセス部２３に供給する。

ＶＦ用プロセス部２１は、接続される電子ビューファインダ４１の能力に応じた画素数変換回路や、フォーカスを分かりやすくするためのエッジ強調処理回路、所定のビデオレベルの信号に目印を重畳するゼブラミックス回路、有効画枠などの領域情報を示すボックスカーソル表示回路等で構成されている。ＶＦ用プロセス部２１は、録画モードや録画待機状態であるスタンバイモードのとき、撮像者を手助けするための種々の処理を行う。ＶＦ用プロセス部２１は、画像信号ＤＥに対して上述の回路で種々の信号処理を行い、得られた表示信号ＤＧをＤ／Ａ変換器２２に供給する。Ｄ／Ａ変換器２２は、表示信号ＤＧをアナログの表示信号Ｖvfに変換して電子ビューファインダ４１に供給する。電子ビューファインダ４１は、供給された表示信号Ｖvfに基づいて撮像中の画像やメモリ１６に記憶されている撮像画像の表示等を行う。

本線用プロセス部２３は、露出制御のための検出回路や、画作りのためのエッジ強調処理回路、色を調整するためのリニアマトリクス回路、モニタガンマを補正するガンマ補正回路、記録装置４２で撮影画像を記録するためのインタフェースとしてのＹＣマトリクス処理回路等で構成されている。本線用プロセス部２３は、画像信号ＤＦに対して上述の回路で種々の信号処理を行い、得られた映像信号Ｖoutを記録装置４２に供給する。記録装置４２は、供給された映像信号Ｖoutをテープ状やディスク状等の記録媒体に記録する。

同期信号発生部３１は、クロック信号ＴＳckを生成して各部に供給する。また、表示フレームレートや記録フレームレートの画像信号の生成および処理を行うための基準となる同期信号ＴＳ-mを生成して、メモリ制御部１５およびメモリ制御部１５の後段に設けられたプロセス部等に供給する。さらに、撮像フレームレートの画像信号の生成および処理を行うための基準となる同期信号ＴＳ-cを生成して、メモリ制御部１５と駆動信号生成部３２およびメモリ制御部１５の前段の前段処理部１３やＡ／Ｄ変換処理部１４に供給する。

駆動信号生成部３２は、同期信号発生部３１から供給されたクロック信号ＴＳckや同期信号ＴＳ-cに基づき駆動信号ＲＤを生成して撮像部１１（１１ａ）に供給し、撮像フレームレートの画像信号ＳＡ（ＤＡ）を生成するように撮像部１１（１１ａ）を駆動する。

動作制御部３５はＣＰＵ(Central Processing Unit)を用いて構成されており、この動作制御部３５に接続されたユーザインタフェース部３６からのユーザ操作に応じた操作信号ＰＳに基づき制御信号ＣＳを生成する。この生成した制御信号ＣＳを各部に供給することで、撮像装置をユーザ操作に応じて動作させる。例えば、動作モードが録画待機状態であるスタンバイモードとされたとき、動作制御部３５は、撮像部１１（１１ａ）で撮像されている画像を電子ビューファインダ４１にリアルタイムに表示させて、フォーカスや露出の調整および画角の設定等を可能とする。また、動作モードが録画モードとされたときは、撮像部１１（１１ａ）で撮像されている画像を記録装置４２に供給する。

次に、撮像装置の動作について説明する。撮像部１１（１１ａ）の固体撮像素子が例えば水平方向２２００画素，垂直方向１１２５ラインの所謂ＨＤサイズであるとき、この固体撮像素子をクロック周波数７４．２５ＭＨｚで駆動して、１クロックで１画素の画素信号を読み出すと、撮像フレームレートは３０フレーム／秒となる。

ここで、上述のように１クロックで４画素の画素信号を並列に読み出すと、１ライン分の画素を（２２００／４）＝５５０クロックで読み出すことができる。すなわち撮像フレームレートは、（３０×４）＝１２０フレーム／秒となる。

また、メモリ制御部１５に供給される画像信号ＤＢの語長を１６ビット、メモリ制御部１５とメモリ１６とのバス幅を６４ビット、メモリ１６をシングルポートのメモリで構成すると、画像信号の書き込みと読み出しを同時に行う場合、１４８．５ＭＨｚでメモリ１６にアクセスすることになる（メモリアクセスのためのオーバーヘッドは無視する）。すなわち、画像信号の書き込みと読み出しは、それぞれ７４．２５ＭＨｚ×（４×１６）ビットの帯域を使用することとなる。

電子ビューファインダ４１は、水平方向２２００画素，垂直方向１１２５ラインのＨＤサイズの画像表示機能を有しており、表示フレームレートで画像表示を行うものとする。

図５は、上述のように撮像フレームレートを１２０フレーム／秒、表示フレームレートを３０フレーム／秒とした場合の同期信号を示している。なお、図５において、図５Ａは撮像フレームレートでのフレーム周期を示す同期信号ＴＳ-cf、図５Ｂは撮像フレームレートでのライン周期を示す同期信号ＴＳ-cl、図５Ｃは表示フレームレートでのフレーム周期を示す同期信号ＴＳ-mdf、図５Ｄは表示フレームレートでのライン周期を示す同期信号ＴＳ-mdlをそれぞれ示している。

動作モードがスタンバイモードとされたとき、メモリ制御部１５は、撮像画像の画像信号ＤＢのフレーム間引きを行い、撮像フレームレートとは異なる表示フレームレートの画像信号としてメモリ１６に書き込む。また、メモリ制御部１５は、メモリ１６から表示フレームレートの画像信号を生成できるように画像信号の読み出しを行い、読み出された画像信号ＤＤをマルチプレクサ１８に供給する。マルチプレクサ１８は、画像信号ＤＤの選択を行い表示フレームレートの画像信号ＤＥを生成してＶＦ用プロセス部２１に供給する。ＶＦ用プロセス部２１は、画像信号ＤＥに基づき表示信号ＤＧを生成してＤ／Ａ変換器２２に供給して、表示信号Ｖvfを電子ビューファインダ４１に供給させる。このため、スタンバイモードのとき、撮像部１１（１１ａ）で撮像された画像がどのような画像であるか電子ビューファインダ４１で確認することが可能となり、録画前にフォーカスや露出等の調整および画角の設定等を行うことができる。

録画モードとされたとき、メモリ制御部１５は、撮像画像の画像信号ＤＢをメモリ１６に書き込む。また、メモリ制御部１５は、メモリ１６から撮像フレームレートとは異なる記録フレームレートの画像信号を生成できるように画像信号の読み出しを行い、読み出された画像信号ＤＤをマルチプレクサ１８に供給する。マルチプレクサ１８は、画像信号ＤＤの選択を行い記録フレームレートの画像信号ＤＥを生成して本線用プロセス部２３に供給する。このため、本線用プロセス部２３から出力される映像信号Ｖoutを記録装置４２に供給して、撮像画像を記録フレームレートで記録させることができる。

次に、動作モードがスタンバイモードとされているときの動作について、図６を用いて説明する。この場合、メモリ制御部１５は、１２０フレーム／秒の撮像フレームレートである撮像画像ＫDB（図６Ａ）の画像信号ＤＢの間引きを行い、表示フレームレートに相当する画像信号としてメモリ１６に書き込みながら、メモリ１６に記憶した撮像画像ＫDC（図６Ｂ）の画像信号ＤＣを、フレーム順に記録フレームレートの画像信号を生成できるように読み出してマルチプレクサ１８に供給する。マルチプレクサ１８は、表示フレームレートの撮像画像ＫDE（図６Ｃ）の画像信号ＤＥを生成してＶＦ用プロセス部２１に供給する。

なお、メモリ制御部１５での画像信号の間引きは、例えば動作制御部３５から制御信号ＣＳの一つとして供給された制御情報に基づいて行うものとしたり、動作制御部３５から制御信号ＣＳの一つとして供給されたゲート信号に基づいて行うものとしても良い。

図７は、動作モードが録画モードとされているときの動作を説明するための図である。この場合、メモリ制御部１５は、１２０フレーム／秒の撮像フレームレートである撮像画像ＫDB（図７Ａ）の画像信号ＤＢをメモリ１６に撮像画像ＫDC（図７Ｂ）の画像信号ＤＣとして順次書き込みながら、メモリ１６に記憶されている撮像画像ＫDCの画像信号を、表示フレームレートの画像信号と記録フレームレートの画像信号を生成できるように読み出してマルチプレクサ１８に供給する。マルチプレクサ１８は、表示フレームレートの画像信号を生成できるように読み出された画像信号を選択して、３０フレーム／秒の表示フレームレートである撮像画像ＫDE（図７Ｃ）の画像信号ＤＥを生成する。また、記録フレームレートの画像信号を生成できるように読み出された画像信号を選択して、記録フレームレートを最大９０フレームレート／秒とした撮像画像ＫDF（図７Ｄ）の画像信号ＤＦを生成する。

ここで、電子ビューファインダ４１で撮像中の画像をリアルタイムで表示するため、メモリ１６から画像信号ＤＣを読み出すとき、メモリ制御部１５は、画像信号ＤＣを表示フレームレートに応じてフレーム単位で間引きして読み出す。すなわち、撮像フレームレートが１２０フレームレート／秒で表示フレームレートが３０フレーム／秒とされていることから、１フレームの撮像画像を読み出したのち３フレーム分の撮像画像を間引く処理（３フレーム間引き処理）を繰り返して画像信号ＤＣを順次読み出すものとすれば、録画モードや録画待機状態であるスタンバイモードのとき、３０フレーム／秒の表示フレームレートで撮像中の画像をリアルタイムに表示することができる。

また、録画モードとされて、撮像画像を間引くことなく全て記録装置４２で記録する場合、メモリ１６に記憶されている記録前の画像信号ＤＣ-ur（図７Ｅ）は、撮像画像の書き込みと読み出しを同時に行うときの記録フレームレートを９０フレーム／秒としたとき、３０フレーム／秒の割合で増加する。したがって、メモリ制御部１５は、記録前の画像信号ＤＣ-urが所定量ＭＬフレームに達したときに画像信号ＤＢの書き込みを停止する。このように画像信号ＤＢの書き込み動作を制御すれば、最も古い撮像画像ＫDBの記憶位置に新たに撮像された撮像画像ＫDBを順次記憶させて記憶領域をサイクリックに使用するとき、記録前の撮像画像が新たな撮像画像で書き換えられて非連続な撮像画像が記録装置４２に記録されてしまうことを防止できる。また、メモリ１６をサイクリックに使用することができるので、メモリ１６の利用効率を高めることができる。なお、記憶領域をサイクリックに使用する場合、記録フレームレートを大きくしておけば、撮像フレームレートとの差が少なくなるので、画像信号ＤＢの書き込みが停止されるまでの時間を長くできる。また、メモリ１６をサイクリックに使用することができるので、メモリ１６の利用効率を高めることができる。

ここで、上述のように撮像フレームレートが１２０フレーム／秒である撮像画像を間引くことなく記録して、この記録した撮影画像を例えば３０フレーム／秒で再生すると、１／４倍速のスロー再生画像を表示することができる。

このように、動作モードがスタンバイモードであるときは、撮像フレームレートの撮像画像ＫDBに対して間引きを行うことから、録画モードのように撮像フレームレートの撮像画像ＫDBを間引くことなくメモリ１６に書き込む場合に比べて、消費電力を少なくできる。

ところで、表示フレームレートを３０フレーム／秒、記録装置４２の記録フレームレートを３０フレーム／秒とするとき、上述のように画像信号の語長を１６ビットとすると、７４．２５ＭＨｚ×（４×１６）ビットの帯域が用いられることとなり、バス幅が６４ビットで、メモリ１６に１４８．５ＭＨｚでアクセスすると、７４．２５ＭＨｚ×３２ビットの帯域の余裕が生ずる。このため、帯域の余裕を利用して表示フレームレートや記録フレームレートよりも高いフレームレートで画像信号の読み出しを行う。また、ディジタル信号処理部を設けて、高いフレームレートで読み出した画像信号のディジタル信号処理、例えばフィルタリング処理を行うものとすれば、フィルタリング処理がなされた表示フレームレートの画像信号ＤＥや記録フレームレートの画像信号ＤＦを生成できる。なお、図８は、メモリ制御部の他の構成として、メモリ制御部にディジタル信号処理部１５４を設けた場合のブロック図である。

図９は、ディジタル信号処理部でフィルタリング処理を行う場合の動作を説明するための図である。メモリ制御部１５は、１２０フレーム／秒の撮像フレームレートである撮像画像ＫDB（図９Ａ）の画像信号ＤＢをメモリ１６に撮像画像ＫDC（図９Ｂ）の画像信号ＤＣとして順次記憶しながら、メモリ１６に記憶されている撮像画像ＫDCを、表示フレームレートの画像信号を生成できるように読み出してマルチプレクサ１８に供給する。マルチプレクサ１８は、３０フレーム／秒の表示フレームレートである撮像画像ＫDE（図９Ｃ）の画像信号ＤＥを生成してＶＦ用プロセス部２１に供給する。また、メモリ制御部１５は、メモリ１６に記憶されている撮像画像ＫDCの画像信号ＤＣを、９０フレームレート／秒の画像信号を生成できるように順次読み出して、撮像画像ＫDF’（図９Ｄ）の画像信号を画像信号ＤＤとしてディジタル信号処理部１５４に供給する。

ディジタル信号処理部１５４は、３フレーム分の画像信号を用いて信号処理を行う。例えばディジタル信号処理部１５４にトランスバーサルフィルタ機能を設けるものとして、フィルタ係数ｚ1，ｚ2，ｚ3を「１，２，１」に設定することにより３フレーム分の撮像画像ＫDF’の画像信号を画素毎に重み付け加算するフィルタリング処理を行えば、時間フィルタ処理後の撮像画像ＫDF（図９Ｅ）の画像信号ＤＦを生成できる。

また、フィルタリング処理を行って画像信号ＤＦを生成する場合、フィルタリング処理に応じた係数を画像信号ＤＥに乗算して、画像信号ＤＦと信号レベルを一致させる。例えば、フィルタリング処理で３フレーム分の撮像画像を単に加算して画像信号ＤＦを生成するものとした場合、画像信号ＤＦの信号レベルは画像信号ＤＥの信号レベルの３倍となる。このため、画像信号ＤＥに係数「３」を乗算することで、撮像画像ＫDEの信号レベルを撮像画像ＫDFと同等の信号レベルとする。なお、画像信号ＤＥの信号レベルの調整は、ディジタル信号処理部１５４で行うものとしても良く、またＶＦ用プロセス部２１で行うものとしても良い。このように、画像信号ＤＥの信号レベルをフィルタリング処理に応じて調整すれば、撮像画像ＫDFと電子ビューファインダ４１に表示される撮像画像ＫDEが大きく異なってしまうことを防止できる。

さらに、フィルタリング処理がなされた撮像画像を記録する場合、予め動作モードがスタンバイモードのときにフィルタリング処理がなされた撮像画像を電子ビューファインダ４１に表示させることで、どのような撮像画像が記録されるか事前に確認できる。次に、スタンバイモードのときにフィルタリング処理がなされた撮像画像を電子ビューファインダ４１に表示させる動作について図１０を用いて説明する。

例えば、１２０フレームレート／秒の撮像フレームレートである撮像画像ＫDB（図１０Ａ）の画像信号ＤＢをメモリ１６に書き込む際に、メモリ制御部１５は、３フレーム書き込んだら１フレームを間引く処理を繰り返し行いながら撮像画像ＫDC（図１０Ｂ）の画像信号ＤＣをメモリ１６に記憶させる。また、メモリ制御部１５は、メモリ１６に書き込まれている撮像画像ＫDCの画像信号ＤＣを、９０フレームレート／秒の画像信号を生成できるように順次読み出して、ディジタル信号処理部１５４に供給する。さらに、ディジタル信号処理部１５４は、連続する３フレームの画像信号を重み付け加算するようにフィルタ係数ｚ4，ｚ5，ｚ6を設定してフィルタリング処理を行うものとすれば、時間フィルタ処理後の撮像画像ＫDE（図１０Ｃ）の画像信号ＤＥを生成できる。

また、例えば図１１に示すようにメモリ制御部１５は、１フレームの撮像画像を書き込んだのち次の１フレーム分の撮像画像を間引く処理（１フレーム間引き処理）を繰り返して撮像画像ＫDB（図１１Ａ）の画像信号ＤＢをメモリ１６に書き込みながら、メモリ１６に記憶された撮像画像ＫDC（図１１Ｂ）の画像信号を読み出して、ディジタル信号処理部１５４で２フレーム加算を行ってから出力すれば、表示フレームレートである撮像画像ＫDE（図１１Ｃ）の画像信号ＤＥを得ることができる。この場合、２フレーム加算を行うことで、ランダムノイズの影響を少なくできる。また、２フレームの撮像画像を書き込んだのち２フレーム分の撮像画像を間引く処理を行い、連続する２フレームを加算すれば、ランダムノイズの影響を少なくできる。また、連続する２フレームを加算することから、加算後の画像は、１フレーム間引き処理を行った場合に比べて良好な画像となる。

このように、スタンバイモードにおいて、フィルタリング処理を考慮した場合にメモリ１６に書き込む必要のあるフレームレートＲＦwは、フレーム加算数をＭ回、表示フレームレートをＲＦdとすると式（１）として示すことができる。なお、フレームレートＲＦwは、撮像フレームレートＲＦcを超えないものとする。
ＲＦw＝Ｍ×ＲＦd ・・・（１）

また、録画モードとスタンバイモードで同様な処理を可能とすると、例えば撮像部１１の出力は常に同じ条件(露光時間，読み出し速度など)としたまま、目的に応じたフィルタ処理を行い、時間方向のフィルタリング処理や、フレーム加算数を変えることで種々のフレームレートで撮像画像の記録を行うこともできる。

このように、動作モードに応じてメモリ１６に書き込む撮像画像のフレームレートを切り換えるものとすれば、電子ビューファインダに所定の表示フレームレートで撮影画像を表示できるとともに、表示フレームレートとは異なる記録フレームレートの撮像画像を生成できる。

ところで、上述の動作では、スタンバイモードのときにフレーム間引きを行ってメモリ１６に撮像画像ＫDBの画像信号ＤＢを書き込むものとしたが、録画モードにおいても、スタンバイモードと同様にフレーム間引きを行うものとすれば、被写体の動きの速さを変えた画像信号を生成できる。

図１２は、スタンバイモードと録画モードでフレーム間引きを行った時の書き込み動作を説明するための図である。スタンバイモードのとき、メモリ制御部１５は、例えば１２０フレーム／秒の撮像フレームレートである撮像画像ＫDB（図１２Ａ）の画像信号ＤＢを、３フレーム間引き処理を繰り返しながらメモリ１６に撮像画像ＫDC（図１２Ｂ）の画像信号ＤＣとして書き込む。また、メモリ制御部１５は、この記憶されている撮像画像ＫDCの画像信号ＤＣを、フレーム順に３０フレーム／秒の画像信号を生成できるように読み出してマルチプレクサ１８に供給する。マルチプレクサ１８は、信号の選択を行い３０フレーム／秒の画像信号ＤＥを生成してＶＦ用プロセス部２１に供給する。このようにすれば、撮像中の画像をリアルタイムで表示できる。

次に、録画モードのとき、メモリ制御部１５は、撮像画像ＫDBの画像信号ＤＢを１フレーム間引き処理しながらメモリ１６に撮像画像ＫDCの画像信号ＤＣとして記憶する。また、記憶されている画像信号ＤＣを１フレーム置きに間引きしながら、３０フレーム／秒の画像信号を生成できるように読み出してマルチプレクサ１８に供給して、３０フレーム／秒の画像信号ＤＥと生成させることで、録画モードで撮像中の画像をリアルタイムで表示できる。また、記憶されている画像信号ＤＣをフレーム順に読み出して記録装置４２に記録させれば、記録された画像信号を３０フレーム／秒で再生したとき１／２倍速のスロー再生画像を得ることができる。また、録画モードで、撮像画像ＫDBの画像信号ＤＢを間引くことなくメモリ１６に撮像画像ＫDCの画像信号ＤＣとして記憶させれば、上述のように、１／４倍速のスロー再生画像を得ることができる。このように、録画モードでフレーム間引きを行うことで、再生画像の速度を切り換えることができる。

さらに、録画モードにおいて、記録フレームレートを可変して記録装置４２に撮像画像を記録できる場合は、記録フレームレートに応じてフレーム間引きを行い、この記録フレームレートを段階的に変更することで、フレームレートの変化部分での違和感をなくした撮像画像を記録することも可能である。

図１３は、記録フレームレートを切り換えたときの動作を説明するための図である。具体的には、記録フレームレートを段階的に切り換えて、１倍速の再生速度を１／４倍速のスロー再生画像に切り換えたのち１倍速の再生速度に戻す場合を示している。なお、記録装置４２で記録された撮影画像の再生フレームレートは３０フレーム／秒とする。

ここで、１倍速の再生速度の撮像画像を得ることができるように、メモリ制御部１５は例えば１２０フレーム／秒の撮像フレームレートである撮像画像ＫDB（図１３Ａ）の画像信号ＤＢを３フレーム分間引きしながらメモリ１６に撮像画像ＫDC（図１３Ｂ）の画像信号ＤＣとして記憶する。次に、記録フレームレートを６０フレーム／秒に切り換えて、間引き動作を３フレーム分の間引きから１フレーム置きの間引きとして、画像信号ＤＢを１フレーム毎に間引きしながらメモリ１６に画像信号ＤＣとして記憶する。この記憶された画像信号ＤＣをメモリ制御部１５で読み出して６０フレーム／秒の記録フレームレートで記録装置４２に記録させる。さらに、記録フレームレートを１２０フレーム／秒に切り換えて、間引き動作を１フレーム間引き処理から間引きを行わないものとして、画像信号ＤＢを間引くことなくメモリ１６に画像信号ＤＣとして記憶する。この記憶された画像信号ＤＣを読み出して１２０フレーム／秒の記録フレームレートで記録装置４２に記録する。その後、記録フレームレートを６０フレーム／秒、３０フレーム／秒に切り換えて、記録フレームレートに応じた上述の処理を行う。

このように記録フレームレートの切り換えを行うものとすると、記録装置４２で記録された撮像画像を再生したときの速度は、１倍速再生→１／２倍速再生→１／４倍速再生→１／２倍速再生→１倍速再生の順に切り換えられることになり、１倍速再生から１／４倍速再生に切り換えるとき、段階的に再生速度の切り換えが行われて、フレームレートを切り換えた部分の違和感が少ない再生画像を得ることができる。

ところで、上述のように、撮像フレームレートである撮像画像ＫDBの画像信号ＤＢを間引くことなくメモリ１６に書き込むものとしたり、間引きするフレーム数を可変してメモリ１６に書き込むものとする場合、撮影画像の画像信号だけでは、どのような条件で撮像動作が行われたか判別することができない。このため、図１４に示すように撮像条件等の管理情報を示すヘッダＩＨを、例えば画像信号ＤＦに対しフレーム単位で付加して、どのように撮像が行われたか等をヘッダによって示された管理情報で正しく判別可能とする。また、管理情報を利用することで、撮像画像に対する補正のかけ方をフレーム毎に適応的に変化させることも可能となる。例えば、管理情報に撮像部１１の温度を示す温度情報を含めるものとすれば、この温度情報に基づき、撮像部１１の温度に応じた補正をフレーム毎に適応的に行うことが可能となる。

図１５は、ヘッダの構成を示している。このヘッダの管理情報は、撮像画像のフレーム番号(Frame No)、フレーム加算を行ったときのフレーム加算数(Accum Time)、撮像部の温度(Temperature)、タイムコード(Time Code)、フレームレート(Frame Rate)、間引き処理を行ったときのフレーム間隔(Interval)、画像の水平サイズ(Image Width)と垂直サイズ(Image Height)、画像データの信号長(Bit Length)、シャッタ速度(Shutter Speed)、アイリス調整値(Iris)、ゲイン調整値(Gain)等を有している。これらの管理情報を利用して、例えば補正のかけ方をフレーム毎に適応的に変化させることができる。

このようにヘッダを付加することで、ヘッダの情報を利用して各フレームに最も適した補正処理等を行うことができる。また、高速撮像等を行ってとも様々な情報をリアルタイムに管理することが可能となる。

また、動作モードに応じて画像信号の書き込み制御を切り換えるものとすれば、メモリ１６に対しての画像信号の書き込みや読み出しを容易に行うことができる。

ここで、動作モードがスタンバイモードとされているとき、メモリ制御部１５は撮像画像ＫDBの画像信号ＤＢに対して表示フレームレートに応じたフレーム間引きを行う。また、メモリ１６に少なくとも１フレーム分の画像信号を記憶可能とする記憶領域を設け、この記憶領域の位置を固定して画像信号を書き込み、この記憶領域に書き込まれた画像信号を読み出して表示フレームレートの画像信号ＤＥを生成させる。なお、複数フレーム分の画像信号を用いたフィルタリング処理を行う場合は、複数フレーム分の画像信号を同じ記憶領域に書き込むものとする。このように、スタンバイモードとされているときには、表示フレームレートに応じたフレーム間引きを行い、間引き後の画像信号をフレーム単位でメモリ１６の同じ記憶領域の固定した位置に書き込むものとすれば、画像信号ＤＥを生成するためメモリ１６から画像信号を読み出す際に、位置の固定された記憶領域からフレーム単位で画像信号を読み出せば良いので、画像信号の読み出しを容易に行うことができる。

また、動作モードが録画モードとされているとき、メモリ制御部１５は撮像画像ＫDBの画像信号ＤＢを間引くことなく、あるいは記録フレームレートに応じて間引きして、フレーム毎に異なる記憶領域に書き込む。さらに、記憶領域をサイクリックに利用して、最も古い画像信号が記録された領域に新たな画像信号を順次記録する。また、記憶領域に書き込まれている画像信号を読み出して記録フレームレートの画像信号ＤＦを生成する。

このように、動作モードに連動させて書き込み制御の切り換えを行えば、メモリ１６を効率良く利用して、画像信号の書き込みや読み出しを容易に行うことができる。また、スタンバイモード時で用いる記憶領域と、録画モードで用いる記憶領域を異なる領域とすれば、動作モードを切り換えたときに、録画モード時に書き込んだ撮像画像の画像信号が、スタンバイモード時に書き込まれる撮像画像の画像信号で書き換えられてしまうことを防止することができるので、例えば記憶された撮像画像を管理する場合のソフトウェアの負担を軽減できる。

さらに、メモリ１６に撮像画像補正信号の領域を設けるものとすれば、この領域に設けた撮像画像補正信号を用いて、撮像画像のノイズを低減させることができる。例えば、絞りを閉じた状態で撮影した黒画像を複数フレーム加算したものを撮像画像補正信号として書き込み、メモリ１６から画像信号を読み出す際に、ゲインを合わせて撮像画像補正信号を画像信号から減算することで、固定パターンノイズの影響を取り除いた画像信号を得ることができる。

なお、上述の形態のフレームレートや画像サイズ等は、理解を容易とするために一例として示したものであり、上記フレームレートや画像サイズ等に限定されるものでないことは勿論である。

以上のように、本発明に係る撮像装置と撮像方法は、高速撮像動作を行う場合に有用であり、高速撮像動作を行ってもリアルタイムで画像の確認等を行う場合に好適である。

撮像装置の構成を示す図である。 撮像部の構成を示す図である。 撮像部の他の構成を示す図である。 メモリ制御部の構成を示す図である。 同期信号を示す図である。 スタンバイモードの動作を説明するための図である。 録画モードの動作を説明するための図である。 メモリ制御部の他の構成を示す図である。 フィルタリング処理を行うときの動作を説明するための図である。 スタンバイモードの他の動作を説明するための図である。 スタンバイモードの他の動作を説明するための図である。 フレーム間引きを行ったときの書き込み動作を説明するための図である。 記録フレームレートを切り換えるときの動作を説明するための図である。 ヘッダを付加した状態を示す図である。 ヘッダの構成を示す図である。

符号の説明

１０・・・撮像装置、１１，１１ａ・・・撮像部、１３・・・前段処理部、１４・・・Ａ／Ｄ変換処理部、１５・・・メモリ制御部、１６・・・メモリ、１８・・・マルチプレクサ、２１・・・ＶＦ用プロセス部、２２・・・Ｄ／Ａ変換器、２３・・・本線用プロセス部、３１・・・同期信号発生部、３２・・・駆動信号生成部、３５・・・動作制御部、３６・・・ユーザインタフェース部、４１・・・電子ビューファインダ、４２・・・記録装置、１１１・・・垂直走査制御回路、１１２・・・水平走査制御回路、１１３・・・画素列選択回路、１１３ad・・・Ａ／Ｄ変換処理部、１１３sw・・・スイッチ、１１４・・・出力アンプ、１５１・・・タイミング信号生成部、１５２・・・制御情報レジスタ、１５３・・・書込読出処理部、１５４・・・ディジタル信号処理部

Claims (10)

1. 撮像フレームレートで撮像画像の画像信号を生成する撮像素子と、
   前記撮像素子で生成された画像信号をディジタルの画像信号に変換する変換手段と、
   前記変換手段で得られた画像信号を記憶する、複数の記憶領域を有するメモリと、
   前記メモリへの画像信号の書き込みと前記メモリからの画像信号の読み出しを制御して、前記撮像フレームレートの画像信号を所望のフレームレートの画像信号に変換するメモリ制御手段を有し、
   前記メモリ制御手段は、前記メモリに前記撮像画像の画像信号が所望のフレームレートで記憶されるようにフレーム間引きを行って前記画像信号の書き込みを行い、該書き込みを行うとき、録画モードと録画待機状態であるスタンバイモードでは、それぞれ異なる記憶領域を用いる
   ことを特徴とする撮像装置。
2. 前記メモリ制御手段は、前記メモリから所定の画像信号を読み出す際に、読み出した画像信号のフレームレートが所望値になるように、該画像信号のフレームを時間方向に積分する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記スタンバイモードで用いる記憶領域は、少なくとも１フレーム分の画像信号を記憶可能とし、
   前記メモリ制御手段は、前記スタンバイモードで用いる記憶領域の位置を固定して、該記憶領域に前記画像信号を書き込む
   ことを特徴とする請求項２記載の撮像装置。
4. 前記録画モードで用いる記憶領域は、複数フレーム分の画像信号を記憶可能とし、
   前記メモリ制御手段は、前記録画モードで用いる記憶領域をサイクリックに使用して前記画像信号の書き込みを行う
   ことを特徴とする請求項２又は３記載の撮像装置。
5. 前記メモリ制御手段は、前記録画モードが開始から所定フレーム分の画像信号が前記記憶領域に蓄積されるまで画像信号の書き込みを行う
   ことを特徴とする請求項４記載の撮像装置。
6. 撮像フレームレートで撮像画像の画像信号を生成する撮像工程と、
   前記撮像工程で生成された画像信号をディジタルの画像信号に変換する変換工程と、
   前記変換工程で得られた画像信号の複数の記憶領域を有するメモリへの書き込みと、該メモリからの画像信号の読み出しを制御して、前記撮像フレームレートの画像信号を所望のフレームレートの画像信号に変換するメモリ制御工程を有し、
   前記メモリ制御工程では、前記メモリに前記撮像画像の画像信号が所望のフレームレートで記憶されるようにフレーム間引きを行って前記画像信号の書き込みが行われ、該書き込みが行われるとき、録画モードと録画待機状態であるスタンバイモードで異なる記憶領域が用いられる
   ことを特徴とする撮像方法。
7. 前記メモリ制御工程では、前記メモリから所定の画像信号を読み出す際に、読み出した画像信号のフレームレートが所望値になるように、該画像信号のフレームが時間方向に積分される
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記スタンバイモードで用いる記憶領域は、少なくとも１フレーム分の画像信号を記憶可能とし、
   前記メモリ制御工程では、前記スタンバイモードで用いる記憶領域の位置を固定して、
   該記憶領域に前記画像信号を書き込む
   ことを特徴とする請求項７記載の撮像方法。
9. 前記録画モードで用いる記憶領域は、複数フレーム分の画像信号を記憶可能とし、
   前記メモリ制御工程では、前記録画モードで用いる記憶領域をサイクリックに使用して前記画像信号の書き込みを行う
   ことを特徴とする請求項７又は８記載の撮像方法。
10. 前記メモリ制御工程では、前記録画モードが開始から所定フレーム分の画像信号が前記記憶領域に蓄積されるまで画像信号の書き込みを行う
    ことを特徴とする請求項９記載の撮像方法。

Images