JP4569275B2

JP4569275B2 - 撮像装置と撮像方法

Info

Publication number: JP4569275B2
Application number: JP2004340766A
Authority: JP
Inventors: 裕政池山; 和成高橋; 学原; 義章西出
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-11-25
Filing date: 2004-11-25
Publication date: 2010-10-27
Anticipated expiration: 2024-11-25
Also published as: CN1816108A; CN1816108B; JP2006157149A

Description

この発明は、撮像装置と撮像方法に関する。詳しくは、メモリの帯域を振り分けて、メモリへの画像信号の書き込み中に、メモリからの撮像画像を表示するための画像信号の読み出し、および／またはメモリからの撮像画像の記録を行うための画像信号の読み出しを、異なるフレームレートで同時に行い、高速撮像された画像をリアルタイムに表示あるいは記録可能とするものである。

撮像装置では、被写体を撮像する際のフレームレート（以下「撮像フレームレート」という）を特許文献１に記載されているように可変して、被写体の動きを実際の速度とは異なる速度で表示することが可能とされている。例えば、撮像フレームレートで撮像を行い得られた画像信号を撮像フレームレートよりも低いフレームレートで再生すれば、被写体の動きが実際の速度よりも遅くなったスロー再生画像を得ることができる。

特開２０００−１２５２１０号公報

ところで、撮像画像を記録する記録装置の記録フレームレートよりも撮像フレームレートを高く設定して撮像を行う場合、撮像フレームレートで種々のカメラ信号処理を行うものとすると、撮像装置に処理能力の高い信号処理回路を設けなければならない。このため撮像装置が高価となり消費電力も大きくなってしまう。そこで、撮像フレームレートの撮像画像を高速インタフェース（例えばGigabit Etherなど）を介してコンピュータ装置に供給して、コンピュータ装置で信号処理や映像信号の生成を行ってから記録媒体に記録することが行われている。

しかし、撮像画像をコンピュータ装置に供給してから信号処理や映像信号の生成を行うものとすると、撮像した画像の再生までに時間を要してしまうため、撮像した画像をリアルタイムで確認できない。

そこで、この発明では、高速撮像動作を行ってもリアルタイムで画像の記録や確認を行うことができる撮像装置と撮像方法を提供するものである。

この発明に係る撮像装置は、撮像画像の画像信号を生成する撮像素子と、撮像素子で生成された画像信号をディジタルの画像信号に変換する変換手段と、変換手段で得られた画像信号を記憶するメモリと、メモリへの画像信号の書き込みとメモリからの画像信号の読み出しを制御するメモリ制御手段と、メモリから読み出された画像信号のフィルタリング処理を行うフィルタリング処理手段とを有し、メモリ制御手段は、メモリの帯域を振り分けて、メモリに対する撮像フレームレートの画像信号の書き込みと、撮像フレームレートよりも低い表示フレームレートでのメモリに対する表示用画像信号の読み出しと、撮像フレームレートよりも低く且つ帯域の余裕の範囲内で記録フレームレートよりも高くしたフレームレートでのメモリに対する記録用画像信号の読み出しとを、時分割してほぼ同時に行い、フィルタリング処理手段は、読み出された記録用画像信号にフィルタリング処理を行うことにより、記録フレームレートの記録用画像信号を生成するものである。

また撮像方法は、撮像画像の画像信号を生成する撮像工程と、撮像工程で生成された画像信号をディジタルの画像信号に変換する変換工程と、変換工程で得られた画像信号のメモリへの書き込みとメモリからの画像信号の読み出しを制御するメモリ制御工程と、メモリから読み出された画像信号のフィルタリング処理を行うフィルタリング処理工程とを有し、メモリ制御工程は、メモリの帯域を振り分けて、メモリに対する撮像フレームレートの画像信号の書き込みと、撮像フレームレートよりも低い表示フレームレートでのメモリに対する表示用画像信号の読み出しと、撮像フレームレートよりも低く且つ帯域の余裕の範囲内で記録フレームレートよりも高くしたフレームレートでのメモリに対する記録用画像信号の読み出しとを、時分割してほぼ同時に行い、フィルタリング処理工程は、読み出された記録用画像信号にフィルタリング処理を行うことにより、記録フレームレートの記録用画像信号を生成するものである。

この発明においては、メモリの帯域を振り分けて、被写体を撮像して得られた撮像フレームレートのディジタル画像信号のメモリへの書き込みと、電子ビューファインダでの撮像画像の表示を行うための表示用画像信号の、撮像フレームレートよりも低い表示フレームレートでのメモリからの読み出しと、撮像画像を記録装置に記録を行うための記録用画像信号の、撮像フレームレートよりも低く且つ帯域の余裕の範囲内で記録フレームレートよりも高くしたフレームレートでのメモリからの読み出しとが、時分割してほぼ同時に行われる。そして、読み出された記録用画像信号にフィルタリング処理を行うことにより、記録フレームレートの記録用画像信号が生成される。

この発明によれば、メモリの帯域を振り分け、被写体を撮像して得られた撮像フレームレートのディジタル画像信号のメモリへの書き込みと、電子ビューファインダでの撮像画像の表示を行うための表示用画像信号の、撮像フレームレートよりも低い表示フレームレートでのメモリからの読み出しと、撮像画像を記録装置に記録を行うための記録用画像信号の、撮像フレームレートよりも低く且つ帯域の余裕の範囲内で記録フレームレートよりも高くしたフレームレートでのメモリからの読み出しとが、時分割してほぼ同時に行われる。このため、高速撮像を行いながら異なるフレームレートで、撮影画像の記録や確認をリアルタイムに行うことができる。

また、メモリで書き込みに用いる画像信号のフレームレートが、メモリから画像信号を読み出す際のフレームレート以上とされるので、メモリに画像信号を書き込みながら、メモリに書き込まれた画像信号の読み出しを行っても、正しく撮像画像を読み出すことができる。

また、メモリからの記録用画像信号の読み出しが、撮像フレームレートよりも低く且つ帯域の余裕の範囲内で記録フレームレートよりも高くしたフレームレートで行われて、この高いフレームレートで読み出した記録用画像信号をフィルタリング処理して記録フレームレートの記録用映像信号が生成される。このため、複数フレーム分の画像信号を用いてフィルタリング処理された所望のフレームレートの記録用画像信号を得ることができる。

以下、図を参照しながら、この発明の形態について説明する。図１は、撮像装置１０の構成を示すブロック図である。

撮像部１１は、例えばＣＭＯＳ型やＣＣＤ型の固体撮像素子を用いて、撮像フレームレートの撮像信号を生成する。この撮像フレームレートは、撮像画像を記録媒体に記録するときの記録フレームレートやビューファインダ表示画像の表示フレームレート以上のフレームレートとする。

図２は、例えばカラムアンプ方式のＣＭＯＳ型固体撮像素子を用いた撮像部１１の構成を示すブロック図である。この撮像部１１は、例えば１クロックで４画素の画素信号を並列に出力することで、１クロックで１画素の画素信号を出力する撮像部に比べて、４倍の撮像フレームレートを実現する。

垂直走査制御回路１１１は、画素信号を読み出すラインの選択を行う。水平走査制御回路１１２は、画素列選択回路１１３を駆動して、画素信号を読み出す水平方向の画素位置の選択を行う。画素列選択回路１１３は、ライン方向に対して直交する方向の画素列に一方の端子を接続して、他方の端子を出力アンプ１１４と接続したスイッチ１１３swで構成されている。

出力アンプ１１４は、１クロックで出力する画素信号の数に合わせて並列に設けるものとして、各出力アンプ１１４に画素列選択回路１１３のスイッチ群１１３swを振り分けて接続する。例えば１クロックで４画素の画素信号を並列に出力するときには、４個の出力アンプ１１４-1〜１１４-4を並列に設ける。また、出力アンプ１１４-1には、「４Ｌ−３（Ｌは自然数）」番目に位置する画素列と接続されるスイッチ１１３sw-(4L-3)を接続する。同様に、出力アンプ１１４-2〜１１４-4には、「４Ｌ−２」〜「４Ｌ」番目に位置する画素列と接続されるスイッチ１１３sw-(4L-2)〜１１３sw-(4L)をそれぞれ接続する。

ここで、垂直走査制御回路１１１は、１ライン目の画素の画素信号読み出しを行い、水平走査制御回路１１２は、画素列選択回路１１３のスイッチ１１３sw-1〜１１３sw-4を同時にオン状態とする。このとき、出力アンプ１１４-1〜１１４-4からは、画素Ｐ(1,1)〜Ｐ(4,1)の画素信号Ｓp-(1,1)〜Ｓp-(4,1)が並列に出力される。水平走査制御回路１１２は、次のクロックで画素列選択回路１１３のスイッチ１１３sw-5〜１１３sw-8を同時にオン状態とする。このとき、出力アンプ１１４-1〜１１４-16からは、画素Ｐ(5,1)〜Ｐ(8,1)の画素信号Ｓp-(5,1)〜Ｓp-(8,1)が出力される。以下同様にして、４画素単位で画素信号を並列に繰り返し出力することで、１クロックで１画素の画素信号を出力する撮像部に比べて、４倍のフレームレートの画像信号ＳＡを出力できる。

また、図３に示すように、例えばカラムＡ／Ｄ変換方式のＣＭＯＳ型固体撮像素子を用いて撮像部１１ａを構成して、ディジタルの画像信号ＤＡを出力させるものとして良い。この場合、アナログ−ディジタル変換を行うＡ／Ｄ変換処理部１１３adは、画素列選択回路１１３のスイッチ１１３swの信号入力側あるいは信号出力側に設ける。Ａ／Ｄ変換処理部１１３adは、各画素から読み出されたアナログの画素信号をディジタルの画素信号に変換して、出力アンプ１１４に供給する。また、Ａ／Ｄ変換処理部１１３adに供給される画素信号は、ライン方向と直交する方向に連続する画素の画素信号である。一方、図２の出力アンプ１１４から並列に出力される画像信号ＳＡは、水平方向に４画素分離れた画素の信号が連続したものである。このため、並列に出力される画像信号ＳＡをそれぞれプリフィルタを通して折り返し成分を除去してからアナログ−ディジタル変換すると、フィルタ処理の結果が並列出力数に応じて離れた画素位置に影響を及ぼす生じるおそれがある。しかし、Ａ／Ｄ変換処理部１１３adにプリフィルタ（図示せず）を設けるものとすれば、ライン方向と直交する方向に連続する画素の画素信号が供給されるので、プリフィルタは、離れた画素位置に影響を及ぼすことなく良好に折り返し成分を除去できる。

前段処理部１３-1は、撮像部１１の出力アンプ１１４-1から出力された画像信号ＳＡ-1のゲイン調整や黒レベル調整を行ってＡ／Ｄ変換処理部１４-1に供給する。Ａ／Ｄ変換処理部１４-1は、前段処理部１３-1から供給された画像信号をディジタルの画像信号ＤＢ-1に変換してメモリ制御部１５に供給する。また、前段処理部１３-2〜１３-4およびＡ／Ｄ変換処理部１４-2〜１４-4も、前段処理部１３-1やＡ／Ｄ変換処理部１４-1と同様な処理を行い、得られたディジタルの画像信号ＤＢ-2〜ＤＢ-4をメモリ制御部１５に供給する。なお、Ａ／Ｄ変換処理部１４-1〜１４-4では、折り返し成分の除去を行うものとしても良い。

図３に示す撮像部１１ａから出力された折り返し成分の除去後の画像信号ＤＡ-1〜ＤＡ-4を用いる場合、前段処理部１３-1〜１３-4は、画像信号ＤＡ-1〜ＤＡ-4を用いてゲイン調整や黒レベル調整を行い、調整後の画像信号を画像信号ＤＢ-1〜ＤＢ-4としてメモリ制御部１５に供給する。

なお、前段処理部１３-1〜１３-4は、ゲイン調整や黒レベル調整の調整量をそれぞれの前段処理部で独立に制御可能とする。このように、調整量を独立に制御可能とすることで、撮像部１１（１１ａ）から並列に出力される画像信号の信号レベルがばらつきを生じても、各画像信号をそれぞれ正しく調整できる。

メモリ制御部１５は、供給されたディジタルの画像信号ＤＢをメモリ１６に記憶させる。また、メモリ１６に記憶されている画像信号を読み出してマルチプレクサ１８に供給する。

図４は、メモリ制御部１５の構成を示すブロック図である。メモリ制御部１５は、タイミング信号生成部１５１と制御情報レジスタ１５２と書込読出処理部１５３を有している。タイミング信号生成部１５１は、供給された画像信号ＤＢをメモリ１６に書き込んだり（以下メモリ１６に書き込まれている画像信号を画像信号ＤＣという）、メモリ１６に書き込まれている画像信号ＤＣを読み出して（以下メモリ１６から読み出した画像信号を画像信号ＤＤという）出力するための基準となるタイミング信号ＴＭを生成する。このタイミング信号ＴＭは、後述する同期信号発生部３１から供給されたクロック信号ＴＳckや同期信号ＴＳ-m，ＴＳ-cに基づいて生成する。制御情報レジスタ１５２は、後述する動作制御部３５と接続されており、動作制御部３５から供給された制御情報やメモリ１６の構成や書込読出処理部１５３の動作状態等に関する情報を保持する。

書込読出処理部１５３は、タイミング信号生成部１５１で生成されたタイミング信号ＴＭや制御情報レジスタ１５２に保持されている制御情報に基づき、書込制御信号ＷＣや読出制御信号ＲＣを生成してメモリ１６に供給することで、メモリ１６の所望の領域に画像信号の書き込み、あるいはメモリ１６の所望の領域から画像信号を読み出す。なお、図４では、画像信号ＤＤとして画像信号ＤＢと同様に４つの画像信号ＤＤ-1〜ＤＤ-4を並列に出力する場合を示している。

また、書込読出処理部１５３は、メモリ１６に書き込む画像信号やメモリ１６から読み出した画像信号を一時保持するバッファ（図示せず）を有している。このため、撮像フレームレートの画像信号ＤＢが供給されるタイミングと画像信号ＤＢをメモリ１６に書き込むタイミングが一致しなくとも、画像信号ＤＢがバッファに一時保持されることから、正しく画像信号ＤＢをメモリ１６に書き込むことができる。また、メモリ１６から画像信号を読み出して出力する場合も、読み出した画像信号がバッファに一時保持されることから、画像信号の読み出しを所望のフレームレートのタイミングで行うことができなくとも、所望のフレームレートの画像信号ＤＤとしてメモリ制御部１５から出力できる。例えば表示フレームレートや記録フレームレートで画像信号を出力できる。

このように、撮像画像の画像信号をメモリ１６に記憶させることで、メモリ制御部１５に供給された画像信号ＤＢのフレームレートとメモリ制御部１５から出力される画像信号ＤＤのフレームレートを独立したものとすることができる。

メモリ１６は、撮像フレームレートの高い画像信号を記憶したり、撮像フレームレートの画像信号をメモリ１６に書き込みながら、画像信号を読み出して所望のフレームレートで出力できるように、信号の書き込みや読み出しを高速に行うことができるメモリを用いて構成する。例えば、クロック信号の立ち上がりと立ち下がりの両方で信号の書き込みや読み出しを行うことができるＤＤＲＳＤＲＡＭ(Double Data Rate Synchronous Dynamic Random Access Memory)を用いて構成する。

マルチプレクサ１８は、メモリ１６から読み出した画像信号ＤＤ-1〜ＤＤ-4を時分割多重してフレーム単位の画像信号を生成する。ここで、撮像画像を表示するため表示フレームレートの画像信号を生成するようにメモリ１６から画像信号の読み出しがメモリ制御部１５によって行われたとき、マルチプレクサ１８は、生成したフレーム単位の画像信号を画像信号ＤＥとしてＶＦ用プロセス部２１に供給する。また、撮像画像を記録するため記録フレームレートの画像信号を生成するようにメモリ１６から画像信号の読み出しがメモリ制御部１５によって行われたとき、マルチプレクサ１８は、生成したフレーム単位の画像信号を画像信号ＤＦとして本線用プロセス部２３に供給する。

ＶＦ用プロセス部２１は、接続される電子ビューファインダ４１の能力に応じた画素数変換回路や、フォーカスを分かりやすくするためのエッジ強調処理回路、所定のビデオレベルの信号に目印を重畳するゼブラミックス回路、有効画枠などの領域情報を示すボックスカーソル表示回路等で構成されており、録画モードや録画待機状態であるスタンバイモードのとき、撮像者を手助けするための種々の処理を行う。ＶＦ用プロセス部２１は、画像信号ＤＥに対して上述の回路で種々の信号処理を行い、得られた表示信号ＤＧをＤ／Ａ変換器２２に供給する。Ｄ／Ａ変換器２２は、表示信号ＤＧをアナログの表示信号Ｖvfに変換して電子ビューファインダ４１に供給する。電子ビューファインダ４１は、供給された表示信号Ｖvfに基づいて撮像中の画像やメモリ１６に記憶されている撮像画像の表示等を行う。

本線用プロセス部２３は、露出制御のための検出回路や、画作りのためのエッジ強調処理回路、色を調整するためのリニアマトリクス回路、モニタガンマを補正するガンマ補正回路、記録装置４２で撮影画像を記録するためのインタフェースとしてのＹＣマトリクス処理回路等で構成されている。本線用プロセス部２３は、画像信号ＤＦに対して上述の回路で種々の信号処理を行い、得られた映像信号Ｖoutを記録装置４２に供給する。記録装置４２は、供給された映像信号Ｖoutをテープ状やディスク状等の記録媒体に記録する。

同期信号発生部３１は、クロック信号ＴＳckを生成して各部に供給する。また、表示フレームレートや記録フレームレートの画像信号の生成および処理を行うための基準となる同期信号ＴＳ-mを生成して、メモリ制御部１５およびメモリ制御部１５の後段に設けられた処理部等に供給する。さらに、撮像フレームレートの画像信号の生成および処理を行うための基準となる同期信号ＴＳ-cを生成して、メモリ制御部１５と駆動信号生成部３２およびメモリ制御部１５の前段の前段処理部１３やＡ／Ｄ変換処理部１４に供給する。

駆動信号生成部３２は、同期信号発生部３１から供給されたクロック信号ＴＳckや同期信号ＴＳ-cに基づき駆動信号ＲＤを生成して撮像部１１（１１ａ）に供給して、撮像フレームレートの画像信号ＳＡ（ＤＡ）を生成するように撮像部１１（１１ａ）を駆動する。

動作制御部３５はＣＰＵ(Central Processing Unit)を用いて構成されており、この動作制御部３５に接続されたユーザインタフェース部３６からのユーザ操作に応じた操作信号ＰＳに基づき制御信号ＣＳを生成する。この生成した制御信号ＣＳを各部に供給することで、撮像装置をユーザ操作に応じて動作させる。例えば、動作モードが録画待機状態であるスタンバイモードとされたとき、動作制御部３５は、撮像部１１（１１ａ）で撮像されている画像を電子ビューファインダ４１にリアルタイムに表示させて、フォーカスや露出の調整および画角の設定等を可能とする。また、動作モードが録画モードとされたときは、撮像部１１（１１ａ）で撮像されている画像を記録装置４２に供給する。

ここで、撮像装置１０では、メモリ１６に撮像画像の画像信号を書き込みながら、メモリ１６に書き込まれた画像信号の読み出しを行っても、正しく撮像画像を読み出すことができるように、メモリ１６に書き込まれる画像信号のフレームレートを、メモリ１６から画像信号を読み出す際のフレームレート以上とする。

次に、撮像装置の動作について説明する。撮像部１１（１１ａ）の固体撮像素子が例えば水平方向２２００画素，垂直方向１１２５ラインの所謂ＨＤサイズであるとき、この固体撮像素子をクロック周波数７４．２５ＭＨｚで駆動して、１クロックで１画素の画素信号を読み出すと、撮像フレームレートは３０フレーム／秒となる。

ここで、上述のように１クロックで４画素の画素信号を並列に読み出すと、１ライン分の画素を（２２００／４）＝５５０クロックで読み出すことができる。すなわち、メモリ１６に書き込まれる画像信号ＤＢのフレームレートである撮像フレームレートは、（３０×４）＝１２０フレーム／秒となる。

また、メモリ制御部１５に供給される画像信号ＤＢの語長を１６ビット、メモリ制御部１５とメモリ１６とのバス幅を６４ビット、メモリ１６をシングルポートのメモリで構成すると、画像信号の書き込みと読み出しを同時に行う場合、１４８．５ＭＨｚでメモリ１６にアクセスすることになる（メモリアクセスのためのオーバーヘッドは無視する）。すなわち、画像信号の書き込みと読み出しは、それぞれ７４．２５ＭＨｚ×（４×１６）ビットの帯域を使用することとなる。

一方、電子ビューファインダ４１が水平方向２２００画素，垂直方向１１２５ラインのＨＤサイズの画像表示機能を有しており、３０フレーム／秒で画像表示を行うものとすると、表示フレームレートが３０フレーム／秒である画像信号ＤＥの出力に対して７４．２５ＭＨｚ×１６ビットの帯域を割り当てれば良い。このため、７４．２５ＭＨｚ×（６４−１６）ビットの帯域は、画像信号ＤＦの出力に振り分ける。すなわち、マルチプレクサ１８は、撮像画像を表示するために７４．２５ＭＨｚ×１６ビットの帯域を用いてメモリ１６から読み出された画像信号を選択して３０フレーム／秒の画像信号ＤＥをＶＦ用プロセス部２１に供給する。また、マルチプレクサ１８は、撮像画像を記録するために７４．２５ＭＨｚ×４８ビットの帯域を用いてメモリ１６から読み出された画像信号を選択して記録フレームレートの画像信号ＤＦを本線用プロセス部２３に供給できる。

図５は、メモリ１６に対して撮像画像の書き込みと読み出しを同時に行うときの動作を説明するための図である。この場合、メモリ制御部１５は、１２０フレーム／秒の撮像フレームレートである撮像画像ＫDB（図５Ａ）の画像信号ＤＢをメモリ１６に撮像画像ＫDC（図５Ｂ）の画像信号ＤＣとして順次書き込みながら、メモリ１６に記憶されている撮像画像ＫDCの画像信号を、表示フレームレートの画像信号と記録フレームレートの画像信号を生成できるように読み出してマルチプレクサ１８に供給する。マルチプレクサ１８は、表示フレームレートの画像信号を生成できるように読み出された画像信号を選択して、３０フレーム／秒の表示フレームレートである撮像画像ＫDE（図５Ｃ）の画像信号ＤＥを生成する。また、表示フレームレートの画像信号を生成できるように読み出された画像信号を選択して、記録フレームレートを最大９０フレームレート／秒とした撮像画像ＫDF（図５Ｄ）の画像信号ＤＦを生成する。

ここで、電子ビューファインダ４１で撮像中の画像をリアルタイムで表示するため、メモリ１６から画像信号ＤＣを読み出すとき、メモリ制御部１５は、画像信号ＤＣを表示フレームレートに応じてフレーム単位で間引きして読み出す。すなわち、撮像フレームレートが１２０フレームレート／秒で表示フレームレートが３０フレーム／秒とされていることから、１フレームの撮像画像を読み出したのち３フレーム分の撮像画像を間引く処理（以下「３フレーム間引き処理」という）を繰り返して画像信号ＤＣを順次読み出すものとすれば、録画モードや録画待機状態であるスタンバイモードのとき、３０フレーム／秒の表示フレームレートで撮像中の画像をリアルタイムに表示することができる。

なお、メモリ制御部１５での画像信号の間引きは、例えば動作制御部３５から制御信号ＣＳの一つとして供給された制御情報に基づいて行うものとしたり、動作制御部３５から制御信号ＣＳの一つとして供給されたゲート信号に基づいて行うものとしても良い。

また、録画モードとされて、撮像画像を間引くことなく全て記録装置４２で記録する場合、メモリ１６に記憶されている記録前の画像信号ＤＣ-ur（図５Ｅ）は、撮像画像の書き込みと撮像画像を記録するための読み出しを同時に行い、読み出しは９０フレーム／秒としたとき、３０フレーム／秒の割合で増加する。したがって、メモリ制御部１５は、記録前の画像信号ＤＣ-urが所定量ＭＬフレームに達したときに画像信号ＤＢの書き込みを停止する。このように画像信号ＤＢの書き込み動作を制御すれば、最も古い撮像画像ＫDBの記憶位置に新たに撮像された撮像画像ＫDBを順次記憶させてメモリ領域をサイクリックに使用するとき、記録前の撮像画像が新たな撮像画像で書き換えられて非連続な撮像画像が記録装置４２に記録されてしまうことを防止できる。また、メモリ領域をサイクリックに使用することができるので、メモリ１６の利用効率を高めることができる。なお、メモリ領域をサイクリックに使用する場合、記録フレームレートを大きくしておけば、撮像フレームレートとの差が少なくなるので、画像信号ＤＢの書き込みが停止されるまでの時間を長くできる。

また、録画モードとされたときに撮像画像を記録するための読み出しを別個に行うものとしても良い。この場合、撮像画像ＫDBの画像信号ＤＢの書き込みを開始して、所定フレーム数の撮像画像がメモリ１６に記憶されたとき、画像信号ＤＢの書き込みを停止することで、録画モードが選択されてから所定フレーム数の撮像画像ＫDBをメモリ１６に記憶させる。あるいは、録画モードが選択されたとき撮像画像ＫDBの画像信号ＤＢの書き込みを開始し、メモリ１６の記憶領域をサイクリックに使用して撮像画像を記憶させる。その後、ユーザインタフェース部３６で録画モード終了操作がなされたとき、画像信号ＤＢの書き込みを停止して、録画モード終了操作時から逆時間方向の所定フレーム数の撮像画像をメモリ１６に記憶させる。次に、メモリ１６に記憶させた撮像画像を順次読み出して、読み出した撮像画像ＫDFを記録装置４２で記録媒体に記録させる。この場合には、所望のタイミングからの撮像画像や所望のタイミングまでの撮像画像を記録装置４２に記録させることができる。なお、メモリ１６への撮像画像ＫDBの書き込み中や記録装置４２での撮像画像ＫDFの記録に、表示フレームレートの画像信号ＤＥを生成すれば、どのような撮像画像がメモリ１６に書き込まれたか、あるいはどのような撮像画像が記録装置４２に記録されているか電子ビューファインダ４１に表示させることもできる。

ここで、上述のように撮像フレームレートが１２０フレーム／秒である撮像画像をメモリ制御部１５で間引くことなく読み出して記録装置４２で記録すると、この記録した撮影画像を例えば３０フレーム／秒で再生したとき、１／４倍速のスロー再生画像を得ることができる。

また、表示フレームレートや記録フレームレートは３０フレーム／秒に限られるものではなく、例えば表示フレームレートと記録フレームレートを６０フレーム／秒としたり、表示フレームレートを９０フレーム／秒で記録フレームレートを３０フレーム／秒とすることもできる。また、メモリ１６からフレーム間引きして画像信号の読み出しを行って画像信号ＤＦを本線用プロセス部２３に供給すれば、間引き数に応じたスロー再生画像を得ることは勿論である。

ところで、表示フレームレートを３０フレーム／秒、記録装置４２の記録フレームレートを３０フレーム／秒とするときは、７４．２５ＭＨｚ×３２ビットの帯域が用いられることとなり、７４．２５ＭＨｚ×３２ビットの帯域の余裕が生ずる。このため、帯域の余裕を利用して表示フレームレートや記録フレームレートよりも高いフレームレートで画像信号の読み出しを行う。また、ディジタル信号処理部を設けて、高いフレームレートで読み出した画像信号のディジタル信号処理、例えばフィルタリング処理を行うものとすれば、フィルタリング処理がなされた表示フレームレートの画像信号ＤＥや記録フレームレートの画像信号ＤＦを生成できる。なお、図６は、メモリ制御部の他の構成として、メモリ制御部にディジタル信号処理部１５４を設けた場合を示している。

図７は、ディジタル信号処理部でフィルタリング処理を行う場合の動作を説明するための図である。メモリ制御部１５は、１２０フレーム／秒の撮像フレームレートである撮像画像ＫDB（図７Ａ）の画像信号ＤＢをメモリ１６に撮像画像ＫDC（図７Ｂ）の画像信号ＤＣとして順次記憶しながら、メモリ１６に記憶されている撮像画像ＫDCを、表示フレームレートの画像信号を生成できるように読み出してマルチプレクサ１８に供給する。マルチプレクサ１８は、３０フレーム／秒の表示フレームレートである撮像画像ＫDE（図７Ｃ）の画像信号ＤＥを生成してＶＦ用プロセス部２１に供給する。また、メモリ制御部１５は、メモリ１６に記憶されている撮像画像ＫDCの画像信号ＤＣを、９０フレームレート／秒の画像信号を生成できるように順次読み出して、撮像画像ＫDF’（図７Ｄ）の画像信号ＤＦ'としてディジタル信号処理部１５４に供給する。

ディジタル信号処理部１５４は、３フレーム分の画像信号を用いて信号処理を行う。例えばディジタル信号処理部１５４にトランスバーサルフィルタ機能を設けるものとして、フィルタ係数ｚ1，ｚ2，ｚ3を「１，２，１」に設定して３フレームの撮像画像ＫDF'を用いてフィルタリング処理すれば、時間フィルタ処理後の撮像画像ＫDF（図７Ｅ）の画像信号ＤＦを生成できる。

また、フィルタリング処理を行って画像信号ＤＦを生成する場合、フィルタリング処理に応じた係数を画像信号ＤＥに乗算して、画像信号ＤＦと信号レベルを一致させる。例えば、フィルタリング処理で３フレーム分の撮像画像を単に加算して画像信号ＤＦを生成するものとした場合、画像信号ＤＦの信号レベルは画像信号ＤＥの信号レベルの３倍となる。このため、画像信号ＤＥに係数「３」を乗算することで、撮像画像ＫDEの信号レベルを撮像画像ＫDFと同等の信号レベルとする。なお、画像信号ＤＥの信号レベルの調整は、ディジタル信号処理部１５４で行うものとしても良く、またＶＦ用プロセス部２１で行うものとしても良い。このように、画像信号ＤＥの信号レベルをフィルタリング処理に応じて調整すれば、撮像画像ＫDFと電子ビューファインダ４１に表示される撮像画像ＫDEが大きく異なってしまうことを防止できる。

ところで、上述の形態では、ＶＦ用プロセス部２１と本線用プロセス部２３を独立して設けた場合を示したが、図８に示すように、共通のプロセス部２４を設けて、このプロセス部２４で処理が行われた画像信号ＤＨをＤ／Ａ変換器２２を介して電子ビューファインダ４１に供給したり、記録装置４２に供給するものとしても良い。なお、図８において、図１と対応する部分は同一符号を付している。また、図８では、メモリ制御部１５から画像信号ＤＤを一つの信号ラインで出力する場合を示している。

この場合、表示フレームレートと記録フレームレートは同一になる制約は付くものの、撮像フレームレートとは独立のフレームレートを実現できる。また、メモリ制御部１５とメモリ１６間の帯域を最大限利用してメモリ１６から画像信号を読み出して、上述のようにフィルタリング処理を行い記録フレームレート（＝表示フレームレート）の画像信号を生成することもできる。

また、メモリ１６から撮像画像を読み出して１系統の信号としてプロセス部２４に供給すると、撮像画像ＫDEのリアルタイム表示と撮像画像ＫDFをフレーム順に記録することは同時に行うことができない。例えば、撮像フレームレートを１２０フレーム／秒、表示フレームレートと記録フレームレートを３０フレーム／秒としたとき、撮像画像ＫDEをリアルタイムに表示するには３フレーム間引き処理を行いながら撮像画像を読み出さなければならない。しかし、３フレーム間引き処理を行いながら撮像画像を読み出すと、撮像画像を間引くことなくフレーム順に記録装置４２に記録できなくなってしまう。このため、例えば、撮像画像をリアルタイムに表示するための表示フレームレートの画像信号を記録装置４２に記録しながら撮像を行い、撮像終了後に間引きされて記録されていない撮像画像の画像信号を記録装置４２に供給して正しいフレーム順序に並び替えて記録する処理を行う。

また、プロセス部２４を設けるとき、撮像画像ＫDBをメモリ１６に記憶しながら同時に電子ビューファインダ４１に撮像画像ＫDEをリアルタイムで表示させる動作、メモリ１６に記憶されている撮像画像ＫDCを記録装置４２で記録しながら同時に電子ビューファインダ４１に撮像画像ＫDEを表示させる動作、撮像画像ＫDBをメモリ１６に記憶しながら同時にメモリ１６に記憶されている撮像画像ＫDCを記録装置４２に記録させる動作を別々に行うことで、撮像動作中の処理を容易とすることができる。

なお、上述の形態のフレームレートや画像サイズ等は、説明を簡単とするための一例であり、上記フレームレートや画像サイズ等に限定されるものでないことは勿論である。

以上のように、本発明に係る撮像装置と撮像方法は、高速撮像動作を行う場合に有用であり、高速撮像動作を行ってもリアルタイムで画像の確認や記録する場合に好適である。

撮像装置の構成を示すブロック図である。撮像部の構成を示す図である。撮像部の他の構成を示すブロック図である。メモリ制御部の構成を示すブロック図である。撮像装置の動作を説明するための図である。メモリ制御部の他の構成を示すブロック図である。フィルタリング処理を行う場合の動作を説明するための図である。撮像装置の他の構成を示すブロック図である。

符号の説明

１０・・・撮像装置、１１，１１ａ・・・撮像部、１３・・・前段処理部、１４・・・Ａ／Ｄ変換処理部、１５・・・メモリ制御部、１６・・・メモリ、１８・・・マルチプレクサ、２１・・・ＶＦ用プロセス部、２２・・・Ｄ／Ａ変換器、２３・・・本線用プロセス部、２４・・・プロセス部、３１・・・同期信号発生部、３２・・・駆動信号生成部、３５・・・動作制御部、３６・・・ユーザインタフェース部、４１・・・電子ビューファインダ、４２・・・記録装置、１１１・・・垂直走査制御回路、１１２・・・水平走査制御回路、１１３・・・画素列選択回路、１１３ad・・・Ａ／Ｄ変換処理部、１１３sw・・・スイッチ、１１４・・・出力アンプ、１５１・・・タイミング信号生成部、１５２・・・制御情報レジスタ、１５３・・・書込読出処理部、１５４・・・ディジタル信号処理部

Claims

撮像画像の画像信号を所定の撮像フレームレートで生成する撮像素子と、
前記撮像素子で生成された画像信号をディジタルの画像信号に変換する変換手段と、
前記変換手段で得られた画像信号を記憶するメモリと、
前記メモリへの画像信号の書き込みと前記メモリからの画像信号の読み出しを制御するメモリ制御手段と、
前記メモリから読み出された画像信号のフィルタリング処理を行うフィルタリング処理手段とを有し、
前記メモリ制御手段は、前記メモリの帯域を振り分けて、前記メモリに対する前記撮像フレームレートの画像信号の書き込みと、前記撮像フレームレートよりも低い表示フレームレートでの前記メモリに対する表示用画像信号の読み出しと、前記撮像フレームレートよりも低く且つ前記帯域の余裕の範囲内で記録フレームレートよりも高くしたフレームレートでの前記メモリに対する記録用画像信号の読み出しとを、時分割してほぼ同時に行い、
前記フィルタリング処理手段は、読み出された前記記録用画像信号にフィルタリング処理を行うことにより、前記記録フレームレートの記録用画像信号を生成する
撮像装置。
前記メモリから読み出された前記表示用画像信号に、前記フィルタリング処理に応じた係数を乗算することにより、前記表示用画像信号の信号レベルを、前記フィルタリング処理を行った記録用画像信号の信号レベルと一致させる信号レベル調整手段を有する
請求項１記載の撮像装置。
撮像画像の画像信号を所定の撮像フレームレートで生成する撮像工程と、
前記撮像工程で生成された画像信号をディジタルの画像信号に変換する変換工程と、
前記変換工程で得られた画像信号のメモリへの書き込みと該メモリからの画像信号の読み出しを制御するメモリ制御工程と、
前記メモリから読み出された画像信号のフィルタリング処理を行うフィルタリング処理工程とを有し、
前記メモリ制御工程は、前記メモリの帯域を振り分けて、前記メモリに対する前記撮像フレームレートの画像信号の書き込みと、前記撮像フレームレートよりも低い表示フレームレートでの前記メモリに対する表示用画像信号の読み出しと、前記撮像フレームレートよりも低く且つ前記帯域の余裕の範囲内で記録フレームレートよりも高くしたフレームレートでの前記メモリに対する記録用画像信号の読み出しとを、時分割してほぼ同時に行い、
前記フィルタリング処理工程は、読み出された前記記録用画像信号にフィルタリング処理を行うことにより、前記記録フレームレートの記録用画像信号を生成する
撮像方法。
前記メモリから読み出された前記表示用画像信号に、前記フィルタリング処理に応じた係数を乗算することにより、前記表示用画像信号の信号レベルを、前記フィルタリング処理を行った記録用画像信号の信号レベルと一致させる信号レベル調整工程を有する
請求項３記載の撮像方法。