JP4492312B2

JP4492312B2 - 撮像装置と撮像方法

Info

Publication number: JP4492312B2
Application number: JP2004340767A
Authority: JP
Inventors: 裕政池山; 和成高橋; 学原; 義章西出
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-11-25
Filing date: 2004-11-25
Publication date: 2010-06-30
Anticipated expiration: 2024-11-25
Also published as: JP2006157150A

Description

この発明は、撮像装置と撮像方法に関する。詳しくは、画像信号をメモリに書き込み、該メモリに書き込まれた画像信号の読み出しを制御して画像信号のフレームレート変換を行う複数の変換処理手段に対して、撮像手段から出力された画像信号を複数の変換処理手段に画素単位で画素順に振り分けることで、所望のフレームレートの画像信号を容易に生成するものである。

撮像装置では、被写体を撮像する際のフレームレート（以下「撮像フレームレート」という）を特許文献１に記載されているように可変して、被写体の動きを実際の速度とは異なる速度で表示することが可能とされている。例えば、撮像フレームレートで撮像を行い得られた画像信号を撮像フレームレートよりも低いフレームレートで再生すれば、被写体の動きが実際の速度よりも遅くなったスロー再生画像を得ることができる。

特開２０００−１２５２１０号公報

ところで、撮像フレームレートを可変するとき、電子ビューファインダや記録装置のフレームレートが可変できるようになされていないと、撮像画像をそのままリアルタイムで表示したり記録することができない。ここで、撮像フレームレートの撮像画像をメモリに一時記憶させて、このメモリに記憶された撮像画像を電子ビューファインダや記録装置に対応した所望のフレームレートで読み出すものとすれば、撮像画像の表示や記録が可能となる。また、メモリからの撮像画像の読み出しが容易であれば、撮像装置における種々の処理動作等も容易とすることができる。

そこで、この発明では、撮像フレームレートでメモリに記憶された撮像画像を所望のフレームレートとして容易に読み出すことができる撮像装置と撮像方法を提供するものである。

この発明に係る撮像装置は、撮像画像の画像信号を連続する複数の画素単位で並列に出力する撮像手段と、撮像手段から出力された画像信号のメモリへの書き込みと、該メモリに書き込まれた画像信号の読み出しを制御して、画像信号のフレームレート変換を行う複数の変換処理手段と、複数の変換処理手段で読み出された画像信号を時分割多重してフレーム単位の画像信号を生成するマルチプレクサとを有し、撮像手段は、並列に出力する画像信号を、複数の変換処理手段で画像信号の読み出しを行ったとき、読み出された画像信号が連続する画素の信号となるように、複数の変換処理手段に振り分け、複数の変換処理手段は、連続する画素の信号を同時にメモリから読み出し、マルチプレクサは、複数の変換処理手段で同時に読み出された連続する画素の信号を画素順に順次選択してフレーム単位の画像信号を生成するものである。

また、この発明に係る撮像方法は、撮像画像の画像信号を連続する複数の画素単位で並列に出力する撮像工程と、撮像工程で出力された画像信号のメモリへの書き込みと、該メモリに書き込まれた画像信号の読み出しを制御して、画像信号のフレームレート変換を行う複数の変換処理工程と、複数の変換処理工程で読み出された画像信号を時分割多重してフレーム単位の画像信号を生成するマルチプレクス工程とを有し、撮像工程では、並列に出力する画像信号を、複数の変換処理工程で画像信号の読み出しを行ったとき、読み出された画像信号が連続する画素の信号となるように、複数の変換処理工程に振り分け、複数の変換処理工程では、連続する画素の信号を同時にメモリから読み出し、マルチプレクス工程では、複数の変換処理工程で同時に読み出された連続する画素の信号を画素順に順次選択してフレーム単位の画像信号を生成するものである。

この発明においては、撮像画像の画像信号のメモリへの書き込みとメモリに書き込まれた画像信号の読み出しを制御して画像信号のフレームレート変換を行う複数の変換処理ブロックに対し、連続する複数の画素単位で並列に出力される画像信号が、複数の変換処理ブロックで画像信号の読み出しを行ったとき、読み出された画像信号が連続する画素の信号となるように振り分けられて供給される。複数の変換処理手段は、この連続する画素の信号を同時にメモリから読み出す。そして、マルチプレクサが、この同時に読み出された連続する画素の信号を画素順に順次選択してフレーム単位の画像信号を生成する。

この発明によれば、画像信号のメモリへの書き込みと、メモリに書き込まれた画像信号の読み出しを制御して、画像信号のフレームレート変換を行う変換処理手段（工程）が複数設けられて、撮像画像の画像信号は、複数の変換処理手段（工程）で画像信号の読み出しを行ったとき、読み出された画像信号が連続する画素の信号となるように、複数の変換処理手段（工程）に振り分けられる。このため、各変換処理手段（工程）で画像信号の読み出しを行えば、連続する複数画像の画像信号を得られるので、複数の変換処理手段（工程）に対して、所定画素数分の画像信号を画素順に振り分ける場合に比べて、メモリからの画像信号の読み出しレートを低くすることが可能となり、メモリに記憶された撮像画像を所望のフレームレートとして容易に読み出すことができる。また、画像信号を読み出す変換処理手段（工程)の切り換えも不要となる。さらに、連続する複数画素の画素信号が並列に画像信号として出力されて、この画素信号が振り分けられるので、連続する複数画素の画素信号を並列に出力することで撮像フレームレートが高くされても、各変換処理手段（工程）で画像信号の読み出しを行ったときに連続する複数画像の画像信号を得られるので、フレームレート変換を容易に行うことができる。さらに、メモリからの画像信号の読み出しレートが低く、連続する複数画素の画素信号が並列に出力されているので、マルチプレクサ（マルチプレクス工程）では、画像信号の選択を高い精度で行わなくともフレーム単位の画像信号を正しく生成することができる。

以下、図を参照しながら、この発明の形態について説明する。図１は、撮像装置１０の構成を示すブロック図である。

撮像部１１は、例えばＣＭＯＳ型やＣＣＤ型の固体撮像素子を用いて、撮像フレームレートの撮像信号を生成する。この撮像フレームレートは、撮像画像を記録媒体に記録するときの記録フレームレートやビューファインダ表示画像の表示フレームレート以上のフレームレートとする。

図２は、例えばカラムアンプ方式のＣＭＯＳ型固体撮像素子を用いた撮像部１１の構成を示すブロック図である。この撮像部１１は、例えば１クロックで１６画素の画素信号を並列に出力することで、１クロックで１画素の画素信号を出力する撮像部に比べて、１６倍の撮像フレームレートを実現する。

垂直走査制御回路１１１は、画素信号を読み出すラインの選択を行う。水平走査制御回路１１２は、画素列選択回路１１３を駆動して、画素信号を読み出す水平方向の画素位置の選択を行う。画素列選択回路１１３は、ライン方向に対して直交する方向の画素列に一方の端子を接続して他方の端子を出力アンプ１１４と接続したスイッチ１１３swで構成されている。

出力アンプ１１４は、１クロックで出力する画素信号の数に合わせて並列に設けるものとして、各出力アンプ１１４に画素列選択回路１１３のスイッチ１１３swを振り分けて接続する。例えば１クロックで１６画素の画素信号を並列に出力するときには、１６個の出力アンプ１１４-1〜１１４-16を並列に設ける。また、出力アンプ１１４-1には、「４Ｌ＋１（Ｌは０または正の整数）」番目に位置する画素列と接続されるスイッチ１１３sw-(4L+1)を接続する。同様に、出力アンプ１１４-2〜１１４-16には、「４Ｌ＋２」〜「４Ｌ＋１６」番目に位置する画素列と接続されるスイッチ１１３sw-(4L+2)〜１１３sw-(4L+16)をそれぞれ接続する。

ここで、垂直走査制御回路１１１は、１ライン目の画素の画素信号読み出しを行い、水平走査制御回路１１２は、画素列選択回路１１３のスイッチ１１３sw-1〜１１３sw-16を同時にオン状態とする。このとき、出力アンプ１１４-1〜１１４-16からは、画素Ｐ(1,1)〜Ｐ(16,1)の画素信号Ｓp-(1,1)〜Ｓp-(16,1)が並列に出力される。水平走査制御回路１１２は、次のクロックで画素列選択回路１１３のスイッチ１１３sw-17〜１１３sw-32を同時にオン状態とする。このとき、出力アンプ１１４-1〜１１４-16からは、画素Ｐ(17,1)〜Ｐ(32,1)の画素信号Ｓp-(17,1)〜Ｓp-(32,1)が出力される。以下同様にして、１６画素単位で画素信号を並列に繰り返し出力することで、１クロックで１画素の画素信号を出力する撮像部に比べて、１６倍のフレームレートの画像信号ＳＡを出力できる。

撮像部１１は、１６画素の画素信号を並列に読み出すことにより生成された画像信号ＳＡを４つの変換処理ブロック１２ａ〜１２ｄに振り分けて供給する。変換処理ブロック１２ａ〜１２ｄは、振り分けられた画像信号のメモリへの書き込みと、該メモリに書き込まれた画像信号の読み出しを制御して、画像信号のフレームレート変換を行う。

ここで、画像信号ＳＡを変換処理ブロック１２ａ〜１２ｄに振り分ける場合、４つの変換処理ブロック１２ａ〜１２ｄで画像信号の読み出しを行ったとき、読み出された画像信号が連続する画像の信号となるように振り分けを行う。すなわち、出力アンプ１１４-1からの画像信号ＳＡ-1，出力アンプ１１４-5からの画像信号ＳＡ-5、出力アンプ１１４-9からの画像信号ＳＡ-9，出力アンプ１１４-13からの画像信号ＳＡ-13は、変換処理ブロック１２ａに供給する。同様に、出力アンプ１１４-2からの画像信号ＳＡ-2，出力アンプ１１４-6からの画像信号ＳＡ-6，出力アンプ１１４-10からの画像信号ＳＡ-10，出力アンプ１１４-14からの画像信号ＳＡ-14は、変換処理ブロック１２ｂに供給する。出力アンプ１１４-3からの画像信号ＳＡ-3，出力アンプ１１４-7からの画像信号ＳＡ-7，出力アンプ１１４-11からの画像信号ＳＡ-11，出力アンプ１１４-15からの画像信号ＳＡ-15は、変換処理ブロック１２ｃに供給する。出力アンプ１１４-4からの画像信号ＳＡ-4，出力アンプ１１４-8からの画像信号ＳＡ-8，出力アンプ１１４-12からの画像信号ＳＡ-12，出力アンプ１１４-16からの画像信号ＳＡ-16は、変換処理ブロック１２ｄに供給する。このように、画像信号ＳＡを振り分けることで、変換処理ブロック１２ａ〜１２ｄで画像信号の読み出しを行ったときには、例えば連続する画素Ｐ(1,1)〜Ｐ(4,1)の信号を読み出すことができ、次の画像信号の読み出しでは、連続する画素Ｐ(5,1)〜Ｐ(8,1)の信号を読み出すことができる。

変換処理ブロック１２ａの前段処理部１３-1は、画像信号ＳＡ-1のゲイン調整や黒レベル調整等を行い、調整後の画像信号ＳＡ-1をＡ／Ｄ変換処理部１４-1に供給する。Ａ／Ｄ変換処理部１４-1は、前段処理部１３-1で処理された画像信号ＳＡ-1をディジタル信号に変換する。また、Ａ／Ｄ変換処理で生じた折り返し成分の除去を行い、得られたディジタルの画像信号ＤＢ-1をメモリ制御部１６に供給する。前段処理部１３-2〜１３-4およびＡ／Ｄ変換処理部１４-2〜１４-4も、前段処理部１３-1やＡ／Ｄ変換処理部１４-1と同様な処理を行い、画像信号ＳＡ-5，ＳＡ-9，ＳＡ-13を処理して得られたディジタルの画像信号ＤＢ-5，ＤＢ-9，ＤＢ-13をメモリ制御部１５に供給する。

メモリ制御部１５は、メモリ１６への画像信号の書き込みと読み出しを制御して、供給されたディジタルの画像信号ＤＢ-1，ＤＢ-5，ＤＢ-9，ＤＢ-13をフレームレートの異なる画像信号ＤＤ-aに変換してマルチプレクサ１８に供給する。

図３は、メモリ制御部１５の構成を示すブロック図である。メモリ制御部１５は、タイミング信号生成部１５１と制御情報レジスタ１５２と書込読出処理部１５３を有している。タイミング信号生成部１５１は、供給された画像信号ＤＢ-1，ＤＢ-5，ＤＢ-9，ＤＢ-16をメモリ１６に書き込んだり、メモリ１６に書き込まれている画像信号を読み出して画像信号ＤＤ-aとして出力するための基準となるタイミング信号ＴＭを生成する。このタイミング信号ＴＭは、後述する同期信号発生部３１から供給されたクロック信号ＴＳ-ck1，ＴＳ-ck2や同期信号ＴＳ-m，ＴＳ-cに基づいて生成する。制御情報レジスタ１５２は、後述する動作制御部３５と接続されており、動作制御部３５から供給された制御情報やメモリ１６の構成や書込読出処理部１５３の動作状態等に関する情報を保持する。

書込読出処理部１５３は、タイミング信号生成部１５１で生成されたタイミング信号ＴＭや制御情報レジスタ１５２に保持されている制御情報ＪＨに基づき、書込制御信号ＷＣや読出制御信号ＲＣを生成してメモリ１６に供給することで、メモリ１６の所望の領域に画像信号の書き込み、あるいはメモリ１６の所望の領域から画像信号を読み出して画像信号ＤＤ-aを出力する。また、書込読出処理部１５３は、メモリ１６に書き込む画像信号やメモリ１６から読み出した画像信号を一時保持するバッファ（図示せず）を有している。このため、撮像フレームレートの画像信号ＤＢが供給されるタイミングと画像信号ＤＢをメモリ１６に書き込むタイミングが一致しなくとも、画像信号ＤＢがバッファに一時保持されることから、正しく画像信号ＤＢをメモリ１６に書き込むことができる。また、メモリ１６から画像信号を読み出して出力する場合も、読み出した画像信号がバッファに一時保持されることから、画像信号の読み出しを所望のフレームレートのタイミングで行うことができなくとも、所望のフレームレートの画像信号ＤＤとしてメモリ制御部１５から出力できる。例えば表示フレームレートや記録フレームレートで画像信号を出力できる。

このように、撮像画像の画像信号をメモリ１６に記憶させることで、メモリ制御部１５に供給された画像信号ＤＢのフレームレートとメモリ制御部１５から出力される画像信号ＤＤ-aのフレームレートを独立したものとすることができる。

メモリ１６は、撮像フレームレートの高い画像信号を記憶したり、撮像フレームレートの画像信号をメモリ１６に書き込みながら、画像信号を読み出して所望のフレームレートで出力できるように、信号の書き込みや読み出しを高速に行うことができるメモリを用いて構成する。例えば、クロック信号の立ち上がりと立ち下がりの両方で信号の書き込みや読み出しを行うことができるＤＤＲＳＤＲＡＭ(Double Data Rate Synchronous Dynamic Random Access Memory)を用いて構成する。

変換処理ブロック１２ｂ〜１２ｄも変換処理ブロック１２ａと同様な構成とされており、変換処理ブロック１２ｂは、画像信号ＳＡ-2，ＳＡ-6，ＳＡ-10，ＳＡ-14を処理してフレームレートの異なる画像信号ＤＤ-bを生成してマルチプレクサ１８に供給する。変換処理ブロック１２ｃは、画像信号ＳＡ-3，ＳＡ-7，ＳＡ-11，ＳＡ-15を処理してフレームレートの異なる画像信号ＤＤ-cを生成してマルチプレクサ１８に供給する。変換処理ブロック１２ｄは、画像信号ＳＡ-4，ＳＡ-8，ＳＡ-12，ＳＡ-16を処理してフレームレートの異なる画像信号ＤＤ-dを生成してマルチプレクサ１８に供給する。

なお、ゲイン調整や黒レベル調整での調整量を変換処理ブロック１２ａ〜１２ｄの各前段処理部１３-1〜１３-4で独立に制御可能とすれば、撮像部１１から並列に出力される画像信号ＳＡが信号レベルのばらつきを有しても、並列に出力される画像信号ＳＡのそれぞれを正しく調整したのち、画像信号ＤＤを生成できる。

このように、変換処理ブロック１２ａ〜１２ｄは、撮像画像の画像信号をメモリに記憶させることで、画像信号ＳＡ-1〜ＳＡ-16のフレームレートと画像信号ＤＤ-a〜ＤＤ-dのフレームレートを独立したものとすることができる。

マルチプレクサ１８は、変換処理ブロック１２ａ〜１２ｄから供給された画像信号ＤＤ-a〜ＤＤ-bを時分割多重してフレーム単位の画像信号ＤＤＭを生成してプロセス部２１に供給する。

プロセス部２１は、接続される電子ビューファインダ４１の能力に応じた画素数変換回路、フォーカスを分かりやすくするためのエッジ強調処理回路、所定のビデオレベルの信号に目印を重畳するゼブラミックス回路、有効画枠などの領域情報を示すボックスカーソル表示回路等で構成されており、撮像時に撮像者を手助けするための種々の処理を行う。また、露出制御のための検出回路、画作りのためのエッジ強調処理回路、色を調整するためのリニアマトリクス回路、モニタガンマを補正するガンマ補正回路、記録装置４２で撮影画像を記録するためのインタフェースとしてのＹＣマトリクス処理回路等を有しており、良好な撮像画像を得ることができるように処理を行う。

プロセス部２１は、撮像時に撮像者を手助けするための種々の処理を行うことにより得られた画像信号ＤＥをＤ／Ａ変換器２２に供給する。Ｄ／Ａ変換器２２は、画像信号ＤＥをアナログの表示信号Ｖvfに変換して電子ビューファインダ４１に供給する。電子ビューファインダ４１は、供給された表示信号Ｖvfに基づいて撮像中の画像やメモリ１６に記憶されている撮像画像の表示等を行う。

また、プロセス部２１は、良好な撮像画像を得ることができるように処理を行って得られた映像信号Ｖoutを記録装置４２に供給する。記録装置４２は、供給された映像信号Ｖoutをテープ状やディスク状等の記録媒体に記録する。

同期信号発生部３１は、信号発生部３１１と信号発生部３１２およびＰＬＬ回路３１３で構成されている。信号発生部３１１は、クロック信号ＴＳ-ck1と表示フレームレートや記録フレームレートの画像信号の生成および処理を行うための基準となる同期信号ＴＳ-mを発生させる。信号発生部３１２は、クロック信号ＴＳ-ck2と撮像フレームレートの画像信号の生成および処理を行うための基準となる同期信号ＴＳ-cを発生させる。ＰＬＬ回路３１３は、クロック信号ＴＳ-ck1や同期信号ＴＳ-cをクロック信号-ck2や同期信号ＴＳ-mに同期させるためのものである。同期信号発生部３１は、信号発生部３１１で生成したクロック信号ＴＳ-ck1や同期信号ＴＳ-mを、メモリ制御部１５およびメモリ制御部１５の後段に設けられたブロック等に供給する。また、信号発生部３１２で生成したクロック信号ＴＳ-ck2や同期信号ＴＳ-cを、メモリ制御部１５と駆動信号生成部３２およびメモリ制御部１５の前段の前段処理部１３やＡ／Ｄ変換処理部１４に供給する。

駆動信号生成部３２は、同期信号発生部３１から供給されたクロック信号ＴＳ-ck2や同期信号ＴＳ-cに基づき駆動信号ＲＤを生成して撮像部１１に供給して、撮像フレームレートの画像信号を生成するように撮像部１１を駆動する。

動作制御部３５はＣＰＵ(Central Processing Unit)を用いて構成されており、この動作制御部３５に接続されたユーザインタフェース部３６からのユーザ操作に応じた操作信号ＰＳに基づき制御信号ＣＳを生成して各部に供給することで、ユーザ操作に応じて撮像装置を動作させる。

次に、撮像装置の動作について説明する。撮像部１１における撮像画像のサイズが水平方向２２００画素，垂直方向１１２５ラインであり、クロック周波数を７４．２５ＭＨｚとして、１クロックで１画素の画素信号を読み出すものとすると、撮像フレームレートは３０フレーム／秒となる。

ここで、上述のように１クロックで１６画素の画素信号を読み出すものとすると、１ライン分の画素は、（２２００／１６）＝１３７．５クロックとなる。このため、水平クロック数を１３８，クロック周波数を７４．５２ＭＨｚとして駆動することにより、撮像フレームレートを３０フレーム／秒の１６倍である４８０フレーム／秒とすることができる。

また、画像信号を４つの変換処理ブロック１２ａ〜１２ｄに振り分けて供給することから、１つの変換処理ブロックでは、撮像フレームレートが１２０フレーム／秒とされた撮像画像をリアルタイムに書き込む場合と同等の速度でメモリ１６に画像信号ＤＢを書き込むこととなる。

次に、メモリに書き込まれた画像信号を読み出す場合、電子ビューファインダ４１の表示フレームレートや記録装置４２の記録フレームレートを例えば３０フレーム／秒とすると、４つの変換処理ブロック１２ａ〜１２ｄとマルチプレクサ１８は、画像信号ＤＤＭのフレームレートが３０フレーム／秒となるようにメモリ１６からの画像信号の読み出しや時分割多重を行う。

４つの変換処理ブロック１２ａ〜１２ｄには、撮像部１１で１６画素の画素信号を並列に読み出すことにより生成された画像信号ＳＡが、上述のように、変換処理ブロック１２ａ〜１２ｄで画像信号の読み出しを行ったとき、読み出された画像信号が連続する画素の信号となるように振り分けられている。このため、４つの変換処理ブロック１２ａ〜１２ｄでそれぞれメモリ１６から画像信号を１画素分読み出すものとすると、図４に示すように、連続する４画素Ｐ(1,1)〜Ｐ(4,1)の信号を読み出すことができる。なお、図４では、画素Ｐ(1,1)〜Ｐ(4,1)のディジタル画素信号を画素信号ＤＰ(1,1)〜ＤＰ(4,1)として示している。また、図４Ａは画像信号ＤＤ-a、図４Ｂは画像信号ＤＤ-b、図４Ｃは画像信号ＤＤ-c、図４Ｄは画像信号ＤＤ-dをそれぞれ示している。また、マルチプレクサ１８は、画素信号ＤＰ(1,1)〜ＤＰ(4,1)を画素順に順次選択して図４Ｅに示す画像信号ＤＤＭを生成する。

ここで、画像信号ＤＤＭのフレームレートを３０フレームレート／秒とするときは、７４．５２ＭＨｚで画像信号ＤＤ-a〜ＤＤ-dを順番に繰り返し選択すれば良く、４つの変換処理ブロック１２ａ〜１２ｄの各メモリ１６から（７４．５２／４）ＭＨｚで画像信号を画素順に読み出せば良い。

なお、図５は、撮像部１１で１６画素の画素信号を並列に読み出すことにより生成された画像信号ＳＡを、画素順に振り分けたときの画像信号読み出し動作を説明するための図である。ここで、画像信号ＳＡを画素順に振り分けると、各変換処理ブロック１２ａ〜１２ｄに対して、連続する４画素の画素信号が供給されることとなる。このため、メモリに書き込まれた画像信号を読み出す場合、画像信号の読み出しを行う変換処理ブロックを４画素毎に切り換えるものとして、各変換処理ブロックから連続する４画素分の画素信号を読み出し、マルチプレクサ１８では、画素毎に信号を選択しなければければならない。

例えば図５Ａに示すように、変換処理ブロック１２ａから、７４．５２ＭＨｚで画像信号の読み出しを行い、画像信号ＤＤ-aとして連続する４画素Ｐ(1,1)〜Ｐ(4,1)の画素信号ＤＰ(1,1)〜ＤＰ(4,1)を読み出す。次に、画像信号の読み出しを行う変換処理ブロックを変換処理ブロック１２ｂに切り換えて、図５Ｂに示すように変換処理ブロック１２ｂから、画像信号ＤＤ-bとして連続する４画素Ｐ(5,1)〜Ｐ(8,1)の画素信号ＤＰ(5,1)〜ＤＰ(8,1)を読み出す。その後、図５Ｃに示すように変換処理ブロック１２ｃから、画像信号ＤＤ-cとして連続する４画素Ｐ(9,1)〜Ｐ(12,1)の画素信号ＤＰ(9,1)〜ＤＰ(12,1)の読み出し、図５Ｄに示すように、変換処理ブロック１２ｄから、画像信号ＤＤ-dとして連続する４画素Ｐ(13,1)〜Ｐ(16,1)の画素信号ＤＰ(13,1)〜ＤＰ(16,1)の読み出しを行う。さらに、変換処理ブロック１２ａから、画像信号ＤＤ-aとして連続する４画素Ｐ(17,1)〜Ｐ(20,1)の画素信号ＤＰ(17,1)〜ＤＰ(20,1)の読み出し等を引き続き行う。また、マルチプレクサ１８は、７４．５２ＭＨｚで画素順に画素信号を順次選択して図５Ｅに示すように画像信号ＤＤＭをする。

このように、画像信号ＳＡを画素順に振り分けた場合、変換処理ブロックから７４．５２ＭＨｚで画像信号の読み出しを行わなければならず、また、画像信号を読み出す変換処理ブロックの切り換えを行わなければならない。さらに、連続する４画素分の画素信号が各変換処理ブロックから連続して読み出されるので、マルチプレクサ１８は画像信号の選択を精度良く行わなければならない。

しかし、上述のように画像信号ＳＡを複数の変換処理ブロックに対して、各変換処理ブロックで画像信号の読み出しを行ったとき、読み出された画像信号が連続する画素の信号となるように振り分ければ、連続する複数画素の画素信号が複数の変換処理ブロックから並列に出力できるので変換処理ブロックにおけるメモリからの画像信号の読み出しレートを低くできる。また、画像信号を読み出す変換処理ブロックを切り換える必要もない。さらに、画像信号の読み出しレートが低く、連続する複数画素の画素信号が並列に出力されているので、マルチプレクサ１８は、連続する複数画素分の画素信号が各変換処理ブロックから連続して読み出される場合のように、画像信号の選択を高い精度で行わなくとも画像信号ＤＤＭを正しく生成できるため、連続する複数画素の信号を並列に出力して撮像フレームレートを高くしてもフレームレート変換を容易に行うことができる。

ところで、マルチプレクサ１８から画像信号ＤＤＭをプロセス部２１に供給して、表示信号Ｖvfと映像信号Ｖoutの生成を行うものとした場合、撮像画像のリアルタイム表示と撮像画像をフレーム順に記録することは同時に行うことができない。例えば、撮像フレームレートを１２０フレーム／秒、表示フレームレートと記録フレームレートを３０フレーム／秒としたとき、撮像画像をリアルタイムに表示するには３フレーム間引き処理を行いながら撮像画像を読み出さなければならない。しかし、３フレーム間引き処理を行いながら撮像画像を読み出すと、撮像画像を間引くことなくフレーム順に記録装置４２に記録できなくなってしまう。このため、例えば、撮像画像をリアルタイムに表示するための表示フレームレートの画像信号を記録装置４２に記録しながら撮像を行い、間引きによって記録されなかった撮像画像の画像信号を撮像終了後に記録装置４２に供給して正しいフレーム順序に並び替えて記録する処理を行う。

さらに、電子ビューファインダ４１に撮像画像をリアルタイムで表示しながら撮像画像をメモリ１６に記憶させる動作と、メモリ１６に記憶されている撮像画像を記録装置４２で記録する動作を別々に行うことで、撮像動作中の処理を容易とすることができる。

例えば、ユーザインタフェース部３６で撮像画像の書き込み開始操作が行われたときには、メモリ１６に画像信号ＤＢの書き込みを開始して、所定フレーム数の画像信号ＤＢがメモリ１６に記憶されたとき、画像信号ＤＢの書き込みを停止することで、書き込み開始操作から所定フレーム数の撮像画像をメモリ１６に記憶させる。あるいは、画像信号ＤＢの書き込みを開始しておき、ユーザインタフェース部３６で撮像画像の書き込み停止操作が行われたとき、画像信号ＤＢの書き込みを停止することで、書き込み停止操作が行われるまでの撮像画像をメモリ１６に記憶させる。

その後、メモリ１６に記憶されている撮像画像の読み出しを行い、読み出した撮像画像を記録装置４２で記録媒体に記録させる。また、撮像画像の記録時にプロセス部２１で画像信号ＤＥを生成すれば、どのような撮像画像が記録装置４２に記録されているか電子ビューファインダ４１に表示させることもできる。

なお、上述の形態のフレームレートや画像サイズ等は、理解を容易とするために一例として示したものであり、上記フレームレートや画像サイズ等に限定されるものでないことは勿論である。

以上のように、本発明に係る撮像装置と撮像方法は、高速撮像動作を行う場合に有用であり、高速撮像画像をメモリに書き込み、このメモリに書き込まれた撮像画像を所望のフレームレートで読み出してリアルタイムで画像の確認等を行う場合に好適である。

撮像装置の構成を示す図である。撮像部の構成を示す図である。メモリ制御部の構成を示す図である。読み出された信号が連続する画素の信号となるように振り分けを行ったときの画像信号読み出し動作を説明するため図である。読み出された信号を画素順に振り分けたときの画像信号読み出し動作を説明するための図である。

符号の説明

１０・・・撮像装置、１１・・・撮像部、１２ａ〜１２ｄ・・・変換処理ブロック、１３-1〜１３-4・・・前段処理部、１４-1〜１４-4・・・Ａ／Ｄ変換処理部、１５・・・メモリ制御部、１６・・・メモリ、１８・・・マルチプレクサ、２１・・・プロセス部、２２・・・Ｄ／Ａ変換器、３１・・・同期信号発生部、３２・・・駆動信号生成部、３５・・・制御部、３６・・・ユーザインタフェース部、４１・・・電子ビューファインダ、４２・・・記録装置、１１１・・・垂直走査制御回路、１１２・・・水平走査制御回路、１１３・・・画素列選択回路、１１３sw・・・スイッチ、１１４・・・出力アンプ、１５１・・・タイミング信号生成部、１５２・・・制御情報レジスタ、１５３・・・書込読出処理部、３１１，３１２・・・信号発生部、３１３・・・ＰＬＬ回路

Claims

撮像画像の画像信号を連続する複数の画素単位で並列に出力する撮像手段と、
前記撮像手段から出力された前記画像信号のメモリへの書き込みと、該メモリに書き込まれた画像信号の読み出しを制御して、画像信号のフレームレート変換を行う複数の変換処理手段と、
前記複数の変換処理手段で読み出された画像信号を時分割多重してフレーム単位の画像信号を生成するマルチプレクサと
を有し、
前記撮像手段は、前記並列に出力する画像信号を、前記複数の変換処理手段で画像信号の読み出しを行ったとき、読み出された画像信号が連続する画素の信号となるように、前記複数の変換処理手段に振り分け、
前記複数の変換処理手段は、前記連続する画素の信号を同時に前記メモリから読み出し、
前記マルチプレクサは、前記複数の変換処理手段で同時に読み出された前記連続する画素の信号を画素順に順次選択して前記フレーム単位の画像信号を生成する
撮像装置。
撮像画像の画像信号を連続する複数の画素単位で並列に出力する撮像工程と、
前記撮像工程で出力された前記画像信号のメモリへの書き込みと、該メモリに書き込まれた画像信号の読み出しを制御して、画像信号のフレームレート変換を行う複数の変換処理工程と、
前記複数の変換処理工程で読み出された画像信号を時分割多重してフレーム単位の画像信号を生成するマルチプレクス工程と
を有し、
前記撮像工程では、前記並列に出力する画像信号を、前記複数の変換処理工程で画像信号の読み出しを行ったとき、読み出された画像信号が連続する画素の信号となるように、前記複数の変換処理工程に振り分け、
前記複数の変換処理工程では、前記連続する画素の信号を同時に前記メモリから読み出し、
前記マルチプレクス工程では、前記複数の変換処理工程で同時に読み出された前記連続する画素の信号を画素順に順次選択して前記フレーム単位の画像信号を生成する
撮像方法。