JP4424097B2 - 電子ズーム装置 - Google Patents

Description

本発明は、電子ズーム装置に関し、例えばテレビジョンカメラ等の撮像装置に適用することができる。本発明は、入力画像データの１水平走査期間で、複数ラインの画像データをライン単位で繰り返し垂直フィルタに出力して内挿演算処理することにより、簡易な構成により、自由にズーム倍率を設定することができるようにする。

従来、テレビジョンカメラ等の撮像装置においては、電子ズームにより撮像結果を拡大するようになされている。このような電子ズームにおいては、例えば特開２０００−２０９４８０号公報に開示されているように、フレームメモリを介して垂直方向、水平方向に画サイズを拡大するようになされている。

これに対して特開平５−２２７４６４号公報等には、ＣＣＤイメージセンサから間引きして撮像結果を出力するようにして、この間引きに係る画素数、ライン数を電子ズームの倍率により可変すると共に、撮像結果を出力する領域を可変し、これによりイメージセンサの駆動の制御により電子ズームする方法が提案されるようになされている。

しかしながらフレームメモリを使用する方法においては、大容量のメモリを使用しなければならない問題がある。特に、撮像素子が高解像度化すると、その分、フレームメモリの容量も増大することになる。

これに対してイメージセンサの駆動の制御により電子ズームする方法にあっては、結局、イメージセンサのライン数、画素数により電子ズームの倍率が制限され、これにより電子ズームの倍率を自由に設定できない問題がある。
特開２０００−２０９４８０号公報 特開平５−２２７４６４号公報

本発明は以上の点を考慮してなされたもので、簡易な構成により、自由にズーム倍率を設定することができる電子ズーム装置を提案しようとするものである。

かかる課題を解決するため請求項１の発明においては、画像データを所望のズーム倍率により拡大して出力画像データを出力する電子ズーム装置に適用して、少なくとも３個以上の複数のラインメモリを有し、複数のラインメモリを順次循環的に選択して順次入力される画像データをラインメモリに記録すると共に、複数のラインメモリのうちの残りのラインメモリからラインの画像データを同時並列的に読み出して出力するメモリ回路と、メモリ回路から出力される複数ラインの画像データを内挿演算処理して出力する垂直フィルタと、垂直フィルタの出力データを内挿演算処理し、ズーム倍率により水平方向に拡大した出力画像データを出力する水平フィルタとを備え、出力画像データの画素数及びライン数は、出力画像データの解像度により変更され、メモリ回路は、ズーム倍率に応じて、入力画像データの１水平走査期間のうち出力画像データの最大画素数の処理時間内で余剰となる処理時間を使用して、複数ラインの画像データをライン単位で繰り返し出力することにより、ズーム倍率により垂直方向に拡大した画像データが垂直フィルタより出力されるようにし、ズーム倍率に応じて、複数のクロック周期で１の画像データを出力することにより、ズーム倍率により水平方向に拡大した画像データが水平フィルタより出力されるようにし、メモリ回路は、ズーム倍率に応じて、画像データの垂直方向については、垂直フィルタにおける内挿演算処理に供する有効表示領域についてのみ、選択的に複数のラインメモリに入力されるようにし、ズーム倍率に応じて、画像データの水平方向については、１ライン分の入力画像データを全て複数のラインメモリに格納し、この格納した画像データより水平方向の内挿演算処理に供する有効表示領域についてのみ、選択的に複数のラインメモリより出力し、またライン単位で繰り返し出力されるようにする。

請求項１の構成により、メモリ回路が、ズーム倍率に応じて、画像データの１水平走査期間で、複数ラインの画像データをライン単位で繰り返し出力することにより、ズーム倍率により垂直方向に拡大した画像データが垂直フィルタより出力されるようにし、ズーム倍率に応じて、複数のクロック周期で１の画像データを出力することにより、ズーム倍率により水平方向に拡大した画像データが水平フィルタより出力されるようにすれば、これら繰り返しの出力に係るライン数、画素数に係る内挿処理による出力画像データを得ることができ、これにより簡易な構成により種々の倍率による電子ズームの処理を実行することができる。

本発明によれば、簡易な構成により、自由に倍率を設定することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図１は、本発明の実施例に係る撮像装置を示すブロック図である。この撮像装置１は、固体撮像素子であるイメージセンサ２により所望の被写体を撮像し、撮像結果による画像データＤ２をモニタにより表示し、また記録媒体に記録する。

ここでイメージセンサ２は、駆動回路３の制御によりライン間引き、画素間引きにより撮像結果を出力可能であり、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor ）による撮像素子が適用される。イメージセンサ２は、ピクセルクロックＰＣＫ等の各種動作基準信号により動作して、このようなライン間引き、画素間引きによる撮像結果を撮像信号Ｓ１により出力する。またイメージセンサ２は、モニタへの出力に供する画像データＤ２の解像度に比して高い解像度による撮像結果を出力するようになされ、この実施例においては、６４０画素×４８０ラインによるＶＧＡ（Video Graphics Array）のイメージセンサが適用されるようになされている。

駆動回路３は、この撮像装置１全体の動作を制御するシステムコントローラ６の制御により、モニタへの出力に供する画像データＤ２の解像度に応じた画素数、ライン数により撮像信号Ｓ１を出力するように、イメージセンサ２を駆動する。

すなわち駆動回路３は、例えば記録媒体への記録に供する画像データＤ２がＱＶＧＡ（Quarter ＶＧＡ）による３２０画素×２４０ラインによるものの場合、２ライン周期で１ラインをライン間引きして、また２画素周期で１画素を画素間引きして撮像信号Ｓ１を出力するようにイメージセンサ２に駆動信号を出力する。また例えば記録媒体への記録に供する画像データＤ２がＳＱＶＧＡによる１６０画素×１２０ラインによるものの場合、４ライン周期で３ラインをライン間引きして、また４画素周期で３画素を画素間引きして撮像信号Ｓ１を出力するようにイメージセンサ２に駆動信号を出力する。

カメラ信号処理回路４は、イメージセンサ２から出力される撮像信号Ｓ１をアナログディジタル変換処理してホワイトバランス調整等の処理を実行した後、輝度信号、色差信号による画像データＤ１に変換してメモリ回路７に出力する。カメラ信号処理回路４は、クロック生成回路５から出力されるピクセルクロックＰＣＫにより動作してこれら一連の処理を実行し、このピクセルクロックＰＣＫに同期して画像データＤ１を出力する。

クロック生成回路５は、図示しない基準信号生成回路によりこの撮像装置１の動作基準信号であるマスタークロックＭＣＫを生成して各部に出力する。さらにクロック生成回路５は、分周回路５ＡによりマスタークロックＭＣＫを分周して、イメージセンサ２、駆動回路３、カメラ信号処理回路４の動作基準クロックであるピクセルクロックＰＣＫを生成し、また分周回路５ＢによりマスタークロックＭＣＫを分周して、後述するメモリ回路７の動作基準クロックであるレート可変クロックＺＣＫを生成する。クロック生成回路５は、これら分周回路５Ａ、５Ｂの分周比をクロックコントローラ５Ｃの制御により切り換えるようになされ、このクロックコントローラ５Ｃによる分周比の制御が、この撮像装置１全体の動作を制御するシステムコントローラ６により制御されるようになされている。

これによりこの実施例においては、メモリ回路７における処理速度に対して、イメージセンサ２、カメラ信号処理回路４における処理速度を種々に可変できるようになされている。

この撮像装置１は、カメラ信号処理回路４から出力される画像データＤ１を、メモリ回路７に一時保持し、垂直フィルタ８、水平フィルタ９により順次垂直方向及び水平方向に内挿処理することにより、電子ズームの処理を実行する。

すなわち垂直フィルタ８は、メモリ回路７から同時並列的に出力される複数ラインの画像データをライン内挿処理し、これにより電子ズーム処理に係る各ラインの画像データを生成する。具体的に垂直フィルタ８は、例えば図２に示すように、メモリ回路７からの各タップ出力をそれぞれ重み付けする乗算回路１０Ａ、１０Ｂと、この乗算回路１０Ａ、１０Ｂの出力データを加算する加算回路１１、この加算回路１１の出力データを一時保持して出力するフリップフロップ回路１２、乗算回路１０Ａ、１０Ｂ、加算回路１１の出力段にそれぞれ設けられたバッファ回路等による内挿回路により構成される。この実施例において、垂直フィルタ８は、内挿結果を出力するフリップフロップ回路１２にイネーブルの制御信号を受け付けるものが適用され、これにより所望するタイミングで処理結果の出力を中止できるようになされている。なお垂直フィルタ８は、この図２に示す２タップによる内挿回路に限らず、図２との対比により図３及び図４に示すように、４タップ、８タップによる内挿回路を使用する場合等、必要に応じて種々の構成を広く適用することができる。

しかして垂直フィルタ８は、ライン内挿比に応じた重み付け係数ｃｏｅｆＡ、ｃｏｅｆＢがシステムコントローラ６の制御により乗算回路１０Ａ、１０Ｂに設定されるようになされ、これにより入力画像データＤ１の各ラインに対するサンプリング位相に応じた重み付け係数ｃｏｅｆＡ、ｃｏｅｆＢの設定により、順次、出力画像データＤ２の各ラインの画像データを生成するようになされている。

水平フィルタ９は、順次入力される画像データを内挿処理し、これにより電子ズーム処理に係る水平方向の画像データを生成する。具体的に水平フィルタ９は、例えば図５に示すように、入力画像データのクロック周期に対応する遅延回路であるフリップフロップ回路１３Ａと、入力画像データ及びこのフリップフロップ回路１３Ａの出力データをそれぞれ重み付けする乗算回路１４Ａ、１４Ｂと、この乗算回路１４Ａ、１４Ｂの出力データを加算する加算回路１５、この加算回路１５の出力データを一時保持して出力するフリップフロップ回路１６、乗算回路１４Ａ、１４Ｂ、加算回路１５の出力段にそれぞれ設けられたバッファ回路等による補間回路により構成される。この実施例において、水平フィルタ９は、遅延回路を構成するフリップフロップ回路１３Ａ、補間結果を出力するフリップフロップ回路１６にイネーブルの制御信号を受け付けるものが適用され、これにより所望するタイミングで内挿処理を中止できるようになされている。なお水平フィルタ９は、この図５に示す２タップの直線補間による内挿回路に限らず、図５との対比により図６及び図７に示すように、４タップ、８タップによる補間回路を使用する場合等、必要に応じて種々の構成を広く適用することができる。

水平フィルタ９は、内挿比に応じた重み付け係数ｃｏｅｆＡ、ｃｏｅｆＢがシステムコントローラ６の制御により乗算回路１４Ａ、１４Ｂに設定され、これにより入力画像データＤ１の水平方向に係るサンプリング位相に応じた重み付け係数ｃｏｅｆＡ、ｃｏｅｆＢの設定により、順次、出力画像データＤ２の水平方向に係る各画像データを生成するようになされている。

メモリ回路７は、カメラ信号処理回路４から出力される画像データを一時保持し、この保持した画像データを垂直フィルタ８に出力する。ここでメモリ回路７は、カメラ信号処理回路４から出力される画像データＤ１の水平方向の最大のサンプリング数に対応するメモリ容量を有し、かつこの画像データＤ１を記録、再生する複数のラインメモリ２５Ａ〜２５Ｃ、入力画像データＤ１をこれらラインメモリ２５Ａ〜２５Ｃに振り分けるセレクタ２６、これらラインメモリ２５Ａ〜２５Ｃからの出力画像データを垂直フィルタ８の各タップ入力に振り分けるセレクタ２７、これらラインメモリ２５Ａ〜２５Ｃ、セレクタ２６、２７の動作を制御するメモリコントローラ２８により構成される。

このメモリ回路７は、これら複数のラインメモリ２５Ａ〜２５Ｃを順次選択して、順次入力される画像データを記録しながら、続く垂直フィルタ８、水平フィルタ９の処理に対応するように、残りのラインメモリ２５Ａ〜２５Ｃから保持した画像データを出力する。このためメモリ回路７は、少なくとも３個以上の複数のラインメモリを有するように形成され、この複数のラインメモリを順次循環的に選択して順次入力される画像データＤ１をラインメモリに記録すると共に、これら複数のラインメモリのうちの残りのラインメモリから複数ラインの画像データを同時並列的に読み出して出力するようになされている。ここでこの実施例においては、続く垂直フィルタ８によるライン内挿処理が２タップによる内挿演算処理により実行されることにより、メモリ回路７は、ラインメモリ２５Ａ〜２５Ｃの数が３個に設定されて、入力画像データＤ１を記録していない残りの２個のラインメモリから同時並列的に２ラインの画像データを出力できるようになされている。

この画像データの出力において、メモリ回路７は、ズーム倍率に応じて、上下、所定個数のラインについては、ラインメモリ２５Ａ〜２５Ｃへの記録を中止し、これにより無駄な処理を防止する。またこのズーム倍率、ラインに応じて、続く垂直フィルタ８に対する１ライン分の画像データ出力を、１水平走査期間間に、複数回、繰り返す。これによりこの撮像装置１では、１水平走査期間で複数ラインの内挿処理を垂直フィルタ８で繰り返し実行するようになされ、これらにより電子ズーム処理における垂直方法の処理を実行するようになされている。

しかして図８に示すように、ＶＧＡでは、１画面が４８０ライン×６４０画素により形成されるのに対し、ＣＩＦ（Common Intermediate Format）では、１画面が２８８ライン×３５２画素により形成され、ＱＶＧＡでは、１画面が２４０ライン×３２０画素により形成される。またＱＣＩＦ（Quarter ＣＩＦ）では、１画面が１４４ライン×１７６画素により形成され、ＳＱＶＧＡ（Super Quarter ＣＩＦ）では、１画面が１２０ライン×１６０画素により形成される。

これにより図９に示すように、ＶＧＡ（図９（Ｂ））においては、水平同期信号ＨＤ（図９（Ａ））による１水平走査期間が、概ね８００画素分の期間に相当し、この８００画素分の期間で、６４０画素による１ライン分の撮像結果を出力することになる。これに対してこのＶＧＡによるデータ転送速度でＣＩＦ、ＱＶＧＡによる撮像結果を出力する場合、２０画素分の期間で区切って、１水平走査期間で２ライン分の撮像結果を出力することができ（図９（Ｃ）及び（Ｄ））、ＱＣＩＦ、ＳＱＶＧＡによる撮像結果にあっては、同様にして、１水平走査期間で、４ラインの撮像結果を出力することができる（図９（Ｅ）及び（Ｆ））。これらによりイメージセンサ２の駆動の制御により電子ズームの処理を実行すると仮定すると、ＣＩＦでは最大で３．２倍のズーム倍率を確保することができるのに対し、ＱＶＧＡでは最大で４倍のズーム倍率を確保することができるのに対し、ＱＣＩＦ、ＳＱＶＧＡではそれぞれ最大で１２．８倍、１６倍のズーム倍率を確保することができる。

この実施例においては、出力画像データＤ２に応じて画素間引きしてイメージセンサ２から撮像信号Ｓ１が出力されることにより、メモリ回路７では、出力画像データＤ２をＶＧＡにより出力する場合には、１水平走査期間で１ライン分しか画像データを出力できないのに対し、それぞれＣＩＦ、ＱＶＧＡにより画像データＤ２を出力する場合、１水平走査期間で１ラインの画像データ出力を２回、繰り返すことができ、ＱＣＩＦ、ＳＱＶＧＡにより画像データＤ２を出力する場合には、１水平走査期間で、１ラインの画像データ出力を４回、繰り返すことが可能となる。

これにより図１０に示すように、メモリ回路７は、入力画像データＤ１に係る水平同期信号ＨＤ（図１０（Ａ１））の１水平走査期間毎に、順次循環的にラインメモリ２５Ａ〜２５Ｃを選択して、入力画像データＤ１をラインメモリ２５Ａ〜２５Ｃに記録しながら（図１０（Ｂ１）〜（Ｃ１）、（Ｂ２）〜（Ｃ２））、記録に供していないラインメモリ２５Ａ〜２５Ｃに保持した画像データを垂直フィルタ８に出力するようにして、２倍のズーム倍率により画像データＤ２を出力する場合には、時間軸圧縮して、１水平走査期間で、ライン単位による画像データの出力を２回繰り返し（図１０（Ｂ１）〜（Ｃ１））、この２回の繰り返しによる画像データをそれぞれ垂直フィルタ８でライン内挿処理するようになされている（図１０（Ｅ１））。しかしてこの場合、この２回の画像データ出力の繰り返しにより垂直フィルタ８で２ラインの画像データを生成することができ、これにより２倍のズーム倍率を確保できるようになされている。

これに対して３倍のズーム倍率により画像データＤ２を出力する場合には、時間軸圧縮により１水平走査期間で、ライン単位による画像データの出力を３回繰り返し（図１０（Ｂ２）〜（Ｃ２））、この３回の繰り返しによる画像データをそれぞれ垂直フィルタ８でライン内挿処理するようになされている（図１０（Ｅ２））。これによりこの場合、この３回の画像データ出力の繰り返しにより３ラインの画像データを生成することができ、３倍のズーム倍率を確保できるようになされている。

なおメモリ回路７は、このような整数値によらないズーム倍率による電子ズームの処理においては、図１１に示すように、入力画像データＤ１に対する出力画像データＤ２の各ラインのサンプリング位相に応じて、各水平走査期間毎に、繰り返し出力の回数が異なり、例えば１倍から２倍の間のズーム倍率による電子ズームにおいては、このような１水平走査期間における１ライン出力と、１水平走査期間における２ライン出力とを切り換えることになる。なおこの図１１においては、符号（Ａ１）〜（Ｄ１）により１倍のズーム倍率による場合の画像データ入出力の処理を示し、この１倍のズーム倍率による処理との対比により、符号（Ａ２）〜（Ｄ２）により１．５倍程度のズーム倍率による場合を示し、この場合、ライン単位による画像データ出力を２回繰り返す水平走査期間と、ライン単位による画像データ出力が１回だけの水平走査期間とが、ズーム倍率、内挿処理に係るラインのサンプリング位相に応じて繰り返されることになる。

しかして図１２は、この一連のメモリ回路７における画像データの処理を示す略線図であり、メモリ回路７においては、この場合、カメラ信号処理回路４から出力される１水平走査期間の画像データＤ１を、この１水平走査期間で、ライン単位で、繰り返し出力するようになされている（図１２（Ａ）〜（Ｃ））。

ところで図１３は、ライン内挿による電子ズーム処理において、ズーム倍率により繰り返し垂直フィルタ８に入力することが必要となるライン単位の画像データ出力回数を示す特性曲線図であり、ＶＧＡによる撮像結果を各種のフォーマットによりそれぞれ出力する場合を示すものである。

これにより十分なズーム倍率を確保しようとした場合、このようなメモリ回路７におけるアドレス制御による繰り返しの出力だけでは、必要な回数分だけ垂直フィルタ８に画像データを出力できないことが判る。

これによりこの実施例において、メモリ回路７におけるアドレス制御による繰り返しの出力だけでは、必要な回数分だけ垂直フィルタ８に画像データを出力できない場合、分周回路５Ａ、５Ｂにおける分周比の切り換えにより、メモリ回路７の処理速度に対してイメージセンサ２、カメラ信号処理回路４の処理速度を低下させ、必要な回数分だけ垂直フィルタ８に画像データを出力する。

すなわち図１０（Ａ１）〜（Ｅ２）との対比により図１４（Ａ３）〜（Ｅ３）に示すように、この実施例においては、システムコントローラ６によるクロックコントローラ５Ｃの制御により、イメージセンサ２、カメラ信号処理回路４における処理速度が低下し、メモリ回路７に入力する画像データＤ１の１水平走査期間の長さが、例えば２倍によるズーム倍率の場合に比して２倍に設定される。これによりメモリ回路７は、この場合、このようにして延長された１水平走査期間により、４ラインの繰り返しにより画像データを出力し、４倍のズーム倍率を確保する。またこれによりメモリ回路７は、１水平走査期間の間で、繰り返しの画像データ出力を実施できない場合でも、図１４（Ａ４）〜（Ｅ４）に示すように、この場合、２ラインの繰り返し出力を実行し得、これにより２倍のズーム倍率を確保することができるようになされている。

しかして図１５は、このレート変換時におけるメモリ回路７における画像データの処理を示す略線図であり、メモリ回路７においては、この場合、カメラ信号処理回路４から出力される延長された１水平走査期間に係る画像データＤ１を、この延長された１水平走査期間で、ライン単位で、繰り返し出力するようになされている（図１５（Ａ）〜（Ｃ））。

メモリ回路７においては、これら一連の処理に対応するように、また垂直フィルタ８に続く水平フィルタ９における処理に対応するように、メモリコントローラ２８により各ラインメモリ２５Ａ〜２５Ｃの動作が制御される。

すなわちメモリコントローラ２８は、上位のコントローラにより指示されるズーム倍率に応じて、垂直方向については、垂直フィルタ８におけるライン内挿処理に供する有効表示領域についてのみ、選択的にラインメモリ２５Ａ〜２５Ｃに入力し、これにより無駄なラインに係る処理を防止する。また水平方向については、図１６に示すように、１ライン分の入力画像データＤ１を全てラインメモリ２５Ａ〜２５Ｃに格納し、この格納した画像データより水平方向の内挿処理に供する有効表示領域についてのみ、選択的にラインメモリ２５Ａ〜２５Ｃより出力し、またライン単位で繰り返し出力し、これによりこの場合も無駄な処理を防止する（図１６（Ａ）〜（Ｄ））。

また図１７に示すように、ズーム倍率に応じたラインメモリ２５Ａ〜２５Ｃの読み出しアドレス制御、垂直フィルタ８の出力段に設けられたフリップフロップ回路１２のイネーブル制御、水平フィルタ９の遅延回路を構成するフリップフロップ回路１６のイネーブル制御により、ズーム倍率に応じた複数クロック周期の間、同一の画素に係る画像データを水平フィルタ９に供給して内挿演算処理を繰り返す。すなわち例えばラインメモリ２５Ｂ、２５Ｃより画像データＤ２を出力する場合にあって（図１７（Ａ））、２倍によるズーム倍率により水平方向に電子ズームの処理を実行する場合、これらラインメモリ２５Ｂ、２５Ｃの読み出しアドレスの生成に係るアドレスカウンタの歩進速度を１／２に低下させ、これによりズーム倍率に応じてラインメモリ２５Ｂ、２５Ｃからの画像データ出力速度を低下させる（図１７（Ｂ）及び（Ｃ））。これによりこの場合、連続する２クロック周期で同一画素に係る画像データＤ２を垂直フィルタ８に繰り返し入力し、各クロック周期で内挿処理を繰り返す（図１７（Ｄ））。またフリップフロップ回路１２、フリップフロップ回路１６のイネーブル制御により、この垂直フィルタ８による繰り返しに係る画像データのうち、連続する画素に係る画像データを水平フィルタ９の乗算回路１４Ａ、１４Ｂに、同時並列的に、かつズーム倍率に応じたクロック周期の間、入力し、ここで内挿処理を実行する（図１７（Ｅ）及び（Ｆ））。しかしてこの図１７においては、ラインメモリ２５Ｂ、２５Ｃの出力データＹ４、Ｙ５、Ｙ６、……の組み合わせの表示Ｙ４／Ｙ５、Ｙ５／６、……により、垂直フィルタ８の出力データと水平フィルタ９の出力データとの対応関係を示す。これによりこの実施例においては、カメラ信号処理回路４から出力される画像データＤ２の水平方向に連続するサンプリング点間に、ズーム倍率に応じた複数のサンプリング点に係る画像データを生成できるようになされている。

これに対して図１８は、図１５との対比によりイメージセンサ２及びカメラ信号処理回路４におけるデータ転送速度を低減させた場合の、ラインメモリ２５Ａ〜２５Ｃの書き込み制御を示すタイムチャートである。メモリコントローラ２８は、この場合、クロック生成回路５における分周回路５Ａ、５Ｂの設定切り換えに連動して、ラインメモリへの書き込みアドレス生成に係るアドレスカウンタの歩進速度を低下させる（図１８（Ａ）〜（Ｄ）及び（Ｆ））。またこれと連動してライトイネーブル信号を所定周期で出力し（図１８（Ｅ））、これらにより出力画像データＤ２の処理速度により動作して、ズーム倍率に応じてデータ転送速度が低減されてなる入力画像データＤ１を順次ラインメモリに記録する（図１８（Ｆ）及び（Ｇ））。またこのようにして記録した画像データの出力については、図１７について、上述したと同様にして出力する。

しかしてこれらにより水平フィルタ９から出力される電子ズーム処理結果による画像データにおいては、ズーム倍率に応じて１水平走査期間の間で複数ラインが出力され、またイメージセンサ２、カメラ信号処理回路４における処理速度に応じて変化するフレームレートにより出力されることになる。記録系／モニタ系３０は、この水平フィルタ９から出力される電子ズーム処理により画像データを取得してモニタ装置により表示する。またシステムコントローラ６の制御によりこの取得した画像データをデータ圧縮して所定の記録媒体に記録する。

システムコントローラ６は、ユーザーによる操作に応動してこの撮像装置１全体の動作を制御する制御手段であり、ズームの操作子３１の操作に応動してズーム倍率を計算し、この計算したズーム倍率により電子ズームの処理を実行するように、メモリコントローラ２８にズーム倍率を指示し、またクロックコントローラ５Ｃに分周回路５Ａ、５Ｂの制御を指示する。

（２）実施例の動作
以上の構成において、この撮像装置１では（図１）、イメージセンサ２による撮像結果が画像データに変換されてカメラ信号処理回路４により処理された後、メモリ回路７、垂直フィルタ８、水平フィルタ９により順次処理されて記録系／モニタ系３０に出力され、これにより撮像結果をモニタすることができるようになされ、また記録媒体に記録して保存することができるようになされている。

この一連の処理において、カメラ信号処理回路４から出力される画像データＤ１は、イメージセンサ２の駆動によるライン間引き、画素間引きにより、記録系／モニタ系３０への出力に係る画像データＤ２のライン数、水平解像度によりメモリ回路７に入力される。またこのようにして入力される画像データＤ１は、メモリ回路７に設けられた複数のラインメモリ２５Ａ〜２５Ｃを順次循環的にライン単位で記録され、また画像データＤ１の記録に供していない残りのラインメモリより、同時並列的に画像データが読み出されて垂直フィルタ８に入力され、ここで垂直フィルタ８によるライン内挿処理により、垂直方向に電子ズームの処理が実行される。また続く水平フィルタ９における内挿処理により水平方向に電子ズームの処理が実行される。

しかしてこの電子ズームの処理において、ズーム倍率１により画像データを出力する場合、すなわち何ら電子ズームにより画像を拡大することなくモニタに表示する場合、垂直フィルタ８においては、同時並列的に入力される複数ラインの１つを選択出力するように内挿係数が設定されてライン内挿演算処理され、また水平フィルタ９においては、同様に、１系統のサンプリング値を選択出力するように内挿係数が設定されて内挿演算処理され、これにより１倍による電子ズーム処理結果による画像データＤ２が水平フィルタ９から出力される。

これに対してズーム倍率１倍以上の場合には、画像データＤ1 は、ズーム倍率に応じた各内挿処理に係るサンプリング位相に応じて、垂直フィルタ８、水平フィルタ９における内挿係数が設定されて垂直フィルタ８、水平フィルタ９によりそれぞれ内挿演算処理される。この処理において、例えばズーム倍率が２倍未満の場合には、水平フィルタ９から出力される画像データＤ２の特定のラインでは、画像データＤ１の連続する２ラインにより２ライン分の内挿演算処理を実行することが必要になる。またズーム倍率が２倍の場合には、水平フィルタ９から出力される画像データＤ２の全てのラインで、画像データＤ１の連続する２ラインより２ライン分の内挿演算処理を実行することが必要になる。またズーム倍率が２倍を越え、３倍未満の場合には、画像データＤ１の連続する２ラインより２ライン分又は３ライン分の内挿演算処理を実行することが必要になる。

画像データＤ１においては、このようなズーム倍率に応じて変化するライン内挿処理に対して、画像データＤ１の１水平走査期間で、ライン単位で、垂直フィルタ８への出力が繰り返され、これによりズーム倍率に応じて必要なライン内挿演算処理が垂直フィルタ８で繰り返される。

また水平方向については、同様にして、ズーム倍率が２倍未満の場合には、水平フィルタ９から出力される画像データＤ２の特定の画素では、画像データＤ１の連続する２画素により２画素の内挿演算処理を実行することが必要になる。またズーム倍率が２倍の場合には、水平フィルタ９から出力される画像データＤ２の全ての画素で、画像データＤ１の連続する２画素より２画素の内挿演算処理を実行することが必要になる。またズーム倍率が２倍を越え、３倍未満の場合には、画像データＤ１の連続する２画素より２画素、又は３画素の内挿演算処理を実行することが必要になる。

画像データＤ１においては、このようなズーム倍率に応じて変化する水平方向の内挿処理に対して、メモリ回路７からの読み出し速度が低下されて画像データＤ１の複数クロック周期で１画素の画像データＤ１が垂直フィルタ８に出力され、また画像データＤ１のクロック周期による内挿演算処理が垂直フィルタ８の出力段に設けられたフリップフロップ回路、水平フィルタ９の遅延回路を構成するフリップフロップ回路のイネーブル制御により一時的に処理が中止され、これらにより水平方向への電子ズームの処理が実行される。

これらによりこの撮像装置１では、複数のラインメモリによるメモリ回路を用いて電子ズームの処理を実行することができ、その分、簡易な構成により電子ズームの処理を実行することができる。また電子ズームの倍率にあっても、イメージセンサ２のライン数、画素数に何ら制限されることなく設定することができ、これにより自由にズーム倍率を設定することができる。

このようにして１水平走査期間におけるライン単位の画像データ出力を繰り返して、１水平走査期間に繰り返しの出力に係る時間的な余裕が無い場合、この撮像装置１では、撮像系であるイメージセンサ２、カメラ信号処理回路４の動作基準であるピクセルクロックＰＣＫの周波数が低減されて、入力画像データＤ１の１水平走査期間が拡大され、これにより不足する１水平走査期間の時間的な余裕が確保される。この場合、画像データは、この拡大した１水平走査期間で、メモリ回路からライン単位で繰り返し出力される。

これによりこの撮像装置１では、大きなズーム倍率によっても、電子ズームの処理を実行することができ、一段と自由にズーム倍率を設定することができる。

（３）実施例の効果
以上の構成によれば、入力画像データの１水平走査期間で、複数ラインの画像データをライン単位で繰り返し垂直フィルタに出力して内挿演算処理することにより、簡易な構成により、自由にズーム倍率を設定することができる。

またこのとき、撮像系であるイメージセンサ２、カメラ信号処理回路４の動作基準であるピクセルクロックＰＣＫの周波数を低減し、入力画像データＤ１の１水平走査期間を拡大することにより、大きなズーム倍率によっても、電子ズームの処理を実行することができ、一段と自由にズーム倍率を設定することができる。

図１９は、図１との対比により本発明の実施例２に係る撮像装置を示すブロック図である。この撮像装置４０は、カメラ信号処理回路４とメモリ回路７との間に水平縮小フィルタ４２が配置され、この水平縮小フィルタ４２によりカメラ信号処理回路４から出力される画像データの水平方向に係るサンプリング数が低減される。また水平縮小フィルタ４２においては、ライン単位で、間欠的に画像データの出力を中止し、これによりカメラ信号処理回路４から出力される画像データのライン数が低減される。

この撮像装置４０は、イメージセンサ２における画素間引き、ライン間引きの処理を中止して水平縮小フィルタ４２によりこれらの処理が実行される点を除いて、実施例１に係る撮像装置１と同一に構成される。

この実施例のように、メモリ回路７の入力段で画像データのライン数、画素数を低減するようにして処理するようにしても、実施例１と同様の効果を得ることができる。

図２０は、図１との対比により本発明の実施例３に係る撮像装置を示すブロック図である。この撮像装置５０は、水平フィルタ９の出力段にＦＩＦＯによるメモリ回路５２が設けられ、このメモリ回路５２により電子ズーム処理に係る画像データのタイミングが補正される。具体的にこの実施例においては、このメモリ回路５２により、水平同期信号、垂直同期信号に同期した一定のレートにより画像データを出力する。

この実施例のように電子ズーム処理結果による画像データのタイミングを補正して出力するようにすれば、一定の処理速度により画像データの各サンプリング値を連続して出力することができ、これにより広く汎用のモニタ系、記録系により画像データを処理することができる。

なお上述の実施例においては、水平方向については全てのサンプリング値をラインメモリに記録して処理する場合について述べたが、本発明はこれに限らず、水平拡大領域の画像データだけ選択的にラインメモリに記録して処理するようにしてもよい。

また上述の実施例においては、入力画像データＤ１のクロック周波数を低減した場合には、ラインメモリのイネーブル制御により、間欠的にラインメモリに記録する場合について述べたが、本発明はこれに限らず、同一の領域に同一のサンプリング値を繰り返し記録するようにしてもよい。

また上述の実施例においては、メモリ回路、垂直フィルタ、水平フィルタによる処理により電子ズームの処理を実行する場合について述べたが、本発明はこれに限らず、イメージセンサの駆動制御による電子ズームの手法を組み合わせるようにしてもよい。

また上述の実施例においては、撮像結果をモニタし、記録媒体に記録する場合について述べたが、本発明はこれに限らず、例えばビデオカメラ等、種々の映像機器に広く適用することができる。

本発明は、撮像装置、種々の映像機器に適用することができる。

本発明の実施例に係る撮像装置を示すブロック図である。 図１の撮像装置の垂直フィルタを示すブロック図である。 図１の撮像装置の垂直フィルタの他の例を示すブロック図である。 図１の撮像装置の垂直フィルタの８タップの例を示すブロック図である。 図１の撮像装置の水平フィルタを示すブロック図である。 図１の撮像装置の水平フィルタの他の例を示すブロック図である。 図１の撮像装置の水平フィルタの８タップの例を示すブロック図である。 各フォーマットにおけるライン数と画素数との関係を示す図表である。 各フォーマットにおける１水平走査期間に係る画素数の関係を示すタイムチャートである。 電子ズームの処理に係るメモリ回路の入出力の説明に供するタイムチャートである。 電子ズームの処理の説明に供するタイムチャートである。 ライン単位の繰り返しの出力に係る説明に供するタイムチャートである。 各フォーマットにおけるライン単位の繰り返し回数を示す特性曲線図である。 入力画像データのクロック周波数の低減によるメモリ回路の入出力の説明に供するタイムチャートである。 入力画像データのクロック周波数を低減した場合の、ライン単位の繰り返しの出力に係る説明に供するタイムチャートである。 メモリ回路への画像データの書き込み処理の説明に供するタイムチャートである。 メモリ回路からの画像データの出力の説明に供するタイムチャートである。 入力画像データのクロック周波数を低減した場合の、メモリ回路への画像データの書き込み処理の説明に供するタイムチャートである。 実施例２に係る撮像装置を示すブロック図である。 実施例３に係る撮像装置を示すブロック図である。

符号の説明

１、４０、５０……撮像装置、２……イメージセンサ、４……カメラ信号処理回路、５……クロック生成回路、６……システムコントローラ、７……メモリ回路、８……垂直フィルタ、９……水平フィルタ

Claims (2)

1. 画像データを所望のズーム倍率により拡大して出力画像データを出力する電子ズーム装置において、
   少なくとも３個以上の複数のラインメモリを有し、前記複数のラインメモリを順次循環的に選択して順次入力される前記画像データを前記ラインメモリに記録すると共に、前記複数のラインメモリのうちの残りのラインメモリから複数ラインの前記画像データを同時並列的に読み出して出力するメモリ回路と、
   前記メモリ回路から出力される前記複数ラインの画像データを内挿演算処理して出力する垂直フィルタと、
   前記垂直フィルタの出力データを内挿演算処理し、前記ズーム倍率により水平方向に拡大した前記出力画像データを出力する水平フィルタとを備え、
   前記出力画像データの画素数及びライン数は、前記出力画像データの解像度により変更され、
   前記メモリ回路は、
   前記ズーム倍率に応じて、前記入力画像データの１水平走査期間のうち前記出力画像データの最大画素数の処理時間内で余剰となる処理時間を使用して、前記複数ラインの画像データをライン単位で繰り返し出力することにより、前記ズーム倍率により垂直方向に拡大した画像データが前記垂直フィルタより出力されるようにし、
   前記ズーム倍率に応じて、複数のクロック周期で１の画像データを出力することにより、前記ズーム倍率により水平方向に拡大した画像データが前記水平フィルタより出力されるようにし、
   前記メモリ回路は、
   前記ズーム倍率に応じて、前記画像データの垂直方向については、前記垂直フィルタにおける内挿演算処理に供する有効表示領域についてのみ、選択的に前記複数のラインメモリに入力されるようにし、
   前記ズーム倍率に応じて、前記画像データの水平方向については、１ライン分の前記入力画像データを全て前記複数のラインメモリに格納し、この格納した画像データより水平方向の内挿演算処理に供する有効表示領域についてのみ、選択的に前記複数のラインメモリより出力し、またライン単位で繰り返し出力されるようにする
   ことを特徴とする電子ズーム装置。
2. 前記入力画像データを取得する撮像手段を有し、
   前記ズーム倍率に応じて、前記撮像手段のクロック周波数を低減して、前記入力画像データの１水平走査期間を拡大し、前記入力画像データの１水平走査期間で、前記メモリ回路からのライン単位の画像データの出力回数を増大させる
   ことを特徴とする請求項１に記載の電子ズーム装置。
   

Images