JP3882828B2 - 電子ズーム装置及び電子ズーム方法 - Google Patents

Description

本発明は、入力画像信号が拡大された画像信号を出力する電子ズーム装置及び電子ズーム方法に関する。

従来の電子ズーム装置において、所定の画像をズームアップしてズーム画像を合成する場合には、線形補間フィルタ等を用いてズーム画像中に画素を補間している。

特開平４−３１８７６６号公報 特開平５−８３６１２号公報

ところで、この線形補間フィルタを用いると、ズーム画像のエッジ部又は境界部の解像度が無くなるので、ズーム画像にはぼけが目立つようになる。この現象は、ズーム率を大きくするほど顕著に現れる。

また、ズーム画像を用いる場合には、ズームアップされる対象物の細部を拡大して詳細に見たいという意図があるにも関わらず、対象物に対してズームアップすると解像度が低下してしまうのは問題である。

そこで、本発明は上述の実情に鑑み、画像をズームアップした場合に、解像度を落とさずにズーム画像を合成することができる電子ズーム装置及び電子ズーム方法を提供するものである。

上述の課題を解決するために、本発明は、入力画像信号からズームされた拡大画像信号を生成する電子ズーム装置において、拡大画像信号のためのズーム率を選択するズーム率選択手段と、入力される基本画像の画像データのブロック化を行い、ブロック化画像データを出力するブロック化部と、上記ブロック化部からのブロック化画像データを複数のクラスに分類し、このクラスを示すクラスコードを発生するクラス分類手段と、上記ズーム率と上記クラスコードとに応じた係数データが記憶された係数データ記憶手段と、上記ズーム率選択手段からの上記ズーム率と上記クラス分類手段からの上記クラスコードとに応じた係数を上記係数データ記憶手段から読み出し、読み出された上記係数データと上記基本画像の画像データとに基づく演算によって、上記拡大画像信号の画素データを生成する画素データ生成手段と、上記画素データ生成手段で生成された上記画素データを、上記ズーム率に応じた所定の位置に表示させる表示制御手段とを有し、上記係数データ記憶手段に記憶された上記係数データは、基本画像とこの基本画像が光学的に拡大された拡大画像とに基づいて、予め学習で求められていることを特徴とする。

次に、本発明に係る電子ズーム方法は、入力画像信号からズームされた拡大画像信号を生成する電子ズーム方法において、拡大画像信号のためのズーム率を選択するズーム率選択工程と、入力される基本画像の画像データをブロック化するブロック化工程と、上記ブロック化工程でブロック化された画像データを複数のクラスに分類し、このクラスを示すクラスコードを発生するクラス分類工程と、上記ズーム率と上記クラスコードとに応じた係数データが記憶された係数データ記憶手段から、上記ズーム率選択工程で選択された上記ズーム率と上記クラス分類工程で発生された上記クラスコードとに応じた係数データを読み出し、読み出された上記係数データと上記基本画像の画像データとに基づく演算によって、上記拡大画像信号の画素データを生成する画素データ生成工程と、上記画素データ生成工程で生成された上記画素データを、上記ズーム率に応じた所定の位置に表示させる表示制御工程とを有し、上記係数データ記憶手段に記憶された上記係数データは、基本画像とこの基本画像が光学的に拡大された拡大画像とに基づいて、予め学習で求められていることを特徴とする。

本発明によれば、入力される基本画像の画像データをブロック化し、ブロック化された画像データを複数のクラスに分類し、このクラスを示すクラスコードを発生し、拡大画像信号のためのズーム率を選択して選択されたズーム率とクラスコードとに応じて所定の係数データを発生し、発生された係数データと基本画像の画像データとの演算によって、拡大画像信号の画素データを生成する生成された画素データを、ズーム率に応じた所定の位置に表示させることにより、解像度を劣化させることなく拡大画像あるいはズーム画像を生成することができる。

以下、本発明の好ましい実施例について、図面を参照しながら説明する。

図１は、本発明に係る電子ズーム装置の第１の実施例の概略的な構成を示すブロック図である。

この図１に示す装置において、画像信号生成回路１００は、光学的画像から入力画像信号を生成する。この画像信号生成回路１００としては、例えばビデオカメラが挙げられる。

ズーム率選択回路１０１は、予め定められた複数のズーム率の内から、ズーム画像のためのズーム率をユーザが任意に選択できるようにする。このような選択に応じて、選択回路１０１はズーム率信号を補間画像データ発生回路１１０のブロック化回路１０２に出力する。

ここで、画像信号生成回路１００からの入力画像信号としての基本画像のディジタル画像データは、ブロック化回路１０２に送られる。上記ブロック化回路１０２には基本画像を拡大する所望のズーム率が上記ズーム率選択回路１０１から与えられている。よって、上記ブロック化回路１０２では、上記ズーム率により、ズーム前の基本画像内のズームされる領域を特定することができ、この特定されたズームされるべき領域の画像データのブロック化が行われる。このブロック化回路１０２の一具体例としては、拡大される領域内に含まれる画像データを、入力画像のサブエリアにそれぞれ対応する例えば８×８画素ブロック信号に分割するものが挙げられる。他の具体例ではブロックサイズや形状の異なるものが用いられる。上記ブロック化回路１０２からのブロック化された画像データは、クラスコード発生回路１０３に出力される。

上記クラスコード発生回路１０３では、送られた各ブロック毎の画像データのパターンをクラス分類し、このクラス分類された画像データパターンに対応するクラスコードを発生する。すなわち、各クラスコードは、当該クラスコードの元になるブロック信号により示される入力画像のサブエリアに対応する拡大画像部分の所定の画像データを識別する。発生されたクラスコードはＲＯＭ（読み出し専用メモリ）１０４に送られる。

このＲＯＭ１０４には、拡大されるズーム画像内に画素を補間するためのデータが予め学習により得られ、クラスコードと共にテーブルとして記憶されている。よって、上記ＲＯＭ１０４では、上記クラスコード発生回路１０３からのクラスコードをアドレスとして用いることにより、このクラスコードに応じたズーム画像中に補間画素を補間するためのデータが読み出される。

また、このＲＯＭ１０４には、上記ブロック化回路１０２に与えられたズーム率と同じズーム率が入力されており、このズーム率を用いて、上記補間のためのデータで示される補間画素の位置が算出される。

すなわち、ＲＯＭ１０４は、上記クラスコード及び選択されたズーム率のいずれもが直接的に読み出しアドレスとされるか、あるいはこれらから間接的に読み出しアドレスが生成されて、予め決められた複数の画像データの内の選択されたものが読み出される。読み出されたデータは、ズーム画像信号合成回路１０７にて補間画像データとして用いられ、後述するように拡大された画像信号の合成が行われる。

ＲＯＭ１０４の代わりに他の種類の記憶素子を用いることができる。例えば、いわゆるフラッシュメモリや他の不揮発性メモリ素子を使用できる。また、上記工程に対応して、テープ、ディスク等の記録手段から読み出された画像データをＲＡＭに記憶することで、上記ＲＯＭ１０４の代わりとすることもできる。

上記画像信号生成回路１００からの入力画像信号は画素位置変換回路１０５に供給されており、この画素位置変換回路１０５にはズーム率選択回路１０１からのズーム率信号も供給されている。上記ズーム率信号に基づいて、画素位置変換回路１０５は入力画像信号内の各画素の位置を変更して、各画素が所望のズーム画像を生成するための拡大画像信号内の正しい位置を占めるようにする。

例えば、図２の（ａ）には、信号の中心部分をズーム中心とする３×３画素ブロックの入力画像信号の例が示されている。ズーム画像中では、入力画像信号中の各画素は、画素位置が変換されてそのまま用いられる。図２の（ｂ）には、例えばズーム率が２のときに上記画素位置変換回路１０５によって位置変換された○印で示される同じ画素の相対位置を表示している。すなわち、図２の（ａ）の基本画像中の○印で示される４つの画素ａ、ｂ、ｃ、ｄは、図２の（ｂ）のズーム画像中では、画素ａ、ｂ、ｃ、ｄの位置に変換されて用いられる。また、ズーム画像中の×印で示される画素は、ズーム画像内に新たに補間された補間画素である。この２倍に拡大されたズーム画像の画像データは、例えば特開平４−３１８７６６号公報において提案されているズーム率算出方法により求めることができる。

回路１０５で位置変換がされた後、入力画像信号の画素データは、拡大画像信号合成回路１０７に供給される。ここで図２の（ｂ）を参照して、拡大画像信号合成回路１０７は、変換回路１０５から供給された画素の位置の間の×印の位置において、ＲＯＭ１０４から出力された補間画素を挿入し、これによって合成拡大画像信号を生成する。この拡大画像信号を合成した後、合成回路１０７は、表示装置１０８に線順次形態で拡大画像信号を出力し、拡大された画像の表示を行わせる。

ところで、ＲＯＭ１０４に記憶されるべき補間画像データを生成するために、次のような学習過程が実行される。

例えばビデオカメラから基本画像の画像信号が得られ、同じ画像に対応する拡大データが選択されたズーム率に応じて光学的にビデオカメラを拡大することで得られる。例えば、学習される基本画像として、上記図２の（ａ）に示す画像を用いる場合を考える。先ず、図２の（ａ）の基本画像と、この基本画像の画素ｄをズーム中心として、例えば光学的に２倍に拡大された図２の（ｂ）に示すズーム画像を用意する。

基本画像を表す画像データと拡大画像を表す画像データとは、例えば３×３画素ブロックとして選択されたブロック信号に区分される。そして、基本画像の各ブロック信号のためにクラスコードが発生される。次に、基本画像データの対応するブロックのクラスコードに応じて、拡大画像データのブロックがグループ化される。学習（トレーニング）は、各クラスコードについてＲＯＭ１０４に記憶されるべき最適の画像データを生成するように行われる。最適画像データは拡大画像データの対応ブロックから得られる。例えば、同じクラスコードを有する拡大画像データのブロック信号が平均化されることによって、当該クラスコードに対応する最適値あるいは代表値がそれらのブロックから選択される。あるいは、全てよりは少ないブロック信号を用いて最適値が生成される。この工程は、基本画像データの全てのブロック信号及び拡大画像データについて行われ、値の表が構成されて、ＲＯＭ１０４に記憶される。

すなわち、ズーム画像中の上記図２の４つの画素ａ、ｂ、ｃ、ｄ内に補間画素ｐを生成する場合には、基本画像中の４つの画素ａ、ｂ、ｃ、ｄから成る１ブロックの画像データパターンをクラス分類し、このクラス分類された画像データパターンに対応するクラスコードと上記画像データパターン内に補間画素ｐを補間するためのデータとを予め学習する。このように、上記ＲＯＭ１０４内には、所定のクラスコード及びこのクラスコードに対応する補間画素を補間するためのデータが、予め学習されて複数記憶されている。

上記ＲＯＭ１０４内に記憶されるクラスコードの最も簡便な分類方法は、クラス分類される基本画像のブロック毎の画像データに圧縮等の処理を行わず、上記ブロック毎の画像データのビット系列をそのままクラスコードとする方法である。しかし、ビット系列がそのままクラスコードである場合には、上記クラスコードと同等な数の画像データパターンを記憶しておかなければならず、このためには膨大な容量のＲＯＭが必要となる。従って、実現性を考慮した場合には、学習される基本画像の画像データに圧縮等の処理を用いることが考えられる。

そこで、実現性を考えたメモリ容量を考慮に入れると、クラス分類にデータ圧縮結果等を用いることが考えられる。このデータ圧縮には、例えば、後述する画像信号のダイナミックレンジに応じた適応ダイナミックレンジ符号化（ＡＤＲＣ）や、差分量子化（ＤＰＣＭ）、ベクトル量子化（ＶＱ）等が考えられる。

例えば、上記クラスコードの数を上記ＡＤＲＣ（適応型ダイナミックレンジ符号化）を使用して削減する方法が考えられる。本来、ＡＤＲＣはＶＴＲ（ビデオテープレコーダ）向けの高能率符号化用に開発された適応的再量子化法であり、ディジタル画像信号をブロック化し、このブロック内に含まれる複数の画素データの最大値及び最小値により規定されるダイナミックレンジを求め、このブロック単位で求めた上記ダイナミックレンジに適応した割り当てビット数で当該ブロック内の各画素データを符号化するものであり、信号レベルの局所的なパターンを短い語長で効率的に表現することができる。

より具体的に言うと、上記ＡＤＲＣは、１フレーム（又はフィールド）内の所定のブロック内に含まれる複数画素の最大値及び最小値により規定されるダイナミックレンジ（ブロック内最大レベルと最小レベルの差）を求め、このダイナミックレンジに適応した可変の量子化ビット数を上記ブロック毎に決定し、この量子化ビット数で最小値除去後の入力データを符号化（再量子化、すなわち圧縮された量子化ビット数によりダイナミックレンジを均等に分割し、ブロック内の各画素を最も近いレベルのコードに符号化する）して符号化コードを得ると共に、ダイナミックレンジの情報と上記最大値，最小値の内の何れかを付加コードとし、これら符号化コードと付加コードとを得るようなものである。

よって、ＡＤＲＣを使用してクラス分類を行う場合には、画像データのパターンの性質を保存した効果的なクラスコードの数の削減を行うことができる。

ここで、例えば、ｎ個の信号画素に基づくクラスコード発生を例にとり、ｉ番目の画素のレベルをｘ_ｉ とする。例えばｉ＝１〜３である。また、ｘ_ｉ のデータに対してｐビットＡＤＲＣを行った結果の再量子化データをｑ_ｉ とし、そのダイナミックレンジをＤＲ、最小値をｍｉｎとする。このとき、このブロックのクラス番号（クラスコード）class は、次の式（１）で定義される。

クラスコード形成については、上述したような圧縮技術を用いたり、他の方法を用いてもよいことは勿論である。

次に、図３は、本発明の第２の実施例としての電子ズーム装置に用いられる補間画像データ発生回路の概略構成のブロック図を示している。

この図３において、入力端子１２に供給された入力画像信号は、ブロック化回路１３に送られて複数のブロック信号に分割される。このブロック化回路１３の出力は、フィルタ１４及び減算器１５に供給される。フィルタ１４は、画像信号のノイズを低減するのに好適な一般のノイズ低減フィルタである。このフィルタ１４として使用可能なノイズ低減フィルタの一例として、メジアン値フィルタを挙げることができる。当該フィルタ１４は、フィルタ処理された画像信号を減算器１５に減算信号として送る。減算器１５は、フィルタ１４からの各フィルタ処理されたブロック信号とブロック化回路１３からの各ブロック信号との差分に応じた差分画像信号を生成し、各差分ブロック信号をクラスコード発生回路１６に送っている。

クラスコード発生回路１６は、上記各差分ブロック信号に応じて、クラスコードをＲＯＭ１７に供給する。ＲＯＭ１７としては、他の適当なメモリを使用することができる。このＲＯＭ１７は、上記クラスコードと共に上記ズーム率選択回路１０１からのズーム率を、アドレスそのものとしてあるいはアドレス生成用として用い、対応する補間差分画像データを読み出す。補間差分画像データは、フィルタ１４から出力されるフィルタ処理されたブロック信号と、図３の装置から供給される所定の補間データとの差分を表す。ＲＯＭ１７は補間差分画像データを加算器１８の一方の入力に供給する。この加算器１８の他方の入力にはフィルタ１４からのフィルタ処理された対応するブロック信号が供給され、加算器１８は、これらの２つの入力信号を加算して出力端子１９を介して図１の拡大画像信号合成回路１０７に供給する。

この図３に示す装置の学習工程は上記図１の装置の場合と同様であるが、相違点としては、先ず基本画像データと拡大画像データの対応するブロックが、フィルタ１４と同じ特性のフィルタにより最初にフィルタ処理されてフィルタ処理データを生成し、次に元のブロックから減算されて差分データを生成する点が挙げられる。この学習については、図１の補間画像データ発生回路１１０を学習させるのと同じ方法で、ＲＯＭ１７に記憶される補間画像データ及びクラスコードを生成するための学習が上記差分画像データを用いて進められる。

次に、図４は、本発明の第３の実施例となる電子ズーム装置に用いられる補間画像データ発生回路の概略的な構成を示すブロック図である。

この図４において、端子３０に供給される入力画像信号はブロック化回路３２に供給される。このブロック化回路３２は、上記ズーム率選択回路１０１からのズーム率信号が供給され、少なくとも拡大画像に対応する部分のための入力画像信号からの複数のブロック信号を生成し、このブロック信号を画像信号からノイズを除去するのに好適なノイズ除去フィルタ３４に送っている。ノイズ除去フィルタ３４は、フィルタ処理されて得られたブロック信号を生成し、フィルタ処理されたブロック信号をクラスコード発生回路３８に供給する。クラスコード発生回路３８は、各ブロック信号を識別するためのクラスコードが発生される。このクラスコードは、アドレスデータとしてＲＯＭテーブル４０に送られる。ＲＯＭ４０では、クラスコードと共に上記選択回路１０１からのズーム率信号が供給されており、対応するブロックの補間画素データが読み出されて、出力端子４２より取り出される。これが上記図１の合成回路１０７に供給されて、拡大された画像信号が生成される。

この図４の第３の実施例の場合の学習は、図１の補間画像データ発生回路１１０場合と同様であるが、相違点として、基本画像及び拡大画像信号の各ブロックが、クラスコード発生に先だって、ノイズ除去フィルタ３４と同じ特性のフィルタによりフィルタ処理される点が挙げられる。

次に図５のブロック図を参照しながら、本発明の第４の実施例に用いられる補間画像データ発生回路について説明する。

この図５の装置において、入力端子５０に供給された入力画像信号は、ブロック化回路５２に送られる。このブロック化回路５２は、上記ズーム率選択回路１０１からのズーム率信号も供給されており、上記入力画像信号を、拡大画像に対応する複数のブロック信号に分割し、その出力をクラスコード発生回路５４に供給している。各ブロック信号に対応して、クラスコード発生回路５４は、対応するクラスコードを発生し、ＲＯＭ５６に供給する。このクラスコードは、該クラスコードが生成されたブロック信号に対応する種々のズーム率における補間画像データの係数データセットの形態のものを識別する。ＲＯＭ５６は複数の係数データセットを、対応するクラスコード及びズーム率信号に応じた各アドレスに記憶しており、各クラスコード及びズーム率信号そのもの、あるいはこれらから求められたアドレスを読み出しアドレスとして、対応する係数データセットが読み出されるようになっている。

各係数データの組はそれぞれ複数の乗算係数を有し、各乗算係数は、補間画像データ発生回路５８において、上記ブロック化回路５２からのブロック信号の対応する値に乗算して補間画像データを得るために用いられる。この補間画像データは出力端子６０を介して、上記拡大画像信号合成回路１０７に供給されることにより、拡大画像信号が生成される。

図５の装置の学習は、上記図１の補間画像データ発生回路１１０の場合と本質的に同じ方法で行われるが、学習工程上での相違点として、補間画像データの代わりに係数データの組が生成される点が挙げられる。

この図５に示す装置の学習方法について以下に説明する。

ここで、補間画像データ発生回路５８からの拡大画像データブロックの各画素は、値ｙ_０ｓを有するものと仮定する。この画素値ｙ_０ｓは、係数ｗ_１ｓ〜ｗ_ｎｓと、ブロック化回路５２からのブロック信号の画素値ｘ_ＩＮ１〜ｘ_ＩＮｎとの組み合せにより生成でき、
ｙ_０ｓ＝ｗ_１ｓｘ_ＩＮ１＋ｗ_２ｓｘ_ＩＮ２＋・・・＋ｗ_ｎｓｘ_ＩＮｎ （２）
のように関係付けられる。ここで、ｓは任意の上記画素値ｙ_０ｓを識別するための指標である。

学習は、クラス毎に複数の信号データに対して行う。ＲＯＭ５６に記憶するための係数データを生成するために、同じクラスコードに対応する拡大画像データブロック信号の各対応画素は、入力画像信号の対応するブロック信号の全ての画素値と共に用いられる。

係数データを求めるための方法は、次のようにして導出される。

拡大画像データブロック信号の各対応画素は、入力画像信号の各ブロック信号の画素数をｎとするとき、各係数値ｗ_１ｓ〜ｗ_ｎｓを入力画像信号のブロック信号の対応する画素値に乗算して得られる多項式により表される値に等しいと推定できる。すなわち、
ｙ_ｋ＝ｗ_１ｘ_ｋ１＋ｗ_２ｘ_ｋ２＋・・・＋ｗ_ｎｘ_ｋｎ （３）
の関係式により表現される。ここで、ｙ_ｋ は、低ノイズ画像信号の対応するブロック信号ｋの対応画素値を表し、ｘ_ｋ１〜ｘ_ｋｎは、入力画像信号の対応ブロック信号のそれぞれの画素データの値を示し、ｗ_１〜ｗ_ｎは学習により求めようとする係数である。

今、ブロック信号の個数をｍとするとき、ｍ＞ｎの場合にはｗ_１〜ｗ_ｎ は一意には定まらないので、誤差ベクトルｅの要素を
ｅ_ｋ＝ｙ_ｋ−｛ｗ_１ｘ_ｋ１＋ｗ_２ｘ_ｋ２＋・・・＋ｗnｘ_ｋｎ｝ （k=1,2,・・・,m） （４）
と定義して、式（５）を最小にする係数を求める。いわゆる最小自乗法による解法である。

ここで、式（５）のｗ_ｉ による偏微分係数を、式（６）のように求める。

上記式（６）を０にするように各ｗ_ｉ を決めればよいから、式（７）、式（８）のように、

として行列を用いると式（９）のようになり、

この（９）式は、掃き出し法などの一般的な行列解法を用いて、ｗ_ｉ について解けば、最適値としての予測係数を求めることができる。本実施例ではＲＯＭ５６のアドレスclass のデータ（ＲＯＭテーブル）としてこの予測係数を格納しておく。

次に、図６は、本発明の第５の実施例に用いられる補間画像データ発生回路を示すブロック図である。

この図６の装置において、入力端子８０に供給された入力画像信号は、ブロック化回路８２に送られる。このブロック化回路８２は、上記選択回路１０１からのズーム率に関連して決定された拡大画像に対応する入力画像信号の一部を選択し、この選択されたデータを複数のブロック信号に分割し、フィルタ８４の入力及び減算器８６に供給する。フィルタ８４は、画像信号からノイズを除去するのに適したものであり、上記ブロック信号からフィルタ処理されたブロック信号を生成して、減算器８６のもう１つの端子に供給する。減算器８６は、ブロック化回路８２で出力されたそれぞれのブロック信号と対応するフィルタ処理されたブロック信号とから差分ブロック信号を生成する。

減算器８６により供給される差分信号はクラスコード発生回路９０に送られ、このクラスコード発生回路９０は各差分ブロック信号に応じたクラスコードを発生する。各クラスコードは、フィルタ８４から供給されるフィルタ処理されたブロック信号と、図６の装置により生成される補間画像データのブロックとの差分を表す補間差分画像データを識別する。ＲＯＭ９２としては他の適当なメモリを使用することができる。このＲＯＭ９２は、上記クラスコード及び上記選択回路１０１からのズーム率に対応するそれぞれのアドレスに、複数の係数データセットを記憶する。各係数データセットはいくつかの乗算係数を有しており、これらの乗算係数は、コードが生成された差分ブロック信号に含まれる対応する値に乗算されて、対応する補間差分画像データブロックの値を生成するためのものである。

ＲＯＭ９２から各クラスコード及びズーム率に応じて読み出された係数データセットは、差分データ発生回路９４に送られるており、この差分データ発生回路９４には、上記減算器８６により生成された差分ブロック信号が供給されている。差分データ発生回路９４は、ＲＯＭ９２からの係数データセットの各係数と減算器８６からの差分ブロック信号の対応する値とを乗算して加算することにより、補間差分画像データのブロックを生成する。差分データ発生回路９４により生成された補間差分画像データは加算器９８に送られ、この加算器９８で上記フィルタ８４からの出力信号と加算されることにより、補間画像データのブロックが生成される。この加算器９８は、補間画像データの各ブロックを出力端子１２０に供給し、これらのブロックは拡大画像信号合成回路１０７に供給されて、拡大画像信号が生成される。

この図６に示す装置の学習は上記図１の装置の場合と同様であるが、相違点としては、差分ブロック信号からのデータを用いた係数データを生成する点が挙げられる。

次に、図７のブロック図を参照しながら、本発明の第６の実施例に用いられる補間画像データ発生回路について説明する。

この図７の装置において、入力端子１２４に供給された入力画像信号は、ブロック化回路１２６に送られる。このブロック化回路１２６は、上記ズーム率選択回路１０１からのズーム率信号も供給されている。このブロック化回路１２６は、ズーム率信号に応じて所望の拡大画像に対応する入力画像信号の部分を選択し、この部分を複数のブロック信号に分割する。このブロック化回路１２６は、このブロック信号を画像信号からノイズを除去するのに好適なノイズ除去フィルタ１２８に送っている。フィルタ１２８は、フィルタ処理されて得られたブロック信号を上記供給された各ブロック信号から生成し、フィルタ処理されたブロック信号をクラスコード発生回路１３２に供給する。

クラスコード発生回路１３２は、対応するフィルタ処理された各ブロック信号のクラスコードを発生する。各クラスコードは、コードが発生されたブロック信号に対応する補間画像データのブロックを識別する。クラスコード発生回路１３２は各コードをＲＯＭ１２４あるいは他の適当な記憶素子に供給する。ＲＯＭ１２４は、複数の係数データセットを、それぞれ対応するクラスコード及び上記選択回路１０１からのズーム率信号に応じた各アドレスに記憶する。各クラスコード及びズーム率信号に応じて、ＲＯＭ１２４から補間画像データ生成回路１３８に係数データセットが読み出される。補間画像データ生成回路１３８には、ノイズ除去フィルタ１２８からの対応するクラスコードの元となるフィルタ処理されたブロック信号も供給されている。補間画像データ生成回路１３８は、上記係数データセットの各係数と上記フィルタ処理されたブロック信号の対応する値とを乗算してそれぞれを加算することによって、補間画像データのブロックを生成する。この補間画像データ生成回路１３８は、出力端子１４０に補間画像データの各ブロックを供給し、これらのブロックは、上記図１の拡大画像信号合成回路１０７に供給されて、拡大画像信号が生成される。

以上説明した本発明の実施例によれば、入力される基本画像の画像データのブロック化を行うブロック化手段と、上記ブロック化手段からのブロック化された画像データを複数のクラスに分類し、このクラスを示すクラスコードを発生するクラス分類手段と、上記クラス分類手段からのクラスコードに応じて最適化された所定の画像データを発生する画像データ発生手段と、ズーム率に応じて、上記基本画像の画像データのズーム画像上での表示位置を移動させる表示位置変換手段と、上記クラス分類手段からの画像データと上記表示位置変換手段からの画像データを合成してズーム画像を出力する画素合成手段とを有して成っているため、解像度を劣化させることなく拡大画像あるいはズーム画像を生成することができる。

また、上記補間画像データ発生手段は、クラスコードに応じた係数を発生する係数記憶手段と、上記係数発生手段からの係数と上記入力される画像データとを演算して補間画素を求める補間画素演算手段とから成り、上記係数記憶手段には、基本画像とこの基本画像が拡大されたズーム画像とを比較して予め補間すべき画素を学習することにより得られる係数が記憶されていることにより、ズーム画像の周辺部の解像度を低下させることなく、高画質の画像を得ることができる。

また、本発明に係る電子ズーム方法の実施例によれば、入力される基本画像の画像データのブロック化を行い、ブロック化された画像データを複数のクラスに分類し、このクラスを示すクラスコードを発生し、この発生されたクラスコードに応じて最適化された所定の画像データを発生し、ズーム率に応じて、上記基本画像の画像データのズーム画像上での表示位置を移動させ、上記所定の画像データと上記表示位置変換された画像データを合成してズーム画像を出力しているため、解像度を劣化させることなく拡大画像あるいはズーム画像を生成することができる。

また、上記補間画像データ発生工程は、クラスコードに応じた係数を発生する係数記憶工程と、上記係数発生工程からの係数と上記入力される画像データとを演算して補間画素を求める補間画素演算工程とから成り、上記係数記憶工程には、基本画像とこの基本画像が拡大されたズーム画像とを比較して予め補間すべき画素を学習することにより得られる係数が記憶されていることにより、ズーム画像の周辺部の解像度を低下させることなく、高画質の画像を得ることができる。

なお、クラス分割のための画像データ圧縮方法としてＡＤＲＣを用いたが、このＡＤＲＣの代わりに、ＤＣＴ（Discrete Cosine Transform)、ＶＱ（ベクトル量子化）、ＤＰＣＭ（予測符号化）等のデータ圧縮方法を用いてもよい。

また、本発明は上述の実施例のみに限定されるものではなく、例えば、ＲＯＭの代わりに種々のメモリ装置を用いることができる。また、上記種々の実施例はＡＳＩＣ等のハードウェア回路回路として、あるいはマイクロプロセッサ、マイクロコンピュータ、ディジタル信号プロセッサ等のプログラマブルデバイスを用いて、あるいはハードウェア回路とプログラマブルデバイスとの組み合せの装置により実現できる。

さらに、本発明の特定の実施例については図面を参照しながら詳述したが、本発明はこれらの厳密な実施例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変形や変更が行えることは勿論である。

本発明に係る電子ズーム装置の第１の実施例の概略的な構成を示すブロック図である。 基本画像の画素位置と基本画像を２倍に拡大したズーム画像の画素位置との関係を示す図である。 本発明に係る電子ズーム装置の第２の実施例に用いられる補間画像データ発生回路の概略的な構成を示すブロック図である。 本発明に係る電子ズーム装置の第３の実施例に用いられる補間画像データ発生回路の概略的な構成を示すブロック図である。 本発明に係る電子ズーム装置の第４の実施例に用いられる補間画像データ発生回路の概略的な構成を示すブロック図である。 本発明に係る電子ズーム装置の第５の実施例に用いられる補間画像データ発生回路の概略的な構成を示すブロック図である。 本発明に係る電子ズーム装置の第６の実施例に用いられる補間画像データ発生回路の概略的な構成を示すブロック図である。

符号の説明

１３，３２，５２，８２，１０２，１２６ ブロック化回路、 １６，３８，５４，９０，１０３，１３２ クラスコード発生回路、 １７，４０，５６，９２，１０４，１３４ ＲＯＭ、 １０５ 画素位置変換回路、 １０６ 補間画素演算回路、 １０７ 画素合成回路、 １１０ 補間画像データ発生回路

Claims (5)

1. 入力画像信号からズームされた拡大画像信号を生成する電子ズーム装置において、
   拡大画像信号のためのズーム率を選択するズーム率選択手段と、
   入力される基本画像の画像データのブロック化を行い、ブロック化画像データを出力するブロック化部と、
   上記ブロック化部からのブロック化画像データを複数のクラスに分類し、このクラスを示すクラスコードを発生するクラス分類手段と、
   上記ズーム率と上記クラスコードとに応じた係数データが記憶された係数データ記憶手段と、
   上記ズーム率選択手段からの上記ズーム率と上記クラス分類手段からの上記クラスコードとに応じた係数を上記係数データ記憶手段から読み出し、読み出された上記係数データと上記基本画像の画像データとに基づく演算によって、上記拡大画像信号の画素データを生成する画素データ生成手段と、
   上記画素データ生成手段で生成された上記画素データを、上記ズーム率に応じた所定の位置に表示させる表示制御手段と
   を有し、
   上記係数データ記憶手段に記憶された上記係数データは、基本画像とこの基本画像が光学的に拡大された拡大画像とに基づいて、予め学習で求められていることを特徴とする電子ズーム装置。
2. 上記画素データ生成手段は、
   上記係数データと、上記ブロック化部からのブロック化画像データとの乗算により、上記拡大画像信号の画素データを生成することを特徴とする請求項１記載の電子ズーム装置。
3. 上記ブロック化部は、
   上記入力される基本画像の画像データをブロック化するブロック化手段と、
   ブロック化された画像データをフィルタ処理し、フィルタ処理されたブロック画像データを出力するフィルタ手段と、
   ブロック化された上記画像データとフィルタ処理された上記ブロック画像データとから差分を求め、差分化されたブロック画像データを出力する差分演算手段と、を含み、
   上記画素データ生成手段は、
   上記係数データと、差分化された上記ブロック画像データとを乗算し、この乗算結果にフィルタ処理された上記ブロック画像データを加算する演算により、上記拡大画像信号の画素データを生成し、
   上記係数データは、基本画像の差分信号とこの基本画像が光学的に拡大された拡大画像の差分信号とに基づいて、予め学習で求められていることを特徴とする請求項１記載の電子ズーム装置。
4. 光学的画像から上記入力画像を生成する画像信号生成手段と、
   上記拡大されたズーム画像信号に基づく拡大画像が表示される表示手段と、を更に有することを特徴とする請求項１記載の電子ズーム装置。
5. 入力画像信号からズームされた拡大画像信号を生成する電子ズーム方法において、
   拡大画像信号のためのズーム率を選択するズーム率選択工程と、
   入力される基本画像の画像データをブロック化するブロック化工程と、
   上記ブロック化工程でブロック化された画像データを複数のクラスに分類し、このクラスを示すクラスコードを発生するクラス分類工程と、
   上記ズーム率と上記クラスコードとに応じた係数データが記憶された係数データ記憶手段から、上記ズーム率選択工程で選択された上記ズーム率と上記クラス分類工程で発生された上記クラスコードとに応じた係数データを読み出し、読み出された上記係数データと上記基本画像の画像データとに基づく演算によって、上記拡大画像信号の画素データを生成する画素データ生成工程と、
   上記画素データ生成工程で生成された上記画素データを、上記ズーム率に応じた所定の位置に表示させる表示制御工程と
   を有し、
   上記係数データ記憶手段に記憶された上記係数データは、基本画像とこの基本画像が光学的に拡大された拡大画像とに基づいて、予め学習で求められていることを特徴とする電子ズーム方法。

Images