JP3632993B2 - 電子ズーム装置及び電子ズーム方法 - Google Patents
電子ズーム装置及び電子ズーム方法 Download PDFInfo
- Publication number
- JP3632993B2 JP3632993B2 JP20582094A JP20582094A JP3632993B2 JP 3632993 B2 JP3632993 B2 JP 3632993B2 JP 20582094 A JP20582094 A JP 20582094A JP 20582094 A JP20582094 A JP 20582094A JP 3632993 B2 JP3632993 B2 JP 3632993B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- zoom
- class code
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 35
- 230000000903 blocking effect Effects 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 13
- 230000015572 biosynthetic process Effects 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 5
- 238000013139 quantization Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013144 data compression Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 230000000593 degrading effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Controls And Circuits For Display Device (AREA)
- Viewfinders (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、入力画像信号が拡大された画像信号を出力する電子ズーム装置及び電子ズーム方法に関する。
【０００２】
【従来の技術】
従来の電子ズーム装置において、所定の画像をズームアップしてズーム画像を合成する場合には、線形補間フィルタ等を用いてズーム画像中に画素を補間している。
【０００３】
【発明が解決しようとする課題】
ところで、この線形補間フィルタを用いると、ズーム画像のエッジ部又は境界部の解像度が無くなるので、ズーム画像にはぼけが目立つようになる。この現象は、ズーム率を大きくするほど顕著に現れる。
また、ズーム画像を用いる場合には、ズームアップされる対象物の細部を拡大して詳細に見たいという意図があるにも関わらず、対象物に対してズームアップすると解像度が低下してしまうのは問題である。
【０００４】
そこで、本発明は上述の実情に鑑み、画像をズームアップした場合に、解像度を落とさずにズーム画像を合成することができる電子ズーム装置及び電子ズーム方法を提供するものである。
【０００５】
【課題を解決するための手段】
本発明に係る電子ズーム装置は、入力される基本画像の画像データのブロック化を行うブロック化手段と、上記ブロック化手段からのブロック化された画像データを複数のクラスに分類し、このクラスを示すクラスコードを発生するクラス分類手段と、上記クラス分類手段からのクラスコードに応じて最適化された所定の画像データを発生する画像データ発生手段と、ズーム率に応じて、上記基本画像の画像データのズーム画像上での表示位置を移動させる表示位置変換手段と、上記画像データ発生手段からの画像データと上記表示位置変換手段からの画像データを合成してズーム画像を出力する画素合成手段とを有して成ることにより上述した課題を解決する。
【０００６】
ここで、上記画像データ発生手段は、上記拡大されたズーム画像を得るための補間画像データを発生することが好ましい。
また、上記画像データ発生手段は、クラスコードに応じた係数を発生する係数記憶手段と、上記係数発生手段からの係数と上記入力される画像データとを演算して所定の画素を求める画素演算手段とから成ることを特徴とする。
【０００７】
さらに、上記係数記憶手段には、基本画像とこの基本画像が拡大されたズーム画像とを比較して予め補間すべき画素を学習することにより得られる係数が記憶されていることを特徴とする。
本発明に係る電子ズーム方法は、入力される基本画像の画像データのブロック化を行うブロック化工程と、上記ブロック化工程からのブロック化された画像データを複数のクラスに分類し、このクラスを示すクラスコードを発生するクラス分類工程と、上記クラス分類工程からのクラスコードに応じて最適化された所定の画像データを発生する画像データ発生工程と、ズーム率に応じて、上記基本画像の画像データのズーム画像上での表示位置を移動させる表示位置変換工程と、上記画像データ発生工程からの画像データと上記表示位置変換工程からの画像データを合成してズーム画像を出力する画素合成工程とを有して成ることにより上述した課題を解決する。
【０００８】
また、上記画像データ発生工程は、クラスコードに応じた係数を発生する係数記憶工程と、上記係数発生工程からの係数と上記入力される画像データとを演算して所定の画素を求める画素演算工程とから成ることを特徴とする。
さらに、上記係数記憶工程には、基本画像とこの基本画像が拡大されたズーム画像とを比較して予め補間すべき画素を学習することにより得られる係数が記憶されていることを特徴とする。
【０００９】
【作用】
入力画像に応じて得られたクラスコードに応じて所定の画像データを発生し、表示位置変換手段からの画像データと合成して拡大画像あるいはズーム画像を得ているため、解像度を劣化させることなく拡大画像あるいはズーム画像を生成することができる。
【００１０】
また、係数記憶手段において予め記憶されている係数と入力される基本画像の画像データとを演算して補間画素を求め、この補間画素を用いて基本画像を拡大することにより、高画質の拡大画像を得ることができる。
【００１１】
【実施例】
以下、本発明の好ましい実施例について、図面を参照しながら説明する。
図１は、本発明に係る電子ズーム装置の第１の実施例の概略的な構成を示すブロック図である。
この図１に示す装置において、画像信号生成回路１００は、光学的画像から入力画像信号を生成する。この画像信号生成回路１００としては、例えばビデオカメラが挙げられる。
【００１２】
ズーム率選択回路１０１は、予め定められた複数のズーム率の内から、ズーム画像のためのズーム率をユーザが任意に選択できるようにする。このような選択に応じて、選択回路１０１はズーム率信号を補間画像データ発生回路１１０のブロック化回路１０２に出力する。
ここで、画像信号生成回路１００からの入力画像信号としての基本画像のディジタル画像データは、ブロック化回路１０２に送られる。上記ブロック化回路１０２には基本画像を拡大する所望のズーム率が上記ズーム率選択回路１０１から与えられている。よって、上記ブロック化回路１０２では、上記ズーム率により、ズーム前の基本画像内のズームされる領域を特定することができ、この特定されたズームされるべき領域の画像データのブロック化が行われる。このブロック化回路１０２の一具体例としては、拡大される領域内に含まれる画像データを、入力画像のサブエリアにそれぞれ対応する例えば８×８画素ブロック信号に分割するものが挙げられる。他の具体例ではブロックサイズや形状の異なるものが用いられる。上記ブロック化回路１０２からのブロック化された画像データは、クラスコード発生回路１０３に出力される。
【００１３】
上記クラスコード発生回路１０３では、送られた各ブロック毎の画像データのパターンをクラス分類し、このクラス分類された画像データパターンに対応するクラスコードを発生する。すなわち、各クラスコードは、当該クラスコードの元になるブロック信号により示される入力画像のサブエリアに対応する拡大画像部分の所定の画像データを識別する。発生されたクラスコードはＲＯＭ（読み出し専用メモリ）１０４に送られる。
【００１４】
このＲＯＭ１０４には、拡大されるズーム画像内に画素を補間するためのデータが予め学習により得られ、クラスコードと共にテーブルとして記憶されている。よって、上記ＲＯＭ１０４では、上記クラスコード発生回路１０３からのクラスコードをアドレスとして用いることにより、このクラスコードに応じたズーム画像中に補間画素を補間するためのデータが読み出される。
【００１５】
また、このＲＯＭ１０４には、上記ブロック化回路１０２に与えられたズーム率と同じズーム率が入力されており、このズーム率を用いて、上記補間のためのデータで示される補間画素の位置が算出される。
すなわち、ＲＯＭ１０４は、上記クラスコード及び選択されたズーム率のいずれもが直接的に読み出しアドレスとされるか、あるいはこれらから間接的に読み出しアドレスが生成されて、予め決められた複数の画像データの内の選択されたものが読み出される。読み出されたデータは、ズーム画像信号合成回路１０７にて補間画像データとして用いられ、後述するように拡大された画像信号の合成が行われる。
【００１６】
ＲＯＭ１０４の代わりに他の種類の記憶素子を用いることができる。例えば、いわゆるフラッシュメモリや他の不揮発性メモリ素子を使用できる。また、上記工程に対応して、テープ、ディスク等の記録手段から読み出された画像データをＲＡＭに記憶することで、上記ＲＯＭ１０４の代わりとすることもできる。
上記画像信号生成回路１００からの入力画像信号は画素位置変換回路１０５に供給されており、この画素位置変換回路１０５にはズーム率選択回路１０１からのズーム率信号も供給されている。上記ズーム率信号に基づいて、画素位置変換回路１０５は入力画像信号内の各画素の位置を変更して、各画素が所望のズーム画像を生成するための拡大画像信号内の正しい位置を占めるようにする。
【００１７】
例えば、図２の（ａ）には、信号の中心部分をズーム中心とする３×３画素ブロックの入力画像信号の例が示されている。ズーム画像中では、入力画像信号中の各画素は、画素位置が変換されてそのまま用いられる。図２の（ｂ）には、例えばズーム率が２のときに上記画素位置変換回路１０５によって位置変換された○印で示される同じ画素の相対位置を表示している。すなわち、図２の（ａ）の基本画像中の○印で示される４つの画素ａ、ｂ、ｃ、ｄは、図２の（ｂ）のズーム画像中では、画素ａ、ｂ、ｃ、ｄの位置に変換されて用いられる。また、ズーム画像中の×印で示される画素は、ズーム画像内に新たに補間された補間画素である。この２倍に拡大されたズーム画像の画像データは、例えば特開平４−３１８７６６号公報において提案されているズーム率算出方法により求めることができる。
【００１８】
回路１０５で位置変換がされた後、入力画像信号の画素データは、拡大画像信号合成回路１０７に供給される。ここで図２の（ｂ）を参照して、拡大画像信号合成回路１０７は、変換回路１０５から供給された画素の位置の間の×印の位置において、ＲＯＭ１０４から出力された補間画素を挿入し、これによって合成拡大画像信号を生成する。この拡大画像信号を合成した後、合成回路１０７は、表示装置１０８に線順次形態で拡大画像信号を出力し、拡大された画像の表示を行わせる。
【００１９】
ところで、ＲＯＭ１０４に記憶されるべき補間画像データを生成するために、次のような学習過程が実行される。
例えばビデオカメラから基本画像の画像信号が得られ、同じ画像に対応する拡大データが選択されたズーム率に応じて光学的にビデオカメラを拡大することで得られる。例えば、学習される基本画像として、上記図２の（ａ）に示す画像を用いる場合を考える。先ず、図２の（ａ）の基本画像と、この基本画像の画素ｄをズーム中心として、例えば光学的に２倍に拡大された図２の（ｂ）に示すズーム画像を用意する。
【００２０】
基本画像を表す画像データと拡大画像を表す画像データとは、例えば３×３画素ブロックとして選択されたブロック信号に区分される。そして、基本画像の各ブロック信号のためにクラスコードが発生される。次に、基本画像データの対応するブロックのクラスコードに応じて、拡大画像データのブロックがグループ化される。学習（トレーニング）は、各クラスコードについてＲＯＭ１０４に記憶されるべき最適の画像データを生成するように行われる。最適画像データは拡大画像データの対応ブロックから得られる。例えば、同じクラスコードを有する拡大画像データのブロック信号が平均化されることによって、当該クラスコードに対応する最適値あるいは代表値がそれらのブロックから選択される。あるいは、全てよりは少ないブロック信号を用いて最適値が生成される。この工程は、基本画像データの全てのブロック信号及び拡大画像データについて行われ、値の表が構成されて、ＲＯＭ１０４に記憶される。
【００２１】
すなわち、ズーム画像中の上記図２の４つの画素ａ、ｂ、ｃ、ｄ内に補間画素ｐを生成する場合には、基本画像中の４つの画素ａ、ｂ、ｃ、ｄから成る１ブロックの画像データパターンをクラス分類し、このクラス分類された画像データパターンに対応するクラスコードと上記画像データパターン内に補間画素ｐを補間するためのデータとを予め学習する。このように、上記ＲＯＭ１０４内には、所定のクラスコード及びこのクラスコードに対応する補間画素を補間するためのデータが、予め学習されて複数記憶されている。
【００２２】
上記ＲＯＭ１０４内に記憶されるクラスコードの最も簡便な分類方法は、クラス分類される基本画像のブロック毎の画像データに圧縮等の処理を行わず、上記ブロック毎の画像データのビット系列をそのままクラスコードとする方法である。しかし、ビット系列がそのままクラスコードである場合には、上記クラスコードと同等な数の画像データパターンを記憶しておかなければならず、このためには膨大な容量のＲＯＭが必要となる。従って、実現性を考慮した場合には、学習される基本画像の画像データに圧縮等の処理を用いることが考えられる。
【００２３】
そこで、実現性を考えたメモリ容量を考慮に入れると、クラス分類にデータ圧縮結果等を用いることが考えられる。このデータ圧縮には、例えば、後述する画像信号のダイナミックレンジに応じた適応ダイナミックレンジ符号化（ＡＤＲＣ）や、差分量子化（ＤＰＣＭ）、ベクトル量子化（ＶＱ）等が考えられる。
例えば、上記クラスコードの数を上記ＡＤＲＣ（適応型ダイナミックレンジ符号化）を使用して削減する方法が考えられる。本来、ＡＤＲＣはＶＴＲ（ビデオテープレコーダ）向けの高能率符号化用に開発された適応的再量子化法であり、ディジタル画像信号をブロック化し、このブロック内に含まれる複数の画素データの最大値及び最小値により規定されるダイナミックレンジを求め、このブロック単位で求めた上記ダイナミックレンジに適応した割り当てビット数で当該ブロック内の各画素データを符号化するものであり、信号レベルの局所的なパターンを短い語長で効率的に表現することができる。
【００２４】
より具体的に言うと、上記ＡＤＲＣは、１フレーム（又はフィールド）内の所定のブロック内に含まれる複数画素の最大値及び最小値により規定されるダイナミックレンジ（ブロック内最大レベルと最小レベルの差）を求め、このダイナミックレンジに適応した可変の量子化ビット数を上記ブロック毎に決定し、この量子化ビット数で最小値除去後の入力データを符号化（再量子化、すなわち圧縮された量子化ビット数によりダイナミックレンジを均等に分割し、ブロック内の各画素を最も近いレベルのコードに符号化する）して符号化コードを得ると共に、ダイナミックレンジの情報と上記最大値，最小値の内の何れかを付加コードとし、これら符号化コードと付加コードとを得るようなものである。
【００２５】
よって、ＡＤＲＣを使用してクラス分類を行う場合には、画像データのパターンの性質を保存した効果的なクラスコードの数の削減を行うことができる。
ここで、例えば、ｎ個の信号画素に基づくクラスコード発生を例にとり、ｉ番目の画素のレベルをｘｉ とする。例えばｉ＝１〜３である。また、ｘｉ のデータに対してｐビットＡＤＲＣを行った結果の再量子化データをｑｉ とし、そのダイナミックレンジをＤＲ、最小値をｍｉｎとする。このとき、このブロックのクラス番号（クラスコード）ｃｌａｓｓ は、次の式（１）で定義される。
【００２６】
【数１】
【００２７】
クラスコード形成については、上述したような圧縮技術を用いたり、他の方法を用いてもよいことは勿論である。
次に、図３は、本発明の第２の実施例としての電子ズーム装置に用いられる補間画像データ発生回路の概略構成のブロック図を示している。
この図３において、入力端子１２に供給された入力画像信号は、ブロック化回路１３に送られて複数のブロック信号に分割される。このブロック化回路１３の出力は、フィルタ１４及び減算器１５に供給される。フィルタ１４は、画像信号のノイズを低減するのに好適な一般のノイズ低減フィルタである。このフィルタ１４として使用可能なノイズ低減フィルタの一例として、メジアン値フィルタを挙げることができる。当該フィルタ１４は、フィルタ処理された画像信号を減算器１５に減算信号として送る。減算器１５は、フィルタ１４からの各フィルタ処理されたブロック信号とブロック化回路１３からの各ブロック信号との差分に応じた差分画像信号を生成し、各差分ブロック信号をクラスコード発生回路１６に送っている。
【００２８】
クラスコード発生回路１６は、上記各差分ブロック信号に応じて、クラスコードをＲＯＭ１７に供給する。ＲＯＭ１７としては、他の適当なメモリを使用することができる。このＲＯＭ１７は、上記クラスコードと共に上記ズーム率選択回路１０１からのズーム率を、アドレスそのものとしてあるいはアドレス生成用として用い、対応する補間差分画像データを読み出す。補間差分画像データは、フィルタ１４から出力されるフィルタ処理されたブロック信号と、図３の装置から供給される所定の補間データとの差分を表す。ＲＯＭ１７は補間差分画像データを加算器１８の一方の入力に供給する。この加算器１８の他方の入力にはフィルタ１４からのフィルタ処理された対応するブロック信号が供給され、加算器１８は、これらの２つの入力信号を加算して出力端子１９を介して図１の拡大画像信号合成回路１０７に供給する。
【００２９】
この図３に示す装置の学習工程は上記図１の装置の場合と同様であるが、相違点としては、先ず基本画像データと拡大画像データの対応するブロックが、フィルタ１４と同じ特性のフィルタにより最初にフィルタ処理されてフィルタ処理データを生成し、次に元のブロックから減算されて差分データを生成する点が挙げられる。この学習については、図１の補間画像データ発生回路１１０を学習させるのと同じ方法で、ＲＯＭ１７に記憶される補間画像データ及びクラスコードを生成するための学習が上記差分画像データを用いて進められる。
【００３０】
次に、図４は、本発明の第３の実施例となる電子ズーム装置に用いられる補間画像データ発生回路の概略的な構成を示すブロック図である。
この図４において、端子３０に供給される入力画像信号はブロック化回路３２に供給される。このブロック化回路３２は、上記ズーム率選択回路１０１からのズーム率信号が供給され、少なくとも拡大画像に対応する部分のための入力画像信号からの複数のブロック信号を生成し、このブロック信号を画像信号からノイズを除去するのに好適なノイズ除去フィルタ３４に送っている。ノイズ除去フィルタ３４は、フィルタ処理されて得られたブロック信号を生成し、フィルタ処理されたブロック信号をクラスコード発生回路３８に供給する。クラスコード発生回路３８は、各ブロック信号を識別するためのクラスコードが発生される。このクラスコードは、アドレスデータとしてＲＯＭテーブル４０に送られる。ＲＯＭ４０では、クラスコードと共に上記選択回路１０１からのズーム率信号が供給されており、対応するブロックの補間画素データが読み出されて、出力端子４２より取り出される。これが上記図１の合成回路１０７に供給されて、拡大された画像信号が生成される。
【００３１】
この図４の第３の実施例の場合の学習は、図１の補間画像データ発生回路１１０場合と同様であるが、相違点として、基本画像及び拡大画像信号の各ブロックが、クラスコード発生に先だって、ノイズ除去フィルタ３４と同じ特性のフィルタによりフィルタ処理される点が挙げられる。
次に図５のブロック図を参照しながら、本発明の第４の実施例に用いられる補間画像データ発生回路について説明する。
【００３２】
この図５の装置において、入力端子５０に供給された入力画像信号は、ブロック化回路５２に送られる。このブロック化回路５２は、上記ズーム率選択回路１０１からのズーム率信号も供給されており、上記入力画像信号を、拡大画像に対応する複数のブロック信号に分割し、その出力をクラスコード発生回路５４に供給している。各ブロック信号に対応して、クラスコード発生回路５４は、対応するクラスコードを発生し、ＲＯＭ５６に供給する。このクラスコードは、該クラスコードが生成されたブロック信号に対応する種々のズーム率における補間画像データの係数データセットの形態のものを識別する。ＲＯＭ５６は複数の係数データセットを、対応するクラスコード及びズーム率信号に応じた各アドレスに記憶しており、各クラスコード及びズーム率信号そのもの、あるいはこれらから求められたアドレスを読み出しアドレスとして、対応する係数データセットが読み出されるようになっている。
【００３３】
各係数データの組はそれぞれ複数の乗算係数を有し、各乗算係数は、補間画像データ発生回路５８において、上記ブロック化回路５２からのブロック信号の対応する値に乗算して補間画像データを得るために用いられる。この補間画像データは出力端子６０を介して、上記拡大画像信号合成回路１０７に供給されることにより、拡大画像信号が生成される。
【００３４】
図５の装置の学習は、上記図１の補間画像データ発生回路１１０の場合と本質的に同じ方法で行われるが、学習工程上での相違点として、補間画像データの代わりに係数データの組が生成される点が挙げられる。
この図５に示す装置の学習方法について以下に説明する。
ここで、補間画像データ発生回路５８からの拡大画像データブロックの各画素は、値ｙ０ｓを有するものと仮定する。この画素値ｙ０ｓは、係数ｗ１ｓ〜ｗｎｓと、ブロック化回路５２からのブロック信号の画素値ｘＩＮ１〜ｘＩＮｎとの組み合せにより生成でき、
のように関係付けられる。ここで、ｓは任意の上記画素値ｙ０ｓを識別するための指標である。
【００３５】
学習は、クラス毎に複数の信号データに対して行う。ＲＯＭ５６に記憶するための係数データを生成するために、同じクラスコードに対応する拡大画像データブロック信号の各対応画素は、入力画像信号の対応するブロック信号の全ての画素値と共に用いられる。
係数データを求めるための方法は、次のようにして導出される。
【００３６】
拡大画像データブロック信号の各対応画素は、入力画像信号の各ブロック信号の画素数をｎとするとき、各係数値ｗ１ｓ〜ｗｎｓを入力画像信号のブロック信号の対応する画素値に乗算して得られる多項式により表される値に等しいと推定できる。すなわち、
の関係式により表現される。ここで、ｙｋ は、低ノイズ画像信号の対応するブロック信号ｋの対応画素値を表し、ｘｋ１〜ｘｋｎは、入力画像信号の対応ブロック信号のそれぞれの画素データの値を示し、ｗ１〜ｗｎは学習により求めようとする係数である。
【００３７】
今、ブロック信号の個数をｍとするとき、ｍ＞ｎの場合にはｗ１〜ｗｎ は一意には定まらないので、誤差ベクトルｅの要素を
と定義して、式（５）を最小にする係数を求める。いわゆる最小自乗法による解法である。
【００３８】
【数２】
【００３９】
ここで、式（５）のｗｉ による偏微分係数を、式（６）のように求める。
【００４０】
【数３】
【００４１】
上記式（６）を０にするように各ｗｉ を決めればよいから、式（７）、式（８）のように、
【００４２】
【数４】
【００４３】
【数５】
【００４４】
として行列を用いると式（９）のようになる。
【００４５】
この（９）式は、掃き出し法などの一般的な行列解法を用いて、ｗｉ について解けば、最適値としての予測係数を求めることができる。本実施例ではＲＯＭ５６のアドレスｃｌａｓｓ のデータ（ＲＯＭテーブル）としてこの予測係数を格納しておく。
【００４６】
次に、図６は、本発明の第５の実施例に用いられる補間画像データ発生回路を示すブロック図である。
この図６の装置において、入力端子８０に供給された入力画像信号は、ブロック化回路８２に送られる。このブロック化回路８２は、上記選択回路１０１からのズーム率に関連して決定された拡大画像に対応する入力画像信号の一部を選択し、この選択されたデータを複数のブロック信号に分割し、フィルタ８４の入力及び減算器８６に供給する。フィルタ８４は、画像信号からノイズを除去するのに適したものであり、上記ブロック信号からフィルタ処理されたブロック信号を生成して、減算器８６のもう１つの端子に供給する。減算器８６は、ブロック化回路８２で出力されたそれぞれのブロック信号と対応するフィルタ処理されたブロック信号とから差分ブロック信号を生成する。
【００４７】
減算器８６により供給される差分信号はクラスコード発生回路９０に送られ、このクラスコード発生回路９０は各差分ブロック信号に応じたクラスコードを発生する。各クラスコードは、フィルタ８４から供給されるフィルタ処理されたブロック信号と、図６の装置により生成される補間画像データのブロックとの差分を表す補間差分画像データを識別する。ＲＯＭ９２としては他の適当なメモリを使用することができる。このＲＯＭ９２は、上記クラスコード及び上記選択回路１０１からのズーム率に対応するそれぞれのアドレスに、複数の係数データセットを記憶する。各係数データセットはいくつかの乗算係数を有しており、これらの乗算係数は、コードが生成された差分ブロック信号に含まれる対応する値に乗算されて、対応する補間差分画像データブロックの値を生成するためのものである。
【００４８】
ＲＯＭ９２から各クラスコード及びズーム率に応じて読み出された係数データセットは、差分データ発生回路９４に送られるており、この差分データ発生回路９４には、上記減算器８６により生成された差分ブロック信号が供給されている。差分データ発生回路９４は、ＲＯＭ９２からの係数データセットの各係数と減算器８６からの差分ブロック信号の対応する値とを乗算して加算することにより、補間差分画像データのブロックを生成する。差分データ発生回路９４により生成された補間差分画像データは加算器９８に送られ、この加算器９８で上記フィルタ８４からの出力信号と加算されることにより、補間画像データのブロックが生成される。この加算器９８は、補間画像データの各ブロックを出力端子１２０に供給し、これらのブロックは拡大画像信号合成回路１０７に供給されて、拡大画像信号が生成される。
【００４９】
この図６に示す装置の学習は上記図１の装置の場合と同様であるが、相違点としては、差分ブロック信号からのデータを用いた係数データを生成する点が挙げられる。
次に、図７のブロック図を参照しながら、本発明の第６の実施例に用いられる補間画像データ発生回路について説明する。
【００５０】
この図７の装置において、入力端子１２４に供給された入力画像信号は、ブロック化回路１２６に送られる。このブロック化回路１２６は、上記ズーム率選択回路１０１からのズーム率信号も供給されている。このブロック化回路１２６は、ズーム率信号に応じて所望の拡大画像に対応する入力画像信号の部分を選択し、この部分を複数のブロック信号に分割する。このブロック化回路１２６は、このブロック信号を画像信号からノイズを除去するのに好適なノイズ除去フィルタ１２８に送っている。フィルタ１２８は、フィルタ処理されて得られたブロック信号を上記供給された各ブロック信号から生成し、フィルタ処理されたブロック信号をクラスコード発生回路１３２に供給する。
【００５１】
クラスコード発生回路１３２は、対応するフィルタ処理された各ブロック信号のクラスコードを発生する。各クラスコードは、コードが発生されたブロック信号に対応する補間画像データのブロックを識別する。クラスコード発生回路１３２は各コードをＲＯＭ１２４あるいは他の適当な記憶素子に供給する。ＲＯＭ１２４は、複数の係数データセットを、それぞれ対応するクラスコード及び上記選択回路１０１からのズーム率信号に応じた各アドレスに記憶する。各クラスコード及びズーム率信号に応じて、ＲＯＭ１２４から補間画像データ生成回路１３８に係数データセットが読み出される。補間画像データ生成回路１３８には、ノイズ除去フィルタ１２８からの対応するクラスコードの元となるフィルタ処理されたブロック信号も供給されている。補間画像データ生成回路１３８は、上記係数データセットの各係数と上記フィルタ処理されたブロック信号の対応する値とを乗算してそれぞれを加算することによって、補間画像データのブロックを生成する。この補間画像データ生成回路１３８は、出力端子１４０に補間画像データの各ブロックを供給し、これらのブロックは、上記図１の拡大画像信号合成回路１０７に供給されて、拡大画像信号が生成される。
【００５２】
なお、クラス分割のための画像データ圧縮方法としてＡＤＲＣを用いたが、このＡＤＲＣの代わりに、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＶＱ（ベクトル量子化）、ＤＰＣＭ（予測符号化）等のデータ圧縮方法を用いてもよい。
また、本発明は上述の実施例のみに限定されるものではなく、例えば、ＲＯＭの代わりに種々のメモリ装置を用いることができる。また、上記種々の実施例はＡＳＩＣ等のハードウェア回路回路として、あるいはマイクロプロセッサ、マイクロコンピュータ、ディジタル信号プロセッサ等のプログラマブルデバイスを用いて、あるいはハードウェア回路とプログラマブルデバイスとの組み合せの装置により実現できる。
【００５３】
さらに、本発明の特定の実施例については図面を参照しながら詳述したが、本発明はこれらの厳密な実施例に限定されるものではなく、本発明の趣旨のを逸脱しない範囲で種々の変形や変更が行えることは勿論である。
【００５４】
【発明の効果】
以上の説明からも明らかなように、本発明に係る電子ズーム装置は、入力される基本画像の画像データのブロック化を行うブロック化手段と、上記ブロック化手段からのブロック化された画像データを複数のクラスに分類し、このクラスを示すクラスコードを発生するクラス分類手段と、上記クラス分類手段からのクラスコードに応じて最適化された所定の画像データを発生する画像データ発生手段と、ズーム率に応じて、上記基本画像の画像データのズーム画像上での表示位置を移動させる表示位置変換手段と、上記クラス分類手段からの画像データと上記表示位置変換手段からの画像データを合成してズーム画像を出力する画素合成手段とを有して成っているため、解像度を劣化させることなく拡大画像あるいはズーム画像を生成することができる。
【００５５】
また、上記補間画像データ発生手段は、クラスコードに応じた係数を発生する係数記憶手段と、上記係数発生手段からの係数と上記入力される画像データとを演算して補間画素を求める補間画素演算手段とから成り、上記係数記憶手段には、基本画像とこの基本画像が拡大されたズーム画像とを比較して予め補間すべき画素を学習することにより得られる係数が記憶されていることにより、ズーム画像の周辺部の解像度を低下させることなく、高画質の画像を得ることができる。
【００５６】
また、本発明に係る電子ズーム方法は、入力される基本画像の画像データのブロック化を行い、ブロック化された画像データを複数のクラスに分類し、このクラスを示すクラスコードを発生し、この発生されたクラスコードに応じて最適化された所定の画像データを発生し、ズーム率に応じて、上記基本画像の画像データのズーム画像上での表示位置を移動させ、上記所定の画像データと上記表示位置変換された画像データを合成してズーム画像を出力しているため、解像度を劣化させることなく拡大画像あるいはズーム画像を生成することができる。
【００５７】
また、上記補間画像データ発生工程は、クラスコードに応じた係数を発生する係数記憶工程と、上記係数発生工程からの係数と上記入力される画像データとを演算して補間画素を求める補間画素演算工程とから成り、上記係数記憶工程には、基本画像とこの基本画像が拡大されたズーム画像とを比較して予め補間すべき画素を学習することにより得られる係数が記憶されていることにより、ズーム画像の周辺部の解像度を低下させることなく、高画質の画像を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る電子ズーム装置の第１の実施例の概略的な構成を示すブロック図である。
【図２】基本画像の画素位置と基本画像を２倍に拡大したズーム画像の画素位置との関係を示す図である。
【図３】本発明に係る電子ズーム装置の第２の実施例に用いられる補間画像データ発生回路の概略的な構成を示すブロック図である。
【図４】本発明に係る電子ズーム装置の第３の実施例に用いられる補間画像データ発生回路の概略的な構成を示すブロック図である。
【図５】本発明に係る電子ズーム装置の第４の実施例に用いられる補間画像データ発生回路の概略的な構成を示すブロック図である。
【図６】本発明に係る電子ズーム装置の第５の実施例に用いられる補間画像データ発生回路の概略的な構成を示すブロック図である。
【図７】本発明に係る電子ズーム装置の第６の実施例に用いられる補間画像データ発生回路の概略的な構成を示すブロック図である。
【符号の説明】
１３、３２、５２、８２、１０２、１２６ ブロック化回路
１６、３８、５４、９０、１０３、１３２ クラスコード発生回路
１７、４０、５６、９２、１０４、１３４ ＲＯＭ
１０５ 画素位置変換回路
１０６ 補間画素演算回路
１０７ 画素合成回路
１１０ 補間画像データ発生回路
【産業上の利用分野】
本発明は、入力画像信号が拡大された画像信号を出力する電子ズーム装置及び電子ズーム方法に関する。
【０００２】
【従来の技術】
従来の電子ズーム装置において、所定の画像をズームアップしてズーム画像を合成する場合には、線形補間フィルタ等を用いてズーム画像中に画素を補間している。
【０００３】
【発明が解決しようとする課題】
ところで、この線形補間フィルタを用いると、ズーム画像のエッジ部又は境界部の解像度が無くなるので、ズーム画像にはぼけが目立つようになる。この現象は、ズーム率を大きくするほど顕著に現れる。
また、ズーム画像を用いる場合には、ズームアップされる対象物の細部を拡大して詳細に見たいという意図があるにも関わらず、対象物に対してズームアップすると解像度が低下してしまうのは問題である。
【０００４】
そこで、本発明は上述の実情に鑑み、画像をズームアップした場合に、解像度を落とさずにズーム画像を合成することができる電子ズーム装置及び電子ズーム方法を提供するものである。
【０００５】
【課題を解決するための手段】
本発明に係る電子ズーム装置は、入力される基本画像の画像データのブロック化を行うブロック化手段と、上記ブロック化手段からのブロック化された画像データを複数のクラスに分類し、このクラスを示すクラスコードを発生するクラス分類手段と、上記クラス分類手段からのクラスコードに応じて最適化された所定の画像データを発生する画像データ発生手段と、ズーム率に応じて、上記基本画像の画像データのズーム画像上での表示位置を移動させる表示位置変換手段と、上記画像データ発生手段からの画像データと上記表示位置変換手段からの画像データを合成してズーム画像を出力する画素合成手段とを有して成ることにより上述した課題を解決する。
【０００６】
ここで、上記画像データ発生手段は、上記拡大されたズーム画像を得るための補間画像データを発生することが好ましい。
また、上記画像データ発生手段は、クラスコードに応じた係数を発生する係数記憶手段と、上記係数発生手段からの係数と上記入力される画像データとを演算して所定の画素を求める画素演算手段とから成ることを特徴とする。
【０００７】
さらに、上記係数記憶手段には、基本画像とこの基本画像が拡大されたズーム画像とを比較して予め補間すべき画素を学習することにより得られる係数が記憶されていることを特徴とする。
本発明に係る電子ズーム方法は、入力される基本画像の画像データのブロック化を行うブロック化工程と、上記ブロック化工程からのブロック化された画像データを複数のクラスに分類し、このクラスを示すクラスコードを発生するクラス分類工程と、上記クラス分類工程からのクラスコードに応じて最適化された所定の画像データを発生する画像データ発生工程と、ズーム率に応じて、上記基本画像の画像データのズーム画像上での表示位置を移動させる表示位置変換工程と、上記画像データ発生工程からの画像データと上記表示位置変換工程からの画像データを合成してズーム画像を出力する画素合成工程とを有して成ることにより上述した課題を解決する。
【０００８】
また、上記画像データ発生工程は、クラスコードに応じた係数を発生する係数記憶工程と、上記係数発生工程からの係数と上記入力される画像データとを演算して所定の画素を求める画素演算工程とから成ることを特徴とする。
さらに、上記係数記憶工程には、基本画像とこの基本画像が拡大されたズーム画像とを比較して予め補間すべき画素を学習することにより得られる係数が記憶されていることを特徴とする。
【０００９】
【作用】
入力画像に応じて得られたクラスコードに応じて所定の画像データを発生し、表示位置変換手段からの画像データと合成して拡大画像あるいはズーム画像を得ているため、解像度を劣化させることなく拡大画像あるいはズーム画像を生成することができる。
【００１０】
また、係数記憶手段において予め記憶されている係数と入力される基本画像の画像データとを演算して補間画素を求め、この補間画素を用いて基本画像を拡大することにより、高画質の拡大画像を得ることができる。
【００１１】
【実施例】
以下、本発明の好ましい実施例について、図面を参照しながら説明する。
図１は、本発明に係る電子ズーム装置の第１の実施例の概略的な構成を示すブロック図である。
この図１に示す装置において、画像信号生成回路１００は、光学的画像から入力画像信号を生成する。この画像信号生成回路１００としては、例えばビデオカメラが挙げられる。
【００１２】
ズーム率選択回路１０１は、予め定められた複数のズーム率の内から、ズーム画像のためのズーム率をユーザが任意に選択できるようにする。このような選択に応じて、選択回路１０１はズーム率信号を補間画像データ発生回路１１０のブロック化回路１０２に出力する。
ここで、画像信号生成回路１００からの入力画像信号としての基本画像のディジタル画像データは、ブロック化回路１０２に送られる。上記ブロック化回路１０２には基本画像を拡大する所望のズーム率が上記ズーム率選択回路１０１から与えられている。よって、上記ブロック化回路１０２では、上記ズーム率により、ズーム前の基本画像内のズームされる領域を特定することができ、この特定されたズームされるべき領域の画像データのブロック化が行われる。このブロック化回路１０２の一具体例としては、拡大される領域内に含まれる画像データを、入力画像のサブエリアにそれぞれ対応する例えば８×８画素ブロック信号に分割するものが挙げられる。他の具体例ではブロックサイズや形状の異なるものが用いられる。上記ブロック化回路１０２からのブロック化された画像データは、クラスコード発生回路１０３に出力される。
【００１３】
上記クラスコード発生回路１０３では、送られた各ブロック毎の画像データのパターンをクラス分類し、このクラス分類された画像データパターンに対応するクラスコードを発生する。すなわち、各クラスコードは、当該クラスコードの元になるブロック信号により示される入力画像のサブエリアに対応する拡大画像部分の所定の画像データを識別する。発生されたクラスコードはＲＯＭ（読み出し専用メモリ）１０４に送られる。
【００１４】
このＲＯＭ１０４には、拡大されるズーム画像内に画素を補間するためのデータが予め学習により得られ、クラスコードと共にテーブルとして記憶されている。よって、上記ＲＯＭ１０４では、上記クラスコード発生回路１０３からのクラスコードをアドレスとして用いることにより、このクラスコードに応じたズーム画像中に補間画素を補間するためのデータが読み出される。
【００１５】
また、このＲＯＭ１０４には、上記ブロック化回路１０２に与えられたズーム率と同じズーム率が入力されており、このズーム率を用いて、上記補間のためのデータで示される補間画素の位置が算出される。
すなわち、ＲＯＭ１０４は、上記クラスコード及び選択されたズーム率のいずれもが直接的に読み出しアドレスとされるか、あるいはこれらから間接的に読み出しアドレスが生成されて、予め決められた複数の画像データの内の選択されたものが読み出される。読み出されたデータは、ズーム画像信号合成回路１０７にて補間画像データとして用いられ、後述するように拡大された画像信号の合成が行われる。
【００１６】
ＲＯＭ１０４の代わりに他の種類の記憶素子を用いることができる。例えば、いわゆるフラッシュメモリや他の不揮発性メモリ素子を使用できる。また、上記工程に対応して、テープ、ディスク等の記録手段から読み出された画像データをＲＡＭに記憶することで、上記ＲＯＭ１０４の代わりとすることもできる。
上記画像信号生成回路１００からの入力画像信号は画素位置変換回路１０５に供給されており、この画素位置変換回路１０５にはズーム率選択回路１０１からのズーム率信号も供給されている。上記ズーム率信号に基づいて、画素位置変換回路１０５は入力画像信号内の各画素の位置を変更して、各画素が所望のズーム画像を生成するための拡大画像信号内の正しい位置を占めるようにする。
【００１７】
例えば、図２の（ａ）には、信号の中心部分をズーム中心とする３×３画素ブロックの入力画像信号の例が示されている。ズーム画像中では、入力画像信号中の各画素は、画素位置が変換されてそのまま用いられる。図２の（ｂ）には、例えばズーム率が２のときに上記画素位置変換回路１０５によって位置変換された○印で示される同じ画素の相対位置を表示している。すなわち、図２の（ａ）の基本画像中の○印で示される４つの画素ａ、ｂ、ｃ、ｄは、図２の（ｂ）のズーム画像中では、画素ａ、ｂ、ｃ、ｄの位置に変換されて用いられる。また、ズーム画像中の×印で示される画素は、ズーム画像内に新たに補間された補間画素である。この２倍に拡大されたズーム画像の画像データは、例えば特開平４−３１８７６６号公報において提案されているズーム率算出方法により求めることができる。
【００１８】
回路１０５で位置変換がされた後、入力画像信号の画素データは、拡大画像信号合成回路１０７に供給される。ここで図２の（ｂ）を参照して、拡大画像信号合成回路１０７は、変換回路１０５から供給された画素の位置の間の×印の位置において、ＲＯＭ１０４から出力された補間画素を挿入し、これによって合成拡大画像信号を生成する。この拡大画像信号を合成した後、合成回路１０７は、表示装置１０８に線順次形態で拡大画像信号を出力し、拡大された画像の表示を行わせる。
【００１９】
ところで、ＲＯＭ１０４に記憶されるべき補間画像データを生成するために、次のような学習過程が実行される。
例えばビデオカメラから基本画像の画像信号が得られ、同じ画像に対応する拡大データが選択されたズーム率に応じて光学的にビデオカメラを拡大することで得られる。例えば、学習される基本画像として、上記図２の（ａ）に示す画像を用いる場合を考える。先ず、図２の（ａ）の基本画像と、この基本画像の画素ｄをズーム中心として、例えば光学的に２倍に拡大された図２の（ｂ）に示すズーム画像を用意する。
【００２０】
基本画像を表す画像データと拡大画像を表す画像データとは、例えば３×３画素ブロックとして選択されたブロック信号に区分される。そして、基本画像の各ブロック信号のためにクラスコードが発生される。次に、基本画像データの対応するブロックのクラスコードに応じて、拡大画像データのブロックがグループ化される。学習（トレーニング）は、各クラスコードについてＲＯＭ１０４に記憶されるべき最適の画像データを生成するように行われる。最適画像データは拡大画像データの対応ブロックから得られる。例えば、同じクラスコードを有する拡大画像データのブロック信号が平均化されることによって、当該クラスコードに対応する最適値あるいは代表値がそれらのブロックから選択される。あるいは、全てよりは少ないブロック信号を用いて最適値が生成される。この工程は、基本画像データの全てのブロック信号及び拡大画像データについて行われ、値の表が構成されて、ＲＯＭ１０４に記憶される。
【００２１】
すなわち、ズーム画像中の上記図２の４つの画素ａ、ｂ、ｃ、ｄ内に補間画素ｐを生成する場合には、基本画像中の４つの画素ａ、ｂ、ｃ、ｄから成る１ブロックの画像データパターンをクラス分類し、このクラス分類された画像データパターンに対応するクラスコードと上記画像データパターン内に補間画素ｐを補間するためのデータとを予め学習する。このように、上記ＲＯＭ１０４内には、所定のクラスコード及びこのクラスコードに対応する補間画素を補間するためのデータが、予め学習されて複数記憶されている。
【００２２】
上記ＲＯＭ１０４内に記憶されるクラスコードの最も簡便な分類方法は、クラス分類される基本画像のブロック毎の画像データに圧縮等の処理を行わず、上記ブロック毎の画像データのビット系列をそのままクラスコードとする方法である。しかし、ビット系列がそのままクラスコードである場合には、上記クラスコードと同等な数の画像データパターンを記憶しておかなければならず、このためには膨大な容量のＲＯＭが必要となる。従って、実現性を考慮した場合には、学習される基本画像の画像データに圧縮等の処理を用いることが考えられる。
【００２３】
そこで、実現性を考えたメモリ容量を考慮に入れると、クラス分類にデータ圧縮結果等を用いることが考えられる。このデータ圧縮には、例えば、後述する画像信号のダイナミックレンジに応じた適応ダイナミックレンジ符号化（ＡＤＲＣ）や、差分量子化（ＤＰＣＭ）、ベクトル量子化（ＶＱ）等が考えられる。
例えば、上記クラスコードの数を上記ＡＤＲＣ（適応型ダイナミックレンジ符号化）を使用して削減する方法が考えられる。本来、ＡＤＲＣはＶＴＲ（ビデオテープレコーダ）向けの高能率符号化用に開発された適応的再量子化法であり、ディジタル画像信号をブロック化し、このブロック内に含まれる複数の画素データの最大値及び最小値により規定されるダイナミックレンジを求め、このブロック単位で求めた上記ダイナミックレンジに適応した割り当てビット数で当該ブロック内の各画素データを符号化するものであり、信号レベルの局所的なパターンを短い語長で効率的に表現することができる。
【００２４】
より具体的に言うと、上記ＡＤＲＣは、１フレーム（又はフィールド）内の所定のブロック内に含まれる複数画素の最大値及び最小値により規定されるダイナミックレンジ（ブロック内最大レベルと最小レベルの差）を求め、このダイナミックレンジに適応した可変の量子化ビット数を上記ブロック毎に決定し、この量子化ビット数で最小値除去後の入力データを符号化（再量子化、すなわち圧縮された量子化ビット数によりダイナミックレンジを均等に分割し、ブロック内の各画素を最も近いレベルのコードに符号化する）して符号化コードを得ると共に、ダイナミックレンジの情報と上記最大値，最小値の内の何れかを付加コードとし、これら符号化コードと付加コードとを得るようなものである。
【００２５】
よって、ＡＤＲＣを使用してクラス分類を行う場合には、画像データのパターンの性質を保存した効果的なクラスコードの数の削減を行うことができる。
ここで、例えば、ｎ個の信号画素に基づくクラスコード発生を例にとり、ｉ番目の画素のレベルをｘｉ とする。例えばｉ＝１〜３である。また、ｘｉ のデータに対してｐビットＡＤＲＣを行った結果の再量子化データをｑｉ とし、そのダイナミックレンジをＤＲ、最小値をｍｉｎとする。このとき、このブロックのクラス番号（クラスコード）ｃｌａｓｓ は、次の式（１）で定義される。
【００２６】
【数１】
クラスコード形成については、上述したような圧縮技術を用いたり、他の方法を用いてもよいことは勿論である。
次に、図３は、本発明の第２の実施例としての電子ズーム装置に用いられる補間画像データ発生回路の概略構成のブロック図を示している。
この図３において、入力端子１２に供給された入力画像信号は、ブロック化回路１３に送られて複数のブロック信号に分割される。このブロック化回路１３の出力は、フィルタ１４及び減算器１５に供給される。フィルタ１４は、画像信号のノイズを低減するのに好適な一般のノイズ低減フィルタである。このフィルタ１４として使用可能なノイズ低減フィルタの一例として、メジアン値フィルタを挙げることができる。当該フィルタ１４は、フィルタ処理された画像信号を減算器１５に減算信号として送る。減算器１５は、フィルタ１４からの各フィルタ処理されたブロック信号とブロック化回路１３からの各ブロック信号との差分に応じた差分画像信号を生成し、各差分ブロック信号をクラスコード発生回路１６に送っている。
【００２８】
クラスコード発生回路１６は、上記各差分ブロック信号に応じて、クラスコードをＲＯＭ１７に供給する。ＲＯＭ１７としては、他の適当なメモリを使用することができる。このＲＯＭ１７は、上記クラスコードと共に上記ズーム率選択回路１０１からのズーム率を、アドレスそのものとしてあるいはアドレス生成用として用い、対応する補間差分画像データを読み出す。補間差分画像データは、フィルタ１４から出力されるフィルタ処理されたブロック信号と、図３の装置から供給される所定の補間データとの差分を表す。ＲＯＭ１７は補間差分画像データを加算器１８の一方の入力に供給する。この加算器１８の他方の入力にはフィルタ１４からのフィルタ処理された対応するブロック信号が供給され、加算器１８は、これらの２つの入力信号を加算して出力端子１９を介して図１の拡大画像信号合成回路１０７に供給する。
【００２９】
この図３に示す装置の学習工程は上記図１の装置の場合と同様であるが、相違点としては、先ず基本画像データと拡大画像データの対応するブロックが、フィルタ１４と同じ特性のフィルタにより最初にフィルタ処理されてフィルタ処理データを生成し、次に元のブロックから減算されて差分データを生成する点が挙げられる。この学習については、図１の補間画像データ発生回路１１０を学習させるのと同じ方法で、ＲＯＭ１７に記憶される補間画像データ及びクラスコードを生成するための学習が上記差分画像データを用いて進められる。
【００３０】
次に、図４は、本発明の第３の実施例となる電子ズーム装置に用いられる補間画像データ発生回路の概略的な構成を示すブロック図である。
この図４において、端子３０に供給される入力画像信号はブロック化回路３２に供給される。このブロック化回路３２は、上記ズーム率選択回路１０１からのズーム率信号が供給され、少なくとも拡大画像に対応する部分のための入力画像信号からの複数のブロック信号を生成し、このブロック信号を画像信号からノイズを除去するのに好適なノイズ除去フィルタ３４に送っている。ノイズ除去フィルタ３４は、フィルタ処理されて得られたブロック信号を生成し、フィルタ処理されたブロック信号をクラスコード発生回路３８に供給する。クラスコード発生回路３８は、各ブロック信号を識別するためのクラスコードが発生される。このクラスコードは、アドレスデータとしてＲＯＭテーブル４０に送られる。ＲＯＭ４０では、クラスコードと共に上記選択回路１０１からのズーム率信号が供給されており、対応するブロックの補間画素データが読み出されて、出力端子４２より取り出される。これが上記図１の合成回路１０７に供給されて、拡大された画像信号が生成される。
【００３１】
この図４の第３の実施例の場合の学習は、図１の補間画像データ発生回路１１０場合と同様であるが、相違点として、基本画像及び拡大画像信号の各ブロックが、クラスコード発生に先だって、ノイズ除去フィルタ３４と同じ特性のフィルタによりフィルタ処理される点が挙げられる。
次に図５のブロック図を参照しながら、本発明の第４の実施例に用いられる補間画像データ発生回路について説明する。
【００３２】
この図５の装置において、入力端子５０に供給された入力画像信号は、ブロック化回路５２に送られる。このブロック化回路５２は、上記ズーム率選択回路１０１からのズーム率信号も供給されており、上記入力画像信号を、拡大画像に対応する複数のブロック信号に分割し、その出力をクラスコード発生回路５４に供給している。各ブロック信号に対応して、クラスコード発生回路５４は、対応するクラスコードを発生し、ＲＯＭ５６に供給する。このクラスコードは、該クラスコードが生成されたブロック信号に対応する種々のズーム率における補間画像データの係数データセットの形態のものを識別する。ＲＯＭ５６は複数の係数データセットを、対応するクラスコード及びズーム率信号に応じた各アドレスに記憶しており、各クラスコード及びズーム率信号そのもの、あるいはこれらから求められたアドレスを読み出しアドレスとして、対応する係数データセットが読み出されるようになっている。
【００３３】
各係数データの組はそれぞれ複数の乗算係数を有し、各乗算係数は、補間画像データ発生回路５８において、上記ブロック化回路５２からのブロック信号の対応する値に乗算して補間画像データを得るために用いられる。この補間画像データは出力端子６０を介して、上記拡大画像信号合成回路１０７に供給されることにより、拡大画像信号が生成される。
【００３４】
図５の装置の学習は、上記図１の補間画像データ発生回路１１０の場合と本質的に同じ方法で行われるが、学習工程上での相違点として、補間画像データの代わりに係数データの組が生成される点が挙げられる。
この図５に示す装置の学習方法について以下に説明する。
ここで、補間画像データ発生回路５８からの拡大画像データブロックの各画素は、値ｙ０ｓを有するものと仮定する。この画素値ｙ０ｓは、係数ｗ１ｓ〜ｗｎｓと、ブロック化回路５２からのブロック信号の画素値ｘＩＮ１〜ｘＩＮｎとの組み合せにより生成でき、
【００３５】
学習は、クラス毎に複数の信号データに対して行う。ＲＯＭ５６に記憶するための係数データを生成するために、同じクラスコードに対応する拡大画像データブロック信号の各対応画素は、入力画像信号の対応するブロック信号の全ての画素値と共に用いられる。
係数データを求めるための方法は、次のようにして導出される。
【００３６】
拡大画像データブロック信号の各対応画素は、入力画像信号の各ブロック信号の画素数をｎとするとき、各係数値ｗ１ｓ〜ｗｎｓを入力画像信号のブロック信号の対応する画素値に乗算して得られる多項式により表される値に等しいと推定できる。すなわち、
【００３７】
今、ブロック信号の個数をｍとするとき、ｍ＞ｎの場合にはｗ１〜ｗｎ は一意には定まらないので、誤差ベクトルｅの要素を
【００３８】
【数２】
ここで、式（５）のｗｉ による偏微分係数を、式（６）のように求める。
【００４０】
【数３】
上記式（６）を０にするように各ｗｉ を決めればよいから、式（７）、式（８）のように、
【００４２】
【数４】
【数５】
として行列を用いると式（９）のようになる。
【００４５】
この（９）式は、掃き出し法などの一般的な行列解法を用いて、ｗｉ について解けば、最適値としての予測係数を求めることができる。本実施例ではＲＯＭ５６のアドレスｃｌａｓｓ のデータ（ＲＯＭテーブル）としてこの予測係数を格納しておく。
【００４６】
次に、図６は、本発明の第５の実施例に用いられる補間画像データ発生回路を示すブロック図である。
この図６の装置において、入力端子８０に供給された入力画像信号は、ブロック化回路８２に送られる。このブロック化回路８２は、上記選択回路１０１からのズーム率に関連して決定された拡大画像に対応する入力画像信号の一部を選択し、この選択されたデータを複数のブロック信号に分割し、フィルタ８４の入力及び減算器８６に供給する。フィルタ８４は、画像信号からノイズを除去するのに適したものであり、上記ブロック信号からフィルタ処理されたブロック信号を生成して、減算器８６のもう１つの端子に供給する。減算器８６は、ブロック化回路８２で出力されたそれぞれのブロック信号と対応するフィルタ処理されたブロック信号とから差分ブロック信号を生成する。
【００４７】
減算器８６により供給される差分信号はクラスコード発生回路９０に送られ、このクラスコード発生回路９０は各差分ブロック信号に応じたクラスコードを発生する。各クラスコードは、フィルタ８４から供給されるフィルタ処理されたブロック信号と、図６の装置により生成される補間画像データのブロックとの差分を表す補間差分画像データを識別する。ＲＯＭ９２としては他の適当なメモリを使用することができる。このＲＯＭ９２は、上記クラスコード及び上記選択回路１０１からのズーム率に対応するそれぞれのアドレスに、複数の係数データセットを記憶する。各係数データセットはいくつかの乗算係数を有しており、これらの乗算係数は、コードが生成された差分ブロック信号に含まれる対応する値に乗算されて、対応する補間差分画像データブロックの値を生成するためのものである。
【００４８】
ＲＯＭ９２から各クラスコード及びズーム率に応じて読み出された係数データセットは、差分データ発生回路９４に送られるており、この差分データ発生回路９４には、上記減算器８６により生成された差分ブロック信号が供給されている。差分データ発生回路９４は、ＲＯＭ９２からの係数データセットの各係数と減算器８６からの差分ブロック信号の対応する値とを乗算して加算することにより、補間差分画像データのブロックを生成する。差分データ発生回路９４により生成された補間差分画像データは加算器９８に送られ、この加算器９８で上記フィルタ８４からの出力信号と加算されることにより、補間画像データのブロックが生成される。この加算器９８は、補間画像データの各ブロックを出力端子１２０に供給し、これらのブロックは拡大画像信号合成回路１０７に供給されて、拡大画像信号が生成される。
【００４９】
この図６に示す装置の学習は上記図１の装置の場合と同様であるが、相違点としては、差分ブロック信号からのデータを用いた係数データを生成する点が挙げられる。
次に、図７のブロック図を参照しながら、本発明の第６の実施例に用いられる補間画像データ発生回路について説明する。
【００５０】
この図７の装置において、入力端子１２４に供給された入力画像信号は、ブロック化回路１２６に送られる。このブロック化回路１２６は、上記ズーム率選択回路１０１からのズーム率信号も供給されている。このブロック化回路１２６は、ズーム率信号に応じて所望の拡大画像に対応する入力画像信号の部分を選択し、この部分を複数のブロック信号に分割する。このブロック化回路１２６は、このブロック信号を画像信号からノイズを除去するのに好適なノイズ除去フィルタ１２８に送っている。フィルタ１２８は、フィルタ処理されて得られたブロック信号を上記供給された各ブロック信号から生成し、フィルタ処理されたブロック信号をクラスコード発生回路１３２に供給する。
【００５１】
クラスコード発生回路１３２は、対応するフィルタ処理された各ブロック信号のクラスコードを発生する。各クラスコードは、コードが発生されたブロック信号に対応する補間画像データのブロックを識別する。クラスコード発生回路１３２は各コードをＲＯＭ１２４あるいは他の適当な記憶素子に供給する。ＲＯＭ１２４は、複数の係数データセットを、それぞれ対応するクラスコード及び上記選択回路１０１からのズーム率信号に応じた各アドレスに記憶する。各クラスコード及びズーム率信号に応じて、ＲＯＭ１２４から補間画像データ生成回路１３８に係数データセットが読み出される。補間画像データ生成回路１３８には、ノイズ除去フィルタ１２８からの対応するクラスコードの元となるフィルタ処理されたブロック信号も供給されている。補間画像データ生成回路１３８は、上記係数データセットの各係数と上記フィルタ処理されたブロック信号の対応する値とを乗算してそれぞれを加算することによって、補間画像データのブロックを生成する。この補間画像データ生成回路１３８は、出力端子１４０に補間画像データの各ブロックを供給し、これらのブロックは、上記図１の拡大画像信号合成回路１０７に供給されて、拡大画像信号が生成される。
【００５２】
なお、クラス分割のための画像データ圧縮方法としてＡＤＲＣを用いたが、このＡＤＲＣの代わりに、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＶＱ（ベクトル量子化）、ＤＰＣＭ（予測符号化）等のデータ圧縮方法を用いてもよい。
また、本発明は上述の実施例のみに限定されるものではなく、例えば、ＲＯＭの代わりに種々のメモリ装置を用いることができる。また、上記種々の実施例はＡＳＩＣ等のハードウェア回路回路として、あるいはマイクロプロセッサ、マイクロコンピュータ、ディジタル信号プロセッサ等のプログラマブルデバイスを用いて、あるいはハードウェア回路とプログラマブルデバイスとの組み合せの装置により実現できる。
【００５３】
さらに、本発明の特定の実施例については図面を参照しながら詳述したが、本発明はこれらの厳密な実施例に限定されるものではなく、本発明の趣旨のを逸脱しない範囲で種々の変形や変更が行えることは勿論である。
【００５４】
【発明の効果】
以上の説明からも明らかなように、本発明に係る電子ズーム装置は、入力される基本画像の画像データのブロック化を行うブロック化手段と、上記ブロック化手段からのブロック化された画像データを複数のクラスに分類し、このクラスを示すクラスコードを発生するクラス分類手段と、上記クラス分類手段からのクラスコードに応じて最適化された所定の画像データを発生する画像データ発生手段と、ズーム率に応じて、上記基本画像の画像データのズーム画像上での表示位置を移動させる表示位置変換手段と、上記クラス分類手段からの画像データと上記表示位置変換手段からの画像データを合成してズーム画像を出力する画素合成手段とを有して成っているため、解像度を劣化させることなく拡大画像あるいはズーム画像を生成することができる。
【００５５】
また、上記補間画像データ発生手段は、クラスコードに応じた係数を発生する係数記憶手段と、上記係数発生手段からの係数と上記入力される画像データとを演算して補間画素を求める補間画素演算手段とから成り、上記係数記憶手段には、基本画像とこの基本画像が拡大されたズーム画像とを比較して予め補間すべき画素を学習することにより得られる係数が記憶されていることにより、ズーム画像の周辺部の解像度を低下させることなく、高画質の画像を得ることができる。
【００５６】
また、本発明に係る電子ズーム方法は、入力される基本画像の画像データのブロック化を行い、ブロック化された画像データを複数のクラスに分類し、このクラスを示すクラスコードを発生し、この発生されたクラスコードに応じて最適化された所定の画像データを発生し、ズーム率に応じて、上記基本画像の画像データのズーム画像上での表示位置を移動させ、上記所定の画像データと上記表示位置変換された画像データを合成してズーム画像を出力しているため、解像度を劣化させることなく拡大画像あるいはズーム画像を生成することができる。
【００５７】
また、上記補間画像データ発生工程は、クラスコードに応じた係数を発生する係数記憶工程と、上記係数発生工程からの係数と上記入力される画像データとを演算して補間画素を求める補間画素演算工程とから成り、上記係数記憶工程には、基本画像とこの基本画像が拡大されたズーム画像とを比較して予め補間すべき画素を学習することにより得られる係数が記憶されていることにより、ズーム画像の周辺部の解像度を低下させることなく、高画質の画像を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る電子ズーム装置の第１の実施例の概略的な構成を示すブロック図である。
【図２】基本画像の画素位置と基本画像を２倍に拡大したズーム画像の画素位置との関係を示す図である。
【図３】本発明に係る電子ズーム装置の第２の実施例に用いられる補間画像データ発生回路の概略的な構成を示すブロック図である。
【図４】本発明に係る電子ズーム装置の第３の実施例に用いられる補間画像データ発生回路の概略的な構成を示すブロック図である。
【図５】本発明に係る電子ズーム装置の第４の実施例に用いられる補間画像データ発生回路の概略的な構成を示すブロック図である。
【図６】本発明に係る電子ズーム装置の第５の実施例に用いられる補間画像データ発生回路の概略的な構成を示すブロック図である。
【図７】本発明に係る電子ズーム装置の第６の実施例に用いられる補間画像データ発生回路の概略的な構成を示すブロック図である。
【符号の説明】
１３、３２、５２、８２、１０２、１２６ ブロック化回路
１６、３８、５４、９０、１０３、１３２ クラスコード発生回路
１７、４０、５６、９２、１０４、１３４ ＲＯＭ
１０５ 画素位置変換回路
１０６ 補間画素演算回路
１０７ 画素合成回路
１１０ 補間画像データ発生回路
Claims (7)
- 入力画像信号からズームされた画像信号を生成する電子ズーム装置において、
入力される基本画像の画像データのブロック化を行うブロック化手段と、
上記ブロック化手段からのブロック化された画像データを複数のクラスに分類し、このクラスを示すクラスコードを発生するクラス分類手段と、
上記クラス分類手段からのクラスコードに応じて所定の画像データを発生する画像データ発生手段と、
ズーム率に応じて、上記基本画像の画像データのズーム画像上での表示位置を移動させる表示位置変換手段と、
上記画像データ発生手段からの画像データと上記表示位置変換手段からの画像データを合成して拡大されたズーム画像信号を出力する画素合成手段と
を有して成ることを特徴とする電子ズーム装置。 - 上記画像データ発生手段は、上記拡大されたズーム画像を得るための補間画像データを発生することを特徴とする請求項１記載の電子ズーム装置。
- 上記画像データ発生手段は、各クラスコードに対応する複数の所定画像データが記憶され、上記クラスコード発生手段により発生されたクラスコードに応じて複数の所定の画像データから１つを選択して読み出す記憶手段を有することを特徴とする請求項１又は２記載の電子ズーム装置。
- 複数の所定のズーム率から拡大画像信号のためのズーム率を選択するズーム率選択手段を有し、
上記画像データ発生手段は上記選択されたズーム率に基づき所定の画像データを発生し、上記表示位置変換手段は上記選択されたズーム率に基づく変換表示位置を割り当てることを特徴とする請求項１又は２記載の電子ズーム装置。 - 光学的画像から上記入力画像を生成する画像信号生成手段と、
上記拡大されたズーム画像信号に基づく拡大画像を表示する表示手段とを有することを特徴とする請求項１又は２記載の電子ズーム装置。 - 入力される基本画像の画像データのブロック化を行うブロック化工程と、
上記ブロック化工程からのブロック化された画像データを複数のクラスに分類し、このクラスを示すクラスコードを発生するクラス分類工程と、
上記クラス分類工程からのクラスコードに応じて最適化された所定の画像データを発生する画像データ発生工程と、
ズーム率に応じて、上記基本画像の画像データのズーム画像上での表示位置を移動させる表示位置変換工程と、
上記画像データ発生工程からの画像データと上記表示位置変換工程からの画像データを合成してズーム画像を出力する画素合成工程と
を有して成ることを特徴とする電子ズーム方法。 - 上記画像データ発生工程では、上記各クラスコードに対応する複数の画像データが記憶された記憶手段から、上記クラスコード発生工程で発生されたクラスコードに応じた画像データを読み出すことを特徴とする請求項６記載の電子ズーム方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20582094A JP3632993B2 (ja) | 1993-08-30 | 1994-08-30 | 電子ズーム装置及び電子ズーム方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5-213961 | 1993-08-30 | ||
| JP21396193 | 1993-08-30 | ||
| JP20582094A JP3632993B2 (ja) | 1993-08-30 | 1994-08-30 | 電子ズーム装置及び電子ズーム方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004136915A Division JP3882828B2 (ja) | 1993-08-30 | 2004-04-30 | 電子ズーム装置及び電子ズーム方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07123308A JPH07123308A (ja) | 1995-05-12 |
| JP3632993B2 true JP3632993B2 (ja) | 2005-03-30 |
Family
ID=26515273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20582094A Expired - Lifetime JP3632993B2 (ja) | 1993-08-30 | 1994-08-30 | 電子ズーム装置及び電子ズーム方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3632993B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3791029B2 (ja) * | 1995-11-22 | 2006-06-28 | ソニー株式会社 | 画像信号処理装置および方法 |
| JP3758228B2 (ja) * | 1996-02-29 | 2006-03-22 | ソニー株式会社 | クラス分類適応処理における学習方法および学習装置 |
| JP4281453B2 (ja) * | 2003-07-31 | 2009-06-17 | ソニー株式会社 | 信号処理装置および信号処理方法 |
| JP7224208B2 (ja) * | 2019-03-05 | 2023-02-17 | キヤノンメディカルシステムズ株式会社 | 医用処理装置、および医用診断システム |
-
1994
- 1994-08-30 JP JP20582094A patent/JP3632993B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07123308A (ja) | 1995-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5406334A (en) | Apparatus and method for producing a zoomed image signal | |
| US6463178B1 (en) | Image processing device and method, and transmission medium, transmission method and image format | |
| JP3781203B2 (ja) | 画像信号補間装置及び画像信号補間方法 | |
| JP3557626B2 (ja) | 画像復元装置及び方法 | |
| KR19990036105A (ko) | 화상 정보 변환 장치와 방법 및 적화 연산 회로와 방법 | |
| US20120093227A1 (en) | Data compression method and data compression device | |
| JP3486975B2 (ja) | ノイズ低減装置及び方法 | |
| JP3632993B2 (ja) | 電子ズーム装置及び電子ズーム方法 | |
| JP3511645B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JP3882828B2 (ja) | 電子ズーム装置及び電子ズーム方法 | |
| JP3627291B2 (ja) | ブロック歪み除去装置および方法 | |
| JP3890638B2 (ja) | 画像情報変換装置および方法 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP3243861B2 (ja) | 画像情報変換装置 | |
| US6091855A (en) | method and apparatus for encoding signal method and apparatus for decoding signal and recording medium | |
| JP3326879B2 (ja) | 画像信号変換装置 | |
| JP3709106B2 (ja) | 画像圧縮および伸張装置 | |
| JPH0730859A (ja) | フレーム補間装置 | |
| JPH08307835A (ja) | クラス分類適応処理装置および方法 | |
| JP4062326B2 (ja) | 係数生成装置および方法 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP3278880B2 (ja) | 画像信号生成装置 | |
| JP3587188B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3767019B2 (ja) | 積和演算回路および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040302 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040430 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041220 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080107 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100107 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100107 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110107 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110107 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120107 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130107 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |