JP3625145B2

JP3625145B2 - 画像拡大装置

Info

Publication number: JP3625145B2
Application number: JP01706999A
Authority: JP
Inventors: 寿典向井; 健吾高濱
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1999-01-26
Filing date: 1999-01-26
Publication date: 2005-03-02
Anticipated expiration: 2019-01-26
Also published as: JP2000215305A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像を拡大する際に、高精度な画像成分を補償するようにした画像拡大装置に関する。
【０００２】
【従来の技術】
従来の画像拡大方法としては、異なる解像度間の画像変換に線形補間や３次補間などを用いることが良く知られている。
近年のＬＳＩの進展により演算処理能力が向上し、折り返しの少ない多タップのディジタルフィルタ構成による画像の拡大縮小方法も提案され、実用化されている。前記の線形補間も３次補間による手法も、多タップのディジタルフィルタのタップ数が２あるいは３に特化したものとして考えることができる。これらのディジタルフィルタ構成による画像の拡大縮小法は、タップ数が多いほど解像度変換時の折り返し歪みを少なくすることができる。
【０００３】
また、特開平７−１５２９０７に記載されているように、ウェーブレット変換を用いた方法も提案されている。画像を拡大する際に、前記の多タップフィルタを用いる方法では、サンプリング定理によって、最初に与えられた画像に含まれる周波数以下の成分のみしか拡大されないので、拡大後の画像がぼけてしまうという欠点があった。ウェーブレット変換を用いた手法は、このボケを回避するために、最初に与えられた画像に含まれる周波数以下の成分から、高周波成分を予測して画像情報を増やし、見た目のボケを防いでいる。
【０００４】
【発明が解決しようとする課題】
しかしながら、このウェーブレット変換を用いた手法では、ｎ＋１、ｎ＋２、ｎ＋３次の３回のウェーブレット変換が必要になり、しかもこれらのウェーブレット変換成分からニューラルネットに入力してｎ次のウェーブレット成分を予測する方法は、膨大な演算量を必要とするため、リアルタイムな動画に適用するには非現実的である。例えば、６４０×４８０画素の画像の場合、スケール解像度ｎのウェーブレット成分を算出するために、６４０×４８０＝３０７２０もの入力をもつニューラルネットが、画像の水平方向と垂直方向の高周波成分用の３セット必要になり、このような大規模のニューラルネットをリアルタイムに演算する方法は現実にはない。また、ウェーブレットを三段階に変換する必要があるため、演算量やそれに必要な遅延線あるいはメモリサイズがすこぶる大きくなってしまうという問題があった。
【０００５】
また、前記のウェーブレット変換を用いた方法によると、スケール解像度ｎのウェーブレット成分を算出するための学習法としてニューラルネットを用いたものを提案しているが、逆誤差伝播法を改良した方法でも、正確な学習を行うためには膨大な計算と学習データを必要とし、学習させたニューラルネットのパラメータを記憶させるメモリも膨大なサイズとなるため、実現するための回路規模が極めて大きなものになってしまうという問題があった。
【０００６】
【課題を解決するための手段】
今、スケール解像度次数ｎ−１の元画像をウェーブレット変換してスケール解像度次数ｎの画像およびウェーブレット変換成分を導出し、さらに前記スケール解像度次数ｎの画像をウェーブレット変換してスケール解像度次数ｎ＋１の画像とウェーブレット変換成分を得たとする。この場合、スケール解像度次数ｎ−１の元画像を図１１に示すように縦線の画像とすると、ウェーブレット変換画像は図１２に示すようになる。図１２の変換画像では、左上の小さいブロックは、スケール画像度次数ｎ＋１の画像、その右、右下および真下の小さいブロックはスケール解像度ｎ＋１のウェーブレット変換成分、変換画像の右上、右下および左下の大きなブロックはスケール解像度ｎのウェーブレット変換成分である。
【０００７】
この図１２において、縦線のパターンのウェーブレット変換画像をみると、縦線を反映したウェーブレット成分のブロックの縦線の位置に対応するウェーブレット変換成分だけが値を持っていることが分かる。図１３は横線画像の場合であり、同様にウェーブレット変換した変換画像を図１４に、また、図１５に示す斜め線画像をウェーブレット変換したものを図１６に示す。
図１１〜図１６で分かるように、図１１、図１３および図１５に示すスケール解像度次数ｎ−１の画像の線成分は、スケール解像度ｎおよびｎ−１のウェーブレット変換成分の対応する位置の近傍の値だけが相関を持つことになる。
【０００８】
本発明は、この特性を利用して前記従来技術の問題を解決するものであり、請求項１の画像拡大装置は、スケール解像度次数ｎの入力信号を直交ウェーブレット変換し、スケール解像度次数ｎ＋１のウェーブレット成分およびスケール解像度次数ｎ＋１の縮小画像成分を算出するウェーブレット変換手段と、前記スケール解像度次数ｎ＋１の縮小画像成分および前記縮小画像成分の画像位置に対応するスケール解像度次数ｎ＋１のウェーブレット成分の近傍成分から、スケール解像度次数ｎにおけるウェーブレット成分を予測する高解像度予測手段と、前記入力画像信号と前記予測したスケール解像度次数ｎにおけるウェーブレット成分を所定時間だけ遅延させて遅延ウェーブレット成分を出力する遅延調整手段と、前記遅延ウェーブレット成分をウェーブレット逆変換し、スケール解像度次数ｎ−１における拡大画像を生成するウェーブレット逆変換手段と、を含むことを特徴とする。
【０００９】
また、請求項２の画像拡大装置は、請求項１に記載する画像拡大装置において、スケール画像度次数ｎにおけるウェーブレット成分を予測する高解像度予測手段は、前記スケール解像度次数ｎ＋１の縮小画像成分および前記縮小画像成分の画像位置に対応するスケール解像度次数ｎ＋１のウェーブレット成分の近傍成分の線形加算手段で構成することを特徴とする。
【００１０】
また、請求項３の画像拡大装置は、請求項１に記載する画像拡大装置において、スケール解像度次数ｎにおけるウェーブレット成分を予測する高解像度予測手段は、前記スケール解像度次数ｎ＋１の縮小画像成分および前記縮小画像成分の画像位置に対応するスケール解像度次数ｎ＋１のウェーブレット成分の近傍成分のｐ乗成分（ｐ；２以上の整数）の線形加算手段で構成することを特徴とする。
【００１１】
従って、スケール解像度次数ｎの入力信号は直交ウェーブレット変換され、ウェーブレット変換手段よりスケール解像度次数ｎ＋１のウェーブレット成分とスケール解像度次数ｎ＋１の縮小画像成分を算出する。そして、ウェーブレット変換手段により前記スケール解像度次数ｎ＋１の縮小画像成分と該縮小画像成分の画像位置に対応するスケール解像度次数ｎ＋１のウェーブレット成分の近傍成分から、スケール解像度次数ｎにおけるウェーブレット成分を予測する。このようにして予測したスケール解像度次数ｎにおけるウェーブレット成分と前記入力画像信号を遅延調整手段で所定時間遅延させて遅延ウェーブレット成分を導出し、この遅延ウェーブレット成分を変換手段によりウェーブレット逆変換してスケール解像度次数ｎ−１の拡大高精細フレーム画像データを生成し、解像度の高い拡大変換画像を得ることができる。
【００１２】
この場合、前記の高解像度予測手段に線形加算を用いることにより、前記のスケール解像度次数ｎ＋１の縮小画像成分と、該縮小画像成分の画像位置に対応するスケール解像度次数ｎ＋１のウェーブレット成分の近傍成分とを線形加算あるいは前記近傍成分のｐ乗成分の線形加算する簡単な演算でスケール解像度次数ｎにおけるウェーブレット成分を予測することができる。
【００１３】
従って、この画像拡大装置によると、入力画像を１回だけウェーブレット変換するだけで済み、またスケール解像度次数ｎのウェーブレット変換成分を予測するのに対応する近傍情報しか利用しないので、計算量を極端に減らすことができる。
【００１４】
また、請求項４の画像拡大装置は、請求項１に記載する画像拡大装置において、スケール解像度次数ｎ＋１のウェーブレット成分の近傍成分は、スケール解像度次数ｎ＋１の縮小画像成分の画像位置に対応するスケール解像度次数ｎ＋１のウェーブレット成分の９近傍成分の内の５成分とすることを特徴とする。
【００１５】
この構成によると、近傍情報である３×３の情報の内、縦線成分や横線成分を予測する場合は、対応するスケール解像度次数ｎ＋１のウェーブレット変換成分と上近傍、下近傍、右近傍、左近傍の５つの成分から行い、斜め線成分を予測する場合は、対応するスケール解像度次数ｎ＋１のウェーブレット変換成分と上右近傍、上左近傍、下右近傍、下左近傍の５つの成分から予測しているので、従来法に比較して極端に少ない演算量で、予測回路を構成することができる。
【００１６】
また、スケール解像度次数ｎのウェーブレット変換成分を予測するために線形加算手段やせいぜい２〜３乗の線形加算手段しか用いないので、その重み付け係数を記憶するメモリや回路規模も小さくて済み、計算量が少ないので、１秒間に６０枚といった動画像にたいしてもリアルタイムに拡大演算できる回路を小規模で構成することが可能になる。
【００１７】
また、請求項５の画像拡大装置は、請求項２あるいは３に記載する画像拡大装置において、線形加算手段の重み付け係数は、前記スケール解像度次数ｎ−１の元画像をウェーブレット変換したスケール解像度次数ｎのウェーブレット成分を教師データとし、ウェーブレット成分を予測する高解像度予測手段から出力されるスケール解像度次数ｎのウェーブレット成分との２乗誤差が最小になるように決定されることを特徴とする。
【００１８】
従って、線形加算手段の重み付け係数は、線形加算と最小２乗法をベースにして決定されるので、重み付け係数の決定が簡単なマトリクス演算で行わせることができ、学習が容易で且つ高速のインプリメントを容易に行わせることができる。
【００１９】
【発明の実施の形態】
以下、本発明の画像拡大方法およびその装置に関する発明の実施の形態を図面に基づいて説明する。図１は本発明のウェーブレット画像変換装置の実施形態の全体構造を示すブロック図である。１は入力フレーム画像データＶｎの入力端子、２は入力フレーム画像データＶｎを直交ウェーブレット変換してウェーブレット成分を出力するウェーブレット変換部、３は前記ウェーブレット変換部２から出力されるスケール解像度次数ｎ＋１（以下ｎ＋１次と略称する。ｎ次についても同じ）の縮小画像成分ＬＬの信号、４は前記ウェーブレット変換部２から出力されるｎ＋１次のウェーブレット成分のＬＨ信号、５は前記ウェーブレット変換部２から出力されるｎ＋１のウェーブレット成分ＨＬの信号、６は前記ウェーブレット変換部２から出力されるｎ＋１のウェーブレット成分ＨＨの信号である。ここで、Ｗの添字のＬは低域成分を意味し、Ｈは高域成分を意味する（以下同じ）。
【００２０】
また、７は前記ｎ＋１次の縮小画像成分ＬＬとウェーブレット成分ＬＨ、ＨＬ、ＨＨの信号を入力しｎ次のウェーブレット成分を予測する高解像度予測部、８、９、１０、１１は高解像度予測部７から出力されるｎ次のウェーブレット成分ＬＨのそれぞれ（２ｉ，２ｊ）、（２ｉ＋１，２ｊ）、（２ｉ，２ｊ＋１）、（２ｉ＋１，２ｊ＋１）座標成分の信号、１２、１３、１４、１５は高解像度予測部７から出力されるｎ次のウェーブレット成分ＨＬのそれぞれ（２ｉ，２ｊ）、（２ｉ＋１，２ｊ）、（２ｉ，２ｊ＋１）、（２ｉ＋１，２ｊ＋１）座標成分の信号、１６、１７、１８、１９は高解像度予測部７から出力されるｎ次のウェーブレット成分ＨＨのそれぞれ（２ｉ，２ｊ）、（２ｉ＋１，２ｊ）、（２ｉ，２ｊ＋１）、（２ｉ＋１，２ｊ＋１）座標成分の信号である。
【００２１】
ここで、ｎ＋１次の画像成分のサイズをａ×ｂとして（ｉ，ｊ）の位置に対応するｎ次のウェーブレット成分は（２ｉ，２ｊ）、（２ｉ＋１，２ｊ）、（２ｉ，２ｊ＋１）、（２ｉ＋１，２ｊ＋１）で表現している。
【００２２】
２０は高解像度予測部７から出力されたｎ次のウェーブレット成分８、９、１０、１１、１２、１３、１４、１５、１６、１７、１８、１９と入力端子１から入力したフレーム画像データＶｎに適当な遅延を与え、同時に周波数を倍変換してｎ次のウェーブレット成分ＬＨ、ＨＬ、ＨＨ、ＬＬの信号２１、２２、２３、２４を出力する遅延調整部、２５は該遅延調整部２０から出力されたｎ次の遅延ウェーブレット成分の信号２１、２２、２３、２４をウェーブレット逆変換するウェーブレット逆変換部、２６はウェーブレット逆変換部２５から出力される拡大高精細フレーム画像データＶｎ−１である。
【００２３】
従って、入力フレーム画像データ１（Ｖｎ）はウェーブレット変換部２へ入力され、ｎ＋１次の縮小画像成分ＬＬとウェーブレット成分ＬＨ、ＨＬ、ＨＨの各信号を出力する。ｎ＋１次の縮小画像成分及びウェーブレット成分の信号３、４、５、６は高解像度予測部７へ入力され、ｎ次のウェーブレット成分の各信号８、９、１０、１１、１２、１３、１４、１５、１６、１７、１８、１９を出力する。このｎ次のウェーブレット成分の各信号８、９、１０、１１、１２、１３、１４、１５、１６、１７、１８、１９と入力フレーム画像データＶｎは遅延調整部２０に入力され、遅延調整と周波数変換が行われ、ｎ次の遅延ウェーブレット成分の信号２１、２２、２３、２４を出力する。そして、このｎ次の遅延ウェーブレット成分の信号２１、２２、２３、２４はウェーブレット逆変換部２５へ入力され、ここでウェーブレット逆変換されて、拡大高精細フレーム画像データ２６（Ｖｎ−１）を出力する。
【００２４】
図２は、図１に示す本発明の画像拡大装置における高解像度予測部７の詳細構成例を示す回路ブロック図である。図２のおいて、１０１は前記ウェーブレット変換部２から出力されるｎ＋１次のウェーブレット成分ＬＨの信号４の水平・垂直方向における５近傍データを抽出する近傍データ抽出回路、１０６は前記ウェーブレット変換部２から出力されるｎ＋１次の縮小画像成分ＬＬの信号３を遅延する遅延回路、１０２、１０３、１０４、１０５はそれぞれ前記近傍データ抽出回路１０１および遅延回路１０６からの各出力信号を線形加算する線形加算回路である。
【００２５】
また、１１１は前記ウェーブレット変換部２から出力されるｎ＋１次のウェーブレット成分ＨＬの信号５の水平・垂直方向における５近傍データを抽出する近傍データ抽出回路、１１６は前記信号３を遅延する遅延回路、１１２、１１３、１１４、１１５はそれぞれ前記近傍データ抽出回路１１１および遅延回路１１６からの各出力信号を線形加算する線形加算回路である。
【００２６】
更に、１２１は前記ウェーブレット変換部２から出力されるｎ＋１次のウェーブレット成分ＨＨの信号６の斜め５近傍データを抽出する近傍データ抽出回路、１２６は前記信号３を遅延する遅延回路、１２２、１２３、１２４、１２５はそれぞれ前記近傍データ抽出回路１２１および遅延回路１２６からの各出力信号を線形加算する線形加算回路である。
【００２７】
前記ウェーブレット変換部２から出力されるｎ＋１次のウェーブレット変換成分ＷＬＨｎ＋１の信号４は近傍データ抽出回路１０１によって図１７に示すように、注目データと注目データの上、下、左、右の５個の近傍データが抽出される。抽出された５個の近傍データはそれぞれ線形加算回路１０２、１０３、１０４、１０５に入力される。一方、ウェーブレット変換部２から出力されたｎ＋１次の縮小画像成分ＷＬＬｎ＋１の信号３は遅延回路１０６でタイミングを合わせるために遅延されてそれぞれ線形加算回路１０２、１０３、１０４、１０５に入力される。線形加算回路１０２では入力されたＷＬＨｎ＋１の５近傍データとＷＬＬｎ＋１の遅延によりタイミングが合わされた信号が線形加算され、ｎ次のウェーブレット成分の予測データＷＬＨｎ（２ｉ，２ｊ）である信号８を出力する。同時に線形加算回路１０３では入力されたＷＬＨｎ＋１の５近傍データとＷＬＬｎ＋１の遅延によりタイミングが合わされた信号が線形加算され、ｎ次のウェーブレット成分の予測データＷＬＨｎ（２ｉ＋１，２ｊ）である信号９を出力する。線形加算回路１０４、１０５についても上記と同様に線形加算が行われ、それぞれ、信号１０としてｎ次のウェーブレット成分の予測データＷＬＨｎ（２ｉ，２ｊ＋１）が、また信号１１として、ｎ次のウェーブレット成分の予測データＷＬＨｎ（２ｉ＋１，２ｊ＋１）が出力される。
【００２８】
前記ウェーブレット変換部２から出力されるｎ＋１次のウェーブレット変換成分ＷＨＬｎ＋１の信号５は近傍データ抽出回路１１１によって図１７に示すように、注目データと注目データの上、下、左、右の５個の近傍データが抽出される。抽出された５個の近傍データはそれぞれ線形加算回路１１２、１１３、１１４、１１５に入力される。一方、ウェーブレット変換部２から出力されたｎ＋１次の縮小画像成分ＷＬＬｎ＋１の信号３は遅延回路１１６でタイミングを合わせるために遅延させて、それぞれ線形加算回路１１２、１１３、１１４、１１５に入力される。線形加算回路１１２では入力されたＷＨＬｎ＋１の５近傍データとＷＬＬｎ＋１の遅延によりタイミングが合わされた信号が線形加算され、ｎ次のウェーブレット成分の予測データＷＨＬｎ（２ｉ，２ｊ）である信号１２を出力する。同時に線形加算回路１１３では入力されたＷＨＬｎ＋１の５近傍データとＷＬＬｎ＋１の遅延によりタイミングが合わされた信号が線形加算され、ｎ次のウェーブレット成分の予測データＷＨＬｎ（２ｉ＋１，２ｊ）である信号１３を出力する。線形加算回路１１４、１１５についても上記と同様に線形加算が行われ、それぞれ、信号１４としてｎ次のウェーブレット成分の予測データＷＨＬｎ（２ｉ，２ｊ＋１）が、また、信号１５としてｎ次のウェーブレット成分の予測データＷＨＬｎ（２ｉ＋１，２ｊ＋１）が出力される。
【００２９】
前記ウェーブレット変換部２から出力されるｎ＋１次のウェーブレット変換成分ＷＨＨｎ＋１の信号６は、近傍データ抽出回路１２１によって図１７に示すように、注目データと注目データの左上、右上、左下、右下の５個の近傍データが抽出される。抽出された５個の近傍データはそれぞれ線形加算回路１２２、１２３、１２４、１２５に入力される。一方、ウェーブレット変換部２から出力されたｎ＋１次の縮小画像成分ＷＬＬｎ＋１の信号３は遅延回路１２６でタイミングを合わせるために遅延させてそれぞれ線形加算回路１２２、１２３、１２４、１２５に入力される。線形加算回路１２２では入力されたＷＨＨｎ＋１の５近傍データとＷＬＬｎ＋１の遅延によりタイミングが合わされた信号が線形加算され、ｎ次のウェーブレット成分の予測データＷＨＨｎ（２ｉ，２ｊ）である信号１６を出力する。同時に線形加算回路１２３では入力されたＷＨＨｎ＋１の５近傍データとＷＬＬｎ＋１の遅延によりタイミングが合わされた信号が線形加算され、ｎ次のウェーブレット成分の予測データＷＨＨｎ（２ｉ＋１，２ｊ）である信号１７を出力する。線形加算回路１２４、１２５についても上記と同様に線形加算が行われ、それぞれ信号１８としてｎ次のウェーブレット成分の予測データＷＨＨｎ（２ｉ，２ｊ＋１）が、また、信号１９としてｎ次のウェーブレット成分の予測データＷＨＨｎ（２ｉ＋１，２ｊ＋１）が出力される。
【００３０】
このように、スケール解像度次数ｎ＋１の縮小画像データ成分および前記縮小画像成分の画像位置に対応するスケール解像度次数ｎ＋１のウェーブレット成分の近傍成分から線形加算手段によってスケール解像度次数ｎの成分を予測する。
【００３１】
図２における近傍データ抽出回路１０１、線形加算回路１０２、１０３、１０４、１０５の詳細構成例を図３を用いて説明する。近傍データ抽出回路１０１はフリップフロップ１３１、１３２、１３３、１３４と１Ｈ遅延回路１３５、１３６から構成される。これらの回路の動作については、画像処理の基本回路であり、自明であるので省略する。線形加算回路１０２はそれぞれ重み係数α１１２ｉ，２ｊ、α２１２ｉ，２ｊ、α３１２ｉ，２ｊ、α４１２ｉ，２ｊ、α５１２ｉ，２ｊ、α６１２ｉ，２ｊを乗算して加算器１３７で加算し、ｎ次のウェーブレット成分の予測データＷＨＬｎ（２ｉ，２ｊ）である信号８を出力する。線形加算回路１０３、１０４、１０５の構成については線形加算回路１０２と同じで重み係数が異なる。線形加算回路１０３の重み係数はα１１２ｉ＋１，２ｊ、α２１２ｉ＋１，２ｊ、α３１２ｉ＋１，２ｊ、α４１２ｉ＋１，２ｊ、α５１２ｉ＋１，２ｊ、α６１２ｉ＋１，２ｊ、線形加算回路１０４の重み係数はα１１２ｉ，２ｊ＋１、α２１２ｉ，２ｊ＋１、α３１２ｉ，２ｊ＋１、α４１２ｉ，２ｊ＋１、α５１２ｉ，２ｊ＋１、α６１２ｉ，２ｊ＋１である。
【００３２】
また、図２における近傍データ抽出回路１１１と線形加算回路１１２、１１３、１１４、１１５と選択回路１１６より成るｎ次のウェーブレット成分ＷＨＬの予測回路１１０および近傍データ抽出回路１２１と線形加算回路１２２、１２３、１２４、１２５と遅延回路１２６より成るｎ次のウェーブレット成分ＷＨＨの予測回路１２０の構成は、前記図３に示すｎ次のウェーブレット成分ＷＬＨの予測回路１００の構成と同様であり、前記の各線形加算回路１１２、１１３、１１４、１１５、１２２、１２３、１２４、１２５の重み係数が異なるのみである。
【００３３】
図４は前記ｎ次のウェーブレット成分ＷＨＨの予測回路１２０の構成を示している。図４における近傍データ抽出回路１２１の構成は図３に示す近傍データ抽出回路１０１の構成と全く同一であり、フリップフロップＤと１Ｈ遅延線Ｈを用いて、斜め方向の近傍データを抽出するように構成している。また、線形加算回路１２２〜１２５の構成も図３に示す線形加算回路１０２〜１０５の構成と同様で、重み係数が異なるのみである。すなわち、図３に示す線形加算回路１０２〜１０５の各重み係数α１１２ｉ，２ｊ、α２１２ｉ，２ｊ、α３１２ｉ，２ｊ、α４１２ｉ，２ｊ、α５１２ｉ，２ｊ、α６１２ｉ，２ｊ、α１１２ｉ＋１，２ｊ…α６１２ｉ＋１，２ｊ、α１１２ｉ，２ｊ＋１…α６１２ｉ，２ｊ＋１、α１１２ｉ＋１，２ｊ＋１…α６１２ｉ＋１，２ｊ＋１にそれぞれ対応して図４に示す線形加算回路１２２〜１２５の各重み係数はα１３２ｉ，２ｊ、α２３２ｉ，２ｊ、α３３２ｉ，２ｊ、α４３２ｉ，２ｊ、α５３２ｉ，２ｊ、α６３２ｉ，２ｊ、α１３２ｉ＋１，２ｊ…α６３２ｉ＋１，２ｊ、α１３２ｉ，２ｊ＋１…α６３２ｉ，２ｊ＋１、α１３２ｉ＋１，２ｊ＋１…α６３２ｉ＋１，２ｊ＋１に設定されている。
【００３４】
また、前記ｎ次のウェーブレット成分ＷＨＬの予測回路１１０の構成は図示していないが、線形加算回路１１２〜１１５の重み係数が異なるのみであり、図３に示す線形加算回路１０２〜１０５の前記の各重み係数に対応してそれぞれα１２２ｉ，２ｊ、α２２２ｉ，２ｊ、α３２２ｉ，２ｊ、α４２２ｉ，２ｊ、α５２２ｉ，２ｊ、α６２２ｉ，２ｊ、α１２２ｉ＋１，２ｊ…α６２２ｉ＋１，２ｊ、α１２２ｉ，２ｊ＋１…α６２２ｉ，２ｊ＋１、α１２２ｉ＋１，２ｊ＋１…α６２２ｉ＋１，２ｊ＋１に設定されている。
即ち、図２に示す線形加算回路１０２〜１０５、１１２〜１１５、１２２〜１２５では合計７２個の重み係数αを用いている。
【００３５】
次に、本実施形態の全体の動作を図５に示す概念図を用いて説明する。入力端子１より入力した入力フレーム画像データＶｎはウェーブレット変換部２でウェーブレット変換され、ｎ＋１次の縮小画像成分Ｗｎ＋１ＬＬとｎ＋１次のウェーブレット成分Ｗｎ＋１ＬＨ、Ｗｎ＋１ＨＬ、Ｗｎ＋１ＨＨを生成する。生成されたｎ＋１次の縮小画像とウェーブレット成分より高解像度予測部７でｎ次ウェーブレット成分ＷｎＬＨ、ＷｎＨＬ、ＷｎＨＨが予測され、このｎ次ウェーブレット成分と入力フレーム画像データＶｎは遅延調整部２０で適宜遅延させると共に周波数を倍変換して合成され、ウェーブレット逆変換部２５に導かれて、ここで拡大高精細フレーム画像Ｖｎ−１を生成する。
【００３６】
図６はウェーブレット変換部２の詳細な構成を示すブロック図である。図中２００〜２０２はフリップフロップ、２０３〜２１４は乗算器、Ｃ０、Ｃ１、Ｃ２、Ｃ３はＤａｕｂｅｃｈｉｅｓの基底関数｛Ｃ０、Ｃ１、Ｃ２、Ｃ３｝＝｛０．４８２９６、０．８３６５１、０．２２１４３、−０．１２９４０｝、２１５〜２２０はインバータアレイ、２２１、２２２は水平方向ダウンサンプラー、２２３〜２２６は垂直方向ダウンサンプラー、２２７〜２３２は加算器、２３３〜２３８は１Ｈ遅延線である。
【００３７】
この構成は特段新規なものではないので細部の動作説明は省略するが、入力端子１に入力した入力フレーム画像データＶｎはｎ＋１次の縮小画像成分とウェーブレット成分ＷＬＬ、ＷＬＨ、ＷＨＬ、ＷＨＨに変換された信号３、４、５、６として出力される。
【００３８】
図２において、ウェーブレット変換部２で生成されたｎ＋１次の縮小画像成分とウェーブレット成分の信号３、４、５、６は高解像度予測部７に入力され、高解像度予測部７はｎ次ウェーブレット成分ＷｎＬＨ、ＷｎＨＬ、ＷｎＨＨのそれぞれ（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ＋１）座標成分を予測した信号８〜１９に出力する。高解像度予測部７で予測されたｎ次ウェーブレット成分ＷｎＬＨ、ＷｎＨＬ、ＷｎＨＨは遅延調整部２０に入力されるが、同時に入力フレーム画像データＶｎも遅延調整部２０に入力され、適当な遅延が与えられ、また時系列に変換し、入力と同じクロックに同期して、ｎ次の遅延したウェーブレット成分ＷｎＬＨ、ＷｎＨＬ、ＷｎＨＨ、ＷｎＬＬの信号２１、２２、２３、２４を出力する。
【００３９】
図７は遅延調整部２０の構成を示すブロック図である。図７において、２７、２８、２９、は時系列変換器、３０は遅延器である。この各時系列変換器２７、２８、２９の詳細な構成は図８のようになっており、フリップフロップ１４０、１４３、セレクタ１４１、１４２、１４４、１Ｈ遅延線１４５から構成される。前記高解像度予測部７は、ウェーブレット変換部２のダウンサンプラによって入力フレーム画像データＶｎのクロックＣＫの半分のクロックレートのクロックＨＣＨで動作しており、ｎ次の予測データであるウェーブレット成分ＷｎＬＨ、ＷｎＨＬ、ＷｎＨＨのそれぞれ（ｉ，ｊ），（ｉ＋１，ｊ），（ｉ，ｊ＋１），（ｉ＋１，ｊ＋１）座標成分もクロックＨＣＫのクロックレートで出力されている。
【００４０】
図９は図８に示す時系列変換器のタイミングチャートである。フリップフロップ１４０は入力ラスター画像データＶｎのクロックＣＫで動作しており、入力されるウェーブレット成分Ｗｎ（ｉ＋１，ｊ）、Ｗｎ（ｉ＋１，ｊ＋１）をクロックＣＫ分遅延させる。セレクタ１４１の制御端子には前記クロックＨＣＫが供給されており、”Ｈ”レベルの時ａ端子が、”Ｌ”レベルの時ｂ端子が選択される。その結果、セレクタ１４１の出力端子にはＷｎ（ｉ，ｊ），Ｗｎ（ｉ＋１，ｊ）が交互に時系列に出力される。一方フリップフロップ１４３とセレクタ１４４も時系列変換回路を形成しており、同様にしてセレクタ１４４の出力端子にはＷｎ（ｉ，ｊ＋１）、Ｗｎ（ｉ＋１，ｊ＋１）が時系列信号となって交互に出力される。セレクタ１４４の出力は１Ｈ遅延回路１４５で１Ｈ分遅延され、セレクタ１４２に供給される。セレクタ１４２では、１Ｈの周期でセレクタ１４１の出力か１Ｈ遅延回路１４５の出力かが選択され、セレクタ１４２の出力端子に出力される。
【００４１】
すなわち、４個のｎ次のウェーブレット成分Ｗｎ（ｉ，ｊ）、Ｗｎ（ｉ＋１，ｊ）、Ｗｎ（ｉ，ｊ＋１）、Ｗｎ（ｉ＋１，ｊ＋１）は時系列に変換されて時系列変換器２７、２８、２９の出力端子に出力される。このように、図７に示す時系列変換器２７、２８、２９は８〜１９に入力されたｎ次のウェーブレット成分ＷｎＬＨ、ＷｎＨＬ、ＷｎＨＨ成分の信号８〜１９をそれぞれ時系列信号に変換してクロックレートＣＫでｎ次の遅延ウェーブレット成分の信号２１、２２、２３を出力する。
【００４２】
一方、図７において、入力フレーム画像データＶｎは入力端子１を介して遅延器３０に供給され、この遅延器３０によって、前記の遅延ウェーブレット成分ＷｎＬＨ、ＷｎＨＬ、ＷｎＨＨの信号２１、２２、２３と同期するように遅延量があたえられて、ｎ次のウェーブレット成分ＷｎＬＬの信号２４として同じクロックレートで出力される。
【００４３】
図１０は、ウェーブレット逆変換部２５の詳細な構成を示すブロック図である。この構成例では、前記ウェーブレット変換部２の構成例と同じくＤａｕｂｅｃｈｉｅｓの基底関数｛Ｃ０、Ｃ１、Ｃ２、Ｃ３｝＝｛０．４８２９６、０．８３６５１、０．２２１４３、−０．１２９４０｝を用いている。ウェーブレット逆変換部２５は、フリップフロップ１５０〜１５３、１８１、１８２、インバータ１５４〜１５８、１８５、１８６、セレクタ１７９、１８０、１９９、１Ｈ遅延線１８３、１８４、乗算器１５９〜１７４、１８７〜１９４、加算器１７５〜１７８、１９５、１９６、１Ｈデュアルポートメモリ１９７、１９８から構成される。
【００４４】
ウェーブレット逆変換部２に入力されたｎ次の遅延ウェーブレット成分ＷｎＬＬ、ＷｎＨＬ、ＷｎＬＨ、ＷｎＨＨの信号２１〜２４は、まず画像の水平方向にウェーブレット逆変換がなされ、その後垂直方向にウェーブレット逆変換がなされる。加算器１９５の出力は１ライン目の復号化データが、加算器１９６の出力には２ライン目の復号化データが同時に出力されるが、両信号とも一旦２ＣＫのクロックレートで１Ｈの期間だけ１Ｈデュアルポートメモリ１９７と１９８に記憶されて行く。複号データがメモリ１９７と１９８に記憶された後、まず１９７のメモリの内容である１Ｈ分の復号データが４ＣＫ（入力フレーム画像データＶｎのクロックの４倍のクロックレート）で読み出され、その後、１Ｈデュアルポートメモリ１９８の内容である１Ｈ分の復号データが４ＣＫで読み出されて、端子２６に高精細フレーム画像データ２６（Ｖｎ−１）として出力される。
【００４５】
すなわち、図１に示す画像拡大装置は入力フレーム画像データＶｎを画素数が４倍の高精細フレーム画像Ｖｎ−１に変換して出力する。
なお、上述したウェーブレット変換マトリクスは下記行列で表され

逆ウェーブレット変換は上記マトリクスの転置行列である。
【００４６】
また、高解像度予測部７の線形加算回路１０２〜１０５、１１２〜１１５、１２２〜１２５における図３および図４で記載した乗算器の係数α１１２ｉ，２ｊ、α２１２ｉ，２ｊ、α３１２ｉ，２ｊ、α４１２ｉ，２ｊ、α５１２ｉ，２ｊ、α６１２ｉ，２ｊ・・・α６１２ｉ＋１，２ｊ＋１、・・・・α６３２ｉ＋１，２ｊ＋１の７２個の重み係数は次のようにして学習させる。
元の高精細フレーム画像をＦｎ−１とし画像サイズを４ｎ×４ｍとする（ｎ、ｍは整数）。この高精細フレーム画像Ｆｎ−１のウェーブレット変換成分をＷ０ｎＬＬ（ｋ，ｌ）、Ｗ０ｎＬＨ（ｋ，ｌ）、Ｗ０ｎＨＬ（ｋ，ｌ）、Ｗ０ｎＨＨ（ｋ，ｌ）とし（１≦ｋ≦２ｎ、１≦ｌ≦２ｍ）、また、低域成分であるＷ０ｎＬＬ（ｋ，ｌ）をさらにウェーブレット変換したｎ＋１次のウェーブレット変換成分をＷｎ＋１ＬＬ（ｉ，ｊ）、Ｗｎ＋１ＬＨ（ｉ，ｊ）、Ｗｎ＋１ＨＬ（ｉ，ｊ）、Ｗｎ＋１ＨＨ（ｉ，ｊ）とし、更にｎ＋１次のウェーブレット変換成分Ｗｎ＋１ＬＬ（ｉ，ｊ）、Ｗｎ＋１ＬＨ（ｉ，ｊ）、Ｗｎ＋１ＨＬ（ｉ，ｊ）、Ｗｎ＋１ＨＨ（ｉ，ｊ）から予測したｎ次のウェーブレット変換成分をＷｎＬＨ（ｋ，ｌ）、ＷｎＨＬ（ｋ，ｌ）、ＷｎＨＨ（ｋ，ｌ）とすると、
【００４７】
【数１】

が最小となるように７２個の係数αを定める。学習させる画像はｄ種類としている。
【００４８】
予測成分は
ＷｎＬＨ（２ｉ，２ｊ）＝α１１（２ｉ，２ｊ）×Ｗｎ＋１ＬＨ（ｉ，ｊ−１）＋α２１（２ｉ，２ｊ）×Ｗｎ＋１ＬＨ（ｉ＋１，ｊ＋１）＋α３１（２ｉ，２ｊ）×Ｗｎ＋１ＬＨ（ｉ，ｊ）＋α４１（２ｉ，２ｊ）×Ｗｎ＋１ＬＨ（ｉ−１，ｊ）＋α５１（２ｉ，２ｊ）×Ｗｎ＋１ＬＨ（ｉ，ｊ＋１）×α６１（２ｉ，２ｊ）×Ｗｎ＋１ＬＬ（ｉ，ｊ）
ＷｎＬＨ（２ｉ＋１，２ｊ）＝α１１（２ｉ＋１，２ｊ）×Ｗｎ＋１ＬＨ（ｉ，ｊ−１）＋α２１（２ｉ＋１，２ｊ）×Ｗｎ＋１ＬＨ（ｉ＋１，ｊ＋１）＋α３１（２ｉ＋１，２ｊ）×Ｗｎ＋１ＬＨ（ｉ，ｊ）＋α４１（２ｉ＋１，２ｊ）×Ｗｎ＋１ＬＨ（ｉ−１，ｊ）＋α５１（２ｉ＋１，２ｊ）×Ｗｎ＋１ＬＨ（ｉ，ｊ＋１）＋α６１（２ｉ＋１，２ｊ）×Ｗｎ＋１ＬＬ（ｉ，ｊ）
ＷｎＨＨ（２ｉ＋１，２ｊ＋１）＝α１３（２ｉ＋１，２ｊ＋１）×Ｗｎ＋１ＨＨ（ｉ，ｊ−１）＋α２３（２ｉ＋１，２ｊ＋１）×Ｗｎ＋１ＨＨ（ｉ＋１，ｊ＋１）＋α３３（２ｉ＋１，２ｊ＋１）×Ｗｎ＋１ＨＨ（ｉ，ｊ）＋α４３（２ｉ＋１，２ｊ＋１）×Ｗｎ＋１ＨＨ（ｉ−１，ｊ）＋α５３（２ｉ＋１，２ｊ＋１）×Ｗｎ＋１ＨＨ（ｉ，ｊ＋１）＋α６３（２ｉ＋１，２ｊ＋１）×Ｗｎ＋１ＬＬ（ｉ，ｊ）
で定義されるので、Ｓを各αで偏微分したものを０とした７２個の一次方程式より、各αを求めると容易に求まる。αを求めるには、コンピュータシミュレーションなどで学習するとよい。
【００４９】
また、本実施形態ではｎ＋１次のウェーブレット成分からｎ次のウェーブレット成分を予測する際に、ｎ＋１次のウェーブレット成分とα係数による線形結合を用いたが、ｎ＋１次ウェーブレット成分の２乗値や３乗値や定数とα係数による線形結合を用いると、計算量は多くなるが精度の高い予測が可能になる。
【００５０】
【発明の効果】
以上説明したように、この発明の画像拡大装置では、スケール解像度次数ｎの入力信号を直交ウェーブレット変換し、スケール解像度次数ｎ＋１のウェーブレット成分およびスケール解像度次数ｎ＋１の縮小画像成分を求め、スケール解像度次数ｎ＋１の縮小画像成分および前記縮小画像成分の画像位置に対応するスケール解像度次数ｎ＋１のウェーブレット成分の近傍成分だけから、スケール解像度次数ｎにおけるウェーブレット成分を予測し、前記スケール解像度次数ｎにおけるウェーブレット成分と前記スケール解像度次数ｎの入力信号とをウェーブレット逆変換し、スケール解像度次数ｎ−１における拡大画像を生成しているので、計算量を極端に減らして、小規模な回路構成で、動画のようなリアルタイムな画像の高精細化が可能になる。
【００５１】
また、予測にあたり演算量の小さい線形結合によって高解像度のウェーブレット成分を求めるので、小規模な回路構成で、動画のようなリアルタイムな画像の高精細化が可能になる。
更にまた、学習の際に一次方程式で係数αを求めるため、学習が容易で高速にインプリメントが可能である。
【図面の簡単な説明】
【図１】本発明の一実施形態の全体の構成を示すブロック図である。
【図２】図１における高解像度予測部の構成例を示すブロック図である。
【図３】図２における近傍画素抽出部１０１と線形加算回路１０２の詳細構成例を示すブロック図である。
【図４】図２における近傍画素抽出部１２１と線形加算回路１２２の詳細構成例を示すブロック図である。
【図５】図１の全体の動作を説明する概念図である。
【図６】図１におけるウェーブレット変換部の構成例を示すブロック図である。
【図７】図１における遅延調整部の構成例を示すブロック図である。
【図８】図７における時系列変換器の構成例を示すブロック図である。
【図９】図８の動作を示すタイミングチャートである。
【図１０】図１におけるウェーブレット逆変換部の構成例を示すブロック図である。
【図１１〜図１６】縦線、横線、斜線画像のウェーブレット変換例を示す図である。
【図１７】ｎ＋１次のウェーブレット変換成分の座標と、近傍成分の配置を示す図である。
【符号の説明】
１…入力端子
２…ウェーブレット変換部
３…ｎ＋１次の縮小画像成分の信号
４〜６…ｎ＋１次のウェーブレット成分の信号
７…高解像度予測部
８〜１９…ｎ次のウェーブレット成分の信号
２０…遅延調整部
２１〜２４…ｎ次の遅延ウェーブレット成分の信号
２５…ウェーブレット逆変換部
２６…拡大高精細フレーム画像データ
１０１、１１１、１２１…近傍データ抽出回路
１０２〜１０５、１１２〜１１５、１２２〜１２５…線形加算回路
１０６、１１６、１２６…遅延回路

Claims

スケール解像度次数ｎの入力信号を直交ウェーブレット変換し、スケール解像度次数ｎ＋１のウェーブレット成分およびスケール解像度次数ｎ＋１の縮小画像成分を算出するウェーブレット変換手段と、前記スケール解像度次数ｎ＋１の縮小画像成分および前記縮小画像成分の画像位置に対応するスケール解像度次数ｎ＋１のウェーブレット成分の近傍成分から、スケール解像度次数ｎにおけるウェーブレット成分を予測する高解像度予測手段と、前記入力画像信号と前記予測したスケール解像度次数ｎにおけるウェーブレット成分を所定時間だけ遅延させて遅延ウェーブレット成分を出力する遅延調整手段と、前記遅延ウェーブレット成分をウェーブレット逆変換し、スケール解像度次数ｎ−１における拡大画像を生成するウェーブレット逆変換手段と、を含むことを特徴とする画像拡大装置。
請求項１において、スケール解像度次数ｎにおけるウェーブレット成分を予測する高解像度予測手段は、前記スケール解像度次数ｎ＋１の縮小画像成分および前記縮小画像成分の画像位置に対応するスケール解像度次数ｎ＋１のウェーブレット成分の近傍成分の線形加算手段で構成することを特徴とする画像拡大装置。
請求項１において、スケール解像度次数ｎにおけるウェーブレット成分を予測する高解像度予測手段は、前記スケール解像度次数ｎ＋１の縮小画像成分および前記縮小画像成分の画像位置に対応するスケール解像度次数ｎ＋１のウェーブレット成分の近傍成分のｐ乗成分（ｐ；２以上の整数）の線形加算手段で構成することを特徴とする画像拡大装置。
請求項１において、スケール解像度次数ｎ＋１のウェーブレット成分の近傍成分は、スケール解像度次数ｎ＋１の縮小画像成分の画像位置に対応するスケール解像度次数ｎ＋１のウェーブレット成分の９近傍成分の内の５成分とすることを特徴とする画像拡大装置。
請求項２あるいは３における線形加算手段の重み付け係数は、前記スケール解像度次数ｎ−１の元画像をウェーブレット変換したスケール解像度次数ｎのウェーブレット成分を教師データとし、前記高解像度予測手段から出力されるスケール解像度次数ｎのウェーブレット成分との２乗誤差が最小になるように決定されることを特徴とする画像拡大装置。