JP3661964B2 - 画像拡大処理装置および方法並びに画像拡大処理制御プログラムを記録した記録媒体 - Google Patents
画像拡大処理装置および方法並びに画像拡大処理制御プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3661964B2 JP3661964B2 JP17516997A JP17516997A JP3661964B2 JP 3661964 B2 JP3661964 B2 JP 3661964B2 JP 17516997 A JP17516997 A JP 17516997A JP 17516997 A JP17516997 A JP 17516997A JP 3661964 B2 JP3661964 B2 JP 3661964B2
- Authority
- JP
- Japan
- Prior art keywords
- domain
- cell
- cells
- domain cell
- fractal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 137
- 238000012545 processing Methods 0.000 title claims description 57
- 230000009466 transformation Effects 0.000 claims description 102
- 238000006243 chemical reaction Methods 0.000 claims description 52
- 238000011156 evaluation Methods 0.000 claims description 45
- 238000000605 extraction Methods 0.000 claims description 44
- 238000004364 calculation method Methods 0.000 claims description 38
- 238000010187 selection method Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000003672 processing method Methods 0.000 claims description 5
- 238000012790 confirmation Methods 0.000 claims 2
- 238000012804 iterative process Methods 0.000 claims 1
- 230000003252 repetitive effect Effects 0.000 claims 1
- 238000007796 conventional method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000000630 rising effect Effects 0.000 description 7
- 238000000844 transformation Methods 0.000 description 5
- 238000005094 computer simulation Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010042618 Surgical procedure repeated Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、フラクタルパラメータを用いる画像拡大処理装置および方法並びに画像拡大処理制御プログラムを記録した記録媒体に関し、特にヒストグラムを用いたフラクタルパラメータの統合を行うことによって、画像拡大処理復号器とメモリとの間のデータ転送量を低減し、画像拡大処理装置を高速化する回路の構成技術に関する。
【０００２】
【従来の技術】
図３に、従来型のフラクタルパラメータを用いる画像拡大処理装置の構成例を示す。この従来回路はフラクタルパラメータ抽出回路５０とフラクタル画像拡大回路６０とから構成されている。入力端子３から入力された画像からフラクタルパラメータ抽出回路５０によって画像のフラクタルパラメータを抽出し、この抽出したフラクタルパラメータを用いてフラクタル画像拡大回路６０により拡大画像を構成し、出力端子４に拡大画像を出力する。
【０００３】
フラクタル画像拡大処理として、フラクタルパラメータの抽出を、画像を重なり合わないように分割する正方形の小領域ごとに行うものが提案されている（Arnaud E.Jacquin，“Image Coding Based on a Theory of Iterated Contractive Image Transformations”，IEEE Transactions on Image Processing,Vol.1,No.1,pp ．18-30 ，January 1992）。
【０００４】
図４は、上記提案された従来手法によるフラクタルパラメータ抽出の概念を表す図である。入力画像Ｉはまず、レンジセルと呼ばれる互いに重なり合わない正方形の小領域、例えばＢ×Ｂの大きさのブロックＲi に分割される。各々のレンジセルＲi に対しては、これを最も良く近似する縮小写像τi が入力画像Ｉの中から探索され、決定される。この縮小写像がレンジセルに対応するフラクタルパラメータである。
【０００５】
画像のフラクタルパラメータとは、レンジセル毎に決定された縮小写像τi の集まりと言える。縮小写像τi は、写像φi と写像θi との合成写像として定義される。
【０００６】
写像φi は、例えば、原画像の中から、２Ｂ×２Ｂの大きさのドメインセルと呼ばれるブロックＤj を切り出し、このドメインセルＤj を２×２の大きさのＢ2 個の互いに重なり合わない領域に分割し、各２×２の大きさの領域の中の平均値を書き並べたＢ×Ｂのブロックを生成する縮小変換である。この写像φi は、ドメインセルＤj の位置によって特徴づけられる。ドメインセルＤj の候補は、レンジセルＲi を取り囲むドメインプールと呼ばれる正方形の領域に含まれる２Ｂ×２Ｂの大きさの小領域に限定される。
【０００７】
写像θi は、例えば、輝度値変換と幾何学変換の合成写像である。輝度値変換は例えば、一定輝度値による置き換えρ1 、輝度値の一定量だけのシフトρ2 、輝度値のコントラスト変換ρ3 であり、幾何学変換は、例えば、０°，４５°，９０°，１３５°方向のセルの中心軸に対する４種類の鏡像変換ξ1 〜ξ4 とセルの中心点の回りの０°，９０°，１８０°，２７０°の４種類の回転変換ξ5 〜ξ8 である。
【０００８】
フラクタルパラメータ抽出回路５０では、各レンジセルＲi に対して、２乗歪みｄ（Ｒi ，θi φi （Ｉ））を最小とする写像θi と写像φi を決定し、そのときのドメインセルＤj の位置と、輝度変換ρ1 、もしくは輝度変換ρ2 およびρ3 と、幾何学変換ξ1 〜ξ8 の中から一つ選ばれたξをフラクタルパラメータとして抽出する。
【０００９】
抽出されたこのフラクタルパラメータから拡大画像を得るには、任意の初期画像に対して、レンジセルごとにフラクタルパラメータに記述されている縮小写像を適応し、画像を変換していく。このとき、例えば、入力画像の大きさに対して縦方向にｎ倍、横方向にｎ倍の拡大画像を構成する場合には、入力画像Ｉの大きさがＬ×Ｌとすると、拡大画像の初期画像の大きさをｎＬ×ｎＬ、レンジセルの大きさをｎＢ×ｎＢ、ドメインセルの大きさを２ｎＢ×２ｎＢとする。写像φi は、例えば、フラクタルパラメータに記述されているドメインセルの位置が座標（ｘd ，ｙd ）であるとすると、座標（ｎｘd ，ｎｙd ）により実施される。写像θi はフラクタルパラメータの記述に従って実施される。
【００１０】
上記変換を繰り返し適用することにより極限画像に収束させる。この極限画像が求める拡大画像である。
【００１１】
【発明が解決しようとする課題】
図５に、従来の上記フラクタル画像拡大回路６０の一例を示す。このフラクタル画像拡大回路６０は、画像メモリ６１と、復号器６２から構成されている。画像メモリ６１では、拡大処理を開始する前における任意の初期画像の書き込み、ドメインセルごとの読み出し、復号器６２の出力の書き込みが行われる。復号器６２はフラクタルパラメータを読み込み、読み込んだフラクタルパラメータの中に記述されたドメインセルの位置に基づいて画像メモリ６１からドメインセルを読み出し、読み出したドメインセルに対してフラクタルパラメータにより規定された縮小写像を行う復号処理を実行し、フラクタルパラメータに基づき画像メモリ６１のレンジセルの位置にその復号処理結果を書き込む。
【００１２】
一般に、復号器６２は画像メモリ６１の動作速度よりも高速な回路を構成することが可能である。例えば、復号器６２を最小加工幅０．５μｍ程度以下の先端的なプロセス技術を用いたＣＭＯＳ回路（相補型金属酸化膜半導体回路）により構成すると、その動作速度は２００ＭＨｚ以上となることが予想される。一方、画像メモリ６１を、例えばＴＶ映像信号の１フレーム分か、それ以上のディジタル画像信号を記憶するだけの記憶容量を廉価に実現することに適したダイナミックＲＡＭ（ランダムアクセスメモリ）で構成すると、標準的なデータの読み出しおよび書き込み速度は３０ＭＨｚ程度となる。
【００１３】
上記のように、例えば画像メモリ６１の動作周波数がｆであるとき、復号器６２の動作周波数はα×ｆ（αは正の整数）である、というように画像メモリ６１と復号器６２との間には１：αの速度比が生じる。
【００１４】
以下、α＝６の場合を例にして、上記のような画像メモリ６１と復号器６２の処理能力のアンバランスに起因する、画像拡大処理（復号処理）時に生じる冗長な動作について説明する。
【００１５】
図６は、図５の画像メモリ６１が周波数ｆのクロックであるクロックＡに同期して動作し、復号器６２が周波数６×ｆのクロックであるクロックＢに同期して動作する場合の復号処理動作例を示すタイミングチャートである。ただし、復号器６２内での処理のレーテンシー（待ち時間）は無視するものとする。図６において、Ｄi ，Ｄk およびＤj はドメインセルデータである。また、Ｉ，ＫおよびＪはそれぞれＤi ，Ｄk ，Ｄj の復号処理を実施されたデータである。
【００１６】
クロックＡの立ち上がり２に同期して、画像メモリ６１から復号器６２へのドメインセルデータＤi の読み出しが完了し、同時にドメインセルデータＤk の読み出しが開始される。復号器６２ではドメインセルデータＤi の読み出しが完了した後、ドメインセルデータＤi に対するフラクタルパラメータに基づく復号処理がなされ、この処理された結果が復号処理済みデータＩとして出力期間１０１に出力される。
【００１７】
クロックＡの立ち上がり３に同期して、画像メモリ６１から復号器６２へのドメインセルデータＤk の読み出しが完了し、その後、復号器６２ではドメインセルデータＤk に対して復号処理を行い、復号処理結果Ｋを期間１０２に出力する。出力期間１０１が終わってから出力期間１０２が開始するまでの休止期間１１１は復号処理済みデータを出力しない期間、すなわち復号器６２が復号動作を行わないで休止している期間である。
【００１８】
クロック４の立ち上がりでは、上記クロック３の立ち上がりでの画像メモリ６１と復号器６２の動作と同様にして、ドメインセルデータＤj の復号処理済みデータＪが休止期間１１２の後、期間１０３に出力される。
【００１９】
このように従来の復号処理では休止期間が生じていた。これは、従来のフラクタルパラメータのドメインセルの位置に関係している。すなわち、従来のフラクタルパラメータでは、ドメインセルの位置は、対応するレンジセルとの２乗歪みを最小にすることと、ドメインプール内に存在することという条件で決定されており、ドメインセル同士の位置の相関は考慮されていなかった。
【００２０】
このため、ドメインセルはその位置に特に規則性を持たずに分布することになり、復号動作においてはレンジセル毎にそのドメインセルデータを画像メモリから読み出す必要があった。その結果、復号処理においては上記のような休止期間が発生し、効率的な復号処理を行うフラクタル画像拡大回路の構成はこれまで困難であった。
【００２１】
本発明は、上述の事情に鑑みてなされたもので、その目的は、フラクタルパラメータを修正することにより、画像メモリから一旦読み出したドメインセルデータを整数αの倍数回、連続して使用して復号処理を行い、これによって復号処理を行わない期間を著しく減少させ、復号期間を最大１／αに短縮することにある。
【００２２】
【課題を解決するための手段】
上記目的を達成するため、本発明の画像拡大処理装置は、入力画像を適当な大きさのブロック（レンジセル）に分割し、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出するフラクタルパラメータ抽出回路と、前記フラクタルパラメータ抽出回路で抽出されたフラクタルパラメータを修正して再構成するフラクタルパラメータ再構成回路と、該フラクタルパラメータ再構成回路により修正されたフラクタルパラメータに基づく縮小変換と幾何学変換と輝度変換を繰り返し実施して、極限画像としての拡大画像を得るフラクタル画像拡大回路とを具備したことを特徴とする。
【００２３】
ここで、前記フラクタルパラメータ再構成回路は、前記フラクタルパラメータ抽出回路で抽出されたフラクタルパラメータを初期値として保持するパラメータテーブルと、該パラメータテーブルを参照してドメインセルの使用頻度に関するヒストグラムを計算するヒストグラム計算回路と、前記フラクタル画像拡大回路を構成する画像メモリと復号器の速度比が１：Ａの時、前記ヒストグラム計算回路の出力を参照して、ドメインセルの使用頻度が、前記実数Ａ以下の正整数αによる除算に対して剰余が０のものだけになるように、該ドメインセルの選択を変更するヒストグラム離散化処理と前記パラメータテーブルの書き換え処理とを行うヒストグラム離散化回路とを有するとすることができる。
【００２４】
さらに、前記ヒストグラム離散化回路は、前記ドメインセルの使用頻度が前記整数αによる除算に対して剰余が０でないドメインセルを選択するドメインセル選択手段と、該ドメインセル選択手段により選択したドメインセルのそれぞれについて、該ドメインセルを使用するレンジセルのうち、ドメインセルとの距離（差分２乗和）が大きいものから順に、該ドメインセルの使用頻度の前記αによる除算に対する剰余と同じ数だけのレンジセルを選択するレンジセル選択手段と、該レンジセル選択手段により選択したレンジセルのそれぞれについて、新たなドメインセルを決定するため、前記ドメインセル選択手段によって選択したドメインセルの中から、該選択したレンジセルが前記レンジセル選択手段において使用していたドメインセルを除いたドメインセルをドメインセルの候補として、フラクタルパラメータを抽出するフラクタルパラメータ抽出手段と、該フラクタルパラメータ抽出手段により抽出したフラクタルパラメータにより前記パラメータテーブルの内容を書き換えるパラメータテーブル書き換え手段とを有するとすることができる。
【００２５】
さらに、前記フラクタルパラメータ抽出回路は、入力画像を適当な大きさのブロック（レンジセル）に分割し、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出するフラクタルパラメータ生成手段と、前記入力画像を適当な大きさのブロック（レンジセル）に分割し、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出するフラクタルパラメータ生成手段により生成したフラクタルパラメータが指示するドメインセルを第１候補とし、これに加えてレンジセルとの差分２乗和が２番目に小さいものを第２候補、３番目に小さいものを第３候補というように、ドメインセルを第１候補から第ｎ候補まで新たに抽出する候補抽出手段と、ドメインセルが前記第１候補である場合は、当該ドメインセル候補の差分２乗和から第２候補の差分２乗和を引いた値を、ドメインセルが該第２候補以降である場合は、当該ドメインセル候補の差分２乗和から前記第１候補の差分２乗和を引いた値を計算しこれを評価値とする評価値計算手段と、ドメインセルの使用頻度のヒストグラムを第１候補から第ｎ候補までそれぞれ計算し、各ドメインセルについて該第１候補から該第ｎ候補までの使用頻度の総和のヒストグラムを計算する使用頻度の総和のヒストグラム計算手段と、該使用頻度の総和がα回以上になるドメインセルのそれぞれについて、α個以上のドメインセル候補の中から、前記評価値計算手段による評価値のα個分の和が最小となるα個のドメインセル候補を選択し、該選択した前記評価値計算手段による評価値のα個分の和が最小となるα個のドメインセル候補をα個で１組のドメインセル候補とし、該α個で１組のドメインセル候補の中から、前記評価値計算手段による評価値のα個分の和が最小となる１組のドメインセル候補を選択するドメインセル候補選択手段と、前記ドメインセル候補選択手段により選択されたα個のドメインセル候補を、前記ドメインセル候補選択手段により選択されたα個のドメインセル候補をドメインセル候補として持つレンジセルに対するドメインセルとしてそれぞれ確定し、該ドメインセルが確定したレンジセルについて、ドメインセルの第１候補から第ｎ候補のうちドメインセルとして確定したドメインセル候補以外の候補は消去するドメインセル確定手段と、以上の処理操作を使用頻度の総和がα個よりも小さいものばかりになるまで繰り返させる制御手段と、該制御手段により繰り返し処理が終了した後、ドメインセルが確定していないレンジセルのそれぞれについて、該ドメインセルが確定していないレンジセルのドメインセル候補のうちいずれか１つをドメインセルとして確定し、該確定したドメインセル候補以外の候補を消去するドメインセル確定手段と、を有し、前記入力画像を適当な大きさのブロック（レンジセル）に分割し、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出するフラクタルパラメータ生成手段によって生成するフラクタルパラメータに再構成のための前処理を施すとすることができる。
【００２６】
さらに、前記フラクタル画像拡大回路は、画像メモリとバッファ回路と復号器とを有し、前記画像メモリは、復号処理に先立っての任意の初期画像の書き込みと、復号処理時の前記バッファ回路へのドメインセルデータの読み出しと、該バッファ回路からの復号済みデータの書き込みとを行い、前記バッファ回路は、前記画像メモリからのドメインセルデータの一時記憶と出力、および前記復号器からの復号済みデータの一時記憶と出力を行い、前記復号器は、修正フラクタルパラメータの読み込み、ドメインセルデータの読み込み、修正フラクタルパラメータに基づくドメインセルデータに対する復号処理、および復号処理済みデータの出力を行うとすることができる。
【００２７】
また、本発明の画像拡大処理方法は、入力画像を適当な大きさのブロック（レンジセル）に分割し、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出するフラクタルパラメータ抽出手順と、前記フラクタルパラメータ抽出手順で抽出されたフラクタルパラメータを修正して再構成するフラクタルパラメータ再構成手順と、該フラクタルパラメータ再構成手順により修正されたフラクタルパラメータに基づく縮小変換と幾何学変換と輝度変換を繰り返し実施して、極限画像としての拡大画像を得るフラクタル画像拡大手順とを有することを特徴とする。
【００２８】
ここで、前記フラクタルパラメータ再構成手順は、前記フラクタルパラメータ抽出手順で抽出されたフラクタルパラメータを初期値として保持するパラメータテーブルを参照してドメインセルの使用頻度に関するヒストグラムを計算するヒストグラム計算手順と、前記フラクタル画像拡大手順で使用される画像メモリと復号器の速度比が１：Ａの時、前記ヒストグラム計算手順での出力を参照して、ドメインセルの使用頻度が、前記実数Ａ以下の正整数αによる除算に対して剰余が０のものだけになるように、該ドメインセルの選択を変更するヒストグラム離散化処理と前記パラメータテーブルの書き換え処理とを行うヒストグラム離散化手順とを有するとすることができる。
【００２９】
さらに、前記ヒストグラム離散化手順は、前記ドメインセルの使用頻度が前記整数αによる除算に対して剰余が０でないドメインセルを選択するドメインセル選択手順と、該ドメインセル選択手順により選択したドメインセルのそれぞれについて、該ドメインセルを使用するレンジセルのうち、ドメインセルとの距離（差分２乗和）が大きいものから順に、該ドメインセルの使用頻度の前記αによる除算に対する剰余と同じ数だけのレンジセルを選択するレンジセル選択手順と、該レンジセル選択手順により選択したレンジセルのそれぞれについて、新たなドメインセルを決定するため、前記ドメインセル選択手順によって選択したドメインセルの中から、該選択したレンジセルが前記レンジセル選択手順において使用していたドメインセルを除いたドメインセルをドメインセルの候補として、フラクタルパラメータを抽出するフラクタルパラメータ抽出手順と、該フラクタルパラメータ抽出手順により抽出したフラクタルパラメータにより前記パラメータテーブルの内容を書き換えるパラメータテーブル書き換え手順とを有するとすることができる。
【００３０】
さらに、前記フラクタルパラメータ抽出手順は、入力画像を適当な大きさのブロック（レンジセル）に分割し、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出するフラクタルパラメータ生成手順と、前記入力画像を適当な大きさのブロック（レンジセル）に分割し、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出するフラクタルパラメータ生成手順により生成したフラクタルパラメータが指示するドメインセルを第１候補とし、これに加えてレンジセルとの差分２乗和が２番目に小さいものを第２候補、３番目に小さいものを第３候補というように、ドメインセルを第１候補から第ｎ候補まで新たに抽出する候補抽出手順と、ドメインセルが前記第１候補である場合は、当該ドメインセル候補の差分２乗和から第２候補の差分２乗和を引いた値を、ドメインセルが該第２候補以降である場合は、当該ドメインセル候補の差分２乗和から前記第１候補の差分２乗和を引いた値を計算しこれを評価値とする評価値計算手順と、ドメインセルの使用頻度のヒストグラムを第１候補から第ｎ候補までそれぞれ計算し、各ドメインセルについて該第１候補から該第ｎ候補までの使用頻度の総和のヒストグラムを計算する使用頻度の総和のヒストグラム計算手順と、該使用頻度の総和がα回以上になるドメインセルのそれぞれについて、α個以上のドメインセル候補の中から、前記評価値計算手順による評価値のα個分の和が最小となるα個のドメインセル候補を選択し、該選択した前記評価値計算手順による評価値のα個分の和が最小となるα個のドメインセル候補をα個で１組のドメインセル候補とし、該α個で１組のドメインセル候補の中から、前記評価値計算手順による評価値のα個分の和が最小となる１組のドメインセル候補を選択するドメインセル候補選択手順と、前記ドメインセル候補選択手順により選択されたα個のドメインセル候補を、前記ドメインセル候補選択手順により選択されたα個のドメインセル候補をドメインセル候補として持つレンジセルに対するドメインセルとしてそれぞれ確定し、該ドメインセルが確定したレンジセルについて、ドメインセルの第１候補から第ｎ候補のうちドメインセルとして確定したドメインセル候補以外の候補は消去するドメインセル確定手順と、以上の処理操作を使用頻度の総和がα個よりも小さいものばかりになるまで繰り返させる制御手順と、該制御手順により繰り返し処理が終了した後、ドメインセルが確定していないレンジセルのそれぞれについて、該ドメインセルが確定していないレンジセルのドメインセル候補のうちいずれか１つをドメインセルとして確定し、該確定したドメインセル候補以外の候補を消去するドメインセル確定手順と、を有し、前記入力画像を適当な大きさのブロック（レンジセル）に分割し、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出するフラクタルパラメータ生成手順によって生成するフラクタルパラメータに再構成のための前処理を施すとすることができる。
【００３１】
さらに、前記フラクタル画像拡大手順は、画像メモリとバッファ回路と復号器とを使用し、前記画像メモリに対して、復号処理に先立っての任意の初期画像の書き込みと、復号処理時の前記バッファ回路へのドメインセルデータの読み出しと、該バッファ回路からの復号済みデータの書き込みとを行い、前記バッファ回路により、前記画像メモリからのドメインセルデータの一時記憶と出力、および前記復号器からの復号済みデータの一時記憶と出力を行い、前記復号器を用いて、修正フラクタルパラメータの読み込み、ドメインセルデータの読み込み、修正フラクタルパラメータに基づくドメインセルデータに対する復号処理、および復号処理済みデータの出力を行うとすることができる。
【００３２】
また、本発明の記録媒体は、コンピュータによって画像拡大処理を行うための制御プログラムを記録した記録媒体であって、該制御プログラムはコンピュータに、入力画像を適当な大きさのブロック（レンジセル）に分割させ、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施させたものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出させ、該抽出されたフラクタルパラメータを修正して再構成させ、該修正され再構成されたフラクタルパラメータに基づく縮小変換と幾何学変換と輝度変換を繰り返し実施させて、極限画像としての拡大画像を出力させることを特徴とする。
【００３３】
ここで、前記制御プログラムはコンピュータに、前記抽出されたフラクタルパラメータを初期値として保持するパラメータテーブルを参照してドメインセルの使用頻度に関するヒストグラムを計算させ、該計算結果を参照して、ドメインセルの使用頻度が整数αによる除算に対して剰余が０のものだけになるように、該ドメインセルの選択を変更するヒストグラム離散化処理と前記パラメータテーブルの書き換え処理とを行わせるとすることができる。
【００３４】
さらに、前記制御プログラムはコンピュータに、前記ドメインセルの使用頻度が前記整数αによる除算に対して剰余が０でないドメインセルを選択させ、該選択したドメインセルのそれぞれについて、該ドメインセルを使用するレンジセルのうち、ドメインセルとの距離（差分２乗和）が大きいものから順に、該ドメインセルの使用頻度の前記αによる除算に対する剰余と同じ数だけのレンジセルを選択させ、該選択したレンジセルのそれぞれについて、新たなドメインセルを決定させるため、前記選択したドメインセルの中から、該選択したレンジセルが使用していたドメインセルを除いたドメインセルをドメインセルの候補として、フラクタルパラメータを抽出させ、該抽出したフラクタルパラメータにより前記パラメータテーブルの内容を書き換えさせるとすることができる。
【００３５】
さらに、前記制御プログラムはコンピュータに、入力画像を適当な大きさのブロック（レンジセル）に分割させ、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施させたものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出させ、前記入力画像を適当な大きさのブロック（レンジセル）に分割させ、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報であるフラクタルパラメータが指示するドメインセルを第１候補とし、これに加えてレンジセルとの差分２乗和が２番目に小さいものを第２候補、３番目に小さいものを第３候補というように、ドメインセルを第１候補から第ｎ候補まで新たに抽出させ、ドメインセルが前記第１候補である場合は、当該ドメインセル候補の差分２乗和から第２候補の差分２乗和を引いた値を、ドメインセルが該第２候補以降である場合は、当該ドメインセル候補の差分２乗和から前記第１候補の差分２乗和を引いた値を計算させこれを評価値とさせ、ドメインセルの使用頻度のヒストグラムを第１候補から第ｎ候補までそれぞれ計算させ、各ドメインセルについて該第１候補から該第ｎ候補までの使用頻度の総和のヒストグラムを計算させ、該使用頻度の総和がα回以上になるドメインセルのそれぞれについて、α個以上のドメインセル候補の中から、前記評価値のα個分の和が最小となるα個のドメインセル候補を選択させ、該選択した前記評価値のα個分の和が最小となるα個のドメインセル候補をα個で１組のドメインセル候補とさせ、該α個で１組のドメインセル候補の中から、前記評価値のα個分の和が最小となる１組のドメインセル候補を選択させ、前記選択されたα個のドメインセル候補を、前記選択されたα個のドメインセル候補をドメインセル候補として持つレンジセルに対するドメインセルとしてそれぞれ確定させ、該ドメインセルが確定したレンジセルについて、ドメインセルの第１候補から第ｎ候補のうちドメインセルとして確定したドメインセル候補以外の候補は消去させ、以上の処理操作を使用頻度の総和がα個よりも小さいものばかりになるまで繰り返させ、該繰り返し処理が終了した後、ドメインセルが確定していないレンジセルのそれぞれについて、該ドメインセルが確定していないレンジセルのドメインセル候補のうちいずれか１つをドメインセルとして確定させ、該確定したドメインセル候補以外の候補を消去させるとすることができる。
【００３６】
さらに、前記制御プログラムはコンピュータに、画像メモリに対して、復号処理に先立っての任意の初期画像の書き込みと、復号処理時のバッファ回路へのドメインセルデータの読み出しと、該バッファ回路からの復号済みデータの書き込みとを行わせ、前記バッファ回路に対して、前記画像メモリからのドメインセルデータの一時記憶と出力、および前記復号器からの復号済みデータの一時記憶と出力を行わせ、前記復号器に対して、修正フラクタルパラメータの読み込み、ドメインセルデータの読み込み、修正フラクタルパラメータに基づくドメインセルデータに対する復号処理、および復号処理済みデータの出力を行わせるとすることができる。
【００３７】
本発明は、上記構成により、フラクタル画像拡大回路における復号回路と画像メモリと間の速度比に起因する復号回路の休止期間が、いったん画像メモリから読み出されたドメインセルデータをαの倍数回連続して使用して復号処理を実施することによって、著しく減少され、拡大回路の高速化を図ることができる。
【００３８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００３９】
図１は本発明による画像拡大処理装置の一実施形態の構成を示す。この画像拡大処理装置はフラクタルパラメータ抽出回路１０と、フラクタルパラメータ再構成回路２０と、フラクタル画像拡大回路３０とにより構成される。
【００４０】
フラクタルパラメータ抽出回路１０は、入力画像からフラクタルパラメータを抽出する。フラクタルパラメータ再構成回路２０は、フラクタルパラメータ抽出回路１０により抽出されたフラクタルパラメータの内容を修正して出力する。フラクタル画像拡大回路３０は、その修正されたフラクタルパラメータに基づき拡大画像を構成する。
【００４１】
フラクタルパラメータ抽出回路１０では、以下の手順でフラクタルパラメータを抽出する。
【００４２】
まず、Ｂ×Ｂの大きさのレンジセルＲi に対して、ドメインプールの中から２Ｂ×２Ｂの大きさで縦方向にＢ、横方向にＢづつずらしながら切り出した領域をそれぞれドメインセルの候補とする。
【００４３】
このドメインセルの候補に対し、順次、ドメインセル内の互いに重なり合わない２×２の大きさの領域の中の４つの画素の平均値を書き並べてＢ×Ｂのブロックを生成し、生成したＢ×Ｂのブロックに対して、８種類の幾何学変換ξ1 〜ξ8 を次々に実施し、それら変換済みのブロックに対して一定輝度値による置き換えρ1 か、または画素の輝度値がＰのときに、ρ3 ・Ｐ＋ρ2 で表せられるような輝度値の一定量だけのシフトρ2 と輝度値のコントラスト変換ρ3 か、のいずれかを施す。
【００４４】
次に、それら変換済みのブロックとレンジセルとの差分２乗和を計算し、最も差分２乗和が小さくなるように輝度変換としてρ1 か、またはρ3 とρ2 かを決定し、幾何学変換ξ1 〜ξ8 の中からひとつを決定する。
【００４５】
そのレンジセルのために準備された全てのドメインセル候補のうち、上記により計算された差分２乗和が最も小さいものをそのレンジセルのドメインセルとし、そのときのドメインセルの位置（座標）と上記により決定されたρ1 またはρ3 とρ2 の組、およびξとその時の差分２乗和の値を、そのレンジセルのフラクタルパラメータとする。
【００４６】
このフラクタルパラメータを決定する上記操作を入力画像のすべてのレンジセルに対して実施し、フラクタルパラメータを完成する。
【００４７】
上述のように、フラクタルパラメータ抽出回路１０で抽出されたフラクタルパラメータにおいては、差分２乗和が最小になるように各々のレンジセルに対してドメインセルが決定されている。これはすなわち、画像中の全てのレンジセルについての差分２乗和の総和がレンジセルとドメインセル候補の可能な組み合わせの中で最小になっているということである。差分２乗和の総和は、その総和の値が小さいほど、再生画像の画質が良くなる傾向があることが知られている。例えば、差分２乗和の総和が小さいほど、縦横１倍の拡大再生画像の入力画像に対するＰＳＮＲ（信号対雑音比：peak-to-peak signal-to-noise ratio）は大きくなることが多い。
【００４８】
フラクタルパラメータ再構成回路２０で生成される修正フラクタルパラメータにおいては、後述のフラクタル画像拡大回路３０を構成する画像メモリと復号器の速度比が１：αの時、ドメインセルの使用回数を整数αの倍数回に制限するため、必ずしも差分２乗和が最小となるブロックをドメインセルとして選択しない可能性があり、差分２乗和の総和は従来のフラクタルパラメータのそれに比較して大きくなることが予想される。この場合、全てのドメインセルの使用回数がαの倍数回となる組み合わせの中で差分２乗和の総和が最小となる組み合わせを修正フラクタルパラメータとすることが、画質の面から望ましい。
【００４９】
しかしながら、このような修正フラクタルパラメータを探索するために、全てのレンジセルに対するドメインセルの可能な組み合わせを検討することは、計算負荷の面から現実的ではない。例えば、入力画像の大きさを５１２×５１２ピクセル、レンジセルの大きさを４×４ピクセルとすると、レンジセル数は１６３８４個となる。今、各々のレンジセルに対して、差分２乗和の小さいものから順に、例えば１０個のドメインセル候補を準備すると仮定する。この場合、全てのレンジセルに対して１０個のドメインセル候補の中から１つを選択していく組み合わせは１０の１６３８４乗通りとなり、この全ての組み合わせに対して、全てのドメインセルの使用頻度がαの倍数回になっているかどうか、さらにαの倍数回になっていれば差分２乗和の総和が最小かどうか、を判定していく方法では、現在の計算機の能力では意味のある時間のうちに求める組み合わせを見つけることは困難である。
【００５０】
上記のことに鑑み、本発明では、フラクタルパラメータ再構成回路２０において、現実的な時間のうちに計算が終了し、かつ、従来のフラクタルパラメータによる再生画像と比較した場合にも大幅な画質劣化が起こらないような修正フラクタルパラメータを構成する一手法を以下に提案する。
【００５１】
図２は図１のフラクタルパラメータ再構成回路２０の一実施形態の構成を示す。このフラクタルパラメータ再構成回路２０はパラメータテーブル２１と、ヒストグラム計算回路２３と、ヒストグラム離散化回路２２とから構成される。
【００５２】
パラメータテーブル２１は入力端子２４から入力されたフラクタルパラメータを初期値として保持する。また、ヒストグラム離散化回路２２の出力を、修正されたフラクタルパラメータとして現在保持している内容に上書きして保持する。
【００５３】
ヒストグラム計算回路２３は、上記パラメータテーブル２１に保持されているフラクタルパラメータから、それぞれのドメインセルがレンジセルによって使用された回数を計算し、ドメインセルの使用回数のヒストグラムを構成する。
【００５４】
ヒストグラム離散化回路２２は、ヒストグラム計算回路２３の出力を参照して、ドメインセルの使用回数のヒストグラムが、後述のフラクタル画像拡大回路３０を構成する画像メモリと復号器の速度比が１：Ａであるときに、この実数Ａ以下の正整数αによる除算に対する剰余が０になるものだけになるように、フラクタルパラメータを修正する。
【００５５】
上記の、パラメータテーブル２１からヒストグラム計算回路２３へのフラクタルパラメータの読み出し、ヒストグラム計算回路２３による処理、ヒストグラム離散化回路２２による処理、ヒストグラム離散化回路２２からパラメータテーブル２１への新たに抽出されたフラクタルパラメータの書き込み、という巡回する手順を、修正フラクタルパラメータのドメインセルの使用回数のヒストグラムがαによる除算に対する剰余が０になるものだけに収束した後、出力端子２５からパラメータテーブル２１の内容を修正フラクタルパラメータ（MFP)として出力する。
【００５６】
図７に、図２のヒストグラム離散化回路２２におけるヒストグラムの離散化を目的としたフラクタルパラメータの修正処理の工程（プロセス）を示す。ここでは、実用上の意味のある値としてαを２以上とする。
【００５７】
最初の手順（ステップ）１２２において、ｉは整数αによる除算に対する剰余を表す変数であって、１≦ｉ≦α−１の範囲の整数とする。この変数ｉを初期化する場合は、フラクタルパラメータについてヒストグラム離散化処理を行う場合である。初期化を行う場合は手順１２３に、初期化を行わない場合は手順１２４にそれぞれ分岐する。
【００５８】
手順１２３では、ｉ＝１とする。次に、手順１２４に進む。
【００５９】
手順１２４では、ヒストグラム計算回路２３の出力を参照して、ドメインセルの使用回数が、整数αによる除算に対する剰余がｉとなるドメインセルを一つ選択する。
【００６０】
次の手順１２５では、手順１２４で選択されたドメインセルを使用している一つまたは複数のレンジセルのうち、手順１２４で選択されたドメインセルとの２乗歪みの値が大きいものからｉ番目のものまでを選択する。
【００６１】
次の手順１２６では、手順１２５で選択されたレンジセルについて新たにフラクタルパラメータを抽出する。このとき、ドメインセルの候補となる領域は、ドメインセルの使用回数が、αによる除算に対する剰余がｉ以上でかつα−１以下になるもののうち、上記手順１２４で選択されたドメインセルを除いたドメインセルであるとする。またこのとき、上記のようなドメインセルが存在しない場合はフラクタルパラメータの抽出を行わない。
【００６２】
次の手順１２７では、ドメインセルの使用回数が、整数αによる除算に対する剰余がｉとなるドメインセルが全て選択されたか否かを判定し、選択されたならば手順１２８に、選択されていなければ手順１３１に分岐する。
【００６３】
手順１２８では、ｉ＝α−１であれば手順１２９に分岐し、ｉ≠α−１であれば手順１３０に分岐する。
【００６４】
手順１２９ではｉ＝１とする。次に手順１３１に進む。
【００６５】
手順１３０ではｉ＝ｉ＋１とする。次に手順１３１に進む。
【００６６】
手順１３１では手順１２６において抽出されたフラクタルパラメータを出力する。
【００６７】
なお、上記手順１２５における処理が、手順１２４で選択されたドメインセルを使用している一つまたは複数のレンジセルのうち、手順１２４で選択されたドメインセルとの２乗歪みの値が小さいものからｉ番目のものまでを選択するとしたフラクタルパラメータの修正処理の工程も考え得るが、その内容は容易に類推可能である。
【００６８】
以上説明した図１のフラクタルパラメータ再構成回路２０は、従来型のフラクタルパラメータを入力し再構成するものである。フラクタルパラメータ再構成回路２０から出力される修正フラクタルパラメータの差分２乗和の総和をさらに小さくするためには、フラクタルパラメータ抽出回路１０から出力される従来型のフラクタルパラメータに再構成のための前処理を施してから、フラクタルパラメータ再構成回路２０に入力することが有効であると考えられる。
【００６９】
以下に、図１のフラクタルパラメータ抽出回路１０で行われる、従来型のフラクタルパラメータに施す再構成のための前処理の一実施形態を説明する。
【００７０】
従来型のフラクタルパラメータ内のレンジセルに対応するドメインセルを第１候補とし、これに加えてレンジセルとの差分２乗和が２番目に小さいものを第２候補、３番目に小さいものを第３候補というように、例えば、第５候補まで新たに抽出する。
【００７１】
ドメインセルの使用頻度のヒストグラムを第１候補から第５候補までそれぞれ計算し、各ドメインセルについて第１候補から第５候補までの使用頻度の総和を計算する。このとき、使用頻度の総和がα回以上になる各ドメインセルについて以下の評価値を基準にして一つのドメインセルにつきα個のドメインセル候補の組を１組選択する。
【００７２】
ドメインセルが第１候補である場合は、当該ドメインセル候補の差分２乗和から第２ドメインセル候補の差分２乗和を引いたもの、ドメインセルが第２候補以降である場合は、当該ドメインセル候補の差分２乗和から第１ドメインセル候補の差分２乗和を引いたものを評価値とし、この評価値のα個の和を求め、この評価値の和が最小となる組み合わせを選択する。
【００７３】
このようにして選択されたそれぞれのドメインセルのα個組のうち、評価値の和が最小となるドメインセルのα個組に関しては、対応するレンジセルのドメインセルとして確定し、他の候補を消去する。
【００７４】
以上の操作をヒストグラムの総和がα個より小さいものばかりになるまで繰り返す。この繰り返しが終了した後、ドメインセルが確定していないレンジセルについて、対応するドメインセル候補の中の例えば第１候補をドメインセルとして確定し、第２から第５の候補を消去して前処理を完了する。
【００７５】
図８は図１のフラクタル画像拡大回路３０の一実施形態の構成を示す。このフラクタル画像拡大回路３０は画像メモリ３１と、バッファ回路３３と、復号器３２とから構成される。
【００７６】
画像メモリ３１は、復号処理に先立っての任意の初期画像の書き込みと、復号処理時のバッファ回路３３へのドメインセルデータの読み出しと、バッファ回路３３からの復号済みデータの書き込みとを行う。バッファ回路３３は、画像メモリ３１からのドメインセルデータの一時記憶と出力、および復号器３２からの復号済みデータの一時記憶と出力を行う。復号器３２は修正フラクタルパラメータの読み込み、ドメインセルデータの読み込み、修正フラクタルパラメータに基づくドメインセルデータに対する復号処理、および復号処理済みデータの出力を行う。ここで、画像メモリ３１と復号器３２の速度比は、一例として、１：６であるものとする。このため、画像メモリ３１は、復号器３２の動作クロックの１／６倍の周波数のクロックに同期してデータの入出力を行う。
【００７７】
図９は、図８の画像拡大回路３０の復号動作時のタイミングチャートの一例を示す。ここで復号器３２における処理のレーテンシーは無視している。クロックＡの周波数は上記のようにクロックＢの周波数の１／６倍である。画像メモリ３１はクロックＡに同期してデータの入出力を行い、復号器３２はクロックＢに同期して復号処理とデータの入出力を行う。
【００７８】
クロックＡの立ち上がり１に同期して、画像メモリ３１からバッファ回路３３へのドメインセルデータＤk の読み出しが完了する。ドメインセルデータＤk はレンジセルによって６回使用されるものとする。バッファ回路３３では、読み出したドメインセルデータＤk を復号器３２と同等の高速動作が可能な記憶素子に保持し、ドメインセルデータＤk の読み出しが完了した後、クロックＢに同期して６回連続して出力すると同時に、画像メモリ３１からのドメインセルデータＤi の読み出しと保持を実施する。
【００７９】
復号器３２では、バッファ回路３３から６回出力されたドメインセルデータＤk を順次取り込みながらドメインセルＤk を使用する６回の復号処理を順次行い、その復号結果Ｋ1 からＫ6 を出力期間３０１に出力する。
【００８０】
クロックＡの立ち上がり２に同期して画像メモリ３１からバッファ回路３３にドメインセルデータＤi の読み出しが完了する。ドメインセルデータＤi はレンジセルにより１２回使用されるとする。バッファ回路３３はドメインセルデータＤi の読み出しが完了した後、クロックＢに同期して１２回連続してドメインセルデータＤi を出力する。画像メモリ３１からのバッファ回路３３へのデータの読み出しはクロックＡの立ち上がり２から立ち上がり３までのクロックＡの１周期の期間は行わない。
【００８１】
復号器３２ではバッファ回路３３から１２回連続して出力されたドメインセルデータＤi を順次取り込みながら、ドメインセルＤi を使用する１２回の復号処理を順次行い、その復号結果Ｉ1 からＩ12を出力期間３０２に出力する。
【００８２】
クロックＡの立ち上がり３では、バッファ回路３３は、保持しているドメインセルデータＤi をクロックＢに同期して出力しながら、画像メモリ３１からドメインセルデータＤl の読み出しを開始する。
【００８３】
上記動作において、修正フラクタルパラメータでは、全てのドメインセルは６の倍数回程度レンジセルから使用される。ただし、入力画像中のレンジセルの総数がちょうど６の倍数でない場合は、６の倍数回よりも少ない回数で使用されるドメインセルが少なくとも１つは存在する。
【００８４】
図９の例では、ドメインセルが６回使用される場合と、１２回使用される場合の動作について、復号器３２が休止することなく連続して復号処理を行うことを説明したが、６回と１２回以外の６の倍数回の場合についても容易に類推が可能なので、ここでは説明を省略する。
【００８５】
図１０に図８の画像メモリ３１の一実施形態の構成を示す。画像メモリ３１は６つのバンクから構成されており、画像メモリ全体の容量は少なくとも拡大画像を記憶できる大きさである。それぞれのバンクの記憶容量は、画像メモリ全体の容量を均等に６に分割した大きさである。図１０中のＫ1 からＫ6 およびＩ1 からＩ12は、図９のＫ1 からＫ6 およびＩ1 からＩ12と同じ復号済みデータを示す。以下に復号処理済みデータの画像メモリ３１への書き込み動作について説明する。
【００８６】
復号器３２から順次出力される復号処理済みデータは、バッファ回路３３内において、復号済みデータの大きさを単位としたシリアル−パラレル変換を施される。すなわち、復号器３２の動作クロックに同期して順次出力された復号済みデータは一時的にバッファ回路３３内に記憶される。６つの復号処理済みデータＫ1 からＫ6 が全てバッファ回路３３内に保持された後、画像メモリ３１の動作クロックに同期してＫ1 からＫ6 の復号処理済みデータが同時にバッファ回路３３から読み出され、それぞれが画像メモリ３１のバンク１から６の同一アドレスに同時に書き込まれる。同様にして、復号器３２から出力されたＩ1 からＩ6 が全てバッファ回路３３内に保持された後、画像メモリのクロックに同期してＩ1 からＩ6 の復号処理済みデータが同時に読み出され、それぞれバンク１から６に同時に書き込まれる。その結果、図１０に示すように、例えばバンク１に記憶される復号処理済みデータは順にＫ1 ，Ｉ1 ，Ｉ7 …となる。
【００８７】
上記にように、同一のドメインセルから復号されたデータを６つずつの組として、一つの組の中の６つのデータを６つのバンクの同一アドレスに並べるので、画像メモリ３１内では入力画像がその入力順通りに記憶されるわけではなく、入力画像をレンジセルを単位として並び替えた状態で記憶される。このとき、ドメインセルはＢ×Ｂの大きさの４つのブロックに分割されていることになり、修正フラクタルパラメータでのドメインセルの位置の指定は、分割された４つのブロックのそれぞれのバンク番号とアドレスによって行われる。また、復号器３２は復号動作の後、収束した拡大画像において全てのレンジセルについて入力画像と同じ並びに並び替えを行いながら装置外部に出力する。
【００８８】
上記のように、画像メモリ３１と復号器３２の速度比が１：６の場合についてフラクタル画像拡大回路３０の動作を説明したが、速度比が１：６以外の場合についても、その動作の概要は容易に類推可能なのでここでは説明を省略する。
【００８９】
【実施例】
本発明による上記手法と前述の従来手法との性能の差を実際の計算機シミュレーションによって得た結果を用いて以下に示す。
【００９０】
まず、図１１に示す入力画像５００のフラクタルパラメータを、計算機シミュレーションによって抽出した。入力画像５００は画像の大きさは５１２×５１２ピクセル、画素の階調は８ビットのグレースケールである。フラクタルパラメータ抽出の条件は、ドメインセルサイズ８×８ピクセル、レンジセルサイズ４×４ピクセル、ドメインプールは入力画像全体で、幾何学変換はξ1 〜ξ8 のうちから１つを選択する、輝度変換は輝度値の一定量だけのシフトρ2 と輝度値のコントラスト変換ρ3 との組合わせのみを選択し、一定輝度値による置き換えρ1 は選択しない、とした。
【００９１】
このようにして抽出したフラクタルパラメータを本発明による上記手法により再構成し、修正フラクタルパラメータを生成した。このとき画像メモリと復号器の速度比は１：６とした。
【００９２】
ハードウェア記述言語により、従来方式のフラクタル画像拡大回路と本発明によるフラクタル画像拡大回路をそれぞれ記述し、従来方式のフラクタル画像拡大回路に上記抽出したフラクタルパラメータを、本発明によるフラクタル画像拡大回路に上記再構成した修正フラクタルパラメータをそれぞれ用いて、夫々のフラクタル画像拡大処理のシミュレーションを行った。このとき、入力画像に対し縦方向および横方向にそれぞれ１倍の拡大をした。また、それぞれ２倍の拡大をした。
【００９３】
その結果、本発明によるフラクタル画像拡大回路は従来手法の回路の約１／６のシミュレーション時間で拡大処理を完了した。
【００９４】
上記計算機シミュレーションによって生成した拡大画像の画質について以下に示す。
【００９５】
図１２に従来手法による縦方向、横方向それぞれ１倍の拡大画像５０１を示す。また、図１３に本発明による縦方向、横方向それぞれ１倍の拡大画像５０２を示す。
【００９６】
従来手法による拡大画像５０１と本発明の手法による拡大画像５０２を比較する。入力画像５００と従来手法による拡大画像５０１のＰＳＮＲは３７．１ｄＢであり、入力画像５００と本発明の手法による拡大画像５０２のＰＳＮＲは３５．５ｄＢであった。本発明による拡大画像の方が従来手法による拡大画像よりＰＳＮＲがわずかに小さいが、拡大画像５０１と拡大画像５０２において視覚的な違いはほとんど感じられない。
【００９７】
また、前述した前処理を施したフラクタルパラメータから再構成した修正フラクタルパラメータによる本発明の再生拡大画像では、入力画像に対する拡大画像のＰＳＮＲは３５．８ｄＢであった。このとき、前処理におけるドメインセルの候補は第１候補から第５候補までとした。前処理を行わない場合に対してＰＳＮＲの値が若干良くなっていることがわかる。
【００９８】
図１４に従来手法による縦方向、横方向それぞれ２倍の拡大画像５０３を示す。また、図１５に本発明の手法による縦方向、横方向それぞれ２倍の拡大画像５０４を示す。拡大画像５０３と拡大画像５０４を比較すると、本発明手法の拡大画像５０４が従来手法の拡大画像５０３に比べてわずかに劣化していると思われるが、視覚的にはほとんど目立たない。
【００９９】
上記のように、本発明では、フラクタル画像拡大回路を構成する画像メモリと復号器の速度比が１：αであるとき、画像拡大処理を従来手法に比較して約１／αの時間で完了できる。本発明によって生成された拡大画像は、従来手法の拡大画像に比較して厳密にはわずかながら劣化するが、視覚的には目立たない。従って、本発明は例えばＴＶ受信機でのリアルタイム画像拡大処理など、高速な画像拡大回路を必要とする応用に適している。
【０１００】
なお、本発明は装置にプログラムを供給することによって達成する場合にも適用できることは言うまでもない。この場合、本発明を達成するためのソフトウエアによって表されるプログラムを格納した記録媒体を装置に読み出すことによって、コンピュータを介してその装置が本発明の効果を享受することが可能になる。
【０１０１】
【発明の効果】
以上説明したように、本発明によれば、フラクタル処理を用いる画像拡大処理装置において、ドメインセルの読み出し回数を整数αの整数倍に離散化するようにしたので、フラクタル画像拡大実行部（復号器）と画像メモリとの間のデータ転送量を低減し、フラクタル拡大処理装置の高速化を可能とすることができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明による画像拡大処理装置の構成例を示すブロック図である。
【図２】本発明によるフラクタルパラメータ再構成回路の構成例を示すブロック図である。
【図３】従来のフラクタル画像拡大処理装置の構成を示すブロック図である。
【図４】従来のフラクタルパラメータ抽出の概念を示す模式図である。
【図５】従来のフラクタル画像拡大回路の構成例を示すブロック図である。
【図６】従来のフラクタル画像拡大回路の動作タイミングの例を示すタイミングチャートである。
【図７】本発明によるヒストグラム離散化回路の処理動作を示すフローチャートである。
【図８】本発明によるフラクタル画像拡大回路の構成例を示すブロック図である。
【図９】本発明によるフラクタル画像拡大回路の動作タイミングの例を示すタイミングチャートである。
【図１０】本発明による画像メモリの構成例を示すブロック図である。
【図１１】入力画像を示す中間調画像の写真である。
【図１２】従来のフラクタル画像拡大処理装置による縦方向、横方向それぞれ１倍の拡大画像の例を示す中間調画像の写真である。
【図１３】本発明によるフラクタル画像拡大処理装置による縦方向、横方向それぞれ１倍の拡大画像の例を示す中間調画像の写真である。
【図１４】従来のフラクタル画像拡大処理装置による縦方向、横方向それぞれ２倍の拡大画像の例を示す中間調画像の写真である。
【図１５】本発明によるフラクタル画像拡大処理装置による縦方向、横方向それぞれ２倍の拡大画像の例を示す中間調画像の写真である。
【符号の説明】
１０ フラクタルパラメータ抽出回路
２０ フラクタルパラメータ再構成回路
２１ パラメータテーブル
２２ ヒストグラム離散化回路
２３ ヒストグラム計算回路
３０ フラクタル画像拡大回路
３１ 画像メモリ
３２ 復号器
３３ バッファ回路
５０ フラクタルパラメータ抽出回路
６０ フラクタル画像拡大回路
６１ 画像メモリ
６２ 復号器
５００ 入力画像
５０１，５０２ 拡大画像
５０３、５０４ 拡大画像
【発明の属する技術分野】
本発明は、フラクタルパラメータを用いる画像拡大処理装置および方法並びに画像拡大処理制御プログラムを記録した記録媒体に関し、特にヒストグラムを用いたフラクタルパラメータの統合を行うことによって、画像拡大処理復号器とメモリとの間のデータ転送量を低減し、画像拡大処理装置を高速化する回路の構成技術に関する。
【０００２】
【従来の技術】
図３に、従来型のフラクタルパラメータを用いる画像拡大処理装置の構成例を示す。この従来回路はフラクタルパラメータ抽出回路５０とフラクタル画像拡大回路６０とから構成されている。入力端子３から入力された画像からフラクタルパラメータ抽出回路５０によって画像のフラクタルパラメータを抽出し、この抽出したフラクタルパラメータを用いてフラクタル画像拡大回路６０により拡大画像を構成し、出力端子４に拡大画像を出力する。
【０００３】
フラクタル画像拡大処理として、フラクタルパラメータの抽出を、画像を重なり合わないように分割する正方形の小領域ごとに行うものが提案されている（Arnaud E.Jacquin，“Image Coding Based on a Theory of Iterated Contractive Image Transformations”，IEEE Transactions on Image Processing,Vol.1,No.1,pp ．18-30 ，January 1992）。
【０００４】
図４は、上記提案された従来手法によるフラクタルパラメータ抽出の概念を表す図である。入力画像Ｉはまず、レンジセルと呼ばれる互いに重なり合わない正方形の小領域、例えばＢ×Ｂの大きさのブロックＲi に分割される。各々のレンジセルＲi に対しては、これを最も良く近似する縮小写像τi が入力画像Ｉの中から探索され、決定される。この縮小写像がレンジセルに対応するフラクタルパラメータである。
【０００５】
画像のフラクタルパラメータとは、レンジセル毎に決定された縮小写像τi の集まりと言える。縮小写像τi は、写像φi と写像θi との合成写像として定義される。
【０００６】
写像φi は、例えば、原画像の中から、２Ｂ×２Ｂの大きさのドメインセルと呼ばれるブロックＤj を切り出し、このドメインセルＤj を２×２の大きさのＢ2 個の互いに重なり合わない領域に分割し、各２×２の大きさの領域の中の平均値を書き並べたＢ×Ｂのブロックを生成する縮小変換である。この写像φi は、ドメインセルＤj の位置によって特徴づけられる。ドメインセルＤj の候補は、レンジセルＲi を取り囲むドメインプールと呼ばれる正方形の領域に含まれる２Ｂ×２Ｂの大きさの小領域に限定される。
【０００７】
写像θi は、例えば、輝度値変換と幾何学変換の合成写像である。輝度値変換は例えば、一定輝度値による置き換えρ1 、輝度値の一定量だけのシフトρ2 、輝度値のコントラスト変換ρ3 であり、幾何学変換は、例えば、０°，４５°，９０°，１３５°方向のセルの中心軸に対する４種類の鏡像変換ξ1 〜ξ4 とセルの中心点の回りの０°，９０°，１８０°，２７０°の４種類の回転変換ξ5 〜ξ8 である。
【０００８】
フラクタルパラメータ抽出回路５０では、各レンジセルＲi に対して、２乗歪みｄ（Ｒi ，θi φi （Ｉ））を最小とする写像θi と写像φi を決定し、そのときのドメインセルＤj の位置と、輝度変換ρ1 、もしくは輝度変換ρ2 およびρ3 と、幾何学変換ξ1 〜ξ8 の中から一つ選ばれたξをフラクタルパラメータとして抽出する。
【０００９】
抽出されたこのフラクタルパラメータから拡大画像を得るには、任意の初期画像に対して、レンジセルごとにフラクタルパラメータに記述されている縮小写像を適応し、画像を変換していく。このとき、例えば、入力画像の大きさに対して縦方向にｎ倍、横方向にｎ倍の拡大画像を構成する場合には、入力画像Ｉの大きさがＬ×Ｌとすると、拡大画像の初期画像の大きさをｎＬ×ｎＬ、レンジセルの大きさをｎＢ×ｎＢ、ドメインセルの大きさを２ｎＢ×２ｎＢとする。写像φi は、例えば、フラクタルパラメータに記述されているドメインセルの位置が座標（ｘd ，ｙd ）であるとすると、座標（ｎｘd ，ｎｙd ）により実施される。写像θi はフラクタルパラメータの記述に従って実施される。
【００１０】
上記変換を繰り返し適用することにより極限画像に収束させる。この極限画像が求める拡大画像である。
【００１１】
【発明が解決しようとする課題】
図５に、従来の上記フラクタル画像拡大回路６０の一例を示す。このフラクタル画像拡大回路６０は、画像メモリ６１と、復号器６２から構成されている。画像メモリ６１では、拡大処理を開始する前における任意の初期画像の書き込み、ドメインセルごとの読み出し、復号器６２の出力の書き込みが行われる。復号器６２はフラクタルパラメータを読み込み、読み込んだフラクタルパラメータの中に記述されたドメインセルの位置に基づいて画像メモリ６１からドメインセルを読み出し、読み出したドメインセルに対してフラクタルパラメータにより規定された縮小写像を行う復号処理を実行し、フラクタルパラメータに基づき画像メモリ６１のレンジセルの位置にその復号処理結果を書き込む。
【００１２】
一般に、復号器６２は画像メモリ６１の動作速度よりも高速な回路を構成することが可能である。例えば、復号器６２を最小加工幅０．５μｍ程度以下の先端的なプロセス技術を用いたＣＭＯＳ回路（相補型金属酸化膜半導体回路）により構成すると、その動作速度は２００ＭＨｚ以上となることが予想される。一方、画像メモリ６１を、例えばＴＶ映像信号の１フレーム分か、それ以上のディジタル画像信号を記憶するだけの記憶容量を廉価に実現することに適したダイナミックＲＡＭ（ランダムアクセスメモリ）で構成すると、標準的なデータの読み出しおよび書き込み速度は３０ＭＨｚ程度となる。
【００１３】
上記のように、例えば画像メモリ６１の動作周波数がｆであるとき、復号器６２の動作周波数はα×ｆ（αは正の整数）である、というように画像メモリ６１と復号器６２との間には１：αの速度比が生じる。
【００１４】
以下、α＝６の場合を例にして、上記のような画像メモリ６１と復号器６２の処理能力のアンバランスに起因する、画像拡大処理（復号処理）時に生じる冗長な動作について説明する。
【００１５】
図６は、図５の画像メモリ６１が周波数ｆのクロックであるクロックＡに同期して動作し、復号器６２が周波数６×ｆのクロックであるクロックＢに同期して動作する場合の復号処理動作例を示すタイミングチャートである。ただし、復号器６２内での処理のレーテンシー（待ち時間）は無視するものとする。図６において、Ｄi ，Ｄk およびＤj はドメインセルデータである。また、Ｉ，ＫおよびＪはそれぞれＤi ，Ｄk ，Ｄj の復号処理を実施されたデータである。
【００１６】
クロックＡの立ち上がり２に同期して、画像メモリ６１から復号器６２へのドメインセルデータＤi の読み出しが完了し、同時にドメインセルデータＤk の読み出しが開始される。復号器６２ではドメインセルデータＤi の読み出しが完了した後、ドメインセルデータＤi に対するフラクタルパラメータに基づく復号処理がなされ、この処理された結果が復号処理済みデータＩとして出力期間１０１に出力される。
【００１７】
クロックＡの立ち上がり３に同期して、画像メモリ６１から復号器６２へのドメインセルデータＤk の読み出しが完了し、その後、復号器６２ではドメインセルデータＤk に対して復号処理を行い、復号処理結果Ｋを期間１０２に出力する。出力期間１０１が終わってから出力期間１０２が開始するまでの休止期間１１１は復号処理済みデータを出力しない期間、すなわち復号器６２が復号動作を行わないで休止している期間である。
【００１８】
クロック４の立ち上がりでは、上記クロック３の立ち上がりでの画像メモリ６１と復号器６２の動作と同様にして、ドメインセルデータＤj の復号処理済みデータＪが休止期間１１２の後、期間１０３に出力される。
【００１９】
このように従来の復号処理では休止期間が生じていた。これは、従来のフラクタルパラメータのドメインセルの位置に関係している。すなわち、従来のフラクタルパラメータでは、ドメインセルの位置は、対応するレンジセルとの２乗歪みを最小にすることと、ドメインプール内に存在することという条件で決定されており、ドメインセル同士の位置の相関は考慮されていなかった。
【００２０】
このため、ドメインセルはその位置に特に規則性を持たずに分布することになり、復号動作においてはレンジセル毎にそのドメインセルデータを画像メモリから読み出す必要があった。その結果、復号処理においては上記のような休止期間が発生し、効率的な復号処理を行うフラクタル画像拡大回路の構成はこれまで困難であった。
【００２１】
本発明は、上述の事情に鑑みてなされたもので、その目的は、フラクタルパラメータを修正することにより、画像メモリから一旦読み出したドメインセルデータを整数αの倍数回、連続して使用して復号処理を行い、これによって復号処理を行わない期間を著しく減少させ、復号期間を最大１／αに短縮することにある。
【００２２】
【課題を解決するための手段】
上記目的を達成するため、本発明の画像拡大処理装置は、入力画像を適当な大きさのブロック（レンジセル）に分割し、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出するフラクタルパラメータ抽出回路と、前記フラクタルパラメータ抽出回路で抽出されたフラクタルパラメータを修正して再構成するフラクタルパラメータ再構成回路と、該フラクタルパラメータ再構成回路により修正されたフラクタルパラメータに基づく縮小変換と幾何学変換と輝度変換を繰り返し実施して、極限画像としての拡大画像を得るフラクタル画像拡大回路とを具備したことを特徴とする。
【００２３】
ここで、前記フラクタルパラメータ再構成回路は、前記フラクタルパラメータ抽出回路で抽出されたフラクタルパラメータを初期値として保持するパラメータテーブルと、該パラメータテーブルを参照してドメインセルの使用頻度に関するヒストグラムを計算するヒストグラム計算回路と、前記フラクタル画像拡大回路を構成する画像メモリと復号器の速度比が１：Ａの時、前記ヒストグラム計算回路の出力を参照して、ドメインセルの使用頻度が、前記実数Ａ以下の正整数αによる除算に対して剰余が０のものだけになるように、該ドメインセルの選択を変更するヒストグラム離散化処理と前記パラメータテーブルの書き換え処理とを行うヒストグラム離散化回路とを有するとすることができる。
【００２４】
さらに、前記ヒストグラム離散化回路は、前記ドメインセルの使用頻度が前記整数αによる除算に対して剰余が０でないドメインセルを選択するドメインセル選択手段と、該ドメインセル選択手段により選択したドメインセルのそれぞれについて、該ドメインセルを使用するレンジセルのうち、ドメインセルとの距離（差分２乗和）が大きいものから順に、該ドメインセルの使用頻度の前記αによる除算に対する剰余と同じ数だけのレンジセルを選択するレンジセル選択手段と、該レンジセル選択手段により選択したレンジセルのそれぞれについて、新たなドメインセルを決定するため、前記ドメインセル選択手段によって選択したドメインセルの中から、該選択したレンジセルが前記レンジセル選択手段において使用していたドメインセルを除いたドメインセルをドメインセルの候補として、フラクタルパラメータを抽出するフラクタルパラメータ抽出手段と、該フラクタルパラメータ抽出手段により抽出したフラクタルパラメータにより前記パラメータテーブルの内容を書き換えるパラメータテーブル書き換え手段とを有するとすることができる。
【００２５】
さらに、前記フラクタルパラメータ抽出回路は、入力画像を適当な大きさのブロック（レンジセル）に分割し、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出するフラクタルパラメータ生成手段と、前記入力画像を適当な大きさのブロック（レンジセル）に分割し、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出するフラクタルパラメータ生成手段により生成したフラクタルパラメータが指示するドメインセルを第１候補とし、これに加えてレンジセルとの差分２乗和が２番目に小さいものを第２候補、３番目に小さいものを第３候補というように、ドメインセルを第１候補から第ｎ候補まで新たに抽出する候補抽出手段と、ドメインセルが前記第１候補である場合は、当該ドメインセル候補の差分２乗和から第２候補の差分２乗和を引いた値を、ドメインセルが該第２候補以降である場合は、当該ドメインセル候補の差分２乗和から前記第１候補の差分２乗和を引いた値を計算しこれを評価値とする評価値計算手段と、ドメインセルの使用頻度のヒストグラムを第１候補から第ｎ候補までそれぞれ計算し、各ドメインセルについて該第１候補から該第ｎ候補までの使用頻度の総和のヒストグラムを計算する使用頻度の総和のヒストグラム計算手段と、該使用頻度の総和がα回以上になるドメインセルのそれぞれについて、α個以上のドメインセル候補の中から、前記評価値計算手段による評価値のα個分の和が最小となるα個のドメインセル候補を選択し、該選択した前記評価値計算手段による評価値のα個分の和が最小となるα個のドメインセル候補をα個で１組のドメインセル候補とし、該α個で１組のドメインセル候補の中から、前記評価値計算手段による評価値のα個分の和が最小となる１組のドメインセル候補を選択するドメインセル候補選択手段と、前記ドメインセル候補選択手段により選択されたα個のドメインセル候補を、前記ドメインセル候補選択手段により選択されたα個のドメインセル候補をドメインセル候補として持つレンジセルに対するドメインセルとしてそれぞれ確定し、該ドメインセルが確定したレンジセルについて、ドメインセルの第１候補から第ｎ候補のうちドメインセルとして確定したドメインセル候補以外の候補は消去するドメインセル確定手段と、以上の処理操作を使用頻度の総和がα個よりも小さいものばかりになるまで繰り返させる制御手段と、該制御手段により繰り返し処理が終了した後、ドメインセルが確定していないレンジセルのそれぞれについて、該ドメインセルが確定していないレンジセルのドメインセル候補のうちいずれか１つをドメインセルとして確定し、該確定したドメインセル候補以外の候補を消去するドメインセル確定手段と、を有し、前記入力画像を適当な大きさのブロック（レンジセル）に分割し、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出するフラクタルパラメータ生成手段によって生成するフラクタルパラメータに再構成のための前処理を施すとすることができる。
【００２６】
さらに、前記フラクタル画像拡大回路は、画像メモリとバッファ回路と復号器とを有し、前記画像メモリは、復号処理に先立っての任意の初期画像の書き込みと、復号処理時の前記バッファ回路へのドメインセルデータの読み出しと、該バッファ回路からの復号済みデータの書き込みとを行い、前記バッファ回路は、前記画像メモリからのドメインセルデータの一時記憶と出力、および前記復号器からの復号済みデータの一時記憶と出力を行い、前記復号器は、修正フラクタルパラメータの読み込み、ドメインセルデータの読み込み、修正フラクタルパラメータに基づくドメインセルデータに対する復号処理、および復号処理済みデータの出力を行うとすることができる。
【００２７】
また、本発明の画像拡大処理方法は、入力画像を適当な大きさのブロック（レンジセル）に分割し、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出するフラクタルパラメータ抽出手順と、前記フラクタルパラメータ抽出手順で抽出されたフラクタルパラメータを修正して再構成するフラクタルパラメータ再構成手順と、該フラクタルパラメータ再構成手順により修正されたフラクタルパラメータに基づく縮小変換と幾何学変換と輝度変換を繰り返し実施して、極限画像としての拡大画像を得るフラクタル画像拡大手順とを有することを特徴とする。
【００２８】
ここで、前記フラクタルパラメータ再構成手順は、前記フラクタルパラメータ抽出手順で抽出されたフラクタルパラメータを初期値として保持するパラメータテーブルを参照してドメインセルの使用頻度に関するヒストグラムを計算するヒストグラム計算手順と、前記フラクタル画像拡大手順で使用される画像メモリと復号器の速度比が１：Ａの時、前記ヒストグラム計算手順での出力を参照して、ドメインセルの使用頻度が、前記実数Ａ以下の正整数αによる除算に対して剰余が０のものだけになるように、該ドメインセルの選択を変更するヒストグラム離散化処理と前記パラメータテーブルの書き換え処理とを行うヒストグラム離散化手順とを有するとすることができる。
【００２９】
さらに、前記ヒストグラム離散化手順は、前記ドメインセルの使用頻度が前記整数αによる除算に対して剰余が０でないドメインセルを選択するドメインセル選択手順と、該ドメインセル選択手順により選択したドメインセルのそれぞれについて、該ドメインセルを使用するレンジセルのうち、ドメインセルとの距離（差分２乗和）が大きいものから順に、該ドメインセルの使用頻度の前記αによる除算に対する剰余と同じ数だけのレンジセルを選択するレンジセル選択手順と、該レンジセル選択手順により選択したレンジセルのそれぞれについて、新たなドメインセルを決定するため、前記ドメインセル選択手順によって選択したドメインセルの中から、該選択したレンジセルが前記レンジセル選択手順において使用していたドメインセルを除いたドメインセルをドメインセルの候補として、フラクタルパラメータを抽出するフラクタルパラメータ抽出手順と、該フラクタルパラメータ抽出手順により抽出したフラクタルパラメータにより前記パラメータテーブルの内容を書き換えるパラメータテーブル書き換え手順とを有するとすることができる。
【００３０】
さらに、前記フラクタルパラメータ抽出手順は、入力画像を適当な大きさのブロック（レンジセル）に分割し、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出するフラクタルパラメータ生成手順と、前記入力画像を適当な大きさのブロック（レンジセル）に分割し、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出するフラクタルパラメータ生成手順により生成したフラクタルパラメータが指示するドメインセルを第１候補とし、これに加えてレンジセルとの差分２乗和が２番目に小さいものを第２候補、３番目に小さいものを第３候補というように、ドメインセルを第１候補から第ｎ候補まで新たに抽出する候補抽出手順と、ドメインセルが前記第１候補である場合は、当該ドメインセル候補の差分２乗和から第２候補の差分２乗和を引いた値を、ドメインセルが該第２候補以降である場合は、当該ドメインセル候補の差分２乗和から前記第１候補の差分２乗和を引いた値を計算しこれを評価値とする評価値計算手順と、ドメインセルの使用頻度のヒストグラムを第１候補から第ｎ候補までそれぞれ計算し、各ドメインセルについて該第１候補から該第ｎ候補までの使用頻度の総和のヒストグラムを計算する使用頻度の総和のヒストグラム計算手順と、該使用頻度の総和がα回以上になるドメインセルのそれぞれについて、α個以上のドメインセル候補の中から、前記評価値計算手順による評価値のα個分の和が最小となるα個のドメインセル候補を選択し、該選択した前記評価値計算手順による評価値のα個分の和が最小となるα個のドメインセル候補をα個で１組のドメインセル候補とし、該α個で１組のドメインセル候補の中から、前記評価値計算手順による評価値のα個分の和が最小となる１組のドメインセル候補を選択するドメインセル候補選択手順と、前記ドメインセル候補選択手順により選択されたα個のドメインセル候補を、前記ドメインセル候補選択手順により選択されたα個のドメインセル候補をドメインセル候補として持つレンジセルに対するドメインセルとしてそれぞれ確定し、該ドメインセルが確定したレンジセルについて、ドメインセルの第１候補から第ｎ候補のうちドメインセルとして確定したドメインセル候補以外の候補は消去するドメインセル確定手順と、以上の処理操作を使用頻度の総和がα個よりも小さいものばかりになるまで繰り返させる制御手順と、該制御手順により繰り返し処理が終了した後、ドメインセルが確定していないレンジセルのそれぞれについて、該ドメインセルが確定していないレンジセルのドメインセル候補のうちいずれか１つをドメインセルとして確定し、該確定したドメインセル候補以外の候補を消去するドメインセル確定手順と、を有し、前記入力画像を適当な大きさのブロック（レンジセル）に分割し、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出するフラクタルパラメータ生成手順によって生成するフラクタルパラメータに再構成のための前処理を施すとすることができる。
【００３１】
さらに、前記フラクタル画像拡大手順は、画像メモリとバッファ回路と復号器とを使用し、前記画像メモリに対して、復号処理に先立っての任意の初期画像の書き込みと、復号処理時の前記バッファ回路へのドメインセルデータの読み出しと、該バッファ回路からの復号済みデータの書き込みとを行い、前記バッファ回路により、前記画像メモリからのドメインセルデータの一時記憶と出力、および前記復号器からの復号済みデータの一時記憶と出力を行い、前記復号器を用いて、修正フラクタルパラメータの読み込み、ドメインセルデータの読み込み、修正フラクタルパラメータに基づくドメインセルデータに対する復号処理、および復号処理済みデータの出力を行うとすることができる。
【００３２】
また、本発明の記録媒体は、コンピュータによって画像拡大処理を行うための制御プログラムを記録した記録媒体であって、該制御プログラムはコンピュータに、入力画像を適当な大きさのブロック（レンジセル）に分割させ、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施させたものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出させ、該抽出されたフラクタルパラメータを修正して再構成させ、該修正され再構成されたフラクタルパラメータに基づく縮小変換と幾何学変換と輝度変換を繰り返し実施させて、極限画像としての拡大画像を出力させることを特徴とする。
【００３３】
ここで、前記制御プログラムはコンピュータに、前記抽出されたフラクタルパラメータを初期値として保持するパラメータテーブルを参照してドメインセルの使用頻度に関するヒストグラムを計算させ、該計算結果を参照して、ドメインセルの使用頻度が整数αによる除算に対して剰余が０のものだけになるように、該ドメインセルの選択を変更するヒストグラム離散化処理と前記パラメータテーブルの書き換え処理とを行わせるとすることができる。
【００３４】
さらに、前記制御プログラムはコンピュータに、前記ドメインセルの使用頻度が前記整数αによる除算に対して剰余が０でないドメインセルを選択させ、該選択したドメインセルのそれぞれについて、該ドメインセルを使用するレンジセルのうち、ドメインセルとの距離（差分２乗和）が大きいものから順に、該ドメインセルの使用頻度の前記αによる除算に対する剰余と同じ数だけのレンジセルを選択させ、該選択したレンジセルのそれぞれについて、新たなドメインセルを決定させるため、前記選択したドメインセルの中から、該選択したレンジセルが使用していたドメインセルを除いたドメインセルをドメインセルの候補として、フラクタルパラメータを抽出させ、該抽出したフラクタルパラメータにより前記パラメータテーブルの内容を書き換えさせるとすることができる。
【００３５】
さらに、前記制御プログラムはコンピュータに、入力画像を適当な大きさのブロック（レンジセル）に分割させ、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施させたものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出させ、前記入力画像を適当な大きさのブロック（レンジセル）に分割させ、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報であるフラクタルパラメータが指示するドメインセルを第１候補とし、これに加えてレンジセルとの差分２乗和が２番目に小さいものを第２候補、３番目に小さいものを第３候補というように、ドメインセルを第１候補から第ｎ候補まで新たに抽出させ、ドメインセルが前記第１候補である場合は、当該ドメインセル候補の差分２乗和から第２候補の差分２乗和を引いた値を、ドメインセルが該第２候補以降である場合は、当該ドメインセル候補の差分２乗和から前記第１候補の差分２乗和を引いた値を計算させこれを評価値とさせ、ドメインセルの使用頻度のヒストグラムを第１候補から第ｎ候補までそれぞれ計算させ、各ドメインセルについて該第１候補から該第ｎ候補までの使用頻度の総和のヒストグラムを計算させ、該使用頻度の総和がα回以上になるドメインセルのそれぞれについて、α個以上のドメインセル候補の中から、前記評価値のα個分の和が最小となるα個のドメインセル候補を選択させ、該選択した前記評価値のα個分の和が最小となるα個のドメインセル候補をα個で１組のドメインセル候補とさせ、該α個で１組のドメインセル候補の中から、前記評価値のα個分の和が最小となる１組のドメインセル候補を選択させ、前記選択されたα個のドメインセル候補を、前記選択されたα個のドメインセル候補をドメインセル候補として持つレンジセルに対するドメインセルとしてそれぞれ確定させ、該ドメインセルが確定したレンジセルについて、ドメインセルの第１候補から第ｎ候補のうちドメインセルとして確定したドメインセル候補以外の候補は消去させ、以上の処理操作を使用頻度の総和がα個よりも小さいものばかりになるまで繰り返させ、該繰り返し処理が終了した後、ドメインセルが確定していないレンジセルのそれぞれについて、該ドメインセルが確定していないレンジセルのドメインセル候補のうちいずれか１つをドメインセルとして確定させ、該確定したドメインセル候補以外の候補を消去させるとすることができる。
【００３６】
さらに、前記制御プログラムはコンピュータに、画像メモリに対して、復号処理に先立っての任意の初期画像の書き込みと、復号処理時のバッファ回路へのドメインセルデータの読み出しと、該バッファ回路からの復号済みデータの書き込みとを行わせ、前記バッファ回路に対して、前記画像メモリからのドメインセルデータの一時記憶と出力、および前記復号器からの復号済みデータの一時記憶と出力を行わせ、前記復号器に対して、修正フラクタルパラメータの読み込み、ドメインセルデータの読み込み、修正フラクタルパラメータに基づくドメインセルデータに対する復号処理、および復号処理済みデータの出力を行わせるとすることができる。
【００３７】
本発明は、上記構成により、フラクタル画像拡大回路における復号回路と画像メモリと間の速度比に起因する復号回路の休止期間が、いったん画像メモリから読み出されたドメインセルデータをαの倍数回連続して使用して復号処理を実施することによって、著しく減少され、拡大回路の高速化を図ることができる。
【００３８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００３９】
図１は本発明による画像拡大処理装置の一実施形態の構成を示す。この画像拡大処理装置はフラクタルパラメータ抽出回路１０と、フラクタルパラメータ再構成回路２０と、フラクタル画像拡大回路３０とにより構成される。
【００４０】
フラクタルパラメータ抽出回路１０は、入力画像からフラクタルパラメータを抽出する。フラクタルパラメータ再構成回路２０は、フラクタルパラメータ抽出回路１０により抽出されたフラクタルパラメータの内容を修正して出力する。フラクタル画像拡大回路３０は、その修正されたフラクタルパラメータに基づき拡大画像を構成する。
【００４１】
フラクタルパラメータ抽出回路１０では、以下の手順でフラクタルパラメータを抽出する。
【００４２】
まず、Ｂ×Ｂの大きさのレンジセルＲi に対して、ドメインプールの中から２Ｂ×２Ｂの大きさで縦方向にＢ、横方向にＢづつずらしながら切り出した領域をそれぞれドメインセルの候補とする。
【００４３】
このドメインセルの候補に対し、順次、ドメインセル内の互いに重なり合わない２×２の大きさの領域の中の４つの画素の平均値を書き並べてＢ×Ｂのブロックを生成し、生成したＢ×Ｂのブロックに対して、８種類の幾何学変換ξ1 〜ξ8 を次々に実施し、それら変換済みのブロックに対して一定輝度値による置き換えρ1 か、または画素の輝度値がＰのときに、ρ3 ・Ｐ＋ρ2 で表せられるような輝度値の一定量だけのシフトρ2 と輝度値のコントラスト変換ρ3 か、のいずれかを施す。
【００４４】
次に、それら変換済みのブロックとレンジセルとの差分２乗和を計算し、最も差分２乗和が小さくなるように輝度変換としてρ1 か、またはρ3 とρ2 かを決定し、幾何学変換ξ1 〜ξ8 の中からひとつを決定する。
【００４５】
そのレンジセルのために準備された全てのドメインセル候補のうち、上記により計算された差分２乗和が最も小さいものをそのレンジセルのドメインセルとし、そのときのドメインセルの位置（座標）と上記により決定されたρ1 またはρ3 とρ2 の組、およびξとその時の差分２乗和の値を、そのレンジセルのフラクタルパラメータとする。
【００４６】
このフラクタルパラメータを決定する上記操作を入力画像のすべてのレンジセルに対して実施し、フラクタルパラメータを完成する。
【００４７】
上述のように、フラクタルパラメータ抽出回路１０で抽出されたフラクタルパラメータにおいては、差分２乗和が最小になるように各々のレンジセルに対してドメインセルが決定されている。これはすなわち、画像中の全てのレンジセルについての差分２乗和の総和がレンジセルとドメインセル候補の可能な組み合わせの中で最小になっているということである。差分２乗和の総和は、その総和の値が小さいほど、再生画像の画質が良くなる傾向があることが知られている。例えば、差分２乗和の総和が小さいほど、縦横１倍の拡大再生画像の入力画像に対するＰＳＮＲ（信号対雑音比：peak-to-peak signal-to-noise ratio）は大きくなることが多い。
【００４８】
フラクタルパラメータ再構成回路２０で生成される修正フラクタルパラメータにおいては、後述のフラクタル画像拡大回路３０を構成する画像メモリと復号器の速度比が１：αの時、ドメインセルの使用回数を整数αの倍数回に制限するため、必ずしも差分２乗和が最小となるブロックをドメインセルとして選択しない可能性があり、差分２乗和の総和は従来のフラクタルパラメータのそれに比較して大きくなることが予想される。この場合、全てのドメインセルの使用回数がαの倍数回となる組み合わせの中で差分２乗和の総和が最小となる組み合わせを修正フラクタルパラメータとすることが、画質の面から望ましい。
【００４９】
しかしながら、このような修正フラクタルパラメータを探索するために、全てのレンジセルに対するドメインセルの可能な組み合わせを検討することは、計算負荷の面から現実的ではない。例えば、入力画像の大きさを５１２×５１２ピクセル、レンジセルの大きさを４×４ピクセルとすると、レンジセル数は１６３８４個となる。今、各々のレンジセルに対して、差分２乗和の小さいものから順に、例えば１０個のドメインセル候補を準備すると仮定する。この場合、全てのレンジセルに対して１０個のドメインセル候補の中から１つを選択していく組み合わせは１０の１６３８４乗通りとなり、この全ての組み合わせに対して、全てのドメインセルの使用頻度がαの倍数回になっているかどうか、さらにαの倍数回になっていれば差分２乗和の総和が最小かどうか、を判定していく方法では、現在の計算機の能力では意味のある時間のうちに求める組み合わせを見つけることは困難である。
【００５０】
上記のことに鑑み、本発明では、フラクタルパラメータ再構成回路２０において、現実的な時間のうちに計算が終了し、かつ、従来のフラクタルパラメータによる再生画像と比較した場合にも大幅な画質劣化が起こらないような修正フラクタルパラメータを構成する一手法を以下に提案する。
【００５１】
図２は図１のフラクタルパラメータ再構成回路２０の一実施形態の構成を示す。このフラクタルパラメータ再構成回路２０はパラメータテーブル２１と、ヒストグラム計算回路２３と、ヒストグラム離散化回路２２とから構成される。
【００５２】
パラメータテーブル２１は入力端子２４から入力されたフラクタルパラメータを初期値として保持する。また、ヒストグラム離散化回路２２の出力を、修正されたフラクタルパラメータとして現在保持している内容に上書きして保持する。
【００５３】
ヒストグラム計算回路２３は、上記パラメータテーブル２１に保持されているフラクタルパラメータから、それぞれのドメインセルがレンジセルによって使用された回数を計算し、ドメインセルの使用回数のヒストグラムを構成する。
【００５４】
ヒストグラム離散化回路２２は、ヒストグラム計算回路２３の出力を参照して、ドメインセルの使用回数のヒストグラムが、後述のフラクタル画像拡大回路３０を構成する画像メモリと復号器の速度比が１：Ａであるときに、この実数Ａ以下の正整数αによる除算に対する剰余が０になるものだけになるように、フラクタルパラメータを修正する。
【００５５】
上記の、パラメータテーブル２１からヒストグラム計算回路２３へのフラクタルパラメータの読み出し、ヒストグラム計算回路２３による処理、ヒストグラム離散化回路２２による処理、ヒストグラム離散化回路２２からパラメータテーブル２１への新たに抽出されたフラクタルパラメータの書き込み、という巡回する手順を、修正フラクタルパラメータのドメインセルの使用回数のヒストグラムがαによる除算に対する剰余が０になるものだけに収束した後、出力端子２５からパラメータテーブル２１の内容を修正フラクタルパラメータ（MFP)として出力する。
【００５６】
図７に、図２のヒストグラム離散化回路２２におけるヒストグラムの離散化を目的としたフラクタルパラメータの修正処理の工程（プロセス）を示す。ここでは、実用上の意味のある値としてαを２以上とする。
【００５７】
最初の手順（ステップ）１２２において、ｉは整数αによる除算に対する剰余を表す変数であって、１≦ｉ≦α−１の範囲の整数とする。この変数ｉを初期化する場合は、フラクタルパラメータについてヒストグラム離散化処理を行う場合である。初期化を行う場合は手順１２３に、初期化を行わない場合は手順１２４にそれぞれ分岐する。
【００５８】
手順１２３では、ｉ＝１とする。次に、手順１２４に進む。
【００５９】
手順１２４では、ヒストグラム計算回路２３の出力を参照して、ドメインセルの使用回数が、整数αによる除算に対する剰余がｉとなるドメインセルを一つ選択する。
【００６０】
次の手順１２５では、手順１２４で選択されたドメインセルを使用している一つまたは複数のレンジセルのうち、手順１２４で選択されたドメインセルとの２乗歪みの値が大きいものからｉ番目のものまでを選択する。
【００６１】
次の手順１２６では、手順１２５で選択されたレンジセルについて新たにフラクタルパラメータを抽出する。このとき、ドメインセルの候補となる領域は、ドメインセルの使用回数が、αによる除算に対する剰余がｉ以上でかつα−１以下になるもののうち、上記手順１２４で選択されたドメインセルを除いたドメインセルであるとする。またこのとき、上記のようなドメインセルが存在しない場合はフラクタルパラメータの抽出を行わない。
【００６２】
次の手順１２７では、ドメインセルの使用回数が、整数αによる除算に対する剰余がｉとなるドメインセルが全て選択されたか否かを判定し、選択されたならば手順１２８に、選択されていなければ手順１３１に分岐する。
【００６３】
手順１２８では、ｉ＝α−１であれば手順１２９に分岐し、ｉ≠α−１であれば手順１３０に分岐する。
【００６４】
手順１２９ではｉ＝１とする。次に手順１３１に進む。
【００６５】
手順１３０ではｉ＝ｉ＋１とする。次に手順１３１に進む。
【００６６】
手順１３１では手順１２６において抽出されたフラクタルパラメータを出力する。
【００６７】
なお、上記手順１２５における処理が、手順１２４で選択されたドメインセルを使用している一つまたは複数のレンジセルのうち、手順１２４で選択されたドメインセルとの２乗歪みの値が小さいものからｉ番目のものまでを選択するとしたフラクタルパラメータの修正処理の工程も考え得るが、その内容は容易に類推可能である。
【００６８】
以上説明した図１のフラクタルパラメータ再構成回路２０は、従来型のフラクタルパラメータを入力し再構成するものである。フラクタルパラメータ再構成回路２０から出力される修正フラクタルパラメータの差分２乗和の総和をさらに小さくするためには、フラクタルパラメータ抽出回路１０から出力される従来型のフラクタルパラメータに再構成のための前処理を施してから、フラクタルパラメータ再構成回路２０に入力することが有効であると考えられる。
【００６９】
以下に、図１のフラクタルパラメータ抽出回路１０で行われる、従来型のフラクタルパラメータに施す再構成のための前処理の一実施形態を説明する。
【００７０】
従来型のフラクタルパラメータ内のレンジセルに対応するドメインセルを第１候補とし、これに加えてレンジセルとの差分２乗和が２番目に小さいものを第２候補、３番目に小さいものを第３候補というように、例えば、第５候補まで新たに抽出する。
【００７１】
ドメインセルの使用頻度のヒストグラムを第１候補から第５候補までそれぞれ計算し、各ドメインセルについて第１候補から第５候補までの使用頻度の総和を計算する。このとき、使用頻度の総和がα回以上になる各ドメインセルについて以下の評価値を基準にして一つのドメインセルにつきα個のドメインセル候補の組を１組選択する。
【００７２】
ドメインセルが第１候補である場合は、当該ドメインセル候補の差分２乗和から第２ドメインセル候補の差分２乗和を引いたもの、ドメインセルが第２候補以降である場合は、当該ドメインセル候補の差分２乗和から第１ドメインセル候補の差分２乗和を引いたものを評価値とし、この評価値のα個の和を求め、この評価値の和が最小となる組み合わせを選択する。
【００７３】
このようにして選択されたそれぞれのドメインセルのα個組のうち、評価値の和が最小となるドメインセルのα個組に関しては、対応するレンジセルのドメインセルとして確定し、他の候補を消去する。
【００７４】
以上の操作をヒストグラムの総和がα個より小さいものばかりになるまで繰り返す。この繰り返しが終了した後、ドメインセルが確定していないレンジセルについて、対応するドメインセル候補の中の例えば第１候補をドメインセルとして確定し、第２から第５の候補を消去して前処理を完了する。
【００７５】
図８は図１のフラクタル画像拡大回路３０の一実施形態の構成を示す。このフラクタル画像拡大回路３０は画像メモリ３１と、バッファ回路３３と、復号器３２とから構成される。
【００７６】
画像メモリ３１は、復号処理に先立っての任意の初期画像の書き込みと、復号処理時のバッファ回路３３へのドメインセルデータの読み出しと、バッファ回路３３からの復号済みデータの書き込みとを行う。バッファ回路３３は、画像メモリ３１からのドメインセルデータの一時記憶と出力、および復号器３２からの復号済みデータの一時記憶と出力を行う。復号器３２は修正フラクタルパラメータの読み込み、ドメインセルデータの読み込み、修正フラクタルパラメータに基づくドメインセルデータに対する復号処理、および復号処理済みデータの出力を行う。ここで、画像メモリ３１と復号器３２の速度比は、一例として、１：６であるものとする。このため、画像メモリ３１は、復号器３２の動作クロックの１／６倍の周波数のクロックに同期してデータの入出力を行う。
【００７７】
図９は、図８の画像拡大回路３０の復号動作時のタイミングチャートの一例を示す。ここで復号器３２における処理のレーテンシーは無視している。クロックＡの周波数は上記のようにクロックＢの周波数の１／６倍である。画像メモリ３１はクロックＡに同期してデータの入出力を行い、復号器３２はクロックＢに同期して復号処理とデータの入出力を行う。
【００７８】
クロックＡの立ち上がり１に同期して、画像メモリ３１からバッファ回路３３へのドメインセルデータＤk の読み出しが完了する。ドメインセルデータＤk はレンジセルによって６回使用されるものとする。バッファ回路３３では、読み出したドメインセルデータＤk を復号器３２と同等の高速動作が可能な記憶素子に保持し、ドメインセルデータＤk の読み出しが完了した後、クロックＢに同期して６回連続して出力すると同時に、画像メモリ３１からのドメインセルデータＤi の読み出しと保持を実施する。
【００７９】
復号器３２では、バッファ回路３３から６回出力されたドメインセルデータＤk を順次取り込みながらドメインセルＤk を使用する６回の復号処理を順次行い、その復号結果Ｋ1 からＫ6 を出力期間３０１に出力する。
【００８０】
クロックＡの立ち上がり２に同期して画像メモリ３１からバッファ回路３３にドメインセルデータＤi の読み出しが完了する。ドメインセルデータＤi はレンジセルにより１２回使用されるとする。バッファ回路３３はドメインセルデータＤi の読み出しが完了した後、クロックＢに同期して１２回連続してドメインセルデータＤi を出力する。画像メモリ３１からのバッファ回路３３へのデータの読み出しはクロックＡの立ち上がり２から立ち上がり３までのクロックＡの１周期の期間は行わない。
【００８１】
復号器３２ではバッファ回路３３から１２回連続して出力されたドメインセルデータＤi を順次取り込みながら、ドメインセルＤi を使用する１２回の復号処理を順次行い、その復号結果Ｉ1 からＩ12を出力期間３０２に出力する。
【００８２】
クロックＡの立ち上がり３では、バッファ回路３３は、保持しているドメインセルデータＤi をクロックＢに同期して出力しながら、画像メモリ３１からドメインセルデータＤl の読み出しを開始する。
【００８３】
上記動作において、修正フラクタルパラメータでは、全てのドメインセルは６の倍数回程度レンジセルから使用される。ただし、入力画像中のレンジセルの総数がちょうど６の倍数でない場合は、６の倍数回よりも少ない回数で使用されるドメインセルが少なくとも１つは存在する。
【００８４】
図９の例では、ドメインセルが６回使用される場合と、１２回使用される場合の動作について、復号器３２が休止することなく連続して復号処理を行うことを説明したが、６回と１２回以外の６の倍数回の場合についても容易に類推が可能なので、ここでは説明を省略する。
【００８５】
図１０に図８の画像メモリ３１の一実施形態の構成を示す。画像メモリ３１は６つのバンクから構成されており、画像メモリ全体の容量は少なくとも拡大画像を記憶できる大きさである。それぞれのバンクの記憶容量は、画像メモリ全体の容量を均等に６に分割した大きさである。図１０中のＫ1 からＫ6 およびＩ1 からＩ12は、図９のＫ1 からＫ6 およびＩ1 からＩ12と同じ復号済みデータを示す。以下に復号処理済みデータの画像メモリ３１への書き込み動作について説明する。
【００８６】
復号器３２から順次出力される復号処理済みデータは、バッファ回路３３内において、復号済みデータの大きさを単位としたシリアル−パラレル変換を施される。すなわち、復号器３２の動作クロックに同期して順次出力された復号済みデータは一時的にバッファ回路３３内に記憶される。６つの復号処理済みデータＫ1 からＫ6 が全てバッファ回路３３内に保持された後、画像メモリ３１の動作クロックに同期してＫ1 からＫ6 の復号処理済みデータが同時にバッファ回路３３から読み出され、それぞれが画像メモリ３１のバンク１から６の同一アドレスに同時に書き込まれる。同様にして、復号器３２から出力されたＩ1 からＩ6 が全てバッファ回路３３内に保持された後、画像メモリのクロックに同期してＩ1 からＩ6 の復号処理済みデータが同時に読み出され、それぞれバンク１から６に同時に書き込まれる。その結果、図１０に示すように、例えばバンク１に記憶される復号処理済みデータは順にＫ1 ，Ｉ1 ，Ｉ7 …となる。
【００８７】
上記にように、同一のドメインセルから復号されたデータを６つずつの組として、一つの組の中の６つのデータを６つのバンクの同一アドレスに並べるので、画像メモリ３１内では入力画像がその入力順通りに記憶されるわけではなく、入力画像をレンジセルを単位として並び替えた状態で記憶される。このとき、ドメインセルはＢ×Ｂの大きさの４つのブロックに分割されていることになり、修正フラクタルパラメータでのドメインセルの位置の指定は、分割された４つのブロックのそれぞれのバンク番号とアドレスによって行われる。また、復号器３２は復号動作の後、収束した拡大画像において全てのレンジセルについて入力画像と同じ並びに並び替えを行いながら装置外部に出力する。
【００８８】
上記のように、画像メモリ３１と復号器３２の速度比が１：６の場合についてフラクタル画像拡大回路３０の動作を説明したが、速度比が１：６以外の場合についても、その動作の概要は容易に類推可能なのでここでは説明を省略する。
【００８９】
【実施例】
本発明による上記手法と前述の従来手法との性能の差を実際の計算機シミュレーションによって得た結果を用いて以下に示す。
【００９０】
まず、図１１に示す入力画像５００のフラクタルパラメータを、計算機シミュレーションによって抽出した。入力画像５００は画像の大きさは５１２×５１２ピクセル、画素の階調は８ビットのグレースケールである。フラクタルパラメータ抽出の条件は、ドメインセルサイズ８×８ピクセル、レンジセルサイズ４×４ピクセル、ドメインプールは入力画像全体で、幾何学変換はξ1 〜ξ8 のうちから１つを選択する、輝度変換は輝度値の一定量だけのシフトρ2 と輝度値のコントラスト変換ρ3 との組合わせのみを選択し、一定輝度値による置き換えρ1 は選択しない、とした。
【００９１】
このようにして抽出したフラクタルパラメータを本発明による上記手法により再構成し、修正フラクタルパラメータを生成した。このとき画像メモリと復号器の速度比は１：６とした。
【００９２】
ハードウェア記述言語により、従来方式のフラクタル画像拡大回路と本発明によるフラクタル画像拡大回路をそれぞれ記述し、従来方式のフラクタル画像拡大回路に上記抽出したフラクタルパラメータを、本発明によるフラクタル画像拡大回路に上記再構成した修正フラクタルパラメータをそれぞれ用いて、夫々のフラクタル画像拡大処理のシミュレーションを行った。このとき、入力画像に対し縦方向および横方向にそれぞれ１倍の拡大をした。また、それぞれ２倍の拡大をした。
【００９３】
その結果、本発明によるフラクタル画像拡大回路は従来手法の回路の約１／６のシミュレーション時間で拡大処理を完了した。
【００９４】
上記計算機シミュレーションによって生成した拡大画像の画質について以下に示す。
【００９５】
図１２に従来手法による縦方向、横方向それぞれ１倍の拡大画像５０１を示す。また、図１３に本発明による縦方向、横方向それぞれ１倍の拡大画像５０２を示す。
【００９６】
従来手法による拡大画像５０１と本発明の手法による拡大画像５０２を比較する。入力画像５００と従来手法による拡大画像５０１のＰＳＮＲは３７．１ｄＢであり、入力画像５００と本発明の手法による拡大画像５０２のＰＳＮＲは３５．５ｄＢであった。本発明による拡大画像の方が従来手法による拡大画像よりＰＳＮＲがわずかに小さいが、拡大画像５０１と拡大画像５０２において視覚的な違いはほとんど感じられない。
【００９７】
また、前述した前処理を施したフラクタルパラメータから再構成した修正フラクタルパラメータによる本発明の再生拡大画像では、入力画像に対する拡大画像のＰＳＮＲは３５．８ｄＢであった。このとき、前処理におけるドメインセルの候補は第１候補から第５候補までとした。前処理を行わない場合に対してＰＳＮＲの値が若干良くなっていることがわかる。
【００９８】
図１４に従来手法による縦方向、横方向それぞれ２倍の拡大画像５０３を示す。また、図１５に本発明の手法による縦方向、横方向それぞれ２倍の拡大画像５０４を示す。拡大画像５０３と拡大画像５０４を比較すると、本発明手法の拡大画像５０４が従来手法の拡大画像５０３に比べてわずかに劣化していると思われるが、視覚的にはほとんど目立たない。
【００９９】
上記のように、本発明では、フラクタル画像拡大回路を構成する画像メモリと復号器の速度比が１：αであるとき、画像拡大処理を従来手法に比較して約１／αの時間で完了できる。本発明によって生成された拡大画像は、従来手法の拡大画像に比較して厳密にはわずかながら劣化するが、視覚的には目立たない。従って、本発明は例えばＴＶ受信機でのリアルタイム画像拡大処理など、高速な画像拡大回路を必要とする応用に適している。
【０１００】
なお、本発明は装置にプログラムを供給することによって達成する場合にも適用できることは言うまでもない。この場合、本発明を達成するためのソフトウエアによって表されるプログラムを格納した記録媒体を装置に読み出すことによって、コンピュータを介してその装置が本発明の効果を享受することが可能になる。
【０１０１】
【発明の効果】
以上説明したように、本発明によれば、フラクタル処理を用いる画像拡大処理装置において、ドメインセルの読み出し回数を整数αの整数倍に離散化するようにしたので、フラクタル画像拡大実行部（復号器）と画像メモリとの間のデータ転送量を低減し、フラクタル拡大処理装置の高速化を可能とすることができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明による画像拡大処理装置の構成例を示すブロック図である。
【図２】本発明によるフラクタルパラメータ再構成回路の構成例を示すブロック図である。
【図３】従来のフラクタル画像拡大処理装置の構成を示すブロック図である。
【図４】従来のフラクタルパラメータ抽出の概念を示す模式図である。
【図５】従来のフラクタル画像拡大回路の構成例を示すブロック図である。
【図６】従来のフラクタル画像拡大回路の動作タイミングの例を示すタイミングチャートである。
【図７】本発明によるヒストグラム離散化回路の処理動作を示すフローチャートである。
【図８】本発明によるフラクタル画像拡大回路の構成例を示すブロック図である。
【図９】本発明によるフラクタル画像拡大回路の動作タイミングの例を示すタイミングチャートである。
【図１０】本発明による画像メモリの構成例を示すブロック図である。
【図１１】入力画像を示す中間調画像の写真である。
【図１２】従来のフラクタル画像拡大処理装置による縦方向、横方向それぞれ１倍の拡大画像の例を示す中間調画像の写真である。
【図１３】本発明によるフラクタル画像拡大処理装置による縦方向、横方向それぞれ１倍の拡大画像の例を示す中間調画像の写真である。
【図１４】従来のフラクタル画像拡大処理装置による縦方向、横方向それぞれ２倍の拡大画像の例を示す中間調画像の写真である。
【図１５】本発明によるフラクタル画像拡大処理装置による縦方向、横方向それぞれ２倍の拡大画像の例を示す中間調画像の写真である。
【符号の説明】
１０ フラクタルパラメータ抽出回路
２０ フラクタルパラメータ再構成回路
２１ パラメータテーブル
２２ ヒストグラム離散化回路
２３ ヒストグラム計算回路
３０ フラクタル画像拡大回路
３１ 画像メモリ
３２ 復号器
３３ バッファ回路
５０ フラクタルパラメータ抽出回路
６０ フラクタル画像拡大回路
６１ 画像メモリ
６２ 復号器
５００ 入力画像
５０１，５０２ 拡大画像
５０３、５０４ 拡大画像
Claims (15)
- 入力画像を適当な大きさのブロック（レンジセル）に分割し、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出するフラクタルパラメータ抽出回路と、
前記フラクタルパラメータ抽出回路で抽出されたフラクタルパラメータを修正して再構成するフラクタルパラメータ再構成回路と、
該フラクタルパラメータ再構成回路により修正されたフラクタルパラメータに基づく縮小変換と幾何学変換と輝度変換を繰り返し実施して、極限画像としての拡大画像を得るフラクタル画像拡大回路と
を具備したことを特徴とする画像拡大処理装置。 - 前記フラクタルパラメータ再構成回路は、
前記フラクタルパラメータ抽出回路で抽出されたフラクタルパラメータを初期値として保持するパラメータテーブルと、
該パラメータテーブルを参照してドメインセルの使用頻度に関するヒストグラムを計算するヒストグラム計算回路と、
前記フラクタル画像拡大回路を構成する画像メモリと復号器の速度比が１：Ａの時、前記ヒストグラム計算回路の出力を参照して、ドメインセルの使用頻度が、前記実数Ａ以下の正整数αによる除算に対して剰余が０のものだけになるように、該ドメインセルの選択を変更するヒストグラム離散化処理と前記パラメータテーブルの書き換え処理とを行うヒストグラム離散化回路と
を有することを特徴とする請求項１に記載の画像拡大処理装置。 - 前記ヒストグラム離散化回路は、
前記ドメインセルの使用頻度が前記整数αによる除算に対して剰余が０でないドメインセルを選択するドメインセル選択手段と、
該ドメインセル選択手段により選択したドメインセルのそれぞれについて、該ドメインセルを使用するレンジセルのうち、ドメインセルとの距離（差分２乗和）が大きいものから順に、該ドメインセルの使用頻度の前記αによる除算に対する剰余と同じ数だけのレンジセルを選択するレンジセル選択手段と、
該レンジセル選択手段により選択したレンジセルのそれぞれについて、新たなドメインセルを決定するため、前記ドメインセル選択手段によって選択したドメインセルの中から、該選択したレンジセルが前記レンジセル選択手段において使用していたドメインセルを除いたドメインセルをドメインセルの候補として、フラクタルパラメータを抽出するフラクタルパラメータ抽出手段と、
該フラクタルパラメータ抽出手段により抽出したフラクタルパラメータにより前記パラメータテーブルの内容を書き換えるパラメータテーブル書き換え手段とを有することを特徴とする請求項２に記載の画像拡大処理装置。 - 前記フラクタルパラメータ抽出回路は、
入力画像を適当な大きさのブロック（レンジセル）に分割し、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出するフラクタルパラメータ生成手段と、
前記入力画像を適当な大きさのブロック（レンジセル）に分割し、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出するフラクタルパラメータ生成手段により生成したフラクタルパラメータが指示するドメインセルを第１候補とし、これに加えてレンジセルとの差分２乗和が２番目に小さいものを第２候補、３番目に小さいものを第３候補というように、ドメインセルを第１候補から第ｎ候補まで新たに抽出する候補抽出手段と、
ドメインセルが前記第１候補である場合は、当該ドメインセル候補の差分２乗和から第２候補の差分２乗和を引いた値を、ドメインセルが該第２候補以降である場合は、当該ドメインセル候補の差分２乗和から前記第１候補の差分２乗和を引いた値を計算しこれを評価値とする評価値計算手段と、
ドメインセルの使用頻度のヒストグラムを第１候補から第ｎ候補までそれぞれ計算し、各ドメインセルについて該第１候補から該第ｎ候補までの使用頻度の総和のヒストグラムを計算する使用頻度の総和のヒストグラム計算手段と、
該使用頻度の総和がα回以上になるドメインセルのそれぞれについて、α個以上のドメインセル候補の中から、前記評価値計算手段による評価値のα個分の和が最小となるα個のドメインセル候補を選択し、該選択した前記評価値計算手段による評価値のα個分の和が最小となるα個のドメインセル候補をα個で１組のドメインセル候補とし、該α個で１組のドメインセル候補の中から、前記評価値計算手段による評価値のα個分の和が最小となる１組のドメインセル候補を選択するドメインセル候補選択手段と、
前記ドメインセル候補選択手段により選択されたα個のドメインセル候補を、前記ドメインセル候補選択手段により選択されたα個のドメインセル候補をドメインセル候補として持つレンジセルに対するドメインセルとしてそれぞれ確定し、該ドメインセルが確定したレンジセルについて、ドメインセルの第１候補から第ｎ候補のうちドメインセルとして確定したドメインセル候補以外の候補は消去するドメインセル確定手段と、
以上の処理操作を使用頻度の総和がα個よりも小さいものばかりになるまで繰り返させる制御手段と、
該制御手段により繰り返し処理が終了した後、ドメインセルが確定していないレンジセルのそれぞれについて、該ドメインセルが確定していないレンジセルのドメインセル候補のうちいずれか１つをドメインセルとして確定し、該確定したドメインセル候補以外の候補を消去するドメインセル確定手段と、
を有し、前記入力画像を適当な大きさのブロック（レンジセル）に分割し、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出するフラクタルパラメータ生成手段によって生成するフラクタルパラメータに再構成のための前処理を施すことを特徴とする請求項１ないし３のいずれか１つに記載の画像拡大処理装置。 - 前記フラクタル画像拡大回路は、画像メモリとバッファ回路と復号器とを有し、
前記画像メモリは、復号処理に先立っての任意の初期画像の書き込みと、復号処理時の前記バッファ回路へのドメインセルデータの読み出しと、該バッファ回路からの復号済みデータの書き込みとを行い、
前記バッファ回路は、前記画像メモリからのドメインセルデータの一時記憶と出力、および前記復号器からの復号済みデータの一時記憶と出力を行い、
前記復号器は、修正フラクタルパラメータの読み込み、ドメインセルデータの読み込み、修正フラクタルパラメータに基づくドメインセルデータに対する復号処理、および復号処理済みデータの出力を行うことを特徴とする請求項１ないし４のいずれか１つに記載の画像拡大処理装置。 - 入力画像を適当な大きさのブロック（レンジセル）に分割し、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出するフラクタルパラメータ抽出手順と、
前記フラクタルパラメータ抽出手順で抽出されたフラクタルパラメータを修正して再構成するフラクタルパラメータ再構成手順と、
該フラクタルパラメータ再構成手順により修正されたフラクタルパラメータに基づく縮小変換と幾何学変換と輝度変換を繰り返し実施して、極限画像としての拡大画像を得るフラクタル画像拡大手順と
を有することを特徴とする画像拡大処理方法。 - 前記フラクタルパラメータ再構成手順は、
前記フラクタルパラメータ抽出手順で抽出されたフラクタルパラメータを初期値として保持するパラメータテーブルを参照してドメインセルの使用頻度に関するヒストグラムを計算するヒストグラム計算手順と、
前記フラクタル画像拡大手順で使用される画像メモリと復号器の速度比が１：Ａの時、前記ヒストグラム計算手順での出力を参照して、ドメインセルの使用頻度が、前記実数Ａ以下の正整数αによる除算に対して剰余が０のものだけになるように、該ドメインセルの選択を変更するヒストグラム離散化処理と前記パラメータテーブルの書き換え処理とを行うヒストグラム離散化手順と
を有することを特徴とする請求項６に記載の画像拡大処理方法。 - 前記ヒストグラム離散化手順は、
前記ドメインセルの使用頻度が前記整数αによる除算に対して剰余が０でないドメインセルを選択するドメインセル選択手順と、
該ドメインセル選択手順により選択したドメインセルのそれぞれについて、該ドメインセルを使用するレンジセルのうち、ドメインセルとの距離（差分２乗和）が大きいものから順に、該ドメインセルの使用頻度の前記αによる除算に対する剰余と同じ数だけのレンジセルを選択するレンジセル選択手順と、
該レンジセル選択手順により選択したレンジセルのそれぞれについて、新たなドメインセルを決定するため、前記ドメインセル選択手順によって選択したドメインセルの中から、該選択したレンジセルが前記レンジセル選択手順において使用していたドメインセルを除いたドメインセルをドメインセルの候補として、フラクタルパラメータを抽出するフラクタルパラメータ抽出手順と、
該フラクタルパラメータ抽出手順により抽出したフラクタルパラメータにより前記パラメータテーブルの内容を書き換えるパラメータテーブル書き換え手順とを有することを特徴とする請求項７に記載の画像拡大処理方法。 - 前記フラクタルパラメータ抽出手順は、
入力画像を適当な大きさのブロック（レンジセル）に分割し、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出するフラクタルパラメータ生成手順と、
前記入力画像を適当な大きさのブロック（レンジセル）に分割し、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出するフラクタルパラメータ生成手順により生成したフラクタルパラメータが指示するドメインセルを第１候補とし、これに加えてレンジセルとの差分２乗和が２番目に小さいものを第２候補、３番目に小さいものを第３候補というように、ドメインセルを第１候補から第ｎ候補まで新たに抽出する候補抽出手順と、
ドメインセルが前記第１候補である場合は、当該ドメインセル候補の差分２乗和から第２候補の差分２乗和を引いた値を、ドメインセルが該第２候補以降である場合は、当該ドメインセル候補の差分２乗和から前記第１候補の差分２乗和を引いた値を計算しこれを評価値とする評価値計算手順と、
ドメインセルの使用頻度のヒストグラムを第１候補から第ｎ候補までそれぞれ計算し、各ドメインセルについて該第１候補から該第ｎ候補までの使用頻度の総和のヒストグラムを計算する使用頻度の総和のヒストグラム計算手順と、
該使用頻度の総和がα回以上になるドメインセルのそれぞれについて、α個以上のドメインセル候補の中から、前記評価値計算手順による評価値のα個分の和が最小となるα個のドメインセル候補を選択し、該選択した前記評価値計算手順による評価値のα個分の和が最小となるα個のドメインセル候補をα個で１組のドメインセル候補とし、該α個で１組のドメインセル候補の中から、前記評価値計算手順による評価値のα個分の和が最小となる１組のドメインセル候補を選択するドメインセル候補選択手順と、
前記ドメインセル候補選択手順により選択されたα個のドメインセル候補を、前記ドメインセル候補選択手順により選択されたα個のドメインセル候補をドメインセル候補として持つレンジセルに対するドメインセルとしてそれぞれ確定し、該ドメインセルが確定したレンジセルについて、ドメインセルの第１候補から第ｎ候補のうちドメインセルとして確定したドメインセル候補以外の候補は消去するドメインセル確定手順と、
以上の処理操作を使用頻度の総和がα個よりも小さいものばかりになるまで繰り返させる制御手順と、
該制御手順により繰り返し処理が終了した後、ドメインセルが確定していないレンジセルのそれぞれについて、該ドメインセルが確定していないレンジセルのドメインセル候補のうちいずれか１つをドメインセルとして確定し、該確定したドメインセル候補以外の候補を消去するドメインセル確定手順と、
を有し、前記入力画像を適当な大きさのブロック（レンジセル）に分割し、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出するフラクタルパラメータ生成手順によって生成するフラクタルパラメータに再構成のための前処理を施すことを特徴とする請求項６ないし８のいずれか１つに記載の画像拡大処理方法。 - 前記フラクタル画像拡大手順は、画像メモリとバッファ回路と復号器とを使用し、
前記画像メモリに対して、復号処理に先立っての任意の初期画像の書き込みと、復号処理時の前記バッファ回路へのドメインセルデータの読み出しと、該バッファ回路からの復号済みデータの書き込みとを行い、
前記バッファ回路により、前記画像メモリからのドメインセルデータの一時記憶と出力、および前記復号器からの復号済みデータの一時記憶と出力を行い、
前記復号器を用いて、修正フラクタルパラメータの読み込み、ドメインセルデータの読み込み、修正フラクタルパラメータに基づくドメインセルデータに対する復号処理、および復号処理済みデータの出力を行うことを特徴とする請求項６ないし９のいずれか１つに記載の画像拡大処理方法。 - コンピュータによって画像拡大処理を行うための制御プログラムを記録した記録媒体であって、該制御プログラムはコンピュータに、
入力画像を適当な大きさのブロック（レンジセル）に分割させ、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施させたものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出させ、
該抽出されたフラクタルパラメータを修正して再構成させ、
該修正され再構成されたフラクタルパラメータに基づく縮小変換と幾何学変換と輝度変換を繰り返し実施させて、極限画像としての拡大画像を出力させることを特徴とする画像拡大処理制御プログラムを記録した記録媒体。 - 前記制御プログラムはコンピュータに、
前記抽出されたフラクタルパラメータを初期値として保持するパラメータテーブルを参照してドメインセルの使用頻度に関するヒストグラムを計算させ、
該計算結果を参照して、ドメインセルの使用頻度が整数αによる除算に対して剰余が０のものだけになるように、該ドメインセルの選択を変更するヒストグラム離散化処理と前記パラメータテーブルの書き換え処理とを行わせることを特徴とする請求項１１に記載の画像拡大処理制御プログラムを記録した記録媒体。 - 前記制御プログラムはコンピュータに、
前記ドメインセルの使用頻度が前記整数αによる除算に対して剰余が０でないドメインセルを選択させ、
該選択したドメインセルのそれぞれについて、該ドメインセルを使用するレンジセルのうち、ドメインセルとの距離（差分２乗和）が大きいものから順に、該ドメインセルの使用頻度の前記αによる除算に対する剰余と同じ数だけのレンジセルを選択させ、
該選択したレンジセルのそれぞれについて、新たなドメインセルを決定させるため、前記選択したドメインセルの中から、該選択したレンジセルが使用していたドメインセルを除いたドメインセルをドメインセルの候補として、フラクタルパラメータを抽出させ、
該抽出したフラクタルパラメータにより前記パラメータテーブルの内容を書き換えさせることを特徴とする請求項１２に記載の画像拡大処理制御プログラムを記録した記録媒体。 - 前記制御プログラムはコンピュータに、
入力画像を適当な大きさのブロック（レンジセル）に分割させ、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施させたものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報とをフラクタルパラメータとして抽出させ、
前記入力画像を適当な大きさのブロック（レンジセル）に分割させ、該レンジセルより大きいかまたは等しい面積を持つブロックの集合（ドメインプール）の要素（ドメインセル）に対し、縮小変換と幾何学変換と輝度変換を施したものと該レンジセルとの差分２乗和が最小となるドメインセルに対する縮小変換と幾何学変換と輝度変換と該ドメインセルを特定するための情報であるフラクタルパラメータが指示するドメインセルを第１候補とし、これに加えてレンジセルとの差分２乗和が２番目に小さいものを第２候補、３番目に小さいものを第３候補というように、ドメインセルを第１候補から第ｎ候補まで新たに抽出させ、
ドメインセルが前記第１候補である場合は、当該ドメインセル候補の差分２乗和から第２候補の差分２乗和を引いた値を、ドメインセルが該第２候補以降である場合は、当該ドメインセル候補の差分２乗和から前記第１候補の差分２乗和を引いた値を計算させこれを評価値とさせ、
ドメインセルの使用頻度のヒストグラムを第１候補から第ｎ候補までそれぞれ計算させ、各ドメインセルについて該第１候補から該第ｎ候補までの使用頻度の総和のヒストグラムを計算させ、
該使用頻度の総和がα回以上になるドメインセルのそれぞれについて、α個以上のドメインセル候補の中から、前記評価値のα個分の和が最小となるα個のドメインセル候補を選択させ、該選択した前記評価値のα個分の和が最小となるα個のドメインセル候補をα個で１組のドメインセル候補とさせ、該α個で１組のドメインセル候補の中から、前記評価値のα個分の和が最小となる１組のドメインセル候補を選択させ、
前記選択されたα個のドメインセル候補を、前記選択されたα個のドメインセル候補をドメインセル候補として持つレンジセルに対するドメインセルとしてそれぞれ確定させ、該ドメインセルが確定したレンジセルについて、ドメインセルの第１候補から第ｎ候補のうちドメインセルとして確定したドメインセル候補以外の候補は消去させ、
以上の処理操作を使用頻度の総和がα個よりも小さいものばかりになるまで繰り返させ、
該繰り返し処理が終了した後、ドメインセルが確定していないレンジセルのそれぞれについて、該ドメインセルが確定していないレンジセルのドメインセル候補のうちいずれか１つをドメインセルとして確定させ、該確定したドメインセル候補以外の候補を消去させることを特徴とする請求項１１ないし１３のいずれか１つに記載の画像拡大処理制御プログラムを記録した記録媒体。 - 前記制御プログラムはコンピュータに、
画像メモリに対して、復号処理に先立っての任意の初期画像の書き込みと、復号処理時のバッファ回路へのドメインセルデータの読み出しと、該バッファ回路からの復号済みデータの書き込みとを行わせ、
前記バッファ回路に対して、前記画像メモリからのドメインセルデータの一時記憶と出力、および前記復号器からの復号済みデータの一時記憶と出力を行わせ、
前記復号器に対して、修正フラクタルパラメータの読み込み、ドメインセルデータの読み込み、修正フラクタルパラメータに基づくドメインセルデータに対する復号処理、および復号処理済みデータの出力を行わせることを特徴とする請求項１１ないし１４のいずれか１つに記載の画像拡大処理制御プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17516997A JP3661964B2 (ja) | 1997-06-17 | 1997-06-17 | 画像拡大処理装置および方法並びに画像拡大処理制御プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17516997A JP3661964B2 (ja) | 1997-06-17 | 1997-06-17 | 画像拡大処理装置および方法並びに画像拡大処理制御プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH118758A JPH118758A (ja) | 1999-01-12 |
| JP3661964B2 true JP3661964B2 (ja) | 2005-06-22 |
Family
ID=15991477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17516997A Expired - Fee Related JP3661964B2 (ja) | 1997-06-17 | 1997-06-17 | 画像拡大処理装置および方法並びに画像拡大処理制御プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3661964B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019182175A1 (ko) * | 2018-03-21 | 2019-09-26 | (주)올림플래닛 | 3d 공간 왜곡 보정방법과 2d 이미지 보정방법을 결합한 실린더 디스플레이 표시 방법 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6141017A (en) * | 1998-01-23 | 2000-10-31 | Iterated Systems, Inc. | Method and apparatus for scaling an array of digital data using fractal transform |
| JP3882585B2 (ja) | 2001-11-07 | 2007-02-21 | 富士ゼロックス株式会社 | 画像処理装置およびプログラム |
| JP2012147252A (ja) * | 2011-01-12 | 2012-08-02 | Nippon Hoso Kyokai <Nhk> | 画像縮小装置及び画像拡大装置、並びにプログラム |
| JP5891916B2 (ja) * | 2012-04-09 | 2016-03-23 | 大日本印刷株式会社 | 画像拡大処理装置 |
-
1997
- 1997-06-17 JP JP17516997A patent/JP3661964B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019182175A1 (ko) * | 2018-03-21 | 2019-09-26 | (주)올림플래닛 | 3d 공간 왜곡 보정방법과 2d 이미지 보정방법을 결합한 실린더 디스플레이 표시 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH118758A (ja) | 1999-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5793985A (en) | Method and apparatus for block-based motion estimation | |
| JPH11502043A (ja) | フラクタル変換を使用するデジタルデータの圧縮伸張方法および装置 | |
| US6133923A (en) | Method and apparatus for texture data | |
| JPH04229321A (ja) | データ伸長システムとその方法及びデータ圧縮・伸長システム | |
| JPH069061B2 (ja) | 画像デ−タの平滑化方法 | |
| JP3661964B2 (ja) | 画像拡大処理装置および方法並びに画像拡大処理制御プログラムを記録した記録媒体 | |
| US7768521B2 (en) | Image processing apparatus and image processing method | |
| US6307969B1 (en) | Dynamic image encoding method and apparatus | |
| JP3242788B2 (ja) | 信号処理装置及び信号処理方法 | |
| US6373989B1 (en) | Iterated image transformation and decoding apparatus and method, and recording medium | |
| JPS6295670A (ja) | 画像処理装置 | |
| JPH07118002B2 (ja) | 画像処理装置 | |
| CN115952139B (zh) | 一种移动设备多帧三维图像处理方法及系统 | |
| CN116863261A (zh) | 图像处理方法、装置、终端、存储介质及程序产品 | |
| KR100966494B1 (ko) | 적응적 대표값을 이용한 영상 데이터 감축 방법 및 장치, 그 기록매체 | |
| JPH08275181A (ja) | 動画像データの復号装置 | |
| EP1008955A2 (en) | Apparatus and method for encoding by data rearrangement | |
| JP2633251B2 (ja) | 画像メモリ素子 | |
| CN117714810A (zh) | 图像生成装置、方法、电子设备及存储介质 | |
| CN115731248A (zh) | 一种图像分块并行处理方法和系统 | |
| JPH0537914A (ja) | 視覚特性利用の画像伝送システム | |
| US20020094126A1 (en) | Fractal image compression | |
| JP2003348526A (ja) | データ記録装置、データ記録再生装置、データ記録方法およびデータ記録再生方法 | |
| JPH1118084A (ja) | 画像圧縮装置 | |
| JPS62140549A (ja) | 画像編集処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050301 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050318 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050318 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090401 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100401 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110401 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120401 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |