JPH0962835A - 画像変換方法及び画像変換装置 - Google Patents

Abstract

(57)【要約】 【課題】 くっきりとした画像を得るとともに、ノイズ
除去やぼけ補正など画像の補正をする必要がある場合で
も、処理時間の増加を伴うことなく、画像の変換処理を
行う。 【解決手段】 複数の比較パターンＣｉのそれぞれに対
してパターン関連テーブル６により関連付けられた合成
パターンＱｊを用意しておき、入力画像Ａ中の入力ブロ
ックＩと、比較パターンＣｉとを比較して、最も入力ブ
ロックＩに近い比較パターンＣｉを最適パターンＣｓと
して選択し、この最適パターン番号ｓとパターン関連テ
ーブル６から合成パターン番号ｔを選び、対応する合成
パターンＱｔを取り出して合成ブロックＮを形成し、必
要に応じて、入力ブロックＩと最適パターンＣｓとの差
である最適誤差パターンＤｓと入力ブロックＩとにより
補正して出力ブロックＯを生成することにより、入力画
像の拡大及び縮小を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像の拡大、縮小
及び画質変換を行う画像変換方法及び画像変換装置に関
するものである。

【０００２】

【従来の技術】従来、画像を初めとする２次元の配列デ
ータを拡大するときには、線型補間、スプライン補間な
どのように、もともと画素データのない領域の画素デー
タを、回りの画素データと補間関数とから補間する方法
が用いられている。しかしながら、上記の処理では、画
像上の境界がぼやけてしまうために輪郭のはっきりした
鮮明な画像を出力させることが困難であった。

【０００３】上記の問題を解決するための装置および方
法として、特開平5-328185号に「ディジタルデータ変換
装置および方法」が開示されている。上記公報では、入
力画素値に対応させて、予め用意した補間関数の係数値
のマップデータを用意し、補間するべき領域周辺の入力
画素値に対して得られた係数を有する補間関数を用い
て、補間すべき画素データの値を計算している。

【０００４】つまり、補間すべき状況に応じた補間関数
を使用して、画像の解像度を向上させるものである。も
ちろん、予め用意するマップデータを補間すべき画像に
応じて変更すれば、さらに、この解像度を向上させるこ
とができる。

【０００５】

【発明が解決しようとする課題】しかしながら、上記公
報に示されたディジタルデータの変換方法を用いた場
合、補間される画素値が補間関数により生成されるた
め、関数で生成できない値を画素値として補間すること
が不可能となり、出力画像の表現力に制限が生じてしま
う。しかも、入力画像にノイズが混入していたりぼけが
生じている場合には、ノイズ除去、ぼけ補正専用の処理
を拡大補間処理の前後に追加する必要があるので、装置
の規模が大きくなり、コストが増大すると同時に、処理
時間も増大するという問題点が生じる。

【０００６】本発明は、上記従来の問題点を解決するた
めになされたもので、その目的は、単純な構成により高
画質の画像拡大・縮小処理や画質変換処理が高速に行え
る画像変換方法及び画像変換装置を提供することにあ
る。

【０００７】

【課題を解決するための手段】請求項１の発明に係る画
像変換方法は、上記の課題を解決するために、予め複数
の比較パターンと、各比較パターンに関連付けられた合
成パターンとを用意しておき、上記比較パターンと同じ
大きさに分割した入力画像の各入力ブロックと、上記比
較パターンとを比較して、比較パターンの中から最も各
入力ブロックに近い比較パターンをそれぞれの最適パタ
ーンとして選択し、この最適パターンに関連付けられた
合成パターンを用いて出力画像を形成することにより、
入力画像の拡大、縮小および画質変換を行うことを特徴
としている。上記の構成により、予め用意された合成パ
ターンを用いて、出力画像が形成されるので、画像の展
開、すなわち、拡大・縮小を高速に行うことができる。
しかも、出力画像は入力画像を直接拡大したものではな
いので、入力画像にノイズが含まれていても、出力画像
の画質への影響が少なくなり、特別なぼけ補正ノイズ除
去装置を設けなくても、画質の改善が可能となる。

【０００８】請求項２の発明に係る画像変換装置は、上
記の課題を解決するために、入力された画像の拡大また
は縮小および画質変換を行い出力する画像変換装置にお
いて、入力画像を所定の大きさに分割した各入力ブロッ
クとの比較に用いる比較パターンが複数蓄積された比較
パターン蓄積手段と、出力画像の一部として出力される
複数の合成パターンを蓄積する合成パターン蓄積手段
と、比較パターンと合成パターンとの関連を蓄積するパ
ターン関連テーブルと、入力画像から入力ブロックを順
次抜き出すアドレス制御手段と、上記入力ブロックと比
較パターン蓄積手段内の比較パターンとを比較し、最も
類似する最適パターンを選択するパターン選択手段と、
パターン関連テーブルに格納されたパターンテーブルを
用いて上記最適パターンに対応する合成パターンを合成
パターン蓄積手段内から読み出して合成ブロックとして
出力するパターン出力手段とが設けられていることを特
徴としている。上記の構成により、入力画像を分割した
入力ブロックのパターンに最も近い比較パターンに対応
する合成パターンから構成される合成ブロックを用いて
出力画像を形成する。つまり、予め用意された合成パタ
ーンの組み合わせにより、出力画像を形成するので、画
像の展開を高速に行うことができる。

【０００９】請求項３の発明に係る画像変換装置は、上
記の課題を解決するために、請求項２の構成に加えて、
上記合成パターンと比較パターンとが平均と標準偏差に
より正規化されているとともに、入力ブロックの平均と
標準偏差とから正規化した正規化ブロックを生成する正
規化手段が設けられ、上記パターン選択手段における比
較が、正規化されている比較パターンと上記正規化ブロ
ックにより行われる一方、上記パターン出力手段が、上
記パターンテーブルから得られる合成パターンの組み合
わせから上記入力ブロックの平均と標準偏差に基づいて
選択した最適パターンに適応する合成ブロックを生成
し、出力することを特徴としている。上記の構成によ
り、記憶させておく合成パターンの種類が少なくて済む
ので、合成パターン蓄積手段の記憶容量が小さく済むと
同時に、高解像度になるほど高速な画像変換が可能とな
る。

【００１０】請求項４の発明に係る画像変換装置は、上
記の課題を解決するために、請求項３の構成に加えて、
パターン選択手段が選択した最適パターンと、入力ブロ
ックとの差である誤差ブロックを計測する誤差計測手段
と、誤差ブロックを拡大または縮小または等倍して変換
誤差ブロックを生成する誤差ブロック変換手段と、入力
ブロックを拡大または縮小または等倍して変換入力ブロ
ックを生成する入力ブロック変換手段とが設けられてお
り、上記パターン出力手段が、合成ブロック、変換入力
ブロック、変換誤差ブロックを入力とする演算から出力
ブロックを生成・出力することを特徴としている。上記
の構成により、同一の合成パターンから得られる合成ブ
ロックであっても、入力ブロックと比較パターンとの誤
差ブロックにより合成ブロックの補正が可能となるの
で、同じ数の合成パターンを有している場合には、より
入力画像に近い出力画像が得られ、逆に、記憶させる合
成パターンの数を低減しても、得られる出力画像の画質
を保持することができる。

【００１１】請求項５の発明に係る画像変換装置は、上
記の課題を解決するために、請求項４の構成に加えて、
上記正規化ブロックの拡大または縮小及び画質補正を行
い、補正パターンを生成する画像変換手段と、上記誤差
ブロックが所定値より大きい場合には、比較パターン蓄
積手段に新たな比較パターンとして前記正規化ブロック
を追加し、合成パターン蓄積手段に新たな合成パターン
として補正パターンを追加し、さらに、上記正規化ブロ
ックと補正パターンとの関連をパターン関連テーブルに
追加するパターン更新手段が設けられていることを特徴
としている。上記の構成により、画像の拡大・縮小また
は画質補正時の入力ブロックから、比較パターン及び合
成パターンの作成・追加が行えるので、画像変換を行う
たびに、表現可能なパターンを増加させることにより、
より自然な画像変換が行えるようになる。

【００１２】

【発明の実施の形態】本発明の画像変換装置に係る実施
の一形態としての画像拡大補間装置について図１ないし
図５に基づいて説明すれば、以下の通りである。なお、
以下の説明では、画像拡大を前提として、出力画像に対
する入力画像の拡大率をｘ方向にｍ倍、ｙ方向にｎ倍と
し、入力ブロックの画素数をｘ方向にｋ個、ｙ方向にｌ
個としている。上記のｍ、ｎ、ｋ、ｌは任意の自然数を
設定することができるが、同図ではm=3 、n=2 、k=3 、
l=2 として表示している。また、縮小処理の場合は、以
下の処理における拡大処理を縮小処理に置き換えること
により容易に実現可能である。

【００１３】図１に示すように、上記画像拡大補間装置
において扱うデータは、入力画像Ａ（配列A(x,y)で示さ
れる。以下、括弧内は同様）、入力画像Ａの一部である
入力ブロックＩ（配列I(x,y)）、入力ブロックＩを平均
が０、標準偏差が１となるように正規化した正規化ブロ
ックＩ₂ ( 配列I₂(x,y))、出力ブロックＯ（配列O(x,
y)）、出力ブロックＯから得られた出力画像Ｂ（配列B
(x,y)）、正規化ブロックＩ₂ との比較を行う比較パタ
ーンＣｉ（配列Ci(x,y))、合成パターンＱｊ（配列Qj
(x,y))、合成ブロックＮ（配列N(x,y)）、各比較パター
ンＣｉと正規化ブロックＩ₂ との差である誤差パターン
Ｄｉ（配列Di(x,y))、比較パターンＣｉにおける最適パ
ターンＣｓと正規化ブロックＩ₂ との差である最適誤差
パターンＤｓ（配列Ds(x,y))、最適誤差パターンＤｓか
らなる誤差ブロックＤ（配列D(x,y)）、誤差ブロックＤ
を拡大した拡大誤差ブロックＬ（配列L(x,y)）、入力ブ
ロックＩを拡大した拡大入力ブロックＭ（配列M(x,y)）
がある。上記において、ｉ、ｊはインデックス番号を示
すものである。

【００１４】なお、上記でパターンあるいはブロックと
表記されているのは、便宜上、単にシステムで予め用意
されているデータあるいは基準となるデータを「パター
ン」と称し、画像に直接係わるデータを「ブロック」と
称しているもので、例えば、比較パターンＣｉと正規化
ブロックＩ₂ 等、直接の比較に係わる「パターン」及び
「ブロック」との間には、データ形式上の違いはない。

【００１５】また、上記データを扱う主要部として、比
較パターンＣｉと正規化ブロックＩ₂ とを比較するパタ
ーン比較回路２、比較パターンＣｉを記憶する比較パタ
ーン記憶装置３、パターン比較回路２で得られる最適パ
ターンＣｓと正規化ブロックＩ₂ との情報に基づき、比
較パターンＣｊと合成パターンＱｊとの対応を記録する
パターンテーブルと合成パターンＱｊとから合成ブロッ
クＮを出力するパターン選択生成回路４、上記合成パタ
ーンＱｊを記録する合成パターン記憶装置５、上記パタ
ーンテーブルを記憶するパターン関連テーブル６、さら
に、誤差ブロックＤを拡大誤差ブロックＬに変換する誤
差ブロック拡大回路７、入力ブロックＩを拡大入力ブロ
ックＭに変換する入力ブロック拡大回路８と、上記合成
ブロックＮに対して必要に応じて拡大誤差ブロックＬ、
拡大入力ブロックＭとを合成し、出力ブロックＯを生成
するブロック合成回路９が備えられている。さらに、図
示しないアドレス制御回路が本装置全体の時間的同期お
よび、入出力画像アドレス制御を行っている。

【００１６】なお、図１において、入力ブロックＩ、出
力ブロックＯ、拡大誤差ブロックＬ、合成ブロックＮ、
拡大入力ブロックＭ内に示されている数字は各ブロック
における対応画素位置の序数である。また、出力ブロッ
クＯ、拡大誤差ブロックＬ、合成ブロックＮ、拡大入力
ブロックＭ内に示された点線は、これら各ブロックのサ
イズの一例で、以下の説明では、図中実線で囲まれたサ
イズのものを各ブロックとして用いているが、点線で示
すように、ブロックの合成の際に隣接するブロックと重
なる領域を排除した大きさを上記各ブロックのサイズと
してもよい。これは、実線で囲まれたブロックサイズで
は書き込み時に隣接するブロックと重なる領域ができる
ため、出力画像Ｂを形成する際に無駄な書き込みをして
いることになるからである。しかし、元々、この重なる
領域は入力ブロックＩからの変換の際に生じるので、出
力画像Ｂの形成前にこの無駄な領域を削除するか否か
は、システムの条件に応じて、より処理の早い手法を選
択するなどすればよい。

【００１７】また、上記画像拡大補間装置内には画像パ
ターン分類装置が設けられており、必要に応じて、比較
パターンＣｉや合成パターンＱｊさらにはパターンテー
ブルを追加・更新が可能である。これにより、より精度
の高い拡大画像を得ることができるが、この画像パター
ン分類装置の構成及び動作については後述する。

【００１８】次に、上記画像拡大補間装置の動作及び処
理内容について、図２に基づいて説明する。以下の説明
において、次の関数を定義しておく。 ABS(X)：Ｘの絶対値 X<T ：ＸがＴ以上のときＸ＝Ｔ MAX(X)：配列Ｘ内要素の最大値 MIN(X)：配列Ｘ内要素の最小値 MED(X)：配列Ｘ内要素の中央値 SUM(X)：配列Ｘ内要素の合計値 また、座標、番号など、全ての序数は１から始まるもの
とする。

【００１９】図２のフロー図で示すように、まず、画像
拡大補間装置に拡大しようとする入力画像Ａが入力され
ると、アドレス制御回路が、入力画像Ａの一部で同時に
処理を行う領域を入力ブロックＩとして配列I(x,y)に転
送する（Ｓ１）。

【００２０】次に、アドレス制御回路の指示に基づき、
パターン比較回路２が、上記配列I(x,y)と、予め比較パ
ターン記憶装置３に蓄積されているcn個の各比較パター
ンＣｉの配列Ci(x,y)(i=1,2,…cn) とを比較して、比較
パターンＣｉの中から最適パターンＣｓを選択する（Ｓ
２）。

【００２１】この最適パターンＣｓの選択は、配列I
(x,y)の正規化、最適パターンＣｓの選択、計算結
果の出力の手順で行われる。このとき、配列I(x,y)の標
準偏差SIが所定の閾値Ｔ_SIより小さければの処理を省
略する。これは、極端な例であるが、入力ブロックＩの
全ての要素が同じ輝度データを有していれば、拡大され
た出力ブロックＯの全ての要素に同じ輝度データを与え
ればよく、この場合、最適パターンＣｓを設定すること
は無意味である。つまり、平坦な画像であれば、元の画
像データから得られる情報量が少なく、わざわざ最適パ
ターンＣｓを用いて補正する必要がない。そこで、入力
ブロックＩの配列I(x,y)において標準偏差SIが予め設定
しておいた閾値Ｔ_SI以下ならば、この入力ブロックＩに
ついては、補間処理を簡略にすることにより、効率よく
画像拡大処理を行うことが可能となる。なお、上記閾値
Ｔ_SIは、必要とする出力画像Ｂの解像度等に応じて適宜
設定してやればよい。

【００２２】上記した最適パターンＣｓの選択の各手順
について説明する。

【００２３】配列I(x,y)の正規化 まず、I(x,y)の平均MIを次式により求める。 MI=SUM(I(x,y))/(k*l) さらに、配列I(x,y)から得られた平均MIを引いて配列I₁
を求める。 I₁(x,y)=I(x,y)-MI この結果、配列I₁(x,y) の合計SUM(I₁(x,y))は０にな
る。そして、配列I₁(x,y) の標準偏差SIは次式で与えら
れる。 SI= (SUM(I₁(x,y)²) ^1/2 /(k*l) さらに、配列I₁(x,y) を上記標準偏差SIで割る。 I₂(x,y)=I₁(x,y) /SI これにより、配列I(x,y)から平均値=0、標準偏差=1とな
る正規化された配列I₂(x,y) 、すなわち、正規化ブロッ
クＩ₂ を得ることができる。

【００２４】最適パターンの選択 上記で得られた正規化ブロックＩ₂ の配列I₂(x,y) と比
較パターンＣｉの配列Ci(x,y) とを比較して、I₂(x,y)
に最も近いCi(x,y) を最適パターンＣｓの配列Cs(x,y)
として選択する。この選択処理の手順の一例として、全
探索による比較手法を例示して説明する。

【００２５】まず、配列I₂(x,y) と、全ての配列Ci(x,
y) との対応する各要素間の差を、誤差パターンＤｉの
配列Di(x,y) として計算する。 Di(x,y)=Ci(x,y)-I₂(x,y) 次に、全ての配列Ci(x,y) に対する配列I₂(x,y) の類似
度Eiを計算する。 Ei=SUM(Di(x,y)²) そして、全ての類似度Eiの内の最小値Esを得る配列Cs
(x,y) を最適パターンＣｓと呼び、このときのインデッ
クスを最適パターン番号ｓと呼ぶ。 Es=MIN(Ei) 類似度Eiとしては、上記式の他に、次に示す式を用いて
もよい。 Ei=SUM(ABS(Di(x,y))) Ei=MAX(Di(x,y)²) Ei=MAX(ABS(Di(x,y))) Ei=MED(Di(x,y)²) Ei=MED(ABS(Di(x,y))) また、上記の全探索手法による最適パターン探索以外
に、高速化手法を適用し、最終的に、類似度Eiを最小に
する最適パターン番号ｓか、予め決められた閾値以下と
なる最適パターン番号ｓを求めるのもよい。また、最適
パターンＣｓに対応する誤差パターンＤｉを最適誤差パ
ターンＤｓとして記憶する。

【００２６】なお、前記したように、上記で得られた標
準偏差SIが予め定められた閾値Ｔ_SIより小さければ、上
記の処理を行わない。このときには、最適パターン番号
ｓとして特殊番号０を設定し、で計算したI₁(x,y) を
最適誤差パターンＤｓとして記憶させる。

【００２７】計算結果の出力 パターン比較回路２は、で得られた入力ブロックＩ
の平均MI、配列I₁の標準偏差SI、最適パターン番号ｓを
パターン選択生成回路４に出力する。また、後述するよ
うに、ブロック合成回路９における処理で拡大入力ブロ
ックＭを用いる場合は、前記最適誤差パターンＤｓを誤
差ブロックＤとして配列D(x,y)に格納する。一方、Ｓ７
では、アドレス制御回路が格納した入力ブロックＩの配
列I(x,y)を、入力ブロック拡大回路８が予め決定された
拡大率で拡大し、拡大入力ブロックＭとして配列M(x,y)
に格納する。

【００２８】本装置では入力ブロックＩの要素数(k,l)=
(3,2) 、拡大率(m,n)=(3,2) であるので、拡大入力ブロ
ックＭの要素数の配列は、 (k×m-m+1, l×n-n+1)＝(3×3-3+1, 2×2-2+1)＝(7,3) となる。このとき用いる拡大手法としては、従来の線型
補間や、近傍の画素に同一値を代入する単純拡大などが
考えられる。なお、ここで説明している構成要素および
その処理は、後で述べるブロック合成回路９が、拡大入
力ブロックＭを必要としない場合には省略可能である。

【００２９】次に、パターン選択生成回路４では、Ｓ２
において入力された最適パターン番号ｓ、平均MI、標準
偏差SIに基づいて、合成ブロックＮを生成し、配列N(x,
y)に格納する（Ｓ３）。このときの処理を詳細に説明す
れば以下の通りである。 (1) 最適パターン番号ｓ＝０の場合は、以下の処理を行
わず、合成ブロックＮの配列N(x,y)の全要素を平均MIと
する。 (2) 最適パターン番号ｓ＞０の場合は、まず、最適パタ
ーン番号ｓに対する内部配列F(x,y)を、合成パターン記
憶装置５内の合成パターンＱｊの配列Qj(x,y)およびパ
ターン関連テーブル６を参照することにより作成する。
上記パターン関連テーブル６には、パターンテーブル１
やパターンテーブル２が次のような形式で記録されてい
る。

【００３０】

【表１】

【００３１】パターンテーブル１では、最適パターン番
号ｓに対して配列Qj(x,y) の候補を１対１に対応させて
記述する一方、パターンテーブル２では、最適パターン
番号ｓに対して複数の合成パターンとその合成比率を記
述している。後者の方式では、展開時の計算が複雑であ
るが、合成パターン記憶装置５内の記憶領域を節約する
ことができる。

【００３２】ここで、パターンテーブル１を用いる場
合、パターン選択生成回路４は、入力された最適パター
ン番号ｓに対応する合成パターン番号ｔをパターンテー
ブル１を参照することにより一時的に記憶し、この合成
パターン番号ｔに対応する合成パターンＱｔを合成パタ
ーン記憶装置５より読み出し、内部配列F(x,y)に格納す
る。上記の場合、例えば、最適パターン番号として２が
与えられれば、合成パターン番号ｔ＝３であるから、合
成パターン記憶装置５より合成パターンQ₃(x,y) が取り
出され、内部配列F(x,y)に格納される。また、パターン
テーブル２を用いる場合、パターン選択生成回路４は、
入力した最適パターン番号ｓに対応する合成パターン番
号群ｔｊ(rj)（rjは合成比率）をパターンテーブル２を
参照することにより一時的に記憶し、この合成パターン
番号群ｔｊ(rj)に対応する合成パターンＱtjを合成パタ
ーン記憶装置５より読み出し、次式により内部配列F(x,
y)の数値を計算する。 F(x,y)= Σj(rj*Qtj(x,y))/100 (3) 上記処理により得られたF(x,y)を次式に代入して、
合成ブロックＮを作成し、配列N(x,y)に格納する。 N(x,y)=F(x,y)*SI+MI 一方、Ｓ６では、誤差ブロック拡大回路７が、パターン
選択生成回路４が格納した誤差ブロックＤの配列D(x,y)
を予め決定された拡大率で拡大誤差ブロックＬとして、
配列L(x,y)に格納する。拡大誤差ブロックＬの要素数、
拡大率、拡大手法とも、前記Ｓ７における手法と同一で
あるので詳細は説明しない。また、これらの構成要素お
よびその処理は、後で述べるブロック合成回路９が拡大
誤差ブロックＬを必要としない場合は省略可能である点
についても同様である。そして、ブロック合成回路９で
は、上記で得られた合成ブロックＮ及び拡大入力ブロッ
クＭ、拡大誤差ブロックＬを用いて、出力ブロックＯを
合成、生成する（Ｓ４）。

【００３３】以下に、Ｓ４におけるブロック合成回路９
の処理手順について、幾つかを例に挙げて説明する。以
下のどの処理を行うかは、予め設定しておくか、外部か
らの指示により切り換えればよいが、必要としない処理
があれば、その処理に関する構成は、装置から適宜省略
することができる。

【００３４】［処理例１］合成ブロックＮの配列N(x,y)
の内容をそのまま出力ブロックＯの配列O(x,y)として出
力する。この動作が選択された場合は、誤差ブロック拡
大回路７、誤差ブロックＤ、拡大誤差ブロックＬ、入力
ブロック拡大回路８、拡大入力ブロックＭは不要であ
る。

【００３５】［処理例２］合成ブロックＮの配列N(x,y)
と、拡大誤差ブロックＬの配列L(x,y)を参照し、次式に
より出力ブロックＯの配列O(x,y)を計算し出力する。 O(x,y)=N(x,y)-λL(x,y) ここで、λは外部より指定可能な任意の値を取る変数
で、通常０から１までの値を指定する。この動作が選択
された場合は、入力ブロック拡大回路８、拡大入力ブロ
ックＭは不要である。

【００３６】［処理例３］合成ブロックＮの配列N(x,y)
と、拡大誤差ブロックＬの配列L(x,y)、拡大入力ブロッ
クＭの配列M(x,y)を参照し、次式により出力ブロックＯ
の配列O(x,y)を計算し出力する。 O(x,y)=(1-λ(x,y))*N(x,y)+λ(x,y)*M(x,y) ここで、λ(x,y) は、N,M と同数の要素数を持ち、N(x,
y)とM(x,y)の合成比率を示すパラメーター配列である。
λの各要素は０から１の値をとる。なお、λの各要素は
外部により指定可能な変数としてもよいし、また、次式
により、拡大誤差ブロック配列L(x,y)を参照して計算し
てもよい。 λ(x,y)=(ABS(L(x,y))<Tl)/Tl λ(x,y)=((L(x,y)²)<Tl)/Tl ただし、上記Tlは、予め決められた誤差の閾値とする。
この動作が選択された場合において、λの各要素を外部
から指定する場合には誤差ブロック拡大回路７、誤差ブ
ロックＤ、拡大誤差ブロックＬは不要となる。

【００３７】最後にアドレス制御回路は、ブロック合成
回路９が生成した出力ブロックＯの配列O(x,y)を、出力
画像Ｂの一部として出力する（Ｓ５）。このときに、入
力画像Ａ全体を拡大して出力画像Ｂとするために、複数
の入力ブロックＩを処理する必要がある。この処理はア
ドレス制御回路で行われており、この処理を行う際の入
力ブロックＩ及び出力ブロックＯの配置方法に関して、
図３に基づいて説明する。

【００３８】出力画像Ｂは全ての出力ブロックＯで埋め
尽くされる必要があり、例えば、図３（ａ）に示すよう
に、入力画像Ａを入力ブロックとしてタイリングパター
ンに分割し、それぞれ拡大したものを同様に出力画像Ｂ
として構成する従来のブロック化符号で行われている方
法や、図３（ｂ）に示すように、入力画像Ａ′の隣接す
るブロック間に重なりを持たせた入力ブロックとして、
出力画像Ｂ′も同様に隣接する出力ブロックＯ間に重な
りをもたせて構成する場合が存在する。

【００３９】そこで、入力ブロックＩと出力ブロックＯ
の位置関係は、入力ブロックＩの左上画素（例えば、図
１の入力ブロックＩにおける１の領域）の入力画像Ａ上
での座標を(x,y) 、出力ブロックＯの左上画素（例え
ば、図１の出力ブロックＯにおける１の領域）の出力画
像Ｂ上での座標を(X,Y) として、 (X,Y)=((x-1)*m+1,(y-1)*n+1) または、これに近い数値とすることが望ましい。

【００４０】なお、入出力画像に対するブロックの処理
順の一例を図３内の番号で示した。この例ではラスタ順
に処理を行っているが、これは、本装置に接続される外
部入出力装置の都合で行って差し支えない。

【００４１】また、上記では、モノクロ濃淡画像を対象
とした実施例を述べたが、カラー画像の場合は、以下の
構成により実現可能である。

【００４２】入力画像がＹ（輝度）と色情報（ＩＱ、
色差など）で記述されている場合。

【００４３】(a) Ｙ及び色情報の各プレーンで独立に、
本発明に係る方法で画像変換処理を行う。 (b) Ｙプレーンのみ本発明による画像変換処理を行い、
色情報プレーンでは、従来の画像拡大縮小処理を行う。 入力画像がＲＧＢで記述されている場合。 (a) ＲＧＢプレーンで独立に本発明による画像変換処理
を行う。 (b) ＲＧＢをＹＩＱ、Ｙ色差などの記述に変換した後、
の処理を行う。

【００４４】次は画像パターン分類装置の構成及びその
処理手順について説明する。前記したように上記の画像
変換装置においては、出力画像の合成に用いる合成パタ
ーンを追加・更新可能な画像パターン分類装置が設けら
れており、この画像パターン分類装置を用いて、合成パ
ターンＱｊを、パターン比較回路２で選択する最適パタ
ーンＣｓを高画質に拡大したパターンを追加設定してや
れば、出力画像の画質を改善することが可能となる。実
際には、入力ブロックＩと全ての比較パターンＣｉとの
類似度Ｅｉの最小値が所定の閾値より大きい場合に、こ
れを新しいパターンと見なして、比較パターンＣｉに追
加するとともに、このデータを拡大補正して、新たに合
成パターン記憶装置５に合成パターンＱｊとして追加す
る。そして、この合成パターンＱｊと比較パターンＣｉ
との対応を関連付けてパターン関連テーブル６に記憶さ
せている。

【００４５】上記の画像パターン分類装置において、比
較パターンＣｉ及び合成パターンＱｊを作成するための
構成及びその処理手順を、図４及び図５に基づいて以下
に説明する。図４に示すように、画像パターン分類装置
において扱うデータは、画像拡大時に用いた入力画像
Ａ、入力ブロックＩ、比較パターンＣｉ、合成パターン
Ｑｊの他に正規化ブロックＩ₃(配列I₃(x,y))、拡大正規
化ブロックＳ（配列S(x,y)）、拡大補正ブロックＲ（配
列R(x,y)）を使用する。なお、同図において、入力ブロ
ックＩ、拡大正規化ブロックＳ、拡大補正ブロックＲ内
に示された数字は各ブロックにおける対応画素位置の序
数である。

【００４６】また、上記データを扱う主要部として、前
記のパターン比較回路２、比較パターン記憶装置３、パ
ターンテーブルを記憶するパターン関連テーブル６、複
数種類の補正ブロックからなる合成パターンＱｊを記憶
する合成パターン記憶装置５がある。そして、画像パタ
ーンの作成・追加を含む分類を行うために比較パターン
記憶装置３、合成パターン記憶装置５及びパターン関連
テーブル６内にそれぞれ格納されている比較パターンＣ
ｉ、合成パターンＱｊ及びパターンテーブルの更新登録
を行うＣＰＵ２２と、正規化ブロックＩ₃ を拡大正規化
ブロックＳに変換する正規化ブロック拡大回路２５、拡
大正規化ブロックＳの画質補正を行い拡大補正ブロック
Ｒに変換する画質補正回路２６が設けられている。な
お、前記したように画像拡大補間装置における時間的同
期および、入出力画像のアドレス制御はアドレス制御回
路が行っており、もちろん画像パターン分類装置もこの
アドレス制御回路によって制御されている。

【００４７】以上のように、画像パターン分類装置は画
像変換装置内においては、画像変換機能と重複する構成
を共用しているが、独立して構成させることも可能であ
るので、ここでは、便宜上、画像パターン分類装置と称
している。

【００４８】上記構成に基づいて画像パターン分類装置
の動作及び処理内容について、図４及び図５に基づいて
説明する。なお、以下では、既に蓄えられている比較パ
ターンＣｉと合成パターンＱｊに、新たにパターンを追
加する際の処理のみを説明するが、新規に作成する場合
であっても、単に既存のパターンが存在していないもの
と考えれば、処理上における大きな違いはないと言え
る。

【００４９】まず、対象となる入力画像Ａが外部から入
力される。これを初期化と呼ぶ（Ｓ１１）。次に、アド
レス制御回路が、入力画像Ａ中の任意の領域を入力ブロ
ックＩとして配列I(x,y)に格納する（Ｓ１２）。そし
て、前記と同様パターン比較回路２では入力ブロックＩ
をその平均、標準偏差で正規化し、平均MI、標準偏差S
I、内部配列I₂を計算する（Ｓ１３）。さらに、Ｓ１３
で得られた標準偏差SIと、予め設定された閾値T₀を比較
する（Ｓ１４）。この閾値T₀は前出の閾値Ｔ_SIと同様の
意味を示す値であり、T₀=Tsiと考えてよい。ここでSI＞
T₀の場合、Ｓ１５に進むが、SI≦T₀ならばＳ２０の終了
判定処理を行う。これも前述したが、SI≦T₀であれば、
拡大処理を行うまでもないので、SI≦T₀となる入力ブロ
ックＩを新たな比較パターンＣｉとして取り込むことは
意味がなく、ここで閾値T₀による選別を行っている。

【００５０】Ｓ１５では、パターン比較回路２におい
て、内部配列I₂(x,y) と、比較パターン記憶装置３内の
既存の全ての比較パターンＣｉの配列Ci(x,y) との比較
を行うとともに、誤差Eiを計算し、その最小値である最
小誤差Emを求める。上記で求めた最小誤差Emと、予め外
部から与えられた誤差の閾値T₁とを比較すし、Em＞T₁の
場合は、入力ブロックＩの有する画像パターンが既存の
比較パターンＣｉに存在しないと判断し、内部配列I
₂(x,y) の内容を、正規化ブロックＩ₃として配列I₃(x,
y) に格納し（Ｓ１６）、以後の処理を続けるが、Em≦T
₁ならば、この入力ブロックＩの有する画像パターンに
近い比較パターンＣｉが既に比較パターン記憶装置３内
に存在していると言えるので、比較パターン記憶装置３
に上記画像パターンを追加せずにＳ２０に進んで終了判
定処理を実行する。

【００５１】一方、上記Ｓ１６で得られた正規化ブロッ
クＩ₃ を、正規化ブロック拡大回路２５により、予め外
部から与えられた拡大率で拡大し、拡大正規化ブロック
Ｓとしての配列S(x,y)に格納する（Ｓ１７）。この際の
拡大処理には、線型補間、スプライン補間など、従来の
拡大補間処理が考えられる。そして、画質補正回路２６
により、上記で得られた拡大正規化ブロックＳの画質補
正を行い、拡大補正ブロックＲとして配列R(x,y)に格納
する（Ｓ１８）。ここでの画質補正における画像変換手
法としては、従来からある輪郭強調、ノイズ除去手法な
どを用いればよい。

【００５２】次にＣＰＵ２２により、以上の処理で作成
された正規化ブロックＩ₃ を新たな比較パターンＣｉと
して追加し、比較パターン記憶装置３、拡大補正ブロッ
クＲを新たな合成パターンＱｊとして合成パターン記憶
装置５に追加するとともに、これらの関係をパターンテ
ーブルとしてパターン関連テーブル６に追加する（Ｓ１
９）。Ｓ２０では、処理を終了させるかどうかを判定す
る。外部からの指示により、処理を継続させる場合に
は、Ｓ１２に戻る。

【００５３】上記のパターン追加の処理は、入力画像を
与えることにより行われるので、画像の処理数が増える
ほど、拡大・縮小や画質変換に係る処理時間が短縮され
ることになる。上記では、画質補正回路２６を用いて、
画質補正を行っているが、グラフィックエディタ等を用
いて、オペレータが手動で補正することも可能である。

【００５４】

【発明の効果】請求項１の発明に係る画像変換方法は、
以上のように、予め複数の比較パターンと、各比較パタ
ーンに関連付けられた合成パターンとを用意しておき、
上記比較パターンと同じ大きさに分割した入力画像の各
入力ブロックと、上記比較パターンとを比較して、比較
パターンの中から最も各入力ブロックに近い比較パター
ンをそれぞれの最適パターンとして選択し、この最適パ
ターンに関連付けられた合成パターンを用いて出力画像
を形成することにより、入力画像の拡大、縮小および画
質変換を行う構成である。それゆえ、出力画像の画像の
展開が高速に行え、また、入力画像にノイズが含まれて
いても出力画像に影響を与えにくく、高画質の変換画像
を得ることができるという効果を奏する。

【００５５】請求項２の発明に係る画像変換装置は、以
上のように、入力された画像の拡大または縮小および画
質変換を行い出力する画像変換装置において、入力画像
を所定の大きさに分割した各入力ブロックとの比較に用
いる比較パターンが複数蓄積された比較パターン蓄積手
段と、出力画像の一部として出力される複数の合成パタ
ーンを蓄積する合成パターン蓄積手段と、比較パターン
と合成パターンとの関連を蓄積するパターン関連テーブ
ルと、入力画像から入力ブロックを順次抜き出すアドレ
ス制御手段と、上記入力ブロックと比較パターン蓄積手
段内の比較パターンとを比較し、最も類似する最適パタ
ーンを選択するパターン選択手段と、パターン関連テー
ブルに格納されたパターンテーブルを用いて上記最適パ
ターンに対応する合成パターンを合成パターン蓄積手段
内から読み出して合成ブロックとして出力するパターン
出力手段とが設けられている構成である。

【００５６】それゆえ、簡単な構成で出力画像の画像の
展開を高速に行う画像変換装置を提供することができる
という効果を奏する。

【００５７】請求項３の発明に係る画像変換装置は、以
上のように、請求項２の構成に加えて、上記合成パター
ンと比較パターンとが平均と標準偏差により正規化され
ているとともに、入力ブロックの平均と標準偏差とから
正規化した正規化ブロックを生成する正規化手段が設け
られ、上記パターン選択手段における比較が、正規化さ
れている比較パターンと上記正規化ブロックにより行わ
れる一方、上記パターン出力手段が、上記パターンテー
ブルから得られる合成パターンの組み合わせから上記入
力ブロックの平均と標準偏差に基づいて選択した最適パ
ターンに適応する合成ブロックを生成し、出力する構成
である。それゆえ、請求項２の構成による効果に加え
て、用意する合成パターンの種類が少なくて済むので、
画像変換にかかる時間を短縮することができる。また、
合成パターンを記憶する合成パターン記憶装置の領域を
低減することができるという効果を奏する。

【００５８】請求項４の発明に係る画像変換装置は、以
上のように、請求項３の構成に加えて、パターン選択手
段が選択した最適パターンと、入力ブロックとの差であ
る誤差ブロックを計測する誤差計測手段と、誤差ブロッ
クを拡大または縮小または等倍して変換誤差ブロックを
生成する誤差ブロック変換手段と、入力ブロックを拡大
または縮小または等倍して変換入力ブロックを生成する
入力ブロック変換手段とが設けられており、上記パター
ン出力手段が、合成ブロック、変換入力ブロック、変換
誤差ブロックを入力とする演算から出力ブロックを生成
・出力する構成である。それゆえ、請求項３の構成に加
えて、同一の合成パターンから得られる合成ブロックで
あっても、入力ブロックと比較パターンとの誤差ブロッ
クにより合成ブロックの補正が可能となるので、同じ数
の合成パターンを有している場合には、より入力画像に
近い出力画像が得られ、逆に、記憶させる合成パターン
の数を低減しても、得られる出力画像の画質を保持する
と同時に、さらに画像変換にかかる時間を短縮すること
ができるという効果を奏する。

【００５９】請求項５の発明に係る画像変換装置は、以
上のように、請求項４の構成に加えて、上記正規化ブロ
ックの拡大または縮小及び画質補正を行い、補正パター
ンを生成する画像変換手段と、上記誤差ブロックが所定
値より大きい場合には、比較パターン蓄積手段に新たな
比較パターンとして前記正規化ブロックを追加し、合成
パターン蓄積手段に新たな合成パターンとして補正パタ
ーンを追加し、さらに、上記正規化ブロックと補正パタ
ーンとの関連をパターン関連テーブルに追加するパター
ン更新手段が設けられている構成である。それゆえ、請
求項４の構成に加えて、新たな、比較パターンと合成パ
ターンの追加が入力ブロックの入力時に行われるため、
入力を繰り返すごとに比較パターンや合成パターンの数
が増加し、さらに入力画像に近い自然な出力画像を得る
ことができる。

【図面の簡単な説明】

【図１】本発明に係る画像変換装置の一構成例を示す系
統図である。

【図２】画像変換装置の画像拡大処理を説明するフロー
図である。

【図３】入出力ブロックの入出力画像内の配置例を示す
概略図である。

【図４】本発明に係る画像変換装置内の画像パターン分
類装置の一構成例を示す系統図である。

【図５】画像パターン分類装置のパターン分類過程を説
明するフロー図である。

【符号の説明】

２ パターン比較回路（パターン選択手段・正規化手
段） ３ 比較パターン記憶装置（比較パターン蓄積手段） ４ パターン選択生成回路（パターン出力手段） ５ 合成パターン記憶装置（合成パターン蓄積手段） ６ パターン関連テーブル ９ ブロック合成回路（パターン出力手段） ２２ ＣＰＵ（パターン更新手段） Ａ 入力画像 Ｂ 出力画像 Ｄｓ 最適誤差パターン（誤差ブロック） Ｃｉ 比較パターン Ｃｓ 最適パターン Ｉ 入力ブロック Ｉ₂ 正規化ブロック Ｉ₃ 正規化ブロック Ｎ 合成ブロック Ｏ 出力ブロック Ｑｊ 合成パターン

───────────────────────────────────────────────────── フロントページの続き (72)発明者 賀好 宣捷 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内

Claims (5)

【特許請求の範囲】
1. 【請求項１】予め複数の比較パターンと、各比較パター
   ンに関連付けられた合成パターンとを用意しておき、上
   記比較パターンと同じ大きさに分割した入力画像の各入
   力ブロックと、上記比較パターンとを比較して、比較パ
   ターンの中から最も各入力ブロックに近い比較パターン
   をそれぞれの最適パターンとして選択し、この最適パタ
   ーンに関連付けられた合成パターンを用いて出力画像を
   形成することにより、入力画像の拡大、縮小および画質
   変換を行うことを特徴とする画像変換方法。
2. 【請求項２】入力された画像の拡大または縮小および画
   質変換を行い出力する画像変換装置において、 入力画像を所定の大きさに分割した各入力ブロックとの
   比較に用いる比較パターンが複数蓄積された比較パター
   ン蓄積手段と、出力画像の一部として出力される複数の
   合成パターンを蓄積する合成パターン蓄積手段と、比較
   パターンと合成パターンとの関連を蓄積するパターン関
   連テーブルと、入力画像から入力ブロックを順次抜き出
   すアドレス制御手段と、上記入力ブロックと比較パター
   ン蓄積手段内の比較パターンとを比較し、最も類似する
   最適パターンを選択するパターン選択手段と、パターン
   関連テーブルに格納されたパターンテーブルを用いて上
   記最適パターンに対応する合成パターンを合成パターン
   蓄積手段内から読み出して合成ブロックとして出力する
   パターン出力手段とが設けられていることを特徴とする
   画像変換装置。
3. 【請求項３】上記合成パターンと比較パターンとが平均
   と標準偏差により正規化されているとともに、入力ブロ
   ックの平均と標準偏差とから正規化した正規化ブロック
   を生成する正規化手段が設けられ、上記パターン選択手
   段における比較が、正規化されている比較パターンと上
   記正規化ブロックにより行われる一方、上記パターン出
   力手段が、上記パターンテーブルから得られる合成パタ
   ーンの組み合わせから上記入力ブロックの平均と標準偏
   差に基づいて選択した最適パターンに適応する合成ブロ
   ックを生成し、出力することを特徴とする請求項２に記
   載の画像変換装置。
4. 【請求項４】パターン選択手段が選択した最適パターン
   と、入力ブロックとの差である誤差ブロックを計測する
   誤差計測手段と、誤差ブロックを拡大または縮小または
   等倍して変換誤差ブロックを生成する誤差ブロック変換
   手段と、入力ブロックを拡大または縮小または等倍して
   変換入力ブロックを生成する入力ブロック変換手段とが
   設けられており、上記パターン出力手段が、合成ブロッ
   ク、変換入力ブロック、変換誤差ブロックを入力とする
   演算から出力ブロックを生成・出力することを特徴とす
   る請求項３に記載の画像変換装置。
5. 【請求項５】上記正規化ブロックの拡大または縮小及び
   画質補正を行い、補正パターンを生成する画像変換手段
   と、上記誤差ブロックが所定値より大きい場合には、比
   較パターン蓄積手段に新たな比較パターンとして前記正
   規化ブロックを追加し、合成パターン蓄積手段に新たな
   合成パターンとして補正パターンを追加し、さらに、上
   記正規化ブロックと補正パターンとの関連をパターン関
   連テーブルに追加するパターン更新手段が設けられてい
   ることを特徴とする請求項４に記載の画像変換装置。