JPH0530487A

JPH0530487A - 画像の補間方法

Info

Publication number: JPH0530487A
Application number: JP3207372A
Authority: JP
Inventors: Shigeo Murakami; 繁男村上
Original assignee: Dainippon Screen Manufacturing Co Ltd
Current assignee: Dainippon Screen Manufacturing Co Ltd
Priority date: 1991-07-23
Filing date: 1991-07-23
Publication date: 1993-02-05
Anticipated expiration: 2011-03-06
Also published as: JPH0824366B2

Abstract

(57)【要約】【目的】補間処理速度の向上を図る。【構成】画像中のエッジ箇所を判断し、エッジ箇所以
外では隣接ラインのいずれか一方の画素を用いて補間す
る。エッジ箇所では、近傍画素列Ｐj[5,0]を設定し、相
関のある画素列を隣接したラインの中から求めて、補間
画素列ipj [5,0]を作成する。このように画素列単位で
補間処理を行うから、１画素単位での処理に比べて処理
速度が向上する。加えて、エッジ箇所以外では演算によ
る補間処理を実行しないのでさらに速い処理が実現され
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えばビデオ画像から
印刷用画像を得るときのように、画像を高細精化すると
きに用いられる画像の補間方法に関する。

【０００２】

【従来の技術】一般的に良く用いられている画像の補間
方法には、補間すべきラインとして前ラインをそのまま
用いる方法や、上下のラインの平均値を用いる方法があ
る。しかし、前者の補間方法では斜線等のような垂直方
向に相関の無い画像については画像の輪郭線にガタツキ
が生じ、また、後者の補間方法では画像にボケが生じる
といった画像の劣化を伴う。これらの欠点を解消する手
法として特開昭63−187785号公報に記載の補間方法が提
案されている。この補間方法は、補間すべきラインの各
画素を、その画素の周辺の相関の最も強い方向の画素情
報を用いて補間するものであり、具体的には図10に示す
ような方法を採る。

【０００３】図10中、符号ｎ’ラインが補間すべきライ
ンを示し、符号ｘで示した斜線部分が補間画素を示して
いる。ｎラインおよび（ｎ＋１）ラインは原画像の隣接
するラインである。まず、補間画素(x) から放射状に延
びるどの方向の画素信号が最も相関が強いかを知るため
に、垂直方向Ｈ１，右斜め方向Ｈ２，左斜め方向Ｈ３の
隣接画素の差分絶対値を求める。例えば、図10の場合で
は、｜Ｂ−Ｅ｜，｜Ｃ−Ｄ｜，｜Ａ−Ｆ｜を求める。そ
して、差分絶対値が最小となる方向が最も相関が強い方
向であると判断し、その方向にある各画素の平均値を求
め、それを補間画素(x) の値とする。例えば、方向Ｈ２
が最も相関が強いとすれば、（Ｃ＋Ｄ）／２が補間画素
(ｘ) の値となる。

【０００４】

【発明が解決しようとする課題】しかしながら、上記で
図示説明した補間方法には次のような欠点がある。 (1) 補間すべきラインの各画素について、すなわち、１
画素毎について少なくとも上記のような３方向の差分絶
対値を算出し、さらに、それらの差分絶対値の最小を判
断して補間画素の値を求める、という処理を必要とする
ので補間の処理速度が低い。また、画像中のエッジ部分
以外の領域（画素値が変化しない領域）のように、いず
れの方向においても相関の強さに差がない場合でも、上
記の一連の処理を行うので無駄な処理時間が費やされて
いる。

【０００５】(2) 補間の処理速度が低いため、例えば、
図11に示すように方向Ｈ１からＨ７の隣接画素間の相関
を求めるというように、相関を求める画素の範囲を拡大
することが困難である。そのため、傾斜角度の小さな斜
線のようにかなり離れたところで相関をもつ画像の補間
を行う場合（図11の例では、例えば方向Ｈ６に強い相関
がある場合）には、それらの相関の強い画素を使った補
間ができないために、補間精度が悪くなり、依然として
斜線部のエッジにガタツキが生じることもある。

【０００６】本発明は、このような事情に鑑みてなされ
たものであって、補間の処理速度を向上させるととも
に、処理速度の向上に伴って相関を求める範囲を拡大し
補間の精度を向上させることができる画像の補間方法を
提供することを目的とする。

【０００７】

【課題を解決するための手段】本発明は、このような目
的を達成するために、次のような方法をとる。すなわ
ち、本発明は、２次元画像を構成する各ライン間の画素
を補間する方法であって、２次元画像の隣接するライン
の各画素を比較してエッジ箇所を検出し、エッジ箇所以
外では隣接するいずれかの画素を用いて補間し、エッジ
箇所では隣接するいずれか一方のライン上の注目画素を
中心とした近傍画素列を設定して、これと相関のある画
素列を隣接するラインの中から選出し、選出した画素列
と前記の近傍画素列との位置ズレ量に相当する画素数を
求め、前記求めた画素数の半数だけ、前記選出した画素
列または近傍画素列を位置ズレ方向とは逆の方向にシフ
トした画素列を用いて補間する、ことを特徴とする。

【０００８】

【作用】本発明の画像の補間方法によれば、まず、画像
の隣接するラインの各画素を比較してエッジ箇所を検出
し、エッジ箇所が検出されたときだけ下記の一連の補間
処理を行い、エッジ箇所以外（例えば、隣接する画素の
差が基準値を超えて変化しないところ）であれば隣接す
るいずれかの画素を用いて補間を行うので、無駄な処理
が省かれ補間の効率が向上する。

【０００９】エッジ箇所が検出されると、隣接するいず
れか一方のライン上の注目画素を中心とする近傍画素列
を設定し、この近傍画素列と相関のある画素列を隣接す
るラインの中から選出する。そして、選出した画素列と
前記の近傍画素列との位置ズレ量に相当する画素数を求
め、求めた前記画素数の半数だけ、前記選出した画素列
または近傍画素列を位置ズレ方向とは逆の方向にシフト
した画素列を用いて補間する。このように、１画素ずつ
補間するのではなく、画素列単位の補間を行うから補間
の処理速度が向上する。

【００１０】

【実施例】以下、本発明の一実施例を図面を参照して説
明する。図１ないし図９は本実施例の画像の補間方法を
説明する図である。各図において、ｎラインおよび（ｎ
＋１）ラインは原画像上で隣接するラインを示し、ipラ
インが補間すべきラインを示している。以下に、そのip
ラインを生成する過程を説明する。

【００１１】まず、図１のｎライン上の画素Ｐi(ｉ＝１
〜ｊ〜Ｎ）と、（ｎ＋１）ライン上の画素Ｑi(ｉ＝１〜
ｊ〜Ｎ）との差分の絶対値を順次算出していき、これを
経験に基づく基準値と比較してエッジ箇所かどうかの判
断を行う。具体的には、以下のような(1) 式が成立する
か否かで判断する。 120 ＜Σ｜（Ｐi −Ｑｉ）｜・・・・・・・・・・・・・・・・・・・(1) (1) 式において符号Σは、各画素のＲＧＢ成分それぞ
れの値に対して｜（Ｐi−Ｑｉ）｜の計算を行って加算
することを示し、数値「120」が経験に基づく基準値で
ある。この数値「120 」は一例であって、原画像の種類
等に応じて適宜に設定できる。

【００１２】例えば、各画素のＲ，Ｇ，Ｂ成分が８ビッ
トのデジタルデータで表されているとすると、各成分は
ともに「０〜255 」までの値をとる。いま、図１の斜線
部分の画素（以下、便宜上、黒画素と称する）のＲ，
Ｇ，Ｂ成分をともに「50」、それ以外の画素（以下、便
宜上、白画素と称する）のＲ，Ｇ，Ｂ成分をともに「20
0 」とする。ｎラインの黒画素Ｐ１と（ｎ＋１）ライン
の黒画素Ｑ１に関して、上記(1) 式の演算を行うと、右
辺が「０」となって(1) 式は成立しない。このとき両画
素はエッジ箇所以外の画素であると判断する。次に、白
画素Ｐj と黒画素Ｑｊに関して(1) 式の演算を行うと、
「120 ＜450 」となって(1) 式が成立する。このとき両
画素はエッジ箇所の画素であると判断する。このよう
に、本発明において、エッジ箇所とは画素値が基準値よ
りも大きく変化する箇所のことで、換言すれば相関がな
い箇所のことを指している。

【００１３】そして、エッジ箇所以外であれば、Ｐi あ
るいはＱiのいずれかの画素を用いて補間画素とする。
ここで、Ｐi,Ｑi のいずれの画素を用いてもよいとする
のは、エッジ部以外（上記 (1)式による差分の絶対値が
小さい領域）では、いずれの画素を用いても視覚的に目
立たないためである。図１に対しては図２に示すよう
な、ipライン（補間ライン）が作成される。エッジ箇所
が検出されたＰｊとＱｊの補間画素の作成は以下の一連
の処理によって行う。

【００１４】(a) まず、ＰｊあるいはＱｊのいずれかを
注目画素とし（例えば、Ｐｊ）、注目画素を中心とする
同一ライン上で近傍画素列を設定する（図３参照）。こ
こでは、近傍画素列をＰｊ[x,y] という形式で表すこと
にする。[ ] 内の符号ｘは近傍画素列の画素数，ｙはＰ
ｊからのシフト数を示している。図３中に示すＰｊ[3,
0] とは、シフト数が「０」で、画素数が「３」つま
り、Ｐｊを中心にした３画素の近傍画素列を表してい
る。この近傍画素列は注目画素を中心とするものである
から、注目画素のシフト数は常に「０」の値をとる。ま
た、以下では、上記符号ｘで示した画素数を固定するの
ではなく、一般式で（２ｍ＋１）と表し、ｍの値を順次
変更していくことで近傍画素列の画素数を可変していく
ことにする。

【００１５】(b) 近傍画素列の設定が終わったら、その
近傍画素列と相関のある画素列を隣接したライン（この
例では（ｎ＋１）ライン）の中から選出する。すなわ
ち、近傍画素列と同じ画素数の画素列を（ｎ＋１）ライ
ンに設定し、その画素列を順次シフトしていきながら両
画素列の相関を求める。

【００１６】図３の近傍画素列Ｐｊ[3,0] に対しては、
図４に示すような画素列が設定される。画素列Ｑｊ[3,
1] は図示のように、画素Ｑｊから「＋１」シフト（右
側に１つシフト）した画素Ｑｊ＋１を中心とした３画素
数の画素列を示し、画素列Ｑｊ[3, −１] は、画素Ｑｊ
から「−１」シフト（左側に１つシフト）した画素Ｑｊ
−１を中心とした３画素数の画素列を示している。

【００１７】上記では、近傍画素列の設定、そしてこの
近傍画素列との相関を求めるべく設定される隣接したラ
インの画素列（以下、これを対象画素列とする）の設定
について具体的な例を挙げたが、これを一般的に表すと
以下のようになる。近傍画素列＝Ｐｊ〔２ｍ＋１，０〕対象画素列＝Ｑｊ〔２ｍ＋１，±Ｙ〕ただし、ｍ＝Ｙ＝１，２，３，４，５ぐらいまで順に可
変していく。

【００１８】すなわち、ｍ＝Ｙ＝１としたときに、図３
と図４に示した近傍画素列，対象画素列が設定されるの
である。そして、近傍画素列と対象画素列との差分を算
出し、その差分値と基準値とを比較して、近傍画素列と
相関のある対象画素列を選出する。ここで、対象画素列
のシフト数を「０」と設定しないのは、前記の(1) 式
で、すでに上下の相関（ＰｊとＱｊの相関性）が否定さ
れているからである。

【００１９】次に、近傍画素列と相関のある対象画素列
を選出する方法について説明する。上記例を用いると、
最初に、図３の近傍画素列Ｐｊ[3,0] と、図４の対象画
素列Ｑｊ[3,1] の差分値が算出されて基準値との比較が
行われる。比較の結果、両画素列に相関がないと判断さ
れたら、次いで、近傍画素列Ｐｊ[3,0] と、対象画素列
Ｑｊ[3, −１] の差分値が算出されて基準値との比較が
行われる。ここでも相関がないと判断されたら、「ｍ＝
Ｙ＝２」というように画素列の数とシフト数とを共にカ
ウントアップして同様のことを繰り返す。大体、「ｍ＝
Ｙ＝５」ぐらいまでが適当な範囲である。

【００２０】これを一般式で示すと次の(2) 式で表され
る。 (2m+1)×90 ＞ Σ〔Σ｜（Ｐj+a ）−（Ｑj+a ＋Ｙ）｜〕・・・・・(2) 上の(2) 式において、左辺の数値「90」が基準値であ
り(2m+1)を乗算しているのは、画素列の数の増加に応じ
て基準値も増加させるためである。この数値「90」も一
例であって、原画像の種類やＲＧＢ成分のビット数等に
応じて適宜に設定できる。

【００２１】右辺の最初のΣは、「−ｍ≦ａ≦ｍ」の範
囲だけａの値を可変して〔〕内の計算を行い、それら
を加算することを示している。すなわち、「ｍ＝Ｙ＝
１」であれば、ａ＝−１，０，１となり、〔〕内は次
のような数式に展開される。ただし、〔〕内のΣは
(1) 式と同様にＲＧＢの各成分値の総和を示しており、
以下では特に考慮しないで記載する。｜（Ｐj-1)−（Ｑj)｜＋｜（Ｐj)−（Ｑj+1)｜＋｜（Ｐj+1)−（Ｑj+2)｜上記の展開式を、図５と照らし合わせると判るように、
近傍画素列Ｐj[3,0]と、対象画素列Ｑj[3,1]との各画素
の差分絶対値の総和である。これが近傍画素列Ｐｊ[3,
0] と、対象画素列Ｑｊ[3,1] との差分値である。この
計算結果と、(2)式の左辺で与えられる基準値と比較
し、(2) 式が成立すれば相関があると判断する。

【００２２】実際に計算すると、左辺が「270 」、右辺
が「450 」となって(2) 式は成立しない。したがって、
両画素列には相関がないと判断される。次いで、(2) 式
の〔〕内の「＋Ｙ」を「−Ｙ」に換えて計算を行い成立
するか否かを判断する。これでも、成立しなければ（実
際に成立しない）、「ｍ＝Ｙ＝２」として(2) 式による
相関の検証を行う。結果、図６に示すように「ｍ＝Ｙ＝
２」としたときの近傍画素列Ｐj[5,0]と、対象画素列Ｑ
j[5,2]とが相関があると判断される。

【００２３】このように、近傍画素列の画素数と、対象
画素列のシフト数とを同時にカウントアップするのは、
相関を判断する際のミスをなくすためである。例えば、
図３で設定したように近傍画素列をＰj[3,0]に固定した
まま、対象画素列のシフト数だけをカウントアップして
いくと、例えば、図７に示すように、かなり離れた位置
にある誤った対象画素列Ｑj[3,4]と相関があると判断し
てしまうからである。

【００２４】(c) 次に、相関があると判断された近傍画
素列Ｐj[5,0]、あるいは対象画素列Ｑj[5,2]を用いて補
間画素を作成する方法について説明する。相関があるの
でどちらの画素列を用いてもよいが、この例では近傍画
素列Ｐj[5,0]を用いることにする。まず、近傍画素列Ｐ
j[5,0]と、対象画素列Ｑj[5,2]とのライン方向の位置ズ
レ量に相当する画素数ΔＬを求める。この位置ズレ量は
すなわち、近傍画素列Ｐj[5,0]に対する対象画素列Ｑj
[5,2]のシフト量に相当するから、ΔＬ＝２として求め
られる（図６参照）。

【００２５】そして、ΔＬ／２（＝１）を算出し、算出
した数だけ近傍画素列Ｐj[5,0]を、対象画素列Ｑj[5,2]
のシフト方向とは逆の方向にシフトさせる。すなわち、
図８に示すように、近傍画素列Ｐj[5,0]を左側に１つだ
けシフトさせた画素列Ｐj[5,−１] を求める。この画素
列Ｐj[5,−１] を注目画素Ｐj とＱj との補間画素ipj
の画素列、ipj[5,0]とする。図８から判るように、ここ
までの(a) 〜(c) における補間処理で、ｎラインと（ｎ
＋１）ラインとを滑らかにつなぐipラインが生成され
る。

【００２６】なお、上記のΔＬ／２の算出結果が整数値
をとらないことがある。例えば、図３の近傍画素列Ｐj
[3,0]に対して、図４の対象画素列Ｑj[3,1]が相関があ
ると判断された場合、近傍画素列Ｐj[3,0]と対象画素列
Ｑj[3,1]との位置ズレ量、すなわち、シフト数は「１」
である。このような場合は、Ｐj[3,0]とＱj[3,1]の互い
に対応する画素の平均値を用いて補間する。これを一般
的に示せば、ipj-1＝（Ｐj-1 ＋Ｑj)／２、ipj ＝（Ｐj
＋Ｑj+1 ）／２、ipj+1 ＝（Ｐj+1 ＋Ｑj+2 ）／２と
なる。

【００２７】上記(c) の補間処理で、補間画素列ipj[5,
0]が作成されたので、次には、図８の補間画素ip(j+3)
を作成するべく、注目画素をＰj+3 までジャンプさせて
上述の補間処理を繰り返す。１画素単位ではなく、画素
列単位で補間するから、補間処理の回数が削減でき処理
速度が向上する。もちろん、前述したエッジ箇所の有無
で補間処理方法を切り換えている点においても補間処理
の速度向上が図られている。以上の処理で原画像のライ
ン数は２倍に補間される。さらに、１ライン中の画素数
を２倍に補間したい場合は、上述と同様の処理を90°方
向を変えて実行すればよい。

【００２８】上述した画像の補間方法をコンピュータ・
ハードに搭載して利用する一例を図９に示す。このコン
ピュータ・システムは、ビデオ機器１の出力映像をプリ
ンタ６でハードコピーするためのものである。まず、ビ
デオ機器１の出力映像信号をデジタル量に変換してバッ
ファメモリ２に蓄える。上述の補間アルゴリズムをプロ
グラムした補間処理部（パソコン）３がバッファメモリ
２の内容を読み込んで補間処理を行い、補間後の画像デ
ータをフレームメモリ４に書き込む。フレームメモリ４
内の画像データはカラーマスキング回路５で印刷用の信
号に変換され、プリンタ６から出力される。

【００２９】

【発明の効果】以上の説明から明らかなように、本発明
の画像の補間方法によれば次のような効果が発揮され
る。 (1) まず、画像中のエッジ箇所を検出し、エッジ箇所以
外（例えば、隣接する画素の差が基準値を超えて変化し
ないところ）であれば、隣接するいずれかの画素を用い
て補間を行うので、無駄な処理が省かれ補間処理の速度
が向上する。 (2) エッジ箇所では、画素列単位で隣接するライン間の
相関を求め、相関のある画素列を用いて補間するから、
１画素単位で補間を行う従来法に比べてその処理速度は
著しく向上する。 (3) そして、これらの処理速度の向上が、相関を求める
範囲の拡大を許容し、補間の精度向上につながる。

【図面の簡単な説明】

【図１】補間の対象となる原画像の隣接するラインを示
した図である。

【図２】エッジ箇所以外での補間を説明する図である。

【図３】近傍画素列の設定例を示した図である。

【図４】近傍画素列との相関を求めるべく設定された対
象画素列の一例を示した図である。

【図５】近傍画素列と対象画素列との相関を求める処理
を説明する図である。

【図６】その他の近傍画素列と対象画素列との相関を求
める処理を説明する図である。

【図７】相関を求める際のミスマッチングを説明する図
である。

【図８】エッジ箇所での補間を説明する図である。

【図９】本発明の画像の補間方法が搭載されるコンピュ
ータ・ハードの一構成例を示したブロック図である。

【図１０】従来の補間方法を説明する図である。

【図１１】従来方法の問題点の説明に用いる図である。

【符号の説明】

Ｐj ，Ｑj ・・・隣接する画素Ｐj[3,0]、Ｐj[5,0]・・・近傍画素列 ipj[5,0]・・・補間画素列

Claims

【特許請求の範囲】【請求項１】２次元画像を構成する各ライン間の画素
を補間する方法であって、２次元画像の隣接するラインの各画素を比較してエッジ
箇所を検出し、エッジ箇所以外では隣接するいずれかの画素を用いて補
間し、エッジ箇所では隣接するいずれか一方のライン上の注目
画素を中心とした近傍画素列を設定して、これと相関の
ある画素列を隣接するラインの中から選出し、選出した画素列と前記の近傍画素列との位置ズレ量に相
当する画素数を求め、前記求めた画素数の半数だけ、前記選出した画素列また
は近傍画素列を位置ズレ方向とは逆の方向にシフトした
画素列を用いて補間する、ことを特徴とする画像の補間方法。