JP3717863B2 - 画像補間方法 - Google Patents
画像補間方法 Download PDFInfo
- Publication number
- JP3717863B2 JP3717863B2 JP2002088523A JP2002088523A JP3717863B2 JP 3717863 B2 JP3717863 B2 JP 3717863B2 JP 2002088523 A JP2002088523 A JP 2002088523A JP 2002088523 A JP2002088523 A JP 2002088523A JP 3717863 B2 JP3717863 B2 JP 3717863B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- original
- correlation
- value
- horizontal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 106
- 238000004364 calculation method Methods 0.000 claims description 35
- 238000012937 correction Methods 0.000 claims description 6
- 238000007796 conventional method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 238000013075 data extraction Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/403—Edge-driven scaling
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Television Systems (AREA)
Description
【発明の属する技術分野】
本発明は、画像を補間する画像補間方法に関する。
【0002】
【従来の技術】
従来より、インターレース画像をプログレッシブ画像に変換する場合、画像を拡大する場合、画像の解像度を高める場合などにおいて、隣接した原画素の画素データ(ディスプレイ上の輝度を表すデータ量に相当する)を用いて、画像を補間する様々な方法が提案されている。
【0003】
画像補間方法の代表的なものに、単純補間方法と線形補間方法とがある。単純補間方法とは、補間する画素の上下(又は左右)に隣接した画素のいずれかの画素データを、補間する画素に画素データとして与える方法である。線形補間方法とは、補間する画素の上下(又は左右)に隣接した画素の画素データを平均した値を、補間する画素に画素データとして与える方法である。
【0004】
【発明が解決しようとする課題】
しかしながら、単純補間方法では、補間する画素に隣接した画素の画素データがそのまま与えられるため、ディスプレイ上などに再生された画像に斜め方向のエッジ部分があるとき、そのエッジ部分にガタツキが生じるという問題がある。又、線形補間方法では、補間する画素に上下(又は左右)に隣接した画素の画素データの平均値が与えられるため、補間する画素の近傍がエッジ部分であり、補間する画素の上下(又は左右)に隣接した画素の画素データの差が大きい場合には、補間された画素が中間値となり、エッジ部分にボケが生じるという問題がある。
【0005】
そこで、本出願人は、画像を補間する際に、エッジ部分にガタツキやボケが生じないようにできるとともに、滑らかな画像を再生することができる画像補間方法を既に開発している。
【0006】
本出願人が既に開発した画像補間方法(以下、従来手法という)について説明する。
【0007】
2次元の画像は、水平方向と垂直方向の2次元的な広がりを持っている。しかしながら、説明を簡略化するために、垂直方向の一次元の補間方法について説明する。
【0008】
図1は、原画素と補間される補間画素との関係を示している。
【0009】
図1において、ライン(n−1),n,(n+1),(n+2)が原画像の水平ラインであり、ライン(i−1),i,(i+1)が補間される水平ラインである。ここでは、ラインi上の画素(以下、補間画素という)Xを補間する場合について説明する。
【0010】
以下の説明においては、原画素D01〜D35および補間画素Xの画素データを、それぞれd01〜d35およびxで表す。また、この例では、画素データが8ビットであり、黒データは”0”であり、白データは”255”であるとする。
【0011】
図2は、従来手法によって、補間画素Xの画素データxを求めるための手順を示している。
【0012】
まず、補間画素Xが原画像のエッジ付近にあるか否かを判定するために、エッジ成分Eを算出する(ステップ1)。つまり、補間画素Xの真上にある2つの原画素D03,D13と、補間画素Xの真下にある原画素D23,D33の画素データを用いて、エッジ成分Eを、次式(1)から求める。
【0013】
E=−d03+d13+d23−d33 …(1)
【0014】
補間画素Xが原画像の黒エッジ付近に存在している場合には、エッジ成分Eは負の比較的大きな値をとり、補間画素Xが原画像の白エッジ付近に存在している場合には、エッジ成分Eは正の比較的大きな値をとる。
【0015】
次に、エッジ成分Eに基づいて、補間画素Xの画素データxの設定可能範囲Sを決定する(ステップ2)。
【0016】
図3に基づいて、設定可能範囲Sの決定方法について説明する。図3において、dmax は原画素D13,D23の画素データd13,d23のうち値の大きい方を表し、dmin は画素データd13,d23のうち値の小さい方を表している。また、dcは、dmax とdmin との平均値(dmax +dmin )/2を表している。
【0017】
(1)E≧0のときの画素データxの設定可能範囲S
E≧0のときには、図3(a)に示すように、設定可能範囲Sを、dmin ×α+dc×(1−α)≦S≦dmax ×α+dc×(1−α)+E×γとする。ただし、α及びγは外部より制御可能な変数である。
【0018】
つまり、エッジ成分Eが0以上のときには、画素データxの設定可能範囲Sは、dcを中心とした範囲〔dmin ×α+dc×(1−α)≦x≦dmax ×α+dc×(1−α)〕よりも、γ・Eの値分だけ上側に広がった範囲となる。
【0019】
この場合は、補間画素Xが原画像の白エッジ付近に存在していると想定し、設定可能範囲Sをdmin 〜dmax の範囲のうち、dmax 側に近い範囲に設定している。
【0020】
(2)E<0のときのときの画素データxの設定可能範囲S
E<0のときには、図3(b)に示すように、設定可能範囲Sを、dmin ×α+dc×(1−α)+E×γ≦S≦dmax ×α+dc×(1−α)とする。
【0021】
つまり、エッジ成分Eが0より小さいときには、画素データxの設定可能範囲Sは、dcを中心とした範囲〔dmin ×α+dc×(1−α)≦x≦dmax ×α+dc×(1−α)〕よりも、γ・Eの値分だけ下側に広がった範囲となる。
【0022】
この場合は、補間画素Xが原画像の黒エッジ付近に存在していると想定し、設定可能範囲Sをdmin 〜dmax の範囲のうち、dmin 側に近い範囲に設定している。
【0023】
次に、補間画素Xを斜め方向に挟む対向画素の画素データに基づいて、補間画素Xの画素データの候補を、補間画素Xの画素データxの設定可能範囲S内から求める(ステップ3)。
【0024】
補間画素Xの画素データの候補を求める際には、対向画素D12,D24と補間画素Xとの画素データの相関値L1と、対向画素D14,D22と補間画素Xとの画素データの相関値R1とが使用されるので、まず、これらの相関値L1,R1の算出方法について説明する。
【0025】
対向画素D12,D24と補間画素Xとの画素データの相関値L1は、次式(2)で表され、対向画素D14,D22と補間画素Xとの画素データの相関値R1は、次式(3)によって表される。
【0026】
L=|d12−x|+|d24−x|+β1×Hl−β2×Vl …(2)
【0027】
R=|d14−x|+|d22−x|+β1×Hr−β2×Vr …(3)
【0028】
上記式(2),(3)において、β1,β2は、外部から制御可能な変数である。上記式(2)において、Hlは水平相関強度であり、次式(4)で表される。また、Vlは垂直相関強度であり、次式(5)で表される。
【0029】
Hl=MAX(|d11-d12 |+|d12-d13 |, |d23-d24 |+|d24-d25 |)…(4)
【0030】
Vl=MIN(|d02-d12 |+|d12-d22 |, |d14-d24 |+|d24-d34 |)…(5)
【0031】
MAX(a,b)は、aおよびbのうちの大きい方の値を選択することを示す記号である。MIN(a,b)は、aおよびbのうちの小さい方の値を選択することを示す記号である。
【0032】
Hlは、画素D12に対する水平方向の一次微分値(|d11-d12 |+|d12-d13 |)と、画素D24に対する水平方向の一次微分値(|d23-d24 |+|d24-d25 |)のうち、大きい方を表している。また、Vlは、画素D12に対する垂直方向の一次微分値( |d02-d12 |+|d12-d22 |) と画素D24に対する垂直方向の一次微分値 (|d14-d24 |+|d24-d34 |)のうち、小さい方を表している。
【0033】
上記式(3)において、Hrは水平相関強度であり、次式(6)で表される。また、Vrは垂直相関強度であり次式(7)で表される。
【0034】
Hr=MAX(|d13-d14 |+|d14-d15 |, |d21-d22 |+|d22-d23 |)…(6)
【0035】
Vr=MIN(|d04-d14 |+|d14-d24 |, |d12-d22 |+|d22-d32 |)…(7)
【0036】
Hrは、画素D14に対する水平方向の一次微分値( |d13-d14 |+|d14-d15 |) と、画素D22に対する水平方向の一次微分値( |d21-d22 |+|d22-d23 |)のうち、大きい方を表している。また、Vrは、画素D22に対する垂直方向の一次微分値( |d12-d22 |+|d22-d32 |) と画素D14に対する垂直方向の一次微分値( |d04-d14 |+|d14-d24 |)のうち、小さい方を表している。
【0037】
補間画素Xの画素データの候補を求める方法には、2つの方法があるので、それらの方法について説明する。
【0038】
(1)第1方法の説明
補間画素Xを斜め方向(左上斜め方向)に挟む2つの対向画素D12,D24と補間画素Xとの画素データの相関値Lを表す上記式(2)に、設定可能範囲S内の全ての画素データxをそれぞれ代入していき、最小となる相関値Lmin と、最小相関値Lmin を与える画素データxlとを求める。
【0039】
同様に、補間画素Xを斜め方向(右上斜め方向)に挟む2つの対向画素D14,D22と補間画素Xとの画素データの相関値Rを表す上記式(3)に、設定可能範囲S内の全ての画素データxをそれぞれ代入していき、最小となる相関値Rmin と、最小相関値Rmin を与える画素データxrとを求める。
【0040】
このようにして、求められた画素データxl,xrが、補間画素Xの画素データ候補となる。ただし、このような方法では、最小相関値Lmin を与える画素データxlとして、複数の画素データが該当する場合がある。同様に、最小相関値Rmin を与える画素データxrとして、複数の画素データが該当する場合がある。
【0041】
最小相関値Lmin を与える画素データxlとして、複数の画素データが該当する場合には、それらの平均値を最小相関値Lmin を与える画素データxlとして決定するようにすればよい。同様に、最小相関値Rmin を与える画素データxrとして、複数の画素データが該当する場合には、それらの平均値を最小相関値Rmin を与える画素データxrとして決定するようにすればよい。
【0042】
(2)第2方法の説明
【0043】
図4は、相関値Lと画素データxとの関係を表している。図4において、xmin は、画素データd12,d24のうち小さい方の画素データを示し、xmax は、画素データd12,d24のうち大きい方の画素データを示している。また、xd=xmax −xmin +β1×Hl−β2×Vlである。
【0044】
xd=xmax −xmin +β1×Hl−β2×Vlとすると、上記式(2)の相関値Lは、次式(8)のように変形することができる。相関値Rについても、同様に変形することができる。
【0045】
L=xd+2(x−xmin ) (x>xmax )
L=xd (xmin ≦x≦xmax )
L=xd+2(xmin −x) (x<xmin ) …(8)
【0046】
以下、最小相関値Lmin ,Rmin 及び画素データxl,xrの求め方(第2方法)について説明する。ここでは、最小相関値Lmin 及び画素データxlの求め方について説明する。
【0047】
図5の(a)〜(f)は、相関値Lと画素データxとの関係を示すグラフと画素データxの設定可能範囲を示している。
【0048】
図5において、xaは設定可能範囲内の画素データxの最小値を示し、xbは設定可能範囲内の画素データxの最大値を示している。
【0049】
▲1▼ xb≦xmin のとき
図5(a)のように、画素データxの設定可能範囲がxmin 以下のときには、画素データxbにおいて相関値Lが最小となるので、最小相関値Lmin はxd+2(xmin −xb)となる。又、このときの画素データxlはxbである。
【0050】
▲2▼ xmax ≦xaのとき
図5(b)のように、画素データxの設定可能範囲がxmax 以上のときには、画素データxaにおいて相関値Lが最小となるので、最小相関値Lmin はxd+2(xa−xmax )となる。又、このときの画素データxlはxaである。
【0051】
▲3▼ xmin ≦xa且つxb≦xmax のとき
図5(c)のように、画素データxの設定可能範囲が画素データxmin 〜xmax の間にあるときには、設定可能範囲の任意の画素データxにおいて相関値Lが最小値xdとなるので最小相関値Lmin はxdとなる。この場合には、画素データxlは、設定可能範囲の中央の値(xa+xb)/2に決定される。
【0052】
▲4▼ xa<xmin 且つxmax <xbのとき
図5(d)のように、画素データxの設定可能範囲が画素データxmin 〜xmax の範囲よりも広い範囲となるときには、画素データxmin 〜xmax の任意の画素データxにおいて相関値Lが最小値xdとなる。したがって、最小相関値Lmin はxdとなる。この場合には、画素データxlは、画素データxmin ,xmax の平均値(xmin +xmax )/2に決定される。
【0053】
▲5▼ xa<xmin 且つxmin <xb≦xmax のとき
図5(e)のように、画素データxの設定可能範囲が画素データxmin 〜xmax の範囲よりも左側にずれているときには、画素データxmin 〜xbの任意の画素データxにおいて相関値Lが最小値xdとなる。したがって、最小相関値Lmin はxdとなる。この場合には、画素データxlは、画素データxmin ,xbの平均値(xmin +xb)/2に決定される。
【0054】
▲6▼ xmin ≦xa<xmax 且つxmax ≦xbのとき
図5(f)のように、画素データxの設定可能範囲が画素データxmin 〜xmax の範囲よりも右側にずれているときには、画素データxa〜xmax の任意の画素データxにおいて相関値Lが最小値xdとなる。したがって、最小相関値Lmin はxdとなる。この場合には、画素データxlは、画素データxa,xmax の平均値(xa+xmax )/2に決定される。
【0055】
このようにして、最小相関値Lmin 及び画素データxlが求められる。尚、最小相関値Rmin 及び画素データxrについても、最小相関値Lmin 及び画素データxlと同様にして求められる。
【0056】
ステップ3によって、最小相関値Lmin ,Rmin およびそれを与える画素データxl,xrが求められると、両最小相関値Lmin ,Rmin のうち小さい方の相関値を与える画素データを抽出する(ステップ4)。
【0057】
両最小相関値Lmin ,Rmin が異なる場合には、1つの画素データが抽出され、両最小相関値Lmin ,Rmin が同じ場合には、2つの画素データが抽出される。
【0058】
ステップ4において1つの画素データxlまたはxrが抽出された場合には(ステップ5でYES)、抽出された画素データが補間画素Xの画素データxとして決定される(ステップ6)。ステップ4において、2つの(複数の)画素データxl,xrが選択された場合には(ステップ5でNO)、画素データxl,xrの平均値が補間画素Xの画素データxに決定される(ステップ7)。
【0059】
詳しくは次の通りである。
【0060】
▲1▼ if Lmin <Rmin ,then x=xl
▲2▼ if Lmin >Rmin ,then x=xr
▲3▼ if Lmin =Rmin ,then x=(xl+xr)/2
【0061】
なお、上記ステップ3では、補間画素Xを斜め方向に挟む対向画素の組として、2組が選択されているが、2組より多い組を選択してもよい。たとえば、図6に示すように、D10とD26、D11とD25、D12とD24、D14とD22、D15とD21、D16とD20というように、6組の対向画素を選択してもよい。この場合には、それぞれの対向画素の組毎に、相関値の最小値を与える画素データがステップ3で求められる。つまり、6つの画素データ候補が求められる。
【0062】
そして、6組の対向画素の組に対する相関最小値のうち、最小のものが3以上ある場合には、ステップ4では、これらの6つの画素データ候補のうちから、3以上の画素データが抽出される。
【0063】
ステップ4で3以上の画素データが選択された場合に、補間画素Xの画素データxを決定する方法としては、次の3つの方法がある。
【0064】
第1は、ステップ4で選択された3以上の画素データの平均値を算出し、その算出結果を補間画素Xの画素データxとして決定する方法である。第2は、ステップ4で選択された3以上の画素データのうちの最大値と最小値とを抽出してそれらの平均値を算出し、その算出結果を補間画素Xの画素データxとして決定する方法である。
【0065】
第3は、ステップ4で選択された3以上の画素データのうち、補間画素Xに最も近接した対向画素から得られる画素データを選択し、選択した画素データを補間画素Xの画素データxとして決定する方法である。ただし、補間画素Xに最も近接した対向画素から得られる画素データが2つ存在する場合には、それら平均を値を算出し、その算出結果を補間画素Xの画素データxとして決定する。
【0066】
なお、補間画素Xを斜め方向に挟む対向画素の組として、図6に示すように、6組の対向画素を選択した場合、例えば、相関値L2,R2は、次式(9)、(10)で表される。
【0067】
L2=|d11−x|+|d25−x|+β1×Hl2 −β2×Vl2 …(9)
【0068】
R2=|d15−x|+|d21−x|+β1×Hr2 −β2×Vr2 …(10)
【0069】
上記式(9)中のHl2 、Vl2 は、次式(11)、(12)で表される。
【0070】
Hl2 =MAX(|d10-d11 |+|d11 −d12|, |d24-d25 |+|d25-d26|) …(11)
【0071】
Vl2 =MIN(|d01-d11 |+|d11 −d21|, |d15-d25 |+|d25-d35|) …(12)
【0072】
上記式(10)中のHr2 、Vr2 は、次式(13)、(14)で表される。
【0073】
Hr2 =MAX(|d14-d15 |+|d15 −d16|, |d20-d21 |+|d21-d22|) …(13)
【0074】
Vr2 =MIN(|d05-d15 |+|d15 −d25|, |d11-d21 |+|d21-d31|) …(14)
【0075】
この発明は、従来手法を改良したものであって、画像を補間する際に、エッジ部分にガタツキやボケが生じないようにできるとともに、滑らかな画像を再生することができる画像補間方法を提供することを目的とする。
【0076】
【課題を解決するための手段】
請求項1に記載の発明は、第1の原画素と第1の原画素と隣接する第2の原画素との中間位置に画素を補間する画像補間方法において、
補間画素が原画像データのエッジ位置付近に存在するかを判定するための第1エッジ成分Eと第2エッジ成分Esとを算出する第1ステップ、
第1エッジ成分Eおよび第2エッジ成分Esと、第1および第2の原画素の画素データとに基づいて、補間画素の画素データの設定可能範囲を求める第2ステップ、
補間画素を斜め方向に挟む対向画素の組を複数組選択し、各組毎に、補間画素の画素データの設定可能範囲内において、補間画素の画素データと各対向画素との差の絶対値の和と各対向画素の周辺の原画素の画素データに基づいて算出される補正値とで表される相関値が最小となる補間画素の画素データと相関最小値とを求める第3ステップ、
上記各組毎に求められた、相関値が最小となる補間画素の画素データと相関最小値とに基づいて、補間画素の暫定画素データを求める第4ステップ、ならびに 第1の原画素と第2の原画素との線形相関値および線形補間値を算出する第5ステップ、ならびに
第3ステップで求められた相関最小値と、第5ステップで算出された線形相関値と、第4ステップで算出された暫定画素データと、第5ステップで算出された線形補間値とに基づいて、補間画素の最終的な画素データを算出する第6ステップを備えており、
第1の原画素に隣接しかつ第2の原画素と反対側にある原画素を第3の原画素とし、第2の原画素に隣接しかつ第1の原画素と反対側にある原画素を第4の原画素として、第1の原画素の画素データをd1、第2の原画素の画素データをd2、第3の原画素の画素データをd3、第4の原画素の画素データをd4とすると、第1ステップでは、演算式E=−d3+d1+d2−d4に基づいて第1エッジ成分Eが算出されるとともに、演算式Es=|d3+d1−d2−d4|に基づいて第2エッジ成分Esが算出されることを特徴とする。
【0077】
請求項2に記載の発明は、請求項1に記載の発明において、第1ステップで求められた第1エッジ成分をEとし、第2エッジ成分をEsとし、第1の原画素の画素データと第2の原画素の画素データとの平均をdcとし、γs,γを予め設定された係数とすると、第2ステップでは、次式(15)に基づいて、補間画素の画素データの設定可能範囲Sが求められることを特徴とする。
【0078】
if E1≧0,then dc−Es×γs≦S≦dc+Es×γs+E×γ,
if E1<0,then dc−Es×γs+E×γ≦S≦dc+Es×γs.
…(15)
【0079】
請求項3に記載の発明は、請求項1に記載の発明において、第1の原画素と第2の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、第1の原画素が第2の原画素の真上にあるとし、補間画素を斜め方向に挟む1組の対向画素のうち上側の対向画素をD12、下側の対向画素をD24とし、各原画素D12,D24の画素データをd12,d24とし、β1およびβ2を所定の係数とし、Hlを一方の対向画素D12側の水平相関強度と他方の対向画素D24側の水平相関強度のうちの大きい方の値であるとし、Vlを一方の対向画素D12側の垂直相関強度と他方の対向画素D24側の垂直相関強度のうちの小さい方の値であるとし、第2ステップで求められた設定可能範囲Sの画素データをxとすると、第3ステップで用いられる、その組に対する相関値Lの算出式は、次式(16)で表され、上側の対向画素D12側の垂直相関強度は、当該対向画素に対する垂直方向の二次微分値であり、下側の対向画素D24側の垂直相関強度は当該対向画素に対する垂直方向の二次微分値であることを特徴とする。
【0080】
L=|d12−x|+|d24−x|+β1・Hl−β2・Vl…(16)
【0081】
請求項4に記載の発明は、請求項1に記載の発明において、第1の原画素と第2の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、第1の原画素が第2の原画素の真上にあるとし、補間画素を斜め方向に挟む1組の対向画素のうち上側の対向画素をD12、下側の対向画素をD24とし、各原画素D12,D24の画素データをd12,d24とし、β1およびβ2を所定の係数とし、Hlを一方の対向画素D12側の水平相関強度と他方の対向画素D24側の水平相関強度のうちの大きい方の値であるとし、Vlを一方の対向画素D12側の垂直相関強度と他方の対向画素D24側の垂直相関強度のうちの小さい方の値であるとし、第2ステップで求められた設定可能範囲Sの画素データをxとすると、第3ステップで用いられる、その組に対する相関値Lの算出式は、L=|d12−x|+|d24−x|+β1・Hl−β2・Vlで表され、任意の注目原画素の真上の原画素に対する水平方向の一次微分値と、当該注目原画素に対する水平方向の一次微分値の2倍の値と、当該注目原画素の真下の原画素に対する水平方向の一次微分値との和を当該注目原画素を中心とする所定領域の水平相関強度と定義すると、
上側の対向画素D12が第1の原画素から水平方向に1番目にある画素であり、下側の対向画素D24が第2の原画素から水平方向に1番目にある画素である場合には、上側の対向画素D12側の水平相関強度は、当該対向画素D12を中心とする所定領域の水平相関強度であり、下側の対向画素D24側の水平相関強度は、当該対向画素D24を中心とする所定領域の水平相関強度であり、
上側の対向画素D12が第1の原画素から水平方向にn番目にある画素であり、下側の対向画素D24が第2の原画素から水平方向にn番目にある画素である場合には、上側の対向画素D12側の水平相関強度は、当該対向画素D12を中心とする所定領域の水平相関強度に、第1の原画素と当該対向画素D12との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値であり、下側の対向画素D24側の水平相関強度は、当該対向画素D24を中心とする所定領域の水平相関強度に、第2の原画素と当該対向画素D24との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値であることを特徴とする。
【0082】
請求項5に記載の発明は、請求項1に記載の発明において、第1の原画素と第2の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、第1の原画素が第2の原画素の真上にあるとし、補間画素を斜め方向に挟む1組の対向画素のうち上側の対向画素をD12、下側の対向画素をD24とし、各原画素D12,D24の画素データをd12,d24とし、β1およびβ2を所定の係数とし、Hlを一方の対向画素D12側の水平相関強度と他方の対向画素D24側の水平相関強度のうちの大きい方の値であるとし、Vlを一方の対向画素D12側の垂直相関強度と他方の対向画素D24側の垂直相関強度のうちの小さい方の値であるとし、第2ステップで求められた設定可能範囲Sの画素データをxとすると、第3ステップで用いられる、その組に対する相関値Lの算出式は、L=|d12−x|+|d24−x|+β1・Hl−β2・Vlで表され、
任意の注目原画素の真上の原画素に対する水平方向の二次微分値と、当該注目原画素に対する水平方向の二次微分値の2倍の値と、当該注目原画素の真下の原画素に対する水平方向の二次微分値との和を当該注目原画素を中心とする所定領域の水平相関強度と定義すると、
上側の対向画素D12が第1の原画素から水平方向に1番目にある画素であり、下側の対向画素D24が第2の原画素から水平方向に1番目にある画素である場合には、上側の対向画素D12側の水平相関強度は、当該対向画素D12を中心とする所定領域の水平相関強度であり、下側の対向画素D24側の水平相関強度は、当該対向画素D24を中心とする所定領域の水平相関強度であり、
上側の対向画素D12が第1の原画素から水平方向にn番目にある画素であり、下側の対向画素D24が第2の原画素から水平方向にn番目にある画素である場合には、上側の対向画素D12側の水平相関強度は、当該対向画素D12を中心とする所定領域の水平相関強度に、第1の原画素と当該対向画素D12との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値であり、下側の対向画素D24側の水平相関強度は、当該対向画素D24を中心とする所定領域の水平相関強度に、第2の原画素と当該対向画素D24との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値であることを特徴とする。
【0083】
請求項6に記載の発明は、請求項1に記載の発明において、第1の原画素と第2の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、第1の原画素が第2の原画素の真上にあるとし、補間画素を斜め方向に挟む1組の対向画素のうち上側の対向画素をD12、下側の対向画素をD24とし、各原画素D12,D24の画素データをd12,d24とし、β1およびβ2を所定の係数とし、Hlを一方の対向画素D12側の水平相関強度と他方の対向画素D24側の水平相関強度との和であるとし、Vlを一方の対向画素D12側の垂直相関強度と他方の対向画素D24側の垂直相関強度との和であるとし、第2ステップで求められた設定可能範囲Sの画素データをxとすると、第3ステップで用いられる、その組に対する相関値Lの算出式は、次式(17)で表されることを特徴とする。
【0084】
L=|d12−x|+|d24−x|+β1・Hl−β2・Vl …(17)
【0085】
請求項7に記載の発明は、請求項1に記載の発明において、第1の原画素と第2の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、第1の原画素が第2の原画素の真上にあるとし、補間画素を斜め方向に挟む1組の対向画素のうち上側の対向画素をD12、下側の対向画素をD24とし、各原画素D12,D24の画素データをd12,d24とし、β1およびβ2を所定の係数とし、Hlを一方の対向画素D12側の水平相関強度と他方の対向画素D24側の水平相関強度との和であるとし、Vlを一方の対向画素D12側の垂直相関強度と他方の対向画素D24側の垂直相関強度との和であるとし、第2ステップで求められた設定可能範囲Sの画素データをxとすると、第3ステップで用いられる、その組に対する相関値Lの算出式は、L=|d12−x|+|d24−x|+β1・Hl−β2・Vlで表され、
上側の対向画素D12側の垂直相関強度は、当該対向画素に対する垂直方向の二次微分値であり、下側の対向画素D24側の垂直相関強度は当該対向画素に対する垂直方向の二次微分値であることを特徴とする。
【0086】
請求項8に記載の発明は、請求項1に記載の発明において、第1の原画素と第2の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、第1の原画素が第2の原画素の真上にあるとし、補間画素を斜め方向に挟む1組の対向画素のうち上側の対向画素をD12、下側の対向画素をD24とし、各原画素D12,D24の画素データをd12,d24とし、β1およびβ2を所定の係数とし、Hlを一方の対向画素D12側の水平相関強度と他方の対向画素D24側の水平相関強度との和であるとし、Vlを一方の対向画素D12側の垂直相関強度と他方の対向画素D24側の垂直相関強度との和であるとし、第2ステップで求められた設定可能範囲Sの画素データをxとすると、第3ステップで用いられる、その組に対する相関値Lの算出式は、L=|d12−x|+|d24−x|+β1・Hl−β2・Vlで表され、
任意の注目原画素の真上の原画素に対する水平方向の二次微分値と、当該注目原画素に対する水平方向の二次微分値の2倍の値と、当該注目原画素の真下の原画素に対する水平方向の二次微分値との和を当該注目原画素を中心とする所定領域の水平相関強度と定義すると、
上側の対向画素D12が第1の原画素から水平方向に1番目にある画素であり、下側の対向画素D24が第2の原画素から水平方向に1番目にある画素である場合には、上側の対向画素D12側の水平相関強度は、当該対向画素D12を中心とする所定領域の水平相関強度であり、下側の対向画素D24側の水平相関強度は、当該対向画素D24を中心とする所定領域の水平相関強度であり、
上側の対向画素D12が第1の原画素から水平方向にn番目にある画素であり、下側の対向画素D24が第2の原画素から水平方向にn番目にある画素である場合には、上側の対向画素D12側の水平相関強度は、当該対向画素D12を中心とする所定領域の水平相関強度に、第1の原画素と当該対向画素D12との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値であり、
下側の対向画素D24側の水平相関強度は、当該対向画素D24を中心とする所定領域の水平相関強度に、第2の原画素と当該対向画素D24との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値であることを特徴とする。
【0087】
請求項9に記載の発明は、請求項1乃至8に記載の発明において、第4ステップは、第3ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、選択した最小の相関最小値を与える補間画素の画素データを抽出するステップ、最小の相関最小値が1つである場合には、その最小の相関最小値を与える補間画素の画素データを、補間画素の暫定画素データとして決定するステップ、ならびに最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データの平均値を補間画素の暫定画素データとして決定するステップを備えていることを特徴とする。
【0088】
請求項10に記載の発明は、請求項1乃至8に記載の発明において、第4ステップは、第3ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、選択した最小の相関最小値を与える補間画素の画素データを抽出するステップ、最小の相関最小値が1つである場合には、その最小の相関最小値を与える補間画素の画素データを、補間画素の暫定画素データとして決定するステップ、ならびに最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データのうちから、最大値と最小値とを抽出し、抽出した最大値と最小値との平均値を補間画素の画素データとして決定するステップを備えていることを特徴とする。
【0089】
請求項11に記載の発明は、請求項1乃至8に記載の発明において、第4ステップは、第3ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、選択した最小の相関最小値を与える補間画素の画素データを抽出するステップ、最小の相関最小値が1つである場合には、その最小の相関最小値を与える補間画素の画素データを、補間画素の暫定画素データとして決定するステップ、ならびに最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データのうち、補間画素に最も近接した対向画素から得られた画素データを選択し、選択した画素データが1つである場合にはその画素データを補間画素の画素データとして決定し、選択した画素データが2つである場合にはそれらの平均値を補間画素の画素データとして決定するステップを備えていることを特徴とする。
【0090】
請求項12に記載の発明は、請求項1乃至11に記載の発明において、第6ステップは、第5ステップで算出された線形相関値が第3ステップで求められた相関最小値以下である場合には、第5ステップで算出された線形補間値を補間画素の最終的な画素データとして選択し、第5ステップで算出された線形相関値が第3ステップで求められた相関最小値より大きい場合には、第4ステップで算出された暫定画素データを補間画素の最終的な画素データとして選択するものであることを特徴とする。
【0091】
請求項13に記載の発明は、請求項1乃至11に記載の発明において、第6ステップは、第5ステップで算出された線形相関値と第3ステップで求められた相関最小値とに応じて、第5ステップで算出された線形補間値と第4ステップで算出された暫定画素データとを加重加算することによって補間画素の最終的な画素データを算出するものであることを特徴とする。
【0098】
【発明の実施の形態】
以下、図1、図5、図6、図7〜図15を参照して、この発明の実施の形態について説明する。
【0099】
〔1〕第1の実施の形態の説明
【0100】
以下、この発明の第1の実施の形態による画像補間方法(以下、第1提案手法という)について説明する。
【0101】
〔1−1〕原画素と補間される補間画素との関係についての説明
【0102】
図1は、原画素と補間される補間画素との関係を示している。
【0103】
図1において、ライン(n−1),n,(n+1),(n+2)が原画像の水平ラインであり、ライン(i−1),i,(i+1)が補間される水平ラインである。ここでは、ラインi上の画素(以下、補間画素という)Xを補間する場合について説明する。
【0104】
以下の説明においては、原画素D01〜D35および補間画素Xの画素データを、それぞれd01〜d35およびxで表す。また、この例では、画素データが8ビットであり、黒データは”0”であり、白データは”255”であるとする。
【0105】
〔1−2〕補間画素Xの画素データxを求めるための手順の説明
【0106】
図7は、第1提案手法によって、補間画素Xの画素データxを求めるための手順を示している。
【0107】
〔1−2−1〕ステップ11の説明
まず、補間画素Xが原画像のエッジ付近にあるか否かを判定するために、第1エッジ成分Eおよび第2エッジ成分Esを算出する(ステップ11)。つまり、補間画素Xの真上にある2つの原画素D03,D13と、補間画素Xの真下にある原画素D23,D33の画素データを用いて、第1エッジ成分Eを次式(18)から求めるとともに第2エッジ成分Esを次式(19)から求める。
【0108】
E=−d03+d13+d23−d33 …(18)
【0109】
Es=|d03+d13−d23−d33| …(19)
【0110】
補間画素Xが原画像の黒エッジ付近に存在している場合には、第1エッジ成分Eは負の比較的大きな値をとり、補間画素Xが原画像の白エッジ付近に存在している場合には、第1エッジ成分Eは正の比較的大きな値をとる。また、補間画素Xが原画像の端エッジ付近に存在している場合には、第2エッジ成分Esは比較的大きな値をとり、補間画素Xが原画像の端エッジ付近に存在していない場合には、第2エッジ成分Esは比較的小さな値をとる。
【0111】
〔1−2−2〕ステップ12の説明
次に、エッジ成分E,Esに基づいて、補間画素Xの画素データxの設定可能範囲Sを決定する(ステップ12)。
【0112】
図8に基づいて、設定可能範囲Sの決定方法について説明する。図8において、dmax は原画素D13,D23の画素データd13,d23のうち値の大きい方を表し、dmin は画素データd13,d23のうち値の小さい方を表している。また、dcは、dmax とdmin との平均値(dmax +dmin )/2を表している。
【0113】
(1)E≧0のときの画素データxの設定可能範囲S
E≧0のときには、図8(a)に示すように、設定可能範囲Sを、dc−(Es×γs)≦S≦dc+(Es×γs)+(E×γ)とする。ただし、γs,γは外部より制御可能な変数である。
【0114】
つまり、エッジ成分Eが0以上のときには、画素データxの設定可能範囲Sは、dcを中心とした範囲〔dc−(Es×γs)≦x≦dc+(Es×γs)〕よりも、γ・Eの値分だけ上側に広がった範囲となる。
【0115】
この場合は、補間画素Xが原画像の白エッジ付近に存在していると想定し、設定可能範囲Sをdmin 〜dmax の範囲のうち、dmax 側に近い範囲に設定している。
【0116】
(2)E<0のときのときの画素データxの設定可能範囲S
E<0のときには、図8(b)に示すように、設定可能範囲Sを、dc−(Es×γs)+(E×γ)≦S≦dc+(Es×γs)とする。
【0117】
つまり、エッジ成分Eが0より小さいときには、画素データxの設定可能範囲Sは、dcを中心とした範囲〔dc−(Es×γs)≦x≦dc+(Es×γs)〕よりも、γ・Eの値分だけ下側に広がった範囲となる。
【0118】
この場合は、補間画素Xが原画像の黒エッジ付近に存在していると想定し、設定可能範囲Sをdmin 〜dmax の範囲のうち、dmin 側に近い範囲に設定している。
【0119】
〔1−2−3〕ステップ13の説明
次に、補間画素Xを斜め方向に挟む対向画素の画素データに基づいて、補間画素Xの画素データの候補を、補間画素Xの画素データxの設定可能範囲S内から求める(ステップ13)。
【0120】
補間画素Xの画素データの候補を求める方法は、図2のステップ3とほぼ同様であるが、相関値L,Rの算出方法が図2のステップ3と異なっている。
【0121】
図1の対向画素D12,D24と補間画素Xとの画素データの相関値Lは、次式(20)で表され、図1の対向画素D14,D22と補間画素Xとの画素データの相関値Rは、次式(21)によって表される。
【0122】
L=|d12−x|+|d24−x|+β1×Hl−β2×Vl …(20)
【0123】
R=|d14−x|+|d22−x|+β1×Hr−β2×Vr …(21)
【0124】
上記式(20),(21)において、β1,β2は、外部から制御可能な変数である。上記式(20),(21)は、上記従来手法の式(2)、(3)と同じであるが、水平相関強度Hl,Hrの算出方法が従来手法と異なっている。
【0125】
Hl,Hrの算出方法の基本的な考え方について説明する。HlおよびHrの算出方法の基本的な考え方は同様なので、ここでは、Hlの算出方法の基本的な考え方について説明する。
【0126】
Hlは、上側の対向画素(この例では図1のD12)側の水平相関強度と下側の対向画素(この例では図1のD24)側の水平相関強度のうちの大きい方の値であると定義される。
【0127】
任意の注目原画素の真上の原画素に対する水平方向の一次微分値と、当該注目原画素に対する水平方向の一次微分値の2倍の値と、当該注目原画素の真下の原画素に対する水平方向の一次微分値との和を当該注目原画素を中心とする所定領域(3×3画素の領域)の水平相関強度と定義する。
【0128】
補正画素Xの真上の画素を第1の原画素とし、補正画素Xの真下の画素を第2の原画素とすると、上側の対向画素が第1の原画素から水平方向に1番目にある画素であり、下側の対向画素が第2の原画素から水平方向に1番目にある画素である場合には、上側の対向画素側の水平相関強度は、当該対向画素を中心とする所定領域の水平相関強度となり、下側の対向画素側の水平相関強度は、当該対向画素を中心とする所定領域の水平相関強度となる。
【0129】
また、上側の対向画素が第1の原画素から水平方向にn番目にある画素であり、下側の対向画素が第2の原画素から水平方向にn番目にある画素である場合には、上側の対向画素側の水平相関強度は、当該対向画素を中心とする所定領域の水平相関強度に、第1の原画素と当該対向画素との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値となる。下側の対向画素側の水平相関強度は、当該対向画素を中心とする所定領域の水平相関強度に、第2の原画素と当該対向画素との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値となる。
【0130】
したがって、上記式(20)における水平相関強度Hlは、AL1を上側の対向画素D12を中心とする所定領域の水平相関強度とし、BL1を下側の対向画素D24を中心とする所定領域の水平相関強度とすると、次式(22)で表される。
【0131】
【0132】
つまり、上側の対向画素D12側の水平相関強度は、上側の対向画素D12を中心とする所定領域の水平相関強度AL1と等しくなり、画素D12の真上の画素D02に対する水平方向の一次微分値( |d03-d02 |+|d02-d01 |) と当該対向画素D12に対する水平方向の一次微分値( |d13-d12 |+|d12-d11 |) の2倍の値と当該対向画素D12の真下の画素D22に対する水平方向の一次微分値( |d23-d22 |+|d22-d21 |) との和で表される。
【0133】
下側の対向画素D24側の水平相関強度は、下側の対向画素D24を中心とする所定領域の水平相関強度BL1と等しくなり、画素D24の真上の画素D14に対する水平方向の一次微分値( |d13-d14 |+|d14-d15 |) と画素D24に対する水平方向の一次微分値( |d23-d24 |+|d24-d25 |) の2倍の値と画素D24の真下の画素D34に対する水平方向の一次微分値( |d33-d34 |+|d34-d35 |) との和で表される。
【0134】
また、垂直相関強度Vlは、上側の対向画素側の垂直相関強度と下側の対向画素側の垂直相関強度のうちの小さい方の値であると定義される。上側の対向画素側の垂直相関強度は、当該対向画素に対する垂直方向の一次微分値であり、下側の対向画素側の垂直相関強度は当該対向画素に対する垂直方向の一次微分値である。したがって、垂直相関強度Vlは、次式(23)で表される。
【0135】
Vl=MIN(|d02-d12 |+|d12-d22 |, |d14-d24 |+|d24-d34 |)…(23)
【0136】
つまり、上側の対向画素D12側の垂直相関強度は、画素D12に対する垂直方向の一次微分値( |d02-d12 |+|d12-d22 |)として表され、下側の対向画素D24側の垂直相関強度は画素D24に対する垂直方向の一次微分値(|d14-d24 |+|d24-d34 |)として表される。
【0137】
なお、上記上側の対向画素側の垂直相関強度を、当該対向画素に対する垂直方向の二次微分値とし、下側の対向画素側の垂直相関強度を当該対向画素に対する垂直方向の二次微分値としてもよい。この場合には、垂直相関強度Vlは、次式(24)で表される。
【0138】
Vl=MIN(|-d02+2*d12-d22|, |-d14+2*d24-d34|) …(24)
【0139】
上記式(21)における水平相関強度Hrは、AR1を上側の対向画素D14を中心とする所定領域の水平相関強度とし、BR1を下側の対向画素D22を中心とする所定領域の水平相関強度とすると、次式(25)で表される。また、垂直相関強度Vrは次式(26)で表される。
【0140】
【0141】
Vr=MIN(|d04-d14 |+|d14-d24 |, |d12-d22 |+|d22-d32 |)…(26)
【0142】
なお、垂直相関強度Vrを、次式(27)によって算出するようにしてもよい。
【0143】
Vr=MIN(|-d04+2*d14-d24|, |-d12+2*d22-d32|) …(27)
【0144】
図9は、相関値Lと画素データxとの関係を表している。また、図9において、xmin は、画素データd12,d24のうち小さい方の画素データを示し、xmax は、画素データd12,d24のうち大きい方の画素データを示している。また、xd=xmax −xmin +β1×Hl−β2×Vlである。
【0145】
xd=xmax −xmin +β1×Hl−β2×Vlとすると、上記式(20)の相関値Lは、次式(28)のように変形することができる。上記式(21)の相関値Rについても、同様に変形することができる。
【0146】
L=xd+2(x−xmin ) (x>xmax )
L=xd (xmin ≦x≦xmax )
L=xd+2(xmin −x) (x<xmin ) …(28)
【0147】
最小相関値Lmin ,Rmin 及び画素データxl,xrは、図2のステップ3の第2方法で説明した方法、つまり図5を用いて説明した方法と同様な方法で求めることができる。
【0148】
〔1−2−4〕ステップ14〜17の説明
ステップ13によって、最小相関値Lmin ,Rmin およびそれを与える画素データxl,xrが求められると、両最小相関値Lmin ,Rmin のうち小さい方の相関値(斜め方向の最小相関値)Cminを与える画素データを抽出する(ステップ14)。
【0149】
両最小相関値Lmin ,Rmin が異なる場合には、1つの画素データが抽出され、両最小相関値Lmin ,Rmin が同じ場合には、2つの画素データが抽出される。
【0150】
ステップ14において1つの画素データxlまたはxrが抽出された場合には(ステップ15でYES)、抽出された画素データが補間画素Xの暫定画素データDpとして決定される(ステップ16)。そして、ステップ19に進む。ステップ14において、2つの(複数の)画素データxl,xrが選択された場合には(ステップ15でNO)、画素データxl,xrの平均値が補間画素Xの暫定画素データDpに決定される(ステップ17)。そして、ステップ19に進む。
【0151】
詳しくは次の通りである。
【0152】
▲1▼ if Lmin <Rmin ,then Dp=xl
▲2▼ if Lmin >Rmin ,then Dp=xr
▲3▼ if Lmin =Rmin ,then Dp=(xl+xr)/2
【0153】
〔1−2−5〕ステップ18の説明
一方、ステップ18では、補間画素Xの上下の画素D13,D23の画素値d13,d23を用いた線形相関値Clin( Clin=|d13−d23|)と、線形補間値Avg( Avg=(d13+d23)/2)とが算出される。
【0154】
〔1−2−6〕ステップ19の説明
ステップ19では、ステップ16または17によって得られた補間画素Xの暫定画素データDpおよび斜め方向相関最小値Cminと、ステップ18によって得られた補間画素Xに対する線形補間値Avgおよび線形相関値Clinとに基づいて、補間画素Xの最終的な画素データxが算出される。
【0155】
つまり、線形相関値Clinが斜め方向相関最小値Cmin以下である場合には、線形補間値Avgが補間画素Xの最終的な画素データxとされる。線形相関値Clinが斜め方向相関最小値Cminより大きい場合には、暫定画素データDpが補間画素Xの最終的な画素データxとされる。
【0156】
また、最終的な画素データxを次式(29)に基づいて算出するようにしてもよい。
【0157】
【0158】
Thは画素データdが8ビットの場合、例えば、255に設定される。
【0159】
〔1−3〕斜め方向相関の種類を多くした場合の説明
なお、上記ステップ13では、補間画素Xを斜め方向に挟む対向画素の組として、2組が選択されているが、2組より多い組を選択してもよい。たとえば、図6に示すように、D12とD28、D13とD27、D14とD26、D16とD24、D17とD23、D18とD22というように、6組の対向画素を選択してもよい。この場合には、それぞれの対向画素の組毎に、相関値の最小値を与える画素データがステップ13で求められる。つまり、6つの画素データ候補が求められる。
【0160】
そして、6組の対向画素の組に対する相関最小値のうち、最小のものが3以上ある場合には、ステップ14では、これらの6つの画素データ候補のうちから、3以上の画素データが抽出される。
【0161】
ステップ14で3以上の画素データが選択された場合に、補間画素Xの暫定画素データDpを決定する方法としては、従来手法で説明したように3つの方法がある。
【0162】
なお、補間画素Xを斜め方向に挟む対向画素の組として、図6に示すように、6組の対向画素を選択した場合、例えば、相関値L2,R2は、次式(30)、(31)で表される。
【0163】
L2=|d11−x|+|d25−x|+β1×Hl2 −β2×Vl2 …(30)
【0164】
R2=|d15−x|+|d21−x|+β1×Hr2 −β2×Vr2 …(31)
【0165】
AL1を画素D12を中心とする所定領域の水平相関強度とし、AL2を画素D11を中心とする所定領域の水平相関強度とし、BL1を画素D24を中心とする所定領域の水平相関強度とし、BL2を画素25を中心とする所定領域の水平相関強度とすると、上記式(30)中のHl2 は上述した算出方法の基本的な考え方にしたがって、次式(32)で表される。なお、Vl2 は、一次微分値を用いた場合には、次式(33)で表される。
【0166】
【0167】
V12 =MIN(|d01-d11 |+|d11 −d21|, |d15-d25 |+|d25-d35|) …(33)
【0168】
上記式(31)中のHr2 は、AR1を画素D14を中心とする所定領域の水平相関強度とし、AR2を画素D15を中心とする所定領域の水平相関強度とし、BR1を画素D22を中心とする所定領域の水平相関強度とし、BR2を画素21を中心とする所定領域の水平相関強度とすると、次式(34)で表される。また、Vr2 は、一次微分値を用いた場合には、次式(35)で表される。
【0169】
【0170】
Vr2 =MIN(|d05-d15 |+|d15 −d25|, |d11-d21 |+|d21-d31|) …(35)
【0171】
〔1−4〕第1提案手法を用いた画像補間装置の説明
【0172】
図10は、画像補間装置の構成を示している。
【0173】
ここでは、斜め方向の対向画素の組数を4であり、図6のL1,L2,R1,R2の斜め方向相関値が算出される場合について説明する。
【0174】
メモリ部1は、入力端子INを介して入力される原画素の画素データを記憶する。補間相関値演算部2は、メモリ部1に記憶されている原画素の画素データを用いて、図7のステップ11〜13の処理を行うことによって、4組の対向画素から得られる4つの最小相関値L1min ,L2min ,R1min ,R2min と、この4つの最小相関値をそれぞれ与える補間画素Xの画素データx1l,x2l,x1r,x2rとを算出する。
【0175】
最小値抽出部3および画素データ選択部4は、図7のステップ14の処理を行うものである。最小値抽出部3は、補間相関値演算部2によって算出された4つの最小相関値L1min ,L2min ,R1min ,R2min のうち最小となる最小相関値を識別する。この最小値抽出部3は、相関値L1,L2,R1,R2の最小値L1min ,L2min ,R1min ,R2min にそれぞれ対応した制御信号Flag1〜4を画素データ選択部4に出力する。相関値L1,L2、R1,R2の最小値L1min ,L2min 、R1min ,R2min のうち最も小さい値に応じた制御信号をHighとし、それ以外の値に応じた制御信号をLowとする。最小値抽出部3は、最小相関値Cminを相関値比較部7に与える。
【0176】
画素データ選択部4は、最小値抽出部3から与えられる制御信号Flag1〜4に基づいて、補間相関値演算部2から与えられる4つの画素データx1l,x2l,x1r,x2rから補間画素Xの画素データの候補となる画素データを選択する。具体的には、画素データ選択部4は、最小値抽出部3から与えられた制御信号のうちHighとなる制御信号に対応した画素データを暫定補間画素データ抽出部5に出力する。
【0177】
暫定補間画素データ抽出部5は、画素データ選択部4で選択された画素データの数に応じて、図7のステップ16または17の処理を行うことにより、暫定画素データDpを算出して、補間画素データ抽出部に与える。
【0178】
線形相関値/線形補間値演算部6は、メモリ部1に記憶されている原画素の画素データを用いて、図7のステップ18の処理を行うことによって、線形相関値Clinおよび線形補間値Avgを算出する。線形相関値/線形補間値演算部6は、得られた線形相関値Clinを相関値比較部7に与えるととともに、得られた線形補間値Avgを補間画素データ抽出部8に与える。
【0179】
相関値比較部7は、最小値抽出部3は、相関値比較部7から与えられた斜め方向の最小相関値Cminと、線形相関値/線形補間値演算部6から与えられた線形相関値Clinを比較して、比較結果を補間画素データ抽出部8に送る。
【0180】
補間画素データ抽出部8は、図7のステップ19の処理を行うものであり、暫定補間画素データ抽出部5から与えられた暫定画素データDpおよび線形相関値/線形補間値演算部6から与えられた線形補間値Avgのうち、相関値比較部7からのの比較結果信号に基づいて一方を選択して切換部9に送る。
【0181】
つまり、補間画素データ抽出部8は、線形相関値Clinが斜め方向相関最小値Cmin以下である場合には線形補間値Avgを出力し、線形相関値Clinが斜め方向相関最小値Cminより大きい場合には暫定画素データDpを出力する。
【0182】
なお、原画素の画素データは、メモリ部1および補間相関値演算部2を介して、切換部9に送られる。つまり、nライン上の原画素の画素データが出力される際には切換部9から原画素データが出力端子OUTに出力され、iライン上の補間画素の画素データが出力される際には、切換部9から補間画素の画素データが出力端子OUTに出力される。
【0183】
〔2〕第1提案手法と従来手法との比較
【0184】
〔2−1〕第1具体例
補間画素Xの周辺画素の画素値が図11に示すような画素値である場合を想定する。なお、図11において、黒丸は黒(画素値0)を表し、白丸は白(画素値1)を表しているものとする。図11の例において、補間画素Xの画素データxについて、従来手法と第1提案手法とを比較する。
【0185】
従来手法では、エッジ成分E、dmax(d13,d23のうちの大きい方の値)、dmin(d13,d23のうちの小さい方の値)、dc(dmaxとdminの平均値)、設定可能範囲Sの最小値xa、設定可能範囲Sの最大値xbは、次のようになる。
【0186】
【0187】
図11の場合には、矢印の方向の相関が強くなる(相関値が最小となる)ため、図5のxmin=xmax=0 となる。したがって、図11の場合には、図5(b)に該当し、画素データはxa(0.25)となる。
【0188】
つまり、図11の例では、補間画素Xより左側の画素は線形補間値(0.5) をとるが、補間画素Xの画素データxは黒に近い0.25となるため、白線に段差が生じることになる。
【0189】
これに対して、第1提案手法では、第1エッジ成分E、第1エッジ成分Es、dmax、dmin、dc、設定可能範囲Sの最小値xa、設定可能範囲Sの最第値xbは、次のようになる。
【0190】
E =-d03+d13+d23-d33=-0+1+0-1=0
Es=|d03+d13-d23-d33 |=|0+1-0-1 |=0
dmin=0, dmax =1, dc =0.5
xa=dc-Es ×γs =0.5- 0×γs =0.5
xb=dc+Es ×γs+E ×γ=0.5+0 ×γs+0 ×γ=0.5
0.5 ≦S ≦0.5
【0191】
図11の場合には、矢印の方向の相関が強くなる(相関値が最小となる)ため、図5のxmin=xmax=0 となる。したがって、図11の場合には、図5(b)に該当し、画素データはxa(0.5) となる。
【0192】
つまり、第1提案手法では、図12に示すように、補間画素Xより左側の画素は線形補間値(0.5) をとるとともに、設定可能範囲の制限によって、補間画素Xの画素データxも0.5 となるため、白線に段差は生じなくなる。
【0193】
〔2−2〕第2具体例
補間画素Xの周辺画素の画素値が図13に示すような画素値である場合を想定する。なお、図13において、黒丸は黒(画素値0)を表し、白丸は白(画素値1)を表しているものとする。図13の例において、補間画素Xの画素データxについて、従来手法と第1提案手法とを比較する。ただし、ここでは、斜め方向の相関値L,Rの算出方法の違いによる補間画素Xの補間データxの差異について説明を行いたいため、従来手法においても設定可能範囲Sは第1提案手法による算出方法を用いることにした。
【0194】
第1エッジ成分E、第1エッジ成分Es、dmax(d13,d23のうちの大きい方の値)、dmin(d13,d23のうちの小さい方の値)、dc(dmaxとdminの平均値)、設定可能範囲Sの最小値xa、設定可能範囲Sの最大値xbは、次のようになる。
【0195】
E =-d03+d13+d23-d33=-1+1+0-0=0
Es=|d03+d13-d23-d33 |=|1+1-0-0 |=2
dmin=0, dmax =1, dc =0.5
xa=dc-Es ×γs =0.5- 2×γs
xb=dc+Es ×γs+E ×γ=0.5+2 ×γs+0 ×γ=0.5
γs =0.5 とすると、-0.5≦S ≦1.5
【0196】
従来手法では、斜め方向の相関値は、図13の破線の矢印方向で最小値0(xd =xmax-xmin+β1 ×Hl- β2 ×V1=(0-0)+β1 ×0-β2 ×0 =0)となる。したがって、図5において、xmin=xmax=0 となり、図5の(d)に該当し、画素データxは(xmin+ xmax)/2)=0 となる。
【0197】
つまり、図13の例では、補間画素Xは白部分と黒部分との間に存在するためその画素データxは0.5となることが好ましいが、従来手法では、破線矢印方向の相関値が最小となるため、画素データxは黒(0)となり、補間部に段差が生じることになる。
【0198】
これに対して、第1提案手法では、図13の破線矢印方向の相関値xdは、 次のようになる。
【0199】
xd=xmax-xmin+β1 ×Hl- β2 ×V1=(0-0)+β1 ×3-β2 ×0 =3 β1
【0200】
また、実線矢印方向の相関値xdは、次のようになる。
【0201】
xd=xmax-xmin+β1 ×Hl- β2 ×V1=(1-0)+β1 ×1-β2 ×0 =1+β1
【0202】
β1 >0.5 に設定すると、破線矢印方向の相関値>実線矢印方向の相関値となり、実線矢印方向の相関値が最小となる。このため、xmin=0,xmax=1 となる。したがって、図13の場合には、従来手法と同様に図5(d)に該当するが、画素データは(xmin+xmax)/2 =0.5 となり、補間部で段差は生じなくなる。
【0203】
〔3〕第2の実施の形態の説明
【0204】
以下、この発明の第2の実施の形態による画像補間方法(以下、第2提案手法という)について説明する。
【0205】
第2提案手法は第1提案手法とほぼ同様であるが、斜め相関値L,Rを算出する際に用いられる水平相関強度Hl,Hrの算出方法のみが第1提案手法と異なっている。
【0206】
Hl,Hrの算出方法の基本的な考え方について説明する。HlおよびHrの算出方法の基本的な考え方は同様なので、ここでは、Hlの算出方法の基本的な考え方について説明する。
【0207】
Hlは、上側の対向画素(この例では図1のD12)側の水平相関強度と下側の対向画素(この例では図1のD24)側の水平相関強度のうちの大きい方の値であると定義される。
【0208】
任意の注目原画素の真上の原画素に対する水平方向の二次微分値と、当該注目原画素に対する水平方向の二次微分値の2倍の値と、当該注目原画素の真下の原画素に対する水平方向の二次微分値との和を当該注目原画素を中心とする所定領域(3×3画素の領域)の水平相関強度と定義する。
【0209】
補正画素Xの真上の画素を第1の原画素とし、補正画素Xの真下の画素を第2の原画素とすると、上側の対向画素が第1の原画素から水平方向に1番目にある画素であり、下側の対向画素が第2の原画素から水平方向に1番目にある画素である場合には、上側の対向画素側の水平相関強度は、当該対向画素を中心とする所定領域の水平相関強度となり、下側の対向画素側の水平相関強度は、当該対向画素を中心とする所定領域の水平相関強度となる。
【0210】
また、上側の対向画素が第1の原画素から水平方向にn番目にある画素であり、下側の対向画素が第2の原画素から水平方向にn番目にある画素である場合には、上側の対向画素側の水平相関強度は、当該対向画素を中心とする所定領域の水平相関強度に、第1の原画素と当該対向画素との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値となる。下側の対向画素側の水平相関強度は、当該対向画素を中心とする所定領域の水平相関強度に、第2の原画素と当該対向画素との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値となる。
【0211】
図6の相関値L1,L2,R1,R2の算出に用いられる水平相関強度Hl1,Hl2 , Hr1 ,Hr2 について説明する。
【0212】
Hl1 は、AL1を上側の対向画素D12を中心とする所定領域の水平相関強度とし、BL1を下側の対向画素D24を中心とする所定領域の水平相関強度とすると、次式(36)で表される。
【0213】
【0214】
つまり、上側の対向画素D12側の水平相関強度は、上側の対向画素D12を中心とする所定領域の水平相関強度AL1と等しくなり、画素D12の真上の画素D02に対する水平方向の二次微分値( |-d03+2*d02-d01|) と当該対向画素D12に対する水平方向の二次微分値( |-d13+2*d12-d11|) の2倍の値と当該対向画素D12の真下の画素D22に対する水平方向の二次微分値( |-d23+2*d22-d21|) との和で表される。
【0215】
下側の対向画素D24側の水平相関強度は、下側の対向画素D24を中心とする所定領域の水平相関強度BL1と等しくなり、画素D24の真上の画素D14に対する水平方向の二次微分値( |-d13+2*d14-d15|) と画素D24に対する水平方向の二次微分値( |-d23+2*d24-d25|) の2倍の値と画素D24の真下の画素D34に対する水平方向の二次微分値( |-d33+2*d34-d35|) との和で表される。
【0216】
また、Hl2 は、AL1を画素D12を中心とする所定領域の水平相関強度とし、AL2を画素D11を中心とする所定領域の水平相関強度とし、BL1を画素D24を中心とする所定領域の水平相関強度とし、BL2を画素25を中心とする所定領域の水平相関強度とすると、上述した算出方法の基本的な考え方ににしたがって、次式(37)で表される。
【0217】
【0218】
Hr1 は、AR1を上側の対向画素D14を中心とする所定領域の水平相関強度とし、BR1を下側の対向画素D22を中心とする所定領域の水平相関強度とすると、次式(38)で表される。
【0219】
【0220】
また、Hr2 は、AR1を画素D14を中心とする所定領域の水平相関強度とし、AR2を画素D15を中心とする所定領域の水平相関強度とし、BR1を画素D22を中心とする所定領域の水平相関強度とし、BR2を画素21を中心とする所定領域の水平相関強度とすると、上述した算出方法の基本的な考え方ににしたがって、次式(39)で表される。
【0221】
【0222】
〔4〕第1提案手法と第2提案手法との比較
補間画素Xの周辺画素の画素値が図14に示すような画素値である場合を想定する。なお、図14において、黒丸は黒(画素値0)を表し、白丸は白(画素値1)を表している。なお、画素D13およびD23の画素値d13,d23は0.25であり、画素D14およびD22の画素値d14,d22は0.5であり、画素D15およびD21の画素値d15,d21は0.75である。図14の例において、補間画素Xの画素データxについて、第1提案手法と第2提案手法とを比較する。
【0223】
第1提案手法、第2提案手法とも、第1エッジ成分E、第1エッジ成分Es、dmax(d13,d23のうちの大きい方の値)、dmin(d13,d23のうちの小さい方の値)、dc(dmaxとdminの平均値)、設定可能範囲Sの最小値xa、設定可能範囲Sの最第値xbは、次のようになる。
【0224】
E =-d03+d13+d23-d33=-0+0.25+0.25-0=0.5
Es=|d03+d13-d23-d33 |=|0+0.25-0.25-0 |=0
dmin=025, dmax =0.25, dc=0.25
xa=dc-Es ×γs =0.25- 0 ×γs =0.25
xb=dc+Es ×γs+E ×γ=0.25+0×γs+0.5 ×γ=0.25+0.5×γ
γ=0.5 とすると、0.25≦S ≦0.5
【0225】
第1提案手法では、図13の破線の矢印方向の相関値を算出するために用いられるHr,Vr , および相関値xdは、次のようになる。
【0226】
【0227】
また、第1提案手法では、図13の実線の矢印方向の相関値を算出するために用いられるHl,Vl , および相関値xdは、次のようになる。
【0228】
【0229】
β2 <( β1 /2)とすると、実線矢印方向の相関値が最小となる。したがって、図5において、xmin=xmax=0 となり、図5の(b)に該当し、画素データxはxa=0.25( 黒に近い値) となり、白の斜め線に分断箇所が生じる。
【0230】
一方、第2提案手法では、図13の破線の矢印方向の相関値を算出するために用いられるHr,Vr , および相関値xdは、次のようになる。
【0231】
【0232】
また、第2提案手法では、図13の実線の矢印方向の相関値を算出するために用いられるHl,Vl , および相関値xdは、次のようになる。
【0233】
【0234】
このため、β1,β2 の値によらず、破線矢印方向の相関値が最小となる。したがって、図5において、xmin=xmax=0.5 となり、図5の(a)に該当し、画素データxはxb=0.5 となり、白の斜め線に分断箇所が発生しなくなる。
【0235】
〔3〕第3の実施の形態の説明
【0236】
以下、この発明の第3の実施の形態による画像補間方法(以下、第3提案手法という)について説明する。
【0237】
第3提案手法は第2提案手法とほぼ同様であるが、斜め相関値L,Rを算出される際に用いられる水平相関強度Hl,Hr,Vl,Vrの算出方法のみが第2提案手法と異なっている。
【0238】
第3提案手法では、Hl,Hrは、上側の対向画素側の水平相関強度と下側の対向画素側の水平相関強度との和であると定義される。上側の対向画素側の水平相関強度および下側の対向画素の定義は、第提案2手法と同じである。
【0239】
図6の相関値L1,L2,R1,R2の算出に用いられる水平相関強度Hl1,Hl2 , Hr1 ,Hr2 について説明する。
【0240】
Hl1 は、AL1を上側の対向画素D12を中心とする所定領域の水平相関強度とし、BL1を下側の対向画素D24を中心とする所定領域の水平相関強度とすると、次式(40)で表される。
【0241】
【0242】
また、Hl2 は、AL1を画素D12を中心とする所定領域の水平相関強度とし、AL2を画素D11を中心とする所定領域の水平相関強度とし、BL1を画素D24を中心とする所定領域の水平相関強度とし、BL2を画素25を中心とする所定領域の水平相関強度とすると、次式(41)で表される。
【0243】
【0244】
Hr1 は、AR1を上側の対向画素D14を中心とする所定領域の水平相関強度とし、BR1を下側の対向画素D22を中心とする所定領域の水平相関強度とすると、次式(42)で表される。
【0245】
【0246】
また、Hr2 は、AR1を画素D14を中心とする所定領域の水平相関強度とし、AR2を画素D15を中心とする所定領域の水平相関強度とし、BR1を画素D22を中心とする所定領域の水平相関強度とし、BR2を画素21を中心とする所定領域の水平相関強度とすると、次式(43)で表される。
【0247】
【0248】
第3提案手法では、垂直相関強度Vl, Vrは、上側の対向画素側の垂直相関強度と下側の対向画素側の垂直相関強度との和であると定義される。上側の対向画素側の垂直相関強度は、当該対向画素に対する垂直方向の二次微分値であり、下側の対向画素側の垂直相関強度は当該対向画素に対する垂直方向の二次微分値である。
【0249】
図6の相関値L1,R1の算出に用いられる垂直相関強度Vl1,Vr1 について説明する。
【0250】
垂直相関強度Vl1 は、次式(44)で表される。
【0251】
Vl1 =( |-d02+2*d12-d22|+|-d14+2*d24-d34|) …(44)
【0252】
また、垂直相関強度Vr1 は、次式(45)で表される。
【0253】
Vr1 =( |-d04+2*d14-d24|+|-d12+2*d22-d32|) …(45)
【0254】
〔6〕第1提案手法および第2提案手法の変形例について
第1提案手法または第2提案手法において、斜め方向相関値L,Rを算出する際に、次に説明するような斜め相関強度を加算するようにしてもよい。
【0255】
つまり、斜め相関強度とは、現在参照している斜め方向のラインに対して、上下に位置する斜めラインの相関値のうち大きい方の相関値をいう。
【0256】
たとえば、図15における破線矢印方向の相関値Lを算出する際には、斜め相関強度とは、その上側の斜めライン(D02−D14)の相関値|d02−d14|と下側の斜めライン(D22−D34)の相関値|d22−d34|のうちの大きい方をいう。
【0257】
【発明の効果】
本発明によれば、画像を補間する際に、エッジ部分にガタツキやボケが生じないようにできるとともに、滑らかな画像を再生することができるようになる。
【図面の簡単な説明】
【図1】原画素と補間画素との関係を示す模式図である。
【図2】従来手法によって、補間画素Xの画素データxを求めるための手順を示すフローチャートである。
【図3】補間画素Xの画素データxの設定可能範囲Sを示す模式図である。
【図4】相関値Lと画素データxの関係を表すグラフである。
【図5】相関値Lと画素データxの関係を示すグラフ及び画素データの設定可能範囲Sを示す模式図である。
【図6】原画素と補間画素との関係を示す模式図である。
【図7】第1提案手法によって、補間画素Xの画素データxを求めるための手順を示すフローチャートである。
【図8】補間画素Xの画素データxの設定可能範囲Sを示す模式図である。
【図9】相関値Lと画素データxの関係を表すグラフである。
【図10】画像補間装置の構成を示すブロック図である。
【図11】従来手法と第1提案手法とを比較するための具体例を示す模式図である。
【図12】従来手法と第1提案手法とを比較するための具体例を示す模式図である。
【図13】従来手法と第1提案手法とを比較するための他の具体例を示す模式図である。
【図14】第1提案手法と第2提案手法とを比較するための具体例を示す模式図である。
【図15】第1提案手法および第2提案手法の変形例を説明するための模式図である。
【符号の説明】
1 メモリ部
2 補間相関値演算部
3 最小値抽出部
4 画素データ選択部
5 暫定補間画素データ抽出部
6 線形相関値/線形補間値演算部
7 相関値比較部
8 補間画素データ抽出部
9 切換部
Claims (13)
- 第1の原画素と第1の原画素と隣接する第2の原画素との中間位置に画素を補間する画像補間方法において、
補間画素が原画像データのエッジ位置付近に存在するかを判定するための第1エッジ成分Eと第2エッジ成分Esとを算出する第1ステップ、
第1エッジ成分Eおよび第2エッジ成分Esと、第1および第2の原画素の画素データとに基づいて、補間画素の画素データの設定可能範囲を求める第2ステップ、
補間画素を斜め方向に挟む対向画素の組を複数組選択し、各組毎に、補間画素の画素データの設定可能範囲内において、補間画素の画素データと各対向画素との差の絶対値の和と各対向画素の周辺の原画素の画素データに基づいて算出される補正値とで表される相関値が最小となる補間画素の画素データと相関最小値とを求める第3ステップ、
上記各組毎に求められた、相関値が最小となる補間画素の画素データと相関最小値とに基づいて、補間画素の暫定画素データを求める第4ステップ、ならびに 第1の原画素と第2の原画素との線形相関値および線形補間値を算出する第5ステップ、ならびに
第3ステップで求められた相関最小値と、第5ステップで算出された線形相関値と、第4ステップで算出された暫定画素データと、第5ステップで算出された線形補間値とに基づいて、補間画素の最終的な画素データを算出する第6ステップを備えており、
第1の原画素に隣接しかつ第2の原画素と反対側にある原画素を第3の原画素とし、第2の原画素に隣接しかつ第1の原画素と反対側にある原画素を第4の原画素として、第1の原画素の画素データをd1、第2の原画素の画素データをd2、第3の原画素の画素データをd3、第4の原画素の画素データをd4とすると、第1ステップでは、演算式E=−d3+d1+d2−d4に基づいて第1エッジ成分Eが算出されるとともに、演算式Es=|d3+d1−d2−d4|に基づいて第2エッジ成分Esが算出されることを特徴とする画像補間方法。 - 第1ステップで求められた第1エッジ成分をEとし、第2エッジ成分をEsとし、第1の原画素の画素データと第2の原画素の画素データとの平均をdcとし、γs,γを予め設定された係数とすると、第2ステップでは、次式に基づいて、補間画素の画素データの設定可能範囲Sが求められることを特徴とする請求項1に記載の画像補間方法。
if E1≧0,then dc−Es×γs≦S≦dc+Es×γs+E×γ,
if E1<0,then dc−Es×γs+E×γ≦S≦dc+Es×γs. - 第1の原画素と第2の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、第1の原画素が第2の原画素の真上にあるとし、補間画素を斜め方向に挟む1組の対向画素のうち上側の対向画素をD12、下側の対向画素をD24とし、各原画素D12,D24の画素データをd12,d24とし、β1およびβ2を所定の係数とし、Hlを一方の対向画素D12側の水平相関強度と他方の対向画素D24側の水平相関強度のうちの大きい方の値であるとし、Vlを一方の対向画素D12側の垂直相関強度と他方の対向画素D24側の垂直相関強度のうちの小さい方の値であるとし、第2ステップで求められた設定可能範囲Sの画素データをxとすると、第3ステップで用いられる、その組に対する相関値Lの算出式は、L=|d12−x|+|d24−x|+β1・Hl−β2・Vlで表され、
上側の対向画素D12側の垂直相関強度は、当該対向画素に対する垂直方向の二次微分値であり、下側の対向画素D24側の垂直相関強度は当該対向画素に対する垂直方向の二次微分値であることを特徴とする請求項1に記載の画像補間方法。 - 第1の原画素と第2の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、第1の原画素が第2の原画素の真上にあるとし、補間画素を斜め方向に挟む1組の対向画素のうち上側の対向画素をD12、下側の対向画素をD24とし、各原画素D12,D24の画素データをd12,d24とし、β1およびβ2を所定の係数とし、Hlを一方の対向画素D12側の水平相関強度と他方の対向画素D24側の水平相関強度のうちの大きい方の値であるとし、Vlを一方の対向画素D1 2側の垂直相関強度と他方の対向画素D24側の垂直相関強度のうちの小さい方の値であるとし、第2ステップで求められた設定可能範囲Sの画素データをxとすると、第3ステップで用いられる、その組に対する相関値Lの算出式は、L=|d12−x|+|d24−x|+β1・Hl−β2・Vlで表され、
任意の注目原画素の真上の原画素に対する水平方向の一次微分値と、当該注目原画素に対する水平方向の一次微分値の2倍の値と、当該注目原画素の真下の原画素に対する水平方向の一次微分値との和を当該注目原画素を中心とする所定領域の水平相関強度と定義すると、
上側の対向画素D12が第1の原画素から水平方向に1番目にある画素であり、下側の対向画素D24が第2の原画素から水平方向に1番目にある画素である場合には、上側の対向画素D12側の水平相関強度は、当該対向画素D12を中心とする所定領域の水平相関強度であり、下側の対向画素D24側の水平相関強度は、当該対向画素D24を中心とする所定領域の水平相関強度であり、
上側の対向画素D12が第1の原画素から水平方向にn番目にある画素であり、下側の対向画素D24が第2の原画素から水平方向にn番目にある画素である場合には、上側の対向画素D12側の水平相関強度は、当該対向画素D12を中心とする所定領域の水平相関強度に、第1の原画素と当該対向画素D12との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値であり、下側の対向画素D24側の水平相関強度は、当該対向画素D24を中心とする所定領域の水平相関強度に、第2の原画素と当該対向画素D24との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値であることを特徴とする請求項1に記載の画像補間方法。 - 第1の原画素と第2の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、第1の原画素が第2の原画素の真上にあるとし、補間画素を斜め方向に挟む1組の対向画素のうち上側の対向画素をD12、下側の対向画素をD24とし、各原画素D12,D24の画素データをd12,d24とし、β1およびβ2を所定の係数とし、Hlを一方の対向画素D12側の水平相関強度と他方の対向画素D24側の水平相関強度のうちの大きい方の値であるとし、Vlを一方の対向画素D12側の垂直相関強度と他方の対向画素D24側の垂直相関強度のうちの小さい方の値であるとし、第2ステップで求められた設定可能範囲Sの画素データをxとすると、第3ステップで用いられる、その組に対する相関値Lの算出式は、L=|d12−x|+|d24−x|+β1・Hl−β2・Vlで表され、
任意の注目原画素の真上の原画素に対する水平方向の二次微分値と、当該注目原画素に対する水平方向の二次微分値の2倍の値と、当該注目原画素の真下の原画素に対する水平方向の二次微分値との和を当該注目原画素を中心とする所定領域の水平相関強度と定義すると、
上側の対向画素D12が第1の原画素から水平方向に1番目にある画素であり、下側の対向画素D24が第2の原画素から水平方向に1番目にある画素である場合には、上側の対向画素D12側の水平相関強度は、当該対向画素D12を中心とする所定領域の水平相関強度であり、下側の対向画素D24側の水平相関強度は、当該対向画素D24を中心とする所定領域の水平相関強度であり、
上側の対向画素D12が第1の原画素から水平方向にn番目にある画素であり、下側の対向画素D24が第2の原画素から水平方向にn番目にある画素である場合には、上側の対向画素D12側の水平相関強度は、当該対向画素D12を中心とする所定領域の水平相関強度に、第1の原画素と当該対向画素D12との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値であり、下側の対向画素D24側の水平相関強度は、当該対向画素D24を中心とする所定領域の水平相関強度に、第2の原画素と当該対向画素D24との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値であることを特徴とする請求項1に記載の画像補間方法。 - 第1の原画素と第2の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、第1の原画素が第2の原画素の真上にあるとし、 補間画素を斜め方向に挟む1組の対向画素のうち上側の対向画素をD12、下側の対向画素をD24とし、各原画素D12,D24の画素データをd12,d24とし、β1およびβ2を所定の係数とし、Hlを一方の対向画素D12側の水平相関強度と他方の対向画素D24側の水平相関強度との和であるとし、Vlを一方の対向画素D12側の垂直相関強度と他方の対向画素D24側の垂直相関強度との和であるとし、第2ステップで求められた設定可能範囲Sの画素データをxとすると、第3ステップで用いられる、その組に対する相関値Lの算出式は、次式で表されることを特徴とする請求項1に記載の画像補間方法。
L=|d12−x|+|d24−x|+β1・Hl−β2・Vl - 第1の原画素と第2の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、第1の原画素が第2の原画素の真上にあるとし、補間画素を斜め方向に挟む1組の対向画素のうち上側の対向画素をD12、下側の対向画素をD24とし、各原画素D12,D24の画素データをd12,d24とし、β1およびβ2を所定の係数とし、Hlを一方の対向画素D12側の水平相関強度と他方の対向画素D24側の水平相関強度との和であるとし、Vlを一方の対向画素D12側の垂直相関強度と他方の対向画素D24側の垂直相関強度との和であるとし、第2ステップで求められた設定可能範囲Sの画素データをxとすると、第3ステップで用いられる、その組に対する相関値Lの算出式は、L=|d12−x|+|d24−x|+β1・Hl−β2・Vlで表され、
上側の対向画素D12側の垂直相関強度は、当該対向画素に対する垂直方向の二次微分値であり、下側の対向画素D24側の垂直相関強度は当該対向画素に対する垂直方向の二次微分値であることを特徴とする請求項1に記載の画像補間方法。 - 第1の原画素と第2の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、第1の原画素が第2の原画素の真上にあるとし、補間画素を斜め方向に挟む1組の対向画素のうち上側の対向画素をD12、下側の対向画素をD24とし、各原画素D12,D24の画素データをd12,d24とし、β1およびβ2を所定の係数とし、Hlを一方の対向画素D12側の水平相関強度と他方の対向画素D24側の水平相関強度との和であるとし、Vlを一方の対向画素D12側の垂直相関強度と他方の対向画素D24側の垂直相関強度との和であるとし、第2ステップで求められた設定可能範囲Sの画素データをxとすると、第3ステップで用いられる、その組に対する相関値Lの算出式は、L=|d12−x|+|d24−x|+β1・Hl−β2・Vlで表され、
任意の注目原画素の真上の原画素に対する水平方向の二次微分値と、当該注目原画素に対する水平方向の二次微分値の2倍の値と、当該注目原画素の真下の原画素に対する水平方向の二次微分値との和を当該注目原画素を中心とする所定領域の水平相関強度と定義すると、
上側の対向画素D12が第1の原画素から水平方向に1番目にある画素であり、下側の対向画素D24が第2の原画素から水平方向に1番目にある画素である場合には、上側の対向画素D12側の水平相関強度は、当該対向画素D12を中心とする所定領域の水平相関強度であり、下側の対向画素D24側の水平相関強度は、当該対向画素D24を中心とする所定領域の水平相関強度であり、
上側の対向画素D12が第1の原画素から水平方向にn番目にある画素であり、下側の対向画素D24が第2の原画素から水平方向にn番目にある画素である場合には、上側の対向画素D12側の水平相関強度は、当該対向画素D12を中心とする所定領域の水平相関強度に、第1の原画素と当該対向画素D12との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値であり、
下側の対向画素D24側の水平相関強度は、当該対向画素D24を中心とする所定領域の水平相関強度に、第2の原画素と当該対向画素D24との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値であることを特徴とする請求項1に記載の画像補間方法。 - 第4ステップは、第3ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、
選択した最小の相関最小値を与える補間画素の画素データを抽出するステップ、
最小の相関最小値が1つである場合には、その最小の相関最小値を与える補間画素の画素データを、補間画素の暫定画素データとして決定するステップ、ならびに
最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データの平均値を補間画素の暫定画素データとして決定するステップ、
を備えていることを特徴とする請求項1乃至8に記載の画像補間方法。 - 第4ステップは、第3ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、
選択した最小の相関最小値を与える補間画素の画素データを抽出するステップ、
最小の相関最小値が1つである場合には、その最小の相関最小値を与える補間画素の画素データを、補間画素の暫定画素データとして決定するステップ、ならびに
最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データのうちから、最大値と最小値とを抽出し、抽出した最大値と最小値との平均値を補間画素の画素データとして決定するステップ、
を備えていることを特徴とする請求項1乃至8に記載の画像補間方法。 - 第4ステップは、第3ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、
選択した最小の相関最小値を与える補間画素の画素データを抽出するステップ、
最小の相関最小値が1つである場合には、その最小の相関最小値を与える補間画素の画素データを、補間画素の暫定画素データとして決定するステップ、ならびに
最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データのうち、補間画素に最も近接した対向画素から得られた画素データを選択し、選択した画素データが1つである場合にはその画素データを補間画素の画素データとして決定し、選択した画素データが2つである場合にはそれらの平均値を補間画素の画素データとして決定するステップ、
を備えていることを特徴とする請求項1乃至8に記載の画像補間方法。 - 第6ステップは、第5ステップで算出された線形相関値が第3ステップで求められた相関最小値以下である場合には、第5ステップで算出された線形補間値を補間画素の最終的な画素データとして選択し、第5ステップで算出された線形相関値が第3ステップで求められた相関最小値より大きい場合には、第4ステップで算出された暫定画素データを補間画素の最終的な画素データとして選択するものであることを特徴とする請求項1乃至11に記載の画像補間方法。
- 第6ステップは、第5ステップで算出された線形相関値と第3ステップで求められた相関最小値とに応じて、第5ステップで算出された線形補間値と第4ステップで算出された暫定画素データとを加重加算することによって補間画素の最終的な画素データを算出するものであることを特徴とする請求項1乃至11に記載の画像補間方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002088523A JP3717863B2 (ja) | 2002-03-27 | 2002-03-27 | 画像補間方法 |
US10/397,525 US7123781B2 (en) | 2002-03-27 | 2003-03-27 | Image interpolating method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002088523A JP3717863B2 (ja) | 2002-03-27 | 2002-03-27 | 画像補間方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003283809A JP2003283809A (ja) | 2003-10-03 |
JP3717863B2 true JP3717863B2 (ja) | 2005-11-16 |
Family
ID=28449454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002088523A Expired - Fee Related JP3717863B2 (ja) | 2002-03-27 | 2002-03-27 | 画像補間方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7123781B2 (ja) |
JP (1) | JP3717863B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001011879A1 (fr) * | 1999-08-05 | 2001-02-15 | Sanyo Electric Co., Ltd. | Procédé d'interpolation d'images |
JP2005012740A (ja) * | 2003-04-21 | 2005-01-13 | Toshiba Corp | 画像処理装置および画像処理方法 |
DE102004016350A1 (de) * | 2004-04-02 | 2005-10-27 | Micronas Gmbh | Verfahren und Vorrichtung zur Interpolation eines Bildpunktes einer Zwischenzeile eines Halbbildes |
KR100648308B1 (ko) * | 2004-08-12 | 2006-11-23 | 삼성전자주식회사 | 해상도 변환방법 및 장치 |
JP2006099613A (ja) * | 2004-09-30 | 2006-04-13 | Sanyo Electric Co Ltd | 画像補間装置、画像補間方法及び画像表示装置 |
JP2006115078A (ja) * | 2004-10-13 | 2006-04-27 | Matsushita Electric Ind Co Ltd | 画像データの信号処理装置及びその方法 |
JP5151075B2 (ja) * | 2005-06-21 | 2013-02-27 | ソニー株式会社 | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム |
JP4861114B2 (ja) * | 2006-09-27 | 2012-01-25 | 株式会社東芝 | 映像信号処理装置 |
JP4490987B2 (ja) * | 2007-04-26 | 2010-06-30 | 株式会社東芝 | 高解像度化装置および方法 |
JP5391635B2 (ja) * | 2008-10-06 | 2014-01-15 | 富士通株式会社 | 解析装置、データ保存方法およびデータ保存プログラム |
US8180180B2 (en) * | 2008-12-29 | 2012-05-15 | Arcsoft Hangzhou Co., Ltd. | Method for magnifying images and videos |
TWI442343B (zh) * | 2010-08-13 | 2014-06-21 | Au Optronics Corp | 運用於顯示器的畫面放大控制方法與裝置 |
US20130169834A1 (en) * | 2011-12-30 | 2013-07-04 | Advanced Micro Devices, Inc. | Photo extraction from video |
US9235878B1 (en) * | 2013-10-03 | 2016-01-12 | Allen Gene Hirsh | Method for retaining edges in an enlarged digital image |
JP6415093B2 (ja) | 2014-04-25 | 2018-10-31 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP6415094B2 (ja) * | 2014-04-25 | 2018-10-31 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2751928B2 (ja) | 1987-01-29 | 1998-05-18 | キヤノン株式会社 | 映像情報補間方法 |
US5886745A (en) * | 1994-12-09 | 1999-03-23 | Matsushita Electric Industrial Co., Ltd. | Progressive scanning conversion apparatus |
JP3706529B2 (ja) | 1999-08-05 | 2005-10-12 | 三洋電機株式会社 | 画像補間方法 |
-
2002
- 2002-03-27 JP JP2002088523A patent/JP3717863B2/ja not_active Expired - Fee Related
-
2003
- 2003-03-27 US US10/397,525 patent/US7123781B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US7123781B2 (en) | 2006-10-17 |
US20030185464A1 (en) | 2003-10-02 |
JP2003283809A (ja) | 2003-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3717863B2 (ja) | 画像補間方法 | |
US6219464B1 (en) | Source data interpolation method and apparatus | |
DE602004002618T2 (de) | Verfahren und System zur Kantenhervorhebung | |
US7375767B2 (en) | Method of converting resolution of video signals and apparatus using the same | |
US6122017A (en) | Method for providing motion-compensated multi-field enhancement of still images from video | |
EP1173017B1 (en) | Image interpolating method | |
US20060115184A1 (en) | Information processing apparatus, information processing method, recording medium, and program | |
JP3591859B2 (ja) | ディジタル映像データの補間方法及び回路 | |
JP2001084366A (ja) | 画像補間装置 | |
CN1713268A (zh) | 图像内插装置 | |
US20050058371A1 (en) | Fast edge-oriented image interpolation algorithm | |
US7228009B2 (en) | Generating interpolated display data using remote pixel data | |
US6928397B1 (en) | Method and device of image transform | |
JP3706529B2 (ja) | 画像補間方法 | |
JP4175878B2 (ja) | 走査線補間装置および画像表示装置並びに走査線補間方法 | |
EP1820341B1 (en) | Method and apparatus for generating motion compensated pictures | |
JP2001094951A (ja) | 走査線補間方法 | |
KR20020057527A (ko) | 영상 보간 방법 및 장치 | |
CN1444402A (zh) | 数字图像边沿插值的方法 | |
Morsy | Comparison of commonly used non-adaptive image scaling techniques | |
EP0575862A1 (en) | Method and apparatus for adaptive interpolation | |
JP4366836B2 (ja) | 画像変換方法および画像変換装置 | |
Van De Ville et al. | Motion compensated de-interlacing for both real time video and still images | |
JP2001195571A (ja) | 画像処理装置および方法、並びに記録媒体 | |
JP2007504742A (ja) | ビデオ信号の頑強なデインタレース |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050831 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090909 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100909 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100909 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110909 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110909 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120909 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |