WO2001011879A1 - Procédé d'interpolation d'images - Google Patents

Procédé d'interpolation d'images Download PDF

Info

Publication number
WO2001011879A1
WO2001011879A1 PCT/JP2000/005129 JP0005129W WO0111879A1 WO 2001011879 A1 WO2001011879 A1 WO 2001011879A1 JP 0005129 W JP0005129 W JP 0005129W WO 0111879 A1 WO0111879 A1 WO 0111879A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
pixel data
original
minimum
data
Prior art date
Application number
PCT/JP2000/005129
Other languages
English (en)
French (fr)
Inventor
Akihiro Maenaka
Masahiko Yoshiyama
Susumu Tanase
Haruhiko Murata
Original Assignee
Sanyo Electric Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co., Ltd. filed Critical Sanyo Electric Co., Ltd.
Priority to DE60040786T priority Critical patent/DE60040786D1/de
Priority to EP00948335A priority patent/EP1173017B1/en
Priority to US09/821,452 priority patent/US7039254B1/en
Publication of WO2001011879A1 publication Critical patent/WO2001011879A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/403—Edge-driven scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal

Description

画像補間方法 <技術分野 >
本発明は、 画像を補間する画像補間方法に関する。
明
ぐ背景技術 > 田
従来より、 インターレース画像をプログレッシブ画像に変換する場合、 画像を 拡大する場合、 画像の解像度を高める場合などにおいて、 隣接した原画素の画素 データ （ディスプレイ上の輝度を表すデータ量に相当する） を用いて、 画像を補 間する様々な方法が提案されている。
画像補間方法の代表的なものに、 単純補間方法と線形補間方法とがある。 単純 補間方法とは、 補間する画素の上下 （又は左右） に隣接した画素のいずれかの画 素データを、 補間する画素に画素データとして与える方法である。 線形補間方法 とは、 補間する画素の上下 （又は左右） に隣接した画素の画素データを平均した 値を、 補間する画素に画素データとして与える方法である。
しかしながら、 単純補間方法では、 補間する画素に隣接した画素の画素データ がそのまま与えられるため、 ディスプレイ上などに再生された画像に斜め方向の ェッジ部分があるとき、 そのエツジ部分にガタツキが生じるという問題がある。 又、 線形補間方法では、 補間する画素に上下 （又は左右） に隣接した画素の画素 データの平均値が与えられるため、 補間する画素の近傍がエッジ部分であり、 補 間する画素の上下 （又は左右） に隣接した画素の画素データの差が大きい場合に は、 補間された画素が中間値となり、 エッジ部分にボケが生じるという問題があ る。
本発明は、 画像を補間する際に、 エッジ部分にガタツキやボケが生じないよう にできるとともに、 滑らかな画像を再生することができる画像補間方法を提供す ることを目的とする。
<発明の開示〉
〔1〕 この発明による第 1の画像補間方法の説明
この発明による第 1の画像補間方法は、 第 1の原画素と第 1の原画素と隣接す る第 2の原画素との中間位置に画素を補間する画像補間方法において、 補間画素 が原画像データのェッジ位置付近に存在するかを判定するためのェッジ成分を算 出する第 1ステップ、 算出されたエツジ成分と第 1および第 2の原画素の画素デ ータとに基づいて、 補間画素の画素データの設定可能範囲を求める第 2ステップ、 補間画素を斜め方向に挟む対向画素の組を複数組選択し、 各組毎に、 補間画素の 画素データの設定可能範囲内において、 補間画素の画素データと各対向画素との 差の絶対値の和で表される相関値が最小となる補間画素の画素データと相関最小 値とを求める第 3ステップ、 ならびに上記各組毎に求められた、 相関値が最小と なる補間画素の画素データと相関最小値とに基づいて、 補間画素の画素データを 求める第 4ステップを備えていることを特徴とする。
第 1の原画素に隣接しかつ第 2の原画素と反対側にある原画素を第 3の原画素 とし、 第 2の原画素に隣接しかつ第 1の原画素と反対側にある原画素を第 4の原 画素とすると、 第 1ステップでは、 第 1〜第 4の原画素の画素データに基づいて、 エッジ成分が算出される。
より具体的には、 第 1の原画素の画素データを d 1、 第 2の原画素の画素デ一 タを d 2、 第 3の原画素の画素データを d 3、 第 4の原画素の画素データを d 4 とすると、 エッジ成分 Eは、 次式 （1 ) に基づいて算出される。
E =— d 3 + d 1 + d 2— d 4 ··· ( 1 )
;求められたエッジ成分を E、 予め定められた閾値を T h、 第 1 の原画素の画素データと第 2の原画素の画素データのうち大きい方を d 、 /J さい方を dmin 、 dmax 一 dmi„ を dとすると、 第 2ステップでは、 次式 （2) に基づいて、 補間画素の画素データの設定可能範囲 Sが求められる。 i f E>Th, t h e n dmin + d/2≤S≤dma. ,
i f -Th≤E≤Th, t h e n dmm +d/4≤S≤dmax -d/4, i f E<-Th, t h e n dmin ≤S≤dmiri +d/2 ··· (2) 第 2ステップで求められた設定可能範囲 Sの画素データを Xとし、 1組の対向 画素を構成する 2つの原画素の画素データを、 それぞれ d aおよび d bとすると、 その組に対する相関値 Lは、 次式 （3) によって算出される。
L= | d a-x l + l d b-x | ··· (3) 第 4ステップとしては、 たとえば、 第 3ステップで各組毎に求められた相関最 小値のうち最小の相関最小値を選択するステツプ、 選択した最小の相関最小値を 与える補間画素の画素データを抽出するステップ、 最小の相関最小値が 1つであ る場合には、 その最小の相関最小値を与える補間画素の画素データを、 補間画素 の画素データとして決定するステップ、 ならびに最小の相関最小値が複数ある場 合には、 それらの最小の相関最小値を与える補間画素の画素データの平均値を補 間画素の画素データとして決定するステップを備えているものが用いられる。 第 4ステップとしては、 たとえば、 第 3ステップで各組毎に求められた相関最 小値のうち最小の相関最小値を選択するステップ、 選択した最小の相関最小値を 与える補間画素の画素データを抽出するステップ、 最小の相関最小値が 1つであ る場合には、 その最小の相関最小値を与える補間画素の画素データを、 補間画素 の画素データとして決定するステップ、 ならびに最小の相関最小値が複数ある場 合には、 それらの最小の相関最小値を与える補間画素の画素データのうちから、 最大値と最小値とを抽出し、 抽出した最大値と最小値との平均値を補間画素の画 素データとして決定するステップを備えているものが用いられる。
第 4ステップとしては、 たとえば、 第 3ステップで各組毎に求められた相関最 小値のうち最小の相関最小値を選択するステップ、 選択した最小の相関最小値を 与える補間画素の画素データを抽出するステップ、 最小の相関最小値が 1つであ る場合には、 その最小の相関最小値を与える補間画素の画素データを、 補間画素 の画素データとして決定するステップ、 ならびに最小の相関最小値が複数ある場 合には、 それらの最小の相関最小値を与える補間画素の画素データのうち、 補間 画素に最も近接した対向画素から得られた画素データを選択し、 選択した画素デ —タが 1つである場合にはその画素データを補間画素の画素データとして決定し、 選択した画素データが 2つである場合にはそれらの平均値を補間画素の画素デー タとして決定するステップを備えているものが用いられる。
〔2〕 この発明による第 2の画像補間方法の説明
この発明による第 2の画像補間方法は、 第 1の原画素と第 1の原画素と隣接す る第 2の原画素との中間位置に画素を補間する画像補間方法において、 補間画素 が原画像データのエッジ位置付近に存在するかを判定するためのエッジ成分を算 出する第 1ステップ、 算出されたェッジ成分を所定の擬似ノィズ成分に基づいて 補正する第 2ステップ、 補正後のェッジ成分と第 1および第 2の原画素の画素デ ータとに基づレ、て、 補間画素の画素デ一タの設定可能範囲を求める第 3ステップ、 補間画素を斜め方向に挟む対向画素の組を複数組選択し、 各組毎に、 補間画素の 画素データの設定可能範囲内において、 補間画素の画素データと各対向画素との 差の絶対値の和と各対向画素の周辺の原画素の画素データに基づいて算出される 補正値とで表される相関値が最小となる補間画素の画素データと相関最小値とを 求める第 4ステップ、 ならびに上記各組毎に求められた、 相関値が最小となる補 間画素の画素データと相関最小値とに基づいて、 補間画素の画素データを求める 第 5ステップを備えていることを特徴とする。
第 1の原画素に隣接しかつ第 2の原画素と反対側にある原画素を第 3の原画素 とし、 第 2の原画素に隣接しかつ第 1の原画素と反対側にある原画素を第 4の原 画素とすると、 第 1ステップでは、 第 1〜第 4の原画素の画素データに基づいて、 エッジ成分が算出される。
より具体的には、 第 1の原画素の画素データを d 1、 第 2の原画素の画素デ一 タを d 2、 第 3の原画素の画素データを d 3、 第 4の原画素の画素データを d 4 とすると、 エッジ成分 Eは、 次式 （4) に基づいて算出される。
E = _ d 3 + d l + d 2 - d 4 (4) 擬似ノイズ成分を Qとし、 第 1ステップで算出されたエッジ成分を Eとすると 第 2ステップで求められる補正後のエッジ成分 E 1は次式 （5) で表される。 i f -Q≤E≤Q, t h e n E 1 = 0,
i f E>Q o r E<-Q, t h e n E 1 =E (5) 第 2ステツプで求められた補正後のェッジ成分を E 1、 第 1の原画素の画素デ 一タと第 2の原画素の画素データのうち大きい方を dmax 、 小さい方を dmin、 dmax と dmin との平均を d c、 α (0≤ α≤ 1 ) および γを予め設定された係 数とすると、 第 3ステップでは、 次式 （6) に基づいて、 補間画素の画素データ の設定可能範囲 Sが求められる。 i f K 1 ^ 0 , t h e n a + d c ( 1 - a) ≤ S≤ d, a + d c (1 - α) +E 1 · γ,
Ε 1く 0, t h e n dmi, • a + d c { 1 — ) +E 1 · y≤ S d · a + d c ( 1— a ) ■ (6) 第 1の原画素と第 2の原画素とを結ぶ方向を上下方向と定義し、 上下方向と直 角な方向を左右方向と定義し、 1組の対向画素を D 1 2， D 24とし、 一方の対 向画素 D 1 2の左右両隣にある 2つの原画素を D 1 1， D 1 3、 この対向画素 D 1 2の上下両隣にある 2つの原画素を D 02， D 22とし、 他方の対向画素 D 2 4の左右両隣にある 2つの原画素を D 23， D2 5とし、 この対向画素 D 24の 上下両隣にある 2つの原画素を D 1 4， D 34とし、 各原画素 D 0 2, D 1 1 , D 1 2, D 1 3, D 1 4, D 22, D 23, D24, D 2 5および D 34の画素 データを d 02， d 1 1 , d 1 2, d 1 3, d 1 4, d 2 2, d 2 3, d 24 , d 2 5および d 34とし、 1および 2を所定の係数とし、 第 3ステップで求 められた設定可能範囲 Sの画素データを Xとすると、 その組に対する相関値しの 算出式は次式 （7) で表される。
L= I d 1 2-x I + I d 24 - x \ + 1 · H 1 - i3 2 · V 1
H 1 =MAX { (I d l l - d l 2 l + l d l 2- d l 3 | ) , ( | d 2 3 - d 24 l + l d 24 - d 2 5 | ) }
V 1 =MI N { ( | d 02- d l 2 | + | d l 2- d 2 2 | ) , ( | d l 4— d 24 I + I d 24— d 34 I ) } ··■ (7) 第 5ステップとしては、 たとえば、 第 4ステップで各組毎に求められた相関最 小値のうち最小の相関最小値を選択するステップ、 選択した最小の相関最小値を 与える補間画素の画素データを抽出するステップ、 最小の相関最小値が ]つであ る場合には、 その最小の相関最小値を与える補間画素の画素データを、 補間画素 の画素データとして決定するステップ、 ならびに最小の相関最小値が複数ある場 合には、 それらの最小の相関最小値を与える補間画素の画素データの平均値を補 間画素の画素データとして決定するステップを備えているものが用いられる。 第 5ステップとしては、 たとえば、 第 4ステップで各組毎に求められた相関最 小値のうち最小の相関最小値を選択するステツプ、 選択した最小の相関最小値を 与える補間画素の画素データを抽出するステップ、 最小の相関最小値が 1つであ る場合には、 その最小の相関最小値を与える補間画素の画素データを、 補間画素 の画素データとして決定するステップ、 ならびに最小の相関最小値が複数ある場 合には、 それらの最小の相関最小値を与える補間画素の画素データのうちから、 最大値と最小値とを抽出し、 抽出した最大値と最小値との平均値を補間画素の画 素データとして決定するステップを備えているものが用いられる。
第 5ステップとしては、 たとえば、 第 4ステップで各組毎に求められた相関最 小値のうち最小の相関最小値を選択するステップ、 選択した最小の相関最小値を 与える補間画素の画素データを抽出するステップ、 最小の相関最小値が 1つであ る場合には、 その最小の相関最小値を与える補間画素の画素データを、 補間画素 の画素データとして決定するステップ、 ならびに最小の相関最小値が複数ある場 合には、 それらの最小の相関最小値を与える補間画素の画素データのうち、 補間 画素に最も近接した対向画素から得られた画素データを選択し、 選択した画素デ ータが 1つである場合にはその画素データを補間画素の画素データとして決定し、 選択した画素データが 2つである場合にはそれらの平均値を補間画素の画素デー タとして決定するステップを備えているものが用いられる。
〔3〕 この発明による第 3の画像補間方法の説明
この発明による第 3の画像補間方法は、 左右方向に隣合う第 1の原画素および 第 2の原画素、 第 1の原画素の下側に隣接する第 3画素ならびに第 2の原画素の 下側に隣接する第 4画素からなる 4つの原画素の中央位置に画素を補間する画像 補間方法において、 第 1の原画素、 第 4の原画素、 第 1の原画素と第 4の原画素 を結ぶ線の延長上であって第 1の原画素の左斜め上に隣接する第 5の原画素およ び第 1の原画素と第 4の原画素を結ぶ線の延長上であって第 4の原画素の右斜め 下に隣接する第 6の原画素の画素データに基づいて、 補間画素が原画像データの ェッジ位置付近に存在するかを判定するための第 1のェッジ成分を算出する第 1 ステップ、 第 2の原画素、 第 3の原画素、 第 2の原画素と第 3の原画素を結ぶ線 の延長上であって第 2の原画素の右斜め上に隣接する第 7の原画素および第 2の 原画素と第 3の原画素を結ぶ線の延長上であって第 3の原画素の左斜め下に隣接 する第 8の原画素の画素データに基づいて、 補間画素が原画像デ一タのエツジ位 置付近に存在するかを判定するための第 2のエッジ成分を算出する第
第 1のエツジ成分と第 1および第 4の原画素の画素データとに基づいて、 補間画 素の画素データの第 1の設定可能範囲を求めるとともに、 第 2のエッジ成分と第 2および第 3の原画素の画素データとに基づいて、 補間画素の画素データの第 2 の設定可能範囲を求める第 3ステップ、 第 1の設定可能範囲と第 2の設定可能範 囲に、 互いに重なり合う部分が存在するか否かを判定する第 4ステップ、 第 1の 設定可能範囲と第 2の設定可能範囲に、 互いに重なり合う部分が存在しない場合 には、 第 1〜第 4の原画素の画素データの平均値を算出し、 その算出結果を補間 画素の画素データと決定する第 5ステップ、 第 1の設定可能範囲と第 2の設定可 能範囲に、 互いに重なり合う部分がある場合には、 その重なり合う部分を設定可 能範囲として設定した後、 補間画素を斜め方向に挟む対向画素の組を複数組選択 し、 各組毎に、 補間画素の画素データの設定可能範囲内において、 補間画素の画 素データと各対向画素との差の絶対値の和で表される相関値が最小となる補間画 素の画素データと相関最小値とを求める第 6ステップ、 ならびに上記第 6ステツ プにおいて各組毎に求められた、 相関値が最小となる補間画素の画素データと相 関最小値とに基づいて、 補間画素の画素データを求める第 7ステツプを備えてレヽ ることを特徴とする。
第 1の原画素の画素データを d 1、 第 4の原画素の画素データを d 4、 第 5の 原画素の画素データを d 5、 第 6の原画素の画素データを d 6とし、 第 1のエツ ジ成分を E Lとすると、 第 1ステップでは、 次式 （8 ) に基づいて第 1のエッジ 成分 E Lが算出される。 また、 第 2の原画素の画素データを d 2、 第 3の原画素 の画素データを d 3、 第 7の原画素の画素データを d 7、 第 8の原画素の画素デ ータを d 8とし、 第 2のエッジ成分を E Rとすると、 第 2ステップでは、 次式
( 9 ) に基づいて第 2のェッジ成分 E Rが算出される。
E L = - d 5 + d l + d 4 - d 6 ■·· ( 8 )
E R d 7 + d 2 + d 3— d 8 ·· · ( 9 ) 第 1のエッジ成分を EL、 第 2のエッジ成分を ER、 予め定められた閾値を T h、 第 1の原画素の画素データと第 4の原画素の画素データのうち大きい方を d Lmax 、 小さい方を dL„,in 、 d Lmax - d Lmin を d Lとし、 第 2の原画素の 画素データと第 3の原画素の画素データのうち大きい方を dRmax 、 小さい方を d Rmin 、 d Rmax - d Rmin を dRとすると、 第 3ステップでは、 次式 （1 0) に基づいて第 1の設定可能範囲 S Lが求められ、 次式 （1 1) に基づいて第 2の設定可能範囲 S Rが求められる。 i f EL>Th, t h e n d Lmin + d L/ 2≤ S L≤ d Lmax , i f -Th≤EL≤Th, t h e n d Lmln + d L/ 4≤ S L≤ d Lm, ― d L/4,
i f EL<-Th, t h e n d Lmln ≤SL≤d Lmin +d L/2
… (10) i f ER〉Th, t h e n d Rmir, + d R/ 2≤ S R≤ d Rmax , i f -Th≤ER≤Th, t h e n d Rmjn + d R/ 4≤ S R≤ d Rm, 一 d R/4,
i f ER<-Th, t h e n d Rmm ≤SR≤dRm3ri +dR/2
··· (I D 第 6ステツプで設定された設定可能範囲 S内の画素データを Xとし、 1組の対 向画素を構成する 2つの原画素の画素データを、 それぞれ d aおよび d bとする と、 その組に対する相関値 Lは、 次式 （12) に基づいて算出される。
L= I d a— X | + | d b — X (12) 第 7ステップとしては、 たとえば、 第 6ステップで各組毎に求められた相関最 小値のうち最小の相関最小値を選択するステップ、 選択した最小の相関最小値を 与える補間画素の画素データを抽出するステップ、 最小の相関最小値が 1つであ る場合には、 その最小の相関最小値を与える補間画素の画素データを、 補間画素 の画素データとして決定するステップ、 ならびに最小の相関最小値が複数ある場 合には、 それらの最小の相関最小値を与える補間画素の画素データの平均値を補 間画素の画素データとして決定するステップを備えているものが用いられる。 第 7ステップとしては、 たとえば、 第 6ステップで各組毎に求められた相関最 小値のうち最小の相関最小値を選択するステップ、 選択した最小の相関最小値を 与える補間画素の画素データを抽出するステップ、 最小の相関最小値が 1つであ る場合には、 その最小の相関最小値を与える補間画素の画素データを、 補間画素 の画素データとして決定するステップ、 ならびに最小の相関最小値が複数ある場 合には、 それらの最小の相関最小値を与える補間画素の画素データのうちから、 最大値と最小値とを抽出し、 抽出した最大値と最小値との平均値を補間画素の画 素データとして決定するステップを備えているものが用いられる。
第 7ステップとしては、 たとえば、 第 6ステップで各組毎に求められた相関最 小値のうち最小の相関最小値を選択するステップ、 選択した最小の相関最小値を 与える補間画素の画素データを抽出するステップ、 最小の相関最小値が 1つであ る場合には、 その最小の相関最小値を与える補間画素の画素データを、 補間画素 の画素データとして決定するステップ、 ならびに最小の相関最小値が複数ある場 合には、 それらの最小の相関最小値を与える補間画素の画素データのうち、 補間 画素に最も近接した対向画素から得られた画素データを選択し、 選択した画素デ ータが 1つである場合にはその画素データを補間画素の画素データとして決定し、 選択した画素データが 2つである場合にはそれらの平均値を補間画素の画素デー タとして決定するステップを備えているものが用いられる。
〔4〕 この発明による第 4の画像補間方法の説明
この発明による第 4の画像補間方法は、 左右方向に隣合う第 1の原画素および 第 2の原画素、 第 1の原画素の下側に隣接する第 3画素ならびに第 2の原画素の 下側に隣接する第 4画素からなる 4つの原画素の中央位置に画素を補間する画像 補間方法において、 第 1の原画素、 第 4の原画素、 第 1の原画素と第 4の原画素 を結ぶ線の延長上であって第 1の原画素の左斜め上に隣接する第 5の原画素およ び第 1の原画素と第 4の原画素を結ぶ線の延長上であって第 4の原画素の右斜め 下に隣接する第 6の原画素の画素データに基づいて、 補間画素が原画像データの ェッジ位置付近に存在するかを判定するための第 1のェッジ成分を算出する第 1 ステップ、 第 2の原画素、 第 3の原画素、 第 2の原画素と第 3の原画素を結ぶ線 の延長上であって第 2の原画素の右斜め上に隣接する第 7の原画素おょぴ第 2の 原画素と第 3の原画素を結ぶ線の延長上であって第 3の原画素の左斜め下に隣接 する第 8の原画素の画素データに基づいて、 補間画素が原画像データのェッジ位 置付近に存在するかを判定するための第 2のエッジ成分を算出する第 2ステップ、 算出された第 1のェッジ成分および第 2のェッジ成分を、 それぞれ所定の擬似ノ ィズ成分に基づいて補正する第 3ステップ、 補正後の第 1のェッジ成分と第 1お よび第 4の原画素の画素データに基づいて補間画素の画素データの第 1の設定可 能範囲を求めるとともに、 補正後の第 2のエッジ成分と第 2および第 3の原画素 の画素データとに基づいて補間画素の画素データの第 2の設定可能範囲を求める 第 4ステップ、 第 1の設定可能範囲と第 2の設定可能範囲に、 互いに重なり合う 部分が存在するか否かを判定する第 5ステップ、 第 1の設定可能範囲と第 2の設 定可能範囲に、 互いに重なり合う部分が存在しない場合には、 第 1〜第 4の原画 素の画素データの平均値を算出し、 その算出結果を補間画素の画素データと決定 する第 6ステップ、 第 1の設定可能範囲と第 2の設定可能範囲に、 互いに重なり 合う部分が存在する場合には、 その重なり合う部分を設定可能範囲として設定し た後、 補間画素を斜め方向に挟む対向画素の組を複数組選択し、 各組毎に、 補間 画素の画素データの設定可能範囲内において、 補間画素の画素データと各対向画 素との差の絶対値の和と各対向画素の周辺の原画素の画素データに基づいて算出 される補正値とで表される相関値が最小となる補間画素の画素データと相関最小 値とを求める第 7ステップ、 ならびに上記各組毎に求められた、 相関値が最小と なる補間画素の画素データと相関最小値とに基づいて、 補間画素の画素データを 求める第 8ステップを備えていることを特徴とする。
第 1の原画素の画素データを d 1、 第 4の原画素の画素データを d 4、 第 5の 原画素の画素データを d 5、 第 6の原画素の画素データを d 6とし、 第 1のエツ ジ成分を ELとすると、 第 1ステップでは、 次式 （13) に基づいて第 1のエツ ジ成分 ELが算出される。 また、 第 2の原画素の画素データを d 2、 第 3の原画 素の画素データを d 3、 第 7の原画素の画素データを d 7、 第 8の原画素の画素 データを d 8とし、 第 2のエッジ成分を ERとすると、 第 2ステップでは、 次式 (14) に基づいて第 2のエッジ成分 ERが算出される。
EL=-d 5 + d l + d 4-d 6 ··· (13)
ER = _d 7 + d 2 + d 3— d 8 ■·· (14) 擬似ノイズ成分を Qとし、 第 1のエッジ成分を EL、 第 2のエッジ成分を ER とすると、 第 3ステップで求められる補正後の第 1のエッジ成分 EL 1は次式 (15) で表され、 補正後の第 2のエッジ成分 ER 1は次式 （16) で表される。 i f -Q≤E L≤Q, t h e n E L 1 = 0,
i f E L >Q o r E L<-Q, t h e n E L 1 =E L ■·· (15) i f -Q≤ER≤Q, t h e n ER 1 = 0，
i f ER>Q o r ER<— Q, t h e n ER 1 =ER ··· (16) 補正後の第 1のェッジ成分を E L 1、 補正後の第 2のェッジ成分を E R 1、 第 の原画素の画素データと第 の原画素の画素データのうち大きい方を d 、 小さい方を d Lmin 、 d Lmax と dLm1n との平均を d L c、 第 2の原画素の画 素データと第 3の原画素の画素データのうち大きい方を d Rmax 、 小さい方を d Rmin 、 d Rmax と d Rmin との平均を d R c、 αおよび γを予め設定された係 数とすると、 第 4ステップでは、 次式 （1 7) に基づいて第 1の設定可能範囲 S Lが求められるとともに次式 （1 8) に基づいて第 2の設定可能範囲 S Rが求め られる。 i f E L 1≥ 0, t h e n dし ^ · a + d L c ( ) ≤ S L≤ d L ひ + a L c ( 1— a) +E L 1 · γ ,
i f E L K O, t h e n d Lmiri · + d L c ( - a) +E L 1 · γ ≤ S L ^ d L a + d L c (1— ) ,·· ( 1 7) i f ER 1≥ 0, t h e n d Rmiri a + d R c ( ) ≤ S R≤ d R a + d R C ( 1 - a) +ER 1 - y
i f ER 1 < 0, t h e n d R a + d R c ( a) + E R 1 - S R≤ d R - a + d R c ( 1 - a) … ( 1 8) 第 7ステップで設定された設定可能範囲 S内の画素データを xとし、 1組の対 向画素を構成する 2つの原画素の画素データを、 それぞれ d aおよび d bとする と、 その組に対する相関値 Lは、 次式 （1 9) によって算出される。
L= | d a - x ! + | d b - x ( 1 9) 第 8ステップとしては、 たとえば、 第 7ステップで各組毎に求められた相関最 小値のうち最小の相関最小値を選択するステップ、 選択した最小の相関最小値を 与える補間画素の画素データを抽出するステップ、 最小の相関最小値が 1つであ る場合には、 その最小の相関最小値を与える補間画素の画素データを、 補間画素 の画素データとして決定するステップ、 ならびに最小の相関最小値が複数ある場 合には、 それらの最小の相関最小値を与える補間画素の画素データの平均値を補 間画素の画素データとして決定するステップを備えているものが用いられる。 第 8ステップとしては、 たとえば、 第 7ステップで各組毎に求められた相関最 小値のうち最小の相関最小値を選択するステップ、 選択した最小の相関最小値を 与える補間画素の画素データを抽出するステップ、 最小の相関最小値が 1つであ る場合には、 その最小の相関最小値を与える補間画素の画素データを、 補間画素 の画素データとして決定するステップ、 ならびに最小の相関最小値が複数ある場 合には、 それらの最小の相関最小値を与える補間画素の画素データのうちから、 最大値と最小値とを抽出し、 抽出した最大値と最小値との平均値を補間画素の画 素データとして決定するステップを備えているものが用いられる。
第 8ステップとしては、 たとえば、 第 7ステップで各組毎に求められた相関最 小値のうち最小の相関最小値を選択するステップ、 選択した最小の相関最小値を 与える補間画素の画素データを抽出するステップ、 最小の相関最小値が 1つであ る場合には、 その最小の相関最小値を与える補間画素の画素データを、 補間画素 の画素データとして決定するステップ、 ならびに最小の相関最小値が複数ある場 合には、 それらの最小の相関最小値を与える補間画素の画素データのうち、 補間 画素に最も近接した対向画素から得られた画素データを選択し、 選択した画素デ —タが 1つである場合にはその画素データを補間画素の画素データとして決定し、 選択した画素データが 2つである場合にはそれらの平均値を補間画素の画素デー タとして決定するステップを備えているものが用いられる。
<図面の簡単な説明〉
図 1は、 原画素と補間画素との関係を示す模式図である。
図 2は、 第 1の画像 ¾|間方法の手順を示すフローチヤ一トである。
図 3は、 エッジ成分 Eと補間画素 Xの画素データ Xの設定可能範囲 Sとの関係 を示すグラフである。
図 4は、 相関値 Lと画素データ Xの関係を表すグラフである。 図 5は、 相関値 Lと画素データ xの関係を示すグラフ及び画素データの設定可 能範囲 Sを示す模式図である。
図 6は、 原画素と補間画素との関係を示す模式図である。
図 7は、 第 1の画像補間装置の構成を示すプロック図である。
図 8は、 第 2の画像補間装置の構成を示すブロック図である。
図 9は、 第 1の画像補間方法の利点を説明するための模式図である。
図 1 0は、 第 2の画像補間方法の手順を示すフローチャートである。
図 1 1は、 原画素と補間画素との関係を示す模式図である。
図 1 2は、 エッジ成分 Eと、 補正後のエッジ成分 E 1との関係を示すグラフで ある。
図 1 3は、 補間画素 Xの画素データ Xの設定可能範囲 Sを示す模式図である。 図 1 4は、 相関値 Lと画素データ Xの関係を表すグラフである。
図 1 5は、 原画素と補間画素との関係を示す模式図である。
図 1 6は、 第 2の画像補間方法の利点を説明するための模式図である。
図 1 7は、 第 2の画像補間方法の利点を説明するための模式図である。
図 1 8は、 原画素と補間画素との関係を示す模式図である。
図 1 9は、 第 3の画像補間方法の手順を示すフローチャートである。
図 2 0は、 第 1の設定可能範囲 S Lと第 2の設定可能範囲 S Rとの関係を示す 模式図である。
図 2 1は、 第 4の画像補間方法の手順を示すフローチャートである。
<発明を実施するための最良の形態 >
以下、 図面を参照して、 この発明の実施の形態について説明する。
〔1〕 第 1の画像補間方法の説明
図 1〜図 6を参照して、 第 1の画像補間方法の概要について説明する。 2次元 の画像は、 水平方向と垂直方向の 2次元的な広がりを持っている。 しかしながら、 以下で説明する第 1の画像補間方法の概要説明においては、 説明を簡略化するた めに、 垂直方向の 1次元の補間方法について説明する。
図 1は、 原画素と補間される補間画素との関係を示している。
図 1において、 ライン （n_l) , n， （n+ 1) ， （n + 2) が原画像の水 平ラインであり、 ライン （i— 1) , i， （i + 1) が補間される水平ラインで ある。
ここでは、 ライン i上の画素 （以下、 補間画素という） Xを補間する場合につ いて説明する。 補間画素 Xの真上の原画素を D 12、 補間画素 Xの真下の原画素 を D22とする。 原画素 D 12の両隣の原画素を D 11， D 13とする。 原画素 D 22の両隣の原画素を D 21， D23とする。 また、 原画素 D 12の真上の原 画素を D 02とし、 原画素 D 22の真下の原画素を D 32とする。
以下の説明においては、 原画素 D 1 1， D 12, D 13, D 21 , D 22, D 23， DO 2， D 32および補間画素 Xの画素データを、 それぞれ d 1 1， d 1 2， d 13, d 21, d 22, d 23, d 02, d 32および補間画素 χで表す。 また、 この例では、 画素データが 8ビットであり、 黒デ一タは" 0" であり、 白 データは" 255" であるとする。
図 2は、 第 1の画像補間方法によって、 補間画素 Xの画素データ Xを求めるた めの手順を示している。
まず、 補間画素 Xが原画像のエッジ付近にあるか否かを判定するために、 エツ ジ成分 Εを算出する （ステップ 1) 。 つまり、 補間画素 Xの真上にある 2つの原 画素 D02， D 12と、 補間画素 Xの真下にある原画素 D 22， D 32の画素デ ータを用いて、 エッジ成分 Εを、 次式 （20) から求める。
E =— d 02 + d 12 + d 22— d 32 ··· (20) 補間画素 Xが原画像の黒ェッジ付近に存在している場合には、 ェッジ成分 Eは 負の比較的大きな値をとり、 補間画素 Xが原画像の白エッジ付近に存在している 場合には、 エッジ成分 Eは正の比較的大きな値をとる。 次に、 補間画素 Xの画素データ χの設定可能範囲を決定する （ステップ 2) つまり、 ステップ 1で求められたエッジ成分 Eに基づいて、 補間画素 Xの画素デ ータ Xの設定可能範囲を、 図 3に示すように決定する。 図 3において、 d max は、 原画素 D 1 2， D 2 2の画素データ d 1 2， d 2 2のうちの値の大きい方を表し、 dmin は原画素 D 1 2， D 2 2の画素データ d 1 2， d 2 2のうちの値の小さレヽ 方を表している。 また、 dは、 原画素 D 1 2, D 2 2の画素データ d 1 2， d 2 2の差 （dmax - dmJn ) を表している。
T hを予め設定されたしきい値とすると、 エッジ成分 Eと補間画素 Xの画素デ —タ Xの設定可能範囲との関係は次のようになる。
· E〉T hのときの補間画素 Xの画素データ Xの設定可能範囲 S
dmin + (d/2) ≤ S≤ d max
この場合は、 補間画素 Xが原画像の白エッジ付近に存在していると想定し、 設 定可能範囲 Sを dmin 〜dmax の範囲のうち、 dmax側に近い範囲に設定してい る。
· _T h≤E≤Thのときの補間画素 Xの画素データ Xの設定可能範囲 S dmin + (d/4) ≤ S≤ dmax ― (d/4)
• E<— Thのときの補間画素 Xの画素データ Xの設定可能範囲 S
Figure imgf000019_0001
この場合は、 補間画素 Xが原画像の黒エッジ付近に存在していると想定し、 設 定可能範囲 Sを dm dmax の範囲のうち、 dmin側に近い範囲に設定してい る。
次に、 捕間画素 Xを斜め方向に挟む対向画素の画素データに基づいて、 補間画 素 Xの画素データの候補を、 補間画素 Xの画素データ Xの設定可能範囲内から求 める （ステップ 3) 。 つまり、 以下に説明するように、 2つの斜め方向相関値 L， Rの最小値 Lm Rmin とその最小値を与える画素データ X 1， x rとを、 補 間画素 Xの画素データ Xの設定可能範囲 S内から求める。
補間画素 Xの画素データの候補を求める方法には、 2つの方法があるので、 そ れらの方法について説明する。
(1) 第 1方法の説明
補間画素 Xを斜め方向 （左上斜め方向） に挟む 2つの対向画素 D 11， D 23 と補間画素 Xとの画素データの相関値 Lを表す次式 （21) に、 設定可能範囲 S 内の全ての画素データ Xをそれぞれ代入していき、 最小となる相関値 Lmjn と、 最小相関値 Lmin を与える画素データ X 1 とを求める。
L= | d l l-x | + | d 23-x | ■·■ (21) 同様に、 補間画素 Xを斜め方向 （右上斜め方向） に挟む 2つの対向画素 D 13， D21と補間画素 Xとの画素データの相関値 Rを表す次式 （22) に、 設定可能 範囲 S内の全ての画素データ Xをそれぞれ代入していき、 最小となる相関値 Rmi n と、 最小相関値 Rmin を与える画素データ X rとを求める。 R= I d 13— X I + I d 21— X I ■·· (22) このようにして、 求められた画素データ X 1， x rが、 ； ffi間画素 Xの画素デー タ候補となる。 ただし、 このような方法では、 最小相関値 Lmin を与える画素デ ータ X 1として、 複数の画素データが該当する場合がある。 同様に、 最小相関値 Rmin を与える画素データ X rとして、 複数の画素データが該当する場合がある。 最小相関値 Lmin を与える画素データ X 1 として、 複数の画素データが該当す る場合には、 それらの平均値を最小相関値 Lmin を与える画素データ X 1として 決定するようにすればよい。 同様に、 最小相関値 Rmin を与える画素データ x r として、 複数の画素データが該当する場合には、 それらの平均値を最小相関値 R mm を与える画素データ X rとして決定するようにすればよい。
(2) 第 2方法の説明
図 4は、 相関値 Lと画素データ Xとの関係を表している。 図 4における xmin は、 対向画素 D 1 1， D 23の画素データ d 11， d 23のうち小さい方の画素 データを示し、 xmax は、 画素データ d 1 1， d 23のうち大きい方の画素デー タを示している。 また、 （1は画素データ（111， d 23の差 （xmax — xmin ) を示している。
図 4に示す相関値 Lと画素データ Xとの関係から、 上記式 （21) は、 次式 (23) のように変形することができる。
L = X d + 2 { χ— ( ノ X max )
L = x d ( Xmin == X X
L = x d + 2 ( Xmin — x) ( < Xmin ) (23) なお、 相関値 Lについての変形式のみ示したが、 上記式 （22) の相関値尺に ついても同様に変形することができる。
以下、 最小相関値 Lmin ， Rmin 及び画素データ X 1， rの求め方 （第 2方 法） について説明する。 ここでは、 最小相関値 Lmin 及び画素データ X 1の求め 方について説明する。
図 5の （a) 〜 （f ) は、 相関値 Lと画素データ Xとの関係を示すグラフと画 素デ一タ Xの設定可能範囲を示している。
図 5において、 X aは設定可能範囲内の画素データ Xの最小値を示し、 X bは 設定可能範囲内の画素データ Xの最大値を示している。
• X b≤ Xmin のとき
図 5 (a) のように、 画素データ Xの設定可能範囲が Xn^n 以下のときには、 画素データ X bにおいて相関値 Lが最小となるので、 最小相関値 Lmin は x d + 2 (xmin — xb) となる。 又、 このときの画素データ X 1は X bである。
max ≤ aのとさ
図 5 (b) のように、 画素データ Xの設定可能範囲が Xmax 以上のときには、 画素データ X aにおいて相関値 Lが最小となるので、 最小相関値 Lm は x d + 2 (x a - xmax ) となる。 又、 このときの画素データ x 1は x aである。
min ≤ 且つ max のとき
図 5 ( c ) のように、 画素データ の設定可能範囲が画素データ xmin x ma の間にあるときには、 設定可能範囲の任意の画素データ において相関値 が 最小値 dとなるので最小相関値 Lmin は dとなる。 この場合には、 画素デー タ X 1は、 設定可能範囲の中央の値 （x a + x b ) Z 2に決定される。
• X 3、 X 且つ X < x bのとき
図 5 ( d) のように、 画素データ Xの設定可能範囲が画素データ xm xma の範囲よりも広い範囲となるときには、 画素データ xmiri xmax の任意の画 素データ Xにおいて相関値 Lが最小値 X dとなる。 したがって、 最小相関値 Lmi は となる。 この場合には、 画素データ 1は、 画素データ . max の平均値 （ 2に決定される。
a < mJ n 且つ min 、 max のとき
図 5 (e) のように、 画素データ Xの設定可能範囲が画素データ X min x ma の範囲よりも左側にずれているときには、 画素データ xmin x bの任意の画 素データ において相関値 Lが最小値 となる。 したがって、 最小相関値 Lmi n は x dとなる。 この場合には、 画素デ一タ 1は、 画素データ xmill x bの 平均値 （xmin +x b) /2に決定される。
mi n — A. a < max 且つ X max ≤ x bのとき
図 5 (f ) のように、 画素データ χの設定可能範囲が画素データ x xma の範囲よりも右側にずれているときには、 画素データ x a xm の任意の画 素デ一タ において相関値 Lが最小値 dとなる。 したがって、 最小相関値 Lmi n は となる。 この場合には、 画素データ は、 画素データ X a の 平均値 （x a + xmax ) Z 2に決定される。
このようにして、 最小相関値 Lmin 及び画素データ 1が求められる。 尚、 最 小相関値 Rmin 及び画素データ rについても、 最小相関値 Lmin 及び画素デー タ 1 と同様にして求められる。 ステップ 3によって、 最小相関値 Lmin , Rmir, およびそれを与える画素デー タ X 1， x rが求められると、 両最小相関値 Lmin， Rmln のうち小さい方の相 関値を与える画素データを抽出する （ステップ 4) 。
両最小相関値 Lmin ， Rmin が異なる場合には、 1つの画素データが抽出され、 両最小相関値 Lmin , Rmin が同じ場合には、 2つの画素データが抽出される。 ステップ 4において 1つの画素データ X 1または X rが抽出された場合には (ステップ 5で YES) 、 抽出された画素データが補間画素 Xの画素データ Xと して決定される （ステップ 6) 。 ステップ 4において、 2つの （複数の） 画素デ ータ X 1， x rが選択された場合には （ステップ 5で N〇） 、 画素データ X 1， X rの平均値が補間画素 Xの画素データ Xに決定される （ステップ 7) 。
詳しくは次の通りである。
• 1 f Lmln < Rmin ， t h θ Π X = 1
' i f Lmin > Rmln ， t h β Π X = X Γ
• i f Lmin
Figure imgf000023_0001
(Χ 1 +Χ Γ ) / 2
なお、 上記ステップ 3では、 補間画素 Xを斜め方向に挟む対向画素の組として、 2組が選択されているが、 2組より多い組を選択してもよい。 たとえば、 図 6 に示すように、 D 1 1と D27、 D 1 2と D26、 D13と D25、 D 15と D 23、 D 1 6と D22、 D 1 7と D21とレ、うように、 6組の対向画素を選択し てもよい。 この場合には、 それぞれの対向画素の組毎に、 相関値の最小値を与え る画素データがステップ 3で求められる。 つまり、 6つの画素データ候補が求め られる。
そして、 6組の対向画素の組に対する相関最小値のうち、 最小のものが 3以上 ある場合には、 ステップ 4では、 これらの 6つの画素データ候補のうちから、 3 以上の画素データが抽出される。
ステップ 4で 3以上の画素データが選択された場合に、 補間画素 Xの画素デ一 タ Xを決定する方法としては、 次の 3つの方法がある。
第 1は、 ステップ 4で選択された 3以上の画素データの平均値を算出し、 その 算出結果を補間画素 Xの画素データ xとして決定する方法である。 第 2は、 ステ ップ 4で選択された 3以上の画素データのうちの最大値と最小値とを抽出してそ れらの平均値を算出し、 その算出結果を補間画素 Xの画素データ Xとして決定す る方法である。
第 3は、 ステップ 4で選択された 3以上の画素データのうち、 補間画素 Xに最 も近接した対向画素から得られる画素データを選択し、 選択した画素データを補 間画素 Xの画素データ Xとして決定する方法である。 ただし、 補間画素 Xに最も 近接した対向画素から得られる画素データが 2つ存在する場合には、 それら平均 を値を算出し、 その算出結果を補間画素 Xの画素データ Xとして決定する。
[1-1] 第 1の画像補間方法を用いた画像補間装置の説明
[1-1-1) 第 1の画像補間装置の説明
上記 〔 1〕 では、 斜め方向の対向画素の組数を 2としたときの画像補間方法に ついて説明したが、 ここでは、 図 6を用いて説明したように、 斜め方向の対向画 素の組数を 6である場合について説明する。 なお、 説明を簡略化するために、 垂 直方向の 1次元の補間を行なう画像補間装置について説明する。
図 7は、 第 1の画像補間装置の構成を示している。
メモリ部 1は、 入力端子 I Nを介して入力される原画素の画素データを記憶す る。 補間相関値演算部 2は、 メモリ部 1に記憶されている原画素の画素データを 用いて、 6組の対向画素から得られる 6つの最小相関値 L lmin 〜L 3mir、 ， R lmjn 〜R3min と、 この 6つの最小相関値をそれぞれ与える補間画素 Xの画素 デ一タ 1 1〜 3 1， X 1 r〜x 3 rとを算出する。
最小値抽出部 3は、 補間相関値演算部 2によって算出された 6つの最小相関値 L lmir, 〜L3m , R lmin 〜R3min のうち最小となる最小相関値を識別す る。 画素データ選択部 4は、 最小値抽出部 3の識別結果に基づいて、 補間相関値 演算部 2から与えられる 6つの画素データ X 1 1〜x 3 1， x l r〜x 3 rから 補間画素 Xの画素データの候補となる画素データを選択する。
最大値最小値抽出部 5は、 画素データ選択部 4で選択された画素データのうち 最大、 最小となる画素データを抽出する。 平均値演算部 6は、 最大値最小値抽出 部 5で抽出された 2つの画素データの平均値を算出し、 この算出結果を補間画素 Xの画素データとして出力端子 OUTに出力する。
画像補間装置の動作について説明する。
図 6は、 原画素と補間される補間画素との関係を表している。
図 6のように、 補間画素 Xに対して、 原画素 DO 4， D11〜D 17， D 21 〜D27， D 34が配されているとする。 補間画素 Xおよび原画素 DO 4， D 1 1〜D 17， D 21〜D 27, D 34の画素データを、 それぞれ x， d 04, d 1 1〜(！ 17， d 21〜d 27， d 34で表す。
まず、 補間画素 Xの真上および真下にある 4つの原画素 DO 4， D 14, D 2 4， D 34の画素データがメモリ部 1より補間相関値演算部 2に入力され、 エツ ジ成分 Eが次式 （24) より求められる。
E =— d 04 + d 14 + d 24— d 34 ■·· (24) このようにして求められたエッジ成分 Eによって、 図 2のステップ 2と同様な 方法で、 補間画素 Xの画素データ Xの設定可能範囲 Sが求められる。 そして、 対向画素 D 1 1， D27と補間画素 Xとの画素データの相関値 L 1、 対向画素 D 12， D26と補間画素 Xとの画素データの相関値 L 2、 対向画素 D 13， D 2 5と補間画素 Xとの画素データの相関値 L 3、 対向画素 D 17， D21と補間画 素 Xとの画素データの相関値 R 1、 対向画素 D 16， D22と補間画素 Xとの画 素データの相関値 R 2、 及び対向画素 D 15， D 23と補間画素 Xとの画素デ一 タの相関値 R 3をそれぞれを表す以下の式 （25) 〜 (30) に基づいて、 図 2 のステップ 3と同様な方法で、 相関値 L 1〜L3、 R 1〜R 3の最小値 L lmin 〜； L 3min 、 R lmin 〜R 3min と、 これらの最小値を与える画素データ x 1 1 〜x 3 1 , x 1 r〜x 3 rが求められる。 L 1 = d 11― + d 27- X （25)
L 2 = d 12 ― X + d 26 - x 1 (26)
L 3 = d 13 ― X + d 25 - x 1 （27)
R 1 = d 17 ― X + d 21— x 1 （28)
R 2 = d 16 ― X + d 22— x 1 （29)
R 3 = d 15 ― X + d 23- x 1 （30) このように、 相関値 L 1 L 3 R 1 R 3の最小値 L l mi n 〜： L 3m R l mi n 〜： 3min と、 これらの最小値を与える画素データ X； X 3 1 1 r X 3 rが補間相関値演算部 2で求められると、 最小値 L 1 mir L 3 mm R lmin R 3min が最小値抽出部 3に、 画素データ x l l x 3 1 x l r x 3 rが画素データ選択部 4に与えられる。
最小値抽出部 3は、 最小相関値 L lmin L3min R lmln R3min が入 力されるとともに、 この入力された最小相関値 L l mi n L3min R l m. n R 3min に応じた制御信号である F 1 a g 1 F 1 a g 6を出力する。
この最小値抽出部 3は、 相関値 L 1 L 3 R 1 R 3の最小値 L lmin L 3mln R i m R3min にそれぞれ対応した制御信号 F 1 a g 1 6を出力 する。 相関値 L 1 L3 R 1 R 3の最小値 L lmir L 3miI1 R 1 m R 3min のうち最も小さい値に応じた制御信号を H i g hとし、 それ以外の値に 応じた制御信号を L owとする。
例えば、 最小値 L lmin L3miri R lmin R3min のうち、 L lmin と R 2min とが最小である場合には、 制御信号 F l a g lと F l a g 5を H i g h とし、 その他の制御信号 F l a g 2 F l a g 4, F l a g 6を L o wとする。 尚、 H i g hとなる制御信号は、 この例のように 2つとは限られず、 1 6つの うちのいずれかである。
最小 ί直抽出部 3から出力される制御信号 F 1 a g 1 F 1 a g 6は、 画素デー タ選択部 4に与えられる。 画素データ選択部 4では、 最小値抽出部 3から与えら れた制御信号のうち H i g hとなる制御信号に対応した画素データを最大値最小 値抽出部 5に出力する。
最小値抽出部 3から与えられる制御信号が、 上記の例のように、 制御信号 F 1 a g 1 , F 1 a g 5が H i g hで、 その他の制御信号 F 1 a g 2〜F l a g 4 , F 1 a g 6が L o wであるとき、 画素データ x 1 1， x 2 rが選択されて最大値 最小値抽出部 5に与えられる。
最大値最小値抽出部 5では、 画素デ一タ選択部 4から与えられた画素データの うちから、 最大の画素データと最小の画素データとが選択されて、 平均値演算部 6に与えられる。 平均値演算部 6では、 最大値最小値抽出部 5から与えられた 2 つの画素データの平均値が算出され、 その算出結果が補間画素 Xの画素データ X として出力端子 O U Tに出力される。
最大値最小値抽出部 5に 1つの画素データのみしか与えられなかった場合には、 最大値最小値抽出部 5はその 1つの画素データを平均値演算部 6に与える。 この 場合には、 平均値演算部 6は与えられた 1つの画素データを補間画素 Xの画素デ ータ Xとしてそのまま出力する。
なお、 原画素の画素データは、 メモリ部 1および補間相関値演算部 2を介して、 出力端子 O U Tに出力される。 つまり、 nライン上の原画素の画素データが出力 された後、 iライン上の補間画素の画素データが出力される。
補間相関値演算部 2でェッジ成分を比較する閾値 T hを外部から入力できるよ うにして、 閾値 T hを変更可能にすると、 再生される画像に最適な補間処理を施 すことができる。
上記第 1の画像補間装置は、 ライン数を増やすものであるが、 ライン上の画素 数を増やすには、 水平方向において同様の補間処理を行うようにすればよい。 なお、 図 7において、 最大値最小値抽出部 5および平均値演算部 6を省略する とともに、 画素データ選択部 4の後段に平均値演算部を設け、 画素データ選択部 4によつて複数の画素データが選択された場合に、 それらの画素デ一タの平均値 を算出し、 その算出結果を補間画素 Xの画素データ Xとして出力端子 O U Tに出 力させるようにしてもよレ、。
〔 1一 1 _ 2〕 第 2の画像補間装置の説明
図 8は、 第 2の画像補間装置の構成を示している。
図 8において、 図 7と同じものには同一の符号を付して、 その説明を省略する。 補間画素 Xと原画素との関係は、 図 6のような関係にあるものとする。
この画像補間装置は、 入力端子 I Nと、 出力端子 OUTと、 メモリ部 1と、 補 間相関値演算部 2と、 最小値抽出部 3と、 画素データ選択部 4と、 画素デ一タ選 択部 4から与えられる画素データより補間画素 Xに最も近接した対向画素より求 められる画素データを抽出する補間画素データ抽出部 7とを備えている。
メモリ部 1、 補間相関値演算部 2、 最小値抽出部 3および画素データ選択部 4 の動作は、 図 7のメモリ部 1、 補間相関値演算部 2、 最小値抽出部 3、 及び画素 データ選択部 4の動作と同じである。
補間相関値演算部 2で最小相関値 L lmin L 3m R lmin R 3mjn 及 び画素データ x l l x 3 1, x l r x 3 rが求められ、 最小相関値 L lmin L 3m n R lm1n R3min が最小値抽出部 3に送出されるとともに、 画素 データ x l l x 3 1 x l r x 3 rが画素データ選択部 4に送出される。 最小値抽出部 3からは、 最小相関値 L l mm L 3m R lmin R3m それぞれに対応した制御信号 F 1 a g 1 F 1 a g 6が出力される。 画素データ 選択部 4では、 H i g hとなっている制御信号に対応する画素データが、 画素デ ータ x l l x 3 1 , X 1 r x 3 rより選択されて、 補間画素データ抽出部 7 に与えられる。
補間画素データ抽出部 7は、 画素データ選択部 4によって与えられた画素デ一 タのうち、 補間画素 Xに最も近接した対向画素の組より得られる画素データが抽 出され、 補間画素 Xの画素データ Xとして出力端子 OUTに出力される。 この際、 抽出された画素データが 2つある場合には、 これらの画素データの平均が算出さ れ、 その算出結果が補間画素 Xの画素データ xとして出力端子 OUTに出力され る。 例えば、 画素データ選択部 4で選択された画素データが x 1 1， X 2 1 , X 1 rのとき、 補間画素 Xに最も近接した対向画素の組より得られる画素デ一タは、 対向画素 D 12, D 26より得られる画素データ X 21であるので、 この画素デ —タ x 2 1力 補間画素 Xの画素データ Xとして出力端子 OUTに出力される。 また、 画素データ選択部 4で選択された画素デ一タが X 1 1， X 2 1 , X 2 r のとき、 補間画素 Xに最も近接した対向画素の組より得られる画素データは、 対 向画素 D 1 2， D 26より得られる画素データ X 2 1及び対向画素 D 16， D 2 2より得られる画素データ X 2 rであるので、 この画素データ X 2 1 , x 2 rの 平均値 （x 2 1 + x 2 r) Z2が、 補間画素 Xの画素データ xとして出力端子 O UTに出力される。
なお、 原画素の画素データは、 メモリ部 1および補間相関値演算部 2を介して、 出力端子 OUTに出力される。 つまり、 nライン上の原画素の画素データが出力 された後、 iライン上の補間画素の画素データが出力される。
また、 上記第 2の画像補間装置は、 ライン数を増やすものであるが、 ライン上 の画素数を増やすには、 水平方向において同様の補間処理を行うようにすればよ レ、。
第 1の画像補間方法では、 ェッジ成分 Eに基づいて補間画素の画素データの設 定可能範囲を決定した後に、 斜め方向の相関値に基づいて、 補間画素の画素デー タの候補を抽出している。 補間画素の画素データの設定可能範囲を決定している ことの利点について、 図 9を用いて説明する。 図 9において黒丸は黒データの原 画素を、 白丸は白データの原画素を示している。 また、 Xは補間画素を示してい る。 図 9の説明においては、 説明を簡単にするために、 白データを" 1" とし、 黒データを" 0" とする。
図 9に示すように、 白い背景中に黒い細い線がある場合には、 補間画素 Xの画 素データを黒データ" 0" とすることが好ましい。
補間画素の画素データの設定可能範囲を決定せずに、 斜め方向の相関値に基づ いて、 補間画素の画素データの候補を抽出する場合について説明する。 この場合 には、 対向画素 D 13, D 25に対応する相関値 （ | d l 3— X | + | d 25-
X I ) の最小値は、 I 1—11 + 11—11=0となり、 その相関最小値を与え る画素データ Xは 1となる。 また、 対向画素 D 15， D 23に対応する相関値 (I d 15 - X | + | d 23- x | ) の最小値は、 | 0— 0 l + | 0— 0 | =0 となり、 その相関最小値を与える画素データ Xは 0となる。 したがって、 補間画 素 Xの画素データ Xは、 （1 +0) /2 = 0. 5となり、 黒データとならない。 第 1の画像補間方法のように補間画素の画素データの設定可能範囲を決定した 後に、 斜め方向の相関値に基づいて、 補間画素の画素データの候補を抽出する場 合について説明する。 この場合には、 エッジ成分 E (=-d 04 + d l 4 + d 2 4 - d 34) は、 一 1 +0 + 1— 1=— 1となり、 補間画素 Xの画素デ一タ Xの 設定可能範囲の範囲は 0≤x≤0. 5となる。
この設定範囲内において、 対向画素 D 13， D 25に対応する相関値の最小値 を求めると、 | 1— 0. 5 | + | 1— 0. 5 I = 1となり、 その相関最小値を与 える画素データ Xは 0. 5となる。 また、 対向画素 D 15， D 23に対応する相 関値の最小値は、 I 0— 0 | + | 0— 0 | =0となり、 その相関最小値を与える 画素データ Xは 0となる。 したがって、 補間画素 Xの画素データ Xは、 0となる。 〔2〕 第 2の画像補間方法の説明
第 2の画像補間方法について説明する。 2次元の画像は、 水平方向と垂直方向 の 2次元的な広がりを持っている。 しかしながら、 説明を簡略化するために、 垂 直方向の 1次元の補間方法について説明する。
図 10は、 第 2の画像補間方法による画像補間処理手順を示している。
ここでは、 図 11に示すように、 ライン nとライン （n+1) との間のライン i上にあり、 かつライン n上の原画素 D 13とライン （n + 1) 上の原画素 D 2 3との間にある補間画素 Xの画素データを求める方法について説明する。
まず、 補間画素 Xが原画像のエッジ付近にあるか否かを判定するために、 エツ ジ成分 Eを算出する （ステップ 1 1) 。 つまり、 補間画素 Xの真上にある 2つの 原画素 D03， D 13と、 補間対象画素 Xの真下にある原画素 D 23， D33の 画素データを用いて、 エッジ成分 Eを、 次式 （31) から求める。
Eニー d 03 + d 13 + d 23— d 33 ·■· (31) 次に、 予め設定された擬似ノイズ成分を Nとして、 エッジ成分 Eがー Q≤E≤ Qの範囲内にあるか否かを判定する （ステップ 12) 。 この擬似ノイズ成分 Qは 外部より制御可能な変数である。
そして、 この判定結果に基づいてエッジ成分 Eを補正する。 つまり、 補正後の エッジ成分を E 1とすると、 エッジ成分 Eがー Q≤E≤Qの範囲内にある場合に は、 補正後のエッジ成分 E 1を 0とする （ステップ 13) 。
エッジ成分 Eが一 Q≤E Qの範囲外にある場合、 つまり、 Eく一Qまたは E 〉Qである場合には、 補正後のエッジ成分 E 1を Eとする （ステップ 14) 。 したがって、 エッジ成分 Eと補正後のエッジ成分 E 1との関係は、 次式 32で 表されるとともに、 図 12のようなグラフで表される。
E 1二 0 (-Q≤E≤Q)
E 1 =E (E>Q o r E<— Q) … （32) このように擬似ノィズ成分 Qを用いてェッジ成分 Eを補正することによって、 ェッジ成分 Eに現れるノィズの影響を低減している。
次に、 補正後のエッジ成分 E 1に基づいて、 補間画素 Xの画素データ Xの設定 可能範囲 Sを決定する （ステップ 15 ) 。
図 13に基づいて、 設定可能範囲 Sの決定方法について説明する。 図 13にお いて、 dmax は原画素 D13， D 23の画素データ d 13, d 23のうち値の大 きい方を表し、 dmin は画素データ d 13， d 23のうち値の小さい方を表して いる。 また、 d cは、 dmax と dm との平均値 （ d max + dmin ) Z 2を表し ている。 P T/JP
30
(1) E 1≥ 0のときの画素データ xの設定可能範囲 S
図 1 3 (a) に示すように、 d min X α + d c X (1 - α) ≤ S≤ d max X a + d c X (1 -a) +Ε 1 Χ γとする。 ただし、 a及び γは外部より制御可能な 変数である。
つまり、 ェッジ成分 Ε 1が 0以上のときには、 画素デ一タ Xの設定可能範囲 S は、 d cを中心とした範囲 〔dmin X a + d c X ( 1 - a ) ≤ x≤ d max X a + d c X (l— a) 〕 よりも、 γ · Ε 1の値分だけ上側に広がった範囲となる。
(2) E 1く 0のときのときの画素データ Xの設定可能範囲 S
図 1 3 (b) に示すように、 dm1n Xひ + d c X ( - a) +E l X y≤S≤ dmax X a + d c X (1 -a) とする。
つまり、 エッジ成分 E 1が 0より小さいときには、 画素データ Xの設定可能範 囲 Sは、 d cを中心とした範囲 〔dmin X a + d c X (1—ひ） ≤ X≤ d X a + d c X (l— a) 〕 よりも、 γ · Ε 1の値分だけ下側に広がった範囲となる。 次に、 補間画素 Xを斜め方向に挟む対向画素の画素データに基づいて、 補間画 素 Xの画素データの候補を、 補間画素 Xの画素データ Xの設定可能範囲 S内から 求める （ステップ 1 6) 。
補間画素 Xの画素データの候補を求める方法は、 図 2のステップ 3とほぼ同様 であるが、 相関値 L， Rを求める式が図 2のステップ 3と異なっている。
対向画素 D 1 2， D 24と補間画素 Xとの画素データの相関値 Lは、 次式 （3 3) で表され、 対向画素 D 1 4， D 22と補間画素 Xとの画素データの相関値 R は、 次式 （34) によって表される。
L= I d 1 2-x I + I d 24 -x \ + β 1 XH \ - β 2 XV \ … （3 3) R= I d 1 4 - x I + I d 2 2-x | + j3 l xH r - /3 2 XV r ·■· (34) 上記式 （3 3) ， （34) において、 β 1, ]3 2は、 外部から制御可能な 変数である。
また、 H Iは、 次式 （3 5) によって求められる量 d 1 l〜d 1 3の変化量 H 1 1と、 次式 （36) によって求められる d 23〜d 25の変化量 H 1 2のうち、 大きい方を表している。 つまり、 H I二 MAX (H 1 1， H 1 2) である。 MA X (a, b) は、 aおよび bのうちの大きい方の値を選択することを示す記号で ある。
また、 V 1は、 次式 （37) によって求められる d 02〜d 22の変化量 V 1 1と、 次式 （38) によって求められる d 14〜d 34の変化量 V 1 2のうち、 小さい方を表している。 つまり、 V I =M I N (V 1 1 , V 1 2) である。 M I N (a, b) は、 aおよび bのうちの小さい方の値を選択することを示す記号で ある。
H l l= | d l l-d l 2 | + | d l 2-d l 3 (35)
H 1 2= I d 23 - d 24 | + | d 24 - d 25 (36)
V I 1= | d 02 - d 12 | + | d 12 - d 22 (37)
V 1 2= I d 14- d 24 I + I d 24 - d 34 (38) また、 H rは、 次式 （39) によって求められる d 13〜d 15の変化量 H 1と、 次式 （40) によって求められる d 2 l〜d 23の変化量 H r 2のうち, 大きい方を表している。 つまり、 Hr =MAX (Hr 1， H r 2) である。
また、 V rは、 次式 （41) によって求められる d 12〜d 32の変化量 V 1と、 次式 （42) によって求められる d 04〜d 24の変化量 V r 2のうち、 小さい方を表している。 つまり、 Vr=MI N (V r 1 , V r 2) である。
H r 1 = I d 13 - d 14 | + | d 14 - d 15 (39)
H r 2= I d 21 - d 22 | + | d 22 - d 23 (40)
V r 1 = I d l 2— d 22 | + | d 22 - d 32 (41)
V r 2= I d 04 - d 14 I + I d 14 - d 24 (42) なお、 図 1 4は、 相関値 Lと画素デ一タ xとの関係を表している。 また、 図 1 4において、 xmin は、 画素データ d 12 d 24のうち小さい方の画素データ を示し、 xmax は、 画素データ d 12 d 24のうち大きい方の画素データを示 している。 また、 x d = xmax — xmin +i3 l XH l— ]3 2 XV 1である。
X d = max -x + i3 l xH l -]32XV lとすると、 上記式 （33) の 相関値 Lは、 次式 （43) のように変形することができる。 相関値めについても、 同様に変形することができる。
L = d + 2
L = x d
L = x d + 2 — X ) (43) 最小相関値 Lmin , Rmln 及び画素データ x 1 rは、 図 2のステップ 3の 第 2方法で説明した方法、 つまり図 5を用いて説明した方法と同様な方法で求め ることができる。 この際、 図 5のグラフにおける dは、 — + β 1
ΧΗ 1 -/32 XV 1を表すことになる。
ステップ 16によって、 最小相関値 Lm Rmin およびそれを与える画素デ ータ x l rが求められると、 両最小相関値 Lmir, , Rmin のうち小さい方の 相関値を与える画素データを抽出する （ステップ 1 7)
両最小相関値1^1 Rmin が異なる場合には、 1つの画素データが抽出され、 両最小相関値 Lmin Rmin が同じ場合には、 2つの画素データが抽出される。 ステップ 1 7において 1つの画素データ 1または rが抽出された場合には (ステップ 1 8で YES) 、 抽出された画素データが補間画素 Xの画素データ として決定される （ステップ 19) 。 ステップ 17において、 2つの （複数の） 画素データ x l x rが選択された場合には （ステップ 1 8で NO) 、 画素デー タ 1 rの平均値が補間画素 Xの画素データ に決定される （ステップ 2 0) 対向画素が 2組の場合を用いて画像補間方法について説明したが、 この対向画 素は 2組以上であっても構わない。
図 7または図 8のような構成の画像補間装置において、 第 2の画像補間方法を 用いて画像補間を実行させる場合には、 補間相関値演算部 2に図 10のステップ 1 1〜 16の処理を行なわせるようにすればよい。
ここでは、 図 15に示す補間画素 Xの画素データ Xを求める際の補間相関値演 算部 2の動作について説明する。 また、 斜め方向の対向画素の組数を 6とした場 合について説明する。
補間相関値演算部 2は、 まず、 図 10のステップ 11で説明したように、 エツ ジ成分 Eを次式 （44) 式に基づいて求める。
E =— d 05 + d 15 + d 25 _ d 35 --- (44) 次に、 図 10のステップ 12〜14で説明したように、 エッジ成分 Eに基づい て、 ノイズ成分の影響を低減させたエッジ成分 E 1が求められる。 つまり、 捕正 後のエッジ成分 E 1力 次式 （45) に基づいて、 補正される。
E 1 =0 (-Q≤E≤Q)
E 1=E (E>Q o r E<— Q) ··· (45) 次に、 このようにして求められたエッジ成分 E 1によって、 図] 0のステップ 15で説明したように、 補間画素 Xの画素データ Xの設定可能範囲 Sが求められ る。
次に、 図 10のステップ 16で説明したと同様な方法で、 補間画素 Xの画素デ ータ候補が求められる。 ただし、 この例では、 補間画素 Xを斜め方向に挟む対向 画素の組数は 6である。
つまり、 対向画素 D 12， D 28と補間画素 Xとの画素データの相関値 L 1、 対向画素 D 1 3 D 27と補間画素 Xとの画素データの相関値 L 2、 対向画素 D 14 D26と補間画素 Xとの画素データの相関値 L 3、 対向画素 D 1 8 D 2 2と補間画素 Xとの画素データの相関値 R 1、 対向画素 D 1 7, D 23と補間画 素 Xとの画素データの相関値 R 2および対向画素 D 1 6 D24と補間画素 Xと の画素データの相関値 R 3をそれぞれ表す以下の式 （46) （5 1) に基づい て、 相関値 L 1 L3 R 1 R 3の最小値 L lm L 3m R lmi,, R 3min と、 この最小値を与える画素データ x l l x 3 1 x l r ~x 3 rとが 求められる。
L 1 = d 12 - X + d 28— X + i31 XH 1 a - i32 X V 1 a
(46)
L 2 d 13 - X + d 27-x + )3 1 XH l b-j32 XV l b
(47)
L 3 d 14 - x + d 26— x + /3 1 XH l c-i32 XV l c
(48)
R d 18 - x + d 22-x + 1 XHr a -^ 2 XVr a
(49)
R 2 = d 1 7 - x + d 23 - x + jS l xHr b-)32 XVr b
(50)
R 3 = d 16 - x + d 24-x + ]31 XH r c-i32 XVr c
-· (51) なお、 上記式 （46) （5 1) 中の H 1 a H 1 c , H r a H r c, V 1 a V 1 c Vr a V r cは、 次式 （52) （63) によって表される。 H 1 a MAX (H 1 a 1 , H 1 a 2) ··· (52)
H 1 b MAX (H 1 b 1 , H 1 b 2) ·■· (53)
H 1 c =MAX (H 1 c 1 , H 1 c 2) ··· (54) H r a =MAX (H r a 1， H r a 2) 5 5
H r b二 MAX (H r b l, H r b 2) 5 6
H r c =MAX (H r c l, H r c 2) 5 7
V 1 a =M I N (V i a l, V 1 a 2) 58
V 1 b =M I N (V 1 b 1, V 1 b 2) 5 9
V 1 c =M I N (V 1 c 1， V 1 c 2) 60
V r a =M I N (V r a 1, V r a 2 ) 6 1
V r b =M I N (V r b 1, V r b 2) 6 2
V r c二 M I N (V r c 1， V r c 2) 6 3 さらに、 上記式 （52) 〜 （6 3) 中の H l a l〜H l c l， H l a 2〜H l c 2， H r a ：！〜 H r c 1， H r a 2〜H r c 2, V l a l〜V l c l， V 1 a 2〜V l c 2， V r a l〜V r c l， V r a 2〜V r c 2は、 次式 （ 64 ) 〜
(8 7) 式によって表される。
H 1 a 1 = d 1 1— d 1 2 + d 1 2 - d 1 31 ··· (64)
H 1 b 1 = d 1 2- d 1 3 + d 1 3— d 1 41 ··■ (6 5)
H 1 c 1 = d 1 3 - d 14 + d 1 4— d 1 51 ··· (6 6)
H 1 a 2 = d 2 7— d 28 + d 2 8— d 2 9 ! … （6 7)
H 1 b 2 = d 26— d 27 + d 2 7— d 281 … （6 8)
H 1 c 2 = d 2 5- d 26 + d 2 6— d 2 71 … （6 9)
H r a 1 = d 1 7 - d 1 8 + d 1 8— d 1 91 ··· (70)
H r b 1 = d 1 6— d 1 7 + d 1 7 - d 1 81 … (7 1)
H r c 1 = d 1 5 - d 1 6 + d 1 6— d 1 71 … (72)
H r a 2 = d 2 1— d 22 + d 2 2— d 2 31 ■·· (73)
H r b 2 = d 2 2- d 23 + d 2 3— d 241 … (74)
H r c 2 = d 2 3— d 24 + d 24- d 2 51 … (75) V 1 a 1 = d 02— d 1 2 1 + d 1 2- d 22 1 ··· (76)
V 1 b 1 = d 03— d 1 3 1 + d 1 3 - d 23 1 ··· (77)
V 1 c 1 = d 04- d 14 1 + d 14 - d 24 1 ··· (78)
V 1 a 2 = d 18- d 28 + d 28— d 38 1 ··■ (79)
V 1 b 2 = d 1 7— d 27 + d 27- d 37 1 … （80)
V 1 c 2 = d 16— d 26 + d 26 - d 36 1 … （81)
V r a 1 = d 08 - d 1 8 + d 1 8— d 28 1 … （82)
V r b 1 = d 07— d 1 7 + d 1 7- d 27 1 … （83)
V r c 1 = d 06- d 16 + d 1 6— d 26 1 … （84)
V r a 2 = d 1 2— d 22 + d 22— d 32 1 … （85)
V r b 2 = d 1 3- d 23 + 1 d 23 - d 33 1 … （86)
V r c 2 = d 14- d 24 + 1 d 24 - d 34 1 … （87) このようにして、 最小相関値 L lm 〜L 3 、 R lmin 〜R3,nin と、 こ の最小値を与える画素データ x l l〜x 3 1， x l r〜x 3 rが補間相関値演算 部 2で求められると、 最小相関値 L lmin 〜L 3min 、 R l 〜R 3min が最 小値抽出部 3に、 画素データ x l l〜x 3 1， x l r〜x 3 rが画素データ選択 部 4に与えられる。
図 10のステップ 15での設定可能範囲 Sの決定方法と、 図 2のステップ 2の 設定可能範囲 Sの決定方法とは異なっている。 図 10のステップ 1 5での設定可 能範囲 Sの決定方法の利点について、 図 1 6を用いて説明する。
図 16において黒丸は黒データの原画素を、 白丸は白データの原画素を、 ハツ チングの入れられた丸は灰色の原画素を、 それぞれ示している。 また、 Xは補間 画素を示している。 図 16の説明においては、 説明を簡単にするために、 白デー タを" 1" とし、 黒データを" 0" とし、 灰色データを" 0. 5" とする。 図 16に示すように、 白い背景中に 2本の黒い線があり、 それらのつなぎ目部 分が灰色となっている場合がある。 このような場合には、 つなぎ目の灰色の画素 の間に補間される画素 Xの画素データを黒データ" 0" とすることが好ましい。 第 1画像補間方法によって補間画素 Xの画素データを求める場合について説明 する。 この場合には、 エッジ成分 E ( =— d 04 + d 1 4 + d 24— d 34) は、 一 1 + 0. 5 + 0. 5— 1ニー 1となり、 補間画素 Xの画素データ Xの設定可能 範囲 Sは 0. 5となる。 したがって、 補間画素 Xの画素データ Xは、 0. 5とな り、 黒データとならない。
第 2の画像補間方法のように捕間画素 Xの画素データを求める場合について説 明する。 この場合にも、 エッジ成分 E (=- d 04 + d l 4 + d 24- d 34) は、 一 1 + 0. 5 + 0. 5— 1 =— 1となる。 また、 E l =— 1となる。
E 1 < 0なので、 補間画素 Xの画素データ Xの設定可能範囲 Sは、 dmin X a + d c X (1 -a) +E l X y≤S≤ dmax X α + d c X (1 - ) となる。 こ こで、 説明の便宜上、 α= 1， γ = 0. 5とすると、 設定可能範囲 Sは、 dmin + E 1 X 0. 5≤S≤ dmax となる。 つまり、 0. 5— 0. 5≤ S≤ 0. 5、 つ まり、 0≤S≤0. 5となる。
また、 説明の便宜上、 相関値を求める式 （46) 〜 （5 1) の βを 0として、 この設定範囲 S内において、 対向画素 D 1 3， D 2 5に対応する相関値の最小値 を求めると、 | 1— 0. 5 | + | 1—0. 5 I = 1となり、 その相関最小値を与 える画素データ Xは 0. 5となる。 また、 対向画素 D 1 5， D 23に対応する相 関値の最小値は、 | 0— 0 | + | 0— 0 | =0となり、 その相関最小値を与える 画素データ Xは 0となる。 したがって、 補間画素 Xの画素データ Xは、 0となる。 図 1 0のステップ 1 6で用いられる相関値算出式と、 図 2のステップ 3で用い られる相関値算出式とは異なっている。 図 1 0のステップ 1 6で用いられる相関 値算出式の利点について、 図 1 7を用いて説明する。
図 1 7において黒丸は黒データの原画素を、 白丸は白データの原画素を、 それ ぞれ示している。 また、 Xは補間画素を示している。 図 1 7の説明においては、 説明を簡単にするために、 白データを" 1" とし、 黒データを" 0" とし、 灰色 データを" 0. 5" とする。 図 17に示すように、 白い背景中に黒い線がある場合には、 第 1の画像補間方 法では、 原画素 D 14と原画素 D 24との間に画素 Xを補間すると、 原画素 D 1 3と原画素 D 23との間の補間画素の画素データより、 補間画素 Xの画素データ が大きくなり、 線の太さが変化してしまう。
このような場合に、 第 2の画像補間方法のように相関値を対向画素の近傍画素 との繋がりも考慮して求めると、 原画素 D 14と原画素 D 24との間の補間画素 Xの画素データを、 原画素 D 13と原画素 D 23との間の補間画素の画素データ と等しくできるようになる。
〔3〕 第 3の画像補間方法についての説明
次に、 第 3の画像補間方法について説明する。
図 18は、 原画素と補間される補間画素との関係を表している。
第 3の画像補間方法では、 図 18に示すように、 4つの原画素 D 12, D 13, D 22， D 23の中心位置に画素が補間される。
以下、 4つの原画素 D 12， D 13, D 22, D 23の中心位置に配置される 補間画素 Xの画素データを求める方法について説明する。
図 18の原画素 DO 1〜D04, D11〜D14， D21〜D24， D31〜 D 34および補間画素 Xの画素データを、 それぞれ、 d 01〜d 04, d l ：！〜 d 14, d 21〜d 24， d 31〜 d 34および xで表す。
図 19は、 第 3の画像補間方法による画像補間処理手順を示している。
まず、 補間画素 Xが原画像のエッジ付近にあるか否かを判定するために、 2種 類のエッジ成分 EL， ERを算出する （ステップ 31) 。 つまり、 原画素 DO 1， D 12, D 23, D 34の画素データを用いて、 エッジ成分 ELを次式 （88) に基づいて算出するとともに、 原画素 D 04, D13, D 22, D 31の画素デ —タを用いて、 エッジ成分 ERを次式 （89) に基づいて算出する。
EL = -d 01 + d l 2 + d 23-d 34 ··· (88)
ER =— d 04 + d 13 + d 22— d 31 ··· (89) 次に、 各エッジ成分 EL ER毎に、 補間画素 Xの画素データ χの設定可能範 囲 S L SRを決定する （ステップ 32)
つまり、 図 2のステップ 2と同様に、 エッジ成分 ELに基づいて、 補間画素 X の画素データ Xの設定可能範囲 S Lを求めるとともに、 エッジ成分 ERに基づい て、 補間画素 Xの画素データ Xの設定可能範囲 S Rを求める。
具体的には、 予め定められた閾値を Thとし、 原画素 D 12の原画素の画素デ ータ d 12と原画素 D 23の画素データ d 23のうち大きい方を d 、 小さ い方を d Lmin d
Figure imgf000041_0001
- d Lmin を d Lとすると、 設定可能範囲 S Lは、 次 式 （90) に基づいて求められる。 i f E L>Th, t h e n d Lmir, + d L/ 2≤ S L≤ d Lmax , i f -Th≤EL≤Th, t h e n d Lmln + d L/ 4≤ S L≤ d Lmax - d L/4,
i f E L<-Th, t h e n d Lmln ≤SL≤d Lmin + d L/2
··· (90) また、 原画素 D 1 3の原画素の画素データ d 1 3と原画素 D 22の画素データ d 22のうち大きい方を d Rm 小さい方を dRmi„ d Rmax — d Rmin を dRとすると、 設定可能範囲 SRは、 次式 （91) に基づいて求められる。 i f ER>Th, t h e n d Rmiri + d R/ 2≤ S R≤ d Rmt,x , i f -Th≤ER≤Th, t h e n d Rmln + dR/4≤SR≤d Rmax ― d R/4,
i f ERく— Th t h e n d Rmin ≤SR≤ dRmjn + d R/2
(91) 次に、 両設定可能範囲 S L SRに、 互いに重なり合う部分が存在するか否か 判別する （ステップ 33)
図 20 (a) に示すように、 両設定可能範囲 SL SRに、 互いに重なり合う 部分がある場合には、 この重なりあった部分を補間画素 Xの画素データ Xの設定 可能範囲 Sとする （ステップ 34)
そして、 補間画素 Xを斜め方向に挟む対向画素の画素データに基づいて、 補間 画素 Xの画素データの候補を、 補間画素 Xの画素データ Xの設定可能範囲内から 求める （ステップ 35)
つまり、 原画素 D 11 D 24と補間画素 Xとの画素データの相関値 L 1、 原 画素 D 12 D 23と補間画素 Xとの画素データの相関値 L 2、 原画素 DO 2 D 33と補間画素 Xとの画素データの相関値 L 3、 原画素 D 14 D 21と補間 画素 Xとの画素データの相関値 R 1、 原画素 D 13 D22と補間画素 Xとの画 素データの相関値 R 2、 および原画素 DO 3 D 32と補間画素 Xとの画素デー タの相関値 R 3をそれぞれ表す式 （92) （97) に基づいて、 図 2のステツ プ 3の第 2方法と同様な方法で、 相関値 L 1 L 3 R 1 R 3の最小値 L lrai n 〜： L 3min R lmin 〜： 3 rain と、 この最小値を与える画素テ一タ x 1 1 X 3 1 , x l r x 3 r 求める。
L 1 = d 11 ― + d 24一 1 … （92)
L 2 = d 12一 X + d 23 ― x 1 … （93)
L 3 = d 02 ― X + d 33一 … (94)
R 1 = d 14 ― X + d 21一 χ 1 … （95)
R 2 = d 13 ― X + d 22 ― X 1 … （96)
R 3 = d 03一 X + d 32 ― X 1 … (97) このようにして求めた最小相関値 L lmin L3min Rim R3min の うちから最小となる最小相関値を選択し、 選択した最小相関値に対応する画素デ ータを、 画素データ X 1 1 x 3 1 X 1 r x 3 rから抽出する （ステップ 3 6) 。
ステップ 36で抽出した画素データに基づいて、 補間画素 Xの画素データ Xを 求める （ステップ 37) 。
つまり、 ステップ 36で抽出した画素データから、 最大となる画素データと最 小となる画素データを抽出した後、 この 2つの画素データの平均値を算出しその 算出結果を補間画素 Xの画素データ Xとする。 ステップ 36で選択した画素デー タが 1つである場合には、 その画素データを補間画素 Xの画素データ Xとして決 定する。
なお、 ステップ 36で抽出した画素データの平均値を算出し、 この算出結果を 補間画素 Xの画素データ Xとして決定してもよい。
また、 ステップ 36で選択した画素データから、 補間画素 Xに最も近接した対 向画素より得られる画素データを抽出し、 抽出した画素データを補間画素 Xの画 素データ Xとするようにしてもよい。 この際、 補間画素 Xに最も近接した対向画 素の組より得られる画素データが 2つある場合には、 それらの画素データの平均 値が、 補間画素 Xの画素デ一タ Xとされる。
上記ステップ 33において、 エッジ成分 EL， ERのそれぞれによって求めら れる設定可能範囲 SL， SRが図 20 (b) に示すように重なり合わないと判別 された場合には、 原画素 D 12， D 13, D 22, D 23の 4画素の画素データ d 12, d 13, d 22, d 23の平均値 （d l 2 + d l 3 + d 22 + d 23) /4を、 補間画素 Xの画素データ Xと決定する （ステップ 38) 。
図 7または図 8のような構成の画像補間装置において、 第 3の画像補間方法を 用いて画像補間を実行させる場合には、 補間相関値演算部 2に図 19のステップ 31〜35およびステップ 38の処理を行なわせるようにすればよレ、。
つまり、 補間相関値演算部 2は、 まず、 エッジ成分 EL, ERを求め、 求めた エッジ成分 EL， ER毎に設定可能範囲 S L， SRを求める。 これらの設定可能 範囲 SL， SRに互いに重なる部分があるときには、 最小相関値 L lmin 〜L 3 rain 、 R lmin 〜R 3min及びそれらを与える画素データ x 1 1〜x 3 1， x 1 r〜x 3 rを求める。 そして、 求めた最小相関値 L lmin 〜L 3min 、 R 1 rain 〜R 3min を最小値抽出部 3に送るとともに、 画素データ x 1 1〜x 3 1， x 1 r〜x 3 rを画素データ選択部 4に送る。
一方、 エッジ成分 EL， ERより求められた設定可能範囲 S L, SRが重なり 合わないときは、 画素 D12， D 13, D 22, D 23の 4画素の画素データの 平均値を補間画素 Xの画素データ Xとして出力端子 OUTに出力する。
上記の例では、 6組の対向画素を用いて補間画素の画素データを求めたが、 こ の対向画素の組数は 6組に限定されるものでなく、 更に多くの組数の対向画素を 用いて補間画素の画素データを求めても構わない。
〔4〕 第 4の画像補間方法についての説明
次に、 第 4の画像補間方法について説明する。
第 4の画像補間方法では、 第 3の画像補間方法と同様に、 図 18に示すように、 4つの原画素 D 12， D 13, D 22, D 23の中心位置に画素が補間される。 ただし、 第 3の画像補間方法とは、 若干異なっている。
ここでは、 4つの原画素 D 12， D 13, D 22, D 23の中心位置に配置さ れた補間画素 Xの画素データを求める方法について説明する。
図 18の原画素 D 01〜D 04， D11〜D 14， D21〜D24， D31〜 D 34および補間画素 Xの画素データを、 それぞれ、 d O l〜(！ 04， d l l〜 d 14, d 21〜(！ 24， d 31〜 d 34および xで表す。
図 21は、 第 4の画像補間方法による画像補間処理手順を示している。
まず、 補間画素 Xが原画像のエッジ付近にあるか否かを判定するために、 2種 類のエッジ成分 EL， ERを算出する （ステップ 41) 。 つまり、 原画素 DO 1， D 12, D 23, D 34の画素データを用いて、 エッジ成分 ELを次式 （98) に基づいて算出するとともに、 原画素 DO 4， D 13, D 22, D 31の画素デ —タを用いて、 エッジ成分 ERを次式 （99) に基づいて算出する。
EL=-d 01 + d l 2 + d 23-d 34 ··· (98) ER =— d 04 + d 13 + d 22— d 31 ", (99) 次に、 エッジ成分 ELについて補正処理を行なう。 つまり、 予め設定された擬 似ノイズ成分を Nとして、 エッジ成分 ELが一 Q≤EL≤Qの範囲内にあるか否 かを判定する （ステップ 42) 。
そして、 この判定結果に基づいてエッジ成分 ELを補正する。 つまり、 補正後 のエッジ成分を E L 1とすると、 エッジ成分 E Lがー Q≤E L≤Qの範囲内にあ る場合には、 補正後のエッジ成分 EL 1を 0とする （ステップ 43) 。
エッジ成分 ELが一 Q≤EL≤Qの範囲外にある場合、 つまり、 £ <—«3ま たは EL〉Qである場合には、 補正後のエッジ成分 EL 1を ELとする （ステツ プ 44) 。
次に、 エッジ成分 ERについても同様な補正処理を行なう。 つまり、 予め設定 された擬似ノイズ成分を Nとして、 エッジ成分 ERが一 Q ER≤Qの範囲内に あるか否かを判定する （ステップ 45) 。
そして、 この判定結果に基づいてエッジ成分 ERを補正する。 つまり、 補正後 のエッジ成分を ER 1とすると、 エッジ成分 ERが一 Q≤ER≤Qの範囲内にあ る場合には、 補正後のエッジ成分 ER 1を 0とする （ステップ 46) 。
エッジ成分 ERが— Q≤ER≤Qの範囲外にある場合、 つまり、 ERく— Qま たは ER>Qである場合には、 補正後のエッジ成分 ER 1を ERとする （ステツ プ 47) 。
次に、 補正後の E L 1に基づいて画素 Xの画素データ Xの設定可能範囲 S Lを 決定するとともに、 補正後の ER 1に基づいて画素 Xの画素データ Xの設定可能 範囲 SRを決定する （ステップ 48) 。 これらの設定可能範囲 S L， SRの求め 方は、 図 10のステップ 15と同じである。
つまり、 原画素 D 12の画素データ d 12と原画素 D 23の画素データ d 23 のうち大きい方を d Lmax 、 小さい方を dLmin 、 d Lmax と dLmin との平均 を d L c、 αおよび γを予め設定された係数とすると、 設定可能範囲 SLは、 次 式 （100) に基づいて、 求められる ( i f E L 1≥ 0 , t h e n d Lmm - α + d L c (1 - a) ≤ S L≤ d L max a + d L c (1-a) +EL 1 - y ,
i f EL KO, t h e n d Lmm - a + d L c (1-a) +EL 1 - γ S L≤ d Lmax - a + d L c (1 -a) … (100) また、 原画素 D 13の画素データ d 13と原画素 D 22の画素デ一タ d 22の うち大きい方を dRmax 、 小さい方を dRmin 、 d Rmax と dRmin との平均を dR c、 ひおよび γを予め設定された係数とすると、 設定可能範囲 SRは、 次式 (101) に基づいて、 求められる。 i f ER 1≥0, t h e n dRmi - a + dRc (1-a) ≤SR≤dR max · a + d R c (1— a +ER 1 · γ ,
i f ER KO, t h e n d Rmm - a + d R c (1-a) +ER 1 · 7
≤ S R≤ d Rmax - a + d R c (1 -a) … (101) 次に、 両設定可能範囲 SL， SRに、 互いに重なり合う部分があるか否か判別 する （ステップ 49) 。
両設定可能範囲 SL, SRに、 互いに重なり合う部分がある場合には、 この重 なりあった部分を補間画素 Xの画素データ Xの設定可能範囲 Sとする （ステップ 50) 。
そして、 補間画素 Xを斜め方向に挟む対向画素の画素データに基づいて、 補間 画素 Xの画素データの候補を、 補間画素 Xの画素データ Xの設定可能範囲内から 求める （ステップ 51) 。
つまり、 原画素 D 11， D 24と補間画素 Xとの画素データの相関値 L 1、 原 画素 D 12， D23と補間画素 Xとの画素データの相関値 L 2、 原画素 DO 2， D 33と補間画素 Xとの画素データの相関値 L 3、 原画素 D 14 D21と補間 画素 Xとの画素データの相関値 R 1、 原画素 D 13 D22と補間画素 Xとの画 素データの相関値 R 2、 および原画素 DO 3, D 32と補間画素 Xとの画素デー タの相関値 R 3をそれぞれ表す以下の式 （102) （107) に基づいて、 図 2のステップ 3の第 2方法と同様な方法で、 相関値 L : L3 R 1 R3の最 小値 L lmin L 3min R lrain R3min と、 この最小値を与える画素ァー タ x l l x 3 1 x l r x 3 rを求める。
L 1 = d 11 ― + d 24- x 1 ■·· (102)
L 2 = d 12 ― + d 23— x 1 ■·· (103)
L 3 = d 02 ― + d 33- x 1 … （104)
R 1 = d 14一 X + d 21 - x 1 … (105)
R 2 = d 13 ― X + d 22— x 1 ··· (106)
R 3 = d 03 ― X + d 32- x 1 … （107) このようにして求めた最小相関値 L lmin L3min R lm1n R 3m の うちから最小となる最小相関値を選択し、 選択した最小相関値に対応する画素デ ータを、 画素データ x l l x 3 1 x l r x 3 rから抽出する （ステップ 5 2)
ステップ 52で抽出した画素データに基づいて、 補間画素 Xの画素データ Xを 求める （ステップ 53)
つまり、 ステップ 52で抽出した画素データから、 最大となる画素データと最 小となる画素データを抽出した後、 この 2つの画素データの平均値を算出しその 算出結果を補間画素 Xの画素データ Xとする。 ステップ 52で抽出した画素デー タが 1つである場合には、 その画素データを補間画素 Xの画素データ Xとして決 定する。
なお、 ステップ 52で抽出した画素データの平均値を算出し、 この算出結果を 補間画素 Xの画素データ Xとして決定してもよい。
また、 ステップ 52で選択した画素データから、 補間画素 Xに最も近接した対 向画素より得られる画素データを抽出し、 抽出した画素データを補間画素 Xの画 素データ Xとするようにしてもよレ、。 この際、 補間画素 Xに最も近接した対向画 素の組より得られる画素データが 2つある場合には、 それらの画素データの平均 値が、 補間画素 Xの画素データ Xとされる。
上記ステップ 49において、 エッジ成分 EL 1， ER 1のそれぞれによって求 められる設定可能範囲 S L， SRが重なり合わないと判別された場合には、 原画 素 D 12， D 13, D 22, D 23の 4画素の画素データ d 12， d 13, d 2 2， d 23の平均値 （d l 2 + d l 3 + d 22 + d 23) /4を、 補間画素 Xの 画素データ Xと決定する （ステップ 54) 。
図 7または図 8のような構成の画像補間装置において、 第 4の画像補間方法を 用いて画像補間を実行させる場合には、 補間相関値演算部 2に図 2：
41〜51およびステップ 54の処理を行なわせるようにすればよレ、。

Claims

請 求 の 範 囲
1 . 第 1の原画素と第 1の原画素と隣接する第 2の原画素との中間位置に画素 を補間する画像補間方法において、
補間画素が原画像デ一タのェッジ位置付近に存在するかを判定するためのェッ ジ成分を算出する第 1ステップ、
算出されたエッジ成分と第 1および第 2の原画素の画素データとに基づいて、 補間画素の画素データの設定可能範囲を求める第 2ステップ、
補間画素を斜め方向に挟む対向画素の組を複数組選択し、 各組毎に、 補間画素 の画素データの設定可能範囲内において、 補間画素の画素データと各対向画素と の差の絶対値の和で表される相関値が最小となる補間画素の画素データと相関最 小値とを求める第 3ステップ、 ならびに
上記各組毎に求められた、 相関値が最小となる補間画素の画素データと相関最 小値とに基づいて、 補間画素の画素データを求める第 4ステップ、
を備えていることを特徴とする画像補間方法。
2 . 第 1の原画素に隣接しかつ第 2の原画素と反対側にある原画素を第 3の原 画素とし、 第 2の原画素に隣接しかつ第 1の原画素と反対側にある原画素を第 4 の原画素とすると、 第 1ステップでは、 第 1〜第 4の原画素の画素データに基づ いて、 エッジ成分が算出されることを特徴とする請求項 1に記載の画像補間方法。
3 . 第 1の原画素の画素データを d 1、 第 2の原画素の画素データを d 2、 第 3の原画素の画素データを d 3、 第 4の原画素の画素データを d 4とすると、 ェ ッジ成分 Eは、 演算式 E =— d 3 + d l + d 2 - d 4に基づいて算出されること を特徴とする請求項 2に記載の画像^ ffi間方法。
4 . 第 1ステップで求められたエッジ成分を E、 予め定められた閾値を T h、 第 1の原画素の画素データと第 2の原画素の画素データのうち大きい方を d max 、 小さい方を d min 、 d max - d mi r, を dとすると、 第 2ステップでは、 次式に基 づいて、 補間画素の画素データの設定可能範囲 Sが求められることを特徴とする 請求項 3に記載の画像補間方法。
i f E >Th, t h e n dmin + d/2≤ S≤ dmax ,
i f -T h≤E≤Th, t h e n άπ,ι. + d/4≤ S≤ dmax ~ d/4, i f E<— Th， t h e n dmJn ≤ S≤ dmi„ + d/2.
5. 第 2ステップで求められた設定可能範囲 Sの画素デ一タを xとし、 1組の 対向画素を構成する 2つの原画素の画素データを、 それぞれ d aおよび d bとす ると、 その組に対する相関値 Lは、 L二 I d a— x | + | d b— x |によって算 出されることを特徴とする請求項 1に記載の画像補間方法。
6. 第 4ステップは、 第 3ステップで各組毎に求められた相関最小値のうち最 小の相関最小値を選択するステップ、
選択した最小の相関最小値を与える補間画素の画素データを抽出するステップ、 最小の相関最小値が 1つである場合には、 その最小の相関最小値を与える補間 画素の画素データを、 補間画素の画素データとして決定するステップ、 ならびに 最小の相関最小値が複数ある場合には、 それらの最小の相関最小値を与える補 間画素の画素データの平均値を補間画素の画素データとして決定するステップ、 を備えていることを特徴とする請求項 1に記載の画像補間方法。
7. 第 4ステップは、 第 3ステップで各組毎に求められた相関最小値のうち最 小の相関最小値を選択するステップ、
選択した最小の相関最小値を与える補間画素の画素データを抽出するステップ、 最小の相関最小値が 1つである場合には、 その最小の相関最小値を与える補間 画素の画素データを、 補間画素の画素データとして決定するステップ、 ならびに 最小の相関最小値が複数ある場合には、 それらの最小の相関最小値を与える補 間画素の画素データのうちから、 最大値と最小値とを抽出し、 抽出した最大値と 最小値との平均値を補間画素の画素データとして決定するステップ、
を備えていることを特徴とする請求項 1に記載の画像補間方法。
8. 第 4ステップは、 第 3ステップで各組毎に求められた相関最小値のうち最 小の相関最小値を選択するステップ、 選択した最小の相関最小値を与える補間画素の画素データを抽出- 最小の相関最小値が 1つである場合には、 その最小の相関最小値を与える補間 画素の画素データを、 補間画素の画素データとして決定するステップ、 ならびに 最小の相関最小値が複数ある場合には、 それらの最小の相関最小値を与える補 間画素の画素データのうち、 補間画素に最も近接した対向画素から得られた画素 デ一タを選択し、 選択した画素データが 1つである場合にはその画素データを補 間画素の画素データとして決定し、 選択した画素データが 2つである場合にはそ れらの平均値を捕間画素の画素データとして決定するステップ、
を備えていることを特徴とする請求項 1に記載の画像補間方法。
9 . 第 1の原画素と第 1の原画素と隣接する第 2の原画素との中間位置に画素 を補間する画像補間方法において、
補間画素が原画像データのェッジ位置付近に存在するかを判定するためのェッ ジ成分を算出する第 1ステップ、
算出されたェッジ成分を所定の擬似ノィズ成分に基づいて補正する第 2ステツ プ、
補正後のェッジ成分と第 1および第 2の原画素の画素データとに基づいて、 補 間画素の画素データの設定可能範囲を求める第 3ステツプ、
補間画素を斜め方向に挟む対向画素の組を複数組選択し、 各組每に、 補間画素 の画素データの設定可能範囲内において、 補間画素の画素データと各対向画素と の差の絶対値の和と各対向画素の周辺の原画素の画素データに基づいて算出され る補正値とで表される相関値が最小となる補間画素の画素データと相関最小値と を求める第 4ステップ、 ならびに
上記各組毎に求められた、 相関値が最小となる補間画素の画素データと相関最 小値とに基づいて、 補間画素の画素データを求める第 5ステップ、
を備えていることを特徴とする画像補間方法。
1 0 . 第 1の原画素に隣接しかつ第 2の原画素と反対側にある原画素を第 3の 原画素とし、 第 2の原画素に隣接しかつ第 1の原画素と反対側にある原画素を第 4の原画素とすると、 第 1ステップでは、 第 1〜第 4の原画素の画素データに基 づいて、 エッジ成分が算出されることを特徴とする請求項 9に記載の画像補間方 法。
1 1. 第 1の原画素の画素データを d 1、 第 2の原画素の画素データを d 2、 第 3の原画素の画素データを d 3、 第 4の原画素の画素データを d 4とすると、 エッジ成分 Eは、 演算式 Eニー d 3 + d 1 + d 2— d 4に基づいて算出されるこ とを特徴とする請求項 9に記載の画像補間方法。
1 2. 擬似ノイズ成分を Qとし、 第 1ステップで算出されたエッジ成分を Eと すると、 第 2ステップで求められる補正後のエッジ成分 E 1は次式で表されるこ とを特徴とする請求項 1 1に記載の画像補間方法。
i f -Q≤E≤Q, t h e n E 1 = 0,
i f E >Q o r E<— Q， t h e n E 1 =E.
1 3. 第 2ステップで求められた補正後のェッジ成分を E 1、 第 1の原画素の 画素データと第 2の原画素の画素データのうち大きい方を dmax 、 小さい方を d m 、 d と dmin との平均を d c、 a (0≤ α≤ 1) および γを予め設定さ れた係数とすると、 第 3ステップでは、 次式に基づいて、 補間画素の画素データ の設定可能範囲 Sが求められることを特徴とする請求項 1 2に記載の画像補間方 法。
i f E 1≥ 0 , t h e n d ' ひ + d c ( 1—ひノ ≥ S≤ a max · + d c ( 1 - α) +E 1 · y,
i f E 1 < 0, t h e n dmm - a + d c (l - a) +E l - y≤ S≤ d - a + d c ( 1— a ) .
1 4. 第 1の原画素と第 2の原画素とを結ぶ方向を上下方向と定義し、 上下方 向と直角な方向を左右方向と定義し、 1組の対向画素を D 1 2， D 24とし、 一 方の対向画素 D 1 2の左右両隣にある 2つの原画素を D 1 1， D 1 3、 この対向 画素 D 1 2の上下両隣にある 2つの原画素を D O 2， D 2 2とし、 他方の対向画 素 D 24の左右両隣にある 2つの原画素を D 2 3， D 2 5とし、 この対向画素 D 24の上下両隣にある 2つの原画素を D 1 4, D 34とし、 各原画素 DO 2， D 1 1， D 1 2, D 1 3, D 1 4, D 22, D 23, D 24, D 2 5および D 34 の画素データを d 02， d 1 1 , d 1 2, d 1 3, d 1 4, d 2 2, d 23, d 24， d 25および d 34とし、 /3 1および 2を所定の係数とし、 第 3ステツ プで求められた設定可能範囲 Sの画素データを Xとすると、 その組に対する相関 値 Lの算出式は次式で表されることを特徴とする請求項 9に記載の画像補間方法。
L= I d 1 2 - I + i d 24-x \ + β 1 · H 1 - /3 2 · V 1
H 1 =MAX { (I d l l - d l 2 ! + | d l 2- d l 3 | ) ， ( | d 2 3 - d 24 ！ + I d 24- d 2 5 | ) }
V 1 =MI N { (I d 02- d l 2 | + | d l 2- d 22 | ) , ( | d 1 - d 24 I + I d 24 - d 34 | ) }
1 5. 第 5ステップは、 第 4ステップで各組毎に求められた相関最小値のうち 最小の相関最小値を選択するステツプ、
選択した最小の相関最小値を与える補間画素の画素データを抽出するステップ、 最小の相関最小値が 1つである場合には、 その最小の相関最小値を与える補間 画素の画素データを、 補間画素の画素データとして決定するステップ、 ならびに 最小の相関最小値が複数ある場合には、 それらの最小の相関最小値を与える補 間画素の画素データの平均値を補間画素の画素データとして決定するステップ、 を備えていることを特徴とする請求項 9に記載の画像補間方法。
1 6. 第 5ステップは、 第 4ステップで各組毎に求められた相関最小値のうち 最小の相関最小値を選択するステップ、
選択した最小の相関最小値を与える補間画素の画素データを抽出するステップ、 最小の相関最小値が 1つである場合には、 その最小の相関最小値を与える補間 画素の画素データを、 補間画素の画素データとして決定するステップ、 ならびに 最小の相関最小値が複数ある場合には、 それらの最小の相関最小値を与える補 間画素の画素データのうちから、 最大値と最小値とを抽出し、 抽出した最大値と 最小値との平均値を補間画素の画素データとして決定するステップ、 を備えていることを特徴とする請求項 9に記載の画像補間方法。
1 7 . 第 5ステップは、 第 4ステップで各組毎に求められた相関最小値のうち 最小の相関最小値を選択するステツプ、
選択した最小の相関最小値を与える補間画素の画素データを抽出するステップ、 最小の相関最小値が 1つである場合には、 その最小の相関最小値を与える補間 画素の画素データを、 補間画素の画素データとして決定するステップ、 ならびに 最小の相関最小値が複数ある場合には、 それらの最小の相関最小値を与える補 間画素の画素データのうち、 補間画素に最も近接した対向画素から得られた画素 データを選択し、 選択した画素データが 1つである場合にはその画素データを補 間画素の画素データとして決定し、 選択した画素データが 2つである場合にはそ れらの平均値を補間画素の画素データとして決定するステップ、
を備えていることを特徴とする請求項 9に記載の画像補間方法。
1 8 . 左右方向に隣合う第 1の原画素および第 2の原画素、 第 1の原画素の下 側に隣接する第 3画素ならびに第 2の原画素の下側に隣接する第 4画素からなる 4つの原画素の中央位置に画素を補間する画像補間方法において、 第 1の原画 素、 第 4の原画素、 第 1の原画素と第 4の原画素を結ぶ線の延長上であって第 1 の原画素の左斜め上に隣接する第 5の原画素および第 1の原画素と第 4の原画素 を結ぶ線の延長上であって第 4の原画素の右斜め下に隣接する第 6の原画素の画 素データに基づいて、 補間画素が原画像デ一タのエツジ位置付近に存在するかを 判定するための第 1のエツジ成分を算出する第 1ステップ、
第 2の原画素、 第 3の原画素、 第 2の原画素と第 3の原画素を結ぶ線の延長上 であって第 2の原画素の右斜め上に隣接する第 7の原画素および第 2の原画素と 第 3の原画素を結ぶ線の延長上であって第 3の原画素の左斜め下に隣接する第 8 の原画素の画素データに基づいて、 補間画素が原画像データのェッジ位置付近に 存在するかを判定するための第 2のエッジ成分を算出する第 2ステップ、
第 1のエツジ成分と第 1および第 4の原画素の画素データとに基づいて、 補間 画素の画素データの第 1の設定可能範囲を求めるとともに、 第 2のエッジ成分と 第 2および第 3の原画素の画素デ一タとに基づいて、 補間画素の画素データの第 2の設定可能範囲を求める第 3ステップ、
第 1の設定可能範囲と第 2の設定可能範囲に、 互いに重なり合う部分が存在す るか否かを判定する第 4ステップ、
第 1の設定可能範囲と第 2の設定可能範囲に、 互いに重なり合う部分が存在し ない場合には、 第 1〜第 4の原画素の画素データの平均値を算出し、 その算出結 果を補間画素の画素デ一タと決定する第 5ステップ、
第 1の設定可能範囲と第 2の設定可能範囲に、 互いに重なり合う部分がある場 合には、 その重なり合う部分を設定可能範囲として設定した後、 補間画素を斜め 方向に挟む対向画素の組を複数組選択し、 各組毎に、 補間画素の画素データの設 定可能範囲内において、 補間画素の画素データと各対向画素との差の絶対値の和 で表される相関値が最小となる補間画素の画素デ一タと相関最小値とを求める第 6ステップ、 ならびに
上記第 6ステップにおいて各組毎に求められた、 相関値が最小となる補間画素 の画素データと相関最小値とに基づいて、 補間画素の画素データを求める第 7ス テップ、
を備えていることを特徴とする画像補間方法。
1 9 . 第 1の原画素の画素データを d 1、 第 4の原画素の画素データを d 4、 第 5の原画素の画素データを d 5、 第 6の原画素の画素データを d 6とし、 第 1 のエッジ成分を E Lとすると、 第 1ステップでは、 演算式 E L =— d 5 + d 1 + d 4 - d 6に基づいて第 1のエッジ成分 E Lを算出し、
第 2の原画素の画素データを d 2、 第 3の原画素の画素データを d 3、 第 7の 原画素の画素データを d 7、 第 8の原画素の画素データを d 8とし、 第 2のエツ ジ成分を E Rとすると、 第 2ステップでは、 演算式 E R =—d 7 + d 2 + d 3— d 8に基づいて第 2のエッジ成分 E Rを算出することを特徴とする請求項 1 8に 記載の画像補間方法。
2 0 . 第 1のエッジ成分を E L、 第 2のエッジ成分を E R、 予め定められた閾 値を Th、 第 1の原画素の画素データと第 4の原画素の画素データのうち大きい 方を d Lmax 、 小さい方を d Lmin 、 d Lmax - d Lmin を d Lとし、 第 2の原 画素の画素データと第 3の原画素の画素データのうち大きい方を dRmax 、 小さ い方を d Rn i n 、 d Rmax - d Rmiri を d Rとすると、 第 3ステップでは、 次式 に基づいて、 第 1の設定可能範囲 S Lおよび第 2の設定可能範囲 SRが求められ ることを特徴とする請求項 19に記載の画像補間方法。
i f EL〉Th， t h e n d Lmm + d L/ 2≤ S L≤ d Lmax , i f -Th≤EL≤Th, t h e n d Lmin + d L/ 4≤ S L≤ d Lmax - d L/4，
i f EL<-Th, t h e n d Lmin ≤S L≤d Lmi„ +d L/2. i f ER>Th, t h e n d min + d / 2≤ S R≤ d Rmax ,
i f -Th≤ER≤Th, t h e n d mm + d R/4≤ S R≤ d Rmax - d R/4,
i f ER<— Th， t h e n d Rmi n ≤SR≤dRmjn +dR/2.
21. 第 6ステップで設定された設定可能範囲 S内の画素データを xとし、 1 組の対向画素を構成する 2つの原画素の画素データを、 それぞれ d aおよび d b とすると、 その組に対する相関値 Lは、 L= | d a— x | + | d b— x |によつ て算出されることを特徴とする請求項 18に記載の画像捕間方法。
22. 第 7ステップは、 第 6ステップで各組毎に求められた相関最小値のうち 最小の相関最小値を選択するステツプ、
選択した最小の相関最小値を与える補間画素の画素データを抽出するステツプ、 最小の相関最小値が 1つである場合には、 その最小の相関最小値を与える補間 画素の画素データを、 補間画素の画素データとして決定するステップ、 ならびに 最小の相関最小値が複数ある場合には、 それらの最小の相関最小値を与える補 間画素の画素データの平均値を補間画素の画素データとして決定するステップ、 を備えていることを特徴とする請求項 1 8に記載の画像補間方法。
2 3 . 第 7ステップは、 第 6ステツプで各組毎に求められた相関最小値のうち 最小の相関最小値を選択するステツプ、
選択した最小の相関最小値を与える補間画素の画素データを抽出するステツプ、 最小の相関最小値が 1つである場合には、 その最小の相関最小値を与える補間 画素の画素データを、 補間画素の画素データとして決定するステップ、 ならびに 最小の相関最小値が複数ある場合には、 それらの最小の相関最小値を与える補 間画素の画素データのうちから、 最大値と最小値とを抽出し、 抽出した最大値と 最小値との平均値を補間画素の画素データとして決定するステップ、
を備えていることを特徴とする請求項 1 8に記載の画像補間方法。
2 4 . 第 7ステップは、 第 6ステップで各組毎に求められた相関最小値のうち 最小の相関最小値を選択するステップ、
選択した最小の相関最小値を与える補間画素の画素データを抽出するステツプ、 最小の相関最小値が 1つである場合には、 その最小の相関最小値を与える補間 画素の画素データを、 補間画素の画素データとして決定するステップ、 ならびに 最小の相関最小値が複数ある場合には、 それらの最小の相関最小値を与える補 間画素の画素データのうち、 補間画素に最も近接した対向画素から得られた画素 データを選択し、 選択した画素データが 1つである場合にはその画素データを補 間画素の画素データとして決定し、 選択した画素データが 2つである場合にはそ れらの平均値を補間画素の画素データとして決定するステップ、
を備えていることを特徴とする請求項 1 8に記載の画像補間方法。
2 5 . 左右方向に隣合う第 1の原画素および第 2の原画素、 第 1の原画素の下 側に隣接する第 3画素ならびに第 2の原画素の下側に隣接する第 4画素からなる 4つの原画素の中央位置に画素を補間する画像補間方法において、 第 1の原画 素、 第 4の原画素、 第 1の原画素と第 4の原画素を結ぶ線の延長上であって第 1 の原画素の左斜め上に隣接する第 5の原画素および第 1の原画素と第 4の原画素 を結ぶ線の延長上であって第 4の原画素の右斜め下に隣接する第 6の原画素の画 素データに基づいて、 補間画素が原画像データのェッジ位置付近に存在するかを 判定するための第 1のエツジ成分を算出する第 1
第 2の原画素、 第 3の原画素、 第 2の原画素と第 3の原画素を結ぶ線の延長上 であって第 2の原画素の右斜め上に隣接する第 7の原画素および第 2の原画素と 第 3の原画素を結ぶ線の延長上であって第 3の原画素の左斜め下に隣接する第 8 の原画素の画素データに基づいて、 補間画素が原画像データのエッジ位置付近に 存在するかを判定するための第 2のエッジ成分を算出する第 2ステップ、 算出された第 1のェッジ成分および第 2のェッジ成分を、 それぞれ所定の擬似 ノィズ成分に基づいて補正する第 3ステップ、
補正後の第 1のェッジ成分と第 1および第 4の原画素の画素データとに基づい て補間画素の画素データの第 1の設定可能範囲を求めるとともに、 補正後の第 2 のエッジ成分と第 2および第 3の原画素の画素データとに基づいて補間画素の画 素データの第 2の設定可能範囲を求める第 4ステップ、
第 1の設定可能範囲と第 2の設定可能範囲に、 互いに重なり合う部分が存在す るか否かを判定する第 5ステップ、
第 1の設定可能範囲と第 2の設定可能範囲に、 互いに重なり合う部分が存在し ない場合には、 第 1〜第 4の原画素の画素データの平均値を算出し、 その算出結 果を補間画素の画素データと決定する第 6ステップ、
第 1の設定可能範囲と第 2の設定可能範囲に、 互いに重なり合う部分が存在す る場合には、 その重なり合う部分を設定可能範囲として設定した後、 補間画素を 斜め方向に挟む対向画素の組を複数組選択し、 各組毎に、 補間画素の画素データ の設定可能範囲内において、 補間画素の画素データと各対向画素との差の絶対値 の和と各対向画素の周辺の原画素の画素データに基づいて算出される補正値とで 表される相関値が最小となる補間画素の画素データと相関最小値とを求める第 7 ステップ、 ならびに
上記各組毎に求められた、 相関値が最小となる補間画素の画素データと相関最 小値とに基づいて、 補間画素の画素データを求める第 8ステップ、
を備えていることを特徴とする画像補間方法。
26. 第 1の原画素の画素データを d 1、 第 4の原画素の画素データを d 4、 第 5の原画素の画素データを d 5、 第 6の原画素の画素データを d 6とし、 第 1 のエッジ成分を ELとすると、 第 1ステップでは、 演算式 EL =— d 5 + d 1 + d 4— d 6に基づいて第 1のエッジ成分 ELを算出し、
第 2の原画素の画素データを d 2、 第 3の原画素の画素データを d 3、 第 7の 原画素の画素データを d 7、 第 8の原画素の画素データを d 8とし、 第 2のエツ ジ成分を ERとすると、 第 2ステップでは、 演算式 ER =—d 7 + d 2 + d 3_ d 8に基づいて第 2のエッジ成分 ERを算出することを特徴とする請求項 25に 記載の画像補間方法。
27. 擬似ノイズ成分を Qとし、 第 1のエッジ成分を EL、 第 2のエッジ成分 を ERとすると、 第 3ステップで求められる補正後の第 1のエッジ成分 EL 1お よび補正後の第 2のエツジ成分 E R 1は次式で表されることを特徴とする請求項 26に記載の画像補間方法。
i f -Q≤E L≤Q, t h e n EL 1 =0,
i f E L>Q o r E L<-Q, t h e n E L 1 =E L. i f -Q≤ER≤Q, t h e n ER 1 =0,
i f ER>Q o r ER<-Q, t h e n ER 1 =ER.
28. 補正後の第 1のェッジ成分を E L 1、 補正後の第 2のェッジ成分を E R 1、 第 1の原画素の画素データと第 4の原画素の画素データのうち大きい方を d Lmax 、 小さい方を dLmin 、 d Lmax と d Lmin との平均を d L c、 第 2の原 画素の画素データと第 3の原画素の画素データのうち大きい方を dRmax 、 小さ い方を dRmin 、 d Rmax と dRmin との平均を dRc、 αおよび γを予め設定 された係数とすると、 第 4ステップでは、 次式に基づいて、 第 1の設定可能範囲 S Lおよび第 2の設定可能範囲 SRが求められることを特徴とする請求項 27に 記載の画像補間方法。
i f E L 1≥ 0, t h e n d Lmin · α + d L c (1一 a) ≤ S L≤ d L · a + d L c (1— a) +EL 1 · y ,
i f EL KO, t h e n d Lmln - a + d L c ( 1 - a) +E L 1 - y S L≤ d L · a + d L c ( 1— a ) . i f ER 1≥0， t h e n d Rmin a + d R c ( a ) ≤SR≤dR - a + d R c (1 -a) +ER 1 - γ
i f ER KO, t h e n dR - a + d R c (1-a) +ER 1 - y ≤ S R≤ d R„,ax - a + d R c ( 1 - a) .
29. 第 7ステップで設定された設定可能範囲 S内の画素データを xとし、 1 組の対向画素を構成する 2つの原画素の画素データを、 それぞれ d aおよび d b とすると、 その組に対する相関値 Lは、 L= | d a— x | + | d b— x |によつ て算出されることを特徴とする請求項 25に記載の画像補間方法。
30. 第 8ステップは、 第 7ステップで各組毎に求められた相関最小値のうち 最小の相関最小値を選択するステップ、
選択した最小の相関最小値を与える補間画素の画素データを抽出するステップ 最小の相関最小値が 1つである場合には、 その最小の相関最小値を与える補間 画素の画素データを、 捕間画素の画素データとして決定するステップ、 ならびに 最小の相関最小値が複数ある場合には、 それらの最小の相関最小値を与える補 間画素の画素データの平均値を補間画素の画素データとして決定するステップ、 を備えていることを特徴とする請求項 25に記載の画像補間方法。
31. 第 8ステップは、 第 7ステップで各組毎に求められた相関最小値のうち 最小の相関最小値を選択するステツプ、
選択した最小の相関最小値を与える補間画素の画素データを抽出するステップ. 最小の相関最小値が 1つである場合には、 その最小の相関最小値を与える補間 画素の画素データを、 補間画素の画素データとして決定するステップ、 ならびに 最小の相関最小値が複数ある場合には、 それらの最小の相関最小値を与える補 間画素の画素データのうちから、 最大値と最小値とを抽出し、 抽出した最大値と 最小値との平均値を補間画素の画素データとして決定するステップ、 を備えていることを特徴とする請求項 2 5に記載の画像補間方法。
3 2 . 第 8ステップは、 第 7ステップで各組毎に求められた相関最小値のうち 最小の相関最小値を選択するステップ、
選択した最小の相関最小値を与える補間画素の画素データを抽出するステップ、 最小の相関最小値が 1つである場合には、 その最小の相関最小値を与える補間 画素の画素データを、 補間画素の画素データとして決定するステップ、 ならびに 最小の相関最小値が複数ある場合には、 それらの最小の相関最小値を与える補 間画素の画素データのうち、 補間画素に最も近接した対向画素から得られた画素 データを選択し、 選択した画素デ一タが 1つである場合にはその画素デ一タを補 間画素の画素データとして決定し、 選択した画素データが 2つである場合にはそ れらの平均値を補間画素の画素データとして決定するステップ、
を備えていることを特徴とする請求項 2 5に記載の画像補間方法。
PCT/JP2000/005129 1999-08-05 2000-07-28 Procédé d'interpolation d'images WO2001011879A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE60040786T DE60040786D1 (de) 1999-08-05 2000-07-28 Bildinterpolationsverfahren
EP00948335A EP1173017B1 (en) 1999-08-05 2000-07-28 Image interpolating method
US09/821,452 US7039254B1 (en) 1999-08-05 2000-07-28 Image interpolating method

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP22271799 1999-08-05
JP11/222717 1999-08-05
JP24152099 1999-08-27
JP11/241520 1999-08-27
JP27496799 1999-09-28
JP11/274967 1999-09-28
JP2000089664 2000-03-28
JP2000/89664 2000-03-28

Publications (1)

Publication Number Publication Date
WO2001011879A1 true WO2001011879A1 (fr) 2001-02-15

Family

ID=27477045

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2000/005129 WO2001011879A1 (fr) 1999-08-05 2000-07-28 Procédé d'interpolation d'images

Country Status (5)

Country Link
US (1) US7039254B1 (ja)
EP (1) EP1173017B1 (ja)
KR (1) KR100652100B1 (ja)
DE (1) DE60040786D1 (ja)
WO (1) WO2001011879A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3767513B2 (ja) * 2002-04-26 2006-04-19 三菱電機株式会社 画素補間回路、走査線補間回路、画素補間方法、走査線補間方法、および応用装置
US7432979B2 (en) * 2003-09-03 2008-10-07 Sony Corporation Interlaced to progressive scan image conversion
JP3767593B2 (ja) * 2003-10-07 2006-04-19 三菱電機株式会社 画素補間回路及び画素補間方法
KR100543466B1 (ko) 2003-11-13 2006-01-20 삼성전자주식회사 영상 보간 장치 및 방법
US7345708B2 (en) * 2003-12-23 2008-03-18 Lsi Logic Corporation Method and apparatus for video deinterlacing and format conversion
CN1857008B (zh) * 2004-02-19 2010-05-05 三菱电机株式会社 图像处理方法
JP4358055B2 (ja) * 2004-07-21 2009-11-04 株式会社東芝 補間画素生成回路
US8325273B2 (en) * 2005-06-06 2012-12-04 Broadcom Corporation System and method for vertical gradient detection in video processing
US20080247649A1 (en) * 2005-07-07 2008-10-09 Chun Hing Cheng Methods For Silhouette Extraction
JP2007195062A (ja) * 2006-01-20 2007-08-02 Fujitsu Ltd 画像静止領域判定装置、およびインタレース−プログレッシブ画像変換装置
ES2565238T3 (es) 2006-04-20 2016-04-01 Janssen Pharmaceutica N.V. Inhibidores de la c-fms quinasa
FR2906053A1 (fr) * 2006-09-15 2008-03-21 St Microelectronics Sa Desentrelacement d'images.
US8237830B2 (en) 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
BRPI0809662A2 (pt) 2007-04-11 2014-10-14 Red Com Inc Câmaras de vídeo e métodos de gravação de vídeo de movimento com câmara e de processamento de imagens
CN101952854B (zh) * 2008-04-21 2012-10-24 夏普株式会社 图像处理装置、显示装置、图像处理方法、程序和记录介质
US20090275366A1 (en) * 2008-05-05 2009-11-05 Schilling Donald L Personal portable communication devices with deployable display systems for three dimensional visual representations and/or privacy and methods of use
BRPI0914855A2 (pt) * 2008-06-27 2019-09-24 Sharp Kk dispositivo de controle para dispositivo de exibição de cristal líquido, dispositivo de exibição de cristal líquido, método para controle de dispositivo de exibição de cristal líquido, programa e meio de armazenameto.
JP5302961B2 (ja) * 2008-06-27 2013-10-02 シャープ株式会社 液晶表示装置の制御装置、液晶表示装置、液晶表示装置の制御方法、プログラムおよびその記録媒体
WO2014127153A1 (en) 2013-02-14 2014-08-21 Red. Com, Inc. Video camera
US11019336B2 (en) 2017-07-05 2021-05-25 Red.Com, Llc Video image data processing in electronic devices
KR20220081141A (ko) 2020-12-08 2022-06-15 주식회사 엘엑스세미콘 무라를 보상하기 위한 보상 데이터 생성 장치 및 보상 데이터를 이용하는 디스플레이의 무라 보상 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0937214A (ja) * 1995-07-14 1997-02-07 Matsushita Electric Ind Co Ltd 順次走査変換方法及び順次走査変換装置
JPH1141565A (ja) * 1997-07-23 1999-02-12 Sharp Corp 画像データ補間装置
JPH11146346A (ja) * 1997-11-13 1999-05-28 Matsushita Electric Ind Co Ltd 順次走査変換方法及び順次走査変換装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6268366A (ja) 1985-09-20 1987-03-28 Matsushita Electric Ind Co Ltd 画素内插方式
JP2751928B2 (ja) 1987-01-29 1998-05-18 キヤノン株式会社 映像情報補間方法
JPH02177683A (ja) * 1988-09-29 1990-07-10 Toshiba Corp 画素信号の相関判定および補間データ作成装置
US5093721A (en) * 1990-07-10 1992-03-03 Zenith Electronics Corporation Line interpolator with preservation of diagonal resolution
US5410356A (en) * 1991-04-19 1995-04-25 Matsushita Electric Industrial Co., Ltd. Scanning-line interpolation apparatus
JP3161849B2 (ja) 1991-12-25 2001-04-25 松下電器産業株式会社 画像データ補間方法および画像データ補間装置
JPH05207271A (ja) 1992-01-24 1993-08-13 Matsushita Electric Ind Co Ltd 画像拡大装置
JPH05233794A (ja) 1992-02-20 1993-09-10 Hitachi Ltd 多値自然画デジタル画像の拡大方法及びその拡大装置
US5886745A (en) * 1994-12-09 1999-03-23 Matsushita Electric Industrial Co., Ltd. Progressive scanning conversion apparatus
JPH08305843A (ja) 1995-05-10 1996-11-22 Ricoh Co Ltd デジタル画像の画素密度変換方法
MY117289A (en) * 1996-01-17 2004-06-30 Sharp Kk Image data interpolating apparatus
US6262773B1 (en) * 1997-09-15 2001-07-17 Sharp Laboratories Of America, Inc. System for conversion of interlaced video to progressive video using edge correlation
JPH11144053A (ja) * 1997-11-11 1999-05-28 Sharp Corp 画像データの補間処理方法
US6192158B1 (en) * 1998-03-30 2001-02-20 Motorola, Inc. Wavelet image coder using trellis-coded quantization
US6118488A (en) * 1998-08-31 2000-09-12 Silicon Integrated Systems Corporation Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection
JP3717863B2 (ja) * 2002-03-27 2005-11-16 三洋電機株式会社 画像補間方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0937214A (ja) * 1995-07-14 1997-02-07 Matsushita Electric Ind Co Ltd 順次走査変換方法及び順次走査変換装置
JPH1141565A (ja) * 1997-07-23 1999-02-12 Sharp Corp 画像データ補間装置
JPH11146346A (ja) * 1997-11-13 1999-05-28 Matsushita Electric Ind Co Ltd 順次走査変換方法及び順次走査変換装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1173017A4 *

Also Published As

Publication number Publication date
DE60040786D1 (de) 2008-12-24
US7039254B1 (en) 2006-05-02
KR20010099671A (ko) 2001-11-09
EP1173017B1 (en) 2008-11-12
KR100652100B1 (ko) 2006-12-01
EP1173017A4 (en) 2005-11-30
EP1173017A1 (en) 2002-01-16

Similar Documents

Publication Publication Date Title
WO2001011879A1 (fr) Procédé d&#39;interpolation d&#39;images
JP3280001B2 (ja) ステレオ画像の位置ずれ調整装置
US5646679A (en) Image combining method and apparatus
JP2931520B2 (ja) 単板式カラービデオカメラの色分離回路
JP3851384B2 (ja) 画像合成装置および方法
EP0837428B1 (en) Picture image forming apparatus
JP2004343222A (ja) 画像処理装置
EP0563737A1 (en) Multilens imaging apparatus with correction of misregistration
US5696550A (en) Image quality inspection system
KR20060050516A (ko) 스크린의 일부의 변을 이용한 키스톤 보정
TWI381732B (zh) 低角度內插裝置及其方法
WO2007060847A1 (ja) 撮像装置
EP0878970A3 (en) Imager registration error and chromatic aberration measurement system for a video camera
JP2002185934A (ja) 走査線補間装置
CN110544208A (zh) 工业级图像拼接方法及系统
JP3717863B2 (ja) 画像補間方法
EP1536643B1 (en) Image conversion device and image conversion method
CN108055487B (zh) 像感器阵列不均匀性的一致校正方法及系统
JP3706529B2 (ja) 画像補間方法
US20080107357A1 (en) Image Processing Apparatus, Image Processing Method, and Computer Program
US6906704B2 (en) Noise elimination method and noise elimination apparatus
US20030122968A1 (en) Apparatus and method for deleting sawtooth wave
JP3786300B2 (ja) 動きベクトル検出装置及び動きベクトル検出方法
JP2658625B2 (ja) 補間信号生成回路
JP3695291B2 (ja) 画像処理装置、画像表示装置、および画像処理方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

WWE Wipo information: entry into national phase

Ref document number: 09821452

Country of ref document: US

Ref document number: 1020017004293

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2000948335

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020017004293

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2000948335

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 1020017004293

Country of ref document: KR