JP3739405B2 - ビデオ原始データ補間のための方法と装置 - Google Patents

ビデオ原始データ補間のための方法と装置 Download PDF

Info

Publication number
JP3739405B2
JP3739405B2 JP51769997A JP51769997A JP3739405B2 JP 3739405 B2 JP3739405 B2 JP 3739405B2 JP 51769997 A JP51769997 A JP 51769997A JP 51769997 A JP51769997 A JP 51769997A JP 3739405 B2 JP3739405 B2 JP 3739405B2
Authority
JP
Japan
Prior art keywords
pixel
interpolation
pixels
source data
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP51769997A
Other languages
English (en)
Other versions
JPH11514810A (ja
Inventor
グレッゲイン、ランス
ノウ、カルヴィン
Original Assignee
ジェネシス マイクロチップ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジェネシス マイクロチップ インコーポレイテッド filed Critical ジェネシス マイクロチップ インコーポレイテッド
Publication of JPH11514810A publication Critical patent/JPH11514810A/ja
Application granted granted Critical
Publication of JP3739405B2 publication Critical patent/JP3739405B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403Edge-driven scaling; Edge-based scaling
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03HIMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00Networks using digital techniques
    • H03H17/02Frequency selective networks
    • H03H17/0248Filters characterised by a particular frequency response or filtering method
    • H03H17/0264Filter sets with mutual related characteristics
    • H03H17/0273Polyphase filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03HIMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H2218/00Indexing scheme relating to details of digital filters
    • H03H2218/02Coefficients

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Television Systems (AREA)

Description

技術分野
本発明はデータ補間、特に標本抽出された目標画素を入力原始データから生成するための方法とこの方法を実行するための装置に関する。
背景技術
ビデオ画像はデジタルデータの二次元配列として表すことができ、この配列における各データ点はデジタル化されたビデオ画像の1画素を表す。各画素に割り当てられた値は、このビデオ画像が再生されるとき、その輝度および/または色彩を決定する。ビデオ画像技術では、ビデオ画像に任意の倍率を掛けて拡大画像を作ることが望まれることがしばしばある。1つのデジタルデータ配列によって表されている初期画像から拡大画像を作るとき、拡大画素の画素を「満たす」ように初期画素データ配列の継続している走査線およ画素の間に標本抽出された画素を生成させるために、初期デジタルデータ配列の画素の間に補間することが必要である。こうした拡大ビデオ画像を作るための従来技術は、既にいくつかある。
従来技術では、拡大対象のデジタル化ビデオ画像の垂直および水平次元を個別的に補間するデカルト直交方式を使用するのが共通の方法である。しかし、この技術では、拡大画像に通常「ステアステッピング」と呼ばれる段階状のぎざぎざの縁が生じるのが、普通である。この補間法の改良によってステアステッピングを減少させることはできるが、これは元々この技術に内在しているものなので、完全に除去することはできない。
方向性補間方式によってステアステッピング問題を解決しようという考えがある。方向性補間は画像の幾何学的構造を認識する。方向性補間を用いて、縁に沿った補間を行えば縁を越えた補間にも改善をもたらすことが判明している。方向性補間には局所的な画像構造の解析と、そしてこの画像構造に基づく補間の実施とが含まれる。
ドゥーガル他に与えられた米国特許第5,019,903号には、超標本抽出されたデジタル信号の複数走査線間に方向性をもって補間するための装置が開示されている。この装置は垂直に標本抽出された走査線を方向性をもって補間する時に利用するため、勾配ベクトルを計算する。この操作によって、当該装置は走査線ダブリング非飛び越し走査の用途に最も適したものになる。
山下他に与えられた米国特許第5,347,599号には、適応補間法と相関探知を用いた装置とが開示されている。この装置は、所望の標本抽出方向を選択するために、原始データの画素走査線に関する計算を行う。しかしこの装置も、ドゥーガル他の装置と同様に、走査線ダブリング非飛び越し走査の用途に最も適している。
ドゥーガル他および山下他は、標本抽出された画素を生成するための代替の方向性補間法を開示しているが、その設計は、単に固定整数の垂直再サイジング処理係数を支持するだけのようである。したがって、垂直次元においても水平次元においても任意の分数再サイジング処理係数を支持する改良された補間法および装置が必要である。
よって、本発明の目的は、標本抽出された目標画素を入力原始データから生成するための新しい方法と装置とを供することである。
発明の開示
本発明は任意の分数再サイジング処理係数に方向性補間を行う。先ず、原始データにおける低周波数の縁に応じて、補間方向が選択される。次ぎに中間画素を生成するために方向性補間が行われる。これらの中間画素はそれから、所望の標本抽出された目標画素を生成するために、できれば非直交状態で補間される。
詳述すれば、本発明の1側面によると、以下の段階、すなわち
(i) 少なくとも異なる2方向に生成される標本抽出された目標画素を囲む区域内の上記原始データの異なる走査線の画素を比較する段階と、
(ii) 段階(i)の比較に基づいて補間方向を選択する段階と、
(iii) 段階(ii)で決定された補間方向で、上記原始データの異なる走査線の選択画素の間に補間し、そして上記標本抽出された目標画素を通る線分上の中間画素を計算する段階と、
(iv) 上記標本抽出された目標画素を生成するために中間画素の間に補間する段階
とから成る標本抽出された目標画素を入力原始データから生成するための方法が供される。
この好ましい実施例では、上記線分は原始データの走査線に平行である。このように線分を水平に限定することによって、中間画素と標本抽出された目標画素との計算を簡単にすることができる。
1つの可能な実施例において、原始データの様々な走査線の画素は、垂直方向とそしてこの垂直方向に対して0°<角度<90°の範囲内の角度を成す逆向きの斜め方向とを含む。異なる3方向において比較される。段階(i)の比較の間、この比較された画素どうし間の差の値が生成され、この差の値は段階(ii)における補間方向を選択するために用いられる。
この実施例においては、段階(ii)に先立って、3方向における比較から生じる差の値は、こうした差があるしきい値内にあるかどうかを決定するために、互いに比較される。どの差もしきい値内に含まれていないときは、最小差の値に相当する方向が補間方向として選択される。3方向全てにおける比較から生じた差の値どうし間の差がしきい値内にあるときは、補間方向として垂直方向が選択される。垂直方向とそして斜め方向の一方のみにおける比較から生じた差の値どうし間の差が、しきい値内にあるとき、当該の斜め方向が補間方向として選択される。斜め2方向における比較から生じた差の値どうし間の差が、しきい値の範囲内にあるとき、原始データの異なる走査線の追加画素が対向する斜め両方向において比較される。これらの比較の結果として生成された差の値が互いに比較される。上記追加画素の比較により生じた差の値どうし間の差がしきい値内にあるにとき、垂直補間方向が補間方向として選択される。
もう1つの実施例においては、線分は原始データの走査線と平行であるが、この場合原始データの異なる走査線の画素は、段階(i)において7方向で比較される。これらの方向には、垂直方向と、0°<角度<90°の範囲内にある、垂直方向とは異なる様々な角度を形成する3対の逆向きの斜め方向とが含まれる。段階(i)の比較された画素どうし間の差の値が計算される。
この実施例において、当該セットの左への差の値のセットが考慮され、そして右へのセットもまた検査される。可能な斜めの各補間方向のための3つの差の値が合計され、そしてその間の差がしきい値内にあるかどうかを決定するために比較される。いずれの差も原始画像において低周波数の縁を示すほど十分小さくないときには、垂直方向が補間方向として選択される。いずれの差もしきい値内にないときには、最も小さい差の値に相当する斜めの方向が補間方向として選択される。「右向きの」斜め方向と「左向きの」斜め方向に相当する差の値がしきい値内にあるとき、この場合でもまた垂直方向が補間方向として選択される。その他の場合は、これらの斜め方向の一つが補間方向として選択される。
本発明のさらにもう一つの側面によれば、以下の手段、すなわち
少なくとも異なる2方向に生成された標本抽出された目標画素を囲む区域内の上記原始データの異なる走査線の画素を比較する比較手段と、
上記比較手段に応答して補間方向を選択するための選択手段と、そして
標本抽出された目標画素を通る線分上の中間画素を計算するために、上記選択手段によって選択された補間方向に上記原始データの異なる走査線の選択された画素どうしの間に補間するための標本抽出手段であって、かつ上記目標画素を生成するために中間画素どうしの間に補間するための標本抽出手段とを含む、
入力原始データから標本抽出された目標画素を生成するための装置が供される。
ステアステッピングを減少させて大きな倍率の画像を作りだすことを可能にするために、上記標本抽出された目標画素を生成させられることに本発明の利点があり、特に大きな倍率の場合に利点は大きい。
【図面の簡単な説明】
本発明の幾つかの実施例が、添付の図面を参照しながら以下に、より詳細に説明される。
図1は、ビデオ画像原始データの継続する3本の走査線の画像と、生成されるために標本抽出された目標画素の位置と、そしてこの標本抽出された目標画素を生成するために用いられる原始データの画素を囲む区域とを示した線図である。
図2は、標本抽出された目標画素を生成するときに用いられる補間方向の決定のために、原始データの画素どうし間において行われる比較を示す線図である。
図3は、斜めの2方向における比較が同様な値を生じるとき、原始データの画素どうし間で行われる追加比較を示す線図である。
図4は、標本抽出された目標画素を生成するために用いられる垂直標本抽出技術を示す線図である。
図5は、標本抽出された目標画素を生成するために用いられるマイナス勾配の斜め標本抽出技術を示す線図である。
図6は、標本抽出された目標画素を生成するために用いられるプラス勾配の斜め標本抽出技術を示す線図である。
図7aおよび7bは、原始データから標本抽出された目標画素を生成するときの第1の方法で実施される各段階を示す流れ図である。
図8は、入力原始データから標本抽出された目標画素を生成するための装置を示すブロック線図である。図9は、図8に示されている装置の一部をなす遅延回路の略図である。
図10は、図8に示されている装置の一部をなす決定回路の略図である。
図11は、図8に示されている装置の一部をなすβ計算機の略図である。
図12は、図8に示されている装置の一部をなす斜標本抽出器の略図である。
図13は、第2の実施例のための補間方向を決定するのに際して実施される原始画素どうし間の比較を表す線図である。
図14は、境界交差状況を示す線図である。
図15は、標本抽出された目標画素を生成するために用いられる垂直標本抽出技術を示す線図である。
図16は、標本抽出された目標画素を生成するために用いられるプラス45°勾配の斜め標本抽出技術を示す線図である。
図17は、標本抽出された目標画素を生成するために用いられるマイナス45°勾配の斜め標本抽出技術を示す線図である。
図18は、26.6°勾配の斜め標本抽出技術に用いられる原始画素を示す線図である。
図19は、標本抽出された目標画素を生成するために用いられるプラス26.6°勾配の斜め標本抽出技術を示す線図である。
図20は、標本抽出された目標画素を生成するために用いられるマイナス26.6°勾配の斜め標本抽出技術を示す線図である。
図21は、標本抽出された目標画素を生成するために用いられるプラス63.4°勾配の斜め標本抽出技術を示す線図である。
図22は、標本抽出された目標画素を生成するために用いられるマイナス63.4°勾配の斜め標本抽出技術を示す線図である。
図23aおよび23bは、原始データから標本抽出された目標画素を生成するときの第2の方法で実施される各段階を示す流れ図である。
図24は、入力原始データから標本抽出された目標画素を生成するための第2の装置を示すブロック線図である。
図25は、図24に図示されている装置の一部を形成する遅延回路の略図である。
図26は、図24に図示されている装置の一部を形成する決定回路の略図である。
図27は、図24に図示されている装置の一部を形成するβ計算機の略図であり、そして
図28は、図24に図示されている装置の一部を形成する斜め標本抽出器の略図である。
本発明を実施するための最良の方法
拡大ビデオ画像を作るため入力ビデオ画像のデシタル原始データを標本抽出するとき、デジタル原始データの走査線および画素どうし間に標本抽出された目標画素を生成する必要がある。再サイジング処理係数および再サイジング処理方向(すなわち、垂直および/または水平方向)によって、生成される標本抽出された目標画素の位置と同様にその数も決定される。
ステアステッピングを減少させそして高解像度の拡大ビデオ画像を作るためには、生成される様々な標本抽出された目標画素に関する幾つかの数値を正確に計算する必要がある。このようにして、標本抽出された目標画素の値を生成するために用いられる標本抽出補間方向が、この目的を達成するために選択されなければならない。標本抽出された目標画素に関する正確な数値をもたらす標本抽出補間方向の選択に失敗すると、顕著なステアステッピングのある拡大画像が生成されることになろう。
本発明の方法および装置は、幾つかの方向に生成される標本抽出された目標画素を囲む区域におけるデジタル原始データの画像の値の差を計算することによって、標本抽出された目標画素を生成する。こうして計算された差の値は次に、補間方向を選択するために検査される。それから、生成対象の標本抽出された目標画素を通る線分上の中間画素を生成するために、決定された補間方向でデジタル原始データの選択された画素どうしの間の補間が実施される。線分が原始データに平行に−すなわち、水平に−なるように限定されると、中間画素の計算が簡単になる。標本抽出された目標画素を生成するために、中間画素どうし間の補間が次に実施される。
入力原始データから標本抽出された目標画素を生成する本発明の方法の1実施例が図1から7bまでを特に参照しながら以下に説明される。
標本抽出された目標画素wが生成されるとき、デジタル原始データにおいて標本抽出された目標画素に最も近い画素が決定され、そして補間法における基準画素PRとして用いられる。その間に標本抽出された目標画素が位置する原始データの2本の継続走査線もまた決定される。基準画素と、この基準画素PRと同じ原始データ走査線上の隣接画素と、そして標本抽出された目標画素を囲む長方形の区域Rを形成する原始データの他の走査線上の2つの画素とが決定される(図7aのブロック50参照)。区域Rの境界を画定する4つの原始データは主として、以下に説明されるように、補間方向を決定するために用いられる。区域Rは、4つの象限の1つ、すなわち基準画素PRの周囲を囲む左上、右上、左下または右下の各象限の1つに相当する。
図1はデジタル原始データの小さな線分を示す。原始画素はそれぞれ基準画素PR=U00に関連して符号を付されている。原始データの第1の走査線は5つの画素U-1-2からU-12までによって表され、原始データの第2の走査線は画素U0-2からU02までによって、原始データの第3の走査線は画素U1-2からU12までによって表される。明らかに、画素U00は標本抽出された目標画素wに最も近い画素であり、そして指定基準画素PRである。この実施例では、標本抽出された目標画素wは区域Rの左上象限にある第1と第2の走査線の間に位置している。画素U-1-1、U-10、U0-1そしてU00は、標本抽出された目標画素wの周囲を囲む区域Rを画定する画素であり、また補間方向の決定にも用いられる。以下の一覧表は、基準画素を囲む4つの象限における区域Rを画定する原始データ画素を示すものである。
Figure 0003739405
区域Rの4つの画素が一旦決定されると、3つの補間方向に対応して計算がなされる(ブロック52参照)。図1の実施例では、区域Rは、画素U-1-1、U-10、U0-1およびU00によって画定され、そして以下の計算がなされる。すなわち、
Figure 0003739405
図2では、画素U-1-1、U-10、U0-1およびU00によってなされた3つの計算に関連する補間方向OL、ORおよびVを表示している。同様な計算が他の3象限にも適用される。
最小の差の値を生じる計算は通常、原始データの周囲画素の値に最も近い値を有する標本抽出された目標画素wを生じるであろうと思われる補間方向に関連している。しかし、補間方向がこれらの計算の結果に基づいて選択される前に、計算された差の値は、これらの差が、互いのしきい値内にあるかどうかを決定するために、互いに比較される(ブロック54と56参照)。
計算された差の値の1つが明らかに他の2つの値より小さい場合、計算された最小値に関連する補間方向が選択される(ブロック58)。もし計算された3つの差の値が全てしきい値内にあるならば、垂直補間方向Vが選択される(ブロック66および68)。
もし垂直補間方向Vに関連する計算された差の値と、斜め方向OLまたはORの一方のみと関連する計算された差の値とが、互いのしきい値内にあれば、斜めの補間方向が選択される(ブロック70と72)。
2つの斜め補間方向OLおよびORに関連する計算された差の値が互いのしきい値内にはいる場合、決定が正しくなければ拡大画像に斜め方向の線に顕著な不連続性が生じる恐れがあるので、正しい補間方向を選択することが重要である。
この選択プロセスを支援するために、原始データの同一走査線から追加画素を用いた計算が実施される(ブロック74)。図3は図1および2の実施例のための斯様な追加計算を示している。すなわち、
Figure 0003739405
追加計算されたこれらの差の値は次に、互いのしきい値の範囲内にあるかどうかを決定するために、比較される(ブロック76)。もしこれらの差の値の1つが明らかに他方の値より小さければ、計算された差の値に関連する斜め補間方向OLまたはORが選択される(ブロック58)。しかし、2つのこれら追加計算された差の値が互いのしきい値内にあるならば、原始データの同一走査線からの追加画素を用いる以下の追加計算が実施される(ブロック78)。
Figure 0003739405
同様に、追加計算されたこれらの差の値は、これらの値が互いのしきい値内にあるかどうかを決定するために、比較される(ブロック80)。もしこれらの差の値の1つが明らかに他方の値より小さければ、計算された差の値に関連する斜め補間方向OLまたはORが選択される(ブロック58)。しかし、2つのこれら追加計算された差の値が互いのしきい値内にあるならば、もし正しくない斜め補間方向が選択されていたならば、生じる恐れがあり得る解像度の問題を避けるためにデフォールト値として垂直補間方向Vが選択される(ブロック82)。
補間方向が一旦決定されると、補間方向に基づいて選択された原始データ画素が決定され(ブロック60)、そして中間画素vを生成する目的で選択された原始データ画素どうし間に補間するために、上記補間方向が利用される(ブロック62)。中間画素は次に、標本抽出された目標画素wを生成するために、水平方向に補間される(ブロック64)。
標本抽出された目標画素wを生成できる前に、この標本抽出された目標画素wの位置を決定しなければならない。標本抽出された目標画素wは垂直および水平の両方向において基準画素PRからのその距離によって定義される。これらの距離は記号αyおよびαxによって表される。この場合、
Figure 0003739405
αyは下方に向かってプラスであり、αxは右に向かってプラスである。αyおよびαxの符号は以下のような象限に関連している。すなわち、
Figure 0003739405
αxおよびαyの値が知られると、その値によって決定された補間方向で選択された原始データ画素どうしの間に補間が実施される。その結果生じる中間画素vは、標本抽出された目標画素wを通過する水平線分上に配置される。本発明のこの実施例では一次標本抽出が説明されているが、より高次の補間も利用することができる。
図4には、右下象限に位置する標本抽出された目標画素wが示されている。この場合、αxもαyも共にプラスである。区域Rは画素U00、U01、U10およびU11によって画定され、そして画素U00は基準画素PRを画定する。中間画素v0、v1およびv2も示されており、そして垂直方向に一次標本抽出を用いて計算されている。この場合、中間画素v0、v1およびv2は以下の数式、すなわち
0=(1-αy)U0-1+αy1-1 (8)
1=(1-αy)U00+αy10 (9)
2=(1-αy)U01+αy11 (10)
を用いて計算される。
3つの標本抽出された中間画素が計算された後に、標本抽出された目標画素の値を決定するために、この標本抽出された目標画素wの向かい合った両側における2つの中間画素の間で補間が直交して水平に実施される。したがって、標本抽出された目標画素wを計算できる前に、2つの中間画素のうちどれを選択するかを決定することが重要である。中間画素を選択するために、記号βは、中央の中間画素v1から標本抽出された目標画素wまでの水平距離として、定義される。記号βは右に向かってプラスである。水平補間では、β=αである。βの符号は、どの2つの中間画素が目標画素wを囲んでいるかを決定する。図4の実施例では、β≧0であるので、補間はv1とv2との間で行われる。標本抽出された目標画素wの値は以下の数式、すなわち
w=(1-αx)v1+αx2
を用いて計算される。
他の象限、すなわちαyとαxとの場合においては、基準画素PRを囲む原始データの異なる幾つかの画素を用いて同様な方法で、中間画素vと標本抽出された目標画素wとが計算される。
斜め左上の補間画素OLが選択されるとき、中間画素v0、v1およびv2は、マイナス勾配の斜線に沿って選択された原始データ画素間で一次補間を行うことによって、計算される。一次補間を行うとき、重要なパラメータは補間された画素端末点間の距離の比である。原始データの走査線と、そして中間画素によって画定された水平な線分とは平行であるので、中間画素は垂直な標本抽出と同様に、αyによって定義される得る。
図5には、これもまたプラスであるαyおよびαxを有する右下象限に位置している標本抽出された目標画素wの場合が示されている。区域Rは画素U00、U01、U10およびU11によって画定され、そして画素U00は基準画素PRを確定する。中間画素v0、v1およびv2もまた図示されており、そして斜め左上補間を用いて計算されている。中間画素v0、v1およびv2は以下の数式を用いて計算される。すなわち、
0=(1-αy)U0-1+αy10 (12)
1=(1-αy)U00+αy11 (13)
2=(1-αy)U01+αy12 (14)
3つの標本抽出された中間画素が計算された後に、標本抽出された目標画素の値を決定するために、この標本抽出された目標画素wの向かい合った両側における2つの中間画素の間で補間が直交せずに水平に実施される。図5の実施例では、標本抽出は45°の斜線にそって実施されるので、中間画素v1から基準画素U00までの水平距離は、垂直距離すなわちαyと同じである。したがって、標本抽出された目標画素wから中間画素v1までの距離βは、αx−αyい等しくなる。実際に、斜め左上標本抽出におけるこのβのための数式は、全ての象限に有効である。補間は中間画素v1とv0との間であることを意味するこの場合は、βはマイナスである。よって、標本抽出された目標画素wの値は以下の数式により計算される。
w=(1-(-β))v1+(-β)v0
他の象限では、基準画素PRを囲む原始データの様々な選択画素を用いて同様に、中間画素vと標本抽出された目標画素wとが計算される。
斜め右上の補間画素ORが選択されるとき、中間画素v0、v1およびv2は、図5を参照しながら上記に説明されている方法と同様な方法で、プラス勾配の斜線に沿って配置されている選択原始データ画素間で一次補間を行うことによって、計算される。
図6には、画素U00、U01、U10およびU11によって画定さている区域Rに位置している標本抽出された目標画素wが示されており、そして画素U00は基準画素PRを画定する。中間画素v0、v1およびv2もまた図示されており、そして斜め右上補間を用いて計算されている。中間画素v0、v1およびv2は以下の数式を用いて計算される。すなわち、
0=(1-αy)U0-1+αy1-2 (16)
1=(1-αy)U00+αy1-1 (17)
2=(1-αy)U01+αy10 (18)
3つの標本抽出された中間画素が計算された後に、標本抽出された目標画素の値を決定するために、この標本抽出された目標画素wの向かい合った両側における2つの中間画素の間で補間が直交せずに水平に実施される。斜め右上標本抽出では、β=αx+αyであることが示され得る。図6の実施例では、βはマイナスであって、これは、補間が中間画素v1とv2との間であることを意味する。標本抽出された目標画素wの値は以下の数式により計算される。
w=(1-β)v1+βv2
他の象限では、基準画素PRを囲む原始データの様々な選択画素を用いて同様に、中間画素vと標本抽出された目標画素wとが計算される。
上述の方法は、可能性のある4つの象限のそれぞれの場合を明らかにするために、原始データの3本の走査線へのアクセスを示している。しかし、一旦標本抽出された目標画素wが明確になると、補間を実施し、そして標本抽出された目標画素wを生成するために必要なのは2本の原始データ走査線のみであることに、留意して欲しい。
ここで図8を説明すると、上述の方法を実施するための原始データ補間装置がこれには表示されており、そして一般的に参照番号100で示されている。この装置100は、入力デジタル原始データDinの流れを受信し、そして標本抽出された目標画素wを生成するために原始データの選択画素間に補間する。
この装置100は原始データの流れを受信する遅延回路102を有している。遅延回路は、所望の標本抽出された目標画素wを生成するのに必要な要求原始データ画素を抽出し、そして斜め標本抽出器106へと同様に決定回路104へにも、要求原始データ画素を送信する。決定回路104は、もし必要ならば、原始データ画素に関して数式1から3までそして4から7までの計算を行い、そして所望の補間方向を決定するために計算された様々な数値をしきい値と比較する。決定回路104の補間方向出力は斜め標本抽出器106とβ計算機108とに送られる。β計算機108の出力は、所望の標本抽出された目標画素wを生成するために入力データを利用する斜め標本抽出器106に適用される。
図9には、より詳細に遅延回路102が示されている。図に示されているように、遅延回路は、所望の標本抽出された目標画素wを生成するために必要な入力デジタル原始データの流れを受信する入力回線112を有する。この入力回線は分岐しており、その一方の分岐線114は、直列に接続されている3つの遅延素子120、122および124に直接続いている。他方の分岐線はラインストア126に続いている。このラインストアの出力は、直列に接続されている3つの遅延素子128、130および132に続いている。各分岐線におけるラインストアおよび遅延素子によって、遅延回路102は同時に、入力原始データの2本の継続走査線から4つの画素を出力させることができる。αxもαyも共にプラスである右下象限における補間の場合では、抽出された8つの画素は、図示されているように、画素U0-1、U00、U01、U02、U10、U11およびU12に対応する。
決定回路104は、図10に最も詳細に示しており、そして4本の入力回線を有しており、その各々は遅延回路102によって選択された画素出力を受信する。入力は2つ組になって減算器140、146および150になされる。減算器の出力は、遅延素子142、144、148、152および154を介して、選択論理回路156に送られそして数式1から3までの様々な計算結果の数値を示す。遅延素子は、数式4から7までの計算に対応する様々な計算結果の数値をを供するために、必要である。特に減算器140の出力は、ORの「将来」の値であるO1ARに対応する。この値はORを供するために遅延素子142に送られ、次にO2ARを供するために遅延素子144に送られる。同様に、減算器150の出力は、O2ARに対応し、OLを供するために遅延素子152に送られ、次にO1ALを供するために遅延素子154に送られる。待ち時間を「平均化」するために、遅延素子148と減算器146の出力を遅らせる必要がある。この値はVに相当する。これらの数値は全て選択論理回路156に送られる。
しきい値と同様にαxおよびαyの定数を受信する選択論理回路156は、いづれかの2つ、または3つ全ての計算された数値がしきい値内にあるかどうかを決定するために、計算された差の値を比較する。明らに計算された差のある1つの値が最も小さい場合、または垂直補間方向に関連する計算された差の値と、そして1つの斜め補間方向のみに関連している、計算された差の値とが共にしきい値内にある場合、または計算された3つの差の値が全てしきい値内にある場合、選択論理回路156は斜め標本抽出器106へと同様に、β計算機108にも選択補間方向を出力する。2つの斜め方向に関連する計算された差の値がしきい値内にある場合、β計算機108および斜め標本抽出器106へ、いずれの補間方向を出力するかを決定するために、値O1ARとO1AL、そして場合によってはO2ARとO2ALが用いられる。
図10に示されている原始画素は、右下象限における補間に用いられる原始画素に対応する。これらの原始画素は差の「将来」の値を表す。
β計算機108は図11に最もよく示されており、そして選択論理回路156による補間方向出力と同様にαyおよび−αyの定数を受信するマルチプレクサ160を含む。マルチプレクサの出力は加算器162に供給され、この加算器もαx定数を受信する。加算器162の出力はβ加算器108のβ定数出力を構成する。
図12は最もよく斜め標本抽出器106を図示しているが、この斜め標本抽出器は、原則としてより高次元の補間を用いることができるとはいえ、3つの一次補間106a、106bおよび106cを含む。各一次補間回路には2つの加算器と1つのマルチプレクサが含まれている。2つの一次補間は方向性補間に、そして1つの一次補間は水平補間のために利用される。斜め標本抽出器にはまた、4つのマルチプレクサ165から168までが含まれており、そしてこれらのマルチプレクサはβ定数の符号を受信し、そして4つのマルチプレクサ170から176までの各々は選択論理回路156から補間方向を受信する。マルチプレクサ165および166はマルチプレクサ170に出力を供給し、そしてマルチプレクサ167および168はマルチプレクサ172に出力を供給する。マルチプレクサ165から168までとそしてマルチプレクサ174から176までへの原始画素の入力は、右下象限を補間するための場合を図示している。マルチプレクサ170および172は一次補間回路106aへの出力を供給する。一次補間回路106aには、マルチプレクサ180へ入力を供給するマルチプレクサ170および172から入力を受信する加算器178が含まれている。αy定数を受信するマルチプレクサ180は、もう1つの加算器182に入力を供給し、この加算器もまたマルチプレクサ172から入力を受信する。
同様に、マルチプレクサ174および176は一次補間回路106bに出力を供給する。一次補間回路106bには、乗算器186に入力を供給するマルチプレクサ174および176から入力を受信する加算器184が含まれている。αy定数を受信する乗算器186はもう1つの加算器188に入力を供給し、そしてこの加算器もまたマルチプレクサ176から入力を受信する。
2つの一次補間回路106aおよび106bの出力はそれぞれ一次補間回路106cに供給される。一次補間回路106cには、乗算器192に入力を供給する加算器182および188から入力を受信する加算器190が含まれている。乗算器192はβ計算機108からβ定数を受信しそして加算器194に入力を供給する。加算器194もまた加算器188の出力を受信しそしてその出力として標本抽出された目標画素wの値を生成する。
入力画素とそして、マルチプレクサ174および176のシフトとは、加算器188の出力が中間画素v1(すなわち、基準画素PRに最も近接している中間画素)を表すように、制御される。中間走査線線分上の標本抽出された目標画素wの位置によって加算器182の出力が中間画素v0かまたは中間画素v2のいずれかを表すように、入力画素とそして、マルチプレクサ165から168までと170および172とは制御される。図12において、マルチプレクサ170から176までへの指示子v、ORおよびOLの入力は、それぞれ垂直と、斜め右および斜め左の各方向に補間するために用いられる原始画素に関したものである。
加算器190および194と、そして乗算器192によって構成される一次補間回路106cは、中間画素間の非直交水平補間を表す計算を実施する。
以下の表は、中間画素vを生成するために、αxおよびαyの全ての値に対して斜め標本抽出器106によって実行された方向性補間を説明したものである。
Figure 0003739405
当該技術に熟達している専門家なら評価するであろうように、中間画素vとβ値が一旦判明すれば、以下の数式の1つを利用して水平補間により標本抽出された目標画素wを生成することができる。
Figure 0003739405
ここで図13〜28を参照しながら、7つの可能な補間方向とそして4点補間回路とを用いて標本抽出された目標画素を生成するための方法のもう1つの実施例が以下に説明される。
前述の実施例と同様に、標本抽出された目標画素wに最も近接している原始画素を決定するために、入力原始データが検査され、そしてこの原始画素は基準画素PRとして用いられる。標本抽出された目標画素より上にある2本の原始走査線からの原始画素と、そして標本抽出された目標画素より下にある2本の原始走査線とが決定され(図23aのブロック210)、そして標本抽出された目標画素を生成するときに選択される補間方向を決定するために、これらの原始走査線の選択画素が比較される。6つの可能な斜め方向に対し差の値を計算するために、原始画素が用いられる(ブロック212)。これらの計算は補間象限に応じて変化するが、それは以下の表に示されている。
Figure 0003739405
左上象限に関して、補間方向OLR、Ou1、OLRR、OULL、OUUR、OULLそしてVが図13に示されている。示されている垂直方向Vに関しては、いかなる差の値も計算されない。
計算によって、各斜め補間方向に関連する1セットの差の値が出される。当該基準画素の右側にある差の値のセットが考慮され、そして当該基準画素の左側にある差の値のセットもまた用いられる。各斜め補間方向に関して3セットの差の値が合計され、差の値の1「実用」セットが作られる。
この実用セットの差の値は、しきい値内の最小の差の値を決定するために、互いに比較される(ブロック214と216)。もしこの最小の差が低周波数の縁を示すほど十分に小さければ、これらは1セットの可能な補間方向を生じさせる。
この可能な補間方向は、「境界交差」状況が発生するかどうかを調べるために検査される(ブロック218と220)。図14はこうした状況を示している。この図では、画素U00とU-1-2とを結ぶ白い線を表す左左上方向が考慮されているが、しかし画素U0-1とU-1-1とを結ぶダークグレーの「境界」もある。左左上方向を選択することは境界を交差することになるので、この左左上方向は考慮することはできない。こうした状況は差B1とB2を検査することによって検出される。
次ぎに、これら可能な補間方向が検査され、そして1つの補間方向が選択される(ブロック222)。ブロック222は図23bに詳細に示されている。もし斜め補間方向が1つだけ可能ならば、その方向が選択される(ブロック230と232)。もし低周波数数の縁が検出されなければ、垂直補間方向がデフォールトとして選択される(ブロック238と240)。左方と右方の斜め補間方向が可能ならば、その時は垂直方向が再びデフォールトとして選ばれる(ブロック248と250)。
他に、右方または左方の斜め補間方向のいずれかのみが考慮される。もし「極度」方向(26.6°または63.4°の勾配)の1つのみと、45°の斜め方向とが可能であれば、その極度方向が選択される(ブロック252と254)。他の場合では、極度値の両方が可能でありそして「中間」方向(45°の勾配)が選択される(ブロック256)。
補間方向が一旦選択されれば、方向性補間に必要な画素を決定しなければならない(ブロック224)。次ぎに原始データが、中間画素を生成するために、直接補間される(ブロック226)。最後に、所望の標本抽出された目標画素wを生成するために、中間画素が水平に補間される(ブロック228)。
標本抽出された目標画素wの位置は、xおよびy方向の双方において基準画素PRからのその距離によって定義される。これらの距離は記号αxおよびαyによって表され、この場合、
Figure 0003739405
αxは右に向かってプラス、そしてαyは下方に向かってマイナス
この実施例では、4点「フィルタ」補間回路が用いられる。補間対象の標本抽出された目標画素wは、4つの原始画素S0,S1,S2およびS3と、そしてS1からの所望画素の距離を表すパラメータαとの関数として以下の数式で計算される。すなわち
w=f(S0,S1,S2,S3,α)
この関数は、パラメータαの指標があるロムから読み出された係数を有する4タップフィルタであってもよい。
図15は、垂直補間方向Vが選択される場合を示している。目標画素wは、αxとαyとが共にマイナスである「左上」象限に位置している。値vnによって表される中間水平線分は、以下のような垂直4点補間によって決定される。すなわち
0=f(U1-2,U0-2,U-1-2,U-2-2,-αy
1=f(U1-1,U0-1,U-1-1,U-2-1,-αy
2=f(U10,U00,U-10,U-20,-αy
3=f(U11,U01,U-11,U-21,-αy
4=f(U12,U02,U-12,U-22,-αy
5つの中間画素が計算された後に、所望の標本抽出された目標画素の値を計算するために、これらの画素に関して補間が実行される。目標画素wから中央の中間画素v2までの水平距離を表す距離βを先ず計算しなければならない。他の3象限のためのβの計算も図15に示されている。垂直方向の場合では、βは全ての象限において単純にαxに等しい。図15の場合では、標本抽出された目標画素wは左上象限にありそしてβはマイナスである。したがって、標本抽出された目標画素wは以下の数式で表される。すなわち
w=f(v3,v2,v1,v0,-β)
基準画素PRの周囲の他の象限でも、標本抽出された目標画素wは同様に計算することができる。
斜め右上方向OURが選択されているとき、中間画素がプラス勾配45°の斜線にそって補間される。図16は右上の場合を示している。目標画素wは、αxはプラス、そしてαyはマイナスで右上象限に位置している。指定斜線にそって4点補間を用いると、以下のようになる。すなわち
0=f(U1-3,U0-2,U-1-1,U-20,-αy
1=f(U1-2,U0-1,U-10,U-21,-αy
2=f(U1-1,U00,U-11,U-22,-αy
3=f(U10,U01,U-12,U-23,-αy
4=f(U11,U02,U-13,U-24,-αy
5つの中間画素が非直交で計算された後に、標本抽出された目標画素wを決定するために、水平補間がなされる。補間は45°の角度なので、基準画素PRから中間画素v2までの水平距離は、単純に垂直距離、すなわち−αyに等しい。したがって、βは単純にαx+αyである。この場合では、βはプラスなので、標本抽出された目標画素は以下の式で表される。すなわち
w=f(v1,v2,v3,v4,β)
他の象限でも、標本抽出された目標画素を決定するのに同様な方法を用いることができる。図16はまた各象限のためのβの計算も示している。その結果は下記の表Aに要約されている。
斜め左上方向OULの補間は右上方向のものと非常によく似ている。中間画素がマイナス勾配45°の斜線にそって補間される。図17では、標本抽出された目標画素wは、αxもαyも共にプラスで、右下象限に位置している。斜線にそって4点補間を用いると、以下のようになる。すなわち
0=f(U-1-3,U0-2,U1-1,U20,αy
1=f(U-1-2,U0-1,U10,U21,αy
2=f(U-1-1,U00,U11,U22,αy
3=f(U-10,U01,U12,U23,αy
4=f(U-11,U02,U13,U24,αy
標本抽出された目標画素は中間画素に関する非直交の水平補間を実施することによって計算される。これもまた、補間は45°の斜線にそっているので、中間画素への水平距離は垂直距離に等しい。右下象限では、β=αx−αyである。βはプラスで、標本抽出された目標画素は以下の式で表される。すなわち
w=f(v1,v2,v3,v4,β)
更にまた、βが象限ごとに変化する他の象限においても同様な方法が適用される。図17には他の象限のβの計算も示されており、その結果は表Aに記載されている。
斜め右右上(OURRまたは左左上(OULLの補間方向が選択されているとき、補間は勾配26.6°の斜線にそっている。4点補間のために用いられる原始画素/斜線は、図18において右右上と左左上の両方向のために示されている。
図19には、αxはマイナスでそしてαyはプラスの左下象限における標本抽出された目標画素wのための右右上OURRの補間に用いられる幾つかの画素が示されている。プラス勾配の26.6°の斜線にそって、以下の式で表される4点補間が用いられている。すなわち、
0=f(U-10,U0-2,U1-4,U2-6,αy
1=f(U-11,U0-1,U1-3,U2-5,αy
2=f(U-12,U00,U1-2,U2-4,αy
3=f(U-13,U01,U1-1,U2-3,αy
4=f(U-14,U02,U10,U2-2,αy
標本抽出された目標画素は水平補間により計算される。補間は26.6°勾配の斜線にそっているので、中間画素への水平距離は垂直距離の2倍である。左下象限では、β=2αy−(−αx)=αx+2αyである。βはプラスで、標本抽出された目標画素は以下の式で表される。
w=f(v1,v2,v3,v4,β)
他の象限でも同様である。図19には、表Aに要約されているように、他の象限のβの計算が示されている。
左左上方向OULLが補間のために選択されているとき、26.6°のマイナス勾配の斜線によって中間画素は補間される。用いられている原始画素の幾つかが、αxもαyも共にマイナスである左上象限については、図20に示されている。4点補間を利用すると、以下のような式になる
0=f(U10,U0-2,U-1-4,U-2-6,-αy
1=f(U11,U0-1,U-1-3,U-2-5,-αy
2=f(U12,U00,U-1-2,U-2-4,-αy
3=f(U13,U01,U-1-1,U-2-3,-αy
4=f(U14,U02,U-10,U-2-2,-αy
再び、補間は26.6°勾配の斜線にそって実施されるので、中間画素への水平距離は垂直距離の2倍に等しい。左上象限では、β=−2αy−(−αx)=αx−2αyである。βはプラスで、標本抽出された目標画素は以下の式、すなわち
w=f(v1,v2,v3,v4,β)
によって表されている。変化するβを有する他の象限にも同様な方法が適用される。図20は他の象限のためのβの計算を示している。その結果は表Aに要約されている。
斜め右上上(OUUR)または左上上(OUUL)の補間方向が選択されているとき、方向性補間は前述の場合におけるよりも多くの原始走査線を越えた補間を必要とする。あまりにも多くの原始走査線を必要としないように、右上上と左上上の方向に対する方向性補間として、一次補間が用いられる。
図21には、右上上OUURの補間方向のために必要な補間が図示されている。標本抽出された目標画素wはαxもαyも共にプラスの右下象限にある。補間はプラス勾配63.4°の斜線にそっている。これらの偏り斜線には2つのタイプがあり、それはつまり、それぞれ線U1-1-10およびU002-1によって表されるような「内側」と「外側」の斜線である。外側斜線のための一次標本抽出パラメータは、中間画素から原始画素までの垂直距離によって与えられる。補間は原始走査線を飛び越すので、一次標本抽出パラメータは半分、すなわちαy/2である。内側斜線においても同様に、パラメータは、(1−αy)/2である。一次補間を用いて、中間画素は以下のように計算される。すなわち
0=(1-0.5(1-αy))U1-1+0.5(1-αy)U-10
1=(1-0.5αy)U00+0.5αy2-1
2=(1-0.5(1-αy))U10+0.5(1-αy)U-11
3=(1-0.5αy)U01+0.5αy)U20
4=(1-0.5(1-αy))U11+0.5(1-αy)U-12
標本抽出された目標画素は、非直交水平補間により計算される。やはり4点補間が水平に用いられる。補間は63.4°の斜線にそっているので、中間画素への水平距離は垂直距離の半分である。更に、中間画素どうし間の間隔は前述の補間方向のための間隔の半分であるので、βは中央の中間画素から標本抽出までの距離の2倍である。右下象限では、0.5=αx−0.5β+0.5αyであるので、β=−1+2αx+αyである。βはマイナスで、標本抽出された目標画素は以下の式によって表される。すなわち
w=f(v3,v2,v1,v0,-β)
他の象限に対しても同様に、図21は表Aに要約されているような他の象限のためのβの計算を示している。
図22に示されている斜め左上上OUUL補間方向においては、標本抽出された目標画素wはαxはプラス、αyはマイナスの右上象限にある。補間はマイナス勾配の63.4°斜線にそっている。内側斜線のための一次標本抽出パラメータは(1+αy)/2であり、そし外側斜線のためのパラメータは−αy/2である。ここでもまた、一次補間を用いて、中間画素は以下のように計算される。すなわち
0=(1-0.5(1+αy))U-1-1+0.5(1+αy)U10
1=(1-0.5(-αy))U00+0.5(-αy)U-2-1
2=(1-0.5(1+αy))U-10+0.5(1+αy)U11
3=(1-0.5(-αy))U01+0.5(-αy)U-20
4=(1-0.5(1+αy))U-11+0.5(1+αy)U12
4点補間が中間画素に実行されている。また再び、中間画素への水平距離は垂直距離の半分であり、そしてβは中央の中間画素から目標画素までの距離の2倍である。標本抽出された目標画素wが右上象限にある場合では、β=2〔αx+(−0.5αy)−1〕=−1+2αx−αyである。βはプラスなので、標本抽出された目標画素は以下の式によって表される。すなわち
w=f(v1,v2,v3,v4,β)
他の象限に対しても同様な方法が適用される。図22は表Aに要約されているような他の象限のためのβの計算を示している。
図24は上述の方法を実行するための基本原始データの補間装置300を示している。図示されているように、装置300は第1の実施例に用いられていた装置と同じである。現在説明されている第2の実施例にも同じブロック線図が適用される。原始データDinは遅延回路302を介して送られ、この回路は補間に必要な原始画素を抽出する。これらの原始画素は、補間方向を選択するために決定回路304によって利用される。選択された補間方向は、βの値を決定するためにβ計算機に送られる。原始画素、補間方向そしてβは全て、標本抽出された目標画素wを生成するように方向性補間を行うために斜め標本抽出器306に送られる。
図25は、より詳細に当該実施例の遅延回路302を図示している。この回路には、継続原始走査線と48個の遅延素子320〜342、346〜368、372〜394、398〜420とにアクセスを許す3個のラインストア344、370および396が含まれており、一方これらの遅延素子は4本の原始走査線の各々において13個の隣接する原始画素にアクセスを許す。遅延回路は補間のために必要な13×4個の原始マトリックスから抽出する。上部象限における補間の時は、抽出される画素は標識を付された原始画素に対応する。
決定回路304はより詳細に図26に図示されている。入力原始画素は、6個の減算器446、452、458、464、470および476に供給される。各減算器は6つの可能な斜め方向の1つに対応する差の値を計算する。各差の値のための2つずつの遅延素子448、450、454、456、460、462、466、472、478および480は各方向のための3つの連続している差の値にアクセスを許す。これらの差の値は選択手段482に送られ、この手段は可能な斜め補間4方向の1つか、または垂直補間方向のいずれかを選択する。標識を付けられた原始画素は左上象限内の補間に対応する。
図27に示されているβ計算機には、3個の入力加算器508が含まれる。この加算器の入力は3台のマルチプレクサ502、504および506の出力である。マルチプレクサ502の出力は、選択された補間方向と標本抽出された目標画素の象限とを取るデコーダ500の出力に応じて0.1または−1である。マルチプレクサ504は、選択された補間方向に応じてαxまたは2αxを出力する。最後にマルチプレクサ506がこれもまた、補間方向に応じてαy、−αy、2αyまたは−2αyのいずれかを出力する。加算器508の出力はβである。
斜め標本抽出器306は図28に最も良く図示されている。それは3つの主要部品、すなわち入力デコーダ532、方向性補間回路306aおよび水平補間回路306bから成る。標本抽出された目標画素が位置している象限と補間方向にしたがって、入力原始画素は入力デコーダ532で解読される。要求されている原始画素は方向性補間回路306aに送られ、この回路は4つの中間画素を生成するために4点補間を実行する。この4点補間は、4個の4タップフィルタ534、536、538および540によって実施され、その係数はアドレス|αy|を付されているロム530から供給される。4つの中間画素は、標本抽出された目標画素wを計算するために4点水平補間回路306bに送られる。水平補間回路306bは、βのアドレスを付されているロム542と4タップフィルタ544とから成る。
下記表Aは、7つの補間方向の各々の対して中間画素を生成するために実施される方向性補間の概要を示している。この表にはまた、様々な方向と象限とに対するβを計算するための式も含まれている。
Figure 0003739405
Figure 0003739405
Figure 0003739405
Figure 0003739405
Figure 0003739405
Figure 0003739405
Figure 0003739405
上述のように、中間画素が一旦生成されると、所望の標本抽出された目標画素wを生成するために、4点水平補間がなされる。
Figure 0003739405
本方法と装置によって、標本抽出された目標画素wを生成することが可能になり、その結果、原始データの画像が拡大され再生されるとき、拡大画像の解像度が高まりそしてステアステッピングが最小限に抑えられる。
当該技術に熟達している専門家には明らかなように、本発明には、添付の請求の範囲によって定義されているその範囲から逸脱することなしに、様々な修正が可能である。例えば、当文書には本発明の2つの実施例が記載されているが、他の実施例も可能であること、そして各セットにおける斜め方向の数も任意に選択できることは明らかであろう。

Claims (13)

  1. 標本抽出された目標画素を入力原始データから生成する方法であって
    なくとも異なる2方向で、生成されるべき標本抽出された目標画素を囲む区域内における前記原始データの異なる線の画素を比較する段階と、
    前記比較に基づいて補間方向を選択する段階と、
    前記選択された補間方向で、前記原始データの異なる線の選択された画素間で補間し、前記生成されるべき標本抽出された目標画素の両側にあってかつ前記生成されるべき標本抽出された目標画素を通る線分上にある中間画素を計算する段階と、
    前記中間画素間で補間して前記標本抽出された目標画素を生成する段階と
    を有する方法。
  2. 前記線分が前記原始データの線に平行である請求項1に記載の方法。
  3. 前記比較する階において、前記原始データの異なる線の画素は、少なくとも異なる3方向において比較される請求項1または記載の方法。
  4. 前記比較する階において、前記原始データの異なる線の画素は、少なくとも7方向で比較される請求項1乃至のいずれか1記載の方法。
  5. 前記比較する階において、前記原始データの画素は異なる7方向のみにおいて比較され、前記異なる7方向には垂直方向と、記垂直方向に対してある角度をなす2組の対向する斜め方向とが含まれ、前記角度は0°<角度<90°の範囲内にあって、対向する斜め方向の各は3つの斜め方向を含み、各斜め方向は前記垂直方向に対してそれぞれ異なる角度をなし斜め方向の各セットにおいて比較される前記原始データの画素は、前記生成されるべき標本抽出された目標画素の向かい合った両側に位置する請求項3または4に記載の方法。
  6. 前記比較する階において、前記原始データの異なる線の画素は異なる3方向だけで比較され、前記異なる3方向には垂直方向と、前記垂直方向に対してある角度をなす両側の斜め方向とが含まれ、前記角度は0°<角度<90°の範囲にあって、前記斜め方向の各々において比較される前記原始データの画素は、前記生成されるべき標本抽出された目標画素の向かい合った両側に位置する請求記載の方法。
  7. 本抽出された目標画素を入力原始データから生成する装置であって、
    少なくとも異なる2方向で、生成されるべき標本抽出された目標画素を囲む区域内における前記原始データの異なる線の画素を比較する比較と、
    前記比較に応答して補間方向を選択する選と、
    記選択によって選択された補間方向で、前記原始データの異なる線の選択された画素間で補間して、前記生成されるべき標本抽出された目標画素の両側にあってかつ前記生成されるべき標本抽出された画素を通る線分上にある中間画素を計算し、前記目標画素を生成するために前記中間画素間補間する標本抽出器と、
    を有する装置。
  8. 前記線分は前記原始データの線に平行である請求項7に記載の装置。
  9. 前記比較が少なくとも3つの異なる方向で前記原始データの異なる線の画素を比較する請求項7または8に記載の装置。
  10. 前記比較器は、垂直方向と、そして前記垂直方向に対してある角度をなす両側の斜め方向とで、前記原始データの異なる線の画素を比較し、前記各角度は0°<角度<90°の範囲内にある、請求項9に記載の装置。
  11. 前記比較は少なくとも7つの異なる方向で前記原始データの異なる線の画素どうしを比較する請求項7乃至9のいずれか1記載の装置。
  12. 原始データの線の間の補間画素の線を生成する補間装置であって、
    前記原始データの線の低周波数エッジに対応する補間方向を選択する選択器と、
    前記選択器に応答して、前記原始データの線の画素間の方向性補間を実行して生成されるべき各補間画素に対する中間画素を計算する補間器と、
    を有し、生成されるべき補間画素ごとに計算される中間画素は、前記生成されるべき補間画素の両側にあって前記生成されるべき補間画素を通る線分上に位置し、前記補間器は、生成されるべき各補間画素ごとに計算された中間画素間で補間を行い、これによって前記補間画素の線を生成する、補間装置。
  13. 原始データの線の間で補間して前記原始データの線の間の補完画素の線を生成する方法であって、
    原始データの前記線の低周波数エッジに対応する補間方向を選択する段階と、
    前記選択に基づいて前記原始データの線の画素間の方向性補間を実行して、生成されるべき各補間画素に対する中間画素を計算する段階と、
    生成されるべき各補間画素ごとに計算された中間画素間で補間を行い、これによって前記補間画素の線を生成する段階と、
    を有し、生成されるべき補間画素ごとに計算される中間画素は、前記補間画素の両側にあって前記補間画素を通る線分上に位置する、方法。
JP51769997A 1995-11-08 1996-10-22 ビデオ原始データ補間のための方法と装置 Expired - Lifetime JP3739405B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/555,289 US5991463A (en) 1995-11-08 1995-11-08 Source data interpolation method and apparatus
US08/555,289 1995-11-08
PCT/CA1996/000703 WO1997017801A1 (en) 1995-11-08 1996-10-22 Method and apparatus for video source data interpolation

Publications (2)

Publication Number Publication Date
JPH11514810A JPH11514810A (ja) 1999-12-14
JP3739405B2 true JP3739405B2 (ja) 2006-01-25

Family

ID=24216707

Family Applications (1)

Application Number Title Priority Date Filing Date
JP51769997A Expired - Lifetime JP3739405B2 (ja) 1995-11-08 1996-10-22 ビデオ原始データ補間のための方法と装置

Country Status (6)

Country Link
US (2) US5991463A (ja)
EP (1) EP0860078A1 (ja)
JP (1) JP3739405B2 (ja)
KR (1) KR19990067417A (ja)
AU (1) AU7272496A (ja)
WO (1) WO1997017801A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009028230A1 (ja) * 2007-08-30 2009-03-05 Mitsubishi Electric Corporation 拡大画像生成装置
JP2010039672A (ja) * 2008-08-04 2010-02-18 Mitsubishi Electric Corp 拡大画像生成装置

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6133957A (en) * 1997-10-14 2000-10-17 Faroudja Laboratories, Inc. Adaptive diagonal interpolation for image resolution enhancement
JP4280319B2 (ja) * 1998-03-11 2009-06-17 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体
US6208769B1 (en) * 1998-05-28 2001-03-27 Acuity Imaging, Llc Method of accurately locating the fractional position of a template match point
EP0992942B1 (en) * 1998-10-05 2003-09-03 Agfa-Gevaert Method for smoothing staircase effect in enlarged low resolution images
JP3298545B2 (ja) * 1999-03-29 2002-07-02 ミノルタ株式会社 デジタルカメラ及び画像処理方法並びに記憶媒体
JP2000308021A (ja) * 1999-04-20 2000-11-02 Niigata Seimitsu Kk 画像処理回路
JP3614324B2 (ja) * 1999-08-31 2005-01-26 シャープ株式会社 画像の補間システムおよび画像の補間方法
US6453330B1 (en) * 1999-11-24 2002-09-17 Ati International Srl High-precision bilinear interpolation
ES2219392T3 (es) * 2000-01-28 2004-12-01 Fujitsu General Limited Circulo de conversion de la exploracion.
JP2002024815A (ja) * 2000-06-13 2002-01-25 Internatl Business Mach Corp <Ibm> 拡大画像データに変換するための画像変換方法、画像処理装置、および画像表示装置
US6868186B1 (en) * 2000-07-13 2005-03-15 Ceva D.S.P. Ltd. Visual lossless image compression
CA2316610A1 (en) * 2000-08-21 2002-02-21 Finn Uredenhagen System and method for interpolating a target image from a source image
JP4150947B2 (ja) * 2000-08-23 2008-09-17 ソニー株式会社 画像処理装置および方法、並びに記録媒体
US6983298B2 (en) * 2001-03-28 2006-01-03 Texas Instruments Incorporated Method and apparatus for linear interpolation using gradient tables
US7171059B1 (en) * 2002-05-23 2007-01-30 Pixelworks, Inc. Method and apparatus for two-dimensional image scaling
US7324709B1 (en) * 2001-07-13 2008-01-29 Pixelworks, Inc. Method and apparatus for two-dimensional image scaling
US6950469B2 (en) * 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
AU2007237319B2 (en) * 2001-09-17 2011-01-20 Nokia Technologies Oy Method for sub-pixel value interpolation
US6765622B2 (en) * 2001-10-26 2004-07-20 Koninklijke Philips Electronics N.V. Line-buffer reuse in vertical pixel-processing arrangement
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
KR100472764B1 (ko) * 2002-04-08 2005-03-08 안상현 플래시메모리를 이용한 다국어 오디오 캡션플레이어
US7110459B2 (en) * 2002-04-10 2006-09-19 Microsoft Corporation Approximate bicubic filter
US7305034B2 (en) * 2002-04-10 2007-12-04 Microsoft Corporation Rounding control for multi-stage interpolation
US7116831B2 (en) * 2002-04-10 2006-10-03 Microsoft Corporation Chrominance motion vector rounding
US7620109B2 (en) * 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
US7224731B2 (en) 2002-06-28 2007-05-29 Microsoft Corporation Motion estimation/compensation for screen capture video
KR100506086B1 (ko) 2002-12-26 2005-08-03 삼성전자주식회사 영상의 재현 품질 향상 장치 및 그 방법
KR100468786B1 (ko) * 2003-04-02 2005-01-29 삼성전자주식회사 방향성을 예측하고 다항식 필터로 보간을 수행하여스케일링 해상도를 높이는 보간기, 이를 구비한 스케일링장치, 및 그 방법
KR100601638B1 (ko) * 2003-06-18 2006-07-14 삼성전자주식회사 디-인터레이싱 방법, 그 장치, 그 비디오 디코더 및 그재생 장치
US7672528B2 (en) * 2003-06-26 2010-03-02 Eastman Kodak Company Method of processing an image to form an image pyramid
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US7609763B2 (en) * 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
US7499495B2 (en) * 2003-07-18 2009-03-03 Microsoft Corporation Extended range motion vectors
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7426308B2 (en) * 2003-07-18 2008-09-16 Microsoft Corporation Intraframe and interframe interlace coding and decoding
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7317839B2 (en) * 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
JP3960965B2 (ja) * 2003-12-08 2007-08-15 オリンパス株式会社 画像補間装置及び画像補間方法
US7362376B2 (en) 2003-12-23 2008-04-22 Lsi Logic Corporation Method and apparatus for video deinterlacing and format conversion
US7397973B2 (en) * 2004-02-27 2008-07-08 Mediatek Inc. Method for controlling interpolation direction and related device
KR101000926B1 (ko) * 2004-03-11 2010-12-13 삼성전자주식회사 영상의 불연속성을 제거하기 위한 필터 및 필터링 방법
US7545391B2 (en) * 2004-07-30 2009-06-09 Algolith Inc. Content adaptive resizer
US7379626B2 (en) * 2004-08-20 2008-05-27 Silicon Optix Inc. Edge adaptive image expansion and enhancement system and method
GB0500805D0 (en) * 2005-01-14 2005-02-23 Snell & Wilcox Ltd Image processing
US7321400B1 (en) 2005-02-22 2008-01-22 Kolorific, Inc. Method and apparatus for adaptive image data interpolation
US7613363B2 (en) * 2005-06-23 2009-11-03 Microsoft Corp. Image superresolution through edge extraction and contrast enhancement
KR20070010910A (ko) * 2005-07-20 2007-01-24 삼성전자주식회사 영상신호의 크기에 기초한 적응적 영상 스케일러 및 영상스케일링 방법
TWI304187B (en) * 2006-01-03 2008-12-11 Realtek Semiconductor Corp Method and apparatus for image edge detection
KR100772390B1 (ko) * 2006-01-23 2007-11-01 삼성전자주식회사 방향 보간 방법 및 그 장치와, 그 보간 방법이 적용된부호화 및 복호화 방법과 그 장치 및 복호화 장치
TWI314300B (en) * 2006-03-16 2009-09-01 Realtek Semiconductor Corp Method and related apparatus for scaling image
TW200811758A (en) * 2006-08-24 2008-03-01 Realtek Semiconductor Corp Method for edge detection, method for motion detection, method for pixel interpolation utilizing up-sampling, and apparatuses thereof
TWI372365B (en) * 2006-09-06 2012-09-11 Realtek Semiconductor Corp Method and apparatus for directional edge enhancement
JP4861114B2 (ja) * 2006-09-27 2012-01-25 株式会社東芝 映像信号処理装置
CN100551073C (zh) * 2006-12-05 2009-10-14 华为技术有限公司 编解码方法及装置、分像素插值处理方法及装置
EP1931136B1 (en) * 2006-12-08 2016-04-20 Panasonic Intellectual Property Corporation of America Block-based line combination algorithm for de-interlacing
US8396330B2 (en) 2007-07-24 2013-03-12 Sharp Laboratories Of America, Inc. Image upscaling based upon directional interpolation
US8538203B2 (en) 2007-07-24 2013-09-17 Sharp Laboratories Of America, Inc. Image upscaling technique
US8655108B2 (en) 2007-09-19 2014-02-18 Sharp Laboratories Of America, Inc. Adaptive image up-scaling technique
US20100296587A1 (en) * 2007-10-05 2010-11-25 Nokia Corporation Video coding with pixel-aligned directional adaptive interpolation filters
US8416861B2 (en) 2007-10-14 2013-04-09 Nokia Corporation Fixed-point implementation of an adaptive image filter with high coding efficiency
US8213512B2 (en) * 2008-05-28 2012-07-03 Cyberlink Corp. Determining an intermediate image
KR101527409B1 (ko) * 2008-09-22 2015-06-09 삼성전자주식회사 영역 구분을 이용한 영상 보간 장치 및 그 방법
US8165415B2 (en) * 2009-04-24 2012-04-24 Silicon Integrated Systems Corp. Image processing system having scaling and sharpness device and method thereof
JP5471474B2 (ja) * 2010-01-14 2014-04-16 富士通セミコンダクター株式会社 画像処理装置および画像処理方法
US8712191B2 (en) * 2010-05-11 2014-04-29 Zoran (France) S.A. Method for detecting directions of regularity in a two-dimensional image
US8891906B2 (en) * 2012-07-05 2014-11-18 Intel Corporation Pixel-adaptive interpolation algorithm for image upscaling
CN103236036B (zh) * 2013-04-01 2016-09-14 北京开明智达科技有限责任公司深圳分公司 一种基于方向的色平面插值方法
US9942560B2 (en) 2014-01-08 2018-04-10 Microsoft Technology Licensing, Llc Encoding screen capture data
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US9774881B2 (en) 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
JP6654798B2 (ja) 2014-11-10 2020-02-26 三星ディスプレイ株式會社Samsung Display Co.,Ltd. 画像処理装置、画像処理方法、およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB550231A (en) * 1941-06-26 1942-12-30 Frederick Heather Sound absorbing devices
BE460296A (ja) * 1942-12-15
JPH02177683A (ja) * 1988-09-29 1990-07-10 Toshiba Corp 画素信号の相関判定および補間データ作成装置
US5347599A (en) * 1991-06-14 1994-09-13 Matsushita Electric Industrial Co., Ltd. Adaptive interpolation method and apparatus using correlation detection
US5497203A (en) * 1991-10-30 1996-03-05 Mitsubishi Denki Kabushiki Kaisha Motion detection circuit for high definition television based on muse
FI89995C (fi) * 1991-12-31 1993-12-10 Salon Televisiotehdas Oy Foerfarande foer randadaptiv interpolation av en tv-bilds linje samt en interpolator
EP0561286B1 (en) * 1992-03-20 1997-06-18 THOMSON multimedia Method and apparatus for direction related interpolation
US5303706A (en) * 1992-05-21 1994-04-19 North American Philips Corporation Directional interpolation for magnetic resonance angiography
US5274372A (en) * 1992-10-23 1993-12-28 Tektronix, Inc. Sampling rate conversion using polyphase filters with interpolation
US5469222A (en) * 1992-12-23 1995-11-21 Intel Corporation Non-linear pixel interpolator function for video and graphic processing
DE4407101A1 (de) * 1994-03-03 1995-09-14 Siemens Ag Verfahren zur Formatkonversion von in einem ersten Bildpunktraster vorliegenden Bildsequenzen in ein zweites Bildpunktraster

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009028230A1 (ja) * 2007-08-30 2009-03-05 Mitsubishi Electric Corporation 拡大画像生成装置
JP2010039672A (ja) * 2008-08-04 2010-02-18 Mitsubishi Electric Corp 拡大画像生成装置

Also Published As

Publication number Publication date
US6219464B1 (en) 2001-04-17
WO1997017801A1 (en) 1997-05-15
EP0860078A1 (en) 1998-08-26
AU7272496A (en) 1997-05-29
KR19990067417A (ko) 1999-08-16
US5991463A (en) 1999-11-23
JPH11514810A (ja) 1999-12-14

Similar Documents

Publication Publication Date Title
JP3739405B2 (ja) ビデオ原始データ補間のための方法と装置
JP2990737B2 (ja) ビデオ信号補間方法
JP4116649B2 (ja) 高解像度化装置および方法
US6285804B1 (en) Resolution improvement from multiple images of a scene containing motion at fractional pixel values
US6421090B1 (en) Motion and edge adaptive deinterlacing
JP2011504682A (ja) 画像シーケンスのサイズ変更
JP2008136227A (ja) ビデオデータ処理方法
WO2000046740A1 (en) Non-linear and linear method of scale-up or scale-down image resolution conversion
JP2004153668A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
KR950006776B1 (ko) 디지탈 영상 데이타의 보간방법 및 회로
US5191416A (en) Video signal processing system
CN102595088A (zh) 内插
US6539128B1 (en) Method and apparatus for interpolation
KR890001381A (ko) 동작 벡터처리 방법 및 장치와 텔레비젼 방식 변환기 및 완속동작 처리기
US7324709B1 (en) Method and apparatus for two-dimensional image scaling
US6928397B1 (en) Method and device of image transform
JPH06326976A (ja) 動き補償ビデオ信号処理方式
US20040257475A1 (en) Methods, interpolator circuits, and computer program products for generating interpolated display data using remote pixel data
US7171059B1 (en) Method and apparatus for two-dimensional image scaling
JPH05207271A (ja) 画像拡大装置
KR20020057526A (ko) 영상 보간 방법 및 장치
EP0650293A2 (en) Conversion method of the frame frequency of a video signal from 50 Hz to 75 Hz with movement compensation and apparatus for implementing such method
JPH06326980A (ja) 動き補償映像信号処理方式
JPH01290373A (ja) 画像信号処理装置
KR20020057527A (ko) 영상 보간 방법 및 장치

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051102

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091111

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101111

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101111

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101111

Year of fee payment: 5

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101111

Year of fee payment: 5

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101111

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111111

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111111

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111111

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111111

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111111

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121111

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121111

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121111

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131111

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term