JP4212657B2 - 画像解像度強化のための適応形斜方向内挿 - Google Patents
画像解像度強化のための適応形斜方向内挿 Download PDFInfo
- Publication number
- JP4212657B2 JP4212657B2 JP52240699A JP52240699A JP4212657B2 JP 4212657 B2 JP4212657 B2 JP 4212657B2 JP 52240699 A JP52240699 A JP 52240699A JP 52240699 A JP52240699 A JP 52240699A JP 4212657 B2 JP4212657 B2 JP 4212657B2
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- measure
- measurement
- control signal
- reference vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000003044 adaptive effect Effects 0.000 title description 2
- 238000005259 measurement Methods 0.000 claims description 171
- 230000006870 function Effects 0.000 claims description 82
- 238000000034 method Methods 0.000 claims description 49
- 238000006073 displacement reaction Methods 0.000 claims description 48
- 238000004458 analytical method Methods 0.000 claims description 29
- 239000006185 dispersion Substances 0.000 claims description 22
- 230000001154 acute effect Effects 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 8
- 230000007423 decrease Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 7
- 230000000750 progressive effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000013642 negative control Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
Description
本発明は、内挿を利用して画像内に付加的なピクセルを生成することによって画像の解像度を増すための方法および装置に関する。特定的には本発明は、テレビ映像または他の映像等の画像のために、内挿が垂直方向あるいは斜方向のどちらでなされるべきかを決定する適応形の技術を使用することによって、画像内に付加的なピクセルを生成することに関する。
背景技術
テレビ映像の解像度を増すことのできる方法の1つに、インタレース方式の画像を順次走査方式の画像に変換する方法がある。欧州特許出願EP−A0 192 292号に開示された技術にしたがえば、この変換は、インタレース方式の画像信号の連続する第1および第2のフィールド内の3つの連続する映像線内のピクセルを調査し、第2のフィールド内の2つの異なる線の各々からピクセルを1つずつ、互いに最も似ている1対のピクセル(P,Q)を選択し、これら2つのピクセルと、第1のフィールド内の第3の線からとられた第3のピクセル(D)とを評価してメディアンY’を求め、このメディアンを使用して第2のフィールド内に新しいピクセルYを生成することによって達成される。この技術は、画像の種類によっては合理的にうまく働くが、フレームからフレームヘと移動する傾斜した輪郭に現れるぎざぎざ模様等の、アーティファクトを生成してしまう。
この問題を解決するための1つの試みが、US5,001,563号に開示されている。そこに開示された技術にしたがえば、メディアンY’がピクセルDと比較され、もしこれら2つの値の差が任意のしきい値よりも大きければ、それら2つのピクセル(P,Q)の平均から新しいピクセルYが形成される。この技術の1変形においては、新しいピクセルYは、この平均とピクセル(D)との重み付合計から形成される。また別の変形においては、互いに最も似ている1対のピクセルのその相似関係が互いに最も異なる別の1対のピクセルの相似関係よりもわずかに優れているにとどまる場合には、ピクセルYのための場所に対して垂直に配向されているピクセル対がピクセル(P,Q)として選ばれる。残念ながら、この技術は、2つ以上のピクセル対が互いに非常に似ている場合に、映像内に好ましくないアーティファクトを生成してしまう。
インタレース方式から順次走査方式への別の画像変換技術が、US5,532,751号に開示されている。この技術にしたがえば、1画像内のピクセル間の変分が評価されて、エッジまたは輪郭が検出される。ピクセル間の変分がしきい値を下回る場合、エッジの配向がうまく推定されたものと考えられて、新しいピクセルがその推定された配向に沿って位置するピクセルの平均から形成される。エッジの配向の推定がうまくいかなかったと考えられる場合には、新しいピクセルは、2つの垂直に整列されたピクセルの平均から形成される。この技術もまた、2つ以上のピクセル対が互いによく似ている映像内では、好ましくないアーティファクトを生成してしまう。
発明の開示
本発明の目的は、上述のインタレース方式および順次走査方式の画像を含む画像の品質を、解像度を強化して向上させることである。
1実施例においては、本発明の教示にしたがって、複数行に配列されたピクセルを含む画像内のある場所に、付加的なピクセルが生成される。このピクセルの生成方法は、上記場所を基準とするそれぞれの方向とそれらの方向にあるピクセルの集合対の間の分散の尺度とを表わす複数の測定信号を生成するステップと、それら測定信号によって表わされたそれぞれの方向を評価して内挿のための2つの最良の方向を識別しかつそれらから内挿のための1つの最良の候補の方向を選択するステップと、それら2つの最良な方向を評価するステップと、それに基づいて、上記場所を中心とするその単一の最良候補の方向に沿った内挿に関するあいまいさの尺度を示す第1の制御信号を生成するステップと、その単一の最良候補の方向と上記行に実質的に直交する別の方向との重み付組合せを表わす方向制御信号を生成するステップとを含み、ここで重み付組合せは第1の制御信号にしたがって形成され、さらに、その方向制御信号によって表わされる方向に沿って画像内にピクセルを内挿することによって付加的なピクセルを生成するステップと、を含む。
別の実施例においては、その単一の最良候補の方向における信頼性の尺度を示す、第2の制御信号が生成されて、第1の制御信号および第2の制御信号にしたがって重み付組合せが形成される。
本発明の種々の特徴および好ましい実施例は、以下の説明および添付の図面を参照することによって、より良く理解されるであろう。図中、複数の図において同じ要素には同じ参照番号が付される。以下の説明および図面の内容は、例示のためのみのものであって、本発明の範囲に対する限定を表わすものと理解されてはならない。
【図面の簡単な説明】
図1は、複数行に配列されたピクセルを含む画像の1部分を示す、仮想的な概略図である。
図2は、本発明にしたがって実施され得る方法の主要ステップを示すフローチャートである。
図3は、本発明にしたがった装置の1実施例の主要構成要素を示す機能ブロック図である。
図4は、測定信号を分析しかつ内挿の方向を導出するための、本発明にしたがった装置内の主要構成要素を示す概略図である。
図5は、メモリ内に記憶されるピクセルの表現に適用される測定関数を示す、仮想的な概略図である。
図6aから図6cは、変位の関数として作図された、仮想的な測定関数を示すグラフ図である。
発明を実行するためのモード
A.方法の概要
図1は、行に配列されたピクセルを含む画像の1部分を示す。ピクセル103、105および107から109は画像の1行内に配され、ピクセル201から203、205および207は画像の別の行内に配される。図示した例においては、画像の解像度は、これら2行のピクセルの間に付加的なピクセルを生成することによって強化される。図および以下の説明においては、付加的なピクセル305の生成について説明する。
図2は、図1に示した画像のために付加的なピクセルを生成するための方法の、主要ステップを示すフローチャートである。この方法において、測定S20は、1または複数のピクセルを有する集合間の、各集合対における分散の尺度を表わす、測定信号を生成する。典型的に、この測定値は、ピクセルの明るさまたはグレースケール値における差を表わす。カラー画像については、この測定は、いわゆるRGB画像における赤、緑および青(RGB)等の複合カラーのレベルにおける差を表わす。ここに開示される技術は、明るさまたは輝度の表現に、および複合カラーレベルの表現に、適用することが可能である。
図1を参照して、集合111および集合211は、集合の1対を形成する。ここで、集合111は単一のピクセル103を含み、集合211は単一のピクセル207を含む。集合112および集合212は、別の集合対を形成する。ここで、集合112はピクセル107から109を含み、集合212はピクセル201から203を含む。集合は、画像の複数行にわたるピクセルを含んでもよい。本発明の実施例は、各集合が同じ数のピクセルを含む集合対について測定信号を生成するものであるが、このような限定は本発明を実施する際の必須要件ではない。
ピクセルの各集合は、基準点を有する。1対の集合のための2つの基準点は、生成されるべき付加的なピクセル305の場所の両側に位置し、それらは、付加的なピクセル305の場所を通過するかまたはその場所を実質的に通過する線を規定する。この開示を通じて、示された条件に「実質的に」準ずるさまざまな点、場所、線等が参照される。なんらかの分散が認められるが、それはたとえば、画像が直交する関係にない行および列に配されたピクセルを含む場合もあり、画像を通じて隣接するピクセル間の距離にばらつきが有り得るためである。
図1に示す例において、集合111はピクセル103の中央に基準点を有し、集合211はピクセル207の中央に基準点を有する。これら2つの基準点は、基準ベクトル300と鋭角をなす線311を規定する。基準ベクトル300は、付加的なピクセル305のための場所を起点として、ピクセルの行に実質的に直角に交わる。線311と基準ベクトル300との間の鋭角は、基準ベクトル300とベース線310とによって規定される第1の四分円の中にある。ベース線310は基準ベクトル300に直角であって、付加的なピクセル305のための場所を通過する。この例において、第1の四分円は、ベース線310の上側でありかつ基準ベクトル300の左側である。
集合212はピクセル202の中央に基準点を有し、集合112はピクセル108の中央に基準点を有する。これら2つの基準点は、第2の四分円の中で基準ベクトル300と鋭角を形成する、線312を規定する。第2の四分円は、基準ベクトル300とベース線310とによって規定され、基準ベクトル300の第1の四分円とは反対側に位置する。この例において、第2の四分円は、ベース線310の上側でありかつ基準ベクトル300の右側である。
ステップS20は、集合対のための測定信号を、その集合対内のピクセルに関数fを適用してそれら2つの集合間のピクセルの分散量を評価することによって生成する。各測定信号は、分散の尺度と、その分散が測定された方向の表示を伝達する。1実施例においては、この関数fは、各集合対における2つの集合内のそれぞれのピクセル間の絶対差の合計をとる。たとえば、線311に沿ったピクセル間の分散の測定値は、集合111および211内のピクセルから、下の式(1)を計算することによって得られる:
V311=f(p103,p207)=|p103-p207| (1)
式中、 V311は線311に沿った分散の測定値、
p103はピクセル103の明るさおよび/またはカラーレベル、
p207はピクセル207の明るさおよび/またはカラーレベル、である。
線312に沿った分散の測定値は、集合212および112内のピクセルから、下の式(2a)を計算することによって得られる:
V312=f(s112,s212)=|p107-p201|+|p108-p202|+|p109-p203| (2a)
式中、 s112はピクセル集合112={p107,p108,p109}、
s212はピクセル集合212={p201,p202,p203}、である。
この例では、それぞれの集合内で同じ相対位置を有するピクセル間の差がとられる。代替的に、それぞれの集合内の逆のまたは鏡対称の位置を有するピクセル間で差をとることも可能である。たとえば、分散の尺度は、下の式(2b)から得ることが可能である:
V312=f(s112,s212)=|p107-p203|+|p108-p202|+|p109-p201| (2b)
ピクセルの集合間の分散の測定値は、正規化されたピクセル値の積を計算することによっても得ることが可能である。たとえば
V312=f(s112,s212)=(P107*P201)+(P108*P202)+(P109*P203) (2c)
式中、Pmはピクセルmの正規化された明るさおよび/またはカラーレベルを示す。
ピクセルは、任意の好適な方法で正規化され得る。ピクセル値を正規化する方法の1つは、各ピクセルの値から1対の集合内のすべてのピクセルの平均値を減じる方法である。これはたとえば、P107=p107-(p107+p108+p109+p201+p202+p203)/6、となる。これらの値はまた、1対の集合内の値のダイナミックレンジにしたがってスケーリングすることも可能である。この測定関数によって計算される値は、分散の度合いに比例して変化する。小さい値は分散の度合いが低いことを意味し、大きい値は分散の度合いが高いことを意味する。
他にも多くの測定関数が可能であり、本発明の実施には、どの測定関数fを使用するかは重要ではない。
再び図2を参照して、分析ステップS30は、ステップS20で生成された測定信号を分析して、付加的なピクセル305のための場所を中心として低い分散を示す2つの方向を選択し、これら2つの方向から内挿のために最良な1つの方向を選択し、そして、その選択された単一の最良の方向についてあいまいさの尺度を導出する。たとえば、低い分散を示す2つの方向が、異なる四分円内で基準ベクトル300と等しい鋭角を形成してそれら2つの方向に沿って等しいレベルの低い分散を示す場合には、高い度合いのあいまいさが存在する。あいまいさを調べるいくつかのテストについては以下により詳細に説明する。いくつかの実施例において、ステップS30は、選択された測定信号を評価して、選択された単一の最良の方向における信頼の尺度を導出することも可能である。いくつかの信頼度のテストもまた、以下に説明する。
方向指示ステップS40は、選択された単一の最良の方向、ならびに、その選択された方向におけるあいまいさの尺度および信頼の尺度に基づいて、内挿方向を導出する。あいまいさの尺度が高いかまたは信頼の尺度が低いほどに、内挿の方向は基準ベクトル300と同一線上の方向に向かう傾向がある。1実施例において、内挿の方向は、選択された方向と基準ベクトル300に沿った方向との重み付きの組合せから形成される。なお、組合せにおける重みは、あいまいさおよび信頼の尺度にしたがって変化する。
内挿ステップS50は、導出された内挿方向に沿ってまたはその付近に位置するピクセルを内挿することによって、付加的なピクセル305を生成する。1実施例において、内挿に含まれるピクセルの数は、測定信号を生成するのに使用されたピクセルの集合対に含まれるピクセルの数に等しいが、本質的にいかなる数のピクセルも内挿が可能である。
この方法は、生成されるべき付加的なピクセルの各々について繰り返される。
B.装置
図3は、本発明にしたがった装置の1実施例の主要構成要素を示す。メモリ10は、経路1から受信した信号によって伝達された画像のピクセルを表わす情報を記憶する。メモリ10に記憶されるピクセル表現は、表示のための画像を生成するのに使用される表現と同じでもよく、または、解像度の強化を容易にするためにフィルタ処理または他の前処理がされたものでもよい。測定20は、メモリ10から得られたピクセル情報11に測定関数fを適用することによって、測定信号21を生成する。分析30は、上述のように測定信号21を分析し、第1の測定信号31および第2の測定信号32を識別し、これら2つの測定信号のうち1つに対応する方向を選択して、あいまいさの尺度を表わす第1の制御信号33を生成する。分析60は、選択された方向を分析して、その選択された方向の信頼の尺度を表わす第2の制御信号61を生成する。方向指示40は、選択された方向、第1の制御信号33、第2の制御信号61、および、基準ベクトル300と実質的に同一線上の方向を表わす信号2に基づいて内挿の方向を導出し、内挿方向信号41を生成する。内挿50は、内挿方向信号41に基づいて、導出された内挿方向に沿ってまたはその付近に位置するピクセルを内挿することによって、付加的なピクセル305を表わす信号51を生成する。
1.メモリ
メモリ10は、さまざまな方法で実装が可能である。たとえば、メモリ10は、テレビジョン走査線倍増器等の装置に共通に使用される2つのラインバッファ回路を含んでもよい。別の例としては、メモリ10は、画像全体のピクセル情報を1度に保持するのに十分な大きさを有する、コンピュータシステム内のランダムアクセスメモリであってもよい。メモリのアーキテクチャとしてこれを選択することは、装置の性能およびコストの面で多大な効果をもたらすが、本発明の実施にあたっては、概念上、特定のどの実装を使用するかは重要ではない。
2.測定回路
測定20は、ピクセルの集合間の分散の尺度を表わす、複数の測定信号21を生成する。これら測定信号は、分散の尺度と、その分散が測定された方向の表示とを伝達する。
図5は、メモリ10内に記憶されたピクセルの表現に適用される測定信号fの、仮想的な概略図である。上述のように、この測定関数は典型的に、各ピクセルの明るさおよび/またはカラーレベルを表わす値に適用される。
メモリ10の部分100は、ピクセル101から109の表現を記憶し、メモリ10の部分200は、ピクセル201から209の表現を記憶する。この図に示されるように、関数25は、集合212および集合112に含まれるピクセル間の分散の尺度を生成するよう適用され、関数27は、集合111および集合211に含まれるピクセル間の分散の尺度を生成するよう適用される。関数26は、基準ベクトル300と同一線上または実質的に同一線上にある線に沿った中央を有するピクセル105とピクセル205との間の分散の尺度を生成するよう適用されるが、本発明のいくつかの実装例においては、これらのピクセルのための測定信号を生成する必要はない。
もし測定関数fが差の絶対値を得る場合、関数27は上に示した式1にしたがって、単一ピクセルの組の分散の測定値を生成する。測定関数は、複数ピクセルを有する集合に種々の方法で適用することが可能である。もし測定関数fが差の絶対値の合計を得る場合、関数25は、たとえば上述の式2aまたは2bのいずれかにしたがって、集合212および112のための分散の尺度を生成することが可能である。
種々の測定関数が使用され得る。たとえば、測定関数fは、それぞれのピクセル間の差の二乗を計算することも可能であり、かつ/または、なんらかの関数にしたがってピクセルまたはピクセルの差に重みを付けて、ガンマ補正等の補正の形を得ることが可能である。本発明の実施例は、ピクセルの集合のすべての対について同じ測定関数を使用するものであるが、この限定は本発明の実施に際しての必須要件ではない。たとえば、測定関数fは、角度または基準点の変位の関数として変化させることもできる。これについては以下に記載する。
3.第1の分析回路
分析30は第1の分析回路を表わす。第1の分析回路は、測定20から受信した測定信号21を分析し、測定信号21によって表わされる方向の中から可能な内挿のための「最良の」方向を選択し、付加的なピクセルが生成されるべき場所のまわりの内挿についてあいまいさの尺度を導出する。このような分析のいくつかの例を下に記載する。これらは、本質的にどのような組合せでも使用することが可能である。本発明の範囲から離れることなく、以下に記載する分析方法の代わりにまたはそれらに加えて、他の形の分析も使用することが可能である。
図4は、第1の分析回路の部分を含む、1実施例の概略図である。この実施例において、第1の分析回路は、最良候補35、あいまいさテスト36およびスイッチ37を含む。
a.最良候補の選択
経路31は、第1の四分円の中で基準ベクトル300と鋭角をなす線を規定する基準点を有する1対の集合に対応する、測定関数fの最小値を表わす第1の測定信号を受取る。説明を容易にするために、この条件を単に、第1の四分円内の最小値と称することにする。好ましくは、もし2つ以上の測定信号が第1の四分円内で最小値を示す場合、その第1の四分円の中で最も小さい鋭角を有する最小値を表わす測定信号が第1の測定信号として選択される。同様に、経路32は、第2の四分円内の最小値を表わす第2の測定信号を受取る。好ましくは、2つ以上の測定信号が第2の四分円内で最小値を示す場合、第2の四分円内で最小の鋭角を有する最小値を表わす測定信号が、第2の測定信号として選択される。
1実施例においては、測定関数fが、基準ベクトル300と同一線上または実質的に同一線上にある線に沿って基準点を有するピクセルの集合対のための測定信号を生成するよう適用される。もしこの測定信号が最小値を示す場合、これを第1の測定信号および第2の測定信号の両方として選択することも可能である。
最良候補35は、第1および第2の測定信号を分析して、内挿方向のより良い候補を示す測定信号を選択するようスイッチ37を制御する信号を、経路38に沿って生成する。たとえば第1の測定信号が選ばれる場合、第1の四分円内で鋭角を形成する線に沿った内挿が、第2の四分円内で鋭角を形成する線に沿った内挿よりもより良いと考えられる。
1実施例においては、最良候補35は、第1および第2の測定信号のための測定基準を導出して、より小さな測定基準を有する方の測定信号を選択する。この測定基準は、基準ベクトル300とより小さい角度をなす線に沿ったピクセルにおけるより小さい変分に対応する、最小値を示す測定信号について、より小さい。換言すれば、最良候補35は、小さい最小値または小さい角度、好ましくはその両方を表わす測定信号を選ぶ。このような好ましい選択は、以下の式(3)によって実現が可能である:
Xi=|Δi|*min fi (3)
式中、 Xiは四分円i内の測定信号の測定基準、
Δiは対応する集合の基準点の、基準ベクトル300に対する変位、
min fiは四分円i内の測定関数fの最小値、である。
この実施例において、各行内のピクセルは、実質的に一定間隔dによって互いに隔てられており、その変位はこの間隔について示される。たとえば図1を参照して、集合111および211に対応する測定信号の変位Δiは、ピクセル103と基準ベクトル300との間の変位、または-2dに等しい。集合212および112に対応する測定信号の変位Δiは、ピクセル108と基準ベクトル300との間の変位、または+3dに等しい。もしこれらの2つの測定信号が、測定関数fの、たとえば両方とも50に等しい最小値を示すと仮定すると、第1の測定信号の測定基準はX1=|-2d|*50=100dとなり、第2の測定信号の測定基準はX2=|3d|*50=150dとなる。簡略化のために、係数dをこの測定基準から取除くことも可能である。この例においては、最良の候補35は、スイッチ37が経路44に沿って送られる第1の測定信号を選択するようにする信号を生成する。
図6aのグラフにおける曲線400は、変位Δの関数として作図される仮想的な測定関数fを表わす。この図および他の図において、測定関数fは説明を簡略にするために、変位Δの連続する関数として表わされるが、ピクセルからなる画像の性質上、関数fは離散的であることが理解されよう。点405は、第1の四分円内の最小値を表わし、点415は第2の四分円内の最小値を表わす。点410は、基準ベクトル300と同一線上または実質的に同一線上である基準点を有する集合対のための関数fの値を表わす。点405および点415における最小値は等しい大きさfmを有し、「等しい」変位で生じる。すなわち、これら2つの変位の絶対値は等しい。この例において、点405における最小値のための測定基準X1は、点415における最小値のための測定基準X2と等しい。したがって、最良候補35は、好ましい方向を表わすものとしていずれの最小値を選択することもできる。これら測定基準が等しいことによって、いずれかの最小値の好ましさが損なわれるようなことはないが、以下に示す方法で取扱われるあいまいさの度合いは高いことを示す。
b.あいまいさテスト
あいまいさテスト36は、第1および第2の測定信号を分析して、可変割算器45を制御する第1の制御信号を経路33に沿って生成する。可変割算器45は、経路44上に存在する測定信号によって表わされる方向と経路2から受信する信号によって表わされる方向との重み付組合せである方向を表わす信号を、経路46上に生成する。経路2から受取られる信号は、基準ベクトル300と同一線上または実質的に同一線上である方向を表わす。この重み付組合せは、第1の制御信号33に応答して形成される。もし第1の制御信号33が高いレベルのあいまいさを表わす場合、割算器45は経路2から受取られる信号によって表わされる方向と本質的に等しい方向を表わす信号を経路46上に生成する。もし第1の制御信号33が非常に低いあいまいさのレベルを表わす場合、割算器45は経路44上に存在する測定信号によって表わされる方向に本質的に等しい方向を表わす信号を経路46上に生成する。
1実施例においては、あいまいさテスト36は上述の2つの測定基準の間の差の絶対値、すなわち下の式(4a)で表わされる値に応答して第1の制御信号33を生成する:
α=|X1-X2| (4a)
換言すれば、もし第1および第2測定信号が等しい測定基準を有する場合、すなわち、それらが等しく優れた内挿の方向を表わす場合、非常に高い度合いのあいまいさが存在する。この状態の例が図6aに示される。
あいまいさが非常に低い例が図6bに示される。この例については、信頼性のテストに関連して下にさらに説明する。
代替的な実施例においては、割算器45の構造を修正してあいまいさテスト36が下の式(4b)で示される差に応答して第1の制御信号33を生成するようにすることによって、最良の候補35の関数があいまいさテスト36の関数と組合せられてもよい:
α=(X1-X2) (4b)
割算器45は、信号経路31および32の間に結合されて、中央タップが信号経路2に結合されるように修正される。ワイパは制御信号に応答して割算器に沿って移動して、負の制御信号については経路31に結合された端部に向かって動き、正の信号については経路32に結合された他方端部に向かって動き、制御信号がゼロに向かって動くにつれて中央タップに向かって動くようにされる。最良の候補35は、この実施例においては省略され得る。というのも、式4bにおける差で決定される制御信号の極性が、第1の測定信号と第2の測定信号のどちらが好ましい方向を表わすかを示すためである。
別の実施例においては、測定関数fの最小値は、もしそれらが大きさのしきい値を超える場合、考慮対象から除外される。好ましくは、大きさのしきい値は、角度が小さい場合、または代替的に変位の絶対値が小さい場合に高く、角度または変位が大きい場合に低い。
好ましくは、第1の制御信号33は、2つのしきい値TAおよびTUに対するあいまいさの尺度αに応答して生成される。しきい値TAを下回るαの値については、第1の制御33は完全なあいまいさを示すように生成される。しきい値TUを上回るαの値については、第1の制御信号はあいまいさの完全な欠如を示すように生成される。2つのしきい値の間のαの値については、第1の制御信号33は対応するあいまいさの度合いを示すように生成される。
さらに別のあいまいさのテストは、以下の式(6)であるかどうかを判定することによって2つの小さい角度についてテストすることを含む:
||Δ1|+|Δ2||<Td (6)
もしこの合計がしきい値Tdより小さければ、これら2つの最小値は基準ベクトル300に十分近く、高いあいまいさが明言される。
4.第2の分析回路
分析60は第2の分析回路を表わす。この回路は、測定信号を分析して、分析30によって選択された方向の信頼性の尺度を導出する。この分析のいくつかの例を以下に説明する。これらは本質的にどのような組合せで使用されてもよい。他の形の分析も、本発明の範囲から離れることなく、以下に説明される方法の代わりにまたはそれらに加えて、使用することが可能である。
図4は、第2の分析回路の部分を含む1実施例の概略図である。この実施例において、第2の分析回路は信頼性テスト62を含む。
信頼性テスト62は、スイッチ37から経路44を介して、選択された測定信号を受取り、経路21から1または複数の測定信号を受取る。信頼性テスト62はこれらの信号に応答して、経路44から受取った選択された方向における信頼性の尺度を表わす第2の制御信号61を生成する。第2の制御信号61は、可変割算器47を制御して、上述のように、経路46上に存在する信号および経路2から受取った信号によって表わされる方向の重み付組合せを形成する。もし第2の制御信号61が低いレベルの信頼性を表わす場合、割算器47は、経路2から受取られた信号によって表わされる方向に本質的に等しい方向を表わす第2の制御信号61を生成する。もし第2の制御信号61が非常に高いレベルの信頼性を表わす場合には、割算器47は、経路46上に存在する測定信号によって表わされる方向に本質的に等しい方向を表わす第2の制御信号61を生成する。
a.「同一傾斜方向」の信頼性テスト
信頼性レベルの1つのテストにしたがえば、信頼性テスト62は変位Δの関数としての測定関数fの大きさを分析して、2つの異なる変位における大きさの変化の尺度を導出する。すなわち、1つの変化の尺度δsは、選択された測定信号について変位Δs=Sにおいて導出され、第2の変化の尺度δ0は、基準ベクトル300と同一線上または実質的に同一線上にある線を規定する基準点を有する集合対に対応する測定信号について、変位Δ0=0において導出される。これらの変化の尺度は、その測定関数の傾斜または1次導関数に相似し、これは、隣接する変位における測定関数の値の差、すなわち下の式(7)から計算することが可能である:
δs=f[s-1]-fs (7)
式中、 fsは変位Δs=Sにおける測定関数の値、
f[s-1]は変位[S-1]における測定関数の値、である。
表記[S-1]は、変位Sを基準として、基準ベクトル300に1単位だけより近い変位を表わす。これは、[S-1]=sgn(S)*(|S|-1)で表わすことができ、ここでsgn(S)は、1に等しい大きさおよびSと同じ符号を有する。同様に、変位Δ0における変化の尺度は、δ0=f0-f-1である。本発明の種々の実施例は、本質的にどのような好都合な変位についても、変化の尺度を導出することが可能である。
これら変化の尺度の1例が、図6bに示される。曲線400は、変位Δの関数として作図される仮想的な測定関数fを表わす。点404は、第1の四分円内の最小値fsを表わし、点405は、隣接する変位に対する測定関数f[s-1]の大きさを表わす。変位Δsについて導出される変化の尺度は、間隔δsによって表わされる。点410は、基準ベクトル300と同一線上または実質的に同一線上の基準点を有する集合対のための関数f0の値を表わす。点409は、隣接する変位のための測定関数f-1の大きさを表わす。変位Δ0について導出される変化の尺度は、間隔δ0によって表わされる。
信頼の尺度βは、変化の2つの尺度の間の差、すなわち下の式(8)から導出される:
β=|δs-δ0| (8)
式中、信頼性のレベルは、尺度βに反比例して変化する。
図6bに示される例においては、点404における傾斜または変化の尺度δsは、点410における傾斜または変化の尺度δ0と同じ方向ではない。これら2つの変化の尺度の差から計算される尺度βは大きく、したがって、信頼性のレベルは低い。換言すれば、点404における最小値に対応する可能な内挿方向の信頼性のレベルは低い。なぜなら、関数fの最大値が点404と点410との間に存在するためである。すなわち、測定関数fのグラフ表現が領域の断面を表わすものと考えると、それら2つの点は「丘の同じ側」にはないと言うことができよう。
b.「遠隔−一過性現象」の信頼性テスト
信頼性レベルの別のテストにしたがえば、信頼性テスト62は、最小値である関数fの変化の尺度δsをしきい値Tt(Δ)と比較する。この変化の尺度は、上に説明したものと本質的に同じ方法を含む方法で導出することが可能である。しきい値Tt(Δ)は、絶対変位|Δ|の値が増すにしたがって低減し、これは、測定領域にわたる測定関数のピークからピークまでの値またはダイナミックレンジにしたがって正規化される。この信頼性テストは、大きな変位で測定関数fに急速な変化が生じるかどうかをチェックする。
内挿の可能な方向に関する信頼性のレベルは、しきい値を超えない変化の尺度については非常に高い。この信頼性のレベルは、変化の尺度δsがしきい値を超えるまで低減する。この信頼性の尺度βは、下の式(9a)で表わすことが可能である:
δs>Tt(Δ)の場合には、β=δs-Tt(Δ) (9a)
さもなければ、β=0 (9a)
式中、信頼性のレベルは、尺度βに反比例して変化する。
図6cに示した例において、点419における傾斜または変化の尺度δsは、点410における傾斜または変化の尺度δ0と同じ方向である。上述の第1の「同一傾斜方向」信頼性テストにしたがえば、点410および419はいわば、丘の同じ側にある。したがって、第1の信頼性テストは、この状況では高いレベルの信頼性を示すこととなる。しかし、この第2の「遠隔−一過性現象」信頼性テストにしたがえば、高い値のβが点419について生成されて、低いレベルの信頼性を示す。この第2のテストは、最小値が、画像内のノイズまたは一過性現象の結果であると考えられ、内挿の有効な斜方向を表わすものではない状況を検出する。
5.方向指示回路
方向指示40は、さまざまな方向信号の重み付組合せにしたがって内挿方向信号41を生成する、方向指示回路を表わす。一般に、第1の制御信号33が選択された方向の高いレベルのあいまいさを示しかつ/または第2の制御信号61がその方向の低いレベルの信頼性を示す状況においては、方向指示40は、信号2によって表わされる方向に等しいかまたは実質的に等しい方向を表わす内挿方向信号を生成する。信号2は、基準ベクトル300と同一線上または実質的に同一線上の方向を表わす。
図4は、方向指示40内の方向指示回路を含む1実施例の概略図である。この実施例においては、方向指示回路は割算器45および割算器47を含む。割算器は、信号の重み付組合せを形成することのできる1方法を示すものであって、本発明の本質的要素ではない。
割算器45は、信号44および信号2によって表わされる方向の重み付組合せである方向を表わす信号46を生成する。この重み付組合せは、第1の制御信号33にしたがって形成される。これは、以下の式(10a)として表わすことが可能である:
D46=C33*D44+(1-C33)*D2 (10a)
式中、 D46は信号46によって表わされる方向、
D44は選択された測定信号44によって表わされる方向、
D2は信号2によって表わされる方向、
C33は0と1との間で変化する、第1の制御信号33によって伝達される係数、である。
この実施例においては、第1の制御信号33によって伝達される係数は、1に等しい場合には完全なあいまいさを示し、0に等しい場合にはあいまいさの完全な欠如を表わす。
同様に、割算器47は、第2の制御信号61にしたがって、信号46および信号2によって表わされる方向の重み付組合せである方向、すなわち、下の式(10b)で表わされる方向を示す、信号41を生成する:
D41=C61*D46+(1-C61)*D2 (10b)
式中、 D41は信号41によって表わされる方向、
C61は0と1との間で変化する、信号S61によって伝達される係数、である。
この例においては、信号61によって伝達される係数は、1に等しい場合には信号46によって表わされる方向の完全なる信頼性を表わし、0に等しい場合にはこの方向の信頼性の完全なる欠如を表わす。
割算器45および割算器47は、以下の式(10c)のように、第1の制御信号S33と第2の制御信号S61とに応答する単一の割算器に置換えることが可能である:
D41=C61*[C33*D44+(1-C33)*D2]+(1-C61)*D2、
これは、以下のように書換えることができる:
D41=(C61*C33)*D44+[1-(C61*C33)]*D2 (10c)
図3を参照して、本発明にしたがった装置の1実施例では分析60は省略される。したがって、方向指示40は、第2の制御信号61を参照することなく、内挿方向信号41を生成する。たとえば、図4に示した実施例を参照して、信頼性テスト62および割算器47が省略され、内挿方向信号41は信号46から直接生成される。
他の形の重み付組合せも使用することが可能である。たとえば、測定信号によって表わされる方向は、その方向と基準ベクトル300との間の角度の余弦関数として変化する係数によって重み付けされてもよい。特別な形の重み付けが装置の性能に重大な効果をもたらす場合もあるが、概念上、本発明の実施には、特定の形は重要ではない。
6.内挿回路
内挿50は、内挿方向信号41によって表わされる方向に沿った隣接するピクセルの表現を内挿することによって、付加的なピクセル305のための表現を生成する。本発明では線形補間が使用されるものとするが、本発明は他の形の内挿で実施することも可能である。たとえば、表示装置における非線形性の要因となるために非線形補間を使用することが可能である。内挿は、個々のピクセルの対の間で、または、複数ピクセルの集合の対の間で、行なわれ得る。さらに、内挿が複数ピクセルの集合間でなされる場合には、各集合内のピクセルに、異なる重み付けがなされてもよい。
C.代替例
ここに開示した本発明の種々の特徴および実施例は、上述の説明および添付の請求の範囲から明らかなように、種々の組合せで実施することが可能である。
Claims (40)
- 複数行に配されたピクセルの二次元アレイを含む画像の解像度を、複数の付加的なピクセルを生成することによって向上させるための方法であって、前記画像内のある場所に生成される1つの付加的なピクセルについて、前記方法は、
前記画像に含まれる複数集合のピクセルを規定するステップを含み、各集合は前記画像に1つ以上のピクセルを含み、かつ、当該集合の実質的に中央の場所に基準点を有しており、
前記位置から始まって前記複数行に実質的に直角に交わる基準ベクトルを定義するステップと、
前記位置を通って前記基準ベクトルに直交する基準線を定義するステップと、
ピクセルの集合の対を、各対の2つの基準点が前記位置の反対側となり、かつ、前記2つの基準点によって規定される線が実質的に前記位置を通って前記基準ベクトルと角をなすように,形成するステップと、
前記組のそれぞれのペアに測定関数を適用することにより、複数の測定信号を生成するステップを含み、各測定信号は、前記対の各集合における対応するピクセル間の分散を示す分散の尺度を表わし、
前記測定関数の第1の最小値を表わしかつ第1の四分円の中で前記基準ベクトルと第1の鋭角を形成する第1の線を規定する基準点を有する第1の集合対に対応する第1の測定信号を識別するステップを含み、前記第1の四分円は、前記基準ベクトルの第1の側にあって前記基準ベクトルおよび前記基準線によって規定され、
前記測定関数の第2の最小値を表わしかつ第2の四分円の中で前記基準ベクトルと第2の鋭角を形成する第2の線を規定する基準点を有する第2の集合対に対応する第2の測定信号を識別するステップを含み、前記第2の四分円は前記基準ベクトルの前記第1の側とは反対側の第2の側にありかつ、前記基準ベクトルと前記ベース線とによって規定され、
前記第1の測定信号と前記第2の測定信号とに基づいて、内挿についての好ましい方向に関するあいまいさの尺度を示す第1の制御信号を生成するステップを含み、前記好ましい内挿の方向は、前記第1の線および前記第2の線の1つに対応しており、
前記第1の制御信号に基づいて、前記好ましい方向と、前記基準ベクトルに対応する方向との重み付組合せを形成するステップを含み、前記第1の制御信号は、前記組合せを制御し、
前記方向の重み付組合せから、方向制御信号を生成するステップと、
前記方向制御信号によって示される内挿方向に沿って又は近傍に位置するピクセルを内挿することによって、前記場所において前記付加的なピクセルを生成するステップを含む、方法。 - 前記ピクセルの集合の各々は1つのピクセルからなる、請求項1に記載の方法。
- 前記ピクセルの集合の各々は複数行のピクセルを含む、請求項1に記載の方法。
- 前記ピクセルの集合の各々は複数のピクセルを含みかつそれぞれの基準点において中央ピクセルを有し、かつ、前記測定関数は明るさ又は各ピクセルのカラーレベルの少なくとも1つを表わす値に適用される、請求項1に記載の方法。
- 前記第1および第2の測定信号は、前記測定関数の最小値であって、しきい値よりも小さい最小値を表わし、前記付加的なピクセルが生成される場所から各集合の基準点の、より大きな変位の間、前記しきい値は減少する、請求項1に記載の方法。
- 前記第1および第2の測定信号は、前記測定関数の最小値であって、前記第1の四分円および前記第2の四分円の中で前記基準ベクトルと最も小さい鋭角を形成する線を規定する基準点を有する集合対に対応する最小値を表わす、請求項1に記載の方法。
- 前記測定関数は、ピクセルの集合対のそれぞれの集合における対応するピクセル間の絶対差の合計である、請求項1に記載の方法。
- 前記測定関数は、ピクセルの集合対のそれぞれの集合における対応するピクセルの正規化された値の積の合計である、請求項1に記載の方法。
- 前記ピクセルの二次元アレイは列にも配列され、前記複数の付加的なピクセルは前記画像内でピクセルの既存の2つの行の間で付加的なピクセルの行を形成し、各集合対は、前記2つの行のうちの1つからのピクセルの集合と、前記2つの行のうちの他の1つからのピクセルの他の集合とを含む、請求項1に記載の方法。
- もし前記第1の最小値と前記第2の最小値との間の差の絶対値がある大きさのしきい値よりも小さい場合には、前記方向制御信号が、前記基準ベクトルと実質的に同一線上となる内挿方向を示すように、前記第1の制御信号は、前記基準ベクトルに対応する方向に沿って重み付けされる、請求項1に記載の方法。
- 前記基準ベクトルに関する前記基準点の変位のそれぞれの絶対値の総和がしきい値よりも小さい場合には、前記方向制御信号が、前記基準ベクトルと実質的に同一線上となる内挿方向を示すように、前記第1の制御信号は、前記基準ベクトルに対応する方向に沿って重み付けされる、請求項1に記載の方法。
- 第3の測定信号が、前記基準ベクトルと実質的に同一線上にある線に沿って基準点を有するピクセルの集合対に対して前記測定関数を適用することによって生成され、前記方法はさらに、
前記第1の測定信号またはある基準の下でよりよい内挿方向を表わす前記第2の測定信号のうちの1つを選択するステップと、
前記選択された測定信号に対応する最小値において前記測定関数の第1の導関数に対応する第1の変化の尺度を計算し、前記第3の測定信号に対応する場所における前記測定関数の第1の導関数に対応する第3の変化の尺度を計算するステップと、
前記第1の変化の尺度と前記第3の変化の尺度とに基づいて、前記選択された尺度信号に対応する内挿方向における信頼の尺度を示す第2の制御信号を生成するステップとを含み、前記信頼の尺度は、前記第1の変化の尺度と前記第3の変化の尺度との間の差の絶対値に比例して変化し、
前記第2の制御信号は、前記方向の重み付組合せの重みをさらに制御する、請求項1に記載の方法。 - 複数行に配列されたピクセルの二次元アレイを含む画像の解像度を、複数の付加的なピクセルを生成することによって向上させるための装置であって、それぞれの付加的なピクセルは前記画像内のある場所において生成され、前記装置は、
前記画像内のピクセルを表わす入力信号を受信する入力端子と、
前記入力端子に結合されて、前記画像の複数の行内のピクセルの表現を記憶するためのメモリ回路とを含み、前記ピクセルの代表はメモリに記憶されており、ピクセルの複数の集合はピクセルのアレイにおいて規定されており、各集合は1つ以上のピクセルを含み、かつ、当該集合の実質的に中央の場所に基準点を有しており、基準ベクトルが規定されており、前記基準ベクトルは、前記場所を起点とし、実質的に前記複数の行に直角に交わり、基準線が規定されており、前記基準線は前記場所を通って前記基準ベクトルに直交しており、複数の集合対が、それぞれの対の2つのそれぞれの基準点が前記場所の反対側に存在し、かつ、前記2つの基準点によって規定される線が実質的に前記場所を通って前記基準ベクトルと角をなすように、形成されており、
前記メモリ回路に結合されて、測定関数を各々の集合対に適用することにより複数の測定信号を生成するための測定回路とを含み、各測定信号は、前記対におけるそれぞれの集合における対応するピクセル間の分散を示す分散の尺度を表わし、
前記測定回路に結合されて、第1の測定信号および第2の測定信号を前記測定回路から受信するための第1の分析回路を含み、前記第1の測定信号は、前記測定関数の第1の最小値を表わし、かつ、第1の四分円において前記基準ベクトルと第1の鋭角を形成する第1の線を規定する第1の複数基準点を含む第1の集合対に対応しており、前記第2の測定信号は、前記測定関数の第2の最小値を表わし、かつ、第2の四分円において前記基準ベクトルと第2の鋭角を形成する第2の線を規定する第2の複数基準点を含む第2の集合対に対応しており、前記第1の四分円は前記基準ベクトルの第1の側にあり、かつ、前記基準ベクトルおよび前記基準線によって規定され、前記第2の四分円は、前記基準ベクトルの前記第1の側とは反対の第2の側にあり、かつ、前記基準ベクトルおよび前記基準線によって規定されており、前記第1の分析回路は、前記第1の測定信号と前記第2の測定信号とに基づいて、内挿についての好ましい方向に関するあいまいさの尺度を示す第1の制御信号を生成し、前記好ましい内挿の方向は前記第1の線および前記第2の線の1つに対応しており、
前記第1の分析回路に結合されて、前記第1の制御信号にしたがって、前記好ましい方向と、前記基準ベクトルに対応する方向との重み付組合せを形成するための方向指示回路を含み、前記第1の制御信号は前記組み合せの重みにしたがって変化し、前記方向指示回路は、前記重み付組合せから方向制御信号を生成し、前記方向制御信号は内挿方向を示しており、さらに
前記メモリ回路および前記方向指示回路に結合されて、前記方向制御信号によって示される内挿方向に沿って又は近傍に位置するピクセルを内挿することによって、前記場所における前記付加的なピクセルを生成して、前記メモリ回路に前記付加的なピクセルの表現を記憶するための内挿回路を含む、装置。 - 前記ピクセルの集合の各々は1つのピクセルからなる、請求項13に記載の装置。
- 前記ピクセルの集合の各々は複数行のピクセルを含む、請求項13に記載の装置。
- 前記測定回路は、前記ピクセルの集合対のそれぞれの集合において対応するピクセル間の絶対差の合計に応答して前記測定信号を生成する、請求項13に記載の装置。
- 前記測定回路は、前記ピクセルの集合対のそれぞれの集合において対応するピクセルの正規化された値の積の合計に応答して前記測定信号を生成する、請求項13に記載の装置。
- 前記第1の分析回路は、
前記測定回路に結合された選択回路と、
前記測定回路に結合された計算回路とを含み、
前記選択回路は、前記第1の測定信号または前記第2の測定信号の1つを選択し、当該選択された測定信号は、前記第1および第2の最小値と、前記基準ベクトルに関する前記第1および第2の基準点のそれぞれの変位とを使用する基準の下でよりよい内挿を表わしており、
前記計算回路は、前記第1および第2の最小値と、前記基準ベクトルに関する前記第1および第2の基準点のそれぞれの変位とに基づいて、前記第1の制御信号を生成する、請求項13に記載の装置。 - 前記第1の分析回路は、前記第1および第2の測定信号のうちの1つを選択し、前記選択された信号は、より小さな最小値および/またはより小さな変位に対応する、請求項18に記載の装置。
- 前記方向指示回路は、前記基準ベクトルに実質的に同一線上となる垂直方向を表わす信号および前記よりよい内挿方向を表わす前記選択された測定信号とに結合された第1の割算回路を含み、前記第1の割算回路は、前記第1の制御信号に応答して前記よりよい内挿方向と前記垂直方向との重み付組合せを提供する、請求項19に記載の装置。
- 前記測定回路および前記第1の分析回路に結合された第2の分析回路をさらに含み、前記第2の分析回路は、前記測定回路から受信された前記選択された測定信号と、前記測定回路から受信された他の測定信号とに基づいて第2の制御信号を生成し、前記第2の制御信号は前記選択された測定信号に対応する内挿方向における信頼の尺度を示しており、
前記方向指示回路は前記第2の分析回路にも結合されて、前記方向指示回路は、前記よりよい内挿方向と前記垂直方向との前記重み付組合せの重みを変化させることにより、前記方向制御信号をさらに調整する、請求項20に記載の装置。 - 前記方向指示回路は、
前記垂直方向を表わす前記信号および前記第1の割算回路の出力に結合された第2の割算回路を含み、前記第2の割算回路は、前記第2の制御信号によって制御される可変な重みを用いて、前記第1の割算回路からの前記重み付組合せと、前記垂直方向を表わす前記信号とを組み合わせる、請求項21に記載の装置。 - 複数行に配されたピクセルの二次元アレイを含む画像の解像度を、複数の付加的なピクセルを生成することによって向上させるための方法であって、前記画像内のある場所において生成されるそれぞれの付加的なピクセルに対して前記方法は、
前記場所を起点として前記複数行に実質的に直角に交わる基準ベクトルを定義するステップと、
前記場所を通って実質的に前記複数行に平行な基準線を定義するステップとを含み、第1の四分円は、前記基準線の上の前記基準ベクトルの第1の側として規定され、第2の四分円は、前記基準線の上の前記第1の側の反対の前記基準ベクトルの第2の側として規定され、
前記画像に含まれるピクセルの複数の集合対を形成するステップを含み、各対は、1つの集合から他の集合まで実質的に前記場所を通って前記基準ベクトルと角を形成する線を形成し、
測定関数を各対に適用することにより、複数の測定信号を生成するステップを含み、各測定信号は、前記対によって規定される線に対応するそれぞれの方向および、前記対におけるピクセルの集合間の分散の尺度を表わし、
前記基準ベクトルについての線の角と前記分散の尺度とに基づいて、前記測定信号によって表わされたそれぞれの方向を評価して、内挿のための2つの最良の方向を識別するステップを含み、前記2つの最良の方向は、前記第1の四分円において前記基準ベクトルと鋭角をなす方向間の分散の尺度の第1の最小値を有する第1の方向と、前記第2の四分円において前記基準ベクトルと鋭角をなす方向間の分散の尺度の第2の最小値を有する第2の方向とを含み、
前記2つの最良の方向から、よりちいさな角および/または前記分散の尺度のより小さな最小値に対応する、内挿のための単一の最良候補の方向を選択するステップと、
前記第1および第2の最小値と、前記第1および第2の分散の尺度とに基づいて、前記2つの最良の方向を評価することにより、第1の制御信号を生成するステップとを含み、前記第1の制御信号は、前記単一の最良の方向についてのあいまいさの尺度を示しており、
前記単一の最良候補の方向および前記行に実質的に直交する基準方向との重み付組合せを表わす方向制御信号を生成するステップとを含み、前記第1の制御信号は前記重み付組合せを制御し、
前記方向制御信号によって表わされる方向に沿って前記画像内にピクセルを内挿することによって、前記付加的なピクセルを生成するステップを含む、方法。 - 前記ピクセルの集合の各々は1つのピクセルからなる、請求項23に記載の方法。
- 前記ピクセルの集合の各々は複数行のピクセルを含む、請求項23に記載の方法。
- 前記分散の尺度は、ピクセルの集合対のそれぞれの集合における対応するピクセルの正規化されたピクセル値の積の合計である測定関数にしたがって決定される、請求項23に記載の方法。
- 前記内挿のための2つの最良の方向は、前記基準ベクトルからの変位が増すにつれて減少するしきい値よりも小さい前記分散のそれぞれの最小値を表わす、それぞれの測定信号に対応する、請求項23に記載の方法。
- 前記内挿のための2つの最良の方向は、前記分散の最小値を表わすそれぞれの測定信号に対応しかつ最小の鋭角を前記基準方向と構成する方向に対応する、請求項23に記載の方法。
- 前記単一の最良候補に対応する変位について、前記測定関数の大きさの変化の尺度を用いて、前記単一の最良候補の方向における信頼を評価することにより第2の制御信号を生成するステップをさらに含み、前記第2の制御信号は、前記単一の最良候補における信頼の尺度を示しており、前記第2の制御信号は、さらに、前記重み付組合せの重みを制御する、請求項23に記載の方法。
- 前記第2の制御信号を生成するステップは、
変位の関数として変化の尺度を判定し、かつ、前記変化の尺度をしきい値と比較するステップを含み、前記しきい値は、前記基準ベクトルからの変位が増加するにつれて減少する変位の関数として変化し、前記第2の制御信号は、前記しきい値を超えない前記変化の尺度に対しては前記単一の最良候補の方向において高い信頼の尺度を示すよう生成される、請求項29に記載の方法。 - 複数行に配されたピクセルの二次元アレイを含む画像の解像度を、複数の付加的なピクセルを生成することによって向上させるための装置であって、前記画像内のある場所において生成されるそれぞれの付加的な各ピクセルについて、前記装置は、
前記画像の複数の行における複数ピクセルの代表を格納するための手段を含み、基準ベクトルは、前記場所を起点とし、実質的に前記複数の行に直角に交わっており、前記場所を通って前記複数の行に実質的に平行な基準線が規定されており、第1の四分円が前記基準線の上の前記基準ベクトルの第1の側として規定されており、第2の四分円が、前記基準線の上の前記第1の側の反対にある前記基準ベクトルの第2の側として規定されており、前記画像に含まれるピクセルの複数の集合対が形成されており、各対は、実質的に前記場所を通って前記基準ベクトルと角を形成する、第1の集合から他の集合までの線を規定しており、
測定関数を各対に適用することにより複数の測定信号を生成するための手段を含み、各測定信号は、前記対によって規定される線に対応するそれぞれの方向、および、前記対におけるピクセルの集合間の分散の尺度を表わし、さらに
前記基準ベクトルに関する線の角と、分散の尺度の大きさとに基づいて、前記測定信号によって表わされるそれぞれの方向を評価して、内挿のための2つの最良の方向を識別するための手段を含み、前記2つの最良の方向は、前記第1の四分円における前記基準ベクトルと鋭角を形成する方向間の分散の尺度の最小値を有する第1の方向と、前記第2の四分円における前記基準ベクトルと鋭角を形成する方向間の分散の尺度の第2の最小値を有する第2の方向とを含み、
より小さい角および/または分散の尺度のより小さい最小値に対応する前記2つの最良の方向から内挿のための単一の最良候補の方向を選択するための手段を含み、
前記第1および第2の最小値と、分散の前記第1および第2の尺度とに基づいて、前記2つの最良の方向を評価することにより第1の制御信号を生成するための手段を含み、前記第1の制御信号は、前記単一の最良候補の方向についてのあいまいさの尺度を示しており、
前記単一の最良候補の方向と、前記行に実質的に直交する基準方向との重み付組合せを表わす方向制御信号を生成するための手段とを含み、前記第1の制御信号は、前記重み付組合せを制御し、さらに
前記方向制御信号によって表わされる方向に沿って前記画像内にピクセルを内挿することによって、前記付加的なピクセルを生成するための手段を含む、装置。 - 前記ピクセルの集合の各々は1つのピクセルからなる、請求項31に記載の装置。
- 前記ピクセルの集合の各々は複数行のピクセルを含む、請求項31に記載の装置。
- 前記内挿のための2つの最良の方向は、前記基準ベクトルからの変位が増すにつれて減少するしきい値よりも小さい前記分散の最小値を表わすそれぞれの測定信号に対応する、請求項31に記載の装置。
- 前記測定信号を生成するための手段は、ピクセルの集合対のそれぞれの集合における対応するピクセルの正規化された値の積の合計である測定関数にしたがって決定される、それぞれの分散の尺度を表わす前記測定信号の各々を生成する、請求項31に記載の装置。
- 前記評価するための手段は、前記2つの最良の方向を、前記分散の尺度の最小値に対応しかつ前記基準方向と最小の鋭角を形成する方向として識別する、請求項31に記載の装置。
- 前記単一の最良候補に対応する変位について前記測定関数の大きさの変化の尺度を用いて、前記単一の最良候補における信頼を評価することにより第2の制御信号を生成するための手段をさらに含み、前記第2の制御信号は、前記単一の最良候補における信頼の尺度を示しており、
前記第2の制御信号は、前記重み付組合せの重みをさらに制御する、請求項31に記載の装置。 - 前記第2の制御信号を生成するための前記手段は、
変位の関数として前記変化の尺度を判定するための手段と、
前記変化の尺度をしきい値と比較するための手段とを含み、前記しきい値は、前記基準ベクトルからの変位が増加するにつれて減少する変位の関数として変化し、前記第2の制御信号は、前記しきい値を超えない前記変化の尺度に対しては前記単一の最良候補の方向について高い信頼の尺度を示すよう生成される、請求項37に記載の装置。 - 前記第2の制御信号を生成するステップは、
変位の関数として前記変化の尺度を判定するステップと、
前記変化の尺度と、前記基準ベクトルに対応する場所について前記測定関数の大きさの参考の変化の尺度とを比較するステップとを含み、前記第2の制御信号は、前記変化の尺度と前記参考の変化の尺度との間のより小さな距離について前記単一の最良候補における高い信頼の尺度を示すように生成される、請求項29に記載の方法。 - 前記第2の制御信号を生成するための前記手段は、
変位の関数として前記変化の尺度を判定するための手段と、
前記変化の尺度と、前記基準ベクトルに対応する場所について前記測定関数の大きさの参考の変化の尺度とを比較するための手段とを含み、前記第2の制御信号は、前記変化の尺度と前記参考の変化の尺度との間のより小さな距離について前記単一の最良候補における高い信頼の尺度を示すように生成される、請求項38に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/953,840 US6133957A (en) | 1997-10-14 | 1997-10-14 | Adaptive diagonal interpolation for image resolution enhancement |
US08/953,840 | 1997-10-14 | ||
PCT/US1998/021282 WO1999019834A1 (en) | 1997-10-14 | 1998-10-08 | Adaptive diagonal interpolation for image resolution enhancement |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001506113A JP2001506113A (ja) | 2001-05-08 |
JP4212657B2 true JP4212657B2 (ja) | 2009-01-21 |
Family
ID=25494599
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP52240699A Expired - Lifetime JP4212657B2 (ja) | 1997-10-14 | 1998-10-08 | 画像解像度強化のための適応形斜方向内挿 |
Country Status (5)
Country | Link |
---|---|
US (1) | US6133957A (ja) |
EP (1) | EP0951693B1 (ja) |
JP (1) | JP4212657B2 (ja) |
DE (1) | DE69832963T2 (ja) |
WO (1) | WO1999019834A1 (ja) |
Families Citing this family (62)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7382929B2 (en) | 1989-05-22 | 2008-06-03 | Pixel Instruments Corporation | Spatial scan replication circuit |
US6295091B1 (en) * | 1997-11-07 | 2001-09-25 | Intel Corporation | Method and apparatus for de-interlacing video fields for superior edge preservation |
JP3734362B2 (ja) * | 1998-03-09 | 2006-01-11 | パイオニア株式会社 | 補間方法 |
US6377307B1 (en) * | 1999-05-27 | 2002-04-23 | Pioneer Corporation | Line interpolation apparatus and video signal conversion device |
FR2803675B1 (fr) * | 2000-01-11 | 2002-03-29 | Sagem | Carte a puce avec capteur d'empreintes digitales |
JP4108969B2 (ja) * | 2000-12-14 | 2008-06-25 | 松下電器産業株式会社 | 画像角度検出装置およびそれを備えた走査線補間装置 |
CN1290057C (zh) * | 2001-11-01 | 2006-12-13 | 皇家飞利浦电子股份有限公司 | 改善的视频图像的空间分辨率 |
US7023487B1 (en) | 2002-01-25 | 2006-04-04 | Silicon Image, Inc. | Deinterlacing of video sources via image feature edge detection |
US7136108B2 (en) * | 2002-09-04 | 2006-11-14 | Darien K. Wallace | Segment buffer loading in a deinterlacer |
US7218355B2 (en) * | 2002-09-04 | 2007-05-15 | Darien K. Wallace | Deinterlacer using block-based motion detection |
US7782398B2 (en) * | 2002-09-04 | 2010-08-24 | Chan Thomas M | Display processor integrated circuit with on-chip programmable logic for implementing custom enhancement functions |
US7202908B2 (en) * | 2002-09-04 | 2007-04-10 | Darien K. Wallace | Deinterlacer using both low angle and high angle spatial interpolation |
US7480010B2 (en) * | 2002-09-04 | 2009-01-20 | Denace Enterprise Co., L.L.C. | Customizable ASIC with substantially non-customizable portion that supplies pixel data to a mask-programmable portion in multiple color space formats |
GB2402288B (en) * | 2003-05-01 | 2005-12-28 | Imagination Tech Ltd | De-Interlacing of video data |
TWI220363B (en) * | 2003-10-06 | 2004-08-11 | Sunplus Technology Co Ltd | Directional interpolation method and device for increasing resolution of an image |
CN100435578C (zh) * | 2003-10-16 | 2008-11-19 | 凌阳科技股份有限公司 | 增加影像解析度的方向性内插方法及装置 |
US7362376B2 (en) * | 2003-12-23 | 2008-04-22 | Lsi Logic Corporation | Method and apparatus for video deinterlacing and format conversion |
TWI230010B (en) * | 2003-12-30 | 2005-03-21 | Realtek Semiconductor Corp | Adaptive interpolation method based on edge detection |
US20050163401A1 (en) * | 2004-01-28 | 2005-07-28 | Techwell Inc. | Display image enhancement apparatus and method using adaptive interpolation with correlation |
US7397973B2 (en) * | 2004-02-27 | 2008-07-08 | Mediatek Inc. | Method for controlling interpolation direction and related device |
TWI237496B (en) * | 2004-03-24 | 2005-08-01 | Realtek Semiconductor Corp | Method and apparatus for de-interlacing video data through utilizing motion compensation |
US7315661B2 (en) * | 2004-04-01 | 2008-01-01 | Mediatek Inc. | Directional interpolation method using DCT information and related device |
US7460180B2 (en) * | 2004-06-16 | 2008-12-02 | Realtek Semiconductor Corp. | Method for false color suppression |
US7280159B2 (en) * | 2004-06-16 | 2007-10-09 | Realtek Semiconductor Corp. | Method and apparatus for cross color and/or cross luminance suppression |
US7548663B2 (en) * | 2004-08-19 | 2009-06-16 | Realtek Semiconductor Corp. | Intra-field interpolation method and apparatus |
WO2006022729A1 (en) | 2004-08-20 | 2006-03-02 | Silicon Optix Inc. | Edge adaptive image expansion and enhancement system and method |
US7379626B2 (en) * | 2004-08-20 | 2008-05-27 | Silicon Optix Inc. | Edge adaptive image expansion and enhancement system and method |
JP4600011B2 (ja) * | 2004-11-29 | 2010-12-15 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
GB2422974A (en) * | 2005-02-04 | 2006-08-09 | Imagination Tech Ltd | De-interlacing of video data |
GB2422976B (en) * | 2005-02-08 | 2007-05-23 | Imagination Tech Ltd | Conversion of video data from interlaced to non-interlaced format |
GB2422975B (en) * | 2005-02-08 | 2007-12-12 | Imagination Tech Ltd | Conversion of video data from interlaced to non-interlaced format |
US7321400B1 (en) | 2005-02-22 | 2008-01-22 | Kolorific, Inc. | Method and apparatus for adaptive image data interpolation |
US7567294B2 (en) * | 2005-03-28 | 2009-07-28 | Intel Corporation | Gradient adaptive video de-interlacing |
TWI288890B (en) * | 2005-04-01 | 2007-10-21 | Realtek Semiconductor Corp | Method and apparatus for pixel interpolation |
TWI288896B (en) * | 2005-04-12 | 2007-10-21 | Realtek Semiconductor Corp | Method and apparatus of deinterlacing |
TWI288897B (en) * | 2005-04-12 | 2007-10-21 | Realtek Semiconductor Corp | Method and apparatus of false color suppression |
US7477319B2 (en) * | 2005-06-17 | 2009-01-13 | Lsi Corporation | Systems and methods for deinterlacing video signals |
US7450184B1 (en) | 2005-06-27 | 2008-11-11 | Magnum Semiconductor, Inc. | Circuits and methods for detecting 2:2 encoded video and systems utilizing the same |
US7522214B1 (en) | 2005-06-27 | 2009-04-21 | Magnum Semiconductor, Inc. | Circuits and methods for deinterlacing video display data and systems using the same |
US7414671B1 (en) | 2005-06-30 | 2008-08-19 | Magnum Semiconductor, Inc. | Systems and methods for display object edge detection and pixel data interpolation in video processing systems |
US7538824B1 (en) | 2005-08-18 | 2009-05-26 | Magnum Semiconductor, Inc. | Systems and methods for reducing noise during video deinterlacing |
US7787048B1 (en) | 2005-09-08 | 2010-08-31 | Nvidia Corporation | Motion-adaptive video de-interlacer |
US7796191B1 (en) * | 2005-09-21 | 2010-09-14 | Nvidia Corporation | Edge-preserving vertical interpolation |
US7924345B2 (en) * | 2005-10-20 | 2011-04-12 | Broadcom Corp. | Method and system for deinterlacing using polarity change count |
DE102005063072B4 (de) * | 2005-12-30 | 2017-02-02 | Entropic Communications, Inc. | Verfahren und Vorrichtung zur Zwischenzeileninterpolation |
TWI386032B (zh) * | 2006-04-20 | 2013-02-11 | Realtek Semiconductor Corp | 型樣偵測方法與相關的影像處理裝置 |
TWI323435B (en) * | 2006-05-10 | 2010-04-11 | Realtek Semiconductor Corp | Pattern detecting method and apparatus thereof |
TWI342154B (en) * | 2006-05-17 | 2011-05-11 | Realtek Semiconductor Corp | Method and related apparatus for determining image characteristics |
TW200811758A (en) * | 2006-08-24 | 2008-03-01 | Realtek Semiconductor Corp | Method for edge detection, method for motion detection, method for pixel interpolation utilizing up-sampling, and apparatuses thereof |
JP4818053B2 (ja) * | 2006-10-10 | 2011-11-16 | 株式会社東芝 | 高解像度化装置および方法 |
JP5040992B2 (ja) * | 2007-03-16 | 2012-10-03 | 富士通株式会社 | 画像変換装置、および変換方法 |
US8081256B2 (en) * | 2007-03-20 | 2011-12-20 | Samsung Electronics Co., Ltd. | Method and system for edge directed deinterlacing in video image processing |
WO2009047643A2 (en) * | 2007-04-23 | 2009-04-16 | Comagna Kft. | Mehtod and apparatus for image processing |
TWI372554B (en) * | 2007-07-26 | 2012-09-11 | Realtek Semiconductor Corp | Motion detecting method |
TWI376643B (en) * | 2008-03-24 | 2012-11-11 | Novatek Microelectronics Corp | Method for detecting image edge and image interpolation using the same |
US8218075B2 (en) * | 2009-02-06 | 2012-07-10 | Analog Devices, Inc. | Method and system for efficient de-interlacing |
WO2011141196A1 (en) * | 2010-05-11 | 2011-11-17 | Zoran (France) | Two-dimensional super resolution scaling |
TWI406187B (zh) * | 2010-08-19 | 2013-08-21 | Univ Nat Cheng Kung | 快速高畫質視頻影像內插方法及裝置 |
GB2484071B (en) | 2010-09-23 | 2013-06-12 | Imagination Tech Ltd | De-interlacing of video data |
US9049448B2 (en) | 2013-02-04 | 2015-06-02 | Faroudja Enterprises, Inc. | Bidimensional bit-rate reduction processing |
US9390663B2 (en) * | 2014-02-07 | 2016-07-12 | Nvidia Corporation | Liquid crystal display overdrive interpolation circuit and method |
US8929446B1 (en) | 2014-03-14 | 2015-01-06 | Faroudja Enterprises, Inc. | Combiner processing system and method for support layer processing in a bit-rate reduction system |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NL8501582A (nl) * | 1985-02-12 | 1986-09-01 | Philips Nv | Videosignaalverwerkingsschakeling voor de verwerking van een geinterlinieerd videosignaal. |
US5010401A (en) * | 1988-08-11 | 1991-04-23 | Mitsubishi Denki Kabushiki Kaisha | Picture coding and decoding apparatus using vector quantization |
NL8802365A (nl) * | 1988-09-27 | 1990-04-17 | Philips Nv | Werkwijze en schakeling voor het verwerken van een beeldsignaal. |
JPH02177683A (ja) * | 1988-09-29 | 1990-07-10 | Toshiba Corp | 画素信号の相関判定および補間データ作成装置 |
US5093721A (en) * | 1990-07-10 | 1992-03-03 | Zenith Electronics Corporation | Line interpolator with preservation of diagonal resolution |
US5347599A (en) * | 1991-06-14 | 1994-09-13 | Matsushita Electric Industrial Co., Ltd. | Adaptive interpolation method and apparatus using correlation detection |
CA2129092C (en) * | 1993-10-04 | 1999-10-19 | Leon C. Williams | Image interpolation apparatus |
US5929913A (en) * | 1993-10-28 | 1999-07-27 | Matsushita Electrical Industrial Co., Ltd | Motion vector detector and video coder |
JP3438032B2 (ja) * | 1994-03-15 | 2003-08-18 | 松下電器産業株式会社 | 空間周波数適応補間方法および空間周波数適応補間装置 |
US5532751A (en) * | 1995-07-31 | 1996-07-02 | Lui; Sam | Edge-based interlaced to progressive video conversion system |
US5991463A (en) * | 1995-11-08 | 1999-11-23 | Genesis Microchip Inc. | Source data interpolation method and apparatus |
FR2742900B1 (fr) * | 1995-12-22 | 1998-02-13 | Thomson Multimedia Sa | Procede d'interpolation de trames progressives |
-
1997
- 1997-10-14 US US08/953,840 patent/US6133957A/en not_active Expired - Lifetime
-
1998
- 1998-10-08 JP JP52240699A patent/JP4212657B2/ja not_active Expired - Lifetime
- 1998-10-08 DE DE69832963T patent/DE69832963T2/de not_active Expired - Lifetime
- 1998-10-08 WO PCT/US1998/021282 patent/WO1999019834A1/en active IP Right Grant
- 1998-10-08 EP EP98953331A patent/EP0951693B1/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2001506113A (ja) | 2001-05-08 |
EP0951693A1 (en) | 1999-10-27 |
EP0951693B1 (en) | 2005-12-28 |
DE69832963T2 (de) | 2006-08-24 |
WO1999019834A1 (en) | 1999-04-22 |
DE69832963D1 (de) | 2006-02-02 |
US6133957A (en) | 2000-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4212657B2 (ja) | 画像解像度強化のための適応形斜方向内挿 | |
JP3287864B2 (ja) | 映像信号のフィールド又はフレーム間の動きを表す運動ベクトルを導出する方法及びこれを使用する映像方式変換装置 | |
US7982798B2 (en) | Edge detection | |
EP1677548A2 (en) | Color interpolation algorithm | |
EP1754191B1 (en) | Characterizing a digital imaging system | |
EP1345432B1 (en) | Scanning line interpolating device | |
CN100466478C (zh) | 解交错方法 | |
CN109741356B (zh) | 一种亚像素边缘检测方法及系统 | |
US7796191B1 (en) | Edge-preserving vertical interpolation | |
KR100875743B1 (ko) | 모션 보상된 보간에서 헤일로 효과를 감소시키는 방법 | |
US8045053B2 (en) | Video image deinterlacing apparatus and methods of performing video image deinterlacing | |
JPH10164598A (ja) | シーン変化検出方式 | |
US6288745B1 (en) | Scanner line interpolation device | |
US10825160B2 (en) | Spatially dynamic fusion of images of different qualities | |
JP2003224854A (ja) | 動きベクトル検出装置及び画像処理装置並びにコンピュータ・ソフトウエア | |
KR100967521B1 (ko) | 방향적 상관도를 이용한 디인터레이싱 장치 및 방법 | |
TWI230010B (en) | Adaptive interpolation method based on edge detection | |
CN104202555A (zh) | 去隔行方法及装置 | |
US7525599B2 (en) | System and method for blending of spatial interpolation and weaving | |
US6449389B1 (en) | Method and apparatus for single channel color image segmentation using local context based adaptive weighting | |
US8218075B2 (en) | Method and system for efficient de-interlacing | |
KR101158847B1 (ko) | 에지맵을 이용한 디인터레이싱 장치 및 방법 | |
JP2009515395A (ja) | 動き推定 | |
US20040207633A1 (en) | Mixed 2D and 3D de-interlacer | |
KR20020084176A (ko) | 벡터 시퀀스들에서의 경계 검출 및 컬러 영상신호들에서의 에지 검출을 위한 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051006 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080205 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080502 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080616 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080604 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080704 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081014 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081029 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4212657 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131107 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |