JP4351394B2 - 拡大あるいは縮小画像解像度変換の非線形および線形方法 - Google Patents

拡大あるいは縮小画像解像度変換の非線形および線形方法 Download PDF

Info

Publication number
JP4351394B2
JP4351394B2 JP2000597749A JP2000597749A JP4351394B2 JP 4351394 B2 JP4351394 B2 JP 4351394B2 JP 2000597749 A JP2000597749 A JP 2000597749A JP 2000597749 A JP2000597749 A JP 2000597749A JP 4351394 B2 JP4351394 B2 JP 4351394B2
Authority
JP
Japan
Prior art keywords
grid
image
output
input image
linear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000597749A
Other languages
English (en)
Other versions
JP2002538638A (ja
Inventor
ヨセフ セグマン
Original Assignee
オープラス テクノロジーズ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オープラス テクノロジーズ リミテッド filed Critical オープラス テクノロジーズ リミテッド
Publication of JP2002538638A publication Critical patent/JP2002538638A/ja
Application granted granted Critical
Publication of JP4351394B2 publication Critical patent/JP4351394B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4007Interpolation-based scaling, e.g. bilinear interpolation
    • G06T3/047

Description

【0001】
(発明の分野および背景)
本発明はディジタル画像処理に関するものである。特に、本発明は、ディジタル入力画像の解像度を規定出力ウィンドウのために拡大あるいは縮小する非線形および線形方法に関するものである。
ディジタルディスプレイは、その走査速度およびピクセル解像度によって特徴付けられる。標準非インタレースディスプレイは、少なくとも60HZの走査速度および各ラインで少なくとも480ライン(行)×640ピクセル(列)の解像度を有する。各々が異なる解像度および走査速度を有する非インタレースディスプレイは、一般的には、VGA、SVGA、XGA、SXGAおよびUGAとしてフォーマット化される。様々なディスプレイシステムは一緒に混合され、一方の解像度から他方の解像度への変換が必要とされることがしばしば生じる。例えば、デインタレースビデオ画像は、通常サイズが480ライン×640ピクセル解像度(VGAフォーマット)のものである。このような画像は、1200ライン×1600ピクセルのピクセル解像度性能を有するモニタ上に表示される場合、比較的小さく可視化される。ビデオ画像とは異なる解像度を有するディスプレイモニタの全解像度性能以上でビデオ画像を表示するためにディジタル入力解像度を規定出力ウィンドウのために拡大あるいは縮小する方法に対する要求がある。
最新のインタレースあるいは非インタレースのビデオスクリーンの最も重要な特徴の1つは、ディスプレイスクリーンのアスペクト比と普通呼ばれている実際の表示領域の幅(列数)と高さ(行数)との比である。現在は、最も一般に普及しているアスペクト比は4:3(例えば、サイズが480行×640列あるいはピクセル、または1200行×1600列のデインタレースビデオ画像(VGAフォーマット))である。16:9あるいは21:9のようなアスペクト比を有する新しいスクリーンは、現在市場で入手可能である。高精細度テレビスクリーンは、一般的には16:9のアスペクト比を有する。異なるアスペクト比、例えば16:9を有するディスプレイ上に1つのアスペクト比、例えば4:3の画像を表示するために、アスペクト比間で画像を変換する非常に複雑な変換が必要とされる。
【0002】
入出力変換比が1:1でない、例えば16:9に等しくない4:3であるこのような非線形解像度変換の場合では、ディジタル入力画像の標準線形解像度変換方法を使用することは対応する出力画像内に歪みを生じる。その大部分が、変換出力画像を発生するために入力画像において欠けているピクセルの値を推定するかあるいは既知の値を有するピクセルを削除するかのいずれかによってピクセルを加算する目的のために線形補間処理を特徴とするかあるいは含むかのいずれかであるビデオ画像解像度変換およびスケーリングの様々な方法が、非線形あるいは線形の場合に対して開発された。拡大解像度変換中出力画像を形成する一部として欠けているピクセルを入力画像に付加するかあるいは縮小解像度変換中出力画像を形成する一部としてピクセルを入力画像から削除する標準補間法を使用することは、それぞれ画像解像度変換が拡大であろうが縮小であろうがかに従って最初の入力画像に付加ピクセルを含むかあるいは削除ピクセルを最初の入力画像から省くかのいずれかである出力画像を生じる。このような方法では、入力画像データは単に出力画像を形成するテンプレートとして使用される。画像解像度変換のより精巧な方法および比較的高品質の結果が得られる方法は、各出力画像ピクセルを、原則として解像度変換の開始点としてのみ入力画像ピクセルを使用するスクラッチから計算することによって全く新しい出力画像の形成を含む方法であり、入力画像データの全部あるいは一部が単に出力画像の一部になる場合ではない。さらに、多数の標準線形補間法は、高品質解像度変換画像を発生するのに計算に関して有効でなくてもよい。
したがって、ディスプレイスクリーンアスペクト比の非線形変化を有する拡大あるいは縮小解像度変換から生じる歪みを最少にする精巧で、さらに計算に関して有効で、非線形な変換に対する要求がある。ビデオ入力画像とディスプレイ出力画像との間のアスペクト比の変化が全然ない場合、拡大あるいは縮小の画像解像度変換を実行する精巧で、さらに計算に関して有効な線形変換に対する要求もあり、この有効な線形変換を有することは有益である。
【0003】
画像解像度変換の公知の方法の相対的な適否は最終的には生じる画質によって決まる。さらに、異なる画像解像度変換の方法は異なる条件の下ではさらによく機能する。
Berladのために発行された米国特許第5,513,120号は、ビデオ画像の変換のために必要とされる欠けているピクセルを推定するために、補間データを必要とするグリッド位置点と一直線になっている最も接近している隣接グリッド点および次の最も接近している隣接グリッド点を使用する4点線形補間方法に基づいている。補間は、4つの補間係数および各出力ピクセル値の決定のためのラグランジュ多項式の使用を必要とし、それによって画像のテクスチュアはピクセル位置の関数として変動しない。補間方法はn次元ディスプレイグリッドまで拡張できる。
Malinowskiらのために発行された米国特許第5,574,572号は、線形補間を特徴とし、ビデオ画像の水平あるいは垂直のスケーリングのために一定の係数を有するFIRフィルタを分割するビデオスケーリング方法および装置の様々な形態を示している。
【0004】
Lumelskyらのために発行された米国特許第5,119,082号は、ウィンドウを全ディスプレイのサブセットとして規定し、適合するビデオ画像をスケーリングする手段とともにビデオ拡大のための線形スケーリング方法によってピクセルレート拡大回路を特徴とする。この回路は、選択される隣接走査ラインが入力画像を垂直方向あるいは水平方向に拡大するためにフレームバッファから読み出されるときに選択される隣接走査ラインを繰り返させる線形スケーリング機構を含む。
Greggainらのために発行される米国特許第5,559,905号は、補間フィルタの線形組み合わせで作動するディジタル画像リサイジング装置を記載している。フィルタ係数は、入力データと乗算され、結果はシフトされ、符号は画像をリサイジングする減少された精度を補償するように拡大される。
Wongらのために発行された米国特許第5,796,879号は、画像補間を実行する領域に基づく補間の技術を使用し、画像の拡大を強調することを教示している。ピクセル値は、入力画像のサンプリングサイズに比例する領域に対する曲線の積分から決定される。線形フィルタの使用および線形多項式を解くことによる係数の数値計算を含む2つの積分器および2つの補間ステップは、所望の画像変換を行うために必要である。
【0005】
佐野のために発行された米国特許第5,532,716号は、縮小画像のための解像度変換システムを示している。このシステムは、入出力画像サイズに比例するスケーリングファクタで作動し、水平方向および垂直方向の両方に線形画像変換を行う。
山下らのために発行された米国特許第5,446,831号は、画像を縮小する画像データプロセッサを記載している。2を底とする対数式は所望の解像度変換を実行するのに必要であるデータ量を変えるために使用される。画像プロセッサは、2進画像データを変換し、垂直方向および水平方向の両方に減少させる。
エラー拡散技術を使用するディジタル画像解像度変換の付加的方法は、Eschbachのために発行された米国特許第5,208,871号を含み、ディジタル化入力画像の基準クラスタを使用する領域マッピング技術は、Loceらのために発行された米国特許第5,758,034号および米国特許第5,689,343号を含んでいる。
【0006】
(発明の開示)
本発明は、拡大あるいは縮小画像解像度変換の非線形および線形方法に関するものである。
本発明の非線形および線形の拡大あるいは縮小画像解像度変換の方法は、非線形あるいは線形ピクセル位置制御関数を使用することによって出力グリッドの画像ピクセルを入力グリッドの画像ピクセルに関連づける新しい、独特な方法を特徴とする。さらに、出力画像は、出力画像を形成するテンプレートとして入力画像ピクセルデータを使用する線形補間を特徴とする画像解像度変換の現標準方法とは著しく違って適切に入力画像ピクセルデータに関連している間、全く新しいセットの出力ピクセルデータを発生することによって形成される。
本発明の方法は、この方法が、非線形の拡大あるいは縮小画像解像度変換中入力画像のアスペクト比に等しい出力画像のアスペクト比を保持することを可能にし、等しくない出力画像および入力画像のアスペクト比を特徴とする。線形拡大あるいは縮小の画像解像度変換の場合、出力画像および入力画像のアスペクト比は同じである。本発明は、ビデオ画像の拡大あるいは縮小画像解像度変換の精巧で、さらに計算に関して有効な方法である。本発明の方法を使用する結果として生じる出力画像は、高画質であり、元の入力画像を厳密に示している。
【0007】
本発明の非線形および線形の拡大あるいは縮小の画像解像度変換の方法の好ましい実施例は下記の動作原理ステップを特徴とする。(1)入力画像およびその目標出力画像を特徴とする。(a)入出力画像グリッドを規定し、設定する。(b)入力画像のスケーリングモードを決定する。(c)非線形あるいは線形の画像解像度変換であるかどうかを決定する。(2)入力画像をFIRフィルタで畳み込む。(3)出力画像グリッドのピクセル位置を入力画像グリッドに関連づけるピクセル位置制御関数を規定する。位置制御関数を使用して接続グリッドを規定し、設定する。(4)ピクセル位置制御関数および接続グリッドを使用して入力画像グリッド内に埋め込まれた出力画像ピクセルの実位置座標を計算する。(5)接続グリッドに位置決めされた出力画像ピクセルの実位置を囲む入力画像グリッドの隣接ピクセルの位置座標を識別する。(6)接続グリッドに位置決めされた出力ピクセルの実位置座標と入力画像グリッドに位置決めされた隣接ピクセル位置座標との(デルタ)関数差を規定し、数値を求める。(7)接続グリッドに位置決めされた出力ピクセルの実位置を囲む入力画像グリッドの隣接ピクセルに値を割り当てる。(8)接続グリッドに位置決めされた出力ピクセルの実位置を囲む入力画像グリッドの隣接ピクセルの値から局所係数を規定し、計算する。(9)出力ピクセルの予備値を計算する。(10)最終値を計算し、出力ピクセルに割り当てる。(11)ステップ(1)〜(10)を繰り返すことによって値を計算し、次の出力ピクセルに割り当てる。(12)完了された解像度変換画像を表示する。
【0008】
本発明によれば、拡大、縮小、あるいは混合モードの拡大/縮小画像解像度変換の非線形および線形方法が提供され、この方法のステップは、データプロセッサで実行され、この方法は、以下のステップ(a)〜(h)を含む。(a)複数のピクセルを特徴とする入力画像であって、入力画像グリッドでプロットされ、入力画像グリッドが入力画像グリッド座標系を特徴とする、入力画像を受信するステップと、(b)ピクセル位置制御関数であって、接続グリッド座標系に対して接続グリッドを規定し、および設定し、それによってピクセル位置制御関数および接続グリッド座標系を有する接続グリッドの各々が、出力画像グリッド座標系を有する出力画像グリッドを入力画像グリッド座標系を有する入力画像グリッドに関連づける、ピクセル位置制御関数を提供するステップと、(c)出力画像グリッドに位置決めされた複数の出力ピクセル位置の各々の接続グリッドに位置決めされた実位置座標をピクセル位置制御関数から計算するステップと、(d)複数の出力ピクセル位置の各実位置座標を囲む入力画像グリッドに位置決めされた隣接ピクセルの位置座標を決定するステップと、(e)複数の出力ピクセル位置の各々の各実位置座標と入力画像グリッドに位置決めされた隣接ピクセルの位置座標との差を計算するステップと、(f)複数の出力ピクセル位置の各々に対して、新しい局所係数のセットを前記複数の出力ピクセル位置の各々の各実位置座標を囲む隣接ピクセルの既知値から計算するステップと、(g)出力画像グリッドに位置決めされた複数の出力ピクセルの各々に対する値を前記ピクセル、およびn2個の隣接ピクセルを特徴とする二次元画像に対する、2つのベクトル間の内部乗算を含み、2つのベクトルの第1のベクトルが、複数の出力ピクセル位置の各々の二次元の接続グリッド座標系に対して規定された各実位置座標と二次元の入力画像座標系に対して規定されたn2個の隣接ピクセルの位置座標との差の1回のドット乗算を特徴とし、および前記2つのベクトルの第2のベクトルが、n2個の隣接ピクセルの既知値から計算された局所係数のセットを特徴とする差分規定から計算するステップと、(h)出力画像グリッドに位置決めされた複数の出力ピクセルの各々に対する値を特徴とする出力画像を表示するステップ。
【0009】
本発明によれば、ピクセル位置制御関数の使用を特徴とする拡大、縮小、あるいは混合モード拡大/縮小画像解像度変換の非線形および線形方法が提供され、このピクセル位置制御関数が、接続グリッド座標系を有する接続グリッドを規定し、および設定するために使用され、それによってピクセル位置制御関数および接続グリッド座標系を有する接続グリッドの各々は、出力画像グリッド接続座標系を有する出力画像グリッドを入力画像グリッド座標系を有する入力画像グリッドに関連づけるピクセル位置制御関数の使用を特徴とする。
本発明によれば、出力画像グリッドに位置決めされた複数の出力ピクセルの各々に対する値を、ピクセルを特徴とし、n2個の隣接ピクセルを特徴とする2次元画像に対する差分規定から計算することを特徴とする拡大、縮小、あるいは混合モード拡大/縮小画像解像度変換の非線形および線形方法が提供され、この差分規定が、2つのベクトル間の内部乗算を含み、2つのベクトルの中の第1のベクトルが、複数の出力ピクセル位置の各々の2次元接続グリッド座標系に対して規定された各実位置座標と2次元入力画像グリッド座標系に対して規定されたn2個の隣接ピクセルの位置座標との差の一回限りのドット乗算を特徴とし、および2つのベクトルの中の第2のベクトルが、n2個の隣接ピクセルの既知の値から計算された局所係数のセットを特徴とする。
本発明は、ハードウェアあるいは任意のファームウェアの任意のオペレーティングシステムのソフトウェアあるいはその組み合わせによって実施できる。例えば、ハードウェアとして、本発明はチップあるいは回路として実施できる。ソフトウェアとして、本発明は、任意の適当なオペレーティングシステムを使用するコンピュータによって実行される複数のソフトウェア命令として実施できる。いかなる場合でも、本発明の方法のステップは、本発明の実施に関係なく複数の命令を実施する計算プラットホームのようなデータプロセッサによって実行されるものとして記載されてもよい。
【0010】
(好ましい実施例の説明)
本発明は、ここに添付図面を参照して例としてだけ記載されている。
本発明は、規定された出力ウィンドウのためにディジタル画像の解像度を拡大あるいは縮小する非線形および線形方法に関するものである。
拡大画像解像度変換は下記のように示される。ライン毎のサイズがM個のライン(行)×N個のピクセル(列)の入力ディジタル画像(動画、静止画、カラーあるいはカラーでない)Iは、全入力画像Iの一部あるいは全入力画像Iの全ピクセル数を増加させるかあるいは拡大することによってライン毎のサイズがMI個のライン×NI個のピクセルの出力画像Oに変換されるべきである(ここで、MI>Mおよび/またはNI>Nである)。
縮小画像解像度変換は下記のように示される。ライン毎のサイズがM個のライン(行)×N個のピクセル(列)の入力ディジタル画像(動画、静止画、カラーあるいはカラーでない)Iは、全入力画像Iの一部あるいは全入力画像Iの全ピクセル数を減少させるかあるいは縮小することによってライン毎のサイズがMI個のライン×NI個のピクセルの出力画像Oに変換されるべきである(ここで、MI<Mおよび/またはNI<Nである)。
【0011】
組み合わせ拡大および縮小画像解像度変換は、異なる解像度の出力画像Oを発生するために入力画像Iの拡大行および縮小列あるいは入力画像Iの縮小ラインおよび拡大列を必要とする。
本発明の方法は、非線形あるいは線形、拡大あるいは縮小、画像解像度変換のいずれかに適用可能である。出力画像アスペクト比M1:N1が入力画像アスペクト比M:Nに等しくない場合、非線形拡大あるいは非線形縮小画像解像度変換を特徴とする本方法は、好ましくは入力画像に適用される。出力画像アスペクト比M1:N1が入力画像アスペクト比M:Nに等しい場合、非線形拡大あるいは非線形縮小画像解像度変換を特徴とする本方法は、好ましくは入力画像に適用される。
本発明による拡大あるいは縮小画像解像度変換の非線形および線形方法のステップおよび実施は、図面および添付説明を参照していっそうよく理解される。ここに示された本発明の実例は具体的な目的だけのためであり、限定することを意味しないことに注目すべきである。本発明は他の実施例でできるかあるいはいろいろな方法で実施あるいは実行できる。さらに、ここに使用された用語は説明する目的のためであり、限定するものとみなされるべきでない。
【0012】
次に、図面を参照すると、図1Aは、本発明の方法による非線形拡大あるいは縮小画像解像度変換の好ましい実施例に関するディジタル化ビデオ画像I(図示せず)をプロットするために使用されるグラフ入力グリッド10の図である。この入力グリッド10は、行(ライン)12および列(ピクセル)14を特徴とし、各入力グリッド位置は、行番号(i)および列番号(j)の座標によって識別可能である。I(i,j)は、入力グリッド10でプロットでき、入力グリッド10のその位置座標が行i、および列jによって示されるディジタル化入力画像(図示せず)のピクセル16の値を示す。サイズがM行×N列のディジタル入力画像の場合、位置指標(i,j)は、下記のように入力画像サイズに制限される。すなわち、i:0,1,2,...M−1;およびj:0,1,2,...N−1である。一般に、指標iおよびjは実数あるいは整数であり得る。本発明のこの好ましい実施例では、位置座標の行iおよび列jおよび対応する位置指標(i,j)は、入力グリッド10のピクセル16の整数値位置指標に変換する整数(すなわち、実数でない)である。既知解像度を有するディジタル化ビデオ画像Iは、異なる解像度を有するディジタル化出力グリッド上のその表示を可能にするために非線形拡大あるいは縮小画像解像度変換を行うためにある。
【0013】
図1Bは、本発明の方法による非線形拡大あるいは縮小画像解像度変換の好ましい実施例に関する図1Aの解像度変換ディジタル化ビデオ画像(図示せず)をプロットするために使用された最初は空の値のグラフ出力グリッド18の図である。この出力グリッド18は、行(ライン)20および列(ピクセル)22を特徴とし、各出力グリッド位置は行番号sおよび列番号tの座標によって識別可能である。O(s,t)は、出力グリッド18でプロットでき、出力グリッド18のその位置座標が行sおよび列tによって識別されるディジタル化出力画像(図示せず)のピクセル24の値を示している。サイズがM1行×N1列のディジタル出力画像の場合、位置指標(s,t)は、次のように出力画像サイズに制限される。すなわち、s:0,1,2,...M1−1;およびt:0,1,2,...N1−1である。一般に、指標sおよびtは実数あるいは整数であり得る。本発明のこの好ましい実施例では、位置座標の行sおよび列tおよび典型的なピクセル24の対応する位置指標(s,t)は、出力グリッド18の整数(すなわち、実数でない)値である。
【0014】
図1Cは、本発明の方法による非線形拡大あるいは縮小画像変換の好ましい実施例に関する出力グリッド18(図1B)と入力グリッド10(図1A)とのマクロレベル関係を示すグラフ接続グリッド26の図である。接続グリッド26の有用性は、出力グリッド18(図1B)のピクセル位置を入力グリッド10(図1A)のピクセル位置に関連づけ、画像解像度変換中非線形効果を考慮することにある。接続グリッド26は、行(ライン)28および列30を特徴とし、各接続グリッド位置は、行番号yiおよび列番号xjの座標によって識別可能である。一般に、指標yiおよびxjは実数あるいは整数であり得る。本発明のこの好ましい実施例では、位置座標行yiおよび列xiおよび典型的なピクセル位置32の対応する位置指標(yi,xj)は、接続グリッド26の実数(すなわち整数でない)値である。
接続グリッド26(図1C)では、行yの下つき添え字iおよび列xの下つき添え字jは、出力グリッド18(図1B)でプロットできる出力画像O(s,t)(図示せず)の位置座標、すなわち指標と入力グリッド10(図1A)でプロットできる入力画像I(i,j)の位置座標、すなわち指標との間で関連づけるかあるいは接続するために使用される。接続グリッド26の典型的なピクセル位置指標(yi,xj)32は、入力グリッド10(図1A)でプロットできる入力画像I(i,j)のピクセル16の正確な位置を示す実位置指標である。
【0015】
本発明の拡大あるいは縮小画像解像度変換の好ましい実施例の非線形の場合、出力グリッド18(図1B)の出力指標(s,t)と入力グリッド10(図1A)の入力指標(i,j)との間の非線形関係は、下記のように関数的に示される。すなわちyi=Fi(s,t,a,b,λ1,μ1)およびxj=Fj(s,t,a,b,λ2,μ2)である。FiおよびFjは、非線形ピクセル位置制御関数であり、λ1,μ1,λ2,およびμ2は、入力グリッド10(図1A)から出力グリッド18(図1B)までの画像解像度変換中の非直線性の大きさを制御する自由パラメータであり、aおよびbは、出力を入力画像サイズに関連づけるスケールファクタ(比)であり、a=M1/M、すなわち(出力画像Oの行数)/(入力画像Iの行数)およびb=N1/N、すなわち(出力画像Oの列数)/(入力画像Iの列数)、ここでa>0およびb>0は実正数である。
スケールファクタaの割り当てに基づいて、接続グリッド指標32(yi,xj)の値を計算する式でのスケールファクタaの使用において、a>1の場合、入力から出力画像に変換する際に行数の増加があり、それ自体、入力グリッド10(図1A)の入力画像Iの行12は、出力グリッド18(図1B)の出力画像Oの行20に非線形拡大される。0<a<1の場合、入力から出力画像に変換する際に行数の減少があり、入力グリッド10(図1A)の入力画像Iの行12は、出力グリッド18(図1B)の出力画像Oの行20に非線形縮小される。同様に、スケールファクタbの割り当てに基づいて、b>1の場合、入力から出力画像へ変換する際に列数の増加があり、それ自体、入力グリッド10(図1A)の入力画像Iの列14は、出力グリッド18(図1B)の出力画像Oの列22に非線形拡大される。0<b<1の場合、入力から出力画像に変換する際に列数の減少があり、入力グリッド10(図1A)の入力画像Iの列14は、出力グリッド18(図1B)の出力画像Oの列22に非線形縮小される。
【0016】
図2Aは、本発明の方法による線形拡大あるいは縮小解像度変換の好ましい実施例に関するディジタル化ビデオ画像I(図示せず)をプロットするために使用されるグラフ入力グリッド34の図である。入力グリッド34は、行(ライン)36および列(ピクセル)38を特徴とし、各入力グリッド位置は、行番号iおよび列番号jの座標によって識別可能である。I(i,j)は、入力グリッド34でプロットでき、入力グリッド34のその位置座標は行iおよび列jによって示されるディジタル化入力画像(図示せず)のピクセル40の値を示している。サイズがM行×N列のディジタル入力画像Iの場合、位置指標(i,j)は、次のように入力画像サイズに制限される。すなわち、i:0,1,2,...M−1;およびj:0,1,2,...N−1である。一般に、指標iおよびjは実数あるいは整数であり得る。本発明のこの好ましい実施例では、位置座標行iおよび列j、および対応する位置指標(i,j)は、入力グリッド34のピクセル40の整数値位置指標に変換する整数(すなわち、実数でない)である。既知解像度を有するディジタル化ビデオ画像Iは、異なる解像度を有するディジタル化出力グリッド上でその表示を可能にするために線形拡大あるいは縮小画像解像度変換を行うためにある。
【0017】
図2Bは、本発明の方法による線形拡大あるいは縮小画像解像度変換の好ましい実施例に関する図2Aの解像度変換ディジタル化ビデオ画像(図示せず)をプロットするために使用される最初は空の値のグラフ出力グリッド42の図である。出力グリッド42は、行(ライン)44および列(ピクセル)46を特徴とし、各出力グリッド位置は、行番号sおよび列番号tの座標によって識別可能である。O(s,t)は、出力グリッド42でプロットでき、出力グリッド42のその位置座標が行s、および列tによって示されるディジタル化出力画像(図示せず)のピクセル48の値を示す。サイズM1行×N1列のディジタル出力画像の場合、位置指標(s,t)は、次のように入力画像サイズに制限される。すなわち、s:0,1,2,...M−1−1;およびt:0,1,2,...N−1−1である。一般に、指標sおよびtは実数あるいは整数であり得る。本発明のこの好ましい実施例では、位置座標行sおよび列t、および典型的なピクセル48の対応する位置指標(s,t)は、出力グリッド42の整数(すなわち、実数でない)値である。
図2Cは、本発明の方法による線形拡大あるいは縮小画像解像度変換の好ましい実施例に関する出力グリッド42(図2B)と入力グリッド34(図2A)との間のマクロレベル関係を示すグラフ接続グリッド50の図である。接続グリッド50の有用性は、出力グリッド42(図2B)のピクセル位置を入力グリッド34(図2A)のピクセル位置に関連づけ、画像解像度変換中線形効果を考慮することにある。接続グリッド50は、行(ライン)52および列54を特徴とし、各接続グリッド位置は、行番号yiおよび列番号xjの座標によって識別可能である。一般に、指標yiおよびxjは実数あるいは整数であり得る。本発明のこの好ましい実施例では、位置座標行yiおよび列xiおよび典型的なピクセル位置56の対応する位置指標(yi,xj)は、接続グリッド50の実数(すなわち整数でない)値である。
【0018】
接続グリッド50(図2C)では、行yの下つき添え字iおよび列xの下つき添え字jは、出力グリッド42(図2B)でプロットできる出力画像O(s,t)(図示せず)の位置座標、すなわち指標と入力グリッド34(図2A)でプロットできる入力画像I(i,j)の位置座標、すなわち指標との間で関連づけるかあるいは接続するために使用される。接続グリッド50の典型的なピクセル位置指標(yi,xj)56は、入力グリッド34(図2A)でプロットできる入力画像I(i,j)のピクセル40の正確な位置を示す実位置指標である。
本発明の拡大あるいは縮小画像解像度変換の好ましい実施例の線形の場合、出力グリッド42(図2B)の出力指標(s,t)と入力グリッド34(図2A)の入力指標(i,j)との間の線形関係は、下記のように関数的に示される。すなわちyi=Fi(s,t,a,b,λ1,μ1)およびxj=Fj(s,t,a,b,λ2,μ2)である。FiおよびFjは、線形ピクセル位置制御関数であり、λ1,μ1,λ2,およびμ2は、入力グリッド10(図1A)から出力グリッド18(図1B)までの画像解像度変換中使用されてもよい自由パラメータであり、aおよびbは、出力を入力画像サイズに関連づけるスケールファクタ(比)であり、a=M1/M、すなわち(出力画像Oの行数)/(入力画像Iの行数)およびb=N1/N、すなわち(出力画像Oの列数)/(入力画像Iの列数)、ここでa>0およびb>0は実正数である。
スケールファクタa>1の場合、入力から出力画像に変換する際に行数の増加があり、入力グリッド34(図2A)の入力画像Iの行36は、出力グリッド42(図2B)の出力画像Oの行44に線形拡大される。0<a<1の場合、入力から出力画像に変換する際に行数の減少があり、入力グリッド34(図2A)の入力画像Iの行36は、出力グリッド42(図2B)の出力グリッドOの行44に線形縮小される。スケールファクタb>1の場合、入力から出力画像へ変換する際に列数の増加があり、入力グリッド34(図2A)の入力画像Iの列38は、出力グリッド42(図2B)の出力画像Oの列46に線形拡大される。0<b<1の場合、入力から出力画像に変換する際に列数の減少があり、入力グリッド34(図2A)の入力画像Iの列38は、出力グリッド42(図2B)の出力画像Oの列46に線形縮小される。
【0019】
図3は、本発明による拡大あるいは縮小画像解像度変換の非線形および線形方法の好ましい実施例のフロー図である。図3に示された本発明による拡大あるいは縮小画像解像度変換の非線形および線形方法の好ましい実施例は、一般に非線形の拡大あるいは縮小画像解像度変換の場合、あるいは線形の拡大あるいは縮小画像解像度変換の場合のいずれかに適用できる。非線形あるいは線形の拡大あるいは縮小画像解像度変換の場合に対する本発明のこの好ましい実施例の用途の特定の差異は図3の下記の説明にはっきりと示される。
図3において、拡大あるいは縮小画像解像度変換の非線形および線形方法の各々の通常の応用可能な動作原理ステップは番号付けられ、枠内に納められる。図3の下記の説明に生じる表示および記号は、非線形の拡大あるいは縮小画像解像度変換の特定の場合に対して、図1A、図1B、および図1Cの説明に使用される表示および記号と一致し、線形の拡大あるいは縮小画像解像度変換の特定の場合に対して、図2A、図2B、および図2Cの説明で使用される表示および記号と一致している。図3の説明に含まれているのは、関連用語の定義、数式、および図3に示された拡大あるいは縮小画像解像度変換の非線形および線形方法の示された動作原理方法ステップをさらに示す1つあるいはそれ以上のサブステップである。サブステップは括弧の文字で示され、乗算演算はアステリスク(*)によって示される。
【0020】
次に図3を参照すると、本発明による拡大あるいは縮小画像解像度変換の非線形および線形方法の好ましい実施例は下記の通りである。
ステップ1では、既知解像度を有する入力画像および異なる解像度を有するその目標出力画像が特徴づけられる。ステップ(a)では、入出力画像グリッドおよびこのグリッドのそれぞれの座標系は、下記のように規定され、設定される(非線形画像解像度変換の場合に対して図1Aおよび図1B;および線形画像解像度変換の場合に対して図2Aおよび図2B)。
I(i,j)は、入力グリッド(図1Aの10、あるいは図2Aの34)でプロットでき、入力グリッド(図1Aの10、あるいは図2Aの34)のその位置座標が行iおよび列jで示されるディジタル化入力画像(図示せず)のピクセル(図1Aの16、あるいは図2Aの40)の値を示す。サイズがM行×N列のディジタル入力画像Iの場合、位置指標(i,j)は下記のように入力画像サイズに制限される。すなわち、i:0,1,2,...M−1;およびj:0,1,2,...N−1である。一般に、指標iおよびjは実数あるいは整数であり得る。本発明のこの好ましい実施例では、位置座標行iおよび列jおよび対応する位置指標(i,j)は、入力ピクセル(図1Aの16、あるいは図2Aの40)の整数値位置指標に変換する整数(すなわち、実数でない)である。
【0021】
O(s,t)は、最初が空の値の出力グリッド(図1Bの18、あるいは図2Bの42)でプロットでき、出力グリッド(図1Bの18、あるいは図2Bの42)のその位置座標が行sおよび列tで示されるディジタル化入力画像(図示せず)のピクセル(図1Bの24、あるいは図2Bの48)の値を示す。サイズがM1行×N1列のディジタル出力画像Oの場合、位置指標(s,t)は下記のように出力画像サイズに制限される。すなわち、s:0,1,2,...M1−1;およびt:0,1,2,...N1−1である。一般に、指標sおよびtは実数あるいは整数であり得る。本発明のこの好ましい実施例では、位置座標行sおよび列tおよび対応する位置指標(s,t)は、出力ピクセル(図1Bの24、あるいは図2Bの48)の整数値位置指標に変換する整数(すなわち、実数でない)である。
ステップ1のステップ(b)では、下記のように入力画像Iを目標出力画像Oに変換する際に、行数および列数の変化に基づいて、画像サイズの変化による入力画像解像度の拡大、縮小、あるいは混合モード拡大および縮小のようなスケーリングモードの決定が行われる。
【0022】
出力を入力画像サイズに関連づけるスケーリングファクタ(比)のようなaおよびbを規定する。ここで、a=M1/M、すなわち(出力画像Oの行数)/(入力画像Iの行数)およびb=N1/N、すなわち(出力画像Oの列数)/(入力画像Iの列数)、ここでa>0およびb>0は実正数である。
スケールファクタa>1の場合、入力から出力画像に変換する際に行数の増加がある。入力グリッド10(図1A)の入力画像Iの行12は、出力グリッド18(図1B)の出力画像Oの行20に非線形拡大されるかあるいは入力グリッド34(図2A)の入力画像Iの行36は、出力グリッド42(図2B)の出力画像Oの行44に線形拡大される。0<a<1の場合、入力から出力画像に変換する際に行数の減少がある。入力グリッド10(図1A)の入力画像Iの行12は、出力グリッド18(図1B)の出力画像Oの行20に非線形縮小されるかあるいは入力グリッド34(図2A)の入力画像Iの行36は、出力グリッド42(図2B)の出力画像Oの行44に線形縮小される。
【0023】
スケールファクタb>1の場合、入力から出力画像へ変換する際に列数の増加がある。入力グリッド10(図1A)の入力画像Iの列14は、出力グリッド18(図1B)の出力画像Oの列22に非線形拡大されるかあるいは入力グリッド34(図2A)の入力画像Iの列38は、出力グリッド42(図2B)の出力画像Oの列46に線形拡大される。0<b<1の場合、入力から出力画像に変換する際に列数の減少がある。入力グリッド10(図1A)の入力画像Iの列14は、出力グリッド18(図1B)の出力画像Oの列22に非線形縮小されるかあるいは入力グリッド34(図2A)の入力画像Iの列38は、出力グリッド42(図2B)の出力画像Oの列46に線形縮小される。
ステップ1のステップ(c)では、画像解像度変換が下記のように入力画像のアスペクト比に対する出力画像のアスペクト比の比により非線形かあるいは線形であるかどうかの決定が行われる。
すなわち、
M1:N1=出力画像アスペクト比。
M:N=入力画像アスペクト比。
M1:N1≠M:Nの場合、非線形拡大あるいは非線形縮小画像解像度変換は、好ましくは、入力画像(図1Aの10)に適用される。
M1:N1=M:Nの場合、線形拡大あるいは線形縮小画像解像度変換は、好ましくは入力画像(図2Aの34)に適用される。
【0024】
ステップ2では、入力画像(図1Aの10、あるいは図2Aの34)は、標準FIR畳み込み方法により、FIR(有限インパルス応答フィルタ)で畳み込まれる。
ステップ3では、出力画像グリッド(図1Bの18、あるいは図2Bの42)のピクセル位置(s,t)を入力画像グリッド(図1Aの10、あるいは図2Aの34)に関連づけるために使用されるピクセル位置制御関数が規定される。非線形あるいは線形の拡大あるいは縮小画像解像度変換のいずれかに適用可能であるピクセル位置制御関数の一般形式は下記のように示される。
入力画像(図1Aの10、あるいは図2Aの34)の座標iのスケーリング行の場合、Fi=F(s,t,a,b,λ1,μ1)および
入力画像(図1Aの10、あるいは図2Aの34)の座標jのスケーリング列の場合、Fi=F(s,t,a,b,λ2,μ2)、ここで、λ1,μ1,λ2,およびμ2は、入力グリッド(図1Aの10、あるいは図2Aの34)から出力グリッド(図1Bの18、あるいは図2Bの42)までの画像解像度変換中の非直線性の大きさを制御する自由パラメータであり、aおよびbは出力を入力画像サイズに関連づけるスケールファクタ(比)であり、ここでa=M1/M、およびb=N1/Nであり、ここでa>0およびb>0は実正数である。非線形拡大あるいは縮小画像解像度変換の場合、非線形位置制御関数は、好ましくは接続グリッド(図1Cの26)にある出力画像ピクセルの実位置座標を計算する際に使用される。線形拡大あるいは縮小画像解像度変換の場合、線形位置制御関数は、好ましくは接続グリッド(図2Cの50)にある出力画像ピクセルの実位置座標を計算する際に使用される。
ステップ3も、予め規定されたピクセル位置制御関数による出力画像および入力画像(非線形画像解像度変換の場合は図1C;および線形画像解像度変換の場合は図2C)の位置間の接続に基づいたおよびこの接続をグラフで示す接続グリッドおよびその関連座標系の定義および設定を含む。具体的な目的のために、接続グリッドは、非線形および線形の拡大あるいは縮小画像解像度変換の各場合に対して規定され、設定される。
【0025】
非線形の拡大あるいは縮小画像解像度変換の場合、接続グリッド26(図1C)は、出力グリッド18(図1B)と入力グリッド10(図1A)との間のマクロレベル関係を示す。接続グリッド26(図1C)は、出力グリッド18(図1B)のピクセル位置を入力グリッド10(図1A)のピクセル位置に関連づけ、画像解像度変換中非線形効果を考慮する。接続グリッド26(図1C)は、行28および列30を特徴とし、各接続グリッド位置は、行番号yiおよび列番号xjの座標によって識別可能である。一般に、指標yiおよびxjは実数あるいは整数であり得る。本発明の好ましい実施例では、位置座標行yiおよびxjおよび典型的なピクセル位置32の対応する位置指標(yi,xj)は、接続グリッド26(図1C)で実数(すなわち、整数でない)値である。接続グリッド26(図1C)では、行yの下つき添え字iおよび列xの下つき添え字jは、出力グリッド18(図1B)でプロットできる出力画像O(s,t)の位置座標、すなわち指標と入力グリッド10(図1A)でプロットできる入力画像I(i,j)の位置座標、すなわち指標との間を関連づけるかあるいは接続するために使用される。接続グリッド26(図1C)の典型的なピクセル位置指標(yi,xj)32は、入力グリッド10(図1A)でプロットできる入力画像I(i,j)のピクセル16の正確な位置を示す実位置指標である。接続グリッド26(図1C)の実ピクセル位置座標(yi,xj)32は、予め規定されたピクセル位置制御関数の非線形形式を使用して計算されるのが好ましい。
【0026】
線形拡大あるいは縮小画像解像度変換の場合、接続グリッド50(図2C)は、出力グリッド42(図2B)と入力グリッド34(図2A)との間のマクロレベル関係を示す。接続グリッド50(図2C)の有用性は、出力グリッド42(図2B)のピクセル位置を入力グリッド34(図2A)のピクセル位置に関連づけ、画像解像度変換中線形効果を考慮することにある。接続グリッド50(図2C)は、行52および列54を特徴とし、各接続グリッド位置は行番号yiおよび列番号xjの座標によって識別可能である。一般に、指標yiおよびxjは実数あるいは整数であり得る。本発明のこの実施例では、位置座標行yiおよび列xjおよび典型的なピクセル位置56の対応する位置指標(yi,xj)は、接続グリッド50(図2C)の実数(すなわち、整数でない)値である。接続グリッド50(図2C)において、行yの下つき添え字iおよび列xの下つき添え字jは、出力グリッド42(図2B)でプロットでき出力画像O(s,t)の位置座標、すなわち指標と入力グリッド34(図2A)でプロットできる入力画像I(i,j)の位置座標、すなわち指標との間で関連づけるかあるいは接続するために使用される。接続グリッド50の典型的なピクセル位置指標(yi,xj)56は、入力グリッド34(図2A)でプロットできる入力画像I(i,j)のピクセル40の正確な位置を示す実位置指標である。接続グリッド26(図1C)の実ピクセル位置座標(yi,xj)32は、好ましくは予め規定されたピクセル位置制御関数の線形形式を使用して計算される。
【0027】
ステップ4では、入力画像グリッド内に埋め込まれた出力画像ピクセルの実位置座標は、ステップ3のピクセル位置制御関数を使用して計算される。具体的な目的で、出力画像ピクセルの実位置座標の計算は、非線形、および線形、拡大あるいは縮小画像解像度変換の各場合に対して示される。
非線形拡大あるいは縮小画像解像度変換(図1A、図1B、および図1C)の場合、ステップ3のピクセル位置制御関数を使用する、入力画像グリッド内に埋め込まれた出力画像ピクセルの実位置座標の計算に関する非線形拡大あるいは縮小画像解像度の3つのモード(a)、(b)、および(c)はここに特徴づけられている。非線形ピクセル位置制御関数の数値を求めるのに必要とされるパラメータおよびその値領域が説明される。
【0028】
非線形モード(a):垂直および水平非線形スケーリング、それによって入力画像グリッド10(図1A)の入力画像I(図示せず)の列数(the number of column)14(図1A)および行数(the number of row)12(図1A)は、出力画像グリッド(図1B)の出力画像O(図示せず)の列数22(図1B)および行数20(図1B)のそれぞれに非線形拡大あるいは縮小される。
行数の垂直非線形スケーリングの場合、パラメータA0、A1、およびA2を下記のように規定する。
U=λ2 *(b/a)、およびY=1/[(μ2 *b)+(1−μ2*a]、ここで、UおよびYは、パラメータA0、A1、およびA2の計算のために使用された画像解像度変換の非直線性の大きさに関連した下記の第2次多項式の係数の非直線性の大きさを制御するパラメータである。
TmpA0=[Y−1/a−U*(1/a−1/b)]/[U*(U−1)]、
TmpA1=1/b−1/a−TmpA0、
A0=TmpA0/(M12*M12)、
A1=TmpA1/M12、および
A2=1/b
TmpA0およびTmpA1は自由パラメータであり、M12は、ハーフサイズとして規定され、M12=M1/2として計算される、すなわちM12は、出力画像グリッド18(図1B)の出力画像Oの行数20(図1B)の1/2に等しい。M12の有用性は、出力画像ピクセルの実位置の計算を接続グリッド26(図1C)の中心で開始できることにある。これは、出力画像グリッド18(図1B)の出力画像Oのアスペクト比が入力画像グリッド10(図1A)の入力画像Iのアスペクト比に等しく保持される出力画像グリッド18(図1B)の対称解像度変換出力画像Oを中心外部から発生することになり、それによって出力画像グリッド18(図1B)の解像度変換出力画像Oの中心部は入力画像グリッド10(図1A)の元の入力画像の中心部をきっちりと示し、それによって画像解像度変換中の非線形効果による歪みは出力画像グリッド18(図1B)の新しく発生された出力画像Oのコーナーまで拡大される。
【0029】
s=0,1,2,...M1の場合の座標sを有する出力画像グリッド18(図1B)の各行20(図1B)に関して、下記の式を計算する。
r=s−M12、ここで、△rの範囲は−M2からM2−1までである。
Tangent_row=(A0*r *r)+A1*|△r|+A2、および
i=△r *(Tangent_row)+M2、ここでFiは、一般ピクセル位置制御関数の特定形式に相当する実数であり、入力画像グリッド10(図1A)の座標iのスケーリング係数に対して、Fi=F(s,t,a,b,λ1,μ1)である。接続グリッド26(図1C)にある出力ピクセル24(図1Bの出力画像グリッド18にある)の実位置(yi,xj)の行座標yiは、下記のようにFiから計算される。
i=Fi=△r *(Tangent_row)+M2
列数の水平非線形スケーリングの場合、パラメータP0、P1、およびP2を下記のように規定する。
【0030】
W=λ1 *(a/b)、およびV=1/[(λ1 *a)+(1−λ1*b]、WおよびVは、パラメータP0、P1、およびP2の計算のために使用される画像解像度変換の非直線性の大きさに関連する下記の2次多項式の係数の非直線性の大きさを制御するパラメータである。
TmpP0=[V−1/a−W*(1/b−1/a)]/[W*(W−1)]、
TmpP1=1/b−1/a−TmpP0、
P0=TmpP0/(N12*N12)、
P1=TmpP1/N12、および
P2=1/a
TmpP0およびTmpP1は自由パラメータであり、N12は、ハーフサイズとして規定され、N12=N1/2として計算される、すなわちN12は、出力画像グリッド18(図1B)の出力画像Oの列数22(図1B)の1/2に等しい。N12の有用性は、出力画像ピクセルの実位置の計算を接続グリッド26(図1C)の中心で開始できることにある。これは、出力画像グリッド18(図1B)の出力画像Oのアスペクト比が入力画像グリッド10(図1A)の入力画像Iのアスペクト比に等しく保持される出力画像グリッド18(図1B)の対称解像度変換出力画像Oを中心外部から発生することになり、それによって出力画像グリッド18(図1B)の解像度変換出力画像Oの中心部は入力画像グリッド10(図1A)の元の入力画像の中心部をきっちりと示し、それによって画像解像度変換中の非線形効果による歪みは出力画像グリッド18(図1B)の新しく発生された出力画像Oのコーナーまで拡大される。
【0031】
t=0,1,2,...M1の場合の座標tを有する出力画像グリッド18(図1B)の各列22(図1B)に関して、下記の式を計算する。
c=t−N12、ここで、△cの範囲は−N2からN2−1までである。
Tangent_column=(P0*c *c)+P1*|△c|+P2、および
j=△c *(Tangent_column)+N2、ここでFjは、一般ピクセル位置制御関数の特定形式に相当する実数であり、入力画像グリッド10(図1A)の座標jのスケーリング係数に対して、Fj=F(s,t,a,b,λ2,μ2)である。接続グリッド26(図1C)にある出力ピクセル24(図1Bの出力画像グリッド18にある)の実位置(yi,xj)の列座標xjは、下記のようにFjから計算される。
j=Fj=△c *(Tangent_column)+N2
したがって、出力画像Oの行数および列数のそれぞれに対する入力画像Iの行数および列数の両方の垂直および水平の非線形スケーリングを特徴とする非線形モード(a)の場合、入力画像グリッド内に埋め込まれた出力画像ピクセルの実位置座標(yi,xj)の計算は、ステップ3のピクセル位置制御関数の特定の形式を使用して下記のように行われる。
i=Fi=△r *(Tangent_row)+M2、および
j=Fj=△c *(Tangent_column)+N2
【0032】
非線形モード(b):垂直非線形スケーリングのみ、それによって入力画像グリッド10(図1A)の入力画像I(図示せず)の行数12(図1A)は、出力画像グリッド18(図1B)の出力画像O(図示せず)の行数20(図1B)に非線形拡大あるいは縮小される。入力画像グリッド10(図1A)の座標iのスケーリング行に対する一般ピクセル位置制御関数Fi=F(s,t,a,b,λ1,μ1)の特定の形式は、垂直非線形スケーリングの場合の非線形スケーリングモード(a)のFi=△r *(Tangent_row)+M2の形式と同じであり、ここでFiは実数である。接続グリッド26(図1C)にある出力ピクセル24(図1Bの出力画像グリッド18にある)の実位置(yi,xj)の行座標yiは、Fiから下記のように計算される。
i=Fi=△r *(Tangent_row)+M2
入力画像グリッド10(図1A)の入力画像Iの列数14(図1A)は、下記のように出力画像グリッド18(図1B)の出力画像Oの列数22(図1B)に線形拡大あるいは縮小される。
座標tを有する出力画像グリッド18の各列22(図1B)に関して、t=0、1、2、...N1の場合、下記のように計算する。
【0033】
j=t/b、ここで、Fjは、入力画像グリッド10(図1A)の座標jのスケーリング列に対して一般ピクセル位置制御関数Fj=F(s,t,a,b,λ2,μ2)の特定の形式に相当する実数である。接続グリッド26(図1C)にある出力ピクセル24(図1Bの出力画像グリッド18にある)の実位置(yi,xj)の列座標xjは、下記のようにFjから計算される。
j=Fj=t/b
したがって、出力画像Oの行数に対する入力画像Iの行数だけの垂直非線形スケーリングおよび出力画像Oの列数に対する入力画像Iの列数の線形スケーリングを特徴とする非線形モード(b)の場合、入力画像グリッド内に埋め込まれた出力画像ピクセルの実位置座標(yi,xj)の計算は、下記のようにステップ3のピクセル位置制御関数の特定の形式を使用して行われる。
i=Fi=△r *(Tangent_row)+M2、および
j=Fj=t/b
【0034】
非線形モード(c):水平非線形スケーリングのみ、それによって入力画像グリッド10(図1A)の入力画像I(図示せず)の列数14(図1A)は、出力画像グリッド18(図1B)の出力画像O(図示せず)の列数22(図1B)に非線形拡大あるいは縮小される。入力画像グリッド10(図1A)の座標jのスケーリング列に対する一般ピクセル位置制御関数Fj=F(s,t,a,b,λ2,μ2)の特定の形式は、水平非線形スケーリングの場合の非線形モード(a)のFj=△c *(Tangent_column)+N2の形式と同じであり、ここでFjは実数である。接続グリッド26(図1C)にある出力ピクセル24(図1Bの出力画像グリッド18にある)の実位置(yi,xj)の列座標xjは、Fjから下記のように計算される。
j=Fj=△c *(Tangent_column)+N2
入力画像グリッド10(図1A)の入力画像Iの行数12(図1A)は、下記のように出力画像グリッド18(図1B)の出力画像Oの行数20(図1B)に線形拡大あるいは縮小される。
座標sを有する出力画像グリッド18の各行20(図1B)に関して、s=0、1、2、...M1の場合、下記のように計算する。
【0035】
i=s/a、ここで、Fiは、入力画像グリッド10(図1A)の座標iのスケーリング列に対して一般ピクセル位置制御関数Fi=F(s,t,a,b,λ1,μ1)の特定の形式に相当する実数である。接続グリッド26(図1C)にある出力ピクセル24(図1Bの出力画像グリッド18にある)の実位置(yi,xj)の行座標yiは、下記のようにFiから計算される。
i=Fi=s/a
したがって、出力画像Oの列数に対する入力画像Iの列数だけの水平非線形スケーリングおよび出力画像Oの行数に対する入力画像Iの行数の線形スケーリングを特徴とする非線形モード(c)の場合、入力画像グリッド内に埋め込まれた出力画像ピクセルの実位置座標(yi,xj)の計算は、下記のようにステップ3のピクセル位置制御関数の特定の形式を使用して行われる。
i=Fi=s/a、および
j=Fj=△c *(Tangent_column)+N2
線形拡大あるいは縮小画像解像度変換(図2A、図2B、および図2C)の場合、ステップ3のピクセル位置制御関数を使用する入力画像グリッド内に埋め込まれた出力画像ピクセルの実位置座標の計算はここで特徴づけられる。
垂直線形スケーリングの場合、入力画像グリッド34(図2A)の入力画像I(図示せず)の行数36(図2A)は、下記のように出力画像グリッド42(図2B)の出力画像O(図示せず)の行数44(図2B)に線形拡大あるいは縮小される。
【0036】
座標sを有する出力画像グリッド42(図2B)の各行44(図2B)に関しては、s=0,1,2,...M1の場合、下記のように計算する。
i=s/a、ここで、Fiは、入力画像グリッド34(図2A)の座標iのスケーリング行に対する一般ピクセル位置制御関数Fi=F(s,t,a,b,λ1,μ1)の特定の形式に相当する実数である。接続グリッド50(図2C)にある出力ピクセル48(図2Bの出力画像グリッド42にある)の実位置(yi,xj)の行座標yiは、下記のようにFiから計算される。
i=Fi=s/a
水平線形スケーリングの場合、入力画像グリッド34(図2A)の入力画像I(図示せず)の列数38(図2A)は、下記のように出力画像グリッド42(図2B)の出力画像O(図示せず)の列数46(図2B)に線形拡大あるいは縮小される。
座標tを有する出力画像グリッド42(図2B)の各列46(図2B)に関しては、t=0,1,2,...N1の場合、下記のように計算する。
j=t/b、ここで、Fjは、入力画像グリッド34(図2A)の座標jのスケーリング列に対する一般ピクセル位置制御関数Fj=F(s,t,a,b,λ2,μ2)の特定の形式に相当する実数である。接続グリッド50(図2C)にある出力ピクセル48(図2Bの出力画像グリッド42にある)の実位置(yi,xj)の列座標xjは、下記のようにFjから計算される。
j=Fj=t/b
したがって、出力画像Oの行数に対する入力画像Iの行数の線形垂直スケーリングおよび出力画像Oの列数に対する入力画像Iの列数の線形水平スケーリングの場合、入力画像グリッド内に埋め込まれた出力画像ピクセルの実位置座標(yi、xj)の計算は、下記のようにステップ3のピクセル位置制御関数の特定の形式を使用して行われる。
i=Fi=s/a、および
j=Fj=t/b
【0037】
ステップ5では、出力画像ピクセル位置座標(非線形拡大あるいは縮小画像解像度変換の場合、図1Bの出力画像グリッド18の24、あるいは線形拡大あるいは縮小画像解像度変換の場合、図2Bの出力画像グリッド42の48)の実ピクセル位置座標(ステップ4の非線形あるいは線形ピクセル位置制御関数から計算された非線形拡大あるいは縮小画像解像度変換の場合、図1Cの接続グリッド26の32、あるいは線形拡大あるいは縮小画像解像度変換の場合、接続グリッド50の56)を囲む入力画像グリッド(非線形拡大あるいは縮小画像解像度変換の場合、図1Aの10、あるいは線形拡大あるいは縮小画像解像度変換の場合、図2Aの34)の隣接ピクセルの位置座標、すなわち指標の識別がある。
例として、各々が、接続グリッドに位置決めされた出力画像ピクセル位置の実ピクセル位置座標を囲む入力画像グリッドの隣接ピクセルの位置座標の識別の本発明の非線形あるいは線形の拡大あるいは縮小画像解像度変換のいずれかの場合に適用可能な2つの代替の好ましい実施例がここで特徴づけされる。第1の実施例は、9つの隣接ピクセル位置に基づいていて、第2の実施例は、4つの隣接ピクセル位置に基づいている。一般に、n個の隣接ピクセル位置は、本発明の方法のステップ5のために使用できる。
接続グリッドに位置決めされた出力画像ピクセル位置の実ピクセル位置座標を囲む入力画像グリッドの9つの隣接ピクセル位置を特徴とする第1の代替の好ましい実施例では、入力画像グリッド(非線形拡大あるいは縮小画像解像度変換の場合、図1Aの10、あるいは線形拡大あるいは縮小画像解像度変換の場合、図2Aの34)を接続グリッド(非線形拡大あるいは縮小画像解像度変換の場合、図1Cの26、あるいは線形拡大あるいは縮小画像解像度変換の場合、図2Cの50)に関連づける整数値入力グリッドピクセル位置と実数値接続グリッドピクセル位置との間のマイクロレベル関係を示すマイクログリッド58の図の参照が図4に対して行われる。
【0038】
図4のマイクログリッド58は、その対応する入力画像グリッドピクセル位置座標行i62および列j64を有する入力画像グリッド60およびその対応する接続グリッドピクセル位置座標行yi68および列xj70を有する接続グリッド66を特徴とする。接続グリッド位置座標(yi,xj)72は、ステップ4で予め計算された入力画像グリッド内に埋め込まれた出力ピクセル位置座標(s,t)の実位置座標を示している。整数値入力画像グリッドピクセル位置座標(i,j)は、下記のように実数値接続グリッドピクセル位置座標(yi,xj)から計算される。
i(整数値)=フロア(yi+0.5)、および
j(整数値)=フロア(xj+0.5)
一般に、ピクセル位置座標iおよびjは実数あるいは整数であり得る。本発明のこの好ましい実施例では、位置座標行iおよび列j、および対応する位置指標(i,j)は、フロア関数から計算される整数(すなわち、実数ではない)であるが、一般に他の関数はこの計算のために使用されてもよい。
【0039】
図4では、接続グリッド66の実数値接続グリッド位置座標(yi,xj)72を囲む入力画像グリッド60の9つの隣接ピクセルi1〜i9(例えば、i1として76)の整数値入力画像グリッド位置座標は、最も近い入力グリッドピクセルiN74の入力画像グリッドピクセル位置座標(i,j)から識別され、この位置座標(i,j)を含む。入力画像グリッド隣接ピクセルの奇数番号を特徴とする本発明の方法のこの他の好ましい実施例では、最も近い入力画像グリッドピクセルiN74の位置は、9つの入力画像グリッド隣接ピクセルi1〜i9の中心位置として選択され、割り当てられたピクセル位置座標(i,j)である。値i1、i2、i3、i4、i5、i6、i7、i8、およびi9を有する9つの入力画像グリッド隣接ピクセルは、下記のように下記の整数値入力画像グリッド座標、すなわち、(i−1,j−1)、(i−1,j)、(i−1,j+1)、(i,j−1)、(i,j)、(i,j+1)、(i+1,j−1)、(i+1,j)、および(i+1,j+1)のそれぞれに割り当てられる。
【0040】
ここに説明されているが、図示されていない第2の他の好ましい実施例は、接続グリッドに位置決めされた出力画像ピクセル位置の実ピクセル位置座標を囲む入力画像グリッドの4つの隣接ピクセル位置を特徴とする。実数値接続グリッド位置座標(yi,xj)を囲む整数値入力グリッド隣接ピクセル位置座標(i、j)は、下記のように実数値接続グリッドピクセル位置座標(yi,xj)から計算される。
i(整数値)=フロア(yi)、および
j(整数値)=フロア(xj
入力グリッド隣接ピクセルの奇数を特徴とする本発明の方法のこの他の好ましい実施例では、中心入力画像グリッド隣接ピクセルが全然ない。最も近い入力画像グリッドピクセルiNの整数値位置座標(i0,j0)は下記のように計算される。
0(整数値)=フロア(yi+0.5)、および
0(整数値)=フロア(xj+0.5)
一般に、ピクセル位置座標iおよびj、およびi0およびj0は実数あるいは整数であり得る。本発明のこの好ましい実施例では、位置指標(i,j)、および(i0,j0)は、フロア関数から計算される整数(すなわち、実数ではない)であるが、それぞれ一般に他の関数はこの計算のために使用されてもよい。
【0041】
接続グリッドの実数値接続グリッド位置座標(yi,xj)を囲む入力画像グリッドの4つの隣接ピクセルi1、i2、i3、およびi4の整数値位置座標は、下記のように、すなわち、(i,j)、(i,j+1)、(i,j+1)、および(i+1,j+1)それぞれに割り当てられる。これらの4つの隣接ピクセルの値から局所係数を計算する(ステップ7)目的で、入力画像グリッドの最も近いピクセルiNのピクセル位置座標(i0,j0)は4つの隣接ピクセル位置座標の一つとして割り当てられる。
9つあるいは4つの隣接ピクセル位置を特徴とする各他の好ましい実施例に適用可能なステップ6では、実数値出力ピクセル、あるいは接続グリッド、位置座標(yi,xj)(ステップ4で非線形あるいは線形ピクセル位置制御関数から計算される)と整数値隣接ピクセル位置(ステップ5で識別され、計算される)とのデルタ行およびデルタ列関数差は下記のように規定され、計算される。
i>0の場合、デルタ行、dr=(yi−i)*i、および
j>0の場合、デルタ列、dc=(xj−j)*j、ここでKiおよびKjは実数値パラメータであり、drおよびdcは実数である。デルタ行drおよびデルタ列dcは、9つあるいは4つのいずれかの隣接ピクセル位置を特徴とする具体的な他の実施例ならびに入力ピクセル位置を接続グリッドに位置決めされた実数値出力ピクセル位置に関連づけるマイクログリッドに構成されるようなm個の隣接ピクセル位置の場合の両方に適用可能である。
【0042】
9つの隣接ピクセル位置を特徴とする第1の他の好ましい実施例を示す図4では、マイクログリッド58のdr78は、デルタ行、すなわち入力グリッド60にある最も近い隣接ピクセルi5=iN74の整数値入力画像ピクセル位置座標(i,j)の行i62と接続グリッド66にある出力画像ピクセル位置の実数値ピクセル位置座標(yi,xj)72の行yi68との差を示す。同様に、マイクログリッド58のdc80は、デルタ列、すなわち入力グリッド60にある最も近い隣接ピクセルi5=iN74の整数値入力画像ピクセル位置座標(i,j)の列j64と接続グリッド66にある出力画像ピクセル位置の実数値ピクセル位置座標(yi,xj)72の列xj70との差を示す。
本発明の非線形、あるいは線形の拡大あるいは縮小画像解像度変換の場合のいずれかに適用可能なステップ7では、実ピクセル位置(ステップ4の非線形あるいは線形ピクセル位置制御関数から計算される)を囲む隣接ピクセル(その位置がステップ5で識別される)に対する既知値の割り当てがある。入力画像グリッド60(図4)の9つの隣接ピクセル位置を特徴とする第1の他の好ましい実施例(図4のマイクログリッド58)では、9つの隣接ピクセルの既知値は下記のように割り当てられる。
i1=I(i-1,j-1)、 i2=I(i-1,j)、 i3=I(i-1,j+1)、
i4=I(I,j-1)、 i5=iN=I(I,j)、 i6=I(I,j+1)、
i7=I(i+1,j-1)、 i8=I(i+1,j)、 および i9=I(i+1,j+1)
ここで、i5=iNは、接続グリッド66にある出力画像ピクセル位置の実数値ピクセル位置座標(yi,xj)72に最も近い図4の入力グリッドピクセル位置(i,j)74の値を示す。
【0043】
入力画像グリッドの4つの隣接ピクセル位置を特徴とする第2の好ましい他の実施例(図示せず)では、4つの隣接ピクセルの既知値は下記のように割り当てられる。
i1=I(I,j)、 i2=I(I,j+1)
i3=I(I,j+1)、 および i4=I(i+1,j+1)
ここで、接続グリッドの実数値接続グリッド位置座標(yi,xj)に最も近い入力画像グリッドピクセル位置(i0,j0)を有する入力画像グリッド隣接ピクセルiNの値は4つの入力画像グリッド隣接ピクセルi1、i2、i3、あるいはi4の値の中の1つから割り当てられる。
本発明の非線形、あるいは線形の拡大あるいは縮小画像解像度変換に適用可能なステップ8では、実ピクセル位置(ステップ4の非線形あるいは線形ピクセル位置制御関数から計算される)を囲む入力画像グリッド(ステップ7で割り当てられた)の隣接ピクセルの既知値からの局所係数の定義および計算がある。これらの局所係数の値は出力ピクセルの予備値を計算する際に使用される(ステップ9)。
接続グリッド66の実ピクセル位置72を囲む入力画像グリッド60の9つの隣接ピクセル76を特徴とする第1の他の好ましい実施例(図4のマイクログリッド58)では、9つの局所係数は、下記のように取り囲む9つの隣接ピクセルの既知値の線形結合を使用することによって規定され、計算される。
【0044】
ケース1:囲む隣接ピクセルの左へシフト
a1=+4*i1-8*i2+4*i3-8*i4+16*i5-8*i6+4*i7-8*i8+4*i9、
a2=-2*i1+2*i3+4*i4-4*i6-2*i7+2*i9、
a3=-2*i1+4*i2-2*i3+2*i7-4*i8+2*i9、
a4=+2*i2-4*i5+2*i8、
a5=+2*i4-4*i5+2*i6、
a6=+i1-i3-i7+i9、
a7=-i2+i8、
a8=-i4+i6、 および
a9=i5
ケース2:囲む隣接ピクセルの右へシフト
a1=+0.25*i1-0.5*i2+0.25*i3-0.5*i4+i5-0.5*i6+0.25*i7
-0.5*i8+0.25*i9、
a2=-0.25*i1+0.25*i3+0.5*i4-0.5*i6-0.25*i7+0.25*i9、
a3=-0.25*i1+0.5*i2-0.25*i3+0.25*i7-0.5*i8+0.25*i9、
a4=+0.5*i2-i5+0.5*i8、
a5=+0.5*i4-i5+0.5*i6、
a6=+0.25*i1-0.25*i3-0.25*i7+0.25*i9、
a7=-0.5*i2+0.5*i8、
a8=-0.5*i4+0.5*i6、 および
a9=i5
ケース1あるいはケース2は、囲む隣接ピクセルの局所係数の値を計算するために使用される。画像処理ハードウェアあるいはソフトウェアの実行によれば、これらの式は、ケース1あるいはケース2のそれぞれによる丸めを含む入力画像グリッド隣接ピクセル値i1〜i9を左あるいは右へシフトする線形結合によってこの係数を計算する有効な方法を提供する。ケース1の場合のこれの例は、局所係数a1の係数にあり、それによって成分+4*i1は、丸めを含む値i1を左に2回シフトすることに等しい。ケース2の場合のこれの例は、局所係数a1の係数にあり、それによって成分+0.25*i1は、丸めを含む値i1を右に2回シフトすることに等しい。
【0045】
接続グリッドに位置決めされた実ピクセル位置を囲む入力画像グリッドの4つの隣接ピクセルを特徴とする第2の他の好ましい実施例では、4つの局所係数は、下記のように囲む4つの隣接ピクセルの既知値の線形結合を使用することによって規定され、計算される。
a1=+i1+i4-(i2+i3)、
a2=+i3-i1、
a3=+i2-i1、 および
a4=+i1
ここで、4つの入力画像グリッド隣接ピクセルの線形組み合わせは、値i1〜i4をシフトすることを必要としないで4つの係数を計算するために使用される。
本発明の非線形、あるいは線形の拡大あるいは縮小画像解像度変換のいずれかの場合に適用可能なステップ9では、出力画像グリッド(非線形拡大あるいは縮小画像解像度変換の場合、図1Bの18、あるいは線形拡大あるいは縮小画像解像度変換の場合、図2Bの42)にある出力ピクセルの予備値は、Valとして規定され、計算される。本発明の方法のこの好ましい実施例では、出力画像ピクセルの整数値は、フロア関数を使用して計算されるが、一般に他の関数はこの計算のために使用されてもよい。
出力画像グリッド(図1Bの18、あるいは図2Bの42)の出力画像ピクセル位置の接続グリッド66の実ピクセル位置72を囲む入力画像グリッド60の9つの隣接ピクセル76を特徴とする第1の他の好ましい実施例(図4のマイクログリッド58)では、
Val=フロア[a1*dr2*dc2+a2*dr2*dc+a3*dr*dc2+a4*dr2+a5*dc2
+a6*dr*dc+a7*dr+a8*dc+a9+0.5]であり、
ここで、dr2=dr*dr、およびdc2=dc*dcは、ステップ6で規定され、計算されたデルタ行およびデルタ列関数差の平方として規定される。
【0046】
出力画像グリッド(図1Bの18、あるいは図2Bの42)の出力画像ピクセル位置の接続グリッドの実ピクセル位置を囲む入力画像グリッドの4つの隣接ピクセルを特徴とする第2の他の好ましい実施例では、
Val=フロア[a1*dr*dc+a2*dr+a3*dc+a4+0.5]である。
非線形、あるいは線形の拡大あるいは縮小画像解像度変換のいずれかに適用可能な本発明の方法では、出力画像座標系にある出力ピクセルの予備値を計算する一般手順は、n2個の隣接ピクセルを有する二次元入力画像に対する下記の差分規定を特徴とする。
Figure 0004351394
ここで、oは2つのベクトル間の内部乗算を示し、dx1〜dx2は、2次元接続グリッド座標系に対して規定された実数値出力画像位置と2次元入力画像グリッド座標系に対して規定された入力画像位置とのデルタ差である。j=1,2,...nに対するAjは、n2個の隣接ピクセルの既知値から計算された局所係数であり、ベクトルПp=1 2(1,dxp,dxp 2,...dxp n-1)は、下記のように(長さn2のベクトルを生じる)1回限りのドット乗算として規定される。
Пp=1 2(1,dxp,dxp 2,...dxp n-1)=(1,dx1,dx1 2,...dx1 n-1*(1,dx2,dx2 2,...dx2 n-1
例えば、n=3、n2=9個の隣接ピクセルの場合、結果として、
Пp=1 2(1,dxp,dxp 2,...dxp n-1)=(1,dx1,dx1 2*(1,dx2,dx2 2)=(1,dx1,dx1 2,dx2,dx1,dx2,dx2,dx1 2,dx2 2,dx2 2,dx1,dx2 2dx1 2
【0047】
非線形、あるいは線形の拡大あるいは縮小画像解像度変換のいずれかの方法に適用可能な本発明の方法では、出力画像座標系にある出力ピクセルの予備値を計算する一般手順は、vu個の隣接ピクセルを有するu次元の入力画像に対する下記の差分規定を特徴とする。
Figure 0004351394
ここで、oは2つのベクトル間の内部乗算を示し、成分(dx1,dx2,...dxu)は、u次元接続グリッド座標系に対して規定された実数値出力画像位置とu次元入力画像グリッド座標系に対して規定された入力画像位置とのu個の個別差である。j=1,2,...vuに対するAjは、u次元入力画像グリッド座標系に対して規定されたvu個の隣接ピクセルの既知値から計算された局所係数であり、ベクトルПp=1 2(1,dxp,dxp 2,...dxp v-1)は、下記のように(長さvuのベクトルを生じる)u回のドット乗算として規定される。
Пp=1 u(1,dxp,dxp 2,...dxp v-1)=(1,dx1,dx1 2,...dx1 v-1*(1,dx2,dx2 2,...dx2 v-1***(1,dxu,dxu 2,...dxu v-1
本発明の非線形、あるいは線形の拡大あるいは縮小画像解像度変換のいずれかの場合に適用可能なステップ10では、出力画像グリッド(図1Bの18、あるいは、図2Bの42)にある出力画像ピクセルO(s,t)の最終値が、計算され、割り当てられる。
【0048】
出力画像グリッド(図1Bの18、あるいは図2Bの42)の出力画像ピクセル位置の接続グリッド66の実ピクセル位置72を囲む入力画像グリッド60の9つの隣接ピクセル76を特徴とする第1の他の好ましい実施例(図4のマイクログリッド58)では、出力画像ピクセルO(s,t)の最終値は、下記の通りである。
0≦p≦1の場合、Val_out=p*Val+(1−p)*iN
ここで、Valは(ステップ9で計算された)出力画像ピクセルの予備値であり、pは、パラメータであり、iN=i5は、マイクログリッド58(図4)の接続グリッド66にある出力画像ピクセル位置の実数値ピクセル位置座標(yi、xj)72に最も近い入力画像グリッドピクセル位置(i,j)74の値を示し、および
O(s,t)=Val_outである。
出力画像グリッド(図1Bの18、あるいは図2Bの42)の出力画像ピクセル位置の接続グリッドの実ピクセル位置を囲む入力画像グリッドの4つの隣接ピクセルを特徴とする第2の他の好ましい実施例では、出力画像ピクセルO(s,t)の最終値は、下記の通りである。
0≦p≦1の場合、Val_out=p*Val+(1−p)*iN
ここで、Valは(ステップ9で計算された)出力画像ピクセルの予備値であり、pは、パラメータであり、iNは、接続グリッドに位置決めされた出力画像ピクセル位置の実数値ピクセル位置座標(yi,xj)に最も近い入力画像グリッドピクセル位置(i,j)の値を示し、および
O(s,t)=Val_outである。
【0049】
本発明の非線形、あるいは線形の拡大あるいは縮小画像解像度変換のいずれかの場合に適用可能なステップ11では、出力画像グリッド(図1Bの18、あるいは、図2Bの42)にある次の出力画像ピクセル最終値は、ステップ1〜10を繰り返すことによって計算され、割り当てられる。
ステップ12では、本発明の非線形および線形の拡大あるいは縮小画像解像度変換の方法は、表示スクリーン上への非線形あるいは線形の拡大、縮小、あるいは混合モード拡大/縮小解像度変換画像の表示を特徴とする。
下記のことは、本発明の非線形および線形の拡大あるいは縮小画像解像度変換の方法の好ましい実施例に適用可能な付加的な一般特徴である。
1.入力画像が印刷機におけるような2つのレベルのピクセル値(白黒)を特徴とする場合、各カラー成分をグレースケール値に変換し、それによって0は0に変換され、1は255に変換される。この手順は2つのレベルをバイトグレースケールレベルに変える。したがって、入力画像は、ステップ1〜11に従うことによって本発明の方法に従って解像度変換される。出力画像はグレースケールである。出力画像を減少させるためのディザリングアルゴリズムの使用は2つのレベルに戻る。
2.入力画像がグレースケール画像である場合、入力画像がステップ1〜11に従うことによって本発明の方法に従って解像度変換される。
3.入力画像がRGBあるいはCMYのようなカラー画像である場合、赤、緑、および青のような各カラー成分は、ステップ1〜11に従うことによって本発明の方法に従って解像度変換される。
4.入力画像がYUVあるいはYCrCbのような輝度およびクロミナンスとしてフォーマット化されたビデオ画像である場合、画像処理装置のハードウェアあるいはソフトウェア属性による下記のケースからの選択がある。
【0050】
ケース1:ステップ1〜11に従うことによって本発明の方法に従って各輝度およびクロミナンス成分の画像解像度変換を実行する。
ケース2:ステップ1〜11に従うことによって本発明の方法に従って輝度成分の画像解像度変換を実行する。ステップ1〜11に従って本発明の方法によるクロミナンス成分の画像解像度変換を実行するが、ステップ5〜ステップ11で、4つの隣接ピクセル位置および4つの隣接ピクセルの値から計算された4つの係数を特徴とする第2の他の実施例を使用する。
ケース3:ステップ1〜11に従うことによって本発明の方法に従って輝度成分の画像解像度変換を実行する。iNが出力ピクセルの出力値になることによってクロミナンス成分の画像解像度変換を実行する。
本発明は、その一般的な特定の実施例とともに説明されたが、多数の代替、修正および変更は当業者に明らかであることは明白である。したがって、添付された特許請求の範囲の精神および広い範囲内にある全てのこのような代替、修正および変更を含むことを目的としている。
【図面の簡単な説明】
【図1】 Aは本発明の方法による非線形拡大あるいは縮小画像解像度変換の好ましい実施例に関するディジタル化ビデオ画像(図示せず)をプロットするために使用される入力グリッドの図、Bは本発明の方法による非線形拡大あるいは縮小画像解像度変換の好ましい実施例に関するAの解像度変換ディジタル化ビデオ画像(図示せず)をプロットするために使用される出力グリッドの図、Cは本発明の方法による非線形拡大あるいは縮小画像解像度変換の好ましい実施例に関するAの入力グリッドとBの出力グリッドとのマクロレベル関係を示す接続グリッドの図である。
【図2】 Aは本発明の方法による線形拡大あるいは縮小画像解像度変換の好ましい実施例に関するディジタル化ビデオ画像(図示せず)をプロットするために使用される入力グリッドの図、Bは本発明の方法による線形拡大あるいは縮小画像解像度変換の好ましい実施例に関するAの解像度変換ディジタル化ビデオ画像(図示せず)をプロットするために使用される出力グリッドの図、Cは本発明の方法による線形拡大あるいは縮小画像解像度変換の好ましい実施例に関するAの入力グリッドとBの出力グリッドとのマクロレベル関係を示す接続グリッドの図である。
【図3】 本発明による拡大あるいは縮小画像解像度変換の非線形および線形方法の好ましい実施例のフロー図である。
【図4】 本発明の方法による非線形および線形拡大あるいは縮小画像解像度変換の好ましい実施例に関する9つの最も接近した隣接ピクセル位置を特徴とする図1Aの入力グリッドと出力ピクセルの実値ピクセル位置を特徴とする図1Cの接続グリッドとのマイクロレベル関係あるいは9つの最も接近した隣接ピクセル位置を特徴とする図2Aの入力グリッドと出力ピクセルの実値ピクセル位置を特徴とする図2Cの接続グリッドとのマイクロレベル関係のいずれかを示す図である。
【符号の説明】
10 グラフ入力グリッド(入力グリッド、入力画像グリッド、入力画像)、12 行(行数)、14 列(列数)、16 ピクセル(入力ピクセル)、18 グラフ出力グリッド(出力グリッド、出力画像グリッド)、20 行、22 列、24 ピクセル(出力ピクセル)、26 グラフ接続グリッド(接続グリッド)、28 行、30 列、32 典型的なピクセル位置指標(yi,xj)(典型的なピクセル位置、接続グリッド指標、実ピクセル位置座標)、34 グラフ入力グリッド(入力グリッド、入力画像、入力画像グリッド)、36 (入力画像Iの)行(行数)、38 (入力画像Iの)列(列数)、40 ピクセル、42 グラフ出力グリッド(出力グリッド、出力画像グリッド)、44 行(行数)、46 列(列数)、48 ピクセル(出力ピクセル)、50 グラフ接続グリッド(接続グリッド)、52 行、54 列、56 典型的なピクセル位置(典型的なピクセル位置指標)、58 マイクログリッド、60 入力画像グリッド(入力グリッド)、62 入力画像グリッドピクセル位置座標行i、64 入力画像グリッドピクセル位置座標列j、66 接続グリッド、68 接続グリッドピクセル位置座標行y(行y)、70 接続グリッドピクセル位置座標列x、72 接続グリッド位置座標(yi,xj)(実数値ピクセル位置座標(yi,xj)、実ピクセル位置)、74 最も近い入力(画像)グリッドピクセルiN(入力グリッドピクセル位置)、76 隣接ピクセル。

Claims (12)

  1. 画像解像度変換方法であって、
    (a)データプロセッサによって、複数のピクセルを特徴とする入力画像を、入力画像グリッド座標系を特徴とする入力画像グリッドでプロットするステップと、
    (b)データプロセッサにより接続グリットを用いて、出力画像グリッド座標系を有する出力画像グリッドを前記入力画像グリッド座標系を有する入力画像グリッドに関連づける、制御関数を提供するステップと、
    (c)データプロセッサによって、前記出力画像グリッドに位置決めされた複数の出力ピクセル位置の各々の前記接続グリッドに位置決めされた位置座標を実数として前記制御関数から計算するステップと、
    (d)データプロセッサによって、複数の出力ピクセル位置の各前記位置座標を囲む前記入力画像グリッドに位置決めされた隣接ピクセルの位置座標を決定するステップと、
    (e)データプロセッサによって、前記複数の出力ピクセル位置の前記位置座標と前記入力画像グリッドに位置決めされた最も近い前記隣接ピクセルの前記位置座標との差を計算するステップと、
    (f)データプロセッサによって、前記複数の出力ピクセル位置の各々に対して、係数を前記複数の出力ピクセル位置の前記位置座標を囲む前記隣接ピクセルの既知値から計算するステップと、
    (g)データプロセッサによって、前記出力画像グリッドに位置決めされた前記複数の出力ピクセルの各々に対する値を前記ピクセル、およびn個の前記隣接ピクセルを特徴とする二次元画像に対する、2つのベクトル間の内積を含み、前記2つのベクトルの第1のベクトルが、複数の出力ピクセル位置の各々の二次元の前記接続グリッド座標系に対して規定された各前記位置座標と二次元の前記入力画像座標系に対して規定された前記n個の隣接ピクセルの前記位置座標との差の1回のドット乗算を特徴とし、および前記2つのベクトルの第2のベクトルが、前記n個の隣接ピクセルの前記既知値から計算された前記係数を特徴とする差分規定から計算するステップと、
    (h)データプロセッサによって、前記出力画像グリッドに位置決めされた前記複数の前記出力ピクセルの各々の値によって特徴つけられた出力画像を得るステップと、を含む画像解像度変換方法
  2. 前記制御関数が、出力ピクセル位置座標、画像スケーリング、および自由パラメータの関数からなり、前記自由パラメータが、前記入力画像グリッドから前記出力画像グリッドへの非線形画像解像度変換の非線形性を制御するために使用される実数である請求項1記載の方法。
  3. 前記接続グリッド座標系を有する前記接続グリッドが、前記入力画像グリッド座標系内に埋め込まれ、前記接続グリッド座標系を有する前記接続グリッドが、前記出力画像ピクセル位置座標に対応する前記実ピクセル位置座標を探索するために使用される請求項1記載の方法。
  4. 前記出力画像グリッドに位置決めされた前記複数の出力ピクセルの各々に対する前記値を計算するステップが、前記ピクセルを特徴とし、およびv u 個の前記隣接ピクセルを特徴とするu次元の画像に対する差分規定からであり、前記差分規定が、
    Figure 0004351394
    を含み、
    それによって、 o は、2つのベクトル間の前記内積を示し、前記dx 1 〜dx u が、u次元前記接続グリッド座標系に対して規定された前記実数値出力画像位置とu次元の前記入力グリッド座標系に対して規定された前記入力画像位置との前記差であり、j=1,2,...v u の場合の前記A j が、前記u次元の入力画像グリッド座標系に対して規定された前記v u 個の隣接ピクセルの前記既知値から計算された前記係数であり、および前記ベクトルП p=1 u (1,dx p ,dx p 2 ,...dx p v-1 )が、(u−1)回のドット乗算П p=1 u (1,dx p ,dx p 2 ,...dx p v-1 )=(1,dx 1 ,dx 1 2 ,...dx 1 v-1 * (1,dx 2 ,dx 2 2 ,...dx 2 v-1 *** (1,dx u ,dx u 2 ,...dx u v-1 )として規定され、それによって前記(u−1)回のドット乗算が長さv u のベクトルを生じる請求項1記載の方法。
  5. 前記入力画像が、白黒、グレイスケール、カラー、およびビデオからなるグループから選択される請求項1記載の方法。
  6. データプロセッサによる制御関数の使用を特徴とする画像解像度変換方法であって、前記制御関数が、接続グリッド座標系を有する接続グリッドを用いて、前記制御関数および前記接続グリッドの各々が出力画像グリッド座標系を有する出力画像グリッドを入力画像グリッド座標系を有する入力画像グリッドに関連づける制御関数であることを特徴とする画像解像度変換方法。
  7. 前記制御関数が、出力ピクセル位置座標、画像スケーリング、および自由パラメータの関数からなり、前記自由パラメータが、前記入力画像グリッドから前記出力画像グリッドへの非線形画像解像度変換の非線形性を制御するために使用される実数である請求項6記載の方法。
  8. 前記接続グリッド座標系を有する前記接続グリッドが、前記入力画像グリッド座標系内に埋め込まれ、前記接続グリッド座標系を有する前記接続グリッドが、前記出力画像ピクセル位置座標に対応する前記実ピクセル位置座標を探索するために使用される請求項6記載の方法。
  9. 複数の出力ピクセルの各々に対して、係数を複数の出力ピクセル位置の位置座標を囲む隣接ピクセルの既知値から計算する前記制御関数を使用することをさらに含む請求項6記載の方法。
  10. データプロセッサによって、出力画像グリッドに位置決めされた複数の出力ピクセルの各々に対する値をピクセル、およびn 2 個の隣接ピクセルを特徴とする2次元画像に対する差分規定から計算することを特徴とする画像解像度変換方法であって、前記差分規定が2つのベクトル間の内積を含み、前記2つのベクトルの中の第1のベクトルが、複数の出力ピクセル位置の各々の2次元接続グリッド座標系に対して規定された各位置座標と2次元入力画像グリッド座標系に対して規定された前記n 2 個の隣接ピクセルの位置座標との差の一回限りのドット乗算を特徴とし、および前記2つのベクトルの中の第2のベクトルが、前記n 2 個の隣接ピクセルの既知値から計算された係数のセットを特徴とする画像解像度変換方法。
  11. 新しい前記係数のセットが前記複数の出力ピクセルの各々のために計算される請求項10記載の方法。
  12. 前記出力画像グリッドに位置決めされた前記複数の出力ピクセルの各々に対する値を計算することが、前記ピクセルを特徴とし、およびv u 個の前記隣接ピクセルを特徴とするu次元の画像に対する差分規定からであり、前記差分規定が、
    Figure 0004351394
    を含み、
    それによって、 o は、2つのベクトル間の前記内積を示し、前記dx 1 〜dx u が、u次元前記接続グリッド座標系に対して規定された前記実数値出力画像位置とu次元の前記入力グリッド座標系に対して規定された前記入力画像位置との前記差であり、j=1,2,...v u の場合の前記A j が、前記u次元の入力画像グリッド座標系に対して規定された前記v u 個の隣接ピクセルの前記既知値から計算された係数であり、および前記ベクトルП p=1 u (1,dx p ,dx p 2 ,...dx p v-1 )が、(u−1)回のドット乗算П p=1 u (1,dx p ,dx p 2 ,...dx p v-1 )=(1,dx 1 ,dx 1 2 ,...dx 1 v-1 * (1,dx 2 ,dx 2 2 ,...dx 2 v-1 *** (1,dx u ,dx u 2 ,...dx u v-1 )として規定され、それによって前記u回のドット乗算が長さv u のベクトルを生じることを特徴とする請求項10記載の方法。
JP2000597749A 1999-02-02 2000-01-24 拡大あるいは縮小画像解像度変換の非線形および線形方法 Expired - Lifetime JP4351394B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/241,434 US6178272B1 (en) 1999-02-02 1999-02-02 Non-linear and linear method of scale-up or scale-down image resolution conversion
US09/241,434 1999-02-02
PCT/US2000/001640 WO2000046740A1 (en) 1999-02-02 2000-01-24 Non-linear and linear method of scale-up or scale-down image resolution conversion

Publications (2)

Publication Number Publication Date
JP2002538638A JP2002538638A (ja) 2002-11-12
JP4351394B2 true JP4351394B2 (ja) 2009-10-28

Family

ID=22910693

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000597749A Expired - Lifetime JP4351394B2 (ja) 1999-02-02 2000-01-24 拡大あるいは縮小画像解像度変換の非線形および線形方法

Country Status (7)

Country Link
US (1) US6178272B1 (ja)
EP (1) EP1157353B1 (ja)
JP (1) JP4351394B2 (ja)
AT (1) ATE430344T1 (ja)
AU (1) AU2970800A (ja)
DE (1) DE60042111D1 (ja)
WO (1) WO2000046740A1 (ja)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549682B2 (en) * 1998-06-29 2003-04-15 Sony Corporation Image data processing apparatus and method, and provision medium
US6369787B1 (en) * 2000-01-27 2002-04-09 Myson Technology, Inc. Method and apparatus for interpolating a digital image
US6577778B1 (en) * 2000-01-27 2003-06-10 Myson Century, Inc. Method and apparatus for interpolating a digital image
US7299209B2 (en) * 2001-10-18 2007-11-20 Macrovision Corporation Method, apparatus and system for securely providing material to a licensee of the material
KR100423455B1 (ko) * 2001-10-24 2004-03-18 삼성전자주식회사 영상신호처리장치 및 그 방법
US6954219B2 (en) * 2001-12-12 2005-10-11 Stmicroelectronics, Inc. Method and system of continuously scaling video images
CN1625757A (zh) * 2002-02-01 2005-06-08 皇家飞利浦电子股份有限公司 计算机图像中的无级三维纹理映射
EP1337109A1 (en) * 2002-02-07 2003-08-20 Koninklijke Philips Electronics N.V. Method and device for picture scaling
US7385615B2 (en) * 2002-10-21 2008-06-10 Microsoft Corporation System and method for scaling images to fit a screen on a mobile device according to a non-linear scale factor
US6965388B2 (en) * 2002-10-21 2005-11-15 Microsoft Corporation System and method for block scaling data to fit a screen on a mobile device
US7365758B2 (en) * 2002-10-21 2008-04-29 Microsoft Corporation System and method for scaling data according to an optimal width for display on a mobile device
US7272258B2 (en) * 2003-01-29 2007-09-18 Ricoh Co., Ltd. Reformatting documents using document analysis information
US7158158B1 (en) * 2003-03-12 2007-01-02 Apple Computer, Inc. Method and apparatus for nonlinear anamorphic scaling of video images
US8428393B2 (en) * 2003-03-14 2013-04-23 Rudolph Technologies, Inc. System and method of non-linear grid fitting and coordinate system mapping
US20040201863A1 (en) * 2003-04-14 2004-10-14 Bailey James Ray Enhanced scaling range for standalone all-in-one devices
TWI225749B (en) * 2003-10-30 2004-12-21 Realtek Semiconductor Corp Method of conversion of image from low-resolution into high-resolution
US7324705B2 (en) * 2003-11-06 2008-01-29 Compudigm International Limited Image distortion system and method
US20050175258A1 (en) * 2004-02-11 2005-08-11 Leung Patrick W. Method and apparatus for downscaling digital image data to fit a graphics display device
WO2005096624A1 (en) * 2004-03-01 2005-10-13 Thomson Licensing S.A. Non-linear aspect ratio conversion
JP4533067B2 (ja) * 2004-09-27 2010-08-25 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US7500182B2 (en) * 2004-12-22 2009-03-03 Go Daddy Group, Inc. Host web page displaying target web page image
US7500183B2 (en) * 2004-12-22 2009-03-03 The Go Daddy Group, Inc. Target web page edited using overlay on host web page
US7535498B2 (en) * 2005-01-03 2009-05-19 Cnoga Medical Ltd. Electronic viewing device
US7890881B1 (en) * 2005-07-29 2011-02-15 Adobe Systems Incorporated Systems and methods for a fold preview
JP2007067923A (ja) * 2005-08-31 2007-03-15 Toshiba Corp 情報処理装置およびプログラム
US7502135B2 (en) * 2005-09-08 2009-03-10 The Go Daddy Group, Inc. Document color and shades of gray optimization using dithered monochrome surfaces
US8179565B2 (en) * 2005-09-08 2012-05-15 Go Daddy Operating Company, LLC Document color and shades of gray optimization using outlining
US7777917B2 (en) * 2005-09-08 2010-08-17 The Go Daddy Group, Inc. Document color and shades of gray optimization using solid monochrome colors
US8115977B2 (en) * 2005-09-08 2012-02-14 Go Daddy Operating Company, LLC Document color and shades of gray optimization using monochrome patterns
US7477323B2 (en) * 2005-11-07 2009-01-13 Kolorific, Inc. Method and system for digital image magnification and reduction
KR20070054983A (ko) * 2005-11-24 2007-05-30 삼성전자주식회사 디스플레이장치, 디스플레이 시스템 및 그 제어방법
US7941001B1 (en) * 2005-12-05 2011-05-10 Marvell International Ltd. Multi-purpose scaler
US7738712B2 (en) * 2006-01-04 2010-06-15 Aten International Co., Ltd. Mixing 2-D gradient-difference and interpolation/decimation method and device for scaling a digital image
US7761789B2 (en) 2006-01-13 2010-07-20 Ricoh Company, Ltd. Methods for computing a navigation path
US7778486B2 (en) * 2006-02-24 2010-08-17 The Go Daddy Group, Inc. Online image processing systems and methods
US7788579B2 (en) * 2006-03-06 2010-08-31 Ricoh Co., Ltd. Automated document layout design
WO2007108046A1 (ja) * 2006-03-15 2007-09-27 Fujitsu Limited 画像処理装置
WO2007113275A1 (en) * 2006-04-03 2007-10-11 Thomson Licensing Method and device for coding video levels in a plasma display panel
US20080150966A1 (en) * 2006-12-21 2008-06-26 General Instrument Corporation Method and Apparatus for Scaling Graphics Images Using Multiple Surfaces
US8583637B2 (en) * 2007-03-21 2013-11-12 Ricoh Co., Ltd. Coarse-to-fine navigation through paginated documents retrieved by a text search engine
US8584042B2 (en) 2007-03-21 2013-11-12 Ricoh Co., Ltd. Methods for scanning, printing, and copying multimedia thumbnails
US8812969B2 (en) * 2007-03-21 2014-08-19 Ricoh Co., Ltd. Methods for authoring and interacting with multimedia representations of documents
US20080235564A1 (en) * 2007-03-21 2008-09-25 Ricoh Co., Ltd. Methods for converting electronic content descriptions
US20080260291A1 (en) * 2007-04-17 2008-10-23 Nokia Corporation Image downscaling by binning
JP4978378B2 (ja) * 2007-08-31 2012-07-18 セイコーエプソン株式会社 画像処理装置
JP2012513719A (ja) * 2008-12-23 2012-06-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像スケーリング曲線の生成
WO2011058795A1 (ja) * 2009-11-11 2011-05-19 シャープ株式会社 表示装置、表示制御回路、および表示制御方法
TWI417809B (zh) * 2010-05-14 2013-12-01 Univ Nat Cheng Kung 一種顯示器之影片播放系統
US9116928B1 (en) * 2011-12-09 2015-08-25 Google Inc. Identifying features for media file comparison
KR20150116302A (ko) * 2014-04-07 2015-10-15 엘지전자 주식회사 영상표시장치, 및 그 동작방법
US9357101B1 (en) 2015-03-30 2016-05-31 Xerox Corporation Simultaneous duplex magnification compensation for high-speed software image path (SWIP) applications
WO2017132766A1 (en) * 2016-02-03 2017-08-10 Sportlogiq Inc. Systems and methods for automated camera calibration
US10742872B2 (en) * 2016-06-28 2020-08-11 Sony Corporation Imaging device, imaging method, and program
CN108024056B (zh) * 2017-11-30 2019-10-29 Oppo广东移动通信有限公司 基于双摄像头的成像方法和装置
US11544815B2 (en) 2019-11-18 2023-01-03 Advanced Micro Devices, Inc. Gaming super resolution

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4790028A (en) * 1986-09-12 1988-12-06 Westinghouse Electric Corp. Method and apparatus for generating variably scaled displays
DE3808668C1 (ja) * 1988-03-15 1989-06-22 Nixdorf Computer Ag, 4790 Paderborn, De
US5513120A (en) * 1993-01-19 1996-04-30 Elscint Ltd. Special interpolation filters
AU6906994A (en) * 1993-05-10 1994-12-12 Apple Computer, Inc. Resolution independent methods for rendering a graphic image on a display device
CA2148177A1 (en) * 1994-05-16 1995-11-17 Kent E. Biggs Method and apparatus for stretching bitmaps to non-integer multiples
US5627953A (en) * 1994-08-05 1997-05-06 Yen; Jonathan Binary image scaling by piecewise polynomial interpolation
US6061477A (en) * 1996-04-18 2000-05-09 Sarnoff Corporation Quality image warper
US5937108A (en) * 1998-01-16 1999-08-10 Unisys Corporation Method of generating a scaled replica of a digital input image by partitioning the input into several symmetrical distorted sections

Also Published As

Publication number Publication date
EP1157353A1 (en) 2001-11-28
WO2000046740A1 (en) 2000-08-10
AU2970800A (en) 2000-08-25
ATE430344T1 (de) 2009-05-15
EP1157353B1 (en) 2009-04-29
JP2002538638A (ja) 2002-11-12
US6178272B1 (en) 2001-01-23
DE60042111D1 (de) 2009-06-10
EP1157353A4 (en) 2007-11-07

Similar Documents

Publication Publication Date Title
JP4351394B2 (ja) 拡大あるいは縮小画像解像度変換の非線形および線形方法
JP3276886B2 (ja) 拡大宛先画像のピクセル値の生成方法
JP4209599B2 (ja) 2次元非線形補間システム及び補間方法、並びに2次元混合補間システム及び混合補間方法
US6539128B1 (en) Method and apparatus for interpolation
JP3419352B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム記録媒体
JPH08106280A (ja) イメージスケーリングフィルタを形成するための方法
JPH1063828A (ja) イメージ処理方法および装置
JP3899994B2 (ja) 画像信号処理装置、及び、画像信号処理方法
KR100510685B1 (ko) 역방향 매핑에서 에일리어싱 제거 장치
JP2010157877A (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP4689243B2 (ja) 画像処理装置、画像処理方法、及びデジタルカメラ
JP4006908B2 (ja) 単板式固体撮像素子の色補間方法および単板式固体撮像素子の色補間処理プログラムを記録した記録媒体
JP5085589B2 (ja) 画像処理装置および方法
KR101387267B1 (ko) 영상 확대 장치 및 방법
KR20040065806A (ko) 큐빅 컨벌루션 보간 장치 및 방법
JPH05227413A (ja) 2値画像変倍装置
JP2021189458A (ja) 装置、方法、及びプログラム
JP3655814B2 (ja) 拡大画像生成装置およびその方法
JPH04333989A (ja) 画像拡大装置
JP2004241971A (ja) 補間画素データ作成方法およびその装置
JP2005308934A (ja) 画像処理方法
JPH1153513A (ja) 画像内の領域設定方法及び装置
JP2006013751A (ja) 画像処理装置、画像処理方法及びそのプログラム
JPH06333031A (ja) 画像処理装置
JP2005173944A (ja) 解像度変換方法、解像度変換回路、表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080819

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081031

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090630

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090724

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120731

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4351394

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130731

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140731

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term