JP3714680B2 - デジタル画像ワーピングシステム - Google Patents
デジタル画像ワーピングシステム Download PDFInfo
- Publication number
- JP3714680B2 JP3714680B2 JP51937196A JP51937196A JP3714680B2 JP 3714680 B2 JP3714680 B2 JP 3714680B2 JP 51937196 A JP51937196 A JP 51937196A JP 51937196 A JP51937196 A JP 51937196A JP 3714680 B2 JP3714680 B2 JP 3714680B2
- Authority
- JP
- Japan
- Prior art keywords
- successive
- target
- values
- filter
- samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims abstract description 27
- 239000013067 intermediate product Substances 0.000 claims 32
- 230000003111 delayed effect Effects 0.000 claims 8
- 239000000047 product Substances 0.000 claims 2
- 230000002123 temporal effect Effects 0.000 abstract description 3
- 238000013507 mapping Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Holo Graphy (AREA)
- Television Systems (AREA)
Description
発明の分野
この発明は、概括的に、デジタル信号処理に関し、さらに詳細には、ピクセルおよび／またはラインおよび／またはフレームの入力ストリームから、ワーピングされたピクセルおよび／またはラインおよび／またはフレームの出力ストリームをそれぞれ発生するための画像ワーピングシステムに関するものである。
発明の背景
デジタル画像ワーピングは、規則正しく間隔をあけたソース画像を、該ソース画像とは異なる間隔を有するターゲット画像を生成するために、動的にリサンプリングする信号処理である。多くの現代の映画は、例えば、遠近法、奇妙な形状をした画像境界およびテクスチャマッピングのような特殊効果を生成するためにデジタルワーピングを使用している。従来技術のリアルタイム画像ワーピングシステムは、リアルタイムで膨大な数の計算を実施しなければならないために、非常に複雑かつ高価である。従来のシステムは、ワーピングされた画像の空間周波数をナイキストリミットまで動的に帯域制限(bandlimit)せず、望ましくないエーリアシング歪みを生じていた。公知の従来のデジタル画像ワーピングシステムの例は、以下の刊行物および特許において説明されている。
I. Wolberg, George,"Separable Image Warping: Implications and Techniques", Ph. D. Thesis, Dept. of Computer Science, Columbia University, NY, 1990, および"Digital Image Warping", IEEE Computer Society Press, Los Alamitos, CA, 1990;
II．米国特許第５３５５３２８号明細書(アルベイタ(Arbeitar)他)
発明の概要
この発明によれば、固有のナイキスト帯域制限で、水平方向および垂直方向の両方に、リアルタイムで動的な拡大および縮小を実施し、かつ、外部ライン記憶装置または他のメモリを必要としない画像ワーピングシステムが提供される。また、この発明は、レジスタの代わりに外部フレーム記憶装置を用いることにより、複数画像を時間的にワーピング（例えば、速い動作と遅い動作との間の動的な変更）することができる。したがって、この発明のシステムは、公知の従来技術に対してかなり進歩したものである。この発明により、ワーピングした画像を生成するために、３つの異なる処理が連続して実施される。第１の処理は、所望のターゲットピクセル（またはラインまたはフレーム）間隔を、適当なＦＩＲフィルタに写像する。ここで、ＦＩＲフィルタの大きさは、所望のターゲットピクセル（またはラインまたはフレーム）間隔の大きさに基づいて選択される。フィルタが一旦選択されると、第２の処理が、入力ソースピクセル（またはラインまたはフレーム）に基づいて、適当な数のアップサンプルされたピクセル（またはラインまたはフレーム）を生成する。最後の処理は、第１の処理による正確なフィルタ係数と、第２の処理による補間されたピクセル（またはラインまたはフレーム）とを乗じ、その結果、正確にナイキスト帯域制限されたターゲットピクセル（またはラインまたはフレーム）を得る。
このように、この発明の一側面によれば、出力ピクセルおよび／またはラインおよび／またはフレーム間の所望の間隔を定める、ユーザにより定義されるターゲット増分にしたがって、ワーピングされたピクセルおよび／またはラインおよび／またはフレームの出力ストリームを生成するために、ピクセルおよび／またはラインおよび／またはフレームのいずれか１つの入力ストリームをデジタル式にワーピングする装置および方法が提供される。デジタル式にワーピングされたピクセルおよび／またはラインの場合には、得られる画像は、空間的にワーピングされたものと考えられる。デジタル式にワーピングされたフレームの場合には、得られる一組のフレームは時間的にワーピングされたものと考えられる。
この発明の第１の実施形態においては、システムは、ターゲット増分を特定のフィルタサイズに写像するためのフィルタ参照テーブルと、一対の比較器への入力として前記フィルタ参照テーブルから出力された３つの連続したフィルタサイズを補給する一対のレジスタとを具備している。前記比較器のうちの第１のものは、フィルタ参照テーブルおよび両レジスタにより出力される３つの値から最も大きなフィルタサイズを決定するものである一方、第２の比較器は、フィルタ参照テーブルおよび第１のレジスタから出力される最も大きなフィルタサイズを決定するものである。第１の比較器の出力は、フィルタサイズをフィルタ係数に写像し、その後、アップサンプル増分を発生するために、ターゲット増分をこの量だけ右にシフトするアップサンプル増分発生器により受け取られる。このアップサンプル増分は、それに応じて、平均的に間隔をあけた適当な数のアップサンプルピクセル値を発生する補間器による受け取られる。第２の比較器からの出力は、左右半分の核フィルタ発生器にそれぞれ接続されたさらに２つのレジスタを有するパイプライン内に格納される。この左右半分の核フィルタ発生器は、補間器からのアップサンプルされたピクセルを受け取り、ワーピングされた出力ピクセルを生成するために、受け取ったピクセルにそれぞれの半分の核係数を乗じる。
この発明の第２の実施形態においては、システムは、ターゲット増分を特定のフィルタサイズに写像するためのフィルタ参照テーブルと、左右半分の核フィルタ発生器への入力として、フィルタ参照テーブルからのフィルタサイズを保持する単一のレジスタとを具備している。フィルタ参照テーブルの出力は、フィルタサイズをフィルタ係数に写像し、その後、アップサンプル増分を発生するために、ターゲット増分を、この量だけ右にシフトするアップサンプル増分発生器により受け取られる。アップサンプル増分は、それに応じて、平均的に間隔をあけた適当な数のアップサンプルピクセル値を発生する補間器により受け取られる。左右半分のフィルタ核発生器は、補間器からのアップサンプルされたピクセルを受け取って、ワーピングされた出力ピクセルを生成するために、受け取ったピクセルにそれぞれの半分の核係数を乗じる。
各実施形態は、レジスタをライン記憶装置およびフレーム記憶装置にそれぞれ置き換えることにより、ラインおよび／またはフレームをデジタル式にワーピングするように拡張することができる。これらの大きな記憶装置ユニットは、以下に詳しく説明される実施形態におけるレジスタの機能と同等の機能を奏する。
この発明のワーピング技術は、全てがジェネシスマイクロチップ社(Genesis Microchip Inc.)に譲渡され、その内容が参照によりこの明細書に組み込まれている出願係属中の米国特許出願第０８／１２６３８８号、第０８／１２５５３０号、第０８／１７２０６５号、第０８／１２４２０１号に説明されている画像フィルタリングおよび画像拡張装置および方法を用いることにより実施できる。
さらに、この発明に係るデジタル画像ワーピングシステムは、ソース画像を、任意の、きまったターゲット画像サイズにリサイジングする方法に関する、上述した米国特許第５３５５３２８号明細書に記載された技術に基づいている。この従来技術のシステムによれば、各ターゲットピクセルおよび／またはラインおよび／またはフレームは、ソースピクセルおよび／またはラインおよび／またはフレームに対して同じ量でリサイズされる。この発明によれば、各ターゲットピクセルおよび／またはラインおよび／またはフレームは、ソースピクセルおよび／またはラインおよび／またはフレームに対して任意に、個別にサイジングされる。さらに詳細には、この発明によれば、ソースピクセルおよび／またはラインおよび／またはフレームは、ターゲットピクセルおよび／またはラインおよび／またはフレームのリサイズファクタの変更に基づいて、動的にアップサンプルされる。ソースピクセルおよび／またはラインおよび／またはフレームは常に最も近い１オクターブにアップサンプルされ、その後、ナイキスト帯域制限されたターゲットピクセルおよび／またはラインおよび／またはフレームを生成するためにきまった大きさのＦＩＲフィルタによりデシメート(decimate)される。フィルタサイズは、各ターゲットピクセルおよび／またはラインおよび／またはフレームごとに、ユーザにより指定されたような空間的な位置決めまたは時間的な位置決めに基づいて動的に決定される。この発明によれば、きまった大きさのＦＩＲフィルタを使用することによって、従来のビデオワーピングシステムと比較して大幅なシリコンコストの削減を達成することができる。
【図面の簡単な説明】
好ましい実施形態は、以下の図面を参照しながら以下に詳細に説明される。
図１は、複数のソースピクセルから提供される複数のターゲットピクセルを示しており、ここでは、ターゲットピクセルは、ユーザの決定したターゲット増分にしたがって間隔をあけている。
図２は、この発明に係るデジタル画像ワーピングシステムの機能的な構成要素を示すブロックダイアグラムである。
図３は、ユーザの決定したターゲット増分を動的に変更するためのソースおよびターゲットピクセルの相対的な空間的位置決めと、代表的な例にしたがって、図２のシステムを用いてターゲットピクセルを発生するための適当なＦＩＲフィルタの選択とを示している。
図４は、この発明の好適な実施形態に係るデジタル画像ワーピングシステムの機能的な構成要素を示すブロックダイアグラムである。
図５は、ユーザの決定したターゲット増分を動的に変更するためのソースおよびターゲットピクセルの相対的な空間的位置決めと、図４の好適な実施形態を用いてターゲットピクセルを発生するための適当なＦＩＲフィルタの選択とを示している。
好ましい実施形態の詳細な説明
以下の説明において、好ましい実施形態および他の実施形態は、ピクセルおよび／またはラインのワーピングに等しく適用される。同様の発明の原理は、図２および図４において、各レジスタをフレーム記憶装置に置き換えることにより、フレームを時間的にワーピングする場合に用いることができる。さらに、この発明はビデオ画像のワーピングに限定されるものではない。例えば、１次元ワーピングの場合には、この発明の原理は、ビデオサンプルよりむしろ音に（例えば、デジタルオーディオテープドライブのジターを補正するために）適用され得る。
上述したように、画像のデジタルワーピングは、ソースピクセル間隔に対するターゲットピクセル間隔により明記される。各ターゲットピクセル間の水平方向の間隔および各ターゲットライン間の垂直方向の間隔は、ユーザにより指定されなければならない。同様に、画像の連続するフレーム間の時間的な間隔（すなわち時間）は、ユーザにより指定されなければならない。この詳細な情報は、非常に複雑なワーピングを生成するために使用され得る非常に詳細な制御レベルを提供する。ユーザが決定するターゲット間隔の発生は、当業者に公知であり、この発明の部分を構成するものではない。この発明のシステムは、ソースピクセル（および／またはラインおよび／またはフレーム）のストリームおよびユーザの指定した間隔を決定する所望のターゲット増分（ＴａｒＩｎｃ）を入力として受け取る。
図１は、ユーザの定めたターゲット増分（ＴａｒＩｎｃ）に基づくソースピクセルからのターゲットピクセルの発生を示している。簡単のために、この開示の残りの部分は、ソースピクセルからのターゲットピクセルの発生に言及する。全く同一の方法論および回路が、ピクセルをビデオラインに代えることにより垂直な処理に、そして、ピクセルをビデオフレームに代えることにより時間的な処理に適用できることは理解されるであろう。
図１に見られるように、ワーピングされた画像の最初および最後のターゲットピクセルは、最初および最後のソースピクセルと空間的に整列されている。しかしながら、中間のターゲットピクセルの間隔は、ターゲット増分（ＴａｒＩｎｃ）によって決定されている。特に、図１に示された例では、最初の（すなわち、一番左の）中間ターゲットピクセルは、最初のターゲットピクセルから、ソースピクセル間の間隔の１．５倍に等しい間隔をあけており、２番目の中間ターゲットピクセルは、第１の中間ターゲットピクセルから、ソースピクセル間の間隔の０．７５倍に等しい間隔をあけている。一方、最後のターゲットピクセルは、第２の中間ターゲットピクセルから、ソースピクセル間の間隔の０．７５倍に等しい間隔をあけて離れており、総間隔は３．０（すなわち、最初と最後のソースピクセル間の間隔）である。
ここで、図２を見ると、動的に変化するターゲット増分にしたがって、ソースピクセルのストリームからワーピングされた出力ピクセルのストリームを発生させるための、この発明の第１の実施形態に係る機能的なブロックダイアグラムが示されている。
第１に、ターゲット増分（ＴａｒＩｎｃ）は、以下の表Ａに示されたマッピングに基づいたフィルタ係数値により表されるような特定のＦＩＲフィルタサイズに、フィルタ参照テーブル２１を介して写像される。ＦＩＲ係数は、読み出し専用テーブル（すなわちＲＯＭ）に格納されるか、または、ユーザにより提供され得る。係数のプログラミングにより、ＦＩＲフィルタを調整する柔軟性がユーザに与えられる。フィルタサイズは、ＴａｒＩｎｃに基づいてフィルタ参照テーブルをインデクシングすることにより選択される。表Ａが単に１つの実施例を示しているだけであることに注意することは重要である。この表は、全てのサイズのＴａｒＩｎｃをサポートしかつ全てのフィルタサイズおよびフィルタ係数を発生するように拡張され得る。
ＴａｒＩｎｃが、一旦写像されると、ターゲットピクセルの両側の最も大きなフィルタが、そのピクセルのフィルタとして選択される。図３はこのステップを示している。図３の第５の線（ＴａｒＩｎｃ→フィルタマッピング）は、上記表Ａの写像に基づいて、第４の線（ターゲット増分）からのＴａｒＩｎｃ値を種々のＦＩＲフィルタに写像したものを示している。このことは、ターゲットピクセルの両側に表されているフィルタサイズのうちの最も大きなフィルタサイズ（すなわちタップ数）をターゲットピクセル内に配置し、それがそのピクセルのために選択されたフィルタであることを示すことにより、図３に概略的に表されている。図３において、第３の線（ターゲット）は、９タップフィルタにより発生される第１のターゲットピクセル、９タップフィルタにより発生される第２のターゲットピクセル、３タップフィルタにより発生される第３のターゲットピクセル等を示している。
上述したように、ＴａｒＩｎｃは、マッピング表Ａに従うＦＩＲフィルタサイズに、フィルタ参照テーブル２１を介して写像され、その出力（すなわち、フィルタ係数値）は、それぞれ連続してＡおよびＢレジスタ２２，２３に、連続するクロックサイクルにおいて格納され、それによってパイプラインを形成する。比較器２４は、ターゲットピクセルの両側の隣接する２つのフィルタのうちのいずれがより大きいかを決定し、このフィルタの表示（すなわち、関連するフィルタ係数）を比較器２４の出力側に接続された左レジスタ２５に格納する。左核のＭＡＣ２６（すなわち、乗算器アキュムレータ(Multiplier ACcumulator)）は、左レジスタ２５内に格納されているフィルタ係数値を読み込み、指定されたフィルタ核の左半分を用いてターゲットピクセル値の半分を発生する。次のクロックサイクルにおいては、右核のＭＡＣ２７が、右レジスタ２８に格納されているフィルタ核の右半分および中央タップを用いてターゲットピクセル値の残りを発生し、その結果の値を、左核のＭＡＣ２６から受け取った出力値と合計し、ワーピングされた出力ピクセルを得る。
比較器２４、左右レジスタ２５，２８、および左右核のＭＡＣ２６，２７に関連して上述したように、動的フィルタリングが実施される前に、アップサンプルされたピクセルの正確な数が発生されなければならない。再度、図２を参照すると、アップサンプルされたピクセルの数は、ＡおよびＢレジスタ２２，２３の前後に格納された最も大きなフィルタサイズにより決定される。
比較器２９は、最も大きなフィルタサイズ（すなわち、フィルタ参照テーブル２１からの最も大きなフィルタ係数出力）を決定し、その値をアップサンプル増分発生器３０に転送する。アップサンプル増分発生器は、ＴａｒＩｎｃ値を受け取って、アップサンプル増分値を生成するために、受け取ったＴａｒＩｎｃ値を受け取ったフィルタ係数に等しい所定のビット数だけ右にシフトする。図３に示す例では、第１のターゲット増分は２．２５であり、“４で割る”操作（すなわち、ＴａｒＩｎｃを２ビット右にシフトすることにより、アップサンプル増分値０．５６２５を得る）に対応するフィルタ係数２を得る。そのアップサンプル増分値（すなわち、右にシフトしたＴａｒＩｎｃ値）は、要求されたサイズのＦＩＲフィルタ（例えば、ＴａｒＩｎｃ＝２．２５に対して９タップフィルタ）への適用のためのアップサンプルされたピクセルの正確な等しい間隔を表している。
補間器３１は、アップサンプル増分値を読み込み、ソースピクセルからアップサンプルされたピクセルを、連続したベース上に、アップサンプル増分値により決定される間隔で、内部インクリメンタまたはカウンタ値がＴａｒＩｎｃに達するまで補間する。上述されかつ図３に示された例においては、９タップＦＩＲフィルタへの適用のために、ソースピクセル間隔に対して０．５６２５の間隔で、４つのアップサンプルされたピクセルが発生される。補間器３１は、周知の線形補間器、本出願人の係属中の特許出願第０８／１７２０６５号に開示されたような二次補間器、または任意の他の好適な設計の補間器として装備されてもよい。
補間器３１により発生されるアップサンプルされたピクセルは、正確な係数が正確なアップサンプルされたピクセルに乗算されることを保証する制御ロジックを有する左右核のＭＡＣ２６，２７に転送される。このように、図３において、線２（アップサンプル）は、ターゲットピクセルを発生するように装備された異なるサイズのＦＩＲフィルタに対して要求される可能な限り多くの数のアップサンプルピクセルを表している。図３の線２と線３との間に示されたＦＩＲフィルタの動作は、正確な係数を正確なアップサンプルされたピクセルに乗じる左右核のＭＡＣ２６，２７により実施される。左右核のＭＡＣ２６，２７の内部制御ロジックは、アップサンプルされたピクセルの所定のものが、係数とアップサンプルされたピクセルとを正確に整合するためにスキップされることを保証している。例えば、第１の中間ターゲットピクセルを発生するために用いられる９タップＦＩＲフィルタが、線２からアップサンプルされた全てのピクセルを用いるのに対して、隣接する３タップフィルタは、第５，９，第１１の発生されたアップサンプルされたピクセルのみを用い、第６，第７，第８，第１０のアップサンプルされたピクセル、その他をスキップしている。
左右核のＭＡＣ２６，２７の制御ロジックは、本件出願人の出願係属中の米国特許出願第０８／１２６３８８号に説明されているように、システムの始動時に、第１のターゲットピクセルについての右半分の核値を２倍にすることにより、第１のターゲットピクセルをも発生する。最後のターゲットピクセルは、左核値を２倍することにより発生される。この倍加は、全てのＦＩＲ係数が単一のゲインを維持することを保証するために要求される。
ここで、図４を見ると、ターゲット増分の動的な変化に従って、ソースピクセルのストリームから、ワーピングされた出力ピクセルのストリームを発生させるための好ましい実施形態に係る機能的なブロックダイアグラムが示されている。
最初に、ターゲット増分（ＴａｒＩｎｃ）は、フィルタ参照テーブル４１を介して、特定のＦＩＲフィルタサイズに、上記表Ａに示されたマッピングに基づくフィルタ係数値により表されるように写像される。ＦＩＲ係数は、読み出し専用テーブル（すなわちＲＯＭ）に格納され、または、ユーザにより提供され得る。フィルタサイズは、ＴａｒＩｎｃに基づいて係数テーブルをインデクシングすることにより選択される。表Ａが、単に１つの実施例を示しているに過ぎないことに注意することは重要である。この表は、全てのサイズのＴａｒＩｎｃをサポートし、全フィルタサイズおよびフィルタ係数を発生するように拡張され得る。
ＴａｒＩｎｃが一旦写像されると、フィルタサイズはレジスタ４２内に保持されて、左右核の乗算器アキュムレータ４４，４５に供給される。図５は、このステップを示している。図５の第５の線（ＴａｒＩｎｃ→フィルタマッピング）は、上記表Ａのマッピングに基づいて第４の線（ターゲット増分）からのＴａｒＩｎｃ値を種々のＦＩＲフィルタに写像したものを示している。これは、非対称フィルタの各半分の核のサイズをターゲットピクセルの各側に配置し、該ピクセルに対して各半分の核を示すことにより、図５に概略的に表されている。図５において、第３の線（ターゲット）は、９タップフィルタにより発生される第１のターゲットピクセル、９タップフィルタの半分および３タップフィルタの半分からなる非対称フィルタにより発生される第２のターゲットピクセル、３タップフィルタにより発生される第３のターゲットピクセルおよび３タップフィルタの半分および５タップフィルタの半分からなる非対称フィルタにより発生される第４のターゲットピクセルを示している。
上述したように、ＴａｒＩｎｃは、フィルタ参照テーブル４１を介して、マッピング表Ａに従ってＦＩＲフィルタサイズに写像され、その出力（すなわち、フィルタ係数値）は、連続してレジスタ４２内に格納される。左核のＭＡＣ４４（すなわち、乗算器アキュムレータ）は、レジスタ４２内に格納されたフィルタ係数値を読み取り、半分のターゲットピクセル値と、指定されたフィルタ核の左半分および左側半分の核のためのセンタータップを用いたセンタータップ積値への第１のコントリビューション(contribution)とを発生する。同じクロックサイクルにおいて、右核のＭＡＣ４５は、他の半分のターゲットピクセル値と、右半分のフィルタ核および右側半分の核のためのセンタータップを用いたセンタータップ積値への第２のコントリビューションとを発生する。右核のＭＡＣ４５は、その後、センタータップ乗算積への第１および第２のコントリビューションを合計し、その合計した値を、平均センタータップ乗算積を得るために２で割り、最後にその平均センタータップ乗算積と、左核のＭＡＣ４４から受け取ったターゲットピクセル値の左半分およびターゲットピクセル値の右半分とを合計し、最終的なワーピングされた出力ピクセルを得る。
センタータップ乗算積への第１および第２のコントリビューションを合計し、その合計値を２で割ることに代えて、各半分の核ごとのセンタータップ係数は、単に、左右核のＭＡＣ４４，４５の関連する係数ＲＯＭに格納される前に、または、この発明がソフトウェア内に装備された適当なコードを介して、二等分されてもよい。
アップサンプル増分発生器４６は、ＴａｒＩｎｃ値を受け取り、かつ、アップサンプル増分値を生成するために、受け取ったフィルタ係数に等しい所定のビット数だけ右にシフトする。図５の例では、第１のターゲット増分は２．２５であり、“４で割る”操作（すなわち、ＴａｒＩｎｃを右に２ビットシフトすることによりアップサンプル増分０．５６２５が得られる。）に相当するフィルタ係数、２が得られる。アップサンプル増分値（すなわち、右にシフトされたＴａｒＩｎｃ値）は、要求された大きさのＦＩＲフィルタ（例えば、ＴａｒＩｎｃ＝２．２５に対して９タップフィルタ）への適用のためのアップサンプルされたピクセルの正確な等しい間隔を表している。
補間器４７は、アップサンプル増分値を読み込み、ソースピクセルからのアップサンプルピクセルを連続するベース上に、アップサンプル増分値により決定された間隔で、内部インクリメンタまたはカウンタ値がＴａｒＩｎｃに達するまで補間する。上述されかつ図５に示された例では、９タップＦＩＲフィルタへの適用のために、ソースピクセル間隔に対して０．５６２５の間隔を有する４つのアップサンプルピクセルが発生される。補間器４７は、周知の線形補間器、本件出願人の係属中の米国特許出願第０８／１７２０６５号に開示されたような二次補間器、または、任意の他の好適に設計された補間器として装備されてもよい。
補間器４７により発生されたアップサンプルされたピクセルは、正確なアップサンプルされたピクセルに正確な係数が乗じられることを保証するための制御ロジックを有する左右核のＭＡＣ４４，４５に転送される。図５の線２と線３との間におけるＦＩＲフィルタの図示された動作は、正確な係数を正確なアップサンプルされたピクセル値に乗じる左右半分の核のＭＡＣ４４，４５により実行される。
左右核のＭＡＣ４４，４５の制御ロジックは、出願第０８／１２６３８８号に開示された方法で、最初のターゲットピクセルについての右半分の核値を２倍することによりシステムの始動時の第１のターゲットピクセルをも発生する。最後のターゲットピクセルは、左核値を２倍することにより発生される。この倍加は、全てのＦＩＲフィルタが単一のゲインを維持することを保証するために要求される。
この発明の他の実施形態および変更は可能である。例えば、さらに他の実施形態により、この発明は、Ｃ言語を用いたソフトウェアで実施される。この他のソフトウェア実施形態は、この明細書の付録Ａに十分に開示されている。好ましい実施形態にしたがって実施されるワーピングは、固有ナイキスト帯域制限を提供することとして説明されているけれども、ナイキスト帯域制限なしに（例えば、ソフトフォーカスワーピング）、この発明の原理を用いて特殊効果ワーピングが実施されてもよい。言い換えると、プレフィルタリングおよび補間ステップは、ナイキスト帯域制限なしに実施され得る。全てのそのような他の実施形態および変更は、添付された請求の範囲に記載された発明の範囲内に配されるものである。
この発明は、概括的に、デジタル信号処理に関し、さらに詳細には、ピクセルおよび／またはラインおよび／またはフレームの入力ストリームから、ワーピングされたピクセルおよび／またはラインおよび／またはフレームの出力ストリームをそれぞれ発生するための画像ワーピングシステムに関するものである。
発明の背景
デジタル画像ワーピングは、規則正しく間隔をあけたソース画像を、該ソース画像とは異なる間隔を有するターゲット画像を生成するために、動的にリサンプリングする信号処理である。多くの現代の映画は、例えば、遠近法、奇妙な形状をした画像境界およびテクスチャマッピングのような特殊効果を生成するためにデジタルワーピングを使用している。従来技術のリアルタイム画像ワーピングシステムは、リアルタイムで膨大な数の計算を実施しなければならないために、非常に複雑かつ高価である。従来のシステムは、ワーピングされた画像の空間周波数をナイキストリミットまで動的に帯域制限(bandlimit)せず、望ましくないエーリアシング歪みを生じていた。公知の従来のデジタル画像ワーピングシステムの例は、以下の刊行物および特許において説明されている。
I. Wolberg, George,"Separable Image Warping: Implications and Techniques", Ph. D. Thesis, Dept. of Computer Science, Columbia University, NY, 1990, および"Digital Image Warping", IEEE Computer Society Press, Los Alamitos, CA, 1990;
II．米国特許第５３５５３２８号明細書(アルベイタ(Arbeitar)他)
発明の概要
この発明によれば、固有のナイキスト帯域制限で、水平方向および垂直方向の両方に、リアルタイムで動的な拡大および縮小を実施し、かつ、外部ライン記憶装置または他のメモリを必要としない画像ワーピングシステムが提供される。また、この発明は、レジスタの代わりに外部フレーム記憶装置を用いることにより、複数画像を時間的にワーピング（例えば、速い動作と遅い動作との間の動的な変更）することができる。したがって、この発明のシステムは、公知の従来技術に対してかなり進歩したものである。この発明により、ワーピングした画像を生成するために、３つの異なる処理が連続して実施される。第１の処理は、所望のターゲットピクセル（またはラインまたはフレーム）間隔を、適当なＦＩＲフィルタに写像する。ここで、ＦＩＲフィルタの大きさは、所望のターゲットピクセル（またはラインまたはフレーム）間隔の大きさに基づいて選択される。フィルタが一旦選択されると、第２の処理が、入力ソースピクセル（またはラインまたはフレーム）に基づいて、適当な数のアップサンプルされたピクセル（またはラインまたはフレーム）を生成する。最後の処理は、第１の処理による正確なフィルタ係数と、第２の処理による補間されたピクセル（またはラインまたはフレーム）とを乗じ、その結果、正確にナイキスト帯域制限されたターゲットピクセル（またはラインまたはフレーム）を得る。
このように、この発明の一側面によれば、出力ピクセルおよび／またはラインおよび／またはフレーム間の所望の間隔を定める、ユーザにより定義されるターゲット増分にしたがって、ワーピングされたピクセルおよび／またはラインおよび／またはフレームの出力ストリームを生成するために、ピクセルおよび／またはラインおよび／またはフレームのいずれか１つの入力ストリームをデジタル式にワーピングする装置および方法が提供される。デジタル式にワーピングされたピクセルおよび／またはラインの場合には、得られる画像は、空間的にワーピングされたものと考えられる。デジタル式にワーピングされたフレームの場合には、得られる一組のフレームは時間的にワーピングされたものと考えられる。
この発明の第１の実施形態においては、システムは、ターゲット増分を特定のフィルタサイズに写像するためのフィルタ参照テーブルと、一対の比較器への入力として前記フィルタ参照テーブルから出力された３つの連続したフィルタサイズを補給する一対のレジスタとを具備している。前記比較器のうちの第１のものは、フィルタ参照テーブルおよび両レジスタにより出力される３つの値から最も大きなフィルタサイズを決定するものである一方、第２の比較器は、フィルタ参照テーブルおよび第１のレジスタから出力される最も大きなフィルタサイズを決定するものである。第１の比較器の出力は、フィルタサイズをフィルタ係数に写像し、その後、アップサンプル増分を発生するために、ターゲット増分をこの量だけ右にシフトするアップサンプル増分発生器により受け取られる。このアップサンプル増分は、それに応じて、平均的に間隔をあけた適当な数のアップサンプルピクセル値を発生する補間器による受け取られる。第２の比較器からの出力は、左右半分の核フィルタ発生器にそれぞれ接続されたさらに２つのレジスタを有するパイプライン内に格納される。この左右半分の核フィルタ発生器は、補間器からのアップサンプルされたピクセルを受け取り、ワーピングされた出力ピクセルを生成するために、受け取ったピクセルにそれぞれの半分の核係数を乗じる。
この発明の第２の実施形態においては、システムは、ターゲット増分を特定のフィルタサイズに写像するためのフィルタ参照テーブルと、左右半分の核フィルタ発生器への入力として、フィルタ参照テーブルからのフィルタサイズを保持する単一のレジスタとを具備している。フィルタ参照テーブルの出力は、フィルタサイズをフィルタ係数に写像し、その後、アップサンプル増分を発生するために、ターゲット増分を、この量だけ右にシフトするアップサンプル増分発生器により受け取られる。アップサンプル増分は、それに応じて、平均的に間隔をあけた適当な数のアップサンプルピクセル値を発生する補間器により受け取られる。左右半分のフィルタ核発生器は、補間器からのアップサンプルされたピクセルを受け取って、ワーピングされた出力ピクセルを生成するために、受け取ったピクセルにそれぞれの半分の核係数を乗じる。
各実施形態は、レジスタをライン記憶装置およびフレーム記憶装置にそれぞれ置き換えることにより、ラインおよび／またはフレームをデジタル式にワーピングするように拡張することができる。これらの大きな記憶装置ユニットは、以下に詳しく説明される実施形態におけるレジスタの機能と同等の機能を奏する。
この発明のワーピング技術は、全てがジェネシスマイクロチップ社(Genesis Microchip Inc.)に譲渡され、その内容が参照によりこの明細書に組み込まれている出願係属中の米国特許出願第０８／１２６３８８号、第０８／１２５５３０号、第０８／１７２０６５号、第０８／１２４２０１号に説明されている画像フィルタリングおよび画像拡張装置および方法を用いることにより実施できる。
さらに、この発明に係るデジタル画像ワーピングシステムは、ソース画像を、任意の、きまったターゲット画像サイズにリサイジングする方法に関する、上述した米国特許第５３５５３２８号明細書に記載された技術に基づいている。この従来技術のシステムによれば、各ターゲットピクセルおよび／またはラインおよび／またはフレームは、ソースピクセルおよび／またはラインおよび／またはフレームに対して同じ量でリサイズされる。この発明によれば、各ターゲットピクセルおよび／またはラインおよび／またはフレームは、ソースピクセルおよび／またはラインおよび／またはフレームに対して任意に、個別にサイジングされる。さらに詳細には、この発明によれば、ソースピクセルおよび／またはラインおよび／またはフレームは、ターゲットピクセルおよび／またはラインおよび／またはフレームのリサイズファクタの変更に基づいて、動的にアップサンプルされる。ソースピクセルおよび／またはラインおよび／またはフレームは常に最も近い１オクターブにアップサンプルされ、その後、ナイキスト帯域制限されたターゲットピクセルおよび／またはラインおよび／またはフレームを生成するためにきまった大きさのＦＩＲフィルタによりデシメート(decimate)される。フィルタサイズは、各ターゲットピクセルおよび／またはラインおよび／またはフレームごとに、ユーザにより指定されたような空間的な位置決めまたは時間的な位置決めに基づいて動的に決定される。この発明によれば、きまった大きさのＦＩＲフィルタを使用することによって、従来のビデオワーピングシステムと比較して大幅なシリコンコストの削減を達成することができる。
【図面の簡単な説明】
好ましい実施形態は、以下の図面を参照しながら以下に詳細に説明される。
図１は、複数のソースピクセルから提供される複数のターゲットピクセルを示しており、ここでは、ターゲットピクセルは、ユーザの決定したターゲット増分にしたがって間隔をあけている。
図２は、この発明に係るデジタル画像ワーピングシステムの機能的な構成要素を示すブロックダイアグラムである。
図３は、ユーザの決定したターゲット増分を動的に変更するためのソースおよびターゲットピクセルの相対的な空間的位置決めと、代表的な例にしたがって、図２のシステムを用いてターゲットピクセルを発生するための適当なＦＩＲフィルタの選択とを示している。
図４は、この発明の好適な実施形態に係るデジタル画像ワーピングシステムの機能的な構成要素を示すブロックダイアグラムである。
図５は、ユーザの決定したターゲット増分を動的に変更するためのソースおよびターゲットピクセルの相対的な空間的位置決めと、図４の好適な実施形態を用いてターゲットピクセルを発生するための適当なＦＩＲフィルタの選択とを示している。
好ましい実施形態の詳細な説明
以下の説明において、好ましい実施形態および他の実施形態は、ピクセルおよび／またはラインのワーピングに等しく適用される。同様の発明の原理は、図２および図４において、各レジスタをフレーム記憶装置に置き換えることにより、フレームを時間的にワーピングする場合に用いることができる。さらに、この発明はビデオ画像のワーピングに限定されるものではない。例えば、１次元ワーピングの場合には、この発明の原理は、ビデオサンプルよりむしろ音に（例えば、デジタルオーディオテープドライブのジターを補正するために）適用され得る。
上述したように、画像のデジタルワーピングは、ソースピクセル間隔に対するターゲットピクセル間隔により明記される。各ターゲットピクセル間の水平方向の間隔および各ターゲットライン間の垂直方向の間隔は、ユーザにより指定されなければならない。同様に、画像の連続するフレーム間の時間的な間隔（すなわち時間）は、ユーザにより指定されなければならない。この詳細な情報は、非常に複雑なワーピングを生成するために使用され得る非常に詳細な制御レベルを提供する。ユーザが決定するターゲット間隔の発生は、当業者に公知であり、この発明の部分を構成するものではない。この発明のシステムは、ソースピクセル（および／またはラインおよび／またはフレーム）のストリームおよびユーザの指定した間隔を決定する所望のターゲット増分（ＴａｒＩｎｃ）を入力として受け取る。
図１は、ユーザの定めたターゲット増分（ＴａｒＩｎｃ）に基づくソースピクセルからのターゲットピクセルの発生を示している。簡単のために、この開示の残りの部分は、ソースピクセルからのターゲットピクセルの発生に言及する。全く同一の方法論および回路が、ピクセルをビデオラインに代えることにより垂直な処理に、そして、ピクセルをビデオフレームに代えることにより時間的な処理に適用できることは理解されるであろう。
図１に見られるように、ワーピングされた画像の最初および最後のターゲットピクセルは、最初および最後のソースピクセルと空間的に整列されている。しかしながら、中間のターゲットピクセルの間隔は、ターゲット増分（ＴａｒＩｎｃ）によって決定されている。特に、図１に示された例では、最初の（すなわち、一番左の）中間ターゲットピクセルは、最初のターゲットピクセルから、ソースピクセル間の間隔の１．５倍に等しい間隔をあけており、２番目の中間ターゲットピクセルは、第１の中間ターゲットピクセルから、ソースピクセル間の間隔の０．７５倍に等しい間隔をあけている。一方、最後のターゲットピクセルは、第２の中間ターゲットピクセルから、ソースピクセル間の間隔の０．７５倍に等しい間隔をあけて離れており、総間隔は３．０（すなわち、最初と最後のソースピクセル間の間隔）である。
ここで、図２を見ると、動的に変化するターゲット増分にしたがって、ソースピクセルのストリームからワーピングされた出力ピクセルのストリームを発生させるための、この発明の第１の実施形態に係る機能的なブロックダイアグラムが示されている。
第１に、ターゲット増分（ＴａｒＩｎｃ）は、以下の表Ａに示されたマッピングに基づいたフィルタ係数値により表されるような特定のＦＩＲフィルタサイズに、フィルタ参照テーブル２１を介して写像される。ＦＩＲ係数は、読み出し専用テーブル（すなわちＲＯＭ）に格納されるか、または、ユーザにより提供され得る。係数のプログラミングにより、ＦＩＲフィルタを調整する柔軟性がユーザに与えられる。フィルタサイズは、ＴａｒＩｎｃに基づいてフィルタ参照テーブルをインデクシングすることにより選択される。表Ａが単に１つの実施例を示しているだけであることに注意することは重要である。この表は、全てのサイズのＴａｒＩｎｃをサポートしかつ全てのフィルタサイズおよびフィルタ係数を発生するように拡張され得る。
上述したように、ＴａｒＩｎｃは、マッピング表Ａに従うＦＩＲフィルタサイズに、フィルタ参照テーブル２１を介して写像され、その出力（すなわち、フィルタ係数値）は、それぞれ連続してＡおよびＢレジスタ２２，２３に、連続するクロックサイクルにおいて格納され、それによってパイプラインを形成する。比較器２４は、ターゲットピクセルの両側の隣接する２つのフィルタのうちのいずれがより大きいかを決定し、このフィルタの表示（すなわち、関連するフィルタ係数）を比較器２４の出力側に接続された左レジスタ２５に格納する。左核のＭＡＣ２６（すなわち、乗算器アキュムレータ(Multiplier ACcumulator)）は、左レジスタ２５内に格納されているフィルタ係数値を読み込み、指定されたフィルタ核の左半分を用いてターゲットピクセル値の半分を発生する。次のクロックサイクルにおいては、右核のＭＡＣ２７が、右レジスタ２８に格納されているフィルタ核の右半分および中央タップを用いてターゲットピクセル値の残りを発生し、その結果の値を、左核のＭＡＣ２６から受け取った出力値と合計し、ワーピングされた出力ピクセルを得る。
比較器２４、左右レジスタ２５，２８、および左右核のＭＡＣ２６，２７に関連して上述したように、動的フィルタリングが実施される前に、アップサンプルされたピクセルの正確な数が発生されなければならない。再度、図２を参照すると、アップサンプルされたピクセルの数は、ＡおよびＢレジスタ２２，２３の前後に格納された最も大きなフィルタサイズにより決定される。
比較器２９は、最も大きなフィルタサイズ（すなわち、フィルタ参照テーブル２１からの最も大きなフィルタ係数出力）を決定し、その値をアップサンプル増分発生器３０に転送する。アップサンプル増分発生器は、ＴａｒＩｎｃ値を受け取って、アップサンプル増分値を生成するために、受け取ったＴａｒＩｎｃ値を受け取ったフィルタ係数に等しい所定のビット数だけ右にシフトする。図３に示す例では、第１のターゲット増分は２．２５であり、“４で割る”操作（すなわち、ＴａｒＩｎｃを２ビット右にシフトすることにより、アップサンプル増分値０．５６２５を得る）に対応するフィルタ係数２を得る。そのアップサンプル増分値（すなわち、右にシフトしたＴａｒＩｎｃ値）は、要求されたサイズのＦＩＲフィルタ（例えば、ＴａｒＩｎｃ＝２．２５に対して９タップフィルタ）への適用のためのアップサンプルされたピクセルの正確な等しい間隔を表している。
補間器３１は、アップサンプル増分値を読み込み、ソースピクセルからアップサンプルされたピクセルを、連続したベース上に、アップサンプル増分値により決定される間隔で、内部インクリメンタまたはカウンタ値がＴａｒＩｎｃに達するまで補間する。上述されかつ図３に示された例においては、９タップＦＩＲフィルタへの適用のために、ソースピクセル間隔に対して０．５６２５の間隔で、４つのアップサンプルされたピクセルが発生される。補間器３１は、周知の線形補間器、本出願人の係属中の特許出願第０８／１７２０６５号に開示されたような二次補間器、または任意の他の好適な設計の補間器として装備されてもよい。
補間器３１により発生されるアップサンプルされたピクセルは、正確な係数が正確なアップサンプルされたピクセルに乗算されることを保証する制御ロジックを有する左右核のＭＡＣ２６，２７に転送される。このように、図３において、線２（アップサンプル）は、ターゲットピクセルを発生するように装備された異なるサイズのＦＩＲフィルタに対して要求される可能な限り多くの数のアップサンプルピクセルを表している。図３の線２と線３との間に示されたＦＩＲフィルタの動作は、正確な係数を正確なアップサンプルされたピクセルに乗じる左右核のＭＡＣ２６，２７により実施される。左右核のＭＡＣ２６，２７の内部制御ロジックは、アップサンプルされたピクセルの所定のものが、係数とアップサンプルされたピクセルとを正確に整合するためにスキップされることを保証している。例えば、第１の中間ターゲットピクセルを発生するために用いられる９タップＦＩＲフィルタが、線２からアップサンプルされた全てのピクセルを用いるのに対して、隣接する３タップフィルタは、第５，９，第１１の発生されたアップサンプルされたピクセルのみを用い、第６，第７，第８，第１０のアップサンプルされたピクセル、その他をスキップしている。
左右核のＭＡＣ２６，２７の制御ロジックは、本件出願人の出願係属中の米国特許出願第０８／１２６３８８号に説明されているように、システムの始動時に、第１のターゲットピクセルについての右半分の核値を２倍にすることにより、第１のターゲットピクセルをも発生する。最後のターゲットピクセルは、左核値を２倍することにより発生される。この倍加は、全てのＦＩＲ係数が単一のゲインを維持することを保証するために要求される。
ここで、図４を見ると、ターゲット増分の動的な変化に従って、ソースピクセルのストリームから、ワーピングされた出力ピクセルのストリームを発生させるための好ましい実施形態に係る機能的なブロックダイアグラムが示されている。
最初に、ターゲット増分（ＴａｒＩｎｃ）は、フィルタ参照テーブル４１を介して、特定のＦＩＲフィルタサイズに、上記表Ａに示されたマッピングに基づくフィルタ係数値により表されるように写像される。ＦＩＲ係数は、読み出し専用テーブル（すなわちＲＯＭ）に格納され、または、ユーザにより提供され得る。フィルタサイズは、ＴａｒＩｎｃに基づいて係数テーブルをインデクシングすることにより選択される。表Ａが、単に１つの実施例を示しているに過ぎないことに注意することは重要である。この表は、全てのサイズのＴａｒＩｎｃをサポートし、全フィルタサイズおよびフィルタ係数を発生するように拡張され得る。
ＴａｒＩｎｃが一旦写像されると、フィルタサイズはレジスタ４２内に保持されて、左右核の乗算器アキュムレータ４４，４５に供給される。図５は、このステップを示している。図５の第５の線（ＴａｒＩｎｃ→フィルタマッピング）は、上記表Ａのマッピングに基づいて第４の線（ターゲット増分）からのＴａｒＩｎｃ値を種々のＦＩＲフィルタに写像したものを示している。これは、非対称フィルタの各半分の核のサイズをターゲットピクセルの各側に配置し、該ピクセルに対して各半分の核を示すことにより、図５に概略的に表されている。図５において、第３の線（ターゲット）は、９タップフィルタにより発生される第１のターゲットピクセル、９タップフィルタの半分および３タップフィルタの半分からなる非対称フィルタにより発生される第２のターゲットピクセル、３タップフィルタにより発生される第３のターゲットピクセルおよび３タップフィルタの半分および５タップフィルタの半分からなる非対称フィルタにより発生される第４のターゲットピクセルを示している。
上述したように、ＴａｒＩｎｃは、フィルタ参照テーブル４１を介して、マッピング表Ａに従ってＦＩＲフィルタサイズに写像され、その出力（すなわち、フィルタ係数値）は、連続してレジスタ４２内に格納される。左核のＭＡＣ４４（すなわち、乗算器アキュムレータ）は、レジスタ４２内に格納されたフィルタ係数値を読み取り、半分のターゲットピクセル値と、指定されたフィルタ核の左半分および左側半分の核のためのセンタータップを用いたセンタータップ積値への第１のコントリビューション(contribution)とを発生する。同じクロックサイクルにおいて、右核のＭＡＣ４５は、他の半分のターゲットピクセル値と、右半分のフィルタ核および右側半分の核のためのセンタータップを用いたセンタータップ積値への第２のコントリビューションとを発生する。右核のＭＡＣ４５は、その後、センタータップ乗算積への第１および第２のコントリビューションを合計し、その合計した値を、平均センタータップ乗算積を得るために２で割り、最後にその平均センタータップ乗算積と、左核のＭＡＣ４４から受け取ったターゲットピクセル値の左半分およびターゲットピクセル値の右半分とを合計し、最終的なワーピングされた出力ピクセルを得る。
センタータップ乗算積への第１および第２のコントリビューションを合計し、その合計値を２で割ることに代えて、各半分の核ごとのセンタータップ係数は、単に、左右核のＭＡＣ４４，４５の関連する係数ＲＯＭに格納される前に、または、この発明がソフトウェア内に装備された適当なコードを介して、二等分されてもよい。
アップサンプル増分発生器４６は、ＴａｒＩｎｃ値を受け取り、かつ、アップサンプル増分値を生成するために、受け取ったフィルタ係数に等しい所定のビット数だけ右にシフトする。図５の例では、第１のターゲット増分は２．２５であり、“４で割る”操作（すなわち、ＴａｒＩｎｃを右に２ビットシフトすることによりアップサンプル増分０．５６２５が得られる。）に相当するフィルタ係数、２が得られる。アップサンプル増分値（すなわち、右にシフトされたＴａｒＩｎｃ値）は、要求された大きさのＦＩＲフィルタ（例えば、ＴａｒＩｎｃ＝２．２５に対して９タップフィルタ）への適用のためのアップサンプルされたピクセルの正確な等しい間隔を表している。
補間器４７は、アップサンプル増分値を読み込み、ソースピクセルからのアップサンプルピクセルを連続するベース上に、アップサンプル増分値により決定された間隔で、内部インクリメンタまたはカウンタ値がＴａｒＩｎｃに達するまで補間する。上述されかつ図５に示された例では、９タップＦＩＲフィルタへの適用のために、ソースピクセル間隔に対して０．５６２５の間隔を有する４つのアップサンプルピクセルが発生される。補間器４７は、周知の線形補間器、本件出願人の係属中の米国特許出願第０８／１７２０６５号に開示されたような二次補間器、または、任意の他の好適に設計された補間器として装備されてもよい。
補間器４７により発生されたアップサンプルされたピクセルは、正確なアップサンプルされたピクセルに正確な係数が乗じられることを保証するための制御ロジックを有する左右核のＭＡＣ４４，４５に転送される。図５の線２と線３との間におけるＦＩＲフィルタの図示された動作は、正確な係数を正確なアップサンプルされたピクセル値に乗じる左右半分の核のＭＡＣ４４，４５により実行される。
左右核のＭＡＣ４４，４５の制御ロジックは、出願第０８／１２６３８８号に開示された方法で、最初のターゲットピクセルについての右半分の核値を２倍することによりシステムの始動時の第１のターゲットピクセルをも発生する。最後のターゲットピクセルは、左核値を２倍することにより発生される。この倍加は、全てのＦＩＲフィルタが単一のゲインを維持することを保証するために要求される。
この発明の他の実施形態および変更は可能である。例えば、さらに他の実施形態により、この発明は、Ｃ言語を用いたソフトウェアで実施される。この他のソフトウェア実施形態は、この明細書の付録Ａに十分に開示されている。好ましい実施形態にしたがって実施されるワーピングは、固有ナイキスト帯域制限を提供することとして説明されているけれども、ナイキスト帯域制限なしに（例えば、ソフトフォーカスワーピング）、この発明の原理を用いて特殊効果ワーピングが実施されてもよい。言い換えると、プレフィルタリングおよび補間ステップは、ナイキスト帯域制限なしに実施され得る。全てのそのような他の実施形態および変更は、添付された請求の範囲に記載された発明の範囲内に配されるものである。
Claims (23)
- ターゲットサンプルの出力シーケンスを生成するために、ソースサンプルの入力シーケンスを受け取ってワーピングするサンプルシーケンスワーピングシステムであって、
ａ） 前記ターゲットサンプルのそれぞれの間の所望のターゲット間隔を表す連続したターゲット増分を受け取り、それに応じて、前記所望のターゲット間隔を有する前記各ターゲットサンプルを発生するために、十分なフィルタ係数を有する各ＦＩＲフィルタを表す連続するフィルタ係数値を発生する第１の手段と、
ｂ） 前記連続するフィルタ係数値を受け取り、それに応じて、前記各ターゲットサンプルを発生するために、前記各ＦＩＲフィルタの所定の左右半分の核を選択する第２の手段と、
ｃ） 前記連続するターゲット増分および前記連続するフィルタ係数値を受け取り、それに応じて、前記ソースサンプルの入力シーケンスから所定数のアップサンプルされた中間サンプルを発生する第３の手段と、
ｄ） 前記ターゲットサンプルの出力シーケンスを発生するために、前記アップサンプルされた中間サンプルを、前記各ＦＩＲフィルタの前記所定の左右半分の核に供給する第４の手段とを具備することを特徴とするサンプルシーケンスワーピングシステム。 - 前記第１の手段が、前記各ターゲット増分を、前記各フィルタ係数値および前記ＦＩＲフィルタのサイズと関連づけるためのフィルタ参照テーブルを具備することを特徴とする請求項１記載のサンプルシーケンスワーピングシステム。
- 前記ターゲット増分が０と１の間にあるときに、前記フィルタ参照テーブルが、フィルタ係数値、０を発生することを特徴とする請求項２記載のサンプルシーケンスワーピングシステム。
- 前記ターゲット増分が１と２の間にあるときに、前記フィルタ参照テーブルが、フィルタ係数値、１を発生することを特徴とする請求項２記載のサンプルシーケンスワーピングシステム。
- 前記ターゲット増分が２と４の間にあるときに、前記フィルタ参照テーブルが、フィルタ係数値、２を発生することを特徴とする請求項２記載のサンプルシーケンスワーピングシステム。
- 前記ターゲット増分が４と８の間にあるときに、前記フィルタ参照テーブルが、フィルタ係数値、２を発生することを特徴とする請求項２記載のサンプルシーケンスワーピングシステム。
- 前記ターゲット増分が８と１６の間にあるときに、前記フィルタ参照テーブルが、フィルタ係数値、４を発生することを特徴とする請求項２記載のサンプルシーケンスワーピングシステム。
- 前記ターゲット増分が１６と３２の間にあるときに、前記フィルタ参照テーブルが、フィルタ係数値、５を発生することを特徴とする請求項２記載のサンプルシーケンスワーピングシステム。
- 前記第２の手段が、前記各ターゲットサンプルの両側の前記各ＦＩＲフィルタの最も大きなものの前記所定の左右半分の核を選択する手段をさらに具備することを特徴とする請求項１記載のサンプルシーケンスワーピングシステム。
- 前記第２の手段が、前記各ターゲットサンプルの両側の前記各ＦＩＲフィルタからの前記所定の左右半分の核を選択する手段をさらに具備することを特徴とする請求項１記載のサンプルシーケンスワーピングシステム。
- 前記所定の左右半分の核を選択する手段が、さらに、
ｉ） 前記連続するフィルタ係数値を受け取り、該連続するフィルタ係数値を一サンプル周期だけ遅延させるために、前記第１の手段に接続された第１のレジスタ手段と、
ｉｉ） 前記第１の手段および前記第１のレジスタ手段から出力される２つの連続するフィルタ係数値の最も大きいものを選択し、それに応じて、前記２つの連続するフィルタ係数値の連続する最も大きいものを出力するために、前記第１の手段および前記第１のレジスタ手段に接続された第１の比較器手段とを具備することを特徴とする請求項９記載のサンプルシーケンスワーピングシステム。 - 前記第３の手段が、さらに、
ｉｉｉ） 前記連続するフィルタ係数値を受け取り、該連続するフィルタ係数値を一サンプル周期だけ遅延させるために、前記第１のレジスタ手段に接続された第２のレジスタ手段と、
ｉｖ） 前記第１の手段、前記第１のレジスタ手段および前記第２のレジスタ手段のそれぞれから出力された３つの連続したフィルタ係数値のうちの最も大きいものを選択し、それに応じて、前記３つの連続したフィルタ係数値の連続した最も大きなものを出力するために、前記第１の手段、前記第１のレジスタ手段および前記第２のレジスタ手段に接続された第２の比較器手段と、
ｖ） 前記連続したターゲット増分および前記３つの前記連続したフィルタ係数値の前記連続した最も大きなものを受け取り、それに応じて、連続したアップサンプル増分値を形成するために、前記連続したターゲット増分をそれぞれ、前記３つの前記フィルタ係数値の前記連続した最も大きなものだけ右にシフトするためのアップサンプル増分発生器と、
ｖｉ） 前記連続したバイナリ形式のターゲット増分、前記連続したアップサンプル増分値および前記ソースサンプルの入力シーケンスを受け取り、それに応じて、前記アップサンプル増分値のそれぞれのものだけ間隔をあけて離れた、前記アップサンプル増分値のそれぞれのもので除算した前記ターゲット増分のそれぞれのものに等しい前記所定数のアップサンプルされた中間サンプルを生成するために、前記ソースサンプルの前記入力シーケンスを補間する補間器手段とを具備することを特徴とする請求項１１記載のサンプルシーケンスワーピングシステム。 - 前記第４の手段が、さらに、
ｖｉｉ） 前記２つの連続したフィルタ係数値のうちの前記連続した最も大きなものを受け取って、一のサンプル周期だけ遅延させるための前記第２の比較器手段に接続された第３のレジスタ手段と、
ｖｉｉｉ） 前記２つの連続したフィルタ係数値のうちの前記連続した最も大きなものを受け取って、他のサンプル周期だけ遅延させるための前記第３のレジスタ手段に接続された第４のレジスタ手段と、
ｉｘ） 第１の複数の前記アップサンプルされた中間サンプルを受け取り、該中間サンプルに、一のサンプル周期だけ遅延された前記２つの連続したフィルタ係数値のうちの前記連続した最も大きなものにより同定された前記フィルタ係数の連続したものを乗じ、それに応じて、第１の複数の中間積値を発生し、該第１の複数の中間積値を合計し、それに応じて、一連の累積された中間積値を発生するために、前記第３のレジスタ手段および前記補間器手段に接続された第１の半分のデジタルフィルタ核乗算器アキュムレータ手段と、
ｘ） 第２の複数の前記連続したアップサンプルされた中間サンプルを受け取り、該中間サンプルに、他のサンプル周期だけ遅延された前記２つの連続したフィルタ係数値の前記連続した最も大きなものにより同定された前記フィルタ係数の連続したものを乗じ、それに応じて、第２の複数の中間積値を発生し、これら第２の中間積値を合計し、それに応じて、他の一連の累積された中間積値を発生し、ターゲットサンプルの前記出力シーケンスを発生するために、前記一連の累積された中間積値と前記他の一連の累積された中間積値とを合計すべく、前記第１の半分のデジタルフィルタ核乗算器アキュムレータ手段、前記第４のレジスタ手段および前記補間器手段に接続された第２の半分のデジタルフィルタ核乗算器アキュムレータ手段とを具備することを特徴とする請求項１２記載のサンプルシーケンスワーピングシステム。 - 前記第３の手段が、さらに、
ｉ） 前記連続したターゲット増分と、前記連続したフィルタ係数値とを受け取り、それに応じて、連続したアップサンプル増分値を形成するために、前記連続したターゲット増分を、それぞれ、前記連続したフィルタ係数値だけ右にシフトするためのアップサンプル増分発生器と、
ｉｉ） 前記連続したターゲット増分、前記連続したアップサンプル増分値および前記ソースサンプルの入力シーケンスを受け取り、それに応じて、前記アップサンプル増分値のそれぞれのもので除算した前記ターゲット増分のそれぞれのものに等しい前記所定数の、前記アップサンプル増分値のそれぞれのものだけ間隔をあけたアップサンプルされた中間サンプルを生成するために、前記ソースサンプルの入力シーケンスを補間する補間器手段とを具備することを特徴とする請求項１０記載のサンプルシーケンスワーピングシステム。 - 前記第４の手段が、さらに、
ｉｉｉ） 前記連続したフィルタ係数値を受け取り、これを一のサンプル周期だけ遅延させるために、前記第１の手段に接続されたレジスタ手段と、
ｉｖ） 第１の複数の前記アップサンプルされた中間サンプルを受け取り、これに、一のサンプル周期だけ遅延された前記連続したフィルタ係数値により同定された前記フィルタ係数の連続したものを乗じ、それに応じて第１の複数の中間積値を発生し、これら第１の複数の中間積値を合計し、それに応じて、一連の累積した中間積値を発生するために、前記レジスタ手段および前記補間器手段に接続された第１の半分のデジタルフィルタ核乗算器アキュムレータ手段と、
ｖ） 第２の複数の前記連続したアップサンプルされた中間サンプルを受け取り、これに、前記一のサンプル周期だけ遅延された前記連続したフィルタ係数値により同定された前記フィルタ係数の連続したものを乗じ、それに応じて、第２の複数の中間積値を発生し、これら第２の複数の中間積値を合計し、それに応じて、他の一連の累積した中間積値を発生し、前記ターゲットサンプルの出力シーケンスを発生するために、前記一連の累積した中間積値と前記他の一連の累積した中間積値とを合計すべく、前記第１の半分のデジタルフィルタ核乗算器アキュムレータ手段、前記レジスタ手段および前記補間器手段に接続された第２の半分のデジタルフィルタ核乗算器アキュムレータ手段とを具備することを特徴とする請求項１４記載のサンプルシーケンスワーピングシステム。 - ターゲットサンプルの出力シーケンスを生成するために、ソースサンプルの入力シーケンスを受け取ってワーピングするサンプルシーケンスワーピング方法であって、
ａ） 前記ターゲットサンプルのそれぞれのものの間の所望のターゲット間隔を表す連続したターゲット増分を受け取り、それに応じて、前記所望のターゲット間隔を有する前記ターゲットサンプルのそれぞれのものを発生するために十分なフィルタ係数を有する各ＦＩＲフィルタを表す連続したフィルタ係数値を発生するステップと、
ｂ） 前記連続したフィルタ係数値を受け取り、それに応じて、前記ターゲットサンプルの前記それぞれのものを発生するために前記各ＦＩＲフィルタの所定の左右半分の核を選択するステップと、
ｃ） 前記連続したターゲット増分および前記連続したフィルタ係数値を受け取り、それに応じて、前記ソースサンプルの入力シーケンスから所定数のアップサンプルされた中間サンプルを発生するステップと、
ｄ） 前記ターゲットサンプルの出力シーケンスを発生するために、前記アップサンプルされた中間サンプルを、前記核ＦＩＲフィルタの前記所定の左右半分の核に適用するステップとを具備することを特徴とするサンプルシーケンスワーピング方法。 - 前記ターゲットサンプルのそれぞれのものを発生するために、前記連続したフィルタ係数値を受け取り、それに応じて、前記各ＦＩＲフィルタの所定の左右半分の核を選択するステップが、さらに、前記各ターゲットサンプルの両側の、前記各ＦＩＲフィルタの最も大きなものの所定の左右半分の核を選択するステップを具備することを特徴とする請求項１６記載のサンプルシーケンスワーピング方法。
- 前記ターゲットサンプルのそれぞれのものを発生するために、前記連続したフィルタ係数値を受け取り、それに応じて、前記各ＦＩＲフィルタの所定の左右半分の核を選択するステップが、さらに、前記各ターゲットサンプルの両側の、前記ＦＩＲフィルタのそれぞれのものから前記所定の左右半分の核を選択するステップを具備することを特徴とする請求項１６記載のサンプルシーケンスワーピング方法。
- 前記所定の左右半分の核を選択するステップが、さらに、
ｉ） 前記連続したフィルタ係数値を受け取り、一のサンプル周期だけ遅延させるステップと、
ｉｉ） ２つの連続したフィルタ係数値の最も大きなものを選択し、それに応じて、前記２つの連続したフィルタ係数値のうちの連続した最も大きなものを出力するステップとを具備することを特徴とする請求項１７記載のサンプルシーケンスワーピング方法。 - 前記連続したターゲット増分と前記連続したフィルタ係数値とを受け取り、それに応じて、前記ソースサンプルの入力シーケンスから所定数のアップサンプルされた中間サンプルを発生するステップが、さらに、
ｉｉｉ） 前記連続したフィルタ係数値を受け取り、他のサンプル周期だけ遅延させるステップと、
ｉｖ） ３つの連続したフィルタ係数値の最も大きなものを選択し、それに応じて、３つの前記連続したフィルタ係数値の連続した最も大きなものを出力するステップと、
ｖ） 前記連続したターゲット増分と、前記３つの前記連続したフィルタ係数値のうちの前記連続した最も大きなものを受け取り、それに応じて、連続したアップサンプルされた増分値を形成するために、前記連続したターゲット増分を前記３つのフィルタ係数値の前記連続した最も大きなものだけ右にシフトするステップと、
ｖｉ） 前記連続したバイナリ形式のターゲット増分、前記連続したアップサンプルされた増分値および前記ソースサンプルの入力シーケンスを受け取り、それに応じて、前記アップサンプルされた増分値のそれぞれのものだけ間隔をあけて離れた、前記アップサンプルされた増分値のそれぞれのものにより除算される前記ターゲット増分のそれぞれのものに等しい前記所定数の、アップサンプルされた中間サンプルを生成するために、前記ソースサンプルの入力シーケンスを補間するステップとを具備することを特徴とする請求項１９記載のサンプルシーケンスワーピング方法。 - 前記ターゲットサンプルの出力シーケンスを発生するために、前記アップサンプルされた中間サンプルを、前記各ＦＩＲフィルタの前記所定の左右半分の核に適用するステップが、さらに、
ｖｉｉ） ２つの前記連続したフィルタ係数値のうちの前記連続した最も大きなものを受け取り、これを一のサンプル周期だけ遅延させるステップと、
ｖｉｉｉ） ２つの前記連続したフィルタ係数値のうちの前記連続した最も大きなものを受け取り、これを他のサンプル周期だけ遅延させるステップと、
ｉｘ） 第一の複数の前記アップサンプルされた中間サンプルを受け取り、これに、一のサンプル周期だけ遅延された２つの前記連続したフィルタ係数値の前記連続した最も大きなものにより同定される前記フィルタ係数の連続したものを乗じ、それに応じて、第１の複数の中間積値を発生し、該第１の複数の中間積値を合計し、それに応じて一連の累積された中間積値を発生するステップと、
ｘ） 第２の複数の前記連続したアップサンプルされた中間サンプルを受け取り、これに、他のサンプル周期だけ遅延された前記２つの連続したフィルタ係数値の前記連続した最も大きなもので同定された前記フィルタ係数の連続したものを乗じ、それに応じて、第２の複数の中間積値を発生し、該第２の中間積値を合計し、これに応じて、他の一連の累積した中間積値を発生し、ターゲットサンプルの前記出力シーケンスを発生するために、前記一連の累積した中間積値と前記他の一連の累積した中間積値を合計するステップとを具備することを特徴とする請求項２０記載のサンプルシーケンスワーピング方法。 - 前記連続したターゲット増分と前記連続したフィルタ係数値とを受け取り、それに応じて、前記ソースサンプルの入力シーケンスから、所定数のアップサンプルされた中間サンプルを発生するステップが、さらに、
ｉ） 前記連続したターゲット増分と前記連続したフィルタ係数値とを受け取り、それに応じて、連続したアップサンプル増分値を形成するために、前記連続したターゲット増分をそれぞれ前記連続したフィルタ係数値だけ右にシフトするステップと、
ｉｉ） 前記連続したターゲット増分、前記連続したアップサンプル増分値および前記ソースサンプルの入力シーケンスを受け取り、それに応じて、前記アップサンプルされた増分値のそれぞれのものだけ間隔をあけて離れた、前記アップサンプル増分値のそれぞれのもので除算された前記ターゲット増分のそれぞれのものに等しい所定数の、アップサンプルされた中間サンプルを生成するために、前記ソースサンプルの入力シーケンスを補間するステップとを具備することを特徴とする請求項１８記載のサンプルシーケンスワーピング方法。 - 前記ターゲットサンプルの出力シーケンスを発生するために、前記アップサンプルされた中間サンプルを、前記各ＦＩＲフィルタの前記所定の左右半分の核に適用するステップが、さらに、
ｉｉｉ） 前記連続したフィルタ係数値を受け取り、これを一のサンプル周期だけ遅延させるステップと、
ｉｖ） 第１の複数の前記アップサンプルされた中間サンプルを受け取り、これに、一のサンプル周期だけ遅延された前記連続したフィルタ係数値により同定される前記フィルタ係数の連続したもの乗じ、これに応じて、第１の複数の中間積値を発生し、該第１の複数の中間積値を合計し、それに応じて、一連の累積した中間積値を発生するステップと、
ｖ） 第２の複数の前記連続したアップサンプルされた中間サンプルを受け取り、これに、前記一のサンプル周期だけ遅延された前記連続したフィルタ係数値により同定される前記フィルタ係数の連続したものを乗じ、これに応じて、第２の複数の中間積値を発生し、該第２の複数の中間積値を合計し、それに応じて、他の一連の累積した中間積値を発生し、前記ターゲットサンプルの出力シーケンスを発生するために、前記一連の累積した中間積値と前記他の一連の累積した中間積値とを合計するステップとを具備することを特徴とする請求項２２記載のサンプルシーケンスワーピング方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/361,539 | 1994-12-22 | ||
| US08/361,539 US5594676A (en) | 1994-12-22 | 1994-12-22 | Digital image warping system |
| PCT/CA1995/000680 WO1996019777A1 (en) | 1994-12-22 | 1995-12-06 | Digital image warping system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10511239A JPH10511239A (ja) | 1998-10-27 |
| JP3714680B2 true JP3714680B2 (ja) | 2005-11-09 |
Family
ID=23422445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP51937196A Expired - Fee Related JP3714680B2 (ja) | 1994-12-22 | 1995-12-06 | デジタル画像ワーピングシステム |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US5594676A (ja) |
| EP (1) | EP0800687B1 (ja) |
| JP (1) | JP3714680B2 (ja) |
| KR (1) | KR100351698B1 (ja) |
| AT (1) | ATE170310T1 (ja) |
| AU (1) | AU3976695A (ja) |
| DE (1) | DE69504371T2 (ja) |
| WO (1) | WO1996019777A1 (ja) |
Families Citing this family (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6061477A (en) * | 1996-04-18 | 2000-05-09 | Sarnoff Corporation | Quality image warper |
| US5859651A (en) * | 1996-08-19 | 1999-01-12 | International Business Machines Corporation | Method and apparatus for block data transfer to reduce on-chip storage for interpolative video resizing |
| US5963213A (en) * | 1997-05-07 | 1999-10-05 | Olivr Corporation Ltd. | Method and system for accelerating warping |
| US6456339B1 (en) | 1998-07-31 | 2002-09-24 | Massachusetts Institute Of Technology | Super-resolution display |
| US6456340B1 (en) | 1998-08-12 | 2002-09-24 | Pixonics, Llc | Apparatus and method for performing image transforms in a digital display system |
| US6236766B1 (en) * | 1998-09-11 | 2001-05-22 | General Electric Company | Method and apparatus for zooming digital images |
| US6424789B1 (en) | 1999-08-17 | 2002-07-23 | Koninklijke Philips Electronics N.V. | System and method for performing fast forward and slow motion speed changes in a video stream based on video content |
| US7292261B1 (en) * | 1999-08-20 | 2007-11-06 | Patrick Teo | Virtual reality camera |
| US6906732B1 (en) * | 1999-12-07 | 2005-06-14 | Nintendo Co., Ltd. | Texture morphing process provided by the preferred embodiment of the present invention |
| GB2360919A (en) * | 2000-01-20 | 2001-10-03 | Anthropics Technology Ltd | Appearance modelling |
| US6665450B1 (en) * | 2000-09-08 | 2003-12-16 | Avid Technology, Inc. | Interpolation of a sequence of images using motion analysis |
| US20020039138A1 (en) * | 2000-09-29 | 2002-04-04 | Edelson Steven D. | Method and apparatus for automatically adjusting video panning and zoom rates |
| JP4231620B2 (ja) | 2000-10-11 | 2009-03-04 | メディア・テック・ユーエスエイ・インコーポレーテッド | 画像処理方法および装置 |
| EP1518211A2 (en) * | 2000-12-22 | 2005-03-30 | Anthropics Technology Limited | Image processing system |
| CN1537300A (zh) * | 2000-12-22 | 2004-10-13 | 通信系统 | |
| US7545957B2 (en) * | 2001-04-20 | 2009-06-09 | Avid Technology, Inc. | Analyzing motion of characteristics in images |
| US7043058B2 (en) * | 2001-04-20 | 2006-05-09 | Avid Technology, Inc. | Correcting motion vector maps for image processing |
| EP1395865A2 (en) | 2001-06-12 | 2004-03-10 | Silicon Optix Inc. | System and method for correcting keystone distortion |
| ATE375571T1 (de) | 2001-06-12 | 2007-10-15 | Silicon Optix Inc | Verfahen und vorrichtung zur verarbeitung einer nichtlinearen zweidimensionalen räumlichen transformation |
| US7142729B2 (en) * | 2001-09-10 | 2006-11-28 | Jaldi Semiconductor Corp. | System and method of scaling images using adaptive nearest neighbor |
| CA2360295A1 (en) * | 2001-10-26 | 2003-04-26 | Jaldi Semiconductor Corp. | System and method for image warping |
| US6934422B2 (en) * | 2001-12-18 | 2005-08-23 | Honeywell International Inc. | Methods, data, and systems to warp an image |
| US20060017730A1 (en) * | 2002-02-01 | 2006-01-26 | Koninklijke Philips Electronics N. V. | Stepless 3d texture mapping in computer graphics |
| US20070074269A1 (en) * | 2002-02-22 | 2007-03-29 | Hai Hua | Video processing device, video recorder/playback module, and methods for use therewith |
| US7194676B2 (en) | 2002-03-01 | 2007-03-20 | Avid Technology, Inc. | Performance retiming effects on synchronized data in an editing system |
| US20070165192A1 (en) * | 2006-01-13 | 2007-07-19 | Silicon Optix Inc. | Reduced field angle projection display system |
| US7714943B2 (en) * | 2002-06-12 | 2010-05-11 | Geo Semiconductor Inc. | Ultra-thin image projection system |
| EP1588546A4 (en) * | 2003-01-08 | 2008-07-09 | Silicon Optix Inc | IMAGE PROJECTION SYSTEM AND METHOD |
| US7277101B2 (en) * | 2003-09-29 | 2007-10-02 | Vixs Systems Inc | Method and system for scaling images |
| US7064770B2 (en) * | 2004-09-09 | 2006-06-20 | Silicon Optix Inc. | Single-pass image resampling system and method with anisotropic filtering |
| US7460730B2 (en) * | 2005-08-04 | 2008-12-02 | Microsoft Corporation | Video registration and image sequence stitching |
| US7623726B1 (en) | 2005-11-30 | 2009-11-24 | Adobe Systems, Incorporated | Method and apparatus for using a virtual camera to dynamically refocus a digital image |
| US8509563B2 (en) * | 2006-02-02 | 2013-08-13 | Microsoft Corporation | Generation of documents from images |
| US8055070B2 (en) * | 2007-01-05 | 2011-11-08 | Geo Semiconductor Inc. | Color and geometry distortion correction system and method |
| US8442316B2 (en) | 2007-01-05 | 2013-05-14 | Geo Semiconductor Inc. | System and method for improving color and brightness uniformity of backlit LCD displays |
| US8159615B2 (en) * | 2007-07-25 | 2012-04-17 | Sigma Designs, Inc. | System and method of geometrical predistortion of overlaying graphics sources |
| US8073291B2 (en) * | 2007-10-17 | 2011-12-06 | Seiko Epson Corporation | Center based image resizer |
| KR101599872B1 (ko) * | 2009-02-25 | 2016-03-04 | 삼성전자주식회사 | 디지털 영상 처리 장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체 |
| CN102110431B (zh) * | 2009-12-23 | 2014-08-13 | 富士通微电子(上海)有限公司 | 数字图像的缩放方法及装置 |
| US8675994B1 (en) * | 2010-06-17 | 2014-03-18 | Ambarella, Inc. | High performance warp correction in two-dimensional images |
| KR102560780B1 (ko) | 2016-10-05 | 2023-07-28 | 삼성전자주식회사 | 복수의 이미지 센서를 포함하는 이미지 처리 시스템 및 그것을 포함하는 전자 장치 |
| US12014472B1 (en) * | 2019-09-03 | 2024-06-18 | Apple Inc. | Methods and devices for improved inverse iterative warping |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5384912A (en) * | 1987-10-30 | 1995-01-24 | New Microtime Inc. | Real time video image processing system |
| US5204944A (en) * | 1989-07-28 | 1993-04-20 | The Trustees Of Columbia University In The City Of New York | Separable image warping methods and systems using spatial lookup tables |
| US5175808A (en) * | 1989-09-12 | 1992-12-29 | Pixar | Method and apparatus for non-affine image warping |
| US5170369A (en) * | 1989-09-25 | 1992-12-08 | E-Mu Systems, Inc. | Dynamic digital IIR audio filter and method which provides dynamic digital filtering for audio signals |
| US5355328A (en) * | 1991-09-27 | 1994-10-11 | Northshore Laboratories, Inc. | Resampling apparatus suitable for resizing a video image |
| GB9311942D0 (en) * | 1993-06-09 | 1993-07-28 | Kodak Ltd | Digital signal processing |
-
1994
- 1994-12-22 US US08/361,539 patent/US5594676A/en not_active Expired - Lifetime
-
1995
- 1995-12-06 AU AU39766/95A patent/AU3976695A/en not_active Abandoned
- 1995-12-06 DE DE69504371T patent/DE69504371T2/de not_active Expired - Fee Related
- 1995-12-06 JP JP51937196A patent/JP3714680B2/ja not_active Expired - Fee Related
- 1995-12-06 KR KR1019970704326A patent/KR100351698B1/ko not_active IP Right Cessation
- 1995-12-06 AT AT95938332T patent/ATE170310T1/de not_active IP Right Cessation
- 1995-12-06 EP EP95938332A patent/EP0800687B1/en not_active Expired - Lifetime
- 1995-12-06 WO PCT/CA1995/000680 patent/WO1996019777A1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| EP0800687A1 (en) | 1997-10-15 |
| EP0800687B1 (en) | 1998-08-26 |
| DE69504371D1 (de) | 1998-10-01 |
| KR100351698B1 (ko) | 2002-12-31 |
| ATE170310T1 (de) | 1998-09-15 |
| US5594676A (en) | 1997-01-14 |
| AU3976695A (en) | 1996-07-10 |
| WO1996019777A1 (en) | 1996-06-27 |
| JPH10511239A (ja) | 1998-10-27 |
| DE69504371T2 (de) | 1999-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3714680B2 (ja) | デジタル画像ワーピングシステム | |
| EP0920671B1 (en) | Computationally efficient digital image warping | |
| JP2003520358A (ja) | 多相フィルタを兼ね備えた連続可変型遅延フィルタを用いた画像の補間及び間引き | |
| JP4356819B2 (ja) | サンプルレート変換の改善 | |
| JP4191246B2 (ja) | 映像フィールドを順次走査映像フレームへ非飛び越し走査するための方法および装置 | |
| JP4037841B2 (ja) | 映像補間装置および映像補間方法 | |
| TW595225B (en) | Polyphase filter combining vertical peaking and scaling in pixel-processing arrangement | |
| US5559905A (en) | Digital image resizing apparatus | |
| JP2008512766A (ja) | 異方性フィルタリングを用いたシングルパス画像ワーピングシステム及び方法 | |
| WO2006025121A1 (ja) | 画像処理装置、画像処理方法、および画像表示装置 | |
| EP0511606B1 (en) | Parallel interpolator for high speed digital image enlargement | |
| US6414682B1 (en) | System and method for transitioning between two filters, allowing for the use of higher order interpolation | |
| JP2012138104A (ja) | 異方性フィルタリングを用いたシングルパス画像ワーピングシステム及び方法 | |
| Dooley et al. | Efficient implementation of accurate geometric transformations for 2-D and 3-D image processing | |
| JP2001036812A (ja) | 画像処理装置および方法、並びに媒体 | |
| JP3545619B2 (ja) | 画像任意倍率処理装置及びその方法 | |
| JP2004056474A (ja) | 画像処理装置とそのためのプログラム | |
| JP2002101426A (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JPH11155099A (ja) | 電子ズーム処理装置 | |
| KR970006553B1 (ko) | 영상신호처리시스템에 있어서 화면원근이동(Zooming)장치 | |
| JP2005012740A (ja) | 画像処理装置および画像処理方法 | |
| JP2002101336A (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP3387122B2 (ja) | 画像特殊効果装置 | |
| JPH05191722A (ja) | 画像拡大装置 | |
| Chuang | Design and implementation of a real-time video and graphics scaler |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050726 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050823 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090902 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |