JP4131994B2 - 透視変換システム及び方法 - Google Patents
透視変換システム及び方法 Download PDFInfo
- Publication number
- JP4131994B2 JP4131994B2 JP27438497A JP27438497A JP4131994B2 JP 4131994 B2 JP4131994 B2 JP 4131994B2 JP 27438497 A JP27438497 A JP 27438497A JP 27438497 A JP27438497 A JP 27438497A JP 4131994 B2 JP4131994 B2 JP 4131994B2
- Authority
- JP
- Japan
- Prior art keywords
- rectangle
- dimensional
- trapezoid
- target
- dimension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 129
- 230000009466 transformation Effects 0.000 title claims description 95
- 230000008569 process Effects 0.000 claims description 93
- 238000012952 Resampling Methods 0.000 claims description 77
- 238000004904 shortening Methods 0.000 claims description 54
- 238000004590 computer program Methods 0.000 claims description 22
- 238000010008 shearing Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 238000003306 harvesting Methods 0.000 claims 1
- 238000013507 mapping Methods 0.000 description 48
- 230000006870 function Effects 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 16
- 238000005070 sampling Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000000844 transformation Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000012886 linear function Methods 0.000 description 5
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 238000009795 derivation Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Description
【発明の属する技術分野】
本発明は、コンピュータシステムにおける画像変換システム及び方法に関するものであって、更に詳細には、コンピュータにおける透視変換(perspective transform)システム及び方法に関するものである。
【0002】
【従来の技術】
アドビシステムズインコーポレイテッドから出されているフォトショップ(Photoshop)3.0のような画像処理コンピュータプログラムにおいては、グラフィックス画像は、しばしば、1つの描写から別の描写へ画像を変換させるために「再採取」即ち再サンプル(resample)される。再採取変換の1つのタイプは「透視変換(perspective transform)」として知られている。透視変換は、軸整合されている矩形(即ち、該矩形の側部即ち辺が下側に存在するXY軸面と整合している。全ての矩形はそれらを回転させることによって軸整合させることが可能であるので、ここにおいて矩形に対しての全ての言及は軸整合された矩形に対するものである)を、任意の凸状の非縮退四角形(「非縮退」とは、四角形の3つの頂点が同一直線上にないことを意味している)へマッピングさせる。透視変換は、例えばスケーリング、回転及び剪断(shearing)等のアフィン変換を包摂する。図1は頂点A,B,C,Dによって画定される矩形を頂点A′,B′,C′,D′によって画定される透視四角形へ変換させる一般的な透視変換のブロック図である。
【0003】
一般的に、透視変換は、最初の四角形を境界を画定する矩形で取囲み且つ対応する変換した四角形を派生させることによって任意の凸状の四角形をその他の任意の凸状の四角形へ直接的にマッピングさせるために使用することが可能である。最初の四角形を矩形へマッピングするために逆変換を使用し次いでその矩形から最終的な四角形へマッピングさせることによって一般的な変換を実施することも可能である。更に、2つの透視変換の合成は透視変換である。最後に、注意すべきことであるが、特定の矩形を特定の凸状の四角形へマッピングさせる透視変換はただ1つ存在する。従って、矩形を四角形へマッピングさせる透視変換の実現は、実際には、その矩形及び四角形によって画定される透視変換の実現である。透視変換に関する更なる情報については、George Wolderg「デジタル画像ワーピング(Digital Image Warping)」、IEEE・コンピュータ・ソサエティ・プレス、1990年の文献を参照すると良い。
【0004】
更に詳細に説明すると、画像変換の一般的な問題としては、ソース(即ち、元の)座標<u,v>からターゲットの座標<x,y>へのマッピングを画定することがある。これは前方マッピングとして知られている(画像変換は、更に、ターゲット座標から元の座標へ進行するマッピングとして定義することも可能であり、その場合には、後方マッピングとして知られている)。マッピングは、元の矩形の頂点又は「角部」をターゲットの四角形の対応する角部へ担持するものとして定義することが可能である。このようなマッピングは無限の数存在している。然しながら、透視変換は、直線を保存する唯一のマッピングであり、即ち、ソース即ち元の状態における直線上の全ての点がターゲットにおける直線上の点である唯一のものである。透視変換の一般的な形態は次式で表わされる。
【0005】
<u,v>→<(au+bv+c)/(gu+hv+1),(du+ev+f)/(gu+hv+1)> (1)式
各マッピングが次の形態、
<u,v>→<x,v>又は<u,v>→<u,y>
を有するように中間の画像を介して一連のマッピングへ分割することが可能である場合に、その変換は分離可能であると呼ばれる。
【0006】
従って、各マッピングは単に座標の1成分を変化させるに過ぎない。分離可能な変換は各画像を構築するプロセスが前の画像における各行及び列に対して一次元再採取プロセスを適用することからなる中間の画像を使用して一連のパスとして実行することが可能である。再採取関数は各行及び列において異なる場合がある。重要な点は、それぞれ、行又は列の間において「クロストーク」がないことである。このような再採取は次の如くに表現することが可能である。
【0007】
<u,v>→<Fv (u),v>
尚、Fv (u)はv及びuの両方の関数である。この記号法は、F(u,v)に対して使用されており、関数が1つの次元(即ち、各行に対して)のみに沿って適用されているという事実を強調している。垂直のマッピングは次の形態を有している。
【0008】
<u,v>→<F,Gu (v)>
従って、一次元再採取を使用して、二次元画像を、水平及び垂直な再採取(どちらの順番でも良い)を使用してマッピングさせることが可能である。従って、水平方向に再採取する場合には、ターゲット画像における全てのピクセルは、元の画像内の対応する行内に存在するピクセルによってそれらの値を厳格に決定させる。同様に、垂直方向に再採取する場合には、ターゲット画像内の全てのピクセルは、元の画像内の対応する列内に存在するピクセルによってそれらの値を決定させる。ターゲットピクセルへ書込まれた特定値を決定するために多様なサンプリング及び補間アルゴリズムを使用することが可能である。
【0009】
Wolbergは、次のマッピングを実行する2パス透視変換を提供している。
【0010】
<u,v>→<x,v>→<x,y>
最初のパスにおいては、式1におけるように、x=(au+bv+c)/(gu+hv+1)である。固定したvの場合には(即ち、いずれかの与えられた行に対して)、これは(au+t)/(gu+w)の還元された形態を有しており、その場合にt及びwは行毎に変化する。
【0011】
2番目のパスにおいては、全ての点を適宜の垂直位置へ持ってくるために、各列が再採取される必要性がある。u及びvでyについて解くことは簡単であるが、yはxとvの関数として決定されねばならない。Wolbergは数学を駆使してy=(jx+kv+mxv+n)/(pv+1)の関数に到達している。固定したxの場合(即ち、任意の与えられた列に対して)、これは(qv+r)/(pv+1)の形式を有しており、その場合にq及びrは列毎に異なる。
【0012】
垂直再採取操作とそれに続く水平再採取操作を使用する場合に類似した論理が適用される。
【0013】
この2パスアプローチについての問題としては以下のようなものがある。
【0014】
(1)それは各パスにおいてサンプル即ち採取された全てのピクセルに対し割算演算を必要とする。割算演算はその他の演算と比較して一般的に比較的「高価」であり且つあるハードウエア(例えば、あるデジタル信号処理チップ)上では極めて高価なものとなる場合があるので、このことは顕著である。
【0015】
(2)一般的な場合において、元の矩形の少なくとも1つのエッジが直線から第一パスにおける曲線内へ変換される。このことは、数値的エラーを制御することをより困難なものとさせる。何故ならば、結果的に得られる形状はもはや容易に記述されないからである。このようなエラーは整数演算を使用することによって強調され、整数演算は、割算演算が存在する場合には、除数が小さくなると大きく変化する結果を発生する場合がある。然しながら、関与する計算量のために「より高速な」整数演算を使用することがしばしば望ましい。これらの効果を制御しない場合には、変換した画像内に厳しいアーチファクト即ち人工的な影響が発生する場合がある。
【0016】
透視変換用の別の公知のアルゴリズムは、ソース即ち元の矩形内のピクセルに関して演算を行ない且つそれらのピクセルを該矩形の対応する側部即ち辺に対して平行な少なくとも2つの平行な辺を有するターゲットの台形へ変換させる。この変換も2つのパスで動作し、且つ、実際には、Wolbergのより一般的な2パス変換の特別な場合であり、且つWolbergの数式を使用して必要な係数を派生することが可能である。平行な水平な辺の場合には、第一パスは垂直短縮化であって、その場合に、該矩形は次の変換式によって幅が等しいが高さが異なるものとなる場合のある別の矩形へマッピングされる。
【0017】
<u,v>→<u,(av+b)/(cv+1)>
第二パスにおいては、一様な再採取を使用して中間の矩形上の画像の対応する行を再採取することによってターゲットの台形の各行が発生される。ターゲットの台形における1つの行の端点は、垂直座標の簡単な一次関数であり且つその変換は以下の如くに行なわれる。
【0018】
<u,y>→<du+ey+fuy+g,y>
この第二パスは台形擬似剪断と呼ばれる。何故ならば、各行に関して実行される演算は剪断(shear)期間中に行なわれる演算に対応しているからである。台形擬似剪断パスは、実際に、画像を矩形から台形へ変換するが、元の画像内の直線が結果的に得られる画像において直線上のままであることを確保するために短縮用パスが必要とされる。いずれのパスもそれ自身では透視変換ではないが、それらの結合したものは透視変換を形成する。平行な垂直の辺を有する場合も同様である。
【0019】
図2は頂点A,B,C,Dによって画定される矩形を頂点A′,B′,C′,D′によって画定される透視台形へ変換させる台形透視変換のブロック図である。注意すべきことであるが、線A′−B′及びC′−D′は互いに平行であり且つ対応する線A−B及びC−Dに対して平行である。
【0020】
この変換は、一般的な場合の問題を有するものではない。何故ならば、割算演算はピクセル毎ではなく行又は列毎に必要とされるに過ぎず、且つ中間の形状は矩形であり、従って結果を得るための安定性を確保することが容易である。このアルゴリズムの制限は、それがこの特定の特別の場合を取扱うに過ぎないということである。
【0021】
透視変換は、オリジナルのソース(即ち、元の)矩形をほぼ正しい位置へ回転させるために、転換及び/又はフリップ(水平又は垂直)によって増補させることが可能である。これらの付加的な操作は、単に既存のピクセル値を再配置させるに過ぎないものであるから、複雑な補間を必要とするものではない。これらの操作は、実施することの必要な再採取の量(従って、発生しうる画像劣化の量)を減少させることに貢献する。従って、これらの操作は「配向操作」と呼ばれ、且つそれらは透視変換の前又は後に実施することが可能である。
【0022】
【発明が解決しようとする課題】
本発明は、以上の点に鑑みなされたものであって、上述した如き従来技術の欠点を解消し、従来技術の制限を有することのない一般的な四角形(四辺形)から四角形への透視変換方法及びシステムを提供することを目的とする。
【0023】
【課題を解決するための手段】
本発明は、各次元に対しての一次元再採取プロセスからなる少なくとも2つのシリーズによって透視変換を四角形画像へ適用するマルチパスアルゴリズムを有している。好適実施例においては、本発明は、基本的には、第一フェーズにおいて矩形を中間の台形へ変換し、且つ第二フェーズにおいて該中間の台形から最終的な四角形(四辺形)へ変形し、該第二フェーズにおいては、第一の台形の矩形状の境界ボックスが第二の台形へ変換される。各フェーズは、2つの一次元サンプリング(採取)パスを有しており、即ち1つの次元においての(平行な水平な辺に対しては垂直、平行な垂直の辺に対しては水平)短縮用パスとそれに続く他方の次元において台形擬似剪断パスである。各フェーズはそれ自身透視変換であり、従ってその結果は透視変換である。一次元再採取の重要な利点は、より複雑なサンプリング(採取)及び補間アルゴリズムを使用することが可能であるということである。何故ならば、それらは、二次元データではなく一次元データで処理することが必要であるに過ぎないからである。
【0024】
本発明は従来のプロセスと比較して2つの利点を有している。各行又は列に対して幾分複雑な計算を実行せねばならないが、ピクセル毎の計算は著しく簡単化されており、且つ結果的に得られる形状は単純な台形であるので(矩形は台形であることに注意)、各ステップにおいて、これらの形状が得られ且つ結果が安定なものと見えることを確保するために再採取プロセスを制御することは容易である。
【0025】
【発明の実施の形態】
本明細書全体にわたり、好適実施例及び図示例は単に例示的なものであって本発明を制限するものとして示されているものではない。
【0026】
外観
本発明方法は一般的な透視変換を2つのフェーズへ分割しており、その各フェーズは2つの一次元再採取パスから構成されている。各フェーズは、1つの矩形から、該矩形の対応する辺に対して平行な辺を有する1つの台形への透視変換を構成している。より詳細に説明すると、各フェーズは2つの一次元サンプリング(採取)パスを有しており、即ち、1つの次元(平行な水平な辺に対しては垂直、平行な垂直な辺に対しては水平)においての短縮用パスと、それに続く他方の次元においての台形擬似剪断パスである。従って、第一フェーズにおいては、ソース(即ち、元の)矩形は、平行な水平又は平行な垂直の辺のいずれかを有する第一の中間の台形へ変換される。第二フェーズにおいては、この中間の台形の境界ボックス(即ち、該台形を含む最小の軸整合した矩形)が最終的な四角形(四辺形)の境界となる平行な垂直又は平行な水平な辺(即ち、中間の台形の両側)のいずれかを有する第二のターゲットの台形へ変換される。従って、中間の台形の取囲みボックスをそのように変換させることによって、中間の台形の角部がターゲットの四角形(四辺形)の角部へマッピングされる。
【0027】
これらのパスの詳細な数式についてはWolbergの文献に記載されている。注意すべき重要な点は、これらのパスは、Wolbergの2パスアルゴリズムの一般的な場合におけるパスよりも著しく簡単化されていることである。短縮用パスはいまだに割算を必要としているが、第二成分は第一成分とは独立的であるので、ピクセルあたり1つの割算が必要とされるのではなく、行又は列あたりに1つの割算が必要とされるに過ぎない。短縮用演算(操作)は、更に、1つの矩形を1つの矩形へマッピングさせ且つ行又は列全体を一体的に行又は列として移動させることによって視覚的な安定性を維持している。台形擬似剪断パスは割算を完全に取除いており(後方マッピング実行の一部として行あたり又は列あたり毎に導入されない限り)、従って効率及び数値的安定性の懸念の両方を回避している。
【0028】
本発明における重要な特徴は、(1)中間の台形を矩形状の境界ボックス内にあるものとして表わし次いで該境界ボックスを簡単な一次元サンプリング(採取)パスを使用して台形へ変換させる手順によって中間の台形を最終的な四角形(四辺形)へ変換させることが可能であり、且つ(2)結果的に得られる台形が最終的な四角形(四辺形)の境界を構成するということである。
【0029】
従って、本発明透視変換は、全部で4つのパスとなる全部で2つのフェーズから構成されており(又は、水平と垂直の役割を逆にしたステップからなる類似のシーケンスから構成されている)。
【0030】
(1)垂直短縮化
(2)水平台形擬似剪断
(3)水平短縮化
(4)垂直台形擬似剪断
この一般的な透視変換を簡単化させ又は安定化させるために予備的又は最後の組の配向操作を実施することが可能である。
【0031】
フェーズパス
以下の説明は垂直短縮用パスで開始する場合をカバーしている。水平短縮用パスで開始する場合はこれに類似している。ソース即ち元の矩形の座標が各々が2つのパスからなる2つの主要なフェーズの変換を介してターゲットの四角形(四辺形)へマッピングされる。これは以下のステップを介して行なわれる。
【0032】
尚、<u,v>はソース即ち元の画像における座標であり且つ<x,y>はターゲットの画像の座標を表わしている。以下に説明する図3も参照すると良い。
【0033】
本発明方法の第一フェーズは、ソース即ち元の画像の境界を構成している矩形を平行な水平の端部を有する中間の台形へ変換させる。この変換は2つのパスにおいて行なわれる。
【0034】
(1)ソース即ち元の画像における<u,v>におけるピクセルが、f(v)が(av+b)/(cv+1)の形態である場合の中間の画像における<u,f(v)>へマッピングされる垂直短縮用パス。使用される再採取(resampling)アルゴリズムに依存して、これは、実際には、中間の画像における<u,q>においてのピクセルが<u,f-1(q)>(即ち、逆関数)におけるソース即ち元の画像をサンプリング即ち採取することによって決定されることを意味する場合がある。fは反転可能であるので、このアプローチは容易にサポートされる。この操作(演算)は「短縮(foreshortening)」と呼ばれる。何故ならば、それは短縮に関連して圧縮及び拡大を与えるからである。各列内においては同一の値が使用されるので、再採取のコストと比較してこのコストを顕著なものとすることなしに、各行に対して比較的複雑な計算(浮動小数点割算を含む)を行なうことが可能である。
【0035】
(2)ソース即ち元の矩形の左側及び右側端部における点が中間の台形の端部との該行の左側及び右側交差部へマッピングされるように、第一の中間の画像における各行が第二の中間の画像(即ち、中間の台形)における対応する行へ一様に再採取される水平パス。このマッピングも反転可能であり、従って、前方マッピング又は後方マッピングのいずれかに基づいて多様なサンプリング(採取)アルゴリズムを使用することが可能である。いずれの場合においても、一様な再採取用のピクセルあたりの数式は簡単である。各行に対する端点は垂直座標の単純な一次関数である。後方マッピングに基づいた再採取アルゴリズムを使用する場合には、サンプルを行なう速度を決定するために行あたりの割算を必要とする場合があるが、この場合のコストは再採取コストと比較して無視可能なものである。この操作は「台形擬似剪断(trapezoidal pseudo−shear)」と呼ばれる。何故ならば、各行について実行される操作は剪断の場合に実行される操作に対応しているからである(実際の剪断においては、該台形は平行四辺形である)。
【0036】
本発明方法の第二フェーズでは、中間の台形の境界ボックスを第二の台形へ変換し、この場合には平行な垂直エッジ即ち端部を有している。そうする場合に、このフェーズは、境界ボックス内に含まれている中間の台形をターゲットの四角形(四辺形)へ変換させる。
【0037】
第二フェーズは2つのパスから構成されている。
【0038】
(1)中間の台形の境界ボックス内の各ピクセル<p,q>が<g(p),q>へマッピングされ、尚g(p)が(dp+e)/(fp+1)の形態である場合の水平短縮用パス。この場合も、gは反転可能であり、従って再採取アルゴリズムは前方マッピングか又は後方マッピングのいずれかに基づいて使用することが可能である。各行において同一の値が使用されるので、この場合のコストが再採取コストと比較して顕著なものとなることなしに、比較的複雑な計算(浮動小数点割算を含む)を各列に対して実行することが可能である。
【0039】
(2)境界ボックスの頂部及び底部のエッジ即ち端部が第二の台形のエッジ(端部)と列との交点へ持ち越されるように、中間の台形の境界ボックスの各列が一様に再採取される場合の垂直パス。この場合も、このマッピングは反転可能であり、従って前方マッピング又は後方マッピングのいずれかに基づいて多様なサンプリングアルゴリズムを使用することが可能である。いずれの場合においても、一様な再採取に対するピクセルあたりの数式は簡単である。各列に対する端点は水平座標の単純な一次関数である。後方マッピングに基づいて再採取アルゴリズムを使用する場合には、サンプル即ち採取を行なう速度を決定するために列あたりの割算をすることが必要な場合があるが、この場合のコストは再採取コストと比較して無視可能なものである。
【0040】
注意すべきことであるが、各ステップは反転可能であり、従って、前方マッピング又は後方マッピングに基づいて多様なサンプリング(採取)アルゴリズムを使用可能であるばかりか、実行システムは任意のステップを介して後方へ動作し、結果的に得られる画像におけるある座標が前の画像におけるどこから来たものであるかを見つけだすことが可能である。
【0041】
従って、本発明は従来技術の場合には2つのパスであるのと比較して、全部で4つのパスに対して透視変換を行なう。4つのパスは2つのパスと比較して改良されているものであることを理解することが困難であるかもしれないが、4つのパスとすることにより以下のような予測不可能な利点が得られる。
【0042】
(1)計算の大部分が行毎又は列毎に行なわれる各サンプリング(採取)操作において、ピクセル毎の計算は著しくより簡単である。
【0043】
(2)各段階において、数値的に合理的に安定な操作即ち演算が行なわれ、従って全体的な画像再採取は安定を維持することが容易である。
【0044】
透視変換の例
図3は本発明を実現するために関連のある変換パラメータをどのようにして派生するかを幾何学的に示したブロック図である。注意すべきことであるが、このようなパラメータを派生するためにはその他の方法を使用することも可能である。
【0045】
頂点A,B,C,Dによって画定されているソース(即ち、元の)矩形が、頂点A′,B′,C′,D′によって画定される透視ターゲット四角形(四辺形)へ変換される。該ソース矩形は変換されるべき画像を含んでいる。ターゲット四角形の頂点即ちエッジは、例えば、これらの頂点即ちエッジを描くか又は表示するためにポインティング装置を使用することによってユーザによって画定される。
【0046】
本発明によれば、該ソース矩形は、最初に、第一フェーズにおいて中間の台形へ変換され、次いで、中間の台形の境界をなす矩形を第二フェーズにおいてターゲットの台形へ変換させる。そうすることによって、該ソース矩形はターゲット四角形(四辺形)へマッピングされる。マッピング関数の値を見つけるために、該アルゴリズムはターゲット四角形からソース画像へ後方へ動作する。中間の台形がその水平のエッジが平行であると仮定すると、本発明方法は以下のステップを行なう。
【0047】
(1)A′,B′,C′,D′をターゲット四角形(図3における最も右側の図形)を画定する頂点であるとする。
【0048】
(2)A′,B′,C′,D′のうちで「最も左側のもの」及び「最も右側のもの」を介して垂直線を引く(それは図3に示した例においてはA′及びC′である)。
【0049】
(3)ターゲット四角形の一対の対向する辺を選択する。好適には、これらの辺はより水平な対のものとすべきである。特に、選択した辺のいずれもが垂直なものであってはならない。垂直な辺に隣接する辺は垂直となることはないので(四角形に対する非縮退条件によって確保される)、このような対は必ず存在する。図示した例においては、これらの辺はA′−B′及びC′−D′である。
【0050】
(4)ステップ(3)において選択したこれらの辺を介して線を引く。図示した例においては、これらの線はステップ(2)において引いた線と4箇所において交差する。即ち、頂点E,F,G,Hである。これらの点は垂直で平行なエッジを有する台形を形成する。
【0051】
(5)E,F,G,Hを境界とする軸整合した矩形Rを形成する。2番目の台形透視変換は、矩形RをE,F,G,Hによって画定されている台形へマッピングさせる。軸整合した矩形Rを軸整合した平行な辺を有する台形EFGHへ変換させるための再採取関数(resampling function)に対する係数は、矩形を軸整合した平行な辺を有する台形へマッピングさせる従来の方法を使用して見つけだすことが可能である。
【0052】
(6)ステップ(5)において定義した台形変換の逆数を使用して、台形EFGHからの点A′,B′,C′,D′をRへマッピングさせて、中間の台形(図3における真ん中の図)の頂点I,J,K,Lを発生させ、それらの頂点は、2つの頂点がRの頂部エッジ上に存在し且つ2つの頂点がRの底部エッジ上に存在するように拘束される。R′=Rであるとする。A′,B′,C′,D′は台形EFGHのエッジ上に存在しているのでこのマッピングを行なうことが可能であり、従って、逆マッピングが適用されると矩形Rのエッジに対してマッピングする。このステップまでのポイントは、RからEFGHへの変換が行なわれた場合に、A′,B′,C′,D′において角部を有する四角形が得られる台形を見つけだすことである。
【0053】
上の説明は幾何学的な用語(例えば、「線を引く」)で説明されているが、そのプロセスは、好適には、等価な機能を実現する解析的幾何学を使用するコンピュータによって実行される。
【0054】
上の例の構成は、I及びJをIを左側として台形の頂部辺上に配置させ且つK及びLをKを右側と底部辺上に配置させる。このことは、正に、ソース矩形の角部周りに点A,B,C,Dを分布させることに対応する。A′,B′,C′,D′のその他の分布又はステップ(3)における辺に対するその他の選択はこのような結果を発生しない場合がある。然しながら、ソース矩形ABCDの角部とI,J,K,Lによって形成される台形の角部との間の必要な対応は、該変換を実施する前にソース矩形に対して適宜の配向操作を実施するか、又は該変換の後に結果的に得られる四角形に対して適宜の配向変換を実施することによって得ることが可能である。以下の説明においては、これらの動作については無視する。何故ならば、それらは本発明方法の重要な点をぼかす可能性があるからである。
【0055】
E,F,G,H,I,J,K,Lに対する座標を決定した後に、ソース矩形のピクセルを以下のステップを実行することによって処理する。
【0056】
(1)第一パスにおいて、垂直短縮化(foreshortening)は、ソース矩形ABCDを、R′の垂直座標と一致する垂直座標を有しており且つソース矩形ABCDの水平座標と一致する水平座標を有している短縮された矩形R″へ変形させる。短縮された矩形R″における列は水平座標ではなく垂直座標にのみ依存する再採取関数を使用してソース画像の各列を再採取することによって見つけだされる。このパスは式2における最初の変換となる。
【0057】
<u,v>→<u,q>
(2)第二パスにおいて、水平台形擬似剪断操作が、各行において一様な再採取を使用して短縮させた矩形R″の各行を処理して、R″をI,J,K,Lによって形成される中間の台形へマッピングさせる。従って、最初の2つのパスの後に、ソース矩形ABCDは、各パスにおいて単に一次元再採取を使用するだけで、透視変換を経過して中間の台形IJKLとなる。このパスは式2における2番目の変換となる。
【0058】
<u,q>→<p,q>
(3)第三パスにおいて、IJKLに対する境界ボックス(即ち、IJKLの境界をなす最小の矩形)、即ちR′(第二パスのためにそれはR″と等しくない場合がある)におけるピクセルが水平短縮が行なわれて、それらをR′内の新たな位置へマッピングさせる(このマッピングの後、R′はRと呼ばれる)。このパスは、I,J,K,Lの位置を短縮させた中間の台形の対応する点M,N,O,Pへ変化させる。このパスは式2における3番目の変換となる。
【0059】
<p,q>→<x,q>
(4)第四パスにおいて、Rにおけるピクセルは垂直台形擬似剪断が行なわれ、それはRの角部をE,F,G,Hへ変換させ、且つそうすることにより、点M,N,O,Pを点A′,B′,C′,D′へマッピングさせる。Rの全てのピクセル位置はこの変換期間中に操作されるが、多くのものは「見えない」状態である(即ち、定義されないか又は値を有するものではない)。何故ならば、それらはターゲット四角形の実際の値のピクセルの境界の外側に存在するからである。このパスは式2における4番目の変換となる。
【0060】
<x,q>→<x,y>
上の変換の特性は、軸整合した平行な辺を有する中間の台形IJKLが、中間の台形に対する境界ボックスR/R′が軸整合した平行な辺を有する台形EFGHへ変換される場合に、ターゲット四角形A′,B′,C′,D′へ変換されることである。
【0061】
各ステップにおける再採取関数に対する係数は従来技術を使用して見つけだすことが可能である。関連する変換マトリクスに基づくものを含むその他の方法も本発明の技術的範囲に入るものである。
【0062】
本発明に基づく透視変換の後に、ターゲット四角形は従来の態様で表示させ及び/又はその他の又は同様の変換によって処理することが可能である。
【0063】
使用すべき正確な変換を決定する上で考慮すべき多くの自由度がある。例えば、水平又は垂直台形透視変換のどちらを最初に実行するかということ及び上述した構成において中間の矩形を派生する場合にどの辺を使用するかということ等である。その他の方法も同様の自由度を有している。予備的又は最後の配向操作を実行することが可能である。その決定を数えることは容易であり且つ1つの組を選択するために発見的計量を使用することが可能である。このような発見的手法の1つは、上述した構成における第二の台形透視変換は常に圧縮変換であるということを注意することである。従って、より小さな矩形Rとなるものを選択することが望ましい。何故ならば、それが必要とする圧縮はより少ないからである。発明の拡張
本発明の顕著な1つの拡張は、単に凸状のターゲット四角形のみならず、凸状の四角形となる角部の置換が存在する四角形を取扱う能力である。全てのこのような四角形は凸状であるか(図4a)又は概略垂直又は水平の砂時計(図4b及び4c)の形態をとる。このようなターゲット四角形への矩形画像の変換は従来の2パス透視変換において行なうことは比較的困難である。
【0064】
これらの一般化した四角形は上述したアルゴリズムに対して以下のような変更をなすことによって取扱うことが可能である。第一に、台形擬似剪断操作は置換可能な凸状ターゲット台形を取扱うために容易に実行することが可能である。何故ならば、それが依拠するところは、各行又は列(そのプロセスが水平方向又は垂直方向のいずれかに進行するかに依存する)上の開始及び終了位置を特定する線を定義する能力だからである。第二に、短縮操作は、平行な辺の長さ、即ち単に点の間の差ではなくその差の絶対値に基づいて決定されるように調節することが可能である。即ち、例えば、このプロセスはuj −ui ではなく|uj −ui |を使用する。
【0065】
これらの2つの変更を4パスプロセスにおける最初の2つのパスに対して適用し、即ち中間の台形がねじれたものとなる場合がある。点を凸状形態とさせるために特定のねじれを実行することの必要性が存在する場合があるので、これは処理の順番及び配向操作の選択を拘束する場合がある。この拡張の結果、画像は点の凸状置換に基づいて短縮されるがねじれを得ることが可能である。中間の台形がねじれていない場合には、この変更したアルゴリズムは上述した透視変換と同一の変換を行なう。中間の台形がねじれている場合には、直線は、一般的には、保存されないが、視覚的効果は予測されたとおりのものである(最終の台形擬似剪断期間中にねじれを行なうことのできない理由は、その操作期間中に、元の矩形のエッジの幾つかが中間の矩形における内側の線となり且つこれらの直線を保存するものに変換を適用することが必要である。何故ならば、それらが変換される矩形画像のエッジを画定するからである)。
【0066】
本発明のこの拡張をより良く理解するために、図5は画像へ「ツイスト(ねじれ)」を導入するために台形擬似剪断操作を使用する矩形から非凸状台形への変換を示している。水平の場合における変換方程式は尚且つ次式の形態を有している。
【0067】
<u,v>→<du+ev+fuv+g,v>
台形擬似剪断が実際に真の剪断(即ちターゲットが平行四辺形)でない限り、ある点において、垂直座標のより広い範囲をカバーするために拡張されたバージョン(水平の場合において)は、それ自身を交差せねばならず、その際にツイスト即ちねじれを導入する。
【0068】
上述したようにねじれた台形の場合の問題は、直線を保存することが不可能となることである。例えば、B′からC′への線セグメント上の点は変換した四角形内に存在せねばならないが、上の例においては、B′からC′への線セグメントは明らかに四角形の外側に存在している。然しながら、その他の効果又は特性を保存することが可能である。例えば、元の矩形におけるAからC及びBからDへの線は矩形における垂直方向の半分の点において交差する。A′からC′及びB′からD′への変換した曲線は明らかにその交差点において交差し、実際に、これが唯一の交差点であるようにさせることが可能である。従って、透視効果に近似した何かを得るために、台形擬似剪断操作を適用する前に、再採取関数を元の画像内の列の各々に対して適用し、それにより中間の行のピクセルをターゲットの「台形」に於ける交差点と同一の垂直座標へ移動させる。短縮用マッピング即ちフォアショートニングマッピング(foreshortening mapping)は、正にこのことを行なうものであるが、係数が派生される態様は修正することが必要である。従来技術から、短縮用マッピングの派生は最終の台形における2つの平行な辺の長さの比に大きく依存するものであることが知られている。全く前と同じようにその派生を取扱うと、それらの辺の1つに対して負の長さが得られ且つ結果的に得られるマッピング関数は該台形の上方及び下方の矩形内に該点を送る。これは望ましいことではない。その代わりに、長さの絶対値、即ち単に解析的項目ではなく幾何学的における長さを使用する場合には、所望の効果をもってマッピングを得ることが可能である。
【0069】
この拡張を派生する別の態様は、短縮用操作と、それに続く台形擬似剪断を使用して元の矩形から境界台形へマッピングさせ、次いで別の台形擬似剪断を適用して該台形をねじれさせることである。然しながら、最初の台形擬似剪断は単一台形擬似剪断操作においてねじれ操作と結合させることが可能である。このことは上述したのと同一の一対の変換となる。更に別の変形例においては、ソース矩形を最初にねじれさせ、次いで適宜の短縮用及び台形擬似剪断操作を適用してねじれさせた矩形に対する境界ボックスをターゲット台形の境界台形に対してマッピングさせることが可能である。該ツイスト即ちねじれは短縮化と交換し且つ第二台形擬似剪断と結合し、この場合も上述した結果が得られる。
【0070】
重要な点は、透視変換の従来の定義及び派生を超えることによって、軸整合した矩形からソース矩形内の対応する辺に対して平行な辺を有する非凸状の台形へのマッピングを得ることが可能である。このマッピングは台形擬似剪断操作と結合した短縮化操作として表現することが可能である。
【0071】
この矩形から台形への透視変換の拡張したバージョンを適用することはより広い範囲の形状を取扱う能力を提供している。第一フェーズのターゲットとして非凸状の台形とすることを可能とすることは、置換可能な凸状の四角形、即ちそれ自身では凸状でないかもしれないが凸状の四角形を定義する点の順番が存在する四角形を取扱うことを可能とする。第二フェーズに対するターゲットとして非凸状の台形を可能とすることは、更に、これらの場合を取扱うことを可能とするが、それは元の矩形の真直なエッジをターゲット四角形の真直なエッジへマッピングするものではない。何故ならば、ねじれ変換は内側の直線を保存するものではなく且つ中間の台形のエッジの幾つかはその境界ボックスの内側にあるからである。ねじれ操作はエッジ上の真直な線を保存し、従って第一フェーズにおいてねじれを実行することはこの問題を有するものではない。従って、一般的に、システムは第一フェーズにおいてのみねじれを行なうべきである。何故ならば、第二フェーズにおいてのねじれは何等エキストラな効果を得るものではないからである。適宜の変換フェーズ及びパスの派生は上述した構成と同一のままであるが、非凸状の第二の矩形となる選択は拒否すべきである。
【0072】
然しながら、更なる拡張において、ターゲット四角形が直線的なエッジを有することが必要でない場合には、任意の非縮退四角形への変換を形成するために第二パスにおいてねじれ操作を使用することが可能である。この変換の結果は幾分非直感的なものである。何故ならば、その結果得られる画像はターゲット四角形の外側に延在するからである。
【0073】
上述した説明は台形がねじれている場合を取扱っている。それは台形が実際には三角形である場合を取扱うものではない。この場合においては且つそれに通ずる場合においては、即ち辺の長さの間の比が非常に小さいものとなる場合には、短縮化関数が非常に極端なものとなる。三角形に近付くと、データの殆どがより短い辺に向かって圧縮され、結果の残部を充填するためのデータが展開されることをますます少なくさせる。三角形に到達すると、短縮化マッピング関数の分母がゼロとなり、その結果、短縮化操作は全ての点を消尽線か又は無限大へマッピングさせる。これらの場合をよりうまく取扱うために、好適実施例では短縮係数を計算する場合に使用する平行な辺の長さの比に対して最大値及び最小値を導入する。該比がこの範囲外となる場合には、該長さは極限値へ設定即ち「クランプ」される。このことが発生すると、ある短縮化が発生するが、直線を保存するのに充分なものではない。然しながら、直線の保存の喪失は、辺の1つが他方に対して極めて短くなる場合に、短縮化関数のひどく漸近的挙動に対しては一般的に好ましいものである。
【0074】
又、注意すべきことであるが、上述した個別的なパスはソース矩形及びその後に続くものに於けるピクセルに関してのみ作用するものとして定義されているが、これらのパスはその他の矩形を取扱うために一般化させることが可能である。例えば、ユーザはより大きな矩形内に含まれているより小さな矩形に対してターゲット四角形を特定することによってより大きな矩形に対する変換を特定することを所望する場合がある。又、ユーザは1つの矩形を特定の四角形へマッピングすることによって定義される変換に基づいて2つのオーバーラップすることのない矩形を同時的に変換することを所望する場合がある。
【0075】
水平台形擬似剪断操作用の方程式は、全ての座標において前方マッピングとして良好に定義されており且つそれ自身の入力矩形に依存するものではない。垂直短縮化操作もソース矩形におけるものよりもより多くの座標にわたり良好に定義されている。然しながら、垂直短縮化操作は分母がゼロとなる場合に問題を有している。この点において、ピクセルは正又は負の無限大に対してマッピングされる。更に悪いことには、この点を垂直方向にパスすると、マッピング座標は反対側の無限大から戻り始め、即ちマッピングは無限大の周りを包むこととなる。
【0076】
分母がゼロとなることの問題は幾つかの態様で修正することが可能である。1つの態様は、ゼロの点に到達する前に、垂直のソース即ち元の座標の上にカットオフを導入することである。この変更の結果として、拡張させたソースデータの幾つかの部分は再採取した結果に表われない場合がある。別の修正方法は、そのドメインの一部にわたり正しい短縮化方程式を使用し且つそれをそのドメインの他の部分にわたりより良好に作用する関数で置き換えることである。例えば、システムは、一次関数への切換が発生する点において短縮化関数と同一の勾配を有する一次関数で短縮化関数を置換させる切換点を選択することが可能である。この場合の結果は、直線は切換点を超えて保存されることはないということである。
【0077】
垂直台形擬似剪断及び水平短縮化操作は同様に拡張させることが可能である。修正していない台形擬似剪断及び修正した短縮化操作を任意の矩形へ変換させるために使用することが可能である。ソース矩形及びターゲット四角形を使用して4つのパスからなるシーケンスを決定する。次いで、上述した如くに拡張した変換パスを必ずしもソース矩形と同一のものである必要はないある矩形Xによって境界が定められている画像に対して適用する。第一短縮化操作が矩形Xを別の矩形へマッピングさせ、第一台形擬似剪断操作がその矩形を台形へマッピングし、第二短縮化操作がその台形の境界ボックスを別の矩形へマッピングし、且つ最後の台形擬似剪断操作が、ソース矩形の角部が矩形X内に含まれている場合には、それらがターゲット四角形の対応する角部へ変換されるような態様で、その矩形を最終的な台形へマッピングさせる。更に、その変換が、短縮化操作がゼロに近い分母で処理するように修正された範囲へ入らない限り、結果的に得られる変換は矩形Xに関しての透視変換である。
【0078】
別の考慮すべき拡張は、第二(台形擬似剪断)及び第三(短縮化)再採取操作を組合わせることである。何故ならば、これらは両方とも水平であるか又は両方とも垂直であるかのいずれかだからである。従って、式2を参照すると、結合された再採取操作は以下のようになる。
【0079】
<u,q>→<x,q>
このことはより少ない再採取操作となる。それは単純に画定された中間の形状を有することからくる安定性を保存しているが、計算上の最適化を失う。何故ならば、行毎又は列毎の代わりにピクセル毎にかなりの計算を行なわねばならないからである。
【0080】
パスを結合する別のアプローチはパイプラインの形態を設定することからくる。水平台形透視変換から開始し(垂直透視変換から開始することも同様である)、一連の行を発生するために初期的な垂直短縮化操作を実行することが可能である。これらの行の各々について水平台形擬似剪断操作に対する適宜の再採取が行なわれ、次いで水平短縮化操作が行なわれる。このような態様で操作をパイプライン化することによって、3つの代わりに単に1つの中間の画像が必要とされるに過ぎない。最後の段階もこのプロセス内に結合させることが可能であるが、かなりより複雑なものとなる。何故ならば、システムが垂直台形擬似剪断操作における各列に対して増分的なサンプリング情報を維持せねばならないからである。実現例
本発明は、ハードウエア又はソフトウエア又はそれらの組合わせとして実現することが可能である。然しながら、好適には、本発明は、各々が少なくとも1個のプロセサと、データ格納(記憶)システム(揮発性及び非揮発性メモリ及び/又は格納(記憶)要素を含む)と、少なくとも1個の入力装置と、少なくとも1個の出力装置とを有するプログラム可能なコンピュータ上で実行されるコンピュータプログラムの形態で実現される。プログラムコードが入力データへ適用されて、本明細書に記載した関数(機能)を実行し出力情報を発生する。この出力情報は公知の態様で1つ又はそれ以上の出力装置へ付与される。
【0081】
各プログラムは、好適には、ハイレベル手順又はオブジェクト指向型プログラミング言語で実行されてコンピュータシステムと通信を行なう。然しながら、該プログラムは、所望により、アッセンブリ言語又はマシン言語で実現することも可能である。いずれの場合においても、その言語はコンパイル型又はインタプリタ型言語とすることが可能である。
【0082】
各このようなコンピュータプログラムは、好適には、格納即ち記憶媒体又は装置が格納即ち記憶されている手順を実行するためにコンピュータによって読取られる場合にコンピュータを所定の形態とさせ且つ動作させるために、汎用又は特別目的プログラム可能コンピュータによって読取可能な格納即ち記憶媒体又は装置(例えばROM又は磁気ディスク)上に格納即ち記憶される。本発明システムは、コンピュータプログラムで所定の形態とされたコンピュータによって読取可能な格納即ち記憶媒体として実現されることも可能であり、その場合には、そのような形態とされた格納媒体は、コンピュータをして特定の及びあらかじめ定めた態様で動作させて本明細書に記載した関数(機能)を実行させる。
【0083】
以上、本発明の具体的実施の態様について詳細に説明したが、本発明は、これら具体例にのみ限定されるべきものではなく、本発明の技術的範囲を逸脱することなしに種々の変形が可能であることは勿論である。
【図面の簡単な説明】
【図1】 頂点A,B,C,Dによって画定されている矩形を頂点A′,B′,C′,D′によって画定されている透視四角形へ変換させる従来の一般的な透視変換を示した概略図。
【図2】 頂点A,B,C,Dによって画定される矩形を頂点A′,B′,C′,D′によって画定される透視台形へ変換させる台形透視変換を示した概略図。
【図3】 本発明を実行するための関連する変換パラメータをどのようにして派生するかを幾何学的に示した概略図。
【図4a】 凸状四角形を示した概略図。
【図4b】 垂直「砂時計」四角形を示した概略図。
【図4c】 水平「砂時計」四角形を示した概略図。
【図5】 画像へ「ツイスト(ねじれ)」導入するために台形擬似剪断動作を使用する矩形から非凸状台形への変換を示した概略図。
Claims (45)
- 各々が座標<u,v>を有する複数個のピクセルによってコンピュータにおいて表わせられる軸整合した元の矩形を各々が座標<x,y>を有する複数個のピクセルによって前記コンピュータにおいて表わされるターゲットの四角形への透視変換のコンピュータ化した方法において、
(a)軸整合した平行な辺を有する複数個のピクセル<p,q>によって表わされる中間の台形を発生させるために前記元の矩形のピクセル<u,v>に対して2つの一次元再採取プロセスを有する第一フェーズ変換を適用し、
(b)軸整合した平行な辺を有しており且つ前記ターゲットの四角形を取囲むターゲットの台形を発生させるために前記中間の台形のピクセルを取囲む矩形のピクセルに対して2つの一次元再採取プロセスを有する第二フェーズ変換を適用する、
上記各ステップを有することを特徴とする方法。 - 請求項1において、前記第一フェーズの2つの一次元再採取プロセスが、第一の次元においての短縮プロセス及び第二の次元においての台形擬似剪断プロセスを有していることを特徴とする方法。
- 請求項2において、前記第二フェーズの2つの一次元再採取プロセスが、前記第二の次元においての短縮プロセス及び前記第一の次元においての台形擬似剪断プロセスを有していることを特徴とする方法。
- 各々が座標<u,v>を有する複数個のピクセルによってコンピュータにおいて表わされる軸整合した元の矩形を各々が座標<x,y>を有する複数個のピクセルによって前記コンピュータにおいて表わされるターゲットの四角形への透視変換のコンピュータ化した方法において、
(a)複数個のピクセルによって表わされる短縮させた矩形を発生させるために前記元の矩形を第一の次元において短縮させる一次元再採取プロセスを実施し、
(b)複数個のピクセルによって表わせられ軸整合した平行な辺を有する中間の台形を発生するために前記短縮した矩形を第二の次元において台形擬似剪断を含む一次元再採取プロセスを実施し、
(c)複数個のピクセルによって表わせられる短縮した中間台形を取囲む第二矩形を発生するために前記中間の台形を取囲む第一矩形を前記第二の次元において短縮させる一次元再採取プロセスを実施し、
(d)軸整合した平行な辺を有しており且つ前記ターゲットの四角形を取囲むターゲットの台形を発生するために前記短縮した中間台形を取囲む第二矩形を前記第一の次元において台形擬似剪断を含む一次元再採取プロセスを実施する、
上記各ステップを有することを特徴とする方法。 - 請求項4において、更に、
(a)前記ターゲットの四角形を取囲む平行な辺の台形を決定し、
(b)前記ターゲットの四角形を取囲む平行な辺の台形を取囲む矩形を決定し、尚このような矩形は第二矩形であり、
(c)前記第二矩形を前記ターゲットの四角形を取囲む軸整合した平行な辺の台形へ変換させる透視変換再採取関数に対する係数を決定し、
(d)前記決定した再採取関数の逆数を決定し、
(e)前記ターゲットの四角形の角部を前記中間の台形へマッピングさせるために前記決定した再採取関数の逆数を適用する、
上記各ステップを有することを特徴とする方法。 - 請求項4において、ステップ(b)及び(c)は、単一の一次元再採取プロセスとして結合されることを特徴とする方法。
- 請求項4において、各一次元再採取プロセスは、ピクセルを受取るための入力と発生したピクセルに対する出力とを有しており、ステップ(a)の前記一次元再採取プロセスの出力はステップ(b)の前記一次元再採取プロセスの入力に対してパイプライン化されていることを特徴とする方法。
- 請求項4において、各一次元再採取プロセスがピクセルを受取るための入力と発生したピクセルに対する出力とを有しており、ステップ(b)の前記一次元再採取プロセスの出力はステップ(c)の前記一次元再採取プロセスの入力に対してパイプライン化されていることを特徴とする方法。
- 請求項4において、各一次元再採取プロセスはピクセルを受取るための入力と発生したピクセルに対する出力とを有しており、ステップ(a)の前記一次元再採取プロセスの出力はステップ(b)の前記一次元再採取プロセスの入力に対してパイプライン化されており、且つステップ(b)の前記一次元再採取プロセスの出力はステップ(c)の前記一次元再採取プロセスの入力に対してパイプライン化されていることを特徴とする方法。
- 請求項1又は4において、更に、前記ターゲットの四角形を表わすピクセルを表示するステップを有することを特徴とする方法。
- 請求項1又は4において、前記中間の台形が非凸状であり且つ前記ターゲットの四角形が置き換え可能な凸状であることを特徴とする方法。
- 請求項1又は4において、前記中間の台形及び前記ターゲットの台形のうちの少なくとも1つが非凸状であることを特徴とする方法。
- 請求項4において、前記中間の台形を取囲む前記第一矩形の第二の次元においての短縮を含む前記一次元の再採取プロセスが過剰な圧縮又は拡大を回避すべく制限されることを特徴とする方法。
- 請求項13において、前記中間の台形の平行な辺の長さの比は選択した最大値と選択した最小値との間に拘束され、その際に過剰な圧縮又は拡大を回避することを特徴とする方法。
- 請求項4において、第一の次元においての短縮を含む前記一次元再採取プロセスが前記元の矩形以外の矩形へ適用されることを特徴とする方法。
- 各々が座標<u,v>を有する複数個のピクセルによってコンピュータにおいて表わされる軸整合した元の矩形の各々が座標<x,y>を有する複数個のピクセルによって前記コンピュータにおいて表わされるターゲットの四角形への透視変換を行なうコンピュータ化したシステムにおいて、
(a)複数個のピクセル<p,q>によって表わせられ且つ軸整合した平行な辺を有する中間の台形を発生するために前記元の矩形のピクセル<u,v>に対して2つの一次元再採取プロセスを含む第一フェーズ変換を適用する手段、
(b)軸整合した平行な辺を有しており前記ターゲットの四角形を取囲むターゲットの台形を発生するために前記中間の台形のピクセルを取囲む矩形のピクセルに対して2つの一次元再採取プロセスを含む第二フェーズ変換を適用する手段、
を有することを特徴とするシステム。 - 請求項16において、前記第一フェーズの前記2つの一次元再採取プロセスが、第一の次元においての短縮プロセスと、第二の次元においての台形擬似剪断プロセスとを有していることを特徴とするシステム。
- 請求項17において、前記第二フェーズの前記2つの一次元再採取プロセスが、前記第二の次元においての短縮プロセスと、前記第一の次元においての台形擬似剪断プロセスとを有していることを特徴とするシステム。
- 各々が座標<u,v>を有する複数個のピクセルによってコンピュータにおいて表わされる軸整合した元の矩形の各々が座標<x,y>を有する複数個のピクセルによって前記コンピュータにおいて表わされるターゲットの四角形への透視変換を行なうコンピュータ化したシステムにおいて、
(a)複数個のピクセルによって表わされる短縮した矩形を発生するために前記元の矩形の第一の次元における短縮を含む一次元再採取プロセスを実施する手段、
(b)軸整合した平行な辺を有しており複数個のピクセルによって表わされる中間の台形を発生するために前記短縮した矩形の第二の次元においての台形擬似剪断を含む一次元再採取プロセスを実施する手段、
(c)複数個のピクセルによって表わされる短縮した中間の台形を取囲む第二矩形を発生するために前記中間の台形を取囲む第一矩形の前記第二の次元における短縮を含む一次元再採取プロセスを実施する手段、
(d)軸整合した平行な辺を有しており前記ターゲットの四角形を取囲むターゲットの台形を発生するために前記短縮した中間の台形を取囲む第二矩形の前記第一の次元における台形擬似剪断を含む一次元再採取プロセスを実施する手段、を有することを特徴とするシステム。 - 請求項19において、更に、
(a)前記ターゲットの四角形を取囲む平行な辺を有する台形を決定する手段、
(b)前記ターゲットの四角形を取囲む平行な辺を有する台形を取囲む矩形を決定する手段、尚このような矩形は前記第二矩形であり、
(c)前記第二矩形を前記ターゲットの四角形を取囲む軸整合した平行な辺の台形へ変換させる透視変換再採取関数に対する係数を決定する手段、
(d)前記決定した再採取関数の逆数を決定する手段、
(e)前記ターゲットの四角形の角部を前記中間の台形へマッピングさせるために前記決定した再採取関数の逆数を適用する手段、
を有することを特徴とするシステム。 - 請求項19において、単一の一次元再採取プロセスを実行するために手段(b)及び(c)が結合されていることを特徴とするシステム。
- 請求項19において、各一次元再採取プロセスがピクセルを受取るための入力と発生したピクセルに対する出力とを有しており、手段(a)の前記一次元再採取プロセスの出力が手段(b)の前記一次元再採取プロセスの入力に対してパイプライン化されていることを特徴とするシステム。
- 請求項19において、各一次元再採取プロセスがピクセルを受取るための入力と発生したピクセルに対する出力とを有しており、手段(b)の前記一次元再採取プロセスの出力が手段(c)の前記一次元再採取プロセスの入力に対してパイプライン化されていることを特徴とするシステム。
- 請求項19において、各一次元再採取プロセスがピクセルを受取るための入力と発生したピクセルに対する出力とを有しており、手段(a)の前記一次元再採取プロセスの出力が手段(b)の前記一次元再採取プロセスの入力に対してパイプライン化されており、且つ手段(b)の前記一次元再採取プロセスの出力が手段(c)の前記一次元再採取プロセスの入力に対してパイプライン化されていることを特徴とするシステム。
- 請求項16又は19において、更に、前記ターゲットの四角形を表わすピクセルを表示する手段を有することを特徴とするシステム。
- 請求項16又は19において、前記中間の台形が非凸状であり且つ前記ターゲットの四角形が置き換え可能な凸状であることを特徴とするシステム。
- 請求項16又は19において、前記中間の台形及びターゲットの台形のうちの少なくとも一方が非凸状であることを特徴とするシステム。
- 請求項19において、前記中間の台形を取囲む第一矩形の第二の次元においての短縮を含む前記一次元再採取プロセスが過剰な圧縮及び拡大を回避するために制限されていることを特徴とするシステム。
- 請求項28において、前記中間の台形の平行な辺の長さの比が、選択した最大値と選択した最小値との間に拘束されており、その際に過剰な圧縮又は拡大を回避することを特徴とするシステム。
- 請求項19において、第一の次元においての短縮を含む前記一次元再採取プロセスが前記元の矩形以外の矩形に対して適用されることを特徴とするシステム。
- 各々が座標<u,v>を有する複数個のピクセルによってコンピュータにおいて表わされる軸整合した元の矩形を各々が座標<x,y>を有する複数個のピクセルによって前記コンピュータにおいて表わされるターゲットの四角形へ透視変換を行なうコンピュータによって読取可能な媒体上に記録されているコンピュータプログラムにおいて、前記コンピュータプログラムが、コンピュータをして、
(a)複数個のピクセル<p,q>によって表わせられ軸整合した平行な辺を有する中間の台形を発生するために前記元の矩形のピクセル<u,v>に対して2つの一次元再採取プロセスを含む第一フェーズ変換を適用させ、
(b)軸整合した平行な辺を有しており前記ターゲットの四角形を取囲むターゲットの台形を発生するために前記中間の台形のピクセルを取囲む矩形のピクセルに対して2つの一次元再採取プロセスを含む第二フェーズ変換を適用させる、上記各命令を有することを特徴とするコンピュータプログラム。 - 請求項31において、前記第一フェーズの前記2つの一次元再採取プロセスが、第一の次元においての短縮プロセスと、第二の次元においての台形擬似剪断プロセスとを有することを特徴とするコンピュータプログラム。
- 請求項32において、前記第二フェーズの前記2つの一次元再採取プロセスが、前記第二の次元においての短縮プロセスと、前記第一の次元においての台形擬似剪断プロセスとを有することを特徴とするコンピュータプログラム。
- 各々が座標<u,v>を有する複数個のピクセルによってコンピュータにおいて表わされる軸整合した元の矩形を各々が座標<x,y>を有する複数個のピクセルによって前記コンピュータにおいて表わされるターゲットの四角形へ透視変換させるためのコンピュータによって読取可能な媒体上に記録されているコンピュータプログラムにおいて、コンピュータをして、
(a)複数個のピクセルによって表わされる短縮された矩形を発生するために前記元の矩形の第一の次元における短縮を含む一次元再採取プロセスを実行させ、
(b)軸整合した平行な辺を有し複数個のピクセルによって表わされる中間の台形を発生するために前記短縮された矩形の第二の次元における台形擬似剪断を含む一次元再採取プロセスを実行させ、
(c)複数個のピクセルによって表わされる短縮された中間の台形を取囲む第二矩形を発生させるために前記中間の台形を取囲む第一矩形の第二の次元における短縮を含む一次元再採取プロセスを実行させ、
(d)軸整合した平行な辺を有し前記ターゲットの四角形を取囲むターゲットの台形を発生させるために前記短縮された中間の台形を取囲む前記第二矩形の第一の次元における台形擬似剪断を含む一次元再採取プロセスを実行させる、
上記各命令を有することを特徴とするコンピュータプログラム。 - 請求項34において、更に、コンピュータをして、
(a)前記ターゲットの四角形を取囲む平行な辺の台形を決定し、
(b)前記ターゲットの四角形を取囲む前記平行な辺の台形を取囲む矩形を決定し、尚このような矩形は前記第二矩形であり、
(c)前記第二矩形を前記ターゲットの四角形を取囲む前記軸整合した平行な辺の台形へ変換させる透視変換再採取関数に対する係数を決定させ、
(d)前記決定した再採取関数の逆数を決定させ、
(e)前記ターゲットの四角形の角部を前記中間の台形へマッピングさせるために前記決定した再採取関数の逆数を適用させる、
上記各命令を有することを特徴とするコンピュータプログラム。 - 請求項34において、要素(b)及び(c)が単一の一次元再採取プロセスとして結合されていることを特徴とするコンピュータプログラム。
- 請求項34において、各一次元再採取プロセスがピクセルを受取るための入力と、発生されたピクセルに対する出力とを有しており、要素(a)の前記一次元再採取プロセスの出力が要素(b)の前記一次元再採取プロセスの入力に対してパイプライン化されていることを特徴とするコンピュータプログラム。
- 請求項34において、各一次元再採取プロセスがピクセルを受取るための入力と、発生されたピクセルに対する出力とを有しており、要素(b)の前記一次元再採取プロセスの出力が要素(c)の前記一次元再採取プロセスの入力に対してパイプライン化されていることを特徴とするコンピュータプログラム。
- 請求項34において、各一次元再採取プロセスがピクセルを受取るための入力と、発生されたピクセルに対する出力とを有しており、要素(a)の前記一次元再採取プロセスの出力が要素(b)の前記一次元再採取プロセスの入力に対してパイプライン化されており、且つ要素(b)の前記一次元再採取プロセスの出力が要素(c)の前記一次元再採取プロセスの入力に対してパイプライン化されていることを特徴とするコンピュータプログラム。
- 請求項31又は34において、更に、コンピュータをして前記ターゲットの四角形を表わすピクセルを表示させる命令を有することを特徴とするコンピュータプログラム。
- 請求項31又は34において、前記中間の台形が非凸状であり且つ前記ターゲットの四角形が置き換え可能な凸状であることを特徴とするコンピュータプログラム。
- 請求項31又は34において、前記中間の台形及び前記ターゲットの台形のうちの少なくとも1つが非凸状であることを特徴とするコンピュータプログラム。
- 請求項34において、前記中間の台形を取囲む前記第一矩形の第二の次元における短縮化を含む前記一次元再採取プロセスが過剰な圧縮又は拡大を回避すべく制限されることを特徴とするコンピュータプログラム。
- 請求項43において、前記中間の台形の平行な辺の長さの比が選択された最大値と選択された最小値との間に拘束されており、その際に過剰な圧縮又は拡大を回避することを特徴とするコンピュータプログラム。
- 請求項34において、第一の次元における短縮化を含む前記一次元再採取プロセスが前記元の矩形以外の矩形へ適用されることを特徴とするコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/727375 | 1996-10-07 | ||
US08/727,375 US5808623A (en) | 1996-10-07 | 1996-10-07 | System and method for perspective transform in computer using multi-pass algorithm |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10240925A JPH10240925A (ja) | 1998-09-11 |
JP4131994B2 true JP4131994B2 (ja) | 2008-08-13 |
Family
ID=24922399
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP27438497A Expired - Lifetime JP4131994B2 (ja) | 1996-10-07 | 1997-10-07 | 透視変換システム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US5808623A (ja) |
EP (1) | EP0834830B1 (ja) |
JP (1) | JP4131994B2 (ja) |
CA (1) | CA2217577A1 (ja) |
DE (1) | DE69720131T2 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3312560B2 (ja) * | 1996-07-11 | 2002-08-12 | ヤマハ株式会社 | テクスチャマッピング装置 |
US6236407B1 (en) * | 1997-07-10 | 2001-05-22 | Bruce Leban | Method for creating graphical images |
US6016152A (en) * | 1997-08-01 | 2000-01-18 | Avid Technology, Inc. | Apparatus and method for non-uniform image scaling |
EP1395952B1 (en) * | 2001-06-12 | 2007-10-10 | Silicon Optix Inc. | Method and system for processing a non-linear two dimensional spatial transformation |
US6760037B2 (en) * | 2002-03-15 | 2004-07-06 | Microsoft Corporation | Systems and methods for providing improved two pass resampling |
US7199793B2 (en) * | 2002-05-21 | 2007-04-03 | Mok3, Inc. | Image-based modeling and photo editing |
US7301564B2 (en) * | 2002-07-17 | 2007-11-27 | Hewlett-Packard Development Company, L.P. | Systems and methods for processing a digital captured image |
US7996197B1 (en) * | 2002-09-12 | 2011-08-09 | Sandia Corporation | Clearance detector and method for motion and distance |
US7047397B2 (en) * | 2002-09-13 | 2006-05-16 | Intel Corporation | Method and apparatus to execute an instruction with a semi-fast operation in a staggered ALU |
US20040196282A1 (en) * | 2003-02-14 | 2004-10-07 | Oh Byong Mok | Modeling and editing image panoramas |
US7327374B2 (en) * | 2003-04-30 | 2008-02-05 | Byong Mok Oh | Structure-preserving clone brush |
ATE376699T1 (de) * | 2004-01-06 | 2007-11-15 | Nxp Bv | Verfahren zur wiedergabe graphischer objekte |
EP1745433A1 (en) * | 2004-04-29 | 2007-01-24 | Koninklijke Philips Electronics N.V. | Image processing apparatus and method |
US7324706B2 (en) * | 2004-09-09 | 2008-01-29 | Silicon Optix Inc. | System and method for representing a general two dimensional spatial transformation |
KR20070086037A (ko) | 2004-11-12 | 2007-08-27 | 목3, 인크. | 장면 간 전환 방법 |
US7359575B2 (en) * | 2004-12-07 | 2008-04-15 | Silicon Optix Inc. | Dynamic warp map generation system and method |
US8442316B2 (en) | 2007-01-05 | 2013-05-14 | Geo Semiconductor Inc. | System and method for improving color and brightness uniformity of backlit LCD displays |
US8055070B2 (en) * | 2007-01-05 | 2011-11-08 | Geo Semiconductor Inc. | Color and geometry distortion correction system and method |
US8121434B2 (en) | 2008-06-13 | 2012-02-21 | Microsoft Corporation | Multi-pass image resampling |
CA2766989A1 (en) * | 2009-07-02 | 2011-01-06 | Thomson Licensing | Method and system for differential distortion correction for three-dimensional (3d) projection |
JP2013501414A (ja) * | 2009-07-29 | 2013-01-10 | トムソン ライセンシング | 3次元(3d)投影のためのクロストーク補正の方法 |
EP2465269A1 (en) * | 2009-08-12 | 2012-06-20 | Thomson Licensing | Method and system for crosstalk and distortion corrections for three-dimensional (3d) projection |
CN103399696B (zh) * | 2013-08-16 | 2018-10-09 | 上海合合信息科技发展有限公司 | 直线/线段吸附的方法及装置,构造多边形的方法及装置 |
JP6316330B2 (ja) * | 2015-04-03 | 2018-04-25 | コグネックス・コーポレーション | ホモグラフィの修正 |
CN108009377B (zh) * | 2017-12-22 | 2021-04-02 | 上海海洋大学 | 一种考虑内方位关系的锥形模型方法及系统 |
US11842544B2 (en) * | 2021-06-04 | 2023-12-12 | Fujitsu Limited | Automatic perspective transformation |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4667236A (en) * | 1985-04-26 | 1987-05-19 | Digital Services Corporation | Television perspective effects system |
US4841292A (en) * | 1986-08-11 | 1989-06-20 | Allied-Signal Inc. | Third dimension pop up generation from a two-dimensional transformed image display |
CA1309198C (en) * | 1987-12-10 | 1992-10-20 | Carlo J. Evangelisti | Parallel rendering of smoothly shaded color triangles with anti-aliased edges for a three dimensional color display |
US5204944A (en) * | 1989-07-28 | 1993-04-20 | The Trustees Of Columbia University In The City Of New York | Separable image warping methods and systems using spatial lookup tables |
JPH03218581A (ja) * | 1989-11-01 | 1991-09-26 | Hitachi Ltd | 画像セグメンテーション方法 |
US5550960A (en) * | 1993-08-02 | 1996-08-27 | Sun Microsystems, Inc. | Method and apparatus for performing dynamic texture mapping for complex surfaces |
DE69408473T2 (de) * | 1993-10-15 | 1998-08-27 | Evans & Sutherland Computer Co | Direktes rendering von texturierten höhenfeldern |
-
1996
- 1996-10-07 US US08/727,375 patent/US5808623A/en not_active Expired - Lifetime
-
1997
- 1997-10-03 EP EP97307815A patent/EP0834830B1/en not_active Expired - Lifetime
- 1997-10-03 DE DE69720131T patent/DE69720131T2/de not_active Expired - Lifetime
- 1997-10-06 CA CA002217577A patent/CA2217577A1/en not_active Abandoned
- 1997-10-07 JP JP27438497A patent/JP4131994B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
EP0834830A3 (en) | 1998-12-23 |
EP0834830A2 (en) | 1998-04-08 |
DE69720131T2 (de) | 2004-01-08 |
DE69720131D1 (de) | 2003-04-30 |
US5808623A (en) | 1998-09-15 |
EP0834830B1 (en) | 2003-03-26 |
JPH10240925A (ja) | 1998-09-11 |
CA2217577A1 (en) | 1998-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4131994B2 (ja) | 透視変換システム及び方法 | |
US7324706B2 (en) | System and method for representing a general two dimensional spatial transformation | |
JP5124615B2 (ja) | サーフェス法線ベクトルを求めるための装置又は方法 | |
US8149235B2 (en) | System and method for upscaling low-resolution images | |
US8963960B2 (en) | System and method for content aware hybrid cropping and seam carving of images | |
JP4255449B2 (ja) | 描画処理装置、テクスチャ処理装置、およびテセレーション方法 | |
JP4097742B2 (ja) | 関数演算プロセッサ制御マシンの操作方法 | |
US7567263B2 (en) | Brush for warping and water reflection effects | |
GB2285377A (en) | Method for generating a subpixel mask for anti-aliasing in a computer graphics system and apparatus thereof | |
JPH04287292A (ja) | トリミングされたパラメトリック面のレンダリング方法及び装置 | |
US5982381A (en) | Method and apparatus for modifying a cutout image for compositing | |
JP3466661B2 (ja) | 画像処理装置及びその方法 | |
US8358876B1 (en) | System and method for content aware in place translations in images | |
JPH03201073A (ja) | Nurbsデータ変換方法及び装置 | |
CN104732479B (zh) | 对图像进行调整大小 | |
EP1800245A1 (en) | System and method for representing a general two dimensional spatial transformation | |
TWI288891B (en) | Texture filtering using a programmable table filter to improve computer graphics performance | |
US20050017969A1 (en) | Computer graphics rendering using boundary information | |
JPH1049666A (ja) | 断片発生器および断片発生方法 | |
KR20190023846A (ko) | 콘텐츠 기반 이미지 리사이징 방법 및 장치 | |
JP4175470B2 (ja) | Cadシステム、曲面解析装置、曲面再生装置、その方法及びそのプログラム | |
JPH10334269A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラムを記録した記録媒体 | |
KR100633029B1 (ko) | 풋프린트의 분석 및 수정 방법 | |
US7734118B2 (en) | Automatic image feature embedding | |
JP2005312014A (ja) | 解像度変換方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20071225 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20071228 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080131 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080205 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080227 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080507 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080530 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130606 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |