JP4749470B2 - 画像合成の方法、コンピュータグラフィックシステム及びコンピュータプログラム - Google Patents
画像合成の方法、コンピュータグラフィックシステム及びコンピュータプログラム Download PDFInfo
- Publication number
- JP4749470B2 JP4749470B2 JP2008527178A JP2008527178A JP4749470B2 JP 4749470 B2 JP4749470 B2 JP 4749470B2 JP 2008527178 A JP2008527178 A JP 2008527178A JP 2008527178 A JP2008527178 A JP 2008527178A JP 4749470 B2 JP4749470 B2 JP 4749470B2
- Authority
- JP
- Japan
- Prior art keywords
- points
- pixel
- monte carlo
- quasi
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 128
- 238000004590 computer program Methods 0.000 title claims description 10
- 239000000203 mixture Substances 0.000 title description 17
- 238000005070 sampling Methods 0.000 claims abstract description 105
- 238000013517 stratification Methods 0.000 claims abstract description 30
- 238000009827 uniform distribution Methods 0.000 claims description 40
- 230000033001 locomotion Effects 0.000 claims description 21
- 230000006978 adaptation Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 11
- 230000010354 integration Effects 0.000 abstract description 88
- 230000003044 adaptive effect Effects 0.000 abstract description 41
- 230000001419 dependent effect Effects 0.000 abstract description 26
- 230000008030 elimination Effects 0.000 abstract description 2
- 238000003379 elimination reaction Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 63
- 238000000342 Monte Carlo simulation Methods 0.000 description 44
- 238000004422 calculation algorithm Methods 0.000 description 23
- 230000015572 biosynthetic process Effects 0.000 description 21
- 230000002829 reductive effect Effects 0.000 description 21
- 238000003786 synthesis reaction Methods 0.000 description 21
- 238000009828 non-uniform distribution Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 19
- 238000009877 rendering Methods 0.000 description 19
- 230000006872 improvement Effects 0.000 description 18
- 230000000875 corresponding effect Effects 0.000 description 17
- 230000008901 benefit Effects 0.000 description 16
- 239000013598 vector Substances 0.000 description 14
- 238000009826 distribution Methods 0.000 description 12
- 238000013459 approach Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000013507 mapping Methods 0.000 description 10
- 238000005286 illumination Methods 0.000 description 9
- 230000002596 correlated effect Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000007429 general method Methods 0.000 description 7
- 238000004088 simulation Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000004907 flux Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000005315 distribution function Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 239000012634 fragment Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 210000000697 sensory organ Anatomy 0.000 description 3
- 108020001568 subdomains Proteins 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 239000003518 caustics Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 239000000700 radioactive tracer Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000501754 Astronotus ocellatus Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000005054 agglomeration Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- CNQCVBJFEGMYDW-UHFFFAOYSA-N lawrencium atom Chemical compound [Lr] CNQCVBJFEGMYDW-UHFFFAOYSA-N 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Generation (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Silicon Compounds (AREA)
Description
一般的な事項であるが、デジタル画像は、ラスター化(下記に、および本明細書に引用された参照文献により詳細に記載され、その参考文献は、ここで、その全体において記載されたかのように、参考文献としてここに組み込まれる)により、または、三次元シーンのフォトリアリスティックな画像の場合は、レイトレーシング(これもまた、下記に、およびここで引用された参考文献においてより詳細に記載される)により生成される。両者のアプローチは、各ピクセルの適切な色を、原関数をピクセル基底に射影することにより決定することを目標としている。原関数の離散表現により、下記に記載されるように、エイリアシングの問題が発生する。
コンピュータグラフィックにおいては、コンピュータは、例えば、三次元シーンにおいて、1つまたは2つ以上の光源により照明されている対象物の表面の、二次元画像平面への射影を表現するデジタルデータを生成し、例えばカメラによる、シーンの記録をシミュレートするために使用される。カメラはシーンの画像の画像平面への射影のためのレンズを含んでもよいし、またはピンホールカメラを含んでもよい。なお、その場合は、レンズは使用されない。二次元画像は、「pixels」または「pels」と称される画像要素のアレイの形状であり、各ピクセルに対して生成されたデジタルデータは、画像平面におけるそれぞれのピクセルの点において画像平面に射影されるようなシーンの色と輝度を表現している。対象物の表面は、形状、色、鏡面性、テクスチャなどの、任意の数の特性を有してもよく、それらは好ましくは、リアリスティックに見える画像を提供するために、可能な限り画像に近いようにレンダリングされる。
は、
の値は積分<f>の実際の値に向けて収束する。一般的に、Nの種々の値に対して、つまり、サンプル点の種々の数に対して生成される推計値の分布は、サンプル値f(xi)を生成するために使用される点xiが統計的に独立していれば、つまり、点xiが積分ドメインにおいて真にランダムに位置していれば
と実際の値<f>の間の誤差
は確率的なものであり、Nの種々の大きな値に対する誤差値は、実際の値<f>の周りの正規分布に近く、生成される推定値
の68%のみが、実際の値<f>の1標準偏差内に存在することが保証される。
に比例する。このように、統計誤差を1/2に低減したいと所望するのであれば、サンプル点の数Nを4倍に増やすことが必要であり、その結果、画像中の非常に多数のピクセルそれぞれに対して、ピクセル値を生成するために必要な計算負荷を増やすことになる。
は、整数基底bにおけるiの表現である。一般的には、値kの根基逆元は、下記のステップ(1)−(3)を含む技術により生成される。
(1)値kを、選択された基底bにおける値の数値表現として書くことであり、それによりその値に対する表現を、DMDM-1D...D2D1として提供し、ここにおいて、Dm(m=1,2,....,M)は表現の桁である。
(3)基数点の周りの桁を反映して、Hb kに対応する、0.DMDM-1D...D2D1を提供すること。
表現に選択された基底bに拘わらず、基底bで書かれた、任意の値の級数1、2、...k,に対して、表現の最小桁は、最大桁よりも速い率で変化するということは理解されよう。その結果、Halton列Hb 1,Hb 2,...Hb k,においては、最大桁は、より速い率で変化し、列におけるそれより前の値が、ゼロと1の間の区間上において一般的に広く分布され、列におけるそれより後ろの値は、列におけるそれより前の値の間の隙間を埋める。上述したモンテカルロ法で使用される乱数または擬似乱数と異なり、Halton列の値は統計的に独立ではなく、逆に、Halton列の値は、厳密に確定的であり、区間上においてお互いに「最も効果的に回避」し、そのため凝集することはないが、モンテカルロ法で使用される乱数または擬似乱数は凝集することがある。
一般化Halton列は、そのうちの上記のHalton列は特別な場合であるが、次のように生成される。両端を含むゼロから1の数値区間に沿う各開始点に対して、異なるHalton列が生成される。両端を含むゼロから1の区間上で、任意のxとyに対して、その2つよりも大きな値を有する任意の整数Pに対して、擬似合計
を定義し、擬似合計は、xとyを表現する桁を、最大桁から最小桁に向けて、逆の順序で加算し、各加算に対して、次に大きな桁の後継から生成される繰上げ数を加算することにより形成される。このように、基底bにおけるxが0.X1X2...XM-1XM,と表現され、ここにおいて各Xmは基底bにおける桁であり、基底bにおけるyが0.Y1Y2...YN-1YN,と表現され、ここにおいて各Ynは基底bにおける桁であり、Mは基底bにおけるxの表現の桁数であり、Nが基底bにおけるyの表現の桁数であり、MとNが異なってもよいとすると、擬似合計zは、0.Z1Z2...ZL-1ZL,と表現され、ここにおいて各Zlは、Zl=(Xl+Yl+Cl)mod bで与えられる基底bにおける桁であり、modは、モジュロ関数を表現し、
より具体的には、本発明は、準モンテカルロ法を使用して積分値を求めるための、コンピュータにより実践される新しい、改善されたシステムを提供する。特定の実施形態においては、スクランブルされたHalton列と、根基逆元による層化と、Halton列からの層化サンプルと、決定性スクランブリングと、ランダム化による偏り消去と、適応および決定性アンチエイリアシングと、ランク−1格子によるアンチエイリアシングと、依存サンプリングとランク−1格子により誘導されるドメイン層化による軌道分割を含む技術と連係しての、適応準モンテカルロ積分および適応積分近似を使用する。
A.少なくとも1つのサンプル点は少なくとも1つのサンプルを使用して生成され、前記少なくとも1つのサンプルは、超一様分布列の少なくとも1つの要素を備える、サンプル点の集合であって、超一様的な準モンテカルロ点を備える、サンプル点の集合を前記コンピュータグラフィックシステムが生成することを可能にするための実行可能なコンピュータ読取可能プログラム命令と、
B.前記サンプル点の1つにおいて選択された関数の値を求めて、表示制御電子的出力を生成するために使用できるピクセル値に対応する値を、前記コンピュータグラフィックシステムが生成することを可能にするための実行可能なコンピュータ読取可能プログラム命令と、がコード化されている。
本特許出願は、共有されている、2005年8月18日付けで出願された、米国仮出願第60/709,173号明細書(「画像合成の方法およびシステム」(弁理士審理予定表MNTL-104-PR))の優先権の利益を主張するものであり、また、共有されている、2002年11月19日付けで出願された、米国出願第10/299,958号(「サンプル点が、超一様分布列を使用して生成された依存サンプルを表現する、準モンテカルロ法を使用して積分の値を求めるためのシステムおよびコンピュータにより実践される方法」(弁理士審理予定表MENT-072、発明者:Alexander Keller))の一部継続出願であり、両者は、参照によって本明細書に引用したものとする。
図2Aは、下記に記述する、本発明の更なる形態によるコンピューティングシステム10の追加構成要素を示している図を示す。図2Aに示されているように、コンピューティングシステム10は、サンプル点の集合を生成するためのサンプル点ジェネレータ30を更に含み、少なくとも1つのサンプル点は、少なくとも1つのサンプルを使用して生成され、少なくとも1つのサンプルは、列の少なくとも1つの要素を備え、サンプル点の集合は、準モンテカルロ点を備える。コンピューティングシステム10はまた、サンプル点の1つにおいて選択された関数値を算出して、ピクセル値に対応する値を生成するサンプル点ジェネレータ30と連絡状態にある関数値算出器32も含む。ピクセル値は、表示13を制御する電子的出力を生成するために使用できる。
I.サンプル点が、超一様分布列を使用して生成される依存サンプルを表現する、準モンテカルロ法の序章、概観、および説明
II.適応準モンテカルロ積分による画像合成
III.準モンテカルロ積分に関する追加例および点
IV.一般的な方法
本出願は、共有されている、2002年11月19日付けで出願された、米国出願第10/299,958号(「サンプル点が、超一様分布列を使用して生成された依存サンプルを表現する、準モンテカルロ法を使用して積分の値を求めるためのシステムおよびコンピュータにより実践される方法」(弁理士審理予定表MENT-072、発明者:Alexander Keller))の一部継続出願であり、本発明の詳細な記述は、この出願の顕著な点の説明から始める。
本発明の形態は、シーンの画像におけるピクセルに対してピクセル値を生成するコンピュータグラフィックシステムおよび方法を提供し、過去において使用されてきたランダムまたは擬似ランダムモンテカルロ法ではなく、例えば、積分値を求めるため、または、シーンにおける種々の点から反射された光の、それぞれのピクセル値への貢献度を表現する関数の積分値を求めるためのサンプル値を生成するときに使用される、サンプル点を生成するための依存サンプリングによる軌道分割を含む、種々の副技術と連係して、厳密に決定性の準モンテカルロ法を利用する。厳密に決定性の方法は、サンプル点が一般的には、積分値が超一様分布の方法で算出される区間または領域上で、より均一に分布されることを先験的に保証する。
(i)Leは光源による光束を表現する。
(ii)Tfr-fsLe(ここでTfr-fs−Tfr=−Tfs)は、直接照明、つまり、光源により直接そこに提供された、表面から反射した光束を表現し、反射演算子の鏡面部Tfsに関連する鏡面成分は、それがδ分布を使用してモデル化されているので、別に処理される。
(iv)TfsLは、鏡面成分を表現し、それは、反射レイに対するLを再帰的に使用す
ることにより扱われる。
、拡散表面(Tfd演算子参照)に当たる前に、光沢または鏡面表面(Tfg+fs演算子参照)により反射されたレイである。この貢献は、高解像度火線フォトンマップにより近似できる。
(vi)TfdTfdLは、周囲光を表現し、それは非常に滑らかであり、従って、低解像
度グローバルフォトンマップを使用して近似される。
は整数基底bにおけるiの表現である。N=(2n)2においては、二次元Hammersley点は、基底2における(0,2n,2)−族であり、2nx2n格子上とラテン超立方体上で同時に層化される。格子をサブピクセルと考えると、画像平面の基盤となっている完全なサブピクセル格子は、単に格子の複製をお互いに隣接するだけで充填することができる。
(b)パターンは、線y=xに関して対称、つまり、各列は、別の列のシフトした複製である。
従って、整数順列σ(k):=2nΦ2(k)(0≦k<2nに対して)が与えられると、サブピクセル座標(sx,sy)は層座標(j,k):=(sxmod2n,symod2n)上にマップされ、インスタンス数iは次のように計算される。
(ii)基底bが奇数であると、置換σbはσb-1の値を取り、各値を、
コンピュータグラフィックシステム10は、一般化された超一様分布点集合を次のように生成できる。任意の有理数s次元の点xを、開始点として取ることにより超一様分布列を取得して、対応する増分根基逆関数をxの成分に適用することにより、その後に続く点を決定できることがよくある。その結果は、一般化超一様分布点集合と称される。これは、Halton列とHammersley列の両者に適用できる。一般化Halton列の場合は、これは、
」は「法1による加法」のことである。M回反復されたレイの各方向はyi,jにより決定され、超一様分布ベクトルの次の要素を使用するために新しい積分次元として、d’:=d+Δdとして、そして続く軌跡の相関をなくすためにi’=i+jとしてレイツリーの次のレベルに入る。超一様分布サンプル点の無限列を使用すると、ヒューリスティック反復は、適応的で、整合性のあるサンプリング配列になる。つまり、コンピュータグラフィックシステム10は、サンプリング率ΔMを固定でき、現在と以前の推定値をΔMサンプルごとに比較でき、推定値が、所定の閾値値より小さな量だけ異なっている場合は、サンプリングを終了できる。その結果、コンピュータグラフィックシステム10は、局所積分がグローバル積分にどの程度貢献しているかという、重要度情報により閾値を決定できる。
は、光沢散乱をシミュレートするために使用されたモデルfgが、双方向分布関数frの代わりに使用されることを除いて、領域光源(方程式(1.20)及び方程式(1.21))に関連して上述した方法と類似の方法で決定される。光沢貢献度を決定するときは、固定分割率Mと、入射レイの次元フィールドdにより与えられる現在のレイツリー深度から取られるオフセット
において放射された光は、一般的には、2つの成分、つまり、もしあるならば、その点から放射された光の量と、もしあるならば、他の点に起源を有し、点
で反射または散乱された光の量の合計であることが認識される。方程式(1.22)において、
は、方向
(ここでθは、点
を含むシーンにおける対象物の表面と直交する方向に関する方向角
を、φは、点
に接する平面における方向
の成分の角度を表現している)における点
のラジアンスを表現している。同様に、積分における
は、方向
(ここでθ’は、点
を含むシーンにける対象物の表面と直交する方向に関する方向角
を、φ’は、点
に接する平面における方向
の成分の角度を表現している)における点
のラジアンスを表現し、もしあれば、点
から放射され、点
から反射または散乱された可能性のある光を表現している。
は合計の第1成分、つまり、方向
における点
からの放射によるラジアンスを意味し、球面S’上の積分は、第2成分、つまり、点
における光の散乱によるラジアンスを意味している。
は双方向散乱分布関数であり、方向
から入射する光のどれくらいの量が、方向
に反射、屈折、または散乱されるかを記述し、一般的には、拡散成分、光沢成分、および鏡面成分の合計である。方程式(1.22)において、関数
は、幾何学項
と
それぞれにおける、それぞれの表面の法線に関する角度である。更に方程式(1.22)において、
は、可視性関数であり、点
が点
から見える場合は値1に等しく、点
が点
から見えないときはゼロである。
より一般的なレベルでは、本発明は、s次元単位立方体[0,1)S上の関数fの積分値を求めるための、改善された準モンテカルロ法を提供する。従来の方法における、依存分割による軌道分割と称されるこの方法と対照的に、関数に対するサンプル値が生成されたサンプル値に対する積分ドメインにおけるサンプル点は、各次元に沿って、同じ数の座標サンプルを提供することにより決定された。しかし、ある被積分関数のある次元に対しては、関数fが、他の次元に対するよりも、より高い分散を呈示することもよくある。本発明は、臨界領域における依存サンプルによる軌道分割を利用することにより、これを利用する。
積分は、zj∈IS2に対するトロイド移動のもとでは不変、つまり、
II.適応準モンテカルロ積分による画像合成
画定的にスクランブルされたHalton列の陰的層化特性を解析すると、多数のレンダリングアルゴリズムを改善する、適応インターリーブされたサンプリング方式に到達する。相関のない適応ランダムサンプリング方式と比較すると、増加Halton列からの相関のある、高度に均一サンプル点は、より高速の収束およびはるかに強固な適応という結果になる。方式は確定的なので、並列化および再現性は些細なことになり、インターリービングは、エイリアシングを最も効果的に回避する。ここで記述するサンプリング方式は、例えば、産業経路トレーシング、分布レイトレーシング、および高度解像度合成を含む、多数のアプリケーションにおいて有益である。
画像合成を、独立したピクセル値のみの代わりに、同族汎関数を計算することと考えることにより、強力な適応サンプリング方式が開発されてきた。従って、サンプル点の層化列は、スクランブルされたHalton列から抽出される。これらの点は確定的であるが、エイリアシングは最も効果的に回避される。部分列の高度な均一性に加えて、ピクセル積分にトーンマッピングを組み込むことにより、良好かつ滑らかな収束がもたらされる。従って、適応は、簡単な画像処理演算子を、単一のサンプルにではなく、最終ピクセル値に適用することにより、強固に制御できる。すべてが確定的であるので、制作において要求される正確な再現性は些細な問題である。新しい技術の良好な性能は、種々のアプリケーションに関して下記に記述される。
「根基逆元による層化」をここで記述する。根基逆元
において反映する。基底b=2においてとは、
に対して、
1つの解決策は、Halton列をスクランブルすることである。根基逆元はスクランブルされた根基逆
のみを生成する。それにも拘わらず、準モンテカルロ積分は、Riemann積分可能関数に対して、偏りがあるが、整合性を有することを示すことができる。
画像合成の新しい技術をここで記述する。画像合成は、ピクセル色のマトリックスの計算
この制限とは、第1および第2成分の最初の少数第n1とn2位をそれぞれ固定することを意味し、Halton点の良好な一様性の特性を変えない。従って、決定性の超一様分布サンプリングの改善された滑らかな収束が保存される。収束は、実際に被積分関数の境界を定めるトーンマッピング技術を適用することにより実質的に更に改善される。そして、画像処理演算子によりトリガーされた適応は、非常に信頼できるものになる。層の数b1 n1xb2 n2は、n1とn2により決定され、それは十分大きく選択され、それにより、隣接するピクセル再構築フィルタにより覆われた層は繰返しパタ−ンを含まない。
ピクセルは、改良基準が満たされればいつでも改良される。例としては、単純な基準は、閾値Tに対して画像勾配
本発明の1つの形態によれば、同じことが画像合成に対しても行われる。方程式(2.6)において、輝度Lは平均化の前に、
上述した技術を画像合成に適用することにおいて、より多くのサンプルが使用されて、最終画像におけるある詳細を解像するために使用される。適応サンプルは、画面空間において、あるコントラスト基準により、最初の2つの次元におけるHalton列を改良することにより生成される。
根基逆元の層化特性に基づいて、画像合成に対する新しい適応積分アルゴリズムが提示されている。インターリービングのために層化を使用して、エイリアスは効果的に抑えられ、一方、超一様分布列の滑らかな収束により、非常に効率的で強固な、適応のための終端基準の使用が可能になる。すべてのサンプル位置は確定的なので、サンプリングされた関数値を格納することにより、高解像度合成が可能になる。類似の方法で、収束は、例えば、Sobol列のような、(t,s)−列の微細構造を使用することにより改善できる。記述した技術は、2次元においてのみ層化による恩恵を受けるが、次元の呪いのために、一般高次元層化に対しては適切ではない。
示されたインターリービング技術を使用して、隣接するピクセルが異なるようにサンプリングされるが、厳密に確定的である。
コンピュータグラフィックテクストブックは、決定性パタ−ンまたは格子を使用して画像をサンプリングすると、エイリアシングという結果になると教示している。エイリアシングは、ランダムな、つまり、画像の独立したサンプリングによってのみ回避できる。このように、テキストブックは、典型的に、ブルーノイズ特性を有するランダムサンプルを推奨する。しかし、サンプルのこれらのタイプは、その最大化された最小相互距離により、強く相関付けられている。テキストブックのアプローチとは反対に、ここで記述されるシステムおよび技術は、準モンテカルロ法によるパラメータ積分に基づいており、それらは厳密に確定的である。
単一ピクセルの強度I(k,l)を決定する、つまり、ピクセルを通る光束を測定するには、ラジアンス輸送積分方程式
はエネルギー保存を保証するために1により境界を定めなければならない。そしてNeumann級数は収束し、ラジアンスの計算
(1)根基逆元に基づく点集合は、
において正確に表現できるので特に興味深い。
定義1.(Χ,Β,μ)を任意の確率空間とし、ΜをΒの空でない部分集合とする。Χのn個の要素の点集合Pnは、
点集合列は、その非一様分布が極限において消失し、そしてその場合のみ、一様に分布される。前節で概略を述べた決定性構成は、いわゆる超一様分布を得ることができ、それは、大雑把に述べれば、1/nで消失し、一方、独立ランダム点は、ほぼ1/√nを得ることができ、デカルト積中点則からの点は、わずか1/s√nしか得られない。
図11(A)〜図11(H)は、n=16(上側の列)とn=64(下側の列)に対する古典準モンテカルロ点を、それらの相互最小距離dminに沿って示している一連のプロット260〜330を示している。ランク−1格子は、その最小距離が最大になるように選択されている。より良好な非一様分布を有する構成もまた、Hammersley点、Sobol列、およびLarchere-Pillichshammer点に対して分かるように、より大きな最小距離を有していることを観測することは興味深い。置換により、Halton列の最小距離が、元のHalton列に比べて最大化されていることも観測できる。
により誘導された単位トーラス上の相互ユークリッド距離を最大にすることで選択された点集合は、s次元空間を充填するために、シームレスにタイルのように並べることができるという利点を有している。この特性は格子に固有なものである。しかし、このことは、根基逆元に基づく点に関しては一般的には当てはまらない。LarcherとPillichshammerによる点は、シームレスにタイルのように並べられるが、Hammersley点はそうではない。実際には、ノルム
は重み付きノルムであるべきで、それは、積分ドメインのサイズを含む。図12(A)〜図12(C)は、単位立方体(図12(A))、積分ドメインに寸法を合わされた単位立方体(図12(B))、そして積分ドメイン(図12(C))における最大最小距離による格子の選択を示している一連の線画340〜360を示している。積分ドメインの拡大/縮小を考慮することにより、より一様性のある点がもたらされる。特に、単位立方体上で最小距離を最大にすることは、積分のドメインを拡大/縮小するときに、良好な一様性を意味しないことが分かる。
Koksma-Hlawka不等式は、積分誤差を、サンプル平均を決定するために使用されたサンプル点の非一様分布と、HardyとKrauseの意味における被積分関数の変分との積により確定的に境界を定める。変分は、誤差境界における因子として非一様分布を取得しようとした剰余として考えることができる。
上述したように、画像合成は、L2 bにおける積分近似問題であり、準モンテカルロ積分近似は、コンピュータグラフィックにおいて使用され、良好な結果を残してきた。従って、下記の定理は、パラメータ積分という意味において一般化できる。
に対して得られる。
を、結果の不等式の両辺に適用することにより、所望の境界がもたらされる。
yを省略することにより、ノルムは絶対値に還元され、しかしもとの定理のままであり、下記の定理2の証明でもある。
定理2.(Χ、Β、μ)を任意の確率空間とし、Μ={M1,...,Mk}を1≦j≦kに対して、Μj∈ΒのΧの一部とすると、任意の(Μ,μ)−一様点集合Ρ={Χ0,...,Χn-1}および、Χ上の任意の境界を定められたμ積分可能な関数fに対して、
依存テスト
独立実現を繰り返すことにより、不偏の方法で、近似の誤差を推定できるようになる。しかし、独立ランダムサンプルは、相関付けられたサンプルができるようには、一様に分布させることはできないので、ある収束は犠牲になる。これは、少数のサンプルを使用する、コンピュータグラフィックの設定において特に顕著である。
(b)に示されるラテン超立方体は、ランダムサンプリングよりはるかに悪いはずはなく、如何なる次元およびサンプル数に対しても利用できる。保証はできないが、平均の観測された性能は良好である。
ここで、アンチエイリアシング技術について、基底b=2における(0,2m,2)−族を使用して検討する。
累積バッファアルゴリズムにおけるHammersley点の使用は調べられてきている。相当に改善されたにも拘わらず、各ピクセルは、同じサンプルを使用しなければならず、それはエイリアスを回避するためにはより高いサンプリング率を必要とした。その問題に対する1つの解決策は、基底b=2における、(0,2m,2)−族の構造を利用することである。
ランダムスクランブリングを、古典超一様分布点集合に適用すると、一様性はしばしば改善されるが、減少することはめったにないことが観測できる。これは非一様分布と最小距離の両者に当てはまる。実験によると、ランダムスクランブリングは、スクランブルされたHalton列の一様性をわずかにしか変化させないことが示され、これは、決定性置換が既に非常に良好な選択であることを示している。
に対して、根基逆元は、区間
に対して、
から開始して、次の改良レベルは、図18(C)に示され、下記に検討するように、
をアークタンジェント(1/2)だけ回転し、それを1/√5だけ縮小することにより見つけられる。結果としての格子は、これもまた方形格子であり、この手順は、再帰的に続けることができる。このようにして、構成は、ランク−1格子とはまったく関連しないものになる。
1つのランダムベクトルが1ピクセル当たりに使用され、格子点を移動して、不偏推定量を取得し、近隣ピクセル間の相関をなくした。結果としての画像は最小ノイズを呈示したが、一方、エイリアシングアーティファクトは、ノイズとなった。以前のサンプリング方法と比較して、格子点の一様性が高かったため、収束は良好であった。
金融における準モンテカルロ積分の適用は、即座に多くの注目を集めたが、コンピュータグラフィックにおける開発はそのように華々しくはなかった。しかし、今日では、映画産業におけるレンダリングされた画像の約半分は、厳密に決定性の準モンテカルロ積分近似を使用して合成されている。2003年に、これらの技術は、米国映画芸術科学アカデミーによる技術功績賞(オスカー)を受賞した。学究的な世界とは対照的に、グラフィックハードウェアおよびソフトウェア産業は、早くから準モンテカルロ法の利点を認識していた。
コンピュータグラフィックの古典アルゴリズムと比較して、このアルゴリズムは、高い一様性はサンプル点に固有なものなので、より小さく、より効率的である。好例は、最大化最小距離を有するランク−1による軌道分割である。
コンピュータグラフィックに使用されるような最大化最小距離の概念は、準モンテカルロ理論において使用されるような(Μ,μ)−一様性の概念に良好に適合する。最大化最小距離により選択されたランク−1格子は、両者の改良に理想的に適合し、コンピュータグラフィックにおいて優れた結果をもたらす。
図19〜図22は、本発明の更なる形態による、一般的な方法を示す一連のフローチャートである。
図19は、表示装置を介して表示可能な画像において、ピクセルに対するピクセル値を生成するためのコンピュータにより実践される方法600のフローチャートであって、ピクセル値は、シーンにおける点を表現している。この方法は、下記のステップを含む。
ステップ602:サンプル点の1つにおいて選択された関数の値を求めて値を生成することであって、生成された値はピクセル値に対応し、ピクセル値は、表示制御電子的出力を生成するために使用できる。
ステップ621:サンプル点の集合を生成することであって、少なくとも1つのサンプル点は少なくとも1つのサンプルを使用して生成され、少なくとも1つのサンプルは、超一様分布列の少なくとも1つの要素を備え、生成することは、決定性のスクランブルされたHalton列に基づく、適応的な、インターリーブされたサンプリング方式を使用してサンプル点の決定性超一様分布集合をもたらすことを含む。
図21は、表示装置を介して表示可能な画像において、ピクセルに対するピクセル値を生成するためのコンピュータにより実践される方法640のフローチャートを示し、ピクセル値は、シーンにおける点を表現している。この方法は、下記のステップを含む。
ステップ642:サンプル点の1つにおいて選択された関数の値を求めて値を生成することであって、生成された値はピクセル値に対応し、ピクセル値は、表示制御電子的出力を生成するために使用できる。
ステップ661:サンプル点の集合を生成することであって、少なくとも1つのサンプル点は、少なくとも1つのサンプルを使用して生成され、少なくとも1つのサンプルは、列の少なくとも1つの要素を備え、生成することは、ランク−1格子点を使用するサンプリングを含む。
前述されたものは、本発明の特別な実施形態に制限されてきた。しかし、種々の変形および修正が、本発明の利点のいくつかまたはすべてを達成することにより本発明になされ得るということは明白である。付随する請求項は、これらと、本発明の真の精神と範囲内にある他の変形と修正を含むことを目的としている。
Claims (6)
- 表示装置を介して表示可能な画像における画素について、ある光景の一画素を示す画素値をコンピュータが生成する方法において、
準モンテカルロ点の集合を、根基逆元に基づく点を使用して適応的にサンプリングすることにより生成し、
前記準モンテカルロ点の集合を用いた数値解析法により前記画素値を生成するための関数を推定し、前記推定された関数により、表示制御電子的出力を生成するために使用可能な前記画素値に対応する値を生成し、
前記画像のグラデーションと所定の閾値Tとの比較を含み得る所定の条件が満たされた場合はいつでも前記画素値を見直すとともに、
前記閾値Tに乗算的に適用されるサンプリング率に対する指数に対して、収束の速度への適応を可能にするための値を選択する、
ことを特徴とする、方法。 - 表示装置を介して表示可能な画像における画素について、ある光景の一画素を示す画素値をコンピュータが生成する方法において、
準モンテカルロ点の集合を、ランク−1格子点を使用してサンプリングすることにより生成し、
前記準モンテカルロ点の集合を用いた数値解析法により前記画素値を生成するための関数を推定し、前記推定された関数により、表示制御電子的出力を生成するために使用可能な前記画素値に対応する値を生成し、
異なるランダムシフトを前記ランク−1格子点に加えることにより、前記画素におけるエイリアシングを削減し、
一画素当たりの移動量を、最大化された最小距離を有する、超一様分布点集合または決定性点集合の要素を用いて決定することにより、一画素当たりのランダム移動を非ランダム化し、前記画素に整合する層化を行ない、
前記層化は、ランク−1格子のVoronoi図により誘導される、
ことを特徴とする、方法。 - プロセッサと、表示装置と、ユーザ入力装置と、1以上のメモリ装置とをそなえ、前記表示装置を介して表示可能な画像における画素について、ある光景の一画素を示す画素値を生成可能なコンピュータグラフィックシステムにおいて、
準モンテカルロ点の集合を、根基逆元に基づく点を使用して適応的にサンプリングすることにより生成する手段と、
前記準モンテカルロ点の集合を用いた数値解析法により前記画素値を生成するための関数を推定し、前記推定された関数により、表示制御電子的出力を生成するために使用可能な前記画素値に対応する値を生成する手段と、
前記画像のグラデーションと所定の閾値Tとの比較を含み得る所定の条件が満たされた場合はいつでも前記画素値を見直すとともに、前記閾値Tに乗算的に適用されるサンプリング率に対する指数に対して、収束の速度への適応を可能にするための値を選択する手段と、をそなえる、
ことを特徴とする、コンピュータグラフィックシステム。 - 表示装置を介して表示可能な画像における画素について、ある光景の一画素を示す画素値を生成可能なコンピュータグラフィックシステムにおいて、前記画素値を生成する機能をコンピュータに実現させるためのコンピュータプログラムであって、
準モンテカルロ点の集合を、根基逆元に基づく点を使用して適応的にサンプリングすることにより生成する機能と、
前記準モンテカルロ点の集合を用いた数値解析法により前記画素値を生成するための関数を推定し、前記推定された関数により、表示制御電子的出力を生成するために使用可能な前記画素値に対応する値を生成する機能と、
前記画像のグラデーションと所定の閾値Tとの比較を含み得る所定の条件が満たされた場合はいつでも前記画素値を見直すとともに、前記閾値Tに乗算的に適用されるサンプリング率に対する指数に対して、収束の速度への適応を可能にするための値を選択する機能と、を前記コンピュータに実現させる、
ことを特徴とする、コンピュータプログラム。 - プロセッサと、表示装置と、ユーザ入力装置と、1以上のメモリ装置とをそなえ、前記表示装置を介して表示可能な画像における画素について、ある光景の一画素を示す画素値を生成可能なコンピュータグラフィックシステムにおいて、
準モンテカルロ点の集合を、ランク−1格子点を使用してサンプリングすることにより生成する手段と、
前記準モンテカルロ点の集合を用いた数値解析法により前記画素値を生成するための関数を推定し、前記推定された関数により、表示制御電子的出力を生成するために使用可能な前記画素値に対応する値を生成する手段と、
異なるランダムシフトを前記ランク−1格子点に加えることにより、前記画素におけるエイリアシングを削減する手段と、
一画素当たりの移動量を、最大化された最小距離を有する、超一様分布点集合または決定性点集合の要素を用いて決定することにより、一画素当たりのランダム移動を非ランダム化し、前記画素に整合する層化を行なう手段と、をそなえ、
前記層化は、ランク−1格子のVoronoi図により誘導される、
ことを特徴とする、コンピュータグラフィックシステム。 - 表示装置を介して表示可能な画像における画素について、ある光景の一画素を示す画素値を生成可能なコンピュータグラフィックシステムにおいて、前記画素値を生成する機能をコンピュータに実現させるためのコンピュータプログラムであって、
準モンテカルロ点の集合を、ランク−1格子点を使用してサンプリングすることにより生成する機能と、
前記準モンテカルロ点の集合を用いた数値解析法により前記画素値を生成するための関数を推定し、前記推定された関数により、表示制御電子的出力を生成するために使用可能な前記画素値に対応する値を生成する機能と、
異なるランダムシフトを前記ランク−1格子点に加えることにより、前記画素におけるエイリアシングを削減する機能と、
一画素当たりの移動量を、最大化された最小距離を有する、超一様分布点集合または決定性点集合の要素を用いて決定することにより、一画素当たりのランダム移動を非ランダム化し、前記画素に整合する層化を行なう機能と、を前記コンピュータに実現させ、
前記層化は、ランク−1格子のVoronoi図により誘導される、
ことを特徴とする、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US70917305P | 2005-08-18 | 2005-08-18 | |
US60/709,173 | 2005-08-18 | ||
PCT/US2006/032393 WO2007022439A2 (en) | 2005-08-18 | 2006-08-18 | Image synthesis methods and systems |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009505297A JP2009505297A (ja) | 2009-02-05 |
JP4749470B2 true JP4749470B2 (ja) | 2011-08-17 |
Family
ID=37758454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008527178A Active JP4749470B2 (ja) | 2005-08-18 | 2006-08-18 | 画像合成の方法、コンピュータグラフィックシステム及びコンピュータプログラム |
Country Status (6)
Country | Link |
---|---|
EP (1) | EP1915739B1 (ja) |
JP (1) | JP4749470B2 (ja) |
AT (1) | ATE516562T1 (ja) |
AU (1) | AU2006279337B2 (ja) |
CA (1) | CA2616991A1 (ja) |
WO (1) | WO2007022439A2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11170254B2 (en) | 2017-09-07 | 2021-11-09 | Aurora Innovation, Inc. | Method for image analysis |
US11334762B1 (en) | 2017-09-07 | 2022-05-17 | Aurora Operations, Inc. | Method for image analysis |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8131770B2 (en) | 2009-01-30 | 2012-03-06 | Nvidia Corporation | System, method, and computer program product for importance sampling of partitioned domains |
US8266623B2 (en) * | 2009-04-29 | 2012-09-11 | Nvidia Corporation | System, method, and computer program product for decomposing a sampling task into a plurality of jobs |
US10127392B1 (en) * | 2017-08-30 | 2018-11-13 | Go Ghost, LLC | Secure rendering system that generates ray tracing samples with obfuscated position data |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1069537A (ja) * | 1996-08-28 | 1998-03-10 | Nec Corp | 画像合成方法及び画像合成装置 |
JP2000244851A (ja) * | 1999-02-18 | 2000-09-08 | Canon Inc | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 |
JP2004272895A (ja) * | 2003-02-21 | 2004-09-30 | Inventec Appliances Corp | 複数の低解像度の画像を使用して解像度が向上された画像を生成するための方法 |
US7432935B2 (en) * | 2002-11-19 | 2008-10-07 | Mental Images Gmbh | Image synthesis methods and systems for generating sample points in a graphics scene |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5790126A (en) * | 1995-01-03 | 1998-08-04 | Microsoft Corporation | Method for rendering a spline for scan conversion of a glyph |
US6529193B1 (en) * | 1996-06-25 | 2003-03-04 | Mental Images Gmbh & Co. Kg | System and method for generating pixel values for pixels in an image using strictly deterministic methodologies for generating sample points |
US6028606A (en) * | 1996-08-02 | 2000-02-22 | The Board Of Trustees Of The Leland Stanford Junior University | Camera simulation system |
WO2002003326A2 (en) * | 2000-06-19 | 2002-01-10 | Mental Images, G.M.B.H. & Co., Kg. | Generating pixel values using strictly deterministic methodologies for generating sample points |
DE60138636D1 (de) * | 2000-10-18 | 2009-06-18 | Leybold Vakuum Gmbh | Mehrstufiger schraubenrotor |
EP1523715A2 (en) * | 2002-05-15 | 2005-04-20 | Mental Images GmbH | Evaluating integrals using stratification of integration domain using rank-1 lattices |
-
2006
- 2006-08-18 AT AT06801886T patent/ATE516562T1/de not_active IP Right Cessation
- 2006-08-18 WO PCT/US2006/032393 patent/WO2007022439A2/en active Application Filing
- 2006-08-18 JP JP2008527178A patent/JP4749470B2/ja active Active
- 2006-08-18 EP EP06801886A patent/EP1915739B1/en active Active
- 2006-08-18 AU AU2006279337A patent/AU2006279337B2/en not_active Ceased
- 2006-08-18 CA CA002616991A patent/CA2616991A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1069537A (ja) * | 1996-08-28 | 1998-03-10 | Nec Corp | 画像合成方法及び画像合成装置 |
JP2000244851A (ja) * | 1999-02-18 | 2000-09-08 | Canon Inc | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 |
US7432935B2 (en) * | 2002-11-19 | 2008-10-07 | Mental Images Gmbh | Image synthesis methods and systems for generating sample points in a graphics scene |
JP2004272895A (ja) * | 2003-02-21 | 2004-09-30 | Inventec Appliances Corp | 複数の低解像度の画像を使用して解像度が向上された画像を生成するための方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11170254B2 (en) | 2017-09-07 | 2021-11-09 | Aurora Innovation, Inc. | Method for image analysis |
US11334762B1 (en) | 2017-09-07 | 2022-05-17 | Aurora Operations, Inc. | Method for image analysis |
US11748446B2 (en) | 2017-09-07 | 2023-09-05 | Aurora Operations, Inc. | Method for image analysis |
US12056209B2 (en) | 2017-09-07 | 2024-08-06 | Aurora Operations, Inc | Method for image analysis |
Also Published As
Publication number | Publication date |
---|---|
ATE516562T1 (de) | 2011-07-15 |
AU2006279337A1 (en) | 2007-02-22 |
CA2616991A1 (en) | 2007-02-22 |
AU2006279337B2 (en) | 2010-08-26 |
EP1915739A2 (en) | 2008-04-30 |
EP1915739A4 (en) | 2008-09-03 |
EP1915739B1 (en) | 2011-07-13 |
WO2007022439A2 (en) | 2007-02-22 |
WO2007022439A3 (en) | 2007-07-26 |
JP2009505297A (ja) | 2009-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7432935B2 (en) | Image synthesis methods and systems for generating sample points in a graphics scene | |
Nalbach et al. | Deep shading: convolutional neural networks for screen space shading | |
Dachsbacher et al. | Scalable realistic rendering with many‐light methods | |
US7515151B2 (en) | Generating images using sub-domain photon maps | |
Clarberg et al. | Wavelet importance sampling: efficiently evaluating products of complex functions | |
US7358971B2 (en) | Generating images using ray tracing and ray tree generated using low-discrepancy sequences | |
Keller | Quasi-Monte Carlo image synthesis in a nutshell | |
US7499054B2 (en) | Generating images using multiple photon maps | |
US20090146996A1 (en) | Image generation using low-discrepancy sequences | |
US20090141026A1 (en) | Computer graphics with enumerating qmc sequences in voxels | |
US7425957B2 (en) | Computer graphics methods and systems using quasi-monte carlo methodology | |
US20070211051A1 (en) | Computer Graphics Systems, Methods and Computer Program Products Using Sample Points Determined Using Low-Discrepancy Sequences | |
Hermosilla et al. | Deep‐learning the Latent Space of Light Transport | |
JP4749470B2 (ja) | 画像合成の方法、コンピュータグラフィックシステム及びコンピュータプログラム | |
Max et al. | Approximations for the distribution of microflake normals | |
Shah et al. | Neural Histogram‐Based Glint Rendering of Surfaces With Spatially Varying Roughness | |
Peddie et al. | The Continuum | |
Ang | Offset Surface Light Fields | |
Keller | Quasi-Monte Carlo Image Synthesis in a Nutshell | |
BIANCHI | Computer graphics: shading with dynamic lightmaps | |
Annen | Efficient shadow map filtering | |
Zhou et al. | Towards Real-Time Movie-Quality Rendering | |
Herranz et al. | Master Interuniversitari en Computació | |
Pellacini | A perceptually-based decision theoretic framework for interactive rendering | |
Arnerin | A journey in a procedural volume Optimization and filtering of Perlin noise |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20091104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20091104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110517 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4749470 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140527 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |