JP5718934B2 - Method for estimating light scattering - Google Patents

Method for estimating light scattering Download PDF

Info

Publication number
JP5718934B2
JP5718934B2 JP2012540364A JP2012540364A JP5718934B2 JP 5718934 B2 JP5718934 B2 JP 5718934B2 JP 2012540364 A JP2012540364 A JP 2012540364A JP 2012540364 A JP2012540364 A JP 2012540364A JP 5718934 B2 JP5718934 B2 JP 5718934B2
Authority
JP
Japan
Prior art keywords
medium
light
level
spatial subdivision
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012540364A
Other languages
Japanese (ja)
Other versions
JP2013511785A5 (en
JP2013511785A (en
Inventor
ゴートロン パスカル
ゴートロン パスカル
マービー ジャン−ユード
マービー ジャン−ユード
デラランドレ シリル
デラランドレ シリル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2013511785A publication Critical patent/JP2013511785A/en
Publication of JP2013511785A5 publication Critical patent/JP2013511785A5/ja
Application granted granted Critical
Publication of JP5718934B2 publication Critical patent/JP5718934B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/55Radiosity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2250/00Miscellaneous game characteristics
    • A63F2250/30Miscellaneous game characteristics with a three-dimensional image
    • A63F2250/307Miscellaneous game characteristics with a three-dimensional image stereoscopic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data

Description

本発明は、シンセシス画像合成(synthesis image composition)の分野に関し、より具体的には、異種成分からなる関与媒質中の光散乱シミュレーションの分野に関する。また本発明は、ライブ(live)合成のための特別な効果に関して理解される。   The present invention relates to the field of synthesis image composition, and more specifically to the field of light scattering simulations in participating media composed of different components. The invention is also understood with respect to special effects for live synthesis.

先行技術によれば、例えば、霧、煙、塵または雲などの関与媒質中の光の散乱をシミュレーションするために、様々な方法が存在する。関与媒質は、特にトラジェクトリ(trajectory)および強度を変更する光と相互作用する浮遊状態の粒子から構成される媒質に対応する。   According to the prior art, there are various methods for simulating the scattering of light in a participating medium such as fog, smoke, dust or clouds. Participating media correspond in particular to media composed of suspended particles interacting with the trajectory and light changing intensity.

関与媒質を、2つのグループ、すなわち、水などの均質な媒質および煙または雲などの異種成分からなる媒質に分類することができる。均質な媒質のケースでは、光源によって送出された光の減衰を解析的に計算することが可能である。事実、それ自体の均質な性質のために、これらの媒質は、媒質の任意の点において一定である光吸収係数または光散乱係数などのパラメータを有する。逆に、光吸収特性および光散乱特性は、異種成分からなる関与媒質中では点ごとに変化する。かかる異種成分からなる媒質中での光の散乱をシミュレーションするために要求される計算は、非常に費用がかかるものであり、異種成分からなる関与媒質によって散乱される光の量を解析的にライブで計算することはしたがって不可能である。それに加えて、媒質によって散乱される光の量を散乱しない媒質は、光の散乱方向、換言すると、人が媒質を見る方向にしたがってやはり変化する。媒質の実際的なディスプレイを得るために、散乱される光の量を推定する計算を、人間による媒質の各観察方向について繰り返さなければならない。   The participating media can be classified into two groups: homogeneous media such as water and media consisting of different components such as smoke or clouds. In the case of a homogeneous medium, it is possible to analytically calculate the attenuation of light transmitted by the light source. In fact, due to its homogeneous nature, these media have parameters such as light absorption coefficient or light scattering coefficient that are constant at any point of the medium. On the contrary, the light absorption characteristics and the light scattering characteristics change for each point in the participating medium composed of different components. The calculations required to simulate the scattering of light in a medium composed of such different components are very expensive, and the amount of light scattered by the participating medium composed of different components can be analyzed live. It is therefore impossible to calculate with In addition, a medium that does not scatter the amount of light scattered by the medium also changes according to the direction of light scattering, in other words, the direction in which a person views the medium. In order to obtain a practical display of the medium, the calculation for estimating the amount of scattered light must be repeated for each viewing direction of the medium by the human.

異種成分からなる関与媒質のライブディスプレイを生成するために、ある方法は、異種成分からなる関与媒質を表すいくつかのパラメータの事前計算を実行する。これらの方法は、例えば、ポストポロダクション(post−production)におけるスタジオ使用のために完璧に適合しており、良い品質のディスプレイをもたらしうるが、ライブ会話型概念の状況および異種成分からなる関与媒質の合成には、これらの方法は適合していない。当業者に良く知られているレイマーチングアルゴリズム法(例えば、非特許文献1に記載されている)などの他の方法は、光の散乱方向および/または透過方向にしたがって異種成分からなる関与媒質をサンプリングするものであり、媒質の多数の点(点の数はサンプリングの精度に依存する)における光の減衰を推定する。かかるサンプリングは、特にサンプリングが非常に細かいときならびに/またはサンプリングした媒質が複雑であるおよび/もしくは広範囲に及ぶときには、計算に非常に費用がかかる。   In order to generate a live display of participating media consisting of different components, a method performs a pre-calculation of several parameters representing the participating media consisting of different components. These methods, for example, are perfectly adapted for studio use in post-production and can result in a good quality display, but the context of the live conversational concept and the involved medium consisting of heterogeneous components These methods are not suitable for the synthesis of Other methods such as ray marching algorithm methods well known to those skilled in the art (for example, described in Non-Patent Document 1) can be used to determine the participating medium consisting of dissimilar components according to the direction of light scattering and / or transmission. Sampling and estimating light attenuation at a number of points in the medium (the number of points depends on the accuracy of the sampling). Such sampling is very expensive to calculate, especially when the sampling is very fine and / or when the sampled medium is complex and / or extensive.

対話型シミュレーションゲームおよびアプリケーションの出現で、特に、3次元(3D)では、異種成分からなる関与媒質の実際的なディスプレイを提供するライブシミュレーション方法に対して、必要性が感じられている。   With the advent of interactive simulation games and applications, especially in three dimensions (3D), there is a need for a live simulation method that provides a practical display of participating media composed of different components.

S. Chandrasekhar, "Radiative Transfer Equation", 1960, Dover PublicationsS. Chandrasekhar, "Radiative Transfer Equation", 1960, Dover Publications

本発明の目的は、先行技術のこれらの欠点のうちの少なくとも1つを克服することである。   The object of the present invention is to overcome at least one of these drawbacks of the prior art.

さらに具体的に本発明の目的は、異種成分からなる関与媒質中の光の散乱の実際的なディスプレイを合成するために必要な計算時間を特に最適化することである。   More specifically, it is an object of the present invention to specifically optimize the computation time required to synthesize a practical display of light scattering in a participating medium composed of different components.

本発明は、異種成分からなる関与媒質によって散乱された光の量を推定するための方法に関係し、本方法は、2つの連続する階層のレベルの間で少なくとも1つの方向にしたがって、媒質中の減衰差を表す誤差情報の少なくとも1つの項目にしたがって空間細分割(spatial subdivision)の複数の階層のレベルの中から媒質の空間細分割の少なくとも1つのレベルを選択するステップと、少なくとも1つの散乱方向に沿った前記媒質のサンプリングによって散乱された光の量を推定するステップであって、サンプリングは少なくとも1つの選択した空間細分割レベルに依存する推定するステップとを含む。   The present invention relates to a method for estimating the amount of light scattered by a participating medium consisting of heterogeneous components, the method being in the medium according to at least one direction between two successive hierarchical levels. Selecting at least one level of spatial subdivision of the medium from a plurality of levels of spatial subdivision according to at least one item of error information representing an attenuation difference of the medium, and at least one scattering Estimating the amount of light scattered by sampling the medium along a direction, the sampling comprising estimating at least one selected spatial subdivision level.

有利には、本方法は前記少なくとも1つの散乱方向に沿った位置にある媒質の少なくとも1つの点によって散乱された光の減衰を表す少なくとも第1の値を推定するステップを含む。   Advantageously, the method comprises estimating at least a first value representative of the attenuation of light scattered by at least one point of the medium located along the at least one scattering direction.

特定の特徴によれば、本方法は、少なくとも1つの散乱方向に沿った位置にある少なくとも1つの点において光の少なくとも1つの放出方向にしたがって少なくとも1つの光源から受け取った光の減衰を表す少なくとも第2の値を推定するステップを含む。   According to a particular feature, the method comprises at least a first representing attenuation of light received from at least one light source according to at least one emission direction of light at at least one point located along at least one scattering direction. Including estimating a value of two.

都合の良いことに、誤差情報の少なくとも1つの項目は、2つの第1の値の比較によって決定され、2つの第1の値は、媒質の2つの連続する階層の空間細分割レベルに対してそれぞれ推定される。   Conveniently, at least one item of error information is determined by a comparison of two first values, the two first values being relative to the spatial subdivision level of two successive hierarchies of the medium. Each is estimated.

もう1つの特徴によれば、誤差情報の少なくとも1つの項目は、2つの第2の値の比較によって決定され、2つの第2の値は、媒質の2つの連続する階層の空間細分割レベルに対してそれぞれ推定される。   According to another feature, at least one item of error information is determined by a comparison of two second values, the two second values being at a spatial subdivision level of two successive hierarchies of the medium. For each.

具体的な特徴によれば、本方法は、誤差情報をしきい値と比較するステップを含む。   According to a particular feature, the method comprises a step of comparing the error information with a threshold value.

都合の良いことに、誤差情報の少なくとも1つの項目がしきい値よりも小さい場合には、選択した空間細分割レベルは、最も高い階層の位置レベルに対応する。   Conveniently, if at least one item of error information is less than a threshold, the selected spatial subdivision level corresponds to the highest hierarchical location level.

添付した図面を参照して下記の説明を読むと、本発明がより良く理解され、他の具体的な特徴および利点が明らかになりうる。   The invention will be better understood and other specific features and advantages will become apparent when the following description is read with reference to the accompanying drawings.

本発明の特定の実施形態による、光を散乱する異種成分からなる関与媒質を図式的に示す図である。FIG. 6 schematically shows a participating medium consisting of different components that scatter light, according to a particular embodiment of the invention. 本発明の特定の実施形態による、図1の媒質の空間細分割ツリーを表示する図である。FIG. 2 is a diagram displaying a spatial subdivision tree of the medium of FIG. 1 according to certain embodiments of the invention. 本発明の特定の実施形態による、図1の媒質の空間細分割ツリーを表示する図である。FIG. 2 is a diagram displaying a spatial subdivision tree of the medium of FIG. 1 according to certain embodiments of the invention. 本発明の特定の実施形態による、光の散乱方向に応じた図1の媒質のいくつかの空間細分割レベルを示す図である。FIG. 2 shows several spatial subdivision levels of the medium of FIG. 1 as a function of light scattering direction, according to certain embodiments of the invention. 本発明の特定の実施形態による、光の散乱方向に応じた図1の媒質のいくつかの空間細分割レベルを示す図である。FIG. 2 shows several spatial subdivision levels of the medium of FIG. 1 as a function of light scattering direction, according to certain embodiments of the invention. 本発明の特定の実施形態による、光の散乱方向に応じた図1の媒質のいくつかの空間細分割レベルを示す図である。FIG. 2 shows several spatial subdivision levels of the medium of FIG. 1 as a function of light scattering direction, according to certain embodiments of the invention. 本発明の特定の実施形態による、光の散乱方向に応じた図1の媒質のいくつかの空間細分割レベルを示す図である。FIG. 2 shows several spatial subdivision levels of the medium of FIG. 1 as a function of light scattering direction, according to certain embodiments of the invention. 本発明の特定の実施形態による、光の放出方向に応じた図1の媒質のいくつかの空間細分割レベルを示す図である。FIG. 2 shows several spatial subdivision levels of the medium of FIG. 1 as a function of the direction of light emission, according to certain embodiments of the invention. 本発明の特定の実施形態による、図1の媒質によって散乱された光の量を推定するための方法を実装している装置を示す図である。FIG. 2 shows an apparatus implementing a method for estimating the amount of light scattered by the medium of FIG. 1 according to certain embodiments of the invention. 本発明の特定の実施形態による、図1の媒質によって散乱された光の量を推定するための方法を示す図である。FIG. 2 illustrates a method for estimating the amount of light scattered by the medium of FIG. 1 according to certain embodiments of the invention.

図1は、異種成分からなる関与媒質10、例えば雲を示す。関与媒質は、光を吸収し、放出しおよび/または拡散させる浮遊状態の多数の粒子から構成される媒質である。その最も単純な形体では、関与媒質は、光、例えば太陽などの、例えば光源11から受け取る光だけを吸収する。これは、媒質10を通過する光が減衰することを意味し、減衰は媒質の濃度に依存する。異種成分からなる媒質は、換言すると、例えば媒質を構成する粒子の濃度などの媒質の物理的な特性が、媒質中で点ごとに変化する。関与媒質が光と相互作用する小さな粒子から構成されるので、入射光、つまり、1つの方向ωin110にしたがって光源11から受け取る光は、吸収されるだけでなく、散乱される。等方的散乱に関与媒質中では、光はすべての方向に一様に散乱される。図1に示した雲10などの、非等方的散乱に関与媒質中では、光散乱は、入射方向ωin110と光の散乱方向ωout120との間の角度に依存する。散乱方向ωout120において媒質10の点M13のところで散乱される光の量が、次の式によって計算される。 FIG. 1 shows a participating medium 10 consisting of different components, for example a cloud. A participating medium is a medium composed of a large number of suspended particles that absorb, emit and / or diffuse light. In its simplest form, the participating medium only absorbs light, for example light received from the light source 11, for example the sun. This means that light passing through the medium 10 is attenuated, and the attenuation depends on the concentration of the medium. In other words, in a medium composed of different components, the physical characteristics of the medium, such as the concentration of particles constituting the medium, change from point to point in the medium. Since the participating medium is composed of small particles that interact with light, incident light, ie light received from the light source 11 according to one direction ω in 110, is not only absorbed but also scattered. In a medium involved in isotropic scattering, light is scattered uniformly in all directions. In a medium involved in anisotropic scattering, such as the cloud 10 shown in FIG. 1, light scattering depends on the angle between the incident direction ω in 110 and the light scattering direction ω out 120. The amount of light scattered at the point M13 of the medium 10 in the scattering direction ω out 120 is calculated by the following equation.

Q(M,ωout)=D(M).σs.p(M,ωout,ωin).Lri(M,ωin
式1
方向ωout120における空間の点Cのところの位置にいる観察者12の目に到達する媒質の点M13によって散乱された光の量、換言すると、点Mによって散乱された光の量は、トラジェクトリM−P上の媒質10によって減衰し、点Pは、観察者12の方向において媒質10と方向ωoutとの交点のところの位置にあり、そのときには、
Q (M, ω out ) = D (M). σ s . p (M, ω out , ω in ). L ri (M, ω in )
Formula 1
The amount of light scattered by the point M13 of the medium reaching the eyes of the observer 12 at the position of the point C in space in the direction ω out 120, in other words, the amount of light scattered by the point M is the trajectory. It is attenuated by the medium 10 on MP, and the point P is in the position of the intersection of the medium 10 and the direction ω out in the direction of the observer 12,

ここでは、
・σsは媒質の散乱係数であり、
・σaは媒質の吸収係数であり、
・σt=σs+σaは媒質の消衰係数であり、
・D(M)は所与の点のところの媒質の濃度であり、媒質10が異種成分からなるので、濃度は点ごとに変化し、
・p(M,ωout,ωin)は、入射方向ωinから来る光が点Mのところで散乱方向ωoutにどれだけ散乱されるかを記述する位相関数であり、
・Lri(M,ωin)は、入射方向ωin110から来る点Mのところの減少した光強度であり、線分K−M上の媒質10中の光のトラジェクトリに起因する減衰後に、点Mのところに達する入射光の量を表し、Kは媒質10と入射レイωin110との間の交点であり、その値は次式である、
here,
Σ s is the scattering coefficient of the medium,
・ Σ a is the absorption coefficient of the medium,
・ Σ t = σ s + σ a is the extinction coefficient of the medium,
D (M) is the density of the medium at a given point, and since the medium 10 is composed of different components, the density varies from point to point,
P (M, ω out , ω in ) is a phase function that describes how much light coming from the incident direction ω in is scattered in the scattering direction ω out at the point M;
L ri (M, ω in ) is the reduced light intensity at point M coming from the incident direction ω in 110, and after attenuation due to the trajectory of light in the medium 10 on the line segment KM Represents the amount of incident light reaching point M, where K is the intersection between the medium 10 and the incident ray ω in 110, and its value is:

は、P15からM13までの経路に沿った吸収および散乱に起因する散乱した光の減衰を表す。 Represents the attenuation of scattered light due to absorption and scattering along the path from P15 to M13.

式2は、点Mによって散乱され、方向ωout上の位置にいる観察者12の目に到達する光の量を計算することを可能にする。方向ωoutにおいて見ている観察者によって受け取られる光の量を計算するために、軸ωout上の位置にある媒質の点のセットのすべての寄与の合計を計算しなければならず、換言すると、点が線分P−Mmax上の位置にあり、PおよびMmaxは媒質10と方向ωout120との間の2つの交点である。単純な散乱に起因して方向ωout120からP15のところに達するこの散乱した光の総量は、次式である、 Equation 2 makes it possible to calculate the amount of light scattered by the point M and reaching the eyes of the viewer 12 at a position on the direction ω out . In order to calculate the amount of light received by the observer looking in the direction ω out , the sum of all contributions of the set of media points at the position on the axis ω out must be calculated, in other words , The point is at a position on the line segment P-M max , where P and M max are the two intersections between the medium 10 and the direction ω out 120. The total amount of scattered light reaching the direction P15 from the direction ω out 120 due to simple scattering is:

ここでは、トラジェクトリC−Pをカバーする光が減衰せず、光が媒質10の外では減衰しないものと考える。   Here, it is assumed that the light covering the trajectory CP is not attenuated and the light is not attenuated outside the medium 10.

この散乱した光の総量は、方向としてωoutを有するレイ上のPとMmaxとの間の位置にあるすべての点からの寄与を積分することによって求められる。かかる積分式を、一般的には解析的に解くことができず、散乱した光の量のライブ推定の場合にはなおさらである。レイマーチングとして知られる方法を使用して、積分をディジタル的に算出する。この方法では、積分領域を、区間ごとに濃度が変化するサイズσMの複数の区間へと離散化し、次式が得られる、 This total amount of scattered light is determined by integrating the contributions from all points located between P and M max on the ray with ω out as direction. Such an integral equation cannot generally be solved analytically, especially in the case of live estimation of the amount of scattered light. The integral is calculated digitally using a method known as ray marching. In this method, the integration region is discretized into a plurality of sections of size σ M in which the concentration changes for each section, and the following expression is obtained.

同様に、異種成分からなる関与媒質10中の光源11からの光の減衰が、レイマーチング法の適用によって都合よく計算される。したがって、減衰した後で点Mのところに達する入射光の量を表す点Mのところの光強度の減衰AttL(M)13は、次の式によって表される、 Similarly, the attenuation of light from the light source 11 in the participating medium 10 composed of different components is conveniently calculated by application of the ray marching method. Therefore, the attenuation Att L (M) 13 of the light intensity at the point M, which represents the amount of incident light that reaches the point M after attenuation, is expressed by the following equation:

レイマーチング法にしたがって点Mのところの光の減衰を推定するために、媒質10中の光レイ110の入力点K14と媒質10の検討する点M13との間で検討する入射方向110上の位置にある積分領域を、サイズσsの一連の区間へと離散化する。その上、濃度が、入射方向(また、光放出方向とも呼ばれる)に沿って点ごとに(すなわち、言い換えると、区間σsごとに)やはり変化する。下記の式が、したがって得られる、 In order to estimate the attenuation of light at the point M according to the ray marching method, the position in the incident direction 110 to be examined between the input point K14 of the light ray 110 in the medium 10 and the point M13 to be examined in the medium 10 Is discretized into a series of intervals of size σ s . Moreover, the concentration also varies from point to point (ie, in other words, from interval σ s ) along the direction of incidence (also referred to as the light emission direction). The following formula is thus obtained:

都合の良いことに、明確にする理由で図1では2次元で示した異種成分からなる関与媒質10は、3次元要素である。   Conveniently, for reasons of clarity, the participating medium 10 consisting of different components shown in two dimensions in FIG. 1 is a three-dimensional element.

変形形態によれば、媒質10は、複数の光源、例えば、1000個、100,000個または1,000,000個の光源によって照らされ、光源は光環境を形成する。いくつかの遠隔光源からの光の推定を、当業者には知られている環境マッピング法を使用して実行する。環境マッピング法にしたがえば、光環境のすべての光源は、媒質10の点に関して光学的に無限のところの位置にあると考えられる。したがって、媒質の検討するいかなる点であっても、取り上げた方向が同一であると考えることが可能である。媒質の異なる点を分離する距離に起因する視差効果を、したがって無視できる。この変形形態によれば、点Mのところの入射光の減衰を推定するために、光環境を表す入射方向のセットについて式7を用いて光の減衰を計算することが必要であり、これが計算を著しく増加させる。   According to a variant, the medium 10 is illuminated by a plurality of light sources, for example 1000, 100,000 or 1,000,000 light sources, which form a light environment. Estimation of light from several remote light sources is performed using environmental mapping methods known to those skilled in the art. According to the environment mapping method, all light sources in the light environment are considered to be in optically infinite positions with respect to the point of the medium 10. Therefore, it is possible to consider that the picked directions are the same at any point where the medium is examined. The parallax effect due to the distance separating different points of the medium can therefore be ignored. According to this variant, in order to estimate the attenuation of the incident light at point M, it is necessary to calculate the light attenuation using equation 7 for the set of incident directions representing the light environment, which is calculated Is significantly increased.

もう1つの変形形態によれば、媒質の散乱係数σsおよび/または媒質の吸収係数σaなどの媒質10の物理的な特性は、濃度が変化するように、媒質10中で点ごとにやはり変化する。補足的な変形形態によれば、2つの係数σsおよびσaのうちの一方だけまたは両方が媒質中で変化し、濃度は、媒質中で均質である。 According to another variant, the physical properties of the medium 10, such as the scattering coefficient σ s of the medium and / or the absorption coefficient σ a of the medium, are also point by point in the medium 10 such that the concentration changes. Change. According to a supplementary variant, only one or both of the two coefficients σ s and σ a vary in the medium and the concentration is homogeneous in the medium.

図2Aおよび図2Bは、本発明の特定の実施形態にしたがった、表示の2つの異なるモードによる媒質10の空間細分割ツリーを示す。   2A and 2B show a spatial subdivision tree of the medium 10 according to two different modes of display, according to a particular embodiment of the present invention.

明確化および単純化の理由で、媒質10は、図2A中の正方形または長方形などの単純な2次元の幾何学的形体2(図2Aおよび図2Bの説明では媒質2と呼ばれる)によって表される。媒質2の表面は、同一のサイズのセルへと階層的に細分割されて、「クオッドトリー(quadtree)」タイプの構造を形成する。同じセルに属する媒質2の点は、同一の物理的な特性を有し、例えば、媒質の濃度は、同じセルの媒質2の各点において同じである。物理的な特性は、都合の良いことにセルごとに変化する。変形形態によれば、媒質2のいくつかのセルの物理的な特性は、同一の物理的な特性を有し、媒質2は全体的に異種起源のままであり、換言すると、少なくとも2つのセルが異なる物理的な特性を有する。最も高い階層のレベルが、媒質2の空間細分割の第1のレベル21を形成する単一のセル[1]によって表され、この唯一のセルが媒質2の表面と同じ表面を有する。第1のレベルの直下の階層のレベル(媒質2の空間細分割の第2のレベル22と呼ばれる)は、セル[1]のサイズの4分の1に対応する同一のサイズの4個のセル[2]、[3]、[4]および[5]によって表される。より低い階層のレベルからなり第2のレベル22に続く媒質2の空間細分割の第3のレベル23は、同一のサイズの16個のセル、例えば、セル[6]から[17]によって表される。セル[6]から[17]の各々のサイズは、セル[2]から[5]のサイズの4分の1に対応し、各セル[2]から[5]が、同一のサイズの4個のセルへとそれぞれ分割されている。より低い階層のレベルからなり第3のレベル23に続く媒質2の空間細分割の第4のレベル24は、同一のサイズの64個のセル、例えば、セル[18]から[25]によって表される。セル[18]から[25]の各々のサイズは、セル[6]から[17]のサイズの4分の1に対応し、第3のレベル23の各セル[6]から[17]が、同一のサイズの4個のセルへとそれぞれ分割されている。この構造を一般化して、レベルXより直ぐ低い空間表示のレベルYを形成するために、レベルXのセルの数を4倍してレベルYを形成するセルの数を求めることを、これは意味する。   For reasons of clarity and simplicity, medium 10 is represented by a simple two-dimensional geometric feature 2 (referred to as medium 2 in the description of FIGS. 2A and 2B), such as a square or rectangle in FIG. 2A. . The surface of the medium 2 is subdivided hierarchically into cells of the same size, forming a “quadtree” type structure. The points of the medium 2 belonging to the same cell have the same physical characteristics. For example, the concentration of the medium is the same at each point of the medium 2 of the same cell. The physical properties conveniently vary from cell to cell. According to a variant, the physical characteristics of several cells of the medium 2 have the same physical characteristics and the medium 2 remains entirely heterogeneous, in other words at least two cells Have different physical properties. The highest hierarchical level is represented by a single cell [1] that forms the first level 21 of the spatial subdivision of the medium 2, this single cell having the same surface as the surface of the medium 2. The level immediately below the first level (called the second level 22 of the spatial subdivision of the medium 2) is four cells of the same size corresponding to a quarter of the size of the cell [1]. Represented by [2], [3], [4] and [5]. The third level 23 of the spatial subdivision of the medium 2 consisting of the lower hierarchical levels and following the second level 22 is represented by 16 cells of the same size, for example cells [6] to [17]. The Each size of the cells [6] to [17] corresponds to a quarter of the size of the cells [2] to [5], and each of the cells [2] to [5] has four of the same size. Is divided into cells. The fourth level 24 of the spatial subdivision of the medium 2 consisting of the lower hierarchical levels and following the third level 23 is represented by 64 cells of the same size, for example cells [18] to [25]. The Each size of cells [18] to [25] corresponds to a quarter of the size of cells [6] to [17], and each cell [6] to [17] of the third level 23 is Each cell is divided into four cells of the same size. In order to generalize this structure and form a level Y of spatial display immediately below level X, this means that the number of cells forming level Y is determined by multiplying the number of cells of level X by four. To do.

レベルのこの階層が、空間細分割の階層のレベルがツリー構造の形体で現れる図2Bに関してより明確に現れ、セルがツリーのノードを形成する。媒質2の空間細分割の第1のレベル21は、単一のセル[1]を含む。(第1のレベルよりも低い階層の位置の)媒質2の空間細分割の第2のレベル22は、第1のレベルよりも4倍多いセル、すなわち、4個のセル[2]から[5]を含む。(第2のレベルよりも低い階層の位置の)媒質2の空間細分割の第3のレベル23は、第2のレベルよりも4倍多いセル、すなわち、16個のセル[6]から[17]を含む。(第3のレベルよりも低い階層の位置の)媒質2の空間細分割の第4のレベル24は、第3のレベルよりも4倍多いセル、すなわち、64個のセル[18]から[25]を含み、セル[18]から[21]が、例えば第3のレベルのセル[12]の細分割に対応し、セル[22]から[25]が、例えば第3のレベルのセル[15]の細分割に対応する。媒質2の空間表示の第5のレベル(図2Aおよび図2Bには図示せず)は、したがって、第4のレベルよりも4倍多いセルを含むはずであり、媒質2の空間表示の第6のレベル(図2Aおよび図2Bには図示せず)は、したがって、第5のレベルよりも4倍多いセルを含むはずである、等々。   This hierarchy of levels appears more clearly with respect to FIG. 2B where the levels of the spatial subdivision hierarchy appear in the form of a tree structure, with the cells forming the nodes of the tree. The first level 21 of the spatial subdivision of the medium 2 includes a single cell [1]. The second level 22 of spatial subdivision of the medium 2 (at a lower hierarchical level than the first level) is four times more cells than the first level, ie four cells [2] to [5]. ]including. The third level 23 of the spatial subdivision of the medium 2 (at a lower hierarchical level than the second level) is four times more cells than the second level, ie 16 cells [6] to [17 ]including. The fourth level 24 of the spatial subdivision of the medium 2 (at a lower hierarchical level than the third level) is four times more cells than the third level, ie 64 cells [18] to [25]. ], Cells [18] to [21] correspond to, for example, the subdivision of the third level cell [12], and cells [22] to [25], for example, the third level cell [15] ] Is subdivided. The fifth level of the spatial representation of medium 2 (not shown in FIGS. 2A and 2B) should therefore contain four times more cells than the fourth level, and the sixth level of the spatial representation of medium 2 Level (not shown in FIGS. 2A and 2B) should therefore contain four times more cells than the fifth level, and so on.

3次元要素中の異種成分からなる媒質10に関与するときに、媒質2は、それ自体3次元要素であり、媒質は、同一の寸法、したがって同一の体積のセルへと階層的に細分割されて、「オクトリー(octree)」タイプの構造を形成する。媒質2を形成する同一の寸法(および体積)のセルは、都合の良いことに「ボクセル(voxel)」と呼ばれ、「ボクセル」は体積要素に対応する。3次元媒質2のケースでは、空間細分割の第1のレベル(最も高い階層の位置)は、体積が媒質2の体積に等しい単一の「ボクセル」を含む。第2の空間細分割レベルは、同一の寸法(および体積)の8個の「ボクセル」を含み、第3の空間細分割は、第2のレベルに対して8倍多い「ボクセル」、すなわち512個の体積を含む、等々。同じ「ボクセル」の点は、同一の物理的な特性を有し、換言すると、これらは同じ吸収係数、同じ散乱係数、および同じ濃度を有し、「ボクセル」内の体積は結果として均質である。都合の良いことに、第1の「ボクセル」に属する点の物理的な特性は、第1の「ボクセル」に隣接する「ボクセル」に属する点の物理的な特性とは異なり、例えば、第1の「ボクセル」の点は隣接する「ボクセル」の点とは異なる濃度D1を有する。変形形態によれば、媒質2の「ボクセル」は、互いに異なる特性を有する。もう1つの変形形態によれば、媒質2のいくつかの「ボクセル」は、同一の物理的な特性を有する。媒質2を構成するいくつかの「ボクセル」が同一の物理的な特性、例えば同一の濃度Diを有する場合でさえ、媒質2は全体としては異種起源のままである。 When involved in a medium 10 consisting of different components in a three-dimensional element, medium 2 is itself a three-dimensional element, and the medium is hierarchically subdivided into cells of the same dimensions and thus the same volume. Thus, an “octree” type structure is formed. The cells of the same dimensions (and volume) forming the medium 2 are conveniently called “voxels”, where “voxels” correspond to volume elements. In the case of the three-dimensional medium 2, the first level of spatial subdivision (the position of the highest hierarchy) contains a single “voxel” whose volume is equal to the volume of the medium 2. The second spatial subdivision level includes eight “voxels” of the same size (and volume), and the third spatial subdivision is eight times more “voxels” than the second level, ie 512. Including individual volumes, and so on. The same “voxel” points have the same physical properties, in other words they have the same absorption coefficient, the same scattering coefficient, and the same concentration, and the volume within the “voxel” is consequently homogeneous . Conveniently, the physical characteristics of the points belonging to the first “voxel” are different from the physical characteristics of the points belonging to the “voxel” adjacent to the first “voxel”, for example, the first The “voxel” point has a different density D 1 from the adjacent “voxel” point. According to a variant, the “voxels” of the medium 2 have different characteristics. According to another variant, several “voxels” of the medium 2 have the same physical properties. Even if several “voxels” that make up the medium 2 have the same physical properties, for example the same density D i , the medium 2 remains totally heterogeneous.

説明の残りの部分では、空間細分割要素が図中では明確化の理由のために2次元のセルによって表される場合でさえ、用語「ボクセル」を、媒質2の空間細分割要素を明示するために使用する。2次元要素に関して、セルという用語を、用語「ボクセル」で置き換え、説明した推論を、セルおよび「ボクセル」に同じように適用する。濃度値は、媒質10を表すために媒質10のすべての点において、当業者には知られた任意の方法にしたがって、例えば流体力学シミュレーションアプリケーションを使用してまたは媒質10についての特定のディスプレイの効果を生み出すように誰かが望むことによって、最初に計算され、この濃度値は、ある点の初期濃度と呼ばれる。ある「ボクセル」に属する点に与えられた濃度値が、「ボクセル」を構成する点の各々から以前に計算した初期濃度の平均に対応するようにそれから計算される。例えば、単一の「ボクセル」がある空間細分割の第1のレベル(最も高い階層)に関して、「ボクセル」のすべての点に与えられる濃度値は、媒質2の初期濃度の平均値に対応する。媒質2が8個の「ボクセル」へと細分割される第2のレベルに関して、点の平均濃度は、「ボクセル」に属する点の初期濃度の平均を使用して計算され、この平均値が検討する「ボクセル」のすべての点に与えられ、操作が7個の他の「ボクセル」に対して繰り返される。同じ推論が、媒質2の空間細分割の各レベルに対して適用される。   In the rest of the description, the term “voxel” will be used to specify the spatial subdivision element of medium 2 even if the spatial subdivision element is represented in the figure by a two-dimensional cell for reasons of clarity. Use for. With respect to two-dimensional elements, the term cell is replaced with the term “voxel”, and the inferences described apply equally to cells and “voxels”. The concentration values may be expressed at any point in the medium 10 to represent the medium 10 according to any method known to those skilled in the art, for example using a hydrodynamic simulation application or for a particular display effect on the medium 10. Is calculated first by someone wanting to produce this, and this concentration value is called the initial concentration of a point. The density value given to a point belonging to a certain “voxel” is then calculated to correspond to the average of the initial density previously calculated from each of the points constituting the “voxel”. For example, for the first level (highest hierarchy) of spatial subdivision with a single “voxel”, the density value given to all points of “voxel” corresponds to the average value of the initial density of medium 2. . For the second level, where medium 2 is subdivided into 8 “voxels”, the average density of the points is calculated using the average of the initial density of the points belonging to “voxels”, and this average is considered Given to all points of the “voxel” to do, the operation is repeated for seven other “voxels”. The same reasoning applies for each level of spatial subdivision of medium 2.

「ボクセル」の点の初期濃度の平均を計算して「ボクセル」を形成するすべての点にこの平均値を与えることは、濃度推定誤差を導入することを含み、媒質2の空間細分割が粗くなるにつれて、誤差が大きくなる、換言すると、媒質2を形成する「ボクセル」の数が小さくなるにつれて、誤差が大きくなる。空間細分割の2つの階層的に連続するレベルの間の濃度推定誤差が、例えば、下記の数式を使用して計算される、   Calculating the average of the initial density of the “voxel” points and giving this average value to all the points forming the “voxel” involves introducing density estimation errors and the spatial subdivision of the medium 2 is coarse As the number of errors increases, in other words, as the number of “voxels” forming the medium 2 decreases, the error increases. The concentration estimation error between two hierarchically continuous levels of spatial subdivision is calculated using, for example, the following formula:

ここで、Derrは、より低い階層のレベル(n+1)に対して階層のレベルnの濃度推定誤差を表し、
n+1,iは、階層のレベルnの直ぐ下の階層のレベル(n+1)の「ボクセル」iの点の平均濃度を表し、
Dnは、より低いレベル(n+1)のところで8個の「ボクセル」へと分解される空間細分割のレベルnのノードによって表された「ボクセル」の点の平均濃度を表す。
Where D err represents the density estimation error of level n of the hierarchy relative to level (n + 1) of the lower hierarchy,
D n + 1, i represents the average density of “voxel” i points in level (n + 1) of the hierarchy immediately below level n of hierarchy,
Dn represents the average density of “voxel” points represented by level n nodes of spatial subdivision broken down into 8 “voxels” at the lower level (n + 1).

注意として、「ボクセル」を横切る光の減衰は、下記の数式によって与えられる、   Note that the attenuation of light across the “voxel” is given by

ここで、xminおよびxmaxは、空間細分割レベルnの検討する「ボクセル」と光散乱方向または光放出方向の第1の交点および第2の交点にそれぞれ対応し、
Dは、濃度を表す。
Here, x min and x max correspond to the “voxel” studied at the spatial subdivision level n and the first intersection and the second intersection in the light scattering direction or the light emission direction, respectively.
D represents the concentration.

例えば、数式8によって計算される濃度誤差を検討すると、「ボクセル」中の減衰の下限および上限が、推測される、   For example, considering the density error calculated by Equation 8, the lower and upper limits of attenuation in the “voxel” are estimated,

図3A、図3B、図4Aおよび図4Bは、本発明の特定の実施形態による、光の散乱方向に応じた図1の媒質10のいくつかの空間細分割レベルを示す。図3A、図3B、図4Aおよび図4Bは、本発明の特定の実施形態による、光の1つの散乱方向ωout120に沿った媒質2(単純な幾何学的形体による媒質10を表している)の空間細分割レベルの選択のための方法をやはり図示する。 FIGS. 3A, 3B, 4A and 4B illustrate several spatial subdivision levels of the medium 10 of FIG. 1 as a function of light scattering direction, according to certain embodiments of the invention. 3A, 3B, 4A and 4B represent medium 2 (medium 10 with a simple geometric feature) along one scattering direction ω out 120 of light, according to certain embodiments of the invention. The method for the selection of the spatial subdivision level is also illustrated.

図3Aは、例えば、図2Bに示したレベル24またはもっと低いレベルに対応する媒質2の最も低い空間細分割レベルの2次元での表示である。媒質2は、n個の「ボクセル」30001から30nにより構成される。光散乱方向ωout120が横切る「ボクセル」、例えば「ボクセル」30225および30064は、図3Aには影付きで現れる。媒質2を横切る光の散乱ωoutを表す右の部分は、レイマーチングとして知られる方法を使用してこの散乱方向に沿った光の減衰の推定のために、m個の点のセットM031、M132、M233...Mi34...Mm35へとサンプリングされる。 FIG. 3A is a two-dimensional representation of the lowest spatial subdivision level of medium 2 corresponding to, for example, level 24 shown in FIG. 2B or a lower level. The medium 2 includes n “voxels” 30001 to 30n. The “voxels” traversed by the light scattering direction ω out 120, for example “voxels” 30225 and 30064, appear shaded in FIG. 3A. The right part representing the light scattering ω out across the medium 2 is a set of m points M 0 31 for the estimation of light attenuation along this scattering direction using a method known as ray marching. M 1 32, M 2 33. . . M i 34. . . Sampled to M m 35.

図3Bは、図3Aに示した空間細分割レベルの階層的に直上の空間細分割レベル、例えば図2Aがレベル24を表す場合にはレベル23の2次元の表示である。したがって示した媒質2は、p個の「ボクセル」3001から30pを含み、図2Bの各「ボクセル」が図2Aの8個の「ボクセル」の併合に対応し、これら8個の「ボクセル」は、媒質2の空間細分割レベルのツリー構造を表しているオクトリーではこれらの階層的に上方の「ボクセル」に接続される。散乱方向ωout120が横切る「ボクセル」、例えば「ボクセル」3049および3016が、やはり影付きで現れる。図3Aおよび図3Bに共通な要素は、同じ参照符号、例えば方向ωout120のサンプリングを形成するm個の点のセットM031、M132、M233...Mi34...Mm35を有する。 FIG. 3B is a two-dimensional display of a level 23 spatial subdivision level that is directly above the spatial subdivision level shown in FIG. 3A, eg, level 23 when FIG. Thus, the illustrated medium 2 includes p “voxels” 3001 to 30p, where each “voxel” in FIG. 2B corresponds to the merging of the eight “voxels” in FIG. 2A, and these eight “voxels” are In the octree representing the tree structure at the spatial subdivision level of the medium 2, these hierarchically connected “voxels” above. The “voxels” that the scattering direction ω out 120 traverses, eg “voxels” 3049 and 3016, also appear shaded. Figure 3A and common elements in FIG. 3B, the same reference numerals, for example the direction ω set of m points to form a sampling out 120 M 0 31, M 1 32, M 2 33. . . M i 34. . . M m 35.

散乱された光の量の推定の計算速度/精度間の最善の妥協点を形成する空間細分割のレベル、換言すると、散乱された光の量の推定のために引き起こされる誤差がディスプレイの観点から容認可能である(換言すると、例えば、人間の目には見えない)階層的に最も高い空間細分割のレベルを選択するために、点M031を介して散乱される光の量を、図1に関して説明した方法を使用することによって、換言すると、空間細分割の最も低い階層的なレベルで、つまり、図2Aに関して説明したレベルで、点M0のところの入射光の減衰を計算することによって、最初に推定する。この計算した値は、散乱された光の量の第1の基準値を形成する。2番目に、点M132を介して散乱された光の量を、階層的に空間細分割の最も低いレベルで(点M1のところの入射光の減衰の計算の後で)同じ方法にしたがって計算する。点M0のところでM1およびM0を介して散乱された光の総量を推定するために、M1とM0との間の光の減衰を、その後この値から計算し、減衰値は、式6および式9によれば、濃度およびしたがって横切った「ボクセル」に依存する。3番目に、点M132を介して散乱された光の量を、最も低いレベルよりも階層的に直ぐ高い空間細分割のレベル、換言すると、図2Bに関して表されたレベルで同じ方法にしたがって計算する。次にこの値を使用して、点M0のところでM1およびM0を介して散乱された光の総量を推定するために、M1とM0との間の光の減衰が計算されるが、M0とM1との間を横切る「ボクセル」が空間細分割の1つのレベルから空間細分割の階層的に2番目に高いレベルまで同じではないので、この減衰値は2番目に計算したものとは異なる。2つの連続する空間細分割について、点M0のところで点M1およびM0を介して散乱された光の総量の値を比較することによって、媒質2の代表差にリンクした(換言すると、異なる連続した空間細分割レベルを介した)誤差を表す値が、求められる。誤差を表すこの値を、最終的にしきい値(このしきい値は、例えば人間の目には見えない許容される欠陥の代表値である)と比較する。誤差がしきい値よりも小さい場合には、計算を削減しながら、散乱された光の量の推定のためにほとんど誤差を導入しないので、最も高い空間細分割レベルが選択され、「ボクセル」がより大きなサイズのものであり、濃度がしたがって媒質2中では頻繁には変化せず、複雑さが濃度変化に直接的に依存する光の減衰の計算を削減することを、これは意味する。 The level of spatial subdivision that forms the best compromise between the calculation speed / accuracy of the estimation of the amount of scattered light, in other words, the errors caused for the estimation of the amount of scattered light are from a display point of view. In order to select the level of spatial subdivision that is acceptable (in other words, invisible to the human eye, for example), the amount of light scattered through the point M 0 31 By using the method described with respect to 1, in other words, calculating the attenuation of incident light at point M 0 at the lowest hierarchical level of spatial subdivision, ie at the level described with respect to FIG. 2A. By first estimating. This calculated value forms a first reference value for the amount of scattered light. Second, the amount of light scattered through point M 1 32 is hierarchically reduced (after calculation of the attenuation of incident light at point M 1) at the lowest level of spatial subdivision. Therefore, calculate. In order to estimate the total amount of light scattered through M 1 and M 0 at point M 0 , the light attenuation between M 1 and M 0 is then calculated from this value, and the attenuation value is According to Equations 6 and 9, it depends on the concentration and thus the “voxel” traversed. Third, the amount of light scattered through point M 1 32 is determined according to the same method at the level of spatial subdivision that is hierarchically higher than the lowest level, in other words at the level represented with respect to FIG. 2B. calculate. This value is then used to calculate the light attenuation between M 1 and M 0 in order to estimate the total amount of light scattered through M 1 and M 0 at point M 0. However, since the “voxel” that crosses between M 0 and M 1 is not the same from one level of spatial subdivision to the second highest level of spatial subdivision, this attenuation value is calculated second. It is different from what I did. For two successive spatial subdivision, by comparing the value of the total amount of scattered light through the point M 1 and M 0 at point M 0, linked to the representative difference of the medium 2 (in other words, different A value representing the error (via successive spatial subdivision levels) is determined. This value representing the error is finally compared to a threshold value, which is a representative value of an acceptable defect that is not visible to the human eye, for example. If the error is less than the threshold, the highest spatial subdivision level is selected and “voxel” is selected because it introduces little error for estimation of the amount of scattered light while reducing the computation. This means that it is of a larger size, and therefore the concentration does not change frequently in the medium 2, reducing the calculation of light attenuation whose complexity depends directly on the concentration change.

誤差がしきい値よりも大きい場合には、より高い階層のレベルが、例えば人間の目に見える大きすぎる誤差をもたらすことを、これは意味するので、最も低い、換言すると最も多い「ボクセル」を有する空間細分割レベルが選択されたことを、これは意味する。同じ計算を、その後、次の点M233について実行する。点M2を介して散乱された光の量を、最も低い空間細分割レベルについて計算し、それから、経路M20上の光減衰を計算して、最も低い空間細分割レベルについて点M0のところでM2を介して散乱された光の量を推定する。点M0のところでM2を介して散乱された光の量を比較する基準値は、方向120上のM2から上流の位置にある点、すなわち点M0およびM1、によって散乱された光の量である。それから、点M0のところでM2を介して散乱された光の量を、階層の直ぐに高い空間細分割のレベル、すなわち図2Bに示されたものについて同じ方法で推定する。光のこの量を、最も低い空間細分割レベル、すなわち図2Aのものについて点M0およびM1を介して散乱された光の量によって構成される基準とその順番になって比較する。空間細分割の2つの連続するレベルについて、M2を介して散乱された光の量をM0およびM1を介して散乱された光の量と比較することによって、2つのレベルの各々について推定した減衰差の代表となる推定誤差を決定する。この誤差がしきい値よりも小さい場合には、細分割の最も高いレベルが正しい推定のために十分であることを、これは意味する。そうでなければ、この誤差がしきい値よりも大きい場合には、細分割の最も高いレベルが不十分であり、細分割の最も細かいレベル、すなわち2つの階層のうちの最も低いレベルを保存すべきであり、同じ操作を次に点Mi34について実行する。最も粗い細分割レベルがMiにとって十分である場合には、Mmのところまで散乱方向上でMiの下流の位置にある点のすべてに対して、最も粗い細分割レベルが十分である。実際に、媒質2中へとさらに進むと点を介して散乱された光の減衰が大きくなり、これらの点によって散乱される光の量が少なくなることは、M0において散乱される光の総量に対して大きい。したがって、誤差が点Miについて許容できる場合には、Mmに向かって下流の位置にある点Mi+1についてはなおさら許容可能である。これは図4Bに示され、点M0からM2に関して、より高い階層のレベルの次の点が選択されるにもかかわらず、最も低い階層のレベルが選択されることが理解できる。Miに関して、最も低いレベルの直上の階層のレベルが容認可能な誤差のマージンで散乱される光の量の推定値を求めるために十分である場合には、問われる質問は、2番目に高い階層のレベルが、それ自体やはり十分であるどうかである。これが図4Aに示されている。点Mi34、それからMi+136、それからMi+237、それからMi+338に関して、図3Bに表された細分割のレベルについて点M0に考えられる点を介して散乱された光の量を、これらの点のために選択した細分割のレベルを有する上流の位置にある点を介して散乱される光の量に対して比較する。それから、これらの同じ点に対して、次々に、細分割の連続するより高いレベル、例えば(レベル23が図2Bに表されている場合に)レベル22について、点M0までこれらの点を介して散乱される光の量を、上流の点を介して点M0のところで散乱された光の量を表している同じ基準値とそれ自体やはり比較する。2つの連続するレベル間の光の減衰差を表す誤差情報の項目を、これから推測する。この誤差がしきい値よりも大きい点について、2つのうちの最も高い細分割レベルが散乱された光の量の正しい推定のためには不十分であることを、これは意味する。ある点に関して、この誤差がしきい値よりも小さいときには、この点のところで最も高い細分割レベルが十分であり、光の減衰の推定のために必要な電力および/または計算時間の観点から費用がかからないとしてこのレベルが選択され、点ごとの濃度変化が階層的により低い細分割レベルに対するものよりも少ない。この最後の点に続く点(換言すると、誤差がしきい値よりも小さい最初の点)に関して、細分割の最も高いレベルが、やはり十分であり、細分割の階層的により高いレベルがやはり十分であるかを見出すために、および方向ωout120における媒質2の限界のところの点Mm35のところにこれが達するまで、疑問がそのときには提示される。 If the error is greater than the threshold, this means that a higher level of hierarchy results in an error that is too large for the human eye to see, for example, the lowest, in other words, the most “voxels”. This means that the spatial subdivision level that has been selected. The same calculation is then performed for the next point M 2 33. The amount of light scattered through point M 2 is calculated for the lowest spatial subdivision level, and then the light attenuation on path M 2 M 0 is calculated to produce point M 0 for the lowest spatial subdivision level. Now estimate the amount of light scattered through M 2 . The reference value for comparing the amount of light scattered through M 2 at point M 0 is the light scattered by points on the direction 120 upstream from M 2 , ie, points M 0 and M 1 . Is the amount. The amount of light scattered through M 2 at point M 0 is then estimated in the same way for the level of spatial subdivision immediately above the hierarchy, ie that shown in FIG. 2B. This amount of light is compared in sequence with a reference constructed by the amount of light scattered through points M 0 and M 1 for the lowest spatial subdivision level, that of FIG. 2A. The estimated difference in attenuation for each of the two levels by comparing the amount of light scattered through M2 with the amount of light scattered through M0 and M1 for two successive levels of spatial subdivision. An estimation error that is representative of is determined. If this error is less than the threshold, this means that the highest level of subdivision is sufficient for correct estimation. Otherwise, if this error is greater than the threshold, the highest level of subdivision is insufficient and preserves the finest level of subdivision, ie the lowest level of the two hierarchies. The same operation is then performed for point M i 34. If the coarsest subdivision level is sufficient for M i , then the coarsest subdivision level is sufficient for all of the points that are downstream of M i in the scattering direction up to M m . In fact, further progressing into the medium 2 increases the attenuation of light scattered through the points, and the reduction in the amount of light scattered by these points means that the total amount of light scattered at M 0 . Big against. Thus, if the error is acceptable for point M i , it is even more acceptable for point M i + 1 located downstream to M m . This is shown in FIG. 4B, and it can be seen that for points M0 to M2, the lowest hierarchy level is selected even though the next point of the higher hierarchy level is selected. For M i , the question asked is the second highest if the level directly above the lowest level is sufficient to provide an estimate of the amount of light scattered with an acceptable margin of error Whether the level of the hierarchy is itself sufficient. This is shown in FIG. 4A. With respect to point M i 34, then M i + 1 36, then M i + 2 37, then M i + 3 38, it was scattered through the possible points at point M0 for the level of subdivision represented in FIG. 3B. The amount of light is compared against the amount of light scattered through points at upstream locations having the level of subdivision selected for these points. Then, for these same points, in turn, through these points up to point M 0 for successive higher levels of subdivision, eg level 22 (if level 23 is represented in FIG. 2B). The amount of scattered light is again compared to the same reference value, which itself represents the amount of light scattered at point M 0 via the upstream point. An item of error information representing a light attenuation difference between two successive levels is estimated from this. For points where this error is greater than the threshold, this means that the highest subdivision level of the two is not sufficient for a correct estimation of the amount of scattered light. In some respects, when this error is less than a threshold, the highest subdivision level at this point is sufficient and is costly in terms of the power and / or computation time required to estimate light attenuation. This level is selected as not costing, and the density change from point to point is less than for hierarchically lower subdivision levels. For the point following this last point (in other words, the first point where the error is less than the threshold), the highest level of subdivision is still sufficient, and the higher levels of subdivision are still sufficient. Questions are then presented to find out if and until this reaches point M m 35 at the limit of medium 2 in direction ω out 120.

このようにして、Mm35に向かって進んでいる方向ωout120に沿って媒質2中へとさらに進むので、空間細分割のレベルが階層的により高くなる図4Bの表示に達する。必要とされる計算能力と散乱方向に沿って散乱された光の量の推定値の品質との間の最善の妥協点がこのようにして見出される。 In this way, it further proceeds into the medium 2 along the direction ω out 120 proceeding towards M m 35, thus reaching the display of FIG. 4B where the level of spatial subdivision is hierarchically higher. The best compromise between the required computational power and the quality of the estimate of the amount of light scattered along the scattering direction is thus found.

図5は、本発明の一実施形態による、入射光の方向ωin110に沿った空間細分割のいくつかのレベルを有する異種成分からなる関与媒質10の代表である媒質2を示す。図3A、図3B、図4Aおよび図4Bに関して説明してきたように、散乱方向(やはり観察方向として知られる)ωout120に沿って媒質2を介して放出された光の量が、レイマーチングとして知られる方法を使用して理解される。散乱方向ωout120の点、例えば点Mi34を介して散乱された光の量を計算するために、この点Mi34のところの入射光の減衰を、最初に推定しなければならない。点Miのところの入射光の減衰の推定を、レイマーチング法を使用してやはり実行し、図3A、図3B、図4Aおよび図4Bに関して説明したものと同じ推論を適用して、入射光方向ωin110に沿った最適な空間細分割レベルを選択する。最初に、空間細分割の最も細かいレベル、換言すると、階層的に最も低いレベルを、方向ωin110に沿って媒質2に適用し、方向ωin110に沿った点Miのところの光減衰を、図1に関して説明したようにレイマーチング法を使用して推定する。この減衰値は、第1の基準値を表す。それから、点N0のところの光減衰を、空間細分割の階層的に最も低いレベルについて、それから、最も低いレベルの直ぐ上のレベルについて推定する。これらの値を、基準値と比較する、換言すると、これらの値が点Miのところの全減衰の中で表す部分を抽出し、点N0のところの減衰推定誤差を推測する。この誤差が第2のしきい値よりも小さい場合には、2つのうちの空間細分割の最も高いレベル(換言すると、最も少ない「ボクセル」を有するレベル)が、光減衰の良い品質推定のために十分であると考えられる。この誤差が第2のしきい値よりも大きい場合には、空間細分割の最も高いレベルが近すぎる点N0のところの減衰の推定値をもたらすので、空間細分割の最も高いレベルは選択されない。空間細分割の最も高いレベルが、より細かな空間細分割について行った推定と比較したときに第2のしきい値よりも、この点のところの減衰(またはより具体的に、点Miのところの全減衰に対するこの点のところの減衰部分)においてより小さな推定誤差をもたらすので、2つのうちの空間細分割の最も高いレベルが十分である点Niのところに達するまで、同じ操作を、点N1に関して、それからN2、それからNiについて引き続いて実行する。点N0からN2に関して、最も低いレベルの空間細分割を選択し、Miまで点Ni以降について、空間細分割のオクトリー表示のバックアップを行う階層的に連続する空間細分割の2つのレベルについて、入射光の減衰を再び推定して、空間細分割のどのレベルが、必要とされる計算の削減と第2のしきい値と比較して入射光減衰の推定値の正確さとの間の最善の妥協点を提供するかを決定する。最後に、最も細かい空間細分割レベルが入射方向N0からN2の第1の点に対して適用される瞬間が到来し、それから、階層の観点から最も低いレベルの直ぐ上の空間細分割の第2のレベルを、続く点、すなわちNiおよびNi+1に対して適用し、それから、第2のレベルの直ぐ上の空間細分割の第3のレベルを、点Miまで点Ni+1に続く点に対して適用する。 FIG. 5 shows a medium 2 that is representative of a participating medium 10 consisting of heterogeneous components with several levels of spatial subdivision along the direction of incident light ω in 110 according to one embodiment of the present invention. As described with respect to FIGS. 3A, 3B, 4A and 4B, the amount of light emitted through the medium 2 along the scattering direction (also known as the viewing direction) ω out 120 is defined as ray marching. It is understood using known methods. In order to calculate the amount of light scattered through a point in the scattering direction ω out 120, eg, point M i 34, the attenuation of the incident light at this point M i 34 must first be estimated. An estimation of the attenuation of the incident light at point M i is also performed using the ray marching method, applying the same reasoning as described with respect to FIGS. 3A, 3B, 4A and 4B, Select the optimal spatial subdivision level along the direction ω in 110. First, the finest level of spatial subdivision, in other words, the hierarchically lowest level, applied to the medium 2 in the direction omega in 110, optical attenuation where the M i points along the direction omega in 110 Is estimated using the ray marching method as described with respect to FIG. This attenuation value represents the first reference value. Then the light attenuation at point N 0 is estimated for the hierarchically lowest level of spatial subdivision and then for the level just above the lowest level. These values are compared with a reference value, in other words, the part that these values represent in the total attenuation at the point M i is extracted, and the attenuation estimation error at the point N 0 is estimated. If this error is less than the second threshold, the highest level of spatial subdivision of the two (in other words, the level with the least “voxels”) is used for quality estimation with good optical attenuation. Is considered sufficient. If this error is greater than the second threshold, the highest level of spatial subdivision is not selected because the highest level of spatial subdivision yields an estimate of attenuation at point N 0 that is too close. . The highest level of spatial subdivision is more attenuated at this point (or more specifically, at point M i than the second threshold when compared to the estimates made for the finer spatial subdivision. because results in smaller estimation error in the attenuation part) where the point for all attenuation at, to the highest level of spatial subdivision of the two reaches at the N i point is sufficient, the same operation, regard the point N 1, then N 2, executes then subsequently for N i. For points N0 to N2, the lowest level spatial subdivision is selected, and the incident light for two levels of spatially continuous spatial subdivisions that back up the octree display of spatial subdivision for points Ni and beyond up to Mi. The level of spatial subdivision is the best compromise between the reduction in computation required and the accuracy of the estimate of the incident light attenuation compared to the second threshold. Determine what to offer. Finally, the moment comes when the finest spatial subdivision level is applied to the first point in the incident direction N 0 to N 2 , and then the spatial subdivision of the spatial subdivision just above the lowest level from a hierarchical perspective. the second level, followed by a point, i.e. N i and N is applied to the i + 1, then, a third level of spatial subdivision just above the second level, the point N i to the point M i Applies to points following +1 .

入射光の方向ωin110に沿った空間細分割のいくつかの層の選択は、計算を最小にし、かつ入射レイωin110が横切る「ボクセル」の数を最適に削減しながら(これは濃度が変化する点の数を削減することと同じであり、計算の複雑さは、点ごとの濃度変化に直接リンクする)、例えば第3のしきい値よりも小さな最小の誤差で点Miのところの光の全減衰の推定値を保存するという利点を提供する。 Selection of several layers of spatial subdivision along the direction of incident light ω in 110 minimizes the calculation and optimally reduces the number of “voxels” traversed by the incident ray ω in 110 (this is the concentration The computational complexity is directly linked to the density change from point to point), eg at the point Mi with a minimum error smaller than the third threshold. Offers the advantage of preserving an estimate of the total attenuation of the light.

都合の良いことに、媒質2は、1個よりも多くの光源11によって照らされる。散乱方向ωout120の各点Miは、したがって、いくつかの入射レイを受け取り、点Miによって受け取られた光の量は、受け取られた基本の入射光の(換言すると、入射光の各レイについての)量の総和に対応する。点Miのところの光の減衰を計算するために、上に説明した操作を入射光の各方向について繰り返す。 Conveniently, the medium 2 is illuminated by more than one light source 11. Each point Mi in the scattering direction ω out 120 thus receives a number of incident rays, and the amount of light received by the point M i is the amount of received basic incident light (in other words, each ray of incident light). Corresponds to the sum of the quantities. To calculate the attenuation of the light at point M i, and repeats the operations described above for each direction of incident light.

図6は、異種成分からなる関与媒質10によって散乱された光の量の推定のために適合し、1つまたはいくつかの画像のディスプレイ信号の生成のところの装置6のハードウェア実施形態を図式的に示す。装置6は、例えばパーソナルコンピュータPC、ラップトップまたはゲーム機に対応する。   FIG. 6 is adapted for the estimation of the amount of light scattered by a participating medium 10 consisting of different components, and schematically illustrates a hardware embodiment of the device 6 for generating a display signal of one or several images. Indicate. The device 6 corresponds to, for example, a personal computer PC, a laptop, or a game machine.

装置6は、クロック信号もまた搬送し、アドレスおよびデータのバス65によって互いに接続された下記の構成要素を含む。   The device 6 also carries a clock signal and includes the following components connected to each other by an address and data bus 65.

−マイクロプロセッサ61(またはCPU)、
−下記を含むグラフィックスカード62、
・いくつかのグラフィコルプロセッサユニット(Graphicole Processor Unit)(すなわちGPU)620、
・グラフィカルランダムアクセスメモリ(GRAM)621、
−ROM(リードオンリーメモリ)タイプの不揮発性メモリ66、
−ランダムアクセスメモリすなわちRAM67、
−例えば、キーボード、マウス、ウェブカメラなどの1つまたはいくつかのI/O(入力/出力)装置64、および
−電源68。
A microprocessor 61 (or CPU),
A graphics card 62, including:
A number of Graphic Processor Units (ie GPUs) 620,
Graphical random access memory (GRAM) 621
A ROM (read only memory) type nonvolatile memory 66;
A random access memory or RAM 67;
One or several I / O (input / output) devices 64, such as, for example, a keyboard, a mouse, a webcam, etc., and a power supply 68.

装置6は、グラフィックスカード62に直接接続されたディスプレイ画面タイプのディスプレイ装置63をやはり含み、例えばライブである、計算され、グラフィックスカード中で合成された、特に合成した画像のディスプレイを表示する。ディスプレイ装置63をグラフィックスカード62に接続する専用のバスの使用は、はるかに大きなデータ伝送ビットレートを有し、したがってグラフィックスカードによって合成された画像を表示するための待ち時間を短縮するという利点を提供する。変形形態によれば、ディスプレイ装置は、装置6に対して外部にあり、ディスプレイ信号を伝送するケーブルによって装置6に接続される。装置6、例えばグラフィックスカード62は、例えばLCDもしくはプラズマ画面またはビデオプロジェクタなどの外部ディスプレイ手段へディスプレイ信号を伝送するように適合した伝送または接続用の手段(図6には図示せず)を含む。   The device 6 also includes a display screen type display device 63 connected directly to the graphics card 62, for example to display a display of a particularly synthesized image that is calculated, synthesized in the graphics card, for example live. The use of a dedicated bus connecting the display device 63 to the graphics card 62 has the advantage of having a much higher data transmission bit rate and thus reducing the latency for displaying the image synthesized by the graphics card. To do. According to a variant, the display device is external to the device 6 and is connected to the device 6 by a cable for transmitting display signals. The device 6, for example a graphics card 62, includes means for transmission or connection (not shown in FIG. 6) adapted to transmit display signals to external display means such as, for example, an LCD or plasma screen or a video projector.

メモリ62、66および67の説明において使用する語「レジスタ」が、述べたメモリの各々で、低容量のメモリゾーン(いくつかのバイナリデータ)ならびに大容量のメモリゾーン(全体のプログラムを記憶すること、または計算したデータを表すデータのすべてもしくは一部分を表示することを可能にする)の両方で指定することに、留意する。   The word "register" used in the description of the memories 62, 66 and 67 is a low-capacity memory zone (some binary data) as well as a large-capacity memory zone (store the entire program) in each of the mentioned memories. , Or allow all or part of the data representing the calculated data to be displayed).

スイッチを入れると、マイクロプロセッサ61は、RAM67中に含まれたプログラムの命令をロードし、実行する。   When the switch is turned on, the microprocessor 61 loads and executes the instructions of the program contained in the RAM 67.

ランダムアクセスメモリ67は、下記を特に含む、
−レジスタ670中では、装置6のスイッチを入れることに責任があるマイクロプロセッサ61のオペレーティングプログラム、
−異種成分からなる関与媒質10を表すパラメータ671(例えば、濃度の、光吸収係数の、光散乱係数のパラメータ)。
The random access memory 67 includes in particular:
In the register 670, the operating program of the microprocessor 61 responsible for switching on the device 6;
A parameter 671 representing the participating medium 10 composed of different components (e.g., parameters of concentration, light absorption coefficient, light scattering coefficient).

本発明に特有な方法のステップであり、以降に説明するステップを実施するアルゴリズムを、これらのステップを実施する装置6に付随するグラフィックスカード62のメモリGRAM67中に記憶する。スイッチを入れ、媒質を表すパラメータ670が一旦RAM67中へとロードされると、グラフィックスカード62のグラフィックプロセッサ620は、これらのパラメータをGRAM621中へとロードし、例えば、HLSL(High Level Shader Language)言語またはGLSL(OpenGL Shading Language)を使用する「シェーダ(shader)」タイプのマイクロプログラムの形式でこれらのアルゴリズムの命令を実行する。   Algorithms implementing the steps described below, which are method steps specific to the present invention, are stored in the memory GRAM 67 of the graphics card 62 associated with the device 6 performing these steps. Once switched on and the parameters 670 representing the medium are loaded into the RAM 67, the graphics processor 620 of the graphics card 62 loads these parameters into the GRAM 621, eg, HLSL (High Level Shader Language) language. Or, the instructions of these algorithms are executed in the form of a “shader” type microprogram using GLSL (OpenGL Shading Language).

ランダムアクセスメモリGRAM621は、特に下記を含む、
−レジスタ6210中には、媒質10を表すパラメータ、
−媒質2の異なる空間細分割レベルを表す空間細分割パラメータ6211、
−媒質2、10の点のセットについての光強度減衰値6212、
−2つの連続する階層の空間細分割レベル間の光減衰差を表す誤差情報の項目6213、および
−1つまたはいくつかのしきい値6214。
Random access memory GRAM 621 specifically includes:
In the register 6210, a parameter representing the medium 10,
A spatial subdivision parameter 6211 representing different spatial subdivision levels of the medium 2;
The light intensity attenuation value 6212 for the set of points of the medium 2, 10;
-An item of error information 6213 representing the light attenuation difference between the spatial subdivision levels of two successive hierarchies, and-one or several thresholds 6214.

変形形態によれば、GRAM621中の利用可能なメモリ記憶空間が不十分である場合には、パラメータ6211、値6212および6214、ならびに誤差情報の項目6213の記憶のために、RAM67の一部がCPU61によって割り当てられる。この変形形態は、しかしながら、GPUからGRAMへおよびその逆のデータの伝送にためにグラフィックスカード中で利用可能な伝送能力に対して伝送能力が一般的に劣るバス65を通過することによって、データを、グラフィックスカードからランダムアクセスメモリ67へと伝送しなければならないので、GPU中に含まれるマイクロプログラムから合成する媒質2、10の代表値を含む画像の合成においてより大きな待ち時間を生じさせる。   According to a variant, if the available memory storage space in GRAM 621 is insufficient, a portion of RAM 67 is stored in CPU 61 for storage of parameter 6211, values 6212 and 6214, and error information item 6213. Assigned by. This variant, however, passes the data through the bus 65 which is generally inferior to the transmission capacity available in the graphics card for the transmission of data from the GPU to the GRAM and vice versa. Since the data must be transmitted from the graphics card to the random access memory 67, a larger waiting time is generated in the synthesis of the image including the representative values of the media 2 and 10 to be synthesized from the microprogram included in the GPU.

もう1つの変形形態によれば、電源68が、装置6の外部にある。   According to another variant, the power supply 68 is external to the device 6.

図7は、本発明の第2の非限定的な特に有利な実施形態による、装置6中に実装された異種成分からなる関与媒質10によって散乱された光の量を推定するための方法を示す。   FIG. 7 shows a method for estimating the amount of light scattered by a participating medium 10 consisting of heterogeneous components implemented in the device 6 according to a second non-limiting particularly advantageous embodiment of the invention. .

開始ステップ70の間に、装置6の様々なパラメータを更新する。特に、異種成分からなる関与媒質10を表すパラメータを、任意の方法で初期化する。   During the start step 70, various parameters of the device 6 are updated. In particular, a parameter representing the participating medium 10 composed of different components is initialized by an arbitrary method.

それから、ステップ71の間に、媒質10を表す媒質2の1つまたはいくつかの空間細分割レベルを、1つもしくはいくつかの散乱方向ωout120(観察方向とも呼ばれる)に沿っておよび/または1つもしくはいくつかの入射光方向(光放出方向とも呼ばれる)ωin110に沿って選択する。このまたはこれらの(1つまたは複数の)細分割レベルを、2つの階層的に連続する空間細分割レベル間で媒質2中の光の減衰の差を表す情報の1つまたはいくつかの項目にしたがって、オクトリー(または2次元媒質2に対してクォータナリ(quarternary)ツリー)中に階層的に順序付けられた複数の空間細分割方向21から24の中から選択する。1つの光散乱方向ωoutに沿って、媒質2と方向ωoutとの交点を介して散乱される光の減衰を表す値を、媒質2の最も低い階層の空間細分割レベル(換言すると、媒質の最も細かい表示レベル、つまり最も多くの数の「ボクセル」を含むレベル)について推定し、この値は基準値として働く。それから、その方向の点のセット(点のこのセットはレイマーチング法の適用のために実行した散乱方向のサンプリングに対応する)のうちの第1の点を介して散乱された光の減衰を表す第1の値を、最も低い空間細分割レベルについて推定する。それから、同じ第1の点に対して、散乱された光の減衰を表す値のもう1つの推定値を、最も低いレベルの階層的に直ぐ上の空間細分割レベルについて推定する。これら2つの第1の値を基準値と比較して、媒質と方向ωoutの交点のところの全減衰の中でこの第1の点の光の減衰の(これら2つの第1の値の各々の)部分を決定する。散乱された光の全減衰の中のこれら2つの部分を比較することによって、散乱された光の減衰の計算において最も高い空間細分割レベル(より少ない「ボクセル」を含むので2つのうちの最も粗いもの)を介して引き起こされた誤差を表す誤差情報の項目を推測することが、したがって可能である。この誤差にしたがって、第1の点についての適合した空間細分割レベル、換言すると、例えば、人間の目には見えない許容可能な誤差を引き起こすもの、を選択する。これらの操作を、観察の方向に媒質2中へと進む散乱方向の各サンプリング点について点ごとに繰り返す。所与の点に対して、2つの空間細分割のうちの最も高いレベルが十分である場合には、そのレベルが続く点のすべてに対して十分であると判断する。この所与の点から、最も低いレベルの直ぐ上のレベルに対しておよびこの後者の直ぐ上のレベルについて減衰を推定し、最も高いレベルによって引き起こされるであろう誤差を推定する。これらの操作を、媒質2の終端限に達するまで観察方向ωoutのすべてのサンプリング点について繰り返す。いくつかの空間細分割層を、媒質2を介した光散乱方向に沿って都合の良いように選択する。同じ推測を、光源から受け取った光の減衰を表す第2の値を2つの階層的に連続する細分割レベルについて推定する入射光方向のサンプリング点に対して適用して、引き起こされる誤差が容認可能であると判断される入射光方向に沿った空間細分割レベルを選択する。 Then, during step 71 one or several spatial subdivision levels of the medium 2 representing the medium 10 along one or several scattering directions ω out 120 (also called viewing directions) and / or Select along one or several incident light directions (also called light emission directions) ω in 110. This or these (one or more) subdivision levels can be converted into one or several items of information representing the difference in attenuation of light in the medium 2 between two hierarchically continuous spatial subdivision levels. Therefore, a selection is made from among a plurality of spatial subdivision directions 21 to 24 hierarchically ordered in the octree (or the quaternary tree for the two-dimensional medium 2). A value representing the attenuation of light scattered through the intersection of the medium 2 and the direction ω out along one light scattering direction ω out is expressed as a spatial subdivision level (in other words, the medium 2). The finest display level (ie, the level containing the largest number of “voxels”) and this value serves as a reference value. Then, it represents the attenuation of light scattered through the first point of the set of points in that direction (this set of points corresponds to the scattering direction sampling performed for the application of the ray marching method). A first value is estimated for the lowest spatial subdivision level. Then, for the same first point, another estimate of the value representing the attenuation of the scattered light is estimated for the spatial subdivision level immediately above the lowest level of the hierarchy. These two first values are compared with a reference value, and the total attenuation at the intersection of the medium and the direction ω out of the attenuation of the light at this first point (each of these two first values Of) part. By comparing these two parts in the total attenuation of the scattered light, the highest spatial subdivision level (the coarsest of the two because it contains fewer “voxels”) in the calculation of the attenuation of the scattered light. It is therefore possible to infer an item of error information that represents the error caused by According to this error, select a suitable spatial subdivision level for the first point, in other words, for example, that causes an acceptable error that is not visible to the human eye. These operations are repeated point by point for each sampling point in the scattering direction that proceeds into the medium 2 in the direction of observation. If the highest level of the two spatial subdivisions is sufficient for a given point, it is determined to be sufficient for all of the points that follow that level. From this given point, the attenuation is estimated for the level just above the lowest level and for the level just above this latter, and the error that would be caused by the highest level is estimated. These operations are repeated for all sampling points in the observation direction ω out until the end limit of the medium 2 is reached. Several spatial subdivision layers are chosen conveniently along the direction of light scattering through the medium 2. The same guess is applied to a sampling point in the direction of incident light that estimates a second value representing the attenuation of light received from the light source for two hierarchically continuous subdivision levels, and the error caused is acceptable. The spatial subdivision level along the incident light direction determined to be is selected.

変形形態によれば、図7には示していない比較ステップの間に、散乱された光の2つの第1の減衰値が計算される2つの階層的に連続する空間細分割レベルのうちの一方または他方を選択するために、散乱方向のサンプリング点を介して散乱された光を表す第1の値の比較によりもたらされる第1の誤差情報と呼ばれる誤差情報を、第1のしきい値と比較する。誤差情報の第1の項目が第1のしきい値よりも小さい場合には、第1の階層的に最も高い空間細分割レベルが選択され、これは、計算コストがより低いレベル(より低いレベルは媒質中により多くの「ボクセル」を有し、したがって媒質2の物理的な特性の、特に濃度のより大きな変動を有する)に対して発生するコストより少ないままで、最も高いレベルが、光減衰の推定の際に容認可能な誤差を結果としてもたらすことを示す。第1の誤差情報が第1のしきい値よりも大きい場合には、空間細分割の最も低い階層のレベルが選択され、これは、最も高いレベルが、光の減衰の推定の際に、例えば人間の目に見える容認できない誤差を結果としてもたらすことを示す。   According to a variant, one of two hierarchically continuous spatial subdivision levels in which two first attenuation values of scattered light are calculated during a comparison step not shown in FIG. Or, to select the other, compare error information, called first error information, resulting from a comparison of a first value representing light scattered through a sampling point in the scattering direction with a first threshold. To do. If the first item of error information is less than the first threshold, the first hierarchically highest spatial subdivision level is selected, which is the level at which the computational cost is lower (the lower level). Has more “voxels” in the medium, and therefore has the highest level of light attenuation, while remaining less than the cost incurred for the physical properties of medium 2, especially with greater variations in density We show that this results in an acceptable error in estimating. If the first error information is greater than the first threshold, the lowest hierarchical level of the spatial subdivision is selected, which is the highest level when estimating the light attenuation, for example Shows that it results in unacceptable errors visible to the human eye.

もう1つの変形形態によれば、図7には示していない比較ステップの間に、散乱した光の2つの第2の減衰値が計算される2つの階層的に連続した空間細分割レベルのうちの一方または他方を選択するために、入射光方向のサンプリング点のところで光源から受け取った光の減衰を表す第2の値の比較によりもたらされる第2の誤差情報と呼ばれる誤差情報を、第2のしきい値と比較する。誤差情報の第2の項目が第2のしきい値よりも小さい場合には、階層的に最も高い空間細分割レベルが選択され、これは、計算コストがより低いレベル(より低いレベルは媒質中により多くの「ボクセル」を有し、したがって媒質2の物理的な特性の、特に濃度のより大きな変動を有する)に対して発生するコストより少ないままで、最も高いレベルが、受け取った光減衰の推定の際に容認可能な誤差を結果としてもたらすことを示す。第2の誤差情報が第2のしきい値よりも大きい場合には、空間細分割の最も低い階層のレベルが選択され、これは、最も高いレベルが、受け取った光の減衰の推定の際に、例えば人間の目に見える容認できない誤差を結果としてもたらすことを示す。   According to another variant, of the two hierarchically continuous spatial subdivision levels in which two second attenuation values of scattered light are calculated during a comparison step not shown in FIG. Error information, referred to as second error information, resulting from a comparison of a second value representing the attenuation of light received from the light source at a sampling point in the direction of incident light, Compare with threshold. If the second item of error information is smaller than the second threshold, the highest spatial subdivision level is selected hierarchically, which is the level at which the computational cost is lower (the lower level is in the medium). The highest level of received light attenuation remains less than the cost incurred for having more “voxels” and thus having a larger variation in the physical properties of the medium 2, in particular the concentration. It shows that the estimation results in an acceptable error. If the second error information is greater than the second threshold, the lowest hierarchical level of spatial subdivision is selected, which is the highest level in estimating the received light attenuation. For example, to result in unacceptable errors visible to the human eye.

都合の良いことに、誤差情報の第1の項目および第2の項目は、異なる値を有する。変形形態によれば、誤差情報の第1の項目および第2の項目は、同じ値のものである。もう1つの変形形態によれば、誤差情報の第1の項目(それぞれ第2の項目)は、比較される空間細分割レベルにしたがって値を変える。   Conveniently, the first and second items of error information have different values. According to a variant, the first and second items of error information are of the same value. According to another variant, the first item of error information (each second item) changes its value according to the spatial subdivision level being compared.

それからステップ72の間に、媒質2を介して散乱された光の量を、あるサンプリング方法、都合の良いことにレイマーチング法を使用して推定する。都合の良いことに、散乱方向に沿った「ボクセル」ごとにサンプリング点があるように、サンプリングを選択する。変形形態によれば、細分割レベルが細かいときにより細かくなり、細分割レベルが階層的に上昇するにつれてより粗くなるような方法で、サンプリングを選択する。もう1つの変形形態によれば、サンプリングは規則的であり、換言すると、サンプリング点が規則的に間隔を空けて配置される。この最後の変形形態は、それに加えて、濃度が同じ「ボクセル」の点ごとに変化しないので計算の観点からそれほどコストがかかることはない。   Then, during step 72, the amount of light scattered through the medium 2 is estimated using a sampling method, conveniently a ray marching method. Conveniently, sampling is selected such that there is a sampling point for each “voxel” along the scattering direction. According to a variant, sampling is selected in such a way that it becomes finer when the subdivision level is fine and becomes coarser as the subdivision level rises hierarchically. According to another variant, the sampling is regular, in other words the sampling points are regularly spaced. In addition to this, this last variant is not very costly from a computational point of view, since it does not change from point to point of the same “voxel”.

ステップ71および72は、観察者12が媒質10の周りを移動するにつれて都合の良いことに繰り返され、画像が媒質10のディスプレイを形成し、媒質10の周りの観察者12の各要素の変位に対して再合成される。変形形態によれば、媒質環境の条件が変化するとき、特に(1つまたは複数の)光源が変化するときに、ステップ71および72を繰り返す。   Steps 71 and 72 are conveniently repeated as the viewer 12 moves around the medium 10, so that the image forms a display of the medium 10 and the displacement of each element of the viewer 12 around the medium 10. In contrast, it is synthesized again. According to a variant, steps 71 and 72 are repeated when the conditions of the medium environment change, in particular when the light source (s) change.

当然ながら、本発明は、これまでに説明した実施形態に限定されない。   Of course, the present invention is not limited to the embodiments described so far.

特に、本発明は、異種成分からなる関与媒質によって散乱される光の量を推定するための方法に限定されないだけでなく、本方法を実装する任意の装置、特に少なくとも1つのGPUを含む任意の装置にやはり拡張される。散乱された光の量の入射方向および放出方向の光強度の低下の推定のために、図1から図5に関連して説明した式の実装が、シェーダタイプのマイクロプログラムにやはり限定されないだけでなく、任意のプログラムタイプ、例えばCPUタイプのマイクロプロセッサ中で実行することが可能なプログラム中に実装するように拡張される。   In particular, the invention is not limited to a method for estimating the amount of light scattered by a participating medium consisting of different components, but also any device that implements the method, in particular any device comprising at least one GPU. It is also extended to the device. The implementation of the equations described in connection with FIGS. 1-5 is still not limited to shader-type microprograms for the estimation of the drop in light intensity in the incident and emission directions of the amount of scattered light. Rather, it is extended to be implemented in a program that can be executed in a microprocessor of any program type, for example a CPU type.

本発明の使用は、ライブ利用に限定されないだけでなく、例えば、シンセシス画像のディスプレイ用の、例えばレコーディングスタジオにおけるポストプロダクション処理として知られる処理のための任意の別の利用に拡張される。ポストプロダクションにおける本発明の実施は、特に、必要な計算時間を削減しつつ、現実性の観点から優れた視覚ディスプレイを実現するという利点を提供する。   The use of the present invention is not limited to live use, but extends to any other use, for example for the display of synthesis images, for example known as post-production processing in a recording studio. The implementation of the present invention in post-production offers the advantage of realizing a visual display that is excellent from a practical point of view, in particular while reducing the required computation time.

本発明は、異種成分からなる関与媒質によって散乱される光の量を計算する2次元または3次元のビデオ画像、および結果が画像のピクセル(各ピクセルが観察方向ωoutにしたがった観察方向に対応する)を表示するために使用する光を表す情報の合成のための方法にやはり関係する。画像のピクセルの各々による表示のために計算した光の値を、観察者の様々な観察点に適合するように再計算する。 The invention relates to a two-dimensional or three-dimensional video image that calculates the amount of light scattered by a participating medium of different components, and the result is an image pixel (each pixel corresponds to an observation direction according to the observation direction ω out). It also relates to a method for the synthesis of information representing the light used to display. The light values calculated for display by each of the pixels of the image are recalculated to fit the various viewing points of the viewer.

本発明は、関与する異種成分からなる媒質を表す1つまたはいくつかの空間細分割レベルを選択するための方法にやはり関係する。   The invention also relates to a method for selecting one or several spatial subdivision levels that represent a medium of heterogeneous components involved.

本発明をビデオゲームアプリケーションにおいて、例えば、PCもしくは携帯型コンピュータにおいて、またはライブで画像を生成し表示する専門化したゲーム機において実行することができるプログラムを介してであろうとなかろうと、使用することができる。図6に関して説明した装置6は、キーボードおよび/またはジョイスティックなどの対話手段、やはり可能である例えば音声認識などの命令の導入のための別のモードを都合の良いことに装備する。
(付記1)
異種成分からなる関与媒質によって散乱された光の量の推定のための方法であって、
2つの連続する階層のレベルの間で少なくとも1つの方向にしたがって、前記媒質中の前記光の減衰差を表す誤差情報の少なくとも1つの項目にしたがって空間細分割の複数の階層のレベルの中から前記媒質の空間細分割の少なくとも1つのレベルを選択するステップと、
少なくとも1つの散乱方向に沿った前記媒質のサンプリングによって散乱された前記光の量を推定するステップであって、前記サンプリングは前記少なくとも1つの選択した空間細分割レベルに依存する推定するステップと
を含むことを特徴とする方法。
(付記2)
前記少なくとも1つの散乱方向に沿った位置にある前記媒質の少なくとも1つの点によって散乱された前記光の減衰を表す少なくとも第1の値を推定するステップを含むことを特徴とする付記1に記載の方法。
(付記3)
前記少なくとも1つの散乱方向に沿った位置にある前記少なくとも1つの点内で前記光の少なくとも1つの放出方向にしたがって少なくとも1つの光源から受け取った前記光の前記減衰を表す少なくとも第2の値を推定するステップを含むことを特徴とする付記2に記載の方法。
(付記4)
誤差情報の前記少なくとも1つの項目は、2つの第1の値の比較によって決定され、前記2つの第1の値は前記媒質の2つの連続する階層の空間細分割レベルに対してそれぞれ推定されることを特徴とする付記2に記載の方法。
(付記5)
誤差情報の前記少なくとも1つの項目は、2つの第2の値の比較によって決定され、前記2つの第2の値は前記媒質の2つの連続する階層の空間細分割レベルに対してそれぞれ推定されることを特徴とする付記3に記載の方法。
(付記6)
前記誤差情報をしきい値と比較するステップを含むことを特徴とする付記1から5のいずれか一項に記載の方法。
(付記7)
誤差情報の前記少なくとも1つの項目が前記しきい値よりも小さい場合には、選択した前記空間細分割レベルは、最も高い階層の位置の前記レベルに対応することを特徴とする付記6に記載の方法。
Use of the present invention in video game applications, for example, on a PC or portable computer, or via a program that can be executed on a specialized gaming machine that generates and displays images live. Can do. The device 6 described with respect to FIG. 6 is conveniently equipped with another mode for the introduction of interactive means such as a keyboard and / or joystick, also possible instructions such as voice recognition, for example.
(Appendix 1)
A method for estimating the amount of light scattered by a participating medium comprising different components, comprising:
According to at least one item of error information representing an attenuation difference of the light in the medium according to at least one direction between two successive levels of hierarchy, from among the levels of the plurality of levels of spatial subdivision according to at least one item of error information Selecting at least one level of spatial subdivision of the medium;
Estimating the amount of light scattered by sampling the medium along at least one scattering direction, wherein the sampling depends on the at least one selected spatial subdivision level;
A method comprising the steps of:
(Appendix 2)
The method of claim 1, comprising estimating at least a first value representative of an attenuation of the light scattered by at least one point of the medium in a position along the at least one scattering direction. Method.
(Appendix 3)
Estimating at least a second value representative of the attenuation of the light received from at least one light source according to at least one emission direction of the light within the at least one point located at a position along the at least one scattering direction. The method according to claim 2, further comprising the step of:
(Appendix 4)
The at least one item of error information is determined by comparison of two first values, the two first values being estimated for spatial subdivision levels of two successive hierarchies of the medium, respectively. The method according to appendix 2, characterized by:
(Appendix 5)
The at least one item of error information is determined by a comparison of two second values, the two second values being estimated for the spatial subdivision levels of two successive layers of the medium, respectively. The method according to supplementary note 3, characterized by:
(Appendix 6)
The method according to any one of supplementary notes 1 to 5, further comprising the step of comparing the error information with a threshold value.
(Appendix 7)
The supplementary note 6, wherein if the at least one item of error information is smaller than the threshold value, the selected spatial subdivision level corresponds to the level at the position of the highest hierarchy. Method.

Claims (10)

異種成分からなる関与媒質によって散乱された光の量の計算のための方法であって、
2つの連続する階層のレベルの間で少なくとも1つの方向にしたがって、前記媒質中の前記光の減衰差を表す誤差情報の少なくとも1つの項目にしたがって空間細分割の複数の階層のレベルの中から前記媒質の空間細分割の少なくとも1つのレベルを選択するステップと、
少なくとも1つの散乱方向に沿った前記媒質のサンプリングによって散乱された前記光の量を計算するステップであって、前記サンプリングは前記少なくとも1つの選択した空間細分割レベルに依存する、前記計算するステップと
を含む、前記方法。
A method for calculating the amount of light scattered by a participating medium comprising different components, comprising:
According to at least one item of error information representing an attenuation difference of the light in the medium according to at least one direction between two successive levels of hierarchy, from among the levels of the plurality of levels of spatial subdivision according to at least one item of error information Selecting at least one level of spatial subdivision of the medium;
And calculating the amount of the scattered the light by sampling the at least one scattering direction along said medium, said sampling is dependent on the at least one selected spatial subdivision levels, and said step of calculating Said method.
前記少なくとも1つの散乱方向に沿った位置にある前記媒質の少なくとも1つの点によって散乱された前記光の前記減衰を表す少なくとも第1の値を計算するステップを含む、請求項1に記載の方法。 The method of claim 1, comprising calculating at least a first value representative of the attenuation of the light scattered by at least one point of the medium in a position along the at least one scattering direction. 前記少なくとも1つの散乱方向に沿った位置にある前記少なくとも1つの点内で前記光の少なくとも1つの放出方向にしたがって少なくとも1つの光源から受け取られる前記光の前記減衰を表す少なくとも第2の値を計算するステップを含む、請求項2に記載の方法。 Calculating at least a second value representative of the attenuation of the light received from at least one light source according to at least one emission direction of the light within the at least one point located along the at least one scattering direction; The method of claim 2 including the step of: 誤差情報の前記少なくとも1つの項目は、2つの第1の値の比較によって決定され、前記2つの第1の値は前記媒質の2つの連続する階層の空間細分割レベルに対してそれぞれ計算される、請求項2に記載の方法。 The at least one item of error information is determined by comparing two first values, and the two first values are respectively calculated for the spatial subdivision levels of two successive hierarchies of the medium. The method according to claim 2. 誤差情報の前記少なくとも1つの項目は、2つの第2の値の比較によって決定され、前記2つの第2の値は前記媒質の2つの連続する階層の空間細分割レベルに対してそれぞれ計算される、請求項3に記載の方法。 The at least one item of error information is determined by comparing two second values, and the two second values are respectively calculated for the spatial subdivision levels of two successive layers of the medium. The method according to claim 3. 前記誤差情報をしきい値と比較するステップを含む、請求項1から5のいずれか一項に記載の方法。   6. A method as claimed in any preceding claim, comprising comparing the error information with a threshold value. 誤差情報の前記少なくとも1つの項目が前記しきい値よりも小さい場合には、選択した前記空間細分割レベルは、最も高い階層の位置の前記レベルに対応する、請求項6に記載の方法。   7. The method of claim 6, wherein if the at least one item of error information is less than the threshold, the selected spatial subdivision level corresponds to the level at the highest hierarchical location. 異種成分からなる関与媒質によって散乱された光の量の計算のために構成された装置であって、
2つの連続する階層のレベルの間で少なくとも1つの方向にしたがって、前記媒質中の前記光の減衰差を表す誤差情報の少なくとも1つの項目にしたがって空間細分割の複数の階層のレベルの中から前記媒質の空間細分割の少なくとも1つのレベルを選択するための手段と、
少なくとも1つの散乱方向に沿った前記媒質のサンプリングによって散乱された光の前記量を計算するための手段であって、前記サンプリングは前記少なくとも1つの選択した空間細分割レベルに依存する、前記計算するための手段と
を備える、前記装置。
An apparatus configured for the calculation of the amount of light scattered by a participating medium of heterogeneous components,
According to at least one item of error information representing an attenuation difference of the light in the medium according to at least one direction between two successive levels of hierarchy, from among the levels of the plurality of levels of spatial subdivision according to at least one item of error information Means for selecting at least one level of spatial subdivision of the medium;
And means for calculating the amount of the light scattered by the sample of the medium along at least one scattering directions, the sampling is dependent on the at least one selected spatial subdivision level and the calculated Said means comprising:
ンピュータ上で実行されるときに請求項1から7のいずれか一項に記載の前記方法の各ステップをコンピュータに実行させるためのプログラムコードの命令を備える、プログラム。 Comprising instructions of the program code for causing execution of the steps of the method according to any one of claims 1 to 7 on a computer when executed on a computer, program. コンピュータによって読取り可能な記憶装置であって、請求項1から7のいずれか一項に記載の前記方法のステップを実行するために前記コンピュータによって実行可能なプログラムコードの命令を記憶する、前記記憶装置。 A readable storage device by a computer, storing instructions executable program code by the computer to perform the steps of the method according to any one of claims 1 to 7, wherein the storage apparatus.
JP2012540364A 2009-11-24 2010-11-18 Method for estimating light scattering Active JP5718934B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0958288 2009-11-24
FR0958288A FR2948801A1 (en) 2009-11-24 2009-11-24 Method for estimating quantity of light diffused by cloud, involves estimating light quantity diffused by sampling of participating media along light diffusion direction, where sampling is function of selected spatial subdivision level
PCT/EP2010/067727 WO2011064132A1 (en) 2009-11-24 2010-11-18 Method for estimating light scattering

Publications (3)

Publication Number Publication Date
JP2013511785A JP2013511785A (en) 2013-04-04
JP2013511785A5 JP2013511785A5 (en) 2014-01-16
JP5718934B2 true JP5718934B2 (en) 2015-05-13

Family

ID=42990331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012540364A Active JP5718934B2 (en) 2009-11-24 2010-11-18 Method for estimating light scattering

Country Status (6)

Country Link
US (1) US8508733B2 (en)
EP (1) EP2504816B1 (en)
JP (1) JP5718934B2 (en)
KR (1) KR20120086739A (en)
FR (1) FR2948801A1 (en)
WO (1) WO2011064132A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012000847A2 (en) * 2010-07-01 2012-01-05 Thomson Licensing Method of estimating diffusion of light
US8768068B2 (en) 2011-05-04 2014-07-01 Raytheon Company Automated building detecting
US8659747B2 (en) * 2011-06-17 2014-02-25 Raytheon Company Determining thresholds to filter noise in GmAPD LADAR data
KR102223064B1 (en) * 2014-03-18 2021-03-04 삼성전자주식회사 Image processing apparatus and method
US9767601B2 (en) * 2014-08-28 2017-09-19 Disney Enterprises, Inc. Residual ratio tracking for estimating attenuation in heterogeneous volumes

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1990004241A1 (en) * 1988-10-13 1990-04-19 Nohmi Bosai Kabushiki Kaisha Fire alarm apparatus
ATE220202T1 (en) * 1996-01-26 2002-07-15 Roche Diagnostics Gmbh METHOD AND DEVICE FOR DETERMINING AN ANALYTE IN A SCATTERING MATRIX
US7301538B2 (en) * 2003-08-18 2007-11-27 Fovia, Inc. Method and system for adaptive direct volume rendering
US7382369B2 (en) * 2003-10-10 2008-06-03 Microsoft Corporation Systems and methods for robust sampling for real-time relighting of objects in natural lighting environments

Also Published As

Publication number Publication date
FR2948801A1 (en) 2011-02-04
EP2504816A1 (en) 2012-10-03
US8508733B2 (en) 2013-08-13
KR20120086739A (en) 2012-08-03
US20120229806A1 (en) 2012-09-13
WO2011064132A1 (en) 2011-06-03
EP2504816B1 (en) 2019-05-08
JP2013511785A (en) 2013-04-04

Similar Documents

Publication Publication Date Title
US9245377B1 (en) Image processing using progressive generation of intermediate images using photon beams of varying parameters
US11069124B2 (en) Systems and methods for reducing rendering latency
US11138782B2 (en) Systems and methods for rendering optical distortion effects
Crane et al. Real-time simulation and rendering of 3d fluids
US20100033482A1 (en) Interactive Relighting of Dynamic Refractive Objects
JP5718934B2 (en) Method for estimating light scattering
US20190318528A1 (en) Computer-Graphics Based on Hierarchical Ray Casting
US20190318529A1 (en) Systems and Methods for Rendering Foveated Effects
CN111788608A (en) Hybrid ray tracing method for modeling light reflection
US9235663B2 (en) Method for computing the quantity of light received by a participating media, and corresponding device
Marton et al. Natural exploration of 3D massive models on large-scale light field displays using the FOX proximal navigation technique
JP5873683B2 (en) How to estimate occlusion in a virtual environment
JP5916764B2 (en) Estimation method of concealment in virtual environment
US9324187B2 (en) Visualization apparatus and method
EP2831846B1 (en) Method for representing a participating media in a scene and corresponding device
US20120218549A1 (en) Method for estimating light scattering
KR101467735B1 (en) Method and Apparatus for 4D Real-time Rendering for Volume Data
EP2428935B1 (en) Method for estimating the scattering of light in a homogeneous medium
Roth et al. Guided high-quality rendering
US20230082349A1 (en) Method and apparatus for interactive volumetric visualization
Schafhitzel Particle tracing methods for visualization and computer graphics
Chaitanya Robust Numerical Solutions to High-Dimensional Physics-Based Integration Problems
Beddiaf et al. Physically-Based Rendering of Particle-Based Fluids with Light Transport Effects
Thomas Exploring Deep Learning Techniques for Real-time Graphics
JP2023178274A (en) Method and system for generating polygon meshes approximating surfaces using root-finding and iteration for mesh vertex positions

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140930

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150319

R150 Certificate of patent or registration of utility model

Ref document number: 5718934

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250