JP6600544B2 - 3dレンダリング方法及び装置 - Google Patents

3dレンダリング方法及び装置 Download PDF

Info

Publication number
JP6600544B2
JP6600544B2 JP2015238716A JP2015238716A JP6600544B2 JP 6600544 B2 JP6600544 B2 JP 6600544B2 JP 2015238716 A JP2015238716 A JP 2015238716A JP 2015238716 A JP2015238716 A JP 2015238716A JP 6600544 B2 JP6600544 B2 JP 6600544B2
Authority
JP
Japan
Prior art keywords
rendering
light source
scene
model
direct light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015238716A
Other languages
English (en)
Other versions
JP2016115347A (ja
Inventor
陞 忍 朴
民 修 安
炯 旭 李
仁 友 河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2016115347A publication Critical patent/JP2016115347A/ja
Application granted granted Critical
Publication of JP6600544B2 publication Critical patent/JP6600544B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/12Shadow map, environment map

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、3Dモデルをレンダリングする映像処理技術に関する。
3Dレンダリングは、3Dモデルをレンダリングするコンピュータグラフィックスの一分野である。3Dレンダリングは、3Dゲーム、バーチャルリアリティ、アニメーション、及び映画などの様々なアプリケーション領域で利用されている。3Dレンダリング方法には、光源から放射された光がオブジェクトの表面で反射する経路を追跡して3Dモデルをレンダリングするレイトレーシングレンダリング、直接照明効果だけでなく直接照明がオブジェクトによって反射した反射光や乱反射現象などによる間接照明効果をも反映するラジオシティレンダリング、及び、ベクトルデータをピクセルパターンイメージに変換して3Dモデルをレンダリングするラスタライゼーションレンダリングなどがある。
本発明の目的は、3Dモデルをレンダリングする3Dレンダリング方法及び装置を提供することにある。
本発明の一実施形態に係る3Dレンダリング方法は、直接光源の視点から3Dモデルをレンダリングして前記直接光源それぞれの視点からレンダリングされた場面に関する場面情報を取得するステップと、前記場面情報に基づいて前記場面が整合された整合画像を生成するステップと、前記整合画像から少なくとも1つの間接光源をサンプリングするステップと、を含んでもよい。
一実施形態に係る3Dレンダリング方法における前記整合画像を生成するステップは、前記場面において互いに対応する領域を統合して前記整合画像を生成してもよい。
一実施形態に係る3Dレンダリング方法における前記整合画像を生成するステップは、第1属性情報に基づいて前記場面を整合させることによって前記第1属性情報と関連する整合画像を生成するステップと、第1属性情報に基づいた前記場面の整合結果に基づいて第2属性情報と関連する整合画像を生成するステップと、を含んでもよい。
一実施形態に係る3Dレンダリング方法における前記間接光源をサンプリングするステップは、前記整合画像を複数の領域に分割するステップと、前記領域内の間接光源をサンプリングしようとする関心領域で前記間接光源をサンプリングするステップと、を含んでもよい。
一実施形態に係る3Dレンダリング方法は、前記サンプリングされた少なくとも1つの間接光源による間接光効果を前記3Dモデルに適用して前記3Dモデルをレンダリングするステップをさらに含んでもよい。
別の実施形態に係る3Dレンダリング方法は、全直接光源のうち一部直接光源の視点から3Dモデルをレンダリングして前記一部直接光源のそれぞれの視点からレンダリングされた場面に関する場面情報を取得するステップと、前記場面情報に基づいて前記場面が整合された第1映像を生成するステップと、前記第1映像から1つの間接光源をサンプリングするステップと、を含んでもよい。
別の実施形態に係る3Dレンダリング方法は、前記一部直接光源に含まれない残りの直接光源の視点から前記3Dモデルをレンダリングして第2映像を生成するステップと、前記第2映像を用いて少なくとも1つの間接光源をサンプリングするステップと、をさらに含んでもよい。
別の実施形態に係る3Dレンダリング方法は、前記第1映像及び前記第2映像それぞれに基づいてサンプリングされた間接光源による間接光効果を前記3Dモデルに適用して前記3Dモデルをレンダリングするステップをさらに含んでもよい。
また別の実施形態に係る3Dレンダリング方法は、3Dモデルを直接光源の視点からレンダリングした場面を比較して前記場面が整合された整合画像を生成するか否かを決定するステップと、前記整合画像を生成することに決めた場合、前記場面に関する場面情報に基づいて前記場面が整合された整合画像を生成するステップと、前記整合画像から少なくとも1つの間接光源をサンプリングするステップと、を含んでもよい。
一実施形態に係る3Dレンダリング装置は、直接光源の視点から3Dモデルをレンダリングするレンダリング部と、前記直接光源の視点からレンダリングされた場面に関する場面情報を格納する場面情報格納部と、を含んでもよく、前記レンダリング部は、前記場面情報に基づいて前記場面が整合された整合画像を生成して、前記整合画像から少なくとも1つの間接光源をサンプリングしてもよい。
別の実施形態に係る3Dレンダリング装置は、全直接光源のうち一部直接光源の視点から3Dモデルをレンダリングするレンダリング部と、前記一部直接光源の視点からレンダリングされた場面に関する場面情報を格納する場面情報格納部を含んでもよく、前記レンダリング部は、前記場面情報に基づいて前記場面が整合された第1映像を生成して、前記第1映像から少なくとも1つの間接光源をサンプリングしてもよい。
また別の実施形態に係る3Dレンダリング方法は、直接光源の各視点から3Dモデルをレンダリングするステップと、前記レンダリング結果から合成映像を生成するステップと、前記合成映像から間接光源をサンプリングするステップと、を含んでもよい。
また別の実施形態に係る3Dレンダリング方法における前記3Dモデルをレンダリングするステップは、互いに対応する領域を含む場面を生成し、前記場面は、少なくとも2つの直接光源の各視点からそれぞれレンダリングされる互いに対応する領域を含み、前記合成映像を生成するステップは、前記合成映像を取得するために前記対応する領域を含む前記場面を結合するステップを含んでもよい。
また別の実施形態に係る3Dレンダリング方法における前記3Dモデルをレンダリングするステップは、前記直接光源の各視点からそれぞれレンダリングされた場面を生成し、前記3Dレンダリング方法は、それぞれの場面の場面情報を取得するステップをさらに含み、前記合成映像を生成するステップは、前記場面情報に基づいて前記場面において対応する領域を識別するステップと、前記合成映像を取得するために前記対応する領域を含む場面を結合させるステップと、を含んでもよい。
一実施形態によれば、各直接光源の視点により間接光源を何度もサンプリングする必要がなく、3Dレンダリングの処理速度が改善され得る。また、一実施形態によれば、間接光源が重複的にサンプリングされることを防止して、レンダリング結果の画質を改善させることができる。
一実施形態に係る3Dレンダリング装置が3Dモデルをレンダリングする全体的な過程を説明するための図である。 一実施形態に係る3Dレンダリング装置が間接光源をサンプリングして、間接光効果を処理する過程を説明するための図である。 一実施形態に係る直接光源と間接光源との間の関係を説明するための図である。 一実施形態に係る直接光源と間接光源との間の関係を説明するための図である。 一実施形態に係る3Dレンダリング装置の構成を示す図である。 一実施形態に係る(i−1)番目、i番目、及び(i+1)番目の直接光源の各視点からレンダリングされた3つの場面の輝度(intensity)、標準(normal)、及び奥行き値の一例を示す図である。 一実施形態に係る各直接光源の視点からレンダリングされた場面を整合して整合画像を生成する過程を説明するための図である。 一実施形態に係る整合画像から間接光源をサンプリングする過程を説明するための図である。 一実施形態に係る3Dレンダリング方法の動作を説明するためのフローチャートである。 別の実施形態に係る3Dレンダリング方法の動作を説明するためのフローチャートである。 また別の実施形態に係る3Dレンダリング方法の動作を説明するためのフローチャートである。
以下、実施形態に添付の図面を参照しながら詳細に説明する。以下の特定の構造的又は機能的説明は、単に実施形態を説明するための目的で例示されたものであり、実施形態の範囲が本文に説明された内容に限定されるものと解釈されてはならない。関連技術分野において通常の知識を有する者であれば、このような記載から様々な修正及び変形が可能である。また、各図面に提示された同一の参照符号は、同一の部材を示し、公知された機能及び構造は省略する。
図1は、一実施形態に係る3Dレンダリング装置が3Dモデルをレンダリングする全体的な過程を説明するための図である。
3Dレンダリング装置は、3Dモデルをレンダリングして、レンダリング結果映像を出力する。3Dレンダリング装置は、3Dモデルにグローバルイルミネーション効果を実現して3Dモデルをレンダリングする。3Dレンダリング装置は、直接光源(direct light source)(又は、primary light source)だけでなく間接光源(indirect light source)による照明効果を3Dモデルに適用して詳細なレンダリング結果映像を生成することができる。
直接光源及び間接光源は、コンピュータグラフィックスで3Dモデルに照明効果を付与する仮想の光源を示す。直接光源は3Dモデルに光を直接放射する光源であり、間接光源は直接光源から放射された光が反射、回折又は屈折した領域で光を放射する光源である。3Dレンダリング装置は、間接光源を3Dモデル上に適切に配置してより実感できる照明効果を実現することができる。
3Dレンダリング装置は、間接光源が配置される3Dモデル上の領域又は3Dモデルに配置される間接光源の個数を調節して3Dモデルのレンダリング映像に表われる照明効果を制御してもよい。3Dモデルに直接光を放射する複数の直接光源が存在する環境における3Dレンダリング装置は、直接光源によって生成された間接光源を効率的にサンプリングしてもよい。間接光源をサンプリングする過程は、3Dモデルのどの領域にどれくらい多い数の間接光源を配置するのかを決定する過程である。
図1は、3Dレンダリング装置が3Dモデルをレンダリングする時、3Dモデルにグローバルイルミネーション効果を実現する過程を示している。
ステップS110における3Dレンダリング装置は、各直接光源の視点から3Dモデルをレンダリングする。3Dレンダリング装置は、各直接光源の視点から3Dモデルをレンダリングして各直接光源の視点からのレンダリング情報を取得することができる。3Dレンダリング装置は、互いに対応する領域を含む場面を生成してもよく、場面は、2つ以上の直接光源の各視点からそれぞれレンダリングされた互いに対応する領域を含んでもよい。場面は、直接光源の各視点からそれぞれレンダリングされた属性と関連する場面を含む。属性は、例えば、輝度(intensity)、反射フラックス(reflected flux)、標準(normal)、位置、及び奥行き値のうち2つ以上を含むことができる。
ステップS120において、3Dモデルに適用する間接光源をサンプリングする。3Dレンダリング装置は、ステップS110で取得した情報に基づいて各直接光源の視点からレンダリングされた場面を整合して整合画像を生成し、整合画像を用いて間接光源をサンプリングすることができる。3Dレンダリング装置は、色々可能なサンプリング方法を用いて整合画像から間接光源をサンプリングしてもよい。
ステップS130における3Dレンダリング装置は、選択的に、遅延レンダリング(deferred rendering)のためにカメラ視点から3Dモデルをレンダリングする。3Dレンダリング装置は、カメラ視点から3Dモデルをレンダリングして直接光効果の処理及び間接光効果の処理のためのカメラ視点からのレンダリング情報を取得することができる。カメラ視点からのレンダリング情報は、例えば、3Dモデルの奥行き(depth)、標準又はカラーなどの情報を含んでもよい。
ステップS140における3Dレンダリング装置は、3Dモデルに直接光源及び間接光源による照明効果を適用して3Dモデルをレンダリングする。3Dレンダリング装置は、ステップS110で取得した各直接光源の視点からのレンダリング情報及びステップS130で取得したカメラ視点からのレンダリング情報を用いて3Dモデルをレンダリングする。
3Dモデルをレンダリングする時、ステップS150における3Dレンダリング装置は、直接光源による直接光効果を処理して3Dモデルに直接光効果を適用することができる。ステップS160における3Dレンダリング装置は、間接光源のサンプリング過程を介してサンプリングされた間接光源による間接光効果を処理して3Dモデルに間接光効果を適用することができる。3Dレンダリング装置は、直接光効果と間接光効果を3Dモデルに適用してグローバルイルミネーション効果を実現することができる。
例えば、3Dレンダリング装置は、直接光遮蔽(shading)処理された結果と間接光遮蔽処理された結果を統合して3Dモデルにグローバルイルミネーション効果を実現することができる。直接光遮蔽は、直接光源から放射された光の距離と角度により3Dオブジェクト表面の調度を変化させる方法であり、間接光遮蔽は、3Dモデルのレンダリング過程で間接光源から放射された光の距離と角度により3Dモデルに含まれた3Dオブジェクト表面の調度を変化させる方法である。
ステップS170における3Dレンダリング装置は、3Dモデルがレンダリングされたレンダリング結果映像に映像後処理を選択的に行う。例えば、3Dレンダリング装置は、レンダリング結果映像にアンチエイリアシング(anti−aliasing)及びレンズグレア効果(lens glare effect)などの様々な映像後処理を適用することができる。
3Dレンダリング装置は、パーソナルコンピュータ(PC)、スマートフォン、又はタブレットPCなどに内蔵して3Dモデルをレンダリングする。3Dレンダリング装置は、例えば、ゲーム、映画、ユーザインターフェース、バーチャルリアリティ、及び拡張現実(augmented reality)などで3Dモデルをレンダリングして、レンダリング結果映像を出力してもよい。
図2は、一実施形態に係る3Dレンダリング装置が間接光源をサンプリングして、間接光効果を処理する過程を説明するための図である。
ステップS210における3Dレンダリング装置は、複数の直接光源が存在する環境において、各直接光源の視点から3Dモデルをレンダリングする。3Dレンダリング装置は、各直接光源の視点から3Dモデルをレンダリングして各直接光源の視点からレンダリングされた場面に関する場面情報を格納することができる。場面情報は、メモリ又はバッファなどに格納することができる。
各直接光源の視点から各属性別に3Dモデルがレンダリングされてもよい。3Dレンダリング装置は、例えば、各直接光源の視点から輝度、標準、及び奥行き値などの属性別に3Dモデルをレンダリングして、各属性別にレンダリングされた場面に対する場面情報を格納してもよい。
ステップS220における3Dレンダリング装置は、マルチビューマッチングを行って各直接光源の視点からレンダリングされた複数の場面が整合された整合画像を生成する。3Dレンダリング装置は、1つの整合画像又は複数の整合画像を生成することができる。3Dレンダリング装置は、各直接光源の視点からレンダリングされた場面に関する場面情報を用いて直接光源の各視点からレンダリングされた場面間に対応する同一の領域を識別し、同一の領域に関する情報を統合して直接光源の各視点からレンダリングされた場面を結合することによって整合画像を生成してもよい。整合画像は、直接光源の各視点からレンダリングされた場面の合成映像である。
3Dレンダリング装置は、合成映像を取得するために対応する領域を含む場面を結合させることができる。3Dレンダリング装置は、属性のうちいずれか1つに基づいて場面において互いに対応する領域を識別してもよい。3Dレンダリング装置は、対応する領域を含む場面を結合して合成映像を取得してもよい。一実施形態によれば、3Dレンダリング装置は、属性のうちいずれか1つに基づいて識別された対応する領域に基づいて複数の属性の全てと関連する対応する領域を含む場面とを結合させることができる。
一実施形態によれば、3Dレンダリング装置は、複数の直接光源のうち基準になる基準直接光源を決定し、基準直接光源を除いた残りの直接光源の視点からのレンダリング結果を基準直接光源の視点により変換することができる。3Dレンダリング装置は、直接光源の視点のレンダリングに用いられるカメラのカメラパラメータ情報を用いて残り直接光源の視点からのレンダリング結果を基準直接光源の視点で容易に変換してもよい。3Dレンダリング装置は、基準直接光源の視点からのレンダリング結果と残りの直接光源に対する変換されたレンダリング結果を統合して整合画像を生成してもよい。
ステップS230における3Dレンダリング装置は、整合画像から間接光源をサンプリングする。3Dレンダリング装置は、関連技術分野で用いられる様々なサンプリング方法によって整合画像から間接光源をサンプリングすることができる。例えば、3Dレンダリング装置は、重要度サンプリング方法などによって整合画像から間接光源をサンプリングしてもよい。3Dレンダリング装置は、整合画像に表われる輝度、カラー又はフラックス(flux)などの属性に基づいて整合画像の各領域で間接光源がサンプリングされる確率を決定してもよく、決定された確率により整合画像から間接光源をサンプリングしてもよい。
グローバルイルミネーション効果を適用しようとする3Dモデルに複数の直接光源が存在する場合、3Dレンダリング装置は、各直接光源の視点により間接光源を何度もサンプリングする必要がなく、整合画像に基づいてたった一度の間接光源のサンプリング過程を行ってレンダリングの処理速度を改善させることができる。また、整合画像を生成する整合過程を介して各直接光源の視点からレンダリングされた場面間の重複性が除去されて同一領域で間接光源が重複的にサンプリングされることを防止することができる。そして、1つの属性に対して直接光源が互いに異なる特性を有する時、整合画像から間接光源がサンプリングされる過程を介して直接光源の異質な特性が統合処理されるため、レンダリング結果映像の画質が改善される。
ステップS240における3Dレンダリング装置は、整合画像からサンプリングされた間接光源による間接光効果を処理する。3Dレンダリング装置は、サンプリングされた間接光源を用いて間接光遮蔽効果を算出し、算出された間接光遮蔽効果を3Dモデルに適用することができる。3Dレンダリング装置は、整合画像でサンプリングされた間接光源の位置に対応する3Dモデル上の位置に間接光源を配置し、間接光源による間接光効果を3Dモデルに適用して3Dモデルをレンダリングする。
図3A及び図3Bは、一実施形態に係る直接光源と間接光源との間の関係を説明するための図である。
図3Aを参照すると、3Dモデルを構成する3Dオブジェクト320,330と直接光源310が示されている。ここでは、説明の便宜のために1つの直接光源310だけを示すが、3Dモデルは複数の直接光源を有してもよい。3Dモデルに含まれた直接光源310は、3Dオブジェクト320に光を直接放射する光源である。直接光源310と3Dオブジェクト320との間の位置関係によって3Dモデルがレンダリングされる仮想空間において、一次的に明るい領域と暗い領域が決定されてもよい。直接光源310から放射された光は、3Dオブジェクト320によって反射、屈折又は回折することができる。直接光源310から出力された光340は、例えば、3Dオブジェクト320に反射した後、他の3Dオブジェクト330に再び反射することができる。ここで、他の3Dオブジェクト330は、3Dオブジェクト320の周辺領域を取り囲んでいる壁面と仮定する。3Dモデルは、カメラ315の視点からレンダリングされて、レンダリング結果映像がユーザに提供されてもよい。
3Dレンダリング装置は、直接光源310から出力された光による直接光効果だけでなく間接光源から出力された光による間接光効果を3Dモデルに適用して3Dモデルをレンダリングする。間接光源は、直接光源から放射された光が反射、回折又は屈折した領域で光を放射する光源である。図3Bを参照すると、直接光源310から出力された光340が3Dオブジェクト320に反射した領域に位置する間接光源355及び光340が他の3Dオブジェクト330に反射した領域に位置する間接光源350,360が示されている。3Dオブジェクト320,330を含む3Dモデルがレンダリングされる過程において、直接光源310だけでなく間接光源350,355,360による照明効果が3Dモデルに適用されてレンダリングされる。
間接光源350,355,360は、直接光源310だけでなく各間接光源350,355,360が位置する3Dモデル領域の特性に影響を受ける。各間接光源350,355,360が位置する3Dモデルの表面のカラーにより間接光源350,355,360は、互いに異なるカラーの光を放射してもよい。例えば、間接光源355が位置した3Dオブジェクト320の表面のカラーが赤色であれば、間接光源355は赤色の光を周辺に放射することができる。
図4は、一実施形態に係る3Dレンダリング装置の構成を示す図である。
3Dレンダリング装置400は、3Dモデルをレンダリングしてレンダリング結果映像を出力する。3Dモデルに複数の直接光源が存在する環境における3Dレンダリング装置400は、直接光源と関連する間接光源をサンプリングし、3Dモデルにサンプリングされた間接光源を配置して間接光源による間接光効果を3Dモデルに適用することができる。図4を参照すると、3Dレンダリング装置400は、レンダリング部410及び場面情報格納部420を含む。
レンダリング部410は、3Dモデルをレンダリングする。レンダリング部410は、間接光効果のための間接光源をサンプリングし、直接光源による直接光効果及び間接光源による間接光効果を3Dモデルに適用して3Dモデルをレンダリングする。
レンダリング部410は、各直接光源の視点から3Dモデルをレンダリングして各直接光源の視点からレンダリングされた場面に関する場面情報を取得することができる。例えば、場面情報は、それぞれの場面に含まれたピクセルの輝度、標準、カラー、反射フラックス、位置、及び奥行き値などに対する属性情報を含んでもよい。レンダリング部410は、各直接光源の視点から3Dモデルを属性別に順次レンダリングしたり、又はMRT(Multi Render Target)機能を用いて属性別に3Dモデルのレンダリングを一度のレンダリング過程を介して行うことができる。場面情報格納部420は、各直接光源の視点からレンダリングされた場面に関する場面情報を格納し、格納された場面情報は、整合画像を生成したり、又は3Dモデルをレンダリングするのに用いる。
レンダリング部410は、場面情報に基づいて各直接光源の視点からレンダリングされた場面が整合された整合画像を生成することができる。レンダリング部410は、場面で互いに重複したり又は互いに対応する領域を統合して整合画像を生成してもよい。レンダリング部410は、場面情報を用いて直接光源の各視点からレンダリングされた場面間に対応する同一の領域を識別し、同一の領域に関する情報を統合して直接光源の各視点からレンダリングされた場面を結合することによって整合画像を生成してもよい。
レンダリング部410は、例えば、複数の直接光源のうちでいずれか1つの基準直接光源を決定し、基準直接光源を除いた残りの直接光源の視点からのレンダリング結果を基準直接光源の視点により変換してもよい。レンダリング部410は、基準直接光源の視点からのレンダリング結果と残りの直接光源に対する変換されたレンダリング結果を統合して整合画像を生成してもよい。
レンダリング部410は、3Dモデルに関する情報及びカメラパラメータ情報を用いて整合画像を容易に生成してもよい。例えば、レンダリング部410は、直接光源の視点からレンダリングされるのに用いられるカメラパラメータ情報を用いて残りの直接光源の視点からのレンダリング結果を基準直接光源の視点により変換し、各直接光源に対するレンダリング結果を統合して整合画像を生成してもよい。カメラパラメータ情報としてカメラの内部パラメータ又は外部パラメータに関する情報を用いてもよい。例えば、カメラの内部パラメータは、焦点の距離及び主点などに関する情報を含んでもよく、外部パラメータは、カメラの3D世界座標(world coordinates)及びカメラが向かう方向(heading direction)などに関する情報を含んでもよい。
一実施形態によれば、レンダリング部410は、属性情報別に整合画像を生成することができる。属性情報のセットは、直接光源の各視点からレンダリングされた各場面に対する属性情報のうち1つのタイプである。例えば、属性情報の1セットは、直接光源の各視点からレンダリングされた各視点に対する輝度情報又は直接光源の各視点からレンダリングされた各場面に対する奥行き値情報であってもよい。レンダリング部410は、いずれか1つの属性情報と関連する場面の整合結果に基づいて他の属性情報と関連する整合画像を生成してもよい。例えば、レンダリング部410は、輝度属性に関する整合画像を生成した後に、輝度属性に関する場面の整合結果を奥行き値属性(depth value attribute)に関する場面の整合過程に適用して奥行き値属性に関する整合画像を生成してもよい。
各直接光源の視点から3Dモデルがレンダリングされる時、同一の3Dモデル座標及び同一の直接光源と関連して同時に属性情報が生成されるため、いずれか1つの属性に関する場面の整合過程が完了すれば、当該整合結果を他の属性に関する場面の整合過程で用いてもよい。したがって、間接光源のサンプリング及び間接光効果の処理に利用しようとする属性情報別に整合画像が必要であるが、場面の整合過程は、属性情報の個数程行われる必要がなく、一度だけ行われれば充分である。格納空間のような資源の効率性を増加させるために、属性情報別に整合画像が生成された後に場面情報格納部420に格納された場面情報は、除去されてもよい。
レンダリング部410は、整合画像を用いて1つ以上の間接光源をサンプリングしてもよい。レンダリング部410は、重要度サンプリング方法などのような関連技術分野で用いられる様々なサンプリング方法によって整合画像から間接光源をサンプリングすることができる。例えば、レンダリング部410は、整合画像に表われる輝度、カラー又はフラックスなどの特徴に基づいて整合画像の各領域で間接光源がサンプリングされる確率を決定し、決定された確率により整合画像から間接光源をサンプリングすることができる。レンダリング部410は、間接光源のサンプリング過程を介して3Dモデル上の領域に間接光源を配置して間接光効果を適用するものであるかを決定してもよい。
別の実施形態によれば、レンダリング部410は、整合画像を複数の領域に分割して、分割された領域内の間接光源をサンプリングしようとする関心領域にだけ間接光源を選択的にサンプリングする。関心領域は、ユーザの選択によって決定されたり、又は整合画像内の明るさ分布、又は3Dオブジェクトの動きなどに基づいて決定されてもよい。例えば、整合画像に含まれた複数の領域内の領域の平均明るさが予め設定された値より大きい領域、又は動く3Dオブジェクトが存在する領域が関心領域として決定され得る。レンダリング部410は、関心領域ごとに個別的に重要度マップを生成し、生成された重要度マップを用いて関心領域で重要度サンプリングを行ってもよい。レンダリング部410は、複数の関心領域に対する重要度マップを並列に生成してもよい。レンダリング部410は、関心領域別にサンプリングされる間接光源の個数を予め決定し、決定された個数程、関心領域で間接光源をサンプリングしてもよい。レンダリング部410は、整合画像の明るさ分布、カラー分布、及びフラックス分布のうちの1つ以上に基づいて関心領域でサンプリングされる間接光源の個数を決定してもよい。
1つの属性に対して直接光源が互いに異なる特性を有するとしても、整合画像において間接光源がサンプリングされる過程で自然に統合処理することができる。例えば、第1直接光源及び第2直接光源が3Dモデル上の共通領域を照らしており、第1直接光源と第2直接光源が互いに異なるカラーを有するのであれば、当該共通領域においてサンプリングされた間接光源は、第1直接光源及び第2直接光源のカラーが混ざった特性を有する。互いに異なる特性の直接光源による間接光源が3Dモデル上の共通領域に配置される場合、当該直接光源の属性が統合されて間接光源がサンプリングされるため、レンダリング結果映像の画質が改善され得る。
レンダリング部410は、間接光源のサンプリング過程を介して決定された3Dモデル上の領域に間接光源による間接光効果を適用してもよい。レンダリング部410は、様々な属性情報別に生成された整合画像から間接光効果を算出するのに必要な情報を抽出し、抽出された情報を用いて間接光源が配置された領域での間接光効果を算出してもよい。レンダリング部410は、間接光源による間接光効果を3Dモデルに適用して3Dモデルをレンダリングすることができる。
別の実施形態によれば、レンダリング部410は、3Dモデルに含まれた全直接光源のうち一部直接光源に対してのみマルチビューマッチングを適用することができる。例えば、さらに多い間接光源らをサンプリングしたり、又は特定直接光源に対しては独立した間接光源のサンプリング過程が必要な場合、レンダリング部410は、一部直接光源に対してのみマルチビューマッチングを適用してもよい。レンダリング部410は、各一部直接光源の視点からレンダリングされた場面を整合して1つの整合画像を生成し、整合画像から間接光源をサンプリングしてもよい。レンダリング部410は、各一部直接光源の視点から3Dモデルをレンダリングし、場面情報格納部420は、各一部直接光源の視点からレンダリングされた場面に対する場面情報を格納する。レンダリング部410は、場面情報に基づいて各一部直接光源の視点からレンダリングされた場面が整合された第1映像を生成し、第1映像から間接光源をサンプリングする。レンダリング部410は、一部直接光源を除いた残りの直接光源に対しては残りの直接光源の視点から3Dモデルをレンダリングして第2映像を生成し、第2映像から間接光源をサンプリングする。残りの直接光源が複数の場合、レンダリング部410は、それぞれの残りの直接光源の視点から3Dモデルをレンダリングして複数の第2映像を生成し、それぞれの第2映像から間接光源をサンプリングすることができる。レンダリング部410は、間接光源のサンプリング結果を統合して3Dモデル上に間接光源を配置してもよい。
また別の実施形態によれば、レンダリング部410は、各直接光源の視点からレンダリングされた場面を比較し、比較結果に基づいて当該場面が整合された整合画像を生成するか否かを決定することができる。例えば、レンダリング部410は、場面において、互いに重複、又は対応する領域の大きさ、又は場面の大きさと対応する領域の大きさとの間の比率が予め設定された条件を満たす場合に整合画像を生成することに決め、その他の場合には、整合画像を生成しないことに決めることができる。整合画像を生成することに決めた場合、レンダリング部410は、場面に関する場面情報に基づいて整合画像を生成することができる。レンダリング部410は、整合画像から間接光源をサンプリングし、サンプリング結果に基づいて3Dモデルに間接光効果を適用してもよい。反対に、整合画像を生成しないことに決めた場合、レンダリング部410は、各直接光源の視点から3Dモデルをレンダリングして複数の映像を生成し、生成された各映像で間接光源を独立的にサンプリングしてもよい。
図5は、一実施形態に係る(i−1)番目、i番目、及び(i+1)番目の直接光源の各視点からレンダリングされた3つの場面の輝度、標準、及び奥行きの属性値の一例を示す図である。
(i−1)番目、i番目、及び(i+1)番目の直接光源の各視点からレンダリングされた3つの場面の輝度属性情報は、輝度属性情報のセットである。(i−1)番目、i番目、及び(i+1)番目の直接光源の各視点からレンダリングされた3つの場面の標準属性情報は、標準属性情報のセットである。(i−1)番目、i番目、及び(i+1)番目の直接光源の各視点からレンダリングされた3つの場面の奥行き値属性情報は、奥行き値属性情報のセットである。
図6は、一実施形態に係る各直接光源の視点からレンダリングされた場面を整合して整合画像を生成する過程を説明するための図である。
図6には、3つの直接光源の互いに異なる視点から3Dモデルをレンダリングした場面610,620,630が示されている。場面610,620,630は、3Dモデルに関するいずれか1つの属性に関してレンダリングされた場面である。例えば、場面610,620,630は、3Dモデルの輝度、奥行き値、位置、標準、反射フラックス、又はカラーなどの属性に関して3Dモデルがレンダリングされた場面である。
3Dレンダリング装置は、各直接光源の視点からレンダリングされた場面610,620,630を整合して1つの整合画像640を生成することができる。3Dレンダリング装置は、場面610,620,630で互いに対応又は重複する領域を統合して整合画像640を生成することができる。3Dレンダリング装置は、例えば、3つの直接光源のうち場面620と関連する直接光源を基準直接光源で決定してもよく、基準直接光源の視点に基づいて残りの直接光源の視点からレンダリングされた場面610,630を変換してもよい。3Dレンダリング装置は、場面610,630の変換結果と基準直接光源の視点からレンダリングされた場面620を統合して整合画像640を生成してもよい。
図7は、一実施形態に係る整合画像から間接光源をサンプリングする過程を説明するための図である。
3Dレンダリング装置は、整合画像640から間接光効果を提供する間接光源710をサンプリングし、サンプリング結果に基づいて3Dモデル上に間接光源が配置される領域を決定することができる。例えば、3Dレンダリング装置は、重要度サンプリング方法によって整合画像640から間接光源710をサンプリングすることができる。整合画像に表われる輝度、カラー、又はフラックスなどの特徴に基づいて、間接光源がサンプリングされる確率が決定されてもよく、決定された確率情報は重要度マップと表現されてもよい。3Dレンダリング装置は、重要度マップに含まれた確率情報に基づいて整合画像640から間接光源710をサンプリングすることができる。
3Dレンダリング装置は、整合画像640の輝度分布、BRDF(Bidirectional Reflectance Distribution Function)、及びBSSRDF(Bidirectional Surface Scattering Reflectance Distribution Function)などに基づいて間接光源710をサンプリングしてもよい。例えば、3Dレンダリング装置は、整合画像640に含まれた各ピクセルの明るさ(light intensity)値に基づいて間接光源710がサンプリングされる確率情報を決定し、決定された確率情報に基づいて間接光源が配置される領域を決定することができる。整合画像640における明るい領域は、暗い領域より間接光源がサンプリングされる確率が相対的に高く設定されてもよい。
図8は、一実施形態に係る3Dレンダリング方法の動作を説明するためのフローチャートである。
ステップS810における3Dレンダリング装置は、各直接光源の視点から3Dモデルをレンダリングして直接光源それぞれの視点からレンダリングされた場面に関する場面情報を取得する。例えば、場面情報は、それぞれの場面に含まれたピクセルの輝度、標準、カラー、反射フラックス、位置、及び奥行き値などに対する属性情報を含んでもよい。
ステップS820における3Dレンダリング装置は、ステップS810で取得された場面情報に基づいて各直接光源の視点からレンダリングされた場面が結合された整合画像を生成する。3Dレンダリング装置は、関連技術分野で公知になった様々なマルチビューマッチング方法によって各直接光源の視点からレンダリングされた場面を整合して1つの整合画像を生成することができる。3Dレンダリング装置は、属性情報別に整合画像を生成してもよく、いずれか1つの属性情報と関連する場面の整合結果に基づいて他の属性情報と関連する整合画像を生成してもよい。
ステップS830における3Dレンダリング装置は、ステップS820で生成された整合画像を用いて1つ以上の間接光源をサンプリングする。例えば、3Dレンダリング装置は、整合画像に表われる輝度、カラー、又はフラックスなどの特徴に基づいて整合画像の各領域で間接光源がサンプリングされる確率を決定してもよく、決定された確率により整合画像から間接光源をサンプリングしてもよい。
ステップS840における3Dレンダリング装置は、3Dモデルに間接光源による間接光効果を3Dモデルに適用して3Dモデルをレンダリングする。3Dレンダリング装置は、間接光源による間接光遮蔽及び直接光源による直接光遮蔽を3Dモデルに適用してグローバルイルミネーション効果を実現することができる。3Dレンダリング装置は、3Dモデルをレンダリングしてレンダリング結果映像を出力してもよい。
図9は、別の実施形態に係る3Dレンダリング方法の動作を説明するためのフローチャートである。
ステップS910における3Dレンダリング装置は、全ての直接光源のうち一部の直接光源の視点から3Dモデルをレンダリングして一部の直接光源それぞれの視点からレンダリングされた場面に関する場面情報を取得する。
ステップS920における3Dレンダリング装置は、ステップS910で取得された場面情報に基づいて一部の直接光源の視点からレンダリングされた場面を整合した第1映像を生成する。3Dレンダリング装置は、一部の直接光源の視点からレンダリングされた場面において、互いに対応、又は重複する領域を統合して第1映像を生成することができる。3Dレンダリング装置は、3Dモデルに関する情報及び一部の直接光源の視点に関するカメラパラメータ情報に基づいて第1映像を生成してもよい。3Dレンダリング装置は、属性情報別に第1映像を生成してもよい。3Dレンダリング装置は、いずれか1つの属性情報と関連する場面の整合結果に基づいて他の属性情報と関連する第1映像を生成してもよい。
ステップS930における3Dレンダリング装置は、ステップS920で生成された第1映像を用いて間接光源をサンプリングする。3Dレンダリング装置は、重要度サンプリング方法など関連技術分野で用いられる様々なサンプリング方法によって第1映像から間接光源をサンプリングすることができる。
ステップS940における3Dレンダリング装置は、一部の直接光源を除いた残りの直接光源の視点から3Dモデルをレンダリングして第2映像を生成する。残りの直接光源が複数の場合、3Dレンダリング装置は、それぞれの残りの直接光源の視点から3Dモデルをレンダリングして複数の第2映像を生成することができる。
ステップS950における3Dレンダリング装置は、ステップS940で生成した第2映像を用いて間接光源をサンプリングする。3Dレンダリング装置は、ステップS930と同様に、重要度サンプリング方法などによって第2映像から間接光源をサンプリングする。
ステップS960における3Dレンダリング装置は、3Dモデルに間接光源による間接光効果を適用して3Dモデルをレンダリングする。3Dレンダリング装置は、第1映像からサンプリングされた間接光源と第2映像からサンプリングされた間接光源に基づいて3Dモデル上に間接光源が配置される領域を決定することができる。3Dレンダリング装置は、決定された3Dモデルの領域に間接光源を配置して、間接光遮蔽処理して間接光効果を3Dモデルに適用してもよい。
図10は、また別の実施形態に係る3Dレンダリング方法の動作を説明するためのフローチャートである。
ステップS1010における3Dレンダリング装置は、3Dモデルを各直接光源の視点からレンダリングした場面を比較する。例えば、3Dレンダリング装置は、各直接光源の視点からレンダリングした場面を比較して場面間において、互いに対応又は重複する領域が存在するのか、又は、重複する領域の大きさ、又は、場面の大きさと対応する領域の大きさとの間の比率がどれくらいなのかなどを決めることができる。
ステップS1020における3Dレンダリング装置は、ステップS1010の比較結果に基づいて、各直接光源の視点からレンダリングされた場面を整合して整合画像を生成するか否かを決定する。例えば、3Dレンダリング装置は、場面間において、重複する領域の大きさ、又は場面の大きさと対応する領域の大きさとの間の比率が予め設定された条件を満たす場合に整合画像を生成することに決めることができる。各直接光源の視点からレンダリングされた場面間において、重複する領域が少なかったり、ほぼない場合、3Dレンダリング装置は、整合画像を生成しないことに決めてもよい。
ステップS1020において、整合画像を生成することに決めた場合、ステップS1030における3Dレンダリング装置は、各直接光源の視点からレンダリングされた場面に関する場面情報に基づいて整合画像を生成する。3Dレンダリング装置は、場面において互いに対応又は重複する領域を統合して整合画像を生成することができる。
ステップS1040における3Dレンダリング装置は、ステップ1030で生成された整合画像を用いて間接光源をサンプリングする。3Dレンダリング装置は、重要度サンプリング方法など関連技術分野で用いられる様々なサンプリング方法によって整合画像から間接光源をサンプリングすることができる。
ステップS1020において、整合画像を生成しないことに決めた場合、ステップS1050における3Dレンダリング装置は、各直接光源の視点から3Dモデルをレンダリングして生成された複数の映像を用いて間接光源をサンプリングする。3Dレンダリング装置は、各直接光源の視点から3Dモデルをレンダリングして複数の映像を生成し、生成された各映像から間接光源を独立的にサンプリングすることができる。
ステップS1060における3Dレンダリング装置は、ステップS1040又はステップS1050でサンプリングされた間接光源による間接光効果を3Dモデルに適用して3Dモデルをレンダリングする。
以上、説明した構成及び/又は方法によって直接光源の個数より少ない個数の間接光源のサンプリングを行って3Dレンダリングに所要する時間を節約してもよい。全ての直接光源から生成された映像が整合されれば、一度だけの間接光源のサンプリングによって間接光源が生成されてもよく、一部の直接光源から生成された映像が整合されても全間接光源のサンプリングの個数は、直接光源の個数より少ない。
以上で説明された実施形態は、ハードウェア構成属性、ソフトウェア構成属性、及び/又はハードウェア構成属性及びソフトウェア構成属性の組合で実現してもよい。例えば、実施形態で説明された装置、方法及び構成属性は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサー、又は、命令(instruction)を実行して応答できる様々な任意の装置として、1つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて実現されてもよい。処理装置はオペレーティングシステム(OS)及び前記オペレーティングシステム上で行われる1つ以上のソフトウェアアプリケーションを行ってもよい。また、処理装置は、ソフトウェアの実行に応答して、データをアクセス、格納、操作、処理及び生成してもよい。理解の便宜のために、処理装置は1つが使用されるものと説明される場合もあるが、当該の技術分野で通常の知識を有する者は、処理装置が複数の処理属性(processing element)及び/又は複数類型の処理属性を含んでいることが分かる。例えば、処理装置は、複数のプロセッサ又は1つのプロセッサ及び1つのコントローラを含んでもよい。また、並列プロセッサ(parallel processor)のような、他の処理構成も可能である。
ソフトウェアはコンピュータプログラム、コード、命令、又は、これらのうちの1つ以上の組合を含んでもよく、希望の通りに動作するように処理装置を構成し、独立的に又は協調的に処理装置を命令してもよい。ソフトウェア及び/又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いかなる類型の機械、構成属性(component)、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化できる。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散し、分散された方法で格納されたり実行されてもよい。ソフトウェア及びデータは1つ以上のコンピュータ読取可能な記録媒体に格納されてもよい。
実施形態に係る方法は、多様なコンピュータ手段を介して行われることができるプログラム命令形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。前記コンピュータ読取可能な記録媒体はプログラム命令、データファイル、データ構造などを単独で又は組合せて含んでもよい。
前記媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、光ディスクのような光磁気媒体、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなくインタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記ハードウェア装置は、本発明の動作を行うために1つ以上のソフトウェアモジュールとして動作するように構成されてもよく、その逆も同様である。
上述のように、限定された図面によって実施形態が説明されたが、当該技術分野で通常の知識を有する者であれば、前記の記載から多様な修正及び変形が可能である。例えば、説明された技術が説明された方法と異なる順序で行われたり、及び/又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組合せたり、他の構成要素又は均等物によって代替、置換されても適切な結果が達成される。従って、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だければはく特許請求の範囲と均等なものなどによって定められるものである。
400:3Dレンダリング装置
410:レンダリング部
420:場面情報格納部

Claims (37)

  1. 3Dモデルをレンダリングする3Dレンダリング方法において、
    直接光源の視点から前記3Dモデルをレンダリングして前記直接光源それぞれの視点からレンダリングされた場面に関する場面情報を取得するステップと、
    前記場面情報に基づいて前記場面が整合された整合画像を生成するステップと、
    前記整合画像から少なくとも1つの間接光源をサンプリングするステップと、
    を含む、3Dレンダリング方法。
  2. 前記整合画像を生成するステップは、前記場面において互いに対応する領域を統合して前記整合画像を生成する、請求項1に記載の3Dレンダリング方法。
  3. 前記場面情報は、それぞれの場面に含まれたピクセルの輝度、標準、カラー
    、反射フラックス、位置、及び奥行き値のうち少なくとも1つに対する属性情報を含む、請求項1又は2に記載の3Dレンダリング方法。
  4. 前記整合画像を生成するステップは、前記属性情報別に前記場面が整合された整合画像を生成する、請求項3に記載の3Dレンダリング方法。
  5. 前記整合画像を生成するステップは、
    第1属性情報に基づいて前記場面を整合させることによって前記第1属性情報と関連する整合画像を生成するステップと、
    第1属性情報に基づいた前記場面の整合結果に基づいて第2属性情報と関連する整合画像を生成するステップと、
    を含む、請求項4に記載の3Dレンダリング方法。
  6. 前記整合画像を生成するステップは、前記直接光源の視点に関するカメラパラメータ情報に基づいて前記整合画像を生成する、請求項1乃至5のいずれか一項に記載の3Dレンダリング方法。
  7. 前記間接光源をサンプリングするステップは、
    前記整合画像を複数の領域に分割するステップと、
    前記領域内の間接光源をサンプリングしようとする関心領域で前記間接光源をサンプリングするステップと、
    を含む、請求項1乃至6のいずれか一項に記載の3Dレンダリング方法。
  8. 前記サンプリングされた少なくとも1つの間接光源による間接光効果を前記3Dモデルに適用して前記3Dモデルをレンダリングするステップをさらに含む、請求項1乃至7のいずれか一項に記載の3Dレンダリング方法。
  9. 直接光源は、3Dオブジェクトに光を直接放射し、間接光源は、前記直接光源から放射された光が反射、回折又は屈折した領域で光を放射する、請求項1乃至8のいずれか一項に記載の3Dレンダリング方法。
  10. 3Dモデルをレンダリングする3Dレンダリング方法において、
    全ての直接光源のうち一部の直接光源の視点から前記3Dモデルをレンダリングして前記一部の直接光源のそれぞれの視点からレンダリングされた場面に関する場面情報を取得するステップと、
    前記場面情報に基づいて前記場面が整合された第1映像を生成するステップと、
    前記第1映像から少なくとも1つの間接光源をサンプリングするステップと、
    を含む、3Dレンダリング方法。
  11. 前記一部の直接光源に含まれない残りの直接光源の視点から前記3Dモデルをレンダリングして第2映像を生成するステップと、
    前記第2映像を用いて少なくとも1つの間接光源をサンプリングするステップと、
    をさらに含む、請求項10に記載の3Dレンダリング方法。
  12. 前記第1映像及び前記第2映像それぞれに基づいてサンプリングされた間接光源による間接光効果を前記3Dモデルに適用して前記3Dモデルをレンダリングするステップをさらに含む、請求項11に記載の3Dレンダリング方法。
  13. 前記第1映像を生成するステップは、前記場面において互いに対応する領域を統合して前記第1映像を生成する、請求項10乃至12のいずれか一項に記載の3Dレンダリング方法。
  14. 前記場面情報は、それぞれの場面に含まれたピクセルの輝度、標準、カラー、反射フラックス、位置、及び奥行き値のうち少なくとも1つに対する属性情報を含む、請求項10乃至13のいずれか一項に記載の3Dレンダリング方法。
  15. 3Dモデルをレンダリングする3Dレンダリング方法において、
    前記3Dモデルを直接光源の視点からレンダリングした場面を比較して前記場面が整合された整合画像を生成するか否かを決定するステップと、
    前記整合画像を生成する場合、前記場面に関する場面情報に基づいて前記場面が整合された整合画像を生成するステップと、
    前記整合画像を用いて少なくとも1つの間接光源をサンプリングするステップと、
    を含む、3Dレンダリング方法。
  16. 前記整合画像を生成するか否かを決定するステップは、前記場面において、互いに対応する領域の大きさ、又は前記場面の大きさと前記対応する領域の大きさとの間の比率が予め設定された条件を満たす場合、前記整合画像を生成することを決定する、請求項15に記載の3Dレンダリング方法。
  17. 前記整合画像を生成するステップは、前記場面において互いに対応する領域を統合して前記整合画像を生成する、請求項15又は16に記載の3Dレンダリング方法。
  18. 前記場面情報は、それぞれの場面に含まれたピクセルの輝度、標準、カラー、反射フラックス、位置、及び奥行き値のうち少なくとも1つに対する属性情報を含む、請求項15乃至17のいずれか一項に記載の3Dレンダリング方法。
  19. 前記整合画像を生成するステップは、前記直接光源の視点に関するカメラパラメータ情報に基づいて前記整合画像を生成する、請求項15乃至18のいずれか一項に記載の3Dレンダリング方法。
  20. 直接光源の視点から3Dモデルをレンダリングするレンダリング部と、
    前記直接光源の視点からレンダリングされた場面に関する場面情報を格納する場面情報格納部と、を含み、
    前記レンダリング部は、
    前記場面情報に基づいて前記場面が整合された整合画像を生成して、前記整合画像から少なくとも1つの間接光源をサンプリングする、3Dレンダリング装置。
  21. 前記レンダリング部は、前記場面において互いに対応する領域を統合して前記整合画像を生成する、請求項20に記載の3Dレンダリング装置。
  22. 前記場面情報は、それぞれの場面のピクセルの輝度、標準、カラー、反射フラックス、位置、及び奥行き値のうち少なくとも1つに対する属性情報を含む、請求項20又は21に記載の3Dレンダリング装置。
  23. 前記レンダリング部は、前記場面を比較して前記整合画像を生成するか否かを判断し、前記整合画像を生成することを決定した場合に前記場面に関する場面情報に基づいて前記整合画像を生成する、請求項20乃至22のいずれか一項に記載の3Dレンダリング装置。
  24. 前記レンダリング部は、前記直接光源の視点に関するカメラパラメータ情報に基づいて前記整合画像を生成する、請求項20乃至23のいずれか一項に記載の3Dレンダリング装置。
  25. 前記レンダリング部は、前記サンプリングされた少なくとも1つの間接光源による間接光効果を前記3Dモデルに適用して前記3Dモデルをレンダリングする、請求項20乃至24のいずれか一項に記載の3Dレンダリング装置。
  26. 全ての直接光源のうち一部の直接光源の視点から3Dモデルをレンダリングするレンダリング部と、
    前記一部の直接光源の視点からレンダリングされた場面に関する場面情報を格納する場面情報格納部とを含み、
    前記レンダリング部は、
    前記場面情報に基づいて前記場面が整合された第1映像を生成して、前記第1映像から少なくとも1つの間接光源をサンプリングする、3Dレンダリング装置。
  27. 前記レンダリング部は、前記一部の直接光源に含まれない残りの直接光源の視点から前記3Dモデルをレンダリングして第2映像を生成し、前記第2映像を用いて少なくとも1つの間接光源をサンプリングする、請求項26に記載の3Dレンダリング装置。
  28. 前記レンダリング部は、前記第1映像及び前記第2映像それぞれに基づいてサンプリングされた間接光源による間接光効果を前記3Dモデルに適用して前記3Dモデルをレンダリングする、請求項27に記載の3Dレンダリング装置。
  29. 3Dモデルをレンダリングする3Dレンダリング方法において、
    直接光源の各視点から前記3Dモデルをレンダリングするステップと、
    前記レンダリングの結果から合成映像を生成するステップと、
    前記合成映像から間接光源をサンプリングするステップと、
    を含む、3Dレンダリング方法。
  30. 前記3Dモデルをレンダリングするステップは、互いに対応する領域を含む場面を生成し、
    前記場面は、少なくとも2つの直接光源の各視点からそれぞれレンダリングされる互いに対応する領域を含み、
    前記合成映像を生成するステップは、前記合成映像を取得するために前記対応する領域を含む前記場面を結合するステップを含む、請求項29に記載の3Dレンダリング方法。
  31. 前記3Dモデルをレンダリングするステップは、前記直接光源の各視点からそれぞれレンダリングされた場面を生成し、
    前記3Dレンダリング方法は、それぞれの場面の場面情報を取得するステップをさらに含み、
    前記合成映像を生成するステップは、
    前記場面情報に基づいて前記場面において対応する領域を識別するステップと、
    前記合成映像を取得するために前記対応する領域を含む場面を結合させるステップと、
    を含む、請求項29又は30に記載の3Dレンダリング方法。
  32. 前記場面は、前記直接光源の各視点からそれぞれレンダリングされた属性と関連する場面を含み、
    前記対応する領域を識別するステップは、前記属性のうちいずれか1つに基づいて前記対応する領域を識別する請求項31に記載の3Dレンダリング方法。
  33. 前記対応する領域を含む場面を結合するステップは、前記属性のうちいずれか1つに基づいて識別された対応する領域に基づいて複数の属性の全部と関連する対応する領域を含む場面を結合するステップを含む、請求項32に記載の3Dレンダリング方法。
  34. 前記属性は、輝度、反射フラックス、標準、位置、及び奥行き値のうち2つ以上を含む、請求項32又は33に記載の3Dレンダリング方法。
  35. 前記間接光源をサンプリングするステップは、前記合成映像から一度に間接光源をサンプリングするステップを含む、請求項29乃至34のいずれか一項に記載の3Dレンダリング方法。
  36. 請求項1乃至19及び29乃至35のうちいずれか一項に記載の3Dレンダリング方法を、3Dレンダリング装置のプロセッサに実行させるコンピュータプログラム。
  37. 請求項36に記載のコンピュータプログラムを記憶する記憶媒体。
JP2015238716A 2014-12-15 2015-12-07 3dレンダリング方法及び装置 Active JP6600544B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140180315A KR102292923B1 (ko) 2014-12-15 2014-12-15 3d 렌더링 방법 및 장치
KR10-2014-0180315 2014-12-15

Publications (2)

Publication Number Publication Date
JP2016115347A JP2016115347A (ja) 2016-06-23
JP6600544B2 true JP6600544B2 (ja) 2019-10-30

Family

ID=54849552

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015238716A Active JP6600544B2 (ja) 2014-12-15 2015-12-07 3dレンダリング方法及び装置

Country Status (5)

Country Link
US (2) US10297072B2 (ja)
EP (1) EP3035292B1 (ja)
JP (1) JP6600544B2 (ja)
KR (1) KR102292923B1 (ja)
CN (1) CN105701853B (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6202118B2 (ja) * 2016-03-09 2017-09-27 日本電気株式会社 描画装置、描画方法およびプログラム
JP7175585B2 (ja) * 2016-06-09 2022-11-21 大日本印刷株式会社 ヒートシール性樹脂フィルムおよびその製造方法、積層体ならびに包装材料
EP3662413A4 (en) 2017-08-04 2021-08-18 Outward Inc. MACHINE LEARNING BASED IMAGE PROCESSING TECHNIQUES
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
US10235797B1 (en) 2017-11-27 2019-03-19 Lowe's Companies, Inc. Inverse rendering of visual material properties
CN108063825B (zh) * 2017-12-26 2020-11-20 三星电子(中国)研发中心 一种远程协助方法
JP6854987B1 (ja) * 2018-02-27 2021-04-07 シグニファイ ホールディング ビー ヴィSignify Holding B.V. 1つ以上の光設定に基づく動的光シーンのレンダリング
WO2020045590A1 (ja) * 2018-08-30 2020-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
CN109857288A (zh) * 2018-12-18 2019-06-07 维沃移动通信有限公司 一种显示方法及终端
CN111489448A (zh) * 2019-01-24 2020-08-04 宏达国际电子股份有限公司 检测真实世界光源的方法、混合实境系统及记录介质
US11030800B2 (en) * 2019-11-08 2021-06-08 Chaos Software Ltd. Rendering images using modified multiple importance sampling
US11272164B1 (en) * 2020-01-17 2022-03-08 Amazon Technologies, Inc. Data synthesis using three-dimensional modeling
US11315310B2 (en) * 2020-03-12 2022-04-26 Nvidia Corporation Reservoir-based spatiotemporal importance resampling utilizing a global illumination data structure
CN112546626B (zh) * 2020-12-09 2024-03-26 杭州电魂网络科技股份有限公司 结合灯光的物体显示方法、装置、电子设备和存储介质
US11922556B2 (en) * 2021-04-12 2024-03-05 Nvidia Corporation Ray-traced light resampling using screen space visibility
CN113538455B (zh) * 2021-06-15 2023-12-12 聚好看科技股份有限公司 三维发型匹配方法及电子设备
KR102325647B1 (ko) * 2021-08-04 2021-11-12 파이어슈라이크게임즈 주식회사 라이트맵 기반 모바일 게임의 3d 객체 데이터 처리 방법, 장치 및 시스템
CN116309974B (zh) * 2022-12-21 2023-11-28 四川聚川诚名网络科技有限公司 一种动画场景渲染方法、系统、电子设备及介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6362822B1 (en) * 1999-03-12 2002-03-26 Terminal Reality, Inc. Lighting and shadowing methods and arrangements for use in computer graphic simulations
US6639594B2 (en) 2001-06-03 2003-10-28 Microsoft Corporation View-dependent image synthesis
JP4464657B2 (ja) 2002-11-12 2010-05-19 パナソニック株式会社 曲面画像処理装置及び曲面画像処理方法
US20040257364A1 (en) * 2003-06-18 2004-12-23 Basler Gregory A. Shadow casting within a virtual three-dimensional terrain model
DE602006005785D1 (de) 2005-01-12 2009-04-30 Koninkl Philips Electronics Nv Tiefenwahrnehmung
US8223148B1 (en) 2007-11-12 2012-07-17 Adobe Systems Incorporated Method and apparatus for computing indirect lighting for global illumination rendering in 3-D computer graphics
KR100938889B1 (ko) 2008-09-02 2010-01-27 엘지전자 주식회사 이미지 처리 시스템 및 이미지 처리 방법
US8314797B1 (en) * 2008-09-22 2012-11-20 Adobe Systems Incorporated Method and apparatus for irradiance computation in 3-D computer graphics
KR101100650B1 (ko) 2008-11-11 2012-01-03 한국전자통신연구원 맵데이터를 이용한 간접조명 표현과 다층 변위매핑 시스템 및 그 방법
KR100951121B1 (ko) 2008-12-08 2010-04-07 서강대학교산학협력단 간접 조명 효과를 위한 렌더링 방법
KR101845225B1 (ko) * 2011-06-30 2018-04-04 삼성전자주식회사 영상 처리 장치 및 방법
KR101334187B1 (ko) 2011-07-25 2013-12-02 삼성전자주식회사 다시점 렌더링 장치 및 방법
KR101080508B1 (ko) 2011-09-14 2011-11-04 인하대학교 산학협력단 다단계 점진적 포톤 매핑 방법
KR101399472B1 (ko) 2012-08-13 2014-06-27 (주)투비소프트 다중 프로세싱을 이용한 렌더링 처리 장치 및 방법
CN103077552B (zh) * 2012-12-27 2016-01-13 浙江大学 一种基于多视点视频的三维展示方法

Also Published As

Publication number Publication date
EP3035292B1 (en) 2020-03-18
US20190236838A1 (en) 2019-08-01
US20160171753A1 (en) 2016-06-16
CN105701853A (zh) 2016-06-22
JP2016115347A (ja) 2016-06-23
EP3035292A3 (en) 2016-07-06
US10297072B2 (en) 2019-05-21
EP3035292A2 (en) 2016-06-22
KR102292923B1 (ko) 2021-08-24
CN105701853B (zh) 2019-09-24
KR20160072547A (ko) 2016-06-23

Similar Documents

Publication Publication Date Title
JP6600544B2 (ja) 3dレンダリング方法及び装置
US11756223B2 (en) Depth-aware photo editing
US10636220B2 (en) Methods and systems for generating a merged reality scene based on a real-world object and a virtual object
US10861237B2 (en) Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
JP5891425B2 (ja) 追体験映像を提供することができる映像提供装置、映像提供方法、映像提供プログラム
US9164723B2 (en) Virtual lens-rendering for augmented reality lens
US9418629B2 (en) Optical illumination mapping
CN110998658A (zh) 利用结构化光和泛光的深度图
JP5795384B2 (ja) 映像処理装置、照明処理装置及びその方法
JP2016018560A (ja) 視覚効果を有するオブジェクトを表示する装置及び方法
KR102558737B1 (ko) 3d 렌더링 방법 및 장치
US9491428B2 (en) Color balancing based on reference points
US20240169489A1 (en) Virtual, augmented, and mixed reality systems and methods
KR102250254B1 (ko) 영상 처리 방법 및 장치
KR20160068186A (ko) 증강 현실 컨텐츠 제공 장치 및 방법
KR20110051315A (ko) 영상 처리 장치 및 방법
US9626791B2 (en) Method for representing a participating media in a scene and corresponding device
US11662808B2 (en) Virtual, augmented, and mixed reality systems and methods
JP2020513123A (ja) イメージに動的エフェクトを適用する方法および装置
US20230410418A1 (en) Image processing apparatus, image processing method, and storage medium
KR20200046538A (ko) 3차원 컬러 블록 생성 방법 및 시스템
KR20230146643A (ko) 에지 클라우드 아키텍처 및 p2p 스트리밍을 사용하는 라이트필드/몰입형 미디어를 위한 분할 렌더링
CN115244494A (zh) 用于处理扫描对象的系统和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191007

R150 Certificate of patent or registration of utility model

Ref document number: 6600544

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250