JP6138880B2 - 材料のcg表現のシェーディング - Google Patents

材料のcg表現のシェーディング Download PDF

Info

Publication number
JP6138880B2
JP6138880B2 JP2015182401A JP2015182401A JP6138880B2 JP 6138880 B2 JP6138880 B2 JP 6138880B2 JP 2015182401 A JP2015182401 A JP 2015182401A JP 2015182401 A JP2015182401 A JP 2015182401A JP 6138880 B2 JP6138880 B2 JP 6138880B2
Authority
JP
Japan
Prior art keywords
mirror
image
sample
light source
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015182401A
Other languages
English (en)
Other versions
JP2016027487A (ja
JP2016027487A5 (ja
Inventor
オグニャノブ ミテブ ペテル
オグニャノブ ミテブ ペテル
カテブ イリエブ イバイロ
カテブ イリエブ イバイロ
ヤンコブ ヨルダノブ イベリン
ヤンコブ ヨルダノブ イベリン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chaos Software Ltd
Original Assignee
Chaos Software Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chaos Software Ltd filed Critical Chaos Software Ltd
Publication of JP2016027487A publication Critical patent/JP2016027487A/ja
Publication of JP2016027487A5 publication Critical patent/JP2016027487A5/ja
Application granted granted Critical
Publication of JP6138880B2 publication Critical patent/JP6138880B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/80Shading
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/16Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Image Input (AREA)
  • Compositions Of Macromolecular Compounds (AREA)
  • Compounds Of Alkaline-Earth Elements, Aluminum Or Rare-Earth Metals (AREA)
  • Polyurethanes Or Polyureas (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

(背景)
本明細書は、材料のコンピュータグラフィックス(CG)表現のシェーディングに関する
。材料のCG表現をレンダリングするプロセスにおいて、1つ以上のシェーディング技術を
使用して、例えば、レンダリングされたシーンにおける所望の照明に基づいて材料の表面
の色及び輝度を決定することができる。
(概要)
一般に、本明細書で説明される主題の1つの革新的な態様は、装置として実施すること
ができ、該装置は、光を放射するレンズを有する光源;複数の第1の平面ミラーであって
、該光源が、該複数の第1の平面ミラーのそれぞれを直接照明するために移動可能である
、該複数の第1の平面ミラー;該複数の第1のミラーと該光源との間に材料サンプルを保持
するように構成されたサンプル支持体であって、該各第1のミラーが、様々な視点から材
料サンプルの各光景を反射するように配置された、該サンプル支持体;及び該光源に近接
したカメラであって、該光源が該各平面ミラーを直接照明するように配置されたときに、
該材料サンプルを反射する該第1のミラーのそれぞれの画像を撮るように構成された、該
カメラ;を備える。
これら及び他の実施態様はそれぞれ、任意に、1つ以上の以下の特徴を含み得る。放射
される光は、コリメート光であり得る。第1の平面ミラーの直接照明は、第2のミラーによ
って反射されて第1の平面ミラーに入射する光を光源のレンズから放射することを含み得
る。カメラは、材料サンプルのコンピュータグラフィックス表現をシェーディングするた
めのデータ構造の作成に使用されるシステムに画像を供給するようにさらに構成すること
ができる。第1の平面ミラーは、該第1の平面ミラーのそれぞれの表面が楕円体を画定する
ように配置することができる。材料サンプルの中心は、楕円体の中心を通る楕円体の断面
を取ることによって形成された楕円の第1の焦点に配置することができ、該楕円体の半軸
に沿っている。カメラは、楕円の第2の焦点に配置することができる。光源は、回転ディ
スクに取り付けることができる。
一般に、本明細書で説明される主題の別の革新的な態様は、方法として実施することが
でき、該方法は、複数の第1の画像を得る動作であって、各第1の画像が複数の領域を備え
、各領域が、複数のミラーのそれぞれに対応し、かつ対応するミラーによって反射される
材料の第1のサンプルの反射画像を含み、該複数のミラーが楕円体を画定する、該動作;
各第1の画像に対して:該第1の画像から該領域に対応する反射画像を抽出することによっ
て該第1の画像における各領域に対してそれぞれの領域画像を作成する動作であって、該
各領域画像が、複数の各領域画像画素を含む、該動作、及び該各領域画像をパレット化す
る動作;及び材料のCG表現のシェーディングに使用されるコンピュータグラフィックス(
CG)レンダリングエンジンに各パレット画像を供給する動作を含む。
この態様の他の実施態様は、それぞれこの方法の動作を実行するように構成された対応
するコンピュータシステム、装置、及び1つ以上のコンピュータ記憶装置に記録されたコ
ンピュータプログラムを含む。
1つ以上のコンピュータのシステムは、作動するとシステムが動作を実行する、該シス
テムにインストールされたソフトウェア、ファームウェア、ハードウェア、又はこれらの
組み合わせを有することによって特定のオペレーション又は動作を実施するように構成す
ることができる。1つ以上のコンピュータプログラムは、データ処理装置によって実行さ
れると該データ処理装置が動作を実行する命令を含めることによって特定のオペレーショ
ン又は動作を実行するように構成することができる。
これら及び他の実施態様はそれぞれ、任意に、1つ以上の以下の特徴を含み得る。この
方法は、複数の第1の画像の校正に使用されるジオメトリ校正データ及び色校正データを
得るステップをさらに含み得る。第1の画像における各領域のそれぞれの領域画像を作成
するステップは:ジオメトリ校正データを用いて第1の画像から領域に対応する反射画像
を抽出するステップ;及び反射画像の色を色校正データを用いて調整して領域画像を作成
するステップを含み得る。この方法は、各領域画像画素に対して:複数のミラーによって
画定された楕円体を第1の数のセクターに分割するステップであって、材料によって反射
される光線が、各セクターへの到達について等しい確率を有する、該ステップ、各セクタ
ーを第2の数の要素に分割するステップであって、材料によって反射される光線が、各要
素への到達について等しい確率を有する、該ステップ、及び複数のセルを有する表を作成
するステップであって、該表の各セルが、楕円体のそれぞれの要素の中心を特定するデー
タを保存する、該ステップをさらに含み得る。この方法は、材料のCG表現に対する間接照
明の影響の決定に使用されるレンダリングエンジンに各領域画像画素の表を供給するステ
ップをさらに含み得る。複数のミラーによって画定された楕円体を第1の数のセクターに
分割するステップは、楕円体の表面の小区分の局所確率を繰り返し集積することを含み得
る。各小区分の局所確率は、楕円体の表面の平均輝度によって分割される小区分の局所輝
度とすることができる。各セクターを第2の数の要素に分割するステップは、セクターの
小区分の局所確率を繰り返し集積することを含み得る。この方法は、複数の第2の画像を
得るステップであって、該各第2の画像が、対応するミラーによって反射される材料の第2
の大きいサンプルの直接画像であり、該各第2の画像が、複数の各第2の画像画素を含む、
該ステップ;該各第2の画像画素に対して最も類似したそれぞれの領域画像画素を決定す
るステップ;及び該各第2の画像画素を、該第2の画像画素に対して最も類似した対応する
領域画像画素に関連付けるマッピングを保存するステップをさらに含み得る。各第2の画
像は、それぞれの角度で撮ることができ、それぞれの角度は各々、複数のミラーの1つ1つ
が材料の第1のサンプルを反射する角度に対応する。各第2の画像画素に対して最も類似し
たそれぞれの領域画像画素を決定するステップが:各領域画像画素及び各第2の画像画素
に対してそれぞれのシグネチャを決定すること;及び該シグネチャに基づいて最も類似し
た領域画像画素を選択することを含み得る。各領域画像画素及び各第2の画像画素に対す
るそれぞれのシグネチャを決定することは:画素の高さ及び該画素に隣接した所定数の画
素の高さを計算すること;及び該高さに基づいて画素のシグネチャを計算することを含み
得る。各領域画像画素及び各第2の画像画素に対するそれぞれのシグネチャを決定するこ
とは、色合わせに基づいて画素のシグネチャを計算することを含み得る。シグネチャに基
づいて最も類似した領域画像画素を選択することは、最も類似した領域画像画素として、
第2の画像画素のシグネチャから距離が最も短いシグネチャを有する領域画像画素を、第2
の画像画素から選択することを含み得る。
本明細書で説明される主題の特定の実施態様は、1つ以上の次の利点を実現するように
実施することができる。材料のCG表現は、物理的な材料の大きいサンプルの複数の高解像
度画像を得なくても、効果的にシェーディングすることができる。複雑かつ様々な質感を
有する材料の表現も、効果的にシェーディングすることができる。材料の表現は、少ない
データを用いて短時間で効果的にシェーディングすることができる。
一般に、本明細書で説明される主題の別の革新的な態様は、方法として実施することが
でき、該方法は、物理的な材料を記述するデータを得る動作であって、該物理的な材料を
記述するデータが、該物理的な材料の第1のサンプルの複数のパレット画像を含み、該各
パレット画像が、複数のミラーのそれぞれによって反射された該物理的な材料の第1のサ
ンプルのそれぞれの反射画像を含む、該動作;レンダリングエンジンから該物理的な材料
のコンピュータグラフィックス(CG)表現における特定の点をシェーディングするための
シェーディングリクエストを受け取る動作であって、該リクエストが、該特定の点のマッ
ピング位置、該マッピング位置における視方向、及び該マッピング位置における光方向を
特定する、該動作;該複数のパレット画像を用いて該マッピング位置における直接照明の
色を計算する動作;該物理的な材料を記述するデータを用いて該マッピング位置における
間接照明の色を計算する動作;該直接照明の色と該間接照明の色とを組み合わせることに
よって該マッピング位置における最終的な色を得る動作;及び該物理的な材料のCG表現の
レンダリングに使用される該レンダリングエンジンに該最終的な色を供給する動作;を含
む。
この態様の他の実施態様は、それぞれこの方法の動作を実行するように構成された対応
するコンピュータシステム、装置、及び1つ以上のコンピュータ記憶装置に記録されたコ
ンピュータプログラムを含む。
1つ以上のコンピュータのシステムは、作動するとシステムが動作を実行する、該シス
テムにインストールされたソフトウェア、ファームウェア、ハードウェア、又はこれらの
組み合わせを有することによって特定のオペレーション又は動作を実施するように構成す
ることができる。1つ以上のコンピュータプログラムは、データ処理装置によって実行さ
れると該データ処理装置が動作を実行する命令を含めることによって特定のオペレーショ
ン又は動作を実行するように構成することができる。
これら及び他の実施態様はそれぞれ、任意に、1つ以上の以下の特徴を含み得る。複数
のミラーの位置は、半球を画定することができる。この方法は、様々な視点から、複数の
ミラーの上に配置された材料サンプルの光景をそれぞれ反射する該複数のミラーの位置に
よって画定される半球のボロノイ図を作成するステップ;複数のセルを含む2次元の表を
作成するステップであって、該各セルが、それぞれの水平角と鉛直角の対によって該半球
にマッピングされる、該ステップ;及び該各セルに対して:該セルに対応する該水平角と
鉛直角の対における楕円体の表面上に円を作成するステップ、及び該セルに対応するデー
タとして複数の対(位置、重み)を保存するステップであって:所定数の点を該円内にラ
ンダムに配置すること、該各点に対して、該各点のそれぞれの最も近いミラーを決定する
こと、該各ミラーに対して、該点の最も近いミラーとして該ミラーを有する点の総数を決
定すること、及び該各ミラーのそれぞれの対(位置、重み)を決定することを含み、該位
置が該ミラーを特定し、該重みが、該ミラーの該点の総数を該所定数で除すことによって
決定される、該ステップ;をさらに含み得る。
該複数のパレット画像を用いてマッピング位置における直接照明の色を計算するステッ
プは:視方向に対応する2次元の表における第1のセルを特定すること;光方向に対応する
該2次元の表における第2のセルを特定すること;該第1のセル及び該第2のセルに保存され
た対(位置、重み)を用いて第1の寄与するパレット画像及び第2の寄与するパレット画像
を決定すること;該第1の寄与するパレット画像から第1の画素を抽出し、かつ該第2の寄
与するパレット画像から第2の画素を抽出すること;及び該抽出した画素並びに該第1及び
第2のセルの該重みを用いて該直接照明の色を決定すること;を含み得る。各寄与するパ
レット画像から画素を抽出することは、マッピング位置の座標を各寄与するパレット画像
における位置に変換することによって画素を抽出することを含み得る。抽出した画素及び
重みを用いて直接照明の色を決定することは:第1の画素の色及び第2の画素の色を決定す
ること;第1の寄与するパレット画像を選択するために使用される対(位置、重み)にお
ける重みに基づいて該第1の画素の色に重みを付けること;第2の寄与するパレット画像を
選択するために使用される対(位置、重み)における重みに基づいて該第2の画素の色に
重みを付けること;及び該重み付けされた色を合計して直接照明の色を決定すること;を
含み得る。ボロノイ図を作成するステップは、楕円体における各点の最も近いミラーを特
定することを含み得、該最も近いミラーが、該点からミラーの中心までの距離が最も短い
ミラーである。ボロノイ図を作成するステップは、同じ最も近いミラーを共有する各点を
該ボロノイ図の同じゾーンに割り当てることをさらに含み得る。表面上に円を作成するス
テップは、ボロノイ図における少なくとも2つのゾーンに亘る各候補の円から、最も小さ
い半径を有する円を選択することを含み得る。物理的な材料を記述するデータは、第1の
領域画像における第1の画素についてのK×Mの表を含み得、ここで該第1の領域画像は、受
け取った視方向に対応し、該第1の画素は、受け取ったマッピング位置に対応し、該表の
各セルは、複数のミラーによって画定される楕円体のそれぞれの要素の中心の位置を含む
物理的な材料を記述するデータを用いてマッピング位置における間接照明の色を計算す
るステップは:該マッピング位置における第1の間接照明の色を決定することであって:0
〜Kの範囲から選択される第1の非整数の乱数を作成すること;0〜Mの範囲から選択される
第2の非整数の乱数を作成すること;該第1の乱数及び該第2の乱数を用いて表にインデッ
クス付けして、該第1の乱数及び該第2の乱数に隣接したセルを特定すること;該特定され
たセルに含まれる位置を特定すること;該位置を組み合わせて最終的な位置を得ること;
及び該最終的な位置によって決定された方向に光線をトレースして、該第1の間接照明の
色を決定するステップを含む、該第1の間接照明の色を決定すること、並びに少なくとも
ある程度は該第1の間接照明の色に基づいて該マッピング位置における間接照明の色を計
算すること;を含み得る。少なくともある程度は第1の間接照明の色に基づいてマッピン
グ位置における間接照明の色を計算することは、該第1の間接照明の色を間接照明の色と
して用いることを含み得る。少なくともある程度は第1の間接照明の色に基づいてマッピ
ング位置における間接照明の色を計算することは:1つ以上の他の間接照明の色を計算す
ること;及び該1つ以上の他の間接照明の色を該第1の間接照明の色と組み合わせて、最終
的な間接照明の色を得ること;を含み得る。
本明細書の主題の1つ以上の実施態様の詳細が、添付の図面及び以下の説明に示される
。主題の他の特徴、態様、及び利点は、以下の説明、図面、及び特許請求の範囲から明ら
かになるであろう。
図1は、物理的な材料のコンピュータグラフィックス(CG)表現をシェーディングするための例示的なシステムのハイレベルの例示である。 図2Aは、例示的な材料サンプルスキャナの線図である。 図2Bは、材料サンプルスキャナ内の構成要素の例示的な構成を例示している。 図3は、光源−カメラアセンブリの底部の線図である。 図4は、上からのミラーアセンブリの図を示している。 図5は、材料サンプルスキャナによって取り込まれた例示的なミラー画像である。 図6は、材料のCG表現に対する直接照明の決定に使用されるパレット画像を作成するための例示的な技術の流れ図である。 図7は、材料のCG表現に対する間接照明の影響の決定に使用されるデータ構造を作成するための例示的な技術の流れ図である。 図8は、材料サンプルスキャナによって取り込まれた画像のジオメトリ及び色を校正するための例示的な技術の流れ図である。 図9は、直接画像の画素とミラー画像の画素との間のマッピングを作成するための例示的な技術の流れ図である。 図10は、所与のマッピング位置における最終的な色を計算するための例示的な技術の流れ図である。 図11Aは、所与のマッピング位置における直接照明の影響を決定するための例示的な技術の流れ図である。 図11Bは、例示的なボロノイ図を示している。 図12は、所与のマッピング位置における間接照明の影響を決定するための例示的な技術の流れ図である。
(詳細な説明)
様々な図面における同様の参照数字及び記号は、同様の要素を示す。
図1は、物理的な材料、例えば、木材、織物、皮革、又は金属のコンピュータグラフィ
ックス(CG)表現を材料の物理的なサンプルを用いてシェーディングするための例示的な
システム100のハイレベルの例示である。
システム100は、レンダリングエンジン106を含む。レンダリングエンジン106は、例え
ば、従来の技術を用いて画像又は動画をレンダリングする。一般に、レンダリングエンジ
ン106は、例えば、モデル又は他のレンダリング基準に基づいて、用意したシーンから画
像又は動画を作成する。レンダリングプロセスの一部として、かつ物理的な材料のCG表現
に対する、レンダリングされたシーンの所望の照明条件の影響を考慮するために、即ち、
3次元モデルにおける物理的な材料の画像を正確に描くために、レンダリングエンジン106
は、CG表現のシェーディング情報をシェーディングモジュール108から得る必要があり得
る。シェーディングモジュール108は、例えば、レンダリングエンジン106のプラグインソ
フトウェアコンポーネントであり得る。
シェーディングモジュール108は、シェーディングされるべき材料、シェーディングさ
れるべきマッピング位置、即ち、画像の3次元モデルのUVマッピングにおける位置、該マ
ッピング位置の視方向、及び該マッピング位置における光方向を特定するシェーディング
情報のリクエストをレンダリングエンジン106から受け取る。マッピング位置は、例えば
、UV座標で表すことができる。リクエストに応じて、シェーディングモジュール108は、
材料製造システム(material builder system)104から得られたデータを用いてマッピン
グ位置における最終的な色を決定し、レンダリングのために最終的な色をレンダリングエ
ンジン106に供給する。マッピング位置における最終的な色を決定するために、シェーデ
ィングモジュール108は、該位置における直接照明及び間接照明の影響を決定する。直接
照明とは、他の表面で反射されていない、光源から放射された照明のことである。間接照
明とは、他の表面での光の反射、即ち、あるシーンにおける物体を取り囲む表面での、直
接光源から放射された光の反射によって生じる照明である。所与のマッピング位置におけ
る最終的な色の決定については、図10を参照して以下により詳細に説明される。
材料製造システム104は、1つ以上の地理的な位置で1つ以上のデータ処理装置(例えば
、パーソナルコンピュータ、サーバー、タブレットコンピュータ、スマートフォンなど)
で実行するコンピュータプログラム命令として実施することができる。材料製造システム
104は、材料サンプルスキャナ102によって取り込まれた物理的な材料のサンプルの画像を
受け取り、材料のCG表現のシェーディングにおいて、シェーディングモジュール、例えば
、シェーディングモジュール108によって使用されるデータ構造を作成する。直接照明下
での材料のCG表現のシェーディングに対する直接照明の影響の決定に使用されるデータの
作成が、図6を参照して以下に説明される。材料のCG表現のシェーディングに対する間接
照明の影響の決定に使用されるデータの作成が、図7を参照して以下に説明される。
材料サンプルスキャナ102は、所与の材料の物理的なサンプルの画像を取り込んで、該
画像を材料製造システム104に供給する装置である。材料サンプルスキャナ102によって取
り込まれる各画像は、様々な視方向及び照明方向のサンプルの複数の画像を含む。材料サ
ンプルスキャナの一例が、図2を参照して以下に説明される。
図2Aは、例示的な材料サンプルスキャナ200の線図である。材料サンプルスキャナ200は
、材料250のサンプルの画像を取り込む装置である。例示として、材料は、一片の織物、
木材、皮革、毛皮、カーペット、金属、ガラス、プラスチック、これらの組み合わせ、又
は他の材料とすることができる。サンプル250の寸法は、例えば、概ね2.54cm×2.54cm(1
インチ×1インチ)とすることができる。他のサンプルのサイズも可能である。一般に、
サンプル250は、レンダリング中にシェーディングされるべき材料のほんの一部である。
スキャナ200は、光源−カメラアセンブリ240を備える。光源−カメラアセンブリ240は
、光源202及びカメラ208を含む。光源202は、ミラー210に向けて光を放射するレンズを備
え、該ミラー210は、光をミラーアセンブリ215に向けて反射する。
ミラーアセンブリ215は、一連の平面ミラー204を含む。これらのミラー204は、楕円体
を画定するように配置される。即ち、ミラー204は、ミラーの反射面が、楕円体の外面の
一部に近接するように配置される。一般に、ミラーの反射面の寸法は、サンプル250の寸
法よりも大きい。例えば、サンプルの寸法が、2.54cm×2.54cm(1インチ×1インチ)であ
る場合は、各ミラーは5.08cm×5.08cm(2インチ×2インチ)とすることができる。
光源202は、各ミラー204を直接照明するように移動可能である。即ち、光源202は、径
方向に移動可能であり、光源202の角度、ミラー210の角度、又は両方の角度を、該光源の
レンズによって放射されて該ミラー210で反射される光によって各ミラーの反射面が直接
照明されるように、該光源202の径方向位置と該光源202及び該ミラー210の角度とのある
組み合わせで調整可能とすることができる。図2の例示されている例では、例えば、光源2
02は、該光源202によって放射される例示的な光線225が、ミラー210によって反射され、
平面ミラー204の1つの反射面に直接入射するように配置されている。光源202を移動可能
にして各ミラーを照明するために、該光源202は、回転ディスク220のトラックに取り付け
て該光源202のディスクの半径に沿った移動を可能にすることができる。光源は、例えば
、コリメート光源、即ち、コリメート光線、即ち、互いにほぼ平行な光線を発生させる光
源とすることができる。
ミラーアセンブリ215は、サンプル支持体206も含む。サンプル支持体206は、スキャナ2
00内で一連のミラー204と光源202との間にサンプル250を保持するように構成されている
。具体的には、サンプル支持体206は、サンプルが光源202に背を向け、該サンプルの中心
が、ミラー204によって画定された楕円299の1つのほぼ焦点であるようにサンプルを保持
するよう構成され、該楕円299が、楕円体の中心を通る該楕円体の断面を取ることによっ
て形成され、該楕円体の一方の半軸に沿っている。ミラー204及び材料サンプル250をこの
構成で配置することにより、各ミラー204は、光源202がミラー204の任意の1つを直接照明
するときにそれぞれの角度でサンプルの画像を反射する。一部の実施では、サンプル支持
体206は、サンプルが1つ以上の軸に沿って回転できるようにさらに構成されている。
カメラ208が、光源202に近接して配置されている。例えば、カメラ208は、ほぼサンプ
ルの中心の上に配置することができる。具体的には、カメラ208は、楕円299の他の焦点に
ほぼ配置することができる。一連のミラー204及びサンプル250に対するカメラ208の位置
決めは、図2Bを参照して以下により詳細に説明される。
一部の実施では、カメラ208は、リクエスト、例えば、材料製造システム、例えば、図1
の材料製造システム104から受け取るリクエストに応答してミラー204の画像を撮るように
構成されている。具体的には、カメラ208は、光源202が各ミラーを直接照明するように配
置されたときに該ミラー204のそれぞれの画像を撮ることができる。例えば、40の位置と4
0のミラーが存在する場合、カメラ208は、40の画像を撮るように構成することができ、各
画像は、サンプルの40の反射画像を含み、光源は、ミラーのそれぞれ1つを直接照明する
ように配置される。サンプル250の反射画像は、ミラー204の1つの画像であり、該ミラー2
04は、サンプル支持体206によって支持されたサンプル250の画像を反射する。40のミラー
を備えたスキャナ200は、一例として使用されるが、任意の数のミラー、従って、任意の
数の画像が可能である。
ミラーの画像が撮られたら、該画像を、処理のために材料製造システムに供給すること
ができる。一部の実施では、材料製造システムによって処理される前に、画像は、特定の
形式、例えば、OpenEXR形式に変換される。他の実施では、画像製造システムは、カメラ2
04によって撮られた形式の画像を処理する。
図2Bは、図2Aの材料サンプルスキャナ200内の構成要素の例示的な構成を例示している
。楕円299は、図2Aの一連のミラー204によって画定されて示されている。材料サンプル25
0は、楕円299の第1の焦点、即ち、一連のミラー204に最も近い焦点に配置されている。カ
メラ208は、楕円299の他の焦点に配置されている。一例として、楕円299の主軸299a、即
ち、サンプル250及びカメラ208を通る軸は、約120cmの長さにすることができ、短軸299b
は、約66cmの長さにすることができる。この例では、材料サンプル250とカメラ208との間
の距離は約50cmである。しかしながら、他の寸法も可能である。
図3は、図2Aの光源−カメラアセンブリ240の底部の線図である。光源−カメラアセンブ
リ240は、ミラー210で反射されて一連のミラー、例えば、図2Aの一連のミラー204に向か
う光線を放射するように配置された光源202を含む。光源202は、該光源202が径方向に移
動できるようにするために回転ディスク220に取り付けられている。上記説明されたよう
に、光源202、ミラー210、又はこれらの両方の角度は調整可能とすることができる。光源
−カメラアセンブリ240は開口部275を備える。カメラ、例えば、図2Aのカメラ208は、開
口部の上に配置することができる。
図4は、図2Aのミラーアセンブリ215の上からの図を示している。ミラーアセンブリ215
は、一連の平面ミラー204を含む。上記説明されたように、一連の平面ミラー204における
ミラーは、該ミラーの反射面が、楕円体の外面の一部に近接するように配置されている。
ミラーアセンブリ215は、サンプル支持体206も含む。サンプル支持体206は、支持体アー
ム292を用いて一連の平面ミラー204の上にサンプルを保持するように構成されている。上
からの図面では見えないが、サンプルは、サンプル支持体206の下側に保持されている。
支持アーム292は、ミラーアセンブリ215の上に位置するカメラから撮られる画像において
一連の平面ミラー204のいずれのミラーの視野も妨げないように配置されている。
図5は、材料サンプルスキャナ、例えば、図2Aの材料サンプルスキャナ200によって取り
込まれた例示的なミラー画像500である。ミラー画像500は、一連の領域、例えば、領域50
2を含み、各領域は、一連の平面ミラー、例えば、図2Aの一連のミラー204のそれぞれのミ
ラーの反射、及びサンプル支持体504の上面の画像を含む画像500の領域に対応する。各領
域は、シェーディングされるべき材料のサンプルのそれぞれの反射画像を含む。ミラー画
像500は、光源、例えば、図2Aの光源202が一連のミラーの1つのミラーを直接照明し、か
つサンプルがサンプル支持体によって保持されているときに撮られた画像である。例えば
、ミラー画像500が取り込まれるときに、光源は、ミラー画像500における領域502に対応
するミラーを直接照明することができる。この場合、領域502は、光源によって直接照明
されるときに対応するミラーによって反射されたサンプルの反射画像を含む。
図6は、材料のCG表現に対する直接照明の影響の決定に使用されるパレット画像を作成
するための例示的な技術600の流れ図である。便宜上、技術600は、1つ以上の位置に配置
された1つ以上のデータ処理装置のシステムによって実施されるとして説明される。例え
ば、適切にプログラムされた材料製造システム、例えば、図1の材料製造システム104は、
技術600を実施することができる。
システムは、色を校正し602、任意に、材料サンプルスキャナ、例えば、図1の材料サン
プルスキャナ102によって取り込まれた画像のジオメトリを校正する。ジオメトリ及び色
を校正するための1つの例示的な技術が、図8を参照して以下に説明される。校正プロセス
の結果として、システムは、材料サンプルスキャナによって取り込まれた画像における反
射画像に適用される色変換を特定する色校正データ、及び材料サンプルスキャナによって
取り込まれた画像における反射画像の位置を特定する任意のジオメトリ校正データを作成
する。
システムは、材料サンプルスキャナによって取り込まれた一連のミラー画像を得る604
。各ミラー画像、例えば、図5のミラー画像500は、一連の領域を含み、これらの各領域は
、一連のミラー、例えば、図2Aの一連のミラー204のそれぞれのミラーに対応する。各領
域、例えば、図5の領域502は、シェーディングされるべき材料のサンプルのそれぞれの反
射画像を含む。一般に、一連のミラー画像は、該一連のミラーにおけるミラーの数と同じ
数のミラー画像を含み、該一連のミラー画像は、光源が、該一連のミラーの異なるミラー
を直接照明しているときに取り込まれた画像を含む。
各ミラー画像に対して、システムは、色構成データ及び任意のジオメトリ校正データを
用いてミラー画像の各領域に対するそれぞれの領域画像を作成する606。システムは、反
射画像を各領域から抽出することによって領域画像を作成する。具体的には、システムは
、ジオメトリ校正データで特定される位置を用いて、又はジオメトリ校正が行われない場
合はミラー画像から領域の位置を直接特定することによって、ミラー画像における各領域
の内容を抽出する。
領域画像作成の一部として、システムは、ミラーの位置を用いて半球を画定するデータ
を作成する。即ち、システムは、ミラーの位置を特定するデータを使用して、材料サンプ
ル又は光源に対する各ミラーの中心のそれぞれの角度を決定する。次いで、システムは、
これらの角度を用いて、所定の半径、例えば、1つの半径を有する半球を画定する。
任意に、システムは、各領域を長方形に変換する。次いで、システムは、領域画像を作
成するために色校正データに基づいて各領域における各画素の色を調整することができる
システムは、領域画像をパレット化し608、このパレット画像を保存する610。一般に、
画像のパレット化により、画像に使用される色の数が所定数に減少する。具体的には、シ
ステムは、各画素の色を、パレット表のセルを指す色インデックスに置き替える。パレッ
ト表は、画像に使用される色のリストを含む。システムは、例えば、従来のパレット化技
術を用いて領域画像をパレット化することができる。システムは、対(光、カメラ)で保
存されたパレット画像をインデックス付けし、各パレット画像の「光」値は、パレット画
像が撮られたときに直接照明されていたミラーを特定し、各画像の「カメラ」値は、パレ
ット画像が撮られたときにカメラの位置が合わせられていたミラーを特定する。システム
は、各ミラーに1からミラーの総数までの範囲のそれぞれの整数を割り当てることによっ
てミラーの識別子を作成することができる。
保存されたパレット画像は、材料のCG表現の直接照明の決定に使用するために、シェー
ディングモジュール、例えば、図1のシェーディングモジュール108に供給することができ
る。システムは、各画像の対応する対(光、カメラ)に関連したパレット画像を提供する
ことができる。
図7は、材料のCG表現に対する間接照明の影響の決定に使用されるデータ構造を作成す
るための例示的な技術700の流れ図である。便宜上、技術700は、1つ以上の位置に配置さ
れた1つ以上のデータ処理装置のシステムによって実施されるとして説明される。例えば
、適切にプログラムされた材料製造システム、例えば、図1の材料製造システム104は、技
術700を実施することができる。
一部の実施では、技術700は、材料サンプルスキャナから得られたミラー画像から作成
される各領域画像における各画素に対して実施される。
システムは、一連のミラーによって画定された半球を第1の数のセクターに分割する702
。具体的には、システムは、材料によって反射された光線が、各セクターへの到達につい
て等しい確率を有するように半球を分割する。システムは、局所確率に基づいてこれらの
等しい確率のセクターを作成することができ、各局所確率は、半球全体の平均輝度によっ
て除された局所輝度である。画像のどの小区分の輝度も、例えば、小区分における赤色(
R)、緑色(G)、及び青色(B)の平均値、即ち、(R+G+B)/3として測定することがで
きる。
半球をセクターに分割するために、システムは、半球表面の小区分を繰り返し集積する
。即ち、システムは、半球表面の小さい小区分を選択し、例えば、各小区分は、それぞれ
半球表面全体の1/10000である。例えば、システムは、所定のステップサイズ、例えば、1
度を用いて各軸に沿って半球表面を横断することによって小区分を選択することができる
システムは、合計した確率が1/K(Kは所望の第1の数のセクター)になるまで各連続小
区分の確率を合計する。次いで、システムは、この合計に含まれる小区分の集合体として
第1のセクターを画定し、各セクターが画定されるまでこのプロセスを続ける。
システムは、各セクターを第2の数の要素に分割する704。具体的には、システムは、材
料によって反射された光線が、各要素への到達について等しい確率を有するように各セク
ターを分割する。システムは、例えば、半球の分割について上記説明された技術と同じ技
術を用いて、各セクターを第2の数の要素に分割することができる。
システムは、各要素の中心を特定するデータを保存するデータ構造を作成する706。例
えば、それぞれM個の要素に分割されるK個のセクターが存在する場合、システムは、K×M
の表を作成することができ、該表にそれぞれ入力されるデータは、各要素の中心位置であ
る。
技術700が、各領域画像における各画素に対して実施されると、システムは、材料のCG
表現の間接照明の決定に使用するために、データ構造をシェーディングモジュール、例え
ば、図1のシェーディングモジュール108に供給することができる。
各画素及びパレット領域画像に対する半球の各要素の中心を特定するデータに加えて、
システムは、材料の物理的なサンプルの寸法を特定する情報、各ミラー画像における領域
の数、ミラー画像における各領域の位置、及びミラーによって画定される半球を特定する
データをシェーディングモジュールに供給することもできる。
図8は、材料サンプルスキャナ(例えば、材料スキャナ102)によって取り込まれた画像
のジオメトリ及び色を校正するための例示的な技術800の流れ図である。便宜上、技術800
は、1つ以上の位置に配置された1つ以上のデータ処理装置のシステムによって実施される
として説明される。例えば、適切にプログラムされた材料製造システム、例えば、図1の
材料製造システム104は、技術800を実施することができる。
システムは、特殊な所定パターンを有するサンプル材料を用いて材料サンプルスキャナ
(例えば、材料スキャナ102)によって取り込まれたミラー画像を得る802。例えば、該パ
ターンは、チェッカー盤パターンとすることができる。他のパターンも可能である。
システムは、ミラー画像における各領域の初期位置を特定する804。例えば、システム
は、ミラー画像を分析してミラー画像における各領域の各縁を特定し、例えば、縁検出技
術を用いて2つの特定された縁の各交点を決定することができる。各交点をある領域の角
と見なすことができ、かつ該領域の位置を、見なされた縁及び角によって画定することが
できる。
一部の実施では、システムは、材料に対する所定パターンに基づいて初期位置を調整す
る806。具体的には、各領域に対して、システムは、低周波フーリエ解析を行い、そして
フーリエ解析の結果に基づいて初期位置を調整する。システムは、所与のミラー画像にお
ける4つの最も大きい領域の平均の位相及び周波数を決定し、この領域の位相を該4つの最
大の領域の平均の位相及び周波数と等しくするために、各初期の角の位置を調整する。シ
ステムは、材料サンプルスキャナによって取り込まれた画像における反射画像の位置を特
定するジオメトリ校正データとして調整された位置データを保存する。一部の実施では、
システムは、ジオメトリ校正データを作成しないが、例えば、上記説明されたように縁及
び交点を特定することによって、システムによって処理された各ミラー画像における領域
の初期位置を特定する。
システムは、純拡散双方向反射分析関数(BRDF)を有する白色材料の、材料サンプルス
キャナによって取り込まれたミラー画像を得る808。
システムは、ミラー画像から単位球BRDFを決定し810、反射画像の色に適用される色変
換を特定する色校正データとしてデータを保存する。即ち、システムは、この色校正デー
タを使用して、シェーディングモジュールによって使用される前に材料サンプルスキャナ
によって取り込まれた画像の色を正規化することができる。
上記説明は、物理的な材料のCG表現のシェーディングでシェーディングモジュールによ
って使用されるデータの作成について述べているが、上記データは、材料の小さいサンプ
ルのミラー画像に基づいて作成される。一部の状況では、材料の大きいサンプルのいわゆ
る直接画像を得て、該大きいサンプルの直接画像の1つにおける各画素に対して、該画素
に最も類似した任意のミラー画像における画素を特定するシェーディングモジュールにマ
ッピングを提供することが有利であり得る。例えば、物理的なサンプルが、繰り返さない
パターン、又は繰り返すが材料の小さいサンプルでは全体を捉えることができないパター
ンを有する場合、シェーディングモジュールは、提供されたマッピングを使用して、大き
いサンプルの画素をミラー画像の最も類似した画素にマッピングする必要があり得る。一
般に、大きいサンプルの表面積は、ミラー画像の作成に使用される小さいサンプルの表面
積の約10倍となる。マッピングの作成は、図9を参照して以下に説明される。
図9は、直接画像の画素とミラー画像の画素との間のマッピングを作成するための例示
的な技術900の流れ図である。便宜上、技術900は、1つ以上の位置に配置された1つ以上の
データ処理装置のシステムによって実施されるとして説明される。例えば、適切にプログ
ラムされた材料製造システム、例えば、図1の材料製造システム104は、技術900を実施す
ることができる。
システムは、材料サンプルスキャナ、例えば、図1の材料サンプルスキャナ102から物理
的な材料の小さいサンプルの一連のミラー画像を得る902。
システムは、物理的な材料の大きいサンプルの一連の直接画像を得る904。一般に、各
直接画像は、材料サンプルスキャナのミラーの1つが小さいサンプルの画像を反射する角
度に対応する角度で撮られる。例えば、一連の直接画像は、ミラー画像のサンプルに最も
近いと思われる一連のミラー204の4つのミラー、例えば、図5の領域506、508、510、及び
512に対応するミラーのそれぞれ1つの角度に対応するそれぞれの角度でそれぞれ撮られる
4つの画像を含み得る。
システムは、各直接画像における各画素のシグネチャを決定する906。各シグネチャは
、画素を表す一連の値である。例えば、シグネチャは、n次元のベクトルであり、このnは
所定の整数である。システムは、任意の様々な方法で画素のシグネチャを計算することが
できる。
一部の実施では、システムは、画像における画素の高さ及び該画素に隣接した所定数、
例えば、8つの画素の高さを計算することによって画素のシグネチャを計算することがで
きる。次いで、シグネチャを、少なくともある程度は高さに基づいて計算することができ
る。例えば、シグネチャは、高さの値のベクトルとすることができる。一般に、物理的な
材料の表面は平らでないため、所与の画素の高さの値は、画素が表す点での垂直方向にお
ける物理的な材料の表面の変化の値である。
システムは、材料の高さマップから画素及び隣接する画素の高さを計算する。高さマッ
プを作成するために、システムは、材料の4つの画像から垂直フィールドを作成する。即
ち、システムは、それぞれ4つの画像のうちの3つを含む2つの連立一次方程式を解いて各
点の高さを得ることができる。これらの連立一次方程式は、ある点の測定輝度が、該点で
垂直な表面と該点での光方向との間のドット積に比例するという仮定によって立てること
ができる。システムは、2つの連立方程式の解を組み合わせて、例えば、第1の連立方程式
の解の成分の一部及び第2の連立方程式の解の他の垂直成分を用いて該点における高さを
得ることができる。
垂直フィールドから、システムは、高さマップを繰り返し決定する。具体的には、初期
の繰り返しは、全ての画素の高さを0と仮定する。各画素に対して、システムは、隣接画
素に対する垂直方向の予想される差を計算し、この差を垂直フィールドにおける差と比較
する。システムは、誤差を現在の高さから減じて、繰り返しの最終的な高さを得る。高さ
マップが、繰り返しの間に比較的一定の状態に収束したら、収束高さマップを最終的な高
さマップとして使用して、シグネチャの画素の高さを決定する。
他の実施では、システムは、色合わせに基づいて画素のシグネチャを作成することがで
きる。画素の色合わせシグネチャを作成するために、システムは、4つの各画像における
目的の画素の周囲の画素を特定する。例えば、各画素に対して、システムは、目的の画素
を格子の中心にして、3×3の画素の格子を作成することができる。次いで、システムは、
各格子における各画素のRGB値に基づいて画素のシグネチャを作成する。例えば、シグネ
チャは、全てのRGB値の順序付きリストとすることができる。
次いで、システムは、各直接画像の各画素に対して最も類似した画素を全ての領域画像
から決定する908。一般に、任意の直接画像の画素に対して最も類似した領域画像の画素
は、そのシグネチャと直接画像の画素のシグネチャとの間の距離が最も小さいシグネチャ
を有するミラー画像の画素である。具体的には、シグネチャがn次元ベクトルで表される
場合、シグネチャAとシグネチャBとの間の距離dは以下を満たす:
d=(A1−B12+(A2−B22+…+(An−Bn2
システムは、直接画像における各画素を、ミラー画像の1つにおける画素に最も類似し
た画素に関連付けるマッピングを保存する910。例えば、システムは、直接画像における
画素の座標を、この画素が属するミラー画像における最も類似した画素の座標に関連付け
るデータを保存することができる。
図10は、所与のマッピング位置における最終的な色を計算するための例示的な技術1000
の流れ図である。便宜上、技術1000は、1つ以上の位置に配置された1つ以上のデータ処理
装置のシステムによって実施されるとして説明される。例えば、適切にプログラムされた
シェーディングモジュール、例えば、図1のシェーディングモジュール108は、技術1000を
実施することができる。
システムは、材料製造システム、例えば、図1の材料製造システム104から物理的な材料
を記述するデータを得る(ステップ1002)。このデータは、物理的な材料のCG表現上の特
定の点における直接照明及び間接照明の影響の計算に使用されるデータを含む。システム
は、様々な時点、例えば、物理的な材料のCG表現のシェーディングリクエストの受け取り
に応答して、又はリクエストの受け取りの前にデータを得ることができる。物理的な材料
によって、データは、物理的な材料の大きいサンプルの一連の各直接画像における各画素
の座標を、物理的な材料の小さいサンプルの任意のミラー画像における最も類似した画素
を特定するデータに関連付けるデータを含み得る。
システムは、レンダリングエンジン、例えば、図1のレンダリングエンジン106からシェ
ーディングリクエストを受け取る(ステップ1004)。シェーディングリクエストは、シェ
ーディングされるべき材料、シェーディングされるべきマッピング位置、即ち、画像の3
次元モデルのUVマッピングにおける位置、該マッピング位置の視方向、及び該マッピング
位置における光方向を特定する。
システムによって得られるデータが、物理的な材料の大きいサンプルの一連の各直接画
像における各画素の座標を、物理的な材料の小さいサンプルの任意のミラー画像における
最も類似した画素を特定するデータに関連付けるデータを含んでいた場合、システムは、
リクエストで特定されたマッピング位置を、該データを用いて小さいサンプルのミラー画
像における点に変換することができる。次いで、システムは、最終的な色の計算にこの位
置を使用することができる。
システムは、物理的な材料を記述するデータを用いて、リクエストで特定されたマッピ
ング位置における直接照明下の色を計算する(ステップ1006)。直接照明下の色を計算す
るための例示的な技術は、図11を参照して以下に説明される。
システムは、物理的な材料を記述するデータを用いてマッピング位置における間接照明
下の色を計算する(ステップ1008)。間接照明下の色を計算する例示的な技術は、図12を
参照して以下に説明される。
システムは、色を組み合わせてマッピング位置における最終的な色を得る(ステップ10
10)。例えば、システムは、直接照明下の色に間接照明下の色を加えて最終的な色を得る
ことができる。
システムは、物理的な材料のCG表現のレンダリングに使用されるレンダリングエンジン
に最終的な色を供給する(ステップ1012)。
図11Aは、所与のマッピング位置における直接照明の影響を決定するための例示的な技
術1100の流れ図である。便宜上、技術1100は、1つ以上の位置に配置された1つ以上のデー
タ処理装置のシステムによって実施されるとして説明される。例えば、適切にプログラム
されたシェーディングモジュール、例えば、図1のシェーディングモジュール108は、技術
1100を実施することができる。
システムは、材料サンプルスキャナのミラーの角度によって画定された表面にボロノイ
図を作成する1102。即ち、この表面の各点に対して、システムは、最も近いミラーを特定
し、点からミラーまでの距離が、該点から該ミラーの中心までの距離によって画定される
。同じ最も近いミラーを共有する全ての点がまとまって、ボロノイ図にゾーンを形成する
。この表面は、例えば、図2A及び図2Bを参照して説明されるミラーの位置によって画定さ
れる楕円体の一部とすることができる。あるいは、この表面は、ミラーの角度によって画
定される半球とすることができる。
図11Bは、例示的なボロノイ図1150を示している。例示的なボロノイ図1150は、材料サ
ンプルスキャナのミラーの角度によって画定された半球上に作成された。ボロノイ図1150
は、一連のミラーにおける同じ最も近いミラーを共有する全ての点をそれぞれ含む多数の
ゾーン、例えば、ゾーン1152及び1154を含む。
図11Aの説明に戻ると、システムは、水平角及び鉛直角によって表面にマッピングされ
る表を作成する1104。即ち、表中の各セルは、それぞれの角度幅及び高さを有する表面の
それぞれの領域を表す。例えば、表が1025×256の表である場合、表中の各セルは、0.35
度の幅及び0.35度の高さを有するそれぞれの領域を表す。
表の各セルに対して、システムは、表面上のセルによって表される領域の中心を中心と
する円を作成し1106、該円のボロノイ図のゾーンとの交点を特定する。システムは、円が
、任意の方向でボロノイ図の少なくとも2つのゾーンに亘る最小限の半径を有する、即ち
、任意の方向で円の中心を通るように引かれたどの線もこの円を出るまでにボロノイ図の
2つ以上のゾーンを横断しなければならない各円を作成する。
システムは、表の各セルにデータを保存する1108。具体的には、各セルに、システムは
1つ以上の対(位置、重み)を保存する。所与のセルの対(位置、重み)を特定するため
に、システムは、セルに対して、所定数Nのランダムな点を円の中にランダムに配置する
。例えば、Nは、200、500、1000、又は2500とすることができる。各点に対して、システ
ムは、最も近いミラーを決定し、各ミラーに対して、いくつの点が、その点の最も近いミ
ラーとしてそのミラーを有するかを決定する。次いで、システムは、各ミラーに対してそ
れぞれの対(位置、重み)を保存し、位置の値はミラーを特定し、重みは、最も近いミラ
ーとしてそのミラーを有する点の数をランダムな点の総数Nで除して求められる。次いで
、システムは、表の対応するセルにおける各対(位置、重み)を保存する。
システムは、シェーディングされる材料、シェーディングされるマッピング位置、即ち
、画像の3次元モデルのUVマッピングにおける位置、該マッピング位置の視方向、及び該
マッピング位置における光方向を特定するデータを受け取る1110。
システムは、視方向及び光方向が表のセルに位置するようにこれらの視方向及び光方向
を変更する1112。例えば、方向が、[-1、1]の範囲を有する(x、y、z)としてシステム
に与えられる場合、該システムは、次のようにx座標及びy座標を変更することができる:
該システムは、x座標及びy座標のそれぞれに1を加えてこれらの範囲を[0、2]に変更し
、次いで、x座標及びy座標のそれぞれを2で除して[0、1]の範囲にすることができる。
次いで、システムは、x及びyに表の幅、即ち、表の列の数を乗じて[0、幅]の範囲に変
更することができる。
システムは、視方向及び光方向を用いて表におけるセルを特定する1114。即ち、システ
ムは、視方向を用いて第1のセルを特定し、そして光方向を用いて第2のセルを特定する。
システムは、x座標をセルの列インデックスとして用い、かつy座標をセルの行インデック
スとして用いることによって一連の座標からセルを特定することができる。
システムは、表の特定されたセルに保存された内容を用いて寄与するパレット画像及び
寄与する各画像のそれぞれの重みを特定する1116。即ち、特定された各セルは、1つ以上
の対(位置、重み)を保存する。システムは、可能な各対(位置1、位置2)を計算し、位
置1は、視方向を用いて特定されたセルに保存された位置の1つであり、位置2は、光方向
によって特定されたセルに保存された位置の1つである。各対(位置1、位置2)に対して
、システムは、位置1と対をなす重みに位置2と対をなす重みを乗じて重みを求める。次い
で、システムは、対(位置1、位置2)に一致する値を有する対(光、カメラ)によって特
定されたパレット画像に各対(位置1、位置2)をマッピングし、対(位置1、位置2)の重
みをパレット画像の重みとして使用する。
システムは、寄与する各パレット画像から画素を選択する1118。システムは、レンダリ
ングエンジンから受け取ったUV座標を用いて、即ち、受け取ったUV座標を画像位置に変換
して寄与する各画像のその位置にある画素を選択することによって、各画像から画素を選
択することができる。
システムは、寄与する各画像の重みに基づいてマッピング位置における直接照明下の色
を決定する1120。即ち、システムは、各画素の色に、対応する画像の重みを乗じ、次いで
、重み付けされた色を合計してその位置における直接照明下の色を決定する。
図12は、所与のマッピング位置における間接照明の影響を決定するための例示的な技術
1200の流れ図である。便宜上、技術1200は、1つ以上の位置に配置された1つ以上のデータ
処理装置のシステムによって実施されるとして説明される。例えば、適切にプログラムさ
れたシェーディングモジュール、例えば、図1のシェーディングモジュール108は、技術12
00を実施することができる。
システムは、材料サンプルスキャナから得られた半球の各要素の中心を特定するデータ
にアクセスする1202。即ち、システムは、UVマッピングにおける位置及びリクエストで指
定された光方向によって特定される画素及び領域画像に対応するK×Mの表にアクセスする
。言い換えれば、システムは、リクエストで指定された光方向に対応する領域画像を特定
し、UVマッピングにおける位置に対応する特定された画像における画素を特定し、特定さ
れた画素に対応するK×Mの表にアクセスする。
システムは、2つの乱数を作成する1204。乱数は、非整数であり、第1の数は、0〜Kの範
囲から選択され、第2の数は、0〜Mの範囲から選択される。
システムは、2つの乱数を用いて表にインデックス付けし1206、数字の対に隣接した4つ
の表のセルを特定する。例えば、第1の数が2.4で、第2の数が3.6である場合、数字の対に
隣接した4つのセルは、インデックス[2、3]、[2、4]、[3、3]、及び[3、4]を有
するセルとなる。
システムは、数字の対に隣接した表のセルに保存された位置を特定する1208。
システムは、双線形補間を用いて位置を混合して最終的な位置を求め1210、次いで、光
線をマッピング位置から、最終的な位置によって決定された方向にトレースして光線の色
を決定する1212。光線の色を決定するために、システムは、光線の方向を特定するレンダ
リングエンジンにリクエストを供給することができ、該レンダリングエンジンは、その方
向における光線のトレースから得られた色を戻すことができる。
一部の実施では、システムは、ステップ1204〜1212を何回も繰り返して多数の色を得る
ことができる。次いで、システムは、各光線の放射によって生成される色を平均して、マ
ッピング位置における最終的な色を決定することができる。
本明細書で説明される主題の実施態様及び動作は、デジタル電子回路で実施しても良い
し、又は本明細書に開示される構造及びその構造的等価物、又はこれらの1つ以上の組み
合わせを含むコンピュータソフトウェア、ファームウェア、又はハードウェアで実施して
も良い。本明細書で説明される主題の実施態様は、データ処理装置による実施のため、又
はデータ処理装置の動作の制御のために、コンピュータ記憶媒体に符号化された1つ以上
のコンピュータプログラムとして、即ち、コンピュータプログラム命令の1つ以上のモジ
ュールとして実施することができる。あるいは、又はこれに加えて、プログラム命令は、
データ処理装置による実行のために適切な受信装置に送信される情報を符号化するように
生成される、人工的に生成される伝搬信号、例えば、機械生成電気信号、光学信号、又は
電磁信号に符号化することができる。コンピュータ記憶媒体は、コンピュータ可読記憶装
置、コンピュータ可読記憶基板、ランダムもしくはシリアルアクセスメモリアレイもしく
は装置、又はこれらの1つ以上の組み合わせとしても良いし、又はこれらに含めても良い
。さらに、コンピュータ記憶媒体は伝搬信号ではないが、コンピュータ記憶媒体は、人工
的に生成される伝搬信号に符号化されるコンピュータプログラム命令のソース又はデステ
ィネーションとすることができる。コンピュータ記憶媒体は、1つ以上の別個の物理的な
構成要素もしくは媒体としても良いし、又はこれらに含めても良い。
本明細書で説明される動作は、1つ以上のコンピュータ可読記憶装置に保存されたデー
タ又は他のソースから受け取るデータに対してデータ処理装置によって実施される動作と
して実施することができる。「データ処理装置」という語は、データを処理するためのあ
らゆる種類の装置、デバイス、及び機械を含み、例として、プログラム可能なプロセッサ
、コンピュータ、チップ上のシステム、複数のこれら、又はこれらの組み合わせを含む。
データ処理装置は、ハードウェアに加えて、該当するコンピュータプログラムの実行環境
を整えるコード、例えば、プロセッサファームウェアを構成するコード、プロトコルスタ
ック、データベース管理システム、オペレーティングシステム、クロスプラットフォーム
ランタイム環境、仮想マシン、又はこれらの1つ以上の組み合わせも含み得る。データ処
理装置及び実行環境は、様々な異なるコンピューティングモデルインフラストラクチャー
、例えば、ウェブサービス、分散コンピューティング、及びグリッドコンピューティング
インフラストラクチャーを実現し得る。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション
、スクリプト、又はコードとしても知られている)は、コンパイラ型もしくはインタープ
リタ型言語、宣言型もしくは手続型言語を含む任意の形式のプログラミング言語で記述す
ることができ、例えば、スタンドアロン型プログラムとして、又はモジュール、コンポー
ネント、サブルーチン、オブジェクト、もしくはコンピューティング環境での使用に適し
た他のユニットとして、任意の形式で配置することができる。コンピュータプログラムは
、必ずしも必要ではないが、ファイルシステムのファイルに対応させることができる。プ
ログラムは、該当するプログラム専用の1つのファイル、又は複数の連携ファイル(coord
inated files)、例えば、1つ以上のモジュール、サブプログラム、コードの一部分を保
存するファイルに他のプログラム又はデータ、例えば、マークアップ言語ドキュメントで
保存された1つ以上のスクリプトを保持するファイルの一部に保存することができる。コ
ンピュータプログラムは、1つのコンピュータで、又は1つのサイトに配置されたもしくは
複数のサイトに分散された、通信ネットワークで相互接続された複数のコンピュータで実
行するように配置することができる。
本明細書で説明されるプロセス及び論理の流れは、1つ以上のコンピュータプログラム
を実行して入力データを処理して出力を生成することによって動作を実行する、1つ以上
のプログラム可能なプロセッサによって実施することができる。コンピュータプログラム
の実行に適したプロセッサは、例として、汎用及び専用マイクロプロセッサの両方、並び
にあらゆる種類のデジタルコンピュータの任意の1つ以上のプロセッサを含む。一般に、
プロセッサは、読み出し専用メモリ、ランダムアクセスメモリ、又はこれらの両方から命
令及びデータを受け取る。コンピュータの必須要素は、命令に従って動作を実行するプロ
セッサ、並びに命令及びデータを保存するための1つ以上のメモリ装置である。一般に、
コンピュータはまた、データを保存するための1つ以上の大容量記憶装置を含むか、又は
、該1つ以上の大容量記憶装置からデータを受け取る、若しくは該1つ以上の大容量記憶装
置にデータを転送する、若しくはこれらの両方のために、該1つ以上の大容量記憶装置に
機能的に接続される。しかしながら、コンピュータは、必ずしもこのような装置を備える
必要はない。さらに、コンピュータは、別の装置、例えば、一部の例を挙げると、携帯電
話、スマートフォン、携帯型オーディオ又はビデオプレイヤー、ゲーム機、グローバルポ
ジショニングシステム(GPS)受信機、及びウェアラブルコンピュータ装置に組み入れる
ことができる。コンピュータプログラム命令及びデータを保存するのに適した装置は、全
ての形式の不揮発性メモリ、メディア、及びメモリ装置を含み、例として、半導体メモリ
装置及び磁気ディスクなどが挙げられる。プロセッサ及びメモリは、専用の論理回路によ
って補完しても良いし、又は専用の論理回路に組み入れても良い。
使用者との対話を可能にするために、本明細書で説明される主題の実施態様は、使用者
に情報を表示するための表示装置、キーボード、及びポインティングディバイス、例えば
、使用者がコンピュータに入力することができるマウス又はトラックボールを有するコン
ピュータ上で実施することができる。他の種類の装置を使用して使用者との対話を可能に
することもできる;例えば、使用者へのフィードバックは、任意の形式の感覚フィードバ
ック、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックとす
ることができる;そして使用者による入力は、音響、音声、又は触覚の入力及び出力を含
む任意の形式で受け取ることができる。
本明細書は、多数の具体的な実施の詳細を含むが、これらは、あらゆる発明の範囲又は
請求できる範囲を限定すると解釈されるべきものではなく、むしろ、特定の発明の特定の
実施態様に特有の特徴の説明と解釈されるべきである。別個の実施態様の文脈における本
明細書で説明される特定の特徴は、単一の実施態様で組み合わせて実施することもできる
。逆に、単一の実施態様の文脈で説明される様々な特徴は、複数の実施態様で別個に、又
は任意の適切な部分的な組み合わせで実施することもできる。さらに、特徴は、特定の組
み合わせで役割を果たすとして上記のように説明することができ、さらにはこのようなも
のとして最初に請求することもできるが、請求される組み合わせの1つ以上の特徴は、場
合によっては、組み合わせから削除することができ、かつ請求される組み合わせは、部分
的な組み合わせ又は部分的な組み合わせの変形を対象にすることができる。
同様に、動作は、図面に特定の順序で示されているが、これは、所望の結果を得るため
に、このような動作を図示されている特定の順序又は連続的な順序で行う、又は例示され
ている全ての動作を行う必要があると解釈されるべきではない。特定の状況では、マルチ
タスク又は並行処理が有利であり得る。さらに、上記説明された実施態様の様々なシステ
ムの構成要素の分離は、全ての実施態様でこのような分離を必要とすると解釈されるべき
ではなく、説明されたプログラムの構成要素及びシステムは、一般に、単一ソフトウェア
製品に統合しても良いし、又は多数のソフトウェア製品にパッケージングしても良いこと
を理解されたい。
従って、主題の特定の実施態様が既に説明された。他の実施態様も、以下の特許請求の
範囲内である。場合によっては、特許請求の範囲で述べられる動作は、異なる順序で行っ
てもなお所望の結果を得ることができる。加えて、添付の図面に示されるプロセスは、所
望の結果を得るために、必ずしも図示されている特定の順序又は連続的な順序を要求する
ものではない。特定の実施では、マルチタスク及び並行処理は有利であり得る。

Claims (12)

  1. 光を放射するためのレンズを有する光源、
    第2のミラー、
    複数の第1の平面ミラーであって、該光源が該複数の第1の平面ミラーの各第1の平面ミラーを直接照明するように移動可能であり、かつ各第1の平面ミラーに関して、該第1の平面ミラーを直接照明することが、該光源のレンズからの光であって、該第2のミラーによって反射されて該第1の平面ミラーの反射面に入射する該光を放射することを含む、前記複数の第1の平面ミラー
    材料サンプルを支持するように構成されたサンプル支持体であって、該第1平面ミラーの各々が様々な視点から該材料サンプルの各光景を反射するように、該サンプル支持体が配置されている、前記サンプル支持体、及び、
    該材料サンプルを反射する該複数の第1の平面ミラーの複数の画像を撮るように構成されたカメラであって、該光源が該第1の平面ミラーの異なる第1のミラーを直接照明する位置にあるときに、該複数の画像の各々が撮られる、前記カメラ
    を備える、装置。
  2. 画像が複数の領域を含み、該複数の領域の各領域が前記複数の第1平面ミラーのそれぞれの平面ミラーに対応し、かつ各領域が前記材料サンプルの各光景を反射する該対応する第1のミラーの画像である、請求項1記載の装置。
  3. 前記カメラが、さらに、前記材料サンプルのコンピュータグラフィックス表現をシェーディングするためのデータ構造の作成に使用するためのシステムに前記画像を供給するように構成されている、請求項1記載の装置。
  4. 前記第1の平面ミラーが、該1の平面ミラーのそれぞれの表面が楕円体の外面の一部に近接するように配置されている、請求項1記載の装置。
  5. 前記放射される光がコリメート光である、請求項1記載の装置。
  6. 前記サンプル支持体が、さらに、前記材料サンプルが1つ以上の軸に沿って回転できるように構成されている、請求項1記載の装置。
  7. 前記光源が、回転ディスクに取り付けられている、請求項記載の装置。
  8. 前記サンプル支持体が、前記複数の第1の平面ミラーと前記光源との間に前記材料サンプルを保持するように構成されている、請求項記載の装置。
  9. 前記カメラが前記光源に近接している、請求項記載の装置。
  10. 前記第1の平面ミラーが、該第1の平面ミラーの各表面が楕円体の外面の一部に近接するように配置され、かつ前記材料サンプルの中心が、前記楕円体の中心を通り該楕円体の半軸に沿っている該楕円体の断面を取ることによって形成される楕円の第1の焦点に配置されている、請求項記載の装置。
  11. 前記カメラが、前記楕円の第2の焦点に配置されている、請求項10記載の装置。
  12. 前記カメラが、外部システムから受け取るリクエストに応答して前記ミラーの画像を撮るように構成されている、請求項1記載の装置。
JP2015182401A 2014-05-15 2015-09-16 材料のcg表現のシェーディング Active JP6138880B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US14/278,025 US8982125B1 (en) 2014-05-15 2014-05-15 Shading CG representations of materials
US14/278,025 2014-05-15
US14/448,666 2014-07-31
US14/448,666 US8982126B1 (en) 2014-05-15 2014-07-31 Shading CG representations of materials

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015098848A Division JP5813900B1 (ja) 2014-05-15 2015-05-14 材料のcg表現のシェーディング

Publications (3)

Publication Number Publication Date
JP2016027487A JP2016027487A (ja) 2016-02-18
JP2016027487A5 JP2016027487A5 (ja) 2016-03-31
JP6138880B2 true JP6138880B2 (ja) 2017-05-31

Family

ID=52632264

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015098848A Active JP5813900B1 (ja) 2014-05-15 2015-05-14 材料のcg表現のシェーディング
JP2015182401A Active JP6138880B2 (ja) 2014-05-15 2015-09-16 材料のcg表現のシェーディング

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015098848A Active JP5813900B1 (ja) 2014-05-15 2015-05-14 材料のcg表現のシェーディング

Country Status (9)

Country Link
US (3) US8982125B1 (ja)
EP (3) EP3739549B1 (ja)
JP (2) JP5813900B1 (ja)
KR (2) KR101607607B1 (ja)
CN (2) CN105096374B (ja)
AU (1) AU2015201456C1 (ja)
CA (2) CA2891431C (ja)
DK (3) DK3739549T3 (ja)
ES (3) ES2802225T3 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10713838B2 (en) * 2013-05-03 2020-07-14 Nvidia Corporation Image illumination rendering system and method
US8982125B1 (en) 2014-05-15 2015-03-17 Chaos Software Ltd. Shading CG representations of materials
KR102306780B1 (ko) * 2014-12-15 2021-09-30 삼성전자주식회사 영상 처리 장치 및 방법
JP6604744B2 (ja) * 2015-05-03 2019-11-13 キヤノン株式会社 画像処理装置、画像処理方法、画像形成システム及びプログラム
CN109642787B (zh) 2016-07-20 2021-10-29 穆拉有限公司 3d表面测量的系统与方法
DE102017127367A1 (de) * 2016-12-09 2018-06-14 Nvidia Corporation Automatischer detaillierungsgrad für physikalisch basierte materialien
US10504273B2 (en) 2016-12-09 2019-12-10 Nvidia Corporation Automatic level-of-detail for physically-based materials
CN108460825A (zh) * 2018-03-15 2018-08-28 中辰远瞻(北京)照明设计有限公司 一种夜景照明方案效果图制作方法
US11030800B2 (en) * 2019-11-08 2021-06-08 Chaos Software Ltd. Rendering images using modified multiple importance sampling
CN111179402B (zh) * 2020-01-02 2023-07-14 竞技世界(北京)网络技术有限公司 一种目标对象的渲染方法、装置及系统
JP7362121B2 (ja) * 2020-02-25 2023-10-17 株式会社パパラボ 色・質感測定装置及び方法
KR20230021962A (ko) * 2021-08-06 2023-02-14 현대자동차주식회사 자동차 실내 마감재 변화에 따른 간접조명 색 보정 장치 및 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6858826B2 (en) * 1996-10-25 2005-02-22 Waveworx Inc. Method and apparatus for scanning three-dimensional objects
DE10108075A1 (de) * 2001-02-20 2002-09-19 Oce Document Technologies Gmbh Vorrichtung und Verfahren zum zeilenförmigen Beleuchten eines Objektes mittels LEDs und eines elliptischen Spiegels
JP3922543B2 (ja) * 2002-06-05 2007-05-30 ソニー株式会社 撮像装置、および画像表示装置
US6831641B2 (en) * 2002-06-17 2004-12-14 Mitsubishi Electric Research Labs, Inc. Modeling and rendering of surface reflectance fields of 3D objects
US7830522B2 (en) * 2002-09-25 2010-11-09 New York University Method and apparatus for determining reflectance data of a subject
DK1774465T3 (da) * 2004-07-23 2009-08-17 3Shape As Adaptiv 3D scanning
JP2006139726A (ja) * 2004-11-15 2006-06-01 Mitsubishi Heavy Ind Ltd 質感再現システム
US7929142B2 (en) * 2007-09-25 2011-04-19 Microsoft Corporation Photodiode-based bi-directional reflectance distribution function (BRDF) measurement
TWI374398B (en) * 2008-06-16 2012-10-11 Univ Nat Cheng Kung Method and apparatus for forming 3-d image
JP5294403B2 (ja) * 2008-11-19 2013-09-18 国立大学法人 名古屋工業大学 三次元ct計測システム
US9071834B2 (en) * 2009-04-25 2015-06-30 James Yett Array of individually angled mirrors reflecting disparate color sources toward one or more viewing positions to construct images and visual effects
US20130120385A1 (en) * 2009-09-15 2013-05-16 Aravind Krishnaswamy Methods and Apparatus for Diffuse Indirect Illumination Computation using Progressive Interleaved Irradiance Sampling
JP5721070B2 (ja) * 2011-03-08 2015-05-20 国立研究開発法人産業技術総合研究所 光学特性測定装置
US8432435B2 (en) 2011-08-10 2013-04-30 Seiko Epson Corporation Ray image modeling for fast catadioptric light field rendering
KR101351745B1 (ko) * 2012-06-29 2014-01-16 인텔렉추얼디스커버리 주식회사 3차원 얼굴 생성 장치 및 방법
US8982125B1 (en) 2014-05-15 2015-03-17 Chaos Software Ltd. Shading CG representations of materials

Also Published As

Publication number Publication date
JP2016027487A (ja) 2016-02-18
EP3079122A1 (en) 2016-10-12
AU2015201456C1 (en) 2015-10-15
CN105096374A (zh) 2015-11-25
CN105787990A (zh) 2016-07-20
KR20160029059A (ko) 2016-03-14
KR101607607B1 (ko) 2016-03-30
DK2977960T3 (da) 2021-10-04
ES2802225T3 (es) 2021-01-18
CA2924144A1 (en) 2015-08-07
US8982126B1 (en) 2015-03-17
US8982125B1 (en) 2015-03-17
KR20150132031A (ko) 2015-11-25
EP3739549B1 (en) 2022-09-07
ES2932404T3 (es) 2023-01-18
KR101656420B1 (ko) 2016-09-09
CA2891431C (en) 2016-08-02
EP2977960A1 (en) 2016-01-27
EP3739549A1 (en) 2020-11-18
CA2924144C (en) 2016-10-04
CN105787990B (zh) 2019-10-22
US20150332497A1 (en) 2015-11-19
JP2015219918A (ja) 2015-12-07
DK3739549T3 (da) 2022-11-28
EP3079122B1 (en) 2020-03-18
US9235927B2 (en) 2016-01-12
ES2893260T3 (es) 2022-02-08
CA2891431A1 (en) 2015-08-07
EP2977960B1 (en) 2021-07-14
DK3079122T3 (da) 2020-06-22
JP5813900B1 (ja) 2015-11-17
CN105096374B (zh) 2017-04-26
AU2015201456B1 (en) 2015-05-07

Similar Documents

Publication Publication Date Title
JP6138880B2 (ja) 材料のcg表現のシェーディング
EP2745237B1 (en) Dynamic selection of surfaces in real world for projection of information thereon
US10395389B2 (en) Calibration based on intrinsic parameter selection and a projected calibration target
US9619922B2 (en) Distribution caching for direct lights
AU2015204402B2 (en) Shading cg representations of materials
CN109242941A (zh) 三维对象合成通过使用视觉引导作为二维数字图像的一部分
CN112346579A (zh) 用于大规模桌面模型的指向和交互控制装置
CN116433877B (zh) 确定物体模型摆放面的方法、电子设备及存储介质
US20160163090A1 (en) Computing device and method for simulating process of scanning drawing of object
US11941499B2 (en) Training using rendered images
US10504251B1 (en) Determining a visual hull of an object
Petrasova et al. System Configuration
Fan View and Path Planning for Scaling 3D Acquisition to Many Objects

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160202

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161025

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170426

R150 Certificate of patent or registration of utility model

Ref document number: 6138880

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250