JP6878415B2 - ライトフィールド・データ表現 - Google Patents
ライトフィールド・データ表現 Download PDFInfo
- Publication number
- JP6878415B2 JP6878415B2 JP2018514259A JP2018514259A JP6878415B2 JP 6878415 B2 JP6878415 B2 JP 6878415B2 JP 2018514259 A JP2018514259 A JP 2018514259A JP 2018514259 A JP2018514259 A JP 2018514259A JP 6878415 B2 JP6878415 B2 JP 6878415B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- light field
- ray
- lightfield
- intersection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 67
- 230000003287 optical effect Effects 0.000 claims description 53
- 229910052704 radon Inorganic materials 0.000 claims description 24
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 claims description 24
- 238000005070 sampling Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 238000009877 rendering Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 65
- 210000004027 cell Anatomy 0.000 description 49
- 238000012545 processing Methods 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 13
- 230000006870 function Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 238000003491 array Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000011980 disaster recovery test Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012856 packing Methods 0.000 description 3
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000579895 Chlorostilbon Species 0.000 description 1
- 210000004460 N cell Anatomy 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229910052876 emerald Inorganic materials 0.000 description 1
- 239000010976 emerald Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000036211 photosensitivity Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Image Generation (AREA)
- Color Television Image Signal Generators (AREA)
- Image Analysis (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Description
前記幾何学的データから、シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、前記複数の参照平面はシーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合はある色値をもつ、段階と;
前記交差データの表現のためのサンプリング・セルのパラメータ空間を定義する段階と;
たとえば離散的なラドン変換によりまたは較正データから、前記交差データを表わす前記パラメータ空間における一つまたは複数のデジタル・データ超平面を決定する段階と;
前記パラメータ空間における前記データ超平面を定義するデータ・パラメータおよびそれぞれの生成されたライトフィールド・レイに関連付けられた前記色値を含む前記ライトフィールドを表わすデータ・フォーマットを提供する段階とを実行する方法が提供される。
ここで、z1およびz2は参照平面の奥行きを定義し、x1、y1はライトフィールド・レイの参照平面1との交点を定義し、x2、y2は前記ライトフィールド・レイの参照平面1との交点を定義し、x3、y3、z3は前記ライトフィールド・レイのレンダリング平面との交点を定義する。
第一の参照平面の交差データの最小値;
前記第一の参照平面の交差データの最大値;
第二の参照平面の交差データの最小値;
前記第二の参照平面の交差データの最大値;
のうちの少なくとも一つを表わすデータを含む。
前記パラメータ空間を定義するサンプリング・セルの数;
前記第一の参照平面の位置;および
前記第二の参照平面の位置
のうちの少なくとも一つを表わすデータを含む。
ライトフィールド・カメラによって捕捉されたライトフィールド・データを取得するためのライトフィールド・データ取得モジュールと;
ライトフィールド・データ生成モジュールであって、
シーンから捕捉された諸ピクセルの形のライトフィールド・データから、捕捉されたライトフィールド・データに対応するライトフィールド・レイのシーンからの経路を定義する幾何学的データを生成する段階と;
前記幾何学的データから、シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、前記複数の参照平面は互いに平行であり、シーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合はある色値をもつ、段階と;
前記交差データの表現のためのサンプリング・セルのパラメータ空間を定義する段階と;
離散的なラドン変換により、前記交差データを表わす前記パラメータ空間における一つまたは複数のデジタル・データ超平面を決定する段階と;
前記パラメータ空間における前記データ超平面を定義するデータ・パラメータおよびそれぞれの生成されたライトフィールド・レイに関連付けられた前記色値を含む前記ライトフィールドを表わすデータ・フォーマットを提供する段階とを実行するよう構成されているライトフィールド・データ生成モジュールとを有する装置を提供する。
前記ライト・レイの交差データのレイ図におけるグラフィック表現を定義するレイ図パラメータであって、前記交差データはシーンからの前記ライトフィールド・レイと複数の所与の参照平面との交点を定義し、前記複数の参照平面はシーンにおける異なる奥行きに対応する、パラメータと;
前記ライトフィールド・レイの色を定義する色データとを含むものを提供する。
シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、前記複数の参照平面はシーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合はある色値をもつ、段階と;
サンプリング・セルのパラメータ空間において前記交差データを表わす一つまたは複数のデジタル・データ超平面を決定する段階と;
パラメトリックな式によって前記データ超平面上または前記データ超平面のまわりのデータを走査して、前記ライトフィールド・レイを表わすデータをサンプリングする段階と;
前記パラメータ空間において前記少なくとも一つのデータ超平面を定義する少なくとも一つのデータ・パラメータおよびそれぞれの生成されたライトフィールド・レイに関連付けられた前記色値を含む前記ライトフィールドを表わすデータ・フォーマットを提供する段階とを含む。
取得されたライトフィールド・データから、シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、前記複数の参照平面はシーンにおける異なる奥行きに対応する、段階と;取得されたライトフィールド・データを表わすデータを提供するために、レイ図において前記交差データのグラフィック表現を定義するレイ図パラメータを得る段階とを実行するよう構成されているライトフィールド・データ取得モジュールとを有する。
・切片データx1、x2の2D図のマトリクスのセルの数(NかけるM)。Nはx1セルの数に対応し、Mはx2セルの数に対応する。
・たとえば図9に示されるように(0,d)から(N−1,s)まで延びる一つまたは複数のライトフィールド・レイに対応するデジタル・データ線を定義するパラメータdおよびs
・取得カメラの数n
・各データ線のRGBデータ。
開口のサイズ:Aj
カメラcamjの焦点:焦点=(x3,y3,z3)
(x1x,2)における最低のd切片=dj
傾き=mj
(x1,x2)におけるデジタル線の数=lx j
(y1,y2)におけるデジタル線の数=ly j
。
上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
(付記1)
ライトフィールドを表わすデータを生成するコンピュータ実装される方法であって、当該方法は、
シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、複数の参照平面はシーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合はある色値をもつ、段階と、
サンプリング・セルのパラメータ空間において交差データを表わす一つまたは複数のデータ超平面を決定する段階と、
パラメトリックな式によってデータ超平面上またはデータ超平面の付近のデータを走査して、ライトフィールド・レイを表わすデータをサンプリングする段階と、
パラメータ空間において少なくとも一つのデータ超平面を定義する少なくとも一つのデータ・パラメータと、それぞれのライトフィールド・レイに関連付けられた色値とを含む、ライトフィールドを表わすデータ・フォーマットを提供する段階とを含む、方法。
(付記2)
一つまたは複数のデジタル・データ超平面は、離散ラドン変換によって決定される、付記1記載の方法。
(付記3)
二つの直交する離散ラドン変換がパラメータ空間において適用されて、一つまたは複数のデジタル超平面を得る、付記2記載の方法。
(付記4)
一つまたは複数のデータ超平面は、カメラ取得パラメータを定義するデータから決定される、付記1記載の方法。
(付記5)
データを走査することは、次のアルゴリズム
(付記6)
少なくとも一つのデータ超平面を定義するデータ・パラメータは、
第一の参照平面の交差データの最小値、
第一の参照平面の交差データの最大値、
第二の参照平面の交差データの最小値、
第二の参照平面の交差データの最大値、
パラメータ空間を定義するサンプリング・セルの数、
第一の参照平面の位置、及び
第二の参照平面の位置
のうちの少なくとも一つを表わすデータを含む、付記1乃至5のうち何れか一項記載の方法。
(付記7)
各データ超平面は、パラメータ空間の複数のセルによって定義され、
少なくとも一つの第一のセルが直線の、軸との切片を表わし、
少なくとも一つの第二のセルからは直線の傾きが決定できる、付記1乃至6のうち何れか一項記載の方法。
(付記8)
各デジタル超平面は、ブレゼンハムのアルゴリズムの適用によって生成される、付記1乃至7のうち何れか一項記載の方法。
(付記9)
諸レイのビームが、同じ傾きおよび異なる軸切片点をもつ複数の直線として表わされる、付記1乃至8のうち何れか一項記載の方法。
(付記10)
取得されたライトフィールド・データを表わすデータは、前記ビームの直線の軸切片データの上端および下端に基づいて前記ビームの太さを表わすデータを含む、付記9記載の方法。
(付記11)
付記1乃至10のうち何れか一項記載の方法に従って提供されるライトフィールド・データからライトフィールド・レイを生成する方法であって、
少なくとも一つの超平面を定義するデータ・パラメータを定義するメタデータを読み、セルごとに色データを読むことを含む、方法。
(付記12)
捕捉されたライトフィールド・データについてのメタデータを提供する装置であって、
ライトフィールド・カメラによって捕捉されたライトフィールド・データを取得するためのライトフィールド・データ取得モジュールと、
ライトフィールド・データ生成モジュールであって、
シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、複数の参照平面はシーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合はある色値をもつ、段階と、
サンプリング・セルのパラメータ空間において交差データを表わす一つまたは複数のデータ超平面を決定する段階と、
パラメトリックな式によってデータ超平面上またはデータ超平面の付近のデータを走査して、ライトフィールド・レイを表わすデータをサンプリングする段階と、
パラメータ空間においてデータ超平面を定義する少なくとも一つのデータ・パラメータと、それぞれの生成されたライトフィールド・レイに関連付けられた色値とを含む、ライトフィールドを表わすデータ・フォーマットを提供する段階とを実行するよう構成されている、
ライトフィールド・データ生成モジュールと、
を備える、装置。
(付記13)
規則的な格子構造に配列されたマイクロレンズのアレイと、
光センサーであって、マイクロレンズのアレイから光センサー上に投射された光を捕捉するよう構成されており、光センサーはピクセルの諸集合を含み、ピクセルの各集合がマイクロレンズのアレイのそれぞれのマイクロレンズに光学的に関連付けられている、光センサーと、
付記12記載のメタデータを提供する装置と、
を備える、ライトフィールド撮像装置。
(付記14)
付記1乃至11のうち何れか一項記載の方法を使って得られたライトフィールド・データから画像をレンダリングする装置。
(付記15)
ライトフィールドの諸レイを表わすデータのためのデータ・パッケージであって、
パラメータ空間において超平面を定義する少なくとも一つのデータ・パラメータであって、超平面はシーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを表わし、複数の参照平面はシーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合は色値をもつ、データ・パラメータと、
各ライトフィールド・レイに関連付けられた前記色値と、
を含む、データ・パッケージ。
(付記16)
ライトフィールドを表わすデータを生成するコンピュータ実装される方法であって、
シーンから捕捉されたライトフィールド・レイを表わすライトフィールド・データを取得する段階と、
取得されたライトフィールド・データから、シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階と、
取得されたライトフィールド・データを表わすデータを提供するためのレイ図における交差データのグラフィック表現を定義するレイ図パラメータを得る段階と、
を含む方法。
(付記17)
ライトフィールド・レイに対応する切片データが、レイ図においてデータ直線としてグラフィックに表現され、レイ図パラメータは、
データ直線の傾き、及び
データ直線のレイ図の軸との切片
のうちの少なくとも一方を表わすデータを含む、付記16記載の方法。
(付記18)
データ直線は、レイ図において、ラドン変換を適用することによって、検出される、付記17記載の方法。
(付記19)
グラフィック表現は、デジタル・データ直線を提供するためのセルのマトリクスとして提供され、各デジタル・データ直線フォーマットは、複数のセルによって定義され、少なくとも一つの第一のセルが直線の軸との切片を表わし、少なくとも一つの第二のセルからは直線の傾きが決定できる、付記17または18記載の方法。
(付記20)
各デジタル・データ直線は、ブレゼンハムのアルゴリズムの適用によって生成される、付記19記載の方法。
(付記21)
取得されたライトフィールド・データを表わすデータが、セルのマトリクスを定義するデータを含む、付記19または20記載の方法。
(付記22)
取得されたライトフィールド・データを表わすデータが、更に、対応するライトフィールド・レイの色を表わす色データを含む、付記16乃至21のうち何れか一項記載の方法。
(付記23)
取得されたライトフィールド・データを表わすデータが、ライトフィールド・レイを捕捉するために使われるカメラの数を定義するデータを含む、付記16乃至22のうち何れか一項記載の方法。
(付記24)
諸レイのビームが、同じ傾きおよび異なる軸切片点をもつ複数の直線として表わされる、付記17乃至23のうち何れか一項記載の方法。
(付記25)
取得されたライトフィールド・データを表わすデータは、ビームの直線の軸切片データの上端および下端に基づいてビームの太さを表わすデータを含む、付記24記載の方法。
(付記26)
取得されたライトフィールド・データを表わすデータは、メタデータとして提供され、メタデータのヘッダは、レイ図における切片データのグラフィック表現を定義するレイ図パラメータを含み、メタデータのボディは、レイの色を表わすデータを含む、付記25記載の方法。
(付記27)
捕捉されたライトフィールド・データについてのメタデータを提供する装置であって、当該装置は、
ライトフィールド・カメラによって捕捉されたライトフィールド・データを取得するためのライトフィールド・データ取得モジュールと、
ライトフィールド・データ生成モジュールであって、
取得されたライトフィールド・データから、シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、複数の参照平面はシーンにおける異なる奥行きに対応する、段階と、
取得されたライトフィールド・データを表わすデータを提供するために、レイ図において交差データのグラフィック表現を定義するレイ図パラメータを得る段階と、を実行するよう構成されている
ライトフィールド・データ取得モジュールと、
を備える装置。
(付記28)
規則的な格子構造に配列されたマイクロレンズのアレイと、
光センサーであって、マイクロレンズのアレイから光センサー上に投射された光を捕捉するよう構成されており、光センサーはピクセルの諸集合を含み、ピクセルの各集合がマイクロレンズのアレイのそれぞれのマイクロレンズに光学的に関連付けられている、光センサーと、
付記12記載のメタデータを提供する装置と、
を備える、ライトフィールド撮像装置。
(付記29)
付記16乃至26のうち何れか一項記載の方法に従って得られたデータを処理するプロセッサと、
処理されたデータに従って画像をレンダリングするディスプレイと、
を備える、ライトフィールド・データから画像をレンダリングする装置。
(付記30)
ライトフィールドの諸レイを表わすデータのためのデータ・パッケージであって、
ライト・レイの交差データのレイ図におけるグラフィック表現を定義するレイ図パラメータであって、交差データはシーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義し、複数の参照平面はシーンにおける異なる奥行きに対応する、パラメータと、
ライトフィールド・レイの色を定義する色データと、
を含む、データ・パッケージ。
(付記31)
プログラム可能な装置にロードされて実行されるときに付記1乃至10または16乃至26のうち何れか一項記載の方法を実装するための命令のシーケンスを有する、プログラム可能な装置のためのコンピュータ・プログラム・プロダクト。
Claims (8)
- ライトフィールドを表わすデータを生成するコンピュータ実装される方法であって、当該方法は、
シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、前記複数の参照平面はシーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合はある色値をもつ、段階と、
サンプリング・セルのパラメータ空間において前記交差データを表わす一つまたは複数のデータ超平面を決定する段階と、
パラメトリックな式によって前記データ超平面上または前記データ超平面の付近のデータを走査して、前記ライトフィールド・レイを表わすデータをサンプリングする段階と、
前記パラメータ空間において前記少なくとも一つのデータ超平面を定義する少なくとも一つのデータ・パラメータと、それぞれのライトフィールド・レイに関連付けられた前記色値とを含む、前記ライトフィールドを表わすデータ・フォーマットを提供する段階とを含み、
前記一つまたは複数のデータ超平面は、離散ラドン変換によって決定される、方法。 - 二つの直交する離散ラドン変換が前記パラメータ空間において適用されて、前記一つまたは複数のデータ超平面を得る、請求項1記載の方法。
- 前記一つまたは複数のデータ超平面は、カメラ取得パラメータを定義するデータから決定される、請求項1記載の方法。
- 前記少なくとも一つのデータ超平面を定義する前記データ・パラメータは、
第一の参照平面の交差データの最小値、
前記第一の参照平面の交差データの最大値、
第二の参照平面の交差データの最小値、
前記第二の参照平面の交差データの最大値、
前記パラメータ空間を定義するサンプリング・セルの数、
前記第一の参照平面の位置、及び
前記第二の参照平面の位置
のうちの少なくとも一つを表わすデータを含む、請求項1乃至3のうち何れか一項記載の方法。 - 捕捉されたライトフィールド・データについてのメタデータを提供する装置であって、
ライトフィールド・カメラによって捕捉されたライトフィールド・データを取得するためのライトフィールド・データ取得モジュールと、
ライトフィールド・データ生成モジュールであって、
シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、前記複数の参照平面はシーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合はある色値をもつ、段階と、
サンプリング・セルのパラメータ空間において前記交差データを表わす一つまたは複数のデータ超平面を離散ラドン変換により決定する段階と、
パラメトリックな式によって前記データ超平面上または前記データ超平面の付近のデータを走査して、前記ライトフィールド・レイを表わすデータをサンプリングする段階と、
前記パラメータ空間において前記データ超平面を定義する少なくとも一つのデータ・パラメータと、それぞれの生成されたライトフィールド・レイに関連付けられた前記色値とを含む、前記ライトフィールドを表わすデータ・フォーマットを提供する段階とを実行するよう構成されている、
ライトフィールド・データ生成モジュールと、
を備える、装置。 - 規則的な格子構造に配列されたマイクロレンズのアレイと、
光センサーであって、マイクロレンズの前記アレイから前記光センサー上に投射された光を捕捉するよう構成されており、前記光センサーはピクセルの諸集合を含み、ピクセルの各集合がマイクロレンズの前記アレイのそれぞれのマイクロレンズに光学的に関連付けられている、光センサーと、
請求項5に記載のメタデータを提供する装置と、
を備える、ライトフィールド撮像装置。 - 請求項1乃至4のうち何れか1項に記載の方法を使って得られたライトフィールド・データから画像をレンダリングする装置。
- ライトフィールドの諸レイを表わすデータのためのデータ・パッケージから画像をレンダリングするための装置であって、
前記データ・パッケージを処理するように構成されているプロセッサであって、前記データ・パッケージは、パラメータ空間において超平面を定義する少なくとも一つのデータ・パラメータであって、前記超平面は、離散ラドン変換により決定され、且つシーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを表わし、前記複数の参照平面はシーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合は色値をもつ、データ・パラメータと、各ライトフィールド・レイに関連付けられた前記色値と、を備える、プロセッサと、
前記処理されたデータ・パッケージに従って画像をレンダリングするように構成されているディスプレイと、
を備える装置。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15306434.0 | 2015-09-17 | ||
EP15306434.0A EP3144884A1 (en) | 2015-09-17 | 2015-09-17 | Light field data representation |
EP15306436.5A EP3144885A1 (en) | 2015-09-17 | 2015-09-17 | Light field data representation |
EP15306436.5 | 2015-09-17 | ||
PCT/EP2016/072043 WO2017046372A1 (en) | 2015-09-17 | 2016-09-16 | Light field data representation |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018536211A JP2018536211A (ja) | 2018-12-06 |
JP2018536211A5 JP2018536211A5 (ja) | 2019-10-10 |
JP6878415B2 true JP6878415B2 (ja) | 2021-05-26 |
Family
ID=56979550
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018514259A Active JP6878415B2 (ja) | 2015-09-17 | 2016-09-16 | ライトフィールド・データ表現 |
Country Status (10)
Country | Link |
---|---|
US (1) | US10887576B2 (ja) |
EP (1) | EP3350769A1 (ja) |
JP (1) | JP6878415B2 (ja) |
KR (1) | KR102635003B1 (ja) |
CN (1) | CN108292431B (ja) |
BR (1) | BR112018005399A2 (ja) |
CA (1) | CA2998670A1 (ja) |
MX (1) | MX2018003269A (ja) |
RU (1) | RU2018113713A (ja) |
WO (1) | WO2017046372A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9769365B1 (en) * | 2013-02-15 | 2017-09-19 | Red.Com, Inc. | Dense field imaging |
CA2998690A1 (en) * | 2015-09-17 | 2017-03-23 | Thomson Licensing | Method for encoding a light field content |
EP3579561A1 (en) * | 2018-06-05 | 2019-12-11 | InterDigital VC Holdings, Inc. | Prediction for light-field coding and decoding |
KR20200067020A (ko) * | 2018-12-03 | 2020-06-11 | 삼성전자주식회사 | 캘리브레이션 방법 및 장치 |
CN114175627B (zh) | 2019-06-07 | 2024-04-12 | 交互数字Vc控股公司 | 用于基于分布式光孔的光场显示器的光学方法和系统 |
WO2020253863A1 (en) | 2019-06-21 | 2020-12-24 | Beijing Bytedance Network Technology Co., Ltd. | Selective use of adaptive in-loop color-space transform and other video coding tools |
US11917121B2 (en) | 2019-06-28 | 2024-02-27 | Interdigital Madison Patent Holdings, Sas | Optical method and system for light field (LF) displays based on tunable liquid crystal (LC) diffusers |
WO2021088951A1 (en) * | 2019-11-07 | 2021-05-14 | Beijing Bytedance Network Technology Co., Ltd. | Quantization properties of adaptive in-loop color-space transform for video coding |
CN117015966A (zh) * | 2021-03-15 | 2023-11-07 | 华为技术有限公司 | 一种光场预测模型的生成方法及相关装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6097394A (en) | 1997-04-28 | 2000-08-01 | Board Of Trustees, Leland Stanford, Jr. University | Method and system for light field rendering |
AU769528B2 (en) | 1999-03-24 | 2004-01-29 | Avix Inc. | Method and device for displaying bit-map multi-colored image data on dot matrix type display screen on which three-primary-color lamps are distributingly arrayed |
JP2000322576A (ja) | 1999-05-11 | 2000-11-24 | Toshiba Corp | 3次元画像データ作成方法および3次元画像データを用いた任意視点画像作成方法 |
US20040114807A1 (en) * | 2002-12-13 | 2004-06-17 | Dan Lelescu | Statistical representation and coding of light field data |
US7643675B2 (en) | 2003-08-01 | 2010-01-05 | Microsoft Corporation | Strategies for processing image information using a color information data structure |
US8237708B2 (en) | 2006-08-18 | 2012-08-07 | William Edward Mantzel | Data structure representing a plenoptic function via compressible layered orthographic projections from multiple orientations |
US20130113981A1 (en) | 2006-12-01 | 2013-05-09 | Lytro, Inc. | Light field camera image, file and configuration data, and methods of using, storing and communicating same |
ES2372515B2 (es) * | 2008-01-15 | 2012-10-16 | Universidad De La Laguna | Cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales. |
WO2009114482A1 (en) | 2008-03-10 | 2009-09-17 | Dilithium Holdings, Inc. | Method and apparatus for video services |
ATE551841T1 (de) | 2009-04-22 | 2012-04-15 | Raytrix Gmbh | Digitales bildgebungsverfahren zum synthetisieren eines bildes unter verwendung der mit einer plenoptischen kamera aufgezeichneten daten |
KR20130003135A (ko) | 2011-06-30 | 2013-01-09 | 삼성전자주식회사 | 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법 및 장치 |
US8754829B2 (en) * | 2012-08-04 | 2014-06-17 | Paul Lapstun | Scanning light field camera and display |
US9298006B2 (en) | 2013-01-18 | 2016-03-29 | Intel Corporation | Layered light field reconstruction for defocus blur |
US9380221B2 (en) | 2013-02-27 | 2016-06-28 | Massachusetts Institute Of Technology | Methods and apparatus for light field photography |
US9412172B2 (en) * | 2013-05-06 | 2016-08-09 | Disney Enterprises, Inc. | Sparse light field representation |
CN103402108A (zh) | 2013-07-30 | 2013-11-20 | 上海易维视科技有限公司 | 一种多视点3d格式排列方法 |
KR102156402B1 (ko) * | 2013-11-05 | 2020-09-16 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
JP2016537901A (ja) * | 2013-11-22 | 2016-12-01 | ヴィディノティ エスアーVidinoti Sa | ライトフィールド処理方法 |
JP6223169B2 (ja) * | 2013-12-19 | 2017-11-01 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
-
2016
- 2016-09-16 BR BR112018005399A patent/BR112018005399A2/pt not_active IP Right Cessation
- 2016-09-16 JP JP2018514259A patent/JP6878415B2/ja active Active
- 2016-09-16 WO PCT/EP2016/072043 patent/WO2017046372A1/en active Application Filing
- 2016-09-16 MX MX2018003269A patent/MX2018003269A/es unknown
- 2016-09-16 KR KR1020187007697A patent/KR102635003B1/ko active IP Right Grant
- 2016-09-16 CA CA2998670A patent/CA2998670A1/en not_active Abandoned
- 2016-09-16 EP EP16769961.0A patent/EP3350769A1/en active Pending
- 2016-09-16 US US15/761,095 patent/US10887576B2/en active Active
- 2016-09-16 CN CN201680067390.1A patent/CN108292431B/zh active Active
- 2016-09-16 RU RU2018113713A patent/RU2018113713A/ru not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
BR112018005399A2 (pt) | 2018-10-09 |
US20190174115A1 (en) | 2019-06-06 |
WO2017046372A1 (en) | 2017-03-23 |
CN108292431B (zh) | 2022-08-02 |
KR102635003B1 (ko) | 2024-02-07 |
RU2018113713A3 (ja) | 2020-04-02 |
RU2018113713A (ru) | 2019-10-18 |
JP2018536211A (ja) | 2018-12-06 |
KR20180053669A (ko) | 2018-05-23 |
US10887576B2 (en) | 2021-01-05 |
CN108292431A (zh) | 2018-07-17 |
MX2018003269A (es) | 2018-11-09 |
EP3350769A1 (en) | 2018-07-25 |
CA2998670A1 (en) | 2017-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6878415B2 (ja) | ライトフィールド・データ表現 | |
US10021340B2 (en) | Method and an apparatus for generating data representative of a light field | |
US10033986B2 (en) | Capturing light-field images with uneven and/or incomplete angular sampling | |
EP3065394A1 (en) | Light field metadata | |
KR20180053668A (ko) | 화소 빔을 나타내는 데이터를 생성하기 위한 방법 및 장치 | |
EP3398161B1 (en) | A method and an apparatus for generating data representative of a pixel beam | |
CN108352061B (zh) | 用于产生表示像素光束的数据的装置和方法 | |
US11882259B2 (en) | Light field data representation | |
WO2020163742A1 (en) | Integrated spatial phase imaging | |
US20190101765A1 (en) | A method and an apparatus for generating data representative of a pixel beam | |
EP3144884A1 (en) | Light field data representation | |
Damghanian et al. | The sampling pattern cube–a representation and evaluation tool for optical capturing systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181220 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190828 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190828 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20191106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210408 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210428 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6878415 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |