JP6599436B2 - ユーザ選択可能な新規ビューを生成するためのシステムおよび方法 - Google Patents
ユーザ選択可能な新規ビューを生成するためのシステムおよび方法 Download PDFInfo
- Publication number
- JP6599436B2 JP6599436B2 JP2017509587A JP2017509587A JP6599436B2 JP 6599436 B2 JP6599436 B2 JP 6599436B2 JP 2017509587 A JP2017509587 A JP 2017509587A JP 2017509587 A JP2017509587 A JP 2017509587A JP 6599436 B2 JP6599436 B2 JP 6599436B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- data
- model
- surrounding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 139
- 238000009877 rendering Methods 0.000 claims description 53
- 238000004891 communication Methods 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 21
- 230000000007 visual effect Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 9
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 230000002093 peripheral effect Effects 0.000 claims 7
- 230000015654 memory Effects 0.000 description 61
- 238000003384 imaging method Methods 0.000 description 54
- 238000010586 diagram Methods 0.000 description 51
- 230000006870 function Effects 0.000 description 22
- 230000006835 compression Effects 0.000 description 20
- 238000007906 compression Methods 0.000 description 20
- 238000004422 calculation algorithm Methods 0.000 description 17
- 230000033001 locomotion Effects 0.000 description 17
- 230000006641 stabilisation Effects 0.000 description 16
- 238000011105 stabilization Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 14
- 238000000605 extraction Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 13
- 230000011218 segmentation Effects 0.000 description 13
- 230000001360 synchronised effect Effects 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 11
- 238000003860 storage Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 230000003068 static effect Effects 0.000 description 9
- 239000011295 pitch Substances 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 125000004122 cyclic group Chemical group 0.000 description 6
- 238000005192 partition Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 230000000737 periodic effect Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003997 social interaction Effects 0.000 description 2
- 239000004606 Fillers/Extenders Substances 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20152—Watershed segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/22—Cropping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
Description
該方法は、
(a)ユーザにより、前記イベント空間のボリュームが決定され;
(b)ユーザにより、細分化モジュールと、前記イベントを複数の画像フレームに記録するための複数のカメラとを含むシステムのために前記ボリュームが定義され;
(c)前記細分化モジュールにより、前記ボリュームを、該ボリュームを構成する複数のサブボリュームに分割し;
(d)前記細分化モジュールにより、前記複数のサブボリュームのそれぞれを、それぞれのカメラから投影して、それぞれのカメラに対応する複数のサブボリュームマスクを生成し;
(e)前記システムにより、前記イベントを記録し;
(f)前記細分化モジュールにより、それぞれのカメラのための画像マスクを生成し;
(g)前記細分化モジュールにより、それぞれのカメラごとに、前記それぞれの画像マスクと前記それぞれのサブボリュームマスクとを比較し、かつ、前記細分化モジュールにより、少なくとも1個の画像マスクから前記イベントに関連する少なくとも1個の特徴を抽出し;
(h)前記細分化モジュールにより、前記少なくとも1個の特徴をサブ空間分割マスクに保存し;
(i)前記システムにより、前記部分空間分割マスクを用いて、前記画像フレームから前記少なくとも1個の特徴を切り出し;および
(j)前記システムにより、前記少なくとも1個の特徴のみを3D再構成のために処理する、
工程を含む。
該システムは、
前記イベントを複数の画像フレームに記録するための複数のカメラと;
細分化モジュールと;
を備え、
前記細分化モジュールにより、前記ボリュームを、該ボリュームを構成する複数のサブボリュームに分割し;
前記細分化モジュールにより、前記複数のサブボリュームのそれぞれを、それぞれのカメラから投影して、それぞれのカメラに対応する複数のサブボリュームマスクを生成し;
該システムにより、前記イベントを記録し;
前記細分化モジュールにより、それぞれのカメラのための画像マスクを生成し;
前記細分化モジュールにより、それぞれのカメラごとに、前記それぞれの画像マスクと前記それぞれのサブボリュームマスクとを比較し、かつ、前記細分化モジュールにより、少なくとも1個の画像マスクから前記イベントに関連する少なくとも1個の特徴を抽出し;
前記細分化モジュールにより、前記少なくとも1個の特徴をサブ空間分割マスクに保存し;および、
該システムにより、前記部分空間分割マスクを用いて、前記画像フレームから前記少なくとも1個の特徴を切り出す;
ようになっており、
該システムは、前記少なくとも1個の特徴のみを3D再構成のために処理することを特徴とする。
該システムは、
前記イベントの送信データを展開するためのマルチビュー再構成システムと;
それぞれが前記マルチビュー再構成システムからの前記送信データを受信し、前記送信データをフォトリアルな新規ビューとしてレンダリングする、複数のクライアント側レンダリング装置と;
を備える。
該方法は、
(a)サーバにより、前記イベントの送信データが送信され;
(b)第1のレンダリング装置上の第1のユーザにより、前記送信データが受信され;
(c)第1のユーザにより、第1のレンダリング装置上で、少なくとも1つの新規ビューをレンダリングするための経路が選択され;
(d)第1のレンダリング装置により、前記少なくとも1つの新規ビューがレンダリングされ;および
(e)前記ユーザにより、前記少なくとも1つの新規ビューのための新規ビューデータが、第1のレンダリング装置に保存される、
ステップを備える。
該方法は、
(a)複数のカメラを構成するそれぞれのカメラ用のサーバシステムにより、画像データを、前記それぞれのカメラのための少なくとも1つの前景モデルと、前記それぞれのカメラのための少なくとも1つの周囲モデルとに再構成し;
(b)前記サーバシステムにより、前記それぞれのカメラごとの少なくとも1つの前景モデルを結合して、すべての前景モデルの視覚的アトラスを生成し;
(c)前記サーバシステムにより、3Dデータ表現における3D座標に、前記視覚的アトラス内の前景画像データ用の前景マッピングデータを生成し;
(d)前記サーバシステムにより、すべてのカメラの周囲画像データを、それぞれのカメラごとに、それぞれの周囲モデルに投影し;
(e)前記サーバシステムにより、3Dデータ表現における3D座標に、それぞれの周囲モデル内の周囲画像データ用の周囲マッピングデータを生成し;
(f)前記サーバシステムにより、それぞれのカメラごとに、それぞれの周囲モデルを周囲画像として保存し;
(g)前記サーバシステムにより、前記前景マッピングデータ、前記周囲マッピングデータ、およびデプスマップ(距離画像)を圧縮し;
(h)前記サーバシステムにより、それぞれの周囲モデルに背景ラスタを投影することにより、画像シーケンス内の新たな画像フレームとして、前記視覚的アトラスをそれぞれの周囲モデルに挿入し;
(i)前記サーバシステムにより、前記視覚的アトラスを圧縮し;
(j)前記サーバシステムにより、前記それぞれの周囲画像および前記それぞれの周囲モデルを圧縮し;
(k)前記サーバシステムにより、それぞれの圧縮データを圧縮された順に送信し;
(l)前記視聴装置により、すべての圧縮データを受信し;
(m)前記視聴装置により、すべての圧縮データを非圧縮データに戻し;
(n)前記視聴装置上のユーザにより、前記新規ビューを選択し;および
(o)前記視聴装置により、それぞれの新規ビューのために、前記それぞれの周囲画像を前記それぞれの周囲モデル上にレンダリングする;
ステップを備える。
該システムは、サーバシステムと;視聴装置と;を含み、
前記サーバシステムは、
(a)複数のカメラを構成するそれぞれのカメラごとに、画像データを、前記それぞれのカメラのための少なくとも1つの前景モデルと、前記それぞれのカメラのための少なくとも1つの周囲モデルとに再構成し;
(b)前記それぞれのカメラごとの少なくとも1つの前景モデルを結合して、すべての前景モデルの視覚的アトラスを生成し;
(c)3Dデータ表現における3D座標に、前記視覚的アトラス内の前景画像データ用の前景マッピングデータを生成し;
(d)すべてのカメラの周囲画像データを、それぞれのカメラごとに、それぞれの周囲モデルに投影し;
(e)3Dデータ表現における3D座標に、それぞれの周囲モデル内の周囲画像データ用の周囲マッピングデータを生成し;
(f)それぞれのカメラごとに、前記それぞれの周囲モデルを周囲画像として保存し;
(g)前記前景マッピングデータ、前記周囲マッピングデータ、およびデプスマップ(距離画像)を圧縮し;
(h)それぞれの周囲モデルに背景ラスタを投影することにより、画像シーケンス内の新たな画像フレームとして、前記視覚的アトラスをそれぞれの周囲モデルに挿入し;
(i)前記視覚的アトラスを圧縮し;
(j)前記それぞれの周囲画像および前記それぞれの周囲モデルを圧縮し;
(k)それぞれの圧縮データを圧縮された順に送信し;
前記視聴装置は、
すべての圧縮データを受信し;
すべての圧縮データを非圧縮データに戻し;
該視聴装置上のユーザにより、前記新規ビューを選択し;および
それぞれの新規ビューのために、前記それぞれの周囲画像を前記それぞれの周囲モデル上にレンダリングする;
ことを特徴とする。
すべての技術用語および科学用語は、当業者によって通常理解される意味と同じ意味を有するものとする。それにもかかわらず、次の用語は、開示の理解を助けるべく、以下に定義され、その定義は、その用語が明示的にそのように定義されているか否かに関わらず、用語のすべての品詞に適用される。
1.任意の適切なシーンであり得るシーンの画像を取り込む。
2.新規ビュー、すなわち取り込まれた画像におけるシーンと同じシーンの画像であって、ステップ1において画像を取り込んだカメラの内因性および外因性の属性を模倣した画像を、画像解析を含む1以上のアルゴリズムを用いて生成する。
3.取り込まれた画像と新規ビューとの間の差を、徹底的なRMS比較を用いて以下のように決定する。
a.取り込まれた画像の全領域および新規ビューの全領域のそれぞれを、少なくとも100等分されたセクションに分割する。取り込まれた画像の領域、新規ビューの領域、およびそれぞれのセクションは、ピクセル単位で測定され、サイズが少なくとも1ピクセルであるべきである。セクションは、取り込まれた画像および新規ビューの両方において同一でなければならず、同じピクセルオフセットに位置する両画像からのセクションは対応すると考えるべきである。
b.実際に取り込まれた画像における対応するセクションと新規ビューにおけるセクションとの間で、RGB色空間におけるピクセルごとのRMS比較を、以下の計算をすることによって行う。
RMS=(|Rm−Rg|)^2+|Gm−Gg|^2+|Bm−Bg|^2 )^0.5
式中R、G、Bは、RGB値を表し、Xmは作られた画像のピクセル値を示し、Xgは取り込まれた画像のピクセル値を表す。
c.RMS値を、純粋白色と純粋黒色の間の距離が1となるように線形に正規化する。
d.RMS値を、1つのセクション内の全ピクセルについて合計し、次にそのセクションの領域における合計を、純粋白色および純粋黒色セクションの間の結果が1となるように分割する。
e.全セクションの全比較から得られた最大値を選択する。
4.フォトリアルな品質は、徹底的なRMS比較の結果が0.1(10%)未満である場合に達成される。
図1は、本発明の1以上の実施形態によるマルチビュー再構成のためのシステムの全体を示す概略図である。図1bは、本発明の1以上の実施形態による図1aのシステムのコントローラの概略図である。図1cは、本発明の1以上の実施形態による図1aのシステム上の少なくとも一部を操作する複数の方法の概要を示す。
複数の同期した画像フレーム5を記録し、捉え、
画像フレーム5から画像データ6を抽出し、
画像データ6を、少なくとも1つの周囲モデルと少なくとも1つの前景モデルに再構成し、かつ
フォトリアルな品質を有する1以上のユーザ選択の新規ビューを含む再生64に前記モデルをレンダリングする。
「初期セットアップ」
図4は、本発明の1以上の実施形態による初期セットアップ方法の概略図である。
図5は、本発明の1以上の実施形態による、較正および周囲モデリング(CEM)方法の概略図である。
α<Q1−(Q3−Q1)×1.5、または、
α>Q3−(Q3−Q1)×1.5
図6は、本発明の1以上の実施形態による部分空間分割方法の概略図である。
「画像獲得」
図7は、本発明の1以上の実施形態による画像獲得方法の概略図である。図8は、本発明の1以上の実施形態による画像獲得方法のタイミングの概略図である。
「画像データキャプチャ」
図9は、本発明の1以上の実施形態によるイベントキャプチャ方法の概略図である。
本発明の1以上の実施形態によれば、ユーザは、システム100の安定化モジュール309を利用して、安定化方法308を実行する。この安定化方法308は、1以上のステップ310〜316からなり、それらのうちの1以上のステップは、本明細書に記載された番号順に行われることが好ましい。
α<Q1−(Q3−Q1)×1.5、または、
α>Q3−(Q3−Q1)×1.5
図10aは、本発明の1以上の実施形態による周囲モデル化方法の概略図である。図10bは、本発明の1以上の実施形態による色変化に基づく分割および再構成方法のサブルーチンの概略図である。図10cは、本発明の1以上の実施形態による色変化に基づく分割および再構成方法の概略図である。図10dは、本発明の1以上の実施形態によるグラウンド投影分割および再構成方法の概略図である。図10eは、本発明の1以上の実施形態による周囲更新サブルーチンの概略図である。
a.ピクセルの輝度が閾値を超える場合、そのピクセルは前景要素と判定される。
差閾値(DiffThr)−動作ごとのチャンネルあたりの最小輝度差
b.ピクセルが少なくとも所定の割合だけ移動した場合、ピクセルは前景要素と判定される。
移動閾値−(MoveThr)最小移動割合値(フレーム>DiffThr/フレーム<DiffThr)
図10fは、本発明の1以上の実施形態による周囲モデル化方法の概略図である。
色値ファクタ=
(0.5*pow(角度ファクタ、プロジェクタ重みファクタ))+(0.5*pow(角度ファクタ、プロジェクタ重みファクタ1))
図2dは、図2aと図2cのイベント空間における仮想カメラ、複数の新規ビュー、ビューパスの一部、実際のカメラの視野の平面図である。図12aは、本発明の1以上の実施形態によるコンフィギュレーション方法の概略図である。
図12bは、本発明の1以上の実施形態による対話型プレーヤシステム500の概略図である。
好ましくは、サーバ側501は、前述のシステム100と実質的に類似した構成を備えている。必要に応じて、初期設定方法200、CEM方法220、およびSD方法260は継続的に実行される。周囲モデル223を得るために、周囲モデル化方法220が継続的に実行される。好ましくは、クロップマスク263および(RLE)データベース265を得るために、SD方法260が実行される。3Dデータ表現60を得るために、イベントキャプチャ方法300が継続的に実行される。それぞれのカメラ115用に、深さマップ415が継続的に作成される。前景/周囲分割方法318aが、それぞれのカメラ115のために継続的に行われ、前景モデル423がそれぞれのカメラ115のために継続的に得られる。
ソートされたカメラを通してルーピングする(カメラの最大数は制限できる);
視覚投影「アトラス」におけるポイント(ボクセル)を参照する;
指数マトリックスを用いて、投影ソーティングで計算された角度値に基づいて、投影重みを決定する;
浮動重み=(0.5*pow(角度ファクタ、プロジェクタ重みファクタ))+(0.5*pow(角度ファクタ、プロジェクタ重みファクタ1))を計算する;
深さと色を得るとともに、それに従ってピクセルに着色する;
重み付けされた色を合計して最終的な色を得る、また透明性も考える;
滑らかなエッジを得るために、ピクセルをサンプリングする(アンチエイリアシング);および、
ピクセルごとの合成および/またはポスト効果を実施する。
1.被写界深度:仮想レンダリングカメラの焦点距離および追加の内因的レンズパラメータを用いて、被写界深度の外側に位置するピクセルに対してぼかし効果を作る。
2.カメラモーションブラー:仮想カメラのモーションベクトルおよび追加の外因的および内因的レンズパラメータを用いて、シャッタスピードをエミュレートするピクセルに対するぼかしおよびスミアリング効果、並びに、異なる速度で変化する取り込みシーン内の物体に対する露出長さ効果を作る。
3.屈折:レンダリングされたシーンへの光の投影、および、そのシーン内のそれぞれのボクセル要素の光応答度の計算を用いて、光の相互作用および効果を作る。計算は、ミラーリング効果のように単純化されたものでもよく、無限に共振する軌跡をたどる光線のように複雑であってもよい。
4.2次元仮想オーバーレイ:テキストのような2次元のラスタグラフィックを追加する能力。
5.3次元仮想オーバーレイ:3次元のラスタグラフィックを追加する能力。3次元のラスタグラフィックには、3次元の第1およびダウンラインなどのシーンと相互に影響し合うものと、放送チャンネルのロゴなどの相互に影響し合わないものの両方がある。
6.画像コンバイナ:異なるソースからの仮想データのいくつかのソースを重ねる。ソースは、映像であっても静止画像であってもよい。
7.3次元ダスト:シーン照明と相互に影響する小斑点および粒子の効果を作る。
8.色補正:単純な機能から複雑な機能を用いて、画像の色空間を変える。単純な機能には、ガンマ、ゲインなどが含まれ、複雑な機能には、シーン内または他の場所の任意の可能な機能に由来するルックアップテーブルが含まれる。
2.同じカメラ115のセットから見えるすべてのピクセルが、コンフィギュレーションエンジン401によって集められ、上述のように圧縮されるべき単一の八分木に置かれ、この八分木が1以上のメモリに記憶される。八分木の使用は、表示段階でのレンダリング速度を上げることができるため、有利である。
3.コンフィギュレーションエンジン401は、画像内に見えるすべてのピクセルを前景とみなす。すべてのカメラからのすべての前景データは、コンフィギュレーションエンジン401によって組み合わされて、単一の前景フレーム画像とされる。
4.前景データがそのままではフィッティングするのに大きすぎるとコンフィギュレーションエンジン401が判断した場合は、それはブロックに分割され、そのブロックが、コンフィギュレーションエンジン401によって、前景フレーム画像内の空ブロック位置に置かれる。
5.コンフィギュレーションエンジン401は、前景フレームを構築するのに加えて、前景フレーム画像を前景モデル505としてマッピングする。
ステップ552において、レンダリングエンジン503は、圧縮された順番で受信と圧縮解除を行う。
本発明1以上の実施形態によれば、システム100および新規ビュープレーヤシステム500は、イベント10が起きている間またはイベント10が記録された後に、イベント10を見るために1以上のユーザによって使用される。
Claims (14)
- 視聴装置において、イベントのユーザ選択可能な新規ビューを生成する方法であって、
該方法は、
(a)複数のカメラを構成するそれぞれのカメラ用のサーバシステムが、画像データを、前記それぞれのカメラのための少なくとも1つの前景モデルと、前記それぞれのカメラのための少なくとも1つの周囲モデルとに再構成し;
(b)前記サーバシステムが、前記それぞれのカメラごとの少なくとも1つの前景モデルを結合して、すべての前景モデルの視覚的アトラスを生成し;
(c)前記サーバシステムが、3Dデータ表現における3D座標に、前記視覚的アトラス内の前景画像データ用の前景マッピングデータを生成し;
(d)前記サーバシステムが、すべてのカメラの周囲画像データを、それぞれのカメラごとに、それぞれの周囲モデルに投影し;
(e)前記サーバシステムが、3Dデータ表現における3D座標に、それぞれの周囲モデル内の周囲画像データ用の周囲マッピングデータを生成し;
(f)前記サーバシステムが、それぞれのカメラごとに、それぞれの周囲モデルを周囲画像として保存し;
(g)前記サーバシステムが、前記前景マッピングデータ、前記周囲マッピングデータ、およびデプスマップを圧縮し;
(h)前記サーバシステムが、それぞれの周囲モデルに背景ラスタを投影することにより、画像シーケンス内の新たな画像フレームとして、前記視覚的アトラスをそれぞれの周囲モデルに挿入し;
(i)前記サーバシステムが、前記視覚的アトラスを圧縮し;
(j)前記サーバシステムが、それぞれの周囲画像および前記それぞれの周囲モデルを圧縮し;
(k)前記サーバシステムが、それぞれの圧縮データを圧縮された順に送信し;
(l)前記視聴装置が、すべての圧縮データを受信し;
(m)前記視聴装置が、すべての圧縮データを非圧縮データに戻し;
(n)前記視聴装置上のユーザが、前記新規ビューを選択し;および
(o)前記視聴装置が、それぞれの新規ビューのために、前記それぞれの周囲画像を前記それぞれの周囲モデル上にレンダリングする;
ステップを備える方法。 - 前記ステップ(a)の前に、
前記複数のカメラを用いて、前景と周囲からなる前記イベントを撮像し、複数の画像フレームとし、
前記サーバシステムが、前記複数の画像フレームから、画像データを抽出する、
ステップをさらに含む、請求項1に記載の方法。 - 前記画像データを、前記3Dデータ表現として保存するステップをさらに含む、請求項2に記載の方法。
- 前記ステップ(e)の後に、
前記サーバシステムが、前記それぞれの周囲モデルについてモデル中央値を計算する、
ステップをさらに含む、請求項1に記載の方法。 - 前記ステップ(f)の後に、
前記サーバシステムが、前記それぞれの周囲画像について画像中央値を計算し、
前記モデル中央値と前記画像中央値の差を決定する、
ステップをさらに含む、請求項4に記載の方法。 - 前記サーバシステムが、輝度画像を前記周囲画像に挿入するステップをさらに含む、請求項1に記載の方法。
- 前記サーバシステムが、前記輝度画像を圧縮するステップをさらに含む、請求項6に記載の方法。
- 前記ステップ(h)において、指数マトリックスを用いて、投影重みを決定する、請求項1に記載の方法。
- 前記ステップ(h)において、それぞれのカメラを通じてルーピングし、前記視覚的アトラスにおける画像データを参照する、請求項1に記載の方法。
- 視聴装置上にイベントのユーザ選択可能な新規ビューを生成するためのインタラクティブ・プレーヤシステムであって、
該システムは、サーバシステムと視聴装置とを含み、
前記サーバシステムは、
(a)複数のカメラを構成するそれぞれのカメラごとに、画像データを、前記それぞれのカメラのための少なくとも1つの前景モデルと、前記それぞれのカメラのための少なくとも1つの周囲モデルとに再構成し;
(b)前記それぞれのカメラごとの少なくとも1つの前景モデルを結合して、すべての前景モデルの視覚的アトラスを生成し;
(c)3Dデータ表現における3D座標に、前記視覚的アトラス内の前景画像データ用の前景マッピングデータを生成し;
(d)すべてのカメラの周囲画像データを、それぞれのカメラごとに、それぞれの周囲モデルに投影し;
(e)3Dデータ表現における3D座標に、それぞれの周囲モデル内の周囲画像データ用の周囲マッピングデータを生成し;
(f)それぞれのカメラごとに、前記それぞれの周囲モデルを周囲画像として保存し;
(g)前記前景マッピングデータ、前記周囲マッピングデータ、およびデプスマップ(距離画像)を圧縮し;
(h)それぞれの周囲モデルに背景ラスタを投影することにより、画像シーケンス内の新たな画像フレームとして、前記視覚的アトラスをそれぞれの周囲モデルに挿入し;
(i)前記視覚的アトラスを圧縮し;
(j)前記それぞれの周囲画像および前記それぞれの周囲モデルを圧縮し;
(k)それぞれの圧縮データを圧縮された順に送信し;
前記視聴装置は、
すべての圧縮データを受信し;
すべての圧縮データを非圧縮データに戻し;
該視聴装置上のユーザにより、前記新規ビューを選択し;および
それぞれの新規ビューのために、前記それぞれの周囲画像を前記それぞれの周囲モデル上にレンダリングする;
ことを特徴とするシステム。 - 前記視聴装置は、経路を選択し、複数の新規ビューを表示可能とするための、経路選択モジュールを備える、請求項10に記載のシステム。
- 前記サーバ側は、前記(a)〜(k)を実行するためのコンフィギュレーションエンジンを備える、請求項10に記載のシステム。
- 前記複数のカメラは、前景および周囲からなる前記イベントを撮像して、複数の画像フレームを得るためのものであり、
前記画像フレーム内の前記周囲から前記前景を分離するためのFESモジュールをさらに備える、
請求項10に記載のシステム。 - 複数の視聴装置および該視聴装置の複数のユーザの間での通信を可能とするためのソーシャルメッセージングシステムをさらに含む、請求項10に記載のシステム。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461986439P | 2014-04-30 | 2014-04-30 | |
US61/986,439 | 2014-04-30 | ||
US201462071943P | 2014-10-31 | 2014-10-31 | |
US201462073596P | 2014-10-31 | 2014-10-31 | |
US62/071,943 | 2014-10-31 | ||
US62/073,596 | 2014-10-31 | ||
PCT/US2015/023776 WO2015167739A1 (en) | 2014-04-30 | 2015-04-01 | System for and method of generating user-selectable novel views on a viewing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017520867A JP2017520867A (ja) | 2017-07-27 |
JP6599436B2 true JP6599436B2 (ja) | 2019-10-30 |
Family
ID=54355611
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017509586A Active JP6599435B2 (ja) | 2014-04-30 | 2015-04-01 | イベント空間で生じるイベントの3次元再構成における3次元再構成システムによる周囲の処理を制限するためのシステムおよび方法 |
JP2017509587A Active JP6599436B2 (ja) | 2014-04-30 | 2015-04-01 | ユーザ選択可能な新規ビューを生成するためのシステムおよび方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017509586A Active JP6599435B2 (ja) | 2014-04-30 | 2015-04-01 | イベント空間で生じるイベントの3次元再構成における3次元再構成システムによる周囲の処理を制限するためのシステムおよび方法 |
Country Status (5)
Country | Link |
---|---|
US (8) | US9846961B2 (ja) |
EP (2) | EP3014579B1 (ja) |
JP (2) | JP6599435B2 (ja) |
CA (2) | CA2919019A1 (ja) |
WO (2) | WO2015167738A1 (ja) |
Families Citing this family (73)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9053562B1 (en) | 2010-06-24 | 2015-06-09 | Gregory S. Rabin | Two dimensional to three dimensional moving image converter |
GB2537296B (en) * | 2014-01-16 | 2018-12-26 | Bartco Traffic Equipment Pty Ltd | System and method for event reconstruction |
US9846961B2 (en) | 2014-04-30 | 2017-12-19 | Intel Corporation | System and method of limiting processing by a 3D reconstruction system of an environment in a 3D reconstruction of an event occurring in an event space |
US9813693B1 (en) * | 2014-06-27 | 2017-11-07 | Amazon Technologies, Inc. | Accounting for perspective effects in images |
JP2016046642A (ja) * | 2014-08-21 | 2016-04-04 | キヤノン株式会社 | 情報処理システム、情報処理方法及びプログラム |
US10262426B2 (en) | 2014-10-31 | 2019-04-16 | Fyusion, Inc. | System and method for infinite smoothing of image sequences |
US10275935B2 (en) | 2014-10-31 | 2019-04-30 | Fyusion, Inc. | System and method for infinite synthetic image generation from multi-directional structured image array |
US10178325B2 (en) * | 2015-01-19 | 2019-01-08 | Oy Vulcan Vision Corporation | Method and system for managing video of camera setup having multiple cameras |
US20160330408A1 (en) * | 2015-04-13 | 2016-11-10 | Filippo Costanzo | Method for progressive generation, storage and delivery of synthesized view transitions in multiple viewpoints interactive fruition environments |
US10852902B2 (en) | 2015-07-15 | 2020-12-01 | Fyusion, Inc. | Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity |
US10242474B2 (en) | 2015-07-15 | 2019-03-26 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
US11006095B2 (en) | 2015-07-15 | 2021-05-11 | Fyusion, Inc. | Drone based capture of a multi-view interactive digital media |
US10222932B2 (en) | 2015-07-15 | 2019-03-05 | Fyusion, Inc. | Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations |
US11095869B2 (en) | 2015-09-22 | 2021-08-17 | Fyusion, Inc. | System and method for generating combined embedded multi-view interactive digital media representations |
US10147211B2 (en) | 2015-07-15 | 2018-12-04 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
US11783864B2 (en) * | 2015-09-22 | 2023-10-10 | Fyusion, Inc. | Integration of audio into a multi-view interactive digital media representation |
CN109074629A (zh) | 2015-10-29 | 2018-12-21 | Oy沃肯视觉有限公司 | 使用联网照相机对关注的区域进行视频摄像 |
US10440404B2 (en) | 2015-12-04 | 2019-10-08 | Sling Media L.L.C. | Processing of multiple media streams |
US11511156B2 (en) | 2016-03-12 | 2022-11-29 | Arie Shavit | Training system and methods for designing, monitoring and providing feedback of training |
US11972522B2 (en) | 2016-03-25 | 2024-04-30 | Outward, Inc. | Arbitrary view generation |
US11989820B2 (en) | 2016-03-25 | 2024-05-21 | Outward, Inc. | Arbitrary view generation |
US11989821B2 (en) | 2016-03-25 | 2024-05-21 | Outward, Inc. | Arbitrary view generation |
US11232627B2 (en) | 2016-03-25 | 2022-01-25 | Outward, Inc. | Arbitrary view generation |
JP6735592B2 (ja) * | 2016-04-08 | 2020-08-05 | キヤノン株式会社 | 画像処理装置及びその制御方法、画像処理システム |
CN113014906B (zh) * | 2016-04-12 | 2023-06-30 | 奎蒂安特有限公司 | 3d场景重建方法、系统及计算机程序存储介质 |
US10204444B2 (en) * | 2016-04-28 | 2019-02-12 | Verizon Patent And Licensing Inc. | Methods and systems for creating and manipulating an individually-manipulable volumetric model of an object |
US10565786B1 (en) * | 2016-06-30 | 2020-02-18 | Google Llc | Sensor placement interface |
JP6938123B2 (ja) * | 2016-09-01 | 2021-09-22 | キヤノン株式会社 | 表示制御装置、表示制御方法及びプログラム |
US11202017B2 (en) | 2016-10-06 | 2021-12-14 | Fyusion, Inc. | Live style transfer on a mobile device |
EP3336801A1 (en) * | 2016-12-19 | 2018-06-20 | Thomson Licensing | Method and apparatus for constructing lighting environment representations of 3d scenes |
JP6849430B2 (ja) * | 2016-12-27 | 2021-03-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN110114803B (zh) * | 2016-12-28 | 2023-06-27 | 松下电器(美国)知识产权公司 | 三维模型分发方法、三维模型接收方法、三维模型分发装置以及三维模型接收装置 |
US10692262B2 (en) * | 2017-01-12 | 2020-06-23 | Electronics And Telecommunications Research Institute | Apparatus and method for processing information of multiple cameras |
US10437879B2 (en) | 2017-01-18 | 2019-10-08 | Fyusion, Inc. | Visual search using multi-view interactive digital media representations |
US10587800B2 (en) | 2017-04-10 | 2020-03-10 | Intel Corporation | Technology to encode 360 degree video content |
US10313651B2 (en) | 2017-05-22 | 2019-06-04 | Fyusion, Inc. | Snapshots at predefined intervals or angles |
US10297087B2 (en) * | 2017-05-31 | 2019-05-21 | Verizon Patent And Licensing Inc. | Methods and systems for generating a merged reality scene based on a virtual object and on a real-world object represented from different vantage points in different video data streams |
US11069147B2 (en) | 2017-06-26 | 2021-07-20 | Fyusion, Inc. | Modification of multi-view interactive digital media representation |
US10529124B2 (en) * | 2017-08-25 | 2020-01-07 | Google Llc | Methods for dynamic image color remapping using alpha blending |
US10438371B2 (en) | 2017-09-22 | 2019-10-08 | Zoox, Inc. | Three-dimensional bounding box from two-dimensional image and point cloud data |
EP3489900A1 (en) * | 2017-11-23 | 2019-05-29 | Thomson Licensing | Method, apparatus and stream for encoding/decoding volumetric video |
WO2019105528A1 (en) * | 2017-11-28 | 2019-06-06 | Telefonaktiebolaget Lm Ericsson (Publ) | Controlled uplink adaptive streaming based on server performance measurement data |
JP2019102907A (ja) * | 2017-11-30 | 2019-06-24 | キヤノン株式会社 | 設定装置、設定方法、及びプログラム |
KR102254407B1 (ko) * | 2017-12-14 | 2021-05-24 | 캐논 가부시끼가이샤 | 3차원 모델의 생성 장치, 생성 방법, 및 프로그램 |
US11113887B2 (en) * | 2018-01-08 | 2021-09-07 | Verizon Patent And Licensing Inc | Generating three-dimensional content from two-dimensional images |
US20190266401A1 (en) * | 2018-01-11 | 2019-08-29 | Intelinair, Inc | Change Detection System |
US10592747B2 (en) | 2018-04-26 | 2020-03-17 | Fyusion, Inc. | Method and apparatus for 3-D auto tagging |
CA3097202A1 (en) | 2018-05-02 | 2019-11-07 | Quidient, Llc | A codec for processing scenes of almost unlimited detail |
US10638151B2 (en) * | 2018-05-31 | 2020-04-28 | Verizon Patent And Licensing Inc. | Video encoding methods and systems for color and depth data representative of a virtual reality scene |
CN109190626A (zh) * | 2018-07-27 | 2019-01-11 | 国家新闻出版广电总局广播科学研究院 | 一种基于深度学习的多路径特征融合的语义分割方法 |
GB2578789A (en) * | 2018-11-09 | 2020-05-27 | Sony Corp | A method, apparatus and computer program for image processing |
US11228790B2 (en) * | 2018-11-30 | 2022-01-18 | Kt Corporation | Providing time slice video |
US10878577B2 (en) | 2018-12-14 | 2020-12-29 | Canon Kabushiki Kaisha | Method, system and apparatus for segmenting an image of a scene |
US10924721B2 (en) * | 2018-12-20 | 2021-02-16 | Intel Corporation | Volumetric video color assignment |
US10974153B2 (en) * | 2019-01-17 | 2021-04-13 | Disney Enterprises, Inc. | Streamable compressed geometry for live broadcast |
JP7366563B2 (ja) * | 2019-03-26 | 2023-10-23 | キヤノン株式会社 | 画像生成装置、画像生成方法、及びプログラム |
US10915779B2 (en) * | 2019-04-26 | 2021-02-09 | Unikie Oy | Method for extracting uniform features from point cloud and system therefor |
US11373318B1 (en) | 2019-05-14 | 2022-06-28 | Vulcan Inc. | Impact detection |
WO2020241951A1 (ko) * | 2019-05-31 | 2020-12-03 | 엘지전자 주식회사 | 인공지능 학습방법 및 이를 이용하는 로봇의 동작방법 |
JP2022553846A (ja) * | 2019-11-08 | 2022-12-26 | アウトワード・インコーポレーテッド | 任意ビューの生成 |
US11250616B2 (en) * | 2020-03-27 | 2022-02-15 | Intel Corporation | View-dependent carving of reconstructed data from segmentation masks |
CN115136594A (zh) * | 2020-03-31 | 2022-09-30 | 英特尔公司 | 在沉浸式视频中对于每个图集标示启用视图的方法和装置 |
CN111578867B (zh) * | 2020-04-10 | 2021-08-24 | 清华大学深圳国际研究生院 | 基于多次错位压缩全息重构的三维成像方法及系统 |
US11210862B1 (en) | 2020-06-25 | 2021-12-28 | Microsoft Technology Licensing, Llc | Data selection for spatial reconstruction |
CN111854924A (zh) * | 2020-08-20 | 2020-10-30 | 国网上海市电力公司 | 一种机械振动频率可视化测量装置及其方法 |
CN113932711B (zh) * | 2021-10-13 | 2024-03-15 | 中煤科工智能储装技术有限公司 | 一种基于级联光栅针对铁路集装箱位置检测构建方法 |
US20230186500A1 (en) * | 2021-12-10 | 2023-06-15 | Varjo Technologies Oy | Image-based environment reconstruction |
US11900545B2 (en) * | 2022-01-06 | 2024-02-13 | Lemon Inc. | Creating effects based on facial features |
US20230237730A1 (en) * | 2022-01-21 | 2023-07-27 | Meta Platforms Technologies, Llc | Memory structures to support changing view direction |
CN114463409B (zh) * | 2022-02-11 | 2023-09-26 | 北京百度网讯科技有限公司 | 图像深度信息的确定方法、装置、电子设备和介质 |
WO2023158072A1 (ko) * | 2022-02-18 | 2023-08-24 | 경북대학교 산학협력단 | 비디오 분할에 기반한 라이다 데이터 증강 장치 및 라이다 데이터 증강 방법 |
WO2024101638A1 (ko) * | 2022-11-10 | 2024-05-16 | 주식회사 리빌더에이아이 | 다시점에 관련한 복수의 이미지를 통해 큐브맵을 생성하기 위한 방법, 서버 및 컴퓨터 프로그램 |
KR102537808B1 (ko) * | 2022-11-11 | 2023-05-31 | 주식회사 리빌더에이아이 | 다시점에 관련한 복수의 이미지를 통해 큐브맵을 생성하기 위한 방법, 서버 및 컴퓨터 프로그램 |
Family Cites Families (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5600368A (en) * | 1994-11-09 | 1997-02-04 | Microsoft Corporation | Interactive television system and method for viewer control of multiple camera viewpoints in broadcast programming |
US6417850B1 (en) * | 1999-01-27 | 2002-07-09 | Compaq Information Technologies Group, L.P. | Depth painting for 3-D rendering applications |
CA2372602A1 (en) | 2000-04-07 | 2001-10-18 | Inmotion Technologies Ltd. | Automated stroboscoping of video sequences |
US6573912B1 (en) * | 2000-11-07 | 2003-06-03 | Zaxel Systems, Inc. | Internet system for virtual telepresence |
JP2002183167A (ja) | 2000-12-14 | 2002-06-28 | Canon Inc | データ通信装置及び画像蓄積システム |
US7221794B1 (en) | 2000-12-18 | 2007-05-22 | Sportsvision, Inc. | Foreground detection |
US6975756B1 (en) | 2002-03-12 | 2005-12-13 | Hewlett-Packard Development Company, L.P. | Image-based photo hulls |
JP2004062755A (ja) | 2002-07-31 | 2004-02-26 | Canon Inc | 画像提示装置および情報処理方法 |
GB2413720B (en) | 2003-03-14 | 2006-08-02 | British Broadcasting Corp | Video processing |
US7126603B2 (en) * | 2003-05-30 | 2006-10-24 | Lucent Technologies Inc. | Method and system for creating interactive walkthroughs of real-world environment from set of densely captured images |
US7376901B2 (en) * | 2003-06-30 | 2008-05-20 | Mitsubishi Electric Research Laboratories, Inc. | Controlled interactive display of content using networked computer devices |
US7512261B2 (en) | 2004-07-27 | 2009-03-31 | Microsoft Corp. | System and method for calibrating multiple cameras without employing a pattern by inter-image homography |
MX2007002011A (es) | 2004-08-23 | 2007-08-07 | Gamecaster Inc | Aparato, metodos, y sistemas para observacion y manipulacion de un ambiente virtual. |
KR20060021566A (ko) | 2004-09-03 | 2006-03-08 | (주)제니텀 엔터테인먼트 컴퓨팅 | 전경체 사영영상과 가상외피에 기반한 가상시점 3차원 장면 재구성 방법 및 시스템 |
EP1839177A4 (en) * | 2005-01-05 | 2010-07-07 | Divx Inc | SYSTEM AND METHOD RELATING TO OFF-SITE USER INTERFACE |
US20080192116A1 (en) * | 2005-03-29 | 2008-08-14 | Sportvu Ltd. | Real-Time Objects Tracking and Motion Capture in Sports Events |
JP4707093B2 (ja) | 2005-04-21 | 2011-06-22 | Kddi株式会社 | 自由視点映像生成システム |
JP4700476B2 (ja) | 2005-11-10 | 2011-06-15 | 日本放送協会 | 多視点映像合成装置及び多視点映像合成システム |
EP1862969A1 (en) | 2006-06-02 | 2007-12-05 | Eidgenössische Technische Hochschule Zürich | Method and system for generating a representation of a dynamically changing 3D scene |
JP4803594B2 (ja) | 2006-07-05 | 2011-10-26 | Kddi株式会社 | 局所領域分割による自由視点画像の生成装置およびプログラム |
US20080181457A1 (en) * | 2007-01-31 | 2008-07-31 | Siemens Aktiengesellschaft | Video based monitoring system and method |
JP2009093334A (ja) | 2007-10-05 | 2009-04-30 | Seiko Epson Corp | 識別方法及びプログラム |
US8049750B2 (en) | 2007-11-16 | 2011-11-01 | Sportvision, Inc. | Fading techniques for virtual viewpoint animations |
JP2009296039A (ja) * | 2008-06-02 | 2009-12-17 | Canon Inc | 画像処理装置、画像処理方法ならびにそのプログラムおよび記憶媒体 |
WO2010024925A1 (en) * | 2008-08-29 | 2010-03-04 | Thomson Licensing | View synthesis with heuristic view merging |
US8264524B1 (en) | 2008-09-17 | 2012-09-11 | Grandeye Limited | System for streaming multiple regions deriving from a wide-angle camera |
US8266536B2 (en) * | 2008-11-20 | 2012-09-11 | Palo Alto Research Center Incorporated | Physical-virtual environment interface |
GB2467932A (en) | 2009-02-19 | 2010-08-25 | Sony Corp | Image processing device and method |
US8285062B2 (en) * | 2009-08-05 | 2012-10-09 | Sony Corporation | Method for improving the performance of embedded graphics coding |
WO2011068582A2 (en) | 2009-09-18 | 2011-06-09 | Logos Technologies, Inc. | Systems and methods for persistent surveillance and large volume data streaming |
US8633810B2 (en) * | 2009-11-19 | 2014-01-21 | Robert Bosch Gmbh | Rear-view multi-functional camera system |
US8572177B2 (en) | 2010-03-10 | 2013-10-29 | Xmobb, Inc. | 3D social platform for sharing videos and webpages |
US20110244954A1 (en) * | 2010-03-10 | 2011-10-06 | Oddmobb, Inc. | Online social media game |
US9117310B2 (en) | 2010-04-02 | 2015-08-25 | Imec | Virtual camera system |
US9055277B2 (en) | 2011-03-31 | 2015-06-09 | Panasonic Intellectual Property Management Co., Ltd. | Image rendering device, image rendering method, and image rendering program for rendering stereoscopic images |
US20140192155A1 (en) * | 2011-08-09 | 2014-07-10 | Samsung Electronics Co., Ltd. | Multiview video data encoding method and device, and decoding method and device |
US8928729B2 (en) | 2011-09-09 | 2015-01-06 | Disney Enterprises, Inc. | Systems and methods for converting video |
US8970666B2 (en) | 2011-09-16 | 2015-03-03 | Disney Enterprises, Inc. | Low scale production system and method |
US20130141526A1 (en) | 2011-12-02 | 2013-06-06 | Stealth HD Corp. | Apparatus and Method for Video Image Stitching |
KR20130120914A (ko) | 2012-04-26 | 2013-11-05 | (주) 비전에스티 | 스테레오 카메라를 이용한 팬/틸트/줌 카메라 장치 및 제어 방법 |
US9286668B1 (en) | 2012-06-18 | 2016-03-15 | Amazon Technologies, Inc. | Generating a panel view for comics |
US20140153835A1 (en) * | 2012-11-30 | 2014-06-05 | Samuel Wye PRITT | Geospatial-curve-based geolocation of media items |
GB2509102B (en) * | 2012-12-20 | 2015-09-02 | Thales Holdings Uk Plc | Image processor for processing images received from a plurality of image sensors |
US20140279034A1 (en) * | 2013-03-15 | 2014-09-18 | Avabar, LLC | Products, systems, and methods for creating and interacting with a mobile community |
GB2514583B (en) * | 2013-05-29 | 2015-03-04 | Imagination Tech Ltd | Relightable texture for use in rendering an image |
US10244223B2 (en) | 2014-01-10 | 2019-03-26 | Ostendo Technologies, Inc. | Methods for full parallax compressed light field 3D imaging systems |
US9479788B2 (en) * | 2014-03-17 | 2016-10-25 | Qualcomm Incorporated | Systems and methods for low complexity encoding and background detection |
US9846961B2 (en) | 2014-04-30 | 2017-12-19 | Intel Corporation | System and method of limiting processing by a 3D reconstruction system of an environment in a 3D reconstruction of an event occurring in an event space |
-
2015
- 2015-04-01 US US14/909,660 patent/US9846961B2/en active Active
- 2015-04-01 US US14/910,163 patent/US10063851B2/en active Active
- 2015-04-01 US US14/675,906 patent/US10477189B2/en active Active
- 2015-04-01 EP EP15786670.8A patent/EP3014579B1/en active Active
- 2015-04-01 EP EP15786510.6A patent/EP3014578B1/en active Active
- 2015-04-01 JP JP2017509586A patent/JP6599435B2/ja active Active
- 2015-04-01 JP JP2017509587A patent/JP6599436B2/ja active Active
- 2015-04-01 WO PCT/US2015/023772 patent/WO2015167738A1/en active Application Filing
- 2015-04-01 WO PCT/US2015/023776 patent/WO2015167739A1/en active Application Filing
- 2015-04-01 CA CA2919019A patent/CA2919019A1/en not_active Abandoned
- 2015-04-01 CA CA2919021A patent/CA2919021A1/en not_active Abandoned
- 2015-04-01 US US14/675,920 patent/US10728528B2/en active Active
-
2017
- 2017-12-18 US US15/845,799 patent/US10491887B2/en active Active
-
2018
- 2018-08-27 US US16/114,007 patent/US10567740B2/en active Active
-
2019
- 2019-10-09 US US16/597,583 patent/US20200145643A1/en not_active Abandoned
-
2020
- 2020-05-29 US US16/888,008 patent/US11463678B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3014578B1 (en) | 2018-08-01 |
US20150319424A1 (en) | 2015-11-05 |
US10728528B2 (en) | 2020-07-28 |
US20180261002A1 (en) | 2018-09-13 |
US10491887B2 (en) | 2019-11-26 |
CA2919021A1 (en) | 2015-11-05 |
EP3014579A4 (en) | 2017-04-19 |
EP3014578A1 (en) | 2016-05-04 |
US10477189B2 (en) | 2019-11-12 |
CA2919019A1 (en) | 2015-11-05 |
EP3014578A4 (en) | 2017-03-08 |
WO2015167739A1 (en) | 2015-11-05 |
US20160182894A1 (en) | 2016-06-23 |
US10063851B2 (en) | 2018-08-28 |
US20180367788A1 (en) | 2018-12-20 |
JP2018503151A (ja) | 2018-02-01 |
WO2015167738A1 (en) | 2015-11-05 |
US20200404247A1 (en) | 2020-12-24 |
EP3014579A1 (en) | 2016-05-04 |
US11463678B2 (en) | 2022-10-04 |
US10567740B2 (en) | 2020-02-18 |
US20200145643A1 (en) | 2020-05-07 |
JP6599435B2 (ja) | 2019-10-30 |
US20150317822A1 (en) | 2015-11-05 |
EP3014579B1 (en) | 2018-09-26 |
JP2017520867A (ja) | 2017-07-27 |
US20160189421A1 (en) | 2016-06-30 |
US9846961B2 (en) | 2017-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6599436B2 (ja) | ユーザ選択可能な新規ビューを生成するためのシステムおよび方法 | |
US11217006B2 (en) | Methods and systems for performing 3D simulation based on a 2D video image | |
US10819967B2 (en) | Methods and systems for creating a volumetric representation of a real-world event | |
US10582191B1 (en) | Dynamic angle viewing system | |
US10810791B2 (en) | Methods and systems for distinguishing objects in a natural setting to create an individually-manipulable volumetric model of an object | |
JP6609327B2 (ja) | 仮想環境構築装置、仮想環境構築方法、プログラム、および記録媒体 | |
Taylor et al. | Ovvv: Using virtual worlds to design and evaluate surveillance systems | |
US8922718B2 (en) | Key generation through spatial detection of dynamic objects | |
US11748870B2 (en) | Video quality measurement for virtual cameras in volumetric immersive media | |
US20120120201A1 (en) | Method of integrating ad hoc camera networks in interactive mesh systems | |
US11625864B2 (en) | Compression of dynamic unstructured point clouds | |
JP6392738B2 (ja) | 情報取得装置、情報取得方法及び情報取得プログラム | |
RU2606875C2 (ru) | Способ и система отображения масштабных сцен в режиме реального времени | |
US20200349977A1 (en) | Point of view video processing and curation platform | |
US20150375109A1 (en) | Method of Integrating Ad Hoc Camera Networks in Interactive Mesh Systems | |
CN114641980A (zh) | 使用任意捕获的输入对捕获图像的遮挡视图的重构 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160325 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170220 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20171002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171130 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20171226 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180323 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180328 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190807 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191002 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6599436 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |