JP7519390B2 - 新規ビュー合成のためのニューラルブレンド - Google Patents
新規ビュー合成のためのニューラルブレンド Download PDFInfo
- Publication number
- JP7519390B2 JP7519390B2 JP2021577153A JP2021577153A JP7519390B2 JP 7519390 B2 JP7519390 B2 JP 7519390B2 JP 2021577153 A JP2021577153 A JP 2021577153A JP 2021577153 A JP2021577153 A JP 2021577153A JP 7519390 B2 JP7519390 B2 JP 7519390B2
- Authority
- JP
- Japan
- Prior art keywords
- images
- image
- depth
- view
- blending
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002156 mixing Methods 0.000 title claims description 128
- 230000001537 neural effect Effects 0.000 title description 13
- 230000015572 biosynthetic process Effects 0.000 title description 4
- 238000003786 synthesis reaction Methods 0.000 title description 4
- 238000000034 method Methods 0.000 claims description 105
- 238000013528 artificial neural network Methods 0.000 claims description 83
- 239000002131 composite material Substances 0.000 claims description 49
- 239000003086 colorant Substances 0.000 claims description 39
- 230000015654 memory Effects 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 24
- 239000000203 mixture Substances 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 10
- 238000007499 fusion processing Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 31
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000009877 rendering Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000001994 activation Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 240000007320 Pinus strobus Species 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000010408 film Substances 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000238370 Sepia Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Tea And Coffee (AREA)
Description
本記載は、一般に3次元(3D)コンテンツの合成に用いられる方法、装置およびアルゴリズムに関する。
従来のオブジェクトレンダリングは一般に、リアルな画像を生成するために膨大な計算量を含む。オブジェクトが動いている場合、オブジェクトのリアルな画像を生成するために、計算量がさらに使用される場合がある。このようなレンダリングは、ニューラルネットワークを用いて、オブジェクトの外観をモデル化することができる。しかしながら、このようなモデルでは、余計なノイズおよび幾何学的なアーチファクトを有する画像が生成される可能性がある。
本明細書に記載されるシステムおよび方法は、入力画像および予め定義されたビューパラメータを用いて画像ベースのレンダリングを実行して、入力画像に基づいてビデオおよび/または画像の新規の(たとえば、見えない)ビューを生成(たとえば、合成)し得る。見えないビューの画像ベースのレンダリングでは、受信した入力画像にワーピング処理を利用することができる。一般に、ワーピング処理は、異なる入力ビューからの寄与がブレンドされるときにアーティファクトを生成し得る幾何学的不正確さおよびビュー、ならびに/または画像依存効果を引き起こし得る。本明細書に記載されるシステムおよび方法は、新規のビューの画像ベースのレンダリング用に画像コンテンツをブレンドするためにニューラルネットワーク(NN)を採用する深層学習法を用いる。特定のブレンド重みは、最終的な合成ビューに対する入力画像の寄与を結合するために、学習および使用される。ブレンド重みは、ビューの低減および/または画像依存効果ならびにより少ない数の画像アーティファクトを示す合成画像を生成する利点を提供するために生成される。
詳細な説明
本明細書では、画像コンテンツの新規の(たとえば、見えない)ビューの生成に関連付けられた例について説明する。本明細書で説明する例は、取込まれた動画コンテンツおよび/または画像コンテンツに基づいて、リアルタイムの新規のビューを合成(たとえば、生成)し得る。たとえば、画像ベースのレンダリング技術は、カラービューおよび深度ビューの学習されたブレンディングを用いて、動画コンテンツ(たとえば、オブジェクト、ユーザ、シーンコンテンツ、画像フレームなど)の新規のビューを合成するために使用されてもよい。
特に、損失関数の例としては、以下の式[8]で表現され得る。
Claims (21)
- コンピュータにより実現される方法であって、
複数の入力画像を受信することと、
前記複数の入力画像のうち少なくとも1つにおける目標被写体に関連付けられた複数の深度画像を受信することと、
前記目標被写体の仮想ビューを生成するために、複数のビューパラメータを受信することと、
前記複数の入力画像と、前記複数のビューパラメータと、前記複数の深度画像のうちの少なくとも1つとに基づいて、複数のワープ画像を生成することと、
前記複数の深度画像、前記複数のビューパラメータ、および前記複数のワープ画像をニューラルネットワークに提供することに応答して、前記ニューラルネットワークから、前記目標被写体の前記仮想ビューの画素に色を割当てるためのブレンド重みを受信することと、
前記ブレンド重みおよび前記仮想ビューに基づいて、前記複数のビューパラメータに従って、前記複数のワープ画像をブレンドすることにより合成画像を生成することとを備える、方法。 - 前記複数の深度画像上に幾何学的融合処理を用いてコンセンサス表面を再構成して、幾何学的に融合されたモデルを生成することと、
前記複数の入力画像および前記コンセンサス表面に基づいて、複数の再投影画像を生成することと、
前記複数の深度画像、前記複数のビューパラメータ、および前記複数の再投影画像を前記ニューラルネットワークに提供することに応答して、前記ニューラルネットワークから、前記合成画像内の画素に色を割当てるための追加のブレンド重みを受信することとをさらに備える、請求項1に記載のコンピュータにより実現される方法。 - 前記ニューラルネットワークに、前記幾何学的に融合されたモデルの深度と前記複数の深度画像で観察される深度との差を提供することをさらに備え、前記ニューラルネットワークは、前記深度の差に基づいて、前記合成画像において検出されるオクルージョンを補正するための前記追加のブレンド重みを出力するように訓練される、請求項2に記載のコンピュータにより実現される方法。
- 前記複数の入力画像は、前記複数の入力画像を取込んだ少なくとも1つのカメラに関連付けられた、予め定義されたビューパラメータに従って取込まれた色画像であり、かつ/または、
前記複数の深度画像は各々、前記複数の入力画像のうちの少なくとも1つを取込んだ少なくとも1つのカメラに関連付けられた深度マップ、少なくとも1つのオクルージョンマップ、および/もしくは、前記複数の入力画像のうちの少なくとも1つの取込みに対応するときに少なくとも1つのウィットネスカメラによって取込まれるグラウンドトゥルース画像に関連付けられた深度マップを含む、請求項1~3のいずれか1項に記載のコンピュータにより実現される方法。 - 前記ブレンド重みは、ブレンド色を前記合成画像の各画素に割当てるように構成される、請求項1~4のいずれか1項に記載のコンピュータにより実現される方法。
- 前記ニューラルネットワークは、前記ニューラルネットワークによって生成される前記合成画像と、少なくとも1つのウィットネスカメラによって取込まれるグラウンドトゥルース画像との間のオクルージョン損失関数を最小化するための前記ブレンド重みを出力するように訓練される、請求項1~5のいずれか1項に記載のコンピュータにより実現される方法。
- 前記合成画像は、3次元ビデオ会議のために生成される前記目標被写体の未取込みビューである、請求項1~6のいずれか1項に記載のコンピュータにより実現される方法。
- 前記複数の入力画像と、前記複数のビューパラメータと、前記複数の深度画像のうちの少なくとも1つとに基づいて前記複数のワープ画像を生成することは、前記複数の深度画像のうちの少なくとも1つを用いて、未取込みビューに対する、前記複数の入力画像に関連付けられた色の候補投影を判断することを含み、前記未取込みビューは、前記複数の入力画像のうちの少なくとも1つの画像特徴の少なくとも一部を含む、請求項1~7のいずれか1項に記載のコンピュータにより実現される方法。
- 画像処理システムであって、
少なくとも1つの処理デバイスと、
実行されると、前記画像処理システムに動作を行わせる命令を格納したメモリとを備え、前記動作は、
前記画像処理システムによって取込まれる複数の入力画像を受信することと、
前記画像処理システムによって取込まれる複数の深度画像を受信することと、
前記複数の入力画像のうちの少なくとも1つに関連付けられた未取込みビューに関連付けられた複数のビューパラメータを受信することと、
前記複数の入力画像と、前記複数のビューパラメータと、前記複数の深度画像のうちの少なくとも1つとに基づいて、複数のワープ画像を生成することと、
前記複数の深度画像と、前記複数のビューパラメータと、前記複数のワープ画像とをニューラルネットワークに提供することに応答して、前記ニューラルネットワークから、前記未取込みビューの画素に色を割当てるためのブレンド重みを受信することと、
前記ブレンド重みに従って前記複数のワープ画像をブレンドすることにより合成画像を生成することとを含み、前記合成画像は、前記未取込みビューに対応する、画像処理システム。 - 前記複数の入力画像は、前記画像処理システムに関連付けられた、予め定義されたビューパラメータに従って前記画像処理システムによって取込まれる色画像であり、かつ/または、
前記複数の深度画像は、前記複数の入力画像のうちの少なくとも1つを取込んだ少なくとも1つのカメラに関連付けられた深度マップ、少なくとも1つのオクルージョンマップ、および/もしくは前記画像処理システムのウィットネスカメラに関連付けられた深度マップを含む、請求項9に記載の画像処理システム。 - 前記ブレンド重みは、前記合成画像の各画素にブレンド色を割当てるように構成される、請求項9または10に記載の画像処理システム。
- 前記ニューラルネットワークは、前記ニューラルネットワークによって生成される前記合成画像と、少なくとも1つのウィットネスカメラによって取込まれるグラウンドトゥルース画像との間のオクルージョン損失関数の最小化を最小化するための前記ブレンド重みを出力するように訓練される、請求項9~11のいずれか1項に記載の画像処理システム。
- 前記合成画像は、3次元ビデオ会議のために生成される新規のビューである、請求項9~12のいずれか1項に記載の画像処理システム。
- 命令を有するプログラムであって、前記命令は、プロセッサによって実行されると、コンピューティングデバイスに、
複数の入力画像を受信することと、
前記複数の入力画像のうちの少なくとも1つにおける目標被写体に関連付けられた複数の深度画像を受信することと、
前記目標被写体の仮想ビューを生成するために、複数のビューパラメータを受信することと、
前記複数の深度画像上に幾何学的融合処理を用いてコンセンサス表面を再構成して、前記目標被写体の幾何学的に融合されたモデルを生成することと、
前記複数の入力画像と、前記複数のビューパラメータと、前記コンセンサス表面とに基づいて、複数の再投影画像を生成することと、
前記複数の深度画像と、前記複数のビューパラメータと、前記複数の再投影画像とをニューラルネットワークに提供することに応答して、前記ニューラルネットワークから、前記目標被写体の前記仮想ビューの画素に色を割当てるためのブレンド重みを受信することと、
前記ブレンド重みおよび前記仮想ビューに基づいて、前記ビューパラメータに従って、前記複数の再投影画像をブレンドすることにより合成画像を生成することとを行わせる、プログラム。 - 前記命令は、前記ニューラルネットワークに、前記幾何学的に融合されたモデルの深度と前記複数の深度画像で観察される深度との差を提供することをさらに備え、前記ニューラルネットワークは、前記深度の差に基づいて、前記合成画像内の検出されたオクルージョンを補正するための前記ブレンド重みを出力するように訓練される、請求項14に記載のプログラム。
- 前記複数の入力画像は、前記複数の入力画像を取込んだ少なくとも1つのカメラに関連付けられた、予め定義されたビューパラメータに従って取込まれた色画像であり、かつ/または、
前記複数の深度画像は、前記複数の入力画像のうちの少なくとも1つを取込んだ少なくとも1つのカメラに関連付けられた深度マップ、少なくとも1つのオクルージョンマップ、および/もしくは、前記複数の入力画像のうちの少なくとも1つの取込みに対応するときに少なくとも1つのウィットネスカメラによって取込まれるグラウンドトゥルース画像と関連付けられた深度マップを含む、請求項14または15に記載のプログラム。 - 前記ブレンド重みは、ブレンド色を前記合成画像の各画素に割当てるように構成される、請求項14~16のいずれか1項に記載のプログラム。
- 前記ニューラルネットワークは、前記ニューラルネットワークによって生成される前記合成画像と、少なくとも1つのウィットネスカメラによって取込まれるグラウンドトゥルース画像との間のオクルージョン損失関数を最小化するための前記ブレンド重みを出力するように訓練される、請求項14~17のいずれか1項に記載のプログラム。
- 前記合成画像は、3次元ビデオ会議のための新規のビューである、請求項14~18のいずれか1項に記載のプログラム。
- 前記ニューラルネットワークはさらに、多重解像度ブレンドを行って、前記合成画像内の画素に画素色を割当てるように構成され、前記多重解像度ブレンドは、前記ニューラルネットワークに対する入力として画像ピラミッドの提供をトリガして、前記ニューラルネットワークから、複数のスケールについての多重解像度ブレンド重みと、各スケールに関連付けられた不透明度値との受信をトリガする、請求項14~19のいずれか1項に記載のプログラム。
- コンピュータに、請求項1~8のいずれか1項に記載の方法を実行させる、プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2021/070362 WO2022216333A1 (en) | 2021-04-08 | 2021-04-08 | Neural blending for novel view synthesis |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023524326A JP2023524326A (ja) | 2023-06-12 |
JP7519390B2 true JP7519390B2 (ja) | 2024-07-19 |
Family
ID=75625694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021577153A Active JP7519390B2 (ja) | 2021-04-08 | 2021-04-08 | 新規ビュー合成のためのニューラルブレンド |
Country Status (7)
Country | Link |
---|---|
US (1) | US20220398705A1 (ja) |
EP (1) | EP4091141A1 (ja) |
JP (1) | JP7519390B2 (ja) |
KR (1) | KR102612529B1 (ja) |
CN (1) | CN115529835A (ja) |
TW (1) | TWI813098B (ja) |
WO (1) | WO2022216333A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220146900A (ko) * | 2021-04-26 | 2022-11-02 | 삼성전자주식회사 | 휘도 데이터를 이용하여 심도 정보를 생성하는 처리 회로를 포함하는 전자 장치, 및 심도 정보 생성 방법 |
US20230196662A1 (en) * | 2021-12-20 | 2023-06-22 | Nvidia Corporation | Image blending using one or more neural networks |
US20230252714A1 (en) * | 2022-02-10 | 2023-08-10 | Disney Enterprises, Inc. | Shape and appearance reconstruction with deep geometric refinement |
EP4411654A1 (en) * | 2023-02-01 | 2024-08-07 | Koninklijke Philips N.V. | Estimating colour and depth in image |
KR102648938B1 (ko) * | 2023-02-15 | 2024-03-19 | 고려대학교 산학협력단 | 기하학적 일관성을 이용한 소수 샷 신경 방사장 기반 3차원 이미지 재구성 방법 및 장치 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012504805A (ja) | 2008-10-02 | 2012-02-23 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 中間画像合成およびマルチビューデータ信号抽出 |
CN108510573A (zh) | 2018-04-03 | 2018-09-07 | 南京大学 | 一种基于深度学习的多视点人脸三维模型重建的方法 |
CN110602476A (zh) | 2019-08-08 | 2019-12-20 | 南京航空航天大学 | 一种基于深度信息辅助的高斯混合模型的空洞填补方法 |
US10679046B1 (en) | 2016-11-29 | 2020-06-09 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Machine learning systems and methods of estimating body shape from images |
CN112541972A (zh) | 2019-09-23 | 2021-03-23 | 华为技术有限公司 | 一种视点图像处理方法及相关设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7965902B1 (en) * | 2006-05-19 | 2011-06-21 | Google Inc. | Large-scale image processing using mass parallelization techniques |
US9681154B2 (en) * | 2012-12-06 | 2017-06-13 | Patent Capital Group | System and method for depth-guided filtering in a video conference environment |
US20160142700A1 (en) * | 2014-11-19 | 2016-05-19 | Ginni Grover | Measuring Accuracy of Image Based Depth Sensing Systems |
US10893250B2 (en) * | 2019-01-14 | 2021-01-12 | Fyusion, Inc. | Free-viewpoint photorealistic view synthesis from casually captured video |
US10970911B2 (en) * | 2019-02-21 | 2021-04-06 | Facebook Technologies, Llc | Graphics processing chip with machine-learning based shader |
US10930054B2 (en) * | 2019-06-18 | 2021-02-23 | Intel Corporation | Method and system of robust virtual view generation between camera views |
US11928787B2 (en) * | 2020-07-29 | 2024-03-12 | Intel Corporation | Deep novel view synthesis from unstructured input |
CN112614060A (zh) * | 2020-12-09 | 2021-04-06 | 深圳数联天下智能科技有限公司 | 人脸图像头发渲染方法、装置、电子设备和介质 |
-
2021
- 2021-04-08 JP JP2021577153A patent/JP7519390B2/ja active Active
- 2021-04-08 WO PCT/US2021/070362 patent/WO2022216333A1/en unknown
- 2021-04-08 KR KR1020217041885A patent/KR102612529B1/ko active IP Right Grant
- 2021-04-08 CN CN202180004259.1A patent/CN115529835A/zh active Pending
- 2021-04-08 US US17/754,392 patent/US20220398705A1/en active Pending
- 2021-04-08 EP EP21720665.5A patent/EP4091141A1/en active Pending
- 2021-12-16 TW TW110147092A patent/TWI813098B/zh active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012504805A (ja) | 2008-10-02 | 2012-02-23 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 中間画像合成およびマルチビューデータ信号抽出 |
US10679046B1 (en) | 2016-11-29 | 2020-06-09 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Machine learning systems and methods of estimating body shape from images |
CN108510573A (zh) | 2018-04-03 | 2018-09-07 | 南京大学 | 一种基于深度学习的多视点人脸三维模型重建的方法 |
CN110602476A (zh) | 2019-08-08 | 2019-12-20 | 南京航空航天大学 | 一种基于深度信息辅助的高斯混合模型的空洞填补方法 |
CN112541972A (zh) | 2019-09-23 | 2021-03-23 | 华为技术有限公司 | 一种视点图像处理方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
TWI813098B (zh) | 2023-08-21 |
KR102612529B1 (ko) | 2023-12-11 |
EP4091141A1 (en) | 2022-11-23 |
JP2023524326A (ja) | 2023-06-12 |
CN115529835A (zh) | 2022-12-27 |
TW202240530A (zh) | 2022-10-16 |
WO2022216333A1 (en) | 2022-10-13 |
KR20220140402A (ko) | 2022-10-18 |
US20220398705A1 (en) | 2022-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7519390B2 (ja) | 新規ビュー合成のためのニューラルブレンド | |
US12026833B2 (en) | Few-shot synthesis of talking heads | |
US11710287B2 (en) | Generative latent textured proxies for object category modeling | |
EP3057066B1 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
US20240087214A1 (en) | Color and infra-red three-dimensional reconstruction using implicit radiance functions | |
US20230316810A1 (en) | Three-dimensional (3d) facial feature tracking for autostereoscopic telepresence systems | |
CN115661408A (zh) | 在人工现实环境中生成和修改手的表示 | |
US20230396750A1 (en) | Dynamic resolution of depth conflicts in telepresence | |
Thatte et al. | Real-World Virtual Reality With Head-Motion Parallax | |
US20240249478A1 (en) | Gaze-based super-resolution for extended reality devices | |
US20220232201A1 (en) | Image generation system and method | |
US20240153223A1 (en) | Reliable Depth Measurements for Mixed Reality Rendering | |
WO2024155967A1 (en) | Gaze-based super-resolution for extended reality devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220907 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220907 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231107 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240708 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7519390 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |