JP7013578B2 - 単視点深度予測のための絞りの監視 - Google Patents
単視点深度予測のための絞りの監視 Download PDFInfo
- Publication number
- JP7013578B2 JP7013578B2 JP2020524586A JP2020524586A JP7013578B2 JP 7013578 B2 JP7013578 B2 JP 7013578B2 JP 2020524586 A JP2020524586 A JP 2020524586A JP 2020524586 A JP2020524586 A JP 2020524586A JP 7013578 B2 JP7013578 B2 JP 7013578B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- depth
- field
- scene
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title 1
- 238000013528 artificial neural network Methods 0.000 claims description 198
- 238000000034 method Methods 0.000 claims description 126
- 238000013527 convolutional neural network Methods 0.000 claims description 35
- 238000009877 rendering Methods 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 19
- 230000002146 bilateral effect Effects 0.000 claims description 9
- 238000010008 shearing Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 63
- 238000012549 training Methods 0.000 description 43
- 238000004891 communication Methods 0.000 description 21
- 238000003384 imaging method Methods 0.000 description 21
- 210000002569 neuron Anatomy 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 238000011176 pooling Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000009125 cardiac resynchronization therapy Methods 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
画像の深度マップを決定するための様々な方法が存在する。このような深度マップには、画像内のオブジェクトおよび/または領域の深度、たとえば、当該画像を撮影または生成するために用いられるカメラからこのようなオブジェクトまでの距離が記述されている場合がある。いくつかの例では、距離センサ(たとえば、レーダー、ライダー、超音波測距システム)を用いて深度マップを決定するための情報を提供することができる。さらなる例では、複数の関連画像(たとえば、ステレオ画像ペアの左眼用画像および右目用画像)を利用して深度マップを決定することができる。
深度マップは、様々な方法によって1枚の画像から求めることができる。これは、たとえば画像内に存在するビジュアルキュー基づいて人工ニューラルネットワーク(ANN)またはその他のアルゴリズムに1枚の画像を適用して深度マップを生成することを含み得る。次に、この深度マップを用いて、たとえば、ナビゲーション、距離ベースのぼかし処理またはフィルタ処理をソース画像に適用すること、またはその他の適用など、様々な適用を容易にすることができるようになる。
本明細書において、方法およびシステムの例を説明する。単語「exemplary」、「example」、および「illustrative」は、本明細書において、「一例、例、または例示」を意味すると理解されたい。本明細書に「exemplary」、「example」または「illustrative」と記載されたいずれの実施の形態または特徴も、その他の実施の形態または特徴よりも好ましいまたは有利であると必ずしも解釈されるわけではない。さらには、本明細書に記載の例示的な実施の形態は、限定ではない。開示のシステムおよび方法の特定の態様を幅広い様々な異なる構成に配置または組み合わせることができることは、容易に理解できるであろう。
一般に、撮像とは、デジタルフォーマット、化学フォーマット、またはその他のフォーマット(たとえば、写真および/または動画)で実世界の環境またはシーンの色特性および輝度特性を撮影して記憶することを指す。数多くの異なるフォーマット(たとえば、カラー撮像、白黒撮像)で画像を撮影することを容易にする多種多様な撮像装置が存在する(たとえば、CCD、光検出器アレイ、アクティブ画素センサ)。
深度マップは、シーンの1つ以上の画像に基づいて様々な方法で求めることができる。いくつかの例では、パターンマッピング、三角測量、立体視画像処理という方法、および/またはその他の方法を用いて、シーン上の異なる視点に対応するシーンの複数の画像に基づいて深度マップを決定してもよい。シーンの1枚の画像に基づいてシーンの深度マップを決定することも可能である。これは、画像のコンテンツの(たとえば、画像に描かれたオブジェクトの)正体、画像内の相対的な位置/順序、またはその他の情報を求めることによって実現することができる。様々な機械学習技術またはその他のアルゴリズムを適用して画像に描かれたオブジェクトまたはその他のコンテンツを識別したり、画像内のこのようなオブジェクトの範囲を特定したり、画像内のこのようなコンテンツの順序および/または重なりを判断したり、画像に描かれたオブジェクトまたはその他のコンテンツについてのその他の情報を求めたり、および/またはこのような画像の深度マップを求めたりすることができる。
画像から深度マップを生成するために用いられるANNまたはその他のアルゴリズムを訓練して、生成された深度マップの品質を向上させることができる。この訓練は、訓練画像セットに基づいてANN(またはその他のアルゴリズム)を更新または繰り返し更新することを含み得る。このような訓練は、特定の訓練画像をANNに適用することと、出力深度マップを決定することと、次に、予測深度マップと「グラウンドトゥルース」深度マップ(またはその他の訓練データ)との対応度に基づいて誤差または損失を判断することとを含むことができる。次に、決定された対応度に基づいて、ANNを更新し得る(たとえば、誤差逆伝搬法を介して)。
演算機能(たとえば、ANNを利用して深度マップを1つ以上の画像に基づいて生成するおよび/または本明細書に記載したようなANNを複数の画像に基づいて訓練するための機能)を1つ以上のコンピューティングシステムによって実行してもよい。このようなコンピューティングシステムは、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、サーバ、クラウドコンピューティングネットワーク、および/またはプログラマブルロジックコントローラなど、コンピューティングデバイスに組み込まれてもよく、または当該コンピューティングデバイスの形をとってもよい。この例では、図6は、カメラコンポーネント624を備え得る例示的なコンピューティングデバイス600の構成要素のうちのいくつかを示す簡略ブロック図である。カメラコンポーネント624は、可視光カメラ、赤外線カメラ、ライトフィールドカメラ、プレノプティックカメラ、またはその他の種類のカメラなど、1つ以上のカメラを含んでもよい。
図7は、ANNを訓練して入力画像の深度マップを決定するための方法700のフローチャートである。方法700は、複数の画像を取得するステップ(710)を含む。当該複数の画像のうちの少なくとも2つの画像からなるセットには、共通シーンが記述されており、当該少なくとも2つの画像からなるセットは、第1被写界深度を有するソース画像と、第2被写界深度を有する目標画像とを含む。第2被写界深度は、第1被写界深度よりも浅い。方法700は、人工ニューラルネットワークを利用して、共通シーンの深度マップをソース画像に基づいて決定するステップ(720)をさらに含む。方法700は、決定された共通シーンの深度マップに基づいて、第2被写界深度に対応する被写界深度を有するように、ソース画像に基づく予測画像を決定するステップ(730)をさらに含む。方法700は、予測画像と目標画像との差分を求めるステップ(740)と、求められた差分に基づいて人工ニューラルネットワークを更新するステップ(750)とをさらに含む。方法700は、対象シーンの画像を取得するステップ(760)と、更新済みの人工ニューラルネットワークを利用して、対象シーンの深度マップを対象シーンの画像に基づいて生成するステップ(770)とをさらに含む。
上記詳細な説明では、開示のシステム、デバイス、および方法の様々な特徴および機能について、添付の図面を参照しながら記載している。図では、同様の記号は、別段の説明がない限り、通常、同様の構成要素を識別する。詳細な説明に記載された実施の形態、図面、および特許請求の範囲は、限定ではない。本明細書に記載に提示する発明の主題の範囲を逸脱することなくその他の実施の形態を利用したり、その他の変更を行なったりすることができる。本明細書に一般的に記載し、図に例示した本開示の態様を並び替えたり、置き換えたり、組み合わせたり、別々に分けたり、幅広い様々な異なる構成に設計したりする(これら全ては本明細書において明示的に予想済みである)ことができることは容易に理解されるであろう。
Claims (23)
- 方法であって、
複数の画像を取得するステップを含み、前記複数の画像のうち少なくとも2つの画像からなるセットには共通シーンが記述されており、前記少なくとも2つの画像からなるセットは、第1被写界深度を有するソース画像と、第2被写界深度を有する目標画像とを含み、前記第2被写界深度は、前記第1被写界深度よりも浅く、前記方法は、さらに、
人工ニューラルネットワークを利用して前記共通シーンの深度マップを前記ソース画像に基づいて決定するステップと、
決定された前記共通シーンの深度マップに基づいて、前記第2被写界深度に対応する被写界深度を有するように、前記ソース画像に基づく予測画像を決定するステップと、
前記予測画像と前記目標画像との差分を求めるステップと、
求められた前記差分に基づいて前記人工ニューラルネットワークを更新するステップと、
対象シーンの画像を取得するステップと、
前記更新された人工ニューラルネットワークを利用して前記対象シーンの深度マップを前記対象シーンの画像に基づいて生成するステップとを含む、方法。 - 前記共通シーンの深度マップに基づいて前記ソース画像に基づく予測画像を決定するステップは、微分可能絞りレンダリング関数を使用するステップを含む、請求項1に記載の方法。
- 前記微分可能絞りレンダリング関数を使用して前記予測画像を決定するステップは、
前記ソース画像に基づいて推定ライトフィールドを決定するステップと、
前記共通シーンの深度マップに基づいて前記推定ライトフィールドをせん断および投影して前記予測画像を決定するステップとを含む、請求項2に記載の方法。 - 前記人工ニューラルネットワークを利用して前記共通シーンの深度マップを前記ソース画像に基づいて決定するステップは、
前記人工ニューラルネットワークを利用して深度値セットを前記ソース画像に基づいて決定するステップを含み、前記深度値セットに含まれる各深度値は、前記ソース画像内のそれぞれの位置に対応し、
前記人工ニューラルネットワークを利用して前記共通シーンの深度マップを前記ソース画像に基づいて決定するステップは、
前記深度値セットをアップサンプリングして前記共通シーンの深度マップを生成するステップをさらに含む、請求項1~3のいずれか1項に記載の方法。 - 前記深度値セットをアップサンプリングして前記共通シーンの深度マップを生成するステップは、バイラテラル法を用いて前記深度値セットを前記ソース画像に基づいてアップサンプリングするステップを含む、請求項4に記載の方法。
- 前記目標画像は第1の目標画像であり、前記予測画像は第1の予測画像であり、求められた前記差分は、第1の求められた差分であり、前記少なくとも2つの画像からなるセットは、第3被写界深度を有する第2の目標画像をさらに含み、前記第3被写界深度は前記第2被写界深度とは異なり、かつ前記第1被写界深度よりも浅く、前記方法は、
決定された前記共通シーンの深度マップに基づいて、前記第3被写界深度に対応する被写界深度を有するように、前記ソース画像に基づく第2の予測画像を決定するステップと、
前記第2の予測画像と前記第2の目標画像との第2差分を求めるステップとをさらに含み、
前記人工ニューラルネットワークを更新するステップは、前記人工ニューラルネットワークを前記第2差分に基づいて更新するステップを含む、請求項1~5のいずれか1項に記載の方法。 - 前記共通シーンが記述された前記少なくとも2つの画像からなるセットを取得するステップは、
ライトフィールドカメラを使用して前記共通シーンからのライトフィールドを撮影するステップと、
前記第1被写界深度を有するように、前記撮影されたライトフィールドに基づいて前記ソース画像を生成するステップと、
前記第2被写界深度を有するように、前記撮影されたライトフィールドに基づいて前記目標画像を生成するステップとを含む、請求項1~6のいずれか1項に記載の方法。 - 前記共通シーンが記述された前記少なくとも2つの画像からなるセットを取得するステップは、
第1の絞り設定にセットされたカメラを使用して前記ソース画像を撮影するステップと、
第2の絞り設定にセットされた前記カメラを使用して前記目標画像を撮影するステップとを含み、前記第2の絞り設定の幅は、前記第1の絞り設定よりも広い、請求項1~7のいずれか1項に記載の方法。 - 前記対象シーンの画像を取得するステップは、携帯電話を操作して前記対象シーンの画像を撮影するステップを含み、前記方法は、
前記人工ニューラルネットワークが更新されたことを前記携帯電話にサーバから送信するステップをさらに含み、前記更新された人工ニューラルネットワークを利用して前記対象シーンの深度マップを前記対象シーンの画像に基づいて生成するステップは、前記携帯電話のプロセッサが前記更新された人工ニューラルネットワークを利用して前記対象シーンの深度マップを生成するステップを含む、請求項1~8のいずれか1項に記載の方法。 - 決定された前記対象シーンの深度マップに基づいて、前記対象シーンの画像に画像処理を行うステップをさらに含む、請求項1~9のいずれか1項に記載の方法。
- 前記人工ニューラルネットワークは、畳み込みニューラルネットワークである、請求項1~10のいずれか1項に記載の方法。
- 方法であって、
システムが、複数の画像を取得するステップを含み、前記複数の画像のうち少なくとも2つの画像からなるセットには共通シーンが記述されており、前記少なくとも2つの画像からなるセットは、第1被写界深度を有するソース画像と、第2被写界深度を有する目標画像とを含み、前記第2被写界深度は、前記第1被写界深度よりも浅く、前記方法は、さらに、
前記システムが、人工ニューラルネットワークを利用して前記共通シーンの深度マップを前記ソース画像に基づいて決定するステップと、
前記システムが、決定された前記共通シーンの深度マップに基づいて、前記第2被写界深度に対応する被写界深度を有するように、前記ソース画像に基づく予測画像を決定するステップと、
前記システムが、前記予測画像と前記目標画像との差分を求めるステップと、
前記システムが、求められた前記差分に基づいて前記人工ニューラルネットワークを更新するステップと、
前記人工ニューラルネットワークが更新されたことを前記システムからリモートデバイスに送信するステップとを含む、方法。 - 前記共通シーンの深度マップに基づいて前記ソース画像に基づく予測画像を決定するステップは、微分可能絞りレンダリング関数を使用するステップを含む、請求項12に記載の方法。
- 前記微分可能絞りレンダリング関数を使用して前記予測画像を決定するステップは、
前記ソース画像に基づいて推定ライトフィールドを決定するステップと、
前記共通シーンの深度マップに基づいて前記推定ライトフィールドをせん断および投影して前記予測画像を決定するステップとを含む、請求項13に記載の方法。 - 前記目標画像は第1の目標画像であり、前記予測画像は第1の予測画像であり、求められた前記差分は、第1の求められた差分であり、前記少なくとも2つの画像からなるセットは、第3被写界深度を有する第2の目標画像をさらに含み、前記第3被写界深度は前記第2被写界深度とは異なり、かつ前記第1被写界深度よりも浅く、前記方法は、
決定された前記共通シーンの深度マップに基づいて、前記第3被写界深度に対応する被写界深度を有するように、前記ソース画像に基づく第2の予測画像を決定するステップと、
前記第2の予測画像と前記第2の目標画像との第2差分を求めるステップとをさらに含み、
前記人工ニューラルネットワークを更新するステップは、前記人工ニューラルネットワークを前記第2差分に基づいて更新するステップを含む、請求項12~14のいずれか1項に記載の方法。 - 前記人工ニューラルネットワークは、畳み込みニューラルネットワークである、請求項12~15のいずれか1項に記載の方法。
- 方法であって、
シーンの複数の画像を取得するステップを含み、前記画像は、各々、被写界深度が浅く、かつ焦点距離が異なり、前記方法は、さらに、
人工ニューラルネットワークを利用して前記シーンの深度マップを前記複数の画像に基づいて決定するステップと、
前記複数の画像および決定された前記シーンの深度マップに基づいて、前記シーンの被写界深度が大きい予測画像を決定するステップと、
決定された前記シーンの深度マップに基づいて、前記複数の画像のうちの特定の画像に対応する焦点距離を有するように、前記被写界深度が大きい予測画像に基づく被写界深度の浅い予測画像を決定するステップと、
前記被写界深度の浅い予測画像と前記特定の画像との差分を求めるステップと、
求められた前記差分に基づいて前記人工ニューラルネットワークを更新するステップと、
前記更新された人工ニューラルネットワークを利用して、更新された前記シーンの深度マップを前記複数の画像に基づいて決定するステップとを含む、方法。 - 前記人工ニューラルネットワークは、オートエンコーダ畳み込みニューラルネットワークである、請求項17に記載の方法。
- 決定された前記前記シーンの深度マップに基づいて、前記複数の画像のうちの前記特定の画像に対応する焦点距離を有するように、前記被写界深度が大きい予測画像に基づく被写界深度の浅い予測画像を決定するステップは、微分可能絞りレンダリング関数を使用するステップを含む、請求項17~18のいずれか1項に記載の方法。
- 前記シーンの複数の画像を取得するステップは、カメラを操作して前記シーンの複数の画像の各画像をそれぞれ異なる焦点距離設定を用いて撮影するステップを含む、請求項17~19のいずれか1項に記載の方法。
- プログラム命令を格納した非一時的なコンピュータ読み取り可能な媒体を備える製品であって、前記プログラム命令は、コンピューティングデバイスによって実行されると、前記コンピューティングデバイスに、請求項1~20のいずれか1項に記載の方法を実行させる、製品。
- コントローラと、
プログラム命令を格納した非一時的なコンピュータ読み取り可能な媒体とを備え、前記プログラム命令は、前記コントローラによって実行されると、前記コントローラに、請求項1~20のいずれか1項に記載の方法を実行させる、システム。 - コンピュータによって実行されるプログラムであって、前記プログラムは、前記コンピュータに、請求項1~20のいずれか1項に記載の方法を実行させる、プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2017/059841 WO2019089039A1 (en) | 2017-11-03 | 2017-11-03 | Aperture supervision for single-view depth prediction |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021501946A JP2021501946A (ja) | 2021-01-21 |
JP7013578B2 true JP7013578B2 (ja) | 2022-01-31 |
Family
ID=62092223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020524586A Active JP7013578B2 (ja) | 2017-11-03 | 2017-11-03 | 単視点深度予測のための絞りの監視 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11113832B2 (ja) |
EP (1) | EP3704508B1 (ja) |
JP (1) | JP7013578B2 (ja) |
CN (1) | CN111316123B (ja) |
WO (1) | WO2019089039A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102669255B1 (ko) * | 2019-02-01 | 2024-05-27 | 한국전자통신연구원 | 다중 초점 영상을 이용한 올인포커스 영상 생성 방법 및 장치 |
US11405547B2 (en) * | 2019-02-01 | 2022-08-02 | Electronics And Telecommunications Research Institute | Method and apparatus for generating all-in-focus image using multi-focus image |
CN110415284B (zh) * | 2019-07-31 | 2022-04-19 | 中国科学技术大学 | 一种单视彩色图像深度图获得方法及装置 |
JP7382249B2 (ja) * | 2020-02-14 | 2023-11-16 | 株式会社東海理化電機製作所 | 通信装置及びプログラム |
US11503266B2 (en) * | 2020-03-06 | 2022-11-15 | Samsung Electronics Co., Ltd. | Super-resolution depth map generation for multi-camera or other environments |
US20220308166A1 (en) * | 2021-03-18 | 2022-09-29 | Wisense Technologies Ltd. | System and method for electromagnetic signal estimation |
JP7451465B2 (ja) | 2021-07-29 | 2024-03-18 | 株式会社東芝 | 学習方法、プログラム及び画像処理装置 |
US11727537B1 (en) * | 2022-03-24 | 2023-08-15 | Qualcomm Incorporated | Bokeh effect in variable aperture (VA) camera systems |
KR20230174621A (ko) * | 2022-06-21 | 2023-12-28 | 삼성전자주식회사 | 깊이 맵 생성을 위한 전자 장치 및 그 동작 방법 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004310504A (ja) | 2003-04-08 | 2004-11-04 | Canon Inc | 画像処理方法 |
JP2010081002A (ja) | 2008-09-24 | 2010-04-08 | Sanyo Electric Co Ltd | 撮像装置 |
JP2014157425A (ja) | 2013-02-14 | 2014-08-28 | Canon Inc | 撮像装置及びその制御方法 |
JP2015522198A (ja) | 2012-11-07 | 2015-08-03 | コーニンクレッカ フィリップス エヌ ヴェ | 画像に対する深度マップの生成 |
JP2017034388A (ja) | 2015-07-30 | 2017-02-09 | 日本電信電話株式会社 | 辞書生成方法、辞書生成装置、画像処理方法、画像処理装置及び画像処理プログラム |
US20170132758A1 (en) | 2015-11-05 | 2017-05-11 | Facebook, Inc. | Systems and methods for processing content using convolutional neural networks |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2288880A1 (en) * | 1997-05-06 | 1998-11-12 | Matthew J. Holcomb | Surface analysis using gaussian beam profiles |
US6556704B1 (en) * | 1999-08-25 | 2003-04-29 | Eastman Kodak Company | Method for forming a depth image from digital image data |
IL156856A (en) * | 2003-07-09 | 2011-11-30 | Joseph Shamir | Method for particle size and concentration measurement |
ES2312881T3 (es) * | 2004-06-11 | 2009-03-01 | Saab Ab | Modelizacion por computadora de escenas fisicas. |
EP1793580B1 (en) * | 2005-12-05 | 2016-07-27 | Microsoft Technology Licensing, LLC | Camera for automatic image capture having plural capture modes with different capture triggers |
US8335390B2 (en) * | 2010-03-22 | 2012-12-18 | Sony Corporation | Blur function modeling for depth of field rendering |
US9292926B1 (en) * | 2014-11-24 | 2016-03-22 | Adobe Systems Incorporated | Depth map generation |
US10237473B2 (en) | 2015-09-04 | 2019-03-19 | Apple Inc. | Depth map calculation in a stereo camera system |
US20190056498A1 (en) * | 2016-03-01 | 2019-02-21 | Brightway Vision Ltd. | Gated imaging apparatus, system and method |
CN106780543B (zh) * | 2017-01-13 | 2019-06-28 | 深圳市唯特视科技有限公司 | 一种基于卷积神经网络的双框架估计深度和运动方法 |
CN106934765A (zh) * | 2017-03-14 | 2017-07-07 | 长沙全度影像科技有限公司 | 基于深度卷积神经网络与深度信息的全景图像融合方法 |
-
2017
- 2017-11-03 CN CN201780096474.2A patent/CN111316123B/zh active Active
- 2017-11-03 WO PCT/US2017/059841 patent/WO2019089039A1/en unknown
- 2017-11-03 US US16/759,808 patent/US11113832B2/en active Active
- 2017-11-03 EP EP17868491.6A patent/EP3704508B1/en active Active
- 2017-11-03 JP JP2020524586A patent/JP7013578B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004310504A (ja) | 2003-04-08 | 2004-11-04 | Canon Inc | 画像処理方法 |
JP2010081002A (ja) | 2008-09-24 | 2010-04-08 | Sanyo Electric Co Ltd | 撮像装置 |
JP2015522198A (ja) | 2012-11-07 | 2015-08-03 | コーニンクレッカ フィリップス エヌ ヴェ | 画像に対する深度マップの生成 |
JP2014157425A (ja) | 2013-02-14 | 2014-08-28 | Canon Inc | 撮像装置及びその制御方法 |
JP2017034388A (ja) | 2015-07-30 | 2017-02-09 | 日本電信電話株式会社 | 辞書生成方法、辞書生成装置、画像処理方法、画像処理装置及び画像処理プログラム |
US20170132758A1 (en) | 2015-11-05 | 2017-05-11 | Facebook, Inc. | Systems and methods for processing content using convolutional neural networks |
Also Published As
Publication number | Publication date |
---|---|
JP2021501946A (ja) | 2021-01-21 |
CN111316123A (zh) | 2020-06-19 |
US11113832B2 (en) | 2021-09-07 |
EP3704508A1 (en) | 2020-09-09 |
US20210183089A1 (en) | 2021-06-17 |
EP3704508B1 (en) | 2023-07-12 |
CN111316123B (zh) | 2023-07-25 |
WO2019089039A1 (en) | 2019-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7013578B2 (ja) | 単視点深度予測のための絞りの監視 | |
CN108140130B (zh) | 图像处理方法及非暂时性计算机可读介质 | |
US11663733B2 (en) | Depth determination for images captured with a moving camera and representing moving features | |
US11210799B2 (en) | Estimating depth using a single camera | |
EP3997662A1 (en) | Depth-aware photo editing | |
WO2020146911A2 (en) | Multi-stage multi-reference bootstrapping for video super-resolution | |
JP2017520944A (ja) | 3dラドン画像の生成および使用 | |
EP4055556B1 (en) | Defocus blur removal and depth estimation using dual-pixel image data | |
CN109661815B (zh) | 存在相机阵列的显著强度变化的情况下的鲁棒视差估计 | |
US20240087198A1 (en) | Imaging system and method for generating a final digital image via applying a profile to image information | |
CN115244570A (zh) | 合并分离像素数据以获得更深景深 | |
US11800235B2 (en) | Dual exposure control in a camera system | |
US20220319026A1 (en) | Imaging system and method | |
JP7387029B2 (ja) | ソフトレイヤ化および深度認識インペインティングを用いた単画像3d写真技術 | |
WO2023009101A1 (en) | Generation of machine learning predictions using multiple domain data sets | |
CN115018067A (zh) | 用于视频和其它顺序数据的有条件的以对象为中心的槽注意力学习 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200804 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200804 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7013578 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |