JP7418340B2 - 機械学習を使用した画像増強深度感知 - Google Patents
機械学習を使用した画像増強深度感知 Download PDFInfo
- Publication number
- JP7418340B2 JP7418340B2 JP2020547382A JP2020547382A JP7418340B2 JP 7418340 B2 JP7418340 B2 JP 7418340B2 JP 2020547382 A JP2020547382 A JP 2020547382A JP 2020547382 A JP2020547382 A JP 2020547382A JP 7418340 B2 JP7418340 B2 JP 7418340B2
- Authority
- JP
- Japan
- Prior art keywords
- depth
- depth map
- map
- scene
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title description 4
- 238000010801 machine learning Methods 0.000 title 1
- 238000005070 sampling Methods 0.000 claims description 224
- 238000012549 training Methods 0.000 claims description 179
- 238000000034 method Methods 0.000 claims description 137
- 238000013528 artificial neural network Methods 0.000 claims description 94
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000005259 measurement Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 230000003936 working memory Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- SKIIKRJAQOSWFT-UHFFFAOYSA-N 2-[3-[1-(2,2-difluoroethyl)piperidin-4-yl]oxy-4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]pyrazol-1-yl]-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound FC(CN1CCC(CC1)OC1=NN(C=C1C=1C=NC(=NC=1)NC1CC2=CC=CC=C2C1)CC(=O)N1CC2=C(CC1)NN=N2)F SKIIKRJAQOSWFT-UHFFFAOYSA-N 0.000 description 1
- 241000256837 Apidae Species 0.000 description 1
- FHKPLLOSJHHKNU-INIZCTEOSA-N [(3S)-3-[8-(1-ethyl-5-methylpyrazol-4-yl)-9-methylpurin-6-yl]oxypyrrolidin-1-yl]-(oxan-4-yl)methanone Chemical compound C(C)N1N=CC(=C1C)C=1N(C2=NC=NC(=C2N=1)O[C@@H]1CN(CC1)C(=O)C1CCOCC1)C FHKPLLOSJHHKNU-INIZCTEOSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000000280 densification Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本願は、その開示全体が本明細書に完全に記載されるかのように、あらゆる目的のために参照することによって本明細書に組み込まれる2018年3月13日に出願され、「SYSTEM AND METHOD FOR CONSTRUCTING DEPTH MAPS」と題された米国仮特許出願第62/642,528号の優先権を主張する。
本明細書は、例えば、以下の項目も提供する。
(項目1)
深度算出のためにニューラルネットワークを訓練する方法であって、前記方法は、
画像入力を前記ニューラルネットワークに提供することであって、前記画像入力は、訓練場面のカメラ画像を含む、ことと、
深度入力を前記ニューラルネットワークに提供することであって、前記深度入力は、
前記訓練場面の疎深度マップであって、前記疎深度マップは、
サンプリングマスクによって定義された複数のサンプリング点の各々に関して、前記疎深度マップを高密度深度センサを使用して生成された前記訓練場面の高密度深度マップと等しくなるように設定することと、
前記サンプリングマスクによって定義された複数の残りの点の各々に関して、前記疎深度マップを前記複数のサンプリング点の最近傍点における前記高密度深度マップと等しくなるように設定することと
によって生成される、疎深度マップと、
前記訓練場面の距離マップであって、前記距離マップは、
前記複数のサンプリング点の各々に関して、前記距離マップをゼロと等しくなるように設定することと、
前記複数の残りの点の各々に関して、前記距離マップを前記複数のサンプリング点の前記最近傍点からの距離と等しくなるように設定することと
によって生成される、距離マップと
を含む、ことと、
前記ニューラルネットワークを使用して、前記画像入力および前記深度入力に基づいて、前記訓練場面の算出深度マップを生成することと、
前記算出深度マップと前記高密度深度マップとの間の誤差を算出することと、
前記誤差に基づいて、前記ニューラルネットワークを修正することと
を含む、方法。
(項目2)
深度算出のためにニューラルネットワークを訓練する方法であって、前記方法は、
画像入力を前記ニューラルネットワークに提供することであって、前記画像入力は、訓練場面のカメラ画像を含む、ことと、
深度入力を前記ニューラルネットワークに提供することであって、前記深度入力は、少なくとも部分的に前記訓練場面の高密度深度マップに基づく、ことと、
前記ニューラルネットワークを使用して、前記訓練場面の算出深度マップを生成することと、
前記算出深度マップと前記高密度深度マップとの間の誤差に基づいて、前記ニューラルネットワークを修正することと
を含む、方法。
(項目3)
前記ニューラルネットワークを使用して、前記画像入力および前記深度入力に基づいて、前記算出深度マップを生成することをさらに含む、項目2に記載の方法。
(項目4)
カメラを使用して、前記カメラ画像を捕捉することと、
高密度深度センサを使用して、前記高密度深度マップを捕捉することと
をさらに含む、項目2に記載の方法。
(項目5)
前記カメラ画像は、H×W×1の寸法を有するグレースケール画像である、項目2に記載の方法。
(項目6)
前記カメラ画像は、H×W×3の寸法を有するRGB画像である、項目2に記載の方法。
(項目7)
前記深度入力は、疎深度マップを含み、前記疎深度マップは、
前記高密度深度マップと、
低密度深度センサの複数のサンプリング点を示すサンプリングマスクと
に基づいて生成される、項目2に記載の方法。
(項目8)
前記疎深度マップは、
前記複数のサンプリング点の各々に関して、前記疎深度マップを前記高密度深度マップと等しくなるように設定することと、
複数の残りの点の各々に関して、前記疎深度マップを前記複数のサンプリング点の最近傍点における前記高密度深度マップと等しくなるように設定することと
によって生成される、項目7に記載の方法。
(項目9)
前記深度入力は、距離マップをさらに含み、前記距離マップは、
前記複数のサンプリング点の各々に関して、前記距離マップをゼロと等しくなるように設定することと、
複数の残りの点の各々に関して、前記距離マップを前記複数のサンプリング点の最近傍点からの距離と等しくなるように設定することと
によって生成される、項目7に記載の方法。
(項目10)
深度算出のためにニューラルネットワークを使用する方法であって、前記方法は、
カメラを使用して、ランタイム場面のカメラ画像を捕捉することと、
低密度深度センサを使用して、前記ランタイム場面の低密度深度マップを捕捉することと、
ランタイム画像入力を前記ニューラルネットワークに提供することであって、前記ランタイム画像入力は、前記ランタイム場面のカメラ画像を含む、ことと、
ランタイム深度入力を前記ニューラルネットワークに提供することであって、前記ランタイム深度入力は、少なくとも部分的に前記ランタイム場面の低密度深度マップに基づく、ことと、
前記ニューラルネットワークを使用して、前記ランタイム画像入力および前記ランタイム深度入力に基づいて、前記ランタイム場面の算出深度マップを生成することと
を含む、方法。
(項目11)
前記ランタイム深度入力は、前記ランタイム場面の疎深度マップを含み、前記疎深度マップは、
前記ランタイム場面の前記低密度深度マップによって決定された複数のサンプリング点の各々に関して、前記ランタイム場面の前記疎深度マップを前記ランタイム場面の前記低密度深度マップと等しくなるように設定することと、
複数の残りの点の各々に関して、前記ランタイム場面の前記疎深度マップを前記複数のサンプリング点の最近傍点における前記ランタイム場面の前記低密度深度マップと等しくなるように設定することと
によって生成される、項目10に記載の方法。
(項目12)
前記ランタイム深度入力は、前記ランタイム場面の距離マップを含み、前記距離マップは、
前記ランタイム場面の前記低密度深度マップによって決定された複数のサンプリング点の各々に関して、前記ランタイム場面の前記距離マップをゼロと等しくなるように設定することと、
前記複数の残りの点の各々に関して、前記ランタイム場面の前記距離マップを前記複数のサンプリング点の最近傍点からの距離と等しくなるように設定することと
によって生成される、項目10に記載の方法。
(項目13)
前記ニューラルネットワークは、
訓練画像入力を前記ニューラルネットワークに提供することであって、前記訓練画像入力は、訓練場面のカメラ画像を含む、ことと、
訓練深度入力を前記ニューラルネットワークに提供することであって、前記訓練深度入力は、少なくとも部分的に前記訓練場面の高密度深度マップに基づく、ことと、
前記ニューラルネットワークを使用して、前記訓練場面の算出深度マップを生成することと、
前記訓練場面の前記算出深度マップと前記訓練場面の前記高密度深度マップとの間の誤差に基づいて、前記ニューラルネットワークを修正することと
によって、事前に訓練されている、項目10に記載の方法。
(項目14)
前記ニューラルネットワークを使用して、前記訓練画像入力および前記訓練深度入力に基づいて、前記算出深度マップを生成することをさらに含む、項目13に記載の方法。
(項目15)
前記カメラを使用して、前記訓練場面の前記カメラ画像を捕捉することと、
高密度深度センサを使用して、前記訓練場面の前記高密度深度マップを捕捉することと
をさらに含む、項目13に記載の方法。
(項目16)
前記訓練場面の前記カメラ画像は、H×W×1の寸法を有するグレースケール画像である、項目13に記載の方法。
(項目17)
前記訓練場面の前記カメラ画像は、H×W×3の寸法を有するRGB画像である、項目13に記載の方法。
(項目18)
前記訓練深度入力は、前記訓練場面の疎深度マップを含み、前記疎深度マップは、
前記高密度深度マップと、
前記低密度深度センサの複数のサンプリング点を示すサンプリングマスクと
に基づいて生成される、項目13に記載の方法。
(項目19)
前記訓練場面の前記疎深度マップは、
前記複数のサンプリング点の各々に関して、前記訓練場面の前記疎深度マップを前記高密度深度マップと等しくなるように設定することと、
複数の残りの点の各々に関して、前記訓練場面の前記疎深度マップを前記複数のサンプリング点の最近傍点における前記高密度深度マップと等しくなるように設定することと
によって生成される、項目18に記載の方法。
(項目20)
前記訓練深度入力は、前記訓練場面の距離マップをさらに含み、前記距離マップは、
前記複数のサンプリング点の各々に関して、前記訓練場面の前記距離マップをゼロと等しくなるように設定することと、
複数の残りの点の各々に関して、前記訓練場面の前記距離マップを前記複数のサンプリング点の最近傍点からの距離と等しくなるように設定することと
によって生成される、項目18に記載の方法。
Claims (19)
- 深度算出のためにニューラルネットワークを訓練する方法であって、前記方法は、
画像入力を前記ニューラルネットワークに提供することであって、前記画像入力は、訓練場面のカメラ画像を含む、ことと、
深度入力を前記ニューラルネットワークに提供することであって、前記深度入力は、
前記訓練場面の疎深度マップであって、前記疎深度マップは、
サンプリングマスクによって定義された複数のサンプリング点の各々に関して、前記疎深度マップを高密度深度センサを使用して生成された前記訓練場面の高密度深度マップと等しくなるように設定することと、
前記サンプリングマスクによって定義された複数の残りの点の各々に関して、前記疎深度マップを前記複数のサンプリング点の最近傍点における前記高密度深度マップと等しくなるように設定することと
によって生成される、疎深度マップと、
前記訓練場面の距離マップであって、前記距離マップは、
前記複数のサンプリング点の各々に関して、前記距離マップをゼロと等しくなるように設定することと、
前記複数の残りの点の各々に関して、前記距離マップを前記複数のサンプリング点の前記最近傍点からの距離と等しくなるように設定することと
によって生成される、距離マップと
を含む、ことと、
前記ニューラルネットワークを使用して、前記画像入力および前記深度入力に基づいて、前記訓練場面の算出深度マップを生成することと、
前記算出深度マップと前記高密度深度マップとの間の誤差を算出することと、
前記誤差に基づいて、前記ニューラルネットワークを修正することと
を含む、方法。 - 深度算出のためにニューラルネットワークを訓練する方法であって、前記方法は、
画像入力を前記ニューラルネットワークに提供することであって、前記画像入力は、訓練場面のカメラ画像を含み、前記カメラ画像は、カメラを使用して捕捉されたものである、ことと、
深度入力を前記ニューラルネットワークに提供することであって、前記深度入力は、少なくとも部分的に前記訓練場面の高密度深度マップのサンプリングされたバージョンに基づき、前記高密度深度マップは、前記カメラと別個である高密度深度センサを使用して捕捉されたものである、ことと、
前記ニューラルネットワークを使用して、前記画像入力および前記深度入力に基づいて、前記訓練場面の算出深度マップを生成することと、
前記算出深度マップと前記高密度深度マップとの間の誤差に基づいて、前記ニューラルネットワークを修正することと
を含む、方法。 - 前記カメラを使用して、前記カメラ画像を捕捉することと、
前記高密度深度センサを使用して、前記高密度深度マップを捕捉することと
をさらに含む、請求項2に記載の方法。 - 前記カメラ画像は、H×W×1の寸法を有するグレースケール画像である、請求項2に記載の方法。
- 前記カメラ画像は、H×W×3の寸法を有するRGB画像である、請求項2に記載の方法。
- 前記深度入力は、疎深度マップを含み、前記疎深度マップは、
前記高密度深度マップの前記サンプリングされたバージョンと、
前記高密度深度マップをサンプリングするために使用される低密度深度センサの複数のサンプリング点を示すサンプリングマスクと
に基づいて生成される、請求項2に記載の方法。 - 前記疎深度マップは、
前記複数のサンプリング点の各々に関して、前記疎深度マップを前記高密度深度マップと等しくなるように設定することと、
複数の残りの点の各々に関して、前記疎深度マップを前記複数のサンプリング点の最近傍点における前記高密度深度マップと等しくなるように設定することと
によって生成される、請求項6に記載の方法。 - 前記深度入力は、距離マップをさらに含み、前記距離マップは、
前記複数のサンプリング点の各々に関して、前記距離マップをゼロと等しくなるように設定することと、
複数の残りの点の各々に関して、前記距離マップを前記複数のサンプリング点の最近傍点からの距離と等しくなるように設定することと
によって生成される、請求項6に記載の方法。 - 深度算出のためにニューラルネットワークを使用する方法であって、前記方法は、
カメラを使用して、ランタイム場面のカメラ画像を捕捉することと、
低密度深度センサを使用して、前記ランタイム場面の低密度深度マップを捕捉することであって、前記低密度深度センサは、前記カメラと別個である、ことと、
ランタイム画像入力を前記ニューラルネットワークに提供することであって、前記ランタイム画像入力は、前記ランタイム場面のカメラ画像を含む、ことと、
ランタイム深度入力を前記ニューラルネットワークに提供することであって、前記ランタイム深度入力は、少なくとも部分的に前記ランタイム場面の低密度深度マップに基づき、前記ランタイム深度入力は、前記ランタイム場面の疎深度マップを含み、前記疎深度マップは、
前記ランタイム場面の前記低密度深度マップによって決定された複数のサンプリング点の各々に関して、前記ランタイム場面の前記疎深度マップを前記ランタイム場面の前記低密度深度マップと等しくなるように設定すること
によって生成される、ことと、
前記ニューラルネットワークを使用して、前記ランタイム画像入力および前記ランタイム深度入力に基づいて、前記ランタイム場面の算出深度マップを生成することと
を含む、方法。 - 前記ランタイム場面の前記疎深度マップはさらに、
複数の残りの点の各々に関して、前記ランタイム場面の前記疎深度マップを前記複数のサンプリング点の最近傍点における前記ランタイム場面の前記低密度深度マップと等しくなるように設定すること
によって生成される、請求項9に記載の方法。 - 前記ランタイム深度入力は、前記ランタイム場面の距離マップを含み、前記距離マップは、
前記ランタイム場面の前記低密度深度マップによって決定された前記複数のサンプリング点の各々に関して、前記ランタイム場面の前記距離マップをゼロと等しくなるように設定することと、
複数の残りの点の各々に関して、前記ランタイム場面の前記距離マップを前記複数のサンプリング点の最近傍点からの距離と等しくなるように設定することと
によって生成される、請求項9に記載の方法。 - 前記ニューラルネットワークは、
訓練画像入力を前記ニューラルネットワークに提供することであって、前記訓練画像入力は、訓練場面のカメラ画像を含む、ことと、
訓練深度入力を前記ニューラルネットワークに提供することであって、前記訓練深度入力は、少なくとも部分的に前記訓練場面の高密度深度マップに基づく、ことと、
前記ニューラルネットワークを使用して、前記訓練場面の算出深度マップを生成することと、
前記訓練場面の前記算出深度マップと前記訓練場面の前記高密度深度マップとの間の誤差に基づいて、前記ニューラルネットワークを修正することと
によって、事前に訓練されている、請求項9に記載の方法。 - 前記ニューラルネットワークを使用して、前記訓練画像入力および前記訓練深度入力に基づいて、前記算出深度マップを生成することをさらに含む、請求項12に記載の方法。
- 前記カメラを使用して、前記訓練場面の前記カメラ画像を捕捉することと、
高密度深度センサを使用して、前記訓練場面の前記高密度深度マップを捕捉することと
をさらに含む、請求項12に記載の方法。 - 前記訓練場面の前記カメラ画像は、H×W×1の寸法を有するグレースケール画像である、請求項12に記載の方法。
- 前記訓練場面の前記カメラ画像は、H×W×3の寸法を有するRGB画像である、請求項12に記載の方法。
- 前記訓練深度入力は、前記訓練場面の疎深度マップを含み、前記疎深度マップは、
前記高密度深度マップと、
前記低密度深度センサの複数のサンプリング点を示すサンプリングマスクと
に基づいて生成される、請求項12に記載の方法。 - 前記訓練場面の前記疎深度マップは、
前記複数のサンプリング点の各々に関して、前記訓練場面の前記疎深度マップを前記高密度深度マップと等しくなるように設定することと、
複数の残りの点の各々に関して、前記訓練場面の前記疎深度マップを前記複数のサンプリング点の最近傍点における前記高密度深度マップと等しくなるように設定することと
によって生成される、請求項17に記載の方法。 - 前記訓練深度入力は、前記訓練場面の距離マップをさらに含み、前記距離マップは、
前記複数のサンプリング点の各々に関して、前記訓練場面の前記距離マップをゼロと等しくなるように設定することと、
複数の残りの点の各々に関して、前記訓練場面の前記距離マップを前記複数のサンプリング点の最近傍点からの距離と等しくなるように設定することと
によって生成される、請求項17に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862642528P | 2018-03-13 | 2018-03-13 | |
US62/642,528 | 2018-03-13 | ||
PCT/US2019/022086 WO2019178253A1 (en) | 2018-03-13 | 2019-03-13 | Image-enhanced depth sensing using machine learning |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021517685A JP2021517685A (ja) | 2021-07-26 |
JP7418340B2 true JP7418340B2 (ja) | 2024-01-19 |
Family
ID=67906439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020547382A Active JP7418340B2 (ja) | 2018-03-13 | 2019-03-13 | 機械学習を使用した画像増強深度感知 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11128854B2 (ja) |
EP (1) | EP3766023A4 (ja) |
JP (1) | JP7418340B2 (ja) |
CN (1) | CN111837144B (ja) |
WO (1) | WO2019178253A1 (ja) |
Families Citing this family (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018176000A1 (en) | 2017-03-23 | 2018-09-27 | DeepScale, Inc. | Data synthesis for autonomous control systems |
US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
EP4095913B1 (en) * | 2017-12-13 | 2024-09-25 | Magic Leap, Inc. | Global shutter pixel circuit |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
JP7418340B2 (ja) | 2018-03-13 | 2024-01-19 | マジック リープ, インコーポレイテッド | 機械学習を使用した画像増強深度感知 |
US11328474B2 (en) * | 2018-03-20 | 2022-05-10 | Interdigital Madison Patent Holdings, Sas | System and method for dynamically adjusting level of details of point clouds |
WO2019183113A1 (en) | 2018-03-20 | 2019-09-26 | Pcms Holdings, Inc. | System and method for optimizing dynamic point clouds based on prioritized transformations |
WO2019182974A2 (en) * | 2018-03-21 | 2019-09-26 | Nvidia Corporation | Stereo depth estimation using deep neural networks |
US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
AU2019357615B2 (en) | 2018-10-11 | 2023-09-14 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
EP3895431A1 (en) | 2018-12-14 | 2021-10-20 | PCMS Holdings, Inc. | System and method for procedurally colorizing spatial data |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
EP3930321A4 (en) * | 2019-03-25 | 2022-04-20 | Huawei Technologies Co., Ltd. | DUAL CAMERA + TOF LARGE APERTURE BLUR PROCESS |
WO2021053680A2 (en) | 2019-09-22 | 2021-03-25 | Vayavision Sensing Ltd. | Methods and systems for training and validating a perception system |
CN114556422A (zh) * | 2019-10-14 | 2022-05-27 | 谷歌有限责任公司 | 来自双相机与双像素的联合深度预测 |
US11157774B2 (en) * | 2019-11-14 | 2021-10-26 | Zoox, Inc. | Depth data model training with upsampling, losses, and loss balancing |
WO2021154099A1 (en) * | 2020-01-30 | 2021-08-05 | Weta Digital Limited | System for image compositing including training with synthetic data |
US11710247B2 (en) | 2020-01-30 | 2023-07-25 | Unity Technologies Sf | System for image compositing including training with synthetic data |
CN111612071B (zh) * | 2020-05-21 | 2024-02-02 | 北京华睿盛德科技有限公司 | 一种从曲面零件阴影图生成深度图的深度学习方法 |
CN111860227B (zh) | 2020-06-30 | 2024-03-08 | 阿波罗智能技术(北京)有限公司 | 训练轨迹规划模型的方法、装置和计算机存储介质 |
CN111563923B (zh) * | 2020-07-15 | 2020-11-10 | 浙江大华技术股份有限公司 | 获得稠密深度图的方法及相关装置 |
US12008740B2 (en) * | 2020-08-12 | 2024-06-11 | Niantic, Inc. | Feature matching using features extracted from perspective corrected image |
US11868439B2 (en) * | 2020-11-13 | 2024-01-09 | Toyota Research Institute, Inc. | Mixed-batch training of a multi-task network |
CN112560875B (zh) * | 2020-12-25 | 2023-07-28 | 北京百度网讯科技有限公司 | 深度信息补全模型训练方法、装置、设备以及存储介质 |
CN112837360B (zh) * | 2021-01-07 | 2023-08-11 | 北京百度网讯科技有限公司 | 深度信息处理方法、装置、设备、存储介质和程序产品 |
CN112819874B (zh) * | 2021-01-07 | 2024-05-28 | 北京百度网讯科技有限公司 | 深度信息处理方法、装置、设备、存储介质以及程序产品 |
CN112861729B (zh) * | 2021-02-08 | 2022-07-08 | 浙江大学 | 一种基于伪深度图引导的实时深度补全方法 |
CN113050120A (zh) * | 2021-03-24 | 2021-06-29 | Oppo广东移动通信有限公司 | 成像方法、电子装置、控制装置与存储介质 |
JP2022188643A (ja) * | 2021-06-09 | 2022-12-21 | 京セラ株式会社 | 測距装置、移動体及び測距方法 |
CN113538937B (zh) * | 2021-07-15 | 2022-11-22 | 青岛港国际股份有限公司 | 一种港口混合交通管控系统 |
KR102641108B1 (ko) * | 2021-08-03 | 2024-02-27 | 연세대학교 산학협력단 | 깊이맵 완성 장치 및 방법 |
CN116258754A (zh) * | 2021-12-09 | 2023-06-13 | 华为技术有限公司 | 一种图像处理方法、装置及设备 |
CN114638869A (zh) * | 2022-02-16 | 2022-06-17 | 奥比中光科技集团股份有限公司 | 深度图像的获取方法、装置、深度系统、终端和存储介质 |
CN115457099B (zh) * | 2022-09-09 | 2023-05-09 | 梅卡曼德(北京)机器人科技有限公司 | 深度补全方法、装置、设备、介质及产品 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011259511A (ja) | 2011-09-29 | 2011-12-22 | Seiko Epson Corp | 画像処理装置及び画像処理方法 |
US20150015569A1 (en) | 2013-07-15 | 2015-01-15 | Samsung Electronics Co., Ltd. | Method and apparatus for processing depth image |
JP2017223648A (ja) | 2016-03-16 | 2017-12-21 | アナログ ディヴァイスィズ インク | 飛行時間型深度イメージングの際の消費電力の低減 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103069796B (zh) * | 2010-08-17 | 2016-05-11 | Lg电子株式会社 | 用于计数目标的方法和使用多个传感器的装置 |
JP5638890B2 (ja) * | 2010-09-15 | 2014-12-10 | オリンパス株式会社 | 撮像装置、撮像方法及びプログラム |
KR101370718B1 (ko) * | 2012-10-26 | 2014-03-06 | 한국과학기술원 | 파노라마 이미지를 이용한 2d에서 3d로의 변환 방법 및 장치 |
EP2992357A4 (en) * | 2013-04-29 | 2017-01-18 | Nokia Technologies OY | A method and apparatus for fusing distance data from a distance sensing camera with an image |
US9380224B2 (en) | 2014-02-28 | 2016-06-28 | Microsoft Technology Licensing, Llc | Depth sensing using an infrared camera |
US9762893B2 (en) * | 2015-12-07 | 2017-09-12 | Google Inc. | Systems and methods for multiscopic noise reduction and high-dynamic range |
US10433025B2 (en) * | 2016-05-10 | 2019-10-01 | Jaunt Inc. | Virtual reality resource scheduling of process in a cloud-based virtual reality processing system |
WO2018071138A2 (en) * | 2016-09-19 | 2018-04-19 | Tau Technologies, LLC | Multi-camera imaging systems |
US10762651B2 (en) | 2016-09-30 | 2020-09-01 | Magic Leap, Inc. | Real time calibration for time-of-flight depth measurement |
KR102696652B1 (ko) * | 2017-01-26 | 2024-08-21 | 삼성전자주식회사 | 스테레오 매칭 방법 및 영상 처리 장치 |
US10600155B2 (en) * | 2017-02-09 | 2020-03-24 | Verizon Patent And Licensing Inc. | Generating virtual reality content based on corrections to stitching errors |
US10607654B2 (en) * | 2017-02-09 | 2020-03-31 | Verizon Patent And Licensing Inc. | Using sharding to generate virtual reality content |
TWI672677B (zh) * | 2017-03-31 | 2019-09-21 | 鈺立微電子股份有限公司 | 用以融合多深度圖的深度圖產生裝置 |
CN108401457A (zh) * | 2017-08-25 | 2018-08-14 | 深圳市大疆创新科技有限公司 | 一种曝光的控制方法、装置以及无人机 |
US10609355B2 (en) * | 2017-10-27 | 2020-03-31 | Motorola Mobility Llc | Dynamically adjusting sampling of a real-time depth map |
US10529086B2 (en) * | 2017-11-22 | 2020-01-07 | Futurewei Technologies, Inc. | Three-dimensional (3D) reconstructions of dynamic scenes using a reconfigurable hybrid imaging system |
EP4095913B1 (en) | 2017-12-13 | 2024-09-25 | Magic Leap, Inc. | Global shutter pixel circuit |
US11094075B1 (en) * | 2018-01-23 | 2021-08-17 | Facebook Technologies, Llc | Systems and methods utilizing a machine learning model for generating defocus blur effects |
JP7418340B2 (ja) | 2018-03-13 | 2024-01-19 | マジック リープ, インコーポレイテッド | 機械学習を使用した画像増強深度感知 |
KR102089720B1 (ko) * | 2018-10-16 | 2020-03-16 | 주식회사 파코웨어 | 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법 및 시스템 |
US10839543B2 (en) * | 2019-02-26 | 2020-11-17 | Baidu Usa Llc | Systems and methods for depth estimation using convolutional spatial propagation networks |
-
2019
- 2019-03-13 JP JP2020547382A patent/JP7418340B2/ja active Active
- 2019-03-13 WO PCT/US2019/022086 patent/WO2019178253A1/en unknown
- 2019-03-13 CN CN201980018591.6A patent/CN111837144B/zh active Active
- 2019-03-13 US US16/352,522 patent/US11128854B2/en active Active
- 2019-03-13 EP EP19767228.0A patent/EP3766023A4/en active Pending
-
2020
- 2020-09-11 US US17/018,940 patent/US11682127B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011259511A (ja) | 2011-09-29 | 2011-12-22 | Seiko Epson Corp | 画像処理装置及び画像処理方法 |
US20150015569A1 (en) | 2013-07-15 | 2015-01-15 | Samsung Electronics Co., Ltd. | Method and apparatus for processing depth image |
JP2017223648A (ja) | 2016-03-16 | 2017-12-21 | アナログ ディヴァイスィズ インク | 飛行時間型深度イメージングの際の消費電力の低減 |
Non-Patent Citations (1)
Title |
---|
David Eigen, Christian Puhrsch, Rob Fergus,Depth Map Prediction from a Single Image using a Multi-Scale Deep Network,arXiv,米国,2014年06月09日,pp. 1-9,https://arxiv.org/abs/1406.2283 |
Also Published As
Publication number | Publication date |
---|---|
EP3766023A1 (en) | 2021-01-20 |
US20200410699A1 (en) | 2020-12-31 |
WO2019178253A1 (en) | 2019-09-19 |
US11128854B2 (en) | 2021-09-21 |
CN111837144A (zh) | 2020-10-27 |
JP2021517685A (ja) | 2021-07-26 |
EP3766023A4 (en) | 2021-04-21 |
US11682127B2 (en) | 2023-06-20 |
US20190289281A1 (en) | 2019-09-19 |
CN111837144B (zh) | 2024-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7418340B2 (ja) | 機械学習を使用した画像増強深度感知 | |
JP7495546B2 (ja) | 畳み込み画像変換を使用して同時位置特定およびマッピングを実施する方法およびシステム | |
CN108229366B (zh) | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 | |
KR102658303B1 (ko) | 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이 | |
EP2531980B1 (en) | Depth camera compatibility | |
EP2531979B1 (en) | Depth camera compatibility | |
CN108702437A (zh) | 用于3d成像系统的高动态范围深度生成 | |
KR102502310B1 (ko) | 적외선 이미징을 사용한 색상 식별 | |
CN105190703A (zh) | 使用光度立体来进行3d环境建模 | |
KR20210009316A (ko) | 타임 오브 플라이트 카메라의 감소된 전력 동작 | |
US10679376B2 (en) | Determining a pose of a handheld object | |
CN114846515A (zh) | 仿真测试方法、系统、仿真器、存储介质及程序产品 | |
CN110276831A (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
JP2024074862A (ja) | 軸外カメラを使用して眼追跡を実施するための方法およびシステム | |
CN111866493B (zh) | 基于头戴显示设备的图像校正方法、装置及设备 | |
CN111866492A (zh) | 基于头戴显示设备的图像处理方法、装置及设备 | |
CN117689826A (zh) | 三维模型构建和渲染方法、装置、设备以及介质 | |
WO2024181137A1 (ja) | 情報処理装置および方法 | |
WO2024112458A1 (en) | Scaling for depth estimation | |
Bako et al. | Development and embedded implementations of a hardware-efficient optical flow detection method | |
CN118015061A (zh) | 深度估计模型训练方法、数据处理设备及头戴式设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230106 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231005 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240109 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7418340 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |