JP7106665B2 - 単眼深度推定方法およびその装置、機器ならびに記憶媒体 - Google Patents

単眼深度推定方法およびその装置、機器ならびに記憶媒体 Download PDF

Info

Publication number
JP7106665B2
JP7106665B2 JP2020546428A JP2020546428A JP7106665B2 JP 7106665 B2 JP7106665 B2 JP 7106665B2 JP 2020546428 A JP2020546428 A JP 2020546428A JP 2020546428 A JP2020546428 A JP 2020546428A JP 7106665 B2 JP7106665 B2 JP 7106665B2
Authority
JP
Japan
Prior art keywords
network model
binocular
image
data
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020546428A
Other languages
English (en)
Japanese (ja)
Other versions
JP2021515939A (ja
Inventor
郭▲曉▼▲陽▼
李▲鴻▼升
伊▲帥▼
任思捷
王▲曉▼▲剛▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Publication of JP2021515939A publication Critical patent/JP2021515939A/ja
Application granted granted Critical
Publication of JP7106665B2 publication Critical patent/JP7106665B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
JP2020546428A 2018-05-22 2019-02-27 単眼深度推定方法およびその装置、機器ならびに記憶媒体 Active JP7106665B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810496541.6 2018-05-22
CN201810496541.6A CN108961327B (zh) 2018-05-22 2018-05-22 一种单目深度估计方法及其装置、设备和存储介质
PCT/CN2019/076247 WO2019223382A1 (zh) 2018-05-22 2019-02-27 单目深度估计方法及其装置、设备和存储介质

Publications (2)

Publication Number Publication Date
JP2021515939A JP2021515939A (ja) 2021-06-24
JP7106665B2 true JP7106665B2 (ja) 2022-07-26

Family

ID=64499439

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020546428A Active JP7106665B2 (ja) 2018-05-22 2019-02-27 単眼深度推定方法およびその装置、機器ならびに記憶媒体

Country Status (4)

Country Link
JP (1) JP7106665B2 (zh)
CN (1) CN108961327B (zh)
SG (1) SG11202008787UA (zh)
WO (1) WO2019223382A1 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961327B (zh) * 2018-05-22 2021-03-30 深圳市商汤科技有限公司 一种单目深度估计方法及其装置、设备和存储介质
CN111354032B (zh) * 2018-12-24 2023-10-20 杭州海康威视数字技术股份有限公司 一种生成视差图的方法及装置
CN111444744A (zh) * 2018-12-29 2020-07-24 北京市商汤科技开发有限公司 活体检测方法、装置以及存储介质
CN109741388B (zh) * 2019-01-29 2020-02-28 北京字节跳动网络技术有限公司 用于生成双目深度估计模型的方法和装置
CN111508010B (zh) * 2019-01-31 2023-08-08 北京地平线机器人技术研发有限公司 对二维图像进行深度估计的方法、装置及电子设备
CN109887019B (zh) * 2019-02-19 2022-05-24 北京市商汤科技开发有限公司 一种双目匹配方法及装置、设备和存储介质
CN111723926B (zh) * 2019-03-22 2023-09-12 北京地平线机器人技术研发有限公司 用于确定图像视差的神经网络模型的训练方法和训练装置
CN110009674B (zh) * 2019-04-01 2021-04-13 厦门大学 基于无监督深度学习的单目图像景深实时计算方法
CN110163246B (zh) * 2019-04-08 2021-03-30 杭州电子科技大学 基于卷积神经网络的单目光场图像无监督深度估计方法
CN110148179A (zh) * 2019-04-19 2019-08-20 北京地平线机器人技术研发有限公司 一种训练用于估计图像视差图的神经网络模型方法、装置及介质
CN110335245A (zh) * 2019-05-21 2019-10-15 青岛科技大学 基于单目时空连续图像的网箱网衣破损监测方法及系统
CN112149458A (zh) * 2019-06-27 2020-12-29 商汤集团有限公司 障碍物检测方法、智能驾驶控制方法、装置、介质及设备
CN110310317A (zh) * 2019-06-28 2019-10-08 西北工业大学 一种基于深度学习的单目视觉场景深度估计的方法
CN110782412B (zh) * 2019-10-28 2022-01-28 深圳市商汤科技有限公司 图像处理方法及装置、处理器、电子设备及存储介质
CN111105451B (zh) * 2019-10-31 2022-08-05 武汉大学 一种克服遮挡效应的驾驶场景双目深度估计方法
CN111126478B (zh) * 2019-12-19 2023-07-07 北京迈格威科技有限公司 卷积神经网络训练方法、装置和电子系统
CN113014899B (zh) * 2019-12-20 2023-02-03 杭州海康威视数字技术股份有限公司 一种双目图像的视差确定方法、装置及系统
CN111105432B (zh) * 2019-12-24 2023-04-07 中国科学技术大学 基于深度学习的无监督端到端的驾驶环境感知方法
CN111325786B (zh) * 2020-02-18 2022-06-28 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111340864B (zh) * 2020-02-26 2023-12-12 浙江大华技术股份有限公司 基于单目估计的三维场景融合方法及装置
CN111445476B (zh) * 2020-02-27 2023-05-26 上海交通大学 基于多模态无监督图像内容解耦的单目深度估计方法
CN111354030B (zh) * 2020-02-29 2023-08-04 同济大学 嵌入SENet单元的无监督单目图像深度图生成方法
CN111428859A (zh) * 2020-03-05 2020-07-17 北京三快在线科技有限公司 自动驾驶场景的深度估计网络训练方法、装置和自主车辆
CN111310859A (zh) * 2020-03-26 2020-06-19 上海景和国际展览有限公司 一种用于多媒体展示中的快速人工智能数据训练系统
CN111833390B (zh) * 2020-06-23 2023-06-20 杭州电子科技大学 一种基于无监督深度学习的光场深度估计方法
CN111784757B (zh) * 2020-06-30 2024-01-23 北京百度网讯科技有限公司 深度估计模型的训练方法、深度估计方法、装置及设备
CN111932584B (zh) * 2020-07-13 2023-11-07 浙江大华技术股份有限公司 图像中运动对象的确定方法及装置
CN114132594A (zh) * 2020-09-03 2022-03-04 细美事有限公司 物品储存装置以及物品储存装置的控制方法
CN112150531B (zh) * 2020-09-29 2022-12-09 西北工业大学 一种鲁棒的自监督学习单帧图像深度估计方法
CN112465888A (zh) * 2020-11-16 2021-03-09 电子科技大学 一种基于单目视觉的无监督深度估计方法
CN112446328B (zh) * 2020-11-27 2023-11-17 汇纳科技股份有限公司 单目深度的估计系统、方法、设备及计算机可读存储介质
CN112561947A (zh) * 2020-12-10 2021-03-26 中国科学院深圳先进技术研究院 一种图像自适应运动估计方法及应用
CN112712017A (zh) * 2020-12-29 2021-04-27 上海智蕙林医疗科技有限公司 一种机器人和一种单目深度估计方法、系统及存储介质
CN112819875B (zh) * 2021-02-03 2023-12-19 苏州挚途科技有限公司 单目深度估计的方法、装置及电子设备
CN113160298B (zh) * 2021-03-31 2024-03-08 奥比中光科技集团股份有限公司 一种深度真值获取方法、装置、系统及深度相机
CN112991416A (zh) * 2021-04-13 2021-06-18 Oppo广东移动通信有限公司 深度估计方法、模型训练方法、装置、设备及存储介质
CN113140011B (zh) * 2021-05-18 2022-09-06 烟台艾睿光电科技有限公司 一种红外热成像单目视觉测距方法及相关组件
CN113570658A (zh) * 2021-06-10 2021-10-29 西安电子科技大学 基于深度卷积网络的单目视频深度估计方法
CN114119698B (zh) * 2021-06-18 2022-07-19 湖南大学 基于注意力机制的无监督单目深度估计方法
CN113705432A (zh) * 2021-08-26 2021-11-26 京东鲲鹏(江苏)科技有限公司 一种模型训练、三维目标检测方法、装置、设备及介质
CN114051128B (zh) * 2021-11-11 2023-09-05 北京奇艺世纪科技有限公司 一种2d视频转3d视频的方法、装置、设备及介质
CN115294375B (zh) * 2022-10-10 2022-12-13 南昌虚拟现实研究院股份有限公司 一种散斑深度估算方法、系统、电子设备及存储介质
CN115909446B (zh) * 2022-11-14 2023-07-18 华南理工大学 一种双目人脸活体判别方法、装置及存储介质
CN116703813B (zh) * 2022-12-27 2024-04-26 荣耀终端有限公司 图像处理方法和设备
CN116165646B (zh) * 2023-02-22 2023-08-11 哈尔滨工业大学 基于分割网络的虚警可控雷达目标检测方法
CN117156113B (zh) * 2023-10-30 2024-02-23 南昌虚拟现实研究院股份有限公司 一种基于深度学习散斑相机图像矫正方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107204010A (zh) 2017-04-28 2017-09-26 中国科学院计算技术研究所 一种单目图像深度估计方法与系统
WO2018046964A1 (en) 2016-09-12 2018-03-15 Ucl Business Plc Predicting depth from image data using a statistical model
CN107909150A (zh) 2017-11-29 2018-04-13 华中科技大学 基于逐块随机梯度下降法在线训练cnn的方法与系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102903096B (zh) * 2012-07-04 2015-06-17 北京航空航天大学 一种基于单目视频的对象深度提取方法
US10298911B2 (en) * 2014-03-31 2019-05-21 Empire Technology Development Llc Visualization of spatial and other relationships
CN106157307B (zh) * 2016-06-27 2018-09-11 浙江工商大学 一种基于多尺度cnn和连续crf的单目图像深度估计方法
EP4131172A1 (en) * 2016-09-12 2023-02-08 Dassault Systèmes Deep convolutional neural network for 3d reconstruction of a real object
CN106600650A (zh) * 2016-12-12 2017-04-26 杭州蓝芯科技有限公司 一种基于深度学习的双目视觉深度信息获取方法
CN108961327B (zh) * 2018-05-22 2021-03-30 深圳市商汤科技有限公司 一种单目深度估计方法及其装置、设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018046964A1 (en) 2016-09-12 2018-03-15 Ucl Business Plc Predicting depth from image data using a statistical model
CN107204010A (zh) 2017-04-28 2017-09-26 中国科学院计算技术研究所 一种单目图像深度估计方法与系统
CN107909150A (zh) 2017-11-29 2018-04-13 华中科技大学 基于逐块随机梯度下降法在线训练cnn的方法与系统

Also Published As

Publication number Publication date
WO2019223382A1 (zh) 2019-11-28
CN108961327A (zh) 2018-12-07
SG11202008787UA (en) 2020-10-29
CN108961327B (zh) 2021-03-30
JP2021515939A (ja) 2021-06-24

Similar Documents

Publication Publication Date Title
JP7106665B2 (ja) 単眼深度推定方法およびその装置、機器ならびに記憶媒体
Ming et al. Deep learning for monocular depth estimation: A review
Zhan et al. Visual odometry revisited: What should be learnt?
Guo et al. Learning monocular depth by distilling cross-domain stereo networks
Lu et al. Multi-scale adversarial network for underwater image restoration
Shivakumar et al. Dfusenet: Deep fusion of rgb and sparse depth information for image guided dense depth completion
EP3698323B1 (en) Depth from motion for augmented reality for handheld user devices
Hambarde et al. UW-GAN: Single-image depth estimation and image enhancement for underwater images
Valentin et al. Depth from motion for smartphone AR
AU2017324923B2 (en) Predicting depth from image data using a statistical model
Yin et al. Scale recovery for monocular visual odometry using depth estimated with deep convolutional neural fields
US11049270B2 (en) Method and apparatus for calculating depth map based on reliability
Hu et al. Deep depth completion from extremely sparse data: A survey
Wang et al. Monocular 3d object detection with depth from motion
Gurram et al. Monocular depth estimation through virtual-world supervision and real-world sfm self-supervision
Chen et al. 3D neighborhood convolution: Learning depth-aware features for RGB-D and RGB semantic segmentation
US11948310B2 (en) Systems and methods for jointly training a machine-learning-based monocular optical flow, depth, and scene flow estimator
CN114677422A (zh) 深度信息生成方法、图像虚化方法和视频虚化方法
Mehl et al. M-fuse: Multi-frame fusion for scene flow estimation
CN116012609A (zh) 一种环视鱼眼多目标跟踪方法、装置、电子设备及介质
Zhai et al. Geometry understanding from autonomous driving scenarios based on feature refinement
Haji-Esmaeili et al. Large-scale Monocular Depth Estimation in the Wild
EP4143783A1 (en) Reinforcement learning model for labeling spatial relationships between images
Kolbeinsson et al. UCorr: Wire Detection and Depth Estimation for Autonomous Drones
Astudillo et al. DAttNet: monocular depth estimation network based on attention mechanisms

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200904

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220713

R150 Certificate of patent or registration of utility model

Ref document number: 7106665

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150