RU2017141588A - Способ 3d-реконструкции окружающей среды мобильного устройства, соответствующий компьютерный программный продукт и устройство - Google Patents

Способ 3d-реконструкции окружающей среды мобильного устройства, соответствующий компьютерный программный продукт и устройство Download PDF

Info

Publication number
RU2017141588A
RU2017141588A RU2017141588A RU2017141588A RU2017141588A RU 2017141588 A RU2017141588 A RU 2017141588A RU 2017141588 A RU2017141588 A RU 2017141588A RU 2017141588 A RU2017141588 A RU 2017141588A RU 2017141588 A RU2017141588 A RU 2017141588A
Authority
RU
Russia
Prior art keywords
reconstruction
target part
environment
attribute
mobile device
Prior art date
Application number
RU2017141588A
Other languages
English (en)
Inventor
Тао ЛО
Филипп Робер
Венсан АЛЛОМ
Original Assignee
Томсон Лайсенсинг
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Томсон Лайсенсинг filed Critical Томсон Лайсенсинг
Publication of RU2017141588A publication Critical patent/RU2017141588A/ru

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Claims (54)

1. Способ 3D-реконструкции окружающей среды мобильного устройства (200), содержащего по меньшей мере одну камеру (201),
отличающийся тем, что он содержит этапы, на которых:
вычисляют (100) грубую 3D-реконструкцию по меньшей мере одной зоны упомянутой окружающей среды посредством первого способа реконструкции,
причем упомянутый первый способ реконструкции принимает в расчет по меньшей мере первые изображения упомянутой по меньшей мере одной зоны, захваченные упомянутой по меньшей мере одной камерой;
определяют автоматически (110), существует ли по меньшей мере одна целевая часть в упомянутой окружающей среде, на основе по меньшей мере обнаружения по меньшей мере одного атрибута объекта, причем упомянутое обнаружение принимает в расчет по меньшей мере одно из упомянутых первых изображений;
вычисляют (120) уточненную 3D-реконструкцию упомянутой по меньшей мере одной целевой части посредством второго способа реконструкции,
причем упомянутый второй способ реконструкции принимает в расчет по меньшей мере вторые изображения упомянутой по меньшей мере одной целевой части, захваченные упомянутой по меньшей мере одной камерой;
объединяют (130) вычисленные реконструкции для обеспечения упомянутой 3D-реконструкции упомянутой окружающей среды.
2. Способ по п.1, в котором упомянутый по меньшей мере один атрибут объекта принадлежит к группе, содержащей:
атрибут отличительной черты, представляющий собой качество, посредством которого упомянутая целевая часть выделяется по отношению к своему окружению;
атрибут геометрии упомянутой целевой части;
атрибут категории, представляющий собой классификацию объекта упомянутой целевой части; и
взвешенную комбинацию упомянутого атрибута отличительной черты, упомянутого атрибута геометрии и упомянутого атрибута категории.
3. Способ по п.2, в котором упомянутый по меньшей мере один атрибут геометрии принадлежит к группе, содержащей:
размер масштаба;
плотность распределения 3D-точек;
планарность; и
форму.
4. Способ по любому из пп.1-3, в котором упомянутое автоматическое определение (110) дополнительно содержит этап, на котором:
локализуют (110a) по меньшей мере одну локализованную зону в упомянутой окружающей среде посредством пользовательского интерфейса упомянутого мобильного устройства;
причем упомянутая по меньшей мере одна целевая часть определяется автоматически в упомянутой по меньшей мере одной локализованной зоне.
5. Способ по любому из пп.1-4, в котором упомянутое вычисление (120) уточненной 3D-реконструкции упомянутой по меньшей мере одной целевой части дополнительно содержит этап, на котором:
подтверждают (120a) упомянутую по меньшей мере одну целевую часть благодаря пользователю упомянутого мобильного устройства;
причем упомянутое вычисление уточненной 3D-реконструкции выполняется, когда упомянутая по меньшей мере одна целевая часть подтверждена.
6. Способ по любому из пп.1-5, в котором упомянутое вычисление (100) грубой 3D-реконструкции по меньшей мере одной зоны упомянутой окружающей среды дополнительно содержит этап, на котором:
активируют (100a) упомянутую по меньшей мере одну камеру в первом режиме функционирования для захвата упомянутых первых изображений.
7. Способ по любому из пп.1-6, в котором упомянутый первый способ реконструкции принадлежит к группе, содержащей:
структуру по движению (SfM);
многовидовое стерео (MVS); и
одновременную локализацию и картирование (SLAM).
8. Способ по любому из пп.1-7, в котором упомянутое мобильное устройство дополнительно содержит датчик глубины,
и в котором упомянутая грубая 3D-реконструкция по меньшей мере одной зоны упомянутой окружающей среды дополнительно принимает в расчет карты глубин упомянутой зоны, выданные упомянутым датчиком глубины.
9. Способ по любому из пп.1-8,
и в котором упомянутое вычисление (120) уточненной 3D-реконструкции упомянутой по меньшей мере одной целевой части дополнительно содержит этап, на котором:
активируют (120b) упомянутую по меньшей мере одну камеру во втором режиме функционирования для захвата упомянутых вторых изображений.
10. Способ по п.9, в котором упомянутое мобильное устройство дополнительно содержит по меньшей мере одну фотовспышку (202),
в котором упомянутая по меньшей мере одна фотовспышка активируется в упомянутом втором режиме,
и в котором упомянутое вычисление (120) уточненной 3D-реконструкции упомянутой по меньшей мере одной целевой части приводит в исполнение способ многовидового фотометрического стерео, принимающий в расчет фотометрические данные на основе упомянутых вторых изображений и ассоциированной позиции упомянутой по меньшей мере одной фотовспышки,
причем упомянутая ассоциированная позиция упомянутой по меньшей мере одной фотовспышки оценивается из позиции упомянутой по меньшей мере одной камеры упомянутого мобильного устройства.
11. Способ по п.10, который является зависимым от п.2, в котором упомянутый способ многовидового фотометрического стерео дополнительно принимает в расчет отражательную способность, ассоциированную с упомянутой классификацией объекта упомянутой по меньшей мере одной целевой части.
12. Способ по любому из пп.1-11, в котором упомянутое объединение (130) реконструкций, вычисленных для упомянутой по меньшей мере одной зоны, приводит в исполнение методологию многовидового стерео для обеспечения представления с множеством разрешений в качестве упомянутой 3D-реконструкции упомянутой окружающей среды.
13. Компьютерный программный продукт, отличающийся тем, что он содержит инструкции программного кода для осуществления способа по меньшей мере по одному из пп.1-12, когда упомянутая программа исполняется на компьютере или процессоре.
14. Устройство (400) для 3D-реконструкции окружающей среды мобильного устройства (200), содержащего по меньшей мере одну камеру (201), причем упомянутое устройство содержит:
- память (401, 403); и
- по меньшей мере один процессор (402), отличающийся тем, что он сконфигурирован, чтобы:
вычислять грубую 3D-реконструкцию по меньшей мере одной зоны упомянутой окружающей среды посредством первого способа реконструкции,
причем упомянутый первый способ реконструкции принимает в расчет по меньшей мере первые изображения упомянутой по меньшей мере одной зоны, захваченные упомянутой по меньшей мере одной камерой;
определять автоматически, существует ли по меньшей мере одна целевая часть в упомянутой окружающей среде, на основе по меньшей мере обнаружения по меньшей мере одного атрибута объекта,
причем упомянутое обнаружение принимает в расчет по меньшей мере одно из упомянутых первых изображений;
вычислять уточненную 3D-реконструкцию упомянутой по меньшей мере одной целевой части посредством второго способа реконструкции,
причем упомянутый второй способ реконструкции принимает в расчет по меньшей мере вторые изображения упомянутой по меньшей мере одной целевой части, захваченные упомянутой по меньшей мере одной камерой;
объединять вычисленные реконструкции для обеспечения упомянутой 3D-реконструкции упомянутой окружающей среды.
15. Устройство по п.14, в котором упомянутый по меньшей мере один процессор дополнительно сконфигурирован для осуществления способа по любому из пп.2-12.
16. Мобильное устройство (200), отличающееся тем, что оно содержит устройство по п.14 или 15, причем упомянутое мобильное устройство предпочтительно выбрано из мобильного телефона и планшета.
RU2017141588A 2016-12-01 2017-11-29 Способ 3d-реконструкции окружающей среды мобильного устройства, соответствующий компьютерный программный продукт и устройство RU2017141588A (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16306599.8A EP3330924A1 (en) 2016-12-01 2016-12-01 Method for 3d reconstruction of an environment of a mobile device, corresponding computer program product and device
EP16306599.8 2016-12-01

Publications (1)

Publication Number Publication Date
RU2017141588A true RU2017141588A (ru) 2019-05-29

Family

ID=57542932

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017141588A RU2017141588A (ru) 2016-12-01 2017-11-29 Способ 3d-реконструкции окружающей среды мобильного устройства, соответствующий компьютерный программный продукт и устройство

Country Status (10)

Country Link
US (1) US20180160102A1 (ru)
EP (2) EP3330924A1 (ru)
JP (1) JP2018124984A (ru)
KR (1) KR20180062959A (ru)
CN (1) CN108133495A (ru)
BR (1) BR102017025905A2 (ru)
CA (1) CA2987087A1 (ru)
MX (1) MX2017015345A (ru)
PL (1) PL3330925T3 (ru)
RU (1) RU2017141588A (ru)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10535156B2 (en) * 2017-02-03 2020-01-14 Microsoft Technology Licensing, Llc Scene reconstruction from bursts of image data
US11436791B2 (en) * 2018-04-30 2022-09-06 The Regents Of The University Of California Methods and systems for acquiring svBRDF measurements
CN110706280A (zh) * 2018-09-28 2020-01-17 成都家有为力机器人技术有限公司 基于2d-slam的轻量级语义驱动的稀疏重建方法
KR102287472B1 (ko) * 2018-10-08 2021-08-09 한국과학기술원 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치
WO2020076026A1 (ko) * 2018-10-08 2020-04-16 한국과학기술원 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치
CN109492607B (zh) * 2018-11-27 2021-07-09 Oppo广东移动通信有限公司 一种信息推送方法、信息推送装置及终端设备
US10887582B2 (en) 2019-01-22 2021-01-05 Fyusion, Inc. Object damage aggregation
US11783443B2 (en) 2019-01-22 2023-10-10 Fyusion, Inc. Extraction of standardized images from a single view or multi-view capture
US11176704B2 (en) 2019-01-22 2021-11-16 Fyusion, Inc. Object pose estimation in visual data
US20220148209A1 (en) * 2019-03-25 2022-05-12 Sony Group Corporation Medical system, signal processing device, and signal processing method
GB2586157B (en) * 2019-08-08 2022-01-12 Toshiba Kk System and method for performing 3D imaging of an object
JP7245574B2 (ja) * 2019-12-20 2023-03-24 馭勢科技（浙江）有限公司 ３次元再構成方法、装置、システム及び記憶媒体
US11562474B2 (en) 2020-01-16 2023-01-24 Fyusion, Inc. Mobile multi-camera multi-view capture
US11776142B2 (en) * 2020-01-16 2023-10-03 Fyusion, Inc. Structuring visual data
US11869135B2 (en) * 2020-01-16 2024-01-09 Fyusion, Inc. Creating action shot video from multi-view capture data
US11252398B2 (en) 2020-01-16 2022-02-15 Fyusion, Inc. Creating cinematic video from multi-view capture data
JP2021131652A (ja) * 2020-02-19 2021-09-09 株式会社トプコン データ構造、記録媒体、プログラム、及びシステム
JP2021140445A (ja) 2020-03-05 2021-09-16 株式会社トプコン 情報処理装置、推論モデル構築方法、情報処理方法、推論モデル、プログラム、及び記録媒体
CN111459274B (zh) * 2020-03-30 2021-09-21 华南理工大学 一种基于5g+ ar的针对非结构化环境的遥操作方法
CN111583263B (zh) * 2020-04-30 2022-09-23 北京工业大学 一种基于联合动态图卷积的点云分割方法
CN114430454A (zh) * 2020-10-28 2022-05-03 广东小天才科技有限公司 基于双摄像头的建模方法及可穿戴装置、设备和介质
US11605151B2 (en) 2021-03-02 2023-03-14 Fyusion, Inc. Vehicle undercarriage imaging

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6750873B1 (en) * 2000-06-27 2004-06-15 International Business Machines Corporation High quality texture reconstruction from multiple scans
WO2004006181A2 (en) * 2002-07-10 2004-01-15 Harman Becker Automotive Systems Gmbh System for generating three-dimensional electronic models of objects
US8655052B2 (en) * 2007-01-26 2014-02-18 Intellectual Discovery Co., Ltd. Methodology for 3D scene reconstruction from 2D image sequences
JP2012141894A (ja) * 2011-01-05 2012-07-26 Sharp Corp 画像検索装置、画像検索方法およびプログラム
US9679215B2 (en) * 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9857470B2 (en) * 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9238304B1 (en) * 2013-03-15 2016-01-19 Industrial Perception, Inc. Continuous updating of plan for robotic object manipulation based on received sensor data
US9996974B2 (en) * 2013-08-30 2018-06-12 Qualcomm Incorporated Method and apparatus for representing a physical scene
JP6465682B2 (ja) * 2014-03-20 2019-02-06 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
KR20160131278A (ko) * 2015-05-06 2016-11-16 엘지전자 주식회사 이동 단말기
GB2544725A (en) * 2015-11-03 2017-05-31 Fuel 3D Tech Ltd Systems and methods for forming models of a three-dimensional objects
US10055882B2 (en) * 2016-08-15 2018-08-21 Aquifi, Inc. System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function

Also Published As

Publication number Publication date
EP3330925A1 (en) 2018-06-06
KR20180062959A (ko) 2018-06-11
CA2987087A1 (en) 2018-06-01
EP3330925B1 (en) 2019-10-02
JP2018124984A (ja) 2018-08-09
US20180160102A1 (en) 2018-06-07
PL3330925T3 (pl) 2020-03-31
EP3330924A1 (en) 2018-06-06
BR102017025905A2 (pt) 2018-12-18
MX2017015345A (es) 2018-11-09
CN108133495A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
RU2017141588A (ru) Способ 3d-реконструкции окружающей среды мобильного устройства, соответствующий компьютерный программный продукт и устройство
JP2018124984A5 (ru)
US10540796B2 (en) Ground plane detection for placement of augmented reality objects
JP6295645B2 (ja) 物体検出方法及び物体検出装置
KR101829556B1 (ko) 객체 움직임의 라이더 기반 분류 기법
CN107466411B (zh) 二维红外深度感测
EP3053100B1 (en) Dynamic extension of map data for object detection and tracking
US8687001B2 (en) Apparatus and method extracting light and texture, and rendering apparatus using light and texture
US10535160B2 (en) Markerless augmented reality (AR) system
US20190026948A1 (en) Markerless augmented reality (ar) system
GB2580825A (en) Virtual x-ray vision in a process control environment
JP2012163495A5 (ru)
JP2007068992A5 (ru)
JP2012530323A (ja) ３次元シーンの区分的平面再構成
JP2016018538A5 (ru)
RU2015109072A (ru) Способ обнаружения человеческих объектов в видео (варианты)
JP2016167267A (ja) 異常状況の検出方法及び装置
JP2013500536A5 (ru)
US20130274987A1 (en) Luggage case and luggage case moving method
CN106264537B (zh) 图像中人体姿态高度的测量系统及方法
US20130329950A1 (en) Method and system of tracking object
JP2014502741A (ja) 映像処理装置、照明処理装置及びその方法
CN111708432B (zh) 安全区域确定方法、装置、头戴显示设备及存储介质
US11227407B2 (en) Systems and methods for augmented reality applications
CN111722621A (zh) 自移动设备的控制方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
HZ9A Changing address for correspondence with an applicant
FA93 Acknowledgement of application withdrawn (no request for examination)

Effective date: 20201130