RU2014116610A - Генерирование изображений глубины с использованием псевдокадров, каждый из которых содержит множество фазовых изображений - Google Patents

Генерирование изображений глубины с использованием псевдокадров, каждый из которых содержит множество фазовых изображений Download PDF

Info

Publication number
RU2014116610A
RU2014116610A RU2014116610/08A RU2014116610A RU2014116610A RU 2014116610 A RU2014116610 A RU 2014116610A RU 2014116610/08 A RU2014116610/08 A RU 2014116610/08A RU 2014116610 A RU2014116610 A RU 2014116610A RU 2014116610 A RU2014116610 A RU 2014116610A
Authority
RU
Russia
Prior art keywords
pseudo
phase
phase images
frames
images
Prior art date
Application number
RU2014116610/08A
Other languages
English (en)
Inventor
Александр Борисович Холоденко
Барретт Брикнер
Денис Владимирович Зайцев
Денис Васильевич Парфенов
Александр Александрович Петюшко
Original Assignee
ЭлЭсАй Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ЭлЭсАй Корпорейшн filed Critical ЭлЭсАй Корпорейшн
Priority to RU2014116610/08A priority Critical patent/RU2014116610A/ru
Priority to US14/676,282 priority patent/US20150310622A1/en
Publication of RU2014116610A publication Critical patent/RU2014116610A/ru

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50Systems of measurement based on relative movement of target
    • G01S17/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras

Abstract

1. Способ, содержащий:получение фазовых изображений;группирование фазовых изображений в псевдокадры, причем каждый из, по меньшей мере, поднабора псевдокадров содержит множество фазовых изображений и имеет в качестве своего первого фазового изображения одно из фазовых изображений, которое не является первым фазовым изображением соответствующего кадра глубины;оценивают поле скоростей путем сравнения соответствующих фазовых изображений в соответствующих последовательных псевдокадрах;модифицируют фазовые изображения из одного или более псевдокадров, по меньшей мере, частично на основании оцененного поля скоростей; игенерируют одно или более изображений глубины, по меньшей мере, частично на основании модифицированных фазовых изображений;при этом упомянутое получение, группирование, оценку, модифицирование и генерирование реализуют, по меньшей мере, в одном устройстве обработки, содержащем процессор, соединенный с запоминающим устройством.2. Способ по п. 1, в котором группирование фазовых изображений в псевдокадры содержит выполнение различного группирования фазовых изображений в псевдокадры для каждого полученного фазового изображения так, что последовательные различные группирования смещены друг относительно друга на однофазовое изображение.3. Способ по п. 1, в котором группирование фазовых изображений в псевдокадры содержит выполнение различного группирования фазовых изображений в псевдокадры для каждого другого полученного фазового изображения так, что последовательные различные группирования смещены друг относительно друга на два фазовых изображения.4. Способ по п. 1, в котором группирова

Claims (20)

1. Способ, содержащий:
получение фазовых изображений;
группирование фазовых изображений в псевдокадры, причем каждый из, по меньшей мере, поднабора псевдокадров содержит множество фазовых изображений и имеет в качестве своего первого фазового изображения одно из фазовых изображений, которое не является первым фазовым изображением соответствующего кадра глубины;
оценивают поле скоростей путем сравнения соответствующих фазовых изображений в соответствующих последовательных псевдокадрах;
модифицируют фазовые изображения из одного или более псевдокадров, по меньшей мере, частично на основании оцененного поля скоростей; и
генерируют одно или более изображений глубины, по меньшей мере, частично на основании модифицированных фазовых изображений;
при этом упомянутое получение, группирование, оценку, модифицирование и генерирование реализуют, по меньшей мере, в одном устройстве обработки, содержащем процессор, соединенный с запоминающим устройством.
2. Способ по п. 1, в котором группирование фазовых изображений в псевдокадры содержит выполнение различного группирования фазовых изображений в псевдокадры для каждого полученного фазового изображения так, что последовательные различные группирования смещены друг относительно друга на одно
фазовое изображение.
3. Способ по п. 1, в котором группирование фазовых изображений в псевдокадры содержит выполнение различного группирования фазовых изображений в псевдокадры для каждого другого полученного фазового изображения так, что последовательные различные группирования смещены друг относительно друга на два фазовых изображения.
4. Способ по п. 1, в котором группирование фазовых изображений в псевдокадры содержит формирование заданного псевдокадра с использованием множества фазовых изображений, соответствующих первому кадру глубины, и одиночного фазового изображения, соответствующего второму кадру глубины.
5. Способ по п. 1, в котором группирование фазовых изображений в псевдокадры содержит формирование заданного псевдокадра с использованием, по меньшей мере, одного фазового изображения, соответствующего первому кадру глубины, и множества фазовых изображений, соответствующих второму кадру глубины.
6. Способ по п. 1, в котором каждый кадр глубины связан с соответствующим набором из
Figure 00000001
фазовых изображений, и группирование фазовых изображений в псевдокадры содержит формирование псевдокадров с более высокой скоростью, чем скорость захвата наборов из
Figure 00000001
фазовых изображений.
7. Способ по п. 1, в котором группирование фазовых изображений в псевдокадры содержит формирование псевдокадров со скоростью, приблизительно равной скорости захвата отдельных фазовых изображений, таким образом, что формируется новый набор псевдокадров для каждого нового фазового изображения, которое
захвачено.
8. Способ по п. 1, в котором оценка поля скоростей содержит, для каждого из множества пикселей заданного одного из фазовых изображений из первого из псевдокадров, определение величины перемещения точки отображенной сцены между пикселем заданного фазового изображения из первого псевдокадра и пикселем соответствующего фазового изображения из второго из псевдокадров.
9. Способ по п. 8, в котором определение величины перемещения содержит определение скорости
Figure 00000002
точки отображенной сцены, соответствующей пикселю
Figure 00000003
заданного фазового изображения.
10. Способ по п. 8, в котором модифицирование фазовых изображений из одного или более псевдокадров, по меньшей мере, частично на основании оцененного поля скоростей содержит регулирование значений пикселей соответствующих других фазовых изображений из первого псевдокадра на основании определенной величины перемещения.
11. Способ по п. 10, в котором регулирование значений пикселей соответствующих других фазовых изображений из первого псевдокадра содержит выполнение преобразования других фазовых изображений так, что точка отображенной сцены имеет, по существу, одинаковые координаты пикселя в каждом из фазовых изображений из первого псевдокадра.
12. Способ по п. 1, в котором псевдокадры содержат соответствующие последовательности, по меньшей мере, из четырех последовательных фазовых изображений, каждое из которых имеет
различное время захвата.
13. Способ по п. 1, в котором генерирование одного или более изображений глубины содержит генерирование изображений глубины с частотой кадров на выходе, большей, чем частота кадров на входе, соответствующая получению фазового изображения.
14. Изделие, содержащее машиночитаемый носитель информации, содержащий код компьютерной программы, причем код компьютерной программы при его выполнении в устройстве обработки вызывает выполнение устройством обработки способа по п. 1.
15. Устройство, содержащее:
по меньшей мере, одно устройство обработки, содержащее процессор, соединенный с запоминающим устройством;
причем упомянутое, по меньшей мере, одно устройство обработки сконфигурировано:
для получения фазовых изображений;
для группирования фазовых изображений в псевдокадры, причем каждый из, по меньшей мере, поднабора псевдокадров содержит множество фазовых изображений и имеет в качестве своего первого фазового изображения одно из фазовых изображений, которое не является первым фазовым изображением из соответствующего кадра глубины;
для оценки поля скоростей путем сравнения соответствующих фазовых изображений в соответствующих псевдокадрах;
для модифицирования фазовых изображений из одного или более псевдокадров, по меньшей мере, частично на основании оцененного поля скоростей; и
для генерирования одного или более изображений глубины, по
меньшей мере, частично на основании модифицированных фазовых изображений.
16. Устройство по п. 15, в котором упомянутое, по меньшей мере, одно устройство обработки реализовано в формирователе изображений глубины.
17. Интегральная схема, содержащая устройство по п. 15.
18. Интегральная схема по п. 17, причем интегральная схема выполнена с возможностью соединения с датчиком изображений в формирователе изображений глубины.
19. Формирователь изображений глубины, содержащий:
датчик изображений; и
процессор изображений, соединенный с датчиком изображений;
при этом процессор изображений сконфигурирован:
для получения фазовых изображений;
для группирования фазовых изображений в псевдокадры, причем каждый из, по меньшей мере, поднабора псевдокадров содержит множество фазовых изображений и имеет в качестве своего первого фазового изображения одно из фазовых изображений, которое не является первым фазовым изображением из соответствующего кадра глубины;
для оценки поля скоростей путем сравнения соответствующих фазовых изображений в соответствующих псевдокадрах;
для модифицирования фазовых изображений из одного или более псевдокадров, по меньшей мере, частично на основании оцененного поля скоростей; и
для генерирования одного или более изображений глубины, по меньшей мере, частично на основании модифицированных фазовых изображений.
20. Система обработки изображений, содержащая формирователь изображений глубины по п. 19.
RU2014116610/08A 2014-04-24 2014-04-24 Генерирование изображений глубины с использованием псевдокадров, каждый из которых содержит множество фазовых изображений RU2014116610A (ru)

Priority Applications (2)

Application Number Priority Date Filing Date Title
RU2014116610/08A RU2014116610A (ru) 2014-04-24 2014-04-24 Генерирование изображений глубины с использованием псевдокадров, каждый из которых содержит множество фазовых изображений
US14/676,282 US20150310622A1 (en) 2014-04-24 2015-04-01 Depth Image Generation Utilizing Pseudoframes Each Comprising Multiple Phase Images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2014116610/08A RU2014116610A (ru) 2014-04-24 2014-04-24 Генерирование изображений глубины с использованием псевдокадров, каждый из которых содержит множество фазовых изображений

Publications (1)

Publication Number Publication Date
RU2014116610A true RU2014116610A (ru) 2015-10-27

Family

ID=54335255

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2014116610/08A RU2014116610A (ru) 2014-04-24 2014-04-24 Генерирование изображений глубины с использованием псевдокадров, каждый из которых содержит множество фазовых изображений

Country Status (2)

Country Link
US (1) US20150310622A1 (ru)
RU (1) RU2014116610A (ru)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10430938B2 (en) * 2017-07-20 2019-10-01 Applied Materials Israel Ltd. Method of detecting defects in an object
CN107392874B (zh) * 2017-07-31 2021-04-09 Oppo广东移动通信有限公司 美颜处理方法、装置及移动设备
CN109327576B (zh) * 2018-11-16 2021-02-02 Oppo广东移动通信有限公司 电子装置及其控制方法和控制装置
CN109327575B (zh) * 2018-11-16 2020-01-17 Oppo广东移动通信有限公司 电子装置、电子装置的控制方法及控制装置
CN109327578B (zh) * 2018-11-16 2020-01-17 Oppo广东移动通信有限公司 电子装置及其控制方法和控制装置
CN109327574B (zh) * 2018-11-16 2020-01-17 Oppo广东移动通信有限公司 电子装置、电子装置的控制方法及控制装置
CN109413238B (zh) * 2018-11-16 2020-01-17 Oppo广东移动通信有限公司 电子装置及其控制方法和控制装置
CN109218482B (zh) * 2018-11-16 2020-03-27 Oppo广东移动通信有限公司 电子装置及其控制方法和控制装置
CN109327577B (zh) * 2018-11-16 2020-02-11 Oppo广东移动通信有限公司 电子装置及其控制方法和控制装置
CN109348012B (zh) * 2018-11-16 2020-04-03 Oppo广东移动通信有限公司 电子装置及其控制方法和控制装置
CN109413237B (zh) * 2018-11-16 2020-01-17 Oppo广东移动通信有限公司 电子装置、电子装置的控制方法及控制装置
EP3663799B1 (en) * 2018-12-07 2024-02-07 Infineon Technologies AG Apparatuses and methods for determining depth motion relative to a time-of-flight camera in a scene sensed by the time-of-flight camera
CN111726515A (zh) * 2019-03-22 2020-09-29 爱唯秀股份有限公司 一种深度相机系统
CN114119696A (zh) * 2021-11-30 2022-03-01 上海商汤临港智能科技有限公司 深度图像的获取方法及装置、系统、计算机可读存储介质
WO2024086405A1 (en) * 2022-10-20 2024-04-25 Gm Cruise Holdings Llc Time-of-flight motion misalignment artifact correction

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102040152B1 (ko) * 2013-04-08 2019-12-05 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법

Also Published As

Publication number Publication date
US20150310622A1 (en) 2015-10-29

Similar Documents

Publication Publication Date Title
RU2014116610A (ru) Генерирование изображений глубины с использованием псевдокадров, каждый из которых содержит множество фазовых изображений
JP2018107759A5 (ru)
JP2015035198A5 (ru)
JP2017529620A5 (ru)
WO2014032020A3 (en) Feature based high resolution motion estimation from low resolution images captured using an array source
JP2013229853A5 (ru)
JP2014225843A5 (ru)
JP2017520050A5 (ru)
WO2015126205A3 (en) Tomography apparatus and method for reconstructing tomography image thereof
RU2012147781A (ru) Устройство, способ и программа обработки изображений
WO2014125502A3 (en) Segmenting objects in multimedia data
EP2767952A3 (en) Method and electronic device for processing object
EP3223239A3 (en) Learned feature motion detection
JP2016086306A5 (ru)
JP2017525210A5 (ru)
JP2019134269A5 (ru)
GB2557510A (en) Light field rendering of an image using variable computational complexity
JP2016018309A5 (ru)
EP2479974A3 (en) Image processing apparatus and pixel interpolation method
JP2015219603A5 (ru)
JP2018026064A5 (ru)
EP4250232A3 (en) Three-dimensional point group data generation method, position estimation method, three-dimensional point group data generation device, and position estimation device
JP2018195084A5 (ru)
JP2013146541A5 (ru)
JP2013218177A5 (ru)

Legal Events

Date Code Title Description
FA93 Acknowledgement of application withdrawn (no request for examination)

Effective date: 20170425