RU2770153C1

RU2770153C1 - METHOD FOR CORRECTING THE DEPTH MEASUREMENT ERROR OF THE ToF CAMERA

Info

Publication number: RU2770153C1
Application number: RU2021117320A
Authority: RU
Inventors: Евгений Андреевич Дорохов; Татьяна Игоревна КОПЫСОВА; Сергей Александрович Турко; Михаил Вячеславович Попов
Original assignee: Самсунг Электроникс Ко., Лтд.
Priority date: 2021-06-15
Filing date: 2021-06-15
Publication date: 2022-04-14
Also published as: WO2022265216A1

Abstract

FIELD: imaging technology.

SUBSTANCE: present invention relates to the field of image capture and processing, in particular to the correction of depth measurement errors of a three-dimensional (3D) ToF camera. The method for forming a depth map with correction of the range measurement error for the ToF camera includes the steps at which: the calculated PSF distribution model (point scattering function) for the ToF camera is preliminarily evaluated; the image of the scene is captured using a ToF camera; phantom signals in the data of the captured image of the scene are compensated for using the mentioned PSF; a depth map is formed using corrected data.

EFFECT: providing a simplified solution for the formation of a depth map, which increases the processing speed and the quality of compensation for errors in measuring the range of the ToF camera.

8 cl, 6 dwg

Description

Область техники, к которой относится изобретениеThe field of technology to which the invention belongs

Настоящее изобретение относится к области захвата и обработки изображений, в частности к корректировке ошибок измерения глубины трехмерной (3D) ToF-камеры.The present invention relates to the field of image capture and processing, in particular to the correction of errors in the measurement of the depth of the three-dimensional (3D) ToF camera.

Уровень техники State of the art

ToF-датчик («Time of Flight», датчик глубины или времяпролетный датчик) - это специальный датчик, который излучает свет и, используя рассеянный (отраженный) от некоего объекта сигнал, определяет расстояние до этого объекта. Зная время излучения и последующего приема отраженного света, на основе скорости света можно вычислить точное расстояние до объекта, аналогично лазерному дальномеру.ToF-sensor ("Time of Flight", depth sensor or time-of-flight sensor) is a special sensor that emits light and, using a signal scattered (reflected) from a certain object, determines the distance to this object. Knowing the time of emission and subsequent reception of reflected light, based on the speed of light, it is possible to calculate the exact distance to the object, similar to a laser rangefinder.

Такие датчики находят все более широкое распространение в различных областях, включая применение в мобильных электронных устройствах (например, для биометрической идентификации пользователя по изображению его лица и распознавания жестов), в автономных и полуавтономных транспортных средствах, робототехнике (при формировании изображения окружения для обеспечения возможности осуществления деятельности робота), фото- и видеокамерах, приложениях с виртуальной/дополненной реальностью (VR/AR) и т.д.Such sensors are increasingly used in various fields, including applications in mobile electronic devices (for example, for biometric identification of the user by the image of his face and gesture recognition), in autonomous and semi-autonomous vehicles, robotics (in the formation of an image of the environment to enable the implementation of robot activity), photo and video cameras, applications with virtual/augmented reality (VR/AR), etc.

3D ToF-камера (камера, формирующая так называемое дальностное изображение, в которой расчет расстояний от экрана до конкретных точек наблюдения обеспечивается с помощью технологии измерения "времени полета" (ToF)), основанная на методе модуляции непрерывной волны (CW, continuous wave), использует принцип сдвига фазы между передаваемым и принимаемым излучением для определения расстояния между объектом и камерой. Эта камера имеет источник света, испускающий модулированный свет

, свет отражается от объекта, затем на плоскости датчика принимается сигнал

. Излучаемый модулированный сигнал

и принятый отраженный сигнал

с задержкой

задаются следующим образом:3D ToF camera (a so-called long-range image camera, in which the calculation of the distances from the screen to specific observation points is provided using the "time of flight" (ToF) measurement technology), based on the continuous wave modulation method (CW, continuous wave), uses the principle of phase shift between transmitted and received radiation to determine the distance between the object and the camera. This camera has a light source that emits modulated light.

, light is reflected from the object, then a signal is received on the sensor plane

. Radiated modulated signal

and received reflected signal

delayed

are set as follows:

,

где

- частота модуляции,

- амплитуда излучаемого сигнала,

- амплитуда принятого сигнала,

- смещение (offset), представляющее собой некоторый добавочный уровень интенсивности.where

- modulation frequency,

- amplitude of the emitted signal,

- amplitude of the received signal,

- offset, which is some additional level of intensity.

Камера TOF вычисляет взаимную корреляцию для

следующим образом:The TOF camera calculates the cross-correlation for

in the following way:

,

где

- взаимная корреляционная функция для

и

,

- излучаемый сигнал,

- сигнал, рассеянный объектом и принятый камерой.where

- cross-correlation function for

and

,

- emitted signal,

is the signal scattered by the object and received by the camera.

Для восстановления фазы и амплитуды принятого сигнала обычно используют метод «four bucket». Основной принцип этого метода состоит в получении четырех равноудаленных выборок

во временных точках

, отделенных друг от друга на 90 градусов в цикле модуляции:To restore the phase and amplitude of the received signal, the “four bucket” method is usually used. The basic principle of this method is to obtain four equidistant samples

at time points

, separated from each other by 90 degrees in the modulation cycle:

- необработанные фазы («сырые» фазы, raw phases).

- raw phases ("raw" phases, raw phases).

Сдвиг фазы между

может быть вычислен из этих сырых фаз:Phase shift between

can be calculated from these raw phases:

.

Расстояние до объекта для каждого пикселя (i, j) вычисляется следующим образом: The object distance for each pixel (i, j) is calculated as follows:

,

где

- расстояние от пикселя (i, j) до объекта,

- сдвиг фазы для пикселя (i, j),

- длина волны сигнала. where

- distance from pixel (i, j) to the object,

- phase shift for pixel (i, j),

- signal wavelength.

В настоящее время недорогие конфигурации систем ToF, нацеленные на массовый рынок, страдают от проблем, вызванных MPI (multipath interference, многолучевая интерференция), включающих в себя, среди прочего, появление фантомных (т.е. повторных или паразитных) изображений, т.н. ghosting. Фантомные изображения представляют собой артефакты рассеяния (scattering) на изображении, возникающие в результате множественных внутренних отражений внутри оптической системы. Такие артефакты, которые свидетельствуют о наличии ошибок измерения глубины, являются крайне нежелательными в областях применения ToF-камер и в значительной степени ограничивают их применение. Currently, low-cost ToF system configurations aimed at the mass market suffer from problems caused by MPI (multipath interference), including, among other things, the appearance of ghost (i.e., repeated or spurious) images, the so-called . ghosting. Ghost images are scattering artifacts in an image that result from multiple internal reflections within an optical system. Such artifacts, which indicate the presence of depth measurement errors, are highly undesirable in ToF camera applications and greatly limit their application.

В ситуациях, когда отображается широкий диапазон глубин, широкодиапазонный сигнал может подвергаться рассеянию от близких объектов, сигнал от близких объектов вступает в конкуренцию со слабым сигналом от далеких объектов и вызывает ошибки при измерениях глубины.In situations where a wide range of depths is displayed, the wide range signal may be subject to scattering from nearby objects, the signal from close objects competes with the weak signal from distant objects and causes errors in depth measurements.

Антиотражающее покрытие, наносимое на элементы оптической системы, значительно уменьшает количество рассеянного света, но не решает полностью проблему фантомных изображений.The antireflection coating applied to the elements of the optical system significantly reduces the amount of stray light, but does not completely solve the problem of ghost images.

Даже если ошибка появления фантомных изображений частично компенсируется, оставшиеся артефакты карты глубины могут ограничивать применение камер TOF. Поэтому важно обеспечить высокое качество компенсации ошибок измерения дальности.Even if the ghosting error is partially compensated for, remaining depth-map artifacts can limit the use of TOF cameras. Therefore, it is important to provide high quality compensation for ranging errors.

Большинство решений для анализа и компенсации ошибок фантомных изображений используют только экспериментальные данные. На экспериментальные данные значительное влияние оказывает шум. Учитывая, что фантомный сигнал на несколько порядков ниже, чем сигнал от объекта, это делает фантомный сигнал практически неразличимым, а полученные данные ненадежными.Most solutions for analyzing and compensating errors in ghost images use only experimental data. Noise has a significant effect on the experimental data. Considering that the phantom signal is several orders of magnitude lower than the signal from the object, this makes the phantom signal practically indistinguishable and the received data unreliable.

Решение для компенсации в реальном времени необходимо для широкого и эффективного использования ToF-камер. Чрезмерная сложность способа компенсации может привести к ограниченной возможности применения такого способа обработки в реальном времени.A real-time compensation solution is essential for the widespread and efficient use of ToF cameras. The excessive complexity of the compensation method may lead to a limited applicability of such a real-time processing method.

Проблема фантомных изображений может быть решена путем дополнительной модификации аппаратного обеспечения камеры (например, путем покрытия самой верхней поверхности матричной структуры приемника черными чернилами, оставляя чувствительные области неокрашенными), но это решение является трудозатратным и значительно увеличивает стоимость TOF-камеры.The problem of ghost images can be solved by additional modification of the camera hardware (for example, by covering the uppermost surface of the receiver array structure with black ink, leaving sensitive areas uncolored), but this solution is labor intensive and significantly increases the cost of the TOF camera.

Разработка нового решения, обеспечивающего применение традиционного подхода к обработке изображений со всесторонним анализом явлений рассеяния камеры и действующей модели распределения фантомных изображений, имеет важное значение для представления эффективного решения компенсации фантомных изображений в реальном времени.The development of a new solution that applies the traditional image processing approach with a comprehensive analysis of camera scatter phenomena and a valid ghost distribution model is essential to provide an effective real-time ghost compensation solution.

Из уровня техники известен документ US 9,760,837 B1, раскрывающий компенсацию многолучевых помех с помощью обученного компонента машинного обучения. Пара обучающих данных содержит по меньшей мере одно смоделированное необработанное значение данных датчика времени полета и соответствующее смоделированное эталонное значение глубины. Смоделированные необработанные кадры данных датчика времени пролета вычисляются с использованием модифицированного средства визуализации компьютерной графики, которое использует трассировку лучей для визуализации изображения из модели трехмерного объекта или окружающей среды. Данный способ обладает высокой сложностью и не демонстрирует требуемых показателей качества компенсации фантомных изображений.The document US 9,760,837 B1 is known from the prior art, disclosing compensation for multipath interference using a trained machine learning component. The training data pair comprises at least one simulated raw time-of-flight sensor data value and a corresponding simulated depth reference value. Simulated raw frames of time-of-flight sensor data are computed using a modified computer graphics renderer that uses ray tracing to render an image from a model of a 3D object or environment. This method is highly complex and does not demonstrate the required quality of ghost image compensation.

Документ US 2012/0008128 A1 описывает как аппаратное решение, заключающееся в покрытии самой верхней поверхности структуры массива черными чернилами, оставляя при этом неокрашенными чувствительные области массива, так и программное решение, подразумевающее компенсацию ошибки отражения рассеянного света посредством использования корректировочных значений. Формирование корректировочных значений осуществляется с использованием экспериментальной настройки.US 2012/0008128 A1 describes both a hardware solution of covering the uppermost surface of the array structure with black ink while leaving sensitive areas of the array uncolored, and a software solution of compensating for stray light reflection error by using correction values. The formation of correction values is carried out using the experimental setting.

Документ US 8,964,028 B2 раскрывает способ компенсации постороннего света, включающий в себя определение расстояния до опорной цели, сравнение его с известным значением для определения значения коррекции постороннего света, определение расстояния до интересующего объекта с использованием коррекции постороннего света.US 8,964,028 B2 discloses a method for compensating for stray light, including determining a distance to a reference target, comparing it with a known value to determine a stray light correction value, determining the distance to an object of interest using stray light correction.

Документ US 8,554,009 B2 описывает коррекцию постороннего света с помощью обычного прибора для формирования изображений (не ToF-камеры). Способ содержит экспериментальное определение набора разброса точек, вывод функции распределения постороннего света, получение матрицы распределения постороннего света, вывод матрицы коррекции постороннего света, исправление ошибок постороннего света в изображении с устройства формирования изображения. US 8,554,009 B2 describes stray light correction using a conventional imaging device (not a ToF camera). The method comprises experimentally determining a set of point spread, deriving a stray light distribution function, obtaining a stray light distribution matrix, deriving a stray light correction matrix, correcting stray light errors in an image from an imaging device.

Однако, упомянутые выше решения обладают низким качеством компенсации ошибок измерения дальности.However, the solutions mentioned above have a poor quality of ranging error compensation.

Таким образом, в уровне техники существует потребность в создании простого и недорогого решения, обладающего высоким быстродействием (функционирующего в реальном времени) и высоким качеством компенсации ошибок измерения дальности ToF-камеры.Thus, there is a need in the art for a simple and inexpensive solution with high speed (real-time operation) and high quality compensation of ToF camera ranging errors.

Сущность изобретенияThe essence of the invention

Настоящее изобретение направлено на решение по меньшей мере некоторых из приведенных выше проблем.The present invention is directed to solving at least some of the above problems.

В соответствии с изобретением предложен способ формирования карты глубины с корректировкой ошибки измерения дальности для ToF-камеры, включающий в себя этапы, на которых: предварительно оценивают рассчитанную модель распределения PSF (функции рассеяния точки) для ToF-камеры; осуществляют захват изображения сцены посредством ToF-камеры; осуществляют компенсацию фантомных сигналов в данных захваченного изображения сцены с помощью упомянутой PSF; формируют карту глубины с использованием скорректированных данных, причем этап предварительной оценки рассчитанной модели распределения PSF включает в себя этапы, на которых: задают оптическую модель оптической системы камеры; моделируют рассеяние света в оптической системе на основе упомянутой заданной модели оптической системы; вычисляют PSF оптической системы; аппроксимируют PSF посредством полиномиальной функции радиуса, где радиус - это расстояние от заданного пикселя до центра изображения.In accordance with the invention, a method for generating a depth map with range error correction for a ToF camera is provided, which includes the steps of: preliminarily estimating a calculated PSF (point spread function) distribution model for the ToF camera; capturing a scene image by means of a ToF camera; compensating phantom signals in the captured scene image data with said PSF; forming a depth map using the corrected data, and the step of preliminary estimation of the calculated PSF distribution model includes the steps of: specifying an optical model of the camera optical system; simulating light scattering in the optical system based on said predetermined optical system model; calculating the PSF of the optical system; approximate the PSF by a polynomial radius function, where the radius is the distance from the given pixel to the center of the image.

Согласно одному варианту осуществления способа вычисление PSF оптической системы осуществляют в соответствии со следующим выражением:According to one embodiment of the method, the calculation of the PSF of the optical system is carried out in accordance with the following expression:

,

где

- моделирование измерения входного сигнала, которое имеет ненулевое значение только в местоположении пикселя (i, j),

- уровень (интенсивность) рассеяного сигнала по сенсору камеры, представленный в виде двухмерной функции (матрицы), при входном сигнале, приходящем в пиксель (i, j),

- ядро PSF при входном сигнале, приходящем в пиксель (i, j).where

- simulation of the input signal dimension, which has a non-zero value only at the pixel location (i, j),

- the level (intensity) of the scattered signal by the camera sensor, represented as a two-dimensional function (matrix), with an input signal arriving at the pixel (i, j),

- PSF core with input signal coming to pixel (i, j).

Согласно другому варианту осуществления способа на этапе аппроксимации

аппроксимируется функцией

, причем каждое ядро

зависит от расстояния от заданного пикселя до центра изображения.According to another embodiment of the method, at the stage of approximation

is approximated by the function

, and each core

depends on the distance from the given pixel to the center of the image.

Согласно другому варианту осуществления способа

задано выражением:According to another embodiment of the method

given by:

,

где A(r) - коэффициент усиления, зависящий от расстояния от заданного пикселя до центра изображения, а G - ядро 3×3, которое аппроксимирует локальные аберрации света в окрестности пикселя.where A(r) is a gain depending on the distance from a given pixel to the center of the image, and G is a 3×3 kernel that approximates local light aberrations in the vicinity of the pixel.

Компенсацию фантомных сигналов в данных захваченного изображения сцены осуществляют в соответствии с выражением:Compensation of phantom signals in the captured scene image data is performed according to the expression:

,

где

- уровень скомпенсированного (восстановленного) сигнала в пикселе (i, j),

- уровень рассеянного сигнала в пикселе (i, j),

- уровень измеренного сигнала в пикселе (i, j) сенсора.where

- the level of the compensated (restored) signal in the pixel (i, j),

- scattered signal level in a pixel (i, j),

- level of the measured signal in the pixel (i, j) of the sensor.

Согласно другому варианту осуществления способа этап предварительной оценки рассчитанной модели распределения PSF дополнительно включает в себя оптимизацию полученной PSF с помощью машинного обучения на основе наборов данных, включающих в себя пары изображений, состоящие из изображения с артефактами и изображения без артефактов.According to another embodiment of the method, the step of pre-evaluating the calculated PSF distribution model further includes optimizing the obtained PSF using machine learning based on data sets including image pairs consisting of an image with artifacts and an image without artifacts.

Согласно другому варианту осуществления способа в оптической модели оптической системы ToF-камеры точечный объект моделируется как точечный источник света.According to another embodiment of the method, in the optical model of the optical system of a ToF camera, a point object is modeled as a point light source.

Согласно другому варианту осуществления способ перед формированием карты глубины дополнительно содержит этап итеративной оценки скорректированных данных захваченного изображения сцены.According to another embodiment, the method, prior to generating a depth map, further comprises the step of iteratively evaluating corrected scene captured image data.

Таким образом, настоящее изобретение обеспечивает простое и недорогое решение для получения карты глубины, обладающее высоким быстродействием (функционирующее в реальном времени) и высоким качеством компенсации ошибок измерения дальности ToF-камеры.Thus, the present invention provides a simple and inexpensive depth mapping solution with high speed (real-time operation) and high quality compensation of ToF camera ranging errors.

Краткое описание чертежейBrief description of the drawings

В дальнейшем изобретение поясняется описанием предпочтительных вариантов воплощения изобретения со ссылками на сопроводительные чертежи, на которых:The invention is further explained by a description of the preferred embodiments of the invention with reference to the accompanying drawings, in which:

Фиг. 1 изображает блок-схему последовательности этапов способа получения карты глубины с корректировкой ошибки измерения дальности ToF-камеры в соответствии с настоящим изобретением;Fig. 1 is a flowchart of a method for obtaining a depth map with ranging error correction of a ToF camera in accordance with the present invention;

Фиг. 2 изображает блок-схему, подробнее иллюстрирующую этап предварительной оценки рассчитанной модели распределения PSF способа в соответствии с настоящим изобретением;Fig. 2 is a flowchart illustrating in more detail the pre-evaluation step of the calculated PSF distribution model of the method in accordance with the present invention;

Фиг. 3 изображает блок-схему, подробнее иллюстрирующую этап анализа оптической системы способа в соответствии с настоящим изобретением;Fig. 3 is a flow diagram illustrating in more detail the optical system analysis step of the method according to the present invention;

Фиг. 4 изображает упрощенную модель ToF-камеры;Fig. 4 shows a simplified model of a ToF camera;

Фиг. 5 изображает пример моделирования фантомного сигнала звездообразного объекта;Fig. 5 shows an example of modeling a phantom signal of a star-like object;

Фиг. 6 изображает блок-схему, подробнее иллюстрирующую этап предварительной оценки рассчитанной модели распределения PSF (этап S1) способа в соответствии с альтернативным вариантом осуществления настоящего изобретения Fig. 6 is a flowchart illustrating in more detail the pre-evaluation step of the calculated PSF distribution model (step S1) of the method according to an alternative embodiment of the present invention.

Подробное описаниеDetailed description

Предлагаемое изобретение сочетает в себе существующие подходы компенсации ошибок с новым подходом к моделированию рассеяния излучения (света) в оптической системе, которое может быть описано с помощью PSF (Point Spread Function, функция рассеяния точки), с целью значительного улучшения характеристик ToF-камеры. Функция рассеяния точки описывает картину, получаемую системой формирования изображения при наблюдении точечного источника излучения или точечного объекта.The present invention combines existing error compensation approaches with a new approach to modeling radiation (light) scattering in an optical system, which can be described using PSF (Point Spread Function, point spread function), in order to significantly improve the performance of a ToF camera. The point spread function describes the picture obtained by the imaging system when observing a point source of radiation or a point object.

Для получения точной модели распределения PSF оптической системы ToF-камеры проводится оптическое моделирование.To obtain an accurate model of the PSF distribution of the optical system of the ToF camera, optical modeling is carried out.

Хотя здесь и далее способ в соответствии с настоящим изобретением описывается применительно к ToF-камере и корректировке ошибки измерения дальности при формировании карты глубины захватываемой сцены, настоящее изобретение аналогичным образом может найти свое применение также в камерах, основанных на RGB (red, green, blue), ARGB (alpha, red, green, blue) или любом другом световом сенсоре. В таком случае настоящее изобретение соответственно позволяет осуществлять компенсацию фантомных изображений при формировании цветового изображения захватываемой сцены.Although hereinafter the method according to the present invention is described in relation to a ToF camera and range measurement error correction when generating a scene depth map, the present invention can similarly be applied to cameras based on RGB (red, green, blue) , ARGB (alpha, red, green, blue) or any other light sensor. In such a case, the present invention accordingly enables compensation of ghost images when forming a color image of a captured scene.

Способ формирования карты глубины с корректировкой ошибки измерения дальности ToF-камеры (см. фиг. 1) в соответствии с настоящим изобретением включает в себя следующие этапы, на которых: The method for generating a depth map with the correction of the error of measuring the range of the ToF camera (see Fig. 1) in accordance with the present invention includes the following steps, in which:

- предварительно оценивают рассчитанную модель распределения PSF для ToF-камеры (этап S1); - preliminary estimate the calculated PSF distribution model for the ToF camera (step S1);

- осуществляют захват изображения сцены посредством ToF-камеры (этап S2);- carry out the capture of the image of the scene by means of the ToF camera (step S2);

- осуществляют компенсацию фантомных сигналов в данных захваченного изображения сцены с помощью упомянутой PSF (этап S3);- compensation of phantom signals in the data of the captured image of the scene using the mentioned PSF (step S3);

- формируют карту глубины с использованием скорректированных данных (этап S4). - generate a depth map using the corrected data (step S4).

В результате выполнения способа в соответствии с настоящим изобретением получают карту глубины со скомпенсированными ошибками измерения дальности ToF-камеры.As a result of performing the method in accordance with the present invention, a depth map is obtained with compensated errors in the measurement of the range of the ToF camera.

Далее этапы способа получения карты глубины с корректировкой ошибки измерения дальности ToF-камеры по фиг. 1 будут подробно описаны со ссылкой на фиг.1-6.Next, the steps of the method for obtaining a depth map with the correction of the error in measuring the range of the ToF camera of FIG. 1 will be described in detail with reference to FIGS. 1-6.

Этап S1 предварительной оценки рассчитанной модели распределения PSF в свою очередь включает в себя следующие этапы (см. фиг. 2):Step S1 of preliminary estimation of the calculated PSF distribution model, in turn, includes the following steps (see Fig. 2):

Этап S10 - Анализ оптической системы;Step S10 - Analysis of the optical system;

Этап S11 - Аппроксимация модели распределения PSF.Step S11 - Approximation of the PSF distribution model.

На этапе S10 выполняют анализ оптической системы для оптического моделирования PSF посредством следующих действий (см. фиг. 3):In step S10, the analysis of the optical system for the PSF optical simulation is performed by the following steps (see FIG. 3):

- Задание оптической модели (этап S101).- Setting the optical model (step S101).

С использованием известных параметров оптической системы создается ее модель в программном обеспечении для моделирования на основе трассировки лучей, таком как Synopsys LightTools, ZEMAX OpticStudio и т.д. Для этого необходимо знать по меньшей мере следующие параметры оптической системы: конструктивные параметры оптической системы (радиусы, толщины, материалы компонентов), информация о покрытиях оптических элементов, плоскости отражения датчика, параметрах крепления.Using the known parameters of an optical system, a model is created in ray tracing modeling software such as Synopsys LightTools, ZEMAX OpticStudio, etc. To do this, it is necessary to know at least the following parameters of the optical system: the design parameters of the optical system (radii, thicknesses, component materials), information about the coatings of optical elements, the reflection plane of the sensor, mounting parameters.

- Моделирование рассеяния света в оптической системе на основе трассировки лучей (этап S102). - Simulation of light scattering in the optical system based on ray tracing (step S102).

Для заданной на этапе S101 модели оптической системы осуществляют моделирование рассеяния света внутри оптической системы на основе трассировки лучей. Упрощенная модель камеры ToF для вычисления PSF изображена на фиг.4 и включает в себя инфракрасный (ИК) источник (1) света, «точечный» объект (2), оптическую систему (3) и приемник (4) камеры. ИК источник (1) света излучает световой пучок инфракрасного диапазона. Часть испускаемых лучей достигает «точечного» объекта (2) и рассеивается (отражается). Часть рассеянных (отраженных) лучей достигает приемной оптической системы (3). Большая часть рассеянных лучей проходит через оптическую систему (3) и формирует изображение объекта на приемнике (4). Но даже если все поверхности оптической системы имеют просветляющее (антиотражающее) покрытие, небольшое количество света все же отражается от поверхностей оптических компонентов. Этот свет может поглощаться креплением оптической системы или формировать фантомный сигнал на приемнике (4). For the model of the optical system specified in step S101, the simulation of light scattering inside the optical system based on ray tracing is carried out. A simplified ToF camera model for calculating PSF is shown in Figure 4 and includes an infrared (IR) light source (1), a "point" object (2), an optical system (3) and a camera receiver (4). The IR light source (1) emits an infrared light beam. Part of the emitted rays reaches the "point" object (2) and is scattered (reflected). Part of the scattered (reflected) beams reaches the receiving optical system (3). Most of the scattered rays pass through the optical system (3) and form an image of the object on the receiver (4). But even if all surfaces of an optical system have an antireflection (anti-reflective) coating, a small amount of light is still reflected from the surfaces of the optical components. This light can be absorbed by the mount of the optical system or form a phantom signal at the receiver (4).

- Вычисление PSF для каждого пикселя (этап S103).- PSF calculation for each pixel (step S103).

Результаты моделирования используют для формирования ядер PSF для каждого пикселя, которые описывают реакцию оптической системы на точечный объект. Для расчета PSF каждого пикселя моделируется рассеяние света внутри оптической системы.The simulation results are used to form PSF kernels for each pixel, which describe the response of the optical system to a point object. To calculate the PSF of each pixel, the scattering of light inside the optical system is simulated.

Фантомный сигнал, создаваемый точечным объектом, распространяется по всему датчику, что означает, что ядро PSF для каждого пикселя имеет размер целого изображения. Ядро PSF можно описать как матрицу, представляющую последовательность пар {вес, пиксель}: The phantom signal generated by a point object propagates throughout the sensor, which means that the PSF kernel for each pixel is the size of an entire image. The PSF kernel can be described as a matrix representing a sequence of {weight, pixel} pairs:

,

где

- вес, характеризующий интенсивность излучения в пикселе (i+l, j+p) относительно пикселя (i, j), в который поступает входной сигнал, причем l и p варьируются так, чтобы охватить все пиксели матрицы приемника (исключая непосредственно пиксель (i, j), в котором измеряется принятое излучение). where

- weight characterizing the intensity of radiation in the pixel (i+l, j+p) relative to the pixel (i, j), which receives the input signal, and l and p vary so as to cover all the pixels of the receiver matrix (excluding the pixel itself (i , j) in which the received radiation is measured).

В подходе, известном в уровне техники, модель распределения PSF определяют с использованием экспериментальных данных. Интенсивность фантомного сигнала на несколько порядков ниже, чем интенсивность сигнала от объекта, поэтому в экспериментальных данных, на которые влияет шум, фантомный сигнал практически не различим, а полученные данные недостоверны. Вследствие этого в традиционном подходе только сильные фантомные компоненты могут быть обнаружены и проанализированы. При этом проведение точного эксперимента требует привлечения значительных ресурсов. Упомянутые факторы приводят к низкой точности получаемой модели PSF в подходе на основе только экспериментальных данных.In an approach known in the art, the PSF distribution pattern is determined using experimental data. The intensity of the phantom signal is several orders of magnitude lower than the intensity of the signal from the object; therefore, in experimental data affected by noise, the phantom signal is almost indistinguishable, and the obtained data are unreliable. Because of this, in the traditional approach, only strong phantom components can be detected and analyzed. At the same time, conducting an accurate experiment requires the involvement of significant resources. These factors lead to low accuracy of the obtained PSF model in the approach based only on experimental data.

При оптическом моделировании ядра PSF генерируются оптической моделью ToF-камеры как отношение сигнала рассеяния к измеренному сигналу в соответствии с уравнением: In optical simulation, the PSF kernels are generated by the optical model of the ToF camera as the ratio of the scatter signal to the measured signal according to the equation:

,

где

- моделирование такого измерения, которое имеет ненулевое значение входного сигнала только в местоположении пикселя (i, j),

- simulation of such a measurement, which has a non-zero value of the input signal only at the location of the pixel (i, j),

- PSF core with input signal coming to pixel (i, j).

Это обусловлено тем, что в традиционной модели сигнал рассеяния моделируется посредством PSF согласно следующему выражению: This is because in the conventional model, the scatter signal is modeled by PSF according to the following expression:

,

где

- уровень измеренного сигнала в пикселе (i, j) сенсора, причем

включает в себя как прямой (полезный) сигнал, так и рассеяный сигнал. where

- the level of the measured signal in the pixel (i, j) of the sensor, and

includes both the direct (useful) signal and the scattered signal.

Фантомный сигнал, создаваемый точечным объектом, распространяется по всему датчику, что означает, что ядро PSF для каждого пикселя имеет размер целого изображения. Таким образом, PSF согласно традиционной модели представлена ядром с переменной позицией, имеющим размер изображения. То есть для изображения размером 240×180 пикселей получаем 240×180=43200 ядер PSF размером 240×180 каждое. Такая аппроксимация хотя и является точной, но не может быть выполнена в реальном времени. При этом с ростом разрешения изображения соответствующим образом растет и сложность обработки такого изображения.The phantom signal generated by a point object propagates throughout the sensor, which means that the PSF kernel for each pixel is the size of an entire image. Thus, the PSF according to the traditional model is represented by a variable-position kernel having an image size. That is, for an image of 240×180 pixels, we get 240×180=43200 PSF cores of 240×180 each. Such an approximation, although accurate, cannot be performed in real time. At the same time, as the resolution of the image increases, the complexity of processing such an image increases accordingly.

В результате оптического моделирования в соответствии с настоящим изобретением может быть получена PSF более точная, чем PSF, рассчитанная только по экспериментальным данным. Оптическое моделирование позволяет выделить фантомные компоненты для получения более точной математической модели. Все фантомные компоненты могут быть обнаружены и проанализированы. Отсутствие необходимости проведения эксперимента приводит к значительной экономии ресурсов.As a result of the optical simulation in accordance with the present invention, a PSF can be obtained that is more accurate than a PSF calculated only from experimental data. Optical modeling allows you to highlight phantom components to obtain a more accurate mathematical model. All phantom components can be detected and analyzed. The absence of the need for an experiment leads to significant savings in resources.

Однако, использование PSF такого большого размера несовместимо с режимом обработки в реальном времени, поэтому требуется разреженная аппроксимация.However, using a PSF of such a large size is incompatible with real-time processing, so a sparse approximation is required.

На этапе S11 PSF аппроксимируется как полиномиальная функция радиуса, где радиус - это расстояние от пикселя

до центра изображения. In step S11, the PSF is approximated as a polynomial radius function, where the radius is the distance from the pixel

to the center of the image.

- двумерная дискретная функция (ядро). В соответствии с настоящим изобретением

аппроксимируется непрерывной одномерной функцией

, которая представлена полиномом третьей степени. Такой полином обеспечивает достаточное приближение значений ядра.

- two-dimensional discrete function (kernel). In accordance with the present invention

is approximated by a continuous one-dimensional function

, which is represented by a polynomial of the third degree. Such a polynomial provides a sufficient approximation of the kernel values.

Аппроксимация осуществляется следующим образом.Approximation is carried out as follows.

Пусть (i, j) - некоторый пиксель, для которого известно его расстояние r до центра изображения. Обозначим e как |

|. Сумму всех e по пикселям сенсора обозначим как E. Коэффициенты полинома подбираются так, что бы максимально минимизировать суммарную ошибку E. Подбор можно осуществлять, например, методом сечения отрезка пополам или любым другим стандартным методом поиска минимума.Let (i, j) be some pixel for which its distance r to the center of the image is known. Denote e as |

|. The sum of all e over the sensor pixels is denoted as E. The polynomial coefficients are selected so as to minimize the total error E as much as possible. Selection can be carried out, for example, by the method of cutting a segment in half or by any other standard method of finding a minimum.

Таким образом, в соответствии с настоящим изобретением предложена точная аппроксимация рассеяния путем моделирования разреженного представления ядра PSF с переменной позицией так, чтобы каждое ядро PSF имело размер 3×3 с весами (весовыми коэффициентами) ядра, зависящими только от расстояния в пикселях от центра изображения, в соответствии со следующим уравнением:Thus, in accordance with the present invention, an accurate scattering approximation is proposed by modeling a sparse representation of a PSF kernel with a variable position such that each PSF kernel has a size of 3x3 with kernel weights depending only on the distance in pixels from the center of the image, according to the following equation:

,

где

- пространственно переменное ядро размера 3х3, r - расстояние от пикселя (i, j) до центра изображения,

- уровень измеренного сигнала в пикселе (i, j) сенсора. where

- spatially variable kernel size 3x3, r - distance from the pixel (i, j) to the center of the image,

- level of the measured signal in the pixel (i, j) of the sensor.

На основе анализа распределения сигнала по датчику была предложена оптимальная математическая формулировка

:Based on the analysis of the signal distribution over the sensor, an optimal mathematical formulation was proposed

:

,

где A(r) - коэффициент усиления, G - ядро 3×3. where A(r) is the gain, G is the 3x3 kernel.

Для вычисления значения рассеянного сигнала в некотором пикселе P находится симметричный относительно центра изображения пиксель P(r). Например, если центр находится в пикселе с координатами [120, 90] и пиксель P имеет координаты [80, 60], то пиксель P(r) имеет координаты [160, 120] и r=50 - расстояние до центра изображения (радиус). To calculate the value of the scattered signal, a pixel P(r) that is symmetric with respect to the center of the image is found in some pixel P. For example, if the center is at the pixel with coordinates [120, 90] and pixel P has coordinates [80, 60], then pixel P(r) has coordinates [160, 120] and r=50 is the distance to the center of the image (radius) .

Далее рассеянный сигнал в точке P вычисляется как свертка ядра G с измеренным сигналом в точке P(r), умноженная на коэффициент усиления A(r). Такая обработка выполняется для всех пикселей матрицы приемника.Next, the scattered signal at point P is calculated as the convolution of the kernel G with the measured signal at point P(r), multiplied by the gain A(r). Such processing is performed for all pixels of the receiver matrix.

Значение A(r) - безразмерная величина, которая зависит от радиуса r (расстояния от P до центра), при этом A(r) - одномерная функция, которая в примерном варианте осуществления задается с помощью полинома третьей степени. В общем случае она может задаваться как кусочно-линейная функция. A(r) определяет уровень рассеянного сигнала.The value of A(r) is a dimensionless quantity that depends on the radius r (distance from P to the center), while A(r) is a one-dimensional function, which in an exemplary embodiment is given by a polynomial of the third degree. In the general case, it can be given as a piecewise linear function. A(r) determines the level of the scattered signal.

G - постоянное ядро (матрица 3х3), которое не зависит от радиуса. Матрица G аппроксимирует локальные аберрации света в окрестности пикселя.G is a constant kernel (3x3 matrix), which does not depend on the radius. The matrix G approximates the local aberrations of light in the vicinity of a pixel.

На фиг. 5 показан пример моделирования фантомного сигнала звездообразного объекта. Белый крест отмечает центр изображения, а квадрат определяет G-ядро 3×3 для свертки. Фантомный сигнал формируется зеркально относительно изображения на основании расстояния от текущей точки до центра изображения.In FIG. 5 shows an example of modeling a phantom signal of a star-shaped object. The white cross marks the center of the image, and the square defines the 3×3 G-kernel to convolve. The phantom signal is mirrored to the image based on the distance from the current point to the center of the image.

Значения матрицы G и коэффициенты полинома, задающего A(r), могут быть получены в результате машинного обучения, т.е. в автоматическом режиме подбираются так, чтобы результат применения математической модели аппроксимации рассеянного излучения был максимально близок к реальным (измеренным) значениям. A(r) и G задают модель формирования фантомных изображений. В простейшем случае матрицей G можно пренебречь, и тогда

.The values of the matrix G and the coefficients of the polynomial defining A(r) can be obtained as a result of machine learning, i.e. in automatic mode are selected so that the result of applying the mathematical model of scattered radiation approximation is as close as possible to real (measured) values. A(r) and G define the ghost imaging model. In the simplest case, the matrix G can be neglected, and then

.

Стоит обратить внимание, что интенсивности фантомного и прямого сигналов отображаются на фиг. 5 в логарифмическом масштабе, так что фантомный сигнал можно различить, в линейном масштабе фантом был бы малозаметным.It is worth noting that the intensities of the phantom and direct signals are displayed in Fig. 5 on a logarithmic scale so that the phantom signal can be distinguished, on a linear scale the phantom would be barely noticeable.

Фантомное изображение моделируется как The ghost image is modeled as

,

где

- пиксель на изображении, расположенный на расстоянии R от центра изображения и

- фантомный пиксель в зеркальном положении относительно центра сенсора по отношению к пикселю

,

и

- интенсивности пикселей сигнала от объекта и фантомного сигнала, соответственно. Свертка G-ядра 3×3 с сигналом изображения выполняется по положению

, результат свертки, усиленный с помощью

, формирует фантомный сигнал в точке

. where

- a pixel in the image located at a distance R from the center of the image and

- phantom pixel in a mirror position relative to the center of the sensor in relation to the pixel

,

and

are the pixel intensities of the signal from the object and the phantom signal, respectively. 3x3 G-kernel convolution with image signal is done by position

, the result of the convolution enhanced with

, generates a phantom signal at the point

.

На этапе S2 посредством ToF-камеры осуществляют захват сцены, в результате которого получают набор данных, характеризующих захватываемую сцену.At step S2, a scene is captured by means of a ToF camera, as a result of which a set of data characterizing the captured scene is obtained.

Далее на этапе S3 осуществляют компенсацию фантомных сигналов в наборе данных захваченного изображения сцены, полученном на этапе S2, с помощью модели распределения PSF, полученной на этапе S1. Для этого итеративно вычитают измерение уровня рассеянного сигнала пикселя (i, j) из каждого пикселя в последовательности PSF следующим образом:Next, in step S3, phantom signals are compensated in the captured scene image data set obtained in step S2 using the PSF distribution model obtained in step S1. To do this, iteratively subtract the scattered signal level measurement of the pixel (i, j) from each pixel in the PSF sequence as follows:

,

где

- уровень скомпенсированного (восстановленного) сигнала (i, j),

- level of compensated (restored) signal (i, j),

- scattered signal level in a pixel (i, j),

- level of the measured signal in the pixel (i, j) of the sensor.

На этапе S4 скорректированные данные сцены, в которых скомпенсированы фантомные сигналы, используют для формирования карты глубины сцены. In step S4, the corrected scene data in which phantom signals are compensated is used to generate a scene depth map.

Разработанная компактная модель PSF обеспечивает реализацию в реальном времени алгоритма компенсации фантомных сигналов в изображении, захватываемом ToF-камерой, сохраняя при этом качественный уровень компенсации традиционного подхода. Данный алгоритм может выполняться, в том числе, в маломощных устройствах на платформе SoC (System-on-a-Chip).The developed compact PSF model provides a real-time implementation of the algorithm for compensating phantom signals in an image captured by a ToF camera, while maintaining the quality level of compensation of the traditional approach. This algorithm can be executed, among other things, in low-power devices based on the SoC (System-on-a-Chip) platform.

Использование предварительно рассчитанной модели PSF и данных захватываемой сцены (raw phases) позволяет компенсировать ошибки измерения дальности в реальном времени. Использование оптического моделирования позволяет получить точную модель распределения PSF и компенсировать даже относительно слабые фантомные компоненты, что обеспечивает высокое качество компенсации. При этом аппроксимация модели распределения PSF позволяет значительно снизить ее размер, а, следовательно, и объем занимаемой этими данными памяти, а также сложность их обработки, сохраняя высокое качество компенсации. В результате настоящее решение может быть реализовано даже на не очень мощных, с точки зрения вычислительной мощности, устройствах. Кроме того, настоящее решение не требует дополнительных дорогостоящих механических доработок существующего оборудования, что свидетельствует о его простоте и экономичности с точки зрения материальных, временных и иных ресурсов. The use of a pre-calculated PSF model and data from the captured scene (raw phases) makes it possible to compensate for real-time ranging errors. The use of optical simulation makes it possible to obtain an accurate model of the PSF distribution and to compensate for even relatively weak phantom components, which ensures high quality compensation. At the same time, the approximation of the PSF distribution model can significantly reduce its size, and, consequently, the amount of memory occupied by these data, as well as the complexity of their processing, while maintaining a high quality of compensation. As a result, the present solution can be implemented even on devices that are not very powerful in terms of computing power. In addition, this solution does not require additional costly mechanical modifications to existing equipment, which indicates its simplicity and economy in terms of material, time and other resources.

В альтернативном варианте осуществления в случае, когда известны не все параметры оптической системы, для получения высокоточной оптической модели PSF может применяться машинное обучение. С этой целью описанный выше этап S1 дополнительно включает в себя этапы (см. фиг. 6), на которых:In an alternative embodiment, in the case where not all parameters of the optical system are known, machine learning can be used to obtain a highly accurate PSF optical model. To this end, the above-described step S1 further includes the steps (see FIG. 6) in which:

- Собирают экспериментальные данные (этап S12).- Collect experimental data (step S12).

На этапе S12 посредством устройства захвата изображений (ToF-камеры) захватывают множество пар изображений, причем каждая пара изображений включает в себя изображение с фантомными артефактами, захваченное посредством расположения некоторого объекта близко к объективу устройства захвата изображений, что приводит к возникновению упомянутых артефактов, а также «эталонное» изображение без фантомных артефактов, захваченное без объекта, расположенного близко к объективу устройства захвата изображений, и при неизменном заднем фоне захватываемой сцены.At step S12, a plurality of pairs of images are captured by an image capturing device (ToF camera), each pair of images including an image with phantom artifacts captured by placing an object close to the lens of the image capturing device, which leads to the mentioned artifacts, and also A "reference" image without phantom artifacts, captured without an object close to the lens of the image capture device, and with the background of the captured scene unchanged.

- Оптимизируют модель PSF с использованием машинного обучения (этап S13).- Optimize the PSF model using machine learning (step S13).

На этапе S13 выполняют оптимизацию модели PSF во время фазы обучения ML-модели на основе наборов данных, полученных на этапе S12, включающих в себя пары, состоящие из изображения с артефактами и изображения без артефактов. In step S13, optimization of the PSF model is performed during the training phase of the ML model based on the data sets obtained in step S12, including pairs consisting of an image with artifacts and an image without artifacts.

Традиционная концепция машинного обучения с прямым и обратным распространением используется для настройки весов PSF, заданных оптической моделью, для достижения максимальной сходимости с эталонными данными. Модель может быть построена на любой распространенной платформе машинного обучения.The traditional concept of forward and backpropagation machine learning is used to adjust the PSF weights given by the optical model to achieve maximum convergence with the reference data. The model can be built on any common machine learning platform.

В качестве примера данный вариант осуществления может быть описан следующим образом:As an example, this embodiment can be described as follows:

На этапах S10 и S11 формируют начальную модель распределения

как описано выше в настоящем описании. Стоит отметить, что, т.к. известны не все параметры оптической системы, то модель PSF формируется с некоторыми допущениями, т.е., возможно, параметры данной модели имеют расхождения с параметрами реальной оптической системы.In steps S10 and S11, an initial distribution model is generated

as described above in the present description. It is worth noting that, since not all parameters of the optical system are known, then the PSF model is formed with some assumptions, i.e., perhaps, the parameters of this model have discrepancies with the parameters of the real optical system.

Далее посредством ToF-камеры на этапе S12 захватывают множество пар изображений, как описано выше, причем каждая пара изображений сцены включает в себя изображение с фантомными артефактами (сигнал

) и эталонное изображение («ground truth») без артефактов (сигнал

).Next, a plurality of pairs of images are captured by the ToF camera in step S12 as described above, each pair of scene images including an image with phantom artifacts (signal

) and a reference image ("ground truth") without artifacts (signal

).

Рассеянный сигнал задается как

. Необходимо подобрать параметры ядра PSF так, чтобы скомпенсированный сигнал

был максимально близок к реальному сигналу

(«ground-truth»). PSF определяется A(r) и G, где A(r) задается полиномом третьей степени и G представляет собой матрицу 3х3. Таким образом, коэффициенты полинома A(r) и веса матрицы G - неизвестные переменные, которые необходимо найти. The scattered signal is given as

. It is necessary to select the parameters of the PSF core so that the compensated signal

was as close as possible to the real signal

("ground truth"). PSF is defined by A(r) and G, where A(r) is given by a third degree polynomial and G is a 3x3 matrix. Thus, the coefficients of the polynomial A(r) and the weights of the matrix G are unknown variables that need to be found.

Благодаря наличию достоверных измерений

можно задать функцию потерь L2, которая определяет степень близости скомпенсированного сигнала

к сигналу

. Due to reliable measurements

you can set the loss function L2, which determines the degree of closeness of the compensated signal

to signal

.

В итоге, задавая входной сигнал

, преобразование входного сигнала PSF, варьируемые переменные (коэффициенты A(r) и G), функцию потерь (loss function) и выходной сигнал

, формируется полный пайплайн (расчетная схема, вычислительный конвейер обработки данных) для машинного обучения. В примерном варианте осуществления настоящего изобретения данный пайплайн был реализован на платформе MXnet. В альтернативных вариантах осуществления может быть использован любая другая платформа машинного обучения.Finally, given the input signal

, input signal transformation PSF, variable variables (coefficients A(r) and G), loss function (loss function) and output signal

, a complete pipeline (design scheme, computational data processing pipeline) is formed for machine learning. In an exemplary embodiment of the present invention, this pipeline was implemented on the MXnet platform. In alternative embodiments, any other machine learning platform may be used.

Поиск оптимальных значений варьируемых переменных осуществляется методом градиентного поиска стандартными средствами используемой платформы в автоматическом режиме. Начальные значения проинициализированы предрассчитанными параметрами, полученными с помощью оптического моделирования.The search for optimal values of variable variables is carried out by the gradient search method using standard tools of the platform used in automatic mode. The initial values are initialized with precalculated parameters obtained using optical simulation.

Таким образом, модель распределения PSF может быть проверена и уточнена на основе реальных данных, что повышает ее точность.Thus, the PSF distribution model can be tested and refined based on real data, which improves its accuracy.

В еще одном альтернативном варианте осуществления настоящего изобретения в модели оптической системы, формируемой на этапе S101, точечный объект моделируется как точечный источник света, например, ламбертовский источник. Это позволяет исключить из модели оптической системы инфракрасный источник света, при этом не влияет на форму фантомных компонентов, их амплитуду относительно сигнала от объекта и положение фантомных компонентов. Таким образом, при моделировании рассеяния в оптической системе на этапе S102, по сравнению с примерным вариантом осуществления, описанным выше в данной заявке, можно исключить из расчетов распространение света от источника света до точечного объекта и его рассеяние, что позволяет значительно снизить сложность выполняемых вычислений и затрачиваемое на них время.In yet another alternative embodiment of the present invention, in the optical system model generated in step S101, the point object is modeled as a point light source, such as a Lambert light source. This makes it possible to exclude an infrared light source from the model of the optical system, while not affecting the shape of the phantom components, their amplitude relative to the signal from the object, and the position of the phantom components. Thus, when modeling scattering in the optical system at step S102, compared with the exemplary embodiment described above in this application, the propagation of light from the light source to the point object and its scattering can be excluded from the calculations, which can significantly reduce the complexity of the calculations performed and time spent on them.

В еще одном альтернативном варианте осуществления способ перед формированием карты глубины на этапе S4 дополнительно содержит этап итеративной оценки скорректированных данных сцены, полученных на этапе S3. Итеративная оценка скорректированных данных сцены выполняется на основе начальной оценки, веса предварительно вычисленных ядер итеративно уточняются для повышения устойчивости к шуму. Данный вариант осуществления может быть реализован в ToF-камерах, функционирующих одновременно на двух частотах (например, 20МГц и 100 МГц), т.е. измерение глубины осуществляется одновременно с использованием сигналов двух частот. При наличии расхождения (ошибки)

между результатами измерения глубины, полученными с использованием разных частот, выполняется итеративная оценка скорректированных данных сцены для устранения этой ошибки.In yet another alternative embodiment, the method, prior to generating a depth map in step S4, further comprises the step of iteratively evaluating the corrected scene data obtained in step S3. An iterative evaluation of the adjusted scene data is performed based on the initial estimate, the weights of the precomputed kernels are iteratively refined to improve noise tolerance. This embodiment can be implemented in ToF cameras operating simultaneously at two frequencies (for example, 20 MHz and 100 MHz), i.e. depth measurement is carried out simultaneously using signals of two frequencies. If there is a discrepancy (mistake)

between the depth measurements obtained using different frequencies, iteratively evaluates the corrected scene data to eliminate this error.

Итеративная оценка основана на физическом ограничении, применяемом к измеренным данным согласно следующему выражению:The iterative evaluation is based on a physical constraint applied to the measured data according to the following expression:

,

где

- амплитуда и фаза скомпенсированного сигнала,

- амплитуда и фаза сигнала рассеяния,

- амплитуда и фаза измеренного сигнала,

- случайный шум, который всегда присутствует в реальных данных.where

- amplitude and phase of the compensated signal,

- amplitude and phase of the scattering signal,

- amplitude and phase of the measured signal,

is random noise that is always present in real data.

Применение ограничения обусловлено двумя частотами модуляции

и

ToF-камеры такими, что

. Решение в замкнутом виде может быть сформулировано как система нелинейных уравнений:The application of the limitation is due to two modulation frequencies

and

ToF cameras such that

. The solution in closed form can be formulated as a system of nonlinear equations:

,

где

- фаза скомпенсированного сигнала и сигнала рассеяния на частоте

,

- мнимая и реальная часть измеренного сигнала на частоте

,

.where

- the phase of the compensated signal and the frequency scattering signal

,

- imaginary and real part of the measured signal at the frequency

,

- the phase of the compensated signal and the frequency scattering signal

,

- imaginary and real part of the measured signal at the frequency

.

Таким образом, имеется система четырех нелинейных уравнений с четырьмя неизвестными. Для повышения устойчивости решения можно зафиксировать

и

. В таком случае необходимо варьировать только две переменные -

и

.Thus, there is a system of four nonlinear equations with four unknowns. To increase the stability of the solution, one can fix

and

. In this case, it is necessary to vary only two variables -

and

.

Поскольку уравнения нелинейные, поиск оптимального решения осуществляется итеративно - методом перебора возможных значений варьируемых переменных

и

и оценки, например, метрики L2 для каждой комбинации. Значения, дающие минимальную метрику L2, определяют оптимальное решение.Since the equations are non-linear, the search for the optimal solution is carried out iteratively - by enumerating the possible values of the variable variables

and

and scores, such as the L2 metric for each combination. The values that give the minimum metric L2 determine the optimal solution.

Таким образом, посредством итеративного поиска находим оптимальное решение системы уравнений, представляющее собой минимальное значение

, причем Thus, through an iterative search, we find the optimal solution of the system of equations, which is the minimum value

, and

.

Решение {

}, соответствующее минимальному значению

, принимается в качестве окончательного решения, причем окончательное решение оценивается посредством метрики

. Solution {

} corresponding to the minimum value

, is taken as the final decision, and the final decision is estimated by means of the metric

.

Поскольку полный перебор является вычислительно затратным, требуется применить некоторую стратегию оптимального поиска. В примерном варианте осуществления настоящего изобретения использован метод деления отрезка пополам. В качестве начальной точки поиска оптимального решения берется результат, полученный с помощью предрасчитанного ядра PSF.Since exhaustive search is computationally expensive, some optimal search strategy is required. In an exemplary embodiment of the present invention, the method of dividing a segment in half is used. As a starting point for the search for the optimal solution, the result obtained using the precalculated PSF kernel is taken.

В альтернативных вариантах осуществления настоящего изобретения могут применяться и другие известные методы оптимизации.In alternative embodiments of the present invention, other well-known optimization techniques may be used.

Такой вариант осуществления позволяет повысить качество компенсации ошибок и устойчивость системы к шумам.Such an embodiment improves the quality of error compensation and the noise immunity of the system.

По меньшей мере некоторые из описанных выше этапов могут быть реализованы посредством модели AI (artificial intelligence искусственный интеллект). Функции, связанные с AI, могут выполняться с использованием энергонезависимой памяти, энергозависимой памяти и процессора.At least some of the steps described above can be implemented using an AI (artificial intelligence) model. AI-related functions can be performed using non-volatile memory, volatile memory, and a processor.

Процессор может включать в себя один или несколько процессоров. В это время один или несколько процессоров могут быть процессором общего назначения, например центральным процессором (CPU), процессором приложений (AP) или т.п., блоком обработки только графики, таким как блок обработки графики (GPU), блок визуальной обработки (VPU) и/или специализированный процессор AI, такой как блок нейронной обработки (NPU).The processor may include one or more processors. At this time, one or more processors may be a general purpose processor such as a central processing unit (CPU), an application processor (AP) or the like, a graphics only processing unit such as a graphics processing unit (GPU), a visual processing unit (VPU). ) and/or a dedicated AI processor such as a Neural Processing Unit (NPU).

Один или несколько процессоров управляют обработкой входных данных в соответствии с заранее определенным правилом работы или моделью искусственного интеллекта (AI), хранящейся в энергонезависимой памяти и энергозависимой памяти. Предварительно определенное рабочее правило или модель искусственного интеллекта предоставляется посредством обучения или тренировки.One or more processors manage the processing of input data in accordance with a predetermined operating rule or artificial intelligence (AI) model stored in non-volatile memory and non-volatile memory. A predetermined operating rule or artificial intelligence model is provided through training or training.

Здесь предоставление посредством обучения означает, что, применяя алгоритм обучения к множеству обучающих данных, создается предварительно определенное рабочее правило или модель AI с желаемой характеристикой. Обучение может выполняться в самом устройстве, в котором выполняется AI согласно варианту осуществления, и/или может быть реализовано посредством отдельного сервера/системы.Here, provision by training means that by applying a learning algorithm to a set of training data, a predefined working rule or AI model with the desired performance is created. The training may be performed on the device itself on which the AI is running according to the embodiment and/or may be implemented by a separate server/system.

Модель AI может состоять из множества уровней нейронной сети. Каждый уровень имеет множество значений весов и выполняет операцию уровня посредством вычисления предыдущего уровня и операции множества весов. Примеры нейронных сетей включают, помимо прочего, сверточную нейронную сеть (CNN), глубокую нейронную сеть (DNN), рекуррентную нейронную сеть (RNN), ограниченную машину Больцмана (RBM), глубокую сеть доверия (DBN), двунаправленную рекуррентную глубокую нейронную сеть (BRDNN), генеративно-состязательные сети (GAN) и глубокие Q-сети.An AI model can be composed of many layers of a neural network. Each level has a set of weights and performs a level operation by calculating the previous level and a set of weights operation. Examples of neural networks include, but are not limited to, Convolutional Neural Network (CNN), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN). ), generative adversarial networks (GANs), and deep Q-nets.

Алгоритм обучения - это метод обучения заранее определенного целевого устройства (например, робота) с использованием множества обучающих данных, чтобы вызывать, разрешать или управлять целевым устройством для выполнения определения или прогнозирования. Примеры алгоритмов обучения включают, но не ограничиваются ими, обучение с учителем, обучение без учителя, обучение с частичным привлечением учителя или обучение с подкреплением.A learning algorithm is a method of teaching a predetermined target device (eg, a robot) using a set of training data to call, enable, or control the target device to perform a determination or prediction. Examples of learning algorithms include, but are not limited to, supervised learning, unsupervised learning, partially supervised learning, or reinforcement learning.

Следует понимать, что хотя в настоящем документе для описания различных элементов, компонентов, областей, слоев и/или секций, могут использоваться такие термины, как "первый", "второй", "третий" и т.п., эти элементы, компоненты, области, слои и/или секции не должны ограничиваться этими терминами. Эти термины используются только для того, чтобы отличить один элемент, компонент, область, слой или секцию от другого элемента, компонента, области, слоя или секции. Так, первый элемент, компонент, область, слой или секция может быть назван вторым элементом, компонентом, областью, слоем или секцией без выхода за рамки объема настоящего изобретения. В настоящем описании термин "и/или" включает любые и все комбинации из одной или более из соответствующих перечисленных позиций. Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.It should be understood that although terms such as "first", "second", "third" and the like may be used herein to describe various elements, components, regions, layers and/or sections, these elements, components , regions, layers and/or sections should not be limited by these terms. These terms are only used to distinguish one element, component, region, layer, or section from another element, component, region, layer, or section. Thus, a first element, component, region, layer, or section may be referred to as a second element, component, region, layer, or section without departing from the scope of the present invention. As used herein, the term "and/or" includes any and all combinations of one or more of the respective listed positions. Elements mentioned in the singular do not exclude the plurality of elements, unless otherwise specified.

Функциональность элемента, указанного в описании или формуле изобретения как единый элемент, может быть реализована на практике посредством нескольких компонентов устройства, и наоборот, функциональность элементов, указанных в описании или формуле изобретения как несколько отдельных элементов, может быть реализована на практике посредством единого компонента.The functionality of an element specified in the description or claims as a single element may be practiced by several components of the device, and vice versa, the functionality of elements indicated in the description or claims as several separate elements can be practiced by means of a single component.

Варианты осуществления настоящего изобретения не ограничиваются описанными здесь вариантами осуществления. Специалисту в области техники на основе информации изложенной в описании и знаний уровня техники станут очевидны и другие варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.Embodiments of the present invention are not limited to the embodiments described herein. Specialist in the field of technology on the basis of the information set forth in the description and knowledge of the prior art will become apparent and other embodiments of the invention that do not go beyond the essence and scope of this invention.

Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.Elements mentioned in the singular do not exclude the plurality of elements, unless otherwise specified.

Специалисту в области техники должно быть понятно, что сущность изобретения не ограничена конкретной программной или аппаратной реализацией, и поэтому для осуществления изобретения могут быть использованы любые программные и аппаратные средства известные в уровне техники. Так аппаратные средства могут быть реализованы в одной или нескольких специализированных интегральных схемах, цифровых сигнальных процессорах, устройствах цифровой обработки сигналов, программируемых логических устройствах, программируемых пользователем вентильных матрицах, процессорах, контроллерах, микроконтроллерах, микропроцессорах, электронных устройствах, других электронных модулях, выполненных с возможностью осуществлять описанные в данном документе функции, компьютер либо комбинации вышеозначенного.A person skilled in the art should be clear that the essence of the invention is not limited to a particular software or hardware implementation, and therefore for the implementation of the invention can be used in any software and hardware known in the prior art. Thus, hardware may be implemented in one or more ASICs, digital signal processors, digital signal processors, programmable logic devices, user programmable gate arrays, processors, controllers, microcontrollers, microprocessors, electronic devices, other electronic modules configured to perform the functions described in this document, a computer, or a combination of the above.

Очевидно, что, когда речь идет о хранении данных, программ и т.п., подразумевается наличие компьютерно-читаемого носителя данных. Примеры компьютерно-читаемых носителей данных включают в себя постоянное запоминающее устройство, оперативное запоминающее устройство, регистр, кэш-память, полупроводниковые запоминающие устройства, магнитные носители, такие как внутренние жесткие диски и съемные диски, магнитооптические носители и оптические носители, такие как диски CD-ROM и цифровые универсальные диски (DVD), а также любые другие известные в уровне техники носители данных.Obviously, when it comes to storing data, programs, and the like, the presence of a computer-readable storage medium is implied. Examples of computer-readable storage media include read only memory, random access memory, register, cache memory, semiconductor storage devices, magnetic media such as internal hard drives and removable drives, magneto-optical media, and optical media such as CD-ROMs. ROMs and digital versatile discs (DVDs), as well as any other storage media known in the art.

Несмотря на то, что примерные варианты осуществления были описаны и показаны на сопроводительных чертежах, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать более широкое изобретение, и что данное изобретение не должно ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку различные другие модификации могут быть очевидны специалистам в соответствующей области.Although exemplary embodiments have been described and shown in the accompanying drawings, it should be understood that such embodiments are illustrative only and are not intended to limit the broader invention, and that the invention should not be limited to the particular arrangements and structures shown and described, since various other modifications may be apparent to those skilled in the art.

Признаки, упомянутые в различных зависимых пунктах формулы, а также варианты осуществления, раскрытые в различных частях описания, могут быть скомбинированы с достижением полезных эффектов, даже если возможность такого комбинирования не раскрыта явно.Features mentioned in various dependent claims, as well as embodiments disclosed in various parts of the description, can be combined to achieve beneficial effects, even if the possibility of such a combination is not explicitly disclosed.

Claims

1. A method for generating a depth map with range measurement error correction for a ToF camera, which includes the steps of:

- preliminarily estimate the calculated PSF (point spread function) distribution model for the ToF camera;

- carry out the capture of the image of the scene by means of a ToF camera;

compensating phantom signals in the captured scene image data with said PSF;

- form a depth map using the corrected data,

moreover, the step of preliminary estimation of the calculated PSF distribution model includes the steps of:

- set the optical model of the optical system of the camera;

- simulating light scattering in the optical system based on said predetermined model of the optical system;

- calculate the PSF of the optical system;

- PSF is approximated by a polynomial radius function, where the radius is the distance from the given pixel to the center of the image.

2. The method for generating a depth map according to claim 1, wherein the calculation of the PSF of the optical system is carried out in accordance with the following expression:

,

where

- the level (intensity) of the scattered signal over the camera sensor, represented as a two-dimensional function (matrix), with an input signal arriving at the pixel (i, j),

- PSF core with input signal coming to pixel (i, j).

3. The method for generating a depth map according to claim 2, in which at the approximation stage

is approximated by the function

, and each core

depends on the distance from the given pixel to the center of the image.

4. The method for generating a depth map according to claim 3, in which

given by:

,

where A(r) is a gain depending on the distance from a given pixel to the center of the image, and G is a 3×3 kernel that approximates local light aberrations in the vicinity of the pixel.

5. The method for generating a depth map according to claim 1, wherein compensation of phantom signals in the captured scene image data is performed in accordance with the expression:

,

where

- the level of the compensated (restored) signal in the pixel (i, j),

- scattered signal level in a pixel (i, j),

- level of the measured signal in the pixel (i, j) of the sensor.

6. The method for generating a depth map according to claim 1, wherein the step of pre-estimating the calculated PSF distribution model further includes optimizing the obtained PSF using machine learning based on data sets including image pairs consisting of an image with artifacts and an image without artifacts. artifacts.

7. The method for generating a depth map according to claim 1, wherein in the optical model of the optical system of the ToF camera, the point object is modeled as a point light source.

8. The method for generating a depth map according to claim 1, wherein the method further comprises the step of iteratively evaluating the corrected data of the captured scene image before generating the depth map.