RU2382406C1 - Method of improving disparity map and device for realising said method - Google Patents
Method of improving disparity map and device for realising said method Download PDFInfo
- Publication number
- RU2382406C1 RU2382406C1 RU2008140111/28A RU2008140111A RU2382406C1 RU 2382406 C1 RU2382406 C1 RU 2382406C1 RU 2008140111/28 A RU2008140111/28 A RU 2008140111/28A RU 2008140111 A RU2008140111 A RU 2008140111A RU 2382406 C1 RU2382406 C1 RU 2382406C1
- Authority
- RU
- Russia
- Prior art keywords
- disparity
- image
- disparity map
- stereo
- map
- Prior art date
Links
Images
Abstract
Description
Заявляемое изобретение относится к способам обработки изображений, а более конкретно - к способам и системам для улучшения необработанной плотной карты диспарантности, полученной на основе алгоритмов совмещения стереопар и процесса составления эскиза карты диспарантности.The claimed invention relates to methods for image processing, and more specifically to methods and systems for improving an unprocessed dense disparity map obtained on the basis of stereo pairing algorithms and a sketch process of a disparity map.
Наличие плотной карты диспарантности требуется в целом ряде приложений, таких как навигация робота, создание виртуальной реальности, построение трехмерных моделей и объемное телевидение. Для современных мультивидовых трехмерных дисплеев одной из ключевых технологий для воспроизведения объемных сцен является технология создания виртуальных видов одной и той же сцены для разных точек обзора. Такие виртуальные виды могут быть сформированы на основе стереоконтента и плотной карты диспарантности.A dense disparity map is required in a number of applications, such as robot navigation, creating virtual reality, building three-dimensional models and surround television. For modern multi-view three-dimensional displays, one of the key technologies for reproducing three-dimensional scenes is the technology of creating virtual views of the same scene for different points of view. Such virtual views can be formed on the basis of stereo content and a dense disparity map.
Задача вычисления плотной карты диспарантности заключается в нахождении однозначного соответствия между точками, принадлежащими двум или нескольким видам одной сцены. Представляется, что это является некорректно поставленной задачей, особенно для нетекстурированных участков изображения и для участков, содержащих преграждающий объект.The task of calculating a dense disparity map is to find an unambiguous correspondence between points belonging to two or more types of one scene. It seems that this is an incorrectly posed task, especially for non-textured image areas and for areas containing a blocking object.
Недавно предложенная классификация (D. Scharstein and R. Szeliski. A Taxonomy and Evaluation of Dense two-frame stereocorrespondence algorithms. In IJCV, volume 47(1), 2002.) подразделяет стерео алгоритмы вычисления карты диспарантности на глобальные и локальные. Глобальные алгоритмы устанавливают значения карты диспарантности на основе минимизации функции глобальной стоимости, формируя, в результате, точную карту диспарантности, но при этом требуют очень высоких вычислительных ресурсов. Локальные алгоритмы вычисляют значения карты диспарантности на основе ограничения по фотометрической совместимости двух совмещаемых пикселей. При этом как правило результат стереосовмещения усредняют в окне с радиусом в несколько пикселей. В результате получается менее точная карта диспарантности. Однако, локальные алгоритмы могут быть использованы в приложениях, работающих в режиме реального времени.The recently proposed classification (D. Scharstein and R. Szeliski. A Taxonomy and Evaluation of Dense two-frame stereocorrespondence algorithms. In IJCV, volume 47 (1), 2002.) subdivides stereo disparity map calculation algorithms into global and local. Global algorithms set the disparity map values based on minimizing the global cost function, forming, as a result, an accurate disparity map, but at the same time require very high computing resources. Local algorithms compute the values of the disparity map based on the limitation on the photometric compatibility of two compatible pixels. In this case, as a rule, the result of stereo alignment is averaged in a window with a radius of several pixels. The result is a less accurate disparity map. However, local algorithms can be used in real-time applications.
Согласно общепризнанной классификации алгоритмы вычисления диспарантности (совмещения стереопары) обычно включают в себя выполнение следующих четырех операций:According to the generally accepted classification, disparity calculation algorithms (stereo pair matching) usually include the following four operations:
1. Вычисление функции стоимости совмещения стереопары1. The calculation of the cost function of combining a stereo pair
2. Агрегирование функции стоимости2. Aggregation of the cost function
3. Вычисление/оптимизация карты диспарантности.3. Calculation / optimization of the disparity card.
4. Улучшение карты диспарантности.4. Improving the disparity map.
В простейшем случае функция стоимости совмещения стерео пары представляет собой сумму абсолютных разностей (SAD), которая используется на этапе 1. Известны также другие способы измерения степени совмещения, такие как нормализованная перекрестная корреляция (корреляция NCC), модифицированная нормализованная корреляция (MNCC), ранговое преобразование, и т.д. В традиционном алгоритме совмещения стерео пары выбирается значение диспарантности, которое минимизирует функцию стоимости для каждого пикселя (этап 3).In the simplest case, the stereo pair matching cost function is the sum of the absolute differences (SAD), which is used in
Ограничение по фотометрической совместимости, применяемое к единственной паре пикселей, не позволяет получить однозначное решение. Вместо сравнения индивидуальных пикселей обычно группируют несколько соседних пикселей в окно поддержки (этап 2) и сравнивают их яркость с яркостью пикселей в другом окне.The photometric compatibility limit applied to a single pair of pixels does not provide an unambiguous solution. Instead of comparing individual pixels, usually several neighboring pixels are grouped into a support window (step 2) and their brightness is compared with the brightness of pixels in another window.
Существует, однако, еще одна проблема, а именно проблема с функцией стоимости совмещения, поскольку размер окна поддержки должен быть достаточно большим для включения достаточного числа вариаций яркости и, в то же время, достаточно малым для того, чтобы избежать проявления эффекта перспективных искажений.However, there is another problem, namely the problem with the combination cost function, since the size of the support window should be large enough to include a sufficient number of brightness variations and, at the same time, small enough to avoid the effect of perspective distortions.
Именно поэтому предлагаются новые подходы к решению этой задачи, в которых предусматривают адаптивный выбор размера окна поддержки в зависимости от локальных вариаций насыщенности. В частности, Kanade и Okutomi (см. http://www.cs.cmu.edu/afs/cs/project/VirtualizedR/www/ko_stereo/ko_stereo. html) [1] делают попытку найти идеальное по размеру и форме окно для каждого пикселя в изображении. Основной недостаток такого подхода заключается в вычислительной сложности и зависимости от исходной карты диспарантности.That is why new approaches to solving this problem are proposed, in which they provide an adaptive choice of the size of the support window depending on local saturation variations. In particular, Kanade and Okutomi (see http://www.cs.cmu.edu/afs/cs/project/VirtualizedR/www/ko_stereo/ko_stereo.html) [1] try to find a window that is ideal in size and shape for each pixel in the image. The main disadvantage of this approach is the computational complexity and dependence on the original disparity map.
Тем не менее, даже наиболее удачные из предложенных в последнее время решений демонстрируют ошибки в значениях карты диспарантности. Для некоторых приложений, таких как навигация роботов или отслеживание объекта, наличие небольшого числа ошибок является приемлемым. Однако для синтеза виртуальных видов и объемного телевидения даже незначительные ошибки в карте диспарантности могут привести к неприемлемым результатам. Поэтому возникла необходимость в разработке способа улучшения и уточнения необработанной карты диспарантности. Известны следующие методики улучшения карты диспарантности (этап 4): медианный фильтр для отсеивания ложных несовпадений, распространение соседних значений диспарантности с помощью диффузионного процесса, вычисление карты диспарантности на уровне суб-пикселей, и т.п.Nevertheless, even the most successful solutions proposed recently show errors in the values of the disparity map. For some applications, such as robot navigation or object tracking, a small number of errors is acceptable. However, for the synthesis of virtual modes and surround television, even minor errors in the disparity map can lead to unacceptable results. Therefore, there was a need to develop a method for improving and clarifying the raw disparity card. The following methods are known for improving the disparity map (step 4): a median filter for filtering out false inconsistencies, spreading neighboring disparity values using a diffusion process, calculating a disparity map at the sub-pixel level, etc.
В патенте США №7330593 [2] описаны способ и система, обеспечивающие совмещение изображений посредством идентификации множества сегментов в, по меньшей мере, двух изображениях, определяя исходные значения диспарантности для пикселей этих изображений, а затем определяя плоскости исходной карты диспарантности для этих сегментов путем подгонки плоскостей к исходным значениям карты диспарантности для этих сегментов. Процедура улучшения выполняется с использованием различных функций подгонки веса и взвешенных линейных систем. Основным недостатком такой системы являются весьма дорогостоящие с точки зрения вычислительных ресурсов процедуры извлечения сегментов и подгонки, что затрудняет ее использование в приложениях, работающих в режиме реального времени.US patent No. 7330593 [2] describes a method and system for combining images by identifying multiple segments in at least two images, determining the initial disparity values for the pixels of these images, and then determining the plane of the original disparity map for these segments by fitting planes to the initial values of the disparity map for these segments. The improvement procedure is performed using various weight adjustment functions and weighted linear systems. The main disadvantage of such a system is the procedure for extracting segments and fitting, which is very expensive from the point of view of computational resources, which complicates its use in applications operating in real time.
Патент США №5867591 [3] описывает способ вычисления диспарантности между стерео изображениями, основывающийся на выполнении следующих этапов: извлечение характерных признаков с последующим их совмещением и вычисление карты диспарантности. Одним из недостатков способа совмещения признаков является то, что для совмещения признаков используют только небольшое подмножество пикселей изображения. Кроме того, некачественный синтез виртуальных видов происходит из-за нерешенных проблем, вызванных поверхностями со слабо выраженной текстурой, областями с преграждающими объектами и повторяющимися структурами.US patent No. 5867591 [3] describes a method for calculating the disparity between stereo images, based on the following steps: extraction of characteristic features with their subsequent combination and calculation of the disparity map. One of the disadvantages of the method of combining features is that to combine the features using only a small subset of the image pixels. In addition, poor-quality synthesis of virtual species occurs due to unsolved problems caused by surfaces with a weakly pronounced texture, areas with blocking objects and repeating structures.
В патенте США №6931150 [4] предложен способ детектирования и устранения ошибок карты диспарантности, вызванных преградами на изображении. Этот способ для стереопары, состоящей из левого и правого изображения, может быть описан следующим образом. Сначала находят для каждой точки левого изображения соответствующую точку на правом изображении. Затем для каждой найденной точки выполняют реверсивный поиск наилучшего соответствия на левом изображении. В итоге оставляют только те когерентные совпадения, которые отвечают условию правого/левого соответствия. В ином случае детектируют ошибку, вызванную преграждающим объектом. Для этого способа присущи также недостатки, отмеченные в связи со способом [3], за исключением проблемы с преграждающим объектом.US Pat. No. 6,931,150 [4] proposes a method for detecting and eliminating disparity map errors caused by obstructions in an image. This method for a stereo pair consisting of a left and a right image can be described as follows. First, for each point of the left image, a corresponding point on the right image is found. Then, for each found point, a reverse search for the best match in the left image is performed. As a result, only those coherent matches are left that meet the right / left match condition. Otherwise, an error caused by the blocking object is detected. For this method, there are also disadvantages noted in connection with the method [3], with the exception of the problem with the blocking object.
Патенты США №7106899 [5] и №6931150 [6] описывают способ последовательного совмещения стерео пар цифровых изображений с использованием методики последовательных итераций, которая основана на принципе ограничения поля градиентов диспарантности и стратегии наименьшего обязательства (least commitment strategy). Находят однозначные соответствия пикселей, начиная с нескольких достоверных соответствий, и постепенно выявляют все больше однозначных соответствий. После чего однозначные соответствия пикселей находят, используя корреляционные методы и основываясь на степени корреляции, связанной с совмещением пикселей.US patents No. 7106899 [5] and No. 6931150 [6] describe a method for sequentially combining stereo pairs of digital images using the sequential iteration technique, which is based on the principle of limiting the field of disparity gradients and the least commitment strategy. Unambiguous correspondences of pixels are found, starting with several reliable correspondences, and gradually more and more unambiguous correspondences are revealed. After that, unequivocal correspondences of pixels are found using correlation methods and based on the degree of correlation associated with pixel alignment.
Выложенная патентная заявка США №2008/0170067 [7] описывает способ улучшения эффекта воспроизведения трехмерных изображений посредством извлечения карты характерных признаков из исходного изображения на основе сигнала об оценке восприятия глубины и выполнения процедуры дифференциации изображения на основе карты характерных признаков.U.S. Patent Application Laid-Open No. 2008/0170067 [7] describes a method for improving the effect of reproducing three-dimensional images by extracting a feature map from a source image based on a signal for evaluating depth perception and performing an image differentiation procedure based on a feature map.
В патенте США №6320978 [8] описан способ реконструкции стерео пары с использованием послойного подхода и способа улучшения слоев посредством представления сцены в виде набора слоев изображения, отличающихся по таким параметрам, как ориентация, положение, карта остаточной глубины и т.п. Этот способ предусматривает первоначальную оценку плоских слоев и желаемых параметров. Затем эти оценки уточняют на основе карты остаточной глубины, ассоциированной с каждым слоем.US Pat. No. 6,320,978 [8] describes a method for reconstructing a stereo pair using a layered approach and a method for improving layers by representing a scene as a set of image layers differing in such parameters as orientation, position, residual depth map, and the like. This method provides an initial assessment of planar layers and desired parameters. These estimates are then refined based on the residual depth map associated with each layer.
Патент США №7224355 [9] касается способа дополнительной пост-обработки трехмерного цифрового видеосигнала, имеющего множество проекций с ассоциированными картами диспарантности. Описанный способ улучшает карту диспарантности в рамках системы связи, использующей трехмерное видео. Искажения значений глубины/диспарантности, вызванные сжатием MPEG, исправляют путем заполнения пустот в карте перспективной диспарантности, используя интерполяцию соседних достоверных значений диспарантности.US patent No. 7224355 [9] relates to a method for additional post-processing of a three-dimensional digital video signal having multiple projections with associated disparity cards. The described method improves the disparity map within a communication system using three-dimensional video. The distortion of the depth / disparity values caused by the MPEG compression is corrected by filling in the voids in the prospective disparity map using interpolation of adjacent reliable disparity values.
Наиболее близкими к заявляемому изобретению признаками обладают решения, описанные в [5] и [8]. Основой недостаток известных способов улучшения карты диспарантности заключается в необходимости иметь высококачественный способ сегментации изображения, что влечет за собой высокую стоимость вычислительных ресурсов. Кроме того, известные подходы к процедуре улучшения в высокой степени интегрированы с конкретными способами совмещения стереопар. Проблема несовпадения контуров диспарантности с границами объекта остается открытой для многих алгоритмов совмещения стерео пар и приводит к появлению размытых контуров в восстановленных трехмерных сценах.Closest to the claimed invention features have the solutions described in [5] and [8]. The main disadvantage of the known methods for improving the disparity map is the need to have a high-quality image segmentation method, which entails the high cost of computing resources. In addition, well-known approaches to the improvement procedure are highly integrated with specific methods for combining stereo pairs. The problem of mismatch between disparity paths and object boundaries remains open for many stereo pairing algorithms and leads to blurry outlines in reconstructed three-dimensional scenes.
Вычисление карты диспарантности на основе стерео контента представляется некорректной задачей, особенно для поверхностей со слабо выраженной текстурой, участков с неоднородностями глубины, участков с преграждающими объектами и повторяющейся структурой, что приводит к неоднозначному решению. Это значит, что лишь некоторые значения карты диспарантности являются достоверными и однозначными. Некоторые значения карты диспарантности, например, на участках с преграждающим объектом, не поддаются вычислению через совмещение стереопар, поскольку эти участки видны лишь на одном изображении. В то же время, процедура синтеза высококачественной виртуальной проекции требует наличия:The calculation of a disparity map based on stereo content seems to be an incorrect task, especially for surfaces with a weakly pronounced texture, sections with depth heterogeneities, sections with blocking objects and a repeating structure, which leads to an ambiguous solution. This means that only some disparity card values are reliable and unambiguous. Some values of the disparity map, for example, in areas with a blocking object, cannot be calculated by combining stereo pairs, since these areas are visible in only one image. At the same time, the synthesis of high-quality virtual projection requires:
- плотной карты диспарантности, определяющей значение диспарантности для каждого пикселя на изображении, к которому относится карта диспарантности;- a dense disparity map that defines the disparity value for each pixel in the image to which the disparity map belongs;
- четких границ карты диспарантности, точно совпадающих с границами объекта;- clear boundaries of the disparity map that exactly match the boundaries of the object;
- сглаженных значений карты диспарантности в пределах объекта.- the smoothed values of the disparity map within the facility.
Известные из уровня техники решения делают упор на использование различных стратегий оптимизации функции стоимости, таких как динамическое программирование, сечение графа, совмещение стереопары путем сегментации и т.п. Однако такие решения требуют больших вычислительных ресурсов и не формируют сглаженной карты диспарантности, пригодной для синтеза виртуальных видов без искажений.The prior art solutions emphasize the use of various strategies for optimizing the cost function, such as dynamic programming, graph section, stereo pair matching by segmentation, etc. However, such solutions require large computational resources and do not form a smoothed disparity map suitable for the synthesis of virtual species without distortion.
Задача, на решение которой направлено заявляемое изобретение, заключается в разработке такого способа построения карты диспарантности, с помощью которой было бы возможно синтезировать виртуальные виды без заметных искажений, не требуя значительных вычислительных ресурсов, а также в разработке устройства для реализации такого способа.The problem to which the claimed invention is directed is to develop such a method of constructing a disparity map with which it would be possible to synthesize virtual views without noticeable distortion, without requiring significant computational resources, and also to develop a device for implementing this method.
Технический эффект при решении поставленной задачи достигается за счет разработки усовершенствованного способа улучшения карты диспарантности, включающего в себя выполнение следующих операций:The technical effect in solving the problem is achieved by developing an improved method for improving the disparity map, which includes the following operations:
- формируют исходную карту диспарантности путем присвоения начальных значений диспарантности каждому пикселю опорного цветного изображения;- form the initial disparity map by assigning the initial disparity values to each pixel of the reference color image;
- определяют недостоверные значения диспарантности путем проведения анализа структуры и детектирования преград;- determine unreliable disparity values by analyzing the structure and detecting barriers;
- преобразуют опорное цветное изображение в изображение, представленное в зрительно единообразном цветовом пространстве;- convert the reference color image into an image presented in a visually uniform color space;
- сглаживают и улучшают исходную карту диспарантности на основе усредняющего весового фильтра с весами, зависящими от степени достоверности диспарантности, цветового и пространственного расстояний;- smooth and improve the original disparity map based on an averaging weight filter with weights depending on the degree of reliability of the disparity, color and spatial distances;
- подавляют на этапе постобработки мелкие дефекты текстуры и импульсный шум на улучшенной карте диспарантности.- suppress small texture defects and impulse noise on the improved disparity map at the post-processing stage.
Кроме того, предлагается конструкция устройства, с помощью которого реализуется заявляемый способ. При этом такое устройство предлагается в двух вариантах и включает в себя:In addition, the proposed device design, with which the inventive method is implemented. Moreover, such a device is offered in two versions and includes:
В варианте 1, основанном на анализе стерео контента:In
- блок оценки первоначальной карты диспарантности, выполненный с возможностью формирования карты исходной диспарантности на основе стереоконтента путем совмещения стереопары;- an evaluation unit of the initial disparity card, configured to generate an initial disparity card based on stereo content by combining a stereo pair;
- блок детектирования преград, выполненный с возможностью выявления преград на основе исходной карты диспарантности и стереоконтента путем анализа диспарантности с применением условия однозначности;- an obstacle detection unit configured to detect obstructions based on the original disparity map and stereo content by analyzing the disparity using the uniqueness condition;
- блок детектирования пикселей с недостоверной диспарантностью, выполненный с возможностью маркировки пикселей с недостоверной диспарантностью, в отношении которых совмещение стереопар может дать неоднозначный результат;- block detecting pixels with unreliable disparity, configured to mark pixels with unreliable disparity, in respect of which the combination of stereo pairs can give an ambiguous result;
блок конверсии цветового пространства, выполненный с возможностью преобразования опорного цветного изображения в изображение, представленное в другом цветовом пространстве;a color space conversion unit configured to convert a reference color image into an image presented in another color space;
- блок улучшающего сглаживания, основанного на заявляемом способе;- block improving smoothing, based on the claimed method;
- блок постобработки, выполненный с возможностью удаления импульсного шума и слабо выраженной текстуры из улучшенной карты диспарантности.- post-processing unit, configured to remove impulse noise and weakly pronounced texture from the improved disparity map.
В варианте 2, основанном на анализе единственного статического изображения:In option 2, based on the analysis of a single static image:
- блок подготовки эскиза карты диспарантности, выполненный с возможностью формирования эскиза карты диспарантности на основе выявленных расстояний между объектами, представленными на опорном изображении;- block preparation of the sketch of the disparity card, made with the possibility of forming a sketch of the disparity card based on the identified distances between the objects shown on the reference image;
- блок детектирования пикселей с неустановленной диспарантностью, выполненный с возможностью нанесения маркировки «неопределено» на пиксели в эскизе карты диспарантности;- block detecting pixels with unknown disparity, made with the possibility of marking "indefinite" on the pixels in the sketch of the disparity map;
блок конверсии цветового пространства, выполненный с возможностью преобразования опорного изображения в изображение, представленное в другом цветовом пространстве;a color space conversion unit configured to convert a reference image into an image presented in another color space;
- блок улучшающего сглаживания, основанного на заявляемом способе;- block improving smoothing, based on the claimed method;
- блок постобработки, выполненный с возможностью удаления импульсного шума и слабо выраженной текстуры из улучшенной карты диспарантности.- post-processing unit, configured to remove impulse noise and weakly pronounced texture from the improved disparity map.
Таким образом, в отличие от известных из уровня техники способов и устройств, заявляемое изобретение представляет собой устройство и способ для попиксельного улучшения карты диспарантности, основанные на взвешенном усреднении карты диспарантности и позволяющие избежать искажений контуров карты диспарантности, вызванных размыванием и несовпадением границ с объектами, присутствующими на опорном изображении.Thus, in contrast to the methods and devices known from the prior art, the claimed invention is a device and a method for pixel-by-pixel improvement of a disparity map based on weighted averaging of the disparity map and avoiding distortion of the contours of the disparity map caused by blurring and mismatch of borders with objects present in the reference image.
В заявляемом изобретении упор сделан не на минимизацию функции стоимости, а на разработку способа быстрого улучшения исходной карты диспарантности. Главная идея заключается в использовании фильтра взвешенного усреднения для сглаживания и улучшения исходной карты диспарантности на основе опорного цветного изображения и пикселей с достоверной диспарантностью. При этом предполагается, что соседние пиксели сходного цвета имеют сходное значение диспарантности, а достоверные значения диспарантности могут приписываться неоднозначным пикселям на основе цветового и пространственного сходства на опорном цветном изображении. Кроме того, такая фильтрация улучшает пиксели с достоверной диспарантностью и формирует плотную и сглаженную карту диспарантности, отвечающую вышеуказанным требованиям к карте диспарантности.In the claimed invention, the emphasis is not on minimizing the cost function, but on the development of a method for rapidly improving the original disparity map. The main idea is to use a weighted averaging filter to smooth and improve the original disparity map based on the reference color image and pixels with reliable disparity. It is assumed that neighboring pixels of similar color have a similar disparity value, and reliable disparity values can be attributed to ambiguous pixels based on color and spatial similarity in the reference color image. In addition, such filtering improves pixels with reliable disparity and forms a dense and smoothed disparity map that meets the above requirements for a disparity map.
На первой стадии выполнения заявляемого способа маркируют недостоверные пиксели, а также пиксели находящиеся в области с преградой, так называемые пиксели преграды. Затем каждому пикселю присваивают весовое значение, вычисленное на основе степени достоверности с учетом пространственного и цветового расстояний до центрального пикселя опорного изображения в рамках скользящего окна. Отфильтрованное значение карты диспарантности получают путем сложения произведений значений диспарантности и соответствующих весов. Если какое-либо значение диспарантности помечено, как недостоверное, оно не будет приниматься во внимание при фильтровании. Улучшенное таким образом значение диспарантности будет основано только на достоверных значениях диспарантности в рамках скользящего окна. Помимо этого, заявляемое изобретение позволяет получать точные границы глубины, которые совпадают с границами объекта, поскольку веса вычисляют на основе опорного цветного изображения методом адаптивного сохранения контура. Использование разделяемых ядер фильтра и параллельное выполнение на нескольких процессорах делает возможным эффективное применение заявляемого способа в режиме реального времени.In the first stage of the implementation of the proposed method, false pixels are marked, as well as pixels located in the area with a barrier, the so-called pixel of the barrier. Then, each pixel is assigned a weight value calculated on the basis of the degree of reliability, taking into account the spatial and color distances to the central pixel of the reference image within a sliding window. The filtered value of the disparity map is obtained by adding the products of the disparity values and the corresponding weights. If any disparity value is marked as invalid, it will not be taken into account when filtering. The disparity value improved in this way will be based only on reliable disparity values within a sliding window. In addition, the claimed invention allows to obtain accurate depth boundaries that coincide with the boundaries of the object, since the weights are calculated on the basis of the reference color image by the adaptive path conservation method. The use of shared filter cores and parallel execution on several processors makes it possible to effectively use the proposed method in real time.
Для лучшего понимания заявляемого изобретения далее приводится его детальное описание с привлечением графических материалов.For a better understanding of the claimed invention the following is a detailed description with the involvement of graphic materials.
Фиг.1 - алгоритм выполнения способа улучшения карты диспарантности на основе опорного цветного изображения согласно заявляемому изобретению.Figure 1 is a flowchart of a method for improving a disparity map based on a reference color image according to the claimed invention.
Фиг.2 - блок-схема устройства для получения и улучшения карты диспарантности на основе стереоконтента согласно заявляемому изобретению.Figure 2 is a block diagram of a device for obtaining and improving disparity maps based on stereo content according to the claimed invention.
Фиг.3 - блок-схема устройства получения и улучшения карты диспарантности на основе единственного статического изображения и эскиза карты диспарантности согласно заявляемому изобретению.Figure 3 is a block diagram of a device for obtaining and improving a disparity card based on a single static image and a sketch of a disparity card according to the claimed invention.
Фиг.4 - пояснение принципа подготовки и улучшения эскиза карты диспарантности согласно одному из вариантов заявляемого изобретения.Figure 4 - explanation of the principle of preparation and improvement of the sketch of the disparity card according to one of the variants of the claimed invention.
Фиг.5 - пояснение принципа вычисления весов и усреднения диспарантностей согласно одному из вариантов заявляемого изобретения.5 is an explanation of the principle of calculating weights and averaging disparities according to one embodiment of the claimed invention.
Фиг.6 - показывает опорное цветное изображение 6.1, исходную карту 6.2 диспарантности, недостоверные диспарантности 6.3 и результат 6.4 сглаживания и улучшения согласно заявляемому изобретению.6 - shows a reference color image 6.1, the original disparity map 6.2, unreliable disparity 6.3 and the result of 6.4 smoothing and improvement according to the claimed invention.
В заявляемом изобретении предлагается концепция улучшения исходной карты диспарантности на основе опорного изображения. При этом получают сглаженную и совпадающую с границами объектов карту диспарантности, пригодную для формирования виртуальных видов.The claimed invention proposes a concept for improving an initial disparity map based on a reference image. At the same time, a disparity map suitable for the formation of virtual species is obtained, which is smoothed and coincides with the boundaries of the objects.
Исходная карта диспарантности, которая подлежит улучшению, может быть разреженной или плотной. Однако более разреженная карта диспарантности требует скользящего окна более крупного размера или нескольких итераций заявляемого способа. Кроме того, предполагается, что плотность правильных значений диспарантности превышает плотность ошибочных значений диспарантности в некоторой локальной окрестности. Это позволяет осуществлять распространение правильных значений диспарантности на ошибочные значения.The original disparity map to be improved may be sparse or dense. However, a more sparse disparity map requires a larger sliding window or several iterations of the proposed method. In addition, it is assumed that the density of the correct disparity values exceeds the density of the erroneous disparity values in some local neighborhood. This allows the propagation of the correct disparity values to erroneous values.
Заявляемое изобретение следует применять в сочетании со съемочной аппаратурой, такой как стандартные видеокамеры, цифровые фотокамеры, стереокамеры и многокамерные системы.The claimed invention should be used in combination with filming equipment, such as standard video cameras, digital cameras, stereo cameras and multi-camera systems.
В одном из вариантов реализации заявляемого изобретения использована стереокамера для получения стереоконтента, который, в общем случае, представляет собой пару изображений, называемых стереоизображениями.In one embodiment of the claimed invention, a stereo camera is used to obtain stereo content, which, in the General case, is a pair of images called stereo images.
Для расчета исходной карты диспарантности и для иллюстрации одного из вариантов реализации изобретения будет использован стандартный алгоритм совмещения (алгоритм описанный в D.Scharstein and R.Szeliski. A Taxonomy and Evaluation of Dense two-frame stereocorrespondence algorithms. In IJCV, volume 47(1), 2002.) [10] стерео пары, при этом для специалиста ясно, что для реализации заявляемого изобретения можно использовать также другие алгоритмы совмещения стереопары.To calculate the original disparity map and to illustrate one embodiment of the invention, a standard matching algorithm will be used (the algorithm described in D. Scharstein and R. Szeliski. A Taxonomy and Evaluation of Dense two-frame stereocorrespondence algorithms. In IJCV, volume 47 (1) , 2002.) [10] stereo pairs, while it is clear for a specialist that other stereo pairing algorithms can also be used to implement the claimed invention.
Стандартный подход к совмещению стереопары определяет значение диспарантности d для данной точки на одном изображении Ir, называемом опорным изображением, путем выбора точек-кандидатов на другом изображении Im, называемом совмещаемым изображением, путем минимизации функции стоимости совмещения стереопары. Опорное и совмещаемое изображения содержат, по меньшей мере, часть общей сцены, заснятой съемочной аппаратурой. Соответствие между пикселем (х, у) на опорном изображении Ir. и пикселем (х′,у′) на совмещаемом изображении Im задается уравнениемThe standard approach to combining a stereo pair determines the disparity value d for a given point on one image I r , called the reference image, by selecting candidate points on another image I m , called the combining image, by minimizing the cost function of combining the stereo pair. The reference and combined images contain at least a portion of the overall scene captured by the shooting equipment. The correspondence between the pixel (x, y) in the reference image I r . and the pixel (x ′, y ′) on the image to be combined I m is given by the equation
x′=x+d(x,y),x ′ = x + d (x, y),
где d(x,y) - это значение диспарантности для пикселя (х, у).where d (x, y) is the disparity value for the pixel (x, y).
Предполагается, что опорное и совмещаемое изображения являются выровненными, что ведет к следующему равенству у′=у.It is assumed that the reference and aligned images are aligned, which leads to the following equality y ′ = y.
Функцию стоимости совмещения чаще всего вычисляют с помощью окон поддержки, которые в простейшем случае представляют собой квадратные окна с центром в сравниваемых точках. Для прямоугольного окна поддержки размером M×N функция стоимости может быть вычислена на основе следующего уравнения (I):The matching cost function is most often calculated using support windows, which in the simplest case are square windows centered at the points being compared. For a rectangular support window of size M × N, the cost function can be calculated based on the following equation (I):
Затем выбирают пару точек с меньшим значением функции стоимости и определяют значение d диспарантности для точки на опорном цветном изображении на основе следующего уравнения (2):Then, a pair of points with a lower value of the cost function is selected and the disparity value d is determined for the point in the reference color image based on the following equation (2):
Набор вычисленных значений диспарантности образует карту D(x,y) диспарантности, которая определяет диспарантность для каждой точки опорного цветного изображения Ir. Однако методы стандартного совмещения стереопары и другие известные из уровня техники решения приводят к ошибке в диспарантностях на однородно окрашенных участках изображения, на участках с преградой и участках с повторяющимися структурами, что приводит к низкому качеству синтезированных виртуальных видов. Для предотвращения таких ошибок предлагается использовать заявленный способ улучшения карты диспарантности на основе взвешенного усреднения значений диспарантности.The set of calculated disparity values forms a disparity map D (x, y), which determines the disparity for each point of the reference color image I r . However, standard stereo-pairing methods and other known solutions from the prior art lead to an error in disparity on uniformly colored portions of the image, on areas with a barrier and areas with repeating structures, which leads to low quality of the synthesized virtual species. To prevent such errors, it is proposed to use the claimed method for improving the disparity map based on weighted averaging of disparity values.
На фиг.1 представлена диаграмма, иллюстрирующая функционирование заявляемого способа. Процесс начинается с этапа 101 идентификации исходной карты диспарантности. В одном из вариантов исходная карта диспарантности вычисляется путем совмещения стереопары, как в вышеописанном стандартном подходе. Возможно также применение других процедур для вычисления исходной карты диспарантности, таких как интерактивное раскрашивание, осуществляемое пользователем, и автоматическое получение глубины из единственного изображения.Figure 1 presents a diagram illustrating the operation of the proposed method. The process begins with step 101 of identifying the original disparity card. In one embodiment, the original disparity map is calculated by combining a stereo pair, as in the standard approach described above. It is also possible to use other procedures to compute the original disparity map, such as interactive coloring by the user and automatically obtaining depth from a single image.
На следующем этапе выявляют недостоверные диспарантности 102. Пиксели диспарантности помечаются как недостоверные, если точка диспарантности принадлежит, по меньшей мере, одной из следующих групп пикселей: пиксель преграды, пиксель на участке изображения со слабо выраженной структурой, или пиксель с неопределенным значением диспарантности.In the next step, unreliable disparities are detected 102. Disparity pixels are marked as unreliable if the disparity point belongs to at least one of the following groups of pixels: a pixel of the barrier, a pixel in the image with a weak structure, or a pixel with an undefined disparity value.
Для детектирования пикселей преграды заявляемый способ применяет условие однозначности, которое сводится к тому, что трехмерная точка может быть спроецирована не более чем в одну точку каждого изображения стереопары. Если несколько точек на опорном изображении Ir относятся к одной и той же точке на совмещенном изображении Im, то такие точки помечаются как пиксели преграды.For detecting pixels of the obstruction, the claimed method applies the uniqueness condition, which reduces to the fact that a three-dimensional point can be projected into no more than one point of each image of a stereo pair. If several points on the reference image I r refer to the same point on the combined image I m , then such points are marked as pixels of the obstacle.
Точки, принадлежащие участкам со слабо выраженной текстурой, детектируют путем вычисления вариации яркости в рамках данного окна на опорном цветном изображении и сравнения с предустановленным порогом. Если значение вариации ниже порогового значения, то такую точку помечают как недостоверную. Для разреженной карты диспарантности пиксели с неопределенным значением диспарантности помечают как недостоверные. Следует, однако, иметь в виду, что описанная методика определения недостоверного пикселя приведена лишь в качестве примера, и процедуру определения можно реализовывать различными способами.Points belonging to areas with a weakly pronounced texture are detected by calculating the brightness variation within the given window on the reference color image and comparing it with a preset threshold. If the variation value is below the threshold value, then such a point is marked as unreliable. For a sparse disparity map, pixels with an undefined disparity value are marked as invalid. However, it should be borne in mind that the described method for determining an invalid pixel is given only as an example, and the determination procedure can be implemented in various ways.
На этапе 102 пиксели диспарантности разделяют на две группы: достоверные пиксели и недостоверные пиксели. Результат такого разделения сохраняют, например, в бинарном изображении R, принимая достоверные диспарантности за единицу, а недостоверные - за ноль. Возможен также расчет достоверности без сохранения результатов на изображении R.At step 102, the disparity pixels are divided into two groups: valid pixels and invalid pixels. The result of this separation is stored, for example, in a binary image R, taking reliable disparities as unity, and unreliable disparities as zero. It is also possible to calculate the reliability without saving the results on the image R.
На последующих этапах осуществляют распространение достоверной информации, исходя из предположения, что пиксели сходного цвета имеют сходную диспарантность. Для этого используют фильтр взвешенного усреднения. Отфильтрованное значение диспарантности вычисляют путем усреднения диспарантностей в пределах предопределенной окрестности вокруг отфильтрованной точки. Важность диспарантностей для усреднения зависит от достоверности, пространственного и цветового растояний, которые принимаются во внимание в процедуре вычисления веса, рассматриваемой более подробно в следующих абзацах.At subsequent stages, reliable information is disseminated on the basis of the assumption that pixels of similar color have similar disparity. To do this, use a weighted averaging filter. The filtered disparity value is calculated by averaging the disparity within a predetermined neighborhood around the filtered point. The importance of disparity for averaging depends on the reliability, spatial and color distances, which are taken into account in the procedure for calculating the weight, which is discussed in more detail in the following paragraphs.
Как указывалось ранее, для вычисления весов должна быть определена степень цветового сходства. В простейшем случае применяется эвклидово расстояние в цветовом пространстве RGB. Однако RGB не является зрительно единообразным цветовым пространством, а это значит, что изменение на некоторую величину цветового значения не приводит к изменению зрительного восприятия на такую же величину. На этапе 103 выполняется преобразование опорного изображения в изображение, представленное в зрительно единообразном цветовом пространстве, таком как CIELab. После чего для вычисления цветового сходства между пикселями в скользящем окне применяют эвклидово расстояние в цветовом пространстве CIELab.As indicated earlier, the degree of color similarity must be determined to calculate the weights. In the simplest case, the Euclidean distance in the RGB color space is applied. However, RGB is not a visually uniform color space, which means that changing a color value by a certain amount does not lead to a change in visual perception by the same amount. At step 103, the reference image is converted to an image represented in a visually uniform color space, such as CIELab. Then, to calculate the color similarity between the pixels in a sliding window, the Euclidean distance in the CIELab color space is used.
На этапе 104 проводят процедуру улучшения карты диспарантности на основе опорного цветного изображения. Основная идея заключается в том, чтобы сканировать карту диспарантности и опорное цветное изображение двумя одинаковыми скользящими окнами: Sd - скользящее окно для карты диспарантности, Sr - скользящее окно для опорного цветового изображения. Для каждого положения скользящего окна Sd процедура усреднения может быть выражена следующим уравнением:At 104, a procedure for improving the disparity map based on the reference color image is performed. The main idea is to scan the disparity map and the reference color image with two identical sliding windows: S d is the sliding window for the disparity map, S r is the sliding window for the reference color image. For each position of the sliding window S d, the averaging procedure can be expressed by the following equation:
где 
Процедура вычисления веса заключается в следующем. Сначала скользящее окно Sr, центруется в точке Ir(х,у), имеющей те же координаты х, у, что и скользящее окно Sd в точке D(x,y). Вес вычисляется на основе цветового сходства и пространственного расстояния центральной точки q(x,y) скользящего окна Sr и точки р(х+i,y+j), p∈Sr, в том же окне следующим образом:The procedure for calculating weight is as follows. First, the sliding window S r is centered at the point I r (x, y) having the same x, y coordinates as the sliding window S d at the point D (x, y). The weight is calculated based on color similarity and spatial distance of the center point q (x, y) of the sliding window S r and the point p (x + i, y + j), p∈S r , in the same window as follows:
где ΔCpq - цветовое сходство, вычисленное как эвклидово расстояние между двумя цветами точек р и q, ΔJpq - эвклидово расстояние между точками р и q в домене изображения, с1 и с2 - некие предопределенные величины, относящиеся к сглаживанию и эффекту улучшения. Согласно уравнению (4), если диспарантность помечена как недостоверная R(x,у)=0, то соответствующий вес обнуляют. В результате, недостоверные диспарантности не будут учитываться в процессе фильтрации, описанном уравнением (3), и улучшенная диспарантность 
Участки с выраженной текстурой на опорном изображении могут привести к проявлению текстуры на улучшенной карте диспарантности 
Одно из достоинств заявляемого способа состоит в том, что он формирует более точную карту диспарантности за счет распространения достоверной информации путем взвешенного усреднения. Другим преимуществом заявляемого способа является то, что он позволяет формировать сглаженную карту диспарантности, которая точно совпадает с границами объекта. Такой положительный эффект стал возможным, благодаря адаптивному вычислению весов, который зависит от цветового сходства и пространственного расстояния.One of the advantages of the proposed method is that it forms a more accurate disparity map by distributing reliable information by weighted averaging. Another advantage of the proposed method is that it allows you to create a smoothed disparity map that exactly matches the boundaries of the object. This positive effect was made possible thanks to the adaptive calculation of weights, which depends on color similarity and spatial distance.
Что касается фиг.2, то на ней показана блок-схема устройства для вычисления и улучшения карты диспарантности из стереоконтента согласно одному из вариантов реализации заявляемого изобретения. Два цветных изображения 201 и 202 содержат, по меньшей мере, часть общей сцены, заснятой съемочной аппаратурой, такой как стереокамера. Примем, что изображение 201 является опорным изображением, изображение 202 является совмещаемым изображением, а карта диспарантности вычисляется для опорного изображения 201.With regard to figure 2, it shows a block diagram of a device for calculating and improving the disparity card from stereo content according to one embodiment of the claimed invention. Two
Блок 203 оценки необработанной диспарантности вычисляет исходную карту диспарантности с помощью алгоритма совмещения стереопары на основе анализа опорного 201 и совмещаемого 202 изображений. Для вычислении исходной карты диспарантности применяется известная оптимизационная стратегия «победитель получает все» (winner takes all-WTA).The raw
Блок 207 детектирования преград помечает пиксели преграды путем применения условия однозначности к исходной карте 204 диспарантности. Если несколько точек на опорном изображении 201 соотносятся с одной и той же точкой на совмещенном изображении 202, то такие точки помечаются как пиксели преграды.The
Блок 206 детектирования недостоверной диспарантности помечает пиксели с недостоверной диспарантностью, относящиеся к участкам со слабо выраженной текстурой и повторяющимися структурами, путем анализа структуры на изображениях 201, 202 и карте диспарантности 204. Точки, принадлежащие участкам со слабо выраженной текстурой на опорном изображении 201, детектируются путем вычисления вариации яркости в данном окне и сравнением с предопределенным порогом. Если значение вариации ниже порога, точка помечается как недостоверная. Карта 210 недостоверной диспарантности и карта 209 преград подаются в блок 211 сглаживания и улучшения, который осуществляет улучшение исходной карты 204 диспарантноети на основе цветного изображения 208 согласно заявляемому способу.The unreliable
Цветное изображение 208 представляет собой опорное цветное изображение 201 в зрительно-единообразном цветовом пространстве. Преобразование из опорного цветного изображения в изображение в зрительно-единообразном цветовом пространстве выполняют в блоке 205 конверсии цветового пространства.The
Карта 212 диспарантности обрабатывается в блоке 213 постобработки с использованием медианной фильтрации, как описано в заявляемом способе. Улучшенная карта 214 диспарантности используется затем визуальным приложением для дальнейшей обработки, например для синтеза виртуальных видов.The
В другом варианте реализации заявляемого изобретения предлагается использование статического изображения и эскиза карты диспарантности в качестве входных данных для заявляемого способа улучшения карты диспарантности. Эскиз карты диспарантности представляет собой изображение с полутоновыми «мазками» кистью, которые определяют значения диспарантности для некоторых пикселей изображения.In another embodiment of the claimed invention, the use of a static image and a sketch of a disparity card as input for the inventive method for improving a disparity card is proposed. A sketch of a disparity map is an image with halftone brush strokes that determine the disparity values for some pixels in the image.
Эскиз карты диспарантности раскрашивается пользователем в интерактивном режиме в соответствии с той информацией о глубине, которую пользователь получает при восприятии статического изображения. При этом для раскрашивания эскиза карты диспарантности возможно использование распространенных графических приложений, например, таких как Photoshop. Опорное изображение используется в качестве слоя-подложки и подсказки пользователю. Яркость, положение и размер мазка кисточки зависит от формы объекта, положения и глубины, воспринимаемых пользователем. Чем ближе объект к камере, тем ярче должен быть мазок кисточки. Кроме того, мазок кисточки должен находиться в границах воспринимаемого объекта, что позволяет осуществлять правильное распространение значений диспарантности в конкретном объекте.The sketch of the disparity map is colored by the user interactively in accordance with the depth information that the user receives when perceiving a static image. At the same time, it is possible to use common graphic applications, for example, such as Photoshop, to colorize a sketch of a disparity map. The reference image is used as a substrate layer and a hint to the user. The brightness, position and size of the brush stroke depends on the shape of the object, position and depth perceived by the user. The closer the subject is to the camera, the brighter the brush stroke should be. In addition, the brush stroke should be within the boundaries of the perceived object, which allows the correct distribution of disparity values in a specific object.
Для формирования эскиза карты диспарантности возможно также использовать другие методики автоматического вычисления глубины, известные из уровня техники.It is also possible to use other automatic depth calculation techniques known in the art to form a sketch of a disparity map.
На фиг.3 приведена блок-схема устройства для получения карты диспарантности и ее улучшения на основе единственного статического изображения в соответствии с другим вариантом заявляемого изобретения. Исходное цветное изображение 301 обрабатывают в блоке 302 формирования эскиза карты диспарантности, причем это блок управляется пользователем в интерактивном режиме раскрашивания в соответствии с информацией о глубине, воспринимаемой пользователем от статического изображения 301. Блок 302 формирования эскиза карты диспарантности формирует разреженное изображение 303 карты диспарантности, в котором значения диспарантности определены для одних пикселей и не определены для других пикселей.Figure 3 shows a block diagram of a device for obtaining a disparity card and its improvement based on a single static image in accordance with another embodiment of the claimed invention. The
Блок 305 детектирования пикселя с неопределенной диспарантностью формирует бинарную карту 307 недостоверной диспарантности R посредством присвоения значения «единица» пикселю с определенной диспарантностью на эскизном изображении 303 и значения «ноль» всем другим пикселям. Карту 307 недостоверной диспарантности вводят в блок 308 сглаживания и улучшения, который выполняет улучшение эскиза карты 303 диспарантности на основе цветного изображения 306 по заявляемому способу.An indefinite disparity
Блок 308 улучшения применяет взвешенное усреднение в скользящем окне для вычисления улучшенной карты диспарантности, как описано ранее. Только определенные диспарантности принимаются в расчет в скользящем окне. Таким образом осуществляется распространение определенных диспарантностей на основе предположения, что пиксели со сходным цветом имеют сходные значения диспарантности.
Преобразование из цветного изображения 301 в изображение в зрительно единообразном цветовом пространстве осуществляется в блоке 304 конверсии цветового пространства. Карту 309 диспарантности обрабатывают в блоке 310 постобработки с помощью медианной фильтрации по заявляемому способу для получения карты 311 улучшенной диспарантности.The conversion from the
На фиг.4 иллюстрируется принцип, заложенный в основу подготовки эскиза карты диспарантности согласно одному из вариантов заявляемого изобретения. На цветном статическом изображении 401 представлены различные объекты 402, 403, 404, 405, которые расположены на разных расстояниях от видоискателя, что приводит к разным значениям диспарантности объектов. Например, объект 402 расположен на бесконечной дистанции от видоискателя, что приводит к нулевой диспарантности.Figure 4 illustrates the principle underlying the preparation of the sketch of the disparity card according to one of the variants of the claimed invention. On the color
Эскиз карты 406 диспарантности формируется на основе восприятия дистанции до объектов человеком или компьютерной средой путем анализа цветного статического изображения 401. Эскиз 406 карты диспарантности определяет мазки 407, 409, 411 и 413 кисти. Цвет мазка кисти зависит от воспринятой дистанции до объектов и определяет предполагаемую диспарантность. Чем ближе объект к наблюдателю, тем более яркий цвет выбирается. Мазки кисти должны быть определены в границах 408 и 412 объектов для наилучшего распространения информации о диспарантности. Возможным является и применение другого определения и подготовки эскиза карты диспарантности. Вышеописанный принцип приведен лишь для примера и не сужает объема заявляемого изобретения.A sketch of the
На основе эскиза 406 карты диспарантности один из вариантов реализации заявляемого изобретения распространяет определенные диспарантности на неопределенные диспарантности на основе вышеописанного принципа. Результатом является получение улучшенной карты 414 диспарантности.Based on the
На фиг.5 иллюстрируется принцип схемы вычисления веса. Как описано в заявляемом способе для улучшения карты диспарантности фильтром взвешенного усреднения используют опорное цветное изображение 501 и исходную карту 502 диспарантности. В предпочтительном варианте, приведенном исключительно с целью иллюстрации, для вычисления весов и усреднения применяют прямоугольные окна 503 и 506 размером 3×3.5 illustrates the principle of a weight calculation scheme. As described in the claimed method for improving the disparity map by the weighted averaging filter, a
Окна 503 и 506 центруют в точках 504 и 505, соответственно. Точки 504 и 505 имеют одинаковые координаты i, j, и вычисление весов с последующим усреднением применяют к каждому диспаратному пикселю путем синхронного передвижения скользящих окон.
Весовую матрицу 507 вычисляют для каждого нового положения окна 506 на основе цветовой и пространственной дистанций каждого пикселя в окне 506 от центрального пикселя 505 в соответствии со схемой вычисления веса, описанной в заявляемом изобретении. Затем весовую матрицу 507 используют для взвешенного усреднения 508 значений карты диспарантности в окне 503. Таким способом вычисляют значение улучшенной диспарантности для пикселя 510 на улучшенной карте 509 диспарантности.The
На фиг.6 приведен пример получения и улучшения карты диспарантности согласно заявляемому изобретению. Обрабатывают опорное цветное изображение 601 и совмещаемое изображение путем применения алгоритма совмещения стереопары, получая, таким образом, исходную карту 602 диспарантности. Недостоверные пиксели, а также пиксели преграды помечены черным цветом на карте 603 диспарантности. Карта 604 окончательной диспарантности получена путем обработки согласно заявляемому изобретению. Как видно на фиг.6, в результате такой обработки получена сглаженная карта диспарантности, которая совпадает с границами объектов. Такую карту диспарантности можно использовать для синтеза виртуальных видов без искажений.Figure 6 shows an example of obtaining and improving disparity maps according to the claimed invention. The
В приведенном примере для вычисления исходной карты диспарантности был применен известный из уровня техники подход к совмещению стереопары, основанный на весовой функции SAD (sum of absolute differences - сумма абсолютных разностей) и на оптимизации по принципу WTA (победитель получает все). Имеется, однако, возможность применения более сложных подходов к совмещению стереопары, что обеспечит более высокое качество результирующей карты диспарантности, полученной по одному из вариантов заявляемого изобретения. Чем лучше будет исходная карта диспарантности, тем выше будет качество результирующей карты диспарантности.In the above example, to calculate the initial disparity map, the prior art approach to combining a stereo pair was applied, based on the weight function SAD (sum of absolute differences) and on optimization according to the WTA principle (the winner gets everything). However, there is the possibility of applying more complex approaches to combining a stereo pair, which will provide higher quality of the resulting disparity card obtained according to one of the variants of the claimed invention. The better the original disparity card, the higher the quality of the resulting disparity card.
Заявляемое изобретение может найти практическое применение в стереокамерах для формирования высококачественной и непротиворечивой карты диспарантности/глубины. Кроме того, заявляемое изобретение может применяться в многокамерных системах или иных обрабатывающих изображение устройствах.The claimed invention can find practical application in stereo cameras for forming a high-quality and consistent disparity / depth map. In addition, the claimed invention can be applied in multi-chamber systems or other image processing devices.
Еще одной из возможностей применения заявляемого изобретения является преобразование традиционного двумерного видео в трехмерное. Это может быть реализовано в виде интерактивной, ориентированной на пользователя программы для получения трехмерной информации из единственной видеопоследовательности.Another of the possible applications of the claimed invention is the conversion of traditional two-dimensional video into three-dimensional. This can be implemented as an interactive, user-oriented program to obtain three-dimensional information from a single video sequence.
Claims (17)
формируют исходную карту диспарантности путем присвоения исходных значений диспарантности каждому пикселю опорного цветного изображения;
определяют недостоверные значения диспарантности путем проведения анализа структуры и детектирования преград;
преобразуют опорное цветное изображение в изображение, представленное в зрительно единообразном цветовом пространстве;
сглаживают и улучшают на основе усредняющего весового фильтра исходную карту диспарантности с весами, зависящими от степени достоверности диспарантности, цветового и пространственного расстояний;
подавляют на этапе постобработки мелкие дефекты проявления текстуры и импульсный шум.1. A method of improving the disparity card, including the following operations:
forming the initial disparity map by assigning the initial disparity values to each pixel of the reference color image;
determine unreliable disparity values by analyzing the structure and detecting barriers;
converting the reference color image into an image presented in a visually uniform color space;
smooth and improve, based on the averaging weight filter, the initial disparity map with weights depending on the degree of reliability of the disparity, color and spatial distances;
suppress small defects of texture manifestation and impulse noise at the post-processing stage.
блок оценки необработанной диспарантности, выполненный с возможностью формирования карты исходной диспарантности на основе стереоконтента путем совмещения стереопар;
блок детектирования преград, выполненный с возможностью выявления преград на основе карты исходной диспарантности и стереоконтента путем анализа диспарантности с применением условия соблюдения единственного соответствия пикселей между опорным и совмещаемым изображениями;
блок детектирования пикселей с недостоверной диспарантностью, выполненный с возможностью маркировки пикселей с недостоверной диспарантностью, в отношении которых совмещение стереопары может дать неоднозначный результат;
блок конверсии цветового пространства, выполненный с возможностью преобразования опорного изображения в изображение, представленное в другом цветовом пространстве;
блок улучшающего сглаживания согласно п.1;
блок постобработки, выполненный с возможностью удаления импульсного шума и слабо выраженной текстуры из улучшенной карты диспарантности.14. A device for obtaining a disparity card and improving image quality based on stereo content, including
a raw disparity assessment unit configured to generate an initial disparity map based on stereo content by combining stereo pairs;
an obstacle detection unit configured to detect obstructions based on the initial disparity map and stereo content by analyzing the disparity using the condition for observing the only pixel correspondence between the reference and the combined images;
a pixel detection unit with unreliable disparity, configured to mark pixels with unreliable disparity, in respect of which the combination of a stereo pair can give an ambiguous result;
a color space conversion unit configured to convert a reference image into an image presented in another color space;
block improving smoothing according to claim 1;
a post-processing unit configured to remove impulse noise and weakly pronounced texture from the improved disparity map.
блок подготовки эскиза карты диспарантности, выполненный с возможностью формирования эскиза карты диспарантности на основе выявленных расстояний между объектами, представленными на опорном изображении;
блок детектирования пикселей с неустановленной диспарантностью, выполненный с возможностью нанесения маркировки «неопределено» на пиксели в эскизе карты диспарантности;
блок конверсии цветового пространства, выполненный с возможностью преобразования опорного изображения в изображение, представленное в другом цветовом пространстве;
блок улучшающего сглаживания согласно п.1;
блок постобработки, выполненный с возможностью удаления импульсного шума и слабо выраженной текстуры из улучшенной карты диспарантности.15. A device for obtaining a disparity card and improving image quality based on a single static image, including
a preparation unit for a sketch of a disparity map, configured to generate a sketch of a disparity map based on the identified distances between the objects shown in the reference image;
a pixel detection unit with an undetermined disparity, configured to apply “indefinite” marking to pixels in a sketch of a disparity map;
a color space conversion unit configured to convert a reference image into an image presented in another color space;
block improving smoothing according to claim 1;
a post-processing unit configured to remove impulse noise and weakly pronounced texture from the improved disparity map.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2008140111/28A RU2382406C1 (en) | 2008-10-10 | 2008-10-10 | Method of improving disparity map and device for realising said method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2008140111/28A RU2382406C1 (en) | 2008-10-10 | 2008-10-10 | Method of improving disparity map and device for realising said method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2382406C1 true RU2382406C1 (en) | 2010-02-20 |
Family
ID=42127188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2008140111/28A RU2382406C1 (en) | 2008-10-10 | 2008-10-10 | Method of improving disparity map and device for realising said method |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2382406C1 (en) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2479039C1 (en) * | 2012-03-26 | 2013-04-10 | Закрытое акционерное общество "БОУ Лабораториз" | Method of enhancing dense and sparse disparity maps, accuracy of reconstructed three-dimensional model and apparatus for realising said method |
| WO2015027105A1 (en) * | 2013-08-21 | 2015-02-26 | Jaunt Inc. | Virtual reality content stitching and awareness |
| RU2580466C1 (en) * | 2014-12-30 | 2016-04-10 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Донской государственный технический университет" (ФГБОУ ВПО "ДГТУ") | Device for recovery of depth map of scene |
| RU2638761C2 (en) * | 2012-06-28 | 2017-12-15 | Конинклейке Филипс Н.В. | System and method for combining sequence of images |
| US10186301B1 (en) | 2014-07-28 | 2019-01-22 | Jaunt Inc. | Camera array including camera modules |
| US10210898B2 (en) | 2014-05-29 | 2019-02-19 | Jaunt Inc. | Camera array including camera modules |
| US10440398B2 (en) | 2014-07-28 | 2019-10-08 | Jaunt, Inc. | Probabilistic model to compress images for three-dimensional video |
| CN110473244A (en) * | 2019-08-08 | 2019-11-19 | 长沙智能驾驶研究院有限公司 | Stereo matching optimization method, device, computer equipment and storage medium |
| US10681341B2 (en) | 2016-09-19 | 2020-06-09 | Verizon Patent And Licensing Inc. | Using a sphere to reorient a location of a user in a three-dimensional virtual reality video |
| US10681342B2 (en) | 2016-09-19 | 2020-06-09 | Verizon Patent And Licensing Inc. | Behavioral directional encoding of three-dimensional video |
| US10694167B1 (en) | 2018-12-12 | 2020-06-23 | Verizon Patent And Licensing Inc. | Camera array including camera modules |
| US10691202B2 (en) | 2014-07-28 | 2020-06-23 | Verizon Patent And Licensing Inc. | Virtual reality system including social graph |
| US10701426B1 (en) | 2014-07-28 | 2020-06-30 | Verizon Patent And Licensing Inc. | Virtual reality system including social graph |
| RU2740702C2 (en) * | 2016-06-22 | 2021-01-20 | МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи | Automation of image verification |
| US11019258B2 (en) | 2013-08-21 | 2021-05-25 | Verizon Patent And Licensing Inc. | Aggregating images and audio data to generate content |
| US11032536B2 (en) | 2016-09-19 | 2021-06-08 | Verizon Patent And Licensing Inc. | Generating a three-dimensional preview from a two-dimensional selectable icon of a three-dimensional reality video |
| US11032535B2 (en) | 2016-09-19 | 2021-06-08 | Verizon Patent And Licensing Inc. | Generating a three-dimensional preview of a three-dimensional video |
| US11108971B2 (en) | 2014-07-25 | 2021-08-31 | Verzon Patent and Licensing Ine. | Camera array removing lens distortion |
-
2008
- 2008-10-10 RU RU2008140111/28A patent/RU2382406C1/en not_active IP Right Cessation
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2479039C1 (en) * | 2012-03-26 | 2013-04-10 | Закрытое акционерное общество "БОУ Лабораториз" | Method of enhancing dense and sparse disparity maps, accuracy of reconstructed three-dimensional model and apparatus for realising said method |
| RU2638761C2 (en) * | 2012-06-28 | 2017-12-15 | Конинклейке Филипс Н.В. | System and method for combining sequence of images |
| US11128812B2 (en) | 2013-08-21 | 2021-09-21 | Verizon Patent And Licensing Inc. | Generating content for a virtual reality system |
| US11431901B2 (en) | 2013-08-21 | 2022-08-30 | Verizon Patent And Licensing Inc. | Aggregating images to generate content |
| US20150054913A1 (en) * | 2013-08-21 | 2015-02-26 | Jaunt Inc. | Image stitching |
| US9930238B2 (en) * | 2013-08-21 | 2018-03-27 | Jaunt Inc. | Image stitching |
| US10708568B2 (en) | 2013-08-21 | 2020-07-07 | Verizon Patent And Licensing Inc. | Generating content for a virtual reality system |
| US10334220B2 (en) | 2013-08-21 | 2019-06-25 | Jaunt Inc. | Aggregating images and audio data to generate virtual reality content |
| US11032490B2 (en) | 2013-08-21 | 2021-06-08 | Verizon Patent And Licensing Inc. | Camera array including camera modules |
| US10666921B2 (en) | 2013-08-21 | 2020-05-26 | Verizon Patent And Licensing Inc. | Generating content for a virtual reality system |
| WO2015027105A1 (en) * | 2013-08-21 | 2015-02-26 | Jaunt Inc. | Virtual reality content stitching and awareness |
| US11019258B2 (en) | 2013-08-21 | 2021-05-25 | Verizon Patent And Licensing Inc. | Aggregating images and audio data to generate content |
| US10210898B2 (en) | 2014-05-29 | 2019-02-19 | Jaunt Inc. | Camera array including camera modules |
| US10665261B2 (en) | 2014-05-29 | 2020-05-26 | Verizon Patent And Licensing Inc. | Camera array including camera modules |
| US11108971B2 (en) | 2014-07-25 | 2021-08-31 | Verzon Patent and Licensing Ine. | Camera array removing lens distortion |
| US11025959B2 (en) | 2014-07-28 | 2021-06-01 | Verizon Patent And Licensing Inc. | Probabilistic model to compress images for three-dimensional video |
| US10440398B2 (en) | 2014-07-28 | 2019-10-08 | Jaunt, Inc. | Probabilistic model to compress images for three-dimensional video |
| US10701426B1 (en) | 2014-07-28 | 2020-06-30 | Verizon Patent And Licensing Inc. | Virtual reality system including social graph |
| US10691202B2 (en) | 2014-07-28 | 2020-06-23 | Verizon Patent And Licensing Inc. | Virtual reality system including social graph |
| US10186301B1 (en) | 2014-07-28 | 2019-01-22 | Jaunt Inc. | Camera array including camera modules |
| RU2580466C1 (en) * | 2014-12-30 | 2016-04-10 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Донской государственный технический университет" (ФГБОУ ВПО "ДГТУ") | Device for recovery of depth map of scene |
| RU2740702C2 (en) * | 2016-06-22 | 2021-01-20 | МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи | Automation of image verification |
| US11032536B2 (en) | 2016-09-19 | 2021-06-08 | Verizon Patent And Licensing Inc. | Generating a three-dimensional preview from a two-dimensional selectable icon of a three-dimensional reality video |
| US11032535B2 (en) | 2016-09-19 | 2021-06-08 | Verizon Patent And Licensing Inc. | Generating a three-dimensional preview of a three-dimensional video |
| US10681341B2 (en) | 2016-09-19 | 2020-06-09 | Verizon Patent And Licensing Inc. | Using a sphere to reorient a location of a user in a three-dimensional virtual reality video |
| US10681342B2 (en) | 2016-09-19 | 2020-06-09 | Verizon Patent And Licensing Inc. | Behavioral directional encoding of three-dimensional video |
| US11523103B2 (en) | 2016-09-19 | 2022-12-06 | Verizon Patent And Licensing Inc. | Providing a three-dimensional preview of a three-dimensional reality video |
| US10694167B1 (en) | 2018-12-12 | 2020-06-23 | Verizon Patent And Licensing Inc. | Camera array including camera modules |
| CN110473244A (en) * | 2019-08-08 | 2019-11-19 | 长沙智能驾驶研究院有限公司 | Stereo matching optimization method, device, computer equipment and storage medium |
| CN110473244B (en) * | 2019-08-08 | 2022-03-18 | 长沙智能驾驶研究院有限公司 | Stereo matching optimization method and device, computer equipment and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2382406C1 (en) | Method of improving disparity map and device for realising said method | |
| US11562498B2 (en) | Systems and methods for hybrid depth regularization | |
| CN109360235B (en) | Hybrid depth estimation method based on light field data | |
| US8326025B2 (en) | Method for determining a depth map from images, device for determining a depth map | |
| Tam et al. | 3D-TV content generation: 2D-to-3D conversion | |
| CN103345736B (en) | A kind of virtual viewpoint rendering method | |
| KR100793076B1 (en) | Edge-adaptive stereo/multi-view image matching apparatus and its method | |
| Tsai et al. | Dense disparity estimation with a divide-and-conquer disparity space image technique | |
| Pearson et al. | Plenoptic layer-based modeling for image based rendering | |
| JP2004505393A (en) | Image conversion and coding technology | |
| WO2007052191A2 (en) | Filling in depth results | |
| CN110853151A (en) | Three-dimensional point set recovery method based on video | |
| WO2016202837A1 (en) | Method and apparatus for determining a depth map for an image | |
| CN109859249B (en) | Scene flow estimation method based on automatic layering in RGBD sequence | |
| Kuo et al. | Depth estimation from a monocular view of the outdoors | |
| Luo et al. | Using surface model to correct and fit disparity data in stereo vision | |
| Um et al. | Three-dimensional scene reconstruction using multiview images and depth camera | |
| Calderon et al. | Depth map estimation in light fields using an stereo-like taxonomy | |
| Yao et al. | 3D modeling and rendering from multiple wide-baseline images by match propagation | |
| KR20040006738A (en) | Device for Hierarchical Disparity Estimation and Method Thereof and Apparatus for Stereo Mixed Reality Image Synthesis using it and Method Thereof | |
| Lee et al. | Simultaneous object tracking and depth estimation using color shifting property of a multiple color-filter aperture camera | |
| Yin et al. | Improving depth maps by nonlinear diffusion | |
| Pearson et al. | Accurate non-iterative depth layer extraction algorithm for image based rendering | |
| Turetken et al. | Temporally consistent layer depth ordering via pixel voting for pseudo 3D representation | |
| Huang et al. | Consistency constrained reconstruction of depth maps from epipolar plane images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20181011 |