RU2012145349A

RU2012145349A - Способ и устройство обработки изображений для устранения артефактов глубины

Info

Publication number: RU2012145349A
Application number: RU2012145349/08A
Authority: RU
Inventors: Александр Александрович Петюшко; Александр Борисович Холоденко; Иван Леонидович Мазуренко; Денис Васильевич Парфенов; Дмитрий Николаевич Бабин
Original assignee: ЭлЭсАй Корпорейшн
Priority date: 2012-10-24
Filing date: 2012-10-24
Publication date: 2014-05-10
Also published as: JP2016502704A; KR20150079638A; CN104025567A; CA2844705A1; US20140240467A1; WO2014065887A1; TW201421419A

Abstract

1. Способ, содержащий этапы, на которых:идентифицируют один или более потенциально дефектных пикселей, связанных с, по меньшей мере, одним артефактом глубины в первом изображении; иприменяют метод сверхразрешения с использованием второго изображения, чтобы восстанавливать информацию глубины упомянутого одного или более потенциально дефектных пикселей;при этом применение метода сверхразрешения вырабатывает третье изображение, имеющее восстановленную информацию глубины;при этом этапы идентификации и применения осуществляют в, по меньшей мере, одном обрабатывающем устройстве, содержащем процессор, соединенный с памятью.2. Способ по п.1, в котором первое изображение содержит изображение глубины, и третье изображение содержит изображение глубины, соответствующее, в общем, первому изображению, но с, по существу, устраненным упомянутым, по меньшей мере, одним артефактом глубины.3. Способ по п.1, дополнительно содержащий этап, на котором:применяют дополнительный метод сверхразрешения с использованием четвертого изображения;при этом применение дополнительного метода сверхразрешения вырабатывает пятое изображение, имеющее увеличенное пространственное разрешение относительно третьего изображения.4. Способ по п.3, в котором первое изображение содержит изображение глубины, и пятое изображение содержит изображение глубины, в общем, соответствующее первому изображению, но с, по существу, устраненным упомянутым, по меньшей мере, одним артефактом глубины и увеличенным разрешением.5. Способ по п.1, в котором идентификация одного или более потенциально дефектных пикселей содержит этапы, на которых:помечают, по меньше�

Claims

1. Способ, содержащий этапы, на которых:

идентифицируют один или более потенциально дефектных пикселей, связанных с, по меньшей мере, одним артефактом глубины в первом изображении; и

применяют метод сверхразрешения с использованием второго изображения, чтобы восстанавливать информацию глубины упомянутого одного или более потенциально дефектных пикселей;

при этом применение метода сверхразрешения вырабатывает третье изображение, имеющее восстановленную информацию глубины;

при этом этапы идентификации и применения осуществляют в, по меньшей мере, одном обрабатывающем устройстве, содержащем процессор, соединенный с памятью.

2. Способ по п.1, в котором первое изображение содержит изображение глубины, и третье изображение содержит изображение глубины, соответствующее, в общем, первому изображению, но с, по существу, устраненным упомянутым, по меньшей мере, одним артефактом глубины.

3. Способ по п.1, дополнительно содержащий этап, на котором:

применяют дополнительный метод сверхразрешения с использованием четвертого изображения;

при этом применение дополнительного метода сверхразрешения вырабатывает пятое изображение, имеющее увеличенное пространственное разрешение относительно третьего изображения.

4. Способ по п.3, в котором первое изображение содержит изображение глубины, и пятое изображение содержит изображение глубины, в общем, соответствующее первому изображению, но с, по существу, устраненным упомянутым, по меньшей мере, одним артефактом глубины и увеличенным разрешением.

5. Способ по п.1, в котором идентификация одного или более потенциально дефектных пикселей содержит этапы, на которых:

помечают, по меньшей мере, поднабор потенциально дефектных пикселей; и

удаляют помеченные потенциально дефектные пиксели из первого изображения до применения метода сверхразрешения.

6. Способ по п.1, в котором первое изображение содержит изображение глубины первого разрешения из первого источника изображений, и второе изображение содержит двумерное изображение, по существу, той же сцены, и имеющее разрешение, по существу, такое же, как первое разрешение, из другого источника изображений, отличного от первого источника изображений.

7. Способ по п.3, в котором первое изображение содержит изображение глубины первого разрешения из первого источника изображений, и четвертое изображение содержит двумерное изображение, по существу, той же сцены, и имеющее разрешение, по существу, большее, чем первое разрешение, из другого источника изображений, отличного от первого источника изображений.

8. Способ по п.1, в котором идентификация одного или более потенциально дефектных пикселей содержит этап, на котором обнаруживают пиксели первого изображения, имеющего значения глубины, установленные на соответствующие предварительно определенные значения ошибки посредством связанного модуля формирования изображений глубины.

9. Способ по п.1, в котором идентификация одного или более потенциально дефектных пикселей содержит этап, на котором обнаруживают область смежных пикселей, имеющих соответствующие неожиданные значения глубины, которые отличаются, по существу, от значений глубины пикселей вне этой области.

10. Способ по п.9, в котором область смежных пикселей, имеющих соответствующие неожиданные значения глубины, определяют так, чтобы удовлетворять следующему неравенству со ссылкой на периферийную границу области:

|статистика{d_i: пиксель i находится в области} - статистика{d_j: пиксель j находится на границе}|>d_T,

где d_T является пороговым значением, и статистика обозначает одно из среднего, медианы и метрики расстояния.

11. Способ по п.1, в котором идентификация одного или более потенциально дефектных пикселей содержит этапы, на которых:

идентифицируют конкретный один из пикселей;

идентифицируют окрестность пикселей для упомянутого конкретного пикселя; и

идентифицируют упомянутый конкретный пиксель в качестве потенциально дефектного пикселя на основе значения глубины упомянутого конкретного пикселя и, по меньшей мере, одного из среднего и стандартного отклонения значений глубины соответствующих пикселей в упомянутой окрестности пикселей.

12. Способ по п.11, в котором идентификация окрестности пикселей для конкретного пикселя содержит этап, на котором идентифицируют набор S_p из n соседей конкретного пикселя p:

где каждый из n соседей удовлетворяет неравенству:

где d является радиусом окрестности и

обозначает метрику расстояния между пикселями p и p_i в плоскости x-y.

13. Способ по п.11, в котором идентификация конкретного пикселя в качестве потенциально дефектного пикселя содержит этап, на котором идентифицируют конкретный пиксель в качестве потенциально дефектного пикселя, если удовлетворяется следующее неравенство:

где z_p является значением глубины конкретного пикселя, m и σ являются средним и стандартным отклонением, соответственно, значений глубины соответствующих пикселей в окрестности пикселей, и k является множителем, определяющим степень доверия.

14. Способ по п.1, в котором применение метода сверхразрешения содержит этап, на котором применяют метод сверхразрешения, который основывается, по меньшей мере, частично на модели марковского случайного поля.

15. Способ по п.3, в котором применение дополнительного метода сверхразрешения содержит этап, на котором применяют метод сверхразрешения, который основывается, по меньшей мере, частично на билатеральных фильтрах.

16. Компьютерно-читаемый запоминающий носитель, содержащий компьютерный программный код, осуществленный на нем, при этом компьютерный программный код, при исполнении в обрабатывающем устройстве, предписывает обрабатывающему устройству выполнять способ по п.1.

17. Устройство, содержащее:

по меньшей мере, одно обрабатывающее устройство, содержащее процессор, соединенный с памятью;

при этом упомянутое, по меньшей мере, одно обрабатывающее устройство содержит:

модуль идентификации пикселей, сконфигурированный, чтобы идентифицировать один или более потенциально дефектных пикселей, связанных с, по меньшей мере, одним артефактом глубины в первом изображении; и

модуль сверхразрешения, сконфигурированный, чтобы использовать второе изображение, чтобы восстанавливать информацию глубины упомянутого одного или более потенциально дефектных пикселей;

при этом модуль сверхразрешения вырабатывает третье изображение, имеющее восстановленную информацию глубины.

18. Устройство по п.17, в котором модуль сверхразрешения дополнительно сконфигурирован, чтобы обрабатывать третье изображение с использованием четвертого изображения для вырабатывания пятого изображения, имеющего увеличенное пространственное разрешение относительно третьего изображения.

19. Устройство по п.17, в котором первое изображение содержит изображение глубины первого разрешения из первого источника изображений, и второе изображение содержит двумерное изображение, по существу, той же сцены, и имеющее разрешение, по существу, такое же, как первое разрешение, из другого источника изображений, отличного от первого источника изображений.

20. Устройство по п.19, в котором первый источник изображений содержит источник трехмерных изображений, включающий в себя одно из использующей структурированный свет камеры и использующей время пролета камеры.

21. Устройство по п.19, в котором второй источник изображений содержит источник двумерных изображений, сконфигурированный, чтобы генерировать второе изображение как одно из инфракрасного изображения, полутонового изображения и цветного изображения.

22. Устройство по п.18, в котором первое изображение содержит изображение глубины первого разрешения из первого источника изображений, и четвертое изображение содержит двумерное изображение, по существу, той же сцены, и имеющее разрешение, по существу, большее, чем первое разрешение, из другого источника изображений, отличного от первого источника изображений.

23. Система обработки изображений, содержащая устройство по п.17.

24. Система обнаружения жестов, содержащая систему обработки изображений по п.23.