RU2009129700A

RU2009129700A - Способ и система для преобразования стереоконтента

Info

Publication number: RU2009129700A
Application number: RU2009129700/09A
Authority: RU
Inventors: Артем Константинович ИГНАТОВ (RU); Артем Константинович Игнатов; Оксана Васильевна ДЖОСАН (RU); Оксана Васильевна ДЖОСАН
Original assignee: Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." (KR); Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд."
Priority date: 2009-08-04
Filing date: 2009-08-04
Publication date: 2011-02-10
Also published as: KR20110014067A; RU2423018C2

Abstract

1. Способ преобразования стереоконтента для снижения усталости глаз при просмотре трехмерного видео, включающий в себя выполнение следующих операций: ! выполняют вычисление исходной карты диспарантности/глубины для стереоизображения из трехмерного видео, осуществив предварительную обработку исходных цветных изображений пространственным фильтром, выполненным с возможностью устранения зашумленности; ! выполняют сглаживание карты глубины путем выполнения следующих операций: ! анализируют и обрезают гистограмму опорной карты глубины; ! осуществляют проверку консистентности карты глубины; ! формируют двоичную маску опорного цветного изображения согласно участкам с ярко выраженной текстурой и участкам со слабо выраженной текстурой; ! осуществляют сглаживание опорной и совмещаемой карт глубины путем последовательных итераций фильтрации карт глубины; ! выполняют фильтрацию опорной карты глубины в соответствии с двоичной маской опорного изображения на участках с ярко выраженной текстурой и участках со слабо выраженной текстурой; ! осуществляют пост-обработку опорной и совмещаемой карт глубины; ! выполняют временную фильтрацию опорной и совмещаемой карт глубины; ! изменяют параметры восприятия глубины в соотвествии с оценкой усталости глаз при этом параметр восприятия глубины представлен параметром D, который изменяется от 0 до 1, причем параметр D соответствует положению вида для правового глаза, а значение 1 соответствует конфигурации исходного стереоизображения, в то время как значение 0 описывает случай монокулярного вида, когда изображения для левого и правого глаза совпадают в пространстве, �

Claims

1. Способ преобразования стереоконтента для снижения усталости глаз при просмотре трехмерного видео, включающий в себя выполнение следующих операций:

выполняют вычисление исходной карты диспарантности/глубины для стереоизображения из трехмерного видео, осуществив предварительную обработку исходных цветных изображений пространственным фильтром, выполненным с возможностью устранения зашумленности;

выполняют сглаживание карты глубины путем выполнения следующих операций:

анализируют и обрезают гистограмму опорной карты глубины;

осуществляют проверку консистентности карты глубины;

формируют двоичную маску опорного цветного изображения согласно участкам с ярко выраженной текстурой и участкам со слабо выраженной текстурой;

осуществляют сглаживание опорной и совмещаемой карт глубины путем последовательных итераций фильтрации карт глубины;

выполняют фильтрацию опорной карты глубины в соответствии с двоичной маской опорного изображения на участках с ярко выраженной текстурой и участках со слабо выраженной текстурой;

осуществляют пост-обработку опорной и совмещаемой карт глубины;

выполняют временную фильтрацию опорной и совмещаемой карт глубины;

изменяют параметры восприятия глубины в соотвествии с оценкой усталости глаз при этом параметр восприятия глубины представлен параметром D, который изменяется от 0 до 1, причем параметр D соответствует положению вида для правового глаза, а значение 1 соответствует конфигурации исходного стереоизображения, в то время как значение 0 описывает случай монокулярного вида, когда изображения для левого и правого глаза совпадают в пространстве, при этом соответствующие настройки этого параметра лежат в диапазоне от 0,1 до 1;

генерируют новое стерео изображение в соответствии с параметрами восприятия глубины.

2. Способ по п.1, отличающийся тем, что параметры восприятия глубины изменяют в соответствии с пожеланиями пользователя.

3. Способ по п.1, отличающийся тем, что вид для правого глаза синтезируют с помощью интерполяции, основанной на карте диспарантности, при этом положение вида для правого глаза описывают параметром D.

4. Способ по п.3, отличающийся тем, что синтезированный вид для правого глаза используют совместно с исходным изображением для левого глаза для формирования модифицированного стерео изображения, имеющего пониженный параллакс по сравнению с изображением первоначального стерео вида.

5. Способ по п.1, отличающийся тем, что гистограмму карты глубины обрезают по пороговым значениям В и Т, которые вычисляют следующим образом

,

где Н(с) - значение гистограммы;

М - максимальный уровень пикселя, который для однобайтового представления равен 255;

N_x - ширина участка;

N_y - высота участка;

α - величина, характеризующая отношение пикселей изображения, которые лежат ниже обреза гистограммы, ко всем пикселям изображения;

β - величина, характеризующая отношение пикселей изображения, которые лежат выше верхнего обреза гистограммы, ко всем пикселям изображения.

6. Способ по п.1, отличающийся тем, что проверку консистентности карты глубины выполняют, используя перекрестную проверку карты глубины.

7. Способ по п.1, отличающийся тем, что двоичную маску опорного цветного изображения определяют как

,

где BS - двоичная маска сегментации для пикселя с координатами (x, y),

значение 255 соответствует пикселю изображения со слабо выраженной текстурой, а значение 0 соответствует пикселю изображения с ярко выраженной текстурой,

градиенты (x, y) - функция для оценки градиентов по горизонтали, вертикали и диагоналей, при этом градиенты вычисляют как сумму абсолютных разностей соседних пикселей в соответствующих направлениях, причем значения градиентов должны лежать в пределах GradTh для признания участка участком со слабо выраженной текстурой, в противном случае участок признают участком с ярко выраженной текстурой.

8. Способ по п.1, отличающийся тем, что фильтрацию карты диспарантности на k-й итерации выражают как

,

где d_k(x_c,y_c) означает карту глубины на k-й итерации для текущего пикселя с координатами (x_c, y_c);

d_k-1(x_r,y_r) означает карту глубины на (k-1)-й итерация для опорного пикселя с координатами (x_r=x_c+p, y_r=y_c+s);

w_r(x_r,y_r) означает вес опорного пикселя;

индекс p изменяется от

до

в направлении X;

индекс s изменяется от

до

в направлении Y,

нормирующий множитель вычисляют как

.

9. Способ по п.8, отличающийся тем, что веса фильтра карты глубины вычисляют следующим образом

,

где С() означает функцию, используемую для сравнения пикселей;

е - число Эйлера;

σ_r - параметр для управления весом опорного пикселя в опорном изображении;

σ_t - параметр для управления весом целевого (конечного) пикселя в совмещаемом изображении;

(x_r,y_r) - координаты опорного пикселя;

(x_t,y_t) - координаты целевого (конечного) пикселя.

10. Способ по п.9, отличающийся тем, что функцию, используемую для сравнения пикселя, определяют как

,

где I_T(x_c,y_c) означает интенсивность текущего пикселя в соответствующем цветовом канале;

I_T(x_r,y_r) обозначает интенсивность опорного пикселя в соответствующем цветовом канале.

11. Способ по п.9, отличающийся тем, что веса фильтра w_r(x_r,y_r) обнуляют, если соответствующий пиксель карты глубины является аномальным, при этом используют следующее соотношение:

если ((d(x_r,y_r)<В) или (d(x_r,y_r)>Т)),

w_r(x_r,y_r)=0;

где d(x_r,y_r) - пиксель опроной карты глубины;

w_r(x_r,y_r) - вес опорной карты глубины;

В и Т - пороговые значения, полученные при обработке гистограммы.

12. Способ по п.9, отличающийся тем, что для параметров фильтра σ_r и σ_t применяют различные установки в соответствии с двоичной сегментацией изображения в областях с выраженной текстурой и со слабо выраженной текстурой.

13. Способ по п.1, отличающийся тем, что пост-обработку карты глубины выполняют с использование медианного фильтра.

14. Способ по п.1, отличающийся тем, что временную фильтрацию выполняют с использованием фильтра скользящего среднего.

15. Система преобразования стереоконтента в целях снижения усталости глаз при просмотре трехмерного видео, включающая в себя

блок вычисления и сглаживания карты глубины, выполненный с возможностью анализа и обрезки гистограммы опорной карты глубины, проверки консистентности карты глубины, формирования двоичной маски опорного цветного изображения согласно участкам с ярко выраженной текстурой и участкам со слабо выраженной текстурой, сглаживания опорной и совмещаемой карт глубины путем последовательных итераций фильтрации карт глубины, фильтрации опорной карты глубины в соответствии с двоичной маской опорного изображения на участках с ярко выраженной текстурой и участках со слабо выраженной текстурой, пост-обработки опорной и совмещаемой карт глубины, временной фильтрации опорной и совмещаемой карт глубины;

блок управления глубиной, выполненный с возможностью изменения параметров восприятия глубины в соответствии с оценкой усталости глаз, при этом параметр восприятия глубины представлен параметром D, который изменяется от 0 до 1, причем параметр D соответствует положению вида для правового глаза, а значение 1 соответствует конфигурации исходного стерео изображения, в то время как значение 0 описывает случай монокулярного вида, когда изображения для левого и правого глаза совпадают в пространстве, при этом соответствующие настройки этого параметра лежат в диапазоне от 0,1 до 1;

блок визуализации, выполненный с возможностью отображения результирующего изображения;

при этом первый выход блока вычисления и сглаживания карты глубины подключен к первому входу блока визуализации, второй выход блока вычисления и сглаживания карты глубины подключен к входу блока управления глубиной, выход которого подключен к второму входу блока визуализации.

16. Система по п.15, отличающаяся тем, что блок вычисления и сглаживания карты глубины включает в себя блок предварительной обработки, блок вычисления исходной карты глубины, блок сглаживания карты глубины и блок временного фильтра, при этом первый выход блока предварительной обработки подключен к входу блока вычисления исходной карты глубины, выход которого подключен к первому входу блока сглаживания карты глубины, второй выход блока предварительной обработки подключена к второму входу блока сглаживания карты глубины, выход которого подключен к входу блока временного фильтра.

17. Система по п.16, отличающаяся тем, что блок предварительной обработки включает в себя блок предварительной обработки стерео изображения и блок сегментации опорного изображения, при этом вход блока предварительной обработки совпадает с входом блока предварительной обработки стерео изображения, выход блока предварительной обработки стерео изображения подключен к входу блока сегментации опорного изображения, а выход блока сегментации опорного изображения совпадает с выходом блока предварительной обработки.

18. Система по п.16, отличающаяся тем, что блок вычисления исходной карты глубины включает в себя блок вычисления опорной карты глубины, блок вычисления совмещаемой карты глубины, блок анализа гистограммы опорной карты глубины и блок проверки согласованности карты глубины, при этом первый вход блока вычисления исходной карты глубины совпадает с входом блока вычисления опорной карты глубины, выход блока вычисления опорной карты глубины подключен к блоку анализа гистограммы опорной карты, второй вход блока вычисления исходной карты глубины совпадает с входом блока вычисления совмещаемых глубин, выход блока вычисления совмещаемых глубин подключен к первому входу блока проверки согласованности карты глубины, выход блока анализа гистограммы опорной карты глубины подключен к второму входу блока проверки согласованности карты глубины, а выход блока проверки согласованности карты глубины совпадает с выходом блока вычисления исходной карты глубины.

19. Система по п.16, отличающаяся тем, что блок сглаживания карты глубины включает в себя блок управления итерациями, блок фильтрации глубины и блок пост-обработки, при этом вход блока сглаживания карты глубины совпадает с входом блока управления итерациями, выход блока управления итерациями подключен к входу блока фильтрации глубины, выход которого подключен к входу блока пост-обработки, выход которого совпадает с выходом блока сглаживания карты глубины.

20. Система по п.16, отличающаяся тем, что блок временного фильтра включает в себя буфер кадра и блок временного фильтра глубины, при этом вход буфера кадра совпадает с входом блока временного фильтра, выход буфера кадра подключен к входу блока временного фильтра глубины, выход которого совпадает с выходом блока временного фильтра.