RU2586252C2 - Method for interactive television broadcast - Google Patents
Method for interactive television broadcast Download PDFInfo
- Publication number
- RU2586252C2 RU2586252C2 RU2014144450/07A RU2014144450A RU2586252C2 RU 2586252 C2 RU2586252 C2 RU 2586252C2 RU 2014144450/07 A RU2014144450/07 A RU 2014144450/07A RU 2014144450 A RU2014144450 A RU 2014144450A RU 2586252 C2 RU2586252 C2 RU 2586252C2
- Authority
- RU
- Russia
- Prior art keywords
- image
- viewer
- dwt
- matrix
- account
- Prior art date
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
Description
Предлагаемое изобретение относится к области телевидения.The present invention relates to the field of television.
Традиционный метод передачи видеоизображения пользователю по каналу связи (телевидение) включает в себя следующие этапы:The traditional method of transmitting a video image to a user over a communication channel (television) includes the following steps:
фиксация изображения камерой (или системой из нескольких камер) и отображение полученной в результате этого информации в специальной области памяти (заэкранной матице);fixing the image with a camera (or a system of several cameras) and displaying the resulting information in a special memory area (on-screen matrix);
компрессия полученной информации с использованием как внутрикадрового сжатия (с применением преобразований DWT (дискретное вейвлет-преобразование) или DCT (дискретное косинусное преобразование), так и межкадрового сжатия;compression of the received information using both intraframe compression (using DWT transforms (discrete wavelet transform) or DCT (discrete cosine transform), and interframe compression;
передача сжатой информации по каналу связи, в том числе с применением помехоустойчивого кодирования;transmission of compressed information over a communication channel, including using noise-resistant coding;
декомпрессия принятой информации;decompression of received information;
отображение информации с заэкранной матрицы на устройстве визуализации (простой или составной экран).displaying information from the screen matrix on the visualization device (simple or composite screen).
При использовании фовеационных свойств человеческого зрения данный процесс выглядит по иному, появляется обратная связь между зрителем и системой компрессии изображения, то есть телевидение становиться интерактивным. Общая схема интерактивного телевидения показана на рисунке 1. Схема интерактивного телевидения отличается от схемы обычного телевидения прежде всего наличием устройства (7), определяющего направление взгляда зрителя (6). Информация о текущем направлении взгляда передается по обратному каналу связи (8) и используется в устройстве компрессии изображения (2).When using the foveational properties of human vision, this process looks different; an inverse relationship appears between the viewer and the image compression system, that is, television becomes interactive. The general scheme of interactive television is shown in Figure 1. The scheme of interactive television differs from the scheme of conventional television primarily by the presence of a device (7) that determines the direction of the viewer's gaze (6). Information about the current direction of gaze is transmitted via the reverse communication channel (8) and is used in the image compression device (2).
Хорошо известно, что разрешающая способность периферийного зрения существенно ниже разрешающей способности центрального (фовеального) зрения (вблизи зоны фовеа). Данное обстоятельство можно учесть в процессе компрессии изображения, то есть качество передаваемого изображения должно быть максимальным вблизи точки, в которую направлен взгляд, и быстро убывать к периферии. Такой подход позволяет существенно увеличит степень компрессии, и соответственно, уменьшить объем передаваемой по каналу связи видеоинформации. Текущее направление взгляда соответственно учитывается в процессе декомпрессии принятой видеоинформации и в процессе отображения на устройстве визуализации. Предлагаемые ранее методы интерактивного телевидения, например способ интерактивного телевидения, использующий фовеационные свойства глаз индивидуальных и групповых пользователей, известный из патента на изобретение RU 2220514, выбранный в качестве ближайшего аналога изобретения, использовали, по сути, тем или иным образом, лишь различную степень децимации изображения (укрупнение пикселей) в зависимости от удаленности участков изображения от зоны фовеа.It is well known that the resolution of peripheral vision is significantly lower than the resolution of central (foveal) vision (near the fovea zone). This circumstance can be taken into account in the process of image compression, that is, the quality of the transmitted image should be maximum near the point at which the gaze is directed, and quickly decrease to the periphery. This approach can significantly increase the degree of compression, and accordingly, reduce the amount of video information transmitted through the communication channel. The current direction of gaze is accordingly taken into account in the process of decompressing the received video information and in the process of displaying on the visualization device. Previously proposed methods of interactive television, for example, an interactive television method using the foveal properties of the eyes of individual and group users, known from RU 2220514, selected as the closest analogue of the invention, used, in fact, in one way or another, only a different degree of image decimation (pixel enlargement) depending on the remoteness of the image areas from the fovea zone.
Методы сжатия изображения на основе DWT или DCT, использующие корреляцию между соседними пикселями и различную чувствительность зрения к различным пространственным частотам, при этом не использовались. С другой стороны, методы традиционного телевидения, использующие методы сжатия видеоизображения на основе DWT или DCT, не учитывают фовеационных свойств человеческого зрения.DWT or DCT based image compression methods using correlation between adjacent pixels and different sensitivity of vision to different spatial frequencies were not used. On the other hand, traditional television methods using DWT or DCT-based video compression methods do not take into account the foveational properties of human vision.
Следовательно, задача применения методов сжатия видеоизображения, использующих как фовеационные свойства человеческого зрения, так и методы на основе DWT или DCT, является актуальной. Однако разработка подобных методов сопряжена с рядом объективных трудностей, так как для использования методов сжатия на основе DWT или DCT необходимы таблицы квантования коэффициентов соответствующих преобразований. От того, насколько удачно подобраны значения данных коэффициентов, собственно и зависит высокая степень сжатия информации, с одной стороны, и отсутствие заметных для зрителя искажений изображения, с другой стороны.Therefore, the task of applying video compression methods using both the foveational properties of human vision and methods based on DWT or DCT is relevant. However, the development of such methods is fraught with a number of objective difficulties, since the use of DWT or DCT-based compression methods requires quantization tables of the coefficients of the corresponding transformations. The high degree of information compression, on the one hand, and the absence of image distortions noticeable to the viewer, on the other hand, depend on how well the values of these coefficients are selected.
Используемые таблицы квантования DWT и DCT традиционно оптимизированы прежде всего с точки зрения максимизации отношения сигнал/шум - PSNR, определяемого по формулеThe used quantization tables DWT and DCT are traditionally optimized primarily from the point of view of maximizing the signal-to-noise ratio - PSNR, determined by the formula
где Pi - максимальное значение пикселя,where P i is the maximum pixel value,
RMSE - квадратный корень из среднеквадратичной ошибки между исходным и восстановленным изображением, определяемый по формулеRMSE - the square root of the mean square error between the original and the restored image, determined by the formula
где n - число пикселей изображения,where n is the number of pixels in the image,
Pi - значения пикселей исходного изображения,P i - pixel values of the original image,
Qi - значения пикселей восстановленного сжатого изображения.Q i - pixel values of the restored compressed image.
Дополнительно следует отметить то, что значительное внимание традиционно уделяется субъективной оценке качества восстановленного изображения зрителем. Однако при этом не учитываются фовеационные свойства человеческого зрения; не учитывается, с какого расстояния данное изображение будет рассматриваться зрителем, то есть видимый угловой размер пикселя остается неопределенным; не учитываются особенности зрения конкретного зрителя.In addition, it should be noted that considerable attention is traditionally paid to the subjective assessment of the quality of the restored image by the viewer. However, the foveational properties of human vision are not taken into account; It does not take into account at what distance the image will be viewed by the viewer, that is, the apparent angular size of the pixel remains undefined; do not take into account the particular vision of a particular viewer.
Таким образом, известные таблицы квантования коэффициентов DWT и DCT не пригодны для использования в методах интерактивного телевидения, учитывающих фовеационные свойства зрения, в том числе индивидуального зрителя. Отсутствуют также методы получения значений данных коэффициентов для периферических зон зрения.Thus, the well-known quantization tables of the DWT and DCT coefficients are not suitable for use in interactive television methods that take into account the foveational properties of vision, including the individual viewer. There are also no methods for obtaining the values of these coefficients for peripheral vision zones.
В свою очередь предложенный способ интерактивного телевизионного вещания характеризуется следующими отличиями от аналога, позволяющими преодолеть перечисленные выше проблемы.In turn, the proposed method of interactive television broadcasting is characterized by the following differences from the analogue, allowing to overcome the above problems.
1) Предлагается способ определения индивидуальной чувствительности зрителя к специальным визуальным стимулам, имеющим компактный пространственный спектр, для различных полей центрального и периферического зрения. Полученные значения позволяют непосредственно рассчитать оптимальные таблицы квантования коэффициентов DWT всех масштабов, для всех полей зрения индивидуального зрителя.1) A method is proposed for determining the individual sensitivity of the viewer to special visual stimuli having a compact spatial spectrum for various fields of central and peripheral vision. The obtained values allow us to directly calculate the optimal quantization tables of DWT coefficients of all scales, for all fields of view of an individual viewer.
2) Предлагается способ разбиения заэкранной матрицы на сегменты различного размера, расположение которых зависит от текущего направления взгляда зрителя. В различных сегментах проводится разная степень децимации изображения, а так же компрессия с применением DWT с использованием различных для каждого типа сегментов таблиц квантования, оптимизированных для индивидуального пользователя.2) A method of dividing the screen matrix into segments of various sizes, the location of which depends on the current direction of the viewer's gaze, is proposed. Different degrees of image decimation are performed in different segments, as well as compression using DWT using different quantization tables optimized for an individual user for each type of segment.
3) Предлагается способ, позволяющий корректировать коэффициенты квантования в зависимости от положения участка изображения на заэкранной матрице и учитывать, таким образом при компрессии, масштабные искажения, неизбежные при отображении широкоугольного изображения на заэкранной матрице.3) A method is proposed that allows you to adjust the quantization coefficients depending on the position of the image on the screen matrix and thus take into account, when compressing, the scale distortions that are inevitable when displaying a wide-angle image on the screen matrix.
Таким образом, в предложенном изобретении предлагается способ определения индивидуальной чувствительности зрителя к визуальным стимулам, имеющим компактный пространственный спектр, для различных полей центрального и периферического зрения. Спектр пространственных частот этих стимулов должен быть близок или совпадать со спектром пространственных частот высокочастотных (ВЧ) фильтров используемого DWT. Полученные значения позволяют непосредственно рассчитать таблицы квантования коэффициентов DWT всех масштабов, для всех полей зрения индивидуального зрителя. Использование полученных таким образом таблиц квантования совместно с методом интерактивного телевидения позволяет получить коэффициент внутрикадрового сжатия изображения в 40 раз больший, чем при использовании традиционных методов сжатия изображения с применением DWT (при поле зрения зрителя размером 180° по горизонтали и 90° по вертикали).Thus, the proposed invention provides a method for determining the individual sensitivity of the viewer to visual stimuli having a compact spatial spectrum for various fields of central and peripheral vision. The spatial frequency spectrum of these stimuli should be close to or coincide with the spatial frequency spectrum of high-frequency (HF) filters used by DWT. The obtained values make it possible to directly calculate the quantization tables of DWT coefficients of all scales, for all fields of view of an individual viewer. The use of quantization tables obtained in this way together with the interactive television method allows to obtain an intraframe image compression ratio 40 times greater than using traditional image compression methods using DWT (with a viewer’s field of view of 180 ° horizontally and 90 ° vertically).
Для определения индивидуальной чувствительности пользователя (зрителя) при практическом использовании предложенного изобретения могут быть использованы различные визуальные стимулы для определения чувствительности его зрительной системы, в том числе показанные на рисунке 2.To determine the individual sensitivity of the user (viewer) in the practical use of the proposed invention, various visual stimuli can be used to determine the sensitivity of his visual system, including those shown in Figure 2.
Возможность использования визуальных стимулов может быть обоснована следующим образом (на пример использования рисунка 2).The possibility of using visual stimuli can be justified as follows (for example, the use of Figure 2).
Традиционно, при кодировании цветного изображения исходные красная (R), зеленая (G) и синяя (Б) составляющие сигнала преобразовываются в яркостную Y и две цветоразностные составляющие Cb и Cr по стандартным формуламTraditionally, when encoding a color image, the original red (R), green (G), and blue (B) components of the signal are converted into luminance Y and two color difference components Cb and Cr according to standard formulas
Обратные преобразования выглядят следующим образомInverse transformations are as follows
Соответственно, для дальнейшего кодирования при помощи DWT и компрессии используются не RGB отставляющие, а одна яркостная Y и две цветоразностные составляющие Cb и Cr. Поэтому необходимо исследование чувствительности зрения зрителя к визуальным стимулам трех типов: черно-белому, красно-зеленому и сине-желтому.Accordingly, for further coding using DWT and compression, not RGB lags are used, but one luminance Y and two color difference components Cb and Cr. Therefore, it is necessary to study the sensitivity of the viewer's vision to visual stimuli of three types: black-and-white, red-green and blue-yellow.
Как известно, зрительная система человека более чувствительна к протяженным деталям изображения, таким как контрастные линии и перепады яркости, и менее чувствительна к отдельным контрастным точкам. Поэтому визуальные стимулы, используемые для определения чувствительности зрения, могут иметь вид чередующихся черно-белых или цветных полосок, подобных тем, что показаны на рисунке 2. Длина каждой полоски в 12 раз больше ее ширины. Для того чтобы сделать пространственный спектр стимулов более компактным, контрастность полосок должна линейно убывать от центра стимула к его краям. Фон всего изображения должен быть серым, то есть R=127, G=127, B=127. Исследование должно проводиться для стимулов как с вертикальной ориентацией полосок, так и с горизонтальной ориентацией полосок. Используются стимулы, содержащие 16 и 8 полосок. Значения светимости и цветоразностные компоненты для черно-белых стимулов определяются по формуламAs you know, the human visual system is more sensitive to extended image details, such as contrast lines and brightness differences, and less sensitive to individual contrast points. Therefore, the visual stimuli used to determine the sensitivity of vision can take the form of alternating black and white or color stripes, similar to those shown in Figure 2. Each strip is 12 times longer than its width. In order to make the spatial spectrum of stimuli more compact, the contrast of the strips should linearly decrease from the center of the stimulus to its edges. The background of the whole image should be gray, that is, R = 127, G = 127, B = 127. The study should be conducted for stimuli with both the vertical orientation of the stripes and the horizontal orientation of the stripes. Incentives containing 16 and 8 strips are used. The luminosity values and color difference components for black and white stimuli are determined by the formulas
где i = -8, -7, -6, -5, -4, -3, -2, -1, 1, 2, 3, 4, 5, 6, 7, 8 номер полоски.where i = -8, -7, -6, -5, -4, -3, -2, -1, 1, 2, 3, 4, 5, 6, 7, 8 strip number.
Konfr=1-127 контраст стимула.Konfr = 1-127 stimulus contrast.
где i = -4, -3, -2, -1, 1, 2, 3, 4 номер полоски.where i = -4, -3, -2, -1, 1, 2, 3, 4 strip number.
Kontr=1-127 контраст стимула.Kontr = 1-127 stimulus contrast.
Стимулы с 16 полосками используются для больших значений контраста:16-strip incentives are used for high contrast values:
Kontr=5-127. Kontr = 5-127.
Стимулы с 8 полоскам используются для малых значений контраста:8-strip incentives are used for low contrast values:
Konfr=1-4. Konfr = 1-4.
Для определения чувствительности зрительной системы к цветоразностным компонентам изображения используются аналогичные стимулы, содержащие 16 и 8 полосок. Значения светимости и цветоразностные компоненты для красно-зеленых стимулов определяются по формулам:To determine the sensitivity of the visual system to the color-difference components of the image, similar stimuli containing 16 and 8 stripes are used. Luminosity values and color difference components for red-green stimuli are determined by the formulas:
где i = -8, -7, -6, -5, -4, -3, -2, -1, 1, 2, 3, 4, 5, 6, 7, 8 номер полоски.where i = -8, -7, -6, -5, -4, -3, -2, -1, 1, 2, 3, 4, 5, 6, 7, 8 strip number.
где i = -4, -3, -2, -1, 1, 2, 3, 4 номер полоски.where i = -4, -3, -2, -1, 1, 2, 3, 4 strip number.
Kontr=1-64 цветовой контраст стимула.Kontr = 1-64 color contrast of the stimulus.
Значения светимости и цветоразностные компоненты для сине-желтых стимулов определяются по формулам:Luminosity values and color difference components for blue-yellow stimuli are determined by the formulas:
где i = -8, -7, -6, -5, -4, -3, -2, -1, 1, 2, 3, 4, 5, 6, 7, 8 номер полоски.where i = -8, -7, -6, -5, -4, -3, -2, -1, 1, 2, 3, 4, 5, 6, 7, 8 strip number.
где i = -4, -3, -2, -1, 1, 2, 3, 4 номер полоски.where i = -4, -3, -2, -1, 1, 2, 3, 4 strip number.
Konfr=1-64 цветовой контраст стимула.Konfr = 1-64 color contrast of the stimulus.
Стимулы с 16 полосками используются для больших значений контраста:16-strip incentives are used for high contrast values:
Kontr=5-64. Kontr = 5-64.
Стимулы с 8 полоскам используются для малых значений контраста:8-strip incentives are used for low contrast values:
Konfr=1-4. Konfr = 1-4.
Зрительная система более чувствительна к движущимся объектам, поэтому все стимулы должны быть мерцающими. Каждый стимул появлялся на экране на 1/10 секунды, затем исчезает на такое же время.The visual system is more sensitive to moving objects, so all stimuli should be flickering. Each stimulus appeared on the screen for 1/10 of a second, then disappears for the same time.
Для определения чувствительности конкретного зрителя к визуальным стимулам должна использоваться та же система визуализации изображения (простой или составной экран), которая затем будет применяться в системе интерактивного телевидения. В ходе эксперимента взгляд зрителя фиксируется в центре экрана на специальной метке. Метка может быть черно-белой, с высоким значением контраста. Ее видимые размеры должны составлять 8-16 угл. мин, и она должна мерцать (то появляться, то исчезать) с частотой около 10 Гц. На сегодняшний день эффективная диагностика зрения пользователя (зрителя) может проводиться только при его активном участии. Необходимо, чтобы тестируемый зритель знал о цели исследования, более того весьма желательно, чтобы зритель имел хотя бы общие представления о принципах интерактивного телевидения и о методах компрессии изображения. В перспективе можно предположить диагностику зрителя на основании предложенных методик без его обязательного участия.To determine the sensitivity of a particular viewer to visual stimuli, the same image visualization system (simple or composite screen) should be used, which will then be used in an interactive television system. During the experiment, the viewer's eye is fixed in the center of the screen on a special mark. The mark may be black and white with a high contrast value. Its visible dimensions should be 8-16 angles. min, and it should flicker (then appear, then disappear) with a frequency of about 10 Hz. To date, an effective diagnostic vision of the user (viewer) can be carried out only with his active participation. It is necessary that the test audience be aware of the purpose of the study; moreover, it is highly desirable for the viewer to have at least general ideas about the principles of interactive television and image compression methods. In the future, we can assume the diagnosis of the viewer based on the proposed methods without his mandatory participation.
Визуальные стимулы выводятся на экран системы визуализации в исследуемой области поля зрения. Для упрощения фиксации на центральной метке лучше использовать сразу два визуальных стимула, симметрично расположенных по разные стороны от центральной метки. Исследуемыми параметрами при этом являются азимут, угол места выводимого на экран визуального стимула, а так же ширина его полосок. Значения контраста стимула при этом меняются при помощи кнопок клавиатуры. Подбирая вручную значения контраста визуального стимула, зритель должен добиться того, чтобы стимул различался на гране порога чувствительности. При этом тестируемому зрителю необходимо разъяснить следующие особенности процедуры тестирования. Взгляд должен быть все время сосредоточен на центральной метке. Зрительный стимул должен восприниматься исключительно периферическим зрением. Недопустимо «подсматривать» за визуальными стимулами, используя короткие саккады. При определенной тренировке зритель может научиться подавлять подобные саккады. Для контроля может быть использована специальная камера, отслеживающая направление взгляда зрителя и издающая звуковой сигнал при отклонении взгляда от центральной метки. Зритель должен определять порог чувствительности к визуальному стимулу не по различимости всего стимула в целом (например, как более яркое или более темное пятно на сером фоне), а как различимость его «полосатости». Описанные выше исследования должны быть проведены для индивидуального зрителя, для всех полей его зрения, для визуальных стимулов, имеющих различную видимую угловую ширину полосок, для яркостной и обоих цветоразностных составляющих изображения. Желательно проведение серии исследований с их повтором несколько раз в разные дни и полученные в разные дни результаты усреднить. Полученные значения контраста для визуальных стимулов с различной шириной полосок могут быть непосредственно использованы для расчета таблиц квантования коэффициентов DWT в соответствующей зоне поля зрения.Visual stimuli are displayed on the screen of the visualization system in the studied area of the visual field. To simplify fixation on the central mark, it is better to use two visual stimuli at once, symmetrically located on opposite sides of the central mark. In this case, the studied parameters are the azimuth, elevation angle of the visual stimulus displayed on the screen, as well as the width of its strips. In this case, the stimulus contrast values are changed using the keyboard buttons. By manually selecting the contrast value of the visual stimulus, the viewer must ensure that the stimulus differs on the verge of the threshold of sensitivity. In this case, the tested viewer needs to clarify the following features of the testing procedure. All eyes should be focused on the central mark. The visual stimulus should be perceived exclusively by peripheral vision. It is unacceptable to “spy” on visual stimuli using short saccades. With some training, the viewer can learn to suppress such saccades. For control, a special camera can be used that tracks the direction of the viewer's gaze and emits an audio signal when the gaze deviates from the center mark. The viewer should determine the threshold of sensitivity to the visual stimulus not by the distinguishability of the entire stimulus as a whole (for example, as a brighter or darker spot on a gray background), but as the distinguishability of its “strip”. The studies described above should be carried out for an individual viewer, for all fields of his vision, for visual stimuli having different visible angular strip widths, for brightness and both color-difference components of the image. It is advisable to conduct a series of studies with their repetition several times on different days and average the results obtained on different days. The obtained contrast values for visual stimuli with different strip widths can be directly used to calculate the quantization tables of DWT coefficients in the corresponding zone of the field of view.
Методика расчета таблиц квантования коэффициентов DWT может быть пояснена на следующем примере.The methodology for calculating the quantization tables of DWT coefficients can be explained with the following example.
Допустим, в некоторой области периферического зрения различимы черно-белые визуальные стимулы с видимой шириной полоски в 2 угл. мин только при максимальном контрасте Kontr=127. При этом визуальные стимулы с меньшей шириной полоски не различимы ни при каком контрасте стимула.Suppose, in a certain area of peripheral vision, black-and-white visual stimuli with a visible stripe width of 2 angles are distinguishable. min only at maximum contrast Kontr = 127. In this case, visual stimuli with a smaller strip width are not distinguishable under any contrast of the stimulus.
Допустим так же, что при отображении видеоинформации из камеры (или системы камер) в соответствующую область памяти (заэкранную матрицу) 1 пиксель заэкранной матрицы соответствует полю зрения в 1 угл. мин, что есть максимальная разрешающая способность человеческого зрения. При этом, разумеется, необходимо отметить, что при отображении широкоугольного изображения на плоскость битовой матрицы возникнут искажения масштаба и соответствие 1 пиксель - 1 угл. мин поля зрения будет выполняться только для центра матрицы, по краям оно будет несколько меньше.Suppose also that when displaying video information from a camera (or camera system) into the corresponding memory area (screen matrix), 1 pixel of the screen matrix corresponds to a field of view of 1 corner. min, which is the maximum resolution of human vision. In this case, of course, it should be noted that when displaying a wide-angle image on the plane of the bit matrix, scale distortions and a correspondence of 1 pixel - 1 angle will occur. min of the field of view will be performed only for the center of the matrix, along the edges it will be slightly less.
В рассматриваемой области периферического зрения для черно-белой составляющей необходимо выполнить предварительную 2-кратную децимацию, так как детали изображения меньшего размера все равно не различимы. Далее необходимо выполнить в данной области многоуровневое DWT. Затем полученные коэффициенты DWT делятся на соответствующие коэффициенты квантования, различные для разных масштабов преобразования. Результат деления округляется до ближайшего целого. Затем производится энтропийное кодирование, например, по алгоритму SPIHT.In the considered field of peripheral vision, for the black-and-white component it is necessary to perform preliminary 2-fold decimation, since the details of the smaller image are still not distinguishable. Next, you need to perform multi-level DWT in this area. Then, the obtained DWT coefficients are divided by the corresponding quantization coefficients, different for different transformation scales. The division result is rounded to the nearest integer. Then, entropy coding is performed, for example, according to the SPIHT algorithm.
Для рассматриваемой зоны коэффициент квантования 1-го уровня DWT получается в результате умножения значения контраста для стимула с шириной полосок в 2 угл. мин на некоторое число Koef. Коэффициент квантования 2-го уровня DWT может быть получен в результате умножения значений контраста для стимула с шириной полосок в 4 угл. мин на то же число Koef. Аналогично, при нахождении значения коэффициента квантования 3-го уровня DWT для данной области изображения используются значения контраста для стимула с видимой шириной полосок 8 угл. мин.For the zone under consideration, the 1st level quantization coefficient DWT is obtained by multiplying the contrast value for the stimulus with a strip width of 2 angles. min for a certain number of Koef. The quantization coefficient of the 2nd level of DWT can be obtained by multiplying the contrast values for a stimulus with a strip width of 4 angles. min by the same number of Koef. Similarly, when finding the value of the quantization coefficient of the 3rd level of DWT for a given image area, the contrast values for the stimulus with a visible bandwidth of 8 angles are used. min
Для других областей поля зрения, а так же для цветоразностных составляющих изображения степень децимации изображения и значения коэффициентов квантования DWT всех уровней определяется аналогично. При этом значение числа Koef является постоянной для всех полей зрения, всех уровней разложения и всех компонент изображения, и определяется только типом DWT. Значение числа Koef может быть легко найдено экспериментально. Например, для фильтров CDF97 при значении Koef=0,5 изображение имеет практически идеальное качество.For other areas of the field of view, as well as for color-difference components of the image, the degree of decimation of the image and the values of the DWT quantization coefficients of all levels are determined similarly. Moreover, the value of the Koef number is constant for all fields of view, all levels of decomposition, and all image components, and is determined only by the DWT type. The value of the Koef number can be easily found experimentally. For example, for CDF97 filters with a value of Koef = 0.5, the image has almost perfect quality.
При использовании сепарабельного DWT коэффициенты разложения, полученные в результате НЧ-фильтрации по вертикали и ВЧ-фильтрации по горизонтали, должны квантоваться на основании контраста для визуальных стимулов с вертикальными полосками. Напротив, коэффициенты сепарабельного DWT, полученные в результате ВЧ-фильтрации по вертикали и НЧ-фильтрации по горизонтали, должны квантоваться на основании контраста для визуальных стимулов с горизонтальными полосками.When using separable DWT, the decomposition coefficients obtained by vertical low-pass filtering and horizontal high-pass filtering should be quantized based on contrast for visual stimuli with vertical stripes. In contrast, the separable DWT coefficients obtained by vertical high-pass filtering and horizontal low-pass filtering should be quantized based on contrast for visual stimuli with horizontal stripes.
Коэффициенты сепарабельного DWT, полученные в результате ВЧ-фильтрации как по вертикали, так и по горизонтали, вычисляются на основании полученных значений различимого контраста визуальных стимулов особого типа, которые представляют из себя черно-белые (для определения коэффициентов квантования DWT Y составляющей), красно-зеленые (для Cr составляющей) или сине-желтые (для Cb составляющей) квадраты, чередующиеся в шахматном порядке. Причем контраст квадратов убывает от центра визуального стимула к периферии. Мерой пространственной частоты в этом случае служит не ширина полосок, а размер квадратов. Вид черно-белых визуальных стимулов это типа размером 15×15 квадратов задается формулойThe separable DWT coefficients obtained by high-frequency filtering both vertically and horizontally are calculated on the basis of the obtained values of the distinguishable contrast of visual stimuli of a special type, which are black and white (to determine the quantization coefficients of the DWT Y component), red green (for the Cr component) or blue-yellow (for the Cb component) squares alternating in a checkerboard pattern. Moreover, the contrast of the squares decreases from the center of the visual stimulus to the periphery. In this case, the measure of the spatial frequency is not the width of the stripes, but the size of the squares. The type of black-and-white visual stimuli of this type with a size of 15 × 15 squares is given by the formula
где i = -7, -6, -5, -4, -3, -2, -1, 0, 1, 2, 3, 4, 5, 6, 7 номер столбца;where i = -7, -6, -5, -4, -3, -2, -1, 0, 1, 2, 3, 4, 5, 6, 7; the column number;
j = -7, -6, -5, -4, -3, -2, -1, 0, 1, 2, 3, 4, 5, 6, 7 номер строки.j = -7, -6, -5, -4, -3, -2, -1, 0, 1, 2, 3, 4, 5, 6, 7 line number.
Konfr=1-127 контраст стимула.Konfr = 1-127 stimulus contrast.
Черно-белые визуальные стимулы меньшего размера 7x7 квадратов задаются формулойThe black and white visual stimuli of a smaller size of 7x7 squares are given by the formula
где i = -3, -2, -1, 0, 2, 3 номер столбца; where i = -3, -2, -1, 0, 2, 3 column number;
j = -3, -2, -1, 0, 2, 3 номер строки.j = -3, -2, -1, 0, 2, 3 line number.
Kontr=1-127 контраст стимула.Kontr = 1-127 stimulus contrast.
Стимулы размером 15×15 квадратов используются для больших значений контраста: Kontr=5-127. Стимулы размером 7×7 квадратов используются для малых значений контраста: Konfr=1-4.15 × 15 square stimuli are used for large contrast values: Kontr = 5-127. 7 × 7 square stimuli are used for small contrast values: Konfr = 1-4.
Для определения чувствительности зрительной системы к цветоразностным компонентам изображения используются аналогичные стимулы, размером 15×15 и 7×7 квадратов. Значения светимости и цветоразностные компоненты для красно-зеленых визуальных стимулов определяются по формулам:To determine the sensitivity of the visual system to the color-difference components of the image, similar stimuli of 15 × 15 and 7 × 7 squares are used. Luminosity values and color difference components for red-green visual stimuli are determined by the formulas:
где i = -7, -6, -5, -4, -3, -2, -1, 0, 1, 2, 3, 4, 5, 6, 7 номер столбца;where i = -7, -6, -5, -4, -3, -2, -1, 0, 1, 2, 3, 4, 5, 6, 7; the column number;
j = -7, -6, -5, -4, -3, -2, -1, 0, 1, 2, 3, 4, 5, 6, 7 номер строки.j = -7, -6, -5, -4, -3, -2, -1, 0, 1, 2, 3, 4, 5, 6, 7 line number.
где i = -3, -2, -1, 0, 2, 3 номер столбца; where i = -3, -2, -1, 0, 2, 3 column number;
j = -3, -2, -1, 0, 2, 3 номер строки.j = -3, -2, -1, 0, 2, 3 line number.
Kontr=1-64 цветовой контраст стимула.Kontr = 1-64 color contrast of the stimulus.
Значения светимости и цветоразностные компоненты для сине-желтых визуальных стимулов определяются по формулам:Luminosity values and color difference components for blue-yellow visual stimuli are determined by the formulas:
где i = -7, -6, -5, -4, -3, -2, -1, 0, 1, 2, 3, 4, 5, 6, 7 номер столбцаwhere i = -7, -6, -5, -4, -3, -2, -1, 0, 1, 2, 3, 4, 5, 6, 7 column number
j = -7, -6, -5, -4, -3, -2, -1, 0, 1, 2, 3, 4, 5, 6, 7 номер строки.j = -7, -6, -5, -4, -3, -2, -1, 0, 1, 2, 3, 4, 5, 6, 7 line number.
где i = -3, -2, -1, 0, 2, 3 номер столбца, j = -3, -2, -1, 0, 2, 3 номер строки.where i = -3, -2, -1, 0, 2, 3 is the column number, j = -3, -2, -1, 0, 2, 3 is the row number.
Kontr=1-64 цветовой контраст стимула.Kontr = 1-64 color contrast of the stimulus.
Для нахождения оптимальных для каждого пользователя таблиц квантования DWT можно успешно использовать не только приведенные на рисунке 2 визуальные стимулы, но и визуальные стимулы любого другого вида, принципиальными являются только следующие обстоятельства:To find the optimal DWT quantization tables for each user, one can successfully use not only the visual stimuli shown in Figure 2, but also visual stimuli of any other kind, only the following circumstances are important:
A) спектр пространственных частот стимула должен быть компактным;A) the spatial frequency spectrum of the stimulus should be compact;
Б) при нахождении коэффициента квантования для элементов DWT конкретного уровня для участка изображения, имеющего конкретное положение относительно точки, в которую направлен взгляд, нужно использовать визуальный стимул, имеющий спектр пространственных частот, близкий или совпадающий со спектром пространственных частот ВЧ-фильтра DWT данного уровня разложения;B) when finding the quantization coefficient for DWT elements of a specific level for a portion of the image having a specific position relative to the point where the gaze is directed, you need to use a visual stimulus having a spatial frequency spectrum close to or coinciding with the spatial frequency spectrum of the DWT high-pass filter of a given decomposition level ;
B) найденные значения контраста таких стимулов (при котором зрение еще способно их различать) пересчитываются в значения коэффициентов квантования элементов DWT при помощи умножения на некоторый коэффициент, постоянный для всех уровней DWT, всех полей зрения, всех зрителей (значения данного коэффициента легко находятся экспериментально и могут отличаться в зависимости от типа DWT (сепарабельное или несепарабельное), используемых фильтров DWT, используемых визуальных стимулов, по сути значение данного коэффициента определяет качество изображения в целом);B) the found contrast values of such stimuli (at which vision is still able to distinguish them) are converted into the values of the quantization coefficients of DWT elements by multiplying by a certain constant that is constant for all DWT levels, all fields of view, all viewers (the values of this coefficient are easily found experimentally and may vary depending on the type of DWT (separable or inseparable), DWT filters used, visual stimuli used, in fact, the value of this coefficient determines the image quality eniya in general);
Г) при тестировании должна использоваться та же система визуализации изображения (простой или составной экран), с теми же настройками, какие будут использоваться далее для просмотра изображения данным зрителем, одинаковым при тестировании и при дальнейшем использовании должно быть также положение зрителя относительно системы визуализации.D) during testing, the same image visualization system should be used (simple or composite screen), with the same settings that will be used later for viewing the image by this viewer, the same during testing and with further use should also be the position of the viewer relative to the visualization system.
Различная степень децимации изображения в различных полях зрения позволяет осуществить грубую оптимизацию качества изображения. Использование различных таблиц квантования коэффициентов DWT для различных областей поля зрения позволяет осуществить более тонкую настройку, для учета индивидуальных особенностей зрения зрителя, и повысить коэффициент компрессии информации. Описанная выше методика позволяет получить таблицы квантования коэффициентов DWT, которые в свою очередь могут быть использованы для реализации метода интеактивного телевидения, использующего особенности фовеационного и периферического зрения индивидуального зрителя.Different degrees of decimation of the image in different fields of view allows for crude optimization of image quality. The use of different quantization tables of DWT coefficients for different areas of the field of view allows for finer tuning to take into account the individual characteristics of the viewer's vision and increase the compression ratio of information. The technique described above allows one to obtain tables of quantization of DWT coefficients, which in turn can be used to implement the interactive television method using features of the foveational and peripheral vision of an individual viewer.
Предложенный способ интерактивного телевизионного вещания включает в себя способ деления изображения на сегменты, размер и положение которых зависят от направления взгляда зрителя. Изображение в данных сегментах подвергается разной степени децимации, группы пикселей усредняются с целью образования так называемых макропикселей. Степень децимации (размер макропикселей) зависит от положения сегмента изображения относительно точки, в которую в данный момент времени направлен взгляд зрителя. При кодировании сегментов, полученных в результате децимации изображения, используются таблицы квантования коэффициентов DWT, значения элементов в которых зависит также от положения сегмента относительно центра заэкранной матрицы (для учета масштабных искажений, неизбежных при отображении широкоугольного изображения на плоскость заэкранной матрицы), а так же от положения сегмента относительно точки, в которую направлен взгляд зрителя, и может быть индивидуально для каждого зрителя, то есть учитывать индивидуальные особенности зрения зрителя.The proposed method of interactive television broadcasting includes a method of dividing the image into segments, the size and position of which depend on the direction of view of the viewer. The image in these segments is subjected to varying degrees of decimation, the groups of pixels are averaged to form the so-called macro pixels. The degree of decimation (macro-pixel size) depends on the position of the image segment relative to the point at which the viewer's gaze is directed at a given time. When encoding segments obtained as a result of decimation of the image, DWT coefficient quantization tables are used, the values of elements in which also depend on the position of the segment relative to the center of the screen matrix (to take into account the scale distortions that are inevitable when displaying a wide-angle image on the plane of the screen matrix), as well as the position of the segment relative to the point at which the viewer's gaze is directed, and can be individually for each viewer, that is, take into account the individual characteristics of the view viewer.
Данная методика подразумевает, что изображение, фиксируемое одной или несколькими камерами, отображается в области памяти - заэкранной матрице записи. Закон отображения в общем виде выглядит следующим образомThis technique implies that the image captured by one or more cameras is displayed in the memory area - the on-screen recording matrix. The mapping law in general is as follows
где I, J - координаты пикселя заэкранной битовой матрицы записи;where I, J are the pixel coordinates of the onscreen bitmap recording matrix;
φ, ϕ - азимут и угол места объекта, соответствующего данному пикселю.φ, ϕ - azimuth and elevation angle of the object corresponding to this pixel.
Обратное преобразование имеет видThe inverse transformation has the form
При кодировании цветного изображения предполагается, что исходные красная (R), зеленая (G) и синяя (Б) составляющие сигнала преобразовывались в яркостную Y и две цветоразностные составляющие Cb и Cr по стандартным формулам (3).When encoding a color image, it is assumed that the original red (R), green (G), and blue (B) components of the signal were converted into luminance Y and two color difference components Cb and Cr according to standard formulas (3).
Предлагаемый способ допускает два возможных варианта построения системы интерактивного телевидения - вариант А и вариант В.The proposed method allows two possible options for constructing an interactive television system - option A and option B.
В варианте А для получения высокого качества изображения пиксель в центре заэкранной матрицы записи должен соответствовать полю зрения в 1 угл. мин, что близко к пределу разрешающей способности человеческого зрения. Поскольку поле зрения зрителя весьма широкое - 180° по горизонтали и 90° по вертикали, то система визуализации (составной экран) должна иметь очень большое количество пикселей 60-75 Мпикс. Аналогичное разрешение должна иметь система фиксации изображения (сверхширокоугольная камера или система из нескольких камер). Практическая реализация такой системы может быть достаточно трудной.In option A, in order to obtain high image quality, the pixel in the center of the on-screen recording matrix should correspond to a field of view of 1 corner. min, which is close to the limit of the resolution of human vision. Since the viewer's field of view is very wide - 180 ° horizontally and 90 ° vertically, the visualization system (composite screen) must have a very large number of pixels 60-75 megapixels. A similar resolution should have an image capture system (ultra-wide-angle camera or a system of several cameras). The practical implementation of such a system can be quite difficult.
В варианте В пиксель в центре заэкранной матрицы записи должен соответствовать полю зрения в 2 угл. мин, что, при правильной стратегии квантования элементов DWT, не вызовет заметного снижения качества изображения. Система визуализации (составной экран) при этом может быть реализована на основе 9 стандартных ЖК матриц с разрешением Full HD 1920×1080, как показано на рисунке 3 (0F - точка фиксации взгляда). В варианте А система визуализации может выглядеть аналогично, но потребуются ЖК матрицы с вдвое большим разрешением 3840×2048.In option B, the pixel in the center of the on-screen recording matrix should correspond to a 2-angle field of view. min, which, with the correct quantization strategy for DWT elements, will not cause a noticeable decrease in image quality. The visualization system (composite screen) can be implemented on the basis of 9 standard LCD matrices with a resolution of Full HD 1920 × 1080, as shown in Figure 3 (0F is the point of fixation of the gaze). In option A, the visualization system may look similar, but LCD matrices with twice the resolution of 3840 × 2048 will be required.
Плоскость заэкранной матрицы записи разбивается на сегменты, имеющие различный размер. Положение сегментов зависит от текущего направления взгляда зрителя. Пиксели заэкранной битовой матрицы записи подвергаются децимации и вычисляются значения макропикселей заэкранной матрицы компрессии, то есть макропиксели матрицы компрессии есть, по сути, децимированные пиксели матрицы записи. Степень децимации (и соответственно размер макропикселей) зависит от типа сегмента. Пример расположения сегментов показан на рисунке 4.The plane of the on-screen recording matrix is divided into segments having different sizes. The position of the segments depends on the current viewing direction of the viewer. The pixels of the on-screen bit matrix of the recording are decimated and the values of the macro pixels of the on-screen compression matrix are calculated, that is, the macro pixels of the compression matrix are, in fact, decimated pixels of the recording matrix. The degree of decimation (and therefore the size of the macro pixels) depends on the type of segment. An example of the location of the segments is shown in Figure 4.
Обозначим текущее направление взгляда оператора как (φв, ϕв). Согласно формуле 11 объект, на который направлен взгляд, имеет координаты (Iв, Jв) на заэкранной битовой матрице записи. Значение яркостной составляющей Y пикселей заэкранной битовой матрицы записи вблизи точки (Iв, Jв) переносится на заэкранную матрицу компрессии без децимации. Значение цветоразностных составляющих Cb и Cr подвергается 2-кратной децимации (в варианте А). Таким образом формируются зоны OF и 0.Denote the current direction of the operator's gaze as (φ in , ϕ in ). According to formula 11, the object that the gaze is directed to has coordinates (I in , J in ) on the screen bit matrix of the recording. The value of the brightness component Y pixels of the on-screen bit matrix of recording near the point (I in , J in ) is transferred to the on-screen compression matrix without decimation. The value of the color difference components of Cb and Cr is subjected to 2-fold decimation (in option A). Thus, zones OF and 0 are formed.
Зона OF в варианте А имеет размер 256×256 (в варианте В 128×128) пикселей для составляющей Y, и 128×128 пикселей для Cb и Cr для обоих вариантов, что соответствует полю зрения 4,27°×4,27° (без учета искажения масштаба). Это превышает размер зоны фовеального зрения, составляющей 2°×2°. Этот запас необходим, так как принятая допустимая погрешность определения направления взгляда может составлять 1°. Зона 0F имеет наивысшее качество изображения.The OF zone in option A has a size of 256 × 256 (in option B 128 × 128) pixels for component Y, and 128 × 128 pixels for Cb and Cr for both variants, which corresponds to a field of view of 4.27 ° × 4.27 ° ( excluding scale distortion). This exceeds the size of the foveal vision zone of 2 ° × 2 °. This margin is necessary, since the accepted permissible error in determining the direction of sight can be 1 °. Zone 0F has the highest image quality.
В варианте А область OF окружена рамкой зоны 0 шириной 128 пикселей. Зона 0 разбита на 12 сегментов размером 128×128 пикселей для составляющей Y и 64×64 пикселей для Cb и Cr. Каждый сегмент разделен на четыре подсегмента, обозначенные как 0а, 0b, 0с, 0d, 0е.In option A, the OF region is surrounded by a frame of zone 0 with a width of 128 pixels. Zone 0 is divided into 12 segments of 128 × 128 pixels for the Y component and 64 × 64 pixels for Cb and Cr. Each segment is divided into four sub-segments, designated as 0a, 0b, 0c, 0d, 0e.
В варианте В область OF окружена рамкой зоны 0 шириной 64 пикселей. Зона 0 разбита на 12 сегментов размером 64×64 пикселей для составляющей Y и 64×64 пикселей для Cb и Cr. Каждый сегмент разделен на четыре подсегмента, обозначенных как 0а, 0b, 0с, 0d, 0е.In Embodiment B, the OF region is surrounded by a frame of zone 0 with a width of 64 pixels. Zone 0 is divided into 12 segments of 64 × 64 pixels for the Y component and 64 × 64 pixels for Cb and Cr. Each segment is divided into four sub-segments, designated as 0a, 0b, 0c, 0d, 0e.
В этих подсегментах используются различные таблицы квантования DWT. Легко заметить, что расстояние от точки взгляда (Iв, Jв) до подсегментов 0а меньше, чем до подсегментов 0b, для подсегментов 0b меньше, чем для подсегментов 0с и т.д. Соответственно, для более удаленных от точки, в которую направлен взгляд подсегментов, коэффициенты квантования элементов DWT более грубые. Это позволяет осуществлять более точную оптимизацию качества изображения.These sub-segments use various DWT quantization tables. It is easy to see that the distance from the viewpoint (I in , J in ) to sub-segments 0a is less than to sub-segments 0b, for sub-segments 0b less than for sub-segments 0c, etc. Accordingly, for more distant from the point at which the gaze of the sub-segments is directed, the quantization coefficients of the DWT elements are coarser. This allows for more accurate image quality optimization.
В свою очередь зона 0 заэкранной матрицы записи окружена рамкой, имеющей в варианте А ширину 512 пикселей, а в варианте В ширину 256 пикселей. Эта рамка образует зону 1. В этой зоне макропиксели матрицы компрессии в варианте А образуются из пикселей матрицы записи в результате 2-кратной децимации Y составляющей и 4-кратной децимации Cb и Cr.In turn, zone 0 of the on-screen recording matrix is surrounded by a frame with a width of 512 pixels in option A and 256 pixels in option B. This frame forms
В варианте В для составляющей Y децимация не используется, а для составляющих Cb и Cr используется 2-кратная децимация. В любом варианте размер макропикселя для составляющей Y соответствует полу зрения в 2 угл. мин (без учета искажения масштаба). Эти макропиксели объединены в 9 независимых сегментов. Размер сегментов составляет соответственно 256×256 макропикселей для Y и 128×128 для Cb и Cr. Каждый сегмент разделен на 16 подсегментов с различными таблицами квантования коэффициентов DWT. В зависимости от удаленности от центра OF подсегменты обозначаются 1а, 1b, 1с, 1d, 1е, 1f, 1g, 1h, 1i.In option B, decimization is not used for component Y, and 2-fold decimation is used for components Cb and Cr. In any case, the macro-pixel size for component Y corresponds to a 2-angle field of view. min (excluding scale distortion). These macro pixels are combined into 9 independent segments. The size of the segments is 256 × 256 macro pixels for Y and 128 × 128 for Cb and Cr, respectively. Each segment is divided into 16 sub-segments with different quantization tables of DWT coefficients. Depending on the distance from the center of OF, the sub-segments are designated 1a, 1b, 1c, 1d, 1e, 1f, 1g, 1h, 1i.
В варианте А зона 1 заэкранной матрицы записи окружена рамкой шириной 768 пикселей, образующей зону 2. В этой зоне макропиксели матрицы компрессии в варианте А образуются из пикселей матрицы записи в результате 4-х кратной децимации Y составляющей и 8-кратной децимации Cb и Cr.In option A,
В варианте В зона 1 заэкранной матрицы записи окружена рамкой шириной 384 пикселей, образующей зону 2. В этой зоне макропиксели матрицы компрессии в варианте В образуются из пикселей матрицы записи в результате 2-кратной децимации Y составляющей и 4-кратной децимации Cb и Cr.In option B,
Для обоих вариантов макропиксели зоны 2 объединены в 12 независимых сегментов. Размер сегментов составляет соответственно 192×192 макропикселей для Y и 96×96 для Cb и Cr. Сегменты кодируются независимо. Каждый сегмент разделен на 9 подсегментов с различными таблицами квантования коэффициентов DWT. В зависимости от удаленности от центра OF подсегменты обозначаются 2а, 2b, 2с, 2d, 2е, 2f, 2g, 2h.For both options, the
В варианте А зона 2 заэкранной матрицы записи окружена рамкой шириной 1024 пикселей, образующей зону 3. В этой зоне макропиксели матрицы компрессии в варианте А образуются из пикселей матрицы записи в результате 8-кратной децимации Y составляющей и 16-кратной децимации Cb и Cr.In option A,
В варианте В зона 2 заэкранной матрицы записи окружена рамкой шириной 512 пикселей, образующей зону 3. В этой зоне макропиксели матрицы компрессии в варианте В образуются из пикселей матрицы записи в результате 4-кратной децимации Y составляющей и 8-кратной децимации Cb и Cr.In option B,
Для обоих вариантов макропиксели зоны 3 объединены в 16 независимых сегментов. Размер сегментов составляет соответственно 128×128 макропикселей для Y и 64×64 для Cb и Cr. Сегменты кодируются независимо. Каждый сегмент разделен на 4 подсегмента с различными таблицами квантования коэффициентов DWT. В зависимости от удаленности от центра OF подсегменты обозначаются 3а, 3b, 3c, 3d, 3e, 3f.For both variants,
Вся остальная область заэкранной матрицы записи разбивается на сегменты зоны 4. В варианте А размер этих сегментов 1024×1024 пике. В этой зоне макропиксели матрицы компрессии в варианте А образуются из пикселей матрицы записи в результате 8-кратной децимации Y составляющей и 16-кратной децимации Cb и Cr.The rest of the area of the on-screen recording matrix is divided into segments of
В варианте В размер этих сегментов на матрице записи составляет 512×512 пике. В этой зоне макропиксели матрицы компрессии в варианте В образуются из пикселей матрицы записи в результате 4-кратной децимации Y составляющей и 8-кратной децимации Cb и Cr.In option B, the size of these segments on the recording matrix is 512 × 512 peaks. In this zone, the macro pixels of the compression matrix in option B are formed from the pixels of the recording matrix as a result of 4-fold decimation of the Y component and 8-fold decimation of Cb and Cr.
Для обоих вариантов размер сегментов зоны 4 составляет соответственно 128×128 макропикселей для Y и 64×64 для Cb и Cr. Таблицы квантования коэффициентов DWT зоны 4 такие же, как в подсегментах 3f, что обеспечивает самый низкий уровень качества изображения.For both options, the size of the segments of
Границы матрицы записи не всегда совпадают с границами сегментов. В этом случае меняется размер сегментов, находящихся у границы, из квадратных они становятся прямоугольными.The boundaries of the recording matrix do not always coincide with the boundaries of the segments. In this case, the size of the segments located at the border changes, from the square they become rectangular.
В каждом сегменте изображение кодируется независимо с использованием нечетного продолжения на краях (при использовании нечетных фильтров, например CDF97) и передается по каналу связи. Это необходимо, чтобы избежать значительной буферизации данных, неприемлемой в системе реального времени.In each segment, the image is encoded independently using an odd continuation at the edges (using odd filters, such as CDF97) and transmitted over the communication channel. This is necessary to avoid significant data buffering, which is unacceptable in a real-time system.
Система интерактивного телевидения, использующая отличия фовеационного и периферийного зрения, обеспечивает особенно большой выигрыш в степени компрессии информации по сравнению с обычным телевидением при очень широком поле зрения. В данном методе предлагается использовать поле зрения 180° по вертикали и 90° по горизонтали. Как уже отмечалось ранее, отображение широкоугольного изображения на плоскость заэкранной матрицы записи без искажений невозможно.An interactive television system using differences between foveational and peripheral vision provides a particularly large gain in the degree of information compression compared to conventional television with a very wide field of view. In this method, it is proposed to use a field of view of 180 ° vertically and 90 ° horizontally. As noted earlier, displaying a wide-angle image onto the plane of the on-screen recording matrix is not possible without distortion.
Для практического использования способа предлагается использовать равноугольную проекцию Меркатора. При этом координаты пикселей заэкранной матрицы записи (I, J) и угловые координаты объектов, которые им соответствуют (φ, ϕ), связаны следующими соотношениямиFor practical use of the method, it is proposed to use the equiangular projection of the Mercator. In this case, the coordinates of the pixels of the on-screen recording matrix (I, J) and the angular coordinates of the objects that correspond to them (φ, ϕ) are related by the following relations
I=koef·φI = koef
где φ - азимут объекта;where φ is the azimuth of the object;
ϕ - угол места объекта.ϕ is the elevation angle of the object.
если разрешение системы составляет 1 угл. мин - вариант А.if the resolution of the system is 1 angle. min - option A.
если разрешение системы составляет 2 угл. мин - вариант В.if the resolution of the system is 2 angles. min - option B.
Формула (13) является частным случаем формулы (11) для проекции Меркатора. Обратные преобразования (частный случай формулы 12 для проекции Меркатора) выглядят следующим образом:Formula (13) is a special case of formula (11) for the Mercator projection. The inverse transformations (a special case of formula 12 for the Mercator projection) are as follows:
φ=I/koefφ = I / koef
где φ - видимый с места зрителя азимут пикселя устройства визуализации;where φ is the azimuth of the pixel of the visualization device visible from the viewer’s place;
ϕ - видимый с места зрителя угол места пикселя устройства визуализации.ϕ is the angle of the pixel of the visualization device visible from the viewer’s place.
Для данной проекции характерны искажения масштаба в зависимости от угла места:This projection is characterized by scale distortions depending on elevation:
где М - относительный масштаб. where M is the relative scale.
При ϕ=0 (J=0), т.е. вдоль средней горизонтальной линии - экватора М=1, а выше и ниже этой линии М>1. Данное обстоятельство необходимо учитывать при вычислении таблиц квантовании коэффициентов DWT.For ϕ = 0 (J = 0), i.e. along the middle horizontal line - the equator M = 1, and above and below this line M> 1. This circumstance must be taken into account when calculating the tables of quantization of DWT coefficients.
То есть, изображение на краях заэкранной матрицы окажется несколько растянутым по сравнению с изображением в центре. При отображении на устройстве визуализации изображение вновь сожмется и зритель не заметит искажений. Однако, для того чтобы растянутое изображение не содержало избыточную информацию, коэффициенты квантования должны быть откорректированы, проще говоря, квантование этих участков должно быть грубее. Таким образом, таблицы квантования учитывают не только фовеационные свойства взгляда пользователя, но и искажения масштаба изображения, возникающие при отображении широкоугольного изображения на плоскость.That is, the image at the edges of the screen matrix will be somewhat stretched compared to the image in the center. When displayed on the visualization device, the image is compressed again and the viewer will not notice distortion. However, in order for the stretched image to not contain redundant information, the quantization coefficients must be adjusted, in other words, the quantization of these sections should be rougher. Thus, quantization tables take into account not only the foveational properties of the user's gaze, but also distortions of the image scale that occur when displaying a wide-angle image on a plane.
Другими словами коэффициенты квантования элементов DWT должны зависеть не только от типа сегмента и подсегмента (т.е. от удаленности участка изображения от точки, в которую направлен взгляд), но и от того, в каком месте матрицы записи находиться данный участок изображения. В данном методе предлагается разбить плоскость матрицы записи на горизонтальные пояса по широтам.In other words, the quantization coefficients of DWT elements should depend not only on the type of segment and subsegment (i.e., on the remoteness of the image section from the point where the gaze is directed), but also on where the given image section is located in the recording matrix. In this method, it is proposed to divide the plane of the recording matrix into horizontal belts by latitudes.
В экваториальном поясе ϕ=±20° масштабные искажения малы и можно принять М=1. В поясах шириной 10°, лежащих выше и ниже экваториального пояса, -30<ϕ<-20 и 20<ϕ<30 М=1,1. В следующих поясах -40<ϕ<-30 и 30<ϕ<40 М=1,22. И, наконец, на нижнем и верхнем крае матрицы -45<ϕ<-40 и 40<ϕ<45 М=1,34.In the equatorial belt ϕ = ± 20 °, scale distortions are small and M = 1 can be taken. In
При составлении таблиц квантования коэффициентов DWT для различных сегментов и подсегментов при помощи экспериментального определения чувствительности зрения зрителя к визуальным стимулам следует учитывать искажение масштаба.When compiling the quantization tables of DWT coefficients for various segments and sub-segments by experimentally determining the sensitivity of the viewer's vision to visual stimuli, scale distortion should be taken into account.
Делается это следующим образом. Например, в зоне 3 макропиксели черно-белой составляющей матрицы компрессии в варианте А образуются из пикселей матрицы записи в результате 8-кратной децимации Y составляющей. Поскольку на экваторе (ϕ=±20 и М=1) заэкранной битовой матрицы записи пиксель соответствует углу зрения в 1 угл. мин, то полученный в результате 8-кратной децимации макропиксель битовой матрицы компрессии соответствует углу поля зрения 8 угл. мин. Подсегмент 3а находится на расстоянии 1792 угл. мин (29,86°) от центра зоны OF. Следовательно, для определения коэффициента квантования DWT 1-го уровня этого подсегмента необходимо определить чувствительность периферического зрения зрителя к черно-белым визуальным стимулам с видимой шириной полосок 8 угл. мин, находящимся на расстоянии 1792 угл. мин от зоны фовеа. Для определения коэффициентов квантования 2-го уровня нужны стимулы с видимой шириной полосок 16 угл. мин. Для 3-го уровня 32 угл. мин и т.д.This is done as follows. For example, in
Если тот же подсегмент 3а лежит не в экваториальном поясе, а, к примеру, в поясе 30<ϕ<40, где М=1,22, то коэффициент квантования 1-го уровня будет определяться при помощи визуальных стимулов с видимой шириной полосок не 8 угл. мин, как в экваториальном поясе, а 8/М=8/1,22=6,56 угл. мин, находящимся на расстоянии 1792 угл. мин от зоны фовеа. Для коэффициентов квантования 2-го уровня DWT потребуется исследование чувствительности к визуальным стимулам с видимой шириной полосок 16/М=16/1,22=13,11 угл. мин. Для 3-го уровня 32/M=32/1,22=26,23 угл. мин и т.д.If the
В таблице 1 показаны значения ширины полосок визуальных стимулов, используемых для определения величины квантования коэффициентов DWT, для всех типов сегментов в зависимости от положения участка изображения относительно экватора заэкранной матрицы, то есть показана зависимость видимой ширины полосок визуального стимула, используемого для определения значения коэффициента квантования, от уровня DWT и положения участка изображения относительно экватора заэкранной матрицы при использовании проекции Меркатора.Table 1 shows the values of the width of the strips of visual stimuli used to determine the quantization value of the DWT coefficients for all types of segments depending on the position of the image section relative to the equator of the screen matrix, i.e., the dependence of the visible width of the strips of the visual stimulus used to determine the value of the quantization coefficient is shown, from the DWT level and the position of the image relative to the equator of the screen matrix when using the Mercator projection.
Полученные при помощи описанных методов таблицы квантования DWT могут быть использованы при сжатии изображения. Сжатая информация согласно рисунку 1 передается по каналу связи (3) зрителю. При декомпрессии сигнала (4) принятые значения коэффициентов DWT умножаются на соответствующие коэффициенты квантования, и проводится обратное DWT. Таким образом, получается матрица декомпрессии, аналогичная матрице компрессии. Матрица декомпрессии несколько отличается от матрицы компрессии, так как сжатие при помощи DWT при квантовании коэффициентов является сжатием с потерями. Затем, при использовании информации о текущем направлении взгляда зрителя и с использованием интерполяции, происходит восстановление заэкранной матрицы воспроизведения, аналогичной заэкранной матрице записи. Матрица воспроизведения несколько отличается от матрицы записи, однако, при правильном подборе коэффициентов квантования разница будет незаметна зрителю. Матрица воспроизведения используется непосредственно для отображения видеоинформации на устройстве визуализации (5), при этом используется формула 12 (в случае проекции Меркатора формула 14).DWT quantization tables obtained using the described methods can be used for image compression. The compressed information according to Figure 1 is transmitted through the communication channel (3) to the viewer. Upon decompression of the signal (4), the received values of the DWT coefficients are multiplied by the corresponding quantization coefficients, and the inverse DWT is performed. Thus, a decompression matrix is obtained, similar to the compression matrix. The decompression matrix is somewhat different from the compression matrix, since DWT compression when quantizing coefficients is lossy compression. Then, when using information about the current viewing direction of the viewer and using interpolation, the on-screen playback matrix is restored, similar to the on-screen recording matrix. The playback matrix is somewhat different from the recording matrix, however, with the correct selection of quantization coefficients, the difference will be invisible to the viewer. The playback matrix is used directly to display video information on the visualization device (5), and formula 12 is used (in the case of the Mercator projection, formula 14).
Таким образом, предложен способ интерактивного телевизионного вещания, использующий переменный размер пикселя и индивидуальные для пользователя таблицы квантования, преимущественно коэффициентов DWT, в различных участках поля зрения, позволяющие оптимизировать качество изображения и степень его сжатия.Thus, an interactive television broadcasting method has been proposed, using a variable pixel size and individual quantization tables, mainly DWT coefficients, in different parts of the field of view, which allow optimizing image quality and compression ratio.
Claims (2)
получение изображения по меньшей мере одной камерой, с дальнейшей его записью в область памяти, именуемую далее заэкранной матрицей записи,
компрессию полученного изображения в пространстве заэкранной матрицы записи;
передачу по каналу связи,
прием, декомпрессию в область памяти, именуемую далее заэкранной матрицей воспроизведения, и трансляцию изображения с заэкранной матрицы воспроизведения, по меньшей мере, на одном пользовательском устройстве визуализации,
причем компрессию, декомпрессию и трансляцию изображения выполняют с учетом результатов контроля фовеационных свойств глаз, то есть направления взгляда по меньшей мере одного зрителя, выраженного в угловых координатах,
отличающийся тем, что:
на пользовательском устройстве осуществляют трансляцию широкоугольного изображения, причем до получения изображения, осуществления компрессии, декомпрессии и трансляции изображения предварительно проводят диагностику индивидуальной чувствительности зрения по меньшей мере одного зрителя с использованием видимых зрителем изображений - зрительных стимулов, представляющих собой мерцающие объекты в виде чередующихся черно-белых, красно-зеленых, сине-желтых полосок различной ширины, контрастность которых убывает от центра к краям стимула, имеющих компактный пространственный спектр, которые поочередно выводят на экран в различных позициях поля зрения одного зрителя, выраженных относительно направления взгляда одного зрителя в угловых координатах, при котором зритель самостоятельно изменяет значение контраста каждого стимула и определяет его значение на грани порога чувствительности к каждому стимулу для всех положений стимула относительно направления взгляда и для различных стимулов, имеющих разную пространственную частоту, и рассчитывают коэффициенты квантования элементов всех уровней DWT путем умножения значения контраста стимулов на грани порога чувствительности зрителя, имеющего, с учетом масштабного искажения, пространственную частоту, соответствующую данному уровню DWT, на постоянный для всех уровней DWT коэффициент, значение которого определяют экспериментально для используемого набора фильтров DWT, путем подбора для получения желаемого качества изображения,
после чего осуществляют получение широкоугольного изображения с записью в область памяти с использованием проекции Меркатора,
проводят компрессию, при которой пиксели изображения заэкранной матрицы записи делят на сегменты, расположение которых зависит от текущего направления взгляда зрителя, и каждый из сегментов делят в свою очередь на подсегменты, в каждом из них определяют степень децимации изображения на заэкранной матрице записи с учетом определенной при диагностике ширины полосок стимулов, различимых при максимальном контрасте, и с учетом того, что визуальные стимулы с меньшей шириной полоски не различимы ни при каком контрасте стимула,
в положении, соответствующем положению данного подсегмента, относительно направления взгляда зрителя, выраженного в угловых координатах, с учетом масштабных искажений,
каждый из сегментов кодируют независимо и передают по каналу связи зрителю, при этом при квантовании элементов всех уровней DWT используют коэффициенты квантования DWT, рассчитанные при диагностике, с учетом положения на заэкранной матрице записи элемента DWT относительно текущего направления взгляда зрителя, выраженного в угловых координатах, с учетом масштабных искажений с дальнейшей декомпрессией и трансляцией изображения на устройстве визуализации.1. The method of interactive television broadcasting, taking into account the individual characteristics of vision, providing:
obtaining an image of at least one camera, with its further recording in the memory area, hereinafter referred to as the screen recording matrix,
compression of the received image in the space of the on-screen recording matrix;
transmission over a communication channel,
receiving, decompressing into a memory region, hereinafter referred to as an on-screen playback matrix, and broadcasting the image from the on-screen playback matrix on at least one user visualization device,
moreover, the compression, decompression and translation of the image is performed taking into account the results of controlling the foveational properties of the eyes, that is, the direction of view of at least one viewer, expressed in angular coordinates,
characterized in that:
on the user device, a wide-angle image is transmitted, and before receiving the image, compressing, decompressing and transmitting the image, the individual vision sensitivity of at least one viewer is preliminarily diagnosed using images that are visible to the viewer - visual stimuli, which are flickering objects in the form of alternating black and white , red-green, blue-yellow stripes of various widths, the contrast of which decreases from the center to the edges alas having a compact spatial spectrum, which alternately display in different positions of the field of view of one viewer, expressed relative to the direction of view of one viewer in angular coordinates, in which the viewer independently changes the contrast value of each stimulus and determines its value on the verge of the threshold of sensitivity to each stimulus for all positions of the stimulus with respect to the direction of view and for various stimuli having different spatial frequencies, the coefficients of quanta are calculated elements of all DWT levels by multiplying the stimulus contrast value on the verge of the sensitivity threshold of the viewer, which, taking into account scale distortion, has a spatial frequency corresponding to a given DWT level by a coefficient constant for all DWT levels, the value of which is determined experimentally for the used set of DWT filters, by selection to obtain the desired image quality,
then carry out obtaining a wide-angle image with recording in the memory area using the Mercator projection,
a compression is performed in which the image pixels of the on-screen recording matrix are divided into segments, the location of which depends on the current viewing direction of the viewer, and each of the segments is divided into sub-segments, in each of which the degree of decimation of the image on the on-screen recording matrix is determined taking into account the diagnostics of the width of the strips of stimuli, distinguishable at maximum contrast, and taking into account the fact that visual stimuli with a smaller width of the strip are not distinguishable at any contrast of the stimulus,
in the position corresponding to the position of this subsegment, relative to the direction of the viewer's gaze, expressed in angular coordinates, taking into account large-scale distortions,
each segment is independently encoded and transmitted over the communication channel to the viewer, while quantizing the DWT quantization coefficients calculated during diagnostics using the position on the screen matrix of the DWT element relative to the current direction of the viewer's view, expressed in angular coordinates, when quantizing elements of all DWT levels, using taking into account large-scale distortions with further decompression and broadcasting of the image on the visualization device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2014144450/07A RU2586252C2 (en) | 2014-11-06 | 2014-11-06 | Method for interactive television broadcast |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2014144450/07A RU2586252C2 (en) | 2014-11-06 | 2014-11-06 | Method for interactive television broadcast |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2014144450A RU2014144450A (en) | 2016-05-27 |
| RU2586252C2 true RU2586252C2 (en) | 2016-06-10 |
Family
ID=56095733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2014144450/07A RU2586252C2 (en) | 2014-11-06 | 2014-11-06 | Method for interactive television broadcast |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2586252C2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998033315A2 (en) * | 1997-01-06 | 1998-07-30 | Geisler Wilson S | Foveated image coding system and method for image bandwidth reduction |
| RU2220514C2 (en) * | 2002-01-25 | 2003-12-27 | Андрейко Александр Иванович | Method for interactive television using central vision properties of eyes of individual users or groups thereof that protects information against unauthorized access, distribution, and use |
| WO2007097580A1 (en) * | 2006-02-24 | 2007-08-30 | Samsung Electronics Co., Ltd. | Image coding/decoding method and apparatus |
| EP2077527A1 (en) * | 2008-01-04 | 2009-07-08 | Thomson Licensing | Method for assessing image quality |
-
2014
- 2014-11-06 RU RU2014144450/07A patent/RU2586252C2/en active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998033315A2 (en) * | 1997-01-06 | 1998-07-30 | Geisler Wilson S | Foveated image coding system and method for image bandwidth reduction |
| RU2220514C2 (en) * | 2002-01-25 | 2003-12-27 | Андрейко Александр Иванович | Method for interactive television using central vision properties of eyes of individual users or groups thereof that protects information against unauthorized access, distribution, and use |
| WO2007097580A1 (en) * | 2006-02-24 | 2007-08-30 | Samsung Electronics Co., Ltd. | Image coding/decoding method and apparatus |
| EP2077527A1 (en) * | 2008-01-04 | 2009-07-08 | Thomson Licensing | Method for assessing image quality |
Non-Patent Citations (1)
| Title |
|---|
| ZHOU WANGA et al, Foveated Wavelet Image Quality Index, Proc. SPIE vol.4472, Applications of Digital Image Processing XXIV, December 7, 2001, раздел 2-4. DAMON M. CHANDLER et al, VSNR: A Wavelet-Based Visual Signal-to-Noise Ratio for Natural Images, IEEE Transactions on Image Processing, vol.16, N9, September 2007, раздел 3-4. * |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2014144450A (en) | 2016-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Winkler | Perceptual video quality metrics—A review | |
| Ryu et al. | No-reference quality assessment for stereoscopic images based on binocular quality perception | |
| Winkler | Issues in vision modeling for perceptual video quality assessment | |
| Narwaria et al. | HDR-VQM: An objective quality measure for high dynamic range video | |
| Yano et al. | A study of visual fatigue and visual comfort for 3D HDTV/HDTV images | |
| Aflaki et al. | Subjective quality assessment of asymmetric stereoscopic 3D video | |
| US8189911B2 (en) | Method for assessing image quality | |
| Wang et al. | Research on subjective stereoscopic image quality assessment | |
| TWI616859B (en) | Pixel driving method and panel driving circuit | |
| Allison et al. | 75‐2: Invited paper: Large scale subjective evaluation of display stream compression | |
| Demirtas et al. | Full-reference quality estimation for images with different spatial resolutions | |
| Aflaki et al. | Impact of downsampling ratio in mixed-resolution stereoscopic video | |
| Opozda et al. | The survey of subjective and objective methods for quality assessment of 2D and 3D images | |
| Guo et al. | Perceptual quality assessment of immersive images considering peripheral vision impact | |
| Shishikui | Quality-of-experience evaluation of 8K ultra-high-definition television | |
| RU2586252C2 (en) | Method for interactive television broadcast | |
| Banitalebi-Dehkordi et al. | A human visual system-based 3D video quality metric | |
| Emoto et al. | Viewing angle effects from wide field video projection images on the human equilibrium | |
| Demirtas et al. | Full-reference video quality estimation for videos with different spatial resolutions | |
| Rimac-Drlje et al. | Foveation-based content adaptive structural similarity index | |
| Zerman et al. | Effect of color space on high dynamic range video compression performance | |
| Banitalebi-Dehkordi et al. | 3D video quality metric for mobile applications | |
| Krasula et al. | Subjective video quality for 4K HDR-WCG content using a browser-based approach for" at-home" testing | |
| Hirai et al. | Spatio-velocity contrast sensitivity functions and video quality assessment | |
| Chen et al. | Perception-oriented video coding based on foveated JND model |