RU2587986C2 - Creation of images with extended dynamic range from images with narrow dynamic range - Google Patents
Creation of images with extended dynamic range from images with narrow dynamic range Download PDFInfo
- Publication number
- RU2587986C2 RU2587986C2 RU2013104892/07A RU2013104892A RU2587986C2 RU 2587986 C2 RU2587986 C2 RU 2587986C2 RU 2013104892/07 A RU2013104892/07 A RU 2013104892/07A RU 2013104892 A RU2013104892 A RU 2013104892A RU 2587986 C2 RU2587986 C2 RU 2587986C2
- Authority
- RU
- Russia
- Prior art keywords
- image
- dynamic range
- extended dynamic
- data
- view
- Prior art date
Links
- 230000000875 corresponding Effects 0.000 claims description 67
- 238000005070 sampling Methods 0.000 claims description 9
- 241000894007 species Species 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 3
- 239000000126 substance Substances 0.000 abstract 1
- 235000019571 color Nutrition 0.000 description 85
- 239000000203 mixture Substances 0.000 description 63
- 206010047571 Visual impairment Diseases 0.000 description 19
- 230000004301 light adaptation Effects 0.000 description 17
- 238000007906 compression Methods 0.000 description 14
- 210000000887 Face Anatomy 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 9
- 238000000034 method Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 230000002123 temporal effect Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000000295 complement Effects 0.000 description 7
- 230000003111 delayed Effects 0.000 description 6
- 239000010410 layer Substances 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 230000001131 transforming Effects 0.000 description 6
- 210000003491 Skin Anatomy 0.000 description 5
- 230000001702 transmitter Effects 0.000 description 5
- 230000003044 adaptive Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000001419 dependent Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000006011 modification reaction Methods 0.000 description 4
- 206010024855 Loss of consciousness Diseases 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000011229 interlayer Substances 0.000 description 3
- 235000019557 luminance Nutrition 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 230000001808 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000003068 static Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 240000005158 Phaseolus vulgaris Species 0.000 description 1
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- 240000004317 Spathodea campanulata Species 0.000 description 1
- 235000017899 Spathodea campanulata Nutrition 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000004059 degradation Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 235000019615 sensations Nutrition 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 201000001845 syndromic X-linked intellectual disability Snyder type Diseases 0.000 description 1
Images
Abstract
Description
Область техники, к которой относится изобретениеFIELD OF THE INVENTION
Настоящее изобретение относится к созданию изображений с расширенным динамическим диапазоном из изображений с суженным динамическим диапазоном и, в частности, касается объединения информации с расширенным динамическим диапазоном с 3D информацией.The present invention relates to the creation of images with an extended dynamic range from images with a narrowed dynamic range and, in particular, relates to combining information with an extended dynamic range with 3D information.
Предшествующий уровень техникиState of the art
В последние десятилетия становится все более важным цифровое кодирование различных исходных сигналов, поскольку цифровое представление сигналов и цифровая передача все в больших объемах заменяют аналоговое представление и передачу. Не прекращающиеся исследования и разработки идут в направлении повышения качества, которое можно получить от кодированных изображений и видеопоследовательностей при одновременном поддержании скорости передачи данных на приемлемых уровнях.In recent decades, digital coding of various source signals has become increasingly important as digital representation of signals and digital transmission are increasingly replacing analog representation and transmission. Continuing research and development is going towards improving the quality that can be obtained from encoded images and video sequences while maintaining the data transfer rate at acceptable levels.
Важным фактором для воспринимаемого человеком качества изображения является динамический диапазон, который может быть воспроизведен при визуальном воспроизведении изображения. Однако традиционно динамический диапазон воспроизводимых изображений зачастую оказывается существенно уже, чем при нормальном зрении. В реальных сценах динамический диапазон разных объектов в областях с разной освещенностью может вполне соответствовать динамическому диапазону 10000:1 или более (14-битное линейное представление), где очень тонкие градации яркости могут появиться на всех уровнях яркости, например, в углублении, освещенном узконаправленными источниками света, и, следовательно, независимо от окончательной оптимальной визуализации на конкретном устройстве для кодирования изображения может понадобиться, чтобы оно содержало как можно больше полезной информации (при одновременном минимальном количестве бит, например, на носителе с фиксированным пространством памяти, таком как диск «Bluray» или при использовании сетевых соединений с ограниченной шириной полосы пропускания).An important factor for human-readable image quality is the dynamic range that can be reproduced by visually reproducing the image. However, the traditionally dynamic range of reproduced images is often much narrower than with normal vision. In real scenes, the dynamic range of different objects in areas with different illumination may well correspond to the dynamic range of 10,000: 1 or more (14-bit linear representation), where very subtle gradations of brightness can appear at all brightness levels, for example, in a recess illuminated by narrowly directed sources light, and therefore, regardless of the final optimal visualization on a particular device for encoding an image, it may be necessary to contain as much useful information as possible ns (while the minimum number of bits, e.g., on the carrier with a fixed storage space such as ROM «Bluray» or by using the network connection with limited bandwidth).
Обычно динамический диапазон датчиков изображения и дисплеев ограничен 2-3 порядками величины, например, обычный телевизор обеспечивает изображение для динамического диапазона 40:1, который также является типовым диапазоном для печати, то есть 8 бит считались достаточными для указанных носителей, но они уже не достаточны для появившихся недавно более качественных устройств визуализации и/или для более интеллектуальной обработки изображений, особенно касающейся оптимальной визуализации на этих устройствах. То есть обычно имелась возможность запоминать и передавать изображения в 8-битовых форматах, получающихся в результате гамма-кодирования без введения воспринимаемых человеком артефактов на традиционных устройствах визуализации. Однако в стремлении обеспечить запись более точных и более живых изображений были разработаны новые датчики изображений с расширенным динамическим диапазоном (HDR), которые изложены в пунктах формулы изобретения, способные поддерживать динамические диапазоны записи вплоть до 6 порядков величины. Кроме того, специальные эффекты, усовершенствования компьютерной графики и другие послесъемочные операции уже выполняются при больших значениях глубины в битах, что делает визуальные пространства, созданные на компьютере, потенциально бесконечными.Typically, the dynamic range of image sensors and displays is limited to 2-3 orders of magnitude, for example, a conventional TV provides an image for a dynamic range of 40: 1, which is also a typical range for printing, that is, 8 bits were considered sufficient for these media, but they are no longer sufficient for recently appeared higher-quality imaging devices and / or for more intelligent image processing, especially regarding optimal visualization on these devices. That is, it was usually possible to store and transmit images in 8-bit formats resulting from gamma-coding without introducing human-perceived artifacts on traditional visualization devices. However, in an effort to record more accurate and more lively images, new Extended Dynamic Range (HDR) image sensors have been developed that are set forth in the claims that are capable of supporting dynamic recording ranges of up to 6 orders of magnitude. In addition, special effects, computer graphics enhancements, and other post-production operations are already being performed at large bit depths, which makes the visual spaces created on the computer potentially endless.
Кроме того, непрерывно возрастает контрастная и пиковая яркость известных дисплейных систем. За последнее время были представлены новые прототипные дисплеи с пиковой яркостью до 5000 Кд/м-2 и теоретическими коэффициентами контрастности 5 порядков величины. При визуальном воспроизведении на таких дисплеях закодированных обычным способом 8-битовых сигналов могут появиться неприятные ощущения, связанные с квантованием, и режущие глаз артефакты, и, кроме того, ограниченная информация в 8-битовых сигналах обычно недостаточна для создания сложного изображения (с обеспечением распределения значений серого), которое можно будет точно визуализировать с помощью этих устройств в естественном виде. В частности, традиционные форматы видео не предоставляют достаточный объем свободного пространства и достаточную точность для передачи обширной информации, содержащейся в новых изображениях с HDR.In addition, the contrast and peak brightness of known display systems is continuously increasing. Recently, new prototype displays with peak brightness up to 5000 Cd / m -2 and theoretical contrast ratios of 5 orders of magnitude have been presented. When visually reproducing 8-bit signals encoded in the usual way on such displays, unpleasant sensations associated with quantization and eye-cutting artifacts may appear, and, in addition, the limited information in 8-bit signals is usually insufficient to create a complex image (ensuring the distribution of values gray), which can be accurately visualized using these devices in a natural way. In particular, traditional video formats do not provide enough free space and enough accuracy to transmit the vast information contained in new HDR images.
В результате возрастает потребность в новых форматах видео, которые позволят потребителю получить в полном объеме выгоду от возможностей существующих датчиков и дисплейных систем. Предпочтительно, чтобы указанные форматы обладали обратной совместимостью, с тем чтобы существующее оборудование могло, как и раньше, принимать ординарные видеопотоки, в то время как новые устройства с HDR в полном объеме использовали бы преимущества дополнительной информации, переносимой новым форматом. Таким образом, желательно, чтобы кодированные видеоданные не только представляли изображения с HDR, но также давали возможность кодировать традиционные изображения с суженным динамическим диапазоном (LDR), которые могут визуально воспроизводиться обычным оборудованием.As a result, there is an increasing need for new video formats that will allow the consumer to fully benefit from the capabilities of existing sensors and display systems. It is preferable that these formats have backward compatibility so that existing equipment can, as before, receive ordinary video streams, while new devices with HDR would take full advantage of the additional information carried by the new format. Thus, it is desirable that the encoded video data not only represent HDR images, but also makes it possible to encode traditional images with narrowed dynamic range (LDR), which can be visually reproduced by conventional equipment.
Наиболее прямым подходом было бы сжатие и запоминание потоков с LDR и HDR независимо друг от друга (одновременно). Однако это привело бы к высокой скорости передачи данных. Чтобы повысить эффективность сжатия, было предложено использовать межуровневое предсказание, при котором предсказание данных с HDR выполняется на основе потока с LDR, в связи с чем необходимо будет кодировать и запоминать/передавать только небольшие различия между действительными данными с HDR и результатами предсказания.The most direct approach would be to compress and store streams with LDR and HDR independently of each other (simultaneously). However, this would lead to a high data rate. In order to increase compression efficiency, it was proposed to use inter-layer prediction, in which data prediction with HDR is performed on the basis of a stream with LDR, in connection with which it will be necessary to encode and store / transmit only small differences between real data with HDR and the prediction results.
Однако предсказание данных с HDR, исходя из данных с LDR, отличается относительной неточностью и трудностью выполнения. В действительности, взаимосвязь между соответствующими данными с LDR и HDR зачастую усложнена и часто может сильно отличаться между разными частями изображения. Например, изображение с LDR часто может создаваться посредством тонального отображения и цветовой градации изображения с HDR. Точное тональное отображение/цветовая градация, а значит, взаимосвязь между изображениями с HDR и LDR будет зависеть от конкретного алгоритма и параметров, выбранных для цветовой градации, и вероятнее всего будет изменяться в зависимости от источника. В действительности цветовая градация часто может подвергаться индивидуальному изменению не только для разных фрагментов контента, но также между другими изображениями, а в действительности, очень часто между разными частями одного изображения. Например, блок цветовой градуировки может выбрать разные объекты в изображении и применять отдельную индивидуальную цветовую градацию для каждого объекта. Следовательно, предсказание изображений с HDR исходя из изображений с LDR, как правило, сильно затруднено и в идеале требует адаптации для конкретного подхода, используемого для создания изображения с LDR из изображения с HDR.However, predicting data with HDR based on data with LDR is notable for its relative inaccuracy and difficulty of execution. In fact, the relationship between the corresponding data with LDR and HDR is often complicated and can often vary greatly between different parts of the image. For example, an LDR image can often be created by tinting and color grading an HDR image. The exact tonal display / color gradation, which means that the relationship between images with HDR and LDR will depend on the particular algorithm and the parameters selected for color gradation, and most likely will vary depending on the source. In fact, color gradation can often undergo individual changes, not only for different pieces of content, but also between other images, but in reality, very often between different parts of the same image. For example, a color grading unit can select different objects in an image and apply a separate individual color gradation for each object. Therefore, predicting HDR images from LDR images is generally very difficult and ideally requires adaptation to the specific approach used to create an LDR image from an HDR image.
Пример подхода к предсказанию изображения с HDR представлен в работе Mantiuk, R., Efremov, A., Myszkowski, K. B Seidel, H. 2006. Backward compatible high dynamic range MPEG video compression. ACM Trans. Graph. 25, 3 (Jul. 2006), 713-723.ВК. При этом подходе оценивают функцию глобального восстановления, которую используют для выполнения межуровневого предсказания. Однако этот подход приводит к субоптимальным результатам, которые оказываются не такими точными, как хотелось бы. В частности использование функции глобального восстановления позволяет получить лишь грубую оценку, так как не учитываются локальные изменения взаимосвязи между данными HDR и данными LDR, например, из-за применения разной цветовой градации.An example of an HDR image prediction approach is provided by Mantiuk, R., Efremov, A., Myszkowski, K. B Seidel, H. 2006. Backward compatible high dynamic range MPEG video compression. ACM Trans. Graph. 25, 3 (Jul. 2006), 713-723. VK. With this approach, the global recovery function is evaluated, which is used to perform inter-layer prediction. However, this approach leads to suboptimal results that are not as accurate as we would like. In particular, the use of the global recovery function allows one to obtain only a rough estimate, since local changes in the relationship between HDR data and LDR data are not taken into account, for example, due to the use of different color gradations.
Другой подход предложен в патентной заявке США US2009/0175338, где представлен механизм межуровневого предсказания, функционирующий на уровне макроблоков (MB). При этом подходе поток с HDR имеется для каждого макроблока, локально прогнозируемого путем оценки масштабного параметра и параметра смещения, что соответствует линейной регрессии данных макроблока. Однако, хотя это позволяет выполнять более локальное предсказание, простота применяемой линейной модели часто не позволяет точно описать сложные соотношения между данными с LDR и данными с HDR, в частности, в окрестности высококонтрастных и цветных краев.Another approach is proposed in US patent application US2009 / 0175338, which presents a mechanism for inter-level prediction, which operates at the level of macroblocks (MB). In this approach, a stream with HDR is available for each macroblock locally predicted by estimating the scale parameter and the offset parameter, which corresponds to a linear regression of the macroblock data. However, although this allows a more local prediction, the simplicity of the linear model often does not accurately describe the complex relationships between data with LDR and data with HDR, in particular in the vicinity of high-contrast and color edges.
Таким образом, усовершенствованный подход к кодированию данных с HDR/LDR и/или к созданию данных с HDR из данных с LDR является весьма перспективным. В частности, сулит преимущества система, позволяющая получить повышенную гибкость, отличающаяся удобством реализации и/или эксплуатации, улучшенной и/или автоматической адаптацией, повышенной точностью, уменьшенными скоростями кодирования данных и/или улучшенными рабочими характеристиками.Thus, an improved approach to encoding data with HDR / LDR and / or to creating data with HDR from data with LDR is very promising. In particular, the system offers advantages that provide increased flexibility, characterized by ease of implementation and / or operation, improved and / or automatic adaptation, increased accuracy, reduced data encoding rates and / or improved performance.
Другая важная тенденция, которая проявилась недавно, состоит в том, что разработчики множества дисплейных устройств, будь то телевизоры, игровые мониторы или даже мобильные устройства, стремятся к тому, чтобы по меньшей мере часть визуальной информации была представлена в трехмерном виде. Возможно, что рынок вместе с тем не захочет иметь дело только с этими двумя альтернативами, то есть либо 3D с LDR, либо 2D с HDR, то есть для одних и тех же систем с низкой производительностью (например, диск типа bluray) возможно потребуется, чтобы качественные улучшения были обеспечены и по тому и по другому варианту одновременно.Another important trend that has recently emerged is that developers of multiple display devices, be they televisions, game monitors, or even mobile devices, want at least some of the visual information to be presented in three-dimensional form. It is possible that the market at the same time will not want to deal only with these two alternatives, that is, either 3D with LDR, or 2D with HDR, that is, for the same systems with low performance (for example, a bluray drive), it may be necessary so that quality improvements are ensured both in that and in another variant at the same time.
Сущность изобретенияSUMMARY OF THE INVENTION
Соответственно, изобретение направлено на то, чтобы предпочтительно смягчить, уменьшить или исключить один или несколько из вышеупомянутых недостатков, по одному или в любой комбинации; в частности, изобретение направлено на обеспечение опции облегченного кодирования некоторой информации, связанной с HDR, и некоторой информации, связанной с 3D, а именно, эффективным образом, при котором имеется возможность использовать существующие зависимости между разными кодированными представлениями съемки одной и той же сцены, где указанные кодированные представления имеют разные уровни достоверности. Особый интерес представляет случай, когда имеется возможность интеллектуального кодирования с использованием ряда сходных свойств технологии на основе HDR, с одной стороны, и 3D-технологии, с другой стороны. В частности, поскольку многие существующие технологии кодирования основаны на предсказаниях одного представления исходя из другого представления (например, градуировка расширенного динамического диапазона исходя из приближенного представления с LDR), будет весьма полезным, если предсказания для одного указанного улучшения (например, HDR) смогут использовать предсказания для другого улучшения (дополнительные 3D-виды вдобавок к первичному виду). Оказывается весьма выгодным, если, с одной стороны очень сложные эвристики, используемые, например, в 3D-модуле для точной идентификации, например, пространственных объектов в сцене (и для точного определения их границ), могут быть повторно использованы также и в предсказаниях «от LDR к HDR» (например, для применения стратегии локального преобразования «LDR-HDR» на точно определенном объекте), но, с другой стороны, дополнительная информация, которую можно получить из дополнительной информации для одного режима (например, информация, которую можно получить из дополнительных видов), может быть использована для того, чтобы облегчить указанные преобразования, например, предсказания, исходя из другого режима, повысить их достоверность и т.д. (например, карта глубин помогает сформировать полезную информацию для преобразования «LDR-HDR» или в обратном направлении, если стратегия кодирования для LDR/HDR содержит данные (метаданные), позволяющие лучше идентифицировать области или объекты, что может помочь при анализе и представлении/кодировании трехмерной сцены).Accordingly, the invention is directed to preferably mitigate, reduce or eliminate one or more of the above disadvantages, one or in any combination; in particular, the invention is directed to providing an option for light-weight coding of some information related to HDR and some information related to 3D, namely, in an efficient manner in which it is possible to use existing dependencies between different encoded representations of shooting the same scene, where these encoded representations have different levels of confidence. Of particular interest is the case when there is the possibility of intelligent coding using a number of similar properties of technology based on HDR, on the one hand, and 3D technology, on the other hand. In particular, since many existing coding technologies are based on predictions of one representation from another representation (for example, grading the extended dynamic range based on an approximate representation with LDR), it will be very useful if predictions for one specified improvement (for example, HDR) can use predictions for another improvement (additional 3D views in addition to the primary view). It turns out to be very advantageous if, on the one hand, very complex heuristics used, for example, in the 3D module to accurately identify, for example, spatial objects in the scene (and to accurately determine their boundaries), can also be reused in predictions from LDR to HDR "(for example, to apply the local LDR-HDR conversion strategy on a precisely defined object), but, on the other hand, additional information that can be obtained from additional information for one mode (for example, information that can be obtain from additional species), can be used to facilitate the indicated transformations, for example, predictions based on another regime, increase their reliability, etc. (for example, a depth map helps to generate useful information for LDR-HDR conversion or vice versa if the coding strategy for LDR / HDR contains data (metadata) that allows better identification of areas or objects, which can help in analysis and presentation / coding three-dimensional scene).
Согласно одному аспекту изобретения обеспечен способ кодирования входного изображения, причем способ содержит: прием входного изображения; создание отображения, связывающего входные данные в виде входных наборов пространственных позиций изображения и комбинации цветовых координат пиксельных значений с суженным динамическим диапазоном, связанных с пространственными позициями изображения, с выходными данными в виде пиксельных значений с расширенным динамическим диапазоном в соответствии с эталонным изображением с суженным динамическим диапазоном и соответствующим эталонным изображением с расширенным динамическим диапазоном; и создание выходного потока кодированных данных путем кодирования входного изображения в соответствии с упомянутым отображением.According to one aspect of the invention, there is provided a method of encoding an input image, the method comprising: receiving an input image; creating a mapping linking the input data in the form of input sets of spatial positions of the image and the combination of color coordinates of pixel values with a narrowed dynamic range associated with the spatial positions of the image with the output in the form of pixel values with an extended dynamic range in accordance with a reference image with a narrowed dynamic range and a corresponding reference image with extended dynamic range; and creating an output stream of encoded data by encoding an input image in accordance with said display.
Изобретение может обеспечить улучшенное кодирование. Например, оно может обеспечить адаптируемое кодирование, привязанное к характеристикам конкретного динамического диапазона, и, в частности, к характеристикам, связанным со способами расширения динамического диапазона, которые могут выполняться подходящим для этой цели декодером. Изобретение, например, может обеспечить кодирование, которое позволяет декодеру усовершенствовать принятое изображение с суженным динамическим диапазоном, преобразовав его в изображение с расширенным динамическим диапазоном. Использование отображения на основе эталонных изображений может во многих вариантах обеспечить, в частности, автоматическую и/или усовершенствованную адаптацию к характеристикам изображения, не требуя при этом выполнения заранее определенных правил или алгоритмов, которые должны быть разработаны и применены для конкретных характеристик изображения.The invention may provide improved coding. For example, it can provide adaptive coding related to the characteristics of a particular dynamic range, and, in particular, to characteristics associated with dynamic range extension methods that can be performed by a suitable decoder. The invention, for example, can provide coding that allows the decoder to improve the received image with a narrowed dynamic range, converting it into an image with an extended dynamic range. The use of a display based on reference images can in many cases provide, in particular, automatic and / or improved adaptation to the characteristics of the image, without requiring the execution of predetermined rules or algorithms that must be developed and applied to specific characteristics of the image.
Позиции изображения, которые можно рассматривать как связанные с упомянутой комбинацией, могут быть, например, определены для конкретного входного набора в виде позиций, которые удовлетворяют критерию близости для пространственных позиций изображения для данного конкретного входного набора. Например, набор может включать в себя позиции изображения, которые имеют расстояние от позиции входного набора, меньшее заданного, где входной набор принадлежит тому же самому изображаемому объекту, что и позиция входного набора, которая находится в диапазонах позиций, определенных для данного входного набора, и т.д.Image positions that can be considered to be associated with said combination can, for example, be determined for a particular input set in the form of positions that satisfy the proximity criterion for spatial image positions for a given specific input set. For example, a set may include image positions that are less than a specified distance from the position of the input set, where the input set belongs to the same displayed object as the position of the input set, which is in the range of positions defined for the given input set, and etc.
Упомянутая комбинация может представлять собой, например, комбинацию, которая объединяет множество значений цветовых координат в меньшее количество значений, и в частности, в одно значение. Например, такая комбинация может объединять цветовые координаты (такие как значения RGB) в одно значение яркости. В другом примере, эта комбинация может объединять значения соседних пикселей в одно среднее значение или разностное значение. В других вариантах эта комбинация может, в качестве альтернативы или вдобавок к вышесказанному, представлять собой множество значений. Например, комбинация может представлять собой набор данных, содержащий пиксельное значение для каждого из множества соседних пикселей. Таким образом, в некоторых вариантах комбинация может соответствовать одной дополнительной размерности упомянутого отображения.Said combination may be, for example, a combination that combines a plurality of color coordinate values into a smaller number of values, and in particular, into one value. For example, such a combination may combine color coordinates (such as RGB values) into a single brightness value. In another example, this combination may combine the values of neighboring pixels into a single average value or a difference value. In other embodiments, this combination may, alternatively or in addition to the foregoing, be a plurality of meanings. For example, the combination may be a data set containing a pixel value for each of a plurality of neighboring pixels. Thus, in some embodiments, the combination may correspond to one additional dimension of said display.
Цветовая координата может иметь любое значение, отражающее визуальную характеристику пикселя, и может, в частности, иметь значение яркости, цветности или цветоразности. В некоторых вариантах комбинация может содержать только одно пиксельное значение, соответствующее пространственной позиции изображения для входного набора.The color coordinate may have any value that reflects the visual characteristic of the pixel, and may, in particular, have a value of brightness, color or chromaticity. In some embodiments, the combination may contain only one pixel value corresponding to the spatial position of the image for the input set.
Упомянутый способ может включать в себя динамическое создание упомянутого отображения. Например, новое отображение может быть создано для каждого изображения видеопоследовательности, или, например, для каждого N-го изображения, где N - целое число.Said method may include dynamically creating said display. For example, a new mapping may be created for each image of a video sequence, or, for example, for each N-th image, where N is an integer.
Согласно опциональному признаку изобретения, входное изображение является входным изображением с расширенным динамическим диапазоном; а способ кроме того содержит: прием входного изображения с суженным динамическим диапазоном, соответствующего входному изображению с расширенным динамическим диапазоном; создание базового изображения для предсказания исходя из входного изображения с суженным динамическим диапазоном; предсказание предсказанного изображения с расширенным динамическим диапазоном исходя из базового изображения для предсказания в соответствии с упомянутым отображением; кодирование остаточного изображения с расширенным динамическим диапазоном в соответствии с предсказанным изображением с расширенным динамическим диапазоном и входным изображением с расширенным динамическим диапазоном для создания кодированных данных с расширенным динамическим диапазоном; и включение кодированных данных с расширенным динамическим диапазоном в выходной поток кодированных данных.According to an optional feature of the invention, the input image is an input image with an extended dynamic range; and the method further comprises: receiving an input image with a narrowed dynamic range corresponding to an input image with an extended dynamic range; creating a base image for prediction based on the input image with a narrowed dynamic range; predicting an extended dynamic range predicted image based on a prediction base image in accordance with said display; encoding a residual image with an extended dynamic range in accordance with a predicted image with an extended dynamic range and an input image with an extended dynamic range to create encoded data with an extended dynamic range; and the inclusion of encoded data with an extended dynamic range in the output stream of encoded data.
Изобретение может обеспечить улучшенное кодирование изображений с HDR. В частности, может быть достигнуто улучшенное предсказание изображения с HDR, исходя из изображения с LDR, что позволяет уменьшить остаточный сигнал и повысить эффективность кодирования. Таким образом, можно достичь скорости передачи данных уровня улучшения, а значит, комбинированного сигнала.The invention may provide improved coding of images with HDR. In particular, improved prediction of an HDR image based on an LDR image can be achieved, which reduces the residual signal and improves coding efficiency. Thus, it is possible to achieve a data rate of an enhancement level, and hence a combined signal.
Этот подход может обеспечить предсказание на основе улучшенной и/или автоматической адаптации к конкретной зависимости между изображениями с HDR и LDR. Например, данный подход может обеспечить автоматическую адаптацию, отражающую применение различных подходов к тональному отображению и цветовой градации, будь то изображения или же части изображения для разных источников. Например, такой подход помогает адаптироваться к конкретным характеристикам в отдельных изображаемых объектах.This approach can provide prediction based on improved and / or automatic adaptation to a specific relationship between images with HDR and LDR. For example, this approach can provide automatic adaptation, reflecting the application of various approaches to tonal display and color gradation, whether it be images or parts of an image for different sources. For example, this approach helps to adapt to specific characteristics in the individual objects depicted.
Данный подход позволяет во многих сценариях обеспечить обратную совместимость с существующим оборудованием с LDR, что позволяет достаточно просто использовать базовый уровень, содержащий кодирование входного изображения с LDR. Кроме того, этот подход несложен при практической реализации, что открывает возможности сокращения затрат, снижения требований к ресурсам и к эксплуатации, либо облегчает проектирование или изготовление.This approach allows in many scenarios to provide backward compatibility with existing equipment with LDR, which makes it quite simple to use the basic level, which contains the encoding of the input image with LDR. In addition, this approach is uncomplicated in practical implementation, which opens up the possibility of reducing costs, lowering requirements for resources and operation, or facilitates design or manufacturing.
Базовое изображение для предсказания может быть создано специальным образом посредством кодирования входного изображения с суженным динамическим диапазоном для создания кодированных данных; и создания изображения на основе предсказания посредством декодирования кодированных данных.The base image for prediction can be created in a special way by encoding the input image with a narrowed dynamic range to create encoded data; and creating an image based on the prediction by decoding the encoded data.
Способ может содержать создание выходного потока кодированных данных, имеющего первый уровень, содержащий кодированные данные для входного изображения, и второй уровень, содержащий кодированные данные для остаточного изображения. Второй уровень может быть опциональным уровнем, а первый уровень, в частности, может быть базовым уровнем, при этом второй уровень может быть уровнем улучшения.The method may comprise generating an output stream of encoded data having a first layer containing encoded data for the input image and a second layer containing encoded data for the afterimage. The second level may be an optional level, and the first level, in particular, may be a base level, while the second level may be an improvement level.
Кодирование остаточного изображения с расширенным динамическим диапазоном может, в частности, содержать создание остаточных данных по меньшей мере для части изображения с расширенным динамическим диапазоном путем сравнения входного изображения с расширенным динамическим диапазоном и предсказанного изображения с расширенным динамическим диапазоном; и создания по меньшей мере части кодированных данных с расширенным динамическим диапазоном путем кодирования остаточных данных.Encoding an extended dynamic range residual image may, in particular, comprise creating residual data for at least a portion of the extended dynamic range image by comparing the input image with the extended dynamic range and the predicted image with the extended dynamic range; and creating at least a portion of the encoded data with extended dynamic range by encoding the residual data.
Согласно опциональному признаку изобретения каждый входной набор соответствует пространственному интервалу для каждого пространственного размера изображения и по меньшей мере одному интервалу значений для указанной комбинации, и создание отображения содержит для каждой позиции изображения по меньшей мере из одной группы позиций эталонного изображения с суженным динамическим диапазоном: определение по меньшей мере одного совпадающего входного набора, имеющего пространственные интервалы, соответствующие каждой позиции изображения, и интервал значений для комбинации, соответствующей значению комбинации для каждой позиции изображения в эталонном изображении с суженным динамическим диапазоном; и определение выходного пиксельного значения с расширенным динамическим диапазоном для совпадающего входного набора в соответствии с пиксельным значением с расширенным динамическим диапазоном для каждой позиции изображения в эталонном изображении с расширенным динамическим диапазоном.According to an optional feature of the invention, each input set corresponds to a spatial interval for each spatial image size and at least one value interval for the specified combination, and creating a display for each image position contains at least one group of positions of the reference image with a narrowed dynamic range: determination by at least one matching input set having spatial intervals corresponding to each image position I, and the range of values for the combination corresponding to the combination value for each image position in the reference image with a narrowed dynamic range; and determining an output pixel value with an extended dynamic range for a matching input set in accordance with a pixel value with an extended dynamic range for each image position in the reference image with an extended dynamic range.
Это обеспечивает эффективный и точный подход к определению подходящего отображения для модификации динамического диапазона.This provides an efficient and accurate approach to determining the appropriate display to modify the dynamic range.
В некоторых вариантах множество совпадающих входных наборов можно определить по меньшей мере для первой позиции по меньшей мере из одной группы позиций изображения, и определить выходные значения пикселей с расширенным динамическим диапазоном для каждого набора из множества совпадающих входных наборов в соответствии с пиксельным значением с расширенным динамическим диапазоном для первой позиции при отображении изображения с расширенным динамическим диапазоном.In some embodiments, a plurality of matching input sets can be determined for at least a first position from at least one group of image positions, and determining output pixel values with an extended dynamic range for each set of multiple matching input sets in accordance with a pixel value with an extended dynamic range for the first position when displaying an image with an extended dynamic range.
В некоторых вариантах способ кроме того содержит определение выходного пиксельного значения с расширенным динамическим диапазоном для первого входного набора в соответствии с результатом усреднения комбинаций из всех пиксельных значений с расширенным динамическим диапазоном для позиций изображения по меньшей мере из одной группы позиций изображения, которые совпадают с первым входным набором.In some embodiments, the method further comprises determining an output pixel value with an extended dynamic range for the first input set in accordance with the result of averaging combinations of all pixel values with an extended dynamic range for image positions from at least one group of image positions that match the first input recruitment.
Согласно опциональному признаку изобретения указанным отображением является по меньшей мере одно из: отображение на основе пространственной субдискретизации; отображение на основе временной субдискретизации; и/или отображение на основе субдискретизации значений упомянутой комбинации.According to an optional feature of the invention, said mapping is at least one of: mapping based on spatial subsampling; mapping based on temporary downsampling; and / or display based on the downsampling of the values of said combination.
Во многих вариантах это может повысить эффективность и/или уменьшить скорость передачи данных, либо снизить требования к ресурсам при сохранении возможности эффективного функционирования. Временная субдискретизация может содержать обновление отображения для поднабора изображений из последовательности изображений. Субдискретизация значений комбинации может содержать применение более грубого квантования одного или нескольких значений комбинации, чем в случае квантования пиксельных значений. Пространственная субдискретизация может содержать входные наборы, покрывающие множество пиксельных позиций.In many cases, this can increase efficiency and / or reduce the data transfer rate, or reduce resource requirements while maintaining the ability to function effectively. Temporary downsampling may include a display update for a subset of images from a sequence of images. Sub-sampling of the combination values may comprise applying coarser quantization of one or more combination values than in the case of quantizing pixel values. Spatial subsampling may include input sets covering a plurality of pixel positions.
Согласно опциональному признаку изобретения входное изображение является входным изображением с расширенным динамическим диапазоном; и способ кроме того содержит: прием входного изображения с суженным динамическим диапазоном, соответствующего входному изображению с расширенным динамическим диапазоном; создание базового изображения для предсказания исходя из входного изображения с суженным динамическим диапазоном; предсказание с получением предсказанного изображения с расширенным динамическим диапазоном исходя из базового изображения для предсказания в соответствии с упомянутым отображением; и адаптацию по меньшей мере одного из: отображения и/или остаточного изображения с расширенным динамическим диапазоном для предсказанного изображения с расширенным динамическим диапазоном в соответствии с результатом сравнения входного изображения с расширенным динамическим диапазоном и предсказанного изображения с расширенным динамическим диапазоном.According to an optional feature of the invention, the input image is an input image with an extended dynamic range; and the method further comprises: receiving an input image with a narrowed dynamic range corresponding to an input image with an extended dynamic range; creating a base image for prediction based on the input image with a narrowed dynamic range; prediction to obtain a predicted image with a wide dynamic range based on the base image for prediction in accordance with said display; and adapting at least one of: a display and / or an extended dynamic range image for a predicted image with an extended dynamic range in accordance with the result of comparing an input image with an extended dynamic range and a predicted image with an extended dynamic range.
Это открывает возможность обеспечить улучшенное кодирование и во многих вариантах позволяет адаптировать скорость передачи данных к специфическим характеристикам изображения. Например, скорость передачи данных может быть уменьшена до уровня, необходимого для заданного уровня качества, с динамической адаптацией скорости передачи данных для достижения переменной минимальной скорости передачи данных.This opens up the possibility of providing improved coding and, in many cases, allows you to adapt the data transfer rate to the specific characteristics of the image. For example, the data transfer rate can be reduced to the level required for a given quality level, with dynamic adaptation of the data transfer rate to achieve a variable minimum data rate.
В некоторых вариантах адаптация может содержать определение того, модифицировать ли часть или все упомянутое отображение. Например, если отображение приводит к предсказанному изображению с расширенным динамическим диапазоном, которое отклоняется от входного изображения с расширенным динамическим диапазоном на величину, превышающую заданную, то отображение можно частично или полностью модифицировать, чтобы в результате обеспечить улучшенное предсказание. Например, упомянутая адаптация может содержать модификацию конкретных пиксельных значений с расширенным динамическим диапазоном, обеспеченных посредством упомянутого отображения для конкретных входных наборов.In some embodiments, the adaptation may comprise determining whether to modify part or all of the mapping. For example, if the display results in a predicted image with an extended dynamic range that deviates from the input image with an extended dynamic range by an amount greater than a predetermined one, then the display can be partially or completely modified to provide improved prediction. For example, said adaptation may comprise a modification of specific pixel values with an extended dynamic range provided by said display for particular input sets.
В некоторых вариантах способ может включать в себя выбор элементов по меньшей мере одного из: данных отображения и/или данных остаточного изображения с расширенным динамическим диапазоном, - для включения в выходной поток кодированных данных в соответствии с результатом сравнения входного изображения с расширенным динамическим диапазоном и предсказанного изображения с расширенным динамическим диапазоном. Данные отображения и/или данные остаточного изображения с расширенным динамическим диапазоном могут, например, быть ограничены областями, где различие между входным изображением с расширенным динамическим диапазоном и предсказанным изображением с расширенным динамическим диапазоном превышает заданный порог.In some embodiments, the method may include selecting elements of at least one of: display data and / or extended dynamic range after-image data — to include encoded data in the output stream in accordance with the result of comparing the extended dynamic range input image and the predicted high dynamic range images. The display data and / or the extended dynamic range after-image data may, for example, be limited to areas where the difference between the advanced dynamic range input image and the predicted dynamic range image exceeds a predetermined threshold.
Согласно опциональному признаку изобретения, входное изображение представляет собой эталонное изображение с расширенным динамическим диапазоном, а эталонное изображение с суженным динамическим диапазоном представляет собой входное изображение с суженным динамическим диапазоном, соответствующее упомянутому входному изображению.According to an optional feature of the invention, the input image is a reference image with an extended dynamic range, and the reference image with a narrowed dynamic range is an input image with a narrowed dynamic range corresponding to said input image.
Это позволяет во многих вариантах обеспечить высокоэффективное предсказание изображения с расширенным динамическим диапазоном исходя из входного изображения с суженным динамическим диапазоном и во многих сценариях может обеспечить особо эффективное кодирование как изображений с расширенным динамическим диапазоном, так и изображений с суженным динамическим диапазоном. Способ кроме того может включать в себя отображение данных, характеризующих по меньшей мере часть указанного отображения в выходном потоке кодированных данных.This allows in many cases to provide highly efficient prediction of images with an extended dynamic range based on the input image with a narrowed dynamic range and in many scenarios can provide particularly efficient coding of both images with an extended dynamic range and images with a narrowed dynamic range. The method may also include displaying data characterizing at least a portion of the specified display in the output stream of encoded data.
Согласно опциональному признаку изобретения, входные наборы для отображения кроме того содержат индикаторы глубины, связанные с пространственными позициями изображения, и отображение кроме того отражает зависимость между глубиной и пиксельными значениями с расширенным динамическим диапазоном. Это может обеспечить улучшенное отображение и, например, дает возможность использовать указанное отображение для создания улучшенного предсказания для входного изображения. Данный подход позволяет обеспечить уменьшенную скорость передачи данных для данного уровня качества. Индикатор глубины может представлять собой любой подходящий индикатор глубины в изображении, в том числе значение глубины (в направлении z) или значение рассогласования.According to an optional feature of the invention, the input display sets furthermore comprise depth indicators associated with the spatial positions of the image, and the display furthermore reflects the relationship between depth and pixel values with an extended dynamic range. This can provide improved display and, for example, makes it possible to use the specified display to create improved prediction for the input image. This approach allows for a reduced data rate for a given level of quality. The depth indicator can be any suitable depth indicator in the image, including a depth value (in the z direction) or a mismatch value.
Согласно опциональному признаку изобретения, входное изображение соответствует изображению первого вида многовидового изображения, и способ кроме того содержит: кодирование изображения второго вида с расширенным динамическим диапазоном для многовидового изображения в соответствии с изображением первого вида с расширенным динамическим диапазоном.According to an optional feature of the invention, the input image corresponds to an image of a first view of a multi-view image, and the method further comprises: encoding a second view image with an extended dynamic range for a multi-view image in accordance with a first view image with an extended dynamic range.
Такой подход может обеспечить особо эффективное кодирование многовидовых изображений позволяет оптимизировать скорость передачи данных согласно некому показателю качества и/или облегчить реализацию указанного способа. Многовидовое изображение может представлять собой изображение, содержащее множество изображений, соответствующих разным видам одной и той же сцены. Многовидовое изображение, в частности, может представлять собой стереоизображение, содержащее правое и левое изображение (например, соответствующее точке зрения для правого и левого глаза наблюдателя). Изображение первого вида с расширенным динамическим диапазоном может, в частности, быть использовано для создания предсказания (или дополнительного предсказания) изображения второго вида с расширенным динамическим диапазоном. В некоторых случаях изображение первого вида с расширенным динамическим диапазоном может быть использовано непосредственно в качестве предсказания для изображения второго вида с расширенным динамическим диапазоном. Этот подход открывает возможность выполнения высокоэффективного совместного/комбинированного кодирования многовидовых изображений с LDR/HDR. Изображение с расширенным динамическим диапазоном может, в частности, представлять собой изображение первого вида с расширенным динамическим диапазоном.Such an approach can provide particularly effective coding of multi-view images that allows optimizing the data transfer rate according to a certain quality indicator and / or facilitate the implementation of this method. A multi-view image may be an image containing a plurality of images corresponding to different views of the same scene. The multi-view image, in particular, can be a stereo image containing the right and left image (for example, corresponding to the point of view for the right and left eye of the observer). An image of the first type with an extended dynamic range can, in particular, be used to create a prediction (or additional prediction) of an image of the second type with an extended dynamic range. In some cases, an image of the first type with an extended dynamic range can be used directly as a prediction for an image of a second type with an extended dynamic range. This approach opens up the possibility of performing highly efficient joint / combined coding of multi-view images with LDR / HDR. An image with an extended dynamic range may, in particular, be an image of the first type with an extended dynamic range.
Согласно опциональному признаку изобретения, изображение первого вида с расширенным динамическим диапазоном и изображение второго вида с расширенным динамическим диапазоном кодируют совместно, причем изображение первого вида с расширенным динамическим диапазоном кодируют независимо от изображения второго вида с расширенным динамическим диапазоном, а изображение второго вида с расширенным динамическим диапазоном кодируют с использованием данных из изображения первого вида с расширенным динамическим диапазоном; при этом кодированные данные разделяют на отдельные потоки данных, включающие в себя первичный поток данных, содержащий данные для изображения первого вида с расширенным динамическим диапазоном, и вторичный битовый поток, содержащий данные для изображения второго вида с расширенным динамическим диапазоном, где первичный и вторичный битовые потоки мультиплексируют, обеспечивая создание выходного потока кодированных данных, где данные для первичного и вторичного потоков данных снабжены отдельными кодами.According to an optional feature of the invention, an image of a first view with an extended dynamic range and an image of a second view with an extended dynamic range are encoded together, an image of a first view with an expanded dynamic range is encoded independently of an image of a second view with an extended dynamic range, and a second image with an extended dynamic range encode using data from an image of the first type with an extended dynamic range; wherein the encoded data is divided into separate data streams, including a primary data stream containing data for an image of the first type with an extended dynamic range, and a secondary bit stream containing data for an image of a second type with an extended dynamic range, where the primary and secondary bit streams multiplex, providing the creation of an output stream of encoded data, where the data for the primary and secondary data streams are provided with separate codes.
Это дает возможность обеспечить особо эффективное кодирование потока данных многовидовых изображений, что позволяет повысить уровень обратной совместимости. Данный подход открывает возможность сочетания преимуществ совместного кодирования многовидовых изображений с HDR с преимуществом обратной совместимости, что позволяет декодерам с неполным набором функциональных возможностей эффективно декодировать одновидовые изображения.This makes it possible to provide especially efficient coding of the multi-view image data stream, which allows to increase the level of backward compatibility. This approach opens up the possibility of combining the advantages of joint coding of multi-view images with HDR with the advantage of backward compatibility, which allows decoders with an incomplete set of functionality to efficiently decode single-image images.
Согласно опциональному признаку изобретения, кодирующий модуль содержит вход данных изображения для приема данных изображения, подлежащего кодированию, вход предсказания для приема предсказания для изображения, подлежащего кодированию, и выход данных для вывода кодированных данных для кодированного изображения, причем кодирующий модуль предназначен для создания кодированных данных из данных предсказания и данных изображения; при этом кодирование изображения первого вида с расширенным динамическим диапазоном выполняется кодирующим модулем при приеме предсказания, созданного исходя из отображения на входе предсказания и данных изображения для изображения с расширенным динамическим диапазоном на входе данных изображения, а кодирование изображения второго вида с расширенным динамическим диапазоном выполняется кодирующим модулем при приеме предсказания, созданного исходя из изображения первого вида с расширенным динамическим диапазоном, на входе предсказания и данных изображения для изображения второго вида с расширенным динамическим диапазоном на входе данных изображения.According to an optional feature of the invention, the encoding module comprises an image data input for receiving image data to be encoded, a prediction input for receiving prediction for an image to be encoded, and data output for outputting encoded data for the encoded image, wherein the encoding module is for generating encoded data from prediction data and image data; wherein the encoding of the image of the first type with extended dynamic range is performed by the encoding module when receiving the prediction created based on the display at the input of the prediction and image data for the image with the extended dynamic range at the input of the image data, and the encoding of the image of the second type with the extended dynamic range is performed by the encoding module when receiving a prediction created on the basis of an image of the first type with an extended dynamic range, at the input anija and image data for the image of the second type with an extended dynamic range on the image data input.
Это открывает возможность обеспечить особо эффективное и/или достаточно простое кодирование. Преимуществом является то, что кодирующий модуль можно многократно использовать для реализации разных функциональных возможностей. В качестве кодирующего модуля может быть, например, использован одновидовый кодирующий модуль H264.This opens up the possibility of providing particularly efficient and / or fairly simple coding. The advantage is that the coding module can be reused to implement different functionalities. As the encoding module, for example, a one-shot H264 encoding module can be used.
Согласно одному аспекту изобретения, обеспечен способ создания изображения с расширенным динамическим диапазоном из изображения с суженным динамическим диапазоном, причем способ содержит: прием изображения с суженным динамическим диапазоном; обеспечение входных данных, относящихся к отображению, в виде входных наборов пространственных позиций изображения и комбинации цветовых координат пиксельных значений с суженным динамическим диапазоном, связанных с пространственными позициями изображения, для вывода данных в виде пиксельных значений с расширенным динамическим диапазоном, причем указанное отображение отражает зависимость между эталонным изображением с суженным динамическим диапазоном и соответствующим эталонным изображением с расширенным динамическим диапазоном; и создание изображения с расширенным динамическим диапазоном в соответствии с изображением с суженным динамическим диапазоном и указанным отображением.According to one aspect of the invention, there is provided a method of creating an image with an extended dynamic range from an image with a narrowed dynamic range, the method comprising: receiving an image with a narrowed dynamic range; providing input data related to the display in the form of input sets of spatial positions of the image and a combination of color coordinates of pixel values with a narrowed dynamic range associated with the spatial positions of the image to output data in the form of pixel values with an extended dynamic range, and this display reflects the relationship between reference image with narrowed dynamic range and corresponding reference image with extended dynamic range ; and creating an image with an extended dynamic range in accordance with an image with a narrowed dynamic range and the specified display.
Изобретение предлагает особо эффективный подход к созданию изображения с расширенным динамическим диапазоном из изображения с суженным динамическим диапазоном.The invention offers a particularly effective approach to creating an image with an extended dynamic range from an image with a narrowed dynamic range.
В частности, указанный способ может представлять собой способ декодирования изображения с расширенным динамическим диапазоном. Изображение с суженным динамическим диапазоном может приниматься в виде кодированного изображения, которое сначала декодируют, после чего к декодированному изображению с суженным динамическим диапазоном применяют отображение для обеспечения изображения с расширенным динамическим диапазоном. В частности, изображение с суженным динамическим диапазоном может быть создано путем декодирования изображения базового уровня из потока кодированных данных.In particular, said method may be a method for decoding an image with an extended dynamic range. An image with a narrowed dynamic range can be received in the form of an encoded image that is first decoded, after which a display is applied to a decoded image with a narrowed dynamic range to provide an image with an extended dynamic range. In particular, an image with a narrowed dynamic range can be created by decoding a basic level image from a coded data stream.
В частности, эталонное изображение с суженным динамическим диапазоном и соответствующее эталонное изображение с расширенным динамическим диапазоном могут представлять собой изображения, декодированные ранее. В некоторых вариантах изображение с суженным динамическим диапазоном может быть принято в потоке кодированных данных, который может также содержать данные, характеризующие или идентифицирующие упомянутое отображение, или одно или оба из эталонных изображений.In particular, the reference image with a narrowed dynamic range and the corresponding reference image with an extended dynamic range may be images previously decoded. In some embodiments, an image with a narrowed dynamic range may be received in a coded data stream, which may also contain data characterizing or identifying said display, or one or both of the reference images.
Согласно опциональному признаку изобретения, создание изображения с расширенным динамическим диапазоном содержит определение по меньшей мере части предсказанного изображения с расширенным динамическим диапазоном для каждой позиции по меньшей мере части предсказанного изображения с расширенным динамическим диапазоном: определение по меньшей мере одного совпадающего входного набора, соответствующего каждой позиции и первой комбинации цветовых координат пиксельных значений с суженным динамическим диапазоном, связанных с каждой позицией; извлечение из указанного отображения по меньшей мере одного выходного пиксельного значения с расширенным динамическим диапазоном по меньшей мере для одного совпадающего входного набора; определение пиксельного значения с расширенным динамическим диапазоном для каждой позиции в предсказанном изображении с расширенным динамическим диапазоном в соответствии по меньшей мере с одним выходным пиксельных значением с расширенным динамическим диапазоном; и определение изображения с расширенным динамическим диапазоном в соответствии по меньшей мере с частью предсказанного изображения с расширенным динамическим диапазоном.According to an optional feature of the invention, creating an extended dynamic range image comprises determining at least a portion of the extended dynamic range predicted image for each position of at least a portion of the extended dynamic range predicted image: determining at least one matching input set corresponding to each position and the first combination of color coordinates of pixel values with a narrowed dynamic range associated with each a position; extracting from said display at least one output pixel value with an extended dynamic range for at least one matching input set; determining a pixel value with an extended dynamic range for each position in the predicted image with an extended dynamic range in accordance with at least one output pixel value with an extended dynamic range; and determining an image with an extended dynamic range in accordance with at least a portion of the predicted image with an extended dynamic range.
Это может обеспечить создание изображения с расширенным динамическим диапазоном, которое отличается особыми преимуществами. Во многих вариантах такой подход открывает возможность обеспечения особо эффективного кодирования сообщений как с суженным динамическим диапазоном, так и с расширенным динамическим диапазоном. В частности, может быть достигнута автоматическая адаптация и/или эффективное создание предсказанного изображения с расширенным динамическим диапазоном исходя из изображения с суженным динамическим диапазоном.This can provide an image with an extended dynamic range, which has special advantages. In many cases, this approach opens up the possibility of providing particularly efficient message coding with both a narrowed dynamic range and an extended dynamic range. In particular, automatic adaptation and / or efficient creation of a predicted image with an extended dynamic range based on an image with a narrowed dynamic range can be achieved.
Создание изображения с расширенным динамическим диапазоном в соответствии по меньшей мере с частью предсказанного изображения с расширенным динамическим диапазоном может содержать непосредственное использование по меньшей мере части предсказанного изображения с расширенным динамическим диапазоном, или может, например, содержать улучшение по меньшей мере части предсказанного изображения с расширенным динамическим диапазоном с использованием остаточных данных с расширенным динамическим диапазоном, которые, например, могут содержаться в другом уровне кодированного сигнала, отличном от уровня, где содержится изображение с суженным динамическим диапазоном.Creating an image with an extended dynamic range in accordance with at least a portion of the predicted image with an extended dynamic range may comprise directly using at least a portion of the predicted image with an extended dynamic range, or may, for example, include improving at least a portion of the predicted image with an extended dynamic range range using residual data with extended dynamic range, which, for example, may contain tsya in another encoded signal level different from the level where the tapered contains an image with the dynamic range.
Согласно опциональному признаку изобретения, изображение с суженным динамическим диапазоном представляет собой изображение из видеопоследовательности с суженным динамическим диапазоном, а упомянутый способ содержит создание отображения с использованием предшествующего изображения с суженным динамическим диапазоном из видеопоследовательности с суженным динамическим диапазоном в качестве эталонного изображения с суженным динамическим диапазоном, и предшествующего изображения с расширенным динамическим диапазоном, созданного для предшествующего изображения с суженным динамическим диапазоном, в качестве эталонного изображения с расширенным динамическим диапазоном.According to an optional feature of the invention, an image with a narrowed dynamic range is an image from a video sequence with a narrowed dynamic range, and said method comprises creating a display using a previous image with a narrowed dynamic range from a video sequence with a narrowed dynamic range as a reference image with a narrowed dynamic range, and dynamic range preceding image created by For the previous image with a narrowed dynamic range, as a reference image with an extended dynamic range.
Это может обеспечить эффективное функционирование и, в частности, позволяет обеспечить эффективное кодирование видеопоследовательностей с соответствующими изображениями с суженным динамическим диапазоном и расширенным динамическим диапазоном. Например, такой подход позволяет обеспечить точное кодирование на основе предсказания по меньшей мере части изображения с расширенным динамическим диапазоном исходя из изображения с суженным динамическим диапазоном без необходимости иметь какую-либо информацию об используемом отображении, подлежащую передаче между кодером и декодером.This can ensure efficient operation and, in particular, allows for efficient coding of video sequences with corresponding images with a narrowed dynamic range and an extended dynamic range. For example, this approach allows accurate coding based on prediction of at least a portion of an image with an extended dynamic range based on an image with a narrowed dynamic range without having to have any information about the display used to be transmitted between the encoder and decoder.
Согласно опциональному признаку изобретения, предшествующее изображение с расширенным динамическим диапазоном кроме того создают в соответствии с остаточными данными изображения для предшествующего изображения с суженным динамическим диапазоном в связи с данными предсказанного изображения для предшествующего изображения с суженным динамическим диапазоном.According to an optional feature of the invention, a previous image with an extended dynamic range is also created in accordance with the residual image data for a previous image with a narrowed dynamic range in connection with the predicted image data for a previous image with a narrowed dynamic range.
Это дает возможность обеспечить особо точное отображение, а значит, улучшенное предсказание.This makes it possible to provide a particularly accurate display, and hence improved prediction.
Согласно опциональному признаку изобретения, изображение с суженным динамическим диапазоном представляет собой изображение из видеопоследовательности с суженным динамическим диапазоном, и способ кроме того содержит использование номинального отображения по меньшей мере для некоторых изображений с суженным динамическим диапазоном из видеопоследовательности с суженным динамическим диапазоном.According to an optional feature of the invention, an image with a narrowed dynamic range is an image from a video sequence with a narrowed dynamic range, and the method further comprises using a nominal display for at least some images with a narrowed dynamic range from a video sequence with a narrowed dynamic range.
Это может обеспечить особо эффективное кодирование для многих изображений и, в частности, позволяет обеспечить эффективную адаптацию к другим изображениям в видеопоследовательности. Например, номинальное отображение можно использовать для изображений, для которых не существуют подходящие эталонные изображения, например, первое изображение, следующее за изменением сцены.This can provide particularly efficient coding for many images and, in particular, allows for efficient adaptation to other images in a video sequence. For example, a nominal display can be used for images for which no suitable reference images exist, for example, the first image following a scene change.
В некоторых вариантах видеопоследовательность с динамическим диапазоном может быть принята как часть кодированного видеосигнала, который кроме того содержит индикатор эталонного отображения для изображений с суженным динамическим диапазоном, для которых используется это эталонное отображение. В некоторых вариантах индикатор эталонного отображения указывает применяемое эталонное отображение, выбранное из заранее определенного набора эталонных отображений. Например, между кодером и декодером может быть определено N эталонных отображений, и кодирование может включать в себя индикатор, указывающий, какое из эталонных отображений следует использовать декодеру для конкретного изображения.In some embodiments, a dynamic range video sequence may be adopted as part of an encoded video signal that further comprises a reference display indicator for images with a narrowed dynamic range for which this reference display is used. In some embodiments, the reference display indicator indicates an applicable reference display selected from a predetermined set of reference displays. For example, N reference mappings may be determined between the encoder and the decoder, and the coding may include an indicator indicating which of the reference mappings the decoder should use for a particular image.
Согласно опциональному признаку изобретения, упомянутая комбинация указывает по меньшей мере одно из: изменение текстуры, градиента и/или пространственного пиксельного значения для пространственных позиций изображения.According to an optional feature of the invention, said combination indicates at least one of: a change in texture, gradient and / or spatial pixel value for the spatial positions of the image.
Это может обеспечить создание изображения с расширенным динамическим диапазоном, отличающееся особыми преимуществами, и, в частности, может создать более привлекательные изображения с расширенным динамическим диапазоном.This can provide an image with an extended dynamic range, characterized by special advantages, and, in particular, can create more attractive images with an extended dynamic range.
Согласно опциональному признаку изобретения, входные наборы для отображения кроме того содержат индикаторы глубины, связанные с пространственными положениями изображения, и указанное отображение кроме того отражает зависимость между глубиной и пиксельными значениями с расширенным динамическим диапазоном. Это может обеспечить улучшенное отображение, и, например, может обеспечить отображение, подлежащее использованию для создания улучшенного предсказания изображения с расширенным динамическим диапазоном. Этот подход может, например, обеспечить пониженную скорость передачи данных для данного уровня качества. Индикатором глубины может быть любой подходящий индикатор глубины в изображении, в том числе, значение глубины (в направлении z) или значение рассогласования.According to an optional feature of the invention, the input display sets further comprise depth indicators associated with the spatial positions of the image, and said display also reflects a relationship between depth and pixel values with an extended dynamic range. This can provide improved display, and, for example, can provide a display to be used to create improved image prediction with an extended dynamic range. This approach may, for example, provide a reduced data rate for a given quality level. The depth indicator can be any suitable depth indicator in the image, including the depth value (in the z direction) or the mismatch value.
Согласно опциональному признаку изобретения, изображение с расширенным динамическим диапазоном соответствует изображению первого вида из многовидового изображения, а способ, кроме того, содержит: создание изображения второго вида с расширенным динамическим диапазоном для многовидового изображения в соответствии с изображением с расширенным динамическим диапазоном.According to an optional feature of the invention, an image with an extended dynamic range corresponds to an image of a first view from a multi-view image, and the method further comprises: creating an image of a second view with an extended dynamic range for a multi-view image in accordance with an image with an extended dynamic range.
Данный подход может обеспечить особо эффективное создание/декодирование многовидовых изображений и позволяет оптимизировать скорость передачи данных согласно показателю качества и/или облегчить реализацию указанного способа. Многовидовое изображение может представлять собой изображение, содержащее множество изображений, соответствующих разным видам одной и той же сцены. Многовидовое изображение, в частности, может представлять собой стереоизображение, содержащее правое и левое изображение (например, соответствующее точке зрения для правого и левого глаза наблюдателя). Изображение первого вида с расширенным динамическим диапазоном может, в частности, быть использовано для создания предсказания изображения второго вида с расширенным динамическим диапазоном. В некоторых случаях изображение первого вида с расширенным динамическим диапазоном может быть использовано непосредственно в качестве предсказания для изображения второго вида с расширенным динамическим диапазоном. Этот подход открывает возможность выполнения высокоэффективного совместного/комбинированного декодирования многовидовых изображений с LDR/HDR.This approach can provide particularly efficient creation / decoding of multi-view images and can optimize the data transfer speed according to the quality indicator and / or facilitate the implementation of this method. A multi-view image may be an image containing a plurality of images corresponding to different views of the same scene. The multi-view image, in particular, can be a stereo image containing the right and left image (for example, corresponding to the point of view for the right and left eye of the observer). An image of the first type with an extended dynamic range can, in particular, be used to create a prediction of an image of a second type with an extended dynamic range. In some cases, an image of the first type with an extended dynamic range can be used directly as a prediction for an image of a second type with an extended dynamic range. This approach opens up the possibility of performing highly efficient joint / combined decoding of multi-view images with LDR / HDR.
Согласно опциональному признаку изобретения, декодирующий модуль содержит вход данных кодера для приема кодированных данных для кодированного изображения, вход предсказания для приема предсказания для кодированного изображения и выход данных для вывода декодированного изображения, причем декодирующий модуль предназначен для создания декодированного изображения исходя предсказания и данных кодера; при этом создание изображения с расширенным динамическим диапазоном выполняется декодирующим модулем при приеме предсказания, созданного исходя из отображения на входе предсказания и остаточных данных изображения для изображения с расширенным динамическим диапазоном на входе данных кодера, а создание изображения второго вида с расширенным динамическим диапазоном выполняется декодирующим модулем при приеме предсказания, созданного исходя из изображения с расширенным динамическим диапазоном на входе предсказания и остаточных данных изображения для изображения второго вида с расширенным динамическим диапазоном на входе данных кодера.According to an optional feature of the invention, the decoding module comprises an encoder data input for receiving encoded data for an encoded image, a prediction input for receiving a prediction for an encoded image, and data output for outputting a decoded image, the decoding module being adapted to create a decoded image based on the prediction and encoder data; wherein the creation of an image with an extended dynamic range is performed by a decoding module when receiving a prediction created based on the display at the input of the prediction and the residual image data for an image with an extended dynamic range at the input of the encoder data, and the creation of a second type image with an extended dynamic range is performed by a decoding module when receiving a prediction created from an image with an extended dynamic range at the input of the prediction and residual data image for the second type of image with an extended dynamic range at the input of encoder data.
Это позволяет обеспечить особо эффективное и/или достаточно простое декодирование. Преимуществом является то, что декодирующий модуль можно многократно использовать для реализации разных функциональных возможностей. Декодирующим модулем может быть, например, одновидовый декодирующий модуль типа H264.This allows for particularly efficient and / or fairly simple decoding. The advantage is that the decoding module can be reused to implement various functionalities. The decoding module may be, for example, a one-shot H264 type decoding module.
Согласно опциональному признаку изобретения, декодирующий модуль содержит множество блоков памяти для предсказаний, предназначенных для запоминания изображений-предсказаний, созданных из ранее декодированных изображений; при этом декодирующий модуль перезаписывает содержимое одного из блоков памяти для изображений-предсказаний на изображение-предсказание, принятое на входе предсказания.According to an optional feature of the invention, the decoding module comprises a plurality of prediction memory blocks for storing prediction images created from previously decoded images; wherein the decoding module rewrites the contents of one of the memory blocks for the prediction images to the prediction image received at the prediction input.
Это дает возможность обеспечить особо эффективную реализацию и/или функционирование.This makes it possible to provide particularly efficient implementation and / or operation.
Согласно опциональному признаку изобретения, этап создания изображения второго вида с расширенным динамическим диапазоном содержит: обеспечение отображения, связывающего входные данные, в виде входных наборов пространственных позиций изображения и комбинации цветовых координат пиксельных значений с расширенным динамическим диапазоном, связанных с пространственными позициями изображения, с выходными данными в виде пиксельных значений с расширенным динамическим диапазоном, причем указанное отображение отражает зависимость между эталонным изображением с расширенным динамическим диапазоном для первого вида и соответствующим эталонным изображением с расширенным динамическим диапазоном для второго вида; и создание изображения второго вида с расширенным динамическим диапазоном в соответствии с изображением с расширенным динамическим диапазоном и указанным отображением.According to an optional feature of the invention, the step of creating an image of the second type with an extended dynamic range comprises: providing a display linking the input data as input sets of spatial positions of the image and a combination of color coordinates of pixel values with extended dynamic range associated with the spatial positions of the image with the output in the form of pixel values with an extended dynamic range, and this display reflects the relationship between coupons image with an expanded dynamic range for the first type and the corresponding reference image with an expanded dynamic range for the second form; and creating an image of the second type with an extended dynamic range in accordance with an image with an extended dynamic range and the specified display.
Это дает возможность обеспечить подход, имеющий особые преимущества, к созданию изображения второго вида с расширенным динамическим диапазоном на основе изображения первого вида с расширенным динамическим диапазоном. В частности, можно обеспечить точное отображение или предсказание, основанное на эталонных изображениях. Создание изображения второго вида с расширенным динамическим диапазоном может быть основано на автоматическом создании отображения и, например, может быть основано на предшествующем изображении второго вида с расширенным динамическим диапазоном и предшествующем изображении первого вида с расширенным динамическим диапазоном. Данный подход может, например, обеспечить отображение, создаваемое независимо на стороне кодера и декодера, что позволяет обеспечить эффективное предсказание на стороне кодера/декодера на основе указанного отображения без необходимости передачи каких-либо дополнительных данных, связанных с отображением, от кодера на декодер.This makes it possible to provide an approach that has particular advantages to creating a second type image with an extended dynamic range based on an image of the first type with an extended dynamic range. In particular, accurate display or prediction based on reference images can be provided. Creating an image of the second type with extended dynamic range can be based on the automatic creation of the display, and, for example, can be based on the previous image of the second type with extended dynamic range and the previous image of the first type with extended dynamic range. This approach can, for example, provide a display created independently on the side of the encoder and decoder, which allows for efficient prediction on the side of the encoder / decoder based on the specified display without the need to transfer any additional data associated with the display from the encoder to the decoder.
Согласно одному аспекту изобретения, обеспечено устройство для кодирования входного изображения, причем устройство содержит: приемник для приема входного изображения; генератор отображения для создания отображения, связывающего входные данные, в виде входных наборов пространственных позиций изображения и комбинации цветовых координат пиксельных значений с суженным динамическим диапазоном, связанных с пространственными позициями изображения, с выходными данными в виде пиксельных значений с расширенным динамическим диапазоном в соответствии с эталонным изображением с суженным динамическим диапазоном и соответствующим эталонным значением с расширенным динамическим диапазоном; и выходной процессор для создания выходного потока кодированных данных путем кодирования входного изображения в соответствии с указанным отображением. Данное устройство может представлять собой, например, интегральную схему или ее часть.According to one aspect of the invention, there is provided an apparatus for encoding an input image, the device comprising: a receiver for receiving an input image; a display generator for creating a display linking the input data in the form of input sets of spatial positions of the image and a combination of color coordinates of pixel values with a narrowed dynamic range associated with spatial positions of the image with output in the form of pixel values with an extended dynamic range in accordance with the reference image narrowed dynamic range and the corresponding reference value with extended dynamic range; and an output processor for generating an output stream of encoded data by encoding an input image in accordance with said display. This device may be, for example, an integrated circuit or part thereof.
Согласно одному аспекту изобретения, обеспечена аппаратура, содержащая: устройство, описанное в предыдущем абзаце; входное соединение для приема сигнала, содержащего входное изображение, и подачи его в упомянутое устройство; и выходное соединение для вывода выходного потока кодированных данных из указанного устройства.According to one aspect of the invention, apparatus is provided comprising: a device as described in the previous paragraph; an input connection for receiving a signal containing an input image and supplying it to said device; and an output connection for outputting an output stream of encoded data from said device.
Согласно одному аспекту изобретения, обеспечено устройство для создания изображения с расширенным динамическим диапазоном из изображения с суженным динамическим диапазоном, причем упомянутое устройство содержит: приемник для приема изображения с суженным динамическим диапазоном; процессор отображения для обеспечения связывающего отображения, входные данные, в виде входных наборов пространственных позиций изображения и комбинации цветовых координат пиксельных значений с суженным динамическим диапазоном, связанных с пространственными позициями изображения, с выходными данными в виде пиксельных значений с расширенным динамическим диапазоном, причем указанное отображение отражает зависимость между эталонным изображением с суженным динамическим диапазоном и соответствующим эталонным изображением с расширенным динамическим диапазоном; и генератор изображения для создания изображения с расширенным динамическим диапазоном в соответствии с изображением с суженным динамическим диапазоном и упомянутым отображением. Данное устройство может представлять собой, например, интегральную схему или ее часть.According to one aspect of the invention, there is provided a device for creating an image with an extended dynamic range from an image with a narrowed dynamic range, said device comprising: a receiver for receiving an image with a narrowed dynamic range; a display processor for providing a binding display, the input data, in the form of input sets of spatial positions of the image and a combination of color coordinates of pixel values with a narrowed dynamic range associated with the spatial positions of the image, with output in the form of pixel values with an extended dynamic range, and this display reflects the relationship between the reference image with a narrowed dynamic range and the corresponding reference image with expanded nym dynamic range; and an image generator for creating an image with an extended dynamic range in accordance with an image with a narrowed dynamic range and said display. This device may be, for example, an integrated circuit or part thereof.
Согласно одному аспекту изобретения, обеспечено аппаратура, содержащая устройство, описанное в предыдущем абзаце; входное соединение для приема изображения с суженным динамическим диапазоном, и подачи его в упомянутое устройство; выходное соединение для вывода из указанного устройства сигнала, содержащего изображение с расширенным динамическим диапазоном. Указанная аппаратура может представлять собой, например, телевизионную приставку, компьютерный монитор или другой дисплей, медиаплеер, DVD-плеер или BluRayTM-плеер и т.д.According to one aspect of the invention, there is provided an apparatus comprising the apparatus described in the previous paragraph; an input connection for receiving an image with a narrowed dynamic range, and feeding it to said device; an output connection for outputting from the specified device a signal containing an image with an extended dynamic range. The specified equipment may be, for example, a television set-top box, a computer monitor or other display, a media player, a DVD player or a BluRay TM player, etc.
Согласно одному аспекту изобретения обеспечен кодированный сигнал, содержащий: кодированное изображение с суженным динамическим диапазоном; и остаточные данные изображения для изображения с суженным динамическим диапазоном, причем по меньшей мере часть остаточных данных изображения указывает различие между желаемым изображением с расширенным динамическим диапазоном, соответствующим изображению с суженным динамическим диапазоном, и предсказанным изображением с расширенным динамическим диапазоном, являющимся результатом применения отображения к кодированному изображению с суженным динамическим диапазоном, где указанное отображение связывает входные данные в виде входных наборов пространственных позиций изображения и комбинации цветовых координат пиксельных значений с суженным динамическим диапазоном, связанных с пространственными позициями изображения, с выходными данными в виде пиксельных значений с расширенным динамическим диапазоном, при этом указанное отображение отражает зависимость между эталонным изображением с суженным динамическим диапазоном и соответствующим эталонным изображением с расширенным динамическим диапазоном.According to one aspect of the invention, there is provided an encoded signal comprising: an encoded image with a narrowed dynamic range; and residual image data for an image with a narrowed dynamic range, wherein at least a portion of the residual image data indicates a difference between a desired image with an extended dynamic range corresponding to an image with a narrowed dynamic range and a predicted image with an extended dynamic range resulting from applying the display to an encoded image with a narrowed dynamic range, where the specified mapping connects the input data as input sets of spatial positions of the image and a combination of color coordinates of pixel values with a narrowed dynamic range associated with spatial positions of the image, with output in the form of pixel values with an extended dynamic range, while this display reflects the relationship between a reference image with a narrowed dynamic range and the corresponding reference high dynamic range image.
Согласно одному признаку изобретения обеспечена запоминающая среда, содержащая кодированный сигнал, описанный в предшествующем абзаце. Этой запоминающей средой может быть, например, носитель данных, такой как DVD BluRayTM диск.According to one feature of the invention, a storage medium is provided comprising the encoded signal described in the preceding paragraph. This storage medium may be, for example, a storage medium such as a DVD BluRay ™ disc.
Может быть обеспечен компьютерный программный продукт для выполнения способа согласно любому из аспектов или признаков изобретения. Также может быть обеспечена запоминающая среда, содержащая исполняемый код для выполнения способа согласно любому из аспектов или признаков изобретения.A computer program product may be provided for performing the method according to any of the aspects or features of the invention. A storage medium may also be provided comprising executable code for executing a method according to any of the aspects or features of the invention.
Эти и другие аспекты, признаки и преимущества изобретения станут очевидными по прочтении нижеследующего описания варианта (вариантов) осуществления изобретения.These and other aspects, features and advantages of the invention will become apparent upon reading the following description of an embodiment of the invention.
Краткое описание чертежейBrief Description of the Drawings
Далее описываются варианты изобретения, исключительно как примеры, со ссылками на чертежи, на которых:The following describes embodiments of the invention, solely as examples, with reference to the drawings, in which:
фиг. 1 - пример системы передачи согласно некоторым вариантам изобретения;FIG. 1 is an example transmission system according to some embodiments of the invention;
фиг. 2 - пример кодера согласно некоторым вариантам изобретения;FIG. 2 is an example of an encoder according to some embodiments of the invention;
фиг. 3 - пример способа кодирования согласно некоторым вариантам изобретения;FIG. 3 is an example of an encoding method according to some embodiments of the invention;
фиг. 4 и 5 - примеры отображений согласно некоторым вариантам изобретения;FIG. 4 and 5 are examples of mappings according to some embodiments of the invention;
фиг. 6 - пример кодера согласно некоторым вариантам изобретения;FIG. 6 is an example of an encoder according to some embodiments of the invention;
фиг. 7 - пример кодера согласно некоторым вариантам изобретения;FIG. 7 is an example of an encoder according to some embodiments of the invention;
фиг. 8 - пример способа декодирования согласно некоторым вариантам изобретения;FIG. 8 is an example of a decoding method according to some embodiments of the invention;
фиг. 9 - пример предсказания изображения с расширенным динамическим диапазоном согласно некоторым вариантам изобретения;FIG. 9 is an example of predicting an image with extended dynamic range according to some variants of the invention;
фиг. 10 - пример отображения согласно некоторым вариантам изобретения;FIG. 10 is a display example according to some embodiments of the invention;
фиг. 11 - пример декодера согласно некоторым вариантам изобретения;FIG. 11 is an example of a decoder according to some variants of the invention;
фиг. 12 - пример кодера согласно некоторым вариантам изобретения;FIG. 12 is an example of an encoder according to some embodiments of the invention;
фиг. 13 - пример базового кодирующего модуля, который может быть использован в кодерах, согласно некоторым вариантам изобретения;FIG. 13 is an example of a basic coding module that can be used in encoders according to some embodiments of the invention;
фиг. 14-17 - примеры кодеров, в которых используется базовый кодирующий модуль по фиг. 13;FIG. 14-17 are examples of encoders using the basic coding module of FIG. 13;
фиг. 18 - пример мультиплексирования потоков данных;FIG. 18 is an example of multiplexing data streams;
фиг. 19 - пример базового декодирующего модуля, который может быть использован в декодерах, согласно некоторым вариантам изобретения; иFIG. 19 is an example of a basic decoding module that can be used in decoders according to some embodiments of the invention; and
фиг. 20-22 - примеры декодеров, в которых используется базовый декодирующий модуль по фиг. 18.FIG. 20-22 are examples of decoders using the basic decoding module of FIG. eighteen.
Подробное описание некоторых вариантов изобретенияDetailed Description of Certain Embodiments of the Invention
Последующее описание сфокусировано на вариантах изобретения, применимых для кодирования и декодирования соответствующих изображений с суженным динамическим диапазоном и расширенным динамическим диапазоном из видеопоследовательностей. Однако очевидно, что данное изобретение не ограничено указанным применением и что описанные здесь принципы можно применить во многих других сценариях, и, например, можно применить для улучшения или модификации динамических диапазонов изображений множества различных типов.The following description focuses on embodiments of the invention useful for encoding and decoding corresponding images with a narrowed dynamic range and an extended dynamic range from video sequences. However, it is obvious that the invention is not limited to this application and that the principles described here can be applied in many other scenarios, and, for example, can be applied to improve or modify the dynamic ranges of images of many different types.
На фиг. 1 показана система 100 передачи для передачи видеосигнала согласно некоторым вариантам изобретения. Система 100 передачи содержит передатчик 101, соединенный с приемником 103 через сеть 105, которая, в частности, может представлять собой Интернет или, например, широковещательную систему, такую как широковещательная система цифрового телевидения.In FIG. 1 shows a
В данном конкретном примере приемником 103 является средство воспроизведения сигнала, но очевидно, что в других вариантах приемник может использоваться в других приложениях и для других целей. В конкретном примере приемником 103 может быть дисплей, такой как телевизионный приемник, или телевизионная приставка для создания выходного сигнала визуального воспроизведения для внешнего дисплейного устройства, такого как компьютерный монитор или телевизор.In this particular example, the
В данном конкретном варианте передатчик 101 содержит источник 107 сигнала, который обеспечивает видеопоследовательность изображений с суженным динамическим диапазоном и соответствующую видеопоследовательность изображений с расширенным динамическим диапазоном. Соответствующие изображения представляют одинаковую сцену/изображение, но с разными динамическими диапазонами. Как правило, изображение с суженным динамическим диапазоном может создаваться из соответствующего изображения с расширенным динамическим диапазоном посредством подходящей цветовой градации, которая может выполняться автоматически, в полуавтоматическом режиме или вручную. В некоторых вариантах изображение с расширенным динамическим диапазоном может быть создано из изображения с суженным динамическим диапазоном, либо они могут создаваться параллельно, например, для изображений, создаваемых компьютером.In this particular embodiment, the
Следует понимать, что термины «изображение с суженным динамическим диапазоном» и «изображение с расширенным динамическим диапазоном» не задают в абсолютных единицах какие-либо конкретные динамические диапазоны для изображений, а просто являются относительными терминами, которые соотносят эти изображения друг с другом, так что изображение с расширенным динамическим диапазоном имеет потенциально более широкий динамический диапазон, чем изображение с более узким динамическим диапазоном.It should be understood that the terms “image with a narrowed dynamic range” and “image with an extended dynamic range” do not specify in absolute units any specific dynamic ranges for images, but are simply relative terms that relate these images to each other, so an image with an extended dynamic range has a potentially wider dynamic range than an image with a narrower dynamic range.
Источник 107 сигнала может сам создавать изображение с суженным динамическим диапазоном, изображение с расширенным динамическим диапазоном либо изображения как с суженным, так и с расширенным динамическим диапазоном, или, например, может принимать одно либо оба из них от внешнего источника.The
Источник 107 сигнала соединен с кодером 109, который приступает к кодированию видеопоследовательностей с расширенным и суженным динамическим диапазоном в соответствии с алгоритмом кодирования, который более подробно будет описан ниже. Кодер 109 соединен с сетевым передатчиком 111, который принимает кодированный сигнал и осуществляет взаимодействие с сетью 105 связи. Сетевой передатчик может передавать кодированный сигнал на приемник 103 через сеть 105 связи. Следует иметь в виду, что во многих других вариантах могут использоваться другие распределительные или коммуникационные сети, такие как, например, наземная или спутниковая широковещательная система.The
Приемник 103 содержит приемник 113, который обеспечивает взаимодействие с сетью 105 связи и принимает кодированный сигнала от передатчика 101. В некоторых вариантах приемник 113 может представлять собой, например, интерфейс сети Интернет, либо беспроводной или спутниковый приемник.The
Приемник 113 соединен с декодером 115. На декодер 115 подается принятый кодированный сигнал, а затем он приступает к декодированию в соответствии с алгоритмом декодирования, который более подробно описывается ниже. В частности, декодер 115 может создавать видеопоследовательность с расширенным динамическим диапазоном исходя из принятых кодированных данных.The
В конкретном примере, где поддерживается функция воспроизведения сигнала, приемник 103 кроме того содержит средство 117 воспроизведения сигнала, которое принимает декодированный видеосигнал от декодера 115 и представляет его пользователю, используя подходящие для этого функциональные возможности. В частности, само средство 117 воспроизведения сигнала может содержать дисплей, способный представлять кодированную видеопоследовательность. В качестве альтернативы или как дополнение, средство 117 воспроизведения сигнала может содержать схему вывода, которая способна создавать подходящий сигнал возбуждения для внешнего дисплейного устройства. Таким образом, приемник 103 может содержать средство соединения на входе, принимающее кодированную видеопоследовательность, и средство соединения на выходе, обеспечивающее выходной сигнал возбуждения для дисплея.In a specific example where a signal reproduction function is supported, the
На фиг. 2 показан пример кодера 109 согласно некоторым вариантам изобретения. На фиг. 3 показан пример способа кодирования согласно некоторым вариантам изобретения.In FIG. 2 shows an example of an
Кодер содержит приемник 201 для приема видеопоследовательности изображений с расширенным динамическим диапазоном (которые могут быть получены, например, в том же самом блоке, который содержит кодер, на основе имеющегося изображения с HDR, либо эти изображения могут поступить с отдельного входа (например, с отдельной градуировкой), например, версия с LDR из телевизионной записи и т.д., запомненная на жестком диске), в дальнейшем называемых изображениями с LDR, и приемник 203 для приема соответствующей видеопоследовательности изображений с расширенным динамическим диапазоном, далее называемых изображениями с HDR.The encoder contains a
Сначала кодер 109 выполняет шаг 301, на котором осуществляется прием входного изображения с LDR видеопоследовательности c LDR. Изображения с LDR подаются в кодер 205 с LDR, который кодирует видеоизображения из видеопоследовательности с LDR. Следует иметь в виду, что для этого может быть использован любой алгоритм кодирования видео или изображений, и что такое кодирование может включать в себя компенсацию движения, квантование, трансформное преобразование и т.д., как известно специалистам в данной области техники. В частности, кодером 205 с LDR может быть стандартный кодер H-264/AVC.First,
Таким образом, за шагом 301 следует шаг 303, на котором выполняется кодирование изображения с LDR для создания кодированного изображения с LDR.Thus,
Затем кодер 109 приступает к созданию предсказанного изображения с HDR из изображения с LDR. Предсказание основано на базовом изображении для предсказания, которым, например, может быть само входное изображение с LDR. Однако во многих вариантах базовое изображение для предсказания может быть создано таким образом, чтобы оно соответствовало изображению с LDR, которое может быть создано декодером посредством декодирования кодированного изображения с LDR.
В примере на фиг. 2 кодер 205 с LDR соединен соответственно с декодером 207 с LDR, который приступает к созданию базового изображения для предсказания посредством декодирования кодированных данных изображения с LDR. Такое декодирование может иметь действительный входной поток данных или может иметь промежуточный поток данных, такой как, например, поток кодированных данных до окончательного энтропийного кодирования без потерь. Таким образом, декодер 207 с LDR выполняет шаг 305, на котором создается базовое изображение для предсказания посредством декодирования кодированного изображения с LDR.In the example of FIG. 2, an
Декодер 207 с LDR соединен с предсказателем 209, который приступает к созданию предсказанного изображения с HDR исходя из базового изображения для предсказания. Упомянутое предсказание основано на отображении, обеспеченном процессором 211 отображения.The
Таким образом, в данном примере за шагом 305 следует шаг 307, на котором создается упомянутое отображение, а затем шаг 309, на котором выполняется предсказание для создания предсказанного изображения с HDR.Thus, in this example,
Предсказатель 209 кроме того соединен с кодером 213 с HDR, который кроме того подсоединен к приемнику 203 с HDR. Кодер 213 с HDR принимает входное изображение с HDR и предсказанное изображение с HDR и приступает к кодированию входного изображения с HDR на основе предсказанного изображения с HDR.The
Ниже подробно на конкретном несложном примере описывается кодирование изображения с HDR на основе создания остаточного изображения с HDR относительно предсказанного изображения с HDR и кодирования остаточного изображения с HDR. Однако специалистам в данной области техники должно быть ясно, что стратегии предсказания для кодирования изображений с LDR/HDR в сочетании с 3D-кодированием (стерео или несколько изображений), согласующиеся с несколькими описанными здесь вариантами, будут совместно работать с несколькими стратегиями предсказания, например, возможно использование локальных функций комплексного преобразования на объектах (независимо от того, закодированы ли они в виде алгоритмов, таблиц LUT либо промежуточных или окончательно используемых изображений и т.д.), пространственно-временных модификаций изображения с LDR по нескольким изображениям и т.д. Таким образом, в указанном простом примере кодер 213 с HDR может приступить к выполнению шага 311, на котором создается остаточное изображение с HDR в соответствии с результатом сравнения входного изображения с HDR и предсказанного изображения с HDR. В частности, кодер 213 с HDR может создать остаточное изображение с HDR путем вычитания предсказанного изображения с HDR исходя из входного изображения с HDR. Таким образом, остаточное изображение с HDR представляет ошибку между входным изображением с HDR и изображением, предсказанным на основе соответствующего (кодированного) изображения с LDR. В других вариантах могут выполняться другие сравнения. Например, может быть использовано деление изображения с HDR на предсказанное изображение с HDR.In detail below, a specific simple example describes encoding an HDR image based on creating a residual image with HDR relative to the predicted image with HDR and encoding the residual image with HDR. However, it should be clear to those skilled in the art that prediction strategies for encoding LDR / HDR images in combination with 3D coding (stereo or multiple images) consistent with the several options described here will work with several prediction strategies, for example, it is possible to use local functions of complex transformation on objects (regardless of whether they are encoded in the form of algorithms, LUT tables or intermediate or finally used images, etc. ), spatio-temporal image modifications with LDR for several images, etc. Thus, in the indicated simple example, the
Кодер 213 с HDR может затем выполнить шаг 313, на котором кодируется остаточное изображение для создания кодированных остаточных данных.The
Для кодирования остаточного изображения можно использовать любой подходящий принцип или алгоритм кодирования. В действительности, во многих вариантах можно использовать предсказанное изображение с HDR в качестве одного из нескольких возможных предсказаний. Таким образом, в некоторых вариантах кодер 213 с HDR может быть скомпонован для выбора из множества предсказаний, включая предсказанное изображение с HDR. Другие предсказания могут включать в себя пространственные или временные предсказания. Выбор может быть основан на показателе точности для разных предсказаний, например, на величине остатка относительно входного изображения с HDR. Выбор может выполняться для всего изображения в целом или, например, может выполняться индивидуально для разных областей или зон изображения с HDR.Any suitable principle or coding algorithm may be used to encode the afterimage. In fact, in many embodiments, a predicted HDR image can be used as one of several possible predictions. Thus, in some embodiments, an
Например, кодером с HDR может быть кодер H264. Стандартный кодер H264 может использовать разные предсказания, такие как временное предсказание (между кадрами, например, компенсация движения) или пространственное предсказание (то есть, предсказание одной области изображения исходя из другой). В подходе согласно фиг. 2 указанные предсказания могут быть добавлены посредством предсказания изображения по схеме «от LDR к HDR». Затем кодер на основе H.264 приступает к выбору предсказания из числа разных возможных предсказаний. Этот выбор выполняется на основе макроблоков и базируется на выборе того предсказания, которое в результате даст минимальный остаток для данного макроблока. В частности, для выбора наилучшего подхода к предсказанию для каждого блока может быть выполнен анализ зависимости искажения от скорости передачи. Таким образом, принимается частное решение.For example, an encoder with HDR may be an H264 encoder. The standard H264 encoder can use different predictions, such as temporal prediction (between frames, for example, motion compensation) or spatial prediction (that is, prediction of one area of an image based on another). In the approach of FIG. 2, these predictions can be added by image prediction according to the “from LDR to HDR” scheme. The H.264-based encoder then proceeds to select the predictions from among the various possible predictions. This selection is based on macroblocks and is based on the selection of the prediction that will result in a minimum remainder for a given macroblock. In particular, to determine the best prediction approach for each block, an analysis of the dependence of distortion on the transmission rate can be performed. Thus, a private decision is made.
Соответственно, кодер на основе H264 может использовать разные подходы к предсказанию разных макроблоков. Остаточные данные могут создаваться и кодироваться для каждого макроблока. Таким образом, кодированные данные для входного изображения с HDR могут содержать остаточные данные для каждого макроблока, полученные в результате конкретного выбранного способа предсказания для данного макроблока. Вдобавок, кодированные данные могут содержать указание о том, какой подход к кодированию используется для каждого отдельного макроблока.Accordingly, an H264-based encoder may use different approaches for predicting different macroblocks. Residual data may be created and encoded for each macroblock. Thus, the encoded data for an HDR input image may contain residual data for each macroblock resulting from a particular selected prediction method for a given macroblock. In addition, the encoded data may indicate which encoding approach is used for each individual macroblock.
Таким образом, предсказание «от LDR к HDR» может обеспечить дополнительное предсказание, которое может быть выбрано кодером. Для некоторых макроблоков это предсказание может привести к меньшему остатку, чем другие предсказания, и, соответственно оно будет выбрано для данного макроблока. Результирующее остаточное изображение для данного макроблока будет затем представлять разность между входным изображением с HDR и предсказанным изображением с HDR для данного блока.Thus, the prediction "from LDR to HDR" can provide additional prediction, which can be selected by the encoder. For some macroblocks, this prediction may result in a smaller remainder than other predictions, and, accordingly, it will be selected for this macroblock. The resulting image retention for a given macroblock will then represent the difference between an HDR input image and a predicted HDR image for a given block.
В этом примере кодер может выбирать разные подходы к предсказанию, но не комбинацию из них, поскольку разные предсказания, как правило, противоречат друг другу.In this example, the encoder may choose different approaches to prediction, but not a combination of them, since different predictions tend to contradict each other.
Кодер 205 с LDR и кодер 213 с HDR соединены с выходным процессором 215, который принимает кодированные данные с LDR и кодированные остаточные данные. Затем выходной процессор 215 приступает к выполнению шага 315, на котором создается выходной поток кодированные данных, включающий в себя кодированные данные с LDR и кодированные остаточные данные.An
В данном примере созданный выходной поток кодированных данных представляет собой многоуровневый поток данных, причем кодированные данные с LDR содержатся на первом уровне, а кодированные остаточные данные - на втором уровне. Второй уровень, в частности, может являться опционным уровнем, который может игнорироваться декодерами или устройствами, несовместимыми с обработкой HDR. Таким образом, первый уровень может быть базовым уровнем, а второй уровень - опционным уровнем, и, в частности, второй уровень может быть уровнем улучшения или опционным уровнем модификации динамического диапазона. Такой подход может обеспечить обратную совместимость, что позволяет оборудованию, способному действовать с HDR, использовать дополнительную информацию о HDR. Кроме того, использование предсказания и кодирования остаточного изображения позволяет обеспечить высокоэффективное кодирование с низкой скоростью передачи данных при заданном качестве изображения.In this example, the generated encoded data output stream is a multi-level data stream, wherein the encoded data with LDR is contained in the first level, and the encoded residual data is in the second level. The second layer, in particular, may be an optional layer that may be ignored by decoders or devices incompatible with HDR processing. Thus, the first level can be a base level, and the second level can be an optional level, and, in particular, the second level can be an improvement level or an optional modification level of the dynamic range. This approach can provide backward compatibility, which allows equipment capable of handling HDR to use additional information about HDR. In addition, the use of prediction and coding of the residual image allows for highly efficient coding with a low data rate for a given image quality.
В примере на фиг. 2 предсказание изображения с HDR основано на отображении. Отображение сконфигурировано для отображения входных данных в виде входных наборов пространственных позиций изображения и комбинации цветовых координат пиксельных значений с суженным динамическим диапазоном, связанных с пространственными позициями изображения, на выходные данные в виде пиксельных значений с расширенным динамическим диапазоном.In the example of FIG. 2 HDR image prediction is based on imaging. The mapping is configured to map the input data as input sets of spatial positions of the image and a combination of color coordinates of pixel values with a narrowed dynamic range associated with the spatial positions of the image to output data in the form of pixel values with an extended dynamic range.
Таким образом, отображение, которое в частности, можно реализовать в виде справочной таблицы, основано на входных данных, которые определяются количеством параметров, сформированных во входных наборах. Следовательно, входные наборы можно рассматривать как многомерные наборы, которые содержат значения для нескольких параметров. Эти параметры включают в себя пространственные размеры, причем они, в частности, могут содержать позицию двумерного изображения, например, параметр (диапазон) для горизонтального размера и параметр (диапазон) для вертикального размера. В частности, указанное отображение может разделять область изображения на множество пространственных блоков с заданной протяженностью по горизонтали и вертикали.Thus, the mapping, which in particular can be implemented in the form of a look-up table, is based on input data, which are determined by the number of parameters generated in the input sets. Therefore, input sets can be considered as multidimensional sets that contain values for several parameters. These parameters include spatial dimensions, and they, in particular, may contain the position of the two-dimensional image, for example, a parameter (range) for horizontal size and a parameter (range) for vertical size. In particular, said display can divide an image region into a plurality of spatial blocks with a given horizontal and vertical extension.
Для каждого пространственного блока указанное отображение может содержать один или несколько параметров, созданных из цветовых координат пиксельных значений с суженным динамическим диапазоном. В качестве простого примера, каждый входной набор может включать в себя вдобавок к пространственным параметрам одно значение яркости. Таким образом, в данном случае каждый входной набор представляет собой трехмерный набор с двумя пространственными параметрами и одним параметром яркости.For each spatial block, this mapping may contain one or more parameters created from the color coordinates of pixel values with a narrowed dynamic range. As a simple example, each input set may include, in addition to spatial parameters, one brightness value. Thus, in this case, each input set is a three-dimensional set with two spatial parameters and one brightness parameter.
Для различных возможных входных наборов рассматриваемое отображение обеспечивает выходное пиксельное значение с расширенным динамическим диапазоном. Таким образом, в данном конкретном примере отображение может представлять собой отображение трехмерных входных данных на одно пиксельное значение с расширенным динамическим диапазоном.For various possible input sets, the mapping in question provides an output pixel value with an extended dynamic range. Thus, in this particular example, the mapping may be a mapping of three-dimensional input to a single pixel value with an extended dynamic range.
Таким образом, указанное отображение обеспечивает отображение, зависящее от пространственной и цветовой компоненты (в том числе, только компоненты яркости), на подходящее пиксельное значение с расширенным динамическим диапазоном.Thus, this display provides a display depending on the spatial and color components (including only the brightness component), on a suitable pixel value with an extended dynamic range.
Процессор 211 отображения сконфигурирован для создания отображения в соответствии с эталонным изображением с суженным динамическим диапазоном и соответствующим эталонным изображением с расширенным динамическим диапазоном. Таким образом, отображение не является заранее предопределенным или фиксированным отображением, а скорее представляет собой отображение, которое может создаваться/обновляться автоматически и адаптивно на основе эталонных изображений.The
В частности, в качестве эталонных изображений могут выступать изображения из видеопоследовательностей. Таким образом, отображение создается динамически из изображений видеопоследовательности, что обеспечивает автоматическую адаптацию отображения к конкретным изображениям.In particular, images from video sequences can act as reference images. Thus, the display is created dynamically from the images of the video sequence, which provides automatic adaptation of the display to specific images.
В конкретном примере отображение может быть основано на действительном изображении с LDR и соответствующем изображении с HDR, находящимися в процессе кодирования. В этом примере может быть создано отображение, отражающее взаимосвязь пространственных и цветовых компонент между входным изображением с LDR и входным изображением с HDR.In a specific example, the mapping may be based on a valid image with LDR and a corresponding image with HDR in the process of encoding. In this example, a mapping may be created that reflects the relationship of the spatial and color components between the input image with LDR and the input image with HDR.
В конкретном примере отображение может быть создано в виде трехмерной сетки размерности NX х NY х NI бинов (входных наборов). Указанный подход на основе сетки обеспечивает большую гибкость с точки зрения степени квантования, применяемого к трем размерам. В данном примере третий (не пространственный) размер представляет собой параметр интенсивности, который просто соответствует значению яркости. В примерах, описанных ниже, предсказание изображения с HDR выполняется на уровне макроблоков и с 28 бинами интенсивности (то есть, в этом случае используются 8-битовые значения). Для изображения высокой четкости это означает, что сетка имеет размеры: 120×68×256 бинов. Каждый бин соответствует входному набору для указанного отображения.In a specific example, the mapping can be created in the form of a three-dimensional grid of dimension NX x NY x NI bins (input sets). This grid-based approach provides greater flexibility in terms of the degree of quantization applied to the three dimensions. In this example, the third (non-spatial) size is an intensity parameter that simply corresponds to the brightness value. In the examples described below, HDR image prediction is performed at the macroblock level and with 2 8 intensity bins (that is, 8-bit values are used in this case). For high-definition images, this means that the grid has dimensions: 120 × 68 × 256 bins. Each bin corresponds to an input set for the specified mapping.
Для каждого входного пикселя с LDR на позиции (x,y) в эталонных изображениях и значениях VLDR и VHDR интенсивности для изображения с LDR и с HDR соответственно для рассматриваемой цветовой компоненты (например, если каждую цветовую компоненту рассматривать отдельно) сначала идентифицируют соответствующий бин для данной позиции и интенсивности. В этом примере каждый бин соответствует пространственному интервалу по горизонтали, пространственному интервалу по вертикали и интервалу по интенсивности. Соответствующий бин (то есть, входной набор) можно определить посредством интерполяции по соседним элементам:For each input pixel with LDR at the position (x, y) in the reference images and V LDR and V HDR intensities for the image with LDR and HDR, respectively, for the color component under consideration (for example, if each color component is considered separately), the corresponding bin is first identified for a given position and intensity. In this example, each bin corresponds to a horizontal spatial interval, a vertical spatial interval, and an intensity interval. The corresponding bin (that is, the input set) can be determined by interpolation over neighboring elements:
где Ix, Iy и Il - координаты сетки в горизонтальном направлении, вертикальном направлении и направлении интенсивности соответственно; sx, sy и sl - шаги сетки (значения длины интервала) по этим размерам, а [ ] обозначает оператор определения ближайшего целого числа.where I x , I y and I l are the grid coordinates in the horizontal direction, the vertical direction, and the intensity direction, respectively; s x , s y and s l are the grid steps (interval length values) over these sizes, and [] denotes the operator for determining the nearest integer.
Таким образом, в этом примере процессор 211 отображения определяет соответствующий входной набор/бин, который имеет пространственные интервалы, соответствующие каждой позиции изображения для данного пикселя, и интервал значения интенсивности, который соответствует значению интенсивности для данного пикселя в эталонном изображении с суженным динамическим диапазоном на данной конкретной позиции.Thus, in this example, the
Затем процессор 211 отображения приступает к определению выходного пиксельного значения с расширенным динамическим диапазоном для соответствующего входного набора/бина в соответствии с пиксельным значением с расширенным динамическим диапазоном для данной позиции в эталонном изображении с HDR.Then, the
В частности, в процессе построения указанной сетки значение D интенсивности и значение W веса обновляется для каждой новой рассматриваемой позиции:In particular, in the process of constructing the indicated grid, the intensity value D and the weight value W are updated for each new position under consideration:
После оценки всех пикселей изображений выполняют нормализацию значения интенсивности, используя значение веса, чтобы получить в результате выходное значение B с HDR для данного бина:After evaluating all the pixels of the images, the intensity value is normalized using the weight value to obtain the output value B with HDR for this bin:
где значение B данных для каждого значения содержит выходное пиксельное значение с HDR, соответствующее данной позиции и входной интенсивности для конкретного бина/входного набора. Таким образом, позиция в сетке определяется эталонным изображением с LDR, в то время как данные, запомненные в сетке, соответствуют эталонному изображению с HDR. Таким образом, входные наборы для отображения определяют из эталонного изображения с LDR, а выходные данные отображения определяют из эталонного изображения с HDR. В данном конкретном примере запомненным выходным значением с HDR является среднее значение пикселей с HDR, входящих во входной набор/бин, но следует иметь в виду, что в других вариантах могут быть использованы другие, и, в частности, более совершенные подходы.where the data value B for each value contains an output pixel value with HDR corresponding to a given position and input intensity for a particular bin / input set. Thus, the position in the grid is determined by the reference image with LDR, while the data stored in the grid corresponds to the reference image with HDR. Thus, the input display sets are determined from the reference image with LDR, and the output display data is determined from the reference image with HDR. In this particular example, the stored output value with HDR is the average value of pixels with HDR included in the input set / bin, but it should be borne in mind that in other embodiments, other and, in particular, more advanced approaches can be used.
В данном примере отображение создается автоматически для отражения взаимосвязей, касающихся пространственных и пиксельных значений, между эталонным изображением c LDR и эталонным изображением с HDR. Это особенно полезно для предсказания изображения с HDR, исходя из изображения с LDR, когда эталонные изображения сильно коррелированны с кодированными изображениями с LDR и с HDR. Это, в частности, относится к случаю, когда эталонные изображения в действительности совпадают с кодируемыми изображениями. В этом случае создается отображение, которое автоматически адаптируется к конкретным взаимосвязям между входными изображениями с LDR и с HDR. Таким образом, хотя взаимосвязь между этими изображениями, как правило, заранее не известна, описанный подход обеспечивает автоматическую адаптацию к указанной взаимосвязи без какой-либо предварительной информации. Это позволяет обеспечить точное предсказание, что в результате приводит к меньшим отличиям от входного изображения с HDR, а значит, в остаточном изображении, которое можно кодировать более эффективным образом.In this example, a mapping is created automatically to reflect the relationships between spatial and pixel values between the reference image with LDR and the reference image with HDR. This is especially useful for predicting HDR images based on an LDR image when reference images are highly correlated with LDR and HDR encoded images. This, in particular, refers to the case when the reference images actually coincide with the encoded images. In this case, a mapping is created that automatically adapts to the specific relationships between the input images with LDR and with HDR. Thus, although the relationship between these images, as a rule, is not known in advance, the described approach provides automatic adaptation to this relationship without any preliminary information. This allows for accurate prediction, which results in smaller differences from the input image with HDR, and therefore, in the residual image, which can be encoded in a more efficient manner.
В вариантах, где кодируемые входные изображения непосредственно используют для создания упомянутого отображения, указанные изображения обычно недоступны на стороне декодера. Следовательно, сам декодер не может создать упомянутое отображение. Соответственно, в некоторых вариантах кодер может быть дополнительно скомпонован для введения в выходной кодированный поток данных, которые характеризуют по меньшей мере часть отображения. Например, в сценариях, где используются фиксированные и заранее определенные интервалы для входных наборов (то есть, фиксированные бины), кодер может включить в выходной кодированный поток все выходные значения бинов, например, в виде части опционного уровня. Хотя это может привести к увеличению скорости передачи данных, скорее всего непроизводительные издержки окажутся относительно низкими из-за субдискретизации, выполненной при создании упомянутой сетки. Таким образом, сокращение объема данных, которое достигается в результате использования точного и адаптивного подхода к предсказанию, скорее всего, перевесит увеличение скорости передачи данных в результате передачи данных об отображении.In embodiments where the encoded input images are directly used to create said display, these images are usually not available on the side of the decoder. Therefore, the decoder itself cannot create the mapping. Accordingly, in some embodiments, the encoder may be further configured to introduce into the output encoded data stream that characterizes at least a portion of the mapping. For example, in scenarios where fixed and predetermined intervals are used for input sets (that is, fixed bins), the encoder can include all the output values of the bins in the encoded output stream, for example, as part of an optional level. Although this can lead to an increase in the data transfer rate, the overhead is likely to be relatively low due to the downsampling performed to create the mesh. Thus, the reduction in data volume that is achieved by using an accurate and adaptive prediction approach is likely to outweigh the increase in data rate as a result of display data transmission.
При создании предсказанного изображения предсказатель 209 может приступить к пошаговой обработке одного пикселя изображения в каждый момент времени. Для каждого пикселя для идентификации конкретного входного набора/бина для отображения используют пространственную позицию и значение интенсивности для данного пикселя в данном изображении с LDR. Таким образом, бин для каждого пикселя выбирают на основе пространственной позиции и значения изображения с LDR для данного пикселя. Затем извлекают выходное пиксельное значение с HDR для данного входного набора/бина, которое в некоторых вариантах может быть использовано непосредственно в качестве значения изображения для пикселя. Однако, так как ожидается тенденция к обеспечению определенной компактности из-за пространственной субдискретизации отображения, во многих вариантах пиксельное значение с расширенным динамическим диапазоном будет создаваться путем интерполяции на выходных пиксельных значениях с расширенным динамическим диапазоном из множества входных бинов. Например, указанные значения также можно извлечь из соседних бинов (как в пространственных, так и в непространственном направлении), а значение пикселя может быть создано в виде интерполяции этих бинов.When creating the predicted image, the
В частности, предсказанное изображение с HDR можно сформировать путем квантования упомянутой сетки на дробных позициях, обусловленных пространственными координатами и изображением с LDR:In particular, the predicted image with HDR can be formed by quantizing the aforementioned grid at fractional positions, due to spatial coordinates and the image with LDR:
где Fint обозначает подходящий интерполяционный оператор, например, интерполяция по соседним элементам или бикубическая интерполяция.where F int denotes a suitable interpolation operator, for example, interpolation by adjacent elements or bicubic interpolation.
Во многих сценариях изображения могут быть представлены множество цветовых компонент (например, RGB или YUV), и описанный процесс можно применить отдельно для каждого из цветовых каналов. В частности, выходные пиксельные значения с расширенным динамическим диапазоном могут содержать одно значение для каждой из цветовых компонент. Примеры создания отображения представлены на фиг. 4 и 5. В этих примерах отображающее соотношение LDR-HDR установлено с использованием обучающих изображений с LDR и с HDR, а позиция в таблице отображения определяется в изображении пиксельными позициями по горизонтали (x) и вертикали (y), а также комбинацией пиксельных значений с LDR, таких как яркость (Y) в примере на фиг. 4 и энтропия (E) в примере на фиг. 5. Как было описано ранее, в таблице отображения в заданном месте хранятся связанные обучающие данные с HDR. Эти комбинации (как правило, таблицы LUT) для предсказания по желанию могут быть усложнены, например, пиксельное значение V_HDR можно предсказать, используя не только субдискретизированную комбинацию (x, y, I_LDR) (независимо от того, является ли I яркостью, либо R, G, B и т.д.), но для отображения с целью получения оценки V_HDR могут быть использованы (x, y, I_LDR, дополнительные реквизиты), где дополнительные реквизиты могут содержать дополнительные характеристики информации об изображении (одно или несколько дополнительных чисел, как правило, это размеры таблицы LUT, которые для простоты вычислений также могут быть представлены, например, в виде индексов для различных таблиц LUT, и так далее), которые можно получить на одном или нескольких изображениях с LDR, например, локальная характеристика объекта или отдельных зон, описывающая такие параметры, как оценка текстуры, оценка глубины и т.д.In many image scenarios, multiple color components (e.g., RGB or YUV) can be represented, and the described process can be applied separately for each of the color channels. In particular, the output dynamic range pixel values may contain one value for each of the color components. Examples of creating a display are shown in FIG. 4 and 5. In these examples, the display LDR-HDR ratio is established using training images with LDR and HDR, and the position in the display table is determined in the image by horizontal and vertical pixel positions (x) and a combination of pixel values with LDRs, such as brightness (Y) in the example of FIG. 4 and entropy (E) in the example of FIG. 5. As described previously, the associated training data with HDR is stored in a mapping table at a predetermined location. These combinations (usually LUT tables) for prediction can be complicated if desired, for example, the pixel value of V_HDR can be predicted using not only the downsampled combination (x, y, I_LDR) (regardless of whether I is brightness or R, G, B, etc.), but for display in order to obtain a V_HDR score, (x, y, I_LDR, additional details) can be used, where additional details may contain additional characteristics of image information (one or more additional numbers, like usually these are tab sizes LUT faces, which for simplicity of calculations can also be represented, for example, in the form of indices for various LUT tables, and so on), which can be obtained on one or several images with LDR, for example, a local characteristic of an object or separate zones describing such parameters like texture rating, depth rating, etc.
Таким образом, кодер 115 создает кодированный сигнал, содержащий кодированное изображение с суженным динамическим диапазоном. Это изображение, в частности, может быть включено в обязательный или базовый уровень кодированного потока. Вдобавок, вводятся данные, которые позволяют обеспечить эффективное создание изображения с HDR в декодере на основе кодированного изображения с LDR.Thus,
В некоторых вариантах указанные данные могут включать в себя или представлять собой данные об отображении, которые могут использоваться декодером. Однако в других вариантах указанные данные об отображении для некоторых или всех изображений не вводятся. Вместо этого, декодер сам может создать данные отображения исходя из предыдущих изображений.In some embodiments, said data may include or be display data that may be used by a decoder. However, in other embodiments, the specified display data for some or all of the images is not entered. Instead, the decoder itself can create display data from previous images.
Созданный кодированный сигнал может дополнительно содержать остаточные данные изображения для изображения с суженным динамическим диапазоном, где остаточные данные изображения указывают различие между требуемым изображением с расширенным динамическим диапазоном, соответствующим изображению с суженным динамическим диапазоном, и предсказанным изображением с расширенным динамическим диапазоном, полученным в результате применения указанного отображения к кодированному изображению с суженным динамическим диапазоном. Требуемым изображением с расширенным динамическим диапазоном является, в частности, входное изображение с HDR, и, следовательно, остаточные данные изображения представляют данные, которые могут модифицировать изображение с HDR, созданное декодером, чтобы оно больше соответствовало требуемому изображению с HDR, то есть соответствующему входному изображению с HDR.The generated encoded signal may further comprise residual image data for an image with a narrowed dynamic range, where the residual image data indicates the difference between the desired image with an extended dynamic range corresponding to an image with a narrowed dynamic range and a predicted image with an extended dynamic range obtained by applying the specified mappings to an encoded image with a narrowed dynamic range. The desired image with extended dynamic range is, in particular, the input image with HDR, and therefore, the residual image data represents data that can modify the HDR image created by the decoder, so that it is more consistent with the desired image with HDR, that is, the corresponding input image with HDR.
Дополнительные остаточные данные изображения во многих вариантах преимущественно включены в опциональный уровень (например, уровень улучшения), который может быть использован подходящим образом оборудованными декодерами, и проигнорирован существующими декодерами, которые не обладают необходимыми функциональными возможностями.Additional residual image data in many embodiments is advantageously included in an optional level (eg, enhancement level) that can be used by suitably equipped decoders and ignored by existing decoders that do not have the necessary functionality.
Такой подход может, например, обеспечить интеграцию вышеописанного предсказания на основе указанного отображения в новые форматы видео с HDR, обладающие свойством обратной совместимости. Например, оба уровня могут кодироваться с использованием стандартных операций преобразования данных (например, вейвлетное преобразование, дискретное косинусное преобразование (DCT)), после которых следует квантование. Эффективность кодирования можно повысить, если использовать межкадровые предсказания с внутрикадровыми предсказаниями и компенсацией движения. В указанном подходе межуровневое предсказание «от LDR к HDR» дополняет другие предсказания и дополнительно повышает эффективность кодирования для уровня улучшения.Such an approach may, for example, provide integration of the foregoing prediction based on the indicated display into new HDR video formats having the backward compatibility property. For example, both layers can be encoded using standard data transformation operations (eg, wavelet transform, discrete cosine transform (DCT)), followed by quantization. Coding efficiency can be improved by using inter-frame predictions with intra-frame predictions and motion compensation. In this approach, the inter-layer prediction “from LDR to HDR” supplements other predictions and further improves the coding efficiency for the enhancement layer.
Упомянутый сигнал, в частности может представлять собой битовый поток, который может распределяться или передаваться, например, через сеть, показанную в примере на фиг. 1. В некоторых сценариях указанный сигнал может запоминаться на подходящем носителе, таком как магнитооптический диск. Например, этот сигнал может быть запомнен на диске типа DVD или типа BlurayTM.Said signal, in particular, can be a bitstream that can be distributed or transmitted, for example, through the network shown in the example of FIG. 1. In some scenarios, the signal may be stored on a suitable medium, such as a magneto-optical disk. For example, this signal can be stored on a DVD-type disk or type Bluray TM.
В предыдущем примере информация об отображении была включена в выходной битовый поток, что позволяет декодеру воспроизводить предсказание на основе принятого изображения. В этом и других случаях возможно, что особое преимущество даст использование субдискретизации отображения.In the previous example, mapping information was included in the output bitstream, which allows the decoder to reproduce the prediction based on the received image. In this and other cases, it is possible that a particular advantage is the use of display downsampling.
В действительности, пространственная субдискретизация преимущественно может быть использована без запоминания отдельного выходного значения для каждого отдельного пикселя, но с запоминанием значения для групп пикселей и в конкретных областях пикселей. В данном конкретном примере отдельное выходное значение запоминается для каждого макроблока.In fact, spatial subsampling can advantageously be used without storing a separate output value for each individual pixel, but with storing a value for groups of pixels and in specific areas of pixels. In this particular example, a separate output value is stored for each macroblock.
В качестве альтернативы или как дополнение, может быть использована субдискретизация входных размеров, не относящихся к пространственным размерам. В данном конкретном примере каждый входной набор может покрывать множество возможных значений интенсивности в изображениях с LDR, что позволит уменьшить количество возможных бинов. Указанная субдискретизация может соответствовать применению более грубого квантования перед созданием упомянутого отображения.As an alternative, or as an adjunct, sub-sampling of input sizes other than spatial sizes can be used. In this particular example, each input set can cover the set of possible intensity values in LDR images, which will reduce the number of possible bins. Said sub-sampling may correspond to applying coarser quantization before creating said mapping.
Указанная пространственная субдискретизация или субдискретизация значения может существенно уменьшить скорость передачи данных, необходимую для передачи упомянутого отображения. Однако, вдобавок к этому или в качестве альтернативы, можно существенно уменьшить требования к ресурсам для кодера (и соответствующего декодера). Например, можно существенно уменьшить ресурс памяти, необходимый для запоминания отображений. Также можно во многих вариантах уменьшить ресурс обработки, необходимый для создания отображения.Said spatial downsampling or downsampling of a value can substantially reduce the data rate necessary for transmitting said display. However, in addition to this or as an alternative, the resource requirements for the encoder (and the corresponding decoder) can be significantly reduced. For example, you can significantly reduce the memory resource needed to store mappings. You can also in many ways reduce the processing resource required to create the display.
В данном примере создание отображения было основано на текущих изображениях, то есть на кодируемом изображении с LDR и соответствующем изображении с HDR. Однако в других вариантах отображение можно создать, используя предшествующее изображение из видеопоследовательности с суженным динамическим диапазоном в качестве эталонного изображения с суженным динамическим диапазоном и предшествующее изображение с расширенным динамическим диапазоном, созданное для предшествующей видеопоследовательности с суженным динамическим диапазоном, в качестве эталонного изображения с расширенным динамическим диапазоном (либо в некоторых случаях соответствующее предшествующее входное изображение с HDR). Таким образом, в некоторых вариантах отображение, используемое для текущего изображения, может быть основано на предшествующих соответствующих изображениях с LDR и с HDR.In this example, the mapping creation was based on the current images, i.e., the encoded image with LDR and the corresponding image with HDR. However, in other embodiments, a display can be created using a previous image from a video sequence with a narrowed dynamic range as a reference image with a narrowed dynamic range and a previous image with a widened dynamic range, created for a previous video sequence with a narrowed dynamic range, as a reference image with a wide dynamic range (or in some cases the corresponding previous HD input image R). Thus, in some embodiments, the display used for the current image may be based on previous corresponding LDR and HDR images.
Видеопоследовательность в качестве примера может содержать последовательность изображений одной и той же сцены, и тогда соответствующие различия между последовательными изображениями скорее всего будут невелики. Следовательно, отображение, подходящее для одного изображения с высокой вероятностью также подойдет для последующего изображения. Таким образом, отображение, созданное с использованием предшествующих изображений с LDR и HDR, в качестве эталонных изображений, с большой вероятностью также применимо к текущему изображению. Преимуществом использования отображения для текущего изображения на основе предшествующего изображения является то, что данное отображение может независимо создаваться декодером, поскольку в этом случае также имеются доступные предшествующие изображения (посредством их декодирования). Соответственно, нет необходимости вводить информацию о данном отображении и, следовательно, скорость передачи данных кодированного выходного потока может быть дополнительно снижена.As an example, a video sequence may contain a sequence of images of the same scene, and then the corresponding differences between successive images are likely to be small. Therefore, a display suitable for one image is also likely to be suitable for a subsequent image. Thus, a display created using previous LDR and HDR images as reference images is also likely to apply to the current image. The advantage of using a display for the current image based on the previous image is that this display can be independently created by the decoder, since in this case there are also available previous images (by decoding them). Accordingly, there is no need to enter information about this display, and therefore, the data rate of the encoded output stream can be further reduced.
На фиг. 6 показан конкретный пример кодера, использующего указанный подход. В этом примере отображение (которое здесь представлено справочной таблицей, LUT) построено на основе предшествующего (с задержкой τ) восстановленного кадра с LDR и предшествующего восстановленного (с задержкой τ) кадра с HDR как на стороне кодера, так и на стороне декодера. В этом сценарии нет необходимости передавать значения отображения от кодера на декодер. Декодер просто копирует процесс предсказания с HDR, используя данные, которые уже ему доступны. Хотя качество предсказания, выполняемого перемежителем, может слегка ухудшиться, как правило, такое ухудшение будет незначительным из-за высокой временной корреляции между последовательными кадрами видеопоследовательности. В данном примере для изображений с LDR используется цветовая схема yuv420, а для изображений с HDR используется цветовая схема yuv444/422 (и следовательно, создание и применение таблицы LUT (отображения) выполняются после цветовой ап-конверсии).In FIG. 6 shows a specific example of an encoder using this approach. In this example, the mapping (which is represented by the lookup table, LUT) is based on the previous (delayed τ delay) reconstructed frame with LDR and the previous restored (delayed τ) frame with HDR on both the encoder side and the decoder side. In this scenario, there is no need to transfer the display values from the encoder to the decoder. The decoder simply copies the prediction process from the HDR using data that is already available to it. Although the quality of the prediction performed by the interleaver may be slightly degraded, as a rule, this degradation will be negligible due to the high temporal correlation between consecutive frames of the video sequence. In this example, the yuv420 color scheme is used for LDR images, and the yuv444 / 422 color scheme is used for HDR images (and therefore, the creation and application of the LUT table (display) is performed after the color up-conversion).
Предпочтительно поддерживать как можно меньшее значение задержки τ, чтобы увеличить вероятность того, что изображения останутся сходными, насколько это возможно. Однако во многих вариантах минимальное значение может зависеть от конкретной структуры кодирования, используемой так, как требуется декодеру, чтобы он смог создавать отображения из уже декодированных изображений. Следовательно, оптимальная задержка может зависеть от типа используемой группы изображений (GOP), и, в частности, от используемого временного предсказания (компенсации движения). Например, для группы IPPPP GOP задержка τ может представлять собой задержку по меньшей мере на одно изображение, в то время как для IBPBP GOP она составит по меньшей мере два изображения.It is preferable to keep the delay value τ as low as possible in order to increase the likelihood that the images will remain as similar as possible. However, in many embodiments, the minimum value may depend on the particular encoding structure used as required by the decoder so that it can create mappings from already decoded images. Therefore, the optimal delay may depend on the type of image group (GOP) used, and in particular on the time prediction used (motion compensation). For example, for the IPPPP GOP group, the delay τ can be a delay of at least one image, while for the IBPBP GOP it will be at least two images.
В данном примере каждая позиция LDR, введена только в один входной набор/бин упомянутой сетки. Однако в других вариантах процессор отображения может идентифицировать множество совпадающих входных наборов по меньшей мере для одной позиции по меньшей мере из одной группы позиций изображения, используемых для создания отображения. Затем в соответствии с пиксельным значением с расширенным динамическим диапазоном для позиции в эталонном изображении с расширенным динамическим диапазоном может быть определено выходное пиксельное значение с расширенным динамическим диапазоном для всех совпадающих входных наборов.In this example, each LDR position is entered in only one input set / bin of the grid. However, in other embodiments, the display processor may identify a plurality of matching input sets for at least one position from at least one group of image positions used to create the display. Then, according to the pixel value with the extended dynamic range for the position in the reference image with the expanded dynamic range, the output pixel value with the expanded dynamic range for all matching input sets can be determined.
В частности, при использовании интерполяции по соседним элементам для построения сетки отдельные данные также могут быть распространены по соседним бинам, а не просто в бине с наилучшим совпадением. В этом случае каждый пиксель присутствует не в одном бине, а присутствует, например, во всех соседних бинах (8 в случае сетки 3D). Этот вклад, например, может быть обратно пропорционален трехмерному расстоянию между данным пикселем и центрами соседних бинов. Заметим, что некоторые из блоков памяти, функционирующих с временным сдвигом, могут быть многократно использованы для запоминания других предсказаний, которые могут относиться к любому типу предсказания кадра, который понадобиться использовать согласно той или иной стратегии предсказания. Особенно для части, выполняющей кодирование с HDR, указанная стратегия делает упомянутую память весьма универсальным блоком.In particular, when using interpolation over neighboring elements to construct a grid, individual data can also be distributed over neighboring bins, and not just in a bin with the best match. In this case, each pixel is not present in one bin, but is present, for example, in all neighboring bins (8 in the case of a 3D mesh). This contribution, for example, can be inversely proportional to the three-dimensional distance between a given pixel and the centers of neighboring bins. Note that some of the time-shift memory blocks can be reused for storing other predictions, which may relate to any type of frame prediction that needs to be used according to one or another prediction strategy. Especially for the part performing HDR encoding, this strategy makes the mentioned memory a very universal unit.
На фиг. 7 показан пример декодера 115, комплементарного по отношению к кодеру по фиг. 2, а на фиг. 8 показан пример способа его функционирования.In FIG. 7 shows an example of a
Декодер 115 содержит приемную схему 701, выполняющую шаг 801, на котором она принимает кодированные данные от приемника 113. В данном конкретном примере, где кодированные данные с LDR и остаточные данные кодируют на разных уровнях, приемная схема скомпонована для извлечения и демультиплексирования кодированных данных с LDR и данных опционного уровня в виде остаточных данных изображения. В тех вариантах, где в полученный битовый поток включена информация об отображении, приемная схема 701 кроме того может извлекать эти данные.
Приемная схема 701 соединена с декодером 703 с LDR, который принимает кодированные данные с LDR. Затем он приступает к выполнению шага 803, где выполняется декодирование изображения с LDR. Декодер 703 с LDR является комплементарным по отношению к кодеру 205 с LDR кодера 109, причем, в частности, им может быть стандартный декодер H-264/AVC.A receive
Декодер 703 с LDR соединен с предсказателем 705 декодирования, который принимает декодированное изображение с LDR. Предсказатель 705 декодирования кроме того подсоединен к процессору 707 отображения декодирования, который скомпонован для выполнения шага 805, на котором создается отображение для предсказателя 705 декодирования.An
Процессор 707 отображения декодирования создает отображение, соответствующее отображению, используемому кодером при создании остаточных данных изображения. В некоторых вариантах процессор 707 отображения декодирования может просто создавать отображение в соответствии с отображением данных, полученных в потоке кодированных данных. Например, значение выходных данных для каждого бина упомянутой сетки может быть представлено в полученном потоке кодированных данных.The
Затем предсказатель 705 декодирования приступает к выполнению шага 807, на котором из декодированного изображения с LDR с использованием отображения, созданного процессором 707 отображения декодирования, создается предсказанное изображение с HDR. Данное предсказание может выполняться согласно тому же подходу, какой был использован в кодере.Then, the
Для краткости и ясности изложения в данном примере принято упрощение, состоящее в том, что, функционирование кодера основано только на предсказании «от LDR к HDR», и где таким образом создается полное изображение-предсказание «от LDR к HDR» (а значит полное остаточное изображение). Однако следует иметь в виду, что в других вариантах может быть использован подход с другими концепциями предсказания, такими как временное или пространственное предсказания. В частности, следует иметь в виду, что вместо применения описанного подхода ко всему изображению, можно применить его только к отдельным областям или блокам изображения, где предсказание «от LDR к HDR» было выбрано кодером.For brevity and clarity, in this example, a simplification is adopted, consisting in the fact that the encoder operates only on the basis of “LDR to HDR” prediction, and where this creates a complete “LDR to HDR” prediction image (which means the total residual picture). However, it should be borne in mind that in other embodiments, an approach with other prediction concepts, such as temporal or spatial prediction, can be used. In particular, it should be borne in mind that instead of applying the described approach to the entire image, you can apply it only to individual areas or blocks of the image where the prediction “from LDR to HDR” was chosen by the encoder.
На фиг. 9 показан конкретный пример того, как может быть выполнена операция предсказания.In FIG. 9 shows a specific example of how a prediction operation can be performed.
На шаге 901 выбирается первая пиксельная позиция в изображении с HDR. Затем на шаге 903 для этой пиксельной позиции определяют входной набор для отображения, то есть определяют подходящий входной бин в упомянутой сетке. Это можно, например, определить посредством идентификации сетки, покрывающей пространственный интервал, на который пришлась упомянутая позиция, и интервал интенсивности, на который пришлось декодированное пиксельное значение декодированного изображения с LDR. Затем после шага 903 следует шаг 905, на котором из упомянутого отображения получают выходное значение для данного входного набора. Например, можно обратиться к таблице LUT, используя данные определенного входного набора, после чего извлекаются результирующие выходные данные, запомненные согласно данной адресации.In step 901, the first pixel position in the HDR image is selected. Then, in
Затем после шага 905 выполняется шаг 907, на котором, исходя из извлеченных выходных данных, определяют пиксельное значение для данного пикселя. В качестве простого примера, пиксельное значение может быть установлено равным извлеченному значению. В более сложных примерах пиксельное значение может быть создано путем интерполяции множества выходных значений для разных входных наборов (например, с учетом всех соседних бинов, а также совпадающего бина).Then, after
Этот процесс может повторяться для всех позиций в изображении с HDR и для всех цветовых компонент, в результате чего создается предсказанное изображение с HDR.This process can be repeated for all positions in an HDR image and for all color components, resulting in a predicted HDR image.
Затем декодер 115 приступает к созданию выходного изображения с HDR на основе предсказанного изображения с HDR.Then, the
В данном конкретном варианте выходное изображение с HDR создают с учетом полученных остаточных данных изображения. Таким образом, приемная схема 701 подсоединена к декодеру 709 остатка, который принимает остаточные данные изображения и приступает к выполнению шага 809, на котором осуществляется декодирование остаточных данных изображения для создания декодированного остаточного изображения.In this particular embodiment, an HDR output image is created taking into account the obtained residual image data. Thus, the receiving
Декодер 709 остатка подсоединен к объединителю 711, который кроме того соединен с предсказателем 705 декодирования. Объединитель 711 принимает предсказанное изображение с HDR и декодированное остаточное изображение с HDR и приступает к выполнению шага 811, на котором он объединяет два изображения для создания выходного изображения с HDR. В частности, объединитель может добавить пиксельные значения для двух изображений на попиксельной основе для создания выходного изображения с HDR.The remainder decoder 709 is connected to a
Объединитель 711 подсоединен к выходной схеме 713, которая выполняет шаг 830 создания выходного сигнала. Выходным сигналом может быть, например, сигнал возбуждения дисплея, который может возбуждать подходящий дисплей, такой как телевизионный приемник, для представления изображения с HDR.The
В данном конкретном примере отображение было определено на основе данных, включенных в поток кодированных данных. Однако в других вариантах отображение может быть создано в соответствии с предшествующими изображениями, которые были получены декодером, например, предшествующее изображение видеопоследовательности. Для указанного предшествующего изображения декодер будет иметь изображение с LDR, полученное в результате декодирования с LDR, и это предыдущее изображение можно использовать в качестве эталонного изображения с LDR. Вдобавок, было создано изображение с HDR посредством предсказания, за которым следует дополнительная коррекция предсказанного изображения с использованием остаточных данных изображения. Таким образом, созданное изображение с HDR практически полностью соответствует входному изображению с HDR кодера и может быть соответствующим образом использовано в качестве эталонного изображения с HDR. На основе этих двух эталонных изображений для создания отображения с помощью декодера можно использовать точно такой же подход, который используется кодером. Соответственно, это отображение будет соответствовать отображению, используемому кодером, что приведет к одинаковому предсказанию (а значит, к тому, что остаточные данные изображения будут точно отражать различие между изображением, предсказанным декодером, и входным изображением HDR в кодере).In this particular example, a mapping was determined based on data included in the encoded data stream. However, in other embodiments, a display may be created in accordance with previous images that were received by a decoder, for example, a previous image of a video sequence. For the indicated previous image, the decoder will have an LDR image obtained by decoding with LDR, and this previous image can be used as a reference image with LDR. In addition, an HDR image was generated by prediction, followed by further correction of the predicted image using image residual data. Thus, the created HDR image almost completely corresponds to the input image from the HDR encoder and can be used accordingly as a reference image with HDR. Based on these two reference images, the exact same approach used by the encoder can be used to create a display using a decoder. Accordingly, this display will correspond to the display used by the encoder, which will lead to the same prediction (which means that the residual image data will accurately reflect the difference between the image predicted by the decoder and the input HDR image in the encoder).
Таким образом, данный подход обеспечивает обратно совместимое кодирование с HDR, начиная со стандартного кодирования с LDR, в котором, например, может использоваться «не оптимальный» поддиапазонный выбор всех яркостей, доступных в данной сцене для оптимальной контрастности, посредством тонального отображения с LDR (например, круто нарастающая S-образная кривая с черно-белым клиппированием). Затем согласно данному подходу вводятся дополнительные данные, позволяющие восстановить оптимально закодированное сообщение с HDR (с потенциально иным тональным отображением для более качественного визуального эффекта: например, темно-серые тона могут быть продвинуты глубже, чем при кодировании с LDR).Thus, this approach provides backward compatible coding with HDR, starting with standard coding with LDR, which, for example, can use the “not optimal” sub-band selection of all the brightnesses available in this scene for optimal contrast, through tonal display with LDR (for example , steeply rising S-shaped curve with black and white clipping). Then, according to this approach, additional data is introduced to restore an optimally encoded message with HDR (with a potentially different tonal display for a better visual effect: for example, dark gray tones can be advanced deeper than when encoding with LDR).
Это может, например, привести к следующим различиям между HDR и LDR:This can, for example, result in the following differences between HDR and LDR:
более высокая точность для одних и тех же значений (например, L=27,5 вместо 27), которые могли бы также быть повторно закодированы с использованием масштабирования и смещения (например, 55=2×27,5+0);higher accuracy for the same values (for example, L = 27.5 instead of 27), which could also be re-encoded using scaling and offset (for example, 55 = 2 × 27.5 + 0);
кодирование белых и черных субизображений, которые были потеряны при клиппировании;encoding of white and black sub-images that were lost during clipping;
смещение по меньшей мере некоторых серых тонов в изображении (например, потемнение 18% серого), чтобы обеспечить более совершенное визуальное представление на типовом дисплее с более высокой пиковой яркостью.offset at least some gray tones in the image (for example, darkening 18% gray) to provide a better visual presentation on a typical display with higher peak brightness.
В данном подходе используется предсказание сигнала с HDR исходя из имеющихся данных с LDR, так что объем необходимой остаточной информации сокращается.This approach uses HDR signal prediction based on the available data with LDR, so that the amount of necessary residual information is reduced.
В данном подходе используется улучшенное описание отображения разных значений LDR на значения HDR с автоматическим учетом того, что происходит со всеми фоновыми цветами объекта (например, часть текстового символа в блоке, перекрывающем несколько объектов и т.д.).This approach uses an improved description of the mapping of different LDR values to HDR values with automatic consideration of what happens with all the background colors of the object (for example, part of a text symbol in a block that overlaps several objects, etc.).
В описанном примере игнорируется действительный пространственный профиль точности для каждого пикселя, но использование подхода «с локальным усреднением» или «адаптацией всех цветов», как правило, обеспечит в результате более совершенное предсказание (например, для краев с любой стороны путем использования входного значения с LDR в качестве приблизительного индекса для обращения к соответствующему бину, после чего получают необходимое аппроксимированное значение HDR). Это приводит к тому, что возможно будет обеспечено хорошее среднее стартовое значение для любого указанного объекта, что потребует иметь меньший остаток.In the described example, the actual spatial accuracy profile for each pixel is ignored, but the use of the “local averaging” or “adaptation of all colors” approach will usually provide a better prediction (for example, for edges on either side by using an input value with LDR as an approximate index for accessing the corresponding bin, after which the necessary approximated HDR value is obtained). This leads to the fact that it will be possible to provide a good average starting value for any specified object, which will require a smaller balance.
В частности, отображающая сетка формируется, например, субдискретизируется, в пространстве (поскольку используются только локальные средние значения, и нет точного геометрического микропрофиля HDR), причем со значением с HDR для каждого возможного значения с LDR (или комбинации цветовых координат). В некоторых вариантах субдискретизация значений также может выполняться, например, с помощью значения HDR на шаге 4 кодировок яркости LDR.In particular, a display grid is formed, for example, undersampled in space (since only local average values are used and there is no exact HDR geometric microprofile), with a value with HDR for each possible value with LDR (or a combination of color coordinates). In some embodiments, the downsampling of values can also be performed, for example, using the HDR value in
Описанный подход может обеспечить особо эффективную адаптацию отображения к конкретным локальным характеристикам и может обеспечить во многих сценариях особо точное предсказание. Это можно проиллюстрировать примером на фиг. 10, где показана зависимость между яркостью для изображения Y_LDR с LDR и яркостью для соответствующего изображения Y_HDR с HDR. На фиг. 10 показана зависимость для конкретного макроблока, который в данном случае включает в себя элементы трех разных объектов. Как последовательность, соотношения яркостей пикселей (показаны точками) находятся в трех разных кластерах 1001, 1003, 1005.The described approach can provide particularly effective adaptation of the display to specific local characteristics and can provide particularly accurate prediction in many scenarios. This can be illustrated by the example of FIG. 10, which shows the relationship between brightness for a Y_LDR image with LDR and brightness for a corresponding Y_HDR image with HDR. In FIG. 10 shows a relationship for a particular macroblock, which in this case includes elements of three different objects. As a sequence, pixel brightness ratios (shown by dots) are in three
Алгоритмы, известные в данной области техники, выполняют линейную регрессию на основе упомянутой зависимости, создавая тем самым линейную зависимость между значениями яркости LDR и значениями яркости HDR, например, зависимость, показанная линией 1007. Однако указанный подход не будет обеспечивать относительно удовлетворительное отображение/предсказание по меньшей мере для некоторых значений, таких как значения, принадлежащие изображаемому объекту кластера 1003.Algorithms known in the art perform linear regression based on the above relationship, thereby creating a linear relationship between the LDR brightness values and the HDR brightness values, for example, the dependence shown by
В противоположность этому, вышеописанный подход позволяет создать гораздо более точное отображение, например, отображение, показанное линией 1009. Это отображение гораздо точнее отражает указанные характеристики и подходит для всех кластеров, в результате чего будет обеспечено улучшенное отображение. В действительности, указанное отображение может не только обеспечить точные результаты для яркостей, соответствующих упомянутым кластерам, но также поможет точно предсказать зависимости для яркостей, например, для интервала, показанного под ссылочной позицией 1011. Указанные отображения можно получить посредством интерполяции.In contrast, the above approach allows you to create a much more accurate display, for example, the display shown by
Кроме того, информация об указанном точном отображении может быть определена автоматически путем простой обработки на основе эталонных изображений (а в данном конкретном случае на основе двух эталонных макроблоков). Вдобавок, точное отображение может быть определено независимым образом кодером и декодером на основе предшествующих изображений, в связи с чем нет необходимости включения информации об отображении в поток данных. Следовательно, можно будет минимизировать непроизводительные издержки, связанные с отображением.In addition, information about the specified exact display can be determined automatically by simple processing based on reference images (and in this particular case on the basis of two reference macroblocks). In addition, the exact mapping can be independently determined by the encoder and decoder based on the preceding images, and therefore there is no need to include mapping information in the data stream. Therefore, it will be possible to minimize the overhead associated with the display.
В предыдущем примере упомянутый подход был использован как часть функционирования декодера применительно к изображению с HDR. Однако очевидно, что эти принципы можно использовать во множестве других приложений и сценариев. Например, данный подход может быть использован просто для создания изображения с HDR из изображения с LDR. Например, можно выбрать локальным образом подходящие локальные эталонные изображения и использовать их для создания подходящего отображения. Затем это отображение можно применить к изображению с LDR для создания изображения с HDR (например, с использованием интерполяции). Затем результирующее изображение с HDR может быть воспроизведено на дисплее с HDR.In the previous example, the mentioned approach was used as part of the operation of the decoder in relation to the image with HDR. However, it is obvious that these principles can be used in many other applications and scenarios. For example, this approach can be used simply to create an HDR image from an LDR image. For example, you can locally select the appropriate local reference images and use them to create the appropriate display. This mapping can then be applied to an LDR image to create an HDR image (for example, using interpolation). Then, the resulting HDR image can be displayed on the HDR display.
Также следует понимать, что декодер в некоторых вариантах может не учитывать остаточные данные (и это значит, что кодеру нет необходимости создавать остаточные данные). В действительности, во многих вариантах изображение с HDR, созданное с применением отображения к декодированному изображению с LDR, можно непосредственно использовать в качестве выходного изображения с HDR без необходимости какой-либо дополнительной модификации или улучшения.It should also be understood that the decoder in some cases may not take into account residual data (and this means that the encoder does not need to create residual data). In fact, in many embodiments, an HDR image created by applying a display to a decoded LDR image can be directly used as an HDR output image without the need for any further modification or improvement.
Вышеописанный подход может быть использован во множестве различных приложений и сценариев и, например, может быть использован для динамического создания видеосигналов с HDR в режиме реального времени из видеосигналов с LDR. Декодер 115, например, может быть реализован в телевизионной приставке или другом устройстве, имеющем входной разъем для приема видеосигнала и выходной разъем для вывода видеосигнала с HDR, который может воспроизводиться на подходящем дисплее с расширенным динамическим диапазоном.The above approach can be used in many different applications and scenarios and, for example, can be used to dynamically create real-time HDR video signals from LDR video signals.
В качестве конкретного примера, описанный здесь видеосигнал может быть записан на диске BlurayTM, который считывается плеером BlurayTM. Плеер BlurayTM может быть подсоединен к указанной телевизионной приставке через кабель HDMI (мультимедийный интерфейс высокой четкости), и тогда телевизионная приставка может создавать изображение с HDR. Телевизионная приставка может быть подсоединена к дисплею (например, к телевизору) через другой соединитель HDMI.As a specific example described herein video signal can be recorded on the disc Bluray TM, which reads player Bluray TM. Player Bluray TM can be connected to the said set-top box with an HDMI cable (High Definition Multimedia Interface), and then the set-top box can create an image with HDR. A set-top box can be connected to a display (for example, a TV) via another HDMI connector.
В некоторых сценариях декодер или функциональные возможности для создания изображения с HDR могут быть встроены в источник сигнала, такого как плеер BlurayTM или другой медиаплеер, как его составная часть. В качестве другой альтернативы, указанные функциональные возможности могут быть реализованы как составная часть дисплея, такого как компьютерный монитор или телевизор. Таким образом, дисплей может принимать поток с LDR, который можно модифицировать для обеспечения изображений с LDR. Следовательно, можно обеспечить источник сигнала, такой как медиаплеер, или дисплей, такой как компьютерный монитор или телевизор, который предоставляет значительно улучшенное восприятие со стороны пользователя.In some scenarios, a decoder or a functionality for creating a HDR image may be embedded in the source signal such as Bluray TM player or other media player, as an integral part. As another alternative, these functionality may be implemented as part of a display, such as a computer monitor or television. Thus, the display can receive a stream with LDR, which can be modified to provide images with LDR. Therefore, it is possible to provide a signal source, such as a media player, or a display, such as a computer monitor or television, which provides significantly improved user experience.
Описанный подход можно применить к каждому отдельному цветовому каналу для изображения. Например, для изображения в формате RGB данный подход можно индивидуально применить к каждому из каналов R, G и B. Однако в некоторых вариантах комбинированное значение, используемое для отображения входа, может представлять собой значение яркости, в то время как выходные данные могут представлять собой значение отдельной цветовой компоненты. Например, значение RGB для данного пикселя может быть скомбинировано в единое значение яркости, в то время как отдельные выходные пиксельные значения с HDR запоминаются в упомянутой сетке для каждого отдельного цветового канала.The described approach can be applied to each individual color channel for the image. For example, for an RGB image, this approach can be individually applied to each of the channels R, G, and B. However, in some embodiments, the combined value used to display the input may be a brightness value, while the output may be a value separate color components. For example, the RGB value for a given pixel can be combined into a single brightness value, while individual output pixel values with HDR are stored in the grid for each individual color channel.
В действительности, при практическом использовании изображения с LDR часто создаются из изображений с HDR с помощью не известного тонального отображения и операций цветовой градуировки. Авторы изобретения установили, что взаимозависимость между отдельными цветовыми компонентами для изображений с LDR и с HDR часто можно с большим успехом предсказать исходя из информации о яркости для LDR, чем исходя из цветовых данных для LDR. Следовательно, во многих вариантах выгодно использовать яркость сигнала с LDR для координат интенсивности даже при формировании сетки для цветовых компонент, таких как U и V. Другими словами, VLDR в предыдущем уравнении можно установить равным значению YLDR яркости для всех цветовых компонент. Таким образом, можно будет использовать одну и ту же сетку для всех цветовых каналов, где каждый бин хранит выходное значение HDR для каждого цветового канала.In fact, in practical use, LDR images are often created from HDR images using unknown tonal mapping and color grading operations. The inventors have found that the interdependence between the individual color components for images with LDR and with HDR can often be predicted with great success based on brightness information for LDR than color data for LDR. Therefore, in many cases it is advantageous to use the brightness of the signal with LDR for intensity coordinates even when forming a grid for color components, such as U and V. In other words, V LDR in the previous equation can be set equal to the value of Y LDR brightness for all color components. Thus, it will be possible to use the same grid for all color channels, where each bin stores the output HDR value for each color channel.
В описанных здесь конкретных примерах входные данные для отображения просто имели два пространственных размера и один размер для пиксельного значения, представляющий значение интенсивности, которое может, например, соответствовать значению яркости для пикселя или значению интенсивности цветового канала.In the specific examples described here, the input for display simply had two spatial sizes and one size for a pixel value representing an intensity value, which may, for example, correspond to a brightness value for a pixel or a color channel intensity value.
Однако в более общем случае входные данные отображения могут содержать комбинацию цветовых координат для пикселей изображения с LDR. Каждая цветовая координата может просто соответствовать одному значению пикселя, такому как одно из значений R, G или B сигнала RGB, или одному из значений Y, U, V сигнала YUV. В некоторых вариантах эта комбинация просто может соответствовать выбору одного из значений цветовых координат, то есть может соответствовать комбинации, в которой все цветовые координаты помимо значения выбранной цветовой координаты взвешиваются с использованием нулевых значений весов.However, in a more general case, the display input may comprise a combination of color coordinates for the pixels of the image with LDR. Each color coordinate can simply correspond to one pixel value, such as one of the values of R, G or B of the RGB signal, or one of the values Y, U, V of the YUV signal. In some embodiments, this combination may simply correspond to the selection of one of the color coordinate values, that is, it may correspond to a combination in which all color coordinates, in addition to the value of the selected color coordinate, are weighted using zero weight values.
В других вариантах упомянутая комбинация может представлять собой множество цветовых координат для одного пикселя. В частности, цветовые координаты сигнала RGB могут просто комбинироваться для создания значения яркости. В других вариантах могут быть использованы более гибкие подходы, как например, взвешенное значение яркости, где учитываются все цветовые каналы, но взвешивается с весом, превышающим вес других цветовых каналов, тот цветовой канал, для которого разработана упомянутая сетка.In other embodiments, said combination may be a plurality of color coordinates for one pixel. In particular, the color coordinates of an RGB signal can simply be combined to create a brightness value. In other embodiments, more flexible approaches can be used, such as a weighted brightness value, where all color channels are taken into account, but weighed with a weight exceeding the weight of other color channels, the color channel for which the mesh is designed.
В некоторых вариантах указанная комбинация может учитывать пиксельные значения для множества пиксельных позиций. Например, одно значение яркости может быть создано таким образом, что будет учитываться не только яркость пикселя для обрабатываемой позиции, но которое также учитывает яркость для других пикселей.In some embodiments, said combination may account for pixel values for a plurality of pixel positions. For example, one brightness value can be created in such a way that not only the brightness of the pixel for the processed position is taken into account, but which also takes into account the brightness for other pixels.
В действительности, в некоторых вариантах могут быть созданы значения комбинации, которые не только отражают характеристики конкретного пикселя, но также характеристики окрестности данного пикселя и, в частности, каким образом указанные характеристики изменяются в окрестности данного пикселя.In fact, in some embodiments, combination values can be created that not only reflect the characteristics of a particular pixel, but also the characteristics of the neighborhood of a given pixel and, in particular, how these characteristics change in the vicinity of a given pixel.
В качестве примера в указанную комбинацию может быть введена компонента градиента яркости или цветовой интенсивности. Например, значение комбинации можно создать с учетом разности между яркостью с текущим пиксельным значением и яркостями каждого из окружающих пикселей. Кроме того, можно определить различие яркостей для пикселей, окружающих указанные окружающие пиксели (то есть, на следующем концентрическом уровне). Затем эти разности могут быть просуммированы с использованием взвешенного суммирования, где вес зависит от расстояния до текущего пикселя. Кроме того вес может зависеть от пространственного направления, например, можно применить противоположные знаки для разностей в противоположных направлениях. Указанное значение на основе комбинированной разности можно рассматривать как индикатор возможного градиента яркости в окрестности конкретного пикселя.As an example, a luminance gradient or color intensity component may be introduced into said combination. For example, the combination value can be created taking into account the difference between the brightness with the current pixel value and the brightness of each of the surrounding pixels. In addition, you can determine the difference in brightness for the pixels surrounding the specified surrounding pixels (that is, at the next concentric level). Then these differences can be summed using weighted summation, where the weight depends on the distance to the current pixel. In addition, the weight may depend on the spatial direction, for example, opposite signs can be used for differences in opposite directions. The indicated value based on the combined difference can be considered as an indicator of a possible brightness gradient in the vicinity of a specific pixel.
Таким образом, применение указанного отображения, улучшенного в отношении учета пространственных характеристик, может обеспечить изображение с HDR, создаваемое из изображения с LDR, с учетом пространственных вариаций, что позволяет более точно отражать указанные пространственные вариации.Thus, the use of the specified display, improved in relation to the consideration of spatial characteristics, can provide an image with HDR, created from an image with LDR, taking into account spatial variations, which allows more accurately reflect these spatial variations.
В качестве другого примера, может быть создано значение комбинации, отражающее текстурную характеристику области изображения, где находится текущая позиция пикселя. Указанное значение комбинации можно создать, например, путем определения дисперсии пиксельного значения в области ближайшего окружения. В другом примере могут быть обнаружены повторяющиеся конфигурации, которые учитывают при определении значения комбинации.As another example, a combination value can be created that reflects the texture characteristic of the image area where the current pixel position is located. The specified combination value can be created, for example, by determining the variance of the pixel value in the immediate vicinity. In another example, duplicate configurations may be detected that are considered when determining the value of the combination.
В действительности, во многих вариантах может оказаться выгодным, чтобы значение комбинации отражало индикатор вариаций значений пикселей в окрестности текущего значения пикселя. Например, дисперсия может быть непосредственно определена и использована в качестве входного значения.In fact, in many embodiments, it may be advantageous for the combination value to reflect an indicator of variations in pixel values in the vicinity of the current pixel value. For example, the variance can be directly determined and used as an input value.
В еще одном примере упомянутая комбинация может представлять собой параметр, такой как значение локальной энтропии. Эта энтропия является статистической мерой случайности, которую, например, можно использовать для описания текстуры входного изображения. Значение H энтропии можно вычислить, например, как:In yet another example, said combination may be a parameter, such as a local entropy value. This entropy is a statistical measure of randomness, which, for example, can be used to describe the texture of the input image. The value of H entropy can be calculated, for example, as:
где p() обозначает функцию плотности вероятности для пиксельных значений Ij в изображении I. Эту функцию можно оценить, построив локальную гистограмму в рассматриваемой окрестности (в приведенном выше уравнении n соседних пикселей). Основанием логарифма b, как правило, является 2.where p () denotes the probability density function for the pixel values I j in the image I. This function can be estimated by constructing a local histogram in the considered neighborhood (in the above equation there are n neighboring pixels). The base of the logarithm of b is usually 2.
Следует иметь в виду, что в вариантах, где значение комбинации создают исходя из множества отдельных пиксельных значений, количество возможных значений комбинации, которые используются в упомянутой сетке для каждого пространственного входного набора, возможно будет превышать общее количество уровней квантования пиксельного значения для отдельного пикселя. Например, количество бинов для конкретной пространственной позиции может превышать количество возможных дискретных значений яркости, которое может быть достигнуто в одном пикселе. Однако точное квантование значения отдельной комбинации, а значит, размера сетки лучше всего оптимизировать для конкретного приложения.It should be borne in mind that in versions where the combination value is created based on the set of individual pixel values, the number of possible combination values that are used in the grid for each spatial input set may possibly exceed the total number of pixel value quantization levels for a single pixel. For example, the number of bins for a particular spatial position may exceed the number of possible discrete brightness values that can be achieved in one pixel. However, the exact quantization of the value of an individual combination, which means that the mesh size is best optimized for a particular application.
Следует иметь в виду, что создание изображения с HDR из изображения с LDR может выполняться в соответствии с различными иными особенностями, параметрами и характеристиками.It should be borne in mind that the creation of an image with HDR from an image with LDR can be performed in accordance with various other features, parameters and characteristics.
Например, создание изображения с HDR может осуществляться в соответствии с информацией о глубине, связанной с изображением с LDR. Указанный подход, в принципе можно использовать без вышеописанного отображения, и возможно, что изображение с HDR можно будет создать, например, на основе только изображения с LDR и информации о глубине. Однако особые преимущества с точки зрения рабочих характеристик можно достичь при использовании отображения «LDR-HDR» вместе с предсказанием на основе информации о глубине. Таким образом, в некоторых вариантах кодер также может включать в себя декодер глубины, который, например, кодирует карту глубин для изображения с LDR и вводит кодированные данные о глубине в поток данных, которые передаются на декодер. Затем декодер декодирует карту глубин и создает изображение с HDR в соответствии с декодированной картой глубин. На фиг. 11 показано, как можно усовершенствовать декодер по фиг. 7 путем включения декодера 1101 глубины, в который подают кодированные данные о глубине от приемной схемы 701, и который затем приступает к декодированию данных для создания карты глубин для изображения с LDR. Затем карта глубин подается в предсказатель 705 декодирования, где она используется для создания предсказания для изображения с HDR (или в некоторых примерах она может быть использована для создания изображения с HDR, которое непосредственно используют в качестве выходного изображения с HDR). Заметим, что наши варианты для предсказания «от LDR к HDR» поддерживается любой 3D информацией (например, кодированная карта глубин, независимо от того, закодирована ли она совместно с помощью одного или нескольких видов, или карта глубин, полученная из нескольких видов), но с одинаковыми функциями также в том случае, когда примерная карта глубин оценивается по одному виду (например, с помощью алгоритма, комбинирующего глубину исходя из геометрических характеристик, затенения и т.д.). Следовательно, блочный декодер глубины в общем случае следует рассматривать как блок создания индикаторов глубины.For example, HDR imaging may be performed in accordance with depth information associated with an LDR image. The indicated approach, in principle, can be used without the above-described display, and it is possible that an HDR image can be created, for example, based only on an LDR image and depth information. However, particular performance advantages can be achieved by using the “LDR-HDR” display along with prediction based on depth information. Thus, in some embodiments, the encoder may also include a depth decoder, which, for example, encodes a depth map for an LDR image and injects encoded depth data into a data stream that is transmitted to the decoder. The decoder then decodes the depth map and creates an HDR image in accordance with the decoded depth map. In FIG. 11 shows how the decoder of FIG. 7 by turning on the
Например, в сценах, которые освещены яркими сфокусированными лучами света, объекты на переднем плане часто могут выглядеть ярче, чем объекты на втором плане. Следовательно, зная глубину данного объекта, ее можно использовать для определения того, каким образом использовать расширенный динамический диапазон. Например, объекты на переднем плане можно сделать ярче, используя дополнительный динамический диапазон изображения с HDR, в то время как яркость объектов на втором плане не обязательно эквивалентно увеличивать, так как это может потенциально увеличить при восприятии значимость объектов на втором плане сверх того, как это было задумано или реализовано посредством специального освещения данной сцены. Глубину можно также использовать в конечном преобразовании для визуализации, чтобы оптимизировать использование диапазона яркости дисплея и распределение его по различным элементам сцены, в частности, с разными значениями глубины. Поскольку имеется взаимосвязь между восприятием яркости и глубины (и даже такими свойствами, как внимательность), это можно использовать для оптимального распределения окончательных значений V_HDR для визуализации.For example, in scenes that are illuminated by bright focused beams of light, objects in the foreground can often look brighter than objects in the background. Therefore, knowing the depth of a given object, it can be used to determine how to use the extended dynamic range. For example, objects in the foreground can be made brighter using the additional dynamic range of the HDR image, while the brightness of objects in the background is not necessarily equivalent to increase, since this can potentially increase the importance of objects in the background in perception beyond how it It was conceived or implemented through special lighting of this scene. Depth can also be used in the final transformation for visualization in order to optimize the use of the brightness range of the display and its distribution among various elements of the scene, in particular, with different depth values. Since there is a relationship between the perception of brightness and depth (and even properties such as mindfulness), this can be used to optimally distribute the final V_HDR values for visualization.
Таким образом, отображение для создания выходных пикселей с HDR может не только зависеть от цветовых комбинаций и позиции изображения, но также может зависеть от информации о глубине на этой позиции. Эта информация может быть включена в отображение различным путями. Например, могут быть созданы разные отображающие сетки для цветовых комбинаций и для значений глубины, и, следовательно, для каждой позиции может выполняться поиск в двух справочных таблицах. Затем для данной позиции могут быть созданы два результирующих значения предсказания с HDR путем комбинирования двух значений HDR, например, посредством простого усреднения. В другом примере может быть использована одна справочная таблица, имеющая входные наборы, содержащие комбинации цветовых координат и пространственных позиций, и вывод в виде значения (например, такая же справочная таблица, как в примере на фиг. 7). Затем можно учесть глубину посредством адаптации входных данных в зависимости от глубины перед использованием справочной таблицы и/или посредством адаптации выходного значения HDR в зависимости от глубины. Функции, применяемые к входным и/или выходным данным, могут быть определены заранее либо, например, определены на основе предыдущих изображений. Примечательно, что разные значения HDR для разных видов могут придать больше реализма, например, особенностям двунаправленного отражения заснятых элементов сцены, но даже желаемое впечатление при использовании кодирования с HDR может быть многообразным и, например, зависеть от того, каким образом завышена глубина во время визуализации изображений (например, кому-то может захотеться, чтобы объекты, выступающие далеко вперед в направлении наблюдателя, не были яркими). Данные стратегии благодаря повторению могут дать несколько вариантов HDR по меньшей мере для некоторых видов, откуда можно получить более подходящие конечные сигналы визуализации для указанных видов с учетом пользовательских настроек.Thus, the display for creating output pixels with HDR may not only depend on color combinations and image position, but may also depend on depth information at that position. This information may be included in the display in various ways. For example, different display grids can be created for color combinations and depth values, and therefore, a search can be performed for each item in two lookup tables. Then, two resulting prediction values with HDR can be created for a given position by combining two HDR values, for example, by simple averaging. In another example, one lookup table can be used that has input sets containing combinations of color coordinates and spatial positions, and output as a value (for example, the same lookup table as in the example in Fig. 7). You can then take into account the depth by adapting the input data depending on the depth before using the lookup table and / or by adapting the output value of the HDR depending on the depth. The functions applied to the input and / or output data may be predetermined or, for example, determined based on previous images. It is noteworthy that different HDR values for different types can give more realism, for example, features of bi-directional reflection of captured scene elements, but even the desired impression when using HDR encoding can be diverse and, for example, depend on how the depth is inferred during rendering images (for example, someone might want objects that protrude far ahead in the direction of the observer to be bright). These strategies, due to repetition, can give several variants of HDR for at least some species, from where it is possible to obtain more suitable final visualization signals for these types, taking into account user settings.
В некоторых вариантах отображение может быть реализовано в виде сетки, которая также включает в себя информацию о глубине. Например, каждый бин может быть задан интервалом для каждого пространственного размера изображения, интервалом для каждой цветовой координаты и интервалом для значения глубины. Такая таблица может быть заполнена так, как было описано ранее, за исключением того, что для каждой пиксельной позиции бин кроме того выбирается таким образом, чтобы указатель глубины для пиксельной позиции находился в интервале глубины данного бина. Указанное заполнение, конечно, может быть основано на предшествующем изображении и карте глубин и может, соответственно, быть выполнено независимо, но согласовано как на стороне кодера, так и на стороне декодера.In some embodiments, the display may be implemented in the form of a grid, which also includes information about the depth. For example, each bin can be specified by an interval for each spatial image size, an interval for each color coordinate, and an interval for a depth value. Such a table can be filled as described previously, except that for each pixel position, the bin is also selected so that the depth indicator for the pixel position is in the depth interval of this bin. The specified filling, of course, can be based on the previous image and the depth map and can, accordingly, be performed independently, but agreed on both the encoder side and the decoder side.
Другие параметры, которые могут быть рассмотрены при отображении, могут включать в себя различные характеристики изображения, например, характеристики изображаемых объектов. Например, известно, что оттенки кожи очень чувствительны к манипуляциям, направленным на поддержание ее естественного вида. Следовательно, отображение может, в частности, учитывать, соответствует ли комбинация цветовых координат оттенкам кожи, и может выполнить более точное отображение для указанных оттенков.Other parameters that may be considered in display may include various image characteristics, for example, characteristics of imaged objects. For example, it is known that skin tones are very sensitive to manipulations aimed at maintaining its natural appearance. Therefore, the display can, in particular, take into account whether the combination of color coordinates corresponds to skin tones, and can perform a more accurate display for the specified shades.
В другом примере, кодер и/или декодер могут обладать функциональными возможностями для извлечения и возможной идентификации изображаемых объектов и могут настраивать отображение в соответствии с характеристиками указанных объектов. Например, известны различные алгоритмы для обнаружения лиц в изображении, и такие алгоритмы можно использовать для адаптации отображения в тех областях, которые, как считается, соответствуют человеческому лицу.In another example, the encoder and / or decoder may have the functionality to retrieve and possibly identify the displayed objects and can customize the display in accordance with the characteristics of these objects. For example, various algorithms for detecting faces in an image are known, and such algorithms can be used to adapt the display in areas that are believed to correspond to a human face.
Таким образом, в некоторых вариантах кодер и/или декодер могут содержать средство для обнаружения изображаемых объектов и средство для адаптации отображения в соответствии с характеристиками изображаемых объектов. В частности, кодер и/или декодер могут содержать средство, осуществляющее обнаружение человеческих лиц, и средство для адаптации отображения в соответствии с обнаруженным лицом.Thus, in some embodiments, the encoder and / or decoder may comprise means for detecting the displayed objects and means for adapting the display in accordance with the characteristics of the displayed objects. In particular, the encoder and / or decoder may comprise means for detecting human faces and means for adapting the display in accordance with the detected face.
Следует иметь в виду, что указанное отображение можно адаптировать множеством различных способов. Как не очень сложный пример, можно просто использовать разные сетки или справочные таблицы для разных областей. Таким образом, кодер/декодер может быть скомпонован для выбора отображения из различных отображений в соответствии с обнаружением лица и/или с характеристиками изображения для изображаемого объекта.It should be borne in mind that this mapping can be adapted in many different ways. As a not-so-complicated example, you can simply use different grids or lookup tables for different areas. Thus, the encoder / decoder can be arranged to select a display from various displays in accordance with face detection and / or image characteristics for the imaged object.
Как специальный пример, кодер и/или декодер могут в эталонных изображениях идентифицировать области, которые, как считается, соответствуют человеческим лицам. Для этих областей может быть создана одна справочная таблица, а для других областей может использоваться другая справочная таблица. Создание двух справочных таблиц позволяет использовать разные подходы, и/или отображение может быть разным в этих двух примерах. Например, может быть создано отображение, отличающееся повышенной насыщенностью для общих областей, но не для областей, соответствующих человеческим лицам. В другом примере, для областей с человеческими лицами можно использовать более мелкую зернистость, чем для областей, которые не соответствуют человеческим лицам.As a special example, the encoder and / or decoder can identify areas in the reference images that are believed to correspond to human faces. One lookup table can be created for these areas, and another lookup table can be used for other areas. Creating two lookup tables allows you to use different approaches, and / or the display may be different in these two examples. For example, a display can be created that is characterized by increased saturation for common areas, but not for areas corresponding to human faces. In another example, finer grain sizes can be used for areas with human faces than for areas that do not match human faces.
Можно рассмотреть другие средства адаптации отображения. Например, в некоторых вариантах наборы входных данных могут обрабатываться до выполнения упомянутого отображения. Например, для цветовых значений перед использованием справочной таблицы можно применить параболическую функцию. Такая предварительная обработка может быть применена ко всем входным значениям, либо может быть применена, например, избирательным образом. Например, входные значения могут предварительно обрабатываться только для некоторых областей или изображаемых объектов, либо только для некоторых интервалов значений. Например, указанная предварительная обработка может применяться только к цветовым значениям, находящимся в интервале оттенков кожи и/или в областях, которые, скорее всего, соответствуют человеческому лицу.Other means of adapting the display may be considered. For example, in some embodiments, input data sets may be processed prior to performing said mapping. For example, for color values, you can apply a parabolic function before using the lookup table. Such pre-processing can be applied to all input values, or can be applied, for example, in a selective manner. For example, input values can be pre-processed only for some areas or objects displayed, or only for some ranges of values. For example, said pretreatment can only be applied to color values that are in the range of skin tones and / or in areas that most likely correspond to a human face.
В качестве альтернативы или вдобавок к вышеизложенному, может применяться постобработка выходных пиксельных значений HDR. Указанная постобработка может применяться ко всем пиксельным значениям или применяться избирательно. Например, она может применяться только к выходным значениям, которые соответствуют оттенкам кожи, либо применяться только к областям, которые, как считается, соответствуют человеческим лицам. В некоторых системах постобработка может быть сконфигурирована для частичной или полной компенсации предварительной обработки. Например, при предварительной обработке может применяться операция преобразования с постобработкой, где применяется обратное преобразование.Alternatively, or in addition to the foregoing, post-processing of the output HDR pixel values may be used. The specified post-processing can be applied to all pixel values or applied selectively. For example, it can only be applied to output values that correspond to skin tones, or it can only be applied to areas that are believed to correspond to human faces. In some systems, post-processing can be configured to partially or completely compensate for pre-processing. For example, in preprocessing, a post-processing transform operation may be applied where the inverse transform is applied.
В качестве специального примера, предварительная обработка и/или постобработка могут содержать фильтрацию (одного или нескольких) входных/выходных значений. Во многих вариантах это может обеспечить улучшенные рабочие характеристики, и в частности, отображение часто может привести к улучшенному предсказанию. Например, результатом фильтрации может быть уменьшение полосчатости изображения.As a special example, pre-processing and / or post-processing may include filtering (one or more) input / output values. In many embodiments, this can provide improved performance, and in particular, display often can lead to improved prediction. For example, filtering may result in a reduction in the banding of the image.
Как пример предварительной обработки, в некоторых случаях желательно применить цветовое преобразование к подходящему цветовому пространству. Многие стандартные цветовые пространства для видео (например, YCbCr) весьма слабо связаны с человеческим восприятием. Следовательно, выгодно преобразовать видеоданные в равномерно воспринимаемое цветовое пространство (цветовые пространства, в которых определенный размер шага соответствует фиксированному перцептуальному отличию). Примеры указанных цветовых пространств включают в себя Yu'v', CIELab или CIELuv. Выгода от указанного шага предварительной обработки состоит в том, что ошибки, возникающие в результате неточных предсказаний, будут восприниматься более равномерно.As an example of preprocessing, in some cases it is desirable to apply color conversion to a suitable color space. Many standard color spaces for video (for example, YCbCr) are very weakly related to human perception. Therefore, it is advantageous to convert the video data into a uniformly perceived color space (color spaces in which a certain step size corresponds to a fixed perceptual difference). Examples of these color spaces include Yu'v ', CIELab or CIELuv. The benefit of this pre-processing step is that errors resulting from inaccurate predictions will be perceived more evenly.
В некоторых вариантах отображение может быть подвергнуто неравномерной субдискретизации. Отображение может, в частности, представлять собой по меньшей мере одно из: пространственно неравномерное субдискретизированное отображение; неравномерное по времени субдискретизированное отображение; и/или субдискретизированное отображение с неравномерными значениями упомянутой комбинации.In some embodiments, the mapping may be subjected to uneven downsampling. The mapping may, in particular, be at least one of: spatially non-uniform sub-sampled mapping; non-uniform in time sub-sampled display; and / or a sub-sampled display with uneven values of said combination.
Неравномерная субдискретизация может представлять собой статическую неравномерную субдискретизацию, или неравномерная субдискретизация может быть адаптирована в соответствии с характеристиками комбинаций цветовых координат или характеристиками изображения.Uneven downsampling may be a static uneven downsampling, or uneven downsampling can be adapted in accordance with the characteristics of the combinations of color coordinates or the characteristics of the image.
Например, субдискретизация цветовых значений может зависеть от значений цветовых координат. Она может быть, например, статической, так что бины для цветовых значений, соответствующих оттенкам кожи, могут покрывать гораздо меньшие интервалы значений цветовых координат, чем для цветовых значений, которые покрывают другие цвета.For example, downsampling of color values may depend on color coordinate values. It can be, for example, static, so bins for color values corresponding to skin tones can cover much smaller intervals of color coordinate values than for color values that cover other colors.
В другом примере может применяться динамическая пространственная субдискретизация, при которой используется гораздо более тонкая субдискретизация областей, которые, как считается, соответствуют человеческим лицам, чем для областей, которые, как считается, к ним не относятся. Следует иметь в виде, что можно использовать множество других подходов, связанных с неравномерной субдискретизацией.In another example, dynamic spatial subsampling may be used, in which a much finer sub-sampling of areas that are considered to correspond to human faces is used than for areas that are not considered to be relevant to them. It should be borne in mind that you can use many other approaches related to uneven subsampling.
В еще одном примере, когда изображения сдержат плавные градиенты в ограниченном диапазоне яркости, возможно выгодным окажется использование более мелкого шага квантования для этого диапазона, чтобы предотвратить визуальное появление артефактов квантования в указанном градиенте.In another example, when the images contain smooth gradients in a limited range of brightness, it may be beneficial to use a smaller quantization step for this range to prevent the visualization of quantization artifacts in the specified gradient.
В следующем примере дискретизация/квантование может зависеть от фокуса в изображении. Эту зависимость можно получить из показателей резкости или частотного анализа. Для размытого фона нет необходимости, чтобы точность предсказания была такая же, как для небольших ярких объектов, на которые сфокусирована камера. В общем случае, области, содержащие мало деталей, можно квантовать более грубо, так как для них будет достаточно использовать кусочно-линейную аппроксимацию, предложенную в описанном подходе.In the following example, sampling / quantization may depend on the focus in the image. This dependence can be obtained from the indicators of sharpness or frequency analysis. For a blurred background, it is not necessary that the prediction accuracy is the same as for small bright objects that the camera is focused on. In the general case, regions containing few details can be quantized more roughly, since it will suffice for them to use the piecewise linear approximation proposed in the described approach.
В предыдущих примерах использовалось трехмерное отображение/сетка. Однако в других вариантах может быть использована N-мерная сетка, где N - целое число, больше трех. В частности, два пространственных измерения могут быть дополнены множеством измерений, относящихся к пиксельным значениям.In the previous examples, three-dimensional display / grid was used. However, in other embodiments, an N-dimensional grid can be used, where N is an integer greater than three. In particular, two spatial dimensions may be supplemented by a plurality of dimensions related to pixel values.
Таким образом, в некоторых вариантах упомянутая комбинация может содержать множество размеров вместе со значением для каждого размера. В качестве простого примера, может быть создана сетка, имеющая два пространственных размера и по одному размеру для каждого цветового канала. Например, для изображения RGB каждый бин может быть задан интервалом позиции по горизонтали, интервалом позиции по вертикали, интервалом значения R, интервалом значения G и интервалом значения B.Thus, in some embodiments, said combination may comprise a plurality of sizes together with a value for each size. As a simple example, a grid can be created having two spatial sizes and one size for each color channel. For example, for an RGB image, each bin can be specified by a horizontal position interval, a vertical position interval, an R value interval, a G value interval, and a B value interval.
В другом примере множество размеров для пиксельных значений может, вдобавок или в качестве альтернативы, соответствовать другим пространственным размерам. Например, может быть выделен размер для яркости текущего пикселя и для каждого из окружающих пикселей.In another example, a plurality of sizes for pixel values may, in addition or alternatively, correspond to other spatial sizes. For example, a size can be allocated for the brightness of the current pixel and for each of the surrounding pixels.
Такие многомерные сетки могут предоставить дополнительную информацию, которая дает возможность обеспечить улучшенное предсказание и, в частности, позволяет обеспечить боле точное отражение относительных различий между пикселями в изображении с HDR.Such multidimensional grids can provide additional information that makes it possible to provide improved prediction and, in particular, allows for more accurate reflection of the relative differences between the pixels in the image with HDR.
В некоторых вариантах кодер может быть сконфигурирован для адаптации своего функционирования в соответствии с предсказанием.In some embodiments, the encoder may be configured to adapt its operation in accordance with the prediction.
Например, кодер может создать предсказанное изображение с HDR, как это было описано ранее, а затем может сравнить его с входным изображением с HDR. Это можно сделать, например, путем создания остаточного изображения и оценки этого изображения. Затем кодер может приступить к адаптации своего функционирования в зависимости от указанной оценки и, в частности, может адаптировать упомянутое отображение и/или остаточное изображение в зависимости от полученной оценки.For example, the encoder can create a predicted image with HDR, as described previously, and then can compare it with the input image with HDR. This can be done, for example, by creating an afterimage and evaluating that image. Then the encoder can begin to adapt its functioning depending on the specified assessment and, in particular, can adapt the aforementioned display and / or afterimage depending on the received assessment.
В качестве конкретного примера, кодер может быть скомпонован для выбора на основе указанной оценки частей отображения для их включения в поток кодированных данных. Например, кодер может использовать предыдущий набор изображений для создания отображения для текущего изображения. На основе этого отображения можно определить соответствующее предсказание и можно создать соответствующее остаточное изображение. Кодер может оценить остаточные области для идентификации тех областей, в которых предсказание считается достаточно точным, и тех областей, в которых предсказание считается недостаточно точным. Например, достаточно точно предсказанными можно считать все пиксельные значения, для которых значение остаточного изображения ниже заранее заданного порогового значения. Таким образом, значения отображения для указанных областей считаются достаточно точными, и значения сетки для этих значений могут непосредственно использоваться декодером. Соответственно, не включаются во входные наборы/бины данные отображения, которые охватывают только те пиксели, которые считаются предсказанными недостаточно точно.As a specific example, an encoder may be arranged to select, based on a specified estimate, display portions for inclusion in a coded data stream. For example, an encoder may use the previous set of images to create a display for the current image. Based on this mapping, the corresponding prediction can be determined and the corresponding afterimage can be created. The encoder can estimate the residual areas to identify those areas in which the prediction is considered sufficiently accurate, and those areas in which the prediction is considered not sufficiently accurate. For example, all pixel values for which the residual image value is lower than a predetermined threshold value can be considered fairly accurately predicted. Thus, the display values for these areas are considered fairly accurate, and the grid values for these values can be directly used by the decoder. Accordingly, display data that covers only those pixels that are not accurately predicted are not included in the input sets / bins.
Что касается бинов, которые соответствуют пикселям с недостаточно точным предсказанием, то кодер может приступить к созданию новых значений отображения на основе использования текущего набора изображений в качестве эталонных изображений. Так как эта информация об отображении не может быть воссоздана декодером, ее включают в кодированные данные. Таким образом, данный подход можно использовать для динамической адаптации отображения, состоящего из бинов данных, отражающих предыдущие изображения, и бинов данных, отражающие текущие изображения. Таким образом, выполняется автоматическая адаптация отображения, направленная на использование в качестве основы предшествующих изображений, когда это приемлемо, и текущих изображений, когда это необходимо. Поскольку в кодированный выходной поток необходимо включать только те бины, которые создаются на основе текущих изображений, достигается автоматическая адаптация передаваемой информации об отображении.As for bins that correspond to pixels with insufficiently accurate prediction, the encoder can begin to create new display values based on the use of the current set of images as reference images. Since this mapping information cannot be recreated by the decoder, it is included in the encoded data. Thus, this approach can be used to dynamically adapt a display consisting of data bins reflecting previous images and data bins reflecting current images. Thus, automatic adaptation of the display is performed, aimed at using as the basis of previous images, when appropriate, and current images, when necessary. Since it is necessary to include only those bins that are created on the basis of current images in the encoded output stream, automatic adaptation of the transmitted display information is achieved.
Таким образом, в некоторых вариантах возможно потребуется передача относительно лучшего (сформированного не на стороне декодера) отображения LDR-HDR для некоторых зон изображения, например, поскольку кодер может обнаружить, что предсказание изображения с HDR для этих зон оказалось недостаточно качественным, например, из-за критичных изменений объекта или из-за того, что объект действительно является особо важным (например, человеческое лицо).Thus, in some cases, it may be necessary to transmit a relatively better (not formed on the decoder side) LDR-HDR display for some image areas, for example, since the encoder may find that the HDR image prediction for these areas was not good enough, for example, because for critical changes to the object or because the object is really especially important (for example, a human face).
В некоторых вариантах аналогичный подход можно использовать, вдобавок или в качестве альтернативы, для остаточного изображения. В качестве несложного примера, объем данных, относящихся к остаточному изображению, который подлежит передаче, может быть адаптирован в соответствии с результатом сравнения входного изображения с расширенным динамическим диапазоном с предсказанным изображением с расширенным динамическим диапазоном. В качестве конкретного примера, кодер может приступить к оценке того, насколько значима информация в остаточном изображении. Например, если среднее значение для пикселей остаточного изображения меньше заданного порогового значения, это указывает на то, что предсказанное изображение близко к входному изображению с HDR. Соответственно, кодер может на основе указанного рассмотрения решить, ввести ли остаточное изображение в кодированный выходной поток. Например, если среднее значение яркости ниже порогового значения, то кодированные данные для остаточного изображения не вводятся в выходной поток, а, если указанное среднее значение превышает пороговое значение, то кодированные данные для остаточного изображения вводят в выходной поток.In some embodiments, a similar approach can be used, in addition or alternatively, for image retention. As a simple example, the amount of data related to the afterimage to be transmitted can be adapted in accordance with the result of comparing the input image with the extended dynamic range with the predicted image with the extended dynamic range. As a specific example, an encoder may begin to evaluate how significant the information is in the afterimage. For example, if the average value for the pixels of the afterimage is less than a predetermined threshold value, this indicates that the predicted image is close to the input image with HDR. Accordingly, the encoder may, based on this consideration, decide whether to introduce a residual image into the encoded output stream. For example, if the average brightness value is lower than the threshold value, then the encoded data for the afterimage is not input into the output stream, but if the indicated average value exceeds the threshold value, then the encoded data for the afterimage is input into the output stream.
В некоторых вариантах может быть применен более тонкий выбор, когда данные остаточного изображения включают в выходной поток для тех областей, в которых пиксельные значения в среднем превышают пороговое значение, но не для тех областей, в которых пиксельные значения в среднем меньше порогового значения. Упомянутые области изображения могут, например, иметь фиксированный размер, либо могут, например, определяться динамически (например, посредством процесса сегментации).In some embodiments, finer selections can be made when the afterimage data is included in the output stream for those areas in which the pixel values on average exceed the threshold value, but not for those areas in which the pixel values are on average less than the threshold value. Said image regions may, for example, have a fixed size, or may, for example, be determined dynamically (for example, by means of a segmentation process).
В некоторых вариантах кодер может дополнительно создавать отображение для обеспечения необходимых визуальных эффектов. Например, в некоторых вариантах отображение может быть создано не для обеспечения максимально точного предсказания, а скорее, вдобавок или в качестве альтернативы, для внесения желаемого визуального эффекта. Например, можно создать отображение, где предсказание также обеспечивает, например, регулировку цвета, приращение контрастности, коррекцию резкости и т.д. Указанный желаемый эффект может быть применен, например, по-разному в разных областях изображения. Например, может быть выполнена идентификация изображаемых объектов, и для разных областей могут быть использованы разные подходы для создания отображения.In some embodiments, the encoder may further create a display to provide the necessary visual effects. For example, in some embodiments, the display may not be created to provide the most accurate prediction, but rather, in addition or alternatively, to introduce the desired visual effect. For example, you can create a display where the prediction also provides, for example, color adjustment, contrast enhancement, sharpness correction, etc. The indicated desired effect can be applied, for example, in different ways in different areas of the image. For example, identification of imaged objects can be performed, and different approaches for creating a display can be used for different areas.
В действительности, в некоторых вариантах кодер может быть скомпонован для выбора из множества различных подходов для создания отображения в соответствии с характеристиками изображения и, в частности, в соответствии с локальными характеристиками изображения.In fact, in some embodiments, the encoder may be arranged to select from a variety of different approaches to create a display in accordance with the characteristics of the image and, in particular, in accordance with the local characteristics of the image.
Например, кодер может увеличить ширину динамического диапазона в областях, где доминируют пиксели со средней яркостью, но не для областей, где доминируют пиксели с высокой или низкой яркостью. Следовательно, кодер может проанализировать входные изображения с LDR или с HDR и динамически выбрать разные подходы для разных областей изображения. Например, к конкретным бинам может быть добавлено смещение яркости в зависимости от характеристик области, которой они принадлежат. Хотя в этом подходе может все еще использоваться адаптация на основе конкретных изображений, его также можно использовать для обеспечения желаемых визуальных характеристик изображения, которые возможно не приведут к более точной аппроксимации применительно к входному изображению с HDR, но скорее к желаемому изображению с HDR. Данный подход может привнести некоторую неопределенность, касающуюся того, насколько точно создано отображение в кодере, и, чтобы дать возможность декодеру независимо обеспечить соответствие с этим отображением, кодер может ввести данные, определяющие или описывающие выбранное отображение. Например, декодеру может быть сообщена величина смещения, примененного к отдельным бинам.For example, an encoder can increase the width of the dynamic range in areas where pixels with medium brightness dominate, but not for areas where pixels with high or low brightness dominate. Therefore, the encoder can analyze input images with LDR or HDR and dynamically select different approaches for different areas of the image. For example, a brightness offset may be added to specific bins depending on the characteristics of the region to which they belong. Although adaptation based on specific images can still be used in this approach, it can also be used to provide the desired visual characteristics of the image, which may not lead to a more accurate approximation with respect to the input image with HDR, but rather the desired image with HDR. This approach may introduce some uncertainty as to how accurately a mapping is created in the encoder, and to enable the decoder to independently ensure compliance with this mapping, the encoder may enter data defining or describing the selected mapping. For example, the offset value applied to individual bins may be notified to the decoder.
В этих примерах отображение было основано на адаптивном создании отображения на основе наборов входных изображений с LDR и HDR. В частности, такое отображение может быть создано на основе предшествующих входных изображений с LDR и HDR, так как для этого не требуется включение в поток кодированных данных какой-либо информации об отображении. Однако в некоторых случаях такой подход не годится; например, при изменении сцены маловероятно, что корреляция между предыдущим изображением и текущим изображением будет очень большой. В указанном случае кодер может переключиться на вариант, при котором отображение включается в кодированные выходные данные. Например, кодер может обнаружить, что появилось изменение сцены, и может в связи с этим приступить к созданию отображения для изображения (изображений), следующих непосредственно после изменения сцены, на основе самих текущих изображений. Затем данные о созданном изображении включают в кодированный выходной поток. Декодер может приступить к созданию отображений на основе предшествующих изображений за исключением случая, когда в принятом кодированном битовом потоке содержатся данные об отображении в явном виде, если таковые используются.In these examples, the mapping was based on adaptive mapping based on sets of input images with LDR and HDR. In particular, such a display can be created based on previous input images with LDR and HDR, since this does not require the inclusion of any display information in the encoded data stream. However, in some cases this approach is not suitable; for example, when changing a scene, it is unlikely that the correlation between the previous image and the current image will be very large. In this case, the encoder may switch to an option in which the display is included in the encoded output. For example, the encoder may detect that a scene change has occurred, and may therefore proceed to create a display for the image (s) immediately following the scene change based on the current images themselves. Then, the data about the created image is included in the encoded output stream. The decoder may begin to create mappings based on previous images, unless the received encoded bitstream contains the mapping data in an explicit form, if any.
В некоторых вариантах декодер может использовать эталонное отображение по меньшей мере для некоторых изображений с суженным динамическим диапазоном из видеопоследовательности с суженным динамическим диапазоном. Такое эталонное отображение может представлять собой отображение, которое не определяют динамическим образом в соответствии с наборами изображений с LDR и HDR из видеопоследовательности. Эталонное отображение может представлять собой заранее определенное отображение.In some embodiments, the decoder may use reference mapping for at least some of the narrowed dynamic range images from the narrowed dynamic range video sequence. Such a reference display may be a display that is not dynamically determined in accordance with the sets of LDR and HDR images from the video sequence. The reference display may be a predetermined display.
Например, как кодер, так и декодер могут иметь информацию о заранее определенном стандартном отображении, которое можно использовать для создания изображения с HDR из изображения с LDR. Следовательно, в варианте, где динамические адаптивные отображения создаются из предшествующих изображений, стандартное заранее определенное отображение можно использовать тогда, когда указанное заранее определенное отображение скорее всего не будет точно отражать текущее изображение. Например, после изменения сцены эталонное отображение можно использовать для первого изображения (изображений).For example, both the encoder and the decoder may have information about a predefined standard display that can be used to create an HDR image from an LDR image. Therefore, in the embodiment where dynamic adaptive mappings are created from previous images, a standard predetermined display can be used when the specified predetermined display most likely will not accurately reflect the current image. For example, after changing the scene, the reference display can be used for the first image (s).
В указанных случаях кодер может обнаружить, что сцена изменилась (например, путем простого сравнения разницы в значениях пикселей между последовательными изображениями), а затем может ввести в кодированный выходной поток индикатор эталонного изображения, который указывает, что для предсказания следует использовать эталонное отображение. Скорее всего, эталонное отображение приведет к снижению точности предсказанного изображения с HDR. Однако, поскольку и кодер, и декодер используют одно и то же эталонное отображение, это приведет лишь к увеличению значений (а значит, возрастанию скорости передачи данных) для остаточного изображения.In these cases, the encoder may detect that the scene has changed (for example, by simply comparing the difference in pixel values between successive images), and then may introduce a reference image indicator into the encoded output stream, which indicates that reference display should be used for prediction. Most likely, the reference display will reduce the accuracy of the predicted image with HDR. However, since both the encoder and the decoder use the same reference display, this will only lead to an increase in values (and hence an increase in the data rate) for the afterimage.
В некоторых вариантах кодер и декодер способны выбирать указанное эталонное отображение из множества эталонных отображений. Таким образом, система может совместно использовать информацию о множестве заранее определенных отображений вместо использования только одного эталонного отображения. В указанных вариантах кодер может создать предсказанное изображение с HDR и соответствующее остаточное изображение для всех возможных эталонных отображений. Затем он может выбрать то отображение, которое в результате приведет к минимальному остаточному отображению (а значит, к минимальной скорости передачи кодированных данных). Кодер может ввести индикатор эталонного отображения, который в явном виде определяет, какое эталонное отображение было использовано в кодированном выходном потоке. Указанный подход может принять данное предсказание и таким образом уменьшить скорость передачи данных, необходимую для передачи остаточного изображения во многих сценариях.In some embodiments, the encoder and decoder are able to select the specified reference display from a variety of reference mappings. Thus, the system can share information about a plurality of predetermined mappings instead of using only one reference display. In these embodiments, the encoder may create a predicted HDR image and a corresponding afterimage for all possible reference mappings. Then he can choose the display, which as a result will lead to a minimum residual display (and therefore to a minimum transmission rate of encoded data). The encoder can enter a reference display indicator that explicitly determines which reference display was used in the encoded output stream. This approach can accept this prediction and thus reduce the data rate necessary to transmit the afterimage in many scenarios.
Таким образом, в некоторых вариантах может быть использована фиксированная таблица LUT (отображение) (или таблица, выбранная из фиксированного набора только с соответствующим передаваемым индексом) для первого кадра или для первого кадра после изменения сцены. Хотя остаточное изображение для указанных кадров обычно оказывается более значительным, это обстоятельство, как правило, перевешивается тем фактом, что данные отображения не надо будет кодировать.Thus, in some embodiments, a fixed LUT (mapping) table (or a table selected from a fixed set with only the corresponding transmitted index) can be used for the first frame or for the first frame after changing the scene. Although the afterimage for these frames usually turns out to be more significant, this fact is usually outweighed by the fact that the display data will not need to be encoded.
В этих примерах отображение компонуется в виде многомерной карты, имеющей два пространственных размера изображения и по меньшей мере один размер значения комбинации. Это обеспечивает особо эффективную структуру.In these examples, the display is arranged in the form of a multidimensional map having two spatial image sizes and at least one combination value size. This provides a particularly efficient structure.
В некоторых вариантах для указанной многомерной карты может быть применен многомерный фильтр, где этот многомерный фильтр содержит по меньшей мере один размер для значения упомянутой комбинации и по меньшей мере один из пространственных размеров изображения. В частности, для многомерной сетки в некоторых вариантах может быть применен фильтр с умеренной низкочастотной полосой. Во многих вариантах это может обеспечить улучшенное предсказание, а значит, снизить скорость передачи данных. В частности, это может повысить качество предсказания для некоторых сигналов, таких как плавные градиенты интенсивности, которые, как правило, приводят к контурным артефактам при представлении на недостаточной глубине (в битах).In some embodiments, a multidimensional filter can be applied to the specified multidimensional map, where this multidimensional filter contains at least one size for the value of said combination and at least one of the spatial dimensions of the image. In particular, for a multidimensional grid in some embodiments, a filter with a moderate low-pass band can be applied. In many cases, this can provide improved prediction, which means lower data rate. In particular, this can improve the quality of prediction for some signals, such as smooth intensity gradients, which, as a rule, lead to contour artifacts when presented at insufficient depth (in bits).
В предшествующем описании из одного изображения с LDR создавалось одно изображение с HDR. Однако повышенный интерес был проявлен к многовидовой фиксации и визуализации сцен. Например, на потребительском рынке внедряется трехмерное (3D) телевидение. В качестве другого примера, разработаны многовидовые компьютерные дисплеи, позволяющие пользователю рассматривать объекты со всех сторон и т.д.In the previous description, a single HDR image was created from a single image with LDR. However, increased interest was shown in the multi-view fixation and visualization of scenes. For example, three-dimensional (3D) television is being introduced in the consumer market. As another example, multi-view computer displays have been developed that allow the user to view objects from all sides, etc.
Таким образом, многовидовое изображение может содержать множество изображений одной и той же сцены, зафиксированных или созданных с разных точек обзора. Далее описание фокусируется на стереовиде, содержащем вид сцены с левого и правого глаза. Однако следует иметь ввиду, что указанные принципы равным образом применимы к видам многовидового изображения, содержащего более двух изображений, соответствующих разным направлениям, и что, в частности, левое и правое изображения могут рассматриваться как два изображения для двух видов из более чем двух изображений/видов многовидового изображения.Thus, a multi-view image may contain multiple images of the same scene, captured or created from different points of view. Further, the description focuses on a stereo view containing a scene view from the left and right eye. However, it should be borne in mind that these principles are equally applicable to types of multi-view images containing more than two images corresponding to different directions, and that, in particular, the left and right images can be considered as two images for two types of more than two images / types multi-view image.
Во многих сценариях желательно иметь возможность эффективно создавать, кодировать или декодировать многовидовые изображения, и это во многих сценариях может быть достигнуто с помощью одного изображения, входящего в многовидовое изображение и зависящего от другого изображения.In many scenarios, it is desirable to be able to efficiently create, encode, or decode multi-view images, and this in many scenarios can be achieved with one image included in a multi-view image and depending on another image.
Например, на основе изображения с HDR для первого вида можно закодировать изображение с HDR для второго вида. Например, как показано на фиг. 12, кодер на фиг. 2 можно усовершенствовать для обеспечения кодирования стереоизображения. В частности, кодер по фиг. 12 соответствует кодеру по фиг. 2, но он кроме того содержит второй приемник 1201, который скомпонован для приема второго изображения с HDR. В дальнейшем изображение с HDR, принятое первым приемником 201, называется изображением первого вида, а изображение с HDR, принятое вторым приемником 1201, называется изображением второго вида. Изображения первого и второго видов являются правым и левым изображениями стереоизображения, и, следовательно, при попадании на правый и левый глаз наблюдателя обеспечивает трехмерное восприятие.For example, based on the HDR image for the first view, you can encode the HDR image for the second view. For example, as shown in FIG. 12, the encoder of FIG. 2 can be improved to provide stereo coding. In particular, the encoder of FIG. 12 corresponds to the encoder of FIG. 2, but it further comprises a
Изображение первого вида кодируется, как было описано ранее. Кроме того, кодированное изображение первого вида подают в предсказатель 1203 вида, который приступает к созданию предсказания для изображения второго вида исходя из изображения первого вида. Система содержит декодер 1205 с HDR между кодером 213 с HDR и предсказателем 1203 вида, причем декодер 1205 декодирует кодированные данные для изображения первого вида и подает декодированное изображение в предсказатель 1203 вида, который затем создает из него предсказание для изображения второго вида. В качестве простого примера, изображение первого вида можно само по себе непосредственно использовать в качестве предсказания для изображения второго вида.The image of the first type is encoded, as described previously. In addition, the encoded image of the first type is supplied to the
Кодер на фиг. 12 кроме того содержит второй кодер 1207, который принимает предсказанное изображение от предсказателя 1203 вида и исходное изображение от второго приемника 1201. Второй коде 1207 приступает к кодированию изображения второго вида в соответствии с предсказанным изображением, полученным от предсказателя 1203 вида. В частности, второй кодер 1207 может вычесть предсказанное изображение из изображения второго вида и закодировать результирующее остаточное изображение. Второй кодер 1207 подсоединен к выходному процессору 215, который содержит кодированные данные для изображения второго вида в выходном потоке. Выходной процессор может, но не обязательно, выполнять сложные функции форматирования, например, он может перетасовывать части кодированного потока, например, по схеме перемежения, показанной на фиг. 18.The encoder in FIG. 12 further comprises a
Описанный подход позволяет обеспечить весьма эффективное кодирование для многовидовых изображения с HDR. В частности, может быть достигнута весьма низкая скорость передачи данных для заданного качества изображения.The described approach allows for very efficient coding for multi-view images with HDR. In particular, a very low data rate for a given image quality can be achieved.
Для предсказания второго вида изображения исходя из первого вида изображения можно использовать разные подходы. Как упоминалось ранее, в некоторых примерах первый вид изображения можно использовать напрямую в качестве предсказания для второго вида.Different approaches can be used to predict the second type of image based on the first type of image. As mentioned earlier, in some examples, the first view of the image can be used directly as a prediction for the second view.
В основе особо эффективной системы с очень хорошими рабочими характеристиками может лежать подход к отображению, аналогичный подходу, описанному для отображения между изображениями с LDR и с HDR.A particularly efficient system with very good performance may be based on a display approach similar to that described for display between LDR and HDR images.
В частности, можно на основе эталонных изображений создать отображение, которое соотносит входные данные в виде входных наборов пространственных позиций изображения и комбинацию цветовых координат пиксельных значений с расширенным динамическим диапазоном, связанных с пространственными позициями изображения, с выходными данными в виде пиксельных значений с расширенным динамическим диапазоном. Таким образом, указанное отображение создается для отражения зависимости между эталонным изображением с расширенным динамическим диапазоном для первого вида (то есть, в соответствии с изображением первого вида) и соответствующим эталонным изображением с расширенным динамическим диапазоном для второго вида (то есть, в соответствии с изображением второго вида).In particular, it is possible to create a mapping based on reference images that correlates input data in the form of input sets of spatial positions of the image and a combination of color coordinates of pixel values with an extended dynamic range associated with spatial positions of the image with output data in the form of pixel values with an extended dynamic range . Thus, the specified display is created to reflect the relationship between the reference image with the extended dynamic range for the first view (that is, in accordance with the image of the first view) and the corresponding reference image with the extended dynamic range for the second view (that is, in accordance with the image of the second kind).
Это отображение может быть создано с использованием тех же принципов, которые были описаны ранее применительно к отображению «LDR-HDR». В частности, это отображение может быть создано на основе предшествующего стереоизображения. Например, для предшествующего стереоизображения каждую пространственную позицию можно оценить с использованием подходящего бина отображения, идентифицируемого как отображение, покрывающее соответствующий пространственный интервал изображения и интервалы цветовых координат с HDR. Затем для создания выходного значения для указанного бина можно использовать соответствующие значения цветовых координат с HDR в эталонном изображении для второго бина (в некоторых примерах их можно использовать непосредственно в качестве выходного значения). Таким образом, данный подход может обеспечить преимущества, корреспондирующиеся с преимуществами подхода, применяемого для отображения «LDR -HDR», в том числе автоматическое создание отображения, точное предсказание, практическая реализуемость и т.д.This mapping can be created using the same principles that were previously described with respect to the LDR-HDR display. In particular, this display may be created based on a previous stereo image. For example, for the preceding stereo image, each spatial position can be estimated using a suitable display bean, identified as a display covering the corresponding spatial image interval and color coordinate intervals with HDR. Then, to create an output value for the specified bin, you can use the corresponding color coordinate values with HDR in the reference image for the second bin (in some examples, they can be used directly as the output value). Thus, this approach can provide benefits that are consistent with the advantages of the approach used for displaying “LDR -HDR”, including automatic display generation, accurate prediction, practical feasibility, etc.
Конкретную эффективную реализацию кодеров можно обеспечить путем использования общих, идентичных или совместно используемых элементов. В некоторых системах для множества операций кодирования может быть использован модуль предиктивного кодирования. В частности, базовый кодирующий модуль может быть скомпонован для кодирования входного изображения на основе предсказания этого изображения. Базовый кодирующий модуль может, в частности, иметь следующие входы и выходы:A specific effective implementation of the encoders can be achieved by using common, identical or shared elements. In some systems, a predictive coding module may be used for multiple coding operations. In particular, the basic coding module may be arranged to encode the input image based on the prediction of this image. The basic coding module may, in particular, have the following inputs and outputs:
кодирующий вход для приема изображения, подлежащего кодированию;an encoding input for receiving an image to be encoded;
вход предсказания для приема предсказания для кодируемого изображения; иa prediction input for receiving a prediction for the encoded image; and
выход кодера для вывода кодированных данных для кодируемого изображения.encoder output for outputting encoded data for the encoded image.
Примером такого кодирующего модуля является кодирующий модуль, показанный на фиг. 13. В этом конкретном кодирующем модуле используется кодек H264 1301, который принимает входной сигнал IN, содержащий данные для изображения, подлежащего кодированию. Далее кодек H264 1301 создает кодированные выходные данные BS путем кодирования входного изображения в соответствии со стандартами и принципами кодирования H264. Это кодирование основано на одном или нескольких изображениях-предсказаниях, которые хранятся в блоках 1303, 1305 памяти предсказания. Один из этих блоков 1305 памяти предсказания скомпонован для запоминания входного изображения с входа предсказания (INex). В частности, базовый кодирующий модуль может перезаписать изображения-предсказания, созданные самим базовым кодирующим модулем. Таким образом, в данном примере блоки 1303, 1305 памяти предсказания в соответствии со стандартом H264 заполняются предшествующими данными предсказания, созданными путем декодирования предшествующих кодированных изображений видеопоследовательности. Однако, вдобавок, по меньшей мере один из блоков 1305 памяти предсказания перезаписывается с использованием входного изображения с входа предсказания, то есть предсказания, созданного вне рассматриваемого устройства. Хотя данные предсказания, созданные внутри кодирующего модуля, как правило, представляют собой временные или пространственные предсказания, то есть предсказания, сделанные исходя из предшествующих или будущих изображений видеопоследовательности или из пространственно смежных областей, предсказание, обеспеченное на входе предсказания, как правило, может не являться ни временным, ни пространственным. Например, это может быть предсказание на основе изображения из другого вида. Например, изображение второго вида можно закодировать, используя вышеописанный кодирующий модуль, с помощью изображения первого вида, подаваемого на вход предсказания.An example of such an encoding module is the encoding module shown in FIG. 13. This particular coding module uses the
Примерный кодирующий модуль по фиг. 13 кроме того содержит опционный вход OUTLOC декодированного изображения, который может обеспечить декодированное изображение, полученное в результате декодирования кодированных данных, для реализации внешних функциональных возможностей. Кроме того, второй опционный выход в виде выходного декодированного изображения с задержкой, OUTLOC(τ-1), обеспечивает версию декодированного изображения с задержкой.The exemplary coding module of FIG. 13 furthermore comprises an optional OUT LOC input of a decoded image, which can provide a decoded image obtained by decoding the encoded data to implement external functionality. In addition, a second optional output in the form of a delayed decoded output image, OUT LOC (τ-1) , provides a delayed decoded image version.
Кодирующий блок, в частности, может представлять собой кодирующий блок, описанный в патентной заявке WO2008084417, содержание которой включено сюда по ссылке.The coding unit, in particular, may be the coding unit described in patent application WO2008084417, the contents of which are incorporated herein by reference.
Таким образом, в некоторых примерах система может кодировать видеосигнал, причем в этой системе выполняется сжатие изображения, и множество временных предсказаний используется с множеством кадров предсказания, хранящихся в памяти, причем кадр предсказания в памяти перезаписывается на отдельно созданный кадр предсказания.Thus, in some examples, the system can encode a video signal, in this system, image compression is performed, and a plurality of time predictions are used with a plurality of prediction frames stored in the memory, the prediction frame in the memory being overwritten with a separately created prediction frame.
В частности, перезаписанный кадр предсказания может представлять собой один или несколько самых длинных кадров предсказания в памяти.In particular, the overwritten prediction frame may be one or more of the longest prediction frames in memory.
Указанная память может представлять собой память в кодере потока улучшения, а кадр предсказания может быть переписан на кадр, поступивший от кодера базового потока.The specified memory may be a memory in the encoder stream enhancement, and the prediction frame can be rewritten on the frame received from the encoder of the base stream.
В частности, кадр временного предсказания может быть перезаписан на кадр вида глубины.In particular, the temporal prediction frame may be overwritten into a depth view frame.
Данный кодирующий модуль может быть использован во множестве преимущественных конфигураций и топологий, причем он позволяет обеспечить весьма эффективный вариант реализации при низких издержках. Например, в кодере на фиг. 12 один и тот же кодирующий модуль можно использовать для кодера 205 с LDR, кодера 212 с HDR и второго кодера 1207 с HDR.This coding module can be used in many preferred configurations and topologies, and it allows you to provide a very efficient implementation at low costs. For example, in the encoder of FIG. 12, the same coding module can be used for
Далее со ссылками на фиг. 14-17 описываются различные преимущественные конфигурации и варианты использования кодирующего модуля, такого как кодирующий модуль на фиг. 13.Next, with reference to FIG. 14-17, various advantageous configurations and use cases of an encoding module, such as the encoding module in FIG. 13.
На фиг. 14 показан пример, в котором базовый кодирующий модуль, такой как на фиг. 13, может быть использован для кодирования как изображения с LDR, так и соответствующего изображения с HDR в соответствии с ранее описанными принципами. В данном примере базовый кодирующий модуль 1401, 1405 используют как для кодирования изображения с LDR, так и для кодирования изображения с HDR. В данном примере изображение с LDR подается в кодирующий модуль 1401, который приступает к созданию кодированного битового потока BS LDR без какого-либо предсказания для изображения с LDR, подаваемого на вход предсказания (хотя такое кодирование может использовать созданные внутри предсказания, такие как временные предсказания, используемые для компенсации движения).In FIG. 14 shows an example in which a basic coding module, such as in FIG. 13 can be used to encode both an LDR image and a corresponding HDR image in accordance with the principles previously described. In this example, the
Базовый кодирующий модуль 1401 кроме того создает декодированную версию изображения с LDR на выходе декодированного изображения и декодированное изображение с задержкой на выходе декодированного изображения с задержкой. Эти два декодированных изображения подаются в предсказатель 1403, который, кроме того, принимает декодированное изображение с HDR с задержкой, то есть предшествующее изображение с HDR. Предсказатель 1403 приступает к созданию отображения на основе предшествующих декодированных изображений с LDR и HDR (с задержкой). Затем предсказатель 1403 приступает к созданию предсказанного изображения для текущего изображения с HDR путем применения этого отображения к текущему декодированному изображению с LDR.The
Затем базовый кодирующий модуль 1405 приступает к кодированию изображения с HDR на основе предсказанного изображения. В частности, предсказанное изображение подается на вход предсказания базового кодирующего модуля 1405, и туда же подается изображение с HDR. Затем базовый кодирующий модуль 1405 создает выходной битовый поток BS HDR, соответствующий изображению с HDR. Эти два битовых потока (BS LDR и BS HDR) могут быть объединены в один выходной битовый поток.Then, the
В данном примере для кодирования как изображения с LDR, так для изображения с HDR используется один и тот же кодирующий модуль (представленный двумя функциональными элементами 1401, 1405). Это можно обеспечить путем использования только одного базового кодирующего модуля последовательно во времени. В качестве альтернативы, могут быть реализованы идентичные базовые кодирующие модули. Это может привести к существенной экономии затрат.In this example, the same coding module (represented by two
Таким образом, в данном примере изображение с HDR кодируется в зависимости от изображения с LDR, в то время как изображение с LDR не кодируется в зависимости от изображения с HDR. Таким образом, здесь обеспечена иерархическая конфигурация кодирования, где совместное кодирование/сжатие достигается с помощью одного изображения, зависящего от другого изображения (которое однако не зависит от первого изображения).Thus, in this example, an HDR image is encoded depending on an LDR image, while an LDR image is not encoded depending on an HDR image. Thus, a hierarchical coding configuration is provided here, where co-coding / compression is achieved using one image dependent on another image (which however is independent of the first image).
Следует иметь в виду, что пример на фиг. 14 можно рассматривать как конкретную реализацию кодера по фиг. 2, где для изображения с HDR и с LDR используется идентичный или подобный кодирующий модуль. В частности, один и тот же базовый кодирующий модуль можно использовать как для реализации кодера 205 с LDR, так и для декодера 207 с LDR, а также для кодера 213 с HDR по фиг. 2.It should be borne in mind that the example in FIG. 14 can be considered as a specific implementation of the encoder of FIG. 2, where an identical or similar coding module is used for HDR and LDR images. In particular, the same basic coding module can be used both for the implementation of the
На фиг. 15 показан еще один пример. В этом примере для выполнения эффективного кодирования стереоизображения используется множество идентичных или один базовый кодирующий модуль 1501, 1503. В этом примере левое изображение с LDR подается в базовый кодирующий модуль 1401, который приступает к кодированию левого изображения с LDR, не полагаясь на какое-либо предсказание. Результирующие кодированные данные выводятся в виде первого битового потока L BS. Данные изображения для правого изображения с LDR вводятся через вход для данных изображения базового кодирующего модуля 1503. Кроме того, используют левое изображение в качестве изображения-предсказания, и соответственно этому выход декодированного изображения базового кодирующего модуля 1501 соединен с входом предсказания базового кодирующего модуля 1503, так что декодированная версия изображения L LDR подается на вход предсказания базового кодирующего модуля 1503, который приступает к кодированию правого изображения с LDR на основе этого предсказания. Таким образом, базовый кодирующий модуль 1503 создает второй битовый поток R BS, содержащий кодированные данные для правого изображения (относительно левого изображения).In FIG. 15 shows another example. In this example, to perform efficient stereo coding, many identical or one
На фиг. 16 показан пример, где для обеспечения совместного и комбинированного кодирования как вида с HDR, так и стереовида, используется множество идентичных или один базовый кодирующий модуль 1401, 1403, 1603, 1601. В этом примере к левым изображениям с LDR и HDR применяется подход согласно фиг. 14. Вдобавок, правое изображение с HDR кодируют на основе левого изображения с HDR. В частности, правое изображение с HDR подают на вход данных изображения базового кодирующего модуля 1601, вход предсказания которого соединен с выходом декодированного изображения базового кодирующего модуля 1405, который кодирует левое изображение с HDR. Таким образом, в этом примере правое изображение с HDRT кодируется базовым кодирующим модулем 1601 на основе левого изображения с HDR. Таким образом, кодер по фиг. 16 создает битовый поток L BS левого изображения с LDR, битовый поток L HDR BS левого изображения с HDR и битовый поток R HDR BS правого изображения с HDR.In FIG. 16 shows an example where, in order to provide joint and combined coding of both HDR and stereo views, a plurality of identical or one
В конкретном примере на фиг. 16 также может кодироваться четвертый битовый поток для правого изображения с LDR. В этом примере базовый кодирующий модуль 1603 принимает правое изображение с LDR на входе данных изображения, в то время как декодированная версия левого изображения с LDR подается на вход предсказания. Затем базовый кодирующий модуль 1603 приступает к кодированию правого изображения с LDR для создания четвертого битового потока R BS.In the specific example of FIG. 16, a fourth bitstream for the right image with LDR may also be encoded. In this example, the
Таким образом, в примере, показанном на фиг. 16, совместно и эффективным образом кодируются/сжимаются как характеристики, относящиеся к стерео, так и характеристики, относящиеся к HDR. В данном примере изображение с LDR левого вида кодируется независимо, а изображение с LDR правого вида зависит от изображения с LDR левого вида. Кроме того, изображение L HDR зависит от левого изображения с LDR. Правое изображение с HDR зависит от левого изображения с HDR, а значит, также ВКР от левого изображения с LDR. В этом примере правое изображение с LDR не используется для кодирования/декодирования какого-либо из стереоизображений с HDR. Преимущество данного подхода состоит в том, что для кодирования/декодирования стереосигнала с HDR требуется только 3 базовых модуля. Таким образом, это техническое решение обеспечивает улучшенную обратную совместимость.Thus, in the example shown in FIG. 16, both stereo-related and HDR-related characteristics are coded / compressed together in an efficient and coded manner. In this example, the image with the left LDR is encoded independently, and the image with the right LDR depends on the image with the left LDR. In addition, the L HDR image is dependent on the left image with LDR. The right image with HDR depends on the left image with HDR, and therefore also the SRS from the left image with LDR. In this example, the right image with LDR is not used to encode / decode any of the stereo images with HDR. The advantage of this approach is that for encoding / decoding a stereo signal with HDR, only 3 base modules are required. Thus, this technical solution provides improved backward compatibility.
На фиг. 17 показан пример, в котором кодер по фиг. 16 усовершенствован таким образом, что для кодирования правого изображения с HDR также используется правое изображение с LDR. В частности, предсказание правого изображения с HDR может быть создано из левого изображения с LDR с использованием того же подхода, который применяется для левого изображения с HDR. В частности, здесь можно использовать ранее описанное отображение. В этом примере вход предсказания в базовом кодирующем модуле 1501 предусмотрен для приема двух изображений-предсказаний, которые могут быть оба использованы для кодирования правого изображения с HDR. Например, два изображения-предсказания могут быть перезаписаны в два блока памяти предсказания, имеющихся в базовом кодирующем модуле 1601.In FIG. 17 shows an example in which the encoder of FIG. 16 has been improved in such a way that the right LDR image is also used to encode the right image with HDR. In particular, predicting the right image with HDR can be created from the left image with LDR using the same approach that is used for the left image with HDR. In particular, the previously described mapping can be used here. In this example, the prediction input in the base coding module 1501 is provided for receiving two prediction images, which can both be used to encode the right image with HDR. For example, two prediction images may be overwritten into two prediction memory blocks present in the
Таким образом, в этом примере, как стерео, так и HDR совместно кодируются и (более того) эффективно сжимаются. Здесь изображение с LDR левого вида кодируется независимо, а изображение с LDR правого вида кодируется в зависимости от изображения с LDR левого вида. В данном примере правое изображение с LDR также используют для кодирования/декодирования стереосигнала с HDR и, в частности, правого изображения с HDR. Таким образом, в данном примере могут быть использованы два предсказания для правого изображения с HDR, что обеспечивает более высокую эффективность сжатия, несмотря на затраты, необходимые для обеспечения четырех базовых кодирующих модулей (или четырехкратное использование одного и того же базового кодирующего модуля).Thus, in this example, both stereo and HDR are jointly encoded and (moreover) efficiently compressed. Here, the left-view LDR image is encoded independently, and the right-view LDR image is encoded depending on the left-view LDR image. In this example, the right-hand image with LDR is also used to encode / decode a stereo signal with HDR and, in particular, the right-hand image with HDR. Thus, in this example, two predictions can be used for the right image with HDR, which provides higher compression efficiency, despite the costs required to provide four basic coding modules (or four times the use of the same basic coding module).
Таким образом, в примерах на фиг. 14-17 один и тот же базовый модуль кодирования/сжатия используют для совместного кодирования HDR и стерео, что выгодно с точки зрения эффективности сжатия, практичности реализации и минимизации затрат.Thus, in the examples of FIG. 14-17, the same basic coding / compression module is used for joint coding of HDR and stereo, which is advantageous in terms of compression efficiency, practicality of implementation and minimization of costs.
Следует иметь в виду, что на фиг. 14-17 представлены функциональные иллюстрации, которые могут отражать последовательное использование во времени одного и того же кодирующего модуля, либо могут, например, иллюстрировать параллельное применение идентичных кодирующих модулей.It should be borne in mind that in FIG. 14-17 are functional illustrations that may reflect the consistent use over time of the same coding module, or may, for example, illustrate the parallel use of identical coding modules.
Таким образом, в описанных примерах кодирования создаются выходные данные, которые включают в себя кодирование одного или нескольких изображений на основе одного или нескольких изображений. Следовательно, в этих примерах по меньшей мере два изображения совместно кодируют так, что одно изображение зависит от другого, но это другое изображение не зависит от первого изображения. Например, в кодере по фиг. 16 два изображения с HDR совместно кодируются с использованием правого изображения с HDR, кодируемого в зависимости от левого изображения с HDR (посредством предсказания), в то время как левое изображение с HDR кодируется независимо от правого изображения с HDR.Thus, in the described encoding examples, output is generated that includes encoding one or more images based on one or more images. Therefore, in these examples, at least two images are jointly encoded so that one image depends on another, but this other image does not depend on the first image. For example, in the encoder of FIG. 16, two HDR images are jointly encoded using the right HDR image encoded depending on the left HDR image (by prediction), while the left HDR image is encoded independently of the right HDR image.
Такое асимметричное совместное кодирование можно использовать для создания эффективных выходных потоков. В частности, создаются (расщепляются) два выходных потока R HDR BS и L HDR BS для правого и левого изображений с HDR соответственно в виде двух разных потоков данных, которые можно мультиплексировать для формирования выходного потока данных. Поток данных L HDR BS, для которого не требуются данные из потока данных R HDR BS, может рассматриваться как первичный поток данных, а поток данных R HDR BS, для которого не требуются данные из потока данных L HDR BS, может рассматриваться как вторичный поток данных. В одном примере, демонстрирующем особые преимущества, мультиплексирование выполняется так, что первичный и вторичный потоки данных обеспечиваются отдельными кодами. Таким образом, указанным двум потокам данных присваивают разные коды (заголовок/метка), обеспечивая тем самым отдельные потоки данных, разделенные и идентифицированные в выходном потоке данных.Such asymmetric joint coding can be used to create efficient output streams. In particular, two output streams R HDR BS and L HDR BS are created (split) for the right and left images with HDR, respectively, in the form of two different data streams that can be multiplexed to form the output data stream. L HDR BS data stream, which does not require data from the R HDR BS data stream, can be considered as a primary data stream, and R HDR BS data stream, which does not require data from the L HDR BS data stream, can be considered as a secondary data stream . In one example, showing particular advantages, multiplexing is performed so that the primary and secondary data streams are provided with separate codes. Thus, these two data streams are assigned different codes (header / label), thereby providing separate data streams that are separated and identified in the output data stream.
В качестве конкретного примера, выходной поток данных можно разделить на пакеты или сегменты данных, где каждый пакет/сегмент содержит данные только из первичного или только из вторичного потока данных, и где каждый пакет/сегмент обеспечен кодом (например, в заголовке, преамбуле, средней части или заключительной части), который идентифицирует, какой поток включен в конкретный пакет/сегмент.As a specific example, the output data stream can be divided into packets or data segments, where each packet / segment contains data only from the primary or only secondary data stream, and where each packet / segment is provided with a code (for example, in the header, preamble, middle part or final part), which identifies which stream is included in a particular package / segment.
Указанный подход может обеспечить улучшенные рабочие характеристики и, в частности, обеспечить обратную совместимость. Например, полностью совместимый стереодекодер способен выделять как правые, так и левые изображения с HDR для создания полного стереоизображения с HDR. Однако декодер, не являющийся стерео декодером, может извлекать только первичный поток данных. В действительности, когда поток данных не зависит от правого изображения с HDR, декодер, не являющийся стерео декодером, может приступить к декодированию одного изображения с HDR, используя способы, не относящиеся к декодированию стерео.This approach can provide improved performance and, in particular, provide backward compatibility. For example, a fully compatible stereo decoder is capable of extracting both right and left HDR images to create full stereo image with HDR. However, a non-stereo decoder decoder can only extract the primary data stream. In fact, when the data stream is independent of the right HDR image, a non-stereo decoder decoder can start decoding a single HDR image using methods other than stereo decoding.
Следует иметь в виду, что данный подход можно использовать для различных кодеров. Например, для кодера по фиг. 14 битовый поток BS LDR может считаться первичным потоком данных, а битовый поток BS HDR может считаться вторичным потоком данных. В примере, показанном на фиг. 15, первичным потоком данных может считаться битовый поток L BS, а вторичным потоком данных может считаться битовый поток R BS. Таким образом, в ряде примеров первичный поток данных может содержать данные, которые являются полностью самодостаточными, то есть для которых не требуется ввод каких-либо других кодированных данных (то есть, которые не зависят от кодированных данных из любого другого потока данных, но кодируются самосогласованным образом).It should be borne in mind that this approach can be used for various encoders. For example, for the encoder of FIG. The 14 bit BS LDR stream may be considered a primary data stream, and the BS HDR bitstream may be considered a secondary data stream. In the example shown in FIG. 15, the bit stream L BS may be considered the primary data stream, and the bit stream R BS may be considered the secondary data stream. Thus, in a number of examples, the primary data stream may contain data that is completely self-contained, that is, which does not require input of any other encoded data (i.e., which does not depend on the encoded data from any other data stream, but is self-consistent encoded way).
Также этот подход можно распространить на количество битовых потоков, большее двух. Например, для кодера на фиг. 15 битовый поток L BS (который является полностью самодостаточным) может считаться первичным потоком данных, битовый поток L HDR BS (который зависит от битового потока L BS, но не зависит от битового потока R HDR BS) может считаться вторичным потоком данных, а битовый поток R HDR BS (который зависит как от битового потока L BS, так и от битового потока L HDR BS) может считаться третичным потоком данных. Эти три потока данных можно мультиплексировать, причем каждому потоку данных выделен собственный код.Also, this approach can be extended to the number of bit streams, more than two. For example, for the encoder in FIG. 15 bit stream L BS (which is completely self-sufficient) can be considered the primary data stream, bit stream L HDR BS (which depends on the bit stream L BS, but does not depend on the bit stream R HDR BS) can be considered a secondary data stream, and the bit stream R HDR BS (which depends on both the bit stream L BS and the bit stream L HDR BS) can be considered a tertiary data stream. These three data streams can be multiplexed, and each data stream is allocated its own code.
В другом примере четыре битовых потока, созданные в кодере по фиг. 16 или 17, могут быть введены в четыре разные части выходного потока данных. В качестве конкретного примера, мультиплексирование битовых потоков может создать выходной поток, содержащий следующие части: часть 1, содержащую все пакеты L BS с кодом 0x1B дескриптора (регулярный H264); часть 2, содержащую все пакеты R BS c кодом 0х20 дескриптора (зависимый стереовид MVC), часть 3, содержащую все пакеты L HDR BS с кодом 0х21 дескриптора; и часть 4, содержащую все пакеты enh R HDR BS с кодом 0х22 дескриптора. Этот тип мультиплексирования обеспечивает гибкое использование мультиплексирования стерео с HDR при поддержке обратной совместимости с MVC стерео и H264 моно. В частности, конкретные коды позволяют стандартному декодеру H264, декодирующему изображение с LDR, при обеспечении подходящим образом оборудованными декодерами (например, на базе H264 или MVC) декодировать более совершенные изображения, такие как изображения с HDR и/или стереоизображения.In another example, four bitstreams created in the encoder of FIG. 16 or 17 can be entered into four different parts of the output data stream. As a specific example, bitstream multiplexing can create an output stream containing the following parts:
Создание выходного потока может, в частности, следовать подходу, описанному в патентной заявке WO2009040701, которая включена сюда по ссылке.The creation of the output stream may, in particular, follow the approach described in patent application WO2009040701, which is incorporated herein by reference.
Указанные подходы могут объединить преимущества других способов и избежать при этом присущих этим способам недостатков. Данный подход содержит совместное сжатие двух или более сигналов видеоданных, после чего следует формирование двух или более (первичного и вторичного) отдельных битовых потоков. Первичный битовый поток, являющийся самодостаточным (или не зависящим от вторичного битового потока), может быть декодирован видеодекодерами, возможно не способными декодировать оба битовых потока. Один или более вторичных битовых потоков (которые часто называют вспомогательными потоками для представления видео) зависят от первичного битового потока. Эти отдельные битовые потоки мультиплексируют, причем первичный и вторичный битовые потоки передаются как отдельные битовые потоки, обеспеченные отдельными кодами. На первый взгляд может показаться излишним и напрасным первоначальное совместное сжатие сигналов только затем, чтобы разделить их снова после сжатия и обеспечения отдельными кодами. В общепринятых способах сигналу сжатых видеоданных выдается единый код в мультиплексоре. На первый взгляд кажется, что такой подход вносит ненужную сложность в процесс кодирования сигнала видеоданных.These approaches can combine the advantages of other methods and avoid the inherent disadvantages of these methods. This approach includes the joint compression of two or more video data signals, followed by the formation of two or more (primary and secondary) individual bit streams. A primary bitstream that is self-contained (or independent of the secondary bitstream) may be decoded by video decoders, possibly not capable of decoding both bit streams. One or more secondary bitstreams (often referred to as auxiliary streams for presenting a video) are dependent on the primary bitstream. These separate bitstreams are multiplexed, wherein the primary and secondary bitstreams are transmitted as separate bitstreams provided with separate codes. At first glance, the initial joint compression of the signals may seem redundant and in vain only to separate them again after compression and providing separate codes. In conventional methods, the compressed video signal is issued a single code in the multiplexer. At first glance, it seems that this approach introduces unnecessary complexity in the process of encoding a video signal.
Однако, было установлено, что разделение и раздельное пакетирование (то есть, выделение отдельных кодов для первичного и вторичного битовых потоков в мультиплексоре) первичного и вторичного битового потока в мультиплексированном сигнале приводит к тому, что с одной стороны стандартный демультиплексор в обычной видеосистеме будет распознавать первичный битовый поток по его коду и посылать его в декодер, так что стандартный видеодекодер будет получать только первичный поток, причем вторичный поток через демультиплексор не проходит, и, таким образом, стандартный видеодекодер обеспечивает правильную обработку указанного потока в виде стандартного сигнала видеоданных, но с другой стороны, специализированная система может полностью реверсировать процесс кодирования и вновь создать исходный улучшенный битовый поток перед его посылкой на подходящий декодер.However, it was found that the separation and separate packetization (that is, the allocation of separate codes for the primary and secondary bit streams in the multiplexer) of the primary and secondary bit stream in the multiplexed signal leads to the fact that, on the one hand, a standard demultiplexer in a conventional video system will recognize the primary bitstream by its code and send it to the decoder, so that the standard video decoder will receive only the primary stream, and the secondary stream does not pass through the demultiplexer, and, t kim, the video decoder standard provides correct processing of said stream of standard video signal, but on the other hand, a specialized system can completely reverse the encoding process and re-create the original enhanced bitstream before sending it to the appropriate decoder.
При данном подходе первичный и вторичный битовые потоки являются отдельными битовыми потоками, где первичный битовый поток, в частности, может быть самодостаточным битовым потоком. Это позволяет выделить первичному битовому потоку код, соответствующий стандартному сигналу видеоданных, и выделить вторичному битовому потоку или вторичным битовым потокам коды, которые не будут распознаваться стандартными демультиплексорами в качестве стандартного сигнала видеоданных. На приемной стороне стандартные демультиплексирующие устройства будут распознавать первичный битовый поток в качестве стандартного сигнала видеоданных и пересылать его на видеодекодер. Стандартные демультиплексирующие устройства не будут принимать вторичные битовые потоки, поскольку они не определяют их как стандартные сигналы видеоданных. Сам видеодекодер будет принимать только «стандартный сигнал видеоданных». Таким образом, количество бит, принимаемых самим видеодекодером, ограничено первичным битовым потоком, который может быть самодостаточным и который представлен в виде стандартного сигнала видеоданных, и может интерпретироваться стандартными видеоустройствами, причем скорость передачи битов будет соответствовать скорости, которую стандартные видеоустройства могут обеспечить. Видеодекодер не перегружается сверх его пропускной способности в битах.In this approach, the primary and secondary bitstreams are separate bitstreams, where the primary bitstream, in particular, can be a self-contained bitstream. This allows you to select the primary bitstream code corresponding to the standard video signal, and highlight the secondary bitstream or secondary bitstream codes that will not be recognized by standard demultiplexers as a standard video signal. On the receiving side, standard demultiplexing devices will recognize the primary bitstream as a standard video signal and forward it to the video decoder. Standard demultiplexing devices will not accept secondary bitstreams, since they do not define them as standard video signals. The video decoder itself will receive only the “standard video signal”. Thus, the number of bits received by the video decoder itself is limited by the primary bitstream, which can be self-sufficient and which is presented as a standard video signal, and can be interpreted by standard video devices, and the bit rate will correspond to the speed that standard video devices can provide. The video decoder does not overload beyond its bit rate.
Такое кодирование может отличаться тем, что сигнал видеоданных кодируется с использование кодированного сигнала, содержащего первый и по меньшей мере один второй набор кадров, где кадры из первого и второго наборов перемежают для формирования перемежающейся видеопоследовательности, или тем, что принимается сигнал перемежающихся видеоданных, содержащий первый и второй набор кадров, где перемежающаяся видеопоследовательность сжимается в сигнал сжатых видеоданных, где кадры первого набора кодируются и сжимаются без использования кадров второго набора, а кадры второго набора кодируются и сжимаются с использованием кадров первого набора, и где далее сигнал сжатых видеоданных разделяется на первичный и по меньшей мере один вторичный битовый поток, причем каждый битовый поток содержит кадры, где первичный битовый поток содержит сжатые кадры для первого набора, а вторичный битовый поток содержит сжатые кадры для второго набора, при этом первичный и вторичный битовые потоки образуют отдельные битовые потоки, после чего первичный и вторичный битовые потоки мультиплексируются, образуя мультиплексированный сигал, причем первичный и вторичный битовые потоки обеспечены отдельными кодами.Such encoding may differ in that the video signal is encoded using an encoded signal containing the first and at least one second set of frames, where frames from the first and second sets are interleaved to form an interleaved video sequence, or in that an interleaved video data signal containing the first and a second set of frames, where the interleaved video sequence is compressed into a compressed video signal, where the frames of the first set are encoded and compressed without using a frame in the second set, and the frames of the second set are encoded and compressed using frames of the first set, and where further the compressed video signal is divided into a primary and at least one secondary bit stream, each bit stream containing frames where the primary bit stream contains compressed frames for the first set, and the secondary bit stream contains compressed frames for the second set, while the primary and secondary bit streams form separate bit streams, after which the primary and secondary bit streams are multiplexed They form a multiplexed signal, with the primary and secondary bit streams provided with separate codes.
После перемежения по меньшей мере один набор, а именно, набор кадров первичного битового потока, может быть сжат в качестве «самодостаточного сигнала». Это означает, что для кадров, принадлежащих этому самодостаточному набору кадров, не требуется какая-либо информация (например, через компенсацию движения или какую-либо иную схему предсказания) из других вторичных битовых потоков.After interleaving, at least one set, namely, a set of frames of the primary bit stream, may be compressed as a “self-contained signal”. This means that frames belonging to this self-contained set of frames do not require any information (for example, through motion compensation or any other prediction scheme) from other secondary bit streams.
Первичный и вторичный битовые потоки образуют отдельные битовые потоки и мультиплексируются с отдельными кодами по причинам, которые были объяснены выше.The primary and secondary bitstreams form separate bitstreams and are multiplexed with separate codes for the reasons that were explained above.
В ряде примеров первичный битовый поток содержит данные для кадров одного вида из сигнала многовидовых видеоданных, а вторичный битовый поток содержит данные для кадров другого вида из сигнала многовидовых данных.In a number of examples, the primary bit stream contains data for frames of one kind from a multi-view video signal, and the secondary bit stream contains data for frames of another type from a multi-view data signal.
На фиг. 18 показан пример возможного перемежения двух видов, таких как левый (L) вид и правый (R) вид с HDR кодера по фиг. 16, где каждый из видов содержит кадры с 0 по 7 в перемежающемся комбинированном сигнале, содержащем кадры с 0 по 15.In FIG. 18 shows an example of the possible alternation of two views, such as the left (L) view and the right (R) view from the HDR encoder of FIG. 16, where each of the species contains
В данном конкретном примере кадры/изображения битовых потоков L HDR BS и R HDR BS по фиг. 16 разделены на отдельные кадры/сегменты, как показано на фиг. 17.In this particular example, the frames / images of the bit streams L HDR BS and R HDR BS of FIG. 16 are divided into separate frames / segments, as shown in FIG. 17.
Затем кадры левого и правого видов перемежают для создания комбинированного сигнала. Комбинированный сигнал похож на двумерный сигнал. Особым признаком сжатия является то, что кадры одного из видов не зависят от кадров другого вида (и могут представлять собой самодостаточную систему), то есть при сжатии никакая информация из другого вида не используется. Кадры другого вида сжимают, используя информацию из кадров первого вида. Этот подход отклоняется от естественного стремления обрабатывать оба вида не равной основе. В действительности, оба вида не обрабатываются одинаково во время сжатия. Один из видов становится первичным видом, для которого во время сжатия не используется никакая информация из другого вида, причем другой вид является вторичным. Кадры первичного вида и кадры вторичного вида разделяют на первичный битовый поток и вторичный битовый поток. Система кодирования может содержать мультиплексор, который распределяет код, например, 0х01 для MPEG, или 0х1В для H.264, распознаваемый для стандартного видео в качестве битового потока видео, для первичного битового потока и другой код, например, 0х20, - для вторичного потока. Затем выполняется передача мультиплексированного сигнала. Этот сигнал может быть принят системой декодирования, в которой демультиплексор распознает два битовых потока 0х01 или 0х1В (для первичного потока) и 0х20 (для вторичного потока) и посылает их на блок объединения битовых потоков, который вновь объединяет первичный и вторичный потоки, а затем комбинированную видеопоследовательность декодируют путем реверсирования способа кодирования в декодере.Then the frames of the left and right types are interleaved to create a combined signal. The combined signal is similar to a two-dimensional signal. A special sign of compression is that the frames of one of the types do not depend on frames of another type (and can be a self-contained system), that is, during compression, no information from another type is used. Frames of a different kind are compressed using information from frames of the first kind. This approach deviates from the natural desire to process both species on an unequal basis. In fact, both types are not treated equally during compression. One of the views becomes the primary view, for which no information from another view is used during compression, and the other view is secondary. The primary view frames and the secondary view frames are divided into a primary bitstream and a secondary bitstream. The encoding system may include a multiplexer that distributes a code, for example, 0x01 for MPEG, or 0x1B for H.264, recognized for standard video as a video bitstream, for a primary bitstream, and another code, for example, 0x20, for a secondary stream. Then, the transmission of the multiplexed signal is performed. This signal can be received by a decoding system in which the demultiplexer recognizes two bit streams 0x01 or 0x1B (for the primary stream) and 0x20 (for the secondary stream) and sends them to the unit for combining bit streams, which again combines the primary and secondary streams, and then the combined the video sequence is decoded by reversing the encoding method in the decoder.
Следует иметь в виду, что примеры кодера на фиг. 14-17 можно непосредственно преобразовать в соответствующие операции, выполняемые на стороне декодера. В частности, на фиг. 19 показан базовый декодирующий модуль, который является комплементарным по отношению к базовому кодирующему модулю по фиг. 13. Этот базовый декодирующий модуль имеет вход данных кодера для приема данных кодера для кодированного изображения, подлежащего декодированию. По аналогии с базовым кодирующим модулем, базовый декодирующий модуль содержит множество блоков 1901 памяти предсказания, а также вход предсказания для приема предсказания для кодированного изображения, подлежащего декодированию. Базовый декодирующий модуль содержит блок 1903 декодера, который декодирует кодированные данные на основе предсказания (предсказаний) для создания декодированного изображения, которое выводится на выход OUTLOC декодера. Далее декодированное изображение подается в блоки памяти предсказания. Как и в случае с базовым кодирующим модулем, данные предсказания на входе предсказания могут быть записаны поверх данных в блоках 1901 памяти предсказания. Также, как и в случае с базовым кодирующим модулем, базовый декодирующий модуль имеет (не обязательный) выход для выдачи декодированного изображения с задержкой.It should be borne in mind that the examples of the encoder in FIG. 14-17 can be directly converted to the corresponding operations performed on the side of the decoder. In particular, in FIG. 19 shows a basic decoding module that is complementary to the basic encoding module of FIG. 13. This basic decoding module has an encoder data input for receiving encoder data for an encoded image to be decoded. By analogy with the basic coding module, the basic decoding module comprises a plurality of prediction memory blocks 1901, as well as a prediction input for receiving prediction for the encoded image to be decoded. The basic decoding module comprises a
Очевидно, что указанный базовый декодирующий модуль можно использовать в качестве комплементарного модуля по отношению к базовому кодирующему модулю в примерах на фиг. 14-17. Например, на фиг. 20 показан декодер, комплементарный по отношению к кодеру по фиг. 14. Мультиплексор (не показан) разделяет кодированные данные с суженным динамическим диапазоном (EncLDR) и кодированные данные с расширенным динамическим диапазоном (EncHDR). Первый базовый декодирующий модуль декодирует изображение с LDR и использует это для создания предсказания для изображения с HDR, как это было объяснено в связи с фиг. 14. Затем второй базовый декодирующий модуль (идентичный первому базовому декодирующему модулю или, в действительности, первому базовому декодирующему модулю, использованному последовательным во времени образом) декодирует изображение с HDR исходя из кодированных данных с HDR и предсказания.Obviously, said basic decoding module can be used as a complementary module with respect to the basic encoding module in the examples in FIG. 14-17. For example, in FIG. 20 shows a decoder complementary to the encoder of FIG. 14. A multiplexer (not shown) separates encoded data with a narrowed dynamic range (EncLDR) and encoded data with an extended dynamic range (EncHDR). The first basic decoding module decodes an LDR image and uses this to create prediction for an HDR image, as explained in connection with FIG. 14. Then, the second basic decoding module (identical to the first basic decoding module or, in fact, the first basic decoding module used in a time-consistent manner) decodes the HDR image based on the HDR encoded data and the prediction.
В качестве другого примера, на фиг. 21 показан декодер, комплементарный по отношению к кодеру по фиг. 15. В этом примере кодированные данные для левого изображения подаются в первый базовый декодирующий модуль, который декодирует левое изображение. Далее оно подается на вход предсказания второго базового декодирующего модуля, который также принимает кодированные данные для правого изображения и который приступает к декодированию этих данных на основе предсказания, создавая в результате правое изображение.As another example, in FIG. 21 shows a decoder complementary to the encoder of FIG. 15. In this example, the encoded data for the left image is supplied to the first base decoding module, which decodes the left image. Then it is fed to the prediction input of the second basic decoding module, which also receives encoded data for the right image and which proceeds to decode this data based on the prediction, creating the right image as a result.
На фиг. 22 показан еще один пример декодера, комплементарного по отношению к кодеру по фиг. 16.In FIG. 22 shows yet another example of a decoder complementary to the encoder of FIG. 16.
Следует иметь в виду, что фиг. 20-22 являются функциональными иллюстрациями и могут отражать последовательное во времени использование одного и того же декодирующего модуля либо могут, например, иллюстрировать параллельное использование идентичных декодирующих модулей.It should be borne in mind that FIG. 20-22 are functional illustrations and may reflect the sequential use of the same decoding module in time or may, for example, illustrate the parallel use of identical decoding modules.
На фиг. 22 в качестве примера показано, каким образом можно объединить несколько стандартных блоков, как это было объяснено выше в различных комбинациях, например, через блоки памяти результирующего изображения и, кроме того, показано несколько приемников 2201, 2201, 2203, которые, как известно специалистам в данной области техники, могут принимать различную кодированную информацию об изображениях с HDR или информацию о видах, которая может быть переформатирована и/или обработана в соответствии с несколькими возможными вариантами топологии и реализаций, например, посредством таблицы LUT 2204, как в качестве примера было описано выше. На фиг. 22 показан лишь простой пример возможной реализации декодера. Специалистам в данной области техники очевидно, что возможны другие топологии, например, приемники 2201, 2202, 2203 могут составлять часть общего приемника данных, который может, например, содержать другие блоки, такие как разделитель для форматирования входящих данных, например, изолирования других кодированных 3D/HDR субпотоков согласно принципу перемежения, показанному на фиг. 18. Кроме того, в соответствии с принципами кодирования, используемыми в кодере, к процессорам, работающим с математическими моделями, могут быть подсоединены блоки памяти изображений или т.п., такие как LUT 2204, или входы в блоки, например, блок вычисления глубины, который может создать изображение карты глубин. Как показано на фиг. 19, блоки памяти изображения могут содержать все виды данных, представленных в качестве изображения, которые могут использоваться для создания, например, локальных пиксельных значений с HDR; например, алгоритм компьютерной графики может создать изображаемый объект типа «огненный шар» (fireball), используемый при предсказании. Это может быть альтернативой вышеописанной локализованной взаимосвязи с низким разрешением между пиксельными значениями с LDR и HDR, например, профили объекта, воспроизводимые с разной точностью или в разных диапазонах.In FIG. 22 shows by way of example how several standard units can be combined, as explained above in various combinations, for example, through memory blocks of the resulting image and, in addition,
Хотя здесь были описаны принципы кодирования (декодирования), использующие локальное пространственное отображение между изображениями с LDR и HDR (с цветовой градацией), для предсказания (преобразования) «LDR-HDR» могут быть использованы другие стратегии предсказания. Например, на локальных зонах кадра могут быть использованы стратегии преобразования, которые позволяют отображать функции или даже параметрические преобразования, нацеленные на грубую (предварительную) визуализацию, как например, режимное кодирование согласно предшествующей европейской заявке EP10155277.6.Although coding (decoding) principles using local spatial mapping between LDR and HDR (color graded) images have been described here, other prediction strategies can be used to predict (convert) “LDR-HDR”. For example, on local areas of the frame, transformation strategies can be used that allow you to display functions or even parametric transformations aimed at rough (preliminary) visualization, such as mode coding according to the previous European application EP10155277.6.
Также для связи изображения с HDR с изображением с LDR можно использовать профили грубой полуглобальной настройки на важном локальном участке набора изображений для определенных моментов времени, возможно с дальнейшим уточнением данных, например, с использованием кодирования с виртуальной подсветкой, как это описано в патентной заявке EP10177155.8. Специалисты в данной области техники поймут, как заменить предсказатели на более сложные алгоритмические блоки.Also, to associate an HDR image with an LDR image, you can use coarse semi-global profiles on an important local area of the image set for certain times, possibly with further refinement of the data, for example, using virtual backlight coding, as described in patent application EP10177155. 8. Those skilled in the art will understand how to replace predictors with more complex algorithmic blocks.
Следует иметь в виду, что в приведенном выше описании для ясности были изложены варианты изобретения со ссылками на различные функциональные схемы, блоки и процессоры. Однако очевидно, что можно использовать любое другое подходящее распределение функциональных возможностей между различными функциональными схемами, блоками или процессорами, не преуменьшая при этом объем изобретения. Например, функциональные возможности, выполняемые, как здесь показано, отдельными процессорами или контроллерами, могут выполняться одним и тем же процессором или контроллером. Следовательно, ссылки на конкретные функциональные блоки или схемы следует рассматривать лишь как ссылки на подходящие средства для обеспечения описанных функциональных возможностей, а не как ссылки, указывающие на точную логическую или физическую структуру либо организацию.It should be borne in mind that in the above description, for clarity, the variants of the invention were described with reference to various functional circuits, blocks and processors. However, it is obvious that you can use any other suitable distribution of functionality between different functional circuits, blocks or processors, without underestimating the scope of the invention. For example, functionality performed, as shown here, by individual processors or controllers, may be performed by the same processor or controller. Therefore, links to specific functional blocks or circuits should be considered only as links to suitable means to provide the described functionality, and not as links pointing to the exact logical or physical structure or organization.
Следует заметить, что все варианты и комбинации, которые поясняются как кодеры, также могут быть реализованы (и раскрыты и заявлены) как декодеры и наоборот, а также как способы и результирующие продукты, такие как, например, кодированные сигналы изображения, или продукты, содержащие указанное, такие как запоминающие устройства, причем во всех вариантах и комбинациях используется все из вышеперечисленного.It should be noted that all options and combinations that are explained as encoders can also be implemented (and disclosed and claimed) as decoders and vice versa, as well as methods and resulting products, such as, for example, encoded image signals, or products containing specified, such as storage devices, and in all variants and combinations all of the above are used.
Изобретение может быть реализовано в любом подходящем виде, в том числе, аппаратными средствами, программными средствами, программно-аппаратными средствами или в виде любой их комбинации. Изобретение может быть реализовано по меньшей мере частично в виде компьютерного программного обеспечения, выполняемого на одном или нескольких процессорах данных и/или цифровых процессорах сигналов. Отдельные элементы и компоненты того или иного варианта изобретения могут быть реализованы физически, функционально и логически любым подходящим образом. В действительности, указанные функциональные возможности могут быть реализованы в одном блоке, во множестве блоков, или как часть других функциональных блоков. Как таковое, изобретение может быть реализовано в одном блоке, либо может быть физически или функционально распределено между разными блоками, схемами и процессорами.The invention can be implemented in any suitable form, including hardware, software, software and hardware, or in the form of any combination thereof. The invention can be implemented at least partially in the form of computer software running on one or more data processors and / or digital signal processors. The individual elements and components of a particular embodiment of the invention can be implemented physically, functionally and logically in any suitable manner. In fact, these functionalities can be implemented in one block, in multiple blocks, or as part of other functional blocks. As such, the invention may be implemented in a single unit, or may be physically or functionally distributed between different units, circuits, and processors.
Хотя настоящее изобретение было описано в связи с некоторыми вариантами, здесь не предполагается, что оно ограничено изложенной здесь конкретной формой. Наоборот, объем изобретения ограничен только прилагаемой формулой изобретения. Вдобавок, хотя в связи с конкретными вариантами возможно появление того или иного признака, подлежащего описанию, специалистам в данной области техники должно быть понятно, что различные признаки описанных вариантов могут комбинироваться согласно настоящему изобретению. В формуле изобретения термин «содержащий» не исключает наличие других элементов или шагов.Although the present invention has been described in connection with some embodiments, it is not intended to be limited here to the specific form set forth herein. On the contrary, the scope of the invention is limited only by the attached claims. In addition, although in connection with specific options, the appearance of one or another characteristic to be described may be obvious to those skilled in the art that various features of the described variants may be combined according to the present invention. In the claims, the term “comprising” does not exclude the presence of other elements or steps.
Кроме того, множество средств, элементов, схем или шагов способов, хотя они здесь и были отдельно перечислены, могут быть реализованы, например, с помощью одной схемы, блока или процессора. Вдобавок, хотя отдельные признаки могут содержаться в разных пунктах формулы изобретения, они потенциально могут быть объединены эффективным образом, и их включение в другие пункты формулы изобретения не предполагает, что комбинация признаков является не осуществимой и/или невыгодной. Также включение признака в одну категорию пунктов формулы изобретения не предполагает наличия ограничения на эту категорию, а скорее указывает на то, что данный признак равным образом применим к другим категориям в случае необходимости. Кроме того порядок признаков в пунктах формулы изобретения не предполагает какой-либо особый порядок, в котором эти признаки должны действовать, и в частности, порядок отдельных шагов в заявленном способе не предполагает, что указанные шаги должны выполняться именно в этом порядке. Скорее, шаги могут выполняться в любом подходящем порядке. Вдобавок, ссылки на один объект не исключают наличия множества объектов. Таким образом, ссылки с употреблением в единственном числе, и терминов «первый», «второй» и т.д. не исключают наличие множества объектов. Ссылочные позиции в пунктах формулы изобретения предусмотрены просто для описания поясняющих примеров и не должны трактоваться как любого рода ограничение объема изобретения.In addition, many means, elements, circuits, or method steps, although they have been separately listed here, can be implemented, for example, using a single circuit, block, or processor. In addition, although individual features may be contained in different claims, they can potentially be combined in an effective manner, and their inclusion in other claims does not imply that a combination of features is not feasible and / or disadvantageous. Also, the inclusion of a feature in one category of claims does not imply a restriction on this category, but rather indicates that this feature is equally applicable to other categories, if necessary. In addition, the order of the signs in the claims does not imply any special order in which these signs should act, and in particular, the order of the individual steps in the claimed method does not imply that these steps should be performed in that order. Rather, the steps can be performed in any suitable order. In addition, references to one object do not exclude the presence of multiple objects. Thus, references are used in the singular, and the terms “first”, “second”, etc. Do not exclude the presence of many objects. The reference numbers in the claims are provided merely to describe illustrative examples and should not be construed as limiting the scope of the invention of any kind.
Claims (12)
первый приемник (203) изображения с HDR, выполненный с возможностью приема изображения первого вида с расширенным динамическим диапазоном;
средство предсказания (209), выполненное с возможностью предсказания изображения первого вида с расширенным динамическим диапазоном исходя из представления с суженным динамическим диапазоном изображения первого вида с расширенным динамическим диапазоном с использованием функции отображения, при этом средство предсказания выполнено с возможностью генерирования функции отображения на основе эталонного изображения с суженным динамическим диапазоном и соответствующего эталонного изображения с расширенным динамическим диапазоном; и
выходной процессор (215), выполненный с возможностью генерирования выходного потока, содержащего кодированное представление с суженным динамическим диапазоном изображения первого вида с расширенным динамическим диапазоном и по меньшей мере одно из данных отображения и остаточных данных изображения с расширенным динамическим диапазоном, причем данные отображения указывают на функцию отображения, а остаточные данные изображения с расширенным динамическим диапазоном представляют различие между изображением первого вида с расширенным динамическим диапазоном и его предсказанием,
отличающееся тем, что:
изображение первого вида с расширенным динамическим диапазоном представляет первый вид видеопоследовательности с множественными видами, при этом устройство кодирования дополнительно содержит:
второй приемник (1201) изображения с HDR, выполненный с возможностью приема изображения второго вида с расширенным динамическим диапазоном, представляющего второй вид упомянутой видеопоследовательности с множественными видами;
средство предсказания (1203) вида, выполненное с возможностью предсказания изображения второго вида с расширенным динамическим диапазоном исходя из изображения первого вида с расширенным динамическим диапазоном с использованием дополнительной функции отображения, при этом средство предсказания вида выполнено с возможностью генерирования дополнительной функции отображения на основе эталонного изображения с расширенным динамическим диапазоном для первого вида и соответствующего эталонного изображения с расширенным динамическим диапазоном для второго вида, при этом
выходной процессор (215) дополнительно выполнен с возможностью включать в выходной поток по меньшей мере одно из дополнительных данных отображения и дополнительных остаточных данных изображения с расширенным динамическим диапазоном, причем дополнительные данные отображения указывают на дополнительную функцию отображения, а дополнительные остаточные данные изображения с расширенным динамическим диапазоном представляют различие между изображением второго вида с расширенным динамическим диапазоном и его предсказанием.1. An encoding device for encoding images with a wide dynamic range (HDR), comprising:
a first HDR image receiver (203) configured to receive an image of the first kind with an extended dynamic range;
prediction means (209) configured to predict an image of a first kind with an extended dynamic range based on a representation with a narrowed dynamic range of an image of a first kind with an extended dynamic range using a display function, wherein the prediction means is configured to generate a display function based on a reference image with a narrowed dynamic range and the corresponding reference image with an extended dynamic range; and
an output processor (215) configured to generate an output stream comprising an encoded representation with a narrowed dynamic range of a first view image with an extended dynamic range and at least one of the display data and residual image data with an extended dynamic range, the display data indicating a function display, and residual image data with an extended dynamic range represent the difference between the image of the first type with extended dynamic range and its prediction,
characterized in that:
an image of the first type with an extended dynamic range represents the first type of a video sequence with multiple views, while the encoding device further comprises:
a second HDR image receiver (1201) configured to receive an image of a second kind with an extended dynamic range representing a second kind of said multiple-view video sequence;
prediction means (1203) of a view configured to predict an image of a second view with an extended dynamic range based on an image of a first view with an extended dynamic range using an additional display function, wherein the view prediction means is configured to generate an additional display function based on a reference image with extended dynamic range for the first view and corresponding reference image with extended dynamic range pazonom second type, wherein
the output processor (215) is further configured to include in the output stream at least one of additional display data and additional residual image data with an extended dynamic range, wherein additional display data indicates an additional display function, and additional residual image data with an extended dynamic range represent the difference between the image of the second type with an extended dynamic range and its prediction.
устройство кодирования дополнительно содержит средство обнаружения изменения сцены для обнаружения того, имело ли место изменение сцены, чтобы определить, что упомянутые предыдущие изображения являются изображениями той же самой сцены, что и изображение первого вида с расширенным динамическим диапазоном и изображение второго вида с расширенным динамическим диапазоном, и
выходной процессор (215) выполнен с возможностью включать упомянутые данные отображения и дополнительные данные отображения в выходной поток в качестве реакции на обнаружение изменения сцены.2. The encoding device according to claim 1, characterized in that the image of the first view with an extended dynamic range and the image of the second view with an extended dynamic range are scene images in the said video sequence with multiple views, wherein said reference image with a narrowed dynamic range, the corresponding reference image with extended dynamic range, reference image with extended dynamic range for the first view and the corresponding reference image with an expanded dynamic range for the second species are the previous images of the scene in said video sequence with multiple modes, wherein:
the encoding device further comprises a scene change detection means for detecting whether a scene change has occurred to determine that said previous images are images of the same scene as a first view image with an extended dynamic range and a second view image with an extended dynamic range, and
the output processor (215) is configured to include said display data and additional display data in the output stream as a reaction to detecting a scene change.
первый приемник (2201) для приема кодированного представления с суженным динамическим диапазоном изображения первого вида с расширенным динамическим диапазоном;
второй приемник (2202) для приема по меньшей мере одного из данных отображения и остаточных данных изображения с расширенным динамическим диапазоном, при этом данные отображения указывают на функцию отображения, предназначенную для предсказания изображения первого вида с расширенным динамическим диапазоном исходя из упомянутого представления с суженным динамическим диапазоном, причем остаточные данные изображения с расширенным динамическим диапазоном представляют различие между изображением первого вида с расширенным динамическим диапазоном и упомянутым предсказанием;
декодер (2204+2205) для получения изображения первого вида с расширенным динамическим диапазоном исходя из декодированного представления с суженным динамическим диапазоном изображения первого вида с расширенным динамическим диапазоном и упомянутого по меньшей мере одного из данных отображения и остаточных данных изображения с расширенным динамическим диапазоном,
отличающееся тем, что:
изображение первого вида с расширенным динамическим диапазоном представляет первый вид видеопоследовательности с множественными видами, при этом устройство декодирования дополнительно содержит:
третий приемник (2203) для приема по меньшей мере одного из дополнительных данных отображения и дополнительных остаточных данных изображения с расширенным динамическим диапазоном, причем дополнительные данные отображения указывают на дополнительную функцию отображения, предназначенную для предсказания изображения второго вида с расширенным динамическим диапазоном исходя из изображения первого вида с расширенным динамическим диапазоном, при этом изображение второго вида с расширенным динамическим диапазоном представляет второй вид упомянутой видеопоследовательности с множественными видами, а дополнительные остаточные данные изображения с расширенным динамическим диапазоном представляют различие между изображением второго вида с расширенным динамическим диапазоном и упомянутым предсказанием; и
декодер (2210) вида для получения изображения второго вида с расширенным динамическим диапазоном на основе изображения первого вида с расширенным динамическим диапазоном и упомянутого по меньшей мере одного из дополнительных данных отображения и дополнительных остаточных данных изображения с расширенным динамическим диапазоном.8. A decoding device for decoding images with an extended dynamic range, comprising:
a first receiver (2201) for receiving an encoded representation with a narrowed dynamic range of a first view image with an extended dynamic range;
a second receiver (2202) for receiving at least one of the display data and the residual image data with an extended dynamic range, wherein the display data indicates a display function for predicting an image of the first kind with an extended dynamic range based on the aforementioned representation with a narrowed dynamic range moreover, the residual image data with a wide dynamic range represent the difference between the image of the first type with a wide dynamic range and said prediction;
a decoder (2204 + 2205) for acquiring an image of the first type with an extended dynamic range based on a decoded representation with a narrowed dynamic range of an image of a first type with an extended dynamic range and said at least one of the display data and residual image data with an extended dynamic range,
characterized in that:
an image of the first view with an extended dynamic range represents the first view of the video sequence with multiple views, while the decoding device further comprises:
a third receiver (2203) for receiving at least one of the additional display data and the additional residual image data with an extended dynamic range, wherein the additional display data indicates an additional display function for predicting an image of the second kind with an extended dynamic range based on the image of the first kind with an extended dynamic range, while the image of the second type with an extended dynamic range represents the second view the said video sequences with multiple views, and the additional residual image data with an extended dynamic range represent the difference between the image of the second type with an extended dynamic range and said prediction; and
a view decoder (2210) for obtaining a second type image with an extended dynamic range based on a first type image with an extended dynamic range and said at least one of the additional display data and the additional residual image data with an extended dynamic range.
прием изображения первого вида с расширенным динамическим диапазоном;
генерирование функции отображения на основе эталонного изображения с суженным динамическим диапазоном и соответствующего эталонного изображения с расширенным динамическим диапазоном;
предсказание изображения первого вида с расширенным динамическим диапазоном исходя из представления с суженным динамическим диапазоном изображения первого вида с расширенным динамическим диапазоном с использованием функции отображения; и
генерирование выходного потока, содержащего кодированное представление с суженным динамическим диапазоном изображения первого вида с расширенным динамическим диапазоном и по меньшей мере одно из данных отображения и остаточных данных изображения с расширенным динамическим диапазоном, причем данные отображения указывают на функцию отображения, а остаточные данные изображения с расширенным динамическим диапазоном представляют различие между изображением первого вида с расширенным динамическим диапазоном и его предсказанием,
отличающийся тем, что:
изображение первого вида с расширенным динамическим диапазоном представляет первый вид видеопоследовательности с множественными видами, при этом способ дополнительно содержит:
прием изображения второго вида с расширенным динамическим диапазоном, представляющего второй вид упомянутой видеопоследовательности с множественными видами;
генерирование дополнительной функции отображения на основе эталонного изображения с расширенным динамическим диапазоном для первого вида и соответствующего эталонного изображения с расширенным динамическим диапазоном для второго вида;
предсказание изображения второго вида с расширенным динамическим диапазоном исходя из изображения первого вида с расширенным динамическим диапазоном с использованием дополнительной функции отображения; и
включение в выходной поток по меньшей мере одного из дополнительных данных отображения и дополнительных остаточных данных изображения с расширенным динамическим диапазоном, причем дополнительные данные отображения указывают на дополнительную функцию отображения, а дополнительные остаточные данные изображения с расширенным динамическим диапазоном представляют различие между изображением второго вида с расширенным динамическим диапазоном и его предсказанием.11. A method of encoding images with an extended dynamic range, comprising:
receiving an image of the first type with an extended dynamic range;
generating a display function based on a reference image with a narrowed dynamic range and a corresponding reference image with an extended dynamic range;
predicting an image of a first view with an extended dynamic range based on a view with a narrowed dynamic range of an image of a first view with an extended dynamic range using a display function; and
generating an output stream comprising an encoded representation with a narrowed dynamic range of the first kind of image with an extended dynamic range and at least one of the display data and residual image data with an extended dynamic range, the display data indicating a display function and the residual image data with an extended dynamic range represent the difference between the image of the first view with an extended dynamic range and its prediction,
characterized in that:
an image of a first view with an extended dynamic range represents the first view of a video sequence with multiple views, the method further comprising:
receiving an image of a second view with an extended dynamic range representing a second view of said multiple-view video sequence;
generating an additional display function based on a reference image with an extended dynamic range for the first view and a corresponding reference image with an extended dynamic range for the second view;
predicting an image of a second view with an extended dynamic range based on an image of a first view with an extended dynamic range using an additional display function; and
the inclusion in the output stream of at least one of the additional display data and the additional residual image data with an extended dynamic range, wherein the additional display data indicates an additional display function, and the additional residual image data with an extended dynamic range represents the difference between a second image with an expanded dynamic range range and its prediction.
прием кодированного представления с суженным динамическим диапазоном изображения первого вида с расширенным динамическим диапазоном;
прием по меньшей мере одного из данных отображения и остаточных данных изображения с расширенным динамическим диапазоном, при этом данные отображения указывают на функцию отображения, предназначенную для предсказания изображения первого вида с расширенным динамическим диапазоном исходя из упомянутого представления с суженным динамическим диапазоном, причем остаточные данные изображения с расширенным динамическим диапазоном представляют различие между изображением первого вида с расширенным динамическим диапазоном и упомянутым предсказанием;
получение изображения первого вида с расширенным динамическим диапазоном исходя из декодированного представления с суженным динамическим диапазоном изображения первого вида с расширенным динамическим диапазоном и упомянутого по меньшей мере одного из данных отображения и остаточных данных изображения с расширенным динамическим диапазоном,
отличающийся тем, что:
изображение первого вида с расширенным динамическим диапазоном представляет первый вид видеопоследовательности с множественными видами, при этом способ дополнительно содержит:
прием по меньшей мере одного из дополнительных данных отображения и дополнительных остаточных данных изображения с расширенным динамическим диапазоном, причем дополнительные данные отображения указывают на дополнительную функцию отображения, предназначенную для предсказания изображения второго вида с расширенным динамическим диапазоном исходя из изображения первого вида с расширенным динамическим диапазоном, при этом изображение второго вида с расширенным динамическим диапазоном представляет второй вид упомянутой видеопоследовательности с множественными видами, а дополнительные остаточные данные изображения с расширенным динамическим диапазоном представляют различие между изображением второго вида с расширенным динамическим диапазоном и упомянутым предсказанием; и
получение изображения второго вида с расширенным динамическим диапазоном на основе изображения первого вида с расширенным динамическим диапазоном и упомянутого по меньшей мере одного из дополнительных данных отображения и дополнительных остаточных данных изображения с расширенным динамическим диапазоном. 12. A method for decoding images with an extended dynamic range, comprising:
receiving an encoded representation with a narrowed dynamic range of an image of the first kind with an extended dynamic range;
receiving at least one of the display data and the extended dynamic range image data, wherein the display data indicates a display function for predicting a first type image with an extended dynamic range based on said view with a narrowed dynamic range, the residual image data with extended dynamic range represent the difference between the first type of image with extended dynamic range and the above redskazaniem;
obtaining a first type image with an extended dynamic range based on a decoded representation with a narrowed dynamic range of the first type image with an extended dynamic range and said at least one of the display data and the residual image data with an extended dynamic range,
characterized in that:
an image of a first view with an extended dynamic range represents the first view of a video sequence with multiple views, the method further comprising:
receiving at least one of the additional display data and the additional residual image data with an extended dynamic range, the additional display data indicating an additional display function for predicting a second type image with an extended dynamic range based on the first type image with an extended dynamic range, this second type image with an extended dynamic range represents the second view of the above video sequence varieties with multiple views, and additional residual image data with a wide dynamic range represent the difference between the image of the second type with a wide dynamic range and said prediction; and
obtaining a second type image with an extended dynamic range based on the first type image with an extended dynamic range and said at least one of the additional display data and the additional residual image data with an extended dynamic range.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP10168565.9 | 2010-07-06 | ||
| EP10168565 | 2010-07-06 | ||
| EP10191709 | 2010-11-18 | ||
| EP10191709.4 | 2010-11-18 | ||
| PCT/IB2011/052970 WO2012004741A1 (en) | 2010-07-06 | 2011-07-05 | Generation of high dynamic range images from low dynamic range images in multi-view video coding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2013104892A RU2013104892A (en) | 2014-10-20 |
| RU2587986C2 true RU2587986C2 (en) | 2016-06-27 |
Family
ID=
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007082562A2 (en) * | 2006-01-23 | 2007-07-26 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | High dynamic range codecs |
| RU2335017C2 (en) * | 2003-07-18 | 2008-09-27 | Майкрософт Корпорейшн | System and method for generating of image with expanded dynamic range out of multiple expositions of movable scene |
| WO2009127231A1 (en) * | 2008-04-16 | 2009-10-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Bit-depth scalability |
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2335017C2 (en) * | 2003-07-18 | 2008-09-27 | Майкрософт Корпорейшн | System and method for generating of image with expanded dynamic range out of multiple expositions of movable scene |
| WO2007082562A2 (en) * | 2006-01-23 | 2007-07-26 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | High dynamic range codecs |
| WO2009127231A1 (en) * | 2008-04-16 | 2009-10-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Bit-depth scalability |
Non-Patent Citations (1)
| Title |
|---|
| Ping Yang and Yun He, Diagonal Interview Prediction for Multiview Video coding, Picture Coding Symposium (PCS), Lisbon, 07 November 2007, section 2-3. * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9098906B2 (en) | Generation of high dynamic range images from low dynamic range images in multiview video coding | |
| US11330242B2 (en) | Multi-view signal codec | |
| EP3338452B1 (en) | Signalling of reshaping functions for coding high dynamic range and wide color gamut sequences | |
| US20130222377A1 (en) | Generation of depth indication maps | |
| KR20180030841A (en) | A system for coding high dynamic range and wide color reproduction sequences | |
| CN104160705B (en) | 3D vision dynamic range coding | |
| EP3308541B1 (en) | System for coding high dynamic range and wide color gamut sequences | |
| RU2587986C2 (en) | Creation of images with extended dynamic range from images with narrow dynamic range | |
| Mantiuk et al. | Perception-inspired high dynamic range video coding and compression | |
| EP4226326A1 (en) | A method and an apparatus for reconstructing an occupancy map of a point cloud frame |