RU2678483C1

RU2678483C1 - Контент-адаптивный перцепционный квантизатор для изображений с высоким динамическим диапазоном

Info

Publication number: RU2678483C1
Application number: RU2017130927A
Authority: RU
Inventors: Ян ФРЁЛИХ; Гуань-Мин СУ; Робин АТКИНС; Скотт ДЕЙЛИ; Джон Скотт МИЛЛЕР
Original assignee: Долби Лэборетериз Лайсенсинг Корпорейшн; Долби Интернэшнл Аб
Priority date: 2015-03-02
Filing date: 2016-03-01
Publication date: 2019-01-29
Also published as: WO2016140954A1; JP6484347B2; CN107409213B; KR20170113608A; US10419762B2; CN107409213A; US20180041759A1; BR112017018893B1; EP3266208B1; EP3266208A1; JP2018509708A; KR101939012B1; BR112017018893A2

Abstract

Изобретение относится к области квантизации изображений. Технический результат – обеспечение улучшенной перцепционной квантизации изображений с высоким динамическим диапазоном. Способ перцепционной квантизации изображений содержит этапы, на которых получают процессором доступ к входному изображению с входной глубиной цвета; применяют к входному изображению процесс формирования шумовой маски для формирования изображения шумовой маски; формируют гистограмму шумовой маски на основе входного изображения и изображения шумовой маски; применяют функцию отношения уровня маскирующего шума к глубине цвета для одного или более интервалов гистограммы шумовой маски с целью формирования значений минимальной глубины цвета для одного или более интервалов; формируют функцию сопоставления кодового слова на основе значений входной глубины цвета, минимальной глубины цвета и целевой глубины цвета; и применяют функцию сопоставления кодового слова к входному изображению для формирования выходного изображения с целевой глубиной цвета, которая ниже входной глубины цвета. 4 н. и 18 з.п. ф-лы, 10 ил.

Description

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Данная заявка испрашивает преимущество приоритета по предварительной заявке на патент США № 62/126,925, поданной 2 марта 2015 г., которая включена в настоящий документ путем ссылки во всей своей полноте.

ОБЛАСТЬ ТЕХНИКИ

[0002] Настоящее изобретение в целом относится к изображениям. В частности, вариант осуществления настоящего изобретения относится к контент-адаптивной перцепционной квантизации изображений с высоким динамическим диапазоном.

[0003] ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

[0004] Используемый в настоящем документе термин «динамический диапазон» (ДД) может относиться к способности зрительной системы человека (ЗСЧ) воспринимать диапазон интенсивности (например, освещенность, яркость) на изображении, например от самых темных тонов (темных участков) до самых ярких белых тонов (ярких участков). В этом смысле ДД относится к «отнесенной к сцене» интенсивности. ДД может также относится к способности устройства отображения в достаточной мере или приблизительно воспроизводить диапазон интенсивности определенной ширины. В этом смысле ДД относится к «отнесенной к отображению» интенсивности. Если в любом месте приведенного здесь описания нет явного указания определенного значения для придания конкретного смысла, то следует понимать, что этот термин может использоваться в обоих смыслах, т. е. взаимозаменяемо.

[0005] Используемый в настоящем документе термин «высокий динамический диапазон» (ВДД) относится к ширине ДД, который занимает около 14–15 порядков величины диапазона зрительной системы человека (ЗСЧ). На практике ДД, в котором человек может одновременно воспринимать широкий сегмент диапазона интенсивности, может быть несколько обрезан в зависимости от ВДД. Используемые в настоящем документе термины «улучшенный динамический диапазон» (УДД) или «динамический диапазон зрения» (ДДЗ) могут по отдельности или взаимозаменяемо относится к ДД, который может восприниматься в пределах сцены или изображения зрительной системой человека (ЗСЧ), в том числе за счет движений глаз, способствующих в некоторой степени изменениям адаптации к свету по всей сцене или изображению. Используемый в настоящем документе термин «УДД» может относиться к ДД, который занимает от 5 до 6 порядков величины. Поэтому, хотя УДД, возможно, несколько уже относительно фактической сцены, называемой ВДД, он, тем не менее, представляет большую ширину ДД и тоже может называться ВДД.

[0006] На практике изображения включают в себя один или более компонентов цвета (например, яркость Y и цветность Cb и Cr), при этом каждый компонент цвета представляется с точностью n-бит на пиксель (например, n = 8). При использовании линейного кодирования освещенности изображения с n ≤ 8 (например, цветные 24-битовые изображения JPEG) считаются изображениями стандартного динамического диапазона, тогда как изображения с n > 8 могут рассматриваться как изображения улучшенного динамического диапазона. Изображения УДД и ВДД могут также храниться и распределяться с применением высокоточных (например, 16-битовых) форматов с плавающей запятой, таких как файловый формат OpenEXR, разработанный компанией Industrial Light and Magic.

[0007] Эталонная электрооптическая передаточная функция (ЭОПФ) для данного дисплея характеризует взаимосвязь между значениями цвета (например, освещенностью) входного видеосигнала и значениями цвета экрана вывода (например, освещенностью экрана). Например, рекомендация ITU Rec. ITU-R BT. 1886, «Reference electro-optical transfer function for flat panel displays used in HDTV studio production», (03/2011), которая включена в настоящий документ путем ссылки во всей своей полноте, определяет эталонную ЭОПФ для плоскопанельных дисплеев, основанную на измеряемых характеристиках катодно-лучевой трубки (КЛТ). В условиях видеопотока информация об ЭОПФ обычно встраивается в битовый поток в виде метаданных. Используемый в настоящем документе термин «метаданные» относится к любой вспомогательной информации, которая передается как часть кодированного битового потока и помогает декодеру преобразовывать изображение для просмотра. Такие метаданные могут включать в себя, без ограничений, информацию о цветовом пространстве или палитре, эталонные параметры отображения и вспомогательные параметры сигнала вроде тех, которые описаны в настоящем документе.

[0008] Большинство потребительских настольных дисплеев в настоящее время поддерживают освещенность от 200 до 300 кд/м² или нитов. Большинство потребительских ТВЧ работают в диапазоне от 300 до 500 нитов, причем новые модели достигают 1000 нитов (кд/м²). Поэтому такие обычные дисплеи служат типичным образцом более низкого динамического диапазона (НДД), называемого также стандартным динамическим диапазоном (СДД), по сравнению с ВДД или УДД. Поскольку доступность содержимого ВДД растет благодаря достижениям в области оборудования для захвата изображений (например, камеры) и в области дисплеев ВДД (например, профессиональный контрольный монитор PRM-4200 производства компании Dolby Laboratories), содержимое ВДД может быть подвергнуто цветовому грейдингу и отображено на дисплеях ВДД, которые поддерживают более высокие динамические диапазоны (например, от 1000 нитов до 5000 нитов или более). Такие дисплеи можно определить с помощью альтернативных ЭОПФ, которые поддерживают высокую предельную освещенность (например, от 0 до 10 000 нитов). Пример такой ЭОПФ определен в стандарте SMPTE ST 2084:2014 «High Dynamic Range EOTF of Mastering Reference Displays», который включен в настоящий документ путем ссылки во всей своей полноте. В целом, без ограничения, способы настоящего изобретения относятся к любым динамическим диапазонам выше, чем СДД. Авторы настоящего изобретения понимают потребность в улучшенных методиках перцепционной квантизации изображений с высоким динамическим диапазоном.

[0009] Подходы, описанные в этом разделе, представляют собой подходы, которыми могли заниматься, но не обязательно подходы, которые были ранее задуманы или осуществлены. Поэтому, если не указано иное, следует полагать, что любой из подходов, описанных в этом разделе, квалифицируется как относящийся к предшествующему уровню техники просто в силу их включения в этот раздел. Аналогичным образом, проблемы, выявленные в отношении одного или более подходов, не следует считать уже признанными на каком-либо предшествующем уровне техники на основе этого раздела, если не указано иное.

[0010] КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

[0011] Вариант осуществления настоящего изобретения показан посредством примеров, а не посредством ограничения, на фигурах сопроводительных чертежей, на которых номера позиций относятся к аналогичным элементам и которые представляют собой следующее:

[0012] на ФИГ. 1A изображен пример процесса для конвейера доставки видео;

[0013] на ФИГ. 1B изображен пример процесса для сжатия данных с помощью контент-адаптивной квантизации или изменения формы в соответствии с вариантом осуществления настоящего изобретения;

[0014] на ФИГ. 2 изображен пример процесса для контент-адаптивной перцепционной квантизации в соответствии с вариантом осуществления настоящего изобретения;

[0015] на ФИГ. 3 изображен пример процесса для формирования шумовой маски в соответствии с вариантом осуществления настоящего изобретения;

[0016] на ФИГ. 4 изображена основанная на сцене гистограмма шумового маскирования в соответствии с вариантом осуществления настоящего изобретения;

[0017] на ФИГ. 5 изображен пример функции сопоставления, которая сопоставляет уровни шумового маскирования с требуемой глубиной цвета сигнала в соответствии с вариантом осуществления настоящего изобретения;

[0018] на ФИГ. 6A и ФИГ. 6B изображены примеры рассчитанных нормализованных распределений кодовых слов в соответствии с вариантами осуществления настоящего изобретения;

[0019] на ФИГ. 6C изображен пример сопоставления адаптивной перцепционной квантизации в соответствии с вариантом осуществления настоящего изобретения; и

[0020] на ФИГ. 7 изображен пример процесса для сопоставления кодового слова в соответствии с вариантом осуществления настоящего изобретения.

ОПИСАНИЕ ПРЕДСТАВЛЕННЫХ В КАЧЕСТВЕ ПРИМЕРА ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0021] В настоящем документе описаны контент-адаптивные методики для перцепционной квантизации изображений с высоким динамическим диапазоном (ВДД). В следующем описании в целях пояснения многочисленные конкретные описания приведены для того, чтобы обеспечить полное понимание настоящего изобретения. Однако будет понятно, что варианты осуществления настоящего изобретения могут быть реализованы без учета таких подробных сведений. В других случаях во избежание излишнего затруднения понимания настоящего изобретения хорошо известные структуры и устройства не описаны в исчерпывающих подробностях.

Общее описание

[0022] Примеры вариантов осуществления, описанные в настоящем документе, относятся к адаптивной перцепционной квантизации изображений. Процессор контент-адаптивного квантизатора принимает входное изображение с входной глубиной цвета. К входному изображению применяется процесс формирования шумовой маски для создания изображения шумовой маски, которое характеризует каждый пиксель входного изображения с точки зрения его значимости для восприятия. На основе входного изображения и изображения шумовой маски формируется гистограмма шумовой маски. К гистограмме шумовой маски применяется функция отношения уровня маскирующего шума к глубине цвета, чтобы сформировать значения минимальной глубины цвета для каждого интервала гистограммы шумовой маски. На основе значений входной глубины цвета, целевой глубины цвета и минимальной глубины цвета формируется функция сопоставления кодового слова. К входному изображению применяется функция сопоставления кодового слова, чтобы сформировать выходное изображение с целевой глубиной цвета, которая ниже входной глубины цвета.

[0023]

Пример конвейера обработки доставки видео

[0024] На ФИГ. 1A изображен пример процесса обычного конвейера (100) доставки видео, показывающий различные стадии — от захвата видео до отображения видеоконтента. С помощью блока (105) формирования изображения захватывается или создается последовательность видеокадров (102). Видеокадры (102) могут быть захвачены в цифровом виде (например, с помощью цифровой камеры) или сформированы компьютером (например, с помощью компьютерной анимации) для обеспечения видеоданных (107). В альтернативном варианте осуществления видеокадры (102) могут быть захвачены на пленку пленочной камерой. Для обеспечения видеоданных (107) пленка преобразуется в цифровой формат. На фазе (110) производства видеоданные (107) редактируют для обеспечения производственного потока (112) видео.

[0025] Затем видеоданные производственного потока (112) поступают в процессор блока (115) для постпроизводственного редактирования. Блок (115) постпроизводственного редактирования может включать в себя регулировку или изменение цветов или яркости в определенных областях изображения для улучшения качества изображения или достижения конкретного внешнего вида изображения в соответствии с творческими намерениями создателя видео. Иногда это называют «цветоустановкой» или «цветовым грейдингом». Чтобы получить окончательную версию (117) продукции для тиражирования, в блоке (115) может быть выполнено другое редактирование (например, выбор сцены и задание последовательности, обрезание изображения, добавление сформированных компьютером специальных эффектов и т. д.) Во время постпроизводственного редактирования (115) видеоизображения просматривают на контрольном дисплее (125).

[0026] После постпроизводства (115) видеоданные конечной продукции (117) могут быть доставлены в блок (120) кодирования для подачи далее по цепочке на устройства декодирования и воспроизведения, такие как телевизионные приемники, телеприставки, кинотеатры и т. п. В некоторых вариантах осуществления блок (120) кодирования может включать в себя аудио- и видеокодеры, например определяемые форматами передачи ATSC, DVB, DVD, Blu-Ray и т. д., для формирования кодированного битового потока (122). В приемнике кодированный битовый поток (122) декодируется блоком (130) декодирования для формирования декодированного сигнала (132), который идентичен сигналу (117) или является его хорошим приближением. Приемник может быть подсоединен к целевому дисплею (140), характеристики которого могут абсолютно отличаться от характеристик контрольного дисплея (125). В этом случае можно использовать блок (135) управления отображением для сопоставления динамического диапазона декодированного сигнала (132) и характеристик целевого дисплея (140) путем формирования сопоставленного дисплею сигнала (137).

[0027] Квантизация сигнала

[0028] В настоящее время большинство цифровых интерфейсов для передачи видео, таких как последовательный цифровой интерфейс (Serial Digital Interface, SDI), ограничено 12 битами на пиксель в расчете на компонент. Более того, большинство стандартов сжатия, таких как H.264 (или AVC) и H.265 (или HEVC), ограничено 10 битами на пиксель в расчете на компонент. Поэтому для поддержки контента ВДД с динамическим диапазоном от приблизительно 0,001 до 10 000 кд/м² (или нитов) в рамках существующих инфраструктур и стандартов сжатия требуется эффективное кодирование и/или квантизация.

[0029] Используемый в настоящем документе термин «ПК» означает перцепционную квантизацию амплитуды яркости. Зрительная система человека реагирует на повышение уровней освещенности весьма нелинейным образом. На способность человека видеть стимул влияют освещенность этого стимула, размер стимула, пространственные частоты, составляющие стимул, и уровень освещенности, к которому адаптировались глаза в конкретный момент времени при просмотре стимула. В предпочтительном варианте осуществления функция перцепционного квантизатора сопоставляет линейные входные уровни серого с выходными уровнями серого, которые лучше соответствуют порогам контрастной чувствительности зрительной системы человека. Примеры функций сопоставления ПК (или ЭОПФ) описаны в стандарте SMPTE ST 2084:2014 «High Dynamic Range EOTF of Mastering Reference Displays», который включен в настоящий документ путем ссылки во всей своей полноте, где с учетом фиксированного размера стимула для каждого уровня освещенности (т. е. уровня стимула) минимальный видимый шаг контраста при этом уровне освещенности выбирают в соответствии с наиболее чувствительным уровнем адаптации и наиболее чувствительной пространственной частотой (согласно моделям ЗСЧ). По сравнению с обычной гамма-кривой, которая представляет кривую реакции физического устройства с катодно-лучевой трубкой (КЛТ) и в то же время может иметь очень грубое сходство с тем, как реагирует зрительная система человека, кривая ПК имитирует фактическую зрительную реакцию зрительной системы человека с помощью относительно простой функциональной модели.

[0030] Например, согласно стандарту SMPTE ST 2084, при 1 кд/м² одно значение 12-битового кода соответствует относительному изменению приблизительно на 0,0048 кд/м²; однако при 1000 кд/м² одно значение 12-битового кода соответствует относительному изменению приблизительно на 2,24 кд/м². Эта нелинейная квантизация необходима для приспособления к нелинейной контрастной чувствительности зрительной системы человека (ЗСЧ).

[0031] Другой пример перцепционно-квантизированной ЭОПФ представлен в документе «Chromaticity based color signals for wide color gamut and high dynamic range», by J. Stessen et al., ISO/IEC JTC1/SC29/WG11 MPEG2014/M35065, Oct. 2014, который включен в настоящий документ путем ссылки во всей своей полноте.

[0032] Контрастная чувствительность ЗСЧ зависит не только от освещенности, но также и от характеристик маскирования содержимого изображения (в особенности от шума и текстуры), как и от состояния адаптации ЗСЧ. Другими словами, из-за артефактов квантизации, обусловленных текстурой и шумовой маской, в зависимости от уровня шума или характеристик текстуры изображения содержимое изображения может быть квантизировано с более крупными шагами квантизации по сравнению с предполагаемыми ПК или гамма-квантизаторами. Квантизация ПК описывает лучшее, что может сделать ЗСЧ, и что имеет место при отсутствии шума или маскирования на изображении. Тем не менее на многих изображениях (кадрах видео) присутствует значительное маскирование.

[0033] Для повышения уровня квантизации и получения возможности представления изображений ВДД при 10 или менее битах на компонент цвета, помимо шума и маскирования текстуры, могут быть также учтены другие характеристики зрительного поведения, такие как блики оптической системы и локальная адаптация. Используемые в настоящем документе термины «контент-адаптивная ПК» или «адаптивная ПК», для краткости, означают способы адаптивного регулирования перцепционно квантизированных изображений на основе их содержимого.

[0034] На ФИГ. 1B изображен пример процесса для адаптивной ПК в соответствии с вариантом осуществления. При наличии входных кадров (117) блок (150) прямого изменения формы анализирует вход и ограничения кодирования, затем формирует функции сопоставления кодового слова, которые сопоставляют входные кадры (117) и повторно квантизированные выходные кадры (152). Например, вход (117) может быть гамма-кодированным или ПК-кодированным в соответствии с определенной ЭОПФ. В некоторых вариантах осуществления информация о процессе изменения формы может сообщаться расположенным далее по цепочке устройствам (таким как декодеры) с помощью метаданных. После кодирования (120) и декодирования (130) декодированные кадры (132) могут быть обработаны блоком (160) обратного изменения формы, который преобразовывает повторно квантизированные кадры (132) обратно в исходный домен ЭОПФ (например, гамма или ПК) для дальнейшей обработки далее по цепочке, такой как процесс (135) управления отображением, обсужденный ранее. В некоторых вариантах осуществления функция (160) обратного изменения формы может быть объединена с деквантизатором в декодере (130), например, как часть деквантизатора в видеодекодере AVC или HEVC.

[0035] Адаптивная ПК

[0036] На ФИГ. 2 изображен пример процесса для контент-адаптивной перцепционной квантизации в соответствии с вариантом осуществления настоящего изобретения. Как показано на ФИГ. 2, при наличии последовательности изображений (например, видеокадров) (117) блок (205) используется для формирования шумовой маски с целью создания изображения шумовой маски, которое характеризует каждый пиксель входного изображения с точки зрения его значимости для восприятия. На этапе (210) изображение шумовой маски в сочетании с исходными данными изображения используется для формирования гистограммы шумовой маски. Блок (215) оценивает число минимальных битов, необходимых для каждого интервала гистограммы, сформированной на этапе (210), и, наконец, блок (220) кодирования кодового слова рассчитывает функцию сопоставления для преобразования входного сигнала (117) в его квантизированный выходной сигнал. Каждый из этих этапов описан более подробно далее.

[0037] Формирование шумовой маски

[0038] Основная идея адаптивной ПК состоит в распределении меньшего числа битов в областях изображения с наличием шума или высокой текстуры и большего числа битов в областях изображения, которые воспринимаются как не содержащие шума или более гладкие. При наличии входного изображения (117) блок (205) формирования шумовой маски создает и оценивает маскирующий шум для каждого пикселя изображения. В некоторых вариантах осуществления вход (117) может быть уже кодированным с помощью гамма- или ПК-квантизатора. В некоторых вариантах осуществления входное изображение (117) может быть в линейном пространстве. На ФИГ. 3 изображен пример процесса формирования шумовой маски в соответствии с вариантом осуществления. Некоторые другие варианты осуществления могут формировать шумовые маски с применением известных в данной области техники альтернативных способов измерения локальной энтропии изображений, таких как фильтрация по энтропии методом скользящего окна, фильтрация по стандартному отклонению методом скользящего окна или фильтрация по диапазону методом скользящего окна.

[0039] Пусть

— это p-й пиксель подвергающегося квантизации компонента цвета (например, освещенности) в j-ом кадре входной последовательности (117), нормализованный относительно [0 1). Пусть

и

— это минимальное и максимальное значения пикселя в этом кадре, или

[0040]

,

[0041]

. (1)

[0042] Как показано на ФИГ. 3, в блоке (305) к кадру I_j изображения применяется первый фильтр нижних частот. В варианте осуществления этот фильтр имитирует характеристики зрительной системы человека. В зависимости от имеющихся вычислительных возможностей этот фильтр может меняться от очень простого фильтра, вроде прямоугольного фильтра или фильтра Гаусса, до более сложных групп фильтров, например реализующих преобразование Cortex. В варианте осуществления первый фильтр может быть двухмерным фильтром Гаусса

с опорным диапазоном r_L и дисперсией

(например, r_L = 9 и

= 3 или r_L = 33 и

= 4). Тогда его выход (L) можно выразить как

[0043]

, (2)

[0044] где символ

обозначает свертку. Учитывая выход первого фильтра, высокочастотные компоненты входного кадра могут быть выделены в блоке (310) как

[0045]

. (3)

Затем выход блока (310) может быть отфильтрован еще раз вторым фильтром нижних частот (315), чтобы сформировать шумовую маску (H). Это делается для удовлетворения точности низкой фазы маскирования ЗСЧ (то есть в нулевых пересечениях маскирующего сигнала все еще присутствует маскирование). В варианте осуществления второй ФНЧ может также быть фильтром Гаусса с опорным диапазоном r_H и дисперсией

(например, r_H = 9,

= 3). Тогда шумовую маску (H) можно выразить как

. (4)

[0046] В варианте осуществления параметры первого и второго фильтров нижних частот могут быть одинаковыми. В предпочтительном варианте осуществления с целью улучшения эффективности вычислений первый и второй фильтры нижних частот выполнены с возможностью отделения. В варианте осуществления может быть использован дополнительный блок (320) для распознавания пикселей H_jp, которые можно игнорировать в последующей обработке, так как они могут вносить систематическую ошибку в процесс адаптивной квантизации. Например, если изображение включает в себя рамку «почтовый ящик» (то есть черные пиксели, которые могут обрамлять исходное изображение, чтобы оно удовлетворяло определенному размеру кадра или соотношению сторон), то относящиеся к почтовому ящику пиксели можно игнорировать. Значения, относящиеся к границам изображения или границам почтового ящика, тоже можно игнорировать, так как выход фильтров нижних частот предполагает, что данные на этих границах заполняются постоянными значениями, которые будут генерировать более низкие значения шума. Пусть Ω_j — это набор всех действительных рассматриваемых пикселей, тогда конечную выходную шумовую маску (322) можно выразить как

[0047]

. (5)

[0048] Формирование гистограммы шумовой маски

[0049] Пусть B_I — это глубина цвета входного изображения (117) (например, B_I = 16), и пусть

, тогда динамический диапазон от 0 до K - 1 можно разбить на M интервалов с равными значениями интервалов пикселей W, то есть W = K / M. В варианте осуществления для j-го кадра можно сформировать гистограмму шума b_j(m), где m — m-й интервал гистограммы (m = 0, 1, 2,…M - 1), следующим образом.

[0050] a) В исходном изображении определить все пиксели (

) со значениями пикселя в диапазоне

.

[0051] b) Среди этих пикселей выбрать минимальный H_j(i), поскольку, как описано ранее, вертикальная проекция маскирования не является двухмерной картой.

[0052] Или учитывая, что

[0053]

,

[0054]

. (6)

[0055] Отметим, что иногда определенные интервалы могут быть пустыми, так как в диапазоне пикселей этого интервала могло не оказаться никаких пикселей изображения. Индексы этих интервалов можно отметить, и их состояние рассмотрим позже.

[0056] Значения адаптивной ПК могут быть скорректированы на уровне кадра или на уровне сцены. Используемые в настоящем документе термины «сцена» или «снимок» для видеопоследовательности могут относиться к серии последовательных кадров в видеосигнале, совместно использующих похожие характеристики цвета и динамического диапазона. Ввиду последовательного характера предсказания видео в большинстве форматов сжатия видео, возможно, предпочтительно регулировать параметры квантизации только на границах, которые совпадают с типичными границами видеокодера, такими как смены сцен или новые группы кадров (ГК). Следовательно, при наличии сцены с F кадрами и гистограмм шумового маскирования b_j(m), основанных на кадрах, можно вывести основанную на сцене гистограмму шумового маскирования b(m) как

[0057]

. (7)

[0058] В варианте осуществления в предположении, что верхняя граница шума составляет 1, интервалам шума, для которых не существует значений пикселя на всей сцене, можно присвоить максимально возможное значение уровня шума, равное 1. В некоторых вариантах осуществления отсутствующие интервалы можно также интерполировать по соседним интервалам. Для j = 1, 2,…, F основанные на сцене максимальное и минимальное значения пикселя можно также сформировать как

[0059]

,

[0060]

. (8)

[0061] На ФИГ. 4 изображен пример основанной на сцене гистограммы маскирования шумом в случае сцены ВДД для B_I = 16 и M = 64 интервала. В этом примере темные области включают в себя более высокие уровни маскирующего шума, чем средние тона и яркие участки.

[0062] Расчет глубины цвета на интервал гистограммы

[0063] При наличии уровня шума b_m для каждого интервала в гистограмме шумовой маски следующим шагом будет определение числа битов, которые необходимо распределить каждому интервалу. В варианте осуществления такое сопоставление может быть определено на основании результатов экспериментального исследования с участием пользователей. Например, в одном таком исследовании пользователям показывали для оценки тестовые изображения, квантизированные по различным глубинам цвета, причем перед квантизацией к изображениям добавляли гауссов шум. В качестве примера на ФИГ. 5 изображены результаты исследования с участием пользователей, в котором использовались фильтры Гаусса с r_L = 9 и

= 3. Например, для уровня шумовой маски 2^-10 необходимая глубина цвета составляет 8 бит. Как и ожидалось, ФИГ. 5 показывает, что области изображения с более высокими уровнями маскирующего шума могут достигать полной визуальной прозрачности при меньших глубинах цвета. И наоборот, чем более гладкое изображение, тем большая глубина цвета необходима для точного представления без потерь для восприятия.

[0064] Рассмотрим набор пар данных (

, i = 1, 2, 3,…, N, где для i-го входного уровня шума

было определено (например, с помощью исследований с участием пользователей или иных методик), что соответствующая минимальная глубина цвета равна

. В варианте осуществления эти пары могут быть выражены как функция отношения маскирующего шума к глубине цвета

[0065]

. (9)

[0066] Например, без ограничения, при использовании простой линейной интерполяции для

,

[0067]

. (10)

[0068] В варианте осуществления сопоставление

может быть рассчитано с помощью таблицы подстановки. В варианте осуществления сопоставление (220) кодового слова, возможно, будет удобнее выполнять на основе числа необходимых кодовых слов в пределах интервала гистограммы, а не путем непосредственного использования данных глубины цвета. Этот случай изучен в следующем разделе.

[0069] Формирование сопоставления кодового слова

[0070] Пусть B_T — это целевая глубина цвета для повторно квантизированного сигнала (152) (например, B_T = 10 бит/пиксель в расчете на компонент цвета), тогда выход будет сопоставляться с помощью

кодовых слов. В варианте осуществления диапазон кодовых слов нормализуется по единице, поэтому пусть

[0071]

(11)

[0072] обозначает число нормализованных кодовых слов на интервал m. Например, если Q_m = 9, B_I = 16 и B_T = 10, то D_m = 2^-17.

[0073] Пусть

[0074]

(12)

[0075] обозначает число нормализованных кодовых слов на вход i

, тогда d_i можно считать нижней границей для числа необходимых кодовых слов на входное кодовое слово. Общее число нормализованных кодовых слов для всех входных кодовых слов, D, ограничивается 1, или

[0076]

. (13)

[0077] На ФИГ. 6A изображен пример графика числа нормализованных кодовых слов (d_i (605)), которые рассчитаны для одного видеокадра при B_I = 16 (входные кодовые слова заключаются в пределах от 0 до 65 535). График показывает также число нормализованных кодовых слов при простом усечении с 16 бит либо до 9 наиболее значимых бит (610), либо до 10 наиболее значимых бит (615). Как показано на ФИГ. 6A, простого усечения до 10 бит недостаточно, чтобы удовлетворить требования по глубине цвета для определенных входных пикселей в диапазоне светлых тонов.

[0078] Пусть U = 1 - D — это число неиспользуемых нормализованных кодовых слов. Эти неиспользуемые кодовые слова необходимо переназначить входным кодовым словам в соответствии с заданным критерием. В варианте осуществления, без ограничения, может быть использована любая одна из следующих схем распределения (или их сочетание).

[0079] i) Пропорциональное распределение

[0080] По этому критерию для входа v_L ≤ i ≤ v_H дополнительные слова назначаются на основе существующего распределения, или

[0081]

, (14)

[0082] где

— обновленное число нормализованных значений кодовых слов.

[0083] ii) Распределение с постоянным смещением

[0084] По этому критерию избыточные кодовые слова распределяются равномерно, или для входа v_L ≤ i ≤ v_H,

[0085]

. (15)

[0086] iii) Распределение на основе гистограммы

[0087] Пусть h_i — это гистограмма исходного входного изображения, то есть для v_L ≤ i ≤ v_H h_i = k означает, что среди P пикселей существуют k пикселей со значением i. Тогда по этому критерию кодовые слова назначаются согласно значениям гистограммы, или для входа v_L ≤ i ≤ v_H

[0088]

. (16a)

[0089] В качестве варианта можно разделить входной диапазон на M поддиапазонов (например, для M = 3, черные, средние и светлые тона), и рассчитать гистограмму H_m (m = 1, 2, …, M), обозначающую общее число входных пикселей в m-ом поддиапазоне, тогда для i, принадлежащего m-му поддиапазону пикселей

[0090]

. (16b)

[0091] iv) Распределение на основе скаляра

[0092] Его можно рассматривать как комбинацию основанного на гистограмме распределения (например, рассмотрим гистограмму только с двумя интервалами, один — для темных тонов, другой — для светлых тонов) и распределения с постоянным смещением. Пусть α — это параметр между 0 и 1, означающий относительную важность «темных тонов» в сравнении со «светлыми» тонами, тогда для входа v_L ≤ i ≤ v_H, согласно этому критерию

[0093]

. (17)

[0094] Если U = 0, то перераспределение кодовых слов невозможно. При таком сценарии, который будет обсуждаться также позже, кодер может решить либо увеличить целевую глубину цвета, добавив шум к входному изображению для эффективного сокращения распределения d_i, либо ничего не делать и положиться на декодер и фильтрацию при постобработке для снижения наблюдаемого шума квантизации. Оставшиеся этапы обработки могут быть выполнены непосредственно на данных

; однако в варианте осуществления эти данные могут быть сглажены фильтром нижних частот, например (2N + 1)-отводным усредняющим фильтром, в целях улучшения производительности.

[0095] Пусть

[0096]

= 0 для i < v_L и i > v_H

[0097] и

[0098]

в противном случае, (18)

[0099] где

, k = -N, -N + 1, …, N — коэффициенты фильтра для сглаживающего фильтра (например,

. В варианте осуществления длина этого фильтра достаточно большая, чтобы охватывать по меньшей мере размер двух последовательных интервалов гистограммы шумовой маски (например, N = W). Более крупные фильтры будут сглаживать лучше, но требуют большей вычислительной мощности.

[0100] На ФИГ. 6B изображен пример графика данных

(620), представляющих сглаженные данные

, рассчитанные по схеме распределения с постоянным смещением. В некоторых случаях сумма значений

может превышать 1, следовательно, эти значения необходимо повторно нормализовать, поскольку

[0101]

,

[0102]

. (19)

[0103] Значения s_i должны по-прежнему удовлетворять ограничению нижней границей, а именно:

[0104]

для v_L ≤ i ≤ v_H. (20)

[0105] Если

[0106]

, (21)

[0107] то в j-ом кадре для данного входного пикселя

(i

(0,

- 1) конечное нормализованное повторно квантизированное значение

можно выразить как

[0108]

. (22)

[0109] В варианте осуществления значения FL(i) могут быть сохранены в предварительной рассчитанной таблице подстановки (LUT). В альтернативном варианте осуществления значения

могут быть также сопоставлены с денормализованными значениями в диапазоне от 0 до

- 1. Пример сопоставления (630) FL(i) на основе данных (620) показан на ФИГ. 6C.

[0110] На ФИГ. 7 изображен пример обобщенных этапов процесса (220) сопоставления кодовых слов. При наличии в качестве входных данных требуемой глубины цвета на интервал гистограммы шума (Q_m) (217), входной глубины цвета (B_I) и целевой глубины цвета (B_T) на этапе (705) производится расчет нижней границы нормализованного числа требуемых кодовых слов на ввод I_jp = i согласно уравнению (12). На этапе (710) любые неиспользованные кодовые слова перераспределяются в соответствии с любой из ряда схем перераспределения, например, как описано уравнениями (14–17). Необязательно, на этапе (715) перераспределенные данные

фильтруются (например, см. уравнение (18)) для формирования сглаженного нормализованного числа кодовых слов, которые на этапе (720) используются для формирования конечного сопоставления кодовых слов на основе функции накопительной суммы.

[0111] Адаптивная квантизация на основе кадра

[0112] Как обсуждалось ранее, согласно уравнению (7), в варианте осуществления адаптивная квантизация может основываться на данных гистограммы маскирования шумом, собранных по всем многочисленным кадрам сцены. Сбор данных по всем многочисленным кадрам может вносить значительную задержку, которая может быть неприемлемой в условиях, когда адаптивную квантизацию необходимо выполнять в масштабе реального времени. В другом варианте осуществления сопоставление (или изменение формы) кодовых слов может быть выполнено с использованием данных из первого кадра сцены; однако сопоставление можно периодически корректировать для компенсации небольших колебаний в пределах кадров сцены. Такой процесс описан с помощью псевдокода в таблице 1.

[0113] Таблица 1. Адаптивная квантизация на основе кадра

[0114]

// выберите пороги

,

и

(небольшие числа, например 0,3).

//

= {0};

= K =

;

= -1;

Flag_New_LUT = 1; // Принудительное формирование нового кодового слова

for( j = 0 ; j < F; j ++ ) { // проход по каждому кадру

расчет уровня шума

для кадра j //См. уравнение (6)

получение экстремальных значений (

,

)

получение кривой

для кадра j // См. уравнение (12)

// если требуемая глубина цвета в текущем кадре превышает допуск в текущей LUT

// или мин. либо макс. значение выходит за пределы заданного допустимого отклонения, то

// необходимо создать новую LUT для кодовых слов

if((

) || (

) ){

Flag_New_LUT = 1

}

if(Flag_New_LUT == 1) { // необходимо создать новую LUT

установить нижнее экстремальное значение с допуском

установить верхнее экстремальное значение с допуском

с помощью текущей кривой

построить

построить прямую LUT

// см. уравнение (21)

Flag_New_LUT = 0

}

[0115] Обратное изменение формы

[0116] В некоторых вариантах осуществления может быть применено обратное изменение (160) формы для обращения воздействия прямого изменения (150) формы. В варианте осуществления таблица подстановки для обратной квантизации может быть построена следующим образом.

[0117] a) Для каждого кодового слова в квантизированном домене (s_c) определить все входные слова (v_i), для которых FL(v_i) = s_c. Обозначим эту группу как

; далее следующее.

[0118] b) Построить функцию (BL(s_c) обратного изменения формы как функцию от

.

[0119] Например, в варианте осуществления, без ограничения, BL(s_c) можно построить как среднее значение всех кодовых слов, которые принадлежат

, или

если

> 0,

тогда

[0120]

, (23)

где

— это число элементов во множестве

. Если

= 0 для любых значений s_c, то в варианте осуществления эти значения можно интерполировать из соседних ненулевых значений.

[0121] Альтернативные варианты осуществления

[0122] Как описано ранее, в одном варианте осуществления предлагаемая адаптивная квантизация может быть выполнена перед этапом (120) кодирования (сжатия), чтобы удовлетворить связанные с глубиной цвета ограничения существующих кодеков. После квантизации данные, относящиеся к функции (630) сопоставления изменения формы (например, функции обратного сопоставления), могут быть внедрены как метаданные (например, как коэффициенты многосегментной линейной функции, или полиномиальной функции 2-го порядка, или как таблица подстановки), чтобы обеспечить выполнение декодером обратного сопоставления. Или же, если нет удовлетворительной функции изменения формы, которая может работать в пределах ограничений целевой глубины цвета, в варианте осуществления можно, как известно в данной области техники, добавить шум или псевдослучайный сигал к исходным гладким областям изображения, чтобы улучшить маскирование ошибок квантизации. Такой шум можно добавить в соответствии с выходом этапа (210) формирования гистограммы шумовой маски.

[0123] В некоторых вариантах осуществления процесс контент-адаптивной перцепционной квантизации можно дополнительно адаптировать и корректировать в соответствии с информацией, полученной декодером. Например, если расположенное ниже по цепочке устройство подсоединено к дисплею с датчиками для измерения интенсивности окружающего света или расстояния просмотра, такая информация может быть отправлена вверх по цепочке в кодер с целью корректировки либо фильтров для формирования шумовой маски (205), либо других параметров процесса адаптивной квантизации (например, этапа перераспределения). Например, если окружающий свет сильный, то для темных областей требуется меньше этапов квантизации.

[0124] В некоторых вариантах осуществления вместо выполнения ввода шума или псевдослучайного сигнала на стадии кодера эта операция может быть выполнена в декодере на основе информации метаданных, посланных кодером (например, гистограммы шумовой маски).

[0125] Как будет понятно специалистам в области обработки изображений, предлагаемые методики контент-адаптивной квантизации могут быть применены к самым разным другим приложениям для обработки изображений, которые снижают требования к глубине цвета путем применения аддитивного шума, псевдослучайного сигнала или обрезания битов.

[0126]

Пример реализации компьютерной системы

[0127] Варианты осуществления настоящего изобретения могут быть реализованы с помощью компьютерной системы, систем, выполненных в виде электронных цепей и компонентов, устройства на интегральной схеме (ИС), такого как микроконтроллер, программируемой пользователем вентильной матрицы (ППВМ) или иного выполненного с возможностью конфигурирования или программирования логического устройства (ПЛУ), процессора с дискретным временем или процессора цифровой обработки сигналов (ПЦОС), специализированной интегральной схемы (СИС) и/или аппарата, который включает в себя одну или более таких систем, устройств или компонентов. Компьютер и/или ИС могут выполнять или исполнять команды или управлять командами, относящимися к адаптивной перцепционной квантизации изображений с улучшенным динамическим диапазоном, таким образом, как описано в настоящем документе. Компьютер и/или ИС могут рассчитывать любые из разнообразных параметров или значений, которые относятся к процессам адаптивной перцепционной квантизации, описанным в настоящем документе. Варианты осуществления изображения и видео могут быть реализованы в виде оборудования, программного обеспечения, встроенного программного обеспечения и их различных комбинаций.

[0128] Определенные реализации изобретения включают в себя процессоры вычислительных машин, которые исполняют программные команды, заставляющие процессор выполнять способ настоящего изобретения. Например, один или более процессоров в дисплее, кодер, телеприставка, транскодер и т. п. могут реализовывать способы, относящиеся к адаптивной перцепционной квантизации изображений ВДД, как описано выше, путем исполнения программных команд в памяти для программ, доступной процессорам. Изобретение также может быть выполнено в виде программного продукта. Программный продукт может включать в себя любой нетранзиторный носитель, который содержит набор машиночитаемых сигналов, содержащих команды, исполнение которых процессором данных заставляет процессор данных выполнять способ настоящего изобретения. Согласно изобретению, программные продукты могут быть в любой из самых разных форм. Программные продукты могут включать в себя, например, физический носитель, такой как магнитный накопитель данных, в том числе гибкие дискеты, накопители на жестком диске, оптические накопители данных, в том числе CD ROM, DVD, электронные накопители данных, в том числе ПЗУ, флэш-ОЗУ и т.п. Машиночитаемые сигналы в программном продукте могут быть, необязательно, сжаты или зашифрованы.

[0129] Если не указано иное, при упоминании выше компонента (например, программного модуля, процессора, узла, устройства, схемы и т. д.) ссылку на этот компонент (в том числе ссылку на «средства») следует понимать как включение в качестве эквивалента этого компонента любого компонента, который выполняет функцию описываемого компонента (например, который функционально эквивалентен), включая компоненты, которые не равносильны по структуре описываемой структуре, выполняющей функцию в иллюстрируемых примерах вариантов осуществления изобретения.

[0130]

Эквиваленты, расширения, альтернативы и прочие положения

[0131] Таким образом, описаны примеры вариантов осуществления, которые относятся к эффективной перцепционной квантизации изображений ВДД. В приведенном выше описании варианты осуществления настоящего изобретения были описаны со ссылкой на многочисленные конкретные подробности, которые могут меняться в зависимости от реализации. Поэтому единственным и исключительным указателем того, что представляет собою изобретение и подразумевается заявителями в качестве изобретения, является набор пунктов формулы изобретения, изданных на основе данной заявки, в той конкретной форме, в которой издана эта формула изобретения, включая любое последующее исправление. Любые определения, в явной форме изложенные в настоящем документе для терминов, содержащихся в такой формуле изобретения, имеют преимущественную силу для таких терминов, используемых в формуле изобретения. Таким образом, никакое ограничение, элемент, свойство, характерный признак, преимущество или атрибут, не изложенный в явной форме в формуле изобретения, никоим образом не должен ограничивать объем этой формулы изобретения. Соответственно, описание и графические материалы следует рассматривать в иллюстративном, а не в ограничивающем смысле.

Claims

1. Способ перцепционной квантизации изображений с помощью процессора, при этом способ содержит этапы, на которых:

получают процессором доступ к входному изображению (117) с входной глубиной цвета;

применяют к входному изображению процесс (205) формирования шумовой маски для формирования изображения шумовой маски, при этом изображение шумовой маски характеризует пиксели входного изображения с точки зрения их значимости для восприятия относительно шума квантизации маски;

формируют гистограмму (212) шумовой маски на основе входного изображения и изображения шумовой маски;

применяют функцию (215) отношения уровня маскирующего шума к глубине цвета для одного или более интервалов гистограммы шумовой маски с целью формирования значений минимальной глубины цвета для одного или более интервалов;

формируют функцию (220) сопоставления кодового слова на основе значений входной глубины цвета, минимальной глубины цвета и целевой глубины цвета; и

применяют функцию сопоставления кодового слова к входному изображению для формирования выходного изображения с целевой глубиной цвета, которая ниже входной глубины цвета.

2. Способ по п. 1, в котором процесс формирования шумовой маски содержит этапы, на которых:

применяют первый фильтр (305) к входному изображению для формирования первого фильтрованного изображения (L);

формируют второе изображение путем расчета абсолютного значения разности между входным изображением и первым фильтрованным изображением; и

формируют изображение (H) шумовой маски путем применения второго фильтра ко второму изображению.

3. Способ по п. 2, в котором первый фильтр представляет собой фильтр Гаусса нижних частот.

4. Способ по п. 2, в котором второй фильтр представляет собой фильтр Гаусса нижних частот.

5. Способ по п. 2, дополнительно содержащий этап, на котором

применяют процесс выбора пикселей для изображения шумовой маски с целью устранения пикселей, которые считаются несущественными для процесса квантизации.

6. Способ по п. 1, в котором формирование гистограммы шумовой маски содержит этапы, на которых:

рассчитывают динамический диапазон входного изображения на основе входной глубины цвета;

разбивают динамический диапазон на M поддиапазонов, при этом M является целым числом больше 1;

для i-го поддиапазона:

идентифицируют все пиксели входного изображения, которые имеют значения пикселя в пределах i-го поддиапазона;

для каждого пикселя в i-м поддиапазоне:

определяют его соответствующее значение шумовой маски в изображении шумовой маски;

определяют минимальное из значений шумовой маски для всех пикселей в i-м поддиапазоне; и

назначают i-му интервалу в гистограмме шумовой маски минимальные значения шумовой маски для пикселей в i-м поддиапазоне.

7. Способ по п. 1, в котором входное изображение представляет собой изображение высокого динамического диапазона, кодированное в соответствии с гамма-кодированием или кодированием с перцепционной квантизацией амплитуды яркости (ПК), как определено в стандарте SMPTE ST 2084.

8. Способ по п. 1, в котором функция отношения уровня маскирующего шума к глубине цвета формируется в соответствии с результатами исследования восприятия пользователями.

9. Способ по п. 1, в котором формирование функции сопоставления кодового слова дополнительно содержит этапы, на которых:

формируют нижнюю границу нормализованного числа требуемых кодовых слов в целевой глубине цвета на основе значений минимальной глубины цвета, входной глубины цвета и целевой глубины цвета;

распределяют неиспользованные нормализованные кодовые слова по всему динамическому диапазону входного изображения в соответствии со схемой распределения, чтобы сформировать обновленные нормализованные числа требуемых кодовых слов; и

формируют функцию сопоставления кодового слова путем расчета накопительной суммы обновленных нормализованных чисел требуемых кодовых слов.

10. Способ по п. 9, дополнительно содержащий этап, на котором фильтруют обновленные нормализованные числа требуемых кодовых слов с помощью фильтра нижних частот перед формированием функции сопоставления кодового слова.

11. Способ по п. 10, в котором фильтр нижних частот представляет собой (2N + 1)-отводный усредняющий фильтр, при этом N — положительное целое число.

12. Способ по п. 9, в котором схема распределения представляет собой схему пропорционального распределения, где для i-го значения входного пикселя

,

при этом

обозначает обновленное нормализованное число значений кодовых слов, d _i обозначает нормализованное число требуемых кодовых слов, D обозначает сумму значений d _i и U = 1 - D.

13. Способ по п. 9, в котором схема распределения представляет собой схему распределения с постоянным смещением, где для i-го значения входного пикселя

,

при этом

обозначает обновленное нормализованное число значений кодовых слов, d _i обозначает нормализованное число требуемых кодовых слов, если D обозначает сумму значений d _i, то U = 1 - D, v _H обозначает максимальное значение входного пикселя, а v _L обозначает минимальное значение входного пикселя.

14. Способ по п. 9, в котором схема распределения представляет собой схему распределения на основе гистограммы, где для i-го значения входного пикселя

,

при этом

обозначает обновленное нормализованное число значений кодовых слов, d _i обозначает нормализованное число требуемых кодовых слов, h _i обозначает число пикселей входного изображения со значением, равным i, если D обозначает сумму значений d _i, то U = 1 - D, а P обозначает общее число рассматриваемых пикселей входного изображения.

15. Способ по п. 9, в котором схема распределения представляет собой схему распределения на основе скаляра, где для i-го значения входного пикселя

,

при этом

обозначает обновленное нормализованное число значений кодовых слов, d _i обозначает нормализованное число требуемых кодовых слов, если D обозначает сумму значений d _i, то U = 1 - D, α — это скалярная величина между 0 и 1, v _H обозначает максимальное значение входного пикселя, а v _L обозначает минимальное значение входного пикселя.

16. Способ по п. 9, в котором формирование функции сопоставления кодового слова для значения входного пикселя i содержит расчет

,

при этом значения s _k выводятся на основе обновленного нормализованного числа значений кодовых слов.

17. Способ по п. 16, в котором формирование выходного изображения содержит расчет:

при этом для пикселя I _p = i входного изображения s _p обозначает соответствующий нормализованный квантизированный выходной пиксель, v _H обозначает максимальное значение входного пикселя, а v _L обозначает минимальное значение входного пикселя.

18. Способ по п. 1, в котором значения минимальной глубины цвета рассчитываются на основе значений минимальной глубины цвета, вычисленных по нескольким последовательным кадрам видеосцены, которая включает входное изображение.

19. Способ по п. 9, дополнительно содержащий этап, на котором

в случае определения того, что целевая глубина цвета не может быть удовлетворена за счет этапа распределения, добавляют шум или псевдослучайный сигнал к входному изображению в соответствии с изображением шумовой маски и формируют новую нижнюю границу нормализованного числа требуемых кодовых слов взамен нижней границы нормализованного числа требуемых кодовых слов.

20. Система адаптивной квантизации, содержащая:

процессор для приема входных кадров и формирования повторно квантизированных кадров в соответствии со способом по п. 1;

процессор для кодирования повторно квантизированных кадров для формирования кодированных кадров;

процессор для декодирования кодированных кадров для формирования декодированных кадров; и

процессор для формирования выходных кадров путем применения функции обратного изменения формы к декодированным кадрам.

21. Аппарат для перцепционной квантизации изображений, содержащий процессор и выполненный с возможностью выполнения одного из способов, изложенных в пп. 1–19.

22. Нетранзиторный машиночитаемый носитель данных с хранящейся на нем исполнимой компьютером инструкцией для выполнения способа в соответствии с любым из пп. 1–19.