RU2715017C1 - Устройство кодирования с предсказанием видео, способ кодирования с предсказанием видео, устройство декодирования с предсказанием видео и способ декодирования с предсказанием видео - Google Patents

Устройство кодирования с предсказанием видео, способ кодирования с предсказанием видео, устройство декодирования с предсказанием видео и способ декодирования с предсказанием видео Download PDF

Info

Publication number
RU2715017C1
RU2715017C1 RU2019127396A RU2019127396A RU2715017C1 RU 2715017 C1 RU2715017 C1 RU 2715017C1 RU 2019127396 A RU2019127396 A RU 2019127396A RU 2019127396 A RU2019127396 A RU 2019127396A RU 2715017 C1 RU2715017 C1 RU 2715017C1
Authority
RU
Russia
Prior art keywords
prediction
reference samples
signal
target block
ref
Prior art date
Application number
RU2019127396A
Other languages
English (en)
Inventor
Йосинори СУДЗУКИ
Чоонг Сенг БООН
ТИОУ Кенг ТАН
Original Assignee
Нтт Докомо, Инк.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Нтт Докомо, Инк. filed Critical Нтт Докомо, Инк.
Application granted granted Critical
Publication of RU2715017C1 publication Critical patent/RU2715017C1/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Eye Examination Apparatus (AREA)
  • Optical Measuring Cells (AREA)
  • Picture Signal Circuits (AREA)

Abstract

Изобретение относится к средствам кодирования/декодирования с предсказанием движущего изображения. Техническим результатом является повышение эффективности передачи данных за счет генерации сигнала предсказания внутри изображения. Способ декодирования содержит: этап декодирования для декодирования информации о направлении предсказания внутри изображения целевого блока и данных сжатия остаточного сигнала, этап генерации сигнала предсказания внутри изображения с использованием информации о направлении и ранее реконструированной опорной выборки смежного блока, восстановления остаточного сигнала для восстановления реконструированного остаточного сигнала целевого блока, этап хранения блоков для восстановления и сохранения пиксельного сигнала целевого блока, этап генерации сигнала предсказания, при этом выполняется процесс интерполяции опорных выборок и процесс сглаживания опорных выборок. 2 н.п. ф-лы, 17 ил.

Description

Область техники
[0001] Настоящее изобретение относится к устройству и способу кодирования с предсказанием движущегося изображения и к устройству и способу декодирования с предсказанием движущегося изображения и, более конкретно, к обработке фильтрации соседних выборок для использования в предсказании внутри изображения.
Предшествующий уровень техники
[0002] Технологии кодирования со сжатием используются для эффективной передачи и накопления данных движущихся изображений. Стандарты от MPEG-1 до MPEG-4 и от Н.261 до Н.264 являются широко используемыми технологиями кодирования видео.
[0003] В таких технологиях кодирования видео, обработка кодирования и обработка декодирования выполняются после того, как изображение, подлежащее кодированию, делится на множество блоков. В кодировании с предсказанием внутри изображения, сигнал предсказания генерируют с использованием ранее реконструированного сигнала соседнего изображения (полученного путем восстановления сжатых данных изображения), расположенного в пределах текущего изображения, в которое включен целевой блок, и затем получают разностный сигнал путем вычитания сигнала предсказания из сигнала целевого блока и кодируют. В кодировании с предсказанием между изображений, обращаясь к ранее реконструированному сигналу изображения в пределах изображения, отличного от изображения, в пределы которого включен целевой блок, выполняют компенсацию движения и генерируют сигнал предсказания. Сигнал предсказания вычитают из сигнала целевого блока, чтобы генерировать разностный сигнал, и кодируют разностный сигнал.
[0004] Обычно, в кодировании с предсказанием между изображениями (интер-предсказанием, внешним предсказанием) сигнал предсказания генерируют путем поиска ранее реконструированных изображений для сигнала, сходного с пиксельным сигналом блока, подлежащего кодированию. Вектор движения, который представляет величину пространственного смещения между целевым блоком и областью, образованной найденным сигналом, и остаточный сигнал между пиксельным сигналом целевого блока и сигналом предсказания кодируются. Метод поиска соответствующих блоков для вектора движения таким образом называется проверкой блоков на соответствие.
[0005] Фиг. 10 является схематичной диаграммой для пояснения процесса проверки блоков на соответствие. Здесь процедура для генерации сигнала предсказания описана для примера, в котором изображение 703 включает в себя целевой блок 702, подлежащий кодированию. Опорное изображение 703 было ранее реконструировано. Область 704 расположена в пространственно том же самом положении, где расположен целевой блок 702. В процессе проверки блоков на соответствие определяют область 705 поиска, соседнюю с областью 704, и из пиксельных сигналов в области поиска должна быть определена область 706, которая имеет наименьшую сумму абсолютных разностей из пиксельных сигналов целевого блока 702. Сигнал области 706 становится сигналом предсказания, и величина смещения от области 704 до области 706 определяется как вектор 707 движения. Кроме того, обычно используется способ, в котором множество опорных изображений 703 идентифицируются для каждого целевого блока, выбирается опорное изображение, на котором выполняется проверка блоков на соответствие, и генерируется информация выбора опорного изображения. В Н.264, для того чтобы справиться с локальными изменениями особенностей в изображениях, обеспечивается множество типов предсказания, которые используются с различными размерами блоков каждый для кодирования вектора движения. Типы предсказания согласно Н.264 описаны, например, в патентном документе 2.
[0006] Н.264 также выполняет кодирование с предсказанием внутри изображения (интра-предсказанием, внутренним предсказанием), в котором сигнал предсказания генерируется путем экстраполяции, в предопределенных направлениях, значений ранее реконструированных пикселов, смежных с блоком, подлежащим кодированию. На Фиг. 11 представлена схематичная диаграмма для пояснения предсказания внутри изображения, используемого в ITU H.264. На Фиг. 11(А) целевой блок 802 является блоком, подлежащим кодированию, и пиксельная группа (группа опорных выборок) 801 получена из смежной области, которая включает в себя сигнал изображения, ранее реконструированный в предыдущей обработке, и группа включает в себя пикселы от А до М, смежные с границей целевого блока 802.
[0007] В этом случае сигнал предсказания генерируется путем расширения пиксельной группы (группы опорных выборок) 801 смежных пикселов непосредственно выше целевого блока 802 в направлении вниз. На Фиг. 11(В) сигнал предсказания генерируется путем расширения ранее реконструированных пикселов (от I до L), расположенных слева от целевого блока 804 в направлении вправо. Детальное пояснение для генерации сигнала предсказания приведено, например, в патентном документе 1. Разность от пиксельного сигнала целевого блока вычисляется для каждого из девяти сигналов предсказания, сгенерированных, как показано на Фиг. 11(А)–11(В). Сигнал предсказания, имеющий наименьшее значение разности, выбирается в качестве оптимального сигнала предсказания. Как описано выше, сигналы предсказания (выборки интра-предсказания) могут генерироваться путем экстраполяции пикселов. Описание, приведенное выше, предоставлено в патентном документе 1, указанном ниже.
[0008] Предсказание внутри изображения, показанное в непатентном документе 1, обеспечивает 25 типов способов генерации сигнала предсказания, все из которых выполняются в различных направлениях расширения опорных выборок, в дополнение к 9 типам, описанным выше (всего 34 типа).
[0009] В непатентном документе 1, чтобы подавить искажения в опорных выборках, опорные выборки подвергаются низкочастотной фильтрации, прежде чем будет генерирован сигнал предсказания. Более конкретно, 121-фильтр, имеющий весовые коэффициенты 1:2:1, применяется к опорным выборкам перед процедурой экстраполяции. Эта обработка называется интра-сглаживанием.
[0010] Со ссылкой на Фиг. 7 и 8, описывается предсказание внутри изображения согласно непатентному документу 1. Фиг. 7 показывает пример разделения на блоки. Пять блоков 220, 230, 240, 250 и 260, смежных с целевым блоком 210, который имеет размер N×N выборок, были ранее реконструированы. Для интра-предсказания целевого блока 210, использованы опорные выборки, обозначенные как ref[x] (x=0 до 4N). Фиг. 8 показывает поток процесса интра-предсказания. Во-первых, на этапе 310, опорные выборки ref[x] (x=0 до 4N) извлекаются из памяти, в которую генератор сигнала предсказания для выполнения процесса предсказания внутри изображения сохраняет реконструированные пикселы. На этом этапе некоторые из смежных блоков могут быть не реконструированы из-за порядка кодирования, и все 4N+1 выборок ref[x] могут быть не извлечены. Если это имеет место, пропущенные выборки замещаются выборками, сгенерированными посредством процесса заполнения (значения соседних выборок копируются), при этом подготавливаются 4N+1 опорных выборок. Детали процесса заполнения описаны в непатентном документе 1. Затем, на этапе 320, генератор сигнала предсказания выполняет процесс сглаживания над опорными выборками с использованием 121-фильтра. Наконец, на этапе 330 генератор сигнала предсказания предсказывает сигнал в целевом блоке путем экстраполяции (в направлениях предсказания внутри изображения) и генерирует сигнал предсказания (т.е. выборки интра-предсказания).
Список цитируемых документов
Патентные документы
[0011] Патентный документ 1: Патент США № 6765964
Патентный документ 2: Патент США № 7003035
Непатентные документы
[0012] Непатентный документ 1: B. Bross et al., “High efficiency video coding (HEVC) text specification draft 8”, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-J1003, 10th Meeting: Stockholm, Sweden, 11-20 July, 2012
Сущность изобретения
Техническая задача
[0013] Фиг. 9 показывает пример сигнала, представляющего плоскую область, в которой пиксельные значения являются сходными. Когда исходные пиксельные значения (исходные значения выборок) 410 кодированы грубым квантованием, реконструированные значения (реконструированные значения выборок) 420 в блоке принимают постоянное значение, и ступенчатое искажение появляется на границе 430 блока. Это искажение известно как блоковый шум и обычно устраняется применением фильтра устранения блокового шума к реконструированному изображению. Однако опорная выборка, используемая при предсказании внутри изображения (картинки), является сигналом, подготовленным заранее перед применением процесса фильтрации для удаления блокового шума, так что блоковый шум, остающийся в опорной выборке на границе блока, распространяется на сигнал предсказания (выборки интра-предсказания) целевого блока через предсказание внутри изображения. Блоковый шум, который распространился на сигнал предсказания, не может быть удален посредством процесса устранения блокового шума для реконструированного сигнала и поэтому распространяется непосредственно на группу опорных выборок для следующего целевого блока.
[0014] В непатентном документе 1, 34 различных типа направлений экстраполяции подготовлены в способе экстраполяции предсказания внутри изображения (в направлениях предсказания внутри изображения), так что блоковый шум распространяется при изменении направлений. В результате, множество артефактов оконтуривания формируются в реконструированном сигнале плоской области в изображении. В частности, когда шум распространяется на блок большого размера, артефакты оконтуривания перемещаются по большому блоку, создавая неприятный визуальный эффект.
[0015] 121-фильтр, описанный в разделе, характеризующем предшествующий уровень техники, может эффективно устранять шум в опорных выборках, но не может устранить ступенчатый шум, как показано на Фиг. 9, из-за малого количества отводов.
[0016] Задачей настоящего изобретения является подавить искусственный шум, такой как артефакты оконтуривания, описанные выше.
Решение задачи
[0017] Устройство кодирования с предсказанием движущегося изображения согласно аспекту настоящего изобретения включает в себя средство разделения на блоки для разделения входного изображения на множество блоков, средство генерации сигнала предсказания для генерации с использованием ранее реконструированных опорных выборок, расположенных смежно с целевым блоком, подлежащим кодированию, среди полученных разделением блоков от средства разделения на блоки, сигнала предсказания внутри изображения блока, имеющего высокую корреляцию с целевым блоком. Устройство кодирования с предсказанием движущегося изображения дополнительно включает в себя средство генерации остаточного сигнала для генерации остаточного сигнала между сигналом предсказания целевого блока и пиксельным сигналом целевого блока, средство сжатия остаточного сигнала для сжатия остаточного сигнала, сгенерированного средством генерации остаточного сигнала, средство восстановления остаточного сигнала для генерации реконструированного остаточного сигнала путем восстановления сжатого остаточного сигнала, средство кодирования для кодирования данных сжатия опорного сигнала, и средство хранения блока для восстановления пиксельного сигнала целевого блока путем суммирования сигнала предсказания с реконструированным остаточным сигналом, и сохранение реконструированного пиксельного сигнала целевого блока, подлежащего использованию в качестве опорных выборок. Средство генерации сигнала предсказания выводит опорные выборки из ранее реконструированных блоков, сохраненных в средстве хранения блоков, которые соседствуют с целевым блоком, выбирает две или более ключевых опорных выборки из опорных выборок, выполняет процесс интерполяции между ключевыми опорными выборками для генерации интерполированных опорных выборок, определяет направление предсказания внутри изображения и генерирует сигнал предсказания внутри изображения путем экстраполяции интерполированных опорных выборок на основе определенного направления предсказания внутри изображения. Средство кодирования кодирует информацию о направлении предсказания внутри изображения вместе с данными сжатия остаточного сигнала.
[0018] В устройстве кодирования с предсказанием движущегося изображения, описанном выше, средство генерации сигнала предсказания может избирательным образом выполнять процесс интерполяции опорных выборок или процесс сглаживания опорных выборок, основываясь на сравнении между ключевыми опорными выборками и предопределенным порогом.
[0019] В устройстве кодирования с предсказанием движущегося изображения, описанном выше, опорные выборки могут быть таким опорными выборками, как расположенные на конце группы опорных выборок, и процесс интерполяции может быть процессом билинейной интерполяции, выполняемым над опорными выборками между ключевыми опорными выборками.
[0020] Устройство декодирования с предсказанием движущегося изображения согласно аспекту настоящего изобретения включает в себя средство декодирования для декодирования, из кодированных данных сжатия для множества полученных разделением блоков, информации о направлении предсказания внутри изображения, подлежащей использованию при предсказании внутри изображения целевого блока, подлежащего декодированию, и сжатого остаточного сигнала, средство генерации сигнала предсказания для генерации сигнала предсказания внутри изображения с использованием информации о направлении предсказания внутри изображения и ранее реконструированных опорных выборок, расположенных смежно с целевым блоком, средство восстановления остаточного сигнала для восстановления реконструированного остаточного сигнала целевого блока из сжатого остаточного сигнала и средство хранения блоков для восстановления пиксельного сигнала целевого блока путем суммирования сигнала предсказания с реконструированным остаточным сигналом и сохранения реконструированного пиксельного сигнала целевого блока, подлежащего использованию в качестве опорных выборок. Средство генерации сигнала предсказания получает опорные выборки из ранее реконструированных блоков, сохраненных в средстве хранения блоков, которые соседствуют с целевым блоком, выбирает две или более ключевых опорных выборок из опорных выборок, выполняет процесс интерполяции между ключевыми опорными выборками для генерации интерполированных опорных выборок, и генерирует сигнал предсказания внутри изображения путем экстраполяции интерполированных опорных выборок на основе направления предсказания внутри изображения.
[0021] В устройстве декодирования с предсказанием движущегося изображения, описанном выше, средство генерации сигнала предсказания может избирательно выполнять процесс интерполяции опорных выборок или процесс сглаживания опорных выборок, на основе сравнения между ключевыми опорными выборками и предопределенным порогом.
[0022] В устройстве декодирования с предсказанием движущегося изображения, описанном выше, опорные выборки могут быть такими опорными выборками, как расположенные на конце группы опорных выборок, и процесс интерполяции может быть процессом билинейной интерполяции, выполняемым над опорными выборками между ключевыми опорными выборками.
[0023] Настоящее изобретение может быть осуществлено, как относящееся к способу кодирования с предсказанием движущегося изображения к способу декодирования с предсказанием движущегося изображения, к программе кодирования с предсказанием движущегося изображения и к программе декодирования с предсказанием движущегося изображения и может быть описано следующим образом.
[0024] Способ кодирования с предсказанием движущегося изображения согласно аспекту настоящего изобретения выполняется устройством кодирования с предсказанием движущегося изображения. Способ кодирования с предсказанием движущегося изображения включает в себя этап разделения на блоки для разделения входного изображения на множество блоков, этап генерации сигнала предсказания для генерации, с использованием ранее реконструированных опорных выборок, расположенных смежно с целевым блоком, подлежащим кодированию, среди полученных разделением блоков с этапа разделения на блоки, сигнала предсказания внутри изображения блока, имеющего высокую корреляцию с целевым блоком, этап генерации остаточного сигнала для генерации остаточного сигнала между сигналом предсказания целевого блока и пиксельным сигналом целевого блока, этап сжатия остаточного сигнала для сжатия остаточного сигнала, сгенерированного на этапе генерации остаточного сигнала, этап восстановления остаточного сигнала для генерации реконструированного остаточного сигнала путем восстановления сжатого остаточного сигнала, этап кодирования для кодирования сжатого остаточного сигнала, и этап сохранения блока для восстановления пиксельного сигнала целевого блока путем суммирования сигнала предсказания с реконструированным остаточным сигналом и сохранения реконструированного пиксельного сигнала целевого блока, подлежащего использованию в качестве опорных выборок. На этапе генерации сигнала предсказания опорные выборки получают из ранее реконструированных блоков, которые сохранены и соседствуют с целевым блоком, выбирают две или более ключевых опорных выборки из опорных выборок, выполняют процесс интерполяции между ключевыми опорными выборками для генерации интерполированных опорных выборок, определяют направление предсказания внутри изображения и генерируют сигнал предсказания внутри изображения путем экстраполяции интерполированных опорных выборок на основе определенного направления предсказания внутри изображения. На этапе кодирования кодируют информацию о направлении предсказания внутри изображения вместе с данными сжатия остаточного сигнала.
[0025] Способ декодирования с предсказанием движущегося изображения согласно аспекту настоящего изобретения выполняется устройством декодирования с предсказанием движущегося изображения. Способ декодирования с предсказанием движущегося изображения включает в себя этап декодирования для декодирования, из кодированных данных сжатия для множества полученных разделением блоков, информации о направлении предсказания внутри изображения, подлежащей использованию при предсказании внутри изображения целевого блока, подлежащего декодированию, и сжатого остаточного сигнала, этап генерации сигнала предсказания для генерации сигнала предсказания внутри изображения с использованием информации о направлении предсказания внутри изображения и ранее реконструированных опорных выборок, расположенных смежно с целевым блоком, этап восстановления остаточного сигнала для восстановления реконструированного остаточного сигнала целевого блока из сжатого остаточного сигнала, и этап сохранения блоков для восстановления пиксельного сигнала целевого блока путем суммирования сигнала предсказания с реконструированным остаточным сигналом и сохранения реконструированного пиксельного сигнала целевого блока, подлежащего использованию в качестве опорных выборок. На этапе генерации сигнала предсказания получают опорные выборки из ранее реконструированных блоков, которые сохранены и соседствуют с целевым блоком, выбирают две или более ключевых опорных выборок из опорных выборок, выполняют процесс интерполяции между ключевыми опорными выборками для генерации интерполированных опорных выборок, и генерируют сигнал предсказания внутри изображения путем экстраполяции интерполированных опорных выборок на основе направления предсказания внутри изображения.
[0026] Программа кодирования с предсказанием движущегося изображения в соответствии с аспектом настоящего изобретения побуждает компьютер функционировать как средство разделения на блоки для разделения входного изображения на множество блоков, средство генерации сигнала предсказания для генерации, с использованием ранее реконструированных опорных выборок, расположенных смежно с целевым блоком, подлежащим кодированию, среди полученных разделением блоков от средства разделения на блоки, сигнала предсказания внутри изображения блока, имеющего высокую корреляцию с целевым блоком, средство генерации остаточного сигнала для генерации остаточного сигнала между сигналом предсказания целевого блока и пиксельным сигналом целевого блока, средство сжатия остаточного сигнала для сжатия остаточного сигнала, сгенерированного средством генерации остаточного сигнала, средство восстановления остаточного сигнала для генерации реконструированного остаточного сигнала путем восстановления сжатого остаточного сигнала, средство кодирования для кодирования данных сжатия опорного сигнала, и средство хранения блоков для восстановления пиксельного сигнала целевого блока путем суммирования сигнала предсказания с реконструированным остаточным сигналом и сохранения реконструированного пиксельного сигнала целевого блока, подлежащего использованию в качестве опорной выборки. Средство генерации сигнала предсказания выводит опорные выборки из ранее реконструированных блоков, сохраненных в средстве хранения блоков, которые соседствуют с целевым блоком, выбирает две или более ключевых опорных выборки из опорных выборок, выполняет процесс интерполяции между ключевыми опорными выборками для генерации интерполированных опорных выборок, определяет направление предсказания внутри изображения и генерирует сигнал предсказания внутри изображения путем экстраполяции интерполированных опорных выборок на основе определенного направления предсказания внутри изображения. Средство кодирования кодирует информацию о направлении предсказания внутри изображения вместе с данными сжатия остаточного сигнала.
[0027] Программа декодирования с предсказанием движущегося изображения в соответствии с аспектом настоящего изобретения побуждает компьютер функционировать как средство декодирования для декодирования, из кодированных сжатых данных для множества полученных разделением блоков, информации о направлении предсказания внутри изображения, подлежащей использованию при предсказании внутри изображения целевого блока, подлежащего декодированию, и сжатого остаточного сигнала, средство генерации сигнала предсказания для генерации сигнала предсказания внутри изображения с использованием информации о направлении предсказания внутри изображения и ранее реконструированных опорных выборок, расположенных смежно с целевым блоком, средство восстановления остаточного сигнала для восстановления реконструированного остаточного сигнала целевого блока из сжатого остаточного сигнала, и средство хранения блоков для восстановления пиксельного сигнала целевого блока путем суммирования сигнала предсказания с реконструированным остаточным сигналом и сохранения реконструированного пиксельного сигнала целевого блока, подлежащего использованию в качестве опорных выборок. Средство генерации сигнала предсказания получает опорные выборки из ранее реконструированных блоков, сохраненных в средстве хранения блоков, которые соседствуют с целевым блоком, выбирает две или более ключевых опорных выборок из опорных выборок, выполняет процесс интерполяции между ключевыми опорными выборками для генерации интерполированных опорных выборок и генерирует сигнал предсказания внутри изображения путем экстраполяции интерполированных опорных выборок на основе направления предсказания внутри изображения.
Эффекты изобретения
[0028] С использованием процесса фильтрации, применяемого на опорных выборках посредством билинейной интерполяции в соответствии с настоящим изобретением, сигналы в опорных выборках становятся постепенно изменяющимися с использованием выборок на обоих концах опорных выборок, тем самым подавляя такой искусственный шум как артефакты оконтуривания.
Краткое описание чертежей
[0029] Фиг. 1 – блок-схема, показывающая устройство кодирования с предсказанием движущегося изображения согласно варианту осуществления настоящего изобретения.
Фиг. 2 – блок-схема, показывающая устройство декодирования с предсказанием движущегося изображения согласно варианту осуществления настоящего изобретения.
Фиг. 3 – блок-схема последовательности операций, показывающая способ предсказания внутри изображения согласно варианту осуществления настоящего изобретения.
Фиг. 4 – блок-схема последовательности операций, показывающая другой пример способа предсказания внутри изображения согласно варианту осуществления настоящего изобретения.
Фиг. 5 – диаграмма, показывающая аппаратную конфигурацию компьютера для исполнения программы, сохраненной на носителе записи.
Фиг. 6 – общий вид компьютера для исполнения программы, сохраненной на носителе записи.
Фиг. 7 – диаграмма, иллюстрирующая пример опорных выборок, используемых при предсказании внутри изображения.
Фиг. 8 – блок-схема последовательности операций, показывающая способ предсказания внутри изображения согласно уровню техники.
Фиг. 9 – диаграмма, показывающая соотношение между исходным сигналом и реконструированным сигналом в плоской области.
Фиг. 10 – схематичная диаграмма для пояснения процесса оценивания движения при предсказании внутри изображения.
Фиг. 11 – схематичная диаграмма для пояснения предсказания внутри изображения посредством экстраполяции опорных выборок.
Фиг. 12 – диаграмма, иллюстрирующая другой пример опорных выборок, используемых при предсказании внутри изображения.
Фиг. 13 – блок-схема последовательности операций, иллюстрирующая процесс в генераторе 103 сигнала предсказания на Фиг. 1.
Фиг. 14 - блок-схема последовательности операций, иллюстрирующая процесс в генераторе 208 сигнала предсказания на Фиг. 2.
Фиг. 15 - блок-схема последовательности операций, показывающая еще один пример способа предсказания внутри изображения согласно варианту осуществления настоящего изобретения.
Фиг. 16 – блок-схема, показывающая конфигурацию программы кодирования с предсказанием движущегося изображения.
Фиг. 17 – блок-схема, показывающая конфигурацию программы декодирования с предсказанием движущегося изображения.
Варианты осуществления изобретения
[0030] варианты осуществления изобретения будут описаны ниже со ссылками на Фиг. 1-7 и Фиг. 13-17.
[0031] На Фиг. 1 представлена блок-схема, показывающая устройство 100 кодирования с предсказанием движущегося изображения согласно варианту осуществления настоящего изобретения. Как показано на Фиг. 1, устройство 100 кодирования с предсказанием движущегося изображения включает в себя входной вывод 101, модуль 102 разделения на блоки, генератор 103 сигнала предсказания, память 104 кадров, вычитатель 105, преобразователь 106, квантователь 107, обратный квантователь 108, обратный преобразователь 109, сумматор 110, энтропийный кодер 111, выходной вывод 112, память 113 блоков и контурный фильтр 114. Вычитатель 105, преобразователь 106, квантователь 107 функционируют как «средство кодирования», упоминаемое в пунктах формулы изобретения. Обратный квантователь 108, обратный преобразователь 109, сумматор 110 функционируют как «средство декодирования», упоминаемое в пунктах формулы изобретения. Память 104 кадров функционирует как «средство хранения изображения», и память 113 блоков функционирует как «средство хранения блоков».
[0032] Ниже описываются операции устройства 100 кодирования с предсказанием движущегося изображения, сконфигурированного, как описано выше. Сигнал движущегося изображения, состоящий из множества изображений, вводится на входной вывод 101. Модуль 102 разделения на блоки делит изображение, подлежащее кодированию, на множество участков. В варианте осуществления настоящего изобретения, как показано в примере на Фиг. 7, размер блока не ограничен. Множество размеров и форм блоков могут быть соответственно определены в изображении. Порядок кодирования блоков описан, например, в непатентном документе 1. Затем сигнал предсказания генерируется для участка, подлежащего кодированию (далее упоминается как «целевой блок»). В варианте осуществления согласно настоящему изобретению, используются два типа способов предсказания, а именно, предсказание между изображениями и предсказание внутри изображения. Процесс генерации сигнала предсказания в генераторе 103 сигнала предсказания описан далее со ссылкой на Фиг. 13.
[0033] Вычитатель 105 вычитает сигнал предсказания (в линии L103) из сигнала целевого блока (в линии L102), чтобы генерировать остаточный сигнал. Преобразователь 106 выполняет дискретное косинусное преобразование остаточного сигала. Квантователь 107 квантует каждый коэффициент преобразования. Энтропийный кодер 111 кодирует квантованные коэффициенты преобразования и выводит на выходной вывод 112 кодированные коэффициенты преобразования вместе с информацией предсказания, требуемой для генерации сигнала предсказания.
[0034] Для того чтобы выполнить предсказание внутри изображения или предсказание между изображениями над последующим целевым блоком, сжатый сигнал целевого блока подвергается обратной обработке и декодируется. Более конкретно, квантованные коэффициенты преобразования обратно квантуются посредством обратного квантователя 108 и затем подвергаются обратному дискретному косинусному преобразованию с помощью обратного преобразователя 109, при этом восстанавливается остаточный сигнал. Сумматор 110 суммирует восстановленный остаточный сигнал с сигналом предсказания, посланным по линии L103, чтобы воспроизвести сигнал целевого блока. Сигнал реконструированного блока сохраняется в памяти 113 блоков для предсказания внутри изображения. Реконструированное изображение, сформированное из реконструированного сигнала, сохраняется в памяти 104 кадров, после того как блоковый шум, имеющийся в реконструированном изображении, устраняется контурным фильтром 114.
[0035] Со ссылкой на Фиг. 13 поясняется поток обработки сигнала предсказания, выполняемый в генераторе 103 сигнала предсказания. Сначала, на этапе S302, генерируется информация предсказания, требуемая для предсказания между изображениями. Более конкретно, реконструированное изображение, которое ранее было кодировано и затем реконструировано, используется в качестве опорного изображения. Это опорное изображение подвергается поиску на наличие вектора движения и опорного изображения, которое дает сигнал предсказания с наименьшей разницей относительно целевого блока. В этом случае целевой блок вводится по линии L102, а опорное изображение вводится по линии L104. Множество изображений, ранее закодированных и реконструированных, используются в качестве опорных изображений. Детали этого являются теми же самыми, что и в Н.264, который является обычным методом или способом, показанным в непатентном документе 1.
[0036] На этапе S303 генерируется информация предсказания, требуемая для предсказания внутри изображения. Как показано на Фиг. 7, ранее реконструированные пиксельные значения, пространственно смежные с целевым блоком, используются для генерации сигналов предсказания в множестве направлений интра-предсказания. Затем выбирается направление предсказания (режим интра-предсказания), которое дает сигнал предсказания с наименьшей разницей относительно целевого блока. Здесь генератор 103 сигнала предсказания генерирует сигнал предсказания внутри изображения путем получения ранее реконструированных пиксельных сигналов в пределах того же самого изображения, что и опорные выборки, из памяти 113 блоков по линии L113 и экстраполяции этих сигналов.
[0037] Затем, на этапе S304, способ предсказания для применения к целевому блоку выбирается из предсказания между изображениями и предсказания внутри изображения. Например, выбирается один из методов предсказания, который дает значение предсказания с малой разницей относительно целевого блока. Альтернативно, два метода предсказания могут реально выполняться до конца обработки кодирования, и может быть выбран один, который имеет меньшее значение оценки, вычисленное из соотношения между сформированной величиной кодирования и суммой абсолютных значений кодированных разностных изображений. Информация выбора о выбранном методе предсказания посылается в качестве информации, требуемой для генерации сигнала предсказания, на энтропийный кодер 111 по линии L112 для кодирования и затем выводится с выходного вывода 112 (этап S305).
[0038] Если методом предсказания, выбранным на этапе S306, является предсказание между изображениями, на этапе S307 генерируется сигнал предсказания на основе информации движения (вектора движения и информации об опорном изображении). Сгенерированный сигнал предсказания между изображениями выводится на вычитатель 105 по линии L103. На этапе S308 информация о движении посылается в качестве информации, требуемой для генерации сигнала предсказания, на энтропийный кодер 111 по линии L112 для кодирования и затем выводится с выходного вывода 112.
[0039] Если методом предсказания, выбранным на этапе S306, является предсказание внутри изображения, на этапе S309 генерируется сигнал предсказания на основе режима интра-предсказания. Сгенерированный сигнал предсказания внутри изображения выводится на вычитатель 105 по линии L103. На этапе S310 режим интра-предсказания посылается в качестве информации, требуемой для генерации сигнала предсказания, на энтропийный кодер 111 по линии L112 для кодирования и затем выводится с выходного вывода 112.
[0040] Способ кодирования, используемый в энтропийном кодере 111, может представлять собой арифметическое кодирование или может быть кодированием переменной длины.
[0041] На Фиг. 2 представлена блок-схема устройства 200 декодирования с предсказанием движущегося изображения согласно варианту осуществления настоящего изобретения. Как показано на Фиг. 2, устройство 200 декодирования с предсказанием движущегося изображения включает в себя входной вывод 201, анализатор 202 данных, обратный квантователь 203, обратный преобразователь 204 сумматор 205, генератор 208 сигнала предсказания, память 207 кадров, выходной вывод 206, контурный фильтр 209 и память 215 блоков. Обратный квантователь 203 и обратный преобразователь 204 функционируют как «средство декодирования», упоминаемое в пунктах формулы изобретения. Любое другое средство может быть использовано как средство декодирования. Обратный преобразователь 204 может быть опущен. Память 207 кадров функционирует как «средство хранения изображения», и память 215 блоков функционирует как «средство хранения блоков».
[0042] Ниже описывается работа устройства 200 декодирования с предсказанием движущегося изображения, сконфигурированного, как описано выше. Сжатые данные, которые кодированы со сжатием посредством способа, описанного выше, вводятся с входного вывода 201. Сжатые данные включают в себя остаточный сигнал, полученный путем предсказания и кодирования целевого блока из множества блоков из разделенного изображения, а также информацию, требуемую для генерации сигнала предсказания. Как показано в примере на Фиг. 7, размер блока не ограничен. Множество размеров и форм блоков могут быть соответственно определены в изображении. Порядок декодирования блоков описан, например, в непатентном документе 1. Информация, требуемая для генерации сигнала предсказания, включает в себя информацию выбора метода предсказания и информацию движения (для предсказания между изображениями) и режим интра-предсказания (для предсказания внутри изображения).
[0043] Анализатор 202 данных декодирует остаточный сигнал целевого блока, информацию, требуемую для генерации сигнала предсказания, и параметр квантования для сжатых данных. Обратный квантователь 203 обратно квантует декодированный остаточный сигнал целевого блока на основе параметра квантования (по линии L202. Обратный преобразователь 204 далее выполняет обратное дискретное косинусное преобразование над обратно квантованным остаточным сигналом. В результате реконструируется остаточный сигнал. Затем информация, требуемая для генерации сигнала предсказания, посылается на генератор 208 сигнала предсказания по линии L206. Генератор 208 сигнала предсказания генерирует сигнал предсказания целевого блока на основе информации, требуемой для генерации сигнала предсказания. Процесс генерации сигнала предсказания в генераторе 208 сигнала предсказания описан далее со ссылкой на Фиг. 14. Сгенерированный сигнал предсказания посылается на сумматор 205 по линии L208 и суммируется с реконструированным остаточным сигналом. Сигнал целевого блока, таким образом, реконструируется и выводится на контурный фильтр 209 по линии L205 и в то же время сохраняется в памяти 215 блоков для использования для предсказания внутри изображения последующих блоков. Контурный фильтр 209 устраняет блоковый шум из реконструированного сигнала, введенного по линии L205. Реконструированное изображение, в котором устранен блоковый шум, сохраняется в памяти 207 кадров в качестве реконструированного изображения, подлежащего использованию для декодирования и воспроизведения последующих изображений.
[0044] Поток обработки сигнала предсказания, выполняемый в генераторе 208 сигнала предсказания, описан со ссылкой на фиг 14. Сначала, на этапе S402, получают метод предсказания, декодированный анализатором 202 данных.
[0045] Если декодированный метод предсказания является предсказанием внутри изображения (этап S403), то получают информацию движения (вектор движения и информацию опорного изображения), декодированную анализатором 202 данных (этап S404). Обращаются к памяти 207 кадров на основе информации движения, чтобы получить опорный сигнал из множества опорных изображений, и генерируют сигнал предсказания (этап S405).
[0046] Если декодированный метод предсказания представляет собой предсказание внутри изображения (этап S403), то получают режим интра-предсказания, декодированный анализатором 202 данных (этап S406). Обращаются к памяти 215 блоков, чтобы получить ранее реконструированные пиксельные сигналы, расположенные смежно с целевым блоком, в качестве опорных выборок, и генерируют сигнал предсказания на основе режима интра-предсказания (этап S407). Сгенерированный сигнал предсказания выводится на сумматор 205 по линии L208.
[0047] Способ декодирования, используемый в анализаторе 202 данных, может представлять собой арифметическое декодирование или может быть декодированием переменной длины.
[0048] Далее, способ предсказания внутри изображения в варианте осуществления настоящего изобретения описывается со ссылками на Фиг. 3 и Фиг. 7. Более конкретно, описываются детали этапа S309 на Фиг. 13 и этапа S407 на Фиг.14, которые включают в себя способ оценивания выборок интра-предсказания в целевом блоке путем экстраполяции на основе режима интра-предсказания с использованием опорных выборок, полученных из памяти 113 блоков на Фиг. 1 или памяти 215 блоков на Фиг. 2.
[0049] В настоящем изобретении, чтобы подавить шум, такой как артефакты оконтуривания, описанные в разделе, относящемся к технической задаче, процесс билинейной интерполяции применяется к группе опорных выборок, используемых при предсказании внутри изображения, по отношению к блоку, который имеет артефакты оконтуривания. Появление ступенчатого шума на границе блока группы опорных выборок подавляется путем обеспечения плавного изменения сигнала группы опорных выборок.
[0050] Процесс билинейной интерполяции, применяемый к группе опорных выборок, описан со ссылкой на Фиг. 7. Когда целевой блок 210 имеет размер блока N×N выборок, смежная группа 270 опорных выборок из 4N+1 опорных выборок (ref[x] (x=0 до 4N) формируется с использованием ранее реконструированных сигналов, принадлежащих к пяти ранее реконструированным блокам 220, 230, 240, 250 и 260. В настоящем варианте осуществления, три опорных выборки, расположенных на концах группы 270 опорных выборок, а именно, нижняя левая опорная выборка BL=ref[0] и верхняя правая опорная выборка AR=ref[4N] и верхняя левая опорная выборка AL=ref[2N], расположенные в центре группы 270 опорных выборок и сверху слева от целевого блока, определяются как ключевые опорные выборки билинейной интерполяции. Здесь 4N+1 опорных выборок интерполируются следующим образом.
ref’[0]=ref[0] (1)
ref’[i]=BL+(i*(AL-L)+N)/2N (i=1 до 2N-1) (2)
ref’[2N]=ref[2N] (3)
ref’[2N+i]=AL+(i*(AR-AL)+N)/2N (i=1 до 2N-1) (4)
ref’(4N)=ref[4N] (5),
где ref’[x] (x=0 до 4N) представляет значения интерполированных опорных выборок. Уравнения (2) и (4) могут быть преобразованы в уравнения (2)’ и (4)’, соответственно
ref’[i]=((2N-i)*BL+i*AL+N)/2N (i=1 до 2N-1) (2)’
ref’[2N+i]=((2N-i)*AL+i*AR+N)/2N (i=1 до 2N-1) (4)’
[0051] Значения опорных выборок между BL и AL генерируются с помощью ключевых опорных выборок BL и AL путем билинейной интерполяции, и значения опорных выборок между AL и AR генерируются с помощью ключевых опорных выборок AL и AR путем билинейной интерполяции, приводя в результате к тому, что уровни интерполированных значений опорных выборок сделаны плавно изменяющимися. В результате, блоковый шум в сигнале предсказания может быть подавлен.
[0052] Затем, критерии для определения того, следует ли применять билинейную интерполяцию к опорным выборкам, описываются с использованием Фиг. 7. В настоящем варианте осуществления, определение выполняется с использованием трех ключевых опорных выборок и двух опорных выборок на границе блока и двух порогов. THRESHOLD_ABOVE и THRESHOLD_LEFT являются порогами, используемыми в определении, следует ли применять билинейную интерполяцию к опорным выборкам ref[x] (x=2N+1 до 4N-1) в верхней позиции и опорным выборкам ref[x] (x=1 до 2N-1) в левой позиции, соответственно, относительно целевого блока. Билинейная интерполяция применяется к опорной выборке, которая удовлетворяет критериям определения.
[0053] В настоящем варианте осуществления используются критерии определения, изложенные ниже. Interpolate_Above и Interpolate_Left в двух уравнениях, приведенных ниже, являются булевыми значениями. Если правая сторона удовлетворяется, то справедливо «истинно» (1), и билинейная интерполяция применяется. Если правая сторона не удовлетворяется, то справедливо «ложно» (0), и применяется интра-сглаживание посредством обычного 121-фильтра.
Interpolate_Left=abs(BL+AL-2*ref[N])<THRESHOLD_LEFT (6)
Interpolate_Above=abs(AL+AR-2*ref[3N])<THRESHOLD_ABOVE (7)
Когда значения BL, AL и ref[3N] находятся на прямой линии, значение BL+AL-2*ref[N] равно нулю. Аналогичным образом, когда значения AL, AR и ref[3N] находятся на прямой линии, значение AL+AR-2*ref[3N] также равно нулю. Иными словами, два уравнения, приведенные выше, сравнивают величину отклонения ref[N] от прямой линии, соединяющей BL и AL, и величину отклонения ref[3N] от прямой линии, соединяющей Al и AR, с соответствующими порогами. Если вычисленные два отклонения меньше, чем соответствующий порог THRESHOLD_ABOVE или THRESHOLD_LEFT, булево значение (Interpolate_Above или Interpolate_Left) является истинным, и билинейная интерполяция применяется к опорной выборке. В уравнениях (6) и (7) abs(x) вычисляет абсолютное значение х.
[0054] Значения двух порогов (THRESHOLD_ABOVE и THRESHOLD_LEFT) могут быть предварительно установлены на фиксированные значения или могут кодироваться для каждого кадра или каждого сегмента (слайса), имеющего множество блоков, совместно и декодироваться декодером. Значения двух порогов могут кодироваться для каждого блока и декодироваться декодером. На Фиг. 2 два порога декодируются анализатором 202 данных и выводятся на генератор 208 сигнала предсказания для использования при генерации сигнала предсказания внутри изображения, детализированного ниже согласно Фиг. 3 и фиг 4.
[0055] Фиг. 3 показывает блок-схему последовательности операций процесса оценивания выборок интра-предсказания путем экстраполяции (в направлениях предсказания внутри изображения). Сначала, на этапе S510, генератор сигнала предсказания (103 или 208, ссылочная позиция далее опускается) получает опорные выборки ref[x] (x=0 до 4N), как показано в пиксельной группе 270 на Фиг. 7, из памяти блоков (113 или 215, ссылочная позиция далее опускается). Если смежные блоки еще не были реконструированы, виду порядка кодирования или по другим причинам, и все из 4N+1 выборок не могут быть получены, отсутствующие выборки подставляются с помощью процесса заполнения (копируются значения соседних выборок), причем подготавливается 4N+1 опорных выборок. Детали процесса заполнения описаны в непатентном документе 1. Затем, на этапе 560, два булевых значения Interpolate_Above и Interpolate_Left вычисляются с помощью уравнений (6) и (7).
[0056] Затем, на этапе 520, генератор сигнала предсказания определяет, удовлетворяет ли целевой блок критериям определения для применения билинейной интерполяции. Более конкретно, определяется, является ли размер целевого блока большим, чем предопределенное М, и также определяется, являются ли оба вычисленные Interpolate_Above и Interpolate_Left истинными. Причина того, почему размер блока установлен в качестве критерия определения, состоит в вероятности того, что проблема артефактов оконтуривания возникает в блоке большого размера. Проверка на определение того, является ли размер блока большим, чем большое значение М, помогает избежать выполнения ненужных изменений в опорных выборках.
[0057] Если два критерия определения удовлетворены (размер бока>=M и Interpolate_Above==истинно и Interpolate_Left==истинно), то процесс переходит к этапу 530. Если не удовлетворены, то процесс переходит к этапу 540. На этапе 530 процесс билинейной интерполяции, показанный уравнениями (1)–(5), применяется к опорным выборкам ref[x] (x=0 до 4N). На этапе 540, в соответствии с уравнениями (8) и (9), к опорным выборкам ref[x] (x=0 до 4N) применяется интра-сглаживание посредством 121-фильтра.
ref’[i]=ref[i] (i=0 до 4N) (8)
ref’[i]=(ref[i-1]+2*ref[i]+ref[i+1]+2)/4 (i=1 до 4N-1) (9),
где ref’[x] (x = 0 до 4N) представляет значения сглаженных опорных выборок.
[0058] Наконец, на этапе 550, выборки интра-предсказания целевого блока оцениваются путем экстраполяции (в направлении предсказания внутри изображения) с использованием уже определенного режима интра-предсказания и интерполированных или сглаженных опорных выборок ref’[x] (x=0 до 4N).
[0059] Фиг. 4 далее иллюстрирует детали Фиг. 3 и показывает блок-схему последовательности операций процесса оценивания выборки интра-предсказания посредством экстраполяции (в направлении предсказания внутри изображения) в случае, когда переключение между билинейной интерполяцией и 121-фильтром выполняется отдельно и независимо для левых опорных выборок (ref[x] (x=0 до 2N) и верхних опорных выборок ref[x] (x=2N до 4N). Сначала, на этапе 610, генератор сигнала предсказания (103 или 208, ссылочная позиция далее опускается) получает опорные выборки ref[x] (x=0 до 4N), как показано в пиксельной группе 270 на Фиг. 7, из памяти блоков (113 или 215, ссылочная позиция далее опускается). Если соседние блоки еще не были реконструированы, ввиду порядка кодирования или по другим причинам, и все 4N+1 опорных выборок не могут быть получены, отсутствующие выборки подставляются посредством процесса заполнения (копируются значения смежных выборок), причем подготавливаются 4N+1 опорных выборки. Детали процесса заполнения описаны в непатентном документе 1.
[0060] Затем, на этапе 680, два булевых значения Interpolate_Above и Interpolate_Left вычисляются с помощью уравнений (6) и (7).
[0061] Затем, на этапе 620, генератор сигнала предсказания определяет, удовлетворяет ли целевой блок критериям для применения билинейной интерполяции. Более конкретно, определяется, является ли размер целевого блока большим, чем предопределенное значение М, и также определяется, является ли по меньшей мере одно из вычисленных Interpolate_Above и Interpolate_Left истинным. Если эти два критерия определения удовлетворены (размер блока >= M и Interpolate_Above==истинно или Interpolate_Left == истинно), то процесс переходит к этапу 625. Если не удовлетворены, то процесс переходит к этапу 660. На этапе 660 к группе опорных выборок в соответствии с уравнениями (8) и (9) применяется интра-сглаживание посредством 121-фильтра.
[0062] На этапе 625 определяется, удовлетворяется ли критерий определения, как показано в уравнении (6), для применения билинейной интерполяции для левых опорных выборок. Более конкретно, если Interpolate_Left истинно (1), процесс переходит к этапу 630, и процесс билинейной интерполяции, показанный в уравнениях (1) и (2), применяется к опорным выборкам ref[x] (x=0 до 2N), чтобы генерировать интерполированные опорные выборки ref’[x] (x=0 до 2N). Если критерий определения в уравнении (6) не удовлетворен, процесс переходит к этапу 635, и интра-сглаживание посредством 121-фильтра применяется к левым опорным выборкам ref[x] (x=0 до 2N) на основе уравнений (10) и (11).
ref’[0]=ref[0] (10)
ref’[i]=(ref[i-1]+2*ref[i]+ref[i+1]+2)/4(i=1 до 2N-1) (11),
где ref’[x] (x=0 до 2N) представляет значения сглаженных опорных выборок.
[0063] Наконец, на этапе 640, определяется, удовлетворен ли критерий определения, как показано в уравнении (7), для применения билинейной интерполяции для верхних опорных выборок. Более конкретно, если Interpolate_Above действительно (1), процесс переходит к этапу 650, и процесс билинейной интерполяции применяется к верхним опорным выборкам ref[i] (i=2N+1 до 4N) согласно уравнениям (3), (4) и (5). Если критерий определения в уравнении (7) не удовлетворен, процесс переходит к этапу 655, интра-сглаживание посредством 121-фильтра применяется к верхним опорным выборкам ref[x] (x 2N+1 до 4N) на основании уравнений (12), (13) и (14).
ref’[2N]=ref[2N] (12)
ref’[i]=(ref[i-1]+2*ref[i]+ref[i+1]+2)/4(i=2N+1 до 4N-1) (13)
ref’[4N]=ref[4N] (14),
где ref’[x] (x=2N+1 до 4N) представляет значения сглаженных опорных значений.
[0064] Наконец, на этапе 670, выборки интра-предсказания целевого блока оцениваются путем экстраполяции (в направлении предсказания внутри изображения) с использованием уже определенного режима интра-предсказания и интерполированных или сглаженных опорных выборок ref’[х] (х=0 до 4N). Для экстраполяции, когда линия проецируется на направление интра-предсказания в направлении интерполированных или сглаженных опорных выборок из позиции выборки целевом блоке, подлежащем экстраполяции, используются интерполированные или сглаженные опорные выборки, которые расположены вблизи спроецированной линии.
[0065] Программа кодирования с предсказанием движущегося изображения для побуждения компьютера функционировать как устройство 100 кодирования с предсказанием движущегося изображения, описанное выше, может быть предоставлена на носителе записи. Аналогичным образом, программа декодирования с предсказанием движущегося изображения для побуждения компьютера функционировать как устройство 200 декодирования с предсказанием движущегося изображения, описанное выше, может быть предоставлена на носителе записи. Примеры носителей записи включают в себя носитель записи, такой как USB-память, гибкий диск, CD-ROM, DVD или ROM и полупроводниковую память.
[0066] Например, как показано на Фиг. 16, программа Р100 кодирования с предсказанием движущегося изображения включает в себя модуль Р101 разделения на блоки, модуль Р102 генерации сигнала предсказания, модуль Р103 генерации остаточного сигнала, модуль Р104 сжатия остаточного сигнала, модуль Р105 восстановления остаточного сигнала, модуль Р106 кодирования и модуль Р107 хранения блоков.
[0067] Например, как показано на Фиг. 17, программа Р200 декодирования предсказания движущегося изображения включает в себя модуль Р201 декодирования, модуль Р202 генерации сигнала предсказания, модуль Р203 восстановления остаточного сигнала и модуль Р204 хранения блоков.
[0068] Программа Р100 кодирования с предсказанием движущегося изображения или программа Р200 декодирования предсказания движущегося изображения, сконфигурированная таким образом, сохранена на носителе 10 записи, показанном на Фиг. 5 и Фиг. 6, описанном далее, и исполняется компьютером, описанным ниже.
[0069] Фиг. 5 является диаграммой, показывающей аппаратную конфигурацию компьютера 30 для исполнения программы, сохраненной на носителе записи, и Фиг. 6 является общим видом компьютера 30 для исполнения программы, сохраненной на носителе записи. Компьютер 30, упоминаемый здесь, в широком аспекте включает в себя DVD плеер, телевизионную приставку, мобильный телефон и т.п., которые оснащены CPU для выполнения обработки информации или управления программным обеспечением.
[0070] Как показано на Фиг. 6, компьютер 30 включает в себя считыватель 12, такой как накопитель гибкого диска, накопитель CD-ROM или накопитель DVD, рабочую память (RAM) 14, содержащую резидентную операционную систему, память 16 для сохранения программы, сохраненной на носителе 10 записи, устройство 18 отображения, такое как дисплей, мышь 20 и клавиатуру 22, служащие в качестве устройств ввода, устройство 24 связи для передачи/приема данных и CPU 26 для управления исполнением программы. Когда носитель 10 записи вставлен в считыватель 12, компьютер 30 может получать доступ к программе кодирования с предсказанием движущего изображения, сохраненной на носителе 10 записи, из считывателя 12 и может работать как устройство 100 кодирования с предсказанием движущегося изображения, описанное выше с помощью программы кодирования с предсказанием движущегося изображения. Аналогично, когда носитель 10 записи вставляется в считыватель 12, компьютер 30 может получать доступ к программе декодирования с предсказанием движущегося изображения, сохраненной на носителе 10 записи из считывателя 12 и может работать как устройство 200 декодирования с предсказанием движущегося изображения, описанное выше, с программой декодирования с предсказанием движущегося изображения.
[0071] Настоящее изобретение может принимать следующие модификации:
[0072] (А) Критерии определения для применения билинейной интерполяции
Критерии определения для применения билинейной интерполяции не ограничены методом, описанным в предыдущем варианте осуществления. Например, в предположении, что результат определения для применения интерполяции всегда является истинным, этапы 520, 620, 625 и 640 могут быть опущены. В этом случае процесс интерполяции всегда применяется вместо процесса сглаживания посредством 121-фильтра.
[0073] Режим интра-предсказания может быть добавлен к критериям определения. Например, артефакты оконтуривания на границе блока ослабляются посредством процесса устранения блочного шума, и поэтому результат определения для применения процесса интерполяции может всегда быть ложным, когда направление предсказания процесса экстраполяции является вертикальным или горизонтальным.
[0074] Проверка размера блока может быть исключена из критериев определения. Корреляция размера блока между целевым блоком и смежным блоком может быть использована в качестве критерия определения вместо размера блока целевого блока. Например, на Фиг. 7, размер блока для блока 260, расположенного смежно слева от целевого блока 210, больше, чем целевой блок 210. В этом случае блочный шум не возникает вокруг ref[N]. Когда размер блока смежного блока больше, чем целевой блок в этом способе, критерий определения для применения интерполяции может быть ложным независимо от результата в уравнении (6) или (7). С другой стороны, блоки 230, 240 и 250, расположенные смежно выше целевого блока 210, меньше, чем целевой блок 210. В этом случае применение интерполяции определяется в зависимости от результата уравнения (6) или (7), потому что возможно, что блочный шум возникает вокруг ref[3N] или ref[2N+N/2]. Корреляция в размере блока между целевым блоком и смежным блоком может быть использована в качестве критерия определения вместе с размером блока целевого блока.
[0075] Пороги (THRESHOLD_ABOVE и THRESHOLD_LEFT) в уравнениях (6) и (7) могут быть определены отдельно для разных размеров блоков и форм блоков (различий в горизонтальных и вертикальных размерах блоков) или разных режимов интра-предсказания и могут кодироваться и реконструироваться декодером. Альтернативно, значения THRESHOLD_ABOVE и THRESHOLD_LEFT могут быть установлены на то же самое значение, только одно из которых кодируется и декодируется декодером. В декодере, порог, реконструированный анализатором 202 данных на Фиг. 2, вводится в генератор 208 сигнала предсказания. В генераторе 208 сигнала предсказания значения Interpolate_Above и Interpolate_Left вычисляются на основе введенного порога (этап 560 на Фиг. 3 или этап 680 на Фиг. 4).
[0076] Вместо обеспечения критериев определения на этапах 520, 620, 625 и 640, результат определения может быть включен в битовый поток, подлежащий кодированию и декодированию посредством декодера. В этом случае в генераторе 103 сигнала предсказания на Фиг. 1, значения (0 или 1) Interpolate_Above и Interpolate_Left, два значения, получают на основе размера целевого блока, и результаты уравнения (6) и (7) кодируются как информация предсказания, необходимая для предсказания каждого блока в каждой группе блоков, состоящей из множества блоков. Другими словами, эти значения посылаются на энтропийный кодер 111 по линии L112 для кодирования и затем выводятся с выходного вывода 112. Когда значения (0 или 1) Interpolate_Above и Interpolate_Left получены, корреляция размера блоков между целевым блоком и смежным блоком и режим интра-предсказания, как описано выше, может быть использован.
[0077] В анализаторе 202 данных на Фиг. 2 значения Interpolate_Above и Interpolate_Left декодируются для каждого блока или для каждой группы блоков, состоящей из множества блоков, и вводятся в генератор 208 сигнала предсказания. Эти два значения могут быть отдельно кодированы и декодированы, или два значения могут быть кодированы и декодированы как набор.
[0078] Процесс способа предсказания внутри изображения, выполняемый в генераторе 208 сигнала предсказания на Фиг. 2, описан с использованием Фиг. 15. В этом случае Фиг. 15 заменяет Фиг. 4. На Фиг. 14, на этапе S406, получают значения Interpolate_Above и Interpolate_Left, декодированные совместно с режимом интра-предсказания. Сначала, на этапе 710, генератор сигнала предсказания (103 или 208, ссылочная позиция далее опускается) получает опорные выборки ref[x] (x=0 до 4N), как показано в пиксельной группе 270 на Фиг. 7, из памяти блоков (113 или 215, ссылочная позиция далее опускается). Если смежные блоки еще не были реконструированы, ввиду порядка кодирования или других причин, и все 4N+1 опорные выборки не могут быть получены, отсутствующие выборки подставляются с использованием процесса заполнения (копируются значения смежных выборок), при этом подготавливаются 4N+1 опорных выборок. Детали процесса заполнения описаны в непатентном документе 1.
[0079] Затем, на этапе 790, получают значения Interpolate_Above и Interpolate_Left. На этапе 720 генератор сигнала предсказания определяет, принимает ли Interpolate_Above или Interpolate_Left значение «1». Если оно принимает значение «1», процесс переходит к этапу 725. Если не удовлетворяется, процесс переходит к этапу 760. На этапе 760 интра-сглаживание посредством 121-фильтра применяется к группе опорных выборок с использованием уравнений (8) и(9).
[0080] На этапе 725, если значение Interpolate_Left равно «1», процесс переходит к этапу 730, и процесс билинейной интерполяции, показанный в уравнениях (1) и (2), применяется к опорным выборкам ref[x] (x=0 до 2N), чтобы генерировать интерполированные опорные выборки ref’[x] (x=0 до 2N). Если значение Interpolate_Left равно «0», процесс переходит к этапу 735 и интра-сглаживание посредством 121-фильтра применяется к левым опорным выборкам ref[x] (x=0 до 2N) согласно уравнениям (10) и (11).
[0081] Затем, на этапе 740, если значение Interpolate_Above равно «1», процесс переходит к этапу 750, и процесс билинейной интерполяции применяется к верхним опорным выборкам ref[i] (i=2N+1 до 4N) с использованием уравнений (3), (4) и (5). Если значение Interpolate_Above равно «0», процесс переходит к этапу 755, и интра-сглаживание посредством 121-фильтра применяется к левым опорным выборкам ref[x] (x=2N+1 до 4N) с использованием уравнений (12), (13) и (14).
[0082] Наконец, на этапе 770, выборки интер-предсказания целевого бока оцениваются путем экстраполяции (в направлении предсказания внутри изображения) с использованием декодированного режима интра-предсказания и интерполированных или сглаженных опорных выборок ref’[x] (x=0 до 4N).
[0083] (В) Процесс интерполяции
В описании, приведенном выше, билинейная интерполяция используется в процессе интерполяции. Однако другой процесс интерполяции может быть использован, если шум на границе блока может быть устранен. Например, все опорные выборки могут быть заменены средним значением ключевых опорных выборок. Способ процесса интерполяции может быть изменен в соответствии с размером блока или типом предсказания внутри изображения. Способ процесса интерполяции, подлежащий применению, может быть включен в битовый поток, подлежащий кодированию и декодированию.
[0084] (С) Поток процесса предсказания внутри изображения опорных выборок
Поток процесса оценивания выборок интра-предсказания путем экстраполяции (в направлении предсказания внутри изображения) не ограничен процедурой на Фиг. 4. Например, этапы 625, 630 и 635 и этапы 640, 650 и 655 могут переключаться в их порядке. Уравнение (3) и уравнение (12) могут выполняться не на этапах 650 и 655, а на этапах 630 и 635. Такой процесс приводит в результате к тому, что уравнения (1), (3) и (5) и уравнения (10), (12) и (14) являются теми же самыми, они могут выполняться вместе непосредственно перед этапом 625 (между этапами 620 и 625) или непосредственно после этапов 650 и 655 (между этапом 650 или 655 и этапом 670).
[0085] Критерии определения на этапе 620 могут включать в себя только размер блока. В этом случае уравнение (12) может быть заменено уравнениями (15) и (16), поскольку результат процесса является тем же самым, что и на Фиг. 4.
ref’[2N]=ref[2N]
если Interpolate_Above==истинно||Interpolate_Left==истинно (15)
ref’[2N]=(ref[2N-1]+2*ref[2N]+ref[2N+1]+ )/4 иначе (16),
где ref’[2N] представляет значения сглаженной опорной выборки.
[0086] (D) Размер блока
В описании, приведенном выше, целевой блок является квадратным блоком. Процесс интерполяции для опорных выборок согласно настоящему изобретению может быть применен к неквадратному блоку. Пример целевого блока 290 с размером блока Nx2N показан на Фиг. 12. В этом случае число ref[x] есть 3N+1.
[0087] (Е) Ключевая опорная выборка
В описании, приведенном выше, три ключевые опорные выборки расположены в концах и центре группы опорных выборок. Однако число и позиция не ограничены этим. Например, число и позиция могут изменяться в соответствии с размером опорного блока или корреляции между опорным блоком и смежным блоком. Число и позиция ключевых опорных выборок могут также быть включены в битовый поток, подлежащий кодированию и декодированию. Три ключевые опорные выборки на концах и в центре группы опорных выборок могут быть установлены по умолчанию, и то, следует ли использовать значения по умолчанию или другие ключевые опорные выборки, может кодироваться как информация инструкции и декодироваться. В анализаторе 202 данных на Фиг. 2, ключевые опорные выборки обновляются. В качестве ключевых опорных выборок, подлежащих обновлению, ref[N+N/2] и ref[2N+N/2] могут быть добавлены на Фиг. 7 или могут быть использованы вместо ref[2N]. Альтернативно, ref[N/2] и ref[3N+N/2] могут быть использованы вместо ref[0] и ref[4N], и 121-фильтр может быть применен к ref[1] до ref[N/2-1] и ref[3N+N/2] до ref[4N-1].
[0088] (F) Уравнения критериев определения
Уравнения определения, используемые на этапах 520, 620, 625 и 640, не ограничены уравнениями (6) и (7). Например, ref[N+1] и ref[3N+1] могут быть использованы вместо ref[N] и ref[3N] на Фиг. 7.
Список ссылочных позиций:
[0089] 100 - устройство кодирования с предсказанием движущегося изображения
101 - входной вывод
102 - модуль разделения на блоки
103 - генератор сигнала предсказания
104 – память кадров
105 – вычитатель
106 – преобразователь
107 – квантователь
108 – обратный квантователь
109 – обратный преобразователь
110 – сумматор
111 – энтропийный кодер
112 – выходной вывод
113 – память блоков
114 – контурный фильтр
200 – устройство декодирования с предсказанием движущегося изображения
201 – входной вывод
202 – анализатор данных
203 – обратный квантователь
204 – обратный преобразователь
205 – сумматор
206 – выходной вывод
207 - память кадров
208 - генератор сигнала предсказания
209 – контурный фильтр
215 - память блоков

Claims (16)

1. Способ декодирования с предсказанием движущегося изображения, выполняемый устройством декодирования с предсказанием движущегося изображения, причем способ декодирования с предсказанием движущегося изображения содержит:
этап декодирования для декодирования, из закодированных данных сжатия для множества полученных разделением блоков, режима внутреннего предсказания, указывающего способ предсказания внутри изображения для целевого блока, который должен быть декодирован, и сжатого остаточного сигнала;
этап генерации сигнала предсказания для генерации сигнала предсказания внутри изображения с использованием режима внутреннего предсказания и ранее реконструированных опорных выборок, расположенных смежно с упомянутым целевым блоком;
этап восстановления остаточного сигнала для восстановления реконструированного остаточного сигнала целевого блока из сжатого остаточного сигнала и
этап сохранения блоков для восстановления пиксельного сигнала целевого блока посредством добавления сигнала предсказания к реконструированному остаточному сигналу и сохранения реконструированного пиксельного сигнала целевого блока, который должен быть использован в качестве опорных выборок, при этом
на этапе генерации сигнала предсказания серию смежных опорных выборок получают из ранее реконструированных блоков, которые сохранены и соседствуют с целевым блоком, процесс интерполяции выполняют между двумя или более ключевыми опорными выборками, расположенными в предопределенных положениях среди опорных выборок, для генерации интерполированных опорных выборок, и сигнал предсказания внутри изображения генерируют путем экстраполяции интерполированных опорных выборок на основе режима внутреннего предсказания,
на этапе генерации сигнала предсказания процесс интерполяции опорных выборок и процесс сглаживания опорных выборок выполняют избирательно на основе сравнения значения, основанного на ключевой опорной выборке, и предварительно определенного порогового значения, и
если серия смежных опорных выборок представляется как массив ref [x] (где x является целым числом от 0 до 4*N, а N является размерностью стороны целевого блока), процесс сглаживания опорной выборки ref [i] (где i является целым числом от 1 до 2*N-1) основан на формуле (ref[i-1]+2*ref[i]+ref[i+1]+2)/4.
2. Способ декодирования с предсказанием движущегося изображения, выполняемый устройством декодирования с предсказанием движущегося изображения, причем способ декодирования с предсказанием движущегося изображения содержит:
этап декодирования для декодирования, из закодированных данных сжатия для множества полученных разделением блоков, режима внутреннего предсказания, указывающего способ предсказания внутри изображения для целевого блока, который должен быть декодирован, и сжатого остаточного сигнала;
этап генерации сигнала предсказания для генерации сигнала предсказания внутри изображения с использованием режима внутреннего предсказания и ранее реконструированных опорных выборок, расположенных смежно с упомянутым целевым блоком;
этап восстановления остаточного сигнала для восстановления реконструированного остаточного сигнала целевого блока из сжатого остаточного сигнала и
этап сохранения блоков для восстановления пиксельного сигнала целевого блока посредством добавления сигнала предсказания к реконструированному остаточному сигналу и сохранения реконструированного пиксельного сигнала целевого блока, который должен быть использован в качестве опорных выборок, при этом
на этапе генерации сигнала предсказания серию смежных опорных выборок получают из ранее реконструированных блоков, которые сохранены и соседствуют с целевым блоком, процесс интерполяции выполняют между двумя или более ключевыми опорными выборками, расположенными в предопределенных положениях среди опорных выборок, для генерации интерполированных опорных выборок и сигнал предсказания внутри изображения генерируют путем экстраполяции интерполированных опорных выборок на основе режима внутреннего предсказания,
на этапе генерации сигнала предсказания процесс интерполяции опорных выборок и процесс сглаживания опорных выборок выполняют избирательно на основе сравнения значения, основанного на ключевой опорной выборке, и предварительно определенного порогового значения, и
если серия смежных опорных выборок представляется как массив ref [x] (где x является целым числом от 0 до 4*N, а N является размерностью стороны целевого блока), процесс сглаживания опорной выборки ref [i] (где i является целым числом от 2*N+1 до 4*N-1) основан на формуле (ref[i-1]+2*ref[i]+ref[i+1]+2)/4.
RU2019127396A 2012-09-24 2019-08-30 Устройство кодирования с предсказанием видео, способ кодирования с предсказанием видео, устройство декодирования с предсказанием видео и способ декодирования с предсказанием видео RU2715017C1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012209626A JP5798539B2 (ja) 2012-09-24 2012-09-24 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法
JP2012-209626 2012-09-24

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
RU2018139651A Division RU2699675C1 (ru) 2012-09-24 2018-11-12 Устройство кодирования с предсказанием видео, способ кодирования с предсказанием видео, устройство декодирования с предсказанием видео и способ декодирования с предсказанием видео

Publications (1)

Publication Number Publication Date
RU2715017C1 true RU2715017C1 (ru) 2020-02-21

Family

ID=50340983

Family Applications (7)

Application Number Title Priority Date Filing Date
RU2015115487/08A RU2602978C1 (ru) 2012-09-24 2013-06-17 Устройство кодирования с предсказанием видео, способ кодирования с предсказанием видео, устройство декодирования с предсказанием видео и способ декодирования с предсказанием видео
RU2016139358A RU2642810C1 (ru) 2012-09-24 2013-06-17 Устройство кодирования с предсказанием видео, способ кодирования с предсказанием видео, устройство декодирования с предсказанием видео и способ декодирования с предсказанием видео
RU2017145087A RU2673393C1 (ru) 2012-09-24 2017-12-21 Устройство кодирования с предсказанием видео, способ кодирования с предсказанием видео, устройство декодирования с предсказанием видео и способ декодирования с предсказанием видео
RU2018139651A RU2699675C1 (ru) 2012-09-24 2018-11-12 Устройство кодирования с предсказанием видео, способ кодирования с предсказанием видео, устройство декодирования с предсказанием видео и способ декодирования с предсказанием видео
RU2018139649A RU2701052C1 (ru) 2012-09-24 2018-11-12 Устройство кодирования с предсказанием видео, способ кодирования с предсказанием видео, устройство декодирования с предсказанием видео и способ декодирования с предсказанием видео
RU2019127395A RU2715015C1 (ru) 2012-09-24 2019-08-30 Устройство кодирования с предсказанием видео, способ кодирования с предсказанием видео, устройство декодирования с предсказанием видео и способ декодирования с предсказанием видео
RU2019127396A RU2715017C1 (ru) 2012-09-24 2019-08-30 Устройство кодирования с предсказанием видео, способ кодирования с предсказанием видео, устройство декодирования с предсказанием видео и способ декодирования с предсказанием видео

Family Applications Before (6)

Application Number Title Priority Date Filing Date
RU2015115487/08A RU2602978C1 (ru) 2012-09-24 2013-06-17 Устройство кодирования с предсказанием видео, способ кодирования с предсказанием видео, устройство декодирования с предсказанием видео и способ декодирования с предсказанием видео
RU2016139358A RU2642810C1 (ru) 2012-09-24 2013-06-17 Устройство кодирования с предсказанием видео, способ кодирования с предсказанием видео, устройство декодирования с предсказанием видео и способ декодирования с предсказанием видео
RU2017145087A RU2673393C1 (ru) 2012-09-24 2017-12-21 Устройство кодирования с предсказанием видео, способ кодирования с предсказанием видео, устройство декодирования с предсказанием видео и способ декодирования с предсказанием видео
RU2018139651A RU2699675C1 (ru) 2012-09-24 2018-11-12 Устройство кодирования с предсказанием видео, способ кодирования с предсказанием видео, устройство декодирования с предсказанием видео и способ декодирования с предсказанием видео
RU2018139649A RU2701052C1 (ru) 2012-09-24 2018-11-12 Устройство кодирования с предсказанием видео, способ кодирования с предсказанием видео, устройство декодирования с предсказанием видео и способ декодирования с предсказанием видео
RU2019127395A RU2715015C1 (ru) 2012-09-24 2019-08-30 Устройство кодирования с предсказанием видео, способ кодирования с предсказанием видео, устройство декодирования с предсказанием видео и способ декодирования с предсказанием видео

Country Status (22)

Country Link
US (6) US9736494B2 (ru)
EP (4) EP3179722B1 (ru)
JP (1) JP5798539B2 (ru)
KR (6) KR101964171B1 (ru)
CN (6) CN107087181B (ru)
AU (7) AU2013319537B2 (ru)
BR (3) BR122016013354A2 (ru)
CA (6) CA3118841C (ru)
DK (1) DK3654650T3 (ru)
ES (3) ES2781556T3 (ru)
FI (1) FI3654650T3 (ru)
HU (1) HUE062434T2 (ru)
IN (1) IN2015DN03265A (ru)
MX (2) MX351764B (ru)
MY (2) MY161733A (ru)
PH (1) PH12015500622B1 (ru)
PL (3) PL3179722T3 (ru)
PT (3) PT2899982T (ru)
RU (7) RU2602978C1 (ru)
SG (1) SG11201502234VA (ru)
TW (7) TWI666923B (ru)
WO (1) WO2014045651A1 (ru)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6504604B2 (ja) 2015-08-25 2019-04-24 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム
CN108028923B (zh) * 2015-09-10 2021-08-20 Lg电子株式会社 视频编码系统中的帧内预测方法和设备
CN117255194A (zh) * 2016-09-30 2023-12-19 罗斯德尔动力有限责任公司 图像处理方法及其装置
CA3048242C (en) 2016-12-28 2023-10-31 Arris Enterprises Llc Improved video bitstream coding
WO2018124850A1 (ko) * 2017-01-02 2018-07-05 한양대학교 산학협력단 예측 블록의 중복성을 고려한 화면 내 예측 방법 및 화면 내 예측을 수행하는 영상 복호화 장치
JP7036628B2 (ja) * 2017-03-10 2022-03-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US10992939B2 (en) 2017-10-23 2021-04-27 Google Llc Directional intra-prediction coding
US10225578B2 (en) 2017-05-09 2019-03-05 Google Llc Intra-prediction edge filtering
JP2020120141A (ja) * 2017-05-26 2020-08-06 シャープ株式会社 動画像符号化装置及び動画像復号装置、フィルタ装置
WO2019009506A1 (ko) * 2017-07-04 2019-01-10 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
CN117440151A (zh) 2017-07-06 2024-01-23 Lx 半导体科技有限公司 图像解码方法、图像编码方法、发送方法和数字存储介质
CN107592539B (zh) * 2017-08-21 2019-10-22 北京奇艺世纪科技有限公司 一种视频编码方法和装置
US11438579B2 (en) 2018-07-02 2022-09-06 Lg Electronics Inc. Method and apparatus for processing video signal by using intra-prediction
WO2020007747A1 (en) * 2018-07-05 2020-01-09 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking of intra-reference samples
US10778972B1 (en) 2019-02-27 2020-09-15 Google Llc Adaptive filter intra prediction modes in image/video compression
JP7145793B2 (ja) * 2019-03-11 2022-10-03 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN110035289B (zh) * 2019-04-24 2022-04-01 润电能源科学技术有限公司 一种屏幕图像的分层压缩方法、系统及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2302707C2 (ru) * 2002-01-14 2007-07-10 Нокиа Корпорейшн Кодирующие динамические фильтры
JP2011166592A (ja) * 2010-02-12 2011-08-25 Mitsubishi Electric Corp 画像符号化装置及び画像復号装置
WO2012023762A2 (ko) * 2010-08-17 2012-02-23 Oh Soo Mi 인트라 예측 복호화 방법
WO2012096150A1 (ja) * 2011-01-12 2012-07-19 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6765964B1 (en) 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US20040008775A1 (en) * 2002-07-12 2004-01-15 Krit Panusopone Method of managing reference frame and field buffers in adaptive frame/field encoding
CN101218829A (zh) * 2005-07-05 2008-07-09 株式会社Ntt都科摩 动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法以及动态图像解码程序
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
CA2631336A1 (en) * 2005-11-30 2007-06-07 Kabushiki Kaisha Toshiba Image encoding/image decoding method, image encoding/image decoding apparatus
JP4874343B2 (ja) * 2006-01-11 2012-02-15 ノキア コーポレイション スケーラブルビデオ符号化における、下位互換性のあるピクチャの集約
US8494052B2 (en) * 2006-04-07 2013-07-23 Microsoft Corporation Dynamic selection of motion estimation search ranges and extended motion vector ranges
JP2008048272A (ja) * 2006-08-18 2008-02-28 Canon Inc 再生装置及び再生方法
JP4325708B2 (ja) * 2007-07-05 2009-09-02 ソニー株式会社 データ処理装置、データ処理方法およびデータ処理プログラム、符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム
JP4650461B2 (ja) * 2007-07-13 2011-03-16 ソニー株式会社 符号化装置、符号化方法、プログラム、及び記録媒体
KR20100105680A (ko) * 2008-03-07 2010-09-29 가부시끼가이샤 도시바 동화상 부호화/복호화 방법 및 장치
JP5680283B2 (ja) * 2008-09-19 2015-03-04 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム
JP5697301B2 (ja) * 2008-10-01 2015-04-08 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、及び動画像符号化・復号システム
JP5686499B2 (ja) * 2009-01-22 2015-03-18 株式会社Ｎｔｔドコモ 画像予測符号化装置、方法及びプログラム、画像予測復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
JP2010268259A (ja) * 2009-05-15 2010-11-25 Sony Corp 画像処理装置および方法、並びにプログラム
JP5199196B2 (ja) * 2009-08-04 2013-05-15 日本電信電話株式会社 動画像復号方法，動画像復号装置および動画像復号プログラム
KR20110068792A (ko) * 2009-12-16 2011-06-22 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
JP2011151682A (ja) 2010-01-22 2011-08-04 Sony Corp 画像処理装置および方法
JP5393573B2 (ja) * 2010-04-08 2014-01-22 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラム
EP2559239A2 (en) * 2010-04-13 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for intra predicting a block, apparatus for reconstructing a block of a picture, apparatus for reconstructing a block of a picture by intra prediction
US20110301976A1 (en) * 2010-06-03 2011-12-08 International Business Machines Corporation Medical history diagnosis system and method
US20110310976A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Joint Coding of Partition Information in Video Coding
ES2820437T3 (es) * 2010-07-20 2021-04-21 Ntt Docomo Inc Método de codificación predictiva de imágenes, dispositivo de decodificación predictiva de imágenes, método de decodificación predictiva de imágenes y programa de decodificación predictiva de imágenes
KR101373814B1 (ko) * 2010-07-31 2014-03-18 엠앤케이홀딩스 주식회사 예측 블록 생성 장치
US8923395B2 (en) * 2010-10-01 2014-12-30 Qualcomm Incorporated Video coding using intra-prediction
WO2012077719A1 (ja) * 2010-12-09 2012-06-14 シャープ株式会社 画像復号装置、および画像符号化装置
US20120163457A1 (en) 2010-12-28 2012-06-28 Viktor Wahadaniah Moving picture decoding method, moving picture coding method, moving picture decoding apparatus, moving picture coding apparatus, and moving picture coding and decoding apparatus
US20130294511A1 (en) * 2011-01-14 2013-11-07 Telefonaktiebolaget L M Ericsson (Publ) Methods and Devices for Intra Coding of Video
CN103329531A (zh) * 2011-01-21 2013-09-25 汤姆逊许可公司 基于几何的帧内预测方法和装置
CN102685505B (zh) * 2011-03-10 2014-11-05 华为技术有限公司 帧内预测的方法和预测装置
KR101383775B1 (ko) * 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2302707C2 (ru) * 2002-01-14 2007-07-10 Нокиа Корпорейшн Кодирующие динамические фильтры
JP2011166592A (ja) * 2010-02-12 2011-08-25 Mitsubishi Electric Corp 画像符号化装置及び画像復号装置
WO2012023762A2 (ko) * 2010-08-17 2012-02-23 Oh Soo Mi 인트라 예측 복호화 방법
WO2012096150A1 (ja) * 2011-01-12 2012-07-19 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Also Published As

Publication number Publication date
PL2899982T3 (pl) 2017-10-31
US20190037237A1 (en) 2019-01-31
TWI577182B (zh) 2017-04-01
PH12015500622A1 (en) 2015-05-11
IN2015DN03265A (ru) 2015-10-09
PT2899982T (pt) 2017-08-30
CA2885802C (en) 2017-08-15
KR20160088450A (ko) 2016-07-25
TW201720162A (zh) 2017-06-01
TWI562614B (ru) 2016-12-11
AU2017248485A1 (en) 2017-11-09
EP3654650A1 (en) 2020-05-20
AU2013319537B2 (en) 2016-03-03
SG11201502234VA (en) 2015-05-28
JP2014064249A (ja) 2014-04-10
CN106131558A (zh) 2016-11-16
MY178848A (en) 2020-10-21
AU2016202132B2 (en) 2017-07-20
CA2885802A1 (en) 2014-03-27
EP3179722A1 (en) 2017-06-14
CA3118836A1 (en) 2014-03-27
TW201818726A (zh) 2018-05-16
TW201937932A (zh) 2019-09-16
BR122016013292B1 (pt) 2018-08-14
AU2013319537A1 (en) 2015-05-14
CN106131559A (zh) 2016-11-16
BR112015006109A8 (pt) 2018-02-06
US20150201213A1 (en) 2015-07-16
TW201701668A (zh) 2017-01-01
KR20180069128A (ko) 2018-06-22
TWI678919B (zh) 2019-12-01
KR101799846B1 (ko) 2017-11-22
RU2699675C1 (ru) 2019-09-09
EP2899982A1 (en) 2015-07-29
CA3118832A1 (en) 2014-03-27
ES2949638T3 (es) 2023-10-02
AU2019210530B2 (en) 2021-02-18
BR112015006109B1 (pt) 2018-08-14
US9736494B2 (en) 2017-08-15
CN107071442B (zh) 2020-03-27
US10110918B2 (en) 2018-10-23
MY161733A (en) 2017-05-15
RU2642810C1 (ru) 2018-01-26
CN104604238A (zh) 2015-05-06
CA3118832C (en) 2023-06-20
CN107071442A (zh) 2017-08-18
CA3118841A1 (en) 2014-03-27
CA3118836C (en) 2023-06-27
CA2957095C (en) 2021-07-13
PT3179722T (pt) 2020-04-02
TWI648981B (zh) 2019-01-21
MX351764B (es) 2017-10-27
MX341412B (es) 2016-08-19
KR20150060877A (ko) 2015-06-03
JP5798539B2 (ja) 2015-10-21
KR101662655B1 (ko) 2016-10-05
US10477241B2 (en) 2019-11-12
AU2019210530A1 (en) 2019-08-15
PL3179722T3 (pl) 2020-07-13
ES2781556T3 (es) 2020-09-03
HUE062434T2 (hu) 2023-11-28
EP2899982A4 (en) 2016-06-15
US20190037236A1 (en) 2019-01-31
CN106878733A (zh) 2017-06-20
ES2637502T3 (es) 2017-10-13
FI3654650T3 (fi) 2023-06-28
RU2673393C1 (ru) 2018-11-26
WO2014045651A1 (ja) 2014-03-27
AU2019210520B2 (en) 2021-02-04
AU2017248485B2 (en) 2019-07-11
KR101764235B1 (ko) 2017-08-03
EP3179722B1 (en) 2020-02-26
AU2019210516A1 (en) 2019-08-15
KR101869830B1 (ko) 2018-06-21
TW201937933A (zh) 2019-09-16
KR101755363B1 (ko) 2017-07-07
US10382783B2 (en) 2019-08-13
CN106131558B (zh) 2018-02-27
TWI679881B (zh) 2019-12-11
US10477242B2 (en) 2019-11-12
PT3654650T (pt) 2023-07-05
PL3654650T3 (pl) 2023-10-02
MX2015003512A (es) 2015-07-17
CA2957095A1 (en) 2014-03-27
AU2016202132A1 (en) 2016-04-28
AU2019210520A1 (en) 2019-08-15
RU2701052C1 (ru) 2019-09-24
KR20160116036A (ko) 2016-10-06
PH12015500622B1 (en) 2015-05-11
US20170180751A1 (en) 2017-06-22
EP3654650B1 (en) 2023-05-31
CN107087181A (zh) 2017-08-22
EP4221222A1 (en) 2023-08-02
RU2602978C1 (ru) 2016-11-20
TWI622287B (zh) 2018-04-21
AU2019210516B2 (en) 2021-02-11
CN107087181B (zh) 2020-05-05
EP2899982B1 (en) 2017-08-02
TW201415905A (zh) 2014-04-16
US20190037235A1 (en) 2019-01-31
KR101964171B1 (ko) 2019-04-01
KR20170128635A (ko) 2017-11-22
AU2019210532A1 (en) 2019-08-15
CA3195958A1 (en) 2014-03-27
AU2019210532B2 (en) 2021-03-04
CA3118841C (en) 2023-01-24
CN106131559B (zh) 2018-04-17
TWI666923B (zh) 2019-07-21
DK3654650T3 (da) 2023-07-03
CN104604238B (zh) 2017-03-22
KR20170083167A (ko) 2017-07-17
BR122016013292A2 (pt) 2018-02-06
TW201909636A (zh) 2019-03-01
RU2715015C1 (ru) 2020-02-21
BR122016013354A2 (pt) 2018-02-06
BR112015006109A2 (pt) 2017-05-16
US10123042B2 (en) 2018-11-06
US20170180750A1 (en) 2017-06-22
CN106878733B (zh) 2020-01-07
RU2015115487A (ru) 2016-11-20

Similar Documents

Publication Publication Date Title
RU2715017C1 (ru) Устройство кодирования с предсказанием видео, способ кодирования с предсказанием видео, устройство декодирования с предсказанием видео и способ декодирования с предсказанием видео