RU2600936C2 - Способ кодирования движущихся изображений, устройство кодирования движущихся изображений, способ декодирования движущихся изображений, устройство декодирования движущихся изображений и устройство кодирования и декодирования движущихся изображений - Google Patents

Способ кодирования движущихся изображений, устройство кодирования движущихся изображений, способ декодирования движущихся изображений, устройство декодирования движущихся изображений и устройство кодирования и декодирования движущихся изображений Download PDF

Info

Publication number
RU2600936C2
RU2600936C2 RU2013141795/07A RU2013141795A RU2600936C2 RU 2600936 C2 RU2600936 C2 RU 2600936C2 RU 2013141795/07 A RU2013141795/07 A RU 2013141795/07A RU 2013141795 A RU2013141795 A RU 2013141795A RU 2600936 C2 RU2600936 C2 RU 2600936C2
Authority
RU
Russia
Prior art keywords
block
candidate
merge
prediction
motion vector
Prior art date
Application number
RU2013141795/07A
Other languages
English (en)
Other versions
RU2013141795A (ru
Inventor
Тосиясу СУГИО
Такахиро Ниси
Йоудзи Сибахара
Хисао Сасаи
Original Assignee
Сан Пэтент Траст
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Сан Пэтент Траст filed Critical Сан Пэтент Траст
Publication of RU2013141795A publication Critical patent/RU2013141795A/ru
Application granted granted Critical
Publication of RU2600936C2 publication Critical patent/RU2600936C2/ru

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Изобретение относится к декодированию движущихся изображений на поблочной основе с использованием прогнозирования между изображениями. Техническим результатом является повышение эффективности декодирования. Указанный технический результат достигается тем, что осуществляют определение первого элемента-кандидата в списке кандидатов и второго элемента-кандидата в списке кандидатов, причем упомянутый первый элемент-кандидат имеет первый вектор движения, который использовался для декодирования первого блока, а упомянутый второй кандидат имеет второй вектор движения, который использовался для декодирования второго блока, который отличается от первого блока, а список кандидатов включает в себя множество элементов-кандидатов, один из которых выбирается для использования для декодирования текущего блока; генерируют новый элемент-кандидат посредством объединения двух векторов движения, при этом один из упомянутых двух векторов движения является первым вектором движения, а другой из упомянутых двух векторов движения является вторым вектором движения; декодируют текущий блок с использованием элемента-кандидата, выбираемого из множества элементов-кандидатов, включающего в себя первый элемент-кандидат, второй элемент-кандидат и новый элемент-кандидат. 2 н. и 3 з.п. ф-лы, 35 ил.

Description

ОБЛАСТЬ ТЕХНИКИ
[0001] Настоящее изобретение относится к способам кодирования движущихся изображений, предусматривающим кодирование входного изображения на поблочной основе с использованием прогнозирования между (inter) изображениями со ссылкой на кодированное(ые) изображение(я), и к способам декодирования движущихся изображений, предусматривающим декодирование битового потока на поблочной основе с использованием прогнозирования между изображениями.
УРОВЕНЬ ТЕХНИКИ
[0002] При кодировании движущихся изображений, в общем случае, объем информации сжимается с использованием избыточности пространственного направления и временного направления движущихся изображений. При этом, в общем случае, один из способов использования избыточности в пространственном направлении предусматривает преобразование в частотную область, и один из способов использования избыточности во временном направлении предусматривает кодирование с прогнозированием между изображениями (далее именуемое “внешнее прогнозирование”). При кодировании с внешним прогнозированием, когда текущее изображение должно быть кодировано, кодированное изображение до или после текущего изображения в порядке отображения используется в качестве опорного изображения. Затем, оценивание движения осуществляется в отношении текущего изображения, соответствующего опорному изображению для оценивания вектора движения. Затем получается разность между данными изображения прогнозирования, генерируемыми посредством компенсации движения на основании оцененного вектора движения, и данными изображения для текущего изображения для устранения избыточности во временном направлении. При этом при оценивании движения вычисляется значение разности между текущим блоком в текущем изображении и блоком в опорном изображении, и блок, имеющий наименьшее значение разности в опорном изображении, определяется как опорный блок. Затем, с использованием текущего блока и опорного блока оценивается вектор движения.
[0003] В схеме кодирования движущихся изображений, известной как H.264, которая к настоящему времени стандартизована, для сжатия объема информации, используются три типа изображения, а именно I-изображение, P-изображение и B-изображение. I-изображение - это изображение, в отношении которого кодирование с внешним прогнозированием не осуществляется, другими словами, в отношении которого осуществляется кодирование с внутренним (intra-) прогнозированием изображения (далее именуемое “внутренним прогнозированием”). P-изображение - это изображение, в отношении которого кодирование с внешним прогнозированием осуществляется со ссылкой на одно кодированное изображение, находящееся до или после текущего изображения в порядке отображения. B-изображение - это изображение, в отношении которого кодирование с внешним прогнозированием осуществляется со ссылкой на два кодированных изображения, находящиеся до или после текущего изображения в порядке отображения.
[0004] При кодировании с внешним прогнозированием генерируется список опорного изображения для указания опорного изображения. Список опорного изображения - это список, в котором кодированному опорному изображению, на которое при внешнем прогнозировании осуществляется ссылка, назначается соответствующее(ие) значение(я) индекса опорного изображения. Например, поскольку B-изображение можно кодировать со ссылкой на два изображения, B-изображение имеет два списка (L0, L1) опорного изображения.
[0005] На Фиг.1A показана схема, поясняющая назначение индексов опорного изображения для каждого из опорных изображений. На Фиг.1B и 1C показан пример пары списков опорного изображения для B-изображения. На Фиг.1A, например, предполагается, что опорное изображение 2, опорное изображение 1, опорное изображение 0 и текущее изображение, которое должно быть кодировано, размещены в порядке отображения. Согласно предположению, список (L0) опорного изображения 0 является примером списка опорного изображения в направлении 0 прогнозирования (первом направлении прогнозирования) для двунаправленного прогнозирования. Как показано на Фиг.1B, значение “0” индекса 0 опорного изображения назначается опорному изображению 0, размещенному в порядке 2 отображения, значение “1” индекса 0 опорного изображения назначается опорному изображению 1, размещенному в порядке 1 отображения, и значение “2” индекса 0 опорного изображения назначается опорному изображению 2, размещенному в порядке 0 отображения. Короче говоря, большее значение индекса опорного изображения назначается изображению, более близкому по времени к текущему изображению в порядке отображения. С другой стороны, список (L1) опорного изображения 1 является примером списка опорного изображения в направлении 1 прогнозирования (втором направлении прогнозирования) для двунаправленного прогнозирования. В списке (L1) опорного изображения 1, значение “0” индекса 1 опорного изображения назначается опорному изображению 1, размещенному в порядке 1 отображения, значение “1” индекса 1 опорного изображения назначается опорному изображению 0, размещенному в порядке 2 отображения, и значение “2” индекса 1 опорного изображения назначается опорному изображению 2, размещенному в порядке 0 отображения. Как описано выше, для каждого из опорных изображений можно назначать разные индексы опорного изображения соответствующим направлениям прогнозирования (опорным изображениям 0 и 1 на Фиг.1A) или назначать один и тот же индекс опорного изображения обоим направлениям прогнозирования (опорному изображению 2 на Фиг.1A).
[0006] Кроме того, согласно способу кодирования движущихся изображений схема, известная как H.264 (см. непатентная литература 1), в режиме кодирования с внешним прогнозированием для каждого текущего блока в B-изображении, существует режим оценивания вектора движения, предусматривающий кодирование (a) значения разности между данными изображения прогнозирования и данными изображения текущего блока и (b) вектора движения, используемого при генерации данных изображения прогнозирования. В режиме оценивания вектора движения выбирается либо двунаправленное прогнозирование, либо однонаправленное прогнозирование. При двунаправленном прогнозировании изображение прогнозирования генерируется со ссылкой на два кодированных изображения, находящиеся до или после текущего изображения. С другой стороны, при однонаправленном прогнозировании изображение прогнозирования генерируется со ссылкой на одно кодированное изображение, находящееся до или после текущего изображения.
[0007] Кроме того, в схеме кодирования движущихся изображений, известной как H.264, при кодировании B-изображения, когда необходимо вывести векторы движения, можно выбирать режим кодирования, именуемый режимом вектора движения временного прогнозирования. Способ кодирования с внешним прогнозированием в режиме вектора движения временного прогнозирования описан со ссылкой на Фиг.2. На Фиг.2 показана пояснительная схема, демонстрирующая векторы движения в режиме вектора движения временного прогнозирования, и показана ситуация, когда блок “a” в изображении B2 кодируется в режиме вектора движения временного прогнозирования. В этой ситуации используется вектор vb движения. Вектор vb движения использовался для кодирования блока “b” в изображении P3, которое является опорным изображением, расположенным после изображения B2. Блок “b” (далее именуемый “совместно размещенным блоком”) располагается, в изображении P3, в позиции, соответствующей позиции блока “a”. Вектор vb движения - это вектор движения, который использовался для кодирования блока “b”, и ссылается на изображение P1. Используя вектор движения параллельно с вектором vb движения, блок “a” получает опорные блоки из изображения P1, которое является будущим опорным изображением, и из изображения P3, которое является прошлым опорным изображением. Таким образом, двунаправленное прогнозирование осуществляется для кодирования блока “a”. В частности, векторы движения, используемые для кодирования блока “a”, представляют собой вектор va1 движения, относящийся к изображению PI, и вектор va2 движения, относящийся к изображению P3.
СПИСОК ЦИТАТ
ПАТЕНТНАЯ ЛИТЕРАТУРА
[0008] NPL-1: ITU-T Recommendation H. 264, “Advanced video coding for generic audiovisual services”, март 2010.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
ТЕХНИЧЕСКАЯ ПРОБЛЕМА
[0009] Однако, традиционно, возможна ситуация, когда при кодировании текущего блока выбор либо двунаправленного прогнозирования, либо однонаправленного прогнозирования приводит к снижению эффективности кодирования.
[0010] Один неограничительный и примерный вариант осуществления настоящего раскрытия предусматривает способ кодирования движущихся изображений и способ декодирования движущихся изображений, которые позволяют повысить эффективность кодирования.
РЕШЕНИЕ ПРОБЛЕМЫ
[0011] В одном общем аспекте раскрытые здесь подходы демонстрируют: способ кодирования движущихся изображений, предусматривающий кодирование текущего блока посредством копирования по меньшей мере одного значения индекса опорного изображения и по меньшей мере одного вектора движения, причем упомянутое по меньшей мере одно значение индекса опорного изображения предназначено для идентификации опорного изображения, которое использовалось при кодировании блока, отличного от текущего блока, причем способ кодирования движущихся изображений включает в себя этапы, на которых: определяют множество первых блоков-кандидатов, из которых упомянутое по меньшей мере одно значение индекса опорного изображения и упомянутый по меньшей мере один вектор движения должны быть скопированы; генерируют второй блок-кандидат, который использует двунаправленное прогнозирование, причем второй блок-кандидат генерируется путем объединения значений индекса опорного изображения и векторов движения, которые использовались для, по меньшей мере, части первых блоков-кандидатов; выбирают, из первых блоков-кандидатов и второго блока-кандидата, блок, из которого упомянутое по меньшей мере одно значение индекса опорного изображения и упомянутый по меньшей мере один вектор движения должны быть скопированы для кодирования текущего блока; и копируют упомянутое по меньшей мере одно значение индекса опорного изображения и упомянутый по меньшей мере один вектор движения из выбранного блока, и кодируют текущий блок с использованием скопированного по меньшей мере одного значения индекса опорного изображения и скопированного по меньшей мере одного вектора движения.
[0012] Это позволяет кодировать текущее изображение с использованием вектора(ов) движения и опорного(ых) изображения(й), наиболее подходящих для текущего блока. В результате можно повысить эффективность кодирования.
[0013] Генерация второго блока-кандидата также может включает в себя этапы, на которых: определяют, имеет ли каждый из первых блоков-кандидатов одно или более значений индекса опорного изображения и один или более векторов движения; и генерируют второй блок-кандидат, когда по меньшей мере один из первых блоков-кандидатов не имеет ни одного значения индекса опорного изображения и ни одного вектора движения.
[0014] Способ кодирования движущихся изображений дополнительно может включать в себя этапы, на которых: определяют, должен ли быть кодирован текущий блок с использованием упомянутого по меньшей мере одного значения индекса опорного изображения и упомянутого по меньшей мере одного вектора движения, которые копируются из одного из первых блоков-кандидатов или второго блока-кандидата; устанавливают флаг, указывающий результат определения; и добавляют флаг в битовый поток, включающий в себя текущий блок.
[0015] Способ кодирования движущихся изображений дополнительно может включать в себя этапы, на которых: определяют значение индекса блока, соответствующее выбранному блоку, из которого упомянутое по меньшей мере одно значение индекса опорного изображения и упомянутый по меньшей мере один вектор движения должны быть скопированы для кодирования текущего блока, из списка кандидатов, в котором первым блокам-кандидатам и второму блоку-кандидату назначаются соответствующие значения индекса блока; и добавляют определенное значение индекса блока в битовый поток, включающий в себя текущий блок.
[0016] Генерация второго блока-кандидата также может включать в себя этапы, на которых: определяют, имеют ли два из первых блоков-кандидатов значения индекса опорного изображения, указывающие разные направления прогнозирования, и закодированы ли они посредством двунаправленного прогнозирования; и генерируют второй блок-кандидат, когда два из первых блоков-кандидатов имеют разные направления прогнозирования или закодированы посредством двунаправленного прогнозирования.
[0017] Генерация второго блока-кандидата дополнительно может включать в себя этапы, на которых: определяют, спрогнозирован ли один из двух первых блоков-кандидатов в первом направлении прогнозирования или закодирован ли он посредством двунаправленного прогнозирования, и спрогнозирован ли другой из двух первых блоков-кандидатов во втором направлении прогнозирования или закодирован ли он посредством двунаправленного прогнозирования; и когда определено, что один из двух первых блоков-кандидатов спрогнозирован в первом направлении прогнозирования или закодирован посредством двунаправленного прогнозирования, и другой из двух первых блоков-кандидатов спрогнозирован во втором направлении прогнозирования или закодирован посредством двунаправленного прогнозирования, генерируют второй блок-кандидат посредством (i) выбора значения индекса опорного изображения и вектора движения, которые использовались в первом направлении прогнозирования для одного из двух первых блоков-кандидатов, в качестве значения индекса опорного изображения и вектора движения, которые используются в первом направлении прогнозирования для второго блока-кандидата, и (ii) выбора значения индекса опорного изображения и вектора движения, которые использовались во втором направлении прогнозирования для другого из двух первых блоков-кандидатов, в качестве значения индекса опорного изображения и вектора движения, которые используются во втором направлении прогнозирования для второго блока-кандидата.
[0018] Генерация второго блока-кандидата дополнительно может включать в себя этапы, на которых: определяют, спрогнозирован ли один из двух первых блоков-кандидатов в первом направлении прогнозирования или закодирован ли он посредством двунаправленного прогнозирования, и спрогнозирован ли другой из двух первых блоков-кандидатов во втором направлении прогнозирования или закодирован ли он посредством двунаправленного прогнозирования; и когда не определено, что один из двух первых блоков-кандидатов спрогнозирован в первом направлении прогнозирования или закодирован посредством двунаправленного прогнозирования, и другой из двух первых блоков-кандидатов спрогнозирован во втором направлении прогнозирования или закодирован посредством двунаправленного прогнозирования, генерируют второй блок-кандидат посредством (i) выбора значения индекса опорного изображения и вектора движения, которые использовались в первом направлении прогнозирования для другого из двух первых блоков-кандидатов, в качестве значения индекса опорного изображения и вектора движения, которые используются в первом направлении прогнозирования для второго блока-кандидата, и (ii) выбора значения индекса опорного изображения и вектора движения, которые использовались во втором направлении прогнозирования для одного из двух первых блоков-кандидатов, в качестве значения индекса опорного изображения и вектора движения, которые используются во втором направлении прогнозирования для второго блока-кандидата.
[0019] В другом аспекте раскрытые здесь подходы демонстрируют: способ декодирования движущихся изображений, предусматривающий декодирование текущего блока посредством копирования по меньшей мере одного значения индекса опорного изображения и по меньшей мере одного вектора движения, упомянутое по меньшей мере одно значение индекса опорного изображения предназначено для идентификации опорного изображения, которое использовалось при декодировании блока, отличного от текущего блока, причем способ декодирования движущихся изображений включает в себя этапы, на которых: определяют множество первых блоков-кандидатов, по меньшей мере одно значение индекса опорного изображения и по меньшей мере один вектор движения которых должны быть скопированы; генерируют второй блок-кандидат, который использует двунаправленное прогнозирование, причем второй блок-кандидат генерируется путем объединения значений индекса опорного изображения и векторов движения, которые использовались для, по меньшей мере, части первых блоков-кандидатов; выбирают, из первых блоков-кандидатов и второго блока-кандидата, блок, из которого упомянутое по меньшей мере одно значение индекса опорного изображения и упомянутый по меньшей мере один вектор движения должны быть скопированы для декодирования текущего блока; и копируют по меньшей мере одно значение индекса опорного изображения и по меньшей мере один вектор движения из выбранного блока, и декодируют текущий блок с использованием скопированного по меньшей мере одного значения индекса опорного изображения и скопированного по меньшей мере одного вектора движения.
[0020] Таким образом, можно декодировать кодированный битовый поток с использованием наиболее подходящего(их) вектора(ов) движения и наиболее подходящего(их) опорного(ых) изображения(й).
[0021] Генерация второго блока-кандидата также может включает в себя этапы, на которых: определяют, имеет ли каждый из первых блоков-кандидатов значение индекса опорного изображения и вектор движения; и генерируют второй блок-кандидат, когда по меньшей мере один из первых блоков-кандидатов не имеет ни одного значения индекса опорного изображения и ни одного вектора движения.
[0022] Способ декодирования движущихся изображений дополнительно может включать в себя этапы, на которых: получают из битового потока, включающего в себя текущий блок, флаг, указывающий, должен ли текущий блок быть декодирован с использованием по меньшей мере одного значения индекса опорного изображения и по меньшей мере одного вектора движения, которые копируются из одного из первых блоков-кандидатов или второго блока-кандидата; и декодируют текущий блок согласно флагу.
[0023] Способ декодирования движущихся изображений дополнительно может включать в себя этапы, на которых: получают значение индекса блока из битового потока, включающего в себя текущий блок; и выбирают, с использованием полученного значения индекса блока, блок, из которого упомянутое по меньшей мере одно значение индекса опорного изображения и упомянутый по меньшей мере один вектор движения должны быть скопированы для декодирования текущего блока, из списка кандидатов, в котором первым блокам-кандидатам и второму блоку-кандидату назначаются соответствующие значения индекса блока.
[0024] Генерация второго блока-кандидата также может включать в себя этапы, на которых: определяют, имеют ли два из первых блоков-кандидатов значения индекса опорного изображения, указывающие разные направления прогнозирования, и закодированы ли они посредством двунаправленного прогнозирования; и генерируют второй блок-кандидат, когда два из первых блоков-кандидатов имеют разные направления прогнозирования или закодированы посредством двунаправленного прогнозирования.
[0025] Генерация второго блока-кандидата дополнительно может включать в себя этапы, на которых: определяют, спрогнозирован ли один из двух первых блоков-кандидатов в первом направлении прогнозирования или закодирован ли он посредством двунаправленного прогнозирования, и спрогнозирован ли другой из двух первых блоков-кандидатов во втором направлении прогнозирования или закодирован ли он посредством двунаправленного прогнозирования; и когда определено, что один из двух первых блоков-кандидатов спрогнозирован в первом направлении прогнозирования или закодирован посредством двунаправленного прогнозирования, и другой из двух первых блоков-кандидатов спрогнозирован во втором направлении прогнозирования или закодирован посредством двунаправленного прогнозирования, генерируют второй блок-кандидат посредством (i) выбора значения индекса опорного изображения и вектора движения, которые использовались в первом направлении прогнозирования для одного из двух первых блоков-кандидатов, в качестве значения индекса опорного изображения и вектора движения, которые используются в первом направлении прогнозирования для второго блока-кандидата, и (ii) выбора значения индекса опорного изображения и вектора движения, которые использовались во втором направлении прогнозирования для другого из двух первых блоков-кандидатов, в качестве значения индекса опорного изображения и вектора движения, которые используются во втором направлении прогнозирования для второго блока-кандидата.
[0026] Генерация второго блока-кандидата дополнительно может включать в себя этапы, на которых: определяют, спрогнозирован ли один из двух первых блоков-кандидатов в первом направлении прогнозирования или закодирован ли он посредством двунаправленного прогнозирования, и спрогнозирован ли другой из двух первых блоков-кандидатов во втором направлении прогнозирования или закодирован ли он посредством двунаправленного прогнозирования; и когда не определено, что один из двух первых блоков-кандидатов спрогнозирован в первом направлении прогнозирования или закодирован посредством двунаправленного прогнозирования, и другой из двух первых блоков-кандидатов спрогнозирован во втором направлении прогнозирования или закодирован посредством двунаправленного прогнозирования, генерируют второй блок-кандидат посредством (i) выбора значения индекса опорного изображения и вектора движения, которые использовались в первом направлении прогнозирования для другого из двух первых блоков-кандидатов, в качестве значения индекса опорного изображения и вектора движения, которые используются в первом направлении прогнозирования для второго блока-кандидата, и (ii) выбора значения индекса опорного изображения и вектора движения, которые использовались во втором направлении прогнозирования для одного из двух первых блоков-кандидатов, в качестве значения индекса опорного изображения и вектора движения, которые используются во втором направлении прогнозирования для второго блока-кандидата.
[0027] Следует отметить, что настоящее раскрытие можно реализовать не только посредством вышеописанных способа кодирования движущихся изображений и способа декодирования движущихся изображений, но и посредством: устройства кодирования движущихся изображений, устройства декодирования движущихся изображений и устройства кодирования и декодирования движущихся изображений, каждое из которых включает в себя блоки обработки, осуществляющие характерные этапы способа кодирования движущихся изображений и способа декодирования движущихся изображений; программы, предписывающей компьютеру выполнять этапы; и пр. Настоящее раскрытие также можно реализовать посредством: считываемого компьютером носителя записи, например компакт-диска с возможностью только чтения (CD-ROM), в отношении которого записана вышеупомянутая программа; информации, данных, сигналов, образующих программу; и пр. Программа, информация, данные или сигналы могут распределяться по среде передачи, например по интернету.
ПРЕИМУЩЕСТВА ИЗОБРЕТЕНИЯ
[0028] Согласно настоящему раскрытию, новый кандидат в блоки слияния двунаправленного прогнозирования вычисляется из кандидатов в блоки слияния, для повышения эффективности кодирования.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0029] Фиг.1A - схема, поясняющая назначение индексов опорного изображения для каждого из опорных изображений.
Фиг.1B - таблица, демонстрирующая пример одного из списков опорного изображения для B-изображения.
Фиг.1C - таблица, демонстрирующая пример другого списка опорного изображения для B-изображения.
Фиг.2 - иллюстративная схема, демонстрирующая векторы движения в режиме вектора движения временного прогнозирования.
Фиг.3A - схема, демонстрирующая соотношение между: текущим блоком, который должен быть кодирован; соседними блоками; и векторами движения соседних блоков.
Фиг.3B - таблица, демонстрирующая пример списка кандидатов в блоки слияния, в котором каждое значение индекса слияния назначается вектору движения и индексу опорного изображения, которые должны быть использованы в режиме слияния.
Фиг.4 - блок-схема, демонстрирующая структуру устройства кодирования движущихся изображений, использующего способ кодирования движущихся изображений согласно варианту осуществления настоящего раскрытия.
Фиг.5 - блок-схема операций, представляющая основные этапы потока обработки способа кодирования движущихся изображений согласно варианту осуществления настоящего раскрытия.
Фиг.6 - таблица, демонстрирующая пример списка кандидатов в блоки слияния, в котором каждое значение индекса слияния назначается вектору движения и индексу опорного изображения, которые должны быть использованы в режиме слияния согласно варианту осуществления 1.
Фиг.7 - пример таблицы кодирования, которая используется для осуществления кодирования с переменной длиной слова в отношении индекса блока слияния.
Фиг.8 - блок-схема операций, детально представляющая поток обработки для вычисления объединенного блока слияния.
Фиг.9 - блок-схема операций, детально представляющая поток обработки для сравнения ошибок прогнозирования.
Фиг.10 - блок-схема, демонстрирующая структуру устройства декодирования движущихся изображений, использующего способ декодирования движущихся изображений согласно варианту осуществления настоящего раскрытия.
Фиг.11 - блок-схема операций, представляющая основные этапы потока обработки способа декодирования движущихся изображений согласно варианту осуществления настоящего раскрытия.
Фиг.12 - общая конфигурация системы предоставления контента для реализации услуг распространения контента;
Фиг.13 - общая конфигурация системы цифрового вещания;
Фиг.14 - блок-схема, иллюстрирующая пример конфигурации телевизора;
Фиг.15 - блок-схема, иллюстрирующая пример конфигурации блока воспроизведения/записи информации, который считывает информацию с носителя записи, который является оптическим диском, и записывает ее на него;
Фиг.16 - пример конфигурации носителя записи, который является оптическим диском;
Фиг.17A - пример сотового телефона;
Фиг.17B - блок-схема, демонстрирующая пример конфигурации сотового телефона;
Фиг.18 - структура мультиплексированных данных;
Фиг.19 схематически демонстрирует, как каждый поток мультиплексируется в мультиплексированные данные;
Фиг.20 более подробно показывает, как видеопоток сохраняется в потоке пакетов PES;
Фиг.21 - структура пакетов TS и исходных пакетов в мультиплексированных данных;
Фиг.22 - структура данных PMT;
Фиг.23 - внутренняя структура информации мультиплексированных данных;
Фиг.24 - внутренняя структура информации атрибутов потока;
Фиг.25 - этапы идентификации видеоданных;
Фиг.26 - пример конфигурации интегральной схемы для реализации способа кодирования движущихся изображений и способа декодирования движущихся изображений согласно каждому из вариантов осуществления;
Фиг.27 - конфигурация для переключения между частотами возбуждения;
Фиг.28 - этапы идентификации видеоданных и переключения между частотами возбуждения;
Фиг.29 - пример поисковой таблицы, в которой стандарты видеоданных связаны с частотами возбуждения;
Фиг.30A - схема, демонстрирующая пример конфигурации для совместного использования модуля блока обработки сигнала; и
Фиг.30B - схема, демонстрирующая другой пример конфигурации для совместного использования модуля блока обработки сигнала.
ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
[0030] В схеме кодирования движущихся изображений, режим кодирования, именуемый режимом слияния, был исследован как режим внешнего прогнозирования для каждого блока, который должен быть кодирован, в B-изображении или P-изображении. В этом режиме слияния вектор движения и значение индекса опорного изображения (далее именуемое также “значения индекса опорного изображения”) копируются из блока, соседствующего с текущим блоком, который должен быть кодирован, для кодирования текущего блока. При этом путем суммирования значение индекса и пр. соседнего блока, из которого они копируются, добавляются в битовый поток. В результате вектор движения или значение индекса опорного изображения, которые использовались при кодировании, можно выбирать при декодировании. Подробный пример описан со ссылкой на соответствующие чертежи.
[0031] На Фиг.3A показана схема, демонстрирующая соотношение между: текущим блоком, который должен быть кодирован; соседними блоками; и векторами движения соседних блоков. На Фиг.3B показана таблица, демонстрирующая пример списка кандидатов в блоки слияния, в котором каждое значение индекса слияния назначается вектору движения и индексу опорного изображения, которые должны быть использованы в режиме слияния.
[0032] На Фиг.3A кодированный блок непосредственно слева от текущего блока именуется соседним блоком A, кодированный блок непосредственно над текущим блоком именуется соседним блоком B, кодированный блок непосредственно сверху и справа от текущего блока именуется соседним блоком C, и кодированный блок непосредственно снизу и слева от текущего блока именуется соседним блоком D. Кроме того, на Фиг.3A, соседний блок A был закодирован посредством однонаправленного прогнозирования с использованием направления 0 прогнозирования (первого направления прогнозирования). Соседний блок A имеет вектор MvL0_A движения направления 0 прогнозирования для опорного изображения, указанный значением RefL0_A индекса в индексе опорного изображения направления 0 прогнозирования. При этом вектор MvL0 движения является вектором движения, ссылающимся на опорное изображение, указанное списком (L0) опорного изображения 0, и MvL1 является вектором движения, ссылающимся на опорное изображение, указанное списком (L1) опорного изображения 1. Соседний блок B был закодирован посредством однонаправленного прогнозирования с использованием направления 1 прогнозирования (второго направления прогнозирования). Соседний блок B имеет вектор MvL1_B движения направления 1 прогнозирования для опорного изображения, указанный значением RefL1_B индекса в индексе опорного изображения направления 1 прогнозирования. Соседний блок C был закодирован посредством внутреннего прогнозирования. Соседний блок D был закодирован посредством однонаправленного прогнозирования с использованием направления 0 прогнозирования. Соседний блок D имеет вектор MvL0_D движения направления 0 прогнозирования для опорного изображения, указанный значением RefL0_D индекса в индексе опорного изображения направления 0 прогнозирования.
[0033] В ситуации, показанной на Фиг.3A, в качестве вектора движения и значения индекса опорного изображения для текущего блока выбираются вектор движения и значение индекса опорного изображения, которые дают наивысшую эффективность кодирования, например, из (a) векторов движения и значений индекса опорного изображения соседних блоков A, B, C и D, и (b) вектора движения и значения индекса опорного изображения совместно размещенного блока, полученных в режиме вектора движения временного прогнозирования. Затем индекс блока слияния, указывающий выбранный соседний блок или совместно размещенный блок, добавляется в битовый поток. Например, если выбран соседний блок A, текущий блок кодируется с использованием вектора MvL0_A движения и значения ReL0_A индекса опорного изображения направления 0 прогнозирования, и только значение “0” индекса блока слияния, указывающее, что используется соседний блок A, как показано на Фиг.3B, добавляется в битовый поток, что позволяет сократить объем информации векторов движения и значений индекса опорного изображения.
[0034] Однако, в вышеописанном режиме слияния, если блок, являющийся кандидатом в блоки слияния, не имеет ни вектора движения, ни значения индекса опорного изображения, поскольку блок был закодирован посредством внутреннего прогнозирования (как и соседний блок C), этот блок нельзя использовать в качестве кандидата в блоки слияния. В вышеописанной ситуации, также предполагается, что количество доступных кандидатов в блоки слияния уменьшается, диапазон выбора для вектора движения и значения индекса опорного изображения, которые дают наивысшую эффективность кодирования, сокращается, в результате чего снижается эффективность кодирования.
[0035] Для решения вышеописанной проблемы один неограничительный и примерный вариант осуществления предусматривает способ кодирования изображений и способ декодирования изображений, которые позволяют повысить эффективность кодирования, не уменьшая количество доступных кандидатов в блоки слияния в режиме слияния.
[0036] Ниже описаны варианты осуществления согласно настоящему раскрытию со ссылкой на чертежи. Следует отметить, что все варианты осуществления, описанные ниже, являются конкретными примерами настоящего раскрытия. Численные значения, формы, материалы, составные элементы, позиции размещения и конфигурация соединения составных элементов, этапы, порядок выполнения этапов и пр., описанные в нижеследующих вариантах осуществления, приведены исключительно для примера и не призваны ограничивать настоящее раскрытие. Настоящее раскрытие характеризуется только нижеследующей формулой изобретения. Поэтому среди составных элементов в нижеследующих вариантах осуществления, составные элементы, которые не описаны в независимых пунктах формулы изобретения, которые демонстрируют наиболее обобщенный принцип настоящего раскрытия, описаны как элементы, составляющие более желательные конфигурации, хотя такие составные элементы не всегда требуются для решения задачи настоящего раскрытия.
[0037] ВАРИАНТ ОСУЩЕСТВЛЕНИЯ 1
На Фиг.4 показана блок-схема, демонстрирующая структуру устройства кодирования движущихся изображений, использующего способ кодирования движущихся изображений согласно варианту осуществления 1.
[0038] Как показано на Фиг.4, устройство 100 кодирования движущихся изображений включает в себя блок 101 ортогонального преобразования, блок 102 квантования, блок 103 обратного квантования, блок 104 обратного ортогонального преобразования, память 105 блоков, память 106 кадров, блок 107 внутреннего прогнозирования, блок 108 внешнего прогнозирования, блок 109 управления внешним прогнозированием, блок 110 определения типа изображения, блок 111 вычисления кандидатов в блоки слияния, память 112 colPic, блок 113 кодирования с переменной длиной слова, вычитатель 114, сумматор 115 и блок 116 переключения.
[0039] Блок 101 ортогонального преобразования преобразует данные ошибки прогнозирования, которые являются разностью между данными прогнозирования, генерируемыми, как описано ниже, и входную последовательность изображений, из области изображений в частотную область. Блок 102 квантования квантует данные ошибки прогнозирования, которые были преобразованы в частотную область. Блок 103 обратного квантования обратно квантует данные ошибки прогнозирования, которые были квантованы блоком 102 квантования. Блок 104 обратного ортогонального преобразования преобразует обратно квантованные данные ошибки прогнозирования из частотной области в область изображений. Сумматор 115 суммирует данные прогнозирования с обратно квантованными данными ошибки прогнозирования для генерирования декодированных данных. Декодированное изображение сохраняется на поблочной основе в памяти 105 блоков. Декодированное изображение сохраняется на основе отдельных изображений в памяти 106 кадров. Блок 110 определения типа изображения определяет, по какому типу изображения из I-изображения, B-изображения или P-изображения, каждое изображение во входной последовательности изображений должно быть кодировано, и генерирует информацию типа изображения. Блок 107 внутреннего прогнозирования кодирует текущий блок, который должен быть кодирован посредством внутреннего прогнозирования, с использованием декодированного изображения, сохраненного на поблочной основе в памяти 105 блоков, для генерирования изображения прогнозирования. Блок 108 внешнего прогнозирования кодирует текущий блок посредством внешнего прогнозирования с использованием декодированного изображения, сохраненного на основе отдельных изображений в памяти 106 кадров, и вектора движения, выведенного при оценивании движения, для генерирования изображения прогнозирования. Вычитатель 114 вычитает данные прогнозирования, генерируемые блоком 206 внутреннего прогнозирования или блоком 207 внешнего прогнозирования из входной последовательности изображений, для вычисления данных ошибки прогнозирования.
[0040] Блок 111 вычисления кандидатов в блоки слияния указывает кандидаты в блоки слияния (первые блоки-кандидаты) режима слияния, с использованием (a) векторов движения и значений индекса опорного изображения, которые использовались для кодирования соседних блоков и (b) информации colpic, например вектора движения и пр. совместно размещенного блока, которая сохраняется в памяти 112 colPic, относящейся к текущему блоку. При этом кандидаты в блоки слияния являются кандидатами блока, из которого по меньшей мере один вектор движения и по меньшей мере одно значение индекса опорного изображения непосредственно используются (копируются) для текущего блока. Кроме того, блок 111 вычисления кандидатов в блоки слияния генерирует объединенный блок слияния (второй блок-кандидат) описанным ниже способом. Следует отметить, что объединенный блок слияния является не блоком, фактически имеющим пиксельные значения, а виртуальным блоком, имеющим векторы движения и значения индекса опорного изображения. Кроме того, блок 111 вычисления кандидатов в блоки слияния назначает каждому из указанных блоков слияния соответствующее значение индекса блока слияния (индекс блока). Затем блок 111 вычисления кандидатов в блоки слияния передает кандидаты в блоки слияния и значения индекса блока слияния (далее именуемые также “значения индекса блока слияния”) блоку 109 управления внешним прогнозированием. Следует отметить, что в настоящем варианте осуществления 1 предполагается, что векторы движения и значения индекса опорного изображения, используемые для соседних блоков текущего изображения, сохраняются в блоке 111 вычисления кандидатов в блоки слияния.
[0041] Блок 109 управления внешним прогнозированием осуществляет кодирование с внешним прогнозированием в режиме прогнозирования, имеющем наименьшую ошибку прогнозирования между (a) режимом прогнозирования для изображения внешнего прогнозирования, генерируемого с использованием вектора движения, выведенного в режиме оценивания движения, и (b) режимом прогнозирования для изображения внешнего прогнозирования, генерируемого с использованием вектора движения, выведенного в режиме слияния. Кроме того, блок 109 управления внешним прогнозированием снабжает блок 113 кодирования с переменной длиной слова (a) флагом слияния, указывающим, является ли режим прогнозирования режимом слияния, (b) значением индекса блока слияния, соответствующим определенному блоку слияния, если в качестве режима прогнозирования выбран режим слияния, и (c) информацией ошибки прогнозирования. Кроме того, блок 109 управления внешним прогнозированием переносит информацию colpic, включающую в себя вектор движения и пр. для текущего блока, в память 112 colPic.
[0042] Блок 113 кодирования с переменной длиной слова осуществляет кодирование с переменной длиной слова в отношении квантованных данных ошибки прогнозирования, флага слияния, значения индекса блока слияния и информации типа изображения, для генерирования битового потока.
[0043] На Фиг.5 показана блок-схема операций, представляющая основные этапы потока обработки способа кодирования движущихся изображений согласно настоящему варианту осуществления.
[0044] Блок 111 вычисления кандидатов в блоки слияния указывает кандидаты в блоки слияния из соседних блоков и совместно размещенного блока для текущего блока, который должен быть кодирован (этап S11). Например, в ситуации, показанной на Фиг.3A, блок 111 вычисления кандидатов в блоки слияния указывает соседние блоки A, B, C, D и совместно размещенный блок слияния, в качестве кандидатов в блоки слияния. При этом совместно размещенный блок слияния включает в себя по меньшей мере один вектор движения и пр., которые вычисляются в режиме временного прогнозирования из по меньшей мере одного вектора движения совместно размещенного блока. Затем блок 111 вычисления кандидатов в блоки слияния назначает каждому из кандидатов в блоки слияния соответствующее значение индекса блока слияния, как показано на Фиг.3B. В общем случае, чем меньше значение индекса блока слияния, тем меньше необходимый объем информации. С другой стороны, чем больше значение индекса блока слияния, тем больше необходимый объем информации. Поэтому, если значение индекса блока слияния, соответствующее кандидату в блоки слияния, с высокой вероятностью имеющему более точный вектор движения и более точное значение индекса опорного изображения, уменьшается, эффективность кодирования повышается. Например, можно предусмотреть, что ведется подсчет, сколько раз каждый кандидат в блоки слияния был выбран в качестве блока слияния, и блоку, имеющему более высокое значение счетчика, назначается меньшее значение индекса блока слияния. При этом, если целевой кандидат в блоки слияния не хранит информацию, например вектор движения, например, если кандидат в блоки слияния является блоком, кодированным посредством внутреннего прогнозирования, или если кандидат в блоки слияния располагается за пределами границы изображения или границы среза, предполагается, что такой блок нельзя использовать в качестве кандидата в блоки слияния. В настоящем варианте осуществления, если блок нельзя использовать в качестве кандидата в блоки слияния, блок именуется недоступным блоком, и если блок можно использовать в качестве кандидата в блоки слияния, блок именуется доступным блоком. В ситуации, показанной на Фиг.3A, поскольку соседний блок C является блоком, кодированным посредством внутреннего прогнозирования, считается, что соседний блок C не является доступным в качестве недоступного блока в качестве кандидата в блоки слияния.
[0045] Используя кандидаты в блоки слияния, указанные на этапе S11, блок 111 вычисления кандидатов в блоки слияния генерирует объединенный блок слияния описанным ниже способом, для обновления списка кандидатов в блоки слияния (этап S12). Например, список кандидатов в блоки слияния, показанный на Фиг.6, генерируется из списка кандидатов в блоки слияния, показанного на Фиг.3B. В списке кандидатов в блоки слияния на Фиг.3B объединенный блок слияния, генерируемый описанным ниже способом, используется вместо недоступного кандидата, имеющего значение “3” индекса блока слияния. Используя такой вновь сгенерированный объединенный блок слияния вместо недоступного кандидата, можно повысить эффективность кодирования, не изменяя максимальное значение количества кандидатов в блоки слияния.
[0046] Затем блок 109 управления внешним прогнозированием сравнивает (a) ошибку прогнозирования изображения внешнего прогнозирования, генерируемого с использованием вектора движения, выведенного посредством оценивания движения, с (b) ошибкой прогнозирования изображения прогнозирования, генерируемого кандидатом в блоки слияния описанным ниже способом, для определения режима прогнозирования для кодирования текущего блока. При этом, если определено, что режим прогнозирования является режимом слияния, то блок 109 управления внешним прогнозированием определяет значение индекса блока слияния, указывающее, какой кандидат в блоки слияния должен быть использован. Затем, если режим прогнозирования является режимом слияния, то блок 109 управления внешним прогнозированием устанавливает флаг слияния равным 1, в противном случае, устанавливает флаг слияния равным 0 (этап S13). Блок 109 управления внешним прогнозированием определяет, равен ли флаг слияния 1, другими словами, является ли режим прогнозирования режимом слияния (этап S14). В результате, если режим прогнозирования является режимом слияния (Да на этапе S14), то блок 109 управления внешним прогнозированием передает блоку 113 кодирования с переменной длиной слова флаг слияния и значение индекса блока слияния, которое должно быть использовано для слияния, то есть для добавления флага слияния и значения индекса в битовый поток (этап S15). С другой стороны, если режим прогнозирования не является режимом слияния (Нет на этапе S14), то блок 109 управления внешним прогнозированием передает блоку 113 кодирования с переменной длиной слова флаг слияния и информацию режима оценивания вектора движения, то есть для добавления флага слияния и информации в битовый поток (этап S16).
[0047] Следует отметить, что в настоящем варианте осуществления, как показано на Фиг.3B, в отношении значений индекса блока слияния, значение, соответствующее соседнему блоку A, равно “0”, значение, соответствующее соседнему блоку B, равно “1”, значение, соответствующее совместно размещенному блоку слияния, равно “2”, значение, соответствующее соседнему блоку C, равно “3”, и значение, соответствующее соседнему блоку D, равно “4”. Однако способ назначения значений индекса блока слияния не ограничивается только примером. Например, наибольшее значение также может назначаться недоступному кандидату в качестве кандидата в блоки слияния. Следует также заметить, что кандидаты в блоки слияния не ограничиваются соседними блоками A, B, C и D. Например, соседний блок и т.п., который располагается над непосредственно блоком D снизу слева, можно выбирать в качестве кандидата в блоки слияния. Следует также заметить, что не требуется использовать все соседние блоки, но только соседние блоки A и B можно использовать в качестве кандидатов в блоки слияния. Следует также заметить, что не требуется всегда использовать совместно размещенный блок слияния.
[0048] Следует также заметить, что в настоящем варианте осуществления на этапе S15 на Фиг.5 описано, что блок 109 управления внешним прогнозированием обеспечивает значение индекса блока слияния блоку 113 кодирования с переменной длиной слова для добавления значения индекса блока слияния в битовый поток, но также можно не добавлять значения индекса блока слияния, если количество кандидатов в блоки слияния равно 1. Таким образом, можно сократить объем информации индекса блока слияния.
[0049] Следует также заметить, что в настоящем варианте осуществления на этапе S12 на Фиг.5 описано, что объединенный блок слияния используется вместо недоступного кандидата, имеющего значение “3” индекса блока слияния. Однако настоящее раскрытие не ограничивается вышеописанным, и объединенный блок слияния может дополнительно добавляться в список кандидатов в блоки слияния. Таким образом, можно увеличить диапазон выбора кандидатов в блоки слияния. При этом, недоступный кандидат также можно рассматривать в качестве кандидата, имеющего вектор движения 0 и индекс опорного изображения 0.
[0050] На Фиг.7 показан пример таблицы кодирования, которая используется для осуществления кодирования с переменной длиной слова в отношении значений индекса блока слияния.
[0051] В примере, показанном на Фиг.7, код, имеющий меньшую длину кода, назначается меньшему значению индекса блока слияния. Поэтому, если значение индекса блока слияния, соответствующее кандидату в блоки слияния, имеющему возможность высокой точности прогнозирования уменьшается, можно повысить эффективность кодирования.
[0052] Следует отметить, что в настоящем варианте осуществления описано, что кодирование с переменной длиной слова осуществляется в отношении значений индекса блока слияния, как показано на Фиг.7, но значения индекса блока слияния можно кодировать с фиксированной длиной кода. Таким образом, можно снизить нагрузку обработки кодирования или декодирования.
[0053] На Фиг.8 показана подробная блок-схема операций для осуществления этапа S12 на Фиг.5. Ниже описан способ генерации объединенного блока слияния из кандидатов в блоки слияния, указанных на этапе S11 со ссылкой на Фиг.8.
[0054] Блок 111 вычисления кандидатов в блоки слияния инициализирует значение 1 (idx1) индекса равным “0” (этап S21). Затем блок 111 вычисления кандидатов в блоки слияния инициализирует значение 2 (idx2) индекса равным “0” (этап S22). Блок 111 вычисления кандидатов в блоки слияния определяет, имеют ли idx1 и idx2 разные значения и включает ли в себя список кандидатов в блоки слияния какого-либо недоступного кандидата (этап S23). В результате, при наличии недоступного кандидата (Да на этапе S23), блок 111 вычисления кандидатов в блоки слияния определяет, доступен ли кандидат [idx1] в блоки слияния, которому назначено значение idx1 индекса блока слияния, и доступен ли кандидат [idx2] в блоки слияния, которому назначено значение idx2 индекса блока слияния (этап S24). В результате, если кандидат [idx1] в блоки слияния доступен, и кандидат [idx2] в блоки слияния также доступен (Да на этапе S24), то блок 111 вычисления кандидатов в блоки слияния определяет, спрогнозированы ли кандидат [idx1] в блоки слияния и кандидат [idx2] в блоки слияния в разных направлениях прогнозирования, или кандидат [idx1] в блоки слияния и кандидат [idx2] в блоки слияния закодированы посредством двунаправленного прогнозирования (этап S25). В результате, если кандидат [idx1] в блоки слияния и кандидат [idx2] в блоки слияния спрогнозированы в разных направлениях прогнозирования, или кандидат [idx1] в блоки слияния и кандидат [idx2] в блоки слияния закодированы посредством двунаправленного прогнозирования (Да на этапе S25), то блок 111 вычисления кандидатов в блоки слияния определяет, спрогнозирован ли кандидат [idx1] в блоки слияния в направлении 0 прогнозирования (первом направлении прогнозирования) или закодирован посредством двунаправленного прогнозирования, и спрогнозирован ли кандидат [idx2] в блоки слияния в направлении 1 прогнозирования (втором направлении прогнозирования) или закодирован посредством двунаправленного прогнозирования (этап S26). В результате, если кандидат [idx1] в блоки слияния спрогнозирован в направлении 0 прогнозирования или закодирован посредством двунаправленного прогнозирования, и кандидат [idx2] в блоки слияния спрогнозирован в направлении 1 прогнозирования или закодирован посредством двунаправленного прогнозирования (Да на этапе S26), другими словами, если кандидат [idx1] в блоки слияния имеет, по меньшей мере, вектор движения направления 0 прогнозирования, и кандидат [idx2] в блоки слияния имеет, по меньшей мере, вектор движения направления 1 прогнозирования, то блок 111 вычисления кандидатов в блоки слияния выбирает вектор движения и значение индекса опорного изображения направления 0 прогнозирования кандидата [idx1] в блоки слияния для направления 0 прогнозирования объединенного блока слияния (этап S27). Кроме того, блок 111 вычисления кандидатов в блоки слияния выбирает вектор движения и значение индекса опорного изображения направления 1 прогнозирования кандидата [idx2] в блоки слияния для направления 1 прогнозирования объединенного блока слияния, для генерирования объединенного блока слияния двунаправленного прогнозирования (этап S28). С другой стороны, если не определено, что кандидат [idx1] в блоки слияния спрогнозирован в направлении 0 прогнозирования или закодирован посредством двунаправленного прогнозирования, и кандидат [idx2] в блоки слияния спрогнозирован в направлении 1 прогнозирования или закодирован посредством двунаправленного прогнозирования (Нет на этапе S26), то блок 111 вычисления кандидатов в блоки слияния выбирает вектор движения и значение индекса опорного изображения направления 0 прогнозирования кандидата [idx2] в блоки слияния для направления 0 прогнозирования объединенного блока слияния (этап S29). Кроме того, блок 111 вычисления кандидатов в блоки слияния выбирает вектор движения и значение индекса опорного изображения направления 1 прогнозирования кандидата [idx1] в блоки слияния для направления 1 прогнозирования объединенного блока слияния, для генерирования объединенного блока слияния двунаправленного прогнозирования (этап S30). Блок 111 вычисления кандидатов в блоки слияния добавляет сгенерированный объединенный блок слияния в список кандидатов в блоки слияния в качестве доступного кандидата, вместо недоступного кандидата (этап S31). Затем блок 111 вычисления кандидатов в блоки слияния суммирует значение “1” со значением idx2 (этап S32) и проверяет, что значение idx2 больше или равно максимальному значению количества кандидатов в блоки слияния (этап S33). В результате, если значение idx2 меньше максимального значения количества кандидатов в блоки слияния (Нет на этапе S33), обработка возвращается к этапу S23, то блок 111 вычисления кандидатов в блоки слияния снова определяет, остался ли какой-либо недоступный кандидат, и генерирует следующий объединенный блок слияния (этапы S23-S32). С другой стороны, если значение idx2 больше или равно максимальному значению количества кандидатов в блоки слияния (Да на этапе S33), то блок 111 вычисления кандидатов в блоки слияния суммирует значение "1" с idx1 (этап S34) и проверяет, что idx1 больше или равно максимальному значению количества кандидатов в блоки слияния (этап S35). В результате, если idx1 больше или равно максимальному значению количества кандидатов в блоки слияния (Да на этапе S35), другими словами, если проверена каждая комбинация кандидатов в блоки слияния, то обработка завершается.
[0055] Следует отметить, что в настоящем варианте осуществления описано, что обработка завершается, когда проверена каждая комбинация кандидатов в блоки слияния, но настоящее раскрытие не ограничивается вышеописанным. Например, можно завершать обработку, когда в списке кандидатов в блоки слияния не остается недоступных кандидатов. В результате, можно сократить объем обработки.
[0056] Следует также заметить, что в настоящем варианте осуществления описано, что этапы способа генерации объединенного блока слияния из кандидатов в блоки слияния осуществляются в порядке, показанном на блок-схеме операций на Фиг.8, но настоящее раскрытие не ограничивается вышеописанным, и порядок выполнения этапов может изменяться.
[0057] Следует также заметить, что в настоящем варианте осуществления описано, что, например, когда вектор движения и значение индекса опорного изображения направления прогнозирования, относящиеся к соседнему блоку, выбраны для направления 0 прогнозирования объединенного блока слияния, если существует множество кандидатов в блоки слияния, имеющих вектор движения и значение индекса опорного изображения направления 0 прогнозирования, выбираются вектор движения и значение индекса опорного изображения направления 0 прогнозирования, которые относятся к кандидату в блоки слияния, имеющему значение индекса блока слияния, которое ближе к “0”. Однако настоящее раскрытие не ограничивается вышеописанным. Например, можно также выбрать вектор движения и значение индекса опорного изображения направления 0 прогнозирования, которые относятся к кандидату в блоки слияния, имеющему значение индекса блока слияния, которое ближе к максимальному значению.
[0058] Следует также заметить, что в настоящем варианте осуществления на этапе S31 на Фиг.8 описано, что сгенерированный объединенный блок слияния добавляется в список кандидатов в блоки слияния в качестве доступного кандидата вместо недоступного кандидата, но настоящее раскрытие не ограничивается вышеописанным. Например, можно также определять, включен ли уже какой-либо другой кандидат в блоки слияния, имеющий такой же вектор движения и такое же значение индекса опорного изображения, как у объединенного блока слияния, в список кандидатов в блоки слияния, и если такого кандидата нет в списке, объединенный блок слияния добавляется в список кандидатов в блоки слияния в качестве доступного кандидата вместо недоступного кандидата. Таким образом, предотвращая повторное добавление одного и того же кандидата в блоки слияния, можно добавлять эффективные кандидаты в блоки слияния. В результате, можно повысить эффективность кодирования.
[0059] Следует также заметить, что в настоящем варианте осуществления описано, что сгенерированный объединенный блок слияния добавляется в список кандидатов в блоки слияния при наличии недоступного кандидата в списке кандидатов в блоки слияния, но настоящее раскрытие не ограничивается вышеописанным. Например, возможно также, что на S23 на Фиг.8 не производится определение, является ли кандидат в списке кандидатов в блоки слияния недоступным, но объединенный блок слияния вычисляется и вновь добавляется в список кандидатов в блоки слияния. Таким образом, можно увеличить диапазон выбора кандидатов в блоки слияния. В результате, можно повысить эффективность кодирования.
[0060] На Фиг.9 показана подробная блок-схема операций для осуществления этапа S13 на Фиг.5. Нижеследующее описание приведено со ссылкой на Фиг.9.
[0061] Блок 109 управления внешним прогнозированием устанавливает значение индекса кандидата в блоки слияния равным “0”, минимальную ошибку прогнозирования равной ошибке прогнозирования (стоимости) режима оценивания вектора движения и флаг слияния равным “0” (этап S41). При этом стоимость вычисляется, например, согласно следующему уравнению 1 модели R-D оптимизации.
[0062] [Math. 1]
стоимость =D+λ×R (Уравнение 1)
[0063] В уравнении 1, D представляет искажение кодирования, которое является, например, суммой абсолютных значений разности (a) пиксельного значения, полученного кодированием и декодированием текущего блока с использованием изображения прогнозирования, генерируемого некоторым вектором движения, и (b) исходного пиксельного значения текущего блока. Кроме того, R представляет объем кодирования, который является, например, объемом кодирования, необходимым для кодирования вектора движения, используемого при генерации изображения прогнозирования. λ представляет метод неопределенных множителей Лагранжа.
[0064] Затем блок 109 управления внешним прогнозированием определяет, меньше ли значение индекса кандидата в блоки слияния количества кандидатов в блоки слияния текущего блока, другими словами, существует ли блок, который может быть кандидатом на слияние (этап S42). В результате, если определено, что значение индекса кандидата в блоки слияния меньше количества кандидатов в блоки слияния текущего блока (Да на этапе S42), то блок 109 управления внешним прогнозированием вычисляет стоимость кандидата в блоки слияния, которому назначено значение индекса кандидата в блоки слияния (этап S43). Затем блок 109 управления внешним прогнозированием определяет, меньше ли вычисленная стоимость кандидата в блоки слияния минимальной ошибки прогнозирования (этап S44). В результате, если вычисленная стоимость кандидата в блоки слияния меньше минимальной ошибки прогнозирования (Да на этапе S44), то блок 109 управления внешним прогнозированием обновляет минимальную ошибку прогнозирования, значение индекса блока слияния и значение флага слияния (этап S45). Затем блок 109 управления внешним прогнозированием суммирует значение “1” со значением индекса кандидата в блоки слияния (этап S46), и обработка повторяется от S42 до S46. Если вычисленная стоимость кандидата в блоки слияния не меньше минимальной ошибки прогнозирования (Нет на этапе S44), то процесс обновления на этапе S45 не осуществляется, но этап 46 осуществляется, и обработка повторяется от S42 до S46. При этом на этапе S42, если значение индекса кандидата в блоки слияния не меньше количества кандидатов в блоки слияния (Нет на этапе S42), другими словами, если кандидат в блоки слияния отсутствует, то блок 109 управления внешним прогнозированием, в конце концов, определяет окончательно оставленные флаг слияния и значение индекса блока слияния (этап S47).
[0065] Согласно настоящему варианту осуществления настоящего раскрытия, новый кандидат в блоки слияния двунаправленного прогнозирования вычисляется из кандидатов в блоки слияния, для повышения эффективности кодирования. В частности, на основании кандидатов в блоки слияния, вычисленных из соседних блоков и совместно размещенного блока, (a) вектор движения и значение индекса опорного изображения направления 0 прогнозирования и (b) вектор движения и значение индекса опорного изображения направления 1 прогнозирования объединяются для генерирования объединенного блока слияния двунаправленного прогнозирования, и затем добавляются в список кандидатов в блоки слияния. В результате, можно повысить эффективность кодирования. Кроме того, при наличии недоступного кандидата в списке кандидатов в блоки слияния, генерируется объединенный блок слияния, и недоступный кандидат заменяется объединенным блоком слияния. Таким образом, можно повысить эффективность кодирования, не увеличивая максимальное значение количества кандидатов в блоки слияния.
[0066] Следует отметить, что в настоящем варианте осуществления описано, что флаг слияния всегда добавляется в битовый поток в режиме слияния, но настоящее раскрытие не ограничивается вышеописанным. Например, можно также принудительно выбирать режим слияния согласно форме и т.п. текущего блока. В этом случае, объем информации может сокращаться за счет того, что флаг слияния не добавляется в битовый поток.
[0067] Следует отметить, что в настоящем варианте осуществления описано, что в режиме слияния по меньшей мере один вектор движения и по меньшей мере одно значение индекса опорного изображения копируются из блока, соседствующего с текущим блоком, и затем используются для кодирования текущего блока, но настоящее раскрытие не ограничивается вышеописанным. Например, возможно также следующее. Таким же образом, как в режиме слияния, с использованием кандидатов в блоки слияния, генерируемых, как показано на Фиг.6, по меньшей мере один вектор движения и по меньшей мере одно значение индекса опорного изображения копируются из блока, соседствующего с текущим блоком, и затем используются для кодирования текущего блока. В результате, если все данные ошибки прогнозирования текущего блока равны 0, флаг пропуска устанавливается равным 1 и добавляется в битовый поток. С другой стороны, если не все данные ошибки прогнозирования равны 0, флаг пропуска устанавливается равным 0, и флаг пропуска и данные ошибки прогнозирования добавляются в битовый поток (режим пропуска слияния).
[0068] Следует также заметить, что в настоящем варианте осуществления описано, что в режиме слияния по меньшей мере один вектор движения и по меньшей мере одно значение индекса опорного изображения копируются из блока, соседствующего с текущим блоком, и затем используется для кодирования текущего блока, но настоящее раскрытие не ограничивается вышеописанным. Например, вектор движения в режиме оценивания вектора движения также можно кодировать с использованием списка кандидатов в блоки слияния, генерируемых, как показано на Фиг.6. В частности, вектор движения кандидата в блоки слияния, определенный значением индекса блока слияния, можно вычитать из вектора движения режима оценивания вектора движения, для получения разности, и разность и значение индекса кандидата в блоки слияния добавляются в битовый поток. Кроме того, возможно также следующее. С использованием значения RefIdx_ME индекса опорного изображения режима оценивания движения и значения RefIdx_Merge индекса опорного изображения кандидата в блоки слияния осуществляется масштабирование в отношении вектора MV_Merge движения кандидата в блоки слияния. Затем, вектор scaledMV_Merge движения масштабированного кандидата в блоки слияния вычитается из векторов движения в режиме оценивания движения для получения разности. Разность и значение индекса кандидата в блоки слияния добавляются в битовый поток. Это масштабирование можно осуществлять с использованием следующего уравнения 2.
[0069] scaledMV_Merge=
MV_Merge×(POC(RefIdx_ME)-curPOC)/(POC(RefIdx_Merge)-curPOC) (Уравнение 2)
[0070] При этом, POC(RefIdx_ME) представляет положение в порядке отображения опорного изображения, указанное значением RefIdx_ME индекса опорного изображения, POC(RefIdx_Merge) представляет положение в порядке отображения опорного изображения, указанное значением RefIdx_Merge индекса опорного изображения, и curPOC представляет положение в порядке отображения изображения, которое должно быть кодировано.
[0071] ВАРИАНТ ОСУЩЕСТВЛЕНИЯ 2
На Фиг.10 показана блок-схема, демонстрирующая структуру устройства декодирования движущихся изображений, использующего способ декодирования движущихся изображений согласно варианту осуществления 2 настоящего раскрытия.
[0072] Как показано на Фиг.10, устройство 200 декодирования движущихся изображений включает в себя блок 201 декодирования с переменной длиной слова, блок 202 обратного квантования, блок 203 обратного ортогонального преобразования, память 204 блоков, память 205 кадров, блок 206 внутреннего прогнозирования, блок 207 внешнего прогнозирования, блок 208 управления внешним прогнозированием, блок 209 вычисления кандидатов в блоки слияния, память 210 colPic, сумматор 211 и переключатель 212.
[0073] Блок 201 декодирования с переменной длиной слова осуществляет декодирование с переменной длиной слова на входном битовом потоке для получения информации типа изображения, флага слияния и индекса блока слияния и битового потока, декодированного с переменной длиной слова. Блок 202 обратного квантования обратно квантует битовый поток, декодированный с переменной длиной слова. Блок 203 обратного ортогонального преобразования преобразует обратно квантованный битовый поток из частотной области в область изображений, для генерирования данных ошибки прогнозирования изображения. В памяти 204 блоков сохраняется последовательность изображений, генерируемая путем добавления данных ошибки прогнозирования изображения в изображение прогнозирования на поблочной основе. В памяти 205 кадров сохраняется последовательность изображений на основе отдельных изображений. Блок 206 внутреннего прогнозирования осуществляет внутреннее прогнозирование на последовательности изображений, хранящихся в памяти 204 блоков, на поблочной основе, для генерирования данных изображения прогнозирования текущего блока, который должен быть декодирован. Блок 207 внешнего прогнозирования осуществляет внешнее прогнозирование в отношении последовательности изображений, хранящейся в памяти кадров, на основе отдельных изображений, для генерирования данных изображения прогнозирования текущего блока, который должен быть декодирован.
[0074] Блок 209 вычисления кандидатов в блоки слияния выводит кандидаты в блоки слияния режима слияния, с использованием информации colpic, например векторов движения соседних блоков и совместно размещенного блока, хранящейся в памяти 210 colPic, относящейся к текущему блоку. Кроме того, блок 209 вычисления кандидатов в блоки слияния назначает каждому из выведенных блоков слияния соответствующее значение индекса блока слияния. Затем блок 209 вычисления кандидатов в блоки слияния обеспечивает кандидаты в блоки слияния и значения индекса блока слияния блоку 208 управления внешним прогнозированием.
[0075] Если флаг слияния, декодированный блоком 201 декодирования с переменной длиной слова, равен “0”, другими словами, если режим прогнозирования не является режимом слияния, блок 208 управления внешним прогнозированием генерирует изображение внешнего прогнозирования с использованием декодированной информации режима оценивания движения. Кроме того, если флаг слияния равен “1”, другими словами, если режим прогнозирования является режимом слияния, то блок 208 управления внешним прогнозированием определяет вектор движения и значение индекса опорного изображения, которое должно быть использовано при внешнем прогнозировании из множества кандидатов в блоки слияния, на основании декодированного значения индекса блока слияния, для генерирования изображения внешнего прогнозирования. Кроме того, блок 208 управления внешним прогнозированием снабжает память 210 colPic информацией colpic, включающей в себя вектор движения и пр. текущего блока.
[0076] Сумматор 211 суммирует данные прогнозирования, генерируемые блоком 206 внутреннего прогнозирования или блоком 207 внешнего прогнозирования с данными ошибки прогнозирования, полученными от блока 203 обратного ортогонального преобразования, для генерирования декодированной последовательности изображений.
[0077] На Фиг.11 показана блок-схема операций, представляющая основные этапы потока обработки способа декодирования движущихся изображений согласно настоящему варианту осуществления.
[0078] Блок 201 декодирования с переменной длиной слова декодирует флаг слияния из битового потока (этап S51). Блок 208 управления внешним прогнозированием определяет, равен ли флаг слияния “1” (этап S52). В результате, если флаг слияния равен “1” (Да на этапе S52), то блок 209 вычисления кандидатов в блоки слияния указывает кандидаты в блоки слияния из соседних блоков и совместно размещенного блока для текущего блока, который должен быть декодирован (этап S53). Таким же образом, как показано на Фиг.8, блок 209 вычисления кандидатов в блоки слияния генерирует объединенный блок слияния и обновляет список кандидатов в блоки слияния (этап S54). Таким образом, аналогично обработке кодирования, например, список кандидатов в блоки слияния, показанный на Фиг.6, генерируется из списка кандидатов в блоки слияния, показанного на Фиг.3B. Блок 208 управления внешним прогнозированием определяет блок слияния, из которого копируется по меньшей мере один вектор движения и по меньшей мере одно значение индекса опорного изображения, согласно значению индекса блока слияния, декодированного блоком 201 декодирования с переменной длиной слова, и генерирует изображение внешнего прогнозирования с использованием определенного блока слияния (этап S55). С другой стороны, на этапе S52, если флаг слияния равен “0”, то блок 208 управления внешним прогнозированием генерирует изображение внешнего прогнозирования с использованием информации режима оценивания вектора движения, которая декодируется блоком 201 декодирования с переменной длиной слова (этап S56). Следует отметить, что, если количество кандидатов в блоки слияния, указанных или генерируемых на этапе S53 и S54, равно одному, можно не декодировать значение индекса блока слияния, но оценивать значение индекса блока слияния как 0.
[0079] Согласно настоящему варианту осуществления настоящего раскрытия, новый блок слияния двунаправленного прогнозирования вычисляется из кандидатов в блоки слияния, чтобы надлежащим образом декодировать битовый поток с повышенной эффективностью кодирования.
[0080] В частности, на основании кандидатов в блоки слияния, вычисленных согласно соседним блокам и совместно размещенному блоку, (a) вектор движения и значение индекса опорного изображения направления 0 прогнозирования и (b) вектор движения и значение индекса опорного изображения направления 1 прогнозирования объединяются для генерирования объединенного блока слияния двунаправленного прогнозирования и добавляются в список кандидатов в блоки слияния. В результате, можно надлежащим образом декодировать битовый поток с повышенной эффективностью кодирования. Кроме того, при наличии недоступного кандидата в списке кандидатов в блоки слияния, вычисляется объединенный блок слияния, и недоступный кандидат заменяется объединенным блоком слияния. Таким образом, можно надлежащим образом декодировать битовый поток с повышенной эффективностью кодирования, не увеличивая максимальное значение количества кандидатов в блоки слияния.
[0081] ВАРИАНТ ОСУЩЕСТВЛЕНИЯ 3
Обработку, описанную в каждом из вариантов осуществления, можно просто реализовать в независимой компьютерной системе, посредством записи, на носителе записи, программы для реализации конфигураций способа кодирования движущихся изображений (способа кодирования изображений) и способа декодирования движущихся изображений (способа декодирования изображений), описанного в каждом из вариантов осуществления. Носителями записи могут быть собой любые носители записи, на которые можно записывать программу, например магнитный диск, оптический диск, магнитооптический диск, плата ИС и полупроводниковая память.
[0082] Далее будут описаны применения способа кодирования движущихся изображений (способа кодирования изображений) и способа декодирования движущихся изображений (способа декодирования изображений), описанных в каждом из вариантов осуществления и систем, использующих их. Система обладает особенностью наличия устройства кодирования и декодирования изображений, которое включает в себя устройство кодирования изображений, использующее способ кодирования изображений, и устройство декодирования изображений, использующее способ декодирования изображений. Другие конфигурации в системе можно изменять надлежащим образом в зависимости от случаев.
[0083] Фиг.12 иллюстрирует общую конфигурацию системы ex100 предоставления контента для реализации услуг распространения контента. Область для обеспечения услуг связи делится на соты желаемого размера, и базовые станции ex106, ex107, ex108, ex109 и ex110, которые представляют собой стационарные станции беспроводной связи, располагаются в каждой из сот.
[0084] Система ex100 предоставления контента подключена к устройствам, например компьютеру ex111, карманному персональному компьютеру (КПК) ex112, камере ex113, сотовому телефону ex114 и игровой машине ex115, через интернет ex101, поставщика ex102 услуг интернета, телефонную сеть ex104, а также базовые станции ex106-ex110, соответственно.
[0085] Однако конфигурация системы ex100 предоставления контента не ограничивается конфигурацией, показанной на Фиг.12, и приемлема комбинация, в которой соединены любые из элементов. Кроме того, каждое устройство может быть непосредственно подключено к телефонной сети ex104, а не через базовые станции ex106-ex110, которые являются стационарными станциями беспроводной связи. Кроме того, устройства могут соединяться между собой посредством беспроводной связи малой дальности и пр.
[0086] Камера ex113, например цифровая видеокамера, способна захватывать видео. Камера ex116, например цифровая видеокамера, способна захватывать как неподвижные изображения, так и видео. Кроме того, сотовый телефон ex114 может отвечать любому из стандартов, например глобальная система мобильной связи (GSM), множественный доступ с кодовым разделением (CDMA), широкополосный множественный доступ с кодовым разделением (W-CDMA), проект долгосрочного развития систем связи (LTE), и высокоскоростной пакетный доступ (HSPA). Альтернативно, сотовый телефон ex114 может представлять собой Personal Handyphone System (PHS).
[0087] В системе ex100 предоставления контента, сервер ex103 потоковой передачи подключен к камере ex113 и пр. через телефонную сеть ex104 и базовую станцию ex109, что позволяет распространять изображения шоу в прямом эфире и пр. При таком распространении, контент (например, видеозапись музыкального шоу в прямом эфире), захваченный пользователем с использованием камеры ex113, кодируется, как описано выше, в каждом из вариантов осуществления (т.е. камера функционирует как устройство кодирования изображений настоящего изобретения), и кодированный контент передается на сервер ex103 потоковой передачи. С другой стороны, сервер ex103 потоковой передачи осуществляет распространение потока передаваемых данных контента клиентам по их запросам. Клиенты включают в себя компьютер ex111, КПК ex112, камеру ex113, сотовый телефон ex114 и игровую машину ex115, которые способны декодировать вышеупомянутые кодированные данные. Каждое из устройств, принявших распространяемые данные, декодирует и воспроизводит кодированные данные (т.е. каждое из устройств функционирует как устройство декодирования изображений настоящего изобретения).
[0088] Захваченные данные могут кодироваться камерой ex113 или сервером ex103 потоковой передачи, который передает данные, или процессы кодирования могут совместно использоваться камерой ex113 и сервером ex103 потоковой передачи. Аналогично, распространяемые данные могут декодироваться клиентами или сервером ex103 потоковой передачи, или процессы декодирования могут совместно использоваться клиентами и сервером ex103 потоковой передачи. Кроме того, данные неподвижных изображений и видео, захваченных не только камерой ex113, но и камерой ex116, могут передаваться на сервер ex103 потоковой передачи через компьютер ex111. Процессы кодирования могут осуществляться камерой ex116, компьютером ex111 или сервером ex103 потоковой передачи, или совместно использоваться ими.
[0089] Кроме того, процессы кодирования и декодирования могут осуществляться БИС ex500, в общем случае, включенной в каждый из компьютера ex111 и устройств. БИС ex500 может быть сконфигурирована в виде единого кристалла или множества кристаллов. Программное обеспечение для кодирования и декодирования видео может быть интегрировано в носитель записи того или иного типа (например, CD-ROM, гибкий диск и жесткий диск), который читается компьютером ex111 и пр., и процессы кодирования и декодирования могут осуществляться с использованием программного обеспечения. Кроме того, когда сотовый телефон ex114 снабжен камерой, данные изображения, полученные камерой, могут передаваться. Видеоданные являются данными, кодированными БИС ex500, включенной в сотовый телефон ex114.
[0090] Кроме того, сервер ex103 потоковой передачи может состоять из серверов и компьютеров и может децентрализовать данные и обрабатывать децентрализованные данные, записывать или распространять данные.
[0091] Как описано выше, клиенты могут принимать и воспроизводить кодированные данные в системе ex100 предоставления контента. Другими словами, клиенты могут принимать и декодировать информацию, передаваемую пользователем, и воспроизводить декодированные данные в реальном времени в системе ex100 предоставления контента, благодаря чему, пользователь, не имеющий никаких особых прав и оборудования, может реализовать персональное вещание.
[0092] Помимо примера системы ex100 предоставления контента по меньшей мере одно из устройства кодирования движущихся изображений (устройства кодирования изображений) и устройства декодирования движущихся изображений (устройства декодирования изображений), описанных в каждом из вариантов осуществления, можно реализовать в системе ex200 цифрового вещания, представленной на Фиг.13. В частности, широковещательная станция ex201 передает посредством радиоволн на вещательный спутник ex202 мультиплексированные данные, полученные путем мультиплексирования аудиоданных и пр. на видеоданные. Видеоданные - это данные, кодированные способом кодирования движущихся изображений, описанным в каждом из вариантов осуществления (т.е. данные, кодированные устройством кодирования изображений настоящего изобретения). Приняв мультиплексированные данные, вещательный спутник ex202 передает радиоволны для вещания. Затем, домашняя антенна ex204 с функцией приема спутникового вещания принимает радиоволны. Затем устройство, например телевизор (приемник) ex300 и телевизионная приставка (STB) ex217, декодирует принятые мультиплексированные данные и воспроизводит декодированные данные (т.е. устройство функционирует как устройство кодирования изображений настоящего изобретения).
[0093] Кроме того, устройство ex218 чтения/записи (i) считывает и декодирует мультиплексированные данные, записанные на носителях ex215 записи, например DVD и BD, или (i) кодирует видеосигналы на носитель ex215 записи и в ряде случаев записывает данные, полученные путем мультиплексирования аудиосигнала на кодированные данные. Устройство ex218 чтения/записи может включать в себя устройство декодирования движущихся изображений или устройство кодирования движущихся изображений, показанное в каждом из вариантов осуществления. В этом случае, воспроизводимые видеосигналы отображаются на мониторе ex219 и могут воспроизводиться другим устройством или системой с использованием носителя ex215 записи, на который записаны мультиплексированные данные. Можно также реализовать устройство декодирования движущихся изображений в телевизионной приставке ex217, подключенной к кабелю ex203 для кабельного телевидения или к антенне ex204 для спутникового и/или наземного вещания, для отображения видеосигналов на мониторе ex219 телевизора ex300. Устройство декодирования движущихся изображений можно реализовать не в телевизионной приставке, а в телевизоре ex300.
[0094] Фиг.14 иллюстрирует телевизор (приемник) ex300, который использует способ кодирования движущихся изображений и способ декодирования движущихся изображений, описанный в каждом из вариантов осуществления. Телевизор ex300 включает в себя: блок ex301 настройки, который получает или обеспечивает мультиплексированные данные, полученные путем мультиплексирования аудиоданных на видеоданные, через антенну ex204 или кабель ex203 и т.д., которая/ый принимает широковещательную программу; блок ex302 модуляции/демодуляции, который демодулирует принятые мультиплексированные данные или модулирует данные в мультиплексированные данные, подлежащие выводу; и блок ex303 мультиплексирования/демультиплексирования, который демультиплексирует модулированные мультиплексированные данные на видеоданные и аудиоданные, или мультиплексирует видеоданные и аудиоданные, кодированные блоком ex306 обработки сигнала, в данные.
[0095] Телевизор ex300 дополнительно включает в себя: блок ex306 обработки сигнала, включающий в себя блок ex304 обработки аудиосигнала и блок ex305 обработки видеосигнала, который декодирует аудиоданные и видеоданные и кодирует аудиоданные и видеоданные (которые функционируют как устройство кодирования изображений и устройство декодирования изображений), соответственно; и блок ex309 вывода, включающий в себя громкоговоритель ex307, который обеспечивает декодированный аудиосигнал, и блок ex308 отображения, который отображает декодированный видеосигнал, например устройство отображения. Кроме того, телевизор ex300 включает в себя блок ex317 интерфейса, включающий в себя блок ex312 ввода операций, который принимает ввод пользовательской операции. Кроме того, телевизор ex300 включает в себя блок ex310 управления, который управляет в целом каждым составным элементом телевизора ex300, и блок ex311 питания, который подает мощность на каждый из элементов. Помимо блока ex312 ввода операций, блок ex317 интерфейса может включать в себя: мост ex313, который подключен к внешнему устройству, например устройству ex218 чтения/записи; щелевой блок ex314 для обеспечения присоединения носителя ex216 записи, например SD-карты; драйвер ex315, подключаемый к внешнему носителю записи, например жесткий диск; и модем ex316, подключаемый к телефонной сети. При этом носитель ex216 записи может электрически записывать информацию с использованием энергонезависимого/энергозависимого элемента полупроводниковой памяти для сохранения. Составные элементы телевизора ex300 соединены друг с другом через синхронную шину.
[0096] Прежде всего, опишем конфигурацию, в которой телевизор ex300 декодирует мультиплексированные данные, полученные извне через антенну ex204 и пр., и воспроизводит декодированные данные. В телевизоре ex300, после ввода пользовательской операции через пульт ex220 дистанционного управления и пр., блок ex303 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные, демодулированные блоком ex302 модуляции/демодуляции, под управлением блока ex310 управления, включающего в себя ЦП. Кроме того, блок ex304 обработки аудиосигнала декодирует демультиплексированные аудиоданные, и блок ex305 обработки видеосигнала декодирует демультиплексированные видеоданные с использованием способа декодирования, описанного в каждом из вариантов осуществления, в телевизоре ex300. Блок ex309 вывода выводит декодированный видеосигнал и аудиосигнал, соответственно. Когда блок ex309 вывода выдает видеосигнал и аудиосигнал, сигналы могут временно сохраняться в буферах ex318 и ex319 и пр., благодаря чему сигналы воспроизводятся синхронно друг с другом. Кроме того, телевизор ex300 может считывать мультиплексированные данные не через широковещательный канал и пр., а с носителей ex215 и ex216 записи, например магнитного диска, оптического диска и SD-карты. Теперь опишем конфигурацию, в которой телевизор ex300 кодирует аудиосигнал и видеосигнал и выводит данные или записывает данные на носитель записи. В телевизоре ex300, при вводе пользовательской операции через пульт ex220 дистанционного управления и пр., блок ex304 обработки аудиосигнала кодирует аудиосигнал, и блок ex305 обработки видеосигнала кодирует видеосигнал под управлением блока ex310 управления с использованием способа кодирования, описанного в каждом из вариантов осуществления. Блок ex303 мультиплексирования/демультиплексирования мультиплексирует кодированные видеосигнал и аудиосигнал и выводит результирующий сигнал. Когда блок ex303 мультиплексирования/демультиплексирования мультиплексирует видеосигнал и аудиосигнал, сигналы могут временно сохраняться в буферах ex320 и ex321 и пр., благодаря чему сигналы воспроизводятся синхронно друг с другом. При этом буферы ex318, ex319, ex320 и ex321 могут быть множественными, как показано, или по меньшей мере один буфер может совместно использоваться в телевизоре ex300. Кроме того, данные могут сохраняться в буфере во избежание системной перегрузки и недогрузки, например, между блоком ex302 модуляции/демодуляции и блоком ex303 мультиплексирования/демультиплексирования.
[0097] Кроме того, телевизор ex300 может включать в себя конфигурацию для приема входного AV-сигнала от микрофона или камеры, отличную от конфигурации для получения аудио- и видеоданных из широковещательного канала или носителя записи, и может кодировать полученные данные. Хотя, согласно описанию, телевизор ex300 может кодировать, мультиплексировать и выводить данные, он может быть способен только принимать, декодировать и выводить данные, но не кодировать, мультиплексировать и выводить данные.
[0098] Кроме того, когда устройство ex218 чтения/записи считывает мультиплексированные данные с носителя записи или записывает их на него, один из телевизора ex300 и устройства ex218 чтения/записи может декодировать или кодировать мультиплексированные данные, и телевизор ex300 и устройство ex218 чтения/записи могут совместно осуществлять декодирование или кодирование.
[0099] В порядке примера, Фиг.15 иллюстрирует конфигурацию блока ex400 воспроизведения/записи информации при чтении данных с оптического диска или их записи на него. Блок ex400 воспроизведения/записи информации включает в себя составные элементы ex401, ex402, ex403, ex404, ex405, ex406 и ex407, которые будут описаны далее. Оптическая головка ex401 освещает лазерным пятном рабочую поверхность носителя ex215 записи, то есть оптического диска, для записи информации и регистрирует свет, отраженный от рабочей поверхности носителя ex215 записи, для считывания информации. Блок ex402 модуляционной записи электрически возбуждает полупроводниковый лазер, входящий в состав оптической головки ex401, и модулирует лазерный свет согласно записанным данным. Блок ex403 демодуляционного воспроизведения усиливает сигнал воспроизведения, полученный путем электрического обнаружения света, отраженный от рабочей поверхности, с использованием фотодетектора, входящего в состав оптической головки ex401, и демодулирует сигнал воспроизведения путем отделения компонента сигнала, записанного на носителе ex215 записи, для воспроизведения необходимой информации. В буфере ex404 временно хранится информация, которая должна быть записана на носитель ex215 записи, и информация, которая должна быть воспроизведена с носителя ex215 записи. Двигатель ex405 привода вращает носитель ex215 записи. Блок ex406 сервоуправления перемещает оптическую головку ex401 к заранее определенной информационной дорожке, управляя при этом вращением двигателя ex405 привода, чтобы следовать за лазерным пятном. Системный блок ex407 управления управляет в целом блоком ex400 воспроизведения/записи информации. Процессы чтения и записи можно реализовать посредством системного блока ex407 управления с использованием различной информации, хранящейся в буфере ex404 и, при необходимости, генерируя и добавляя новую информацию, и посредством блока ex402 модуляционной записи, блока ex403 демодуляционного воспроизведения и блока ex406 сервоуправления, которые записывают и воспроизводят информацию с помощью оптической головки ex401, действуя в координации друг с другом. Системный блок ex407 управления включает в себя, например, микропроцессор и выполняет обработку, предписывая компьютеру выполнять программу для чтения и записи.
[0100] Хотя, согласно описанию, оптическая головка ex401 производит освещение лазерным пятном, она может осуществлять запись высокой плотности с использованием света ближнего поля.
[0101] Фиг.16 иллюстрирует носитель ex215 записи, то есть оптический диск. На рабочей поверхности носителя ex215 записи сформированы спиральные направляющие канавки, и в информационной дорожке ex230 заранее записана информация адреса, указывающая абсолютную позицию на диске согласно изменению формы направляющих канавок. Информация адреса включает в себя информацию для определения позиций блоков ex231 записи, которые являются единицами записи данных. Воспроизведение информационной дорожки ex230 и считывание информации адреса в устройстве, которое записывает и воспроизводит данные, могут приводить к определению позиций блоков записи. Кроме того, носитель ex215 записи включает в себя область ex233 записи данных, область ex232 внутреннего периметра и область ex234 внешнего периметра. Область ex233 записи данных - это область, используемая для записи пользовательских данных. Область ex232 внутреннего периметра и область ex234 внешнего периметра, которые находятся внутри и снаружи области ex233 записи данных, соответственно, служат для конкретного использования кроме записи пользовательских данных. Блок 400 воспроизведения/записи информации считывает и записывает кодированные аудиоданные, кодированные видеоданные или мультиплексированные данные, полученные путем мультиплексирования кодированных аудио- и видеоданных, из и в область ex233 записи данных носителя ex215 записи.
[0102] Хотя в описании приведен пример оптического диска, имеющего слой, например DVD и BD, оптический диск этим не ограничивается и может представлять собой оптический диск, имеющий многослойную структуру и пригодный к осуществлению записи не только на своей поверхности. Кроме того, оптический диск может иметь структуру для многомерной записи/воспроизведения, например записи информации с использованием света разных длин волны в одном и том же участке оптического диска, и для записи информации в разных слоях под различными углами.
[0103] Кроме того, автомобиль ex210, имеющий антенну ex205, может принимать данные от спутника ex202 и пр. и воспроизводить видео на устройстве отображения, например автомобильной навигационной системы ex211, установленной в автомобиле ex210, в системе ex200 цифрового вещания. При этом конфигурация автомобильной навигационной системы ex211 будет конфигурацией, например, включающей в себя GPS-приемник из конфигурации, представленной на Фиг.14. То же самое справедливо для конфигурации компьютера ex111, сотового телефона ex114 и пр.
[0104] Фиг.17A иллюстрирует сотовый телефон ex114, который использует способ кодирования движущихся изображений и способ декодирования движущихся изображений, описанные в вариантах осуществления. Сотовый телефон ex114 включает в себя: антенну ex350 для передачи и приема радиоволн через базовую станцию ex110; блок ex365 камеры, способный захватывать движущиеся и неподвижные изображения; и блок ex358 отображения, например жидкокристаллическое устройство отображения для отображения данных, например декодированного видео, захваченного блоком ex365 камеры или принятого антенной ex350. Сотовый телефон ex114 дополнительно включает в себя: блок основного отдела, включающий в себя блок ex366 операционных клавиш; блок ex357 вывода аудиосигнала, например громкоговоритель для вывода аудиосигнала; блок ex356 ввода аудиосигнала, например микрофон для ввода аудиосигнала; блок ex367 памяти для хранения захваченного видео или неподвижных изображений, записанного аудио, кодированных или декодированных данных принятого видео, неподвижных изображений, сообщений электронной почты и пр.; и щелевой блок ex364, который является блоком интерфейса для носителя записи, где хранятся данные, таким же образом, как блок ex367 памяти.
[0105] Далее, пример конфигурации сотового телефона ex114 будет описан со ссылкой на Фиг.17B. В сотовом телефоне ex114, главный блок ex360 управления, предназначенный для общего управления каждым блоком основного отдела, в том числе блоком ex358 отображения, а также блоком ex366 операционных клавиш, соединен через синхронную шину ex370 с блоком ex361 питания, блоком ex362 ввода операций управления, блоком ex355 обработки видеосигнала, блоком ex363 интерфейса камеры, блоком ex359 управления жидкокристаллическим устройством отображения (LCD), блоком ex352 модуляции/демодуляции, блоком ex353 мультиплексирования/демультиплексирования, блоком ex354 обработки аудиосигнала, щелевым блоком ex364 и блоком ex367 памяти.
[0106] Когда пользователь включает питание путем нажатия кнопки отбоя вызова или кнопки питания, блок ex361 питания снабжает соответствующие блоки мощностью от блока батарей для активации сотового телефона ex114.
[0107] В сотовом телефоне ex114, блок ex354 обработки аудиосигнала преобразует аудиосигналы, собранные блоком ex356 ввода аудиосигнала в режиме речевой связи, в цифровые аудиосигналы под управлением главного блока ex360 управления, включающего в себя ЦП, ПЗУ и ОЗУ. Затем блок ex352 модуляции/демодуляции осуществляет обработку расширения по спектру на цифровых аудиосигналах, и блок ex351 передачи и приема осуществляет цифроаналоговое преобразование и преобразование частоты на данных, для передачи результирующих данных через антенну ex350. Также, в сотовом телефоне ex114, блок ex351 передачи и приема усиливает данные, принятые антенной ex350 в режиме речевой связи, и осуществляет преобразование частоты и аналого-цифровое преобразование на данных. Затем, блок ex352 модуляции/демодуляции осуществляет обратную обработку расширения по спектру на данных, и блок ex354 обработки аудиосигнала преобразует их в аналоговые аудиосигналы, для вывода их через блок ex357 вывода аудиосигнала.
[0108] Кроме того, при передаче электронной почты в режиме передачи данных, текстовые данные электронной почты, введенные с помощью блока ex366 операционных клавиш и пр. основного отдела, отправляются на главный блок ex360 управления через блок ex362 ввода операций управления. Главный блок ex360 управления предписывает блоку ex352 модуляции/демодуляции осуществлять обработку расширения по спектру на текстовых данных, и блок ex351 передачи и приема осуществляет цифроаналоговое преобразование и преобразование частоты на результирующих данных для передачи данных на базовую станцию ex110 через антенну ex350. При приеме электронной почты, на принятых данных осуществляется обработка, приблизительно обратная обработке для передачи электронной почты, и результирующие данные поступают на блок ex358 отображения.
[0109] При передаче видео, неподвижных изображений или видео и аудио в режиме передачи данных, блок ex355 обработки видеосигнала сжимает и кодирует видеосигналы, поступающие от блока ex365 камеры, с использованием способа кодирования движущихся изображений, представленного в каждом из вариантов осуществления (т.е. функционирует как устройство кодирования изображений настоящего изобретения), и передает кодированные видеоданные на блок ex353 мультиплексирования/демультиплексирования. Напротив, когда блок ex365 камеры захватывает видео, неподвижные изображения и пр., блок ex354 обработки аудиосигнала кодирует аудиосигналы, собранные блоком ex356 ввода аудиосигнала, и передает кодированные аудиоданные на блок ex353 мультиплексирования/демультиплексирования.
[0110] Блок ex353 мультиплексирования/демультиплексирования мультиплексирует кодированные видеоданные, поступающие от блока ex355 обработки видеосигнала, и кодированные аудиоданные, поступающие от блока ex354 обработки аудиосигнала, заранее определенным способом. Затем блок ex352 модуляции/демодуляции (блок схемы модуляции/демодуляции) осуществляет обработку расширения по спектру на мультиплексированных данных, и блок ex351 передачи и приема осуществляет цифроаналоговое преобразование и преобразование частоты на данных для передачи результирующих данных через антенну ex350.
[0111] В случае приема данных видеофайла, который связан с веб-страницей и пр., в режиме передачи данных, или в случае приема электронной почты с присоединенной видео- и/или аудиозаписью, для декодирования мультиплексированных данных, принятых через антенну ex350, блок ex353 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные в битовый поток видеоданных и битовый поток аудиоданных, и снабжает блок ex355 обработки видеосигнала кодированными видеоданными и блок ex354 обработки аудиосигнала кодированными аудиоданными, через синхронную шину ex370. Блок ex355 обработки видеосигнала декодирует видеосигнал с использованием способа декодирования движущихся изображений, соответствующего способу кодирования движущихся изображений, представленному в каждом из вариантов осуществления (т.е. функционирует как устройство декодирования изображений настоящего изобретения), и затем блок ex358 отображения отображает, например, видео и неподвижные изображения, включенные в видеофайл, связанный с веб-страницей, через блок ex359 управления LCD. Кроме того, блок ex354 обработки аудиосигнала декодирует аудиосигнал, и блок ex357 вывода аудиосигнала обеспечивает аудиосигнал.
[0112] Кроме того, аналогично телевизору ex300, терминал, например сотовый телефон ex114, вероятно, имеет 3 типа конфигураций реализации, включающие в себя не только (i) терминал передачи и приема, включающий в себя устройство кодирования и устройство декодирования, но и (ii) терминал передачи, включающий в себя только устройство кодирования, и (iii) терминал приема, включающий в себя только устройство декодирования. Хотя, согласно описанию, система ex200 цифрового вещания принимает и передает мультиплексированные данные, полученные путем мультиплексирования аудиоданных на видеоданные, мультиплексированные данные могут представлять собой данные, полученные путем мультиплексирования на видеоданные не аудиоданных, а символьных данных, связанных с видео, и могут быть не мультиплексированными данными, а самими видеоданными.
[0113] Таким образом, способ кодирования движущихся изображений и способ декодирования движущихся изображений в каждом из вариантов осуществления можно использовать в любом из описанных устройств и систем. Таким образом, можно получить преимущества, описанные в каждом из вариантов осуществления.
[0114] Кроме того, настоящее изобретение не ограничивается вариантами осуществления, и возможны различные модификации и ревизии не выходящие за рамки объема настоящего изобретения.
[0115] ВАРИАНТ ОСУЩЕСТВЛЕНИЯ 4
Видеоданные могут генерироваться путем переключения, при необходимости, между (i) способом кодирования движущихся изображений или устройством кодирования движущихся изображений, представленным в каждом из вариантов осуществления, и (ii) способом кодирования движущихся изображений или устройством кодирования движущихся изображений в соответствии с тем или иным стандартом, например MPEG-2, MPEG4-AVC и VC-1.
[0116] При этом, когда множество видеоданных, которые согласуются с разными стандартами, генерируется и затем декодируется, способы декодирования необходимо выбирать для согласования с разными стандартами. Однако, поскольку невозможно выявить, с каким стандартом согласуются каждые из множества видеоданных, которые должны быть декодированы, проблема состоит в том, что не удается выбрать надлежащий способ декодирования.
[0117] Для решения проблемы, мультиплексированные данные, полученные путем мультиплексирования аудиоданных и пр. на видеоданные, имеют структуру, включающую в себя информацию идентификации, указывающую, с каким стандартом согласуются видеоданные. Далее будет описана конкретная структура мультиплексированных данных, включающих в себя видеоданные, генерируемые согласно способу кодирования движущихся изображений и устройством кодирования движущихся изображений, представленными в каждом из вариантов осуществления. Мультиплексированные данные представляют собой цифровой поток в формате транспортного потока MPEG2.
[0118] Фиг.18 иллюстрирует структуру мультиплексированных данных. Согласно Фиг.18, мультиплексированные данные можно получить путем мультиплексирования по меньшей мере одного из видеопотока, аудиопотока, потока презентационной графики (PG) и потока интерактивной графики. Видеопоток представляет первичное видео и вторичное видео в фильме, аудиопоток (IG) представляет первичную аудио-часть и вторичную аудио-часть, которая должна быть смешана с первичной аудио-части, и поток презентационной графики представляет субтитры фильма. При этом первичное видео является нормальным видео, которое должно быть отображено на экране, и вторичное видео является видео, которое должно быть отображено на меньшем окне в первичном видео. Кроме того, поток интерактивной графики представляет интерактивный экран, генерируемый путем размещения компонентов ГИП на экране. Видеопоток кодируется согласно способу кодирования движущихся изображений или устройством кодирования движущихся изображений, представленными в каждом из вариантов осуществления, или согласно способу кодирования движущихся изображений или устройством кодирования движущихся изображений в соответствии с общепринятым стандартом, например MPEG-2, MPEG4-AVC и VC-1. Аудиопоток кодируется в соответствии со стандартом, например, Dolby-AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD и линейный PCM.
[0119] Каждый поток, включенный в мультиплексированные данные, идентифицируется посредством PID. Например, 0x1011 выделяется видеопотоку, который должен быть использован для видео в фильме, 0x1100 - 0x111F выделяются аудиопотокам, 0x1200-0x121F выделяются потокам презентационной графики, 0x1400-0x141F выделяются потокам интерактивной графики, 0x1B00-0x1B1F выделяются видеопотокам, которые должны быть использованы для вторичного видео в фильме, и 0x1A00-0x1A1F выделяются аудиопотокам, которые должны быть использованы для вторичного видео, которое должно быть смешано с первичным аудио.
[0120] Фиг.19 схематически иллюстрирует, как мультиплексируются данные. Прежде всего, видеопоток ex235, состоящий из кадров видео, и аудиопоток ex238, состоящий из кадров аудио, преобразуются в поток пакетов PES ex236 и поток пакетов PES ex239, и далее в пакеты TS ex237 и пакеты TS ex240, соответственно. Аналогично, данные потока ex241 презентационной графики и данные потока ex244 интерактивной графики преобразуются в поток пакетов PES ex242 и поток пакетов PES ex245, и далее в пакеты TS ex243 и пакеты TS ex246, соответственно. Эти пакеты TS мультиплексируются в поток для получения мультиплексированных данных ex247.
[0121] Фиг.20 более подробно иллюстрирует, как видеопоток сохраняется в потоке пакетов PES. Первая полоска на Фиг.20 демонстрирует поток кадров видео в видеопотоке. Вторая полоска демонстрирует поток пакетов PES. Как указано стрелками, обозначенными yy1, yy2, yy3 и yy4 на Фиг.20, видеопоток делится на изображения, а именно I-изображения, B-изображения и P-изображения, каждое из которых является единицей презентации видео, и изображения сохраняются в полезной нагрузке каждого из пакетов PES. Каждый из пакетов PES имеет заголовок PES, и в заголовке PES хранится метка времени презентации (PTS), указывающая время отображения изображения, и метка времени декодирования (DTS), указывающая время декодирования изображения.
[0122] Фиг.21 иллюстрирует формат пакетов TS, окончательно подлежащих записи на мультиплексированные данные. Каждый из пакетов TS представляет собой пакет фиксированной длины 188 байт, включающий в себя 4-байтовый заголовок TS, имеющий информацию, например PID для идентификации потока и 184-байтовую полезную нагрузку TS для хранения данных. Пакеты PES делятся и хранятся в участках полезной нагрузки TS, соответственно. При использовании BD ROM, каждому из пакетов TS придается 4-байтовый TP_Extra_Header, что обеспечивает 192-байтовые исходные пакеты. Исходные пакеты записываются на мультиплексированные данные. В TP_Extra_Header хранится такая информация, как Arrival_Time_Stamp (ATS). ATS указывает время начала переноса каждого из пакетов TS на фильтр PID. Исходные пакеты размещены в мультиплексированных данных, как показано в нижней части Фиг.21. Числа, возрастающие от начала мультиплексированных данных, называются номерами исходных пакетов (SPN).
[0123] Каждый из пакетов TS, включенных в мультиплексированные данные, включает в себя не только потоки аудио, видео, субтитров и пр., но и таблицу ассоциаций программы (PAT), таблицу карт программы (PMT) и временную отметку программы (PCR). В PAT указано, что указывает PID в PMT, используемой в мультиплексированных данных, и PID самой PAT регистрируется как нуль. В PMT хранятся PID потоков видео, аудио, субтитров и пр., включенных в мультиплексированные данные, и информация атрибутов потоков, соответствующих PID. PMT также имеет различные дескрипторы относящиеся к мультиплексированным данным. Дескрипторы имеют такую информацию, как информация контроля копирования, которая указывает, разрешено ли копирование мультиплексированных данных. В PCR хранится информация времени STC, соответствующая ATS, который указывает, когда пакет PCR переносится на декодер, для достижения синхронизации между Arrival_Time_Clock (ATC), который является осью времени ATS, и System_Time_Clock (STC), который является осью времени PTS и DTS.
[0124] Фиг.22 подробно иллюстрирует структуру данных PMT. Заголовок PMT располагается в верхней части PMT. В заголовке PMT указана длина данных, включенных в PMT и пр. После заголовка PMT располагается множество дескрипторов, относящихся к мультиплексированным данным. В дескрипторах описана такая информация, как информация контроля копирования. После дескрипторов располагается множество фрагментов информации потока, относящихся к потокам, включенным в мультиплексированные данные. Каждый фрагмент информации потока включает в себя дескрипторы потока, каждый из которых описывает такую информацию, как тип потока для идентификации сжимающего кодека потока, PID потока и информацию атрибутов потока (например, частоту кадров или аспектное отношение). Количество дескрипторов потока равно количеству потоков в мультиплексированных данных.
[0125] Когда мультиплексированные данные записываются на носитель записи и пр., они записывается совместно с информационными файлами мультиплексированных данных.
[0126] Каждый из информационных файлов мультиплексированных данных является информацией управления мультиплексированных данных, как показано на Фиг.23. Информационные файлы мультиплексированных данных находятся во взаимно-однозначном соответствии с мультиплексированными данными, и каждый из файлов включает в себя информацию мультиплексированных данных, информацию атрибутов потока и карту записей.
[0127] Согласно Фиг.23, мультиплексированные данные включают в себя системную скорость, время начала воспроизведения и время окончания воспроизведения. Системная скорость указывает максимальную скорость переноса, с которой системный целевой декодер, который будет описан ниже, переносит мультиплексированные данные на фильтр PID. Интервалы ATS, включенных в мультиплексированные данные, задаются не превышающими системную скорость. Время начала воспроизведения указывает PTS в кадре видео в начале мультиплексированных данных. Интервал одного кадра прибавляется к PTS в кадре видео в конце мультиплексированных данных, и PTS устанавливается равным времени окончания воспроизведения.
[0128] Как показано на Фиг.24, фрагмент информации атрибутов регистрируется в информации атрибутов потока, для каждого PID каждого потока, включенного в мультиплексированные данные. Каждый фрагмент информации атрибутов имеет разную информацию в зависимости от того, является ли соответствующий поток видеопотоком, аудиопотоком, потоком презентационной графики или потоком интерактивной графики. Каждый фрагмент информации атрибутов видеопотока несет информацию, указывающую, какого рода сжимающий кодек используется для сжатия видеопотока, и разрешение, аспектное отношение и частоту кадров фрагментов данных изображения, включенных в видеопоток. Каждый фрагмент информации атрибутов аудиопотока несет информацию, указывающую, какого рода сжимающий кодек используется для сжатия аудиопотока, сколько каналов включено в аудиопоток, какой язык поддерживает аудиопоток и насколько высока частота дискретизации. Информация атрибутов видеопотока и информация атрибутов аудиопотока используются для инициализации декодера, прежде чем проигрыватель начнет воспроизводить информацию.
[0129] В настоящем варианте осуществления, мультиплексированные данные, которые должны быть использованы, относятся к типу потока, включенному в PMT. Кроме того, когда мультиплексированные данные записываются на носитель записи, используется информация атрибутов видеопотока, включенная в информацию мультиплексированных данных. В частности, способ кодирования движущихся изображений или устройство кодирования движущихся изображений, описанное в каждом из вариантов осуществления, включает в себя этап или блок для выделения уникальной информации, указывающей видеоданные, генерируемые способом кодирования движущихся изображений или устройством кодирования движущихся изображений в каждом из вариантов осуществления, типу потока, включенному в PMT или информацию атрибутов видеопотока. Благодаря конфигурации, видеоданные, генерируемые способом кодирования движущихся изображений или устройством кодирования движущихся изображений, описанным в каждом из вариантов осуществления, можно отличать от видеоданных, которые согласуются с другим стандартом.
[0130] Кроме того, Фиг.25 иллюстрирует этапы способа декодирования движущихся изображений согласно настоящему варианту осуществления. На этапе exS100, из мультиплексированных данных получается тип потока, включенный в PMT или информацию атрибутов видеопотока. Затем, на этапе exS101, производится определение, указывает ли тип потока или информация атрибутов видеопотока, что мультиплексированные данные генерируются способом кодирования движущихся изображений или устройством кодирования движущихся изображений в каждом из вариантов осуществления. Когда определено, что тип потока или информация атрибутов видеопотока указывает, что мультиплексированные данные генерируются способом кодирования движущихся изображений или устройством кодирования движущихся изображений в каждом из вариантов осуществления, на этапе exS102, декодирование осуществляется способом декодирования движущихся изображений в каждом из вариантов осуществления. Кроме того, когда тип потока или информация атрибутов видеопотока указывает согласование с общепринятыми стандартами, например MPEG-2, MPEG4-AVC и VC-1, на этапе exS103, декодирование осуществляется способом декодирования движущихся изображений в соответствии с общепринятыми стандартами.
[0131] Таким образом, выделение нового уникального значения типу потока или информации атрибутов видеопотока позволяет определять, может ли способ декодирования движущихся изображений или устройство декодирования движущихся изображений, которые описаны в каждом из вариантов осуществления, осуществлять декодирование. Даже когда мультиплексированные данные согласуются с другим стандартом, можно выбирать надлежащий способ или устройство декодирования. Таким образом, появляется возможность декодирования информации без ошибок. Кроме того, в вышеописанных устройствах и системах можно использовать способ или устройство кодирования движущихся изображений, или способ или устройство декодирования движущихся изображений в настоящем варианте осуществления.
[0132] ВАРИАНТ ОСУЩЕСТВЛЕНИЯ 5
Каждый из способа кодирования движущихся изображений, устройства кодирования движущихся изображений, способа декодирования движущихся изображений и устройства декодирования движущихся изображений в каждом из вариантов осуществления обычно обеспечивается в форме интегральной схемы или большой интегральной схемы (БИС). В порядке примера БИС, Фиг.26 иллюстрирует конфигурацию БИС ex500, выполненной на одном кристалле. БИС ex500 включает в себя элементы ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508 и ex509, которые будут описан ниже, и элементы соединены друг с другом через шину ex510. Блок ex505 питания активируется путем подачи мощности на каждый из элементов при включении блока ex505 питания.
[0133] Например, при осуществлении кодирования, БИС ex500 принимает AV-сигнал от микрофона ex117, камеры ex113 и пр. через IO ex509 AV под управлением блока ex501 управления, включающего в себя ЦП ex502, контроллер ex503 памяти, контроллер ex504 потоков и блок ex512 управления частотой возбуждения. Принятый AV-сигнал временно хранится во внешней памяти ex511, например SDRAM. Под управлением блока ex501 управления, сохраненные данные сегментируются на фрагменты данных согласно объему и скорости обработки для передачи на блок ex507 обработки сигнала. Затем блок ex507 обработки сигнала кодирует аудиосигнал и/или видеосигнал. При этом кодирование видеосигнала представляет собой кодирование, описанное в каждом из вариантов осуществления. Кроме того, блок ex507 обработки сигнала иногда мультиплексирует кодированные аудиоданные и кодированные видеоданные, и IO ex506 потока выводит мультиплексированные данные. Обеспеченные мультиплексированные данные передаются на базовую станцию ex107 или записываются на носители ex215 записи. При мультиплексировании массивов данных, данные должны временно сохраняться в буфере ex508, чтобы массивы данных синхронизировались друг с другом.
[0134] Хотя память ex511 является элементом, не входящим в БИС ex500, она может входить в состав БИС ex500. Буфер ex508 не ограничивается одним буфером, но может состоять из буферов. Кроме того, БИС ex500 может быть выполнена в виде одного кристалла или множества кристаллов.
[0135] Кроме того, хотя блок ex501 управления включает в себя ЦП ex502, контроллер ex503 памяти, контроллер ex504 потоков, блок ex512 управления частотой возбуждения, конфигурация блока ex501 управления этим не ограничивается. Например, блок ex507 обработки сигнала может дополнительно включать в себя ЦП. Включение другого ЦП в блок ex507 обработки сигнала может повышать скорость обработки. Кроме того, в порядке другого примера, ЦП ex502 может выступать в роли или быть частью блока ex507 обработки сигнала, и, например, может включать в себя блок обработки аудиосигнала. В таком случае, блок ex501 управления включает в себя блок ex507 обработки сигнала или ЦП ex502, включающий в себя часть блока ex507 обработки сигнала.
[0136] Здесь используется аббревиатура БИС, но также можно употреблять термин ИС, системная БИС, супер-БИС или ультра-БИС в зависимости от степени интеграции.
[0137] Кроме того, пути достижения интеграции не ограничиваются БИС, и особая схема или процессор общего назначения и т.д. также может обеспечивать интеграцию. С той же целью можно использовать вентильную матрицу, программируемую пользователем (FPGA), которая может быть запрограммирована после изготовления LSI, или реконфигурируемый процессор, который допускает реконфигурирование соединения или конфигурации БИС.
[0138] В будущем, с развитием полупроводниковой технологии, на смену БИС может придти совершенно новая технология. Функциональные блоки можно интегрировать с использованием такой технологии. Существует возможность применения настоящего изобретения к биотехнологии.
[0139] ВАРИАНТ ОСУЩЕСТВЛЕНИЯ 6
Когда видеоданные, генерируемые способом кодирования движущихся изображений или устройством кодирования движущихся изображений, описанным в каждом из вариантов осуществления, декодируются, по сравнению со случаем декодирования видеоданных, которые согласуются с общепринятым стандартом, например, MPEG-2, MPEG4-AVC и VC-1, объем обработки, вероятно, возрастает. Таким образом, БИС ex500 необходимо устанавливать на частоту возбуждения, более высокую, чем у ЦП ex502, подлежащего использованию при декодировании видеоданных в соответствии с общепринятым стандартом. Однако при установлении более высокой частоты возбуждения возникает проблема увеличения энергопотребления.
[0140] Для решения проблемы, устройство декодирования движущихся изображений, например телевизор ex300, и БИС ex500 конфигурируется для определения, с каким стандартом согласуются видеоданные, и переключения между частотами возбуждения согласно определенному стандарту. Фиг.27 иллюстрирует конфигурацию ex800 в настоящем варианте осуществления. Блок ex803 переключения частоты возбуждения устанавливает частоту возбуждения на более высокую частоту возбуждения, когда видеоданные генерируются способом кодирования движущихся изображений или устройством кодирования движущихся изображений, описанным в каждом из вариантов осуществления. Затем блок ex803 переключения частоты возбуждения предписывает блоку ex801 обработки декодирования, который выполняет способ декодирования движущихся изображения, описанный в каждом из вариантов осуществления, для декодирования видеоданных. Когда видеоданные согласуются с общепринятым стандартом, блок ex803 переключения частоты возбуждения устанавливает частоту возбуждения на более низкую частоту возбуждения, чем для видеоданных, генерируемых способом кодирования движущихся изображений или устройством кодирования движущихся изображений, описанным в каждом из вариантов осуществления. Затем блок ex803 переключения частоты возбуждения предписывает блоку ex802 обработки декодирования, который согласуется с общепринятым стандартом, декодировать видеоданные.
[0141] В частности, блок ex803 переключения частоты возбуждения включает в себя ЦП ex502 и блок ex512 управления частотой возбуждения на Фиг.26. При этом каждый из блока ex801 обработки декодирования, который выполняет способ декодирования движущихся изображения, описанный в каждом из вариантов осуществления, и блока ex802 обработки декодирования, который согласуется с общепринятым стандартом, соответствует блоку ex507 обработки сигнала на Фиг.26. ЦП ex502 определяет, с каким стандартом согласуются видеоданные. Затем блок ex512 управления частотой возбуждения определяет частоту возбуждения на основании сигнала от ЦП ex502. Кроме того, блок ex507 обработки сигнала декодирует видеоданные на основании сигнала от ЦП ex502. Например, информация идентификации, описанная в варианте осуществления 4, вероятно, используется для идентификации видеоданных. Информация идентификации не ограничивается описанной в варианте осуществления 4, но может представлять собой любую информацию, указывающую, с каким стандартом согласуются видеоданные. Например, когда стандарт, с которым согласуются видеоданные, можно определить на основании внешнего сигнала для определения, что видеоданные используется для телевизора или диска и т.д., определение можно производить на основании такого внешнего сигнала. Кроме того, ЦП ex502 выбирает частоту возбуждения на основании, например, поисковой таблицы, в которой стандарты видеоданных связаны с частотами возбуждения, как показано на Фиг.29. Частоту возбуждения можно выбирать, сохраняя поисковую таблицу в буфере ex508 и во внутренней памяти БИС, при том что ЦП ex502 может обращаться к поисковой таблице.
[0142] Фиг.28 иллюстрирует этапы выполнения способа в настоящем варианте осуществления. Прежде всего, на этапе exS200, блок ex507 обработки сигнала получает информацию идентификации из мультиплексированных данных. Затем, на этапе exS201, ЦП ex502 определяет, генерируются ли видеоданные способом кодирования и устройством кодирования, описанными в каждом из вариантов осуществления, на основании информации идентификации. Когда видеоданные генерируются способом кодирования движущихся изображений и устройством кодирования движущихся изображений, описанными в каждом из вариантов осуществления, на этапе exS202, ЦП ex502 передает сигнал для установления частоты возбуждения на более высокую частоту возбуждения на блок ex512 управления частотой возбуждения. Затем блок ex512 управления частотой возбуждения устанавливает частоту возбуждения на более высокую частоту возбуждения. С другой стороны, когда информация идентификации указывает, что видеоданные согласуются с общепринятым стандартом, например MPEG-2, MPEG4-AVC и VC-1, на этапе exS203, ЦП ex502 передает сигнал для установления частоты возбуждения на более низкую частоту возбуждения на блок ex512 управления частотой возбуждения. Затем блок ex512 управления частотой возбуждения устанавливает частоту возбуждения на более низкую частоту возбуждения, чем в случае, когда видеоданные генерируются способом кодирования движущихся изображений и устройством кодирования движущихся изображений, описанными в каждом из вариантов осуществления.
[0143] Кроме того, совместно с переключением частот возбуждения, энергосберегающий эффект можно повысить путем изменения напряжения, подаваемого на БИС ex500 или устройство, включающее в себя БИС ex500. Например, при установлении более низкой частоты возбуждения напряжение, подаваемое на БИС ex500 или устройство, включающее в себя БИС ex500, вероятно, устанавливается на напряжение, более низкое, чем в случае установления более высокой частоты возбуждения.
[0144] Кроме того, при увеличении объема обработки для декодирования можно устанавливать более высокую частоту возбуждения, и при уменьшении объема обработки для декодирования можно устанавливать более низкую частоту возбуждения согласно способу установления частоты возбуждения. Таким образом, способ установления не ограничивается вышеописанными вариантами. Например, когда объем обработки для декодирования видеоданных в соответствии с MPEG4-AVC больше объема обработки для декодирования видеоданных, генерируемых способом кодирования движущихся изображений и устройством кодирования движущихся изображений, описанными в каждом из вариантов осуществления, частота возбуждения, вероятно, устанавливается в порядке, обратном вышеописанной установке.
[0145] Кроме того, способ установления частоты возбуждения не ограничивается способом установления более низкой частоты возбуждения. Например, когда информация идентификации указывает, что видеоданные генерируются способом кодирования движущихся изображений и устройством кодирования движущихся изображений, описанными в каждом из вариантов осуществления, напряжение, подаваемое на БИС ex500 или устройство, включающее в себя БИС ex500, вероятно, устанавливается более высоким. Когда информация идентификации указывает, что видеоданные согласуются с общепринятым стандартом, например MPEG-2, MPEG4-AVC и VC-1, напряжение, подаваемое на БИС ex500 или устройство, включающее в себя БИС ex500, вероятно, устанавливается более низким. В порядке другого примера, когда информация идентификации указывает, что видеоданные генерируются способом кодирования движущихся изображений и устройством кодирования движущихся изображений, описанными в каждом из вариантов осуществления, работу ЦП ex502, вероятно, не требуется приостанавливать. Когда информация идентификации указывает, что видеоданные согласуются с общепринятым стандартом, например, MPEG-2, MPEG4-AVC и VC-1, работа ЦП ex502, вероятно приостанавливается на определенное время, поскольку ЦП ex502 имеет запас производительности обработки. Даже когда информация идентификации указывает, что видеоданные генерируются способом кодирования движущихся изображений и устройством кодирования движущихся изображений, описанными в каждом из вариантов осуществления, в случае, когда ЦП ex502 имеет запас производительности обработки, работа ЦП ex502, вероятно, приостанавливается на определенное время. В таком случае время приостановки, вероятно, устанавливается более коротким, чем в случае, когда информация идентификации указывает, что видеоданные согласуются с общепринятым стандартом, например MPEG-2, MPEG4-AVC и VC-1.
[0146] Соответственно, энергосберегающий эффект можно повысить путем переключения между частотами возбуждения в соответствии со стандартом, с которым согласуются видеоданные. Кроме того, когда БИС ex500 или устройство, включающее в себя БИС ex500, возбуждается с использованием батареи, время работы батареи может быть продлено за счет энергосберегающего эффекта.
[0147] ВАРИАНТ ОСУЩЕСТВЛЕНИЯ 7
Возможны случаи, когда множество видеоданных, которые согласуются с разными стандартами, поступает на устройства и системы, например телевизор и мобильный телефон. Для обеспечения возможности декодирования множества видеоданных, которые согласуются с разными стандартами, блок ex507 обработки сигнала, входящий в состав БИС ex500, должен согласовываться с разными стандартами. Однако, при индивидуальном использовании блоков ex507 обработки сигнала, которые согласуются с соответствующими стандартами, возникают проблемы увеличения масштаба схемы БИС ex500 и увеличения стоимости.
[0148] Для решения проблемы предлагается конфигурация, в которой частично совместно используются блок обработки декодирования для реализации способа декодирования движущихся изображений, описанный в каждом из вариантов осуществления, и блок обработки декодирования, который согласуется с общепринятым стандартом, например MPEG-2, MPEG4-AVC и VC-1. Пример конфигурации показан на Фиг.30A как Ex900. Например, способ декодирования движущихся изображений, описанный в каждом из вариантов осуществления, и способ декодирования движущихся изображений, который согласуется с MPEG4-AVC, частично обобществляют такие детали обработки, как статистическое кодирование, обратное квантование, деблокирующую фильтрацию и прогнозирование с компенсацией движения. Детали обработки, подлежащие совместному использованию, вероятно, включают в себя использование блока ex902 обработки декодирования, который согласуется с MPEG4-AVC. Напротив, специализированный блок ex901 обработки декодирования, вероятно, используется для другой обработки, уникальной для настоящего изобретения. Поскольку настоящее изобретение характеризуется, в частности, обработкой внутреннего прогнозирования, для обработки внутреннего прогнозирования используется, например, специализированный блок ex901 обработки декодирования. В противном случае, блок обработки декодирования, вероятно, совместно используется для одного из статистического кодирования, обратного квантования, деблокирующей фильтрации и компенсации движения или полной обработки. Блок обработки декодирования для реализации способа декодирования движущихся изображений, описанный в каждом из вариантов осуществления, может совместно использоваться для обработки, подлежащей совместному использованию, и специализированный блок обработки декодирования можно использовать для обработки, уникальной для MPEG4-AVC.
[0149] Кроме того, на Фиг.30B показан другой пример ex1000, в котором обработка частично совместно используется. Этот пример использует конфигурацию, включающую в себя специализированный блок ex1001 обработки декодирования, который поддерживает обработку, уникальную для настоящего изобретения, специализированный блок ex1002 обработки декодирования, который поддерживает обработку, уникальную для другого общепринятого стандарта, и блок ex1003 обработки декодирования, который поддерживает обработку, которая должна быть совместно использована между способом декодирования движущихся изображений в настоящем изобретении и традиционном способе декодирования движущихся изображений. При этом специализированные блоки ex1001 и ex1002 обработки декодирования не обязательно специализированы для обработки настоящего изобретения и обработки общепринятого стандарта, соответственно, и могут быть способны осуществлять общую обработку. Кроме того, конфигурацию настоящего варианта осуществления можно реализовать посредством БИС ex500.
[0150] Таким образом, уменьшение масштаба схемы БИС и уменьшение стоимости возможны за счет совместного использования блока обработки декодирования для обработки, подлежащей совместному использованию между способом декодирования движущихся изображений в настоящем изобретении и способом декодирования движущихся изображений в соответствии с общепринятым стандартом.
ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ
[0151] Способ кодирования движущихся изображений и способ декодирования движущихся изображений согласно настоящему раскрытию пригодны для применения к любым мультимедийным данным и позволяют повышать коэффициент сжатия. Например, они пригодны в качестве способа кодирования движущихся изображений и способа декодирования движущихся изображений для накопления, передачи, осуществления связи и пр. с использованием мобильных телефонов, устройств DVD, персональных компьютеров и пр.
ПЕРЕЧЕНЬ ССЫЛОЧНЫХ ПОЗИЦИЙ
100 устройство кодирования движущихся изображений
101 блок ортогонального преобразования
102 блок квантования
103 блок обратного квантования
104 блок обратного ортогонального преобразования
105 память блоков
106 память кадров
107 блок внутреннего прогнозирования
108 блок внешнего прогнозирования
109 блок управления внешним прогнозированием
110 блок определения типа изображения
111 блок вычисления кандидатов в блоки слияния
112 память colPic
113 блок кодирования с переменной длиной слова
114 вычитатель
115 сумматор
116 блок переключения
200 устройство декодирования движущихся изображений
201 блок декодирования с переменной длиной слова
202 блок обратного квантования
203 блок обратного ортогонального преобразования
204 память блоков
205 память кадров
206 блок внутреннего прогнозирования
207 блок внешнего прогнозирования
208 блок управления внешним прогнозированием
209 блок вычисления кандидатов в блоки слияния
210 память colPic
211 сумматор
212 переключатель

Claims (5)

1. Способ декодирования движущегося изображения для декодирования текущего блока, содержащий:
определение первого элемента-кандидата в списке кандидатов и второго элемента-кандидата в списке кандидатов, причем упомянутый первый элемент-кандидат включает в себя первый вектор движения, который использовался для декодирования первого блока, а упомянутый второй кандидат включает в себя второй вектор движения, который использовался для декодирования второго блока, который отличается от первого блока, при этом список кандидатов включает в себя множество элементов-кандидатов, один из которых выбирается для использования для декодирования текущего блока, причем первый вектор движения соответствует (i) первому направлению предсказания и (ii) индексу первого опорного изображения, соответствующему первому блоку, а второй вектор движения соответствует (i) второму направлению предсказания и (ii) индексу второго опорного изображения, соответствующему второму блоку;
генерируют новый элемент-кандидат, имеющий два вектора движения, посредством объединения упомянутого первого вектора движения и упомянутого второго вектора движения; и
декодируют текущий блок с использованием элемента-кандидата, выбираемого из множества элементов-кандидатов, включающего в себя первый элемент-кандидат, второй элемент-кандидат и новый элемент-кандидат.
2. Способ декодирования движущегося изображения по п. 1, в котором, когда элемент-кандидат, который выбирается для использования для декодирования текущего блока, является новым элементом-кандидатом, новый элемент-кандидат используется для би-предсказания.
3. Способ декодирования движущегося изображения по п. 1, в котором, когда элемент-кандидат, который выбирается для использования для декодирования текущего блока, является новым элементом-кандидатом, два вектора движения нового кандидата используются для би-предсказания.
4. Способ декодирования движущегося изображения по п. 1, в котором список первых опорных изображений включает в себя индекс первого опорного изображения для идентификации первого опорного изображения, в котором список вторых опорных изображений включает в себя индекс второго опорного изображения для идентификации второго опорного изображения, и при этом, когда элемент-кандидат, который выбирается для использования для декодирования текущего блока, является новым кандидатом, текущий блок декодируется с использованием двух векторов движения, индекса первого опорного изображения и индекса второго опорного изображения.
5. Устройство декодирования движущегося изображения, которое декодирует текущий блок, содержащее:
блок определения, выполненный с возможностью определения первого элемента-кандидата в списке кандидатов и второго элемента-кандидата в списке кандидатов, причем упомянутый первый элемент-кандидат включает в себя первый вектор движения, который использовался для декодирования первого блока, а упомянутый второй элемент-кандидат включает в себя второй вектор движения, который использовался для декодирования второго блока, который отличается от первого блока, при этом список кандидатов включает в себя множество элементов-кандидатов, один из которых выбирается для использования для декодирования текущего блока, причем первый вектор движения соответствует (i) первому направлению предсказания и (ii) индексу первого опорного изображения, соответствующему первому блоку, а второй вектор движения соответствует (i) второму направлению предсказания и (ii) индексу второго опорного изображения, соответствующему второму блоку;
блок генерирования, выполненный с возможностью генерирования нового элемента-кандидата, имеющего два вектора движения, посредством объединения упомянутого первого вектора движения и упомянутого второго вектора движения; и
блок декодирования, выполненный с возможностью декодирования текущего блока с использованием элемента-кандидата, выбираемого из множества элементов-кандидатов, включающего в себя первый элемент-кандидат, второй элемент-кандидат и новый элемент-кандидат.
RU2013141795/07A 2011-04-12 2012-02-28 Способ кодирования движущихся изображений, устройство кодирования движущихся изображений, способ декодирования движущихся изображений, устройство декодирования движущихся изображений и устройство кодирования и декодирования движущихся изображений RU2600936C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161474507P 2011-04-12 2011-04-12
US61/474,507 2011-04-12
PCT/JP2012/001351 WO2012140821A1 (ja) 2011-04-12 2012-02-28 動画像符号化方法、動画像符号化装置、動画像復号化方法、動画像復号化装置、および動画像符号化復号化装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
RU2016137964A Division RU2719308C2 (ru) 2011-04-12 2012-02-28 Способ кодирования движущихся изображений, устройство кодирования движущихся изображений, способ декодирования движущихся изображений, устройство декодирования движущихся изображений и устройство кодирования и декодирования движущихся изображений

Publications (2)

Publication Number Publication Date
RU2013141795A RU2013141795A (ru) 2015-05-20
RU2600936C2 true RU2600936C2 (ru) 2016-10-27

Family

ID=47006367

Family Applications (2)

Application Number Title Priority Date Filing Date
RU2013141795/07A RU2600936C2 (ru) 2011-04-12 2012-02-28 Способ кодирования движущихся изображений, устройство кодирования движущихся изображений, способ декодирования движущихся изображений, устройство декодирования движущихся изображений и устройство кодирования и декодирования движущихся изображений
RU2016137964A RU2719308C2 (ru) 2011-04-12 2012-02-28 Способ кодирования движущихся изображений, устройство кодирования движущихся изображений, способ декодирования движущихся изображений, устройство декодирования движущихся изображений и устройство кодирования и декодирования движущихся изображений

Family Applications After (1)

Application Number Title Priority Date Filing Date
RU2016137964A RU2719308C2 (ru) 2011-04-12 2012-02-28 Способ кодирования движущихся изображений, устройство кодирования движущихся изображений, способ декодирования движущихся изображений, устройство декодирования движущихся изображений и устройство кодирования и декодирования движущихся изображений

Country Status (15)

Country Link
US (11) US8982953B2 (ru)
EP (2) EP3136727B1 (ru)
JP (2) JP5837575B2 (ru)
KR (1) KR101935620B1 (ru)
CN (1) CN103444181B (ru)
AR (1) AR085995A1 (ru)
BR (1) BR112013023478B8 (ru)
CA (1) CA2830036C (ru)
ES (2) ES2621231T3 (ru)
MX (1) MX2013010231A (ru)
PL (2) PL3136727T3 (ru)
RU (2) RU2600936C2 (ru)
SA (1) SA112330447B1 (ru)
TW (1) TWI547148B (ru)
WO (1) WO2012140821A1 (ru)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9066110B2 (en) 2011-03-08 2015-06-23 Texas Instruments Incorporated Parsing friendly and error resilient merge flag coding in video coding
US9648334B2 (en) * 2011-03-21 2017-05-09 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding
MX2013010231A (es) 2011-04-12 2013-10-25 Panasonic Corp Metodo de codificacion de imagenes en movimiento, aparato de codificacion de imagenes en movimiento, metodo de decodificacion de imagenes en movimiento, aparato de decodificacion de imagenes en movimiento y aparato de codificacion y decodificacion de imagenes en movimiento.
US9247266B2 (en) * 2011-04-18 2016-01-26 Texas Instruments Incorporated Temporal motion data candidate derivation in video coding
CN103503450B (zh) 2011-05-24 2017-07-07 太阳专利托管公司 图像编码方法、图像编码装置、图像解码方法、图像解码装置及图像编解码装置
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
CA2834123C (en) 2011-05-27 2020-02-11 Panasonic Corporation Image coding method, image coding apparatus, image decoding method, image decoding apparatus, and image coding and decoding apparatus
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
CN103548351B (zh) 2011-05-31 2017-07-11 太阳专利托管公司 运动图像解码方法及运动图像解码装置
US9866859B2 (en) * 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
JP5886950B2 (ja) * 2011-06-14 2016-03-16 サムスン エレクトロニクス カンパニー リミテッド 動き情報の符号化方法及びその装置、その復号化方法及びその装置
US9313494B2 (en) * 2011-06-20 2016-04-12 Qualcomm Incorporated Parallelization friendly merge candidates for video coding
JP5678924B2 (ja) * 2011-06-30 2015-03-04 株式会社Jvcケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
CN105430390B (zh) 2011-06-30 2017-04-12 Jvc建伍株式会社 图像解码装置、图像解码方法、接收装置及接收方法
JP5807621B2 (ja) * 2011-06-30 2015-11-10 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法および送信プログラム
PL2728878T3 (pl) 2011-06-30 2020-06-15 Sun Patent Trust Sposób dekodowania obrazów, sposób kodowania obrazów, urządzenie do dekodowania obrazów, urządzenie do kodowania obrazów oraz urządzenie do kodowania/dekodowania obrazów
WO2013009104A2 (ko) 2011-07-12 2013-01-17 한국전자통신연구원 인터 예측 방법 및 그 장치
IN2014CN00729A (ru) 2011-08-03 2015-04-03 Panasonic Corp
CN107295347B (zh) * 2011-08-29 2020-06-26 苗太平洋控股有限公司 用于解码合并模式下的运动信息的装置
CN107592528B (zh) 2011-09-09 2020-05-12 株式会社Kt 用于解码视频信号的方法
CN108881903B (zh) 2011-10-19 2022-01-04 太阳专利托管公司 图像编码方法及装置、图像解码方法及装置、编解码装置
US9992511B2 (en) * 2011-10-21 2018-06-05 Nokia Technologies Oy Method for video coding and an apparatus
US9571833B2 (en) * 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
KR20130050403A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법
KR20130050406A (ko) * 2011-11-07 2013-05-16 오수미 머지 모드에서의 움직임 정보 생성 방법
KR101934277B1 (ko) * 2011-11-28 2019-01-04 에스케이텔레콤 주식회사 개선된 머지를 이용한 영상 부호화/복호화 방법 및 장치
JP2015128252A (ja) * 2013-12-27 2015-07-09 日本電信電話株式会社 予測画像生成方法、予測画像生成装置、予測画像生成プログラム及び記録媒体
US10531116B2 (en) * 2014-01-09 2020-01-07 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
JP6467787B2 (ja) * 2014-05-27 2019-02-13 株式会社リコー 画像処理システム、撮像装置、画像処理方法およびプログラム
US10412387B2 (en) * 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
US9918105B2 (en) 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
KR102349788B1 (ko) * 2015-01-13 2022-01-11 인텔렉추얼디스커버리 주식회사 영상의 부호화/복호화 방법 및 장치
EP3654646A1 (en) * 2015-06-05 2020-05-20 Intellectual Discovery Co., Ltd. Methods for encoding and decoding intra-frame prediction based on block shape
US10812822B2 (en) * 2015-10-02 2020-10-20 Qualcomm Incorporated Intra block copy merge mode and padding of unavailable IBC reference region
CN114501006A (zh) 2016-09-20 2022-05-13 株式会社Kt 视频解码方法、视频编码方法和比特流解码装置
KR20180057789A (ko) * 2016-11-22 2018-05-31 광운대학교 산학협력단 전방향 카메라에서 효과적인 차분 움직임 백터 전송방법을 이용한 비디오 코딩 방법 및 방법 및 장치
WO2018097692A2 (ko) * 2016-11-28 2018-05-31 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN116320475A (zh) * 2016-12-22 2023-06-23 株式会社Kt 对视频进行解码或编码的方法和发送视频数据的方法
EP3571839B1 (en) 2017-02-06 2020-10-28 Huawei Technologies Co., Ltd. Video encoder and decoder for predictive partitioning
US10904565B2 (en) * 2017-06-23 2021-01-26 Qualcomm Incorporated Memory-bandwidth-efficient design for bi-directional optical flow (BIO)
JP6918661B2 (ja) * 2017-09-22 2021-08-11 キヤノン株式会社 符号化装置、符号化方法及びプログラム
US11070797B2 (en) * 2017-11-27 2021-07-20 Lg Electronics Inc. Image decoding method and apparatus based on inter prediction in image coding system
EP3777173A1 (en) * 2018-04-06 2021-02-17 ARRIS Enterprises LLC Reducing motion vector information transmission in bi-directional temporal prediction
US11477474B2 (en) * 2018-06-08 2022-10-18 Mediatek Inc. Methods and apparatus for multi-hypothesis mode reference and constraints
GB202307657D0 (en) * 2018-06-08 2023-07-05 Kt Corp Method and apparatus for processing a video signal
JP7459069B2 (ja) 2018-09-21 2024-04-01 オッポ広東移動通信有限公司 映像信号符号化/復号化方法及びその装置
BR112021008298A2 (pt) 2018-11-08 2021-08-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. método de decodificação de vídeo, método de codificação de vídeo, aparelho de decodificação de vídeo e codificador de vídeo
MX2021005271A (es) * 2018-11-08 2021-06-18 Guangdong Oppo Mobile Telecommunications Corp Ltd Metodo de codificacion/decodificacion de se?ales de imagen y el aparato para el mismo.
EP3869800B1 (en) 2018-11-08 2023-12-27 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for encoding/decoding image signal and device therefor
US10827171B2 (en) * 2018-11-14 2020-11-03 Tencent America LLC Method and apparatus for video coding
US11234007B2 (en) * 2019-01-05 2022-01-25 Tencent America LLC Method and apparatus for video coding
WO2020184461A1 (ja) * 2019-03-08 2020-09-17 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
EP3915254B1 (en) * 2019-03-12 2023-10-11 Beijing Dajia Internet Information Technology Co., Ltd. Video coding for geometric inter partition prediction
KR20210153738A (ko) 2019-06-14 2021-12-17 엘지전자 주식회사 예측 샘플을 생성하기 위한 가중치 인덱스 정보를 도출하는 영상 디코딩 방법 및 그 장치
KR20230022061A (ko) * 2021-08-06 2023-02-14 삼성전자주식회사 디코딩 장치 및 그의 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009126260A1 (en) * 2008-04-11 2009-10-15 Thomson Licensing Methods and apparatus for template matching prediction (tmp) in video encoding and decoding
RU2009114363A (ru) * 2006-10-30 2010-10-20 Ниппон Телеграф Энд Телефон Корпорейшн (Jp) Способ генерации предсказанной опорной информации, способы кодирования и декодирования видео, устройства для этого, программы для этого и носитель данных, хранящий эти программы
EP2250816A1 (en) * 2008-03-04 2010-11-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding an image by using consecutive motion estimation
WO2010148919A1 (zh) * 2009-06-26 2010-12-29 华为技术有限公司 视频图像运动信息获取方法、装置及设备、模板构造方法

Family Cites Families (148)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3883701T2 (de) 1987-10-30 1994-02-10 Nippon Telegraph & Telephone Verfahren und Vorrichtung für multiplexierte Vektorquantifizierung.
US5403479A (en) 1993-12-20 1995-04-04 Zenon Environmental Inc. In situ cleaning system for fouled membranes
FR2725577B1 (fr) 1994-10-10 1996-11-29 Thomson Consumer Electronics Procede de codage ou de decodage de vecteurs mouvement et dispositif de codage ou de decodage mettant en oeuvre ledit procede
TW330976B (en) 1995-12-18 1998-05-01 Lg Electronics Inc Constant temperature dehumidifying device for air regulator and control method thereof
US5995080A (en) 1996-06-21 1999-11-30 Digital Equipment Corporation Method and apparatus for interleaving and de-interleaving YUV pixel data
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
US6148026A (en) 1997-01-08 2000-11-14 At&T Corp. Mesh node coding to enable object based functionalities within a motion compensated transform video coder
JPH10224800A (ja) 1997-02-07 1998-08-21 Matsushita Electric Ind Co Ltd 動きベクトル符号化方法および復号化方法
JP2000011455A (ja) 1998-06-29 2000-01-14 Hitachi Ltd 光情報記録媒体
JP4004653B2 (ja) 1998-08-03 2007-11-07 カスタム・テクノロジー株式会社 動きベクトル検出方法および装置、記録媒体
US6192148B1 (en) 1998-11-05 2001-02-20 Winbond Electronics Corp. Method for determining to skip macroblocks in encoding video
US6192080B1 (en) 1998-12-04 2001-02-20 Mitsubishi Electric Research Laboratories, Inc. Motion compensated digital video signal processing
US6594313B1 (en) 1998-12-23 2003-07-15 Intel Corporation Increased video playback framerate in low bit-rate video applications
JP4487374B2 (ja) 1999-06-01 2010-06-23 ソニー株式会社 符号化装置及び符号化方法並びに多重化装置及び多重化方法
US6842483B1 (en) 2000-09-11 2005-01-11 The Hong Kong University Of Science And Technology Device, method and digital video encoder for block-matching motion estimation
JP2002152750A (ja) 2000-11-10 2002-05-24 Matsushita Electric Ind Co Ltd 動きベクトル検出方法および装置
AU2002343215C1 (en) 2001-11-06 2009-01-22 Panasonic Intellectual Property Corporation Of America Moving picture coding method, and moving picture decoding method
JP4015934B2 (ja) 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
JP2004088722A (ja) 2002-03-04 2004-03-18 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
CN1277419C (zh) * 2002-04-19 2006-09-27 松下电器产业株式会社 运动矢量的计算方法
EP3054681B1 (en) 2002-04-19 2018-02-28 Panasonic Intellectual Property Corporation of America Motion vector calculating method
TWI259726B (en) 2002-04-19 2006-08-01 Matsushita Electric Ind Co Ltd Motion vector derivation method
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
EP1427216A1 (en) 2002-07-02 2004-06-09 Matsushita Electric Industrial Co., Ltd. Image encoding method and image decoding method
US8406301B2 (en) 2002-07-15 2013-03-26 Thomson Licensing Adaptive weighting of reference pictures in video encoding
US7372905B2 (en) 2002-07-11 2008-05-13 Matsushita Electric Industrial Co., Ltd. Filtering intensity decision method, moving picture encoding method, and moving picture decoding method
CN101039427B (zh) 2002-07-15 2010-06-16 株式会社日立制作所 动态图像的解码方法
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US7023921B2 (en) 2002-08-06 2006-04-04 Motorola, Inc. Method and apparatus for determining block match quality
KR100976017B1 (ko) 2002-08-08 2010-08-17 파나소닉 주식회사 동화상의 부호화 방법 및 복호화 방법
KR100506864B1 (ko) 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
ES2729258T3 (es) * 2002-11-01 2019-10-31 Godo Kaisha Ip Bridge 1 Cálculo del vector de movimiento en modo directo evitando divisiones por cero
EP1909505B1 (en) 2002-11-25 2013-06-19 Panasonic Corporation Motion compensation method, picture coding method and picture decoding method
KR100711635B1 (ko) 2003-02-18 2007-04-25 노키아 코포레이션 화상 부호화 방법
KR100693669B1 (ko) 2003-03-03 2007-03-09 엘지전자 주식회사 피일드 매크로 블록의 레퍼런스 픽쳐 결정 방법
US7266147B2 (en) 2003-03-31 2007-09-04 Sharp Laboratories Of America, Inc. Hypothetical reference decoder
JP2007531345A (ja) 2003-07-15 2007-11-01 トムソン ライセンシング 高速サーチ・ブロック・マッチングを用いた動き推定
US7426308B2 (en) 2003-07-18 2008-09-16 Microsoft Corporation Intraframe and interframe interlace coding and decoding
KR100579542B1 (ko) 2003-07-29 2006-05-15 삼성전자주식회사 블럭 간의 상관성을 고려한 움직임 추정 장치 및 방법
CN100469142C (zh) 2003-08-05 2009-03-11 Nxp股份有限公司 视频编码和解码方法以及相应的设备
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
CN1225127C (zh) * 2003-09-12 2005-10-26 中国科学院计算技术研究所 一种用于视频编码的编码端/解码端双向预测方法
FR2860678A1 (fr) * 2003-10-01 2005-04-08 Thomson Licensing Sa Procede de codage differentiel
GB2407006A (en) 2003-10-08 2005-04-13 Sony Uk Ltd Communicating streamed payload data and packet based auxiliary data
JP3675464B2 (ja) 2003-10-29 2005-07-27 ソニー株式会社 動画像符号化装置および動画像符号化制御方法
TWI330976B (en) 2003-12-05 2010-09-21 Trident Microsystems Far East Method and apparatus for encoding/decoding dynamic graphic content
US7301482B1 (en) 2003-12-12 2007-11-27 Marvell International Ltd. Circuits, architectures, systems, methods, algorithms and software for conditional modulation coding
JP2005184042A (ja) 2003-12-15 2005-07-07 Sony Corp 画像復号装置及び画像復号方法並びに画像復号プログラム
KR100608050B1 (ko) 2004-01-14 2006-08-02 삼성전자주식회사 사용자의 요구에 의해 활성화되는 인터랙티브 그래픽스트림을 저장한 저장 매체, 재생 장치 및 그 재생 방법
US8190003B2 (en) 2004-01-14 2012-05-29 Samsung Electronics Co., Ltd. Storage medium storing interactive graphics stream activated in response to user's command, and reproducing apparatus for reproducing from the same
EP1583367A1 (en) 2004-03-30 2005-10-05 Matsushita Electric Industrial Co., Ltd. Motion estimation employing line and column vectors
DE602004030993D1 (de) 2004-04-30 2011-02-24 Panasonic Corp Bewegungsschätzung unter Verwendung von adaptiven räumlichen Verfeinerungsvektoren
JP4145275B2 (ja) 2004-07-27 2008-09-03 富士通株式会社 動きベクトル検出・補償装置
TWI250423B (en) 2004-07-30 2006-03-01 Ind Tech Res Inst Method for processing video images
TWI268715B (en) 2004-08-16 2006-12-11 Nippon Telegraph & Telephone Picture encoding method, picture decoding method, picture encoding apparatus, and picture decoding apparatus
EP1638333A1 (en) 2004-09-17 2006-03-22 Mitsubishi Electric Information Technology Centre Europe B.V. Rate adaptive video coding
JP4375305B2 (ja) 2004-10-26 2009-12-02 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP4148228B2 (ja) 2005-02-10 2008-09-10 ソニー株式会社 画像記録装置、画像再生制御装置、画像記録再生制御装置、これらの装置の処理方法およびその方法をコンピュータに実行させるプログラム
US7660354B2 (en) 2005-05-11 2010-02-09 Fang Shi Temporal error concealment for bi-directionally predicted frames
US8761258B2 (en) 2005-06-17 2014-06-24 The Hong Kong University Of Science And Technology Enhanced block-based motion estimation algorithms for video compression
US9661376B2 (en) 2005-07-13 2017-05-23 Polycom, Inc. Video error concealment method
EP1753242A2 (en) 2005-07-18 2007-02-14 Matsushita Electric Industrial Co., Ltd. Switchable mode and prediction information coding
US7697783B2 (en) 2005-07-26 2010-04-13 Sony Corporation Coding device, coding method, decoding device, decoding method, and programs of same
US20070025444A1 (en) 2005-07-28 2007-02-01 Shigeyuki Okada Coding Method
JP4401336B2 (ja) 2005-08-31 2010-01-20 三洋電機株式会社 符号化方法
JP2008011455A (ja) 2006-06-30 2008-01-17 Sanyo Electric Co Ltd 符号化方法
JP4570532B2 (ja) 2005-08-02 2010-10-27 パナソニック株式会社 動き検出装置、動き検出方法、集積回路およびプログラム
US20070030894A1 (en) 2005-08-03 2007-02-08 Nokia Corporation Method, device, and module for improved encoding mode control in video encoding
JP2007142637A (ja) 2005-11-16 2007-06-07 Matsushita Electric Ind Co Ltd 画像情報符号化装置
EP1980112B1 (en) 2006-02-02 2012-10-24 Thomson Licensing Method and apparatus for adaptive weight selection for motion compensated prediction
BRPI0706803A2 (pt) 2006-02-02 2011-04-05 Thomson Licensing método e aparelho para estimativa de animação usando bi-predição de referências combinadas
US20070200949A1 (en) 2006-02-21 2007-08-30 Qualcomm Incorporated Rapid tuning in multimedia applications
JP4757080B2 (ja) 2006-04-03 2011-08-24 パナソニック株式会社 動き検出装置、動き検出方法、動き検出集積回路および画像符号化装置
WO2007124491A2 (en) 2006-04-21 2007-11-01 Dilithium Networks Pty Ltd. Method and system for video encoding and transcoding
CN101090491B (zh) 2006-06-16 2016-05-18 香港科技大学 用于视频压缩的增强的基于块的运动估计算法
WO2007148906A1 (en) 2006-06-19 2007-12-27 Lg Electronics, Inc. Method and apparatus for processing a vedeo signal
KR20070120416A (ko) 2006-06-19 2007-12-24 엘지전자 주식회사 비디오 신호 디코딩 방법 및 장치, 비디오 신호 인코딩방법 및 장치
DE102006043707A1 (de) 2006-09-18 2008-03-27 Robert Bosch Gmbh Verfahren zur Datenkompression in einer Videosequenz
US8250618B2 (en) 2006-09-18 2012-08-21 Elemental Technologies, Inc. Real-time network adaptive digital video encoding/decoding
US8213509B2 (en) 2006-10-06 2012-07-03 Calos Fund Limited Liability Company Video coding on parallel processing systems
US8565314B2 (en) 2006-10-12 2013-10-22 Qualcomm Incorporated Variable length coding table selection based on block type statistics for refinement coefficient coding
US9319700B2 (en) 2006-10-12 2016-04-19 Qualcomm Incorporated Refinement coefficient coding based on history of corresponding transform coefficient values
US8325819B2 (en) 2006-10-12 2012-12-04 Qualcomm Incorporated Variable length coding table selection based on video block type for refinement coefficient coding
US8599926B2 (en) 2006-10-12 2013-12-03 Qualcomm Incorporated Combined run-length coding of refinement and significant coefficients in scalable video coding enhancement layers
JP2008199587A (ja) 2007-01-18 2008-08-28 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号化装置および方法
JP5025286B2 (ja) 2007-02-28 2012-09-12 シャープ株式会社 符号化装置及び復号装置
TW200845758A (en) 2007-05-03 2008-11-16 Nat Univ Chung Cheng Fast intra coding algorithms for dynamic definition adjustment
KR101403341B1 (ko) 2007-03-28 2014-06-09 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
CN101682769B (zh) 2007-04-12 2016-11-09 汤姆森特许公司 用于视频编码和解码的跳过-直接模式的取决于环境的合并的方法和装置
EP2141930A4 (en) 2007-04-26 2011-03-23 Panasonic Corp MOTION DETECTION APPARATUS, MOTION DETECTION METHOD, AND MOTION DETECTION PROGRAM
JP2008283490A (ja) 2007-05-10 2008-11-20 Ntt Docomo Inc 動画像符号化装置、方法及びプログラム、並びに動画像復号化装置、方法及びプログラム
CN101682763B (zh) 2007-06-12 2013-09-11 汤姆森许可贸易公司 支持针对片数据的多通路视频语法结构的方法和设备
KR101495886B1 (ko) 2007-07-19 2015-02-26 한국전자통신연구원 하향링크 프레임 생성 방법 및 셀 탐색 방법
KR102313863B1 (ko) * 2007-10-16 2021-10-15 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR101228020B1 (ko) 2007-12-05 2013-01-30 삼성전자주식회사 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
CN101198064A (zh) * 2007-12-10 2008-06-11 武汉大学 一种分辨率分层技术中的运动矢量预测方法
WO2009115901A2 (en) 2008-03-19 2009-09-24 Nokia Corporation Combined motion vector and reference index prediction for video coding
PL2288163T3 (pl) 2008-05-07 2015-11-30 Lg Electronics Inc Sposób i urządzenie do dekodowania sygnału wideo
PT104083A (pt) 2008-06-02 2009-12-02 Inst Politecnico De Leiria Método para transcodificar imagens de vídeo h.264/avc em mpeg-2
CN102308580B (zh) 2009-02-05 2016-05-04 汤姆森特许公司 用于自适应模式视频编码和解码的方法和装置
KR101452859B1 (ko) 2009-08-13 2014-10-23 삼성전자주식회사 움직임 벡터를 부호화 및 복호화하는 방법 및 장치
US9060176B2 (en) 2009-10-01 2015-06-16 Ntt Docomo, Inc. Motion vector prediction in video coding
WO2011046008A1 (ja) 2009-10-16 2011-04-21 シャープ株式会社 動画像符号化装置、および、動画像復号装置
TWI566586B (zh) 2009-10-20 2017-01-11 湯姆生特許公司 一序列形象的現時區塊之寫碼方法和重建方法
KR101459714B1 (ko) 2009-10-28 2014-11-13 에스케이텔레콤 주식회사 공간 분할을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101441905B1 (ko) 2009-11-18 2014-09-24 에스케이텔레콤 주식회사 후보 예측 움직임 벡터 집합 선택을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
JPWO2011061880A1 (ja) 2009-11-19 2013-04-04 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR101807170B1 (ko) 2009-11-24 2017-12-08 에스케이 텔레콤주식회사 적응적 2차예측 기반 영상 부호화/복호화 방법, 장치 및 기록 매체
WO2011064673A1 (en) 2009-11-30 2011-06-03 France Telecom Method of and apparatus for encoding video frames, method of and apparatus for decoding video frames
CN101860754B (zh) 2009-12-16 2013-11-13 香港应用科技研究院有限公司 运动矢量编码和解码的方法和装置
US9036692B2 (en) 2010-01-18 2015-05-19 Mediatek Inc. Motion prediction method
WO2011095259A1 (en) 2010-02-05 2011-08-11 Telefonaktiebolaget L M Ericsson (Publ) Selecting predicted motion vector candidates
KR20120129944A (ko) 2010-02-10 2012-11-28 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
US8995527B2 (en) * 2010-02-19 2015-03-31 Qualcomm Incorporated Block type signalling in video coding
CN102439978A (zh) 2010-03-12 2012-05-02 联发科技(新加坡)私人有限公司 运动预测方法
CN102210910B (zh) 2010-04-02 2013-02-13 重庆融海超声医学工程研究中心有限公司 一种超声换能器
KR101752418B1 (ko) 2010-04-09 2017-06-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
CN104811737B (zh) 2010-05-04 2018-06-15 Lg电子株式会社 处理视频信号的方法和设备
US9124898B2 (en) 2010-07-12 2015-09-01 Mediatek Inc. Method and apparatus of temporal motion vector prediction
EP3907999B1 (en) 2010-09-02 2023-11-22 LG Electronics, Inc. Inter prediction
US20120082228A1 (en) 2010-10-01 2012-04-05 Yeping Su Nested entropy encoding
US10104391B2 (en) 2010-10-01 2018-10-16 Dolby International Ab System for nested entropy encoding
JP2012109720A (ja) 2010-11-16 2012-06-07 Panasonic Corp 画像変換装置、画像再生装置及び画像変換方法
US8824558B2 (en) 2010-11-23 2014-09-02 Mediatek Inc. Method and apparatus of spatial motion vector prediction
US8976873B2 (en) 2010-11-24 2015-03-10 Stmicroelectronics S.R.L. Apparatus and method for performing error concealment of inter-coded video frames
US8711940B2 (en) 2010-11-29 2014-04-29 Mediatek Inc. Method and apparatus of motion vector prediction with extended motion vector predictor
CN102986224B (zh) 2010-12-21 2017-05-24 英特尔公司 用于增强的解码器侧运动向量导出处理的系统及方法
US9049455B2 (en) 2010-12-28 2015-06-02 Panasonic Intellectual Property Corporation Of America Image coding method of coding a current picture with prediction using one or both of a first reference picture list including a first current reference picture for a current block and a second reference picture list including a second current reference picture for the current block
ES2930367T3 (es) 2011-01-07 2022-12-09 Lg Electronics Inc Método para codificar información de vídeo, método para decodificar información de vídeo y aparato de decodificación para decodificar información de vídeo
WO2012095467A1 (en) 2011-01-12 2012-07-19 Canon Kabushiki Kaisha Video encoding and decoding with low complexity
US9319716B2 (en) 2011-01-27 2016-04-19 Qualcomm Incorporated Performing motion vector prediction for video coding
US9066110B2 (en) 2011-03-08 2015-06-23 Texas Instruments Incorporated Parsing friendly and error resilient merge flag coding in video coding
EP2687015A4 (en) 2011-03-14 2014-12-17 Mediatek Inc METHOD AND DEVICE FOR OBTAINING PREDICTIONS FOR TEMPORARY MOTION VECTORS
US9648334B2 (en) 2011-03-21 2017-05-09 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding
US9143795B2 (en) 2011-04-11 2015-09-22 Texas Instruments Incorporated Parallel motion estimation in video coding
MX2013010231A (es) 2011-04-12 2013-10-25 Panasonic Corp Metodo de codificacion de imagenes en movimiento, aparato de codificacion de imagenes en movimiento, metodo de decodificacion de imagenes en movimiento, aparato de decodificacion de imagenes en movimiento y aparato de codificacion y decodificacion de imagenes en movimiento.
CN103503450B (zh) 2011-05-24 2017-07-07 太阳专利托管公司 图像编码方法、图像编码装置、图像解码方法、图像解码装置及图像编解码装置
CA2834123C (en) 2011-05-27 2020-02-11 Panasonic Corporation Image coding method, image coding apparatus, image decoding method, image decoding apparatus, and image coding and decoding apparatus
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
CN103548351B (zh) 2011-05-31 2017-07-11 太阳专利托管公司 运动图像解码方法及运动图像解码装置
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
JP5886950B2 (ja) 2011-06-14 2016-03-16 サムスン エレクトロニクス カンパニー リミテッド 動き情報の符号化方法及びその装置、その復号化方法及びその装置
US9866859B2 (en) 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
US9282338B2 (en) 2011-06-20 2016-03-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
KR102464103B1 (ko) 2011-06-30 2022-11-04 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램, 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
CN105430390B (zh) 2011-06-30 2017-04-12 Jvc建伍株式会社 图像解码装置、图像解码方法、接收装置及接收方法
IN2014CN00729A (ru) 2011-08-03 2015-04-03 Panasonic Corp
CN103907346B (zh) 2011-10-11 2017-05-24 联发科技股份有限公司 运动矢量预测子及视差矢量导出方法及其装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2009114363A (ru) * 2006-10-30 2010-10-20 Ниппон Телеграф Энд Телефон Корпорейшн (Jp) Способ генерации предсказанной опорной информации, способы кодирования и декодирования видео, устройства для этого, программы для этого и носитель данных, хранящий эти программы
EP2250816A1 (en) * 2008-03-04 2010-11-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding an image by using consecutive motion estimation
WO2009126260A1 (en) * 2008-04-11 2009-10-15 Thomson Licensing Methods and apparatus for template matching prediction (tmp) in video encoding and decoding
WO2010148919A1 (zh) * 2009-06-26 2010-12-29 华为技术有限公司 视频图像运动信息获取方法、装置及设备、模板构造方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BYEONG-MOON JEON, New syntax for Bi-directional mode in MH pictures, Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG, JVT-C121, 3rd Meeting: Fairfax, Virginia, 6-10 May 2002. KAMP S. et al, Multihypothesis prediction using decoder side-motion vector derivation in inter-frame video coding, VISUAL COMMUNICATIONS AND IMAGE PROCESSING, San Jose, 20 January 2009. *

Also Published As

Publication number Publication date
US20160337660A1 (en) 2016-11-17
US20190132608A1 (en) 2019-05-02
BR112013023478A8 (pt) 2017-07-11
MX2013010231A (es) 2013-10-25
JP6112320B2 (ja) 2017-04-12
US20200195954A1 (en) 2020-06-18
JP2016015787A (ja) 2016-01-28
PL2698999T3 (pl) 2017-10-31
RU2013141795A (ru) 2015-05-20
EP3136727A1 (en) 2017-03-01
RU2016137964A (ru) 2018-12-13
US20190075314A1 (en) 2019-03-07
CA2830036A1 (en) 2012-10-18
EP2698999B1 (en) 2017-01-04
US20190132607A1 (en) 2019-05-02
US11012705B2 (en) 2021-05-18
ES2621231T3 (es) 2017-07-03
SA112330447B1 (ar) 2015-08-10
RU2719308C2 (ru) 2020-04-17
US9872036B2 (en) 2018-01-16
CA2830036C (en) 2019-03-05
US20210235106A1 (en) 2021-07-29
US8982953B2 (en) 2015-03-17
JPWO2012140821A1 (ja) 2014-07-28
US20120263235A1 (en) 2012-10-18
AR085995A1 (es) 2013-11-13
JP5837575B2 (ja) 2015-12-24
US20150146783A1 (en) 2015-05-28
BR112013023478A2 (pt) 2017-03-01
EP2698999A4 (en) 2014-03-05
KR101935620B1 (ko) 2019-01-04
US20180103264A1 (en) 2018-04-12
TWI547148B (zh) 2016-08-21
US9445120B2 (en) 2016-09-13
US11356694B2 (en) 2022-06-07
US20240171766A1 (en) 2024-05-23
RU2016137964A3 (ru) 2019-10-08
WO2012140821A1 (ja) 2012-10-18
EP2698999A1 (en) 2014-02-19
US10609406B2 (en) 2020-03-31
ES2685945T3 (es) 2018-10-15
KR20140010068A (ko) 2014-01-23
BR112013023478B8 (pt) 2022-09-13
PL3136727T3 (pl) 2018-11-30
CN103444181A (zh) 2013-12-11
US20220182656A1 (en) 2022-06-09
CN103444181B (zh) 2018-04-20
US11917186B2 (en) 2024-02-27
US10536712B2 (en) 2020-01-14
TW201246948A (en) 2012-11-16
US10178404B2 (en) 2019-01-08
EP3136727B1 (en) 2018-06-13
US10382774B2 (en) 2019-08-13
BR112013023478B1 (pt) 2021-01-19

Similar Documents

Publication Publication Date Title
JP7228851B2 (ja) 動画像復号化方法
RU2600936C2 (ru) Способ кодирования движущихся изображений, устройство кодирования движущихся изображений, способ декодирования движущихся изображений, устройство декодирования движущихся изображений и устройство кодирования и декодирования движущихся изображений
RU2614542C2 (ru) Способ кодирования видео, устройство кодирования видео, способ декодирования видео, устройство декодирования видео и устройство кодирования/декодирования видео
RU2604679C2 (ru) Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений и устройство декодирования изображений
RU2609083C2 (ru) Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений и устройство декодирования изображений
RU2604330C2 (ru) Способ кодирования изображений, устройство кодирования изображений, способ декодирования изображений, устройство декодирования изображений и устройство кодирования изображений
AU2012216026B2 (en) Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
CA2836243C (en) Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
CA2866121C (en) Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus
TWI538486B (zh) A moving picture coding method, a moving picture decoding method, a moving picture coding apparatus, a moving picture decoding apparatus, and a motion picture coding / decoding apparatus
AU2012260302A1 (en) Image coding method, image coding apparatus, image decoding method, image decoding apparatus, and image coding and decoding apparatus
CA2850595A1 (en) Picture coding method, picture coding apparatus, picture decoding method, and picture decoding apparatus
CA2836063A1 (en) Image encoding and decoding method and device for generating predictor sets in high-efficiency video coding
AU2011306322B2 (en) Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
WO2012108181A1 (en) Methods and apparatuses for encoding and decoding video using multiple reference pictures

Legal Events

Date Code Title Description
HZ9A Changing address for correspondence with an applicant