RU2321967C2 - Способ маскирования ошибок в видеопоследовательностях - Google Patents
Способ маскирования ошибок в видеопоследовательностях Download PDFInfo
- Publication number
- RU2321967C2 RU2321967C2 RU2005103827/09A RU2005103827A RU2321967C2 RU 2321967 C2 RU2321967 C2 RU 2321967C2 RU 2005103827/09 A RU2005103827/09 A RU 2005103827/09A RU 2005103827 A RU2005103827 A RU 2005103827A RU 2321967 C2 RU2321967 C2 RU 2321967C2
- Authority
- RU
- Russia
- Prior art keywords
- scenes
- transition
- scene
- image
- lost
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000000873 masking effect Effects 0.000 title claims abstract description 38
- 230000007704 transition Effects 0.000 claims abstract description 131
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 31
- 230000008034 disappearance Effects 0.000 claims description 9
- 230000004941 influx Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 5
- 239000000126 substance Substances 0.000 abstract 1
- 230000005540 biological transmission Effects 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000013139 quantization Methods 0.000 description 8
- 238000004088 simulation Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 239000012634 fragment Substances 0.000 description 5
- 101100060194 Caenorhabditis elegans clip-1 gene Proteins 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000001125 extrusion Methods 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 239000006163 transport media Substances 0.000 description 2
- GICIECWTEWJCRE-UHFFFAOYSA-N 3,4,4,7-tetramethyl-2,3-dihydro-1h-naphthalene Chemical compound CC1=CC=C2C(C)(C)C(C)CCC2=C1 GICIECWTEWJCRE-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 239000002609 medium Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Error Detection And Correction (AREA)
Abstract
Изобретение относится к кодированию видеоданных и, в частности, к маскированию искажений, вводимых ошибками. Техническим результатом является обеспечение способа, с помощью которого соответствующий вид маскирования ошибок может выбираться для кадров, которые принадлежат переходам между сценами в видеопоследовательности, достигаемый за счет того, что предложен способ и устройство для маскирования ошибок в видеопоследовательности. Когда существует переход между сценами в видеопоследовательности и существует ошибка в изображении, принадлежащем переходу между сценами, используется процедура маскирования ошибок, основанная на виде перехода между сценами, для маскирования ошибки. Информация о переходе между сценами вместе с информацией о виде перехода между сценами подается на видеодекодер в сообщении дополнительной информации расширения, если переход между сценами представляет собой постепенный переход между сценами, используется алгоритм пространственно-временного маскирования ошибок для маскирования изображения, если переход между сценами представляет собой обрыв сцены и только часть изображения потеряна или повреждена, то используется пространственное маскирование ошибок для маскирования потерянной или поврежденной части изображения, а если потеряно или повреждено все изображение, принадлежащее обрыву сцены, и изображение начинает новую сцену, то оно не маскируется. 3 н. и 19 з.п. ф-лы. 3 ил., 11 табл.
Description
Область техники, к которой относится изобретение
Настоящее изобретение относится в общем случае к кодированию видеоданных и, в частности, - к маскированию искажений, вводимых ошибками.
Предшествующий уровень техники
Видеопоследовательность состоит из последовательности неподвижных изображений или кадров. Способы сжатия видеоданных основаны на сокращении избыточных и не важных для восприятия частей видеопоследовательностей. Избыточность в видеопоследовательностях можно классифицировать на спектральную, пространственную и временную избыточность. Спектральная избыточность относится к подобию между различными цветовыми компонентами одного и того же изображения. Пространственная избыточность является результатом подобия между соседними пикселями в изображении. Временная избыточность существует из-за того, что имеется значительная вероятность того, что объекты, появлявшиеся в предыдущем кадре изображения, также появятся в текущем кадре изображения. Сжатие может достигаться с помощью использования этой временной избыточности и предсказания текущего изображения на основе другого изображения, называемого эталонным изображением. Дополнительное сжатие достигается с помощью генерации данных компенсации движения, которые описывают движение между текущим изображением и эталонным изображением.
Способы сжатия видеоданных обычно различают изображения, которые используют устранение временной избыточности и изображения, которые его не используют. Сжатые изображения, которые не используют способы устранения временной избыточности, обычно называют INTRA- (или I-) кадрами или изображениями. Предсказанные во времени изображения обычно быстро предсказываются на основе изображения, имеющего место перед текущим изображением, и они называются INTER- или P-кадрами. Сжатый фрагмент видеозаписи (видеоклип) обычно состоит из последовательности изображений, которые могут быть примерно классифицированы на независимые во времени INTRA-изображения и кодированные с помощью временных отличий INTER-изображения. INTRA-изображения обычно используются для того, чтобы остановить распространение во времени ошибок передачи в восстановленном видеосигнале и обеспечить точки произвольного доступа в битовом видеопотоке. Так как эффективность сжатия, обеспеченная INTRA-изображениями, обычно ниже, чем эффективность сжатия, обеспеченная с помощью INTER-изображений, они в общем случае используются расчетливо, особенно в приложениях с низкой скоростью передачи в битах.
Видеопоследовательность может быть составлена из многих сцен, снятых одной камерой, или видеофрагментов. Видеофрагмент определяют как последовательность непрерывных кадров или изображений, снятых с помощью одной камеры. В общем случае кадры в пределах одного видеофрагмента сильно коррелированы. Однако в обычной видеопоследовательности содержимое изображений значительно отличается от одной сцены к другой, и поэтому первое изображение сцены обычно кодируют с помощью кодирования INTRA-кадров. Смену различных видеофрагментов в видеопоследовательности называют «переходами между сценами». Переходы между сценами могут принимать множество различных форм. Например, один видеофрагмент может заканчиваться, а другой может резко начинаться при «резких переходах между сценами (обрывах сцен)». В других случаях переход между сценами происходит постепенно и он занимает больше чем один кадр. Примеры постепенных переходов между сценами - «наплывы», «постепенное появление или исчезновение изображения» (постепенное появление изображения, постепенное исчезновение изображения) и «вытеснение (постепенная смена одного изображения другим)».
Сжатое видеоизображение легко повреждается ошибками при передаче, главным образом по двум причинам. Во-первых, из-за использования разностного кодирования с прогнозированием во времени (INTER-кадры) ошибки распространяются и в пространстве, и во времени. Во-вторых, использование кодов переменной длины увеличивает восприимчивость битового видеопотока к ошибкам. В приемнике (видеодекодере) существует много способов борьбы с искажениями, внесенными в тракте передачи. В общем случае при приеме сигнала ошибки, возникающие при передаче, сначала обнаруживают и затем исправляют или маскируют с помощью декодера. Термин «исправление ошибок» относится к процессу полного восстановления ошибочных данных, как будто изначально не было внесено никаких ошибок, в то время как «маскирование ошибок» относится к процессу маскирования влияния ошибок передачи так, чтобы они были едва видимы в восстановленной видеопоследовательности.
В настоящее время видеодекодер, разрабатываемый совместной группой по видеоизображениям (JVT) экспертной группы по кинематографии Международной организации по стандартизации (ISO)/Международной электротехнической комиссии (IEC) и экспертной группы по видеокодированию Международного союза электросвязи - сектора телекоммуникаций (ITU-T) для видео кодера-декодера (кодека) ITU-T H.264/MPEG-4 part 10 AVC, испытывает недостаток в способе принятия решения в отношении того, как должны маскироваться ошибки передачи в кодированных INTRA-кадрах и кадрах перехода между сценами, и именно в этом контексте было разработано данное изобретение.
Сущность изобретения
Задачей настоящего изобретения является обеспечение способа, с помощью которого соответствующий вид маскирования ошибок может выбираться для кадров, которые принадлежат переходам между сценами в видеопоследовательности. Данный способ одинаково применим к резким переходам между сценами (т.е. обрывам сцены) и к постепенным переходам между сценами, например к постепенному появлению или исчезновению изображения, вытеснению и наплыву и т.д.
Для выполнения эффективного маскирования ошибок кадров, которые принадлежат переходам между сценами, необходимы два вида информации: 1) информация о кадрах, в которых смена видеофрагмента начинается и заканчивается; и 2) вид применяемого перехода между сценами (обрыв, наплыв, постепенное появление или исчезновение, вытеснение и т.д.). Так как два описанных вида информации не являются необходимыми для правильного декодирования данных уровня кодирования видеоданных (VCL), настоящее изобретение предлагает, чтобы информация, относящаяся к переходам между сценами, обеспечивалась как дополнительная информация расширения (ДИР, SEI) и закодированный битовый поток видеоданных включал ее в себя как сообщение дополнительной информации расширения (ДИР). Вся необходимая информация, требуемая для маскирования ошибок, возникающих в кадрах, которые принадлежат переходам между сценами, может затем быть логически получена из сообщения ДИР.
Согласно изобретению каждая сцена видеопоследовательности связана со значением идентификатора сцены. Значения идентификатора сцены для последовательных сцен отличаются друг от друга, и таким образом, видеодекодер может сделать заключение о том, что произошла смена сцены, когда он принимает идентификатор сцены, отличающийся от того, который он принял раньше. Кадры в период перехода между сценами связаны с двумя значениями идентификатора сцены, одним от каждой из двух сцен, между которыми осуществляется переход. Кроме того, постепенные переходы между сценами связаны с конкретным видом перехода, который может быть наплывом, постепенным появлением изображения, постепенным исчезновением изображения, вытеснением или «ни одним из указанных» (т.е. некоторым другим видом перехода). Эта грубая классификация предоставляет декодеру достаточную руководящую информацию, предоставляя ему возможность выбрать подходящий алгоритм маскирования ошибок для маскирования потери или искажения данных при переходе между сценами.
Таким образом, согласно первому аспекту настоящего изобретения предоставляется способ маскирования ошибки в кадре видеопоследовательности, которая содержит по меньшей мере первую сцену и вторую сцену, при этом существует переход от первой сцены ко второй сцене, который содержит множество кадров и относится к одному из множества видов. Данный способ содержит:
идентификацию вида перехода между сценами; и
применение процедуры маскирования ошибок для маскирования ошибки в кадре, принадлежащем упомянутому переходу, основываясь на идентифицированном виде перехода между сценами.
Идентифицированный вид перехода между сценами может быть обрывом сцены или постепенным переходом между сценами.
Предпочтительно, если все изображение, принадлежащее обрыву сцены, потеряно, то потерянное изображение не маскируют.
Предпочтительно, если часть изображения, принадлежащего обрыву сцены, потеряна или повреждена, то применяют алгоритм пространственного маскирования ошибок для маскирования упомянутой потерянной или поврежденной части изображения.
Предпочтительно, если все изображение, принадлежащее постепенному переходу, потеряно или повреждено, то применяют алгоритм пространственно-временного маскирования ошибок для маскирования потерянной или поврежденной части изображения.
Предпочтительно, если часть изображения, принадлежащего постепенному переходу, потеряна или повреждена, то применяют алгоритм пространственно-временного маскирования ошибок для маскирования упомянутой потерянной или поврежденной части изображения.
Предпочтительно информацию, указывающую идентифицированный переход между сценами, подают на декодер в сообщении дополнительной информации расширения для предоставления возможности декодеру маскировать ошибку, основываясь на упомянутой информации.
Преимущественно информация, указывающая идентифицированный переход между сценами, включает в себя указание вида перехода между сценами, а информацию, указывающую идентифицированный переход между сценами, обеспечивают для каждого кадра, принадлежащего переходу.
Согласно второму аспекту настоящего изобретения предоставляется устройство видеокодирования для кодирования видеопоследовательности в поток данных, при этом данная видеопоследовательность содержит по меньшей мере первую сцену и вторую сцену и имеет переход между сценами от первой сцены, причем этот переход между сценами содержит множество кадров и относится к одному из множества видов. Устройство видеокодирования содержит:
средство идентификации кадров, связанных с упомянутым переходом;
средство предоставления информации о виде перехода.
Согласно третьему аспекту настоящего изобретения предоставляется устройство видеодекодирования для декодирования видеопоследовательности из потока данных, при этом данная видеопоследовательность содержит по меньшей мере первую сцену и вторую сцену и имеет переход между сценами от первой сцены, причем этот переход между сценами содержит множество кадров и относится к одному из множества видов. Устройство видеодекодирования содержит:
средство приема потока данных; и
алгоритм маскирования ошибок для маскирования ошибки в кадре, принадлежащем упомянутому переходу, на основе вида перехода между сценами.
Настоящее изобретение станет очевидным после прочтения описания, рассмотренного вместе с фиг. 1 - 3.
Перечень фигур чертежей
Фиг. 1 - последовательность операций, иллюстрирующая способ маскирования ошибок согласно настоящему изобретению, показывающая, как выбирают соответствующий способ маскирования ошибок для изображения в переходе между сценами согласно виду перехода между сценами.
Фиг. 2 - структурная схема, показывающая видеокодер, реализованный согласно настоящему изобретению, для обеспечения кодированного потока данных, который включает в себя информацию, указывающую переходы между сценами, в целях маскирования ошибок.
Фиг. 3 - структурная схема, показывающая видеодекодер, реализованный в соответствии с настоящим изобретением и соответствующий видеокодеру, показанному на фиг. 2.
Предпочтительный вариант осуществления изобретения
Как объясняется выше, дополнительная информация расширения (ДИР), которую включает в себя закодированный битовый видеопоток, содержит информацию, которая не является необходимой для правильного декодирования закодированных видеоданных, но которая является, тем не менее, полезной для целей представления или декодирования. Таким образом, информация ДИР является идеальным транспортным средством для переноса информации о сцене, к которой принадлежит конкретный кадр видеопоследовательности, и для обеспечения информации о переходах между сценами.
Согласно стандарту кодирования видеоданных ITU-T H.264/MPEG-4 part 10 AVC, элемент ДИР содержит одно или более сообщений ДИР. Каждое сообщение ДИР состоит из заголовка ДИР и полезной информации (полезной нагрузки) ДИР. Вид и размер полезной информации ДИР кодируют, используя расширяемый синтаксис. Размер полезной информации ДИР обозначают в байтах. Допустимые виды полезной информации ДИР перечислены в приложении C проекта комитета JVT (см. документ JVT_D015d5).
Полезная информация ДИР может быть заголовком полезной информации ДИР. Например, заголовок полезной информации может указывать изображение, которому принадлежат конкретные данные. Заголовок полезной информации определяют для каждого вида полезной информации отдельно. Описания полезной информации ДИР определены в приложении C проекта комитета JVT (снова см. документ JVT_D015d5).
Передача модулей ДИР происходит синхронно относительно других модулей NAL (сетевого уровня абстракции). Сообщение ДИР может относиться к слою, части изображения, изображению, любой группе изображений, последовательности в прошлом, последовательности, декодируемой в настоящее время, или последовательности, которая будет декодироваться в будущем. Сообщение ДИР может также относиться к одному или более модулям NAL, предыдущих или последующих по порядку передачи.
Приведенная ниже таблица 1 определяет синтаксис полезной информации ДИР, который используется в стандарте кодирования видеоданных ITU-T H.264/MPEG-4 part 10 AVC, в то время как таблица 2 представляет конкретный синтаксис, используемый в связи с обменом информацией о сцене, который предложен согласно настоящему изобретению.
| Таблица 1 | ||
| Синтаксис полезной информации ДИР | ||
| SEI_payload (PayloadType (вид полезной информации), PayloadSize(размер полезной информации)) { | Категория | Описатель (дескриптор) |
| если (PayloadType == 1) | ||
| temporal_reference (PayloadSize, PayloadSize) | 7 | |
| иначе, если (PayloadType == 2) | ||
| Clock_timestamp (PayloadSize, PayloadSize) | 7 | |
| иначе, если (PayloadType == 3) | ||
| panscan_rect (PayloadSize, PayloadSize) | 7 | |
| иначе, если (PayloadType == 4) | ||
| Scene_information (PayloadSize, PayloadSize) | 7 | |
| иначе | ||
| зарезервировано | Переменная | |
| если (!byte_aligned ()) { | ||
| bit_equal_to_one | f(1) | |
| пока (!byte_aligned ()) | ||
| bit_equal_to_zero | f(1) | |
| } | ||
| } | ||
| Таблица 2 | ||
| Синтаксис информации сцены ДИР | ||
| Scene_information (PayloadType, PayloadSize) { | Категория | Описатель |
| Scene_identifier | u(8) | |
| если (more_ SEI_payload_data ()) { | ||
| second_scene_identifier | u(8) | |
| если (more_ SEI_payload_data ()) | ||
| scene_transition_type | e(v) | |
| } | ||
| } | ||
Параметры информации сцены, приведенные в таблице 2, относятся к следующему модулю NAL, содержащему закодированные данные макроблока в порядке передачи.
scene_identifier: Сцена определена как последовательность непрерывных кадров, снятых одной камерой. В общем случае кадры в пределах одной сцены сильно коррелированы. Согласно изобретению кадры в данной сцене совместно используют одно и то же значение параметра scene_identifier и последовательные сцены по порядку кодирования не должны иметь одно и то же значение параметра scene_identifier.
second_scene_identifier: Если существует, параметр second_scene_identifier указывает, что следующий модуль NAL, содержащий закодированные данные макроблока, принадлежит кадру, который содержит данные изображений от двух сцен. Другими словами, кадр принадлежит постепенному переходу между сценами. Параметр second_scene_identifier - идентификатор последующей сцены по порядку кодирования.
scene_transition_type: Если параметр scene_transition_type не присутствует в информации сцены ДИР, это указывает, что вид перехода между сценами не известен, не определен или несоответствующий. Если присутствует, то значения, приведенные ниже в таблице 3, являются допустимыми:
| Таблица 3 | |
| Виды переходов между сценами согласно предпочтительному варианту осуществления изобретения | |
| Значение | Описание |
| 0 | Наплыв |
| 1 | Постепенное исчезновение изображения |
| 2 | Постепенное появление изображения |
| 4 | Вытеснение |
| Другие значения | Зарезервированы |
Теперь будет описан способ, которым описанная выше информация сцены используется в процессе декодирования для обработки потери или повреждения данных.
Если все изображение потеряно непосредственно перед текущим изображением и сцена изменилась после ранее принятого изображения, то потерянное изображение не должно маскироваться, потому что оно начинает новую сцену. Если все изображение потеряно непосредственно перед текущим изображением и никакой смены сцены не произошло после ранее принятого изображения, то декодер маскирует потерянное изображение. Если все изображение потеряно в течение периода перехода, то декодер использует указанный вид перехода между сценами, маскируя потерянное изображение.
Если часть текущего изображения потеряна или повреждена и если сообщение ДИР информации сцены связано с данным изображением, то декодер выполняет следующие действия:
1. Если сцена изменилась после приема предыдущего изображения, то декодер применяет алгоритм пространственного маскирования ошибок для маскирования потерянных или поврежденных частей текущего изображения.
2. Если сцена не изменилась после ранее принятого изображения, то декодер использует алгоритм пространственно-временного маскирования ошибок.
3. Если текущее изображение принадлежит переходу между сценами, то декодер использует указанный вид перехода между сценами, маскируя потерянное изображение.
Согласно изобретению кодер должен генерировать сообщения ДИР информации сцены, если он работает в подверженной ошибкам среде передачи или если существует потребность создать описание содержимого видеоданных на основе закодированного видеосигнала. Даже если нет никакой неотложной потребности для описания содержимого, позднее потребность может возникнуть для некоторых видов содержимого видеоданных, таких как видеоданные для развлечения. Поэтому согласно настоящему изобретению предпочтительно, чтобы кодеры всегда генерировали сообщения ДИР информации сцены, если возможно.
Соответственно кодер создает сообщение ДИР информации сцены для каждого обрыва сцены и постепенного перехода между сценами. Для каждого изображения обрыва сцены существует соответствующее сообщение ДИР информации сцены, которое может повторяться позднее для устойчивости к ошибкам. Для каждого постепенного перехода между сценами существует (предпочтительно повторяющееся) сообщение ДИР информации сцены, связанное с первым изображением перехода (т.е. первым изображением, которое составлено и из сцены, от которой переходят, и из сцены, к которой переходят). Для каждого постепенного перехода между сценами существует также (предпочтительно повторяющееся) сообщение ДИР информации сцены, связанное с первым изображением после последнего изображения перехода (последнее изображение перехода относится к последнему изображению, которое составлено и из сцены, от которой переходят, и из сцены, к которой переходят). Как упоминается выше, значение параметра scene_identifier отличается в последовательных сценах.
В ориентированной на передачу пакетов транспортной среде блок формирования пакетов транспортировки дублирует каждое сообщение ДИР информации сцены по меньшей мере в двух пакетах, если возможно, для обеспечения правильного приема по меньшей мере одного появления сообщения. При транспортировке с помощью протокола RTP (транспортного протокола реального времени) блок формирования пакетов использует составные пакеты для связывания сообщения ДИР информации сцены с закодированным содержимым изображения. В ориентированной на поток байтов транспортной среде каждое сообщение ДИР информации сцены по меньшей мере дублируется.
Способ маскирования ошибок в видеопоследовательностях с помощью передачи информации о смене видеофрагментов согласно настоящему изобретению показан в последовательности операций 100 на фиг. 1.
Когда декодер сталкивается с потерей данных или их повреждением в процессе декодирования, декодер определяет на этапе 110, является ли потерянное или поврежденное изображение целым изображением или частью изображения. Если потеряно все изображение, то декодер определяет, какой вид ситуации потери имеет место (этап 120). Если все изображение было потеряно непосредственно перед текущим изображением и сцена изменилась после ранее принятого изображения (например, как указано с помощью значения параметра scene_identifier в принятой информации ДИР), то потерянное изображение не должно маскироваться, потому что в этом случае, как объясняется выше, потерянное изображение представляет начало новой сцены (этап 124). Если все изображение было потеряно непосредственно перед текущим изображением и никакой смены сцены не произошло после ранее принятого изображения, то декодер маскирует потерянное изображение, как показано на этапе 122. Если все изображение было потеряно в течение периода перехода, декодер использует указанный вид перехода между сценами (полученный из принятой информации ДИР) при маскировании потерянного изображения, как показано на этапе 126.
Если потеряна часть изображения, то декодер определяет, какой вид ситуации потери имеет место (этап 130). Если потеряна или повреждена часть текущего изображения и если сообщение ДИР информации сцены связано с данным изображением, то декодер должен выполнять следующие действия: Если сцена изменилась после предыдущего принятого изображения, то декодер применяет алгоритм пространственного маскирования ошибок для маскирования потерянных или поврежденных частей текущего изображения, как показано на этапе 134. Если сцена не изменилась после предыдущего принятого изображения, то декодер использует алгоритм пространственно-временного маскирования ошибок, как показано на этапе 132. Если текущее изображение принадлежит переходу между сценами, то декодер использует указанный вид перехода между сценами при маскировании потерянного изображения, как показано на этапе 136.
Для выполнения способа маскирования ошибок, как показано в последовательности операций 100 по фиг. 1, видеокодер, реализованный согласно изобретению, должен быть выполнен с возможностью мониторинга смен сцены и передачи информации, указывающей на смены сцены, в битовом потоке, сгенерированном кодером. Структурная схема такого видеокодера 200 показана на фиг. 2. Как показано на данной фигуре, видеокодер, реализованный в соответствии с изобретением, включает в себя средство 210 мониторинга перехода между сценами, средство 220 кодирования, блок 230 управления и блок 240 мультиплексирования/формирования пакетов. Входной видеосигнал, представляющий видеопоследовательность, подают на вход видеокодера и подают через средство 210 мониторинга перехода между сценами к средству 220 кодирования видеоданных, где отдельные кадры видеопоследовательности кодируют, например, в формате INTRA- или INTER-кадров. Средство мониторинга перехода между сценами исследует кадры, например, вычисляя совокупную сумму абсолютных различий между пикселями в последовательных кадрах последовательности, или применяя любой другой способ обнаружения сцены, известный из предшествующего уровня техники, для идентификации различных сцен, которые составляют видеопоследовательность. Средство 210 мониторинга перехода между сценами обеспечивает блоку 230 управления указание сцены, которой принадлежит каждый кадр. Когда обнаружен переход между сценами (например, обрыв сцены, постепенное появление или исчезновение изображения, наплыв, вытеснение и т.д.), средство 210 мониторинга перехода между сценами также обеспечивает блоку 230 управления указание вида перехода. Блок управления назначает идентификатор (например, число) каждой сцене, идентифицированной средством мониторинга перехода между сценами, и связывает идентификатор с каждым кадром, который идентифицирован как принадлежащий рассматриваемой сцене. Кроме того, когда обнаружен переход между сценами, блок 230 управления дает команду средству 220 кодирования видеоданных кодировать первый кадр новой сцены в формате кодирования INTRA-кадров. Преимущественно все последующие кадры, принадлежащие новой сцене, затем кодируют в формате кодирования INTER-кадров, если не становится необходимо по некоторым причинам закодировать данный кадр в другом формате. В предпочтительном варианте осуществления изобретения блок 230 управления связывает дополнительную информацию расширения (информацию ДИР) с каждым кадром, принадлежащим переходу между сценами, и передает эту информацию ДИР на блок 240 мультиплексирования/формирования пакетов. Преимущественно информацию ДИР для кадров, которые являются частью перехода между сценами, формируют так, как ранее описано в предпочтительном варианте осуществления изобретения, представленном ранее в тексте. Блок мультиплексирования/формирования пакетов также принимает закодированные видеоданные от средства 220 кодирования видеоданных и формирует один битовый поток из закодированных видеоданных и информации ДИР. Битовый поток затем передают, например, на соответствующий видеодекодер (см. фиг. 3) через канал передачи или на запоминающее устройство (не показано) для последующего извлечения и просмотра.
Фиг. 3 - структурная схема, показывающая видеодекодер 300, реализованный в соответствии с настоящим изобретением и соответствующий видеокодеру, описанному в связи с фиг. 2. Как можно заметить на фиг. 3, видеодекодер согласно изобретению включает в себя блок 310 расформирования пакетов/демультиплексирования, блок 320 управления, модуль 330 маскирования ошибок и средство 340 декодирования видеоданных. Блок расформирования пакетов/демультиплексирования принимает из канала передачи закодированный битовый поток, представляющий видеопоследовательность в форме пакетов данных. Он восстанавливает закодированный битовый поток видеоданных из принятых пакетов данных и разделяет битовый поток видеоданных на его составные части (т.е. на различные виды информации, относящейся к закодированным кадрам видеопоследовательности). Согласно изобретению блок расформирования пакетов/демультиплексирования извлекает дополнительную информацию расширения, содержащую, кроме всего другого, информацию, относящуюся к переходам между сценами, из закодированного битового потока видеоданных и передает информацию ДИР к блоку 320 управления. Данные, необходимые для декодирования закодированных видеокадров, передают от блока 310 расформирования пакетов/демультиплексирования к средству 340 декодирования видеоданных, где отдельные кадры видеопоследовательности восстанавливают, используя, например, методики декодирования INTRA- и INTER-кадров. Когда каждый кадр декодирован, средство 340 декодирования видеоданных исследует принятые видеоданные на наличие ошибок, которые, возможно, были внесены во время передачи закодированного битового потока видеоданных по каналу передачи от кодера. Если средство декодирования видеоданных обнаруживает, что конкретный кадр содержит такие ошибки или кадр настолько сильно поврежден, что он вообще не может быть декодирован (т.е. кадр фактически потерян), оно пытается маскировать ошибку или весь кадр, используя соответствующий алгоритм маскирования ошибок. Согласно настоящему изобретению выбор соответствующего способа маскирования ошибок выполняет модуль 330 маскирования ошибок. Модуль маскирования ошибок принимает информацию о сцене, которой каждый кадр принадлежит, из блока 320 управления. В случае кадров, которые являются частью перехода между сценами, блок 320 управления также передает модулю маскирования ошибок информацию, относящуюся к виду перехода между сценами. Таким образом, средство 340 декодирования обнаруживает ошибку, влияющую на кадр, который является частью перехода между сценами, модуль 330 маскирования ошибок может выбрать способ, подходящий для маскирования ошибки, рассматривая сцену, которой кадр принадлежит, и учитывая вид перехода между сценами. Предпочтительно, делая этот выбор, модуль 330 маскирования ошибок применяет способ выбора, описанный в предпочтительном варианте осуществления изобретения, представленном выше. Средство 340 видеодекодирования затем маскирует ошибку в кадре, используя выбранный алгоритм маскирования ошибок, и выводит декодированный кадр, например, для отображения на устройстве отображения (не показано).
Для подтверждения эффективности способов маскирования ошибок для кадров обрыва сцены и перехода между сценами согласно изобретению был выполнен ряд экспериментов моделирования, используя видеокодер и декодер, реализованные согласно стандарту кодирования ITU-T H.264/MPEG-4 part 10 AVC, модифицированному для работы в соответствии со способом настоящего изобретения. Эти эксперименты моделирования подробно описаны ниже.
A. Моделирования маскирования ошибок в кадрах произвольного доступа и обрывах сцен
При этом моделировании использовались последовательности и скорости передачи в битах, предложенные в документе VCEG-N79r1, и применялись обычные условия для среды с потерями пакетов (как определено в VCEG-N79r1). Кроме того, для моделирования эффектов маскирования ошибок для кадров обрыва сцены искусственная последовательность из 30 кадров с регулярными обрывами сцен была создана из известных видеопоследовательностей «News (Новости)», «Foreman (Бригадир)», «Coastguard (Офицер береговой службы)», «Carphone (Автомобильный телефон)» и «Silent (Тишина)». В дальнейшем эта искусственная последовательность упоминается как «MixedSeq». Использовался период между INTRA-кадрами, приблизительно равный 1 секунде, для предоставления возможности частого произвольного доступа во всех случаях. Для последовательности MixedSeq такой период INTRA-кадров приводил к тому, что все обрывы сцен кодировались с помощью кодирования INTRA-кадров. Также использовалась оптимизация знаний о потерях R/D (искажения в зависимости от скорости передачи) (LA-RDO). Другие параметры кодирования, используемые для кодирования последовательности, показаны ниже в таблице 4:
| Таблица 4 | |
| Параметры кодера, используемые при моделировании маскирования ошибок в кадрах произвольного доступа и обрывах сцен | |
| Режим битового потока: | RTP (транспортный протокол реального времени) |
| Разрешающая способность вектора движения: | j пикселя |
| Преобразование Адамара: | используется |
| Максимальный диапазон поиска: | 16 |
| Количество предыдущих кадров, используемых для поиска движения INTER-кадров: | 5 |
| Допускаемые виды блоков: | Все |
| Режим слоев: | неподвижный размер, 1400 байтов/слой |
| B-кадры и SP-кадры: | не используются |
| Режим символа: | UVLC (универсальное кодирование с переменной длиной слова) |
| Разделы данных: | 1 раздел на слой |
| Заголовок последовательности: | нет заголовка последовательности |
| Ограничения диапазона поиска: | Нет |
| Ограниченное предсказание на основе INTRA-кдров: | используется |
| Ограниченные опорные кадры: | используется |
| Количество декодеров для LA-RDO (оптимизированного алгоритма выбора режима макроблока, согласно осведомленности о потерях и зависимости искажений от скорости передачи данных): | 30 |
Маскирование ошибок
Создание сообщений ДИР информации сцены в кодере согласно способу изобретения моделировалось в соответствии с рекомендациями, представленными в описанном выше предпочтительном варианте осуществления изобретения, и выяснилось сравнение двух процессов декодирования:
1. Стандартная объединенная модель декодера, которая включает в себя способ маскирования ошибок, описанный в приложении D рабочего проекта JVT (см. документ JVT-C039).
2. Объединенная модель декодера, расширенная с помощью процесса декодирования согласно настоящему изобретению.
Вычисление скорости передачи данных и PSNR (отношения сигнал-шум по мощности)
Как указано в обычных условиях, определенных в документе VCEG-N79r1, параметры кодирования, такие как параметр квантования, были выбраны так, чтобы сделать результирующую скорость передачи в битах настолько близкой, насколько это возможно, к скорости передачи в битах в канале, учитывая 40 байтов заголовков протоколов IP/UDP/RTP (протокола Интернет/протокола передачи дейтаграмм пользователя/протокола реального времени) на пакет. Значения PSNR вычислялись, используя каждый кадр в исходной последовательности, включая пропущенные и потерянные кадры. Чтобы уменьшить влияние первых кадров на весь результат (первые закодированные кадры имеют больший средний размер, чем средний размер всей последовательности), скорость передачи в битах и среднее значение PSNR вычислялись на основе шести закодированных кадров. Этот способ позволяет кодировать короткие последовательности с достоверными результатами. Вместо кодирования 4000 кадров 300-400 кадров каждой назначенной последовательности использовались для гарантии того, что по меньшей мере 100 кадров были закодированы и использовались по меньшей мере 300 кадров.
Моделирование потери пакета
При данном моделировании предполагалось, что пакет, содержащий набор параметров (таблица 4), был передан надежно (например, с помощью дополнительного канала во время установления сеанса), и поэтому никакой образец ошибки не был считан для него из файла с образцом ошибки. По меньшей мере один пакет первого кадра должен быть принят, чтобы избежать аварийного отказа декодера. Для удовлетворения этого условия первый пакет первого кадра всегда принимался независимо от соответствующего образца ошибки.
Представительное выполнение декодирования
Закодированный битовый поток был декодирован несколько раз (каждый из них упоминается как выполнение декодирования). Начальное расположение потерянного кадра выполнения декодирования с порядковым номером n+1 непрерывно следует за конечным расположением потерянного кадра n-ого выполнения декодирования. Количество выполнений декодирования было выбрано так, чтобы всего было по меньшей мере 8000 пакетов. Полное среднее PSNR было получено с помощью усреднения средних значений PSNR всех выполнений декодирования. Представительное выполнение декодирования выбиралось так, чтобы его среднее PSNR было самым близким к полному среднему PSNR. Мгновенные значения PSNR и декодированная последовательность представительного выполнения декодирования сохранялись для вычерчивания мгновенных графиков PSNR и для субъективной оценки качества.
Результаты
Как показано с помощью результатов моделирования для последовательности MixedSeq при 144 кбит/с, представленных в приведенной ниже таблице 11, использование маскирования ошибок INTRA-кадров для обрывов сцены обеспечивает лучшие рабочие характеристики как в терминах объективного, так и в терминах субъективного качества, чем использование маскирования ошибок INTER-кадров. Наоборот, использование маскирования ошибок INTER-кадров соответственно лучше, чем использование маскирования ошибок INTRA-кадров для кадров, которые не являются обрывом сцены, как можно заметить по другим шести случаям кодирования, представленным в таблицах 5 - 10. Это демонстрирует применимость настоящего изобретения.
| Таблица 5 | |||||||
| Последовательность «Foreman», закодированная при 64 кбит/с, 7,5 кадров/с | |||||||
| Алгоритм | Результирующая скорость передачи в битах | QP (параметр квантования) |
Частота потери пакетов (%) | ||||
| 0 | 3 | 5 | 10 | 20 | |||
| Стандартная объединенная модель декодера с методами маскирования ошибок приложения D | 59,81 | 24 | 25,54 | 25,20 | 24,93 | 24,43 | 23,34 |
| Способ согласно изобретению | 59,81 | 24 | 25,54 | 25,29 | 25,11 | 24,64 | 23,86 |
| Таблица 6 | |||||||
| Последовательность «Foreman», закодированная при 144 кбит/с, 7,5 кадров/с | |||||||
| Алгоритм | Результирующая скорость передачи в битах | QP (параметр квантования) |
Частота потери пакетов (%) | ||||
| 0 | 3 | 5 | 10 | 20 | |||
| Стандартная объединенная модель декодера с методами маскирования ошибок приложения D | 143,54 | 18 | 26,78 | 26,19 | 25,88 | 24,97 | 23,61 |
| Способ согласно изобретению | 143,54 | 18 | 26,78 | 26,43 | 26,16 | 25,53 | 24,57 |
| Таблица 7 | |||||||
| Последовательность «Hall (Зал)», закодированная при 32 кбит/с, 10 кадров/с | |||||||
| Алгоритм | Результирующая скорость передачи в битах | QP (параметр квантования) |
Частота потери пакетов (%) | ||||
| 0 | 3 | 5 | 10 | 20 | |||
| Стандартная объединенная модель декодера с методами маскирования ошибок приложения D | 29,73 | 24 | 30,53 | 29,89 | 29,53 | 28,28 | 26,79 |
| Способ согласно изобретению | 29,73 | 24 | 30,53 | 30,40 | 30,28 | 30,01 | 29,55 |
| Таблица 8 | |||||||
| Последовательность «Irene (Ирина)», закодированная при 384 кбит/с, 30 кадров/с | |||||||
| Алгоритм | Результирующая скорость передачи в битах | QP (параметр квантования) |
Частота потери пакетов (%) | ||||
| 0 | 3 | 5 | 10 | 20 | |||
| Стандартная объединенная модель декодера с методами маскирования ошибок приложения D | 334,96 | 22 | 34,99 | 34,09 | 33,40 | 31,35 | 28,79 |
| Способ согласно изобретению | 334,96 | 22 | 34,99 | 34,62 | 34,32 | 33,58 | 32,35 |
| Таблица 9 | |||||||
| Последовательность «Paris (Париж)», закодированная при 144 кбит/с, 15 кадров/с | |||||||
| Алгоритм | Результирующая скорость передачи в битах | QP (параметр квантования) |
Частота потери пакетов (%) | ||||
| 0 | 3 | 5 | 10 | 20 | |||
| Стандартная объединенная модель декодера с методами маскирования ошибок приложения D | 139,18 | 28 | 26,41 | 25,34 | 24,66 | 23,44 | 21,01 |
| Способ согласно изобретению | 139,18 | 28 | 26,41 | 26,23 | 26,08 | 25,70 | 25,10 |
| Таблица 10 | |||||||
| Последовательность «Paris», закодированная при 384 кбит/с, 15 кадров/с | |||||||
| Алгоритм | Результирующая скорость передачи в битах | QP (параметр квантования) |
Частота потери пакетов (%) | ||||
| 0 | 3 | 5 | 10 | 20 | |||
| Стандартная объединенная модель декодера с методами маскирования ошибок приложения D | 355,32 | 22 | 29,56 | 27,75 | 26,95 | 24,06 | 21,54 |
| Способ согласно изобретению | 355,32 | 22 | 29,56 | 29,20 | 28,92 | 28,33 | 27,34 |
| Таблица 11 | |||||||
| Последовательность «MixedSeq», закодированная при 144 кбит/с, 15 кадров/с | |||||||
| Алгоритм | Результирующая скорость передачи в битах | QP (параметр квантования) |
Частота потери пакетов (%) | ||||
| 0 | 3 | 5 | 10 | 20 | |||
| Стандартная объединенная модель декодера с методами маскирования ошибок приложения D | 124,31 | 21 | 30,37 | 30,04 | 29,86 | 29,17 | 28,23 |
| Способ согласно изобретению | 124,31 | 21 | 30,37 | 30,06 | 29,88 | 29,26 | 28,36 |
B. Моделирование маскирования ошибок при постепенном появлении или исчезновении изображения
Для моделирования влияния маскирования ошибок для кадров постепенного появления изображения и постепенного исчезновения изображения были созданы две искусственные последовательности с 10 кадрами постепенного исчезновения изображения, 10 кадрами постепенного появления изображения и 10 нормальными кадрами. Одна была сделана из комбинации последовательностей «News» и «Akiyo» (с низким уровнем движения), другая была сделана из последовательностей «Carphone» и «Foreman» (с умеренным уровнем движения). После кодирования, используя обобщенную модель кодера JVT и комбинацию кодирования I-P-P-P, моделировалась потеря некоторых из кадров постепенного появления или исчезновения изображения, и поток битов с потерями подавали на декодер. Для маскирования ошибок, введенных с помощью потери кадров постепенного появления или исчезновения изображения, использовались два различных способа маскирования ошибок:
1. Обычный способ маскирования ошибок в кодер-декодере JVT (как описано в приложении D рабочего проекта JVT (JVT-C039)); и
2. Специальный способ маскирования ошибок для постепенного появления или исчезновения изображений согласно изобретению, как описано ниже.
Способ маскирования ошибок
Недостающий кадр при постепенном изменении маскируют с помощью копирования и масштабирования значений пикселей предыдущего кадра. Однако, если существует только один предыдущий кадр в период перехода между сценами, то никакого масштабирования не выполняют. Если Mn' является средним значением Y (сигнала яркости) пикселя предыдущего кадра, и Mn'' является средним значением Y пикселя кадра, расположенного перед предыдущим кадром, то коэффициент масштабирования f вычисляют следующим образом:
f = (2·Mn' - Mn'')/Mn'
Маскируемые значения Y, U и V, где U и V - цветоразностные сигналы, для пикселя (Ys, Us, Vs) вычисляют из пространственно соответствующих значений предыдущего изображения (Y, U, V) следующим образом:
Ys = f·Y
Us = f·(U - 128) +128
Vs = f·(V - 128) + 128
Как показано с помощью результатов моделирования, используя специальный способ маскирования ошибок для постепенных изменений, согласно настоящему изобретению обеспечиваются значительно лучшие показатели и в объективном, и в субъективном качестве по сравнению с обычным способом маскирования ошибок, описанным в приложении D рекомендаций кодирования видеоданных JVT. Можно утверждать, что визуальное качество постепенного перехода между сценами не важно. Однако плохое маскирование ошибок во время перехода между сценами не только приводит к плохому качеству кадров перехода, но также приводит к плохому качеству обычных кадров после перехода между сценами из-за распространения ошибок во времени.
Маскирование ошибок наплывов
Ниже представлены два способа маскирования ошибок потерянного кадра во время наплыва. Если декодер в состоянии буферизовать достаточное количество кадров до декодирования, то должен использоваться алгоритм A. Иначе должен использоваться алгоритм B.
Алгоритм A:
Если буфер перед декодером содержит какой-нибудь закодированный INTRA-кадр второй сцены (кадр после периода перехода), то этот INTRA-кадр используется в качестве второго опорного кадра при маскировании ошибок. Если такой INTRA-кадр не доступен, то должен использоваться алгоритм B. Первый опорный кадр - последний восстановленный кадр. Если dt1 - временное расстояние между первым опорным кадром и недостающим кадром во время представления, и dt2 имеет тот же самый размер относительно второго опорного кадра, соответственно, (y1, u1, v1) - пиксель в первом опорном кадре и (y2, u2, v2) - пространственно соответствующий пиксель во втором опорном кадре, маскируемый пиксель (y, u, v) тогда задают с помощью:
y = clip1 ((y1·dt2 + y2·dt1)/(dt2 + dt1)).
где u и v вычисляют подобным образом, но учитывают их знак:
u = clip1 ((u1-128)·dt2 + (u2 - 128)·dt1)/(dt2 + dt1) + 128), где математическую функцию «clip1» определяют следующим образом:
| clip1 (c) | =clip3 (0, 255, c) |
| clip3 (a, b, c) | = a, если c < a |
| = b, если c > b, или | |
| = c иначе. |
Алгоритм B:
Обычное пространственно-временное маскирование ошибок.
Маскирование ошибок при вытеснении
Декодер должен обнаруживать:
1. форму границы между двумя сценами, вовлеченными в вытеснение; и
2. скорость, которая определяет, как быстро конечная сцена покрывается начальной сценой.
Обнаружение может выполняться, например, с помощью сравнения восстановленных изображений и вычисления корреляции блок за блоком. Если два пространственно соответствующих блока из последовательных во времени изображений коррелированы, то они принадлежат одной и той же сцене. Иначе они из разных сцен.
Основываясь на оцененной форме и скорости, декодер может вычислять предсказание расположения и формы границы в недостающем изображении или области. Недостающие области, которые принадлежали конечной сцене в предыдущем изображении и, согласно оценке, принадлежат конечной сцене в потерянном изображении/области, могут маскироваться с помощью копирования области из предыдущего изображения. Точно так же недостающие области, которые принадлежали начальной сцене в предыдущем изображении и, согласно оценке, принадлежат начальной сцене в потерянном изображении/области, могут маскироваться с помощью копирования области из предыдущего изображения. Недостающие области, которые принадлежали конечной сцене в предыдущем изображении и которые, согласно оценке, принадлежат начальной сцене в потерянном изображении/области, должны маскироваться пространственно из смежного содержимого начальной сцены. При маскировании недостающих областей может использоваться граница, соответствующая смежным правильно восстановленным блокам, как часто делают при маскировании ошибок.
Маскирование ошибок других видов перехода
Должен использоваться обычный пространственно-временной способ маскирования ошибок.
Хотя данное изобретение было описано относительно предпочтительного варианта осуществления, специалисты должны понять, что приведенные выше и различные другие изменения, исключение части и изменение формы и деталей данного варианта осуществления может быть сделано, не отступая от объема данного изобретения.
Claims (22)
1. Способ маскирования ошибок в кадре видеопоследовательности, которая содержит по меньшей мере первую сцену и вторую сцену, при этом существует переход между сценами от первой сцены ко второй сцене, который содержит множество кадров и относится к одному из множества видов, причем данный способ содержит этапы, на которых извлекают из закодированного потока данных информацию, идентифицирующую вид перехода между сценами, и применяют процедуру маскирования ошибок для маскирования ошибки в кадре, принадлежащем переходу между сценами, основываясь на идентифицированном виде перехода между сценами.
2. Способ по п.1, в котором идентифицированный вид перехода между сценами представляет собой обрыв сцены.
3. Способ по п.2, в котором если потеряно целое изображение, принадлежащее обрыву сцены, то потерянное изображение не маскируют.
4. Способ по п.2, в котором если потеряна или повреждена часть изображения, принадлежащего обрыву сцены, то применяют алгоритм пространственного маскирования ошибок для маскирования упомянутой потерянной или поврежденной части изображения.
5. Способ по п.1, в котором идентифицированный вид перехода между сценами представляет собой постепенный переход между сценами.
6. Способ по п.5, в котором переход между сценами представляет собой постепенное появление или исчезновение изображения.
7. Способ по п.5, в котором переход между сценами представляет собой наплыв.
8. Способ по п.5, в котором переход между сценами представляет собой вытеснение.
9. Способ по п.5, в котором если потеряно или повреждено все изображение, принадлежащее постепенному переходу, то применяют алгоритм пространственно-временного маскирования ошибок для маскирования потерянной или поврежденной части изображения.
10. Способ по п.5, в котором если потеряна или повреждена часть изображения, принадлежащего постепенному переходу, применяют алгоритм пространственно-временного маскирования ошибок для маскирования упомянутой потерянной или поврежденной части изображения.
11. Способ по п.1, в котором информацию, указывающую идентифицированный переход между сценами, подают на декодер в сообщении дополнительной информации расширения для предоставления декодеру возможности маскировать ошибку, основываясь на упомянутой информации.
12. Способ по п.11, в котором упомянутая информация, указывающая идентифицированный переход между сценами, включает в себя указание вида перехода между сценами.
13. Способ по п.11, в котором упомянутую информацию, указывающую идентифицированный переход между сценами, обеспечивают для каждого кадра, принадлежащего переходу между сценами.
14. Устройство кодирования видеосигнала для кодирования видеопоследовательности в закодированный поток видеоданных, при этом данная видеопоследовательность содержит по меньшей мере первую сцену и вторую сцену и имеет переход между сценами от первой сцены, причем этот переход между сценами содержит множество кадров и относится к одному из множества видов переходов между сценами, при этом упомянутое устройство кодирования видеосигнала содержит модуль идентификации для идентификации кадров, связанных с переходом между сценами, модуль мультиплексирования для предоставления информации, указывающей вид перехода между сценами, в закодированном потоке видеоданных.
15. Устройство кодирования видеосигнала по п.14, в котором упомянутая информация предоставляется в сообщении дополнительной информации расширения.
16. Устройство кодирования видеосигнала по п.15, в котором упомянутая информация предоставляется для каждого кадра, принадлежащего переходу между сценами.
17. Устройство декодирования видеосигнала для декодирования видеопоследовательности из закодированного потока видеоданных, при этом данная видеопоследовательность содержит первую сцену и вторую сцену и имеет переход между сценами от первой сцены, причем упомянутое устройство декодирования видеосигнала содержит модуль демультиплексирования для приема закодированного потока видеоданных и извлечения информации, идентифицирующей вид перехода между сценами, из этого закодированного потока видеоданных и модуль маскирования ошибок для маскирования ошибки в кадре, принадлежащем переходу между сценами, на основе вида перехода между сценами.
18. Устройство декодирования видеосигнала по п.17, в котором вид перехода между сценами извлекается из дополнительной информации расширения в закодированном потоке видеоданных.
19. Устройство декодирования видеосигнала по п.17, в котором вид перехода между сценами представляет собой постепенный переход между сценами, и потеряно или повреждено все изображение, принадлежащее этому постепенному переходу между сценами, при этом модуль маскирования ошибок применяет алгоритм пространственно-временного маскирования ошибок для маскирования потерянного или поврежденного изображения.
20. Устройство декодирования видеосигнала по п.17, в котором вид перехода между сценами представляет собой постепенный переход между сценами, и потеряна или повреждена часть изображения, принадлежащего постепенному переходу между сценами, при этом модуль маскирования ошибок применяет алгоритм пространственно-временного маскирования ошибок для маскирования упомянутой потерянной или поврежденной части изображения.
21. Устройство декодирования видеосигнала по п.17, в котором вид перехода между сценами представляет собой обрыв сцены, и потеряна или повреждена часть изображения, принадлежащего обрыву сцены, при этом модуль маскирования ошибок применяет алгоритм пространственного маскирования ошибок для маскирования ошибки в изображении.
22. Устройство декодирования видеосигнала по п.17, в котором вид перехода между сценами представляет собой обрыв сцены, и потеряно или повреждено все изображение, принадлежащее обрыву сцены, при этом модуль маскирования ошибок выполнен с возможностью игнорирования потерянного или поврежденного изображения.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US39648902P | 2002-07-15 | 2002-07-15 | |
| US60/396,489 | 2002-07-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2005103827A RU2005103827A (ru) | 2005-09-10 |
| RU2321967C2 true RU2321967C2 (ru) | 2008-04-10 |
Family
ID=30116033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2005103827/09A RU2321967C2 (ru) | 2002-07-15 | 2003-07-15 | Способ маскирования ошибок в видеопоследовательностях |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US8107539B2 (ru) |
| EP (1) | EP1535467B1 (ru) |
| JP (1) | JP4373329B2 (ru) |
| KR (1) | KR101075860B1 (ru) |
| CN (2) | CN102291585A (ru) |
| AU (1) | AU2003281127B2 (ru) |
| MX (1) | MXPA05000559A (ru) |
| RU (1) | RU2321967C2 (ru) |
| WO (1) | WO2004008733A2 (ru) |
Families Citing this family (83)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7003035B2 (en) | 2002-01-25 | 2006-02-21 | Microsoft Corporation | Video coding methods and apparatuses |
| US20040001546A1 (en) | 2002-06-03 | 2004-01-01 | Alexandros Tourapis | Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation |
| US7154952B2 (en) | 2002-07-19 | 2006-12-26 | Microsoft Corporation | Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures |
| US7748020B2 (en) * | 2002-10-08 | 2010-06-29 | Canon Kabushiki Kaisha | Receiving apparatus and method for processing interruptions in streaming broadcasts |
| US8824553B2 (en) | 2003-05-12 | 2014-09-02 | Google Inc. | Video compression method |
| US7609763B2 (en) * | 2003-07-18 | 2009-10-27 | Microsoft Corporation | Advanced bi-directional predictive coding of video frames |
| US8064520B2 (en) | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
| KR100991619B1 (ko) * | 2003-09-17 | 2010-11-04 | 엘지전자 주식회사 | 내용 기반 트릭 플레이를 위한 방송 서비스 방법 및 시스템 |
| US8010652B2 (en) * | 2004-05-07 | 2011-08-30 | Nokia Corporation | Refined quality feedback in streaming services |
| CN1302668C (zh) * | 2004-05-20 | 2007-02-28 | 复旦大学 | 一种隐藏错误的视频译码方法 |
| KR100677548B1 (ko) * | 2004-12-31 | 2007-02-02 | 삼성전자주식회사 | 복호된 영상의 오류 재은닉 방법 및 그 장치 |
| FR2880462A1 (fr) * | 2005-01-06 | 2006-07-07 | Thomson Licensing Sa | Procede de reproduction de documents comprenant des sequences alterees et, dispositif de reproduction associe |
| GB0500332D0 (en) * | 2005-01-08 | 2005-02-16 | Univ Bristol | Enhanced error concealment |
| US8548055B2 (en) * | 2005-03-10 | 2013-10-01 | Qualcomm Incorporated | Encoding of multimedia data |
| MX2007012564A (es) | 2005-04-13 | 2007-11-15 | Nokia Corp | Codificacion, almacenamiento y senalizacion de informacion de escalabilidad. |
| US7916796B2 (en) * | 2005-10-19 | 2011-03-29 | Freescale Semiconductor, Inc. | Region clustering based error concealment for video data |
| US8155189B2 (en) | 2005-10-19 | 2012-04-10 | Freescale Semiconductor, Inc. | System and method of coding mode decision for video encoding |
| US9479794B2 (en) | 2005-11-10 | 2016-10-25 | Freescale Semiconductor, Inc. | Resource efficient video processing via prediction error computational adjustments |
| JP5275810B2 (ja) * | 2005-12-07 | 2013-08-28 | トムソン ライセンシング | 基準フレームの選択ルールを使用したビデオエラー隠蔽の方法及び装置 |
| US7827467B2 (en) * | 2006-01-04 | 2010-11-02 | Nokia Corporation | Method for checking of video encoder and decoder state integrity |
| US7693219B2 (en) * | 2006-01-04 | 2010-04-06 | Freescale Semiconductor, Inc. | System and method for fast motion estimation |
| FR2898459B1 (fr) * | 2006-03-08 | 2008-09-05 | Canon Kk | Procede et dispositif de reception d'images ayant subi des pertes en cours de transmission |
| WO2007123008A1 (ja) * | 2006-04-21 | 2007-11-01 | Sharp Kabushiki Kaisha | データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 |
| US8798172B2 (en) * | 2006-05-16 | 2014-08-05 | Samsung Electronics Co., Ltd. | Method and apparatus to conceal error in decoded audio signal |
| KR101261528B1 (ko) * | 2006-05-16 | 2013-05-07 | 삼성전자주식회사 | 복호화된 오디오 신호의 오류 은폐 방법 및 장치 |
| US8699583B2 (en) * | 2006-07-11 | 2014-04-15 | Nokia Corporation | Scalable video coding and decoding |
| US9883202B2 (en) * | 2006-10-06 | 2018-01-30 | Nxp Usa, Inc. | Scaling video processing complexity based on power savings factor |
| US8509313B2 (en) * | 2006-10-10 | 2013-08-13 | Texas Instruments Incorporated | Video error concealment |
| US8875199B2 (en) | 2006-11-13 | 2014-10-28 | Cisco Technology, Inc. | Indicating picture usefulness for playback optimization |
| US8416859B2 (en) | 2006-11-13 | 2013-04-09 | Cisco Technology, Inc. | Signalling and extraction in compressed video of pictures belonging to interdependency tiers |
| US8155207B2 (en) | 2008-01-09 | 2012-04-10 | Cisco Technology, Inc. | Processing and managing pictures at the concatenation of two video streams |
| JP5099371B2 (ja) * | 2007-01-31 | 2012-12-19 | 日本電気株式会社 | 画質評価方法、画質評価装置および画質評価プログラム |
| JP2008283253A (ja) * | 2007-05-08 | 2008-11-20 | Sharp Corp | 画像伝送システム、画像符号化装置、画像復号装置 |
| US8254455B2 (en) | 2007-06-30 | 2012-08-28 | Microsoft Corporation | Computing collocated macroblock information for direct mode macroblocks |
| CN101355708B (zh) * | 2007-07-25 | 2011-03-16 | 中兴通讯股份有限公司 | 一种自适应误码掩盖方法 |
| US8958486B2 (en) | 2007-07-31 | 2015-02-17 | Cisco Technology, Inc. | Simultaneous processing of media and redundancy streams for mitigating impairments |
| US8804845B2 (en) | 2007-07-31 | 2014-08-12 | Cisco Technology, Inc. | Non-enhancing media redundancy coding for mitigating transmission impairments |
| KR101487771B1 (ko) * | 2007-08-10 | 2015-01-30 | 삼성전자주식회사 | 이동통신 시스템에서 영상 정보를 복구하기 위한 방법 및장치 |
| US8121189B2 (en) * | 2007-09-20 | 2012-02-21 | Microsoft Corporation | Video decoding using created reference pictures |
| US8718388B2 (en) | 2007-12-11 | 2014-05-06 | Cisco Technology, Inc. | Video processing with tiered interdependencies of pictures |
| US9357233B2 (en) * | 2008-02-26 | 2016-05-31 | Qualcomm Incorporated | Video decoder error handling |
| US8416858B2 (en) | 2008-02-29 | 2013-04-09 | Cisco Technology, Inc. | Signalling picture encoding schemes and associated picture properties |
| US9848209B2 (en) * | 2008-04-02 | 2017-12-19 | Microsoft Technology Licensing, Llc | Adaptive error detection for MPEG-2 error concealment |
| WO2009152450A1 (en) | 2008-06-12 | 2009-12-17 | Cisco Technology, Inc. | Picture interdependencies signals in context of mmco to assist stream manipulation |
| US8705631B2 (en) | 2008-06-17 | 2014-04-22 | Cisco Technology, Inc. | Time-shifted transport of multi-latticed video for resiliency from burst-error effects |
| US8971402B2 (en) | 2008-06-17 | 2015-03-03 | Cisco Technology, Inc. | Processing of impaired and incomplete multi-latticed video streams |
| US8699578B2 (en) | 2008-06-17 | 2014-04-15 | Cisco Technology, Inc. | Methods and systems for processing multi-latticed video streams |
| US9788018B2 (en) * | 2008-06-30 | 2017-10-10 | Microsoft Technology Licensing, Llc | Error concealment techniques in video decoding |
| US9924184B2 (en) * | 2008-06-30 | 2018-03-20 | Microsoft Technology Licensing, Llc | Error detection, protection and recovery for video decoding |
| US20100037281A1 (en) * | 2008-08-05 | 2010-02-11 | Broadcom Corporation | Missing frame generation with time shifting and tonal adjustments |
| US8451907B2 (en) | 2008-09-02 | 2013-05-28 | At&T Intellectual Property I, L.P. | Methods and apparatus to detect transport faults in media presentation systems |
| CN102210147B (zh) | 2008-11-12 | 2014-07-02 | 思科技术公司 | 处理具有[aar]单个视频信号的多个处理后的表示的视频[aar]节目以用于重建和输出 |
| US9131241B2 (en) * | 2008-11-25 | 2015-09-08 | Microsoft Technology Licensing, Llc | Adjusting hardware acceleration for video playback based on error detection |
| US8189666B2 (en) | 2009-02-02 | 2012-05-29 | Microsoft Corporation | Local picture identifier and computation of co-located information |
| US20100231797A1 (en) * | 2009-03-10 | 2010-09-16 | Broadcom Corporation | Video transition assisted error recovery for video data delivery |
| US8949883B2 (en) | 2009-05-12 | 2015-02-03 | Cisco Technology, Inc. | Signalling buffer characteristics for splicing operations of video streams |
| US8279926B2 (en) | 2009-06-18 | 2012-10-02 | Cisco Technology, Inc. | Dynamic streaming with latticed representations of video |
| CN101931819B (zh) * | 2009-06-26 | 2012-12-26 | 宏碁股份有限公司 | 时间性错误隐藏方法 |
| US8340510B2 (en) | 2009-07-17 | 2012-12-25 | Microsoft Corporation | Implementing channel start and file seek for decoder |
| US9565479B2 (en) * | 2009-08-10 | 2017-02-07 | Sling Media Pvt Ltd. | Methods and apparatus for seeking within a media stream using scene detection |
| GB2475739A (en) * | 2009-11-30 | 2011-06-01 | Nokia Corp | Video decoding with error concealment dependent upon video scene change. |
| US9223643B2 (en) * | 2010-03-04 | 2015-12-29 | Microsoft Technology Licensing, Llc | Content interruptions |
| US20110222837A1 (en) * | 2010-03-11 | 2011-09-15 | Cisco Technology, Inc. | Management of picture referencing in video streams for plural playback modes |
| US8928809B2 (en) * | 2010-09-15 | 2015-01-06 | Verizon Patent And Licensing Inc. | Synchronizing videos |
| WO2012089678A1 (en) * | 2010-12-30 | 2012-07-05 | Skype | Concealment of data loss for video decoding |
| US20120195573A1 (en) * | 2011-01-28 | 2012-08-02 | Apple Inc. | Video Defect Replacement |
| US9196305B2 (en) * | 2011-01-28 | 2015-11-24 | Apple Inc. | Smart transitions |
| GB2497915B (en) | 2011-10-25 | 2015-09-09 | Skype | Estimating quality of a video signal |
| US9979959B2 (en) | 2012-04-20 | 2018-05-22 | Qualcomm Incorporated | Video coding with enhanced support for stream adaptation and splicing |
| US8819525B1 (en) | 2012-06-14 | 2014-08-26 | Google Inc. | Error concealment guided robustness |
| US9479776B2 (en) | 2012-07-02 | 2016-10-25 | Qualcomm Incorporated | Signaling of long-term reference pictures for video coding |
| GB2513090B (en) | 2013-01-28 | 2019-12-11 | Microsoft Technology Licensing Llc | Conditional concealment of lost video data |
| US9756356B2 (en) * | 2013-06-24 | 2017-09-05 | Dialogic Corporation | Application-assisted spatio-temporal error concealment for RTP video |
| CA2916892A1 (en) * | 2013-07-22 | 2015-01-29 | Sony Corporation | Information processing apparatus and method |
| CN105830448A (zh) * | 2013-10-22 | 2016-08-03 | Vid拓展公司 | 用于视频传输系统的错误隐藏模式信令 |
| EP2876890A1 (en) * | 2013-11-21 | 2015-05-27 | Thomson Licensing | Method and apparatus for frame accurate synchronization of video streams |
| US9774881B2 (en) * | 2014-01-08 | 2017-09-26 | Microsoft Technology Licensing, Llc | Representing motion vectors in an encoded bitstream |
| US9749642B2 (en) | 2014-01-08 | 2017-08-29 | Microsoft Technology Licensing, Llc | Selection of motion vector precision |
| KR101947513B1 (ko) * | 2015-12-24 | 2019-02-13 | 연세대학교 산학협력단 | 오류 은닉을 이용한 비디오 코딩의 부호화 방법 및 복호화 방법 |
| TWI835863B (zh) | 2018-09-23 | 2024-03-21 | 大陸商北京字節跳動網絡技術有限公司 | 在幀間模式下利用非子塊空時運動矢量預測 |
| US10636451B1 (en) * | 2018-11-09 | 2020-04-28 | Tencent America LLC | Method and system for video processing and signaling in transitional video scene |
| US20210352341A1 (en) * | 2020-05-06 | 2021-11-11 | At&T Intellectual Property I, L.P. | Scene cut-based time alignment of video streams |
| CN113225620B (zh) * | 2021-04-29 | 2022-09-30 | 北京达佳互联信息技术有限公司 | 视频处理方法和视频处理装置 |
Family Cites Families (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SU1109945A1 (ru) | 1982-08-13 | 1984-08-23 | Ленинградский Институт Авиационного Приборостроения | Способ формировани сигнала дл коррекции искажений телевизионного изображени и устройство дл его реализации |
| JP3519441B2 (ja) | 1993-02-26 | 2004-04-12 | 株式会社東芝 | 動画像伝送装置 |
| US5561477A (en) * | 1994-10-26 | 1996-10-01 | Thomson Consumer Electronics, Inc. | System for coding a video signal in the presence of an image intensity gradient |
| US5543853A (en) * | 1995-01-19 | 1996-08-06 | At&T Corp. | Encoder/decoder buffer control for variable bit-rate channel |
| KR100215428B1 (ko) * | 1995-01-23 | 1999-08-16 | 윤종용 | B픽처의에러은폐방법 |
| US5844594A (en) * | 1995-10-05 | 1998-12-01 | Microsoft Corporation | Method and apparatus for MPEG encoding |
| US6021428A (en) | 1997-09-15 | 2000-02-01 | Genesys Telecommunications Laboratories, Inc. | Apparatus and method in improving e-mail routing in an internet protocol network telephony call-in-center |
| US5802079A (en) * | 1996-04-04 | 1998-09-01 | Lucent Technologies Inc. | Transmission system for digital audio broadcasting |
| US5767922A (en) * | 1996-04-05 | 1998-06-16 | Cornell Research Foundation, Inc. | Apparatus and process for detecting scene breaks in a sequence of video frames |
| FR2751772B1 (fr) | 1996-07-26 | 1998-10-16 | Bev Bureau Etude Vision Soc | Procede et dispositif fonctionnant en temps reel, pour le reperage et la localisation d'une zone en mouvement relatif dans une scene, ainsi que pour la determination de la vitesse et la direction du deplacement |
| US6195458B1 (en) * | 1997-07-29 | 2001-02-27 | Eastman Kodak Company | Method for content-based temporal segmentation of video |
| US6084641A (en) * | 1997-08-06 | 2000-07-04 | General Instrument Corporation | Fade detector for digital video |
| US6404817B1 (en) * | 1997-11-20 | 2002-06-11 | Lsi Logic Corporation | MPEG video decoder having robust error detection and concealment |
| US6310915B1 (en) * | 1998-11-20 | 2001-10-30 | Harmonic Inc. | Video transcoder with bitstream look ahead for rate control and statistical multiplexing |
| GB2347038A (en) * | 1999-02-18 | 2000-08-23 | Nokia Mobile Phones Ltd | A video codec using re-transmission |
| WO2000070879A1 (en) * | 1999-05-13 | 2000-11-23 | Stmicroelectronics Asia Pacific Pte Ltd. | Adaptive motion estimator |
| JP3630590B2 (ja) * | 1999-08-25 | 2005-03-16 | 沖電気工業株式会社 | 復号化装置及び伝送システム |
| US6643259B1 (en) * | 1999-11-12 | 2003-11-04 | 3Com Corporation | Method for optimizing data transfer in a data network |
| US7110454B1 (en) * | 1999-12-21 | 2006-09-19 | Siemens Corporate Research, Inc. | Integrated method for scene change detection |
| JP2001189713A (ja) | 1999-12-28 | 2001-07-10 | Toshiba Corp | データ伝送装置およびデータ伝送方法 |
| KR100698106B1 (ko) * | 2000-03-07 | 2007-03-26 | 엘지전자 주식회사 | 엠펙（ｍｐｅｇ）압축 비디오 환경에서 계층적 혼합형장면 변화 검출 방법 |
| GB2362533A (en) * | 2000-05-15 | 2001-11-21 | Nokia Mobile Phones Ltd | Encoding a video signal with an indicator of the type of error concealment used |
| US7751683B1 (en) * | 2000-11-10 | 2010-07-06 | International Business Machines Corporation | Scene change marking for thumbnail extraction |
| US6721361B1 (en) * | 2001-02-23 | 2004-04-13 | Yesvideo.Com | Video processing system including advanced scene break detection methods for fades, dissolves and flashes |
| JP2004532540A (ja) * | 2001-03-05 | 2004-10-21 | インタービデオインコーポレイテッド | 誤り耐性のある符号化のためのシステム及び方法 |
| US6865227B2 (en) * | 2001-07-10 | 2005-03-08 | Sony Corporation | Error concealment of video data using motion vector data recovery |
| US6959044B1 (en) * | 2001-08-21 | 2005-10-25 | Cisco Systems Canada Co. | Dynamic GOP system and method for digital video encoding |
| KR100420601B1 (ko) * | 2001-11-22 | 2004-03-02 | 에스케이 텔레콤주식회사 | 비디오 데이터 스트리밍 서비스 방법 |
| FI114679B (fi) * | 2002-04-29 | 2004-11-30 | Nokia Corp | Satunnaisaloituspisteet videokoodauksessa |
| US7257162B2 (en) * | 2002-07-02 | 2007-08-14 | Conexant Systems, Inc. | Hypothetical reference decoder for compressed image and video |
-
2003
- 2003-07-15 WO PCT/IB2003/002802 patent/WO2004008733A2/en active Application Filing
- 2003-07-15 US US10/621,259 patent/US8107539B2/en active Active
- 2003-07-15 KR KR1020107018472A patent/KR101075860B1/ko active IP Right Grant
- 2003-07-15 CN CN2011102747909A patent/CN102291585A/zh active Pending
- 2003-07-15 EP EP03740897.8A patent/EP1535467B1/en not_active Expired - Lifetime
- 2003-07-15 MX MXPA05000559A patent/MXPA05000559A/es active IP Right Grant
- 2003-07-15 JP JP2004520958A patent/JP4373329B2/ja not_active Expired - Lifetime
- 2003-07-15 CN CN03816728.XA patent/CN1669322A/zh active Pending
- 2003-07-15 RU RU2005103827/09A patent/RU2321967C2/ru active
- 2003-07-15 AU AU2003281127A patent/AU2003281127B2/en not_active Expired
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005533422A (ja) | 2005-11-04 |
| EP1535467A4 (en) | 2009-09-02 |
| AU2003281127B2 (en) | 2009-04-02 |
| EP1535467A2 (en) | 2005-06-01 |
| WO2004008733A3 (en) | 2004-07-22 |
| WO2004008733A2 (en) | 2004-01-22 |
| KR20100108442A (ko) | 2010-10-06 |
| KR101075860B1 (ko) | 2011-10-25 |
| JP4373329B2 (ja) | 2009-11-25 |
| CN1669322A (zh) | 2005-09-14 |
| US8107539B2 (en) | 2012-01-31 |
| RU2005103827A (ru) | 2005-09-10 |
| EP1535467B1 (en) | 2017-03-15 |
| AU2003281127A1 (en) | 2004-02-02 |
| MXPA05000559A (es) | 2005-04-19 |
| US20040139462A1 (en) | 2004-07-15 |
| CN102291585A (zh) | 2011-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2321967C2 (ru) | Способ маскирования ошибок в видеопоследовательностях | |
| US7400684B2 (en) | Video coding | |
| US8144764B2 (en) | Video coding | |
| KR100892119B1 (ko) | 비디오 부호화 | |
| CA2476843C (en) | Video coding | |
| KR20050019876A (ko) | 비디오 시퀀스에서 오류 은폐 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PC41 | Official registration of the transfer of exclusive right |
Effective date: 20160602 |