RU2270530C2 - Способ и устройство для запоминания и обработки видеоинформации следующих по времени друг за другом изображений - Google Patents
Способ и устройство для запоминания и обработки видеоинформации следующих по времени друг за другом изображений Download PDFInfo
- Publication number
- RU2270530C2 RU2270530C2 RU2002130496/09A RU2002130496A RU2270530C2 RU 2270530 C2 RU2270530 C2 RU 2270530C2 RU 2002130496/09 A RU2002130496/09 A RU 2002130496/09A RU 2002130496 A RU2002130496 A RU 2002130496A RU 2270530 C2 RU2270530 C2 RU 2270530C2
- Authority
- RU
- Russia
- Prior art keywords
- image
- mixed
- video information
- information
- stored
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
Abstract
Изобретение относится к способу и устройству для запоминания и обработки информации следующих по времени друг за другом изображений. Техническим результатом является уменьшение потребности в памяти для запоминания множества предшествующих по времени изображений. Технический результат достигается тем, что из каждого учтенного предшествующего по времени изображения выбирают соответственно по меньшей мере одну область изображения и запоминают соответствующую видеоинформацию с информацией размещения. Из видеоинформации образуют по меньшей мере одно микшированное изображение с учетом соответствующей информации размещения. Микшированное изображение используют для изображения в рамках оценки движения, компенсации движения или маскирования ошибок. 3 н. и 10 з.п. ф-лы, 4 ил.
Description
Изобретение относится к способу и устройству для запоминания и обработки видеоинформации следующих по времени друг за другом изображений.
Такой способ и такое устройство известны из [1]. При этом известном способе действия используется оценка движения для видеоинформации из областей изображения множества предшествующих по времени изображений. Множество предшествующих по времени изображений привлекают для оценки движения, чтобы предоставить в распоряжение больший выбор областей изображения, за счет чего улучшается оценка движения и связанные с ней компенсация движения или также маскирование ошибок.
Это объясняется, например, тем, что при освобождающемся фоне в изображении между подлежащем кодированию или в общем подлежащем обработке изображением и непосредственно предшествующим ему по времени изображением при учете только этих обоих изображений оценка движения содержит много ошибок. Если, однако, в рамках оценки движения или маскирования ошибок учитывают множество предшествующих по времени изображений, то есть возможность повторять эти области изображений освобождающегося фона из более ранних, предшествующих по времени изображений.
Обычно при так называемых предсказывающих способах кодирования, то есть в способах кодирования, в которых производят так называемую оценку движения, из уже переданной видеоинформации из областей изображения оценивают актуальную видеоинформацию и передают только так называемую оценочную ошибку, которая получается как результат оценки движения. Чем точнее эта оценка движения, тем эффективнее может быть сжата последовательность следующих по времени друг за другом изображений, в последующем называемая также последовательностью изображений. До сих пор было принято применять оценку движения только на непосредственно предшествующем по времени изображении. Если объекты на фоне изображения движутся, то нельзя предсказать освобождающийся фон из непосредственно предшествующего по времени изображения-предшественника, а он должен полностью кодироваться заново. За счет этого уменьшается эффективность сжатия изображения и требующаяся для передачи последовательности изображений скорость обработки данных увеличивается при остающемся одинаковым качестве.
В известном из [1] способе действия все предшествующие изображения, которые учитывают в рамках оценки движения по множеству предшествующих по времени изображений, запоминают полностью. Это приводит к значительной потребности в памяти, в частности, в применениях, в которых в распоряжении имеется только относительно мало места в памяти, например, в видеотелефонии. В этомизвестном способе действия требуется многократное от обычно имеющегося в распоряжении места в памяти, чтобы запомнить необходимую видеоинформацию множества предшествующих по времени изображений.
В основе изобретения лежит тем самым задача запоминания и обработки видеоинформации множества следующих по времени друг за другом изображений, причем качество оценки движения или маскирования ошибок является подобным, как и в способе действия, известном из [1], однако потребность в памяти для запоминания множества предшествующих по времени изображений уменьшается.
Эта задача решается посредством способа, устройства, компьютерночитаемой запоминающей среды, а также элемента компьютерной программы с признаками согласно независимым пунктам формулы изобретения.
В способе для запоминания и обработки видеоинформации следующих по времени друг за другом изображений из каждого учтенного предшествующего по времени изображения выбирают по меньшей мере одну область изображения. Определенную из каждой выбранной области изображения видеоинформацию запоминают с информацией размещения, с которой возможно соотнесение соответствующей области изображения и тем самым также видеоинформации соответствующей области изображения с соответствующим изображением и положением области изображения внутри соответствующего изображения. Из видеоинформации соответственно запомненных, выбранных областей изображения с учетом информации размещения образуют по меньшей мере одно микшированное изображение. Микшированное изображение используют для изображения в рамках оценки движения или компенсации движения или маскирования ошибок.
Устройство для запоминания и обработки видеоинформации следующих по времени друг за другом изображений содержит процессор, который выполнен таким образом, что могут выполняться следующие операции:
- из каждого учтенного предшествующего по времени изображения выбирают соответственно по меньшей мере одну область изображения,
- видеоинформацию из каждой выбранной области изображения запоминают с информацией размещения, с которой возможно соотнесение соответствующей области изображения с соответствующим изображением и с положением области изображения внутри изображения, из видеоинформации из запомненных, выбранных областей изображения образуют по меньшей мере одно микшированное изображение с учетом соответствующей информации размещения,
- микшированное изображение используют для изображения в рамках оценки движения, компенсации движения или маскирования ошибок.
В компьютерночитаемой запоминающей среде запомнена компьютерная программа для запоминания и обработки видеоинформации следующих по времени друг за другом изображений, которая, если она выполняется процессором, содержит следующие операции способа:
- из каждого учтенного предшествующего по времени изображения выбирают соответственно по меньшей мере одну область изображения,
- видеоинформацию из каждой выбранной области изображения запоминают с информацией размещения, с которой возможно соотнесение соответствующей области изображения с соответствующим изображением и с положением области изображения внутри изображения,
- из видеоинформации из запомненных, выбранных областей изображения образуют по меньшей мере одно микшированное изображение с учетом соответствующей информации размещения,
- микшированное изображение используют для изображения в рамках оценки движения, компенсации движения или маскирования ошибок.
Элемент компьютерной программы для запоминания и обработки видеоинформации следующих друг за другом по времени изображений, если он выполняется процессором, содержит следующие операции способа:
- из каждого учтенного предшествующего по времени изображения выбирают соответственно по меньшей мере одну область изображения,
- видеоинформацию из каждой выбранной области изображения запоминают с информацией размещения, с которой возможно соотнесение соответствующей области изображения с соответствующим изображением и с положением области изображения внутри изображения,
- из видеоинформации из запомненных, выбранных областей изображения образуют по меньшей мере одно микшированное изображение с учетом соответствующей информации размещения,
- микшированное изображение используют для изображения в рамках оценки движения, компенсации движения или маскирования ошибок.
Так как за счет изобретения возможно запоминать не все предшествующие по времени изображения, а выбирать и запоминать области изображения предшествующих по времени изображений, достигается значительное снижение необходимой потребности в памяти.
Несмотря на это достигаемое качество изображения в основном остается одинаковым с качеством, которое может быть достигнуто со способом, известным из [1].
Наглядно изобретение можно видеть в том, что предпочтительным образом запоминают существенные области учтенных для оценки движения предшествующих по времени изображений вместо того, чтобы запоминать всю видеоинформацию предшествующих по времени изображений для оценки движения на множестве предшествующих по времени изображений.
Изобретение может быть реализовано как посредством компьютерной программы, то есть в программном обеспечении, так и посредством специальной электронной схемы в аппаратурном обеспечении.
Предпочтительные формы дальнейшего развития изобретения следуют из зависимых пунктов формулы изобретения.
Описанные ниже формы выполнения относятся как к способу, устройству, компьютерночитаемой запоминающей среде, так и к элементу компьютерной программы.
В форме дальнейшего развития изобретения предусмотрено выбирать область изображения тогда, когда видеоинформация в соответствующей области изображения в достаточной степени является пригодной для оценки движения двух следующих по времени друг за другом изображений относительно заранее заданного критерия, то есть если видеоинформация удовлетворяет заранее заданному критерию.
В дальнейшей форме выполнения изобретения предусмотрено использовать множество следующих по времени друг за другом предшествующих изображений, чтобы выбирать и запоминать из этих изображений области изображений.
Видеоинформацию можно запоминать в кольцевой системе памяти, это означает, что для запоминания видеоинформации предшествующих по времени изображений в распоряжение может быть предоставлено место в памяти различной величины и для случая, когда предоставленное в распоряжение место в памяти является заполненным, можно перезаписывать соответственно области изображений, то есть видеоинформацию соответствующих областей изображений, "более актуальной" видеоинформацией.
Это можно производить за счет того, что видеоинформацию, которая была наиболее долгое время запомнена в памяти, перезаписывают более актуальной, снова подлежащей запоминанию видеоинформацией.
Альтернативно можно заменять видеоинформацию, которая была выбрана в рамках оценки движения, компенсации движения или маскирования ошибок реже всего, так как эта видеоинформация с эвристической точки зрения не пригодна в достаточной мере для оценки движения и таким образом также не должна больше оставаться запомненной.
С этой формой дальнейшего развития можно гарантировать детерминированно заданную потребность в памяти, которая лежит значительно ниже потребности в памяти в случае способа действия, известного из [1].
По меньшей мере для одного микшированного изображения можно производить оценку движения относительно подлежащего обработке изображения.
Далее из видеоинформации из областей изображений множества предшествующих по времени изображений можно образовывать множество микшированных изображений и для каждого микшированного изображения можно производить оценку движения относительно изображения.
Согласно этой форме дальнейшего развития выбирают микшированное изображение, для которого оценка движения относительно ранее заданного критерия дает наилучший результат. Для областей изображения выбранного микшированного изображения образуют векторы движения, которые, наконец, можно применять в рамках компенсации движения или маскирования ошибок.
Микшированные изображения можно образовывать итеративно для каждого учтенного предшествующего по времени изображения последовательно, исходя из изображения, для которого предусмотрена дальнейшая обработка.
Это можно производить за счет того, что запомненную видеоинформацию соответственно предшествующего по времени изображения копируют в микшированное изображение и получающееся микшированное изображение запоминают. Запомненную видеоинформацию соответственно предшествующего по времени изображения копируют в микшированное изображение, полученное в предыдущую операцию. Способ повторяют последовательно для каждого формируемого микшированного изображения до тех пор, пока будут приняты во внимание все предшествующие по времени изображения.
Выбираемая область изображения может иметь в общем любую форму, однако предпочтительно объект изображения имеет задаваемую форму или является макроблоком или блоком изображения.
За счет этого дальнейшего развития является возможным использовать способ без каких-либо проблем в обычных блочно-ориентированных и/или объектно-ориентированных способах кодирования изображений.
Изобретение может быть использовано как в рамках видеотелефонии, так и в цифровом телевидении или в так называемом телевидении высокого разрешения. Далее изобретение можно успешно использовать в потоковом видео в Интернете, в области видео по требованию, в коммерческом телевидении, или в телевидении в Интернете.
Следует указать на то, что изобретение может быть использовано в рамках любого способа кодирования изображений, в котором производят оценку движения, то есть в любом предсказательном способе кодирования изображений.
В дальнейшей форме выполнения предусмотрено сжатие видеоинформации из каждой выбранной области изображения и/или соответствующей информации размещения перед запоминанием.
Пример выполнения изобретения представлен на чертежах и поясняется в последующем более подробно.
При этом показывают:
Фиг.1 эскиз, на котором представлен принцип способа действий согласно примеру выполнения изобретения;
Фиг.2 устройство кодирования согласно примеру выполнения изобретения;
Фиг.3 блок-схема последовательности операций, на которой представлены отдельные операции способа согласно примеру выполнения изобретения;
Фиг.4 устройство декодирования согласно примеру выполнения изобретения.
Фиг.2 показывает устройство кодирования 200 с камерой 201, которая снимает изображения пользователя 202 устройства кодирования 200. Камера 201 по линии 203 соединена с исходным кодером 204. В исходном кодере 204 снятые камерой и преобразованные в цифровую форму видеоизображения кодируются в исходном коде согласно описанному ниже принципу действий.
Отдельные видеоизображения содержат точки изображения, которым придана в соответствие информация кодирования, например, цветовая информация или информация о яркости. Точки изображения сгруппированы в блоки изображения 205, которые в свою очередь сгруппированы в так называемые макроблоки.
Блоки изображения 205 подлежащего кодированию изображения подводят к исходному кодеру 204. В исходном кодере 204 блоки изображения 205 подводят к блоку для оценки движения 206, а также к блоку коммутации 207. Через блок коммутации 207 под управлением от не представленного блока управления определяют, будет ли для блока изображения производиться оценка движения и тем самым должна ли быть получена разностная видеоинформация 208 между информацией кодирования подлежащего кодированию блока изображения и блока изображения предшествующего по времени изображения или должна ли подводиться к блоку преобразования 209 через блок коммутации 207 полная информация кодирования 208 подлежащего кодированию блока изображения 205.
В блоке преобразования 209 выполняется дискретное косинусоидальное преобразование (ДКП) на подлежащей кодированию информации кодирования или, соответственно, разностной информации кодирования, за счет чего образуют коэффициенты преобразования 210, которые в блоке квантования 211 квантуют в квантованные коэффициенты преобразования 212.
Квантованные коэффициенты преобразования 212 подводят к блоку для кодирования со сжатием последовательности одинаковых символов 213. Кодированные со сжатием последовательности одинаковых символов коэффициенты преобразования 214 записывают в выходной буфер 215. Из выходного буфера 215 кодированные со сжатием последовательности одинаковых символов коэффициенты преобразования 214 считывают и подводят, например, к канальному кодированию и передают к приемнику.
Квантованные коэффициенты преобразования 212 подводят далее в цепи обратной связи к инверсному блоку квантования 216, где их инверсно квантуют в инверсно квантованные коэффициенты преобразования 217.
Инверсно квантованные коэффициенты преобразования 217 подводят к инверсному блоку преобразования 218, где инверсно квантованные коэффициенты преобразования 217 подвергают инверсному дискретному косинусоидальному преобразованию (ДКП), за счет чего образуются инверсно преобразованные коэффициенты 219, которые запоминают в первом запоминающем устройстве 220.
В блоке для оценки движения 206 с применением запомненных в первом запоминающем устройстве 220 инверсно преобразованных коэффициентов 219 производят оценку движения.
После произведенной оценки движения согласно этому примеру выполнения решают, хорошо ли блок изображения годится для оценки движения или нет.
Это происходит, как это описано в последующем, за счет анализа множества изображений и проверки, годится ли соответствующий блок изображения для оценки движения, то есть может вызывать статистически малое значение ошибки в рамках оценки движения и гарантировать тем самым статистически низкую скорость обработки данных.
Это имеет место, например, для блоков изображения, которые описывают освобождающийся фон, то есть блоков изображения, которые описывают объект, который между следующими по времени друг за другом изображениями сильно изменяется относительно своего положения внутри последовательности изображений. Выбранные блоки изображения, то есть видеоинформацию выбранных блоков изображения, запоминают во втором запоминающем устройстве 222.
Этот способ действия поясняется в последующем более подробно с помощью Фиг.1.
Получающиеся в рамках оценки движения векторы движения 223 подводят к блоку для кодирования со сжатием последовательности одинаковых символов 213 и кодируют там со сжатием последовательности одинаковых символов и обрабатывают дальше.
Фиг.1 показывает последовательность 100 изображений в цифровой форме 101, 102, 103, 104, 105. Согласно этому примеру выполнения символом F(n) обозначено актуальное подлежащее кодированию изображение, для которого должна быть произведена оценка движения. По времени наиболее удаленное предшествующее изображение, которое учитывают в рамках описываемого в последующем способа, обозначают F(n-k). Это означает, что в рамках способа для оценки движения учитывают k предшествующих по времени изображений.
Изображения содержат блоки 106. Выбранные блоки изображения обозначают ссылочной позицией 107. Информацию кодирования выбранных блоков изображения 107 запоминают во втором запоминающем устройстве 222 вместе с информацией размещения. Информация размещения содержит данные об изображении, в котором находится выбранный блок изображения, и координатные данные, которыми однозначно описывается положение выбранного блока изображения внутри соответствующего изображения.
Информацию размещения обозначают B(i, х, y), причем
- i обозначает соответствующее изображение, в котором находится выбранный блок изображения,
- х обозначает координатные данные х, которыми указано положение относительно координаты х внутри выбранного блока изображения внутри соответствующего предшествующего по времени изображения, а
- y обозначает координатные данные y, которыми указано положение относительно координаты y внутри выбранного блока изображения внутри соответствующего предшествующего по времени изображения.
Второе запоминающее устройство 222 имеет кольцевую структуру памяти, как это показано на Фиг.1.
Если блоком для оценки движения 207 производят оценку движения, то это происходит представленным на Фиг.3 образом внутри области поиска 108.
Фиг.3 показывает отдельные операции способа для оценки движения 300 согласно этому примеру выполнения.
В первой операции (операция 301) способ стартуют.
В следующей операции для области поиска 108 образуют микшированное изображение инициализации 109 из информации кодирования блоков изображения исключительно непосредственно предшествующего по времени изображения (операция 302). Эта информация находится полностью в распоряжении, за счет чего гарантировано, что информация кодирования находится в распоряжении для оценки движения во всей области поиска.
Для соответствующего подлежащего кодированию блока изображения внутри области поиска 108 в микшированном изображении инициализации 109 производят оценку движения (операция 303), посредством чего образуют первый вектор движения. Результатом оценки движения далее является значение ошибки, которым указывают, насколько сильно информация кодирования в выбранной области внутри области поиска в микшированном изображении инициализации 302 отличается по сравнению с информацией кодирования в подлежащем кодированию блоке изображения. Это можно производить, например, путем образования суммы квадратичных разностей отдельных информации кодирования учтенных точек изображения.
Значение ошибки, а также соответствующий вектор движения запоминают (операция 304).
В последующей операции (операция 305) образуют второе микшированное изображение 109 за счет того, что выбранные блоки изображения по времени следующего предшествующего изображения F(n-1), которые находятся в выбранной области поиска 108, копируют в микшированное изображение инициализации 109 и переписывают в соответствующем положении информацию кодирования блоков изображения микшированного изображения инициализации.
Для следующего микшированного изображения производят теперь оценку движения опять-таки относительно подлежащего кодированию изображения (операция 306) и образуют второй вектор движения и второе значение ошибки, которые опять-таки запоминают (операция 307).
В операции проверки (операция 308) проверяют, выполнен ли критерий прерывания.
Критерий прерывания согласно этому примеру выполнения означает, является ли значение ошибки или второе значение ошибки меньше, чем заданное пороговое значение.
Если ни значение ошибки, ни второе значение ошибки не меньше, чем заданное пороговое значение, то таким же образом образуют третье микшированное изображение, как и следующее микшированное изображение, итеративно посредством перезаписи выбранных блоков изображения третьего по времени предшествующего изображения, блоки изображения которого находятся в области поиска.
В общем соответственно, если проверяют, выполнен ли критерий прерывания, и получается, что критерий прерывания не выполнен, то микшированное изображение следующей итерации образуют посредством перезаписи информации кодирования предшествующего по времени микшированного изображения информацией кодирования из блоков изображения следующего по времени дальше предшествующего изображения, блоки изображения которого находятся в области поиска, и соответственно опять-таки производят оценку движения для следующего микшированного изображения следующей итерации, за счет чего образуют вектор движения соответственно следующей итерации и следующее значение ошибки следующей итерации и опять-таки операцию проверки (операция 308) применяют, в частности, к значению ошибки следующей итерации. Если критерий прерывания выполнен, то соответствующий образованный следующий вектор движения, а также данные, в какой итерации соответствующего микшированного изображения был определен этот вектор движения, подводят к блоку кодирования со сжатием последовательности одинаковых символов 213.
Далее информацию кодирования соответствующей выбранной области изображения в области поиска подводят в качестве выбранного блока изображения для образования разницы к блоку коммутации 207 (операция 309).
Если заданная область памяти второго запоминающего устройства 222 является полной, то дальнейшие информации кодирования следующих, более актуальных выбранных блоков изображения, векторы движения, кодированные со сжатием последовательности одинаковых символов, и соответствующую информацию размещения также декодируют со сжатием последовательности одинаковых символов (не представлено) и запоминают в первом запоминающем устройстве 220, в результате чего запомненные информации кодирования, которые наиболее долго не были использованы в рамках оценки движения, перезаписываются.
Векторы движения, кодированные со сжатием последовательности одинаковых символов, индексы микшированного изображения, а также коэффициенты преобразования, кодированные со сжатием последовательности одинаковых символов, принимают приемником и там подводят к блоку для декодирования 400 (сравни Фиг.4).
Коэффициенты преобразования, кодированные со сжатием последовательности одинаковых символов 214, подводят к блоку для инверсного квантования 401, за счет чего образуются инверсно квантованные коэффициенты преобразования 402.
Инверсно квантованные коэффициенты преобразования 402 подводят к инверсному блоку преобразования 403, в котором посредством выполнения инверсного дискретного косинусного преобразования образуют инверсно преобразованные коэффициенты 404 и запоминают в первом запоминающем устройстве 405.
При применении определенных векторов движения и реконструированных изображений в рамках декодирования соответственно требующееся микшированное изображение запоминают во втором запоминающем устройстве 406.
В блоке для компенсации движения 407 посредством соответствующего вектора движения и микшированного изображения происходит реконструкция необходимого блока изображения, то есть информации кодирования соответствующего блока изображения, которую в качестве разностной информации 408 подводят к суммирующему устройству 409 и суммируют в соответствии с реконструированной разностной информацией кодирования.
Таким образом создают реконструированное изображение посредством последовательности реконструированных блоков изображения.
В последующем описываются некоторые альтернативы в представленном выше примере выполнения.
Предусмотрены различные возможности, чтобы выбирать существенные блоки изображения, которые запоминают во втором запоминающем устройстве 222. Так можно выбирать те блоки изображения, информация кодирования которых явно изменилась по сравнению с соответствующим блоком изображения предшествующего изображения, то есть разница информации кодирования которых больше, чем заданное второе пороговое значение.
Другим критерием выбора может быть то, что выбирают так называемые интра-кодированные блоки изображения, то есть блоки изображения, информация кодирования которых является кодированной полностью, а не только как разностные блоки изображения.
Этот принцип действия является пригодным, в частности, для случая, что интра-кодируют не все изображение, а только части изображения.
Изобретение является также пригодным для маскирования ошибок, то есть для маскирования ошибок в устройстве кодирования.
В случае этой альтернативной формы выполнения согласно представленному на Фиг.3 способу реконструируют принятое изображение с соответствующими микшированными изображениями и для содержащего ошибку блока изображения, для которого не известно, как его следует декодировать, выбирают соответствующий блок изображения из одного из микшированных изображений предшествующих по времени изображений и записывают в соответствующую содержащую ошибку область изображения.
Далее возможно предварительно загрузить второе запоминающее устройство типичными образцами изображений, что в основном подобно векторному квантованию. В качестве таких образцов изображений могут служить, например, плоские, телесного цвета блоки изображения или также применяться открытые или, соответственно, закрытые глаза, которые служат наглядно в качестве кодовой книги в рамках векторного квантования.
Источник информации
1: ITU-T H.263+, Annex N.
Claims (13)
1. Способ для запоминания и обработки видеоинформации следующих по времени друг за другом изображений (101, ..., 105),
а) в котором из каждого учтенного предшествующего по времени изображения (F(n-k)) выбирают соответственно по меньшей мере одну область изображения,
b) в котором видеоинформацию из каждой выбранной области изображения запоминают с информацией размещения (B(i, x, y)), которая позволяет соотнести соответствующую область изображения с соответствующим предшествующим по времени изображением (F(n-k)) и с положением указанной области изображения внутри указанного изображения,
c) в котором по меньшей мере одно микшированное изображение (109) из видеоинформации из запомненных, выбранных областей изображения образуют с учетом соответствующей информации размещения,
d) в котором микшированное изображение (109) используют для кодируемого или реконструируемого в настоящий момент изображения в рамках оценки движения, компенсации движения или маскирования ошибок.
2. Способ по п.1, в котором выбирают область изображения предшествующего по времени изображения (F(n-k)), если видеоинформация в соответствующей области изображения удовлетворяет заданному критерию для оценки движения двух следующих по времени друг за другом изображений (F(n-k)).
3. Способ по п.1 или 2, в котором из множества предшествующих друг другу по времени изображений (F(n-k)) выбирают и запоминают видеоинформацию и информацию размещения (B(i, x, y)) областей изображения.
4. Способ по любому из пп.1-3, в котором видеоинформацию области изображения запоминают в кольцевой системе (222) памяти.
5. Способ по любому из пп.1-4, в котором для по меньшей мере одного микшированного изображения (109) производят оценку движения относительно кодируемого в настояший момент изображения.
6. Способ по п.5,
a) в котором образуют множество микшированных изображений (109) из видеоинформации из областей изображения множества предшествующих по времени изображений (F(n-k)),
b) в котором для каждого микшированного изображения (109) производят оценку движения относительно кодируемого в настоящий момент изображения,
c) в котором выбирают микшированное изображение (109), для которого оценка движения относительно заданного критерия дает лучший результат,
d) в котором для областей изображения выбранного микшированного изображения (109) образуют векторы движения.
7. Способ по п.6, в котором микшированные изображения образуют итеративно (109) для каждого учтенного предшествующего по времени изображения последовательно, исходя из изображения, для которого предусмотрена дальнейшая обработка.
8. Способ по п.6 или 7, в котором микшированные изображения (109) образуют последовательно следующим образом: запомненную видеоинформацию соответственно по времени предшествующего изображения (F(n-k)) копируют в микшированное изображение (109), получаемое микшированное изображение (109) запоминают, запомненную видеоинформацию соответственно по времени далее предшествующего изображения (F(n-k)) копируют в микшированное изображение (109), полученное в предыдущей операции, способ последовательно продолжают для каждого формируемого микшированного изображения (109) до тех пор, пока будут учтены все предшествующие по времени изображения (F(n-k)) .
9. Способ по любому из пп.1-8, в котором область изображения является объектом изображения задаваемой формы, и/или макроблоком, и/или блоком изображения.
10. Способ по любому из пп.1-9, используемый в видеотелефонии, или в цифровом телевидении, или в телевидении высокого разрешения, в потоковом видео в Интернете, в видео по требованию, в коммерческом телевидении, в телевидении в интернете.
11. Способ по любому из пп.1-10, в котором видеоинформацию из каждой выбранной области изображения и/или соответствующую ей информацию размещения перед запоминанием сжимают.
12. Устройство для запоминания и обработки видеоинформации следующих по времени друг за другом изображений (101, ..., 105), которое выполнено таким образом, что могут выполняться следующие операции: из каждого учтенного предшествующего по времени изображения (F(n-k)) выбирают соответственно по меньшей мере одну область изображения, видеоинформацию из каждой выбранной области изображения запоминают с информацией размещения (B(i, x, y)), которая позволяет соотнести соответствующую область изображения с соответствующим предшествующим по времени изображением (F(n-k)) и с положением указанной области изображения внутри указанного изображения, из видеоинформации из запомненных, выбранных областей изображения образуют по меньшей мере одно микшированное изображение (109) с учетом соответствующей информации размещения (B(i, x, y)), микшированное изображение (109) используют для кодируемого или реконструируемого в настоящий момент времени изображения в рамках оценки движения, компенсации движения или маскирования ошибок.
13. Компьютерно-читаемая запоминающая среда, в которой запомнена компьютерная программа для запоминания и обработки видеоинформации следующих по времени друг за другом изображений, которая при исполнении приводит к выполнению следующих операций: из каждого учтенного предшествующего по времени изображения (F(n-k)) выбирают соответственно по меньшей мере одну область изображения, видеоинформацию из каждой выбранной области изображения запоминают с информацией размещения (B(i, x, y)), которая позволяет соотнести соответствующую область изображения с соответствующим предшествующим по времени изображением (F(n-k)) и с положением указанной области изображения внутри указанного изображения, из видеоинформации из запомненных, выбранных областей изображения образуют по меньшей мере одно микшированное изображение (109) с учетом соответствующей информации размещения (B(i, x, y)), микшированное изображение (109) используют для кодируемого или реконструируемого в настоящий момент изображения в рамках оценки движения, компенсации движения или маскирования ошибок.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE10018662 | 2000-04-14 | ||
| DE10018662.9 | 2000-04-14 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2002130496A RU2002130496A (ru) | 2004-03-10 |
| RU2270530C2 true RU2270530C2 (ru) | 2006-02-20 |
Family
ID=7638835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2002130496/09A RU2270530C2 (ru) | 2000-04-14 | 2001-04-09 | Способ и устройство для запоминания и обработки видеоинформации следующих по времени друг за другом изображений |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US7397856B2 (ru) |
| EP (1) | EP1279291B1 (ru) |
| JP (1) | JP4805518B2 (ru) |
| KR (1) | KR100791666B1 (ru) |
| CN (1) | CN1204752C (ru) |
| BR (1) | BRPI0109962B1 (ru) |
| CA (1) | CA2406164C (ru) |
| DE (1) | DE50103996D1 (ru) |
| RU (1) | RU2270530C2 (ru) |
| WO (1) | WO2001080569A1 (ru) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030029937A (ko) * | 2001-07-06 | 2003-04-16 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 제어된 벡터 통계들을 이용한 모션 추정 및 보상 |
| KR100601935B1 (ko) * | 2003-12-02 | 2006-07-14 | 삼성전자주식회사 | 디지탈 동영상 처리 방법 및 장치 |
| EP1617672A1 (en) * | 2004-07-13 | 2006-01-18 | Matsushita Electric Industrial Co., Ltd. | Motion estimator/compensator including a 16-bit 1/8 pel interpolation filter |
| DE102005051091A1 (de) | 2005-10-25 | 2007-04-26 | Siemens Ag | Verfahren und Vorrichtungen zur Bestimmung und Rekonstruktion eines prädizierten Bildbereichs |
| FR2930107B1 (fr) * | 2008-04-14 | 2018-01-26 | Canon Kabushiki Kaisha | Procede et dispositif de traitement de donnees d'une sequence video. |
| FI127117B (fi) * | 2009-06-17 | 2017-11-30 | Gurulogic Microsystems Oy | Kuvaprosessoija ja tietokoneohjelma |
| WO2015010317A1 (zh) * | 2013-07-26 | 2015-01-29 | 北京大学深圳研究生院 | 一种基于p帧的多假设运动补偿方法 |
| CN104769947B (zh) * | 2013-07-26 | 2019-02-26 | 北京大学深圳研究生院 | 一种基于p帧的多假设运动补偿编码方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60168276A (ja) * | 1984-02-13 | 1985-08-31 | Kokusai Denshin Denwa Co Ltd <Kdd> | 画面上の移動体の動き方向検出方式 |
| JPH06197334A (ja) * | 1992-07-03 | 1994-07-15 | Sony Corp | 画像信号符号化方法、画像信号復号化方法、画像信号符号化装置、画像信号復号化装置及び画像信号記録媒体 |
| EP0606675A3 (en) * | 1992-12-16 | 1994-12-21 | Ibm | Method for lossless compression of moving picture video. |
| US5561477A (en) * | 1994-10-26 | 1996-10-01 | Thomson Consumer Electronics, Inc. | System for coding a video signal in the presence of an image intensity gradient |
| US5802211A (en) * | 1994-12-30 | 1998-09-01 | Harris Corporation | Method and apparatus for transmitting and utilizing analog encoded information |
| US6384859B1 (en) * | 1995-03-29 | 2002-05-07 | Sanyo Electric Co., Ltd. | Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information |
| JP3347954B2 (ja) * | 1995-11-02 | 2002-11-20 | 三菱電機株式会社 | 動画像符号化装置及び動画像復号化装置 |
| DE19617171C2 (de) * | 1996-04-23 | 1999-02-25 | Siemens Ag | Videodecoder und entsprechendes Verfahren |
| US5943445A (en) | 1996-12-19 | 1999-08-24 | Digital Equipment Corporation | Dynamic sprites for encoding video data |
| JP2001507541A (ja) | 1996-12-30 | 2001-06-05 | シャープ株式会社 | スプライトベースによるビデオ符号化システム |
| EP1887806B1 (en) * | 1997-02-13 | 2014-04-30 | Mitsubishi Denki Kabushiki Kaisha | Moving picture prediction system |
| JP3639108B2 (ja) | 1998-03-31 | 2005-04-20 | 株式会社ソニー・コンピュータエンタテインメント | 描画装置および描画方法、並びに提供媒体 |
-
2001
- 2001-04-09 BR BRPI0109962A patent/BRPI0109962B1/pt active IP Right Grant
- 2001-04-09 EP EP01940135A patent/EP1279291B1/de not_active Expired - Lifetime
- 2001-04-09 JP JP2001576691A patent/JP4805518B2/ja not_active Expired - Lifetime
- 2001-04-09 US US10/257,626 patent/US7397856B2/en not_active Expired - Lifetime
- 2001-04-09 CA CA2406164A patent/CA2406164C/en not_active Expired - Lifetime
- 2001-04-09 CN CNB018111564A patent/CN1204752C/zh not_active Expired - Lifetime
- 2001-04-09 KR KR1020027013655A patent/KR100791666B1/ko active IP Right Grant
- 2001-04-09 WO PCT/DE2001/001393 patent/WO2001080569A1/de active IP Right Grant
- 2001-04-09 RU RU2002130496/09A patent/RU2270530C2/ru active
- 2001-04-09 DE DE50103996T patent/DE50103996D1/de not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| BR0109962A (pt) | 2003-05-27 |
| CN1204752C (zh) | 2005-06-01 |
| CA2406164C (en) | 2012-06-05 |
| CA2406164A1 (en) | 2001-10-25 |
| KR100791666B1 (ko) | 2008-01-03 |
| BRPI0109962B1 (pt) | 2016-07-19 |
| JP4805518B2 (ja) | 2011-11-02 |
| RU2002130496A (ru) | 2004-03-10 |
| EP1279291A1 (de) | 2003-01-29 |
| CN1436427A (zh) | 2003-08-13 |
| EP1279291B1 (de) | 2004-10-06 |
| WO2001080569A1 (de) | 2001-10-25 |
| KR20020087972A (ko) | 2002-11-23 |
| US20030059119A1 (en) | 2003-03-27 |
| DE50103996D1 (de) | 2004-11-11 |
| JP2003531532A (ja) | 2003-10-21 |
| US7397856B2 (en) | 2008-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7224731B2 (en) | Motion estimation/compensation for screen capture video | |
| US8285064B2 (en) | Method for processing images and the corresponding electronic device | |
| US20100166073A1 (en) | Multiple-Candidate Motion Estimation With Advanced Spatial Filtering of Differential Motion Vectors | |
| US9729870B2 (en) | Video coding efficiency with camera metadata | |
| US7620108B2 (en) | Integrated spatial-temporal prediction | |
| JP2003507804A (ja) | 動き補償されたブロックベースの圧縮デジタルビデオの可変複雑性デコーディングの方法と装置 | |
| EP2186343B1 (en) | Motion compensated projection of prediction residuals for error concealment in video data | |
| CN101116345A (zh) | 对视频通信的运动向量的时间估计 | |
| US7068720B2 (en) | Coding of digital video with high motion content | |
| RU2270530C2 (ru) | Способ и устройство для запоминания и обработки видеоинформации следующих по времени друг за другом изображений | |
| US7408989B2 (en) | Method of video encoding using windows and system thereof | |
| CN111432213A (zh) | 用于视频和图像压缩的自适应贴片数据大小编码 | |
| CN101523918A (zh) | 视频编码 | |
| US20070025438A1 (en) | Elastic storage | |
| US6141449A (en) | Coding mode determination system | |
| KR20060059770A (ko) | 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치 | |
| JP2005516501A (ja) | Ｐｂフレームモードでのビデオ画像の符号化 | |
| KR102049644B1 (ko) | 노이즈 동영상의 효율적인 부호화를 위한 계층적 노이즈 제거 방법 | |
| KR100546507B1 (ko) | 영상 압축 시스템의 전송 오류 감소를 위한 비디오 부호기에서의 압축 모드선택 방법 및 장치 | |
| JP2024510433A (ja) | ビデオ圧縮のための時間的構造ベースの条件付き畳み込みニューラルネットワーク | |
| JP4239894B2 (ja) | 画像符号化装置及び画像復号化装置 | |
| CN117425009A (zh) | 视频编码中的比特数分配方法、装置、设备及存储介质 | |
| CN116233447A (zh) | 图像组尺寸确定方法、电子设备及存储介质 | |
| KR20140078030A (ko) | 프레임 예측을 통해 영상을 압축하기 위한 장치 및 방법 | |
| JPH0465976A (ja) | 映像信号の符号化装置 |