RU2631990C2 - Способ и устройство для предсказания межкадровых векторов движения и векторов диспаратности при 3d кодировании видеосигналов - Google Patents
Способ и устройство для предсказания межкадровых векторов движения и векторов диспаратности при 3d кодировании видеосигналов Download PDFInfo
- Publication number
- RU2631990C2 RU2631990C2 RU2014147347A RU2014147347A RU2631990C2 RU 2631990 C2 RU2631990 C2 RU 2631990C2 RU 2014147347 A RU2014147347 A RU 2014147347A RU 2014147347 A RU2014147347 A RU 2014147347A RU 2631990 C2 RU2631990 C2 RU 2631990C2
- Authority
- RU
- Russia
- Prior art keywords
- image
- block
- frame
- motion vector
- disparity vector
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Изобретение относится к области трехмерного кодирования видеосигналов. Технический результат – упрощение процесса извлечения кандидата вектора движения или вектора диспаратности для блока изображения. Способ извлечения кандидата вектора движения (MV) или вектора диспаратности (DV) для блока на изображении включает: получение данных, связанных с текущим вектором движения или вектором диспаратности текущего блока исходного изображения; извлечение кандидата вектора движения (MV) или вектора диспаратности (DV) из блока изображения на ближайшем кадре; применение предикативного кодирования к рассматриваемому вектору движения или вектору диспаратности текущего блока исходного изображения на основе предсказания вектора движения (МVР) или предсказания векторов диспаратности (DVP), включая кандидат вектора движения (MV) или вектор диспаратности (DV); и проверку информации о движении блока изображения на ближайшем кадре, и если информация о движении блока изображения на ближайшем кадре недействительна для текущего блока, использование вектора диспаратности (DV) блока изображения на ближайшем кадре в качестве вектора движения блока изображения на ближайшем кадре. 2 н. и 17 з.п. ф-лы, 7 ил.
Description
ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ
Данное изобретение притязает на преимущество приоритета РСТ патентной заявки, серийный No. PCT/CN2012/078103, поданной 3 июля 2012 и озаглавленной "Способы усовершенствования и упрощения предсказания межкадровых векторов движения и векторов диспаратности". РСТ патентная заявка (патентная заявка по договору о международной патентной кооперации) полностью включена сюда на основании ссылки.
ОБЛАСТЬ ТЕХНИЧЕСКОГО ПРИМЕНЕНИЯ
Данное изобретение относится к трехмерному кодированию видеосигналов. В частности, данное изобретение относится к обоснованию предсказания векторов движения и предсказания векторов диспаратности для межкадрового варианта при 3D кодировании видеосигналов.
ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ
В последние годы развитие трехмерного (3D) телевидения стало технологическим трендом, нацеленным на то, чтобы зрители смогли получить незабываемые впечатления при просмотре телевидения. Были разработаны различные технологии, которые сделали возможным просмотр телевидения в режиме 3D. Видео в мультивидовом формате представляет собой ключевую технологию для 3D ТВ приложений наряду с другими технологиями.
Традиционное видео представляет собой двухмерную (2D) среду, что позволяет предложить зрителям только плоское изображение сцены в перспективе камеры. Однако видео в мультивидовом формате способно обеспечить произвольные точки просмотра динамических сцен и создать у зрителя ощущение реальности.
Видео в мультивидовом формате обычно создается путем записи сцен с использованием многих камер одновременно, когда несколько камер расположены таким образом, чтобы каждая камера снимала сцену с одной точки съемки. Соответственно, несколько камер будут вести съемку нескольких видеопоследовательностей с разных точек съемки. Чтобы обеспечить больше точек просмотра, использовали больше камер, чтобы создать видео в мультивидовом формате с большим числом видеопоследовательностей, связанных с выбранными точками съемки. Соответственно, видео в мультивидовом формате потребует большего объема памяти для хранения и/или более высокой скорости передачи. Таким образом, технологии кодирования видеосигналов в мультивидовом формате были разработаны в данной области для того, чтобы сократить требуемый объем памяти или скорость передачи сигналов.
Самым простым подходом к решению данной задачи могло бы стать применение технологий традиционного кодирования видеосигналов к каждой видеопоследовательности одиночных снимков независимо и безотносительно от любой корреляции между различными точками съемки. Например, на Фиг. 1 показано непосредственное воплощение 3D кодирования видеосигналов на основе традиционного кодирования видеосигналов, когда для видео базового кадра используется соответствующий стандартам кодер видеосигнала (например, HEVC/H.264). Поступающие 3D видеоданные содержат изображения (110-0, 110-1, 110-2, …), соответствующие многочисленным кадрам. Изображения, собранные для каждого кадра, образуют последовательность изображений для каждого вида. Обычно, последовательность изображений 110-0, соответствующая базовому кадру (также называется «независимый кадр») кодируется независимо с помощью кодера видеосигнала 130-0, соответствующего стандартам кодирования видеосигналов, таким как H.264/AVC или HEVC (высокоэффективное кодирование видеосигналов). Кодеры видеосигналов (130-1, 130-2 …) для последовательностей изображений, связанных с зависимыми кадрами (например, кадры 1, 2, …), могут быть также основаны на традиционных кодерах видеосигналов.
Чтобы поддерживать интерактивные приложения, карты дальностей (120-0, 120-1, 120-2, …), связанные со сценой в соответствующих видах, также включены в битовый поток видеосигналов. Чтобы уменьшить количество данных, связанных с картами дальностей, карты дальностей сжимаются независимо, используя кодер карты дальностей (140-0, 140-1, 140-2, …), и данные карта дальностей в сжатой форме включены в битовый поток, как показано на Фиг. 1. Мультиплексор 150 используется для объединения данных в сжатой форме от кодеров изображения и кодеров карт дальностей. Информация о дальности может быть использована для синтезирования виртуальных видов в выбранных промежуточных точках съемки. Система 3D кодирования видеосигналов, как показано на Фиг. 1, концептуально проста и очевидна. Однако, коэффициент сжатия будет низким.
В данной научной области были раскрыты различные способы повышения эффективности 3D кодирования видеосигналов.
Проводятся научные исследования, направленные на стандартизацию способов кодирования. Например, рабочая группа, ISO/IEC JTC1/SC29/WG11 в рамках ISO (Международной организации по стандартизации) занята разработкой HEVC, основанного на стандартах 3D кодирования видеосигналов. В соответствующем программном обеспечении для HEVC версии 3.1 (НТМ3.1), основанной на 3D кодировании видеосигналов, добавлен межкадровой вариант в виде варианта вектора движения (MV)/вектора диспаратности (DV) для промежуточного режима, режима слияния и режима пропуска, когда межкадровой вариант основывается на предварительно закодированной информации о движении смежных видов. В НТМ3.1, базовый блок для сжатия данных, названный кодирующий блок (CU), - это 2N×2N квадратный блок, и каждый CU может быть рекурсивно разделен на четыре меньших CUs (кодирующих блока), пока не будет достигнут предварительно заданный минимальный размер. Каждый CU содержит один или несколько блоков предсказания (PUs). В последующих разделах данного документа использованный термин "блок" будет означать блок предсказания (PU), когда лежащая в основе обработка данных связана с предсказанием.
На Фиг. 2 представлена типовая структура предсказания, используемая при обычных тестовых условиях для 3D кодирования видеосигналов. ТВ-изображения и карты дальностей, соответствующие определенному положению камеры, указаны с помощью идентификатора видов (то есть, V0, V1 и V2 на Фиг. 2). Все ТВ-изображения и карты дальностей, которые относятся к одному и тому же положению камеры, связаны с одним и тем же ID (идентификатором) кадра. Идентификаторы кадров используются для установления порядка кодирования внутри блоков доступа и для выявления недостающих кадров в подверженных возникновению ошибок средах. В пределах блока доступа (например, блока доступа 210), ТВ-изображение (212) и сопутствующая карта дальностей, если таковая имеется, с ID кадром, равным 0, кодируются в первую очередь. После ТВ-изображения и карты дальностей, связанной с ID кадра, равным 0, идут ТВ-изображения (214) и карта дальностей с ID кадра, равным 1, ТВ-изображение (216) и карта дальностей с ID кадра, равным 2, и так далее. Вид с ID кадра, равным 0, (то есть, V0 на Фиг. 2) также рассматривается как базовый кадра или независимый кадр. Базовый кадр кодируется независимо, используя традиционный HEVC кодер видеосигнала, и при этом не возникает потребности в какой-либо карте дальностей и в ТВ-изображении какого-либо другого кадра.
Как показано на Фиг. 2, предсказатель вектора движения (MVP)/предсказатель вектора диспаратности (DVP) могут быть извлечены из межкадровых блоков на межкадровых изображениях для текущего блока. Впоследствии "межкадровые блоки на межкадровом изображении" могут более кратко называться "межкадровые блоки", а производный вариант называться межкадровым вариантом (например, межкадровые MVPs/DVPs). Более того, соответствующий блок на ближайшем кадре, также называемый «межкадровой совмещенный блок», определяется путем использования вектора диспаратности, полученного на основе информации о дальности по данному блоку на данном изображении. Например, обрабатывается рассматриваемый блок 226 на соответствующем изображении 216 для вида V2. Блок 222 и блок 224 расположены на межкадровых совмещенных изображениях 0 и 1, (то есть, 212 и 214), соответственно, при соответствующем расположении текущего блока 226. Соответствующие блоки 232 и 234 (то есть, межкадровые совместные блоки) на межкадровых совместных изображениях 0 и 1 (то есть, 212 и 214) могут быть определены с помощью векторов диспаратности 242 и 244, соответственно.
Принимая за данность, что порядок кодирования видов начинается с V0 (базовый кадр), за которым следуют V1 и затем V2. Когда рассматриваемый блок на рассматриваемом изображении в V2 закодирован, в процессе извлечения MVP/DVP прежде всего будет проверено, является ли MV соответствующего блока на V0 действительным и доступным. Если ответ положительный, то этот MV будет добавлен к списку вариантов. Если ответ отрицательный, то процесс извлечения MVP/DVP будет продолжаться при обязательном контроле за MV соответствующего блока на V1.
На НТМ3.1 показано извлечение варианта межкадрового MVP/DVP в режиме слияния в виде следующего Алгоритма 1: Алгоритм 1: Извлечение межкадрового варианта в режиме слияния
1. Для временного исходного изображения с наименьшим базовым индексом в списке 0, извлечь MV в соответствии с Алгоритмом 2;
2. Для временного исходного изображения с наименьшим базовым индексом в списке 1, извлечь MV в соответствии с Алгоритмом 2;
3. Если одно или два из вышеупомянутых изображений имеют действительные вектора движения (MVs), перейти к этапу 6;
Если нет, перейти к этапу 4;
4. Для других исходных изображений в списке 0, проверьте эти изображения в списке 0 в соответствии с базовым индексом в порядке возрастания и извлеките MV/DV на основе Алгоритма 2 для данного исходного изображения в списке 0. Как только извлечен действительный MV/DV для данного исходного изображения, перейти к этапу 5.
5. Для других исходных изображений в списке 1, проверить эти изображения в списке 1 в соответствии с базовым индексом в порядке возрастания и извлечь MV/DV на основе Алгоритма 2 для данного исходного изображения в списке 1. Как только извлечен действительный MV/DV для данного исходного изображения, перейти к этапу 6.
6. Конец.
Алгоритм 2 описывается следующим образом: Алгоритм 2: При наличии исходного изображения, извлечение межкадрового варианта в режиме слияния для текущего блока выглядит следующим образом.
1. Если исходное изображение - это временное исходное изображение, тогда от V0 до предшествующего закодированного вида используется первый MV внутривидового блока, указывающий на исходное изображение.
2. Если исходное изображение I - это внутривидовое исходное изображение, то вектор диспаратности извлекается на основе карты дальностей.
Межкадровый вариант в режиме слияния затем включается в MVP/DVP для кодирования с предсказанием MV текущего блока. Если выбранный межкадровый вариант в режиме слияния показывает очень хорошее сочетание с вектором движения (или вектором диспаратности) текущего блока, то остаток предсказания составит ноль
Нет необходимости передавать остаток предсказания между выбранным межкадровым вариантом в режиме слияния и вектором движения (или вектором диспаратности) текущего блока. В данном случае в рассматриваемом блоке может повторно использоваться вектор движения (или вектор диспаратности) выбранного межкадрового варианта в режиме слияния. Другими словами, рассматриваемый блок может "сливаться" с выбранным межкадровым совмещенным блоком. Это приведет к снижению требуемой скорости передачи, связанной с вектором движения текущего блока. Извлечение межкадрового варианта в режиме слияния при выбранном подходе, то есть, НТМ3.1, сопряжено с большим количеством вычислений. Желательно упростить данный процесс извлечения, сохраняя при этом как можно более высокую эффективность кодирования.
КРАТКОЕ ОПИСАНИЕ
Раскрываются способ и устройство для извлечения межкадрового варианта для блока на изображении в случае трехмерного кодирования видеосигналов. В воплощениях данного изобретения межкадровый вариант извлекается из межкадрового совмещенного блока на межкадровом изображении, соответствующем рассматриваемому блоку данного изображения, и при этом межкадровое изображение - это межкадровое исходное изображение, где межкадровое исходное изображение находится в списке исходных изображений текущего блока. Тогда извлеченный межкадровый вариант используется для кодирования или декодирования текущего вектора движения или вектора диспаратности текущего блока.
Расположение межкадрового совмещенного блока может быть определено на основе вектора диспаратности, извлеченного с помощью карты дальностей или глобального вектора диспаратности. Информация о движении межкадрового совмещенного блока может быть повторно использована непосредственно с помощью текущего блока данного изображения, где информация о движении включает вектора движения, направленность предсказания, идентификацию межкадрового исходного изображения межкадрового совмещенного блока, и их любое сочетание, и где направленность предсказания включает исходное изображение списка 0, исходное изображение списка 1 или двойственное предсказание. В одном аспекте изобретения исследуется повторное использование информации о движении межкадрового совмещенного блока. Информация о движении может быть формализована по целевому исходному изображению текущего блока, если исходное изображение межкадрового блока не состоит в списке исходных изображений текущего блока. Целевое исходное изображение - это то исходное изображение, на которое указывает вектор движения текущего блока. Целевое исходное изображение может быть временным исходным изображением с наименьшим индексом исходного изображения, временным исходным изображением, соответствующим большинству временных исходных изображений расположенных по соседству блоков текущего блока, или временным исходным изображением с наименьшей РОС (нумерация порядка изображений) дистанцией до исходного изображения межкадрового совмещенного блока.
Другой аспект изобретения связан с ограничениями по межкадровому изображению, что может быть использовано для извлечения межкадрового кандидата в режиме слияния. В одном воплощении только одно межкадровое изображение используется для извлечения межкадрового варианта в режиме слияния. Например, только межкадровое исходное изображение из списка 0 исходных изображений с наименьшим индексом исходных изображений используется для извлечения межкадрового варианта. Если в списке 0 исходных изображений не существует межкадрового исходного изображения, для извлечения межкадрового варианта используется только межкадровое исходное изображение из списка 1 исходных изображений с наименьшим индексом исходных изображений. В другом воплощении, для извлечения межкадрового варианта используется только межкадровое исходное изображение с наименьшим видовым индексом. Один синтаксический элемент может быть использован для указания, какое межкадровое исходное изображение использовано для извлечения межкадрового варианта. Еще в одном воплощении, сигнализация одного синтаксического элемента позволяет указать, какой список исходных изображений, соответствующий межкадровому исходному изображению, использован для извлечения межкадрового варианта. И еще в одном воплощении, для извлечения межкадрового варианта используется только межкадровое изображение в буфере декодированных изображений или в базовом кадре.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
На Фиг. 1 показан пример структуры предсказания для системы трехмерного кодирования видеосигналов.
На Фиг. 2 показана типичная структура предсказания, используемая при обычных условиях испытаний для трехмерного (3D) кодирования видеосигналов.
На Фигурах 3А-В показаны примеры извлечения межкадрового варианта на основе Алгоритма, раскрытого в высокоэффективном кодировании видеосигналов (HEVC) на основе 3D кодирования видеосигналов, версия 3.1 (НТМ3.1).
На Фигурах 4А-В показаны примеры извлечения межкадрового варианта в режиме слияния в соответствии с воплощением данного изобретения.
На Фиг. 5 показана типичная блок-схема системы трехмерного кодирования, включающая воплощение данного изобретения с целью извлечения межкадрового варианта в режиме слияния.
ДЕТАЛЬНОЕ ОПИСАНИЕ
Чтобы использовать преимущества высокоэффективного кодирования за счет предсказания вектора движения и предсказания вектора диспаратности (MVP/DVP), избегая при этом сложных расчетов, согласно данному изобретению в воплощениях применяется упрощенное предсказание межкадровых векторов движения и векторов диспаратности. Представленные далее частные примеры для предсказания межкадрового вектора движения и вектора диспаратности не должны рассматриваться в качестве ограничений данного изобретения. Квалифицированный специалист может использовать модификации способов предсказания для практического применения данного изобретения без отступления от существа данного изобретения.
В существующем подходе (то есть, НТМ3.1) к извлечению межкадрового MVP/DVP в режиме слияния, все вектора движения (MVs) или вектора диспаратности (DVs) соответствующих блоков в предварительно закодированных кадрах могут быть добавлены в качестве межкадровых вариантов, даже если межкадровые изображения не включены в список исходных изображений текущего изображения. В следующем описании, описание вектора движения будет всегда использовано в качестве примера для извлечения межкадрового варианта в режиме слияния. Однако квалифицированный специалист может распространить извлечение межкадрового варианта в режиме слияния и на предсказание векторов диспаратности. В данном изобретении, извлечение межкадрового варианта (то есть, MVP вариант или DVP вариант) связано ограничениями так, чтобы обеспечить лучшее управление декодированным изображением. Например, ограничения могут позволять использовать для извлечения межкадрового варианта только вектора движений (MVs) межкадровых изображений, которые находятся в списках исходных изображений (Список 0 или Список 1)или в буфере декодированных изображений текущего изображения. В другом примере, ограничения могут привести к тому, что только одно межкадровое изображение может быть использовано для извлечения межкадрового варианта. Еще в одном примере, ограничения могут позволить использовать для извлечения межкадрового варианта только MVs межкадровых изображений в базовом кадре (независимом кадре). Данные ограничения могут налагаться как по отдельности, так и одновременно.
В случае одновременного введения вышеупомянутых ограничений, могут применяться и дополнительные ограничения или признаки. Например, когда первое и второе ограничения вводятся одновременно, то могут также применяться и следующие ограничения или признаки, чтобы выбрать заданное межкадровое исходное изображение для извлечения межкадрового варианта. В первом примере дальнейшего ограничения для извлечения межкадрового варианта может быть использовано только межкадровое исходное изображение из списка 0 с наименьшим индексом исходного изображения. Если межкадровое исходное изображение не занесено в список 0, то только межкадровые исходные изображения из списка 1 с наименьшим индексом исходного изображения могут быть использованы для извлечения межкадрового варианта. Во втором примере дальнейшего ограничения только межкадровое исходное изображение с наименьшим видовым индексом может быть использовано для извлечения межкадрового варианта. В третьем примере дальнейшего ограничения, только синтаксический элемент (например, видовой ID) может быть использован для указания того, какое межкадровое исходное изображение используется для извлечения межкадрового варианта. В четвертом примере дальнейшего ограничения, один синтаксический элемент сигнализирует о том, что следует указать, какой список исходных изображений(то есть, Список 0 или Список 1) соответствует выбранному межкадровому исходному изображению. На основе четвертого дальнейшего ограничения только межкадровое исходное изображение с наименьшим индексом исходного изображения может быть использовано для извлечения межкадрового варианта. На основе четвертого дальнейшего ограничения один синтаксический элемент может стать сигналом для указания того, какое межкадровое исходное изображение из списка исходных изображений использовано для извлечения межкадрового варианта.
В НТМ3.1, извлечение межкадрового варианта в режиме слияния является очень сложным, и некоторые варианты могут быть просто нецелесообразны. На Фиг. 3 показаны два примера, когда полученный вариант является нецелесообразным.
На Фиг. 3А, межкадровой блок (310) в V0 имеет два MVs (312 и 314). Один MV указывает на базовый индекс 0 из Списка 0, а другой MV указывает на базовый индекс 1 из Списка 1. Однако, следуя Алгоритму 1 в текущем НТМ3.1, только MV, указывающий на базовый индекс 0 из Списка 0 используется для текущего блока (320) в V1 в качестве межкадрового варианта в режиме слияния, а MV, указывающий на базовый индекс 1 из Списка 1, не используется.
На Фиг. 3В, межкадровой блок (340) в V0 имеет один MV (342), указывающий на базовый индекс 1 из Списка 0. Межкадровое изображение в V0 включено в список исходных изображений 0 исходного изображения с базовым индексом 1. После того, как межкадровое изображение в V0 включается в список 0, базовый индекс в списке 0 будет изменен, как показано на Фиг. 3В, где соответствующее исходное изображение Ref1 L0 для V0 становится Ref2 L0 для V1. Согласно Алгоритму 1, межкадровый вариант текущего блока (330) - это вектор диспаратности (332), указывающий на базовый индекс 1 из Списка 0 в V0. Однако, MV межкадрового блока в V0 не используется для текущего блока в V1, поскольку вместо этого используется s вектор диспаратности.
Чтобы избежать этих нерациональных межкадровых вариантов, в воплощениях данного изобретение используются различные извлечения межкадровых вариантов в режиме слияния путем введения ограничений на выбор межкадровых вариантов, как это описано в Алгоритме 3:
Алгоритм 3: Извлечение межкадрового варианта в режиме слияния
1. Определить межкадровые изображения, использованные для извлечения межкадрового варианта в режиме слияния согласно воплощению данного изобретения, вводя одно или несколько ограничений для извлечения межкадрового варианта, как указано выше.
2. Для данного межкадрового изображения, определенного по результатам этапа 1, извлечь вариант межкадрового движения согласно Алгоритму 4.
3. Если имеется вариант межкадрового движения, тогда перейти к этапу 5;
В противном случае, если следующее межкадровое изображение доступно, тогда перейти к этапу 2;
В противном случае, перейти к этапу 4.
4. Извлечь вариант межкадрового вектора диспаратности согласно Алгоритму 5 или Алгоритм 6.
5. Конец.
Алгоритм 4: Извлечение межкадрового варианта движения в режиме слияния
Информация о движении, включая MVs, направленность предсказания(L0, L1, или предсказание бита), и исходные изображения межкадрового блока, может быть использована для текущего блока. Согласно воплощению показанные типовые этапы обработки данных таковы:
1. Предположите, что идентификатор вида (viewld) межкадрового изображения - это Vi и идентификатор вида (viewed) исходного изображения - это Vc.
2. Для каждого базового списка данного межкадрового изображения с видом Vi,
если
- имеется исходное изображение ColRef с видом Vi, используемым для промежуточного прогнозирования межкадрового блока; и
- вид Vc ColRef также находится в том же исходном списке исходных изображений,
тогда
- исходное изображение и MV текущего блока из списка установлено как вид Vc, принадлежащий ColRef, и MV межкадрового блока, указывающий на вид Vi, принадлежащий, соответственно, ColRef; и
- вариант межкадрового движения из этого базового списка текущего блока отмечен, как имеющийся в наличии.
3. Если вариант межкадрового движения из Списка 0 или Список 1 имеется в наличии, тогда вариант межкадрового движения текущего блока отмечен как имеющийся в наличии,
В противном случае вариант межкадрового движения текущего блок помечается как недоступный.
На этапе 2 Алгоритма 4 если вид Vc, принадлежащий ColRef, не находится в том же базовом списке исходных изображений, то вариант межкадрового вектора движения из этого базового списка текущего блока будет промаркирован как недоступный. Однако, существуют некоторые альтернативные способы, и они таковы. Например, если вид Vc, принадлежащий ColRef, не находится в том же базовом списке исходного изображения, то MV межкадрового блока, указывающий на ColRef, соизмерен в соответствии с целевым исходным изображением текущего блока; и соизмеренный MV установлен в качестве MV текущего блока, где целевое изображение может быть временным исходным изображением с наименьшим индексом исходного изображения, временным исходным изображением, которое составляет большую часть временных исходных изображений расположенных рядом блоков, или временным исходным изображением с наименьшей РОС (отсчет порядка изображений) дистанцией до ColRef.
Алгоритм 5: Извлечение варианта межкадрового вектора диспаратности в режиме слияния
Для каждого базового списка исходных изображений:
исходное изображение, которое является межкадровым исходным изображением с наименьшим базовым индексом, используется в качестве исходного изображения из списка текущего блока; и
вектор диспаратности, извлеченный на основе карты дальностей или глобального вектора диспаратности, используется в качестве MV текущего блока.
Алгоритм 6: Извлечение варианта межкадрового вектора диспаратности в режиме слияния
1. Для базового списка 0 исходных изображений, исходное изображение, которое является межкадровым исходным изображением с наименьшим базовым индексом, используется в качестве исходного изображения из Списка 0 текущего блока, и вектор диспаратности, извлеченный на основе карты дальностей или глобального вектора диспаратности, используется в качестве MV текущего блока.
2. Если MV и исходное изображение из Списка 0 текущего блока действительны и доступны, тогда перейти к этапу 4;
В противном случае перейти к этапу 3.
3. Для базового списка 1 исходных изображений, исходное изображение, которое является межкадровым исходным изображением с наименьшим базовым индексом, используется в качестве исходного изображения из Списка 1 текущего блока, и вектор диспаратности, извлеченный на основе карты дальностей или глобального вектора диспаратности, используется в качестве MV текущего блока.
4. Конец.
Для системы, включающей в себя воплощение данного изобретения, как это описано в Алгоритме 3, извлечение межкадрового варианта в режиме слияния для определенных случаев, как показано на Фиг. 3, модифицировано, как это показано на Фиг. 4. На Фиг. 4А показан пример межкадрового варианта, извлеченного на основе Алгоритма 3, в то время как извлечение на основе обычного Алгоритма приведет к результату, показанному на Фиг. ЗА. Согласно этапу 1 Алгоритма 3, V0 используется для извлечения межкадрового варианта. Согласно этапу 2 (то есть, при использовании Алгоритма 4 для извлечения варианта межкадрового движения), межкадровой блок для списка 0 refidx0 с V0 имеет MV (412). С другой стороны, V1 этого ColRef (то есть, L0 Ref0 с V0) также находится в списке 0 текущего блока. Таким образом, MV (422) повторно используется с V0 в качестве межкадрового варианта L0 для V1. Такое же извлечение применяется по отношению к L1 refidx1 с V0. MV (414), связанное со списком 1 refidx1 при V0, может быть повторно использовано для V1 в качестве межкадрового варианта MV (424). На Фиг. 4В показан другой пример извлечения межкадрового варианта согласно данному изобретению, в то время как извлечение, основанное на обычном Алгоритме, приведет к результату, показанному на Фиг. 3В. Согласно этапу 1 Алгоритма 3, V0 используется для извлечения межкадрового варианта. Согласно этапу 2 (то есть, при использовании Алгоритма 4 для извлечения варианта межкадрового движения), межкадровой блок для списка 0 refidx1 с V0 имеет MV (432). С другой стороны, V1 этого ColRef (то есть, L0 Ref1 с V0) также находится в списке 0 текущего блока. Таким образом, MV (442) повторно используется от V0 в качестве межкадрового варианта L0 для V1.
На Фиг. 5 показана типичная блок-схема системы трехмерного кодирования или декодирования, включающей извлечение межкадрового варианта в режиме слияния с определенными ограничениями согласно воплощению данного изобретения. Система получает данные, связанные с рассматриваемым вектором движения или вектором диспаратности текущего блока исходного изображения, как показано на этапе 510. В случае кодирования данные, связанные с рассматриваемым вектором движения или вектором диспаратности текущего блока, могут соответствовать самому рассматриваемому вектору движения или вектору диспаратности. В случае декодирования данные, связанные с рассматриваемым вектором движения или вектором диспаратности текущего блока, могут соответствовать самому закодированному рассматриваемому вектору движения или вектору диспаратности. Данные могут быть извлечены из запоминающего устройства, такого как компьютерная память, буфер (RAM или DRAM) или другой носитель. Данные могут также быть получены из процессора, такого как контроллер, центральный процессор, процессор обработки цифровых сигналов или электронные схемы, который извлекает текущий вектор движения или вектор диспаратности для кодирования или восстанавливает закодированный вектор движения или вектор диспаратности из битового потока для декодирования. Межкадровый вариант в режиме слияния извлекается из межкадрового совмещенного блока на межкадровом изображении, соответствующем рассматриваемому блоку исходного изображения, как показано на этапе 520, где межкадровое изображение - это межкадровое исходное изображение, и межкадровое исходное изображение имеет наименьший индекс исходного изображения в списке исходных изображений текущего блока или находится в базовом виде. Затем предикативное кодирование применяется в отношении текущего вектора движения или вектора диспаратности текущего блока исходного изображения, основанного на описании векторов движения (МУР)или предсказании векторов диспаратности (DVP), включая межкадровый вариант в режиме слияния, как показано на этапе 530. Для предикативного кодирования межкадровой MVP/DVP вариант может быть таким же, как и рассматриваемый вектор движения или вектор диспаратности. В этом случае межкадровое кодирование в режиме слияния может быть использовано таким образом, чтобы рассматриваемый вектор движения или вектор диспаратности мог повторно использовать информацию о движении, связанную с межкадровым вариантом в режиме слияния. В случае декодирования с предсказанием, если кодированный рассматриваемый вектор движения или вектор диспаратности указывает, межкадровой режим слияния используется для исходного блока, а рассматриваемый вектор движения или вектор диспаратности может быть восстановлен, используя информацию о движении, связанную с MVP/DVP.
Показанная выше блок-схема предназначена для того, чтобы проиллюстрировать пример межкадрового предсказания, основанного на разделении на субблоки. Квалифицированный специалист может модифицировать каждый этап, реорганизовать этапы, разделить этап, или объединить этапы для практического применения данного изобретения, не отклоняясь от сущности данного изобретения.
Вышеупомянутое описание представлено для того, чтобы дать возможность специалисту с рядовой квалификацией применять на практике данное изобретение, как это предусмотрено в контексте конкретного приложения и его требованиях. Различные модификации к описанным воплощениям будут очевидны для квалифицированных специалистов, и описанные здесь общие принципы могут быть применимы и к другим воплощениям. Таким образом, данное изобретение не ограничивается конкретным показанным и описанным воплощением, но оно должно иметь самый широкий спектр применения в соответствии с изложенными здесь принципами и элементами новизны. В вышеупомянутом детальном описании показаны различные характерные детали, что позволяет обеспечить полное понимание данного изобретения. Тем не менее, квалифицированные специалисты могут убедиться, что данное изобретение применимо на практике.
Воплощение данного изобретения, как это показано выше, может быть введено в эксплуатацию на различных аппаратных средствах, программных кодах, или их сочетаниях. Например, воплощение данного изобретения может быть схемой, интегрированной в чип сжатия видеосигналов, или программным кодом, интегрированным в программное обеспечение сжатия видеосигналов, чтобы обеспечить описанную выше обработку данных. Воплощением данного изобретения может быть также программный код, который должен быть введен при цифровой обработке сигнала или (DSP), чтобы осуществить описанную здесь обработку данных.. Изобретение может также включать ряд функций, которые могут быть реализованы с помощью
компьютерной обработки или обработки цифровых сигналов, или микропроцессора, или программируемой логической интегральной схемы (FPGA). Эти процессы могут быть конфигурированы таким образом, чтобы выполнять конкретные задачи согласно изобретению, путем исполнения программного кода для машинного считывания или кода микропрограммного обеспечения, которые определяют конкретные способы, воплощенные путем данного изобретения. Программный код или код микропрограммного обеспечения могут быть разработаны для различных языков программирования и в различных форматах или стилях. Программный код может также быть компилирован для различных целевых платформ. Однако, различные кодовые форматы, стили и языки программных кодов и другие средства конфигурирования кода для выполнения задач в соответствии с изобретением, не будут означать выход за пределы сущности и объема изобретения.
Изобретение может также быть воплощено в других особых формах, что не будет означать отклонения от сущности изобретения или его основных характерных черт. Описанные примеры должны рассматриваться во всех отношениях только в качестве иллюстративных, а не ограничительных примеров. Таким образом, объем изобретения, описывается скорее в прилагаемых пунктах патентной формулы, чем предшествующем описании. Все изменения, которые подпадают под значение и диапазон эквивалентности пунктов патентной формулы, должны быть охвачены объемом данного изобретения.
Claims (28)
1. Способ извлечения кандидата вектора движения (MV) или вектора диспаратности (DV) для блока на изображении для трехмерного кодирования видеосигналов, включающий:
получение данных, связанных с текущим вектором движения или вектором диспаратности текущего блока исходного изображения;
извлечение кандидата вектора движения (MV) или вектора диспаратности (DV) из блока изображения на ближайшем кадре, соответствующем рассматриваемому блоку исходного изображения;
применение предикативного кодирования к рассматриваемому вектору движения или вектору диспаратности текущего блока исходного изображения на основе предсказания вектора движения (МVР) или предсказания векторов диспаратности (DVP), включая кандидат вектора движения (MV) или вектор диспаратности (DV); и
проверку информации о движении блока изображения на ближайшем кадре, и если информация о движении блока изображения на ближайшем кадре недействительна для текущего блока, использование вектора диспаратности (DV) блока изображения на ближайшем кадре в качестве вектора движения блока изображения на ближайшем кадре.
2. Способ по п. 1, где расположение блока изображения на ближайшем кадре определяется на основе одного вектора диспаратности, извлеченного исходя из карты глубины или глобального вектора диспаратности.
3. Способ по п. 1, где информация о движении блока изображения на ближайшем кадре повторно используется непосредственно для текущего блока исходного изображения, где информация о движении включает вектор движения, направленность предсказания, исходные изображения блока изображения на ближайшем кадре, и их любые сочетания, и где направленность предсказания включает список исходных изображений 0, список исходных изображений 1 или двунаправленное предсказание.
4. Способ по п. 3, где информация о движении измерена по целевому исходному изображению текущего блока, если исходное изображение блока изображения на ближайшем кадре не состоит в любом списке исходных изображений текущего блока.
5. Способ по п. 4, где целевое исходное изображение - это временное исходное изображение с наименьшим индексом исходного изображения.
6. Способ по п. 4, где целевое исходное изображение - это временное исходное изображение, соответствующее большинству временных исходных изображений соседних блоков текущего блока.
7. Способ по п. 4, где целевое исходное изображение - это временное исходное изображение с наименьшей РОС (отсчет порядка изображений) дистанцией до исходного изображения блока изображения на ближайшем кадре.
8. Способ по п. 1, где только одно изображение используется для извлечения кандидата.
9. Способ по п. 8, где только первое исходное изображение в списке исходных изображений 0 с первым наименьшим индексом исходного изображения используется для извлечения кандидата; и где только второе исходное изображение в списке исходных изображений 1 со вторым наименьшим индексом исходного изображения используется для извлечения кандидата, если только исходное изображение отсутствует в списке исходных изображений 0.
10. Способ по п. 8, где только исходное изображение с наименьшим индексом вида используется для извлечения кандидата.
11. Способ по п. 8, где один синтаксический элемент используется для указания того, какое исходное изображение использовано для извлечения кандидата.
12. Способ по п. 8, где один синтаксический элемент дает сигнал, указывающий, какой список исходных изображений, соответствующий исходному изображению, используется для извлечения кандидата.
13. Способ по п. 8, где только исходное изображение с наименьшим индексом исходного изображения используется для извлечения кандидата.
14. Способ по п. 13, где один синтаксический элемент дает сигнал, указывающий, какое исходное изображение из списка исходных изображений использовано для извлечения кандидата.
15. Способ по п. 1, где только изображение в декодированном буфере изображения используется для извлечения кандидата.
16. Способ по п. 1, где только изображение в базовом виде используется для извлечения кандидата.
17. Способ по п. 1, где при трехмерном кодировании видеосигналов данные, связанные с текущим вектором движения или вектором диспаратности, соответствуют текущему вектору движения или вектору диспаратности; указанное применяемое предикативное кодирование в отношении текущего вектора движения или вектора диспаратности текущего блока позволяет получить закодированный текущий вектор движения или вектор диспаратности текущего блока.
18. Способ по п. 1, где при трехмерном кодировании видеосигналов данные, связанные с текущим вектором движения или вектором диспаратности, соответствуют закодированному текущему вектору движения или вектору диспаратности; указанное применяемое предикативное кодирование в отношении текущего вектора движения или вектора диспаратности текущего блока позволяет получить восстановленный текущий вектор движения или вектор диспаратности текущего блока.
19. Устройство для извлечения кандидата вектора движения (MV) или вектора диспаратности (DV) для блока на изображении для трехмерного кодирования видеосигналов, включающее:
электронные схемы, где данные электронные схемы выполнены с возможностью:
получения данных, связанных с текущим вектором движения или вектором диспаратности текущего блока исходного изображения;
извлечения кандидата вектора движения (MV) или вектора диспаратности (DV) из блока изображения на ближайшем кадре, соответствующем рассматриваемому блоку исходного изображения;
применения предикативного кодирования по отношению к текущему вектору движения или вектору диспаратности текущего блока исходного изображения на основе предсказания векторов движения (MVP) или предсказания векторов диспаратности (DVP), включая кандидат вектора движения (MV) или вектора диспаратности (DV); и
проверки информации о движении блока изображения на ближайшем кадре, и если информация о движении блока изображения на ближайшем кадре недействительна для текущего блока, использования вектора диспаратности (DV) блока изображения на ближайшем кадре в качестве вектора движения блока изображения на ближайшем кадре.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNPCT/CN2012/078103 | 2012-07-03 | ||
| PCT/CN2012/078103 WO2014005280A1 (en) | 2012-07-03 | 2012-07-03 | Method and apparatus to improve and simplify inter-view motion vector prediction and disparity vector prediction |
| PCT/CN2013/075894 WO2014005467A1 (en) | 2012-07-03 | 2013-05-20 | Method and apparatus of inter-view motion vector prediction and disparity vector prediction in 3d video coding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2014147347A RU2014147347A (ru) | 2016-06-10 |
| RU2631990C2 true RU2631990C2 (ru) | 2017-09-29 |
Family
ID=49881230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2014147347A RU2631990C2 (ru) | 2012-07-03 | 2013-05-20 | Способ и устройство для предсказания межкадровых векторов движения и векторов диспаратности при 3d кодировании видеосигналов |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20150304681A1 (ru) |
| EP (1) | EP2850523A4 (ru) |
| KR (1) | KR101709649B1 (ru) |
| RU (1) | RU2631990C2 (ru) |
| WO (2) | WO2014005280A1 (ru) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10057594B2 (en) * | 2013-04-02 | 2018-08-21 | Vid Scale, Inc. | Enhanced temporal motion vector prediction for scalable video coding |
| WO2015000108A1 (en) * | 2013-07-01 | 2015-01-08 | Mediatek Singapore Pte. Ltd. | An improved texture merging candidate in 3dvc |
| WO2015143603A1 (en) * | 2014-03-24 | 2015-10-01 | Mediatek Singapore Pte. Ltd. | An improved method for temporal motion vector prediction in video coding |
| KR102260146B1 (ko) * | 2014-03-31 | 2021-06-03 | 인텔렉추얼디스커버리 주식회사 | 시점 간 움직임 병합 후보 유도 방법 및 장치 |
| CN107005705B (zh) * | 2014-10-07 | 2021-03-09 | 三星电子株式会社 | 使用层间预测对多层图像进行编码或解码的方法和装置 |
| AU2015328955B2 (en) * | 2014-10-08 | 2018-01-04 | Lg Electronics Inc. | Depth picture coding method and device in video coding |
| US10321128B2 (en) | 2015-02-06 | 2019-06-11 | Sony Corporation | Image encoding apparatus and image encoding method |
| US10553029B1 (en) | 2016-09-30 | 2020-02-04 | Amazon Technologies, Inc. | Using reference-only decoding of non-viewed sections of a projected video |
| US10356417B2 (en) * | 2016-09-30 | 2019-07-16 | Intel Corporation | Method and system of video coding using projected motion vectors |
| US10412412B1 (en) | 2016-09-30 | 2019-09-10 | Amazon Technologies, Inc. | Using reference-only decoding of non-viewed sections of a projected video |
| US10609356B1 (en) * | 2017-01-23 | 2020-03-31 | Amazon Technologies, Inc. | Using a temporal enhancement layer to encode and decode stereoscopic video content |
| WO2020091404A1 (ko) * | 2018-10-30 | 2020-05-07 | 엘지전자 주식회사 | 비디오 송신 방법, 비디오 전송 장치, 비디오 수신 방법 및 비디오 수신 장치 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2319318C1 (ru) * | 2002-10-04 | 2008-03-10 | Эл Джи Электроникс Инк. | Способ определения векторов движения в режиме прямого предсказания для в-кадра |
| JP2008136232A (ja) * | 2002-07-15 | 2008-06-12 | Hitachi Ltd | 動画像復号化方法 |
| RU2360375C2 (ru) * | 2002-07-18 | 2009-06-27 | Эл Джи Электроникс Инк. | Способ определения векторов движения для текущего блока в кадре, подлежащем декодированию |
| RU2406257C2 (ru) * | 2006-09-20 | 2010-12-10 | Ниппон Телеграф Энд Телефон Корпорейшн | Способ кодирования и способ декодирования изображений, устройство для этого, программы для него и носитель информации для хранения программ |
| US20110211640A1 (en) * | 2008-10-31 | 2011-09-01 | Sk Telecom. Co., Ltd. | Method and apparatus for encoding motion vector, and method and apparatus for encoding/decoding image using same |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7346111B2 (en) * | 2003-12-10 | 2008-03-18 | Lsi Logic Corporation | Co-located motion vector storage |
| US20070025444A1 (en) * | 2005-07-28 | 2007-02-01 | Shigeyuki Okada | Coding Method |
| KR101039204B1 (ko) * | 2006-06-08 | 2011-06-03 | 경희대학교 산학협력단 | 다시점 비디오 코딩에서의 움직임 벡터 예측 방법 및 이를이용한 다시점 영상의 부호화/복호화 방법 및 장치 |
| TWI344792B (en) * | 2006-07-12 | 2011-07-01 | Lg Electronics Inc | A method and apparatus for processing a signal |
| KR100941608B1 (ko) * | 2006-10-17 | 2010-02-11 | 경희대학교 산학협력단 | 다시점 영상의 부호화 및 복호화 방법과 그를 위한 장치 |
| KR20080066522A (ko) * | 2007-01-11 | 2008-07-16 | 삼성전자주식회사 | 다시점 영상의 부호화, 복호화 방법 및 장치 |
| CN101669367A (zh) * | 2007-03-02 | 2010-03-10 | Lg电子株式会社 | 用于解码/编码视频信号的方法及设备 |
| EP2215844A2 (en) * | 2007-10-15 | 2010-08-11 | Nokia Corporation | Motion skip and single-loop encoding for multi-view video content |
| US8693539B2 (en) * | 2009-03-26 | 2014-04-08 | Panasonic Corporation | Coding method, error detecting method, decoding method, coding apparatus, error detecting apparatus, and decoding apparatus |
| US9124898B2 (en) * | 2010-07-12 | 2015-09-01 | Mediatek Inc. | Method and apparatus of temporal motion vector prediction |
| CN101917619B (zh) * | 2010-08-20 | 2012-05-09 | 浙江大学 | 一种多视点视频编码快速运动估计方法 |
| US9137544B2 (en) * | 2010-11-29 | 2015-09-15 | Mediatek Inc. | Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes |
| US8711940B2 (en) | 2010-11-29 | 2014-04-29 | Mediatek Inc. | Method and apparatus of motion vector prediction with extended motion vector predictor |
| US20130229485A1 (en) * | 2011-08-30 | 2013-09-05 | Nokia Corporation | Apparatus, a Method and a Computer Program for Video Coding and Decoding |
| US9258559B2 (en) * | 2011-12-20 | 2016-02-09 | Qualcomm Incorporated | Reference picture list construction for multi-view and three-dimensional video coding |
| US9525861B2 (en) * | 2012-03-14 | 2016-12-20 | Qualcomm Incorporated | Disparity vector prediction in video coding |
| US20130329007A1 (en) * | 2012-06-06 | 2013-12-12 | Qualcomm Incorporated | Redundancy removal for advanced motion vector prediction (amvp) in three-dimensional (3d) video coding |
| US20130336405A1 (en) * | 2012-06-15 | 2013-12-19 | Qualcomm Incorporated | Disparity vector selection in video coding |
| US9325990B2 (en) * | 2012-07-09 | 2016-04-26 | Qualcomm Incorporated | Temporal motion vector prediction in video coding extensions |
| EP2898696B1 (en) * | 2012-09-19 | 2022-09-07 | Qualcomm Incorporated | Selection of pictures for disparity vector derivation |
| WO2014045954A1 (ja) * | 2012-09-20 | 2014-03-27 | ソニー株式会社 | 画像処理装置および方法 |
| US9736498B2 (en) * | 2012-10-03 | 2017-08-15 | Mediatek Inc. | Method and apparatus of disparity vector derivation and inter-view motion vector prediction for 3D video coding |
| WO2014166109A1 (en) * | 2013-04-12 | 2014-10-16 | Mediatek Singapore Pte. Ltd. | Methods for disparity vector derivation |
| WO2015006984A1 (en) * | 2013-07-19 | 2015-01-22 | Mediatek Singapore Pte. Ltd. | Reference view selection for 3d video coding |
| WO2015021914A1 (en) * | 2013-08-13 | 2015-02-19 | Mediatek Inc. | Method of deriving default disparity vector in 3d and multiview video coding |
-
2012
- 2012-07-03 WO PCT/CN2012/078103 patent/WO2014005280A1/en active Application Filing
-
2013
- 2013-05-20 WO PCT/CN2013/075894 patent/WO2014005467A1/en active Application Filing
- 2013-05-20 EP EP13812778.2A patent/EP2850523A4/en not_active Ceased
- 2013-05-20 US US14/411,375 patent/US20150304681A1/en not_active Abandoned
- 2013-05-20 KR KR1020157002533A patent/KR101709649B1/ko active IP Right Grant
- 2013-05-20 RU RU2014147347A patent/RU2631990C2/ru not_active Application Discontinuation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008136232A (ja) * | 2002-07-15 | 2008-06-12 | Hitachi Ltd | 動画像復号化方法 |
| RU2360375C2 (ru) * | 2002-07-18 | 2009-06-27 | Эл Джи Электроникс Инк. | Способ определения векторов движения для текущего блока в кадре, подлежащем декодированию |
| RU2319318C1 (ru) * | 2002-10-04 | 2008-03-10 | Эл Джи Электроникс Инк. | Способ определения векторов движения в режиме прямого предсказания для в-кадра |
| RU2406257C2 (ru) * | 2006-09-20 | 2010-12-10 | Ниппон Телеграф Энд Телефон Корпорейшн | Способ кодирования и способ декодирования изображений, устройство для этого, программы для него и носитель информации для хранения программ |
| US20110211640A1 (en) * | 2008-10-31 | 2011-09-01 | Sk Telecom. Co., Ltd. | Method and apparatus for encoding motion vector, and method and apparatus for encoding/decoding image using same |
Non-Patent Citations (1)
| Title |
|---|
| CHRISTIAN BARTNIK et al.: "HEVC Extension for Multiview Video Coding and Multiview Video plus Depth Coding", Video Coding Experts Group (VCEG), 44nd Meeting: San Jose, CA, USA, 03-10 February 2012, Document: VCEG-AR13, опубл. 04.02.2012, разделы: 1, 3.2, 3.2.1-3.2.3. * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101709649B1 (ko) | 2017-02-24 |
| US20150304681A1 (en) | 2015-10-22 |
| RU2014147347A (ru) | 2016-06-10 |
| KR20150034222A (ko) | 2015-04-02 |
| WO2014005280A1 (en) | 2014-01-09 |
| WO2014005467A1 (en) | 2014-01-09 |
| EP2850523A4 (en) | 2016-01-27 |
| EP2850523A1 (en) | 2015-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2631990C2 (ru) | Способ и устройство для предсказания межкадровых векторов движения и векторов диспаратности при 3d кодировании видеосигналов | |
| CN112789852B (zh) | 基于历史的图像编码方法及其设备 | |
| CN103621093B (zh) | 在三维视频编码系统中的纹理图像处理方法及装置 | |
| KR101375666B1 (ko) | 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치 | |
| US10264281B2 (en) | Method and apparatus of inter-view candidate derivation in 3D video coding | |
| CN111971960B (zh) | 用于基于帧间预测模式处理图像的方法及其装置 | |
| CN103503460A (zh) | 视频译码中的运动向量预测 | |
| CN105379282A (zh) | 用于纹理译码的更精确先进残余预测(arp) | |
| US20160073132A1 (en) | Method of Simplified View Synthesis Prediction in 3D Video Coding | |
| CN104769949A (zh) | 用于视差向量导出的图片的选择 | |
| RU2680204C2 (ru) | Способ и устройство для определения информации движения между позициями по времени в подблоке предсказания | |
| CN104429074A (zh) | 3d视频编码中视差矢量导出的方法和装置 | |
| CN105247870A (zh) | 基于深度块的视差的高级深度帧间译码 | |
| WO2018063566A1 (en) | Method and system of video coding using projected motion vectors | |
| JP6571646B2 (ja) | マルチビュービデオのデコード方法及び装置 | |
| WO2015007242A1 (en) | Method and apparatus of camera parameter signaling in 3d video coding | |
| CA2896132C (en) | Method and apparatus of compatible depth dependent coding | |
| CN113498607B (zh) | 视频编码方法、解码方法、装置和可读介质 | |
| WO2014166403A1 (en) | Method and apparatus of disparity vector derivation for three-dimensional video coding | |
| KR101761523B1 (ko) | 멀티뷰 및 3차원 비디오 코딩시의 모션 정보 예측 및 상속 방법 | |
| RU2778993C2 (ru) | Способ и аппаратура предсказания видеоизображений | |
| KR102127212B1 (ko) | 다시점 영상 정보의 복호화 방법 및 장치 | |
| CN104412238B (zh) | 获取图片中块的视图间候选运动矢量的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| HZ9A | Changing address for correspondence with an applicant | ||
| FA92 | Acknowledgement of application withdrawn (lack of supplementary materials submitted) |
Effective date: 20170216 |
|
| FZ9A | Application not withdrawn (correction of the notice of withdrawal) |
Effective date: 20170628 |