RU2660612C2 - Устройство и способ обработки изображений - Google Patents

Устройство и способ обработки изображений Download PDF

Info

Publication number
RU2660612C2
RU2660612C2 RU2014119668A RU2014119668A RU2660612C2 RU 2660612 C2 RU2660612 C2 RU 2660612C2 RU 2014119668 A RU2014119668 A RU 2014119668A RU 2014119668 A RU2014119668 A RU 2014119668A RU 2660612 C2 RU2660612 C2 RU 2660612C2
Authority
RU
Russia
Prior art keywords
image
filtering
block
processing
data
Prior art date
Application number
RU2014119668A
Other languages
English (en)
Other versions
RU2014119668A (ru
Inventor
Кэндзи КОНДО
Original Assignee
Вилос Медиа Интернэшнл Лимитед
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Вилос Медиа Интернэшнл Лимитед filed Critical Вилос Медиа Интернэшнл Лимитед
Publication of RU2014119668A publication Critical patent/RU2014119668A/ru
Application granted granted Critical
Publication of RU2660612C2 publication Critical patent/RU2660612C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

Изобретение относится к вычислительной технике. Технический результат заключается в подавлении ухудшения эффектов фильтрации. Устройство декодирования изображений содержит схемы, выполненные с возможностью приема кодированного блока изображения, подлежащего декодированию, данных фильтрации блока для проверки, выполнена ли обработка фильтрации блока изображения, данных управления границы для проверки, выполнена ли обработка фильтрации с использованием пикселя среза, следующего после среза, содержащего указанный кодированный блок изображения, и информации о размере блока указанного кодированного блока изображения; получения, на основе указанной информации о размере блока, положения указанного кодированного блока изображения; декодирования указанного кодированного блока изображения; и осуществления указанной обработки фильтрации декодированного блока изображения, на основе указанных данных фильтрации блока, указанных данных управления границы и указанной позиции кодированного блока изображения. 3 н. и 20 з.п. ф-лы, 28 ил.

Description

Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству и способу обработки изображений, и, в частности, к устройству и способу обработки изображений, которые позволяют подавлять ухудшение эффекта фильтрации посредством локального управления фильтрацией при кодировании или декодировании.
Уровень техники
В последние годы широкое распространение получили устройства, совместимые с таким форматам, как MPEG (Экспертная группа по вопросам движущегося изображения) и т.п., которые обрабатывают информацию изображения, как цифровые сигналы, и в которых используются преимущества избыточности, в частности, информации изображения, для выполнения чрезвычайно эффективной передачи информации с последующим сохранением для сжатия изображения, используя ортогональное преобразование, такое, как дискретное косинусное преобразование и т.п., и компенсацию движения, как при распространении информации, такой как широковещательная передача, так и при приеме информации в обычных жилых домах.
В частности, MPEG2 (ISO (Международная организация по стандартизации) / IEC (Международная электротехническая комиссия) 13818-2) определен, как формат кодирования изображения общего назначения, и представляет собой стандарт, охватывающий, как изображения с чересстрочной разверткой, так и изображения с последовательной разверткой, и изображения со стандартным разрешением, и изображения с высокой четкостью. Например, MPEG2 в настоящее время широко используется в широком диапазоне приложений для профессионального использования и для использования потребителями. В результате применения формата сжатия MPEG2, выделяют количество кодов (частота битов) от 4 до 8 Мбит/с, например, в случае изображения с чересстрочной разверткой или стандартным разрешением, имеющим 720×480 пикселей. Кроме того, в результате использования формата сжатия MPEG2, выделяют количество кодов (частоту битов) от 18 до 22 Мбит/с в случае изображения с чересстрочной разверткой с высоким разрешением, например, имеющим 1920×1088 пикселей, в результате чего могут быть реализованы как высокая степень сжатия так и превосходное качество изображения.
При использовании MPEG2, берется за основу кодирование с высокой четкостью изображения, предназначенное для использования при широковещательной передаче, но при меньшем количестве кодов (частота битов), чем количество кодов при MPEG1, то есть, формат кодирования, имеющий более высокую степень сжатия, не обрабатывается. В соответствии с распространением использования карманных персональных компьютеров, ожидается, что в будущем увеличится потребность в таком формате кодирования, и в ответ на это, была выполнена стандартизация формата кодирования MPEG4. Что касается формата кодирования изображения, его спецификация была подтверждена, как международный стандарт, такой как ISO/IEC 14496-2 в декабре 1998 г.
Кроме того, в последние годы была продолжена стандартизация стандарта H.26L (ITU-T (Сектор стандартизации для телекоммуникаций ITU) Q6/16 VCEG (Группа экспертов кодирования видеоизображений), первоначально будучи направленной на кодирование изображения для использования в видеоконференциях. Что касается H.26L стало известно, что по сравнению с обычным форматом кодирования, таким как MPEG2 или MPEG4, хотя требуется больший объем вычислений для его кодирования и декодирования, реализуется более высокая эффективность кодирования. Кроме того, в настоящее время, как часть действий, связанных со стандартизацией MPEG4, была выполнена стандартизация для того, чтобы также использовать преимущество функций, не поддерживаемых H.26L, используя этот H.26L, как основу для реализации кодирования более высокой эффективности, как Обобщенной модели видеокодирования с улучшенным сжатием. В качестве плана стандартизации, Н.264 и MPEG 4 Part 10 (AVC (Улучшенное кодирование видеоданных)) были приняты как международный стандарт в марте 2003 г.
Кроме того, использование фильтра с адаптивным контуром (ALF (Фильтр с адаптивным контуром)) в качестве технологии кодирования видеоизображения следующего поколения, рассматривают в последнее время (см., например, NPL 1). Что касается такого фильтра с адаптивным контуром, оптимальную фильтрацию выполняют для каждого кадра, и блоки шумов, которые не были полностью удалены в фильтре удаления блоков, и шумы из-за квантования могут быть уменьшены.
Однако, изображения обычно имеют различные свойства, поэтому, оптимальные коэффициенты фильтра являются локально разными. Что касается способа в NPL 1, один и тот же коэффициент фильтра применяют для всех пикселей в пределах одного кадра, так, что качество изображения всего кадра улучшается, но возникает некоторая проблема, связанная с возможным локальным ухудшением.
В соответствии с этим, рассматривалась возможность не выполнять фильтрацию в областях, в которых происходит локальное ухудшение (см., например, NPL 2 и NPL 3). В этом случае устройство кодирования изображения соответствует множеству блоков управления, расположенных без зазоров, как если бы они использовались, как мощеная улица, с областями изображения, и выполняют управление, следует или нет выполнить фильтрацию для изображения, для каждого блока управления. Устройство кодирования изображения устанавливает информацию флага для каждого блока и выполняет обработку адаптивного фильтра, в соответствии с информацией флага. Таким же образом, устройство декодирования изображения также выполняет обработку адаптивного фильтра, в соответствии с информацией флага.
Список литературы
Непатентная литература
NPL 1: Yi-Jen Chiu and L. Xu, "Adaptive (Wiener) Filter for Video Compression," ITU-T SGI6 Contribution, C437, Geneva, April 2008.
NPL 2: Takeshi. Chujoh, et al., "Block-based Adaptive Loop Filter" ITU-T SG16 Q6 VCEG Contribution, All8, Germany, July, 2008
NPL 3: T. Chujoh, N. Wada and G. Yasuda, "Quadtree-based Adaptive Loop Filter," ITU-T SGI 6 Q6 VCEG Contribution, VCEG-AK22(rl), Japan, April, 2009
Раскрытие изобретения
Техническая задача
Однако, существует способ, в котором один кадр разделяют на множество срезов, и обработку кодирования, и обработку декодирования изображения выполняют для каждого такого среза (множества срезов). NPL 2 и NPL 3 не упоминают обработку пикселей рядом с границами срезов, в случае множества срезов, и как они должны быть обработаны, остается неясным.
Настоящее изобретение было предложено с учетом этой ситуации, и его цель состоит в том, чтобы подавлять ухудшение эффектов фильтрации посредством локального управления фильтрацией при кодировании или декодировании.
Решение задачи
Один аспект настоящего изобретения представляет собой устройство обработки изображений, включающее в себя: средство определения, выполненное с возможностью определения, содержат ли пиксели, окружающие пиксель, предназначенный для обработки с использованием фильтрации, выполняемой локально на изображении, пиксели соседнего со срезом, содержащем пиксель, предназначенный для обработки среза; средство выбора, выполненное с возможностью выбора из множества способов, способа для фильтрации, предназначенной для выполнения над пикселем, предназначенным для обработки, на основании флага управления границей, в случае, когда средством определения определено, что пиксель соседнего среза содержится в окружающих пикселях; и средство фильтрации, выполненное с возможностью выполнения фильтрации для пикселя, предназначенного для обработки с использованием способа, выбранного средством выбора.
Средство выбора выполнено с возможностью выбора либо способа выполнения фильтрации для пикселя, предназначенного для обработки, после получения окружающих пикселей, расположенных в соседнем срезе, либо способа выполнения фильтрации для пикселя, предназначенного для обработки, посредством генерирования фиктивных данных окружающих пикселей, расположенных в соседнем срезе, путем дублирования окружающих пикселей, расположенных в срезе, включающем в себя пиксель, предназначенный для обработки.
Средство выбора выполнено с возможностью выбора либо способа выполнения фильтрации для пикселя, предназначенного для обработки, после получения окружающих пикселей, расположенных в соседнем срезе, либо способа пропуска выполнения фильтрации для пикселя, предназначенного для обработки.
Устройство обработки изображений может дополнительно включать в себя: средство генерирования, выполненное с возможностью генерирования флага управления границей на основе спецификаций системы; причем средство выбора выбирает способ фильтрации для пикселя, предназначенного для обработки, на основе флага управления границей, генерируемого средством генерирования.
Спецификации системы могут включать в себя аппаратные ресурсы устройства обработки изображений.
Спецификации системы могут включать в себя назначение использования устройства обработки изображений.
Устройство обработки изображений может дополнительно включать в себя: средство кодирования, выполненное с возможностью кодирования изображения и генерирования кодированных данных; причем средство кодирования дополнительно кодирует флаг управления границей, генерируемый средством генерирования, и добавляет к кодированным данным.
Устройство обработки изображений может дополнительно включать в себя: средство декодирования, выполненное с возможностью декодирования кодированных данных кодированного изображения, и генерирования упомянутого изображения; с помощью средства декодирования дополнительно декодируют кодированный флаг управления границей, который был добавлен к кодированным данным; и средство выбора выполнено с возможностью выбора способа фильтрации для пикселя, предназначенного для обработки, на основе флага управления границей, декодированного средством декодирования.
В одном аспекте настоящее изобретение также представляет собой способ обработки изображений, в котором средство определения устройства обработки изображений определяет, содержат ли пиксели, окружающие пиксель, предназначенный для обработки с использованием фильтрации, выполняемой локально на изображении, пиксели соседнего со срезом, в который включен пиксель, предназначенный для обработки среза, средство выбора устройства обработки изображений выбирает из множества способов, способ для фильтрации, предназначенный для выполнения над пикселем, предназначенным для обработки, на основании флага управления границей, в случае, когда определяется, что пиксель соседнего среза содержится в окружающих пикселях, и средство фильтрации устройства обработки изображений выполняет фильтрацию, в отношении пикселя, предназначенного для обработки с помощью способа, который был выбран.
В аспекте настоящего изобретения выполняют определение в отношении содержания пикселей в окружении пикселя, предназначенного для обработки, используя фильтрацию, выполняемую локально на изображении, пикселей соседнего со срезом, в который включен пиксель, предназначенный для обработки среза, способ для фильтрации, предназначенный для выполнения над пикселем, предназначенным для обработки, выбирают из множества способов на основании флага управления границей, в случае, когда определяют, что пиксель соседнего среза содержится в окружающих пикселях, и выполняют фильтрацию для пикселя, предназначенного для обработки, с использованием способа, который был выбран.
Полезные эффекты изобретения
В соответствии с настоящим изобретением, изображение может быть кодировано или декодировано. В частности, ухудшение эффектов фильтрации может быть подавлено посредством локального управления фильтрацией, при кодировании или декодировании. Например, ухудшение эффектов фильтрации может быть подавлено даже в случае выполнения кодирования или декодирования, когда каждый кадр изображения разделен на множество.
Краткое описание чертежей
На фиг. 1 показана блок-схема, иллюстрирующая конфигурацию варианта осуществления устройства кодирования изображения, в котором было применено настоящее изобретение.
На фиг. 2 показана схема, описывающая обработку прогнозирования/компенсации движения с переменным размером блока.
На фиг. 3 показана блок-схема, описывающая пример основной конфигурации примера модуля генерирования управляющей информации.
На фиг. 4 показана схема, описывающая блоки ALF и флаги блока фильтра.
На фиг. 5 показана схема, описывающая пример множества срезов.
На фиг. 6 показана схема, описывающая окружающие пиксели, используемые для фильтрации.
На фиг. 7 показана схема, описывающая способ, в соответствии с которым выполняют фильтрацию близко к границе.
На фиг. 8 показана блок-схема, описывающая пример первичной конфигурации модуля обработки адаптивного фильтра.
На фиг. 9 показана блок-схема последовательности операций, описывающая пример последовательности обработки кодирования.
На фиг. 10 показана блок-схема последовательности операций, описывающая пример последовательности обработки генерирования управляющей информации.
На фиг. 11 показана блок-схема последовательности операций, описывающая пример последовательности обработки установки граничного флага управления.
На фиг. 12 показана блок-схема последовательности операций, описывающая пример последовательности обработки управления адаптивным фильтром.
На фиг. 13 показана блок-схема последовательности операций, описывающая пример последовательности фильтрации.
На фиг. 14 показана блок-схема последовательности операций, описывающая пример последовательности фильтрации.
На фиг. 15 показана блок-схема, описывающая пример основной конфигурации декодера изображения, в котором применено настоящее изобретение.
На фиг. 16 показана блок-схема последовательности операций, описывающая пример последовательности обработки декодирования.
На фиг. 17 показана блок-схема, описывающая другой пример конфигурации устройства кодирования изображения, в котором применено настоящее изобретение.
На фиг. 18 показана блок-схема, описывающая другой пример конфигурации декодера изображения, в котором применено настоящее изобретение.
На фиг. 19 показана блок-схема последовательности операций, описывающая пример последовательности обработки для обмена информацией спецификации.
На фиг. 20 показана схема, описывающая другой пример блоков ALF и флагов блока фильтра.
На фиг. 21 показана схема, описывающая другой пример блоков ALF и флагов блока фильтра.
На фиг. 22 показана схема, описывающая способ обработки, выполняемой в случае множества срезов.
На фиг. 23 показана блок-схема, описывающая пример основной конфигурации персонального компьютера, в котором применено настоящее изобретение.
На фиг. 24 показана блок-схема, описывающая пример основной конфигурации телевизионного приемника, в котором применено настоящее изобретение.
На фиг. 25 показана блок-схема, описывающая пример основной конфигурации сотового телефона, в котором применено настоящее изобретение.
На фиг. 26 показана блок-схема, описывающая пример основной конфигурации устройства записи жесткого диска, в котором применено настоящее изобретение.
На фиг. 27 показана блок-схема, описывающая пример основной конфигурации камеры, в которой применено настоящее изобретение.
На фиг. 28 показана схема, иллюстрирующая пример макро-блоков.
Осуществление изобретения
Далее будут описаны варианты осуществления настоящего изобретения. Следует отметить, что описание будет представлено в следующем порядке.
1. Первый вариант осуществления (устройство кодирования изображения)
2. Второй вариант осуществления (устройство декодирования изображения)
3. Третий вариант осуществления (система кодирования/декодирования изображения)
4. Четвертый вариант осуществления (QALF)
5. Пятый вариант осуществления (персональный компьютер)
6. Шестой вариант осуществления (телевизионный приемник)
7. Седьмой вариант осуществления (сотовый телефон)
8. Восьмой вариант осуществления (устройство записи на жесткий диск)
9. Девятый вариант осуществления (камера)
1. Первый вариант осуществления Конфигурация устройства
На фиг. 1 представлена конфигурация варианта осуществления устройства кодирования изображения, используемого в качестве устройства обработки изображений, в котором применено настоящее изобретение.
Устройство 100 кодирования изображения, показанное на фиг. 1, представляет собой устройство кодирования изображения, которое подвергает изображение кодированию сжатия, используя, например, формат Н.264 и MPEG 4 Part10 (Улучшенное кодирование видеоданных) (ниже обозначено, как формат Н.264/AVC), и дополнительно используется фильтр с адаптивным контуром.
В примере, показанном на фиг. 1, устройство 100 кодирования изображения имеет модуль 101 A/D (аналогово/цифрового) преобразования, буфер 102 изменения компоновки экрана, вычислительный модуль 103, модуль 104 ортогонального преобразования, модуль 105 квантования, модуль 106 кодирования без потерь и буфер 107 сохранения. Устройство 100 кодирования изображения также имеет модуль 108 обратного квантования, модуль 109 обратного ортогонального преобразования, вычислительный модуль ПО и фильтр 111 удаления блоков. Кроме того, устройство 100 кодирования изображения имеет модуль 112 генерирования информации управления, модуль 113 обработки адаптивного фильтра и запоминающее устройство 114 кадра. Кроме того, устройство 100 кодирования изображения имеет модуль 115 прогнозирования внутри кадра, модуль 116 компенсации движения, модуль 117 прогнозирования движения и модуль 118 выбора изображения прогнозирования. Кроме того, устройство 100 кодирования изображения имеет модуль 119 управления скоростью.
Модуль 101 A/D преобразования выполняет A/D преобразование для входного изображения, и выводит в буфер 102 изменения компоновки экрана и сохраняет. Буфер 102 изменения компоновки экрана изменяет компоновку изображения кадров в сохраненном порядке для отображения в порядке кадров для кодирования в соответствии с GOP (группа изображений). Вычислительный модуль 103 вычитает из изображения, считываемого из буфера 102 изменения компоновки экрана, изображение прогнозирования модуля 115 прогнозирования внутри кадра, выбранного модулем 118 выбора изображения прогнозирования, или изображение прогнозирования из модуля 116 компенсации движения, и выводит информацию разности в модуль 104 ортогонального преобразования. Модуль 104 ортогонального преобразования подвергает информацию разности от вычислительного модуля 103 ортогональному преобразованию, такому, как дискретное косинусное преобразование, преобразование Карунена-Лоэва и т.п., и выводит его коэффициент преобразования. Модуль 105 квантования квантует коэффициент преобразования, который выводит модуль 104 ортогонального преобразования.
Квантованный коэффициент преобразования, который выводит модуль 105 квантования, подают на модуль 106 кодирования без потерь, где его подвергают кодированию без потерь, такому как кодирование с переменной длиной, арифметическое кодирование и т.п., и сжимают.
Модуль 106 кодирования без потерь получает информацию, обозначающую прогнозирование внутри кадра и т.д., от модуля 115 прогнозирования внутри кадра, и получает информацию, указывающую режим прогнозирования между кадрами и т.д., от модуля 117 прогнозирования движения. Следует отметить, что информация, обозначающая прогнозирование внутри кадра, в дальнейшем также может называться информацией режима прогнозирования внутри кадра. Кроме того, информация, обозначающая прогнозирование между кадрами, в дальнейшем также будет называться информацией режима прогнозирования между кадрами.
Модуль 106 кодирования без потерь получает информацию управления обработкой адаптивного фильтра, выполняемой в модуле 113 обработки адаптивного фильтра, из модуля 112 генерирования информации управления.
Модуль 106 кодирования без потерь кодирует квантованный коэффициент преобразования, и также кодирует информацию управления обработкой адаптивного фильтра, информацию, указывающую прогнозирование внутри кадра, информацию, указывающую режим прогнозирования между кадрами, параметры квантования и т.д., и получаемые, как часть информации заголовка в сжатом изображении (мультиплексирование). Модуль 106 кодирования без потерь подает кодированные данные в буфер 107 хранения для хранения.
Например, с помощью модуля 106 кодирования без потерь, выполняют обработку кодирования без потерь, такую, как кодирование переменной длины, арифметическое кодирование и т.п.Примеры кодирования переменной длины включают в себя CAVLC (Адаптивное к контексту кодирование переменной длины) определенное форматом H.264/AVC. Примеры арифметического кодирования включают в себя САВАС (Адаптивное к контексту двоичное арифметическое кодирование).
Буфер 107 сохранения временно содержит данные, предоставляемые модулем 106 кодирования без потерь, и в заданные моменты времени выводит их, например, в устройство хранения или в канал передачи и т.п., расположенный после него, и не показанный на чертеже, в качестве сжатого изображения, кодированного в формате H.264/AVC.
Кроме того, квантованный коэффициент преобразования, выводимый модулем 105 квантования, также вводят в модуль 108 обратного квантования. Модуль 108 обратного квантования выполняет обратное квантование квантованного коэффициента преобразования с помощью способа, соответствующего квантованию, в модуле 105 квантования, и вводят полученный коэффициент преобразования в модуль 109 обратного ортогонального преобразования.
Модуль 109 обратного ортогонального преобразования выполняет обратное ортогональное преобразование поданных коэффициентов преобразования, используя способ, соответствующий обработке ортогонального преобразования, выполняемый с помощью модуля 104 ортогонального преобразования. Выходные данные, подвергнутые обратному ортогональному преобразование, подают на вычислительный модуль 110. Вычислительный модуль 110 суммирует изображение прогнозирования, подаваемое от модуля 118 выбора изображения прогнозирования, с результатом обратного ортогонального преобразования, поданным модулем 109 обратного ортогонального преобразования, то есть, восстановленную информацию разности, и получает локально декодированное изображение (декодированное изображение). Результаты суммирования подают в фильтр 111 удаления блоков.
Фильтр 111 удаления блоков удаляет блоки шумов из декодированного изображения. Фильтр 111 удаления блоков затем подает результаты удаления шумов на модуль 112 генерирования информации управления и модуль 113 обработки адаптивного фильтра.
Модуль 112 генерирования информации управления получает декодированное изображение, поданное от фильтра 111 удаления блоков, и текущее входное изображение, считываемое из буфера 102 изменения компоновки экрана, и генерирует из них информацию управления для адаптивной фильтрации, выполняемой в модуле 113 обработки адаптивного фильтра. Хотя детали будут описаны ниже, информация управления включает в себя коэффициенты фильтра, размер блока, флаги блока фильтра и флаги управления границей и т.п.
Модуль 112 генерирования информации управления подает генерируемую информацию управления на модуль 113 обработки адаптивного фильтра. Модуль 112 генерирования информации управления также подает сгенерированную информацию управления на модуль 106 кодирования без потерь. Как описано выше, информацию управления подвергают обработке сжатия без потерь с помощью модуля 106 кодирования без потерь, и включают в информацию сжатого изображения (мультиплексируют). То есть, информацию управления передают в устройство декодирования изображения вместе с информацией сжатия изображения.
Модуль 113 обработки адаптивного фильтра выполняет фильтрацию для декодированного изображения, переданного от фильтра 111 удаления блоков, используя коэффициенты фильтра, спецификацию размера блока и флаги блока фильтра, и т.п., информации управления, переданной от модуля 112 генерирования информации управления. Фильтр Винера (фильтр Винера), например, используется в качестве такого фильтра. Конечно, можно использовать другой фильтр, кроме фильтра Винера. Модуль 113 обработки адаптивного фильтра передает результат фильтрации в запоминающее устройство 114 кадра, и сохраняет, как опорное изображение.
Память 114 кадра выводит сохраненное опорное изображение на модуль 116 компенсации движения и модуль 117 прогнозирования движения в заданные моменты времени.
В таком устройстве 100 кодирования изображения, например, картинку I, картинку В и картинку Ρ из буфера 102 изменения компоновки экрана передают в модуль 115 прогнозирования внутри кадра, как изображение, подвергаемое обработке прогнозирования внутри кадра (также называется обработкой внутри кадра). Кроме того, картинка В и картинка Р, считываемые из буфера 102 изменения компоновки экрана, подают в модуль 117 компенсации движения, как изображение, подвергаемое обработке прогнозирования между кадрами (также называется обработкой между кадрами).
Модуль 115 прогнозирования внутри кадра выполняет обработку прогнозирования внутри кадра всех кандидатов режима прогнозирования внутри кадра на основе изображения, подвергаемого прогнозированию внутри кадра, считываемому из буфера 102 изменения компоновки экрана, и опорного изображения, поданного из запоминающего устройства 114 кадра для генерирования изображения прогнозирования.
С помощью модуля 115 прогнозирования внутри кадра, информацию, относящуюся к режиму прогнозирования внутри кадра, подаваемую в текущий блок/макроблок, преобразуют в модуле 106 кодирования без потерь, и кодируют, как часть информации заголовка в информацию сжатия изображения. В формате кодирования информация изображения Н.264, режим прогнозирования внутри кадра 4×4, режим прогнозирования внутри кадра 8×8 и режим прогнозирования внутри кадра 16×16 определены для сигналов яркости, и также в отношении цветоразностных сигналов режим прогнозирования может быть определен для каждого макроблока, независимого от сигналов яркости. Для режима прогнозирования внутри кадра 4×4 определяют один режим прогнозирования внутри кадра для каждого блока яркости размером 4×4. Для режима прогнозирования внутри кадра размером 8×8 определяют один режим прогнозирования внутри кадра для каждого блока яркости 8×8. Для режима прогнозирования внутри кадра 16×16 и для цветоразностных сигналов, один режим прогнозирования внутри кадра определяют для каждого макроблока.
Модуль 115 прогнозирования внутри кадра рассчитывает значение функции стоимости для режима прогнозирования внутри кадра, где изображение прогнозирования было сгенерировано, и выбирает режим прогнозирования внутри кадра, где рассчитанное значение функции стоимости получает минимальное значение, как оптимальный режим прогнозирования внутри кадра. Модуль 115 прогнозирования внутри кадра подает изображение прогнозирования, генерируемое в оптимальном режиме прогнозирования внутри кадра, в модуль 118 выбора изображения прогнозирования.
Что касается изображения, подвергаемого прогнозированию между кадрами, модуль 117 прогнозирования движения получает информацию изображения, передаваемую от буфера 102 изменения компоновки экрана (входное изображение) и информацию изображения, используемую, как опорный кадр, передаваемую от запоминающего устройства 114 кадра (декодируемое изображение), и рассчитывает вектор движения. Модуль 117 прогнозирования движения продает информацию вектора движения, обозначающую рассчитанный вектор движения, на модуль 106 кодирования без потерь. Такую информацию вектора движения подвергают обработке сжатия без потерь с помощью модуля 106 кодирования без потерь, и включают в информацию сжатия изображения. То есть, информацию вектора движения подают в устройство декодирования изображения вместе с информацией сжатия изображения.
Кроме того, модуль 117 прогнозирования движения также подает информацию вектора движения на модуль 116 компенсации движения.
Модуль 116 компенсации движения выполняет обработку компенсации движения в соответствии с информацией вектора движения, переданной от модуля 117 прогнозирования движения, и генерирует информацию изображения прогнозирования между кадрами. Модуль 116 компенсации движения подает сгенерированную информацию изображения прогнозирования в модуль 118 выбора изображения прогнозирования.
В случае изображения для выполнения кодирования внутри кадра, модуль 118 выбора изображения прогнозирования подает выходные данные модуля 115 прогнозирования внутри кадра на вычислительный модуль 103, и в случае изображения для выполнения кодирования между кадрами подает выходные данные модуля 116 компенсации движения на вычислительный модуль 103.
Модуль 119 управления скоростью управляет скоростью операций квантования модуля 105 квантования на основании сжатого изображения, сохраненного в буфере 107 хранения, таким образом, что не происходит переполнение или потеря значимости буфера.
В MPEG (Экспертная группа по вопросам движущегося изображения) 2, последовательное приращение обработки прогнозирования/компенсации движения представляет собой блоки компенсации движения, и независимая информация вектора движения может содержаться в каждом блоке компенсации движения. Размер блока компенсации движения составляет 16×16 пикселей, в случае режима компенсации движения кадра, и в случае режима компенсации движения поля составляет 16×8 пикселей для каждого из первого поля и второго поля.
С другой стороны, при кодировании AVC (Улучшенное кодирование видеоданных), один макроблок, составленный из 16×16 пикселей, как показано в верхней части на фиг. 2, может быть разделен на любые участки размером 16×16, 16×8, 8×16 или 8×8, каждый из которых содержит независимую информацию вектора движения. Кроме того, как показано в нижней части на фиг. 2, участок 8×8 может быть разделен на любой из подучастков размером 8×8, 8×4, 4×8 или 4×4, каждый из которых содержит информацию независимого вектора движения. Обработка прогнозирования/компенсации движения выполняется в таком блоке компенсации движения в качестве последовательного приращения.
На фиг. 3 показана блок-схема, иллюстрирующая пример первичной конфигурации модуля 112 генерирования информации управления.
Модуль 112 генерирования информации управления генерирует информацию управления, используемую, в адаптивном фильтре (ALF (адаптивный контурный фильтр)), который представляет собой контурный фильтр, выполняемый в модуле 113 обработки адаптивного фильтра. Модуль 112 генерирования информации управления генерирует, в качестве информации управления, например, коэффициенты фильтра, размер блока ALF, флаги блока фильтра и флаги управления границей.
Модуль 112 генерирования информации управления имеет модуль 131 расчета коэффициента фильтра, модуль 132 генерирования флага управления границей и модуль 133 генерирования информации блока.
Модуль 131 расчета коэффициента фильтра получает декодированное изображение, подаваемое от фильтра 111 удаления блоков, и текущее входное изображение, считываемое из буфера 102 изменения компоновки экрана, и рассчитывает коэффициент фильтра ALF для каждого кадра.
Модуль 132 генерирования флага управления границей генерирует флаг управления границей (alf_enable_in_slice_boundary), который управляет, как должна быть выполнена фильтрация для пикселей, расположенных рядом с границей срезов, множество из которых сформировано в кадре (устанавливает способ фильтрации). Подробности будут описаны ниже.
Модуль 133 генерирования информации блока определяет размер блока ALF на основе декодированного изображения, переданного фильтром 111 удаления блоков, и коэффициентов фильтра, рассчитанных модулем 131 расчета коэффициента фильтра, и генерирует флаг блока фильтра для каждого блока ALF в пределах среза, предназначенного для обработки.
Далее будет представлено описание в отношении блока ALF и флага блока фильтра. На фиг. 4 показана схема, предназначенная для описания блоков ALF и флагов блока фильтра.
Как описано выше, адаптивный фильтр имеет коэффициенты фильтра, установленные для каждого кадра. То есть, оптимальную фильтрацию выполняют с покадровыми приращениями. Однако, обычно изображения кадра не являются полностью однородными, и имеют различные локальные особенности. Поэтому, оптимальные коэффициенты фильтра отличаются локально. В соответствии с этим, в то время как фильтрация, с использованием коэффициентов фильтра, определенных в каждом кадре, как описано выше, улучшает качество изображения для общего кадра, существовала озабоченность, состоящая в том, что она фактически может привести к локальным ухудшениям.
В соответствии с этим, был рассмотрен BALF (адаптивный контурный фильтр на основе блока), в котором фильтрацию не выполняют в областях, где качество изображения локально ухудшается.
Декодированное изображение после фильтрации удаления блоков показано в кадре 151 в позиции А на фиг. 4. Как показано в позиции В на фиг. 4, модуль 133 генерирования информации блока располагает множество блоков 152 ALF, которые представляют собой блоки управления, используемые как последовательное приращение управления для обработки адаптивного фильтра, выполняемой локально, без зазоров, как если бы их использовали в качестве вымощенной мостовой по всей области кадра 151. Область, где размещены блоки 152 ALF, не обязательно должна быть той же, что и область кадра 151, но включает в себя, по меньшей мере, всю область кадра. Область кадра 151, в результате, разделяют на области блоков 152 ALF (множество областей).
Модуль 133 генерирования информации блока определяет размер в горизонтальном направления (двусторонние стрелки 153), и размер в вертикальном направлении (двусторонние стрелки 154) блока 152 ALF. Для размера блоков ALF, в каждом срезе может быть установлен один из блоков 8×8, 16×16, 24×24, 32×32, 48×48, 64×64, 96×96 или 128×128. Информация, определяющая размер блока ALF, будет называться индексом размера блока.
После определения размера блока, также определяют количество блоков ALF в кадре, поскольку размер кадра является фиксированным.
Как показано в позиции С на фиг. 4, модуль 133 генерирования информации блока устанавливает флаг 155 блока фильтра, который управляет, следует или нет выполнить фильтрацию, в каждом блоке 152 ALF. Например, флаг 155 блока фильтра со значением "1" генерируют для области, где качество изображения улучшено с помощью адаптивного фильтра, и флаг 155 блока фильтра со значением "0" генерируют для области, где качество изображения было ухудшено адаптивным фильтром. С помощью флага 155 блока фильтра, значение "1" представляет собой значение, обозначающее, что фильтрация должна быть выполнена, и значение "О" представляет собой значение, обозначающее, что фильтрацию не следует выполнять.
Модуль 113 обработки адаптивного фильтра управляет обработкой адаптивного фильтра, на основе значения флага 155 блока фильтра. Например, модуль 113 обработки адаптивного фильтра выполняет фильтрацию только в областях, где блоки 152 ALF имеют значение "1" для флага 155 фильтра, и не выполняет фильтрацию в областях, где блоки 152 ALF имеют значение "0" для флага 155 фильтра.
Кроме того, описанный выше индекс размера блока и флаг блока фильтра включены в заголовок среза информации о сжатии изображения, и их передают с устройства 100 кодирования изображения на устройство декодирования изображения. Один или больше флагов блока фильтра, соответствующих количеству блоков ALF, включены в заголовок среза, например, в порядке растрового сканирования.
В соответствии с этим, может быть реализован меньший размер блока ALF, может быть выполнено более тонкое управление фильтром, и более соответствующая фильтрация ALF. Однако, меньший размер блока ALF увеличивает количество битов флагов блока фильтра. То есть, чем меньше размер блока ALF, тем в большей степени уменьшается эффективность кодирования информации сжатия изображения. Таким образом, возможности адаптивного фильтра и эффективность кодирования информации сжатия изображения составляют компромисс друг с другом.
Количество блоков ALF рассчитывают, исходя из следующего Выражения (1).
Математическое выражение 1
Figure 00000001
В Выражении (1) NALFBLOCK представляет количество блоков ALF. Кроме того, NMBw представляет количество макроблоков в горизонтальном направлении изображения, и NMBh представляет количество макро-блоков в вертикальном направлении изображения. Кроме того, NSIZE представляет собой размер одной стороны блока ALF. Кроме того, floor[x] представляет собой функцию, в которой x округляют до десятичных значений так, чтобы оно стало целым числом.
Далее, что касается H.264/AVC, один кадр может быть разделен на множество срезов, и информация сжатия изображения может быть выведена для каждого среза. На фиг. 5 показана схема, описывающая пример множества срезов. В случае примера по фиг. 5, кадр 151 разделен на три среза, такие, как срез 0, срез 1 и срез 2.
Путем вывода информации сжатия изображения с более мелкими последовательными приращениями среза, чем кадры, устройство кодирования изображения может генерировать информацию сжатия выходного изображения за более короткие интервалы. То есть, устройство декодирования изображения, которое декодирует информацию сжатия изображения, может начать декодировать информацию сжатия изображения на более раннем этапе. То есть, время задержки от ввода изображения в процесс кодирования и выполняемая обработка кодирования, и вывод изображения, могут быть сокращены.
NPL 2, который описывает BALF, не раскрывает это множество срезов. То есть, описан только выбор блоков ALF для всего кадра. Однако, в случае множества срезов, иногда нормальная фильтрация не может быть выполнена из-за пикселей, расположенных рядом с границей срезов.
На фиг. 6 показана схема, иллюстрирующая способ, с помощью которого выполняют фильтрацию для пикселей, расположенных рядом с границей среза. В случае выполнения фильтрации, например, для двух обрабатываемых пикселей, модуль 113 обработки адаптивного фильтра выполняет ее, используя пиксели, находящиеся в заданном диапазоне вокруг пикселя, предназначенного для обработки (окружающие пиксели). Например, в случае фиг. 6, модуль 113 обработки адаптивного фильтра выполняет фильтрацию для пикселя 161, предназначенного для обработки, используя 9×9 окружающих пикселей 162, показанных заштрихованными.
Однако, как показано на фиг. 6, пиксель 161, предназначенный для обработки, представляет собой пиксель, расположенный рядом с границей 163 среза. Теперь граница 163 среза обозначает границу между срезом, который должен быть обработан в настоящее время (текущий срез), и срезом, граничащим со срезом, предназначенным для обработки (соседний срез). То есть, граница 163 среза обозначает внешний кадр текущего среза.
Как показано на фиг. 6, окружающие пиксели 162, используемые для фильтрации пикселя 161, предназначенного для обработки, рядом с границей 163 среза, частично пересекают границу 163 среза и охватывают область соседнего среза. То есть, для выполнения фильтрации пикселя 161, предназначенного для обработки таким же образом, как и в нормальном случае, значения пикселя соседнего среза необходимы, как показано, например, в позиции А на фиг. 7.
В случае, когда например в позиции А на фиг. 7 модуль 113 обработки адаптивного фильтра выполняет фильтрацию для пикселя ЕЕ, который представляет собой пиксель, предназначенный для обработки с использованием пикселей АА-JJ, как в текущем срезе, так и в соседнем срезе.
Однако, чтобы выполнить это, следует подождать генерирования декодированного изображения соседнего среза. В соответствии с этим, в этом случае, считалось, что время задержки при обработке кодирования будет увеличиваться.
С другой стороны, существует способ генерирования и использования фиктивных данных, как показано, например, в позиции В на фиг. 7. В случае примера, показанного в позиции В на фиг. 7, модуль 113 обработки адаптивного фильтра дублирует пиксель ЕА через пиксель EJ, расположенный рядом с границей 163 среза, генерируя, таким образом, пиксели в пределах соседнего среза для окружающих пикселей 162 (фиктивные данные). Модуль 113 обработки адаптивного фильтра выполняет фильтрацию для пикселя ЕЕ, используя сгенерированные фиктивные данные.
Таким образом, модуль 113 обработки адаптивного фильтра не должен ждать, пока будут сгенерированы пиксели соседнего среза, и может быть выполнена фильтрация для пикселя ЕЕ на более раннем этапе, чем в случае, показанном в позиции А на фиг. 7.
То есть, для случая способа А, показанного на фиг. 7, используя пиксели соседнего среза, модуль 113 обработки адаптивного фильтра использует фактические данные, таким образом, что фильтрация может быть выполнена более соответствующим образом для содержания фактического изображения. То есть, можно ожидать значительного улучшения качества изображения, благодаря фильтрации.
С другой стороны, в случае способа, показанного в позиции В на фиг. 7, модулю 113 обработки адаптивного фильтра не требуются данные соседнего среза для фильтрации, и обработка может быть выполнена с данными, только используя данные текущего среза, так, что фильтрация может быть выполнена на более раннем этапе.
Какой способ является желательным, зависит от спецификации системы, запросов пользователя и т.д. Например, если в системе подчеркивается качество изображения, способ, показанный в позиции А на фиг. 7, но способ в позиции А на фиг. 7 потребляет больший объем памяти, чем способ в позиции В на фиг. 7, и существует опасение, состоящее в том, что увеличится время задержки. В соответствии с этим, в зависимости от емкости памяти, которую можно использовать в системе и терпимой длительности времени задержки, возможны случаи, когда способ, показанный в позиции В на фиг. 7, является более предпочтительным.
Флаг управления границей управляет способом фильтрации, например, пикселями, расположенными рядом с границей.
Возвращаясь к фиг. 3, модуль 132 генерирования флага управления границей генерирует такие флаги управления границей. Модуль 132 генерирования флага управления границей имеет модуль 141 управления спецификацией системы, модуль 142 определения и модуль 143 генерирования.
Модуль 141 управления спецификацией системы управляет спецификациями системы, выполняя обработку изображений (ресурсы аппаратных средств, назначение использования и т.д.), включающих устройство 100 кодирования изображения. Например, модуль 141 управления спецификацией системы может быть выполнен с возможностью управлять спецификациями (аппаратными ресурсами, объектом назначения и т.д.) устройства декодирования изображения, кодированного в устройстве 100 декодирования изображения.
Модуль 142 определения определяет, является или нет пиксель, предназначенный для обработки, пикселем, расположенным рядом с границей. Модуль 143 генерирования генерирует флаги управления границей для пикселей, предназначенных для обработки, которые были определены, как пиксели, расположенные рядом с границей.
На фиг. 8 показана блок-схема, иллюстрирующая пример основной конфигурации модуля 113 обработки адаптивного фильтра по фиг. 1.
Модуль 113 обработки адаптивного фильтра выполняет фильтрацию для декодированного изображения, подаваемого от фильтра 111 удаления блоков, используя информацию управления, подаваемую от модуля 112 генерирования информации управления.
Как показано на фиг. 9, модуль 113 обработки адаптивного фильтра имеет модуль 171 управления, адаптивный фильтр 172 и модуль 173 выбора.
Модуль 171 управления управляет адаптивным фильтром 172 и модулем 173 выбора. Например, модуль 171 управления получает информацию управления от модуля 112 генерирования информации управления, и управляет фильтрацией, на основании информации управления.
Адаптивный фильтр 172 выполняет фильтрацию для области в декодированном изображении, подаваемой из фильтра 111 удаления блоков, определенных, как блоки ALF, предназначенные для обработки, из модуля 171 управления, используя коэффициент фильтра, установленный модулем 171 управления.
Адаптивный фильтр 172 имеет буфер 181, адаптивный фильтр 182 в срезе, первый адаптивный фильтр для границы 183 и второй адаптивный фильтр для границы 184.
Буфер 181 временно содержит декодированное изображение, подаваемое от фильтра 111 удаления блоков. Буфер 181 может содержать не только срез, предназначенный для обработки, но также и срез, соседний со срезом, предназначенным для обработки (соседний срез).
Адаптивный фильтр 182 в срезе выполняет фильтрацию для пикселей, предназначенных для обработки, которые не находятся рядом с границей среза, и в отношении которых пиксели соседнего среза не содержатся в окружающих пикселях под управлением модуля 171 управления. То есть, адаптивный фильтр 182 в срезе выполняет фильтрацию, используя только пиксели текущего среза.
Первый адаптивный фильтр для границы 183 выполняет фильтрацию разнесенных срезов по пикселям, предназначенным для обработки, которые находятся рядом с границей среза и в отношении которых пиксели соседнего среза содержатся в окружающих пикселях, под управлением модуля 171 управления. То есть, первый адаптивный фильтр для границы 183 выполняет фильтрацию, используя пиксели текущего среза и соседнего среза, с помощью способа, такого, как показан в позиции А на фиг. 7. В соответствии с этим, первый адаптивный фильтр для границы 183 начинает фильтрацию после того, как пиксели соседнего среза будут накоплены в буфере 181.
Второй адаптивный фильтр для границы 184 выполняет фильтрацию, замкнутую в текущем срезе, для пикселей, предназначенных для обработки, которые расположены ближе к границе среза, и в отношении которых пиксели соседнего среза содержатся в окружающих пикселях, под управлением модуля 171 управления. То есть, второй адаптивный фильтр для границы 184 выполняет фильтрацию, путем генерирования фиктивных данных, в соответствии с необходимостью, используя пиксели только текущего среза, с помощью такого способа, как показано в позиции В на фиг. 7. В соответствии с этим, второй адаптивный фильтр для границы 184 начинает фильтрацию после того, как пиксели текущего среза будет накоплены в буфере 181.
Модуль 171 управления выбирает один из адаптивного фильтра 182 в срезе, первого адаптивного фильтра для границы 183, и второго адаптивного фильтра для границы 184, после чего положения пикселя, предназначенного для обработки и значения флага управления границей, включают в информацию управления, и обеспечивает выполнение выбранным модулем фильтрации, используя его собственный способ.
[0100] Кроме того, модуль 171 управления управляет моментом начала фильтрации выбранного модуля обработки (в адаптивном фильтре 182 в срезе, первом адаптивном фильтре для границы 183, или втором адаптивном фильтре для границы 184), в соответствии с состоянием накопления изображения в буфере 181.
Адаптивный фильтр 172 (адаптивный фильтр 182 в срезе, первый адаптивный фильтр для границы 183, или второй адаптивный фильтр для границы 184) подает результаты фильтрации в модуль 173 выбора.
Под управлением модуля 171 управления, модуль 173 выбора выбирает одно из декодированных изображений, подаваемых от фильтра 111 удаления блоков (декодированное изображение, не подвергнутое обработке адаптивным фильтром) и декодированное изображение, поданное от адаптивного фильтра 172 (декодированное изображение, подвергнутое обработке адаптивным фильтром), подает в память 114 кадра, и сохраняет, как опорное изображение.
Модуль 171 управления управляет модулем 173 выбора, следуя значению флага блока фильтра, включенному в информацию управления, для выбора одного из декодированного изображения, не подвергавшегося обработке адаптивного фильтра, и декодированного изображения, подвергнутого обработке адаптивного фильтра.
То есть, модуль 113 обработки адаптивного фильтра выполняет фильтрацию только для области в декодированном изображении, поданном от фильтра 111 удаления блоков, в отношении которого было обозначено, что требуется выполнить фильтрацию по флагу блока фильтра (область, в отношении которого было выполнено определение, что качество изображения будет улучшено в результате фильтрации).
Последовательность обработки
Далее будет описана последовательность обработки, использующая участки, выполненные, как описано выше. Вначале, со ссылкой на блок-схему последовательности операций, показанную на фиг. 9, будет описан пример неглубокой обработки кодирования, выполняемой устройством 100 кодирования изображения 100.
На этапе S101, модуль 101 A/D преобразования преобразует входное изображение из аналогового в цифровое. На этапе S102, буфер 102 изменения компоновки экрана сохраняет A/D преобразованное изображение, и выполняет изменение компоновки из последовательности для отображения изображения на последовательность кодирования.
На этапе S103, вычислительный модуль 103 рассчитывает разность между изображением, компоновка которого была изменена в результате обработки на этапе S102, и изображением прогнозирования. Изображение прогнозирования подают в вычислительный модуль 103 от модуля 116 компенсации движения в случае выполнения прогнозирования между кадрами, и из модуля 115 прогнозирования внутри кадров в случае выполнения прогнозирования внутри кадра, через модуль 118 выбора изображения прогнозирования.
Данные разности меньше по объему данных по сравнению с данными исходного изображения. В соответствии с этим, количество данных может быть сжато по сравнению со случаем кодирования исходного изображения без изменения.
На этапе S104, модуль 104 ортогонального преобразования подвергает информацию разности, генерируемую на этапе S103 обработки, ортогональному преобразованию. В частности, ортогональное преобразование, такое как дискретное косинусное преобразование, преобразование Карунена-Лоэва и т.п., может быть выполнено, и выводят коэффициент преобразования. На этапе S105, модуль 105 квантования квантует коэффициент преобразования. Во время этого квантования управляют скоростью, так, как при описанной ниже обработке на этапе S119.
Информацию разности, квантованную таким образом, локально декодируют следующим образом. В частности, на этапе S106, модуль 108 обратного квантования подвергает коэффициент преобразования, квантованный с помощью модуля 105 квантования, обратному квантованию, используя свойство, соответствующее свойству модуля 105 квантования. На этапе S107, модуль 109 обратного ортогонального преобразования подвергает коэффициент преобразования, подвергнутый обратному квантованию, с помощью модуля 108 обратного квантования, обратному ортогональному преобразованию, используя свойство, соответствующее свойству модуля 104 ортогонального преобразования.
На этапе S108 вычислительный модуль ПО добавляет изображение прогнозирования, вводимое через модуль 118 выбора изображения прогнозирования, в локально декодированную информацию разности, и генерирует локально декодированное изображение (изображение, соответствующее входным данным, в вычислительный модуль 103). На этапе S109, фильтр 111 удаления блоков подвергает фильтрации изображение, выводимое от вычислительного модуля ПО. Таким образом, удаляют блоки шумов.
После выполнения описанной выше обработки для одного среза, на этапе S110 модуль 112 генерирования информации управления генерирует информацию управления, используемую для обработки адаптивного фильтра. Детали обработки генерирования информации управления будут подробно описаны ниже.
После генерирования информации управления, такой, как коэффициенты фильтра, размер блока ALF и флаг блока фильтра, и т.п.в ходе обработки на этапе S110, на этапе S111 модуль 113 обработки адаптивного фильтра выполняет обработку адаптивного фильтра для декодированного изображения, подвергнутого фильтрации удаления блоков во время обработки на этапе S109. Детали такой обработки адаптивного фильтра будут описаны ниже.
На этапе S112, запоминающее устройство 114 кадра содержит изображение, подвергнутое адаптивной фильтрации на этапе S111.
На этапе S113, модуль 115 прогнозирования внутри кадра выполняет обработку прогнозирования внутри кадра в режиме прогнозирования внутри кадра. На этапе S114 модуль 117 прогнозирования движения и модуль 116 компенсации движения выполняют обработку прогнозирования/компенсации движения в режиме прогнозирования между кадрами.
На этапе S115, модуль 118 выбора изображения прогнозирования выбирает одно из изображения прогнозирования, генерируемого при обработке прогнозирования внутри кадра, или изображения прогнозирования, генерируемого при обработке прогнозирования/компенсации движения, в соответствии с режимом прогнозирования кадра, предназначенного для обработки. Модуль 118 выбора изображения прогнозирования подает выбранное изображение прогнозирования на вычислительные модули 103 и 110. Такое изображение прогнозирования используется, как описано выше, для расчетов на этапах S103 и S108.
На этапе S116, модуль 106 кодирования без потерь кодирует квантованный коэффициент преобразования, выводимый от модуля 105 квантования. В частности, изображение разности подвергают кодированию без потерь, такому как кодирование переменной длины, арифметическое кодирование и т.п., и сжимает. В это время модуль 106 кодирования без потерь также кодирует информацию управления, генерируемую на этапе S110, информацию режима прогнозирования внутри кадра для обработки прогнозирования внутри кадра, на этапе S113, режим прогнозирования между кадрами для обработки прогнозирования/компенсации движения между кадрами на этапе S114 и т.д.
На этапе S117, модуль 106 кодирования без потерь внедряет (описывает) метаданные, такие как кодированная информация управления и т.д., в заголовке среза. Эти метаданные считывают и используют при выполнении декодирования изображения. Благодаря включению (мультиплексированию) метаданных, необходимых для обработки декодирования, таким образом, выполнение обработки декодирования обеспечивается с более мелкими интервалами приращения, чем покадровое приращение, и позволяет исключить увеличение времени задержки по времени.
На этапе S118, буфер 107 хранения сохраняет разность изображения, как сжатое изображение. Сжатое изображение, сохраненное в буфере 107 сохранения, считывают соответствующим образом и передают на сторону декодирования через канал передачи данных.
На этапе S119, модуль 119 управления скоростью управляет скоростью операции квантования модуля 105 квантования, таким образом, что не возникает переполнение или потеря значимости, на основе сжатого изображения, сохраненного в буфере 107 хранения.
Далее будет представлено описание примера последовательности обработки генерирования информации управления, выполняемой модулем 112 генерирования информации управления на этапе S110, на фиг. 10, со ссылкой на блок-схему последовательности операций, показанную на фиг. 11.
После начала обработки генерирования информации управления, модуль 131 расчета коэффициента фильтра модуля 112 генерирования информации управления рассчитывает коэффициент фильтра, используя входное изображение, подаваемое с буфера 102 изменения компоновки экрана, и декодированного изображения, подвергнутого обработке фильтром удаления блоков, подаваемых с фильтра 111 удаления блоков. Например, модуль 131 расчета коэффициента фильтра определяет значение коэффициента фильтра таким образом, что разность входного изображения и декодированного изображения становится минимальной.
После расчета коэффициента фильтра, на этапе S132, модуль 132 генерирования флага управления границей генерирует флаг управления границей для управления способом обработки адаптивного фильтра для пикселя, расположенного рядом с границей. Детали будут описаны ниже.
После генерирования флага управления границей, на этапе S133, модуль 133 генерирования информации блока генерирует информацию блока, включающую в себя размер блока ALF и флаг блока фильтра. Размер блока ALF может быть определен заранее, или может быть установлен, соответствующим образом, в соответствии с содержанием изображения. В таком случае, модуль 133 генерирования информации блока рассчитывает значение стоимости, представляющее оценку результатов фильтрации, используя функцию стоимости, и определяет размер блока ALF таким образом, чтобы значение стоимости было, например, наименьшим.
Кроме того, модуль 133 генерирования информации блока определяет значение флага блока фильтра, в зависимости от того, улучшается ли качество изображения, в случае, когда применяют фильтрацию к блоку ALF, предназначенному для обработки. Например, в случае определения, что качество изображения улучшается при применении фильтрации, модуль 133 генерирования информации блока устанавливает значение флага блока фильтра в "1", что означает, что фильтрация должна быть выполнена, и в случае определения, что качество изображения ухудшается при применении фильтрации, устанавливает значение флага блока фильтра в "0", что означает, что фильтрация не должна быть выполнена.
После генерирования информации блока, последовательность обработки возвращается на этап S110 на фиг. 9, и выполняется обработка, начиная с этапа S111 и далее.
Следует отметить, что расчет коэффициента фильтра, выполняемый на этапе S131, может быть выполнен с приращением, равным одному кадру. В этом случае, обработка на этапе S131 может быть выполнена только на заданном срезе, в пределах кадра (например, в срезе, где идентификационный номер в пределах кадра представляет собой заданное значение (например, "0"), или такой срез впервые обрабатывается в пределах кадра и т.п.), так, что это значение используется для других срезов. Кроме того, произвольное изображение можно использовать для расчета коэффициентов фильтра. Например, расчет может быть выполнен на основе прошлых изображений кадра.
Далее, со ссылкой на блок-схему последовательности операций, показанную на фиг. 11, будет описан пример последовательности обработки установки флага управления границей, выполняемой на этапе S132 по фиг. 10.
После того, как начата обработка установки флага управления границей на этапе S151, модуль 141 управления спецификацией системы модуля 132 генерирования флага управления границей получает информацию спецификации системы.
Такая информация спецификации системы представляет собой информацию, включающую в себя, например, ресурсы аппаратных средств и цель использования и т.д. системы, включающей в себя устройство 100 кодирования изображения. Ресурсы аппаратных средств представляют собой ресурсы аппаратных средств для устройств, составляющих конфигурацию системы (включающей в себя устройство 100 кодирования изображения), и, например, включают в себя возможности обработки, возможности использования запоминающего устройства, скорость передачи по шине и т.д. Кроме того, цель использования представляет собой общей режим работы всей системы или отдельных устройств, и включает в себя, например, следует или нет выполнять операции с целью обеспечения наилучшего качества изображения, следует ли выполнять операцию с целью обеспечения большой скорости, и т.д. Конечно, другая информация может быть затем включена в информацию спецификации системы.
Такая информация спецификации системы может быть сохранена заранее в запоминающем устройстве и т.п., встроенном в модуль 141 управления спецификацией системы. В этом случае, модуль 141 управления спецификацией системы считывает информацию спецификации системы из памяти, в результате обработки на этапе S151. Кроме того, во время обработки на этапе S151, модуль 141 управления спецификацией системы может собирать информацию спецификации, такую, как описано выше, со стороны устройства 100 кодирования изображения и от других устройств, и т.д.
После получения информации спецификации системы, модуль 141 управления спецификацией системы передает ее в модуль 142 определения.
На этапе S152, модуль 142 определения определяет, следует ли или нет использовать следующий срез для фильтрации рядом с границей, на основе поданной информации спецификации системы (ресурсы аппаратных средств, назначение использования и т.д.). То есть, в случае, когда пиксель, расположенный рядом с границей с соседним срезом, включенным в окружающие пиксели, представляет собой пиксель, предназначенный для обработки, модуль 142 определения определяет, следует ли выполнить фильтрацию для разнесенных срезов, или выполнить фильтрацию, замкнутую в текущем срезе.
Например, когда увеличенное время задержки является возможным, и имеется достаточная доступная емкость запоминающего устройства, в устройстве 100 кодирования изображения и в устройстве декодирования изображения и т.п., модуль 142 определения выбирает срезы для их распределения во время фильтрации. Кроме того, например, в случае, когда увеличение времени задержки является невозможным или когда недостаточно ресурсов аппаратных средств в устройствах системы, модуль 142 определения выбирает фильтрацию, замкнутую в текущем срезе.
В случае, когда определяют, следует ли использовать следующий срез, то есть, выполнить фильтрацию для разнесенных срезов, последовательность обработки переходит на этап S153. На этапе S153 модуль 143 генерирования генерирует флаг управления границей со значением "1".
Кроме того, когда определяют, что не следует использовать следующий срез, то есть, выполнять фильтрацию, замкнутую в текущем срезе, последовательность обработки переходит к этапу S154. На этапе S154 модуль 143 генерирования генерирует флаг управления границей со значением "0".
После генерирования флага управления границей, модуль 143 генерирования подает его на модуль 113 обработки адаптивного фильтра и в модуль 106 кодирования без потерь. Модуль 106 кодирования без потерь кодирует флаг управления границей, поданный от модуля 143 генерирования, как информацию управления, и внедряет ее в заголовок среза и т.п. для текущего среза. Модуль 113 обработки адаптивного фильтра выполняет обработку адаптивного фильтра, используя флаг управления границей, подаваемый от модуля 143 генерирования.
После окончания обработки на этапе S153 или этапе S154, обработка установки флага управления границей заканчивается, последовательность обработки возвращается на этап S132 на фиг. 10, и выполняется обработка этапа S133 и далее.
Далее, со ссылкой на блок-схему последовательности операций, показанную на фиг. 12, будет описан пример последовательности обработки адаптивного фильтра, выполняемой на этапе SI 11 по фиг. 9.
После начала обработки адаптивного фильтра, на этапе S171, буфер 181 получает декодированное изображение среза, предназначенного для обработки, от фильтра 111 удаления блоков. После того, как будет обработан срез, предназначенный для обработки на этапе S172, модуль 171 управления идентифицирует область среза, предназначенную для обработки.
Для того чтобы знать область текущего среза, которая должна быть обработана, она может быть определена на основе известных макроблоков, включенных в текущий срез, и на основе известных пикселей, включенных в эти макроблоки. Модуль 171 управления получает начальный адрес макроблока текущего среза из заголовка среза.
Далее адрес начального макроблока представляет собой номер, назначенный для макроблоков в порядке растровой развертки от верхнего левого угла экрана. Как показано на фиг. 5, адрес макроблока в верхнем левом углу в изображении (кадр 151) равен 0. Срез 0 начинается с верхнего левого угла кадра 151, таким образом, что адрес макроблока начального макроблока 156-1 среза 0 равен 0. В соответствии с этим порядком, конечный макроблок 156-2 или срез 0 представляет собой Е0. Кроме того, таким же образом, как и в этом срезе 0, адрес макроблока начального макроблока 157-1 среза 1, представляет собой S1, и адрес макроблока конечного макроблока 15721 представляет собой E1. Кроме того, адрес макроблока начального макроблока 158-1 среза 2 представляет собой S2, и адрес макроблока конечного макроблока 158-2 представляет собой Е2.
По мере того, как декодируют текущий срез, один адрес макроблока добавляют каждый раз, когда обработка декодирования одного макроблока будет закончена, и, в конечном итоге, достигается конечный макроблок текущего среза. Флаг, обозначающий конечный макроблок среза, устанавливают в конечный макроблок. В связи с этим, все адреса макроблока, которые содержат текущий срез, могут быть известны. То есть, от адреса начального макроблока запуска до адреса конечного макроблока.
Далее, при установленном параметре поток (SPS (параметр последовательности установлен)) потока AVC (информация сжатия изображения), размер изображения одного кадра обозначен количеством макроблоков, pic_height_in_map_units_minusl обозначает количество макроблоков в вертикальном направлении изображения. pic_width_in_mbs_minusl обозначает количество макроблоков в горизонтальном направлении изображения.
В соответствии с этим, из адреса макроблока выражают положение макроблока по следующему Выражению (2) и Выражению (3).
Figure 00000002
Figure 00000003
В Выражении (2) и Выражении (3), mbx обозначает, какой номер имеет макроблок слева, и mby обозначает, какой номер имеет макроблок сверху. Кроме того, floor[z] обозначает, что значение z было округлено до десятичных значений, так, что оно становится целым числом, и А%В обозначает остаток после деления А на В.
Если сказать, что размер макроблока определяется равным 16×16 пикселей, положение по вертикальному направлению и горизонтальному направлению пикселя в верхнем левом углу макроблока составляет (16 × mbx, 16 × mby), и пиксели, включенные в макроблок, представляют собой пиксели, включенные в диапазон 16 пикселей в направлении в вниз и 16 пикселей в направлении вправо от положения верхнего левого пикселя. До сих пор, все пиксели в текущем срезе могут быть известны. То есть, область среза, предназначенного для обработки, идентифицирована.
На этапе S173, модуль 171 управления получает один флаг блока фильтра, генерируемый в модуле 112 генерирования информации управления.
На этапе S174, модуль 171 управления определяет один из необработанных блоков ALF, как блок ALF, предназначенный для обработки. Порядок выбора блоков ALF определяют заранее, и он является общим для порядка выбора в модуле 112 генерирования информации управления. Кроме того, модуль 171 управления идентифицирует область блока ALF, для обработки, которая была определена.
Поскольку размер изображения кадра определяют заранее, после определения размера блока ALF, количество блоков ALF, необходимых для размещения блоков ALF с верхней левой стороны кадра, в качестве исходной точки (количество блоков ALF в пределах кадра) также может быть рассчитано. Значения установки размера в вертикальном направлении (количество пикселей) и размера в горизонтальном направлении (количество пикселей) блоков ALF предусмотрены заранее, таким образом, что модуль 171 управления определяет размер блоков ALF и количество блоков ALF в соответствии со значениями установки, и размещает блоки ALF в соответствии с декодированным изображением.
Следует отметить, что количество блоков ALF рассчитывают по следующим Выражению (4) и Выражению (5).
Figure 00000004
Figure 00000005
В Выражении (4) и Выражении (5), num_alf_block_x и num_alf_block_y представляют собой количество горизонтальных и вертикальных блоков ALF, включенных в изображение, соответственно. Кроме того, alf_block_size представляет размер одной стороны блока ALF. Для упрощения представленного здесь описания, можно сказать, что блоки ALF представляют собой квадраты. Конечно, может быть принята компоновка, в которой размер в вертикальном направлении и размер в горизонтальном направлении блоков ALF будет отличным друг от друга.
Положение i-ого блока ALF выражено следующими Выражением (6) и Выражением (7).
Figure 00000006
Figure 00000007
В Выражении (6) и Выражении (7), alf_block_x и alf_block_y каждый обозначает, какой номер в горизонтальном направлении и в вертикальном направлении имеет i-ый блок ALF. Положение верхнего левого пикселя i-ого блока ALF представляет собой положение, полученное путем умножения каждого из alf_block_x и alf_block_y на alf_block_size. То есть, горизонтальное направление представляет собой 16 × alf_block_x, и вертикальное направление составляет 16 × alf_block_y. В соответствии с этим, область i-ого блока ALF представляет собой диапазон alf_block_size × alf_block_size от его верхнего левого пикселя.
На этапе S175, модуль 171 управления определяет, включена или нет область среза, предназначенная для обработки, в пределы области блока ALF, предназначенного для обработки, который был идентифицировал, как описано выше. В случае, когда определяют, что область среза, предназначенная для обработки, включена, последовательность обработки переходит на этап S176.
На этапе S176, модуль 171 управления определяет, равно или нет значение флага блока фильтра 1. В случае, когда значение флага блока фильтра равно 1, и была представлена инструкция выполнить фильтрацию в отношении блока ALF, предназначенного для обработки, выполняют такое управление, что, модуль 173 выбора выбирает выход 172 фильтра, и последовательность обработки переходит на этап S177. На этапе S177, модуль 171 управления выбирает пиксели, предназначенные для обработки, в заданном порядке, таком как, например, в порядке растровой развертки и т.п., из необработанных пикселей.
На этапе S178, модуль 171 управления определяет, являются или нет пиксели соседнего среза необходимыми для фильтрации выбранного пикселя, предназначенного для обработки. В случае, когда пиксели соседнего среза содержатся в окружающих пикселях для пикселя, предназначенного для обработки, и определяют, что пиксель, предназначенный для обработки, представляет собой пиксель, расположенный рядом с границей среза, последовательность обработки переходит на этап S179.
На этапе S179, модуль 171 управления определяет, равно или нет "1", значение управления границей, включенное в информацию управления, полученную модулем 112 генерирования информации управления. В случае, когда определяют, что значение флага управления границей равно "1", последовательность обработки переходит на этап S180.
На этапе S180, модуль 171 управления выбирает первый адаптивный фильтр для границы 183, в качестве адаптивного фильтра, и обеспечивает выполнение фильтрации первым адаптивным фильтром для границы 183 разнесенных срезов, как показано в позиции А на фиг. 7. После окончания обработки на этапе S180, последовательность обработки переходит на этап S183.
Кроме того, на этапе S179, в случае, когда определяют что значение флага управления границей равно "0", последовательность обработки переходит к этапу S181.
На этапе S181, модуль 171 управления выбирает второй адаптивный фильтр для границы 184, в качестве адаптивного фильтра, и обеспечивает выполнение фильтрации вторым адаптивным фильтром для границы 184, замкнутой в текущем срезе, как показано в позиции В на фиг. 7. После окончания обработки на этапе S181, последовательность обработки переходит на этап S183.
Кроме того, когда определяют на этапе S178, что пиксель, предназначенный для обработки, не является пикселем, расположенным рядом с границей среза, последовательность обработки переходит на этап S182.
На этапе S182, модуль 171 управления выбирает адаптивный фильтр 182 в срезе, в качестве адаптивного фильтра, и обеспечивает выполнение адаптивным фильтром 182 в срезе нормальной фильтрации, используя только пиксели текущего среза. После окончания обработки на этапе S182 последовательность обработки переходит на этап S183.
Кроме того, когда на этапе S176 определяют, что значение флага блока фильтра равно "0", последовательность обработки переходит на этап S183. Кроме того, в случае, когда на этапе S175 определяют, что блок ALF, предназначенный для обработки, не включает в себя область среза, предназначенную для обработки, последовательность обработки переходит на этап S183.
На этапе S183, модуль 171 управления определяет, были ли обработаны все пиксели в пределах блока ALF. В случае, когда определяют, что существует необработанный пиксель, последовательность обработки возвращается на этап S177, и повторяют последующую обработку.
Кроме того, в случае, когда на этапе S183 определяют, что все пиксели в пределах блока ALF, предназначенные для обработки, были обработаны, последовательность обработки переходит на этап S184.
На этапе S184, модуль 171 управления определяет, были ли обработаны все блоки ALF в пределах кадра. В случае, когда определяют, что существует необработанный блок ALF, последовательность обработки возвращается на этап S173, и повторяют последующую обработку. Кроме того, в случае, когда на этапе S184 определяют, что все блоки ALF были обработаны, обработка управления адаптивным фильтром заканчивается, последовательность обработки возвращается на этап S111 по фиг. 9, и выполняется обработка на этапе S122 и далее.
Следует отметить, что каждая фильтрация в отношении пикселей, предназначенных для обработки, выполняемая на этапах S180 - S182, выполняется независимо, как разные задачи относительно обработки управления адаптивным фильтром. То есть, на этапах S180 - S182, после установления и выполнения обработки адаптивного фильтра, обработку адаптивного фильтра выполняют соответствующим образом. То есть, такая обработка адаптивного фильтра может быть выполнена параллельно обработке управления адаптивным фильтром и обработке адаптивного фильтра, в отношении других пикселей.
Такая обработка адаптивного фильтра будет описана со ссылкой на блок-схему последовательности операций, показанную на фиг. 13 и фиг. 14. Вначале будет описан пример последовательности фильтрации, выполняемой первым адаптивным фильтром для границы 183, со ссылкой на блок-схему последовательности операций, показанную на фиг. 13.
После того, как поступит инструкция на исполнение фильтрации для разнесенных срезов, инструкция на исполнение которого поступила на этапе S180 на фиг. 12, на этапе S201 первый адаптивный фильтр для границы 183 отслеживает буфер 181, определяет, все ли пиксели окружающей области пикселя, предназначенного для обработки накоплены, и ожидает выполнения такого накопления. Пиксели окружающей области (то есть, окружающие пиксели) включают в себя также пиксели соседнего среза. В случае, когда определяют, что все пиксели были накоплены в буфере 181, последовательность обработки возвращается на этап S202.
На этапе S202, первый адаптивный фильтр для границы 183 получает пиксели окружающей области (окружающие пиксели) из буфера 181 и на этапе S203 использует окружающие пиксели и коэффициент фильтра, установленный в модуле 171 управления, для выполнения фильтрации для пикселя, предназначенного для обработки. После окончания фильтрации, первый адаптивный фильтр для границы 183 подает результаты фильтрации в модуль 173 выбора, и фильтрация заканчивается.
В случае, когда значение флага блока фильтра равно "1", модуль 173 выбора выбирает результаты фильтрации и подает в запоминающее устройство 114 кадра, как декодированное изображение, подвергнутое фильтрации, для сохранения.
Далее, со ссылкой на блок-схему последовательности операций, показанную на фиг. 14, будет описан пример последовательности фильтрации, выполняемой вторым адаптивным фильтром для границы 184.
После того, как поступит инструкция на исполнение фильтрации, замкнутой в текущем срезе, причем, эта инструкция поступает на этапе S181 на фиг. 12, на этапе S221 второй адаптивный фильтр для границы 184 выполняет дублирование окружающих пикселей, расположенных в текущем срезе, уже удерживаемых в буфере 181, и генерирует фиктивные данные окружающих пикселей, расположенных в соседнем срезе.
После генерирования фиктивных данных, на этапе S212, второй адаптивный фильтр для границы 184 использует окружающие пиксели, включающие в себя фиктивные данные, и коэффициент фильтра, установленный в модуле 171 управления, для выполнения фильтрации для пикселя, предназначенного для обработки. После окончания фильтрации второй адаптивный фильтр для границы 184 подает результат фильтрации в модуль 173 выбора, и фильтрация заканчивается.
В случае, когда значение флага блока фильтра равно "1", модуль 173 выбора выбирает эти результаты фильтрации, и подает в запоминающее устройство 114 кадра, как декодированное изображение, подвергнутое фильтрации, для сохранения.
Как описано выше, на основе значения флага управления границей, способ фильтрации для пикселя, расположенного рядом с границей, выбирают, соответственно, среди множества способов, в результате чего модуль 113 обработки адаптивного фильтра может подавлять ухудшение эффектов фильтрации, из-за локального управления фильтрацией, во время кодирования. Например, в результате выполнения фильтрации, таким образом, чтобы размещать срезы, модуль 113 обработки адаптивного фильтра может улучшить качество изображения фильтрацией. Кроме того, путем выполнения фильтрации, замкнутой в текущем срезе, модуль 113 обработки адаптивного фильтра может выполнять фильтрацию с малой задержкой.
В это время модуль 113 обработки адаптивного фильтра выбирает способ фильтрации, на основе флага управления границей, определенного на основе информации спецификации системы, так, что фильтрация может быть выполнена без нарушения обработки.
Кроме того, модуль 132 генерирования флага управления границей устанавливает флаг границы на основе информации спецификации системы, в результате чего, может быть обеспечено выполнение фильтрации с помощью модуля 113 обработки адаптивного фильтра для подавления ухудшения эффектов.
То есть, устройство 100 кодирования изображения может подавлять ухудшение эффектов фильтрации, из-за локального управления фильтрацией, во время кодирования.
Следует отметить, что модуль 106 кодирования без потерь кодирует флаг управления границей и добавляет информацию сжатия изображения (встраивает ее, например, в заголовок среза). В соответствии с этим, устройство 100 кодирования изображения может обеспечить подавление ухудшения эффектов фильтрации устройством декодирования, которое декодирует информацию сжатия изображения, выводимую устройством 100 кодирования изображения, возникающего в результате локального управления фильтрацией, выполненной во время декодирования.
Далее, "суммирование" означает корреляцию флага управления границей с информацией сжатия изображения в оптимальной форме. Например, оно может быть описано, как синтаксис информации сжатия изображения, или может быть описано, как данные пользователя. Кроме того, флаг управления границей может находиться в состоянии связи с информацией сжатия изображения, в качестве метаданных. То есть, "суммирование" включает в себя "внедрение", "описание", "мультиплексирование", "связывание" и т.д.
Кроме того, учитывая представленное выше, было приведено описание для выполнения фильтрации разнесенных срезов или фильтрации, замкнутой в текущем срезе, в отношении пикселей, расположенных рядом с границей среза, но фильтрация может быть выполнена также с помощью других способов. Кроме того, вместо выполнения фильтрации, замкнутой в текущем срезе, фильтрация может быть, например, исключена.
Кроме того, для множества способов фильтрации достаточно, чтобы был подготовлен пиксель, расположенный рядом с границей среза, и три или более способов могут быть подготовлены, в качестве соответствующих вариантов для выбора. В этом случае, два бита или более необходимы для флага управления границей. Следует отметить, что количество битов флага управления границей является произвольным. Однако, чем меньше количество битов, тем в большей степени подавляется ухудшение эффективности кодирования информации сжатия изображения, таким образом, что необязательное увеличение количества битов является нежелательным.
2. Второй вариант осуществления
Конфигурация устройства
Далее будет описано устройство декодирования изображения, соответствующее устройству 100 кодирования изображения, описанному в первом варианте осуществления. На фиг. 15 показана блок-схема, иллюстрирующая конфигурацию варианта осуществления устройства декодирования изображения, используемого в качестве устройства обработки изображений, в котором было применено настоящее изобретение.
Устройство 200 декодирования изображения декодирует информацию сжатия изображения, выводимую от устройства 100 кодирования изображения, и генерирует декодированное изображение.
Устройство 200 декодирования изображения выполнено, из буфера 201 хранения, модуля 202 декодирования без потерь, модуля 203 обратного квантования, модуля 204 обратного ортогонального преобразования, вычислительного модуля 205 и фильтра 206 удаления блоков. Устройство 200 декодирования изображения также имеет модуль 207 обработки адаптивного фильтра. Устройство 200 декодирования изображения дополнительно имеет буфер 208 изменения компоновки экрана и модуль 209 D/A (цифро-аналогового) преобразования. Устройство 200 декодирования изображения также имеет запоминающее устройство 210 кадра, модуль 211 прогнозирования внутри кадра, модуль 212 компенсации движения и модуль 213 выбора.
В буфере 201 сохраняется переданная информация сжатого изображения. Модуль 202 декодирования без потерь декодирует информацию, передаваемую из буфера 201 сохранения и кодированную модулем 106 кодирования без потерь на фиг. 1, используя формат, соответствующий формату кодирования модуля 106 кодирования без потерь.
В случае, когда текущий макроблок был кодирован внутри кадра, модуль 202 декодирования без потерь декодирует информацию режима прогнозирования внутри кадра, сохраненную на участке заголовка информации сжатия изображения, и передает эту информацию в модуль 211 прогнозирования внутри кадра. Кроме того, в случае, когда текущий макроблок был кодирован между кадрами, модуль 202 декодирования без потерь декодирует информацию вектора движения, сохраненную на участке заголовка информации сжатия изображения, и передает его информацию в модуль 212 компенсации движения.
Кроме того, модуль 202 декодирования без потерь выделяет информацию управления для адаптивного фильтра (информация управления, генерируемая модулем 112 генерирования информации управления) от заголовка среза информации сжатия изображения, и декодируют и подает ее информацию в модуль 207 обработки адаптивного фильтра.
Модуль 203 обратного квантования подвергает изображение, декодированное модулем 202 декодирования без потерь, обратному квантованию, используя формат, соответствующий формату квантования модуля 105 квантования по фиг. 1. Модуль 204 обратного ортогонального преобразования подвергает выходную информацию модуля 203 обратного квантования, обратному ортогональному преобразованию, используя формат, соответствующий формату ортогонального преобразования модуля 104 ортогонального преобразования по фиг. 1.
Вычислительный модуль 205 суммирует изображение прогнозирования, переданное от модуля 213 выбора, с информацией разности, подвергнутой обратному ортогональному преобразованию, и генерирует декодированное изображение. Фильтр 206 удаления блоков удаляет блоки шумов декодированного изображения, которые были сгенерированы в результате обработки суммирования.
Модуль 207 обработки адаптивного фильтра выполняет фильтрацию для изображения, переданного от фильтра 206 удаления блоков, на основе коэффициента фильтра, размера блока ALF, флага блока фильтра и флага управления границей и т.п., переданных с модуля кодирования без потерь. Модуль 207 обработки адаптивного фильтра выполняет обработку адаптивного фильтра, таким же образом, как и в модуле 113 обработки адаптивного фильтра по фиг. 1. В соответствии с этим, модуль 207 обработки адаптивного фильтра может уменьшить блоки шумов, а также шум, из-за квантования, который не может быть полностью удален фильтром 206 удаления блоков.
Модуль 207 обработки адаптивного фильтра подает изображение после фильтрации в запоминающее устройство 210 кадра, для сохранения в качестве опорной информации изображения, и также выводит в буфер 208 изменения компоновки экрана.
Буфер 208 изменения компоновки экрана выполняет изменение компоновки расположения изображений. То есть, порядок кадров, компоновка которых была изменена в результате кодирования буфером 102 изменения компоновки на экране на фиг. 1, будет изменен на исходный порядок отображения. Модуль 209 D/A преобразования выполняет D/A преобразование изображения, подаваемого из буфера 208 изменения компоновки экрана, и выводит его. Например, модуль 209 D/A преобразования выводит выходные сигналы, получаемые в результате выполнения D/A преобразования, в непоказанный дисплей, и отображает изображение.
Модуль 211 прогнозирования внутри кадра генерирует изображение прогнозирования на основе информации, подаваемой с модуля 202 декодирования без потерь в случае, когда текущий кадр был кодирован внутри кадра, и выводит сгенерированное изображение прогнозирования в модуль 213 выбора.
В случае, когда текущий кадр был кодирован внутри кадра, модуль 212 компенсации движения выполняет обработку компенсации движения, как информации опорного изображения, сохраненной в запоминающем устройстве 210 кадра, на основе информация вектора движения, передаваемой с модуля 202 декодирования без потерь.
В случае, когда текущий макроблок был кодирован внутри кадра, модуль 213 выбора соединяется с модулем 211 прогнозирования внутри кадра, и передает изображение, передаваемое с модуля 211 прогнозирования внутри кадра, в вычислительный модуль 205, как изображение прогнозирования. Кроме того, в случае, когда текущий макроблок был кодирован между кадрами, модуль 213 выбора соединяется с модулем 212 компенсации движения и подает изображение, переданное из модуля 212 компенсации движения, в вычислительный модуль 205, как изображение прогнозирования.
Последовательность обработки
Пример последовательности обработки декодирования, который выполняет данное устройство 200 декодирования изображения, будет описан со ссылкой на блок-схему последовательности операций на фиг. 16.
На этапе S301 буфер 201 хранения сохраняет переданное изображение. На этапе S302 модуль 202 декодирования без потерь выделяет информацию управления для обработки адаптивного фильтра из заголовка среза информации сжатия изображения и декодирует ее на этапе S303. Декодированную информацию управления подают в модуль 207 обработки адаптивного фильтра.
Кроме того, на этапе S303, модуль 202 декодирования без потерь декодирует сжатое изображение, переданное с буфера 201 хранения. В частности, декодируют картинку I, картинку Ρ и картинку В, кодированные модулем 106 кодирования без потерь на фиг. 1.
В это время, также декодируют информацию вектора движения, информацию опорного кадра, информацию режима прогнозирования (информация, обозначающая режим прогнозирования внутри кадра или режим прогнозирования между кадрами) и т.д.
В частности, когда информация режима прогнозирования представляет собой информацию режима прогнозирования внутри кадра, информацию режима прогнозирования подают в модуль 211 прогнозирования внутри кадра. В случае, когда информация режима прогнозирования представляет собой информацию режима прогнозирования между кадрами, информацию вектора движения и информацию опорного кадра, соответствующую информации режима прогнозирования, подают в модуль 212 компенсации движения.
На этапе S304, модуль 203 обратного квантования выполняет обратное квантование коэффициента преобразования, декодированного на этапе S302, используя свойство, соответствующее свойству модуля 105 квантования на фиг. 1. На этапе S305, модуль 204 обратного ортогонального преобразования подвергает коэффициент преобразования, обратно квантованный на этапе S204, обратному ортогональному преобразованию, используя свойство, соответствующее свойству модуля 104 ортогонального преобразования на фиг. 1. Это означает, что была декодирована информация разности, соответствующая входным данным модуля 104 ортогонального преобразования на фиг. 1 (выход вычислительного модуля 103).
На этапе S306, вычислительный модуль 205 суммирует изображение прогнозирования, выбранное при обработке на описанном ниже этапе S212, с информацией разности. Таким образом, декодируют исходное изображение. На этапе S307, фильтр 206 удаления блоков подвергает фильтрации изображение, выводимое из вычислительного модуля 205. Таким образом, удаляют блоки шумов.
На этапе S308, модуль 207 обработки адаптивного фильтра выполняет обработку управления адаптивным фильтром, с тем, чтобы подвергнуть изображение, полученное после фильтрации удаления блоков, дополнительной обработке адаптивного фильтра. Такая обработка управления адаптивным фильтром является той же, что и обработка, выполняемая модулем 113 обработки адаптивного фильтра на фиг. 1. То есть, такая обработка управления адаптивным фильтром представляет собой то же, что и в случае, описанном со ссылкой на блок-схему последовательности операций, показанную на фиг. 12, кроме использования информации управления, подаваемой с модуля 202 декодирования без потерь. Однако следует отметить, что информация управления, подаваемая с этого модуля 202 декодирования без потерь, была сгенерирована с помощью модуля 112 генерирования информации управления на фиг. 1, и, по существу, эквивалентна информации управления, подаваемой с модуля 112 генерирования информации управления, которая используется в модуле 113 обработки адаптивного фильтра на фиг. 1.
Благодаря такой обработке управления адаптивным фильтром, блоки шумов и шумы, связанные с квантованием, которые могли быть не полностью удалены при фильтрации удаления блоков, могут быть уменьшены.
На этапе S309, в запоминающем устройстве 210 кадра сохраняется изображение, подвергнутое фильтрации.
Когда информация режима прогнозирования внутри кадра подана на этапе S310, модуль 211 прогнозирования внутри кадра выполняет обработку прогнозирования внутри кадра в режиме прогнозирования внутри кадра. Кроме того, в случае, когда была подана информация режима прогнозирования между кадрами на этапе S311, модуль 212 компенсации движения выполняет обработку компенсации движения в режиме прогнозирования внутри кадра.
На этапе S312, модуль 213 выбора выбирает изображение прогнозирования. То есть, выбирают либо изображения прогнозирования, генерируемого модулем 211 прогнозирования внутри кадра, либо изображения прогнозирования, генерируемого модулем 212 компенсации движения, и выбранное изображение прогнозирования подают на вычислительный модуль 205.
Например, в случае изображения, которое было кодировано внутри кадра, модуль 213 выбора выбирает изображение прогнозирования, сгенерированное модулем 211 прогнозирования внутри кадра, и подает его на вычислительный модуль 205. Кроме того, в случае изображения, которое было кодировано между кадрами, модуль 213 выбора выбирает изображение прогнозирования, генерируемое модулем 212 компенсации движения, и подает его на вычислительный модуль 205.
На этапе S313, буфер 208 изменения компоновки экрана выполняет изменение компоновки. В частности, последовательность кадров с измененной компоновкой кодирования в буфере 102 изменения компоновки экрана устройства 100 кодирования изображения, изменяется на исходную последовательность отображения.
На этапе S314, модуль 209 D/A преобразования выполняет D/A преобразование изображения, полученного от буфера 208 изменения компоновки экрана. Это изображение выводят на непоказанный дисплей, и отображают изображение.
Таким образом, с помощью модуля 200 декодирования изображения, модуль 202 декодирования без потерь выделяет информацию управления, подаваемую от устройства 100 кодирования изображения и декодирует, и модуль 207 обработки адаптивного фильтра выполняет обработку управления адаптивным фильтром (и фильтрации), так же, как и в случае модуля 113 обработки адаптивного фильтра устройства 100 кодирования изображения, используя такую информацию управления.
В результате выполнения такой обработки управления адаптивного фильтра, модуль 207 обработки адаптивного фильтра может подавлять ухудшение эффекта фильтрации, посредством локального управления фильтрацией, выполняемой во время декодирования.
В соответствии с этим, устройство 200 декодирования изображения может подавлять ухудшение эффекта фильтрации, посредством локального управления фильтрацией, выполняемой во время декодирования.
3. Третий вариант осуществления
Система обработки изображений
Следует отметить, что, выше было представлено описание, в котором модуль 141 управления спецификацией системы, содержит или корректирует, полученную от модуля 112 генерирования информации управления, информацию спецификации системы так, что информация спецификации системы может быть выполнена так, чтобы включать в себя информацию спецификации устройства декодирования изображения.
В этом случае, когда информация спецификации устройства декодирования изображения не известна заранее, устройство кодирования изображения должно собрать информацию спецификации устройства декодирования изображения в заданное время, такое, как во время соединения, с возможностью обмена данными, например, между устройством кодирования изображения и устройством декодирования изображения. В это время устройство кодирования изображения может выполнять обмен данными с устройством декодирования изображения, для получения информации спецификации от устройства декодерирования изображения, или может быть получена, например, спецификация, вводимая пользователем.
Далее, непоказанная система обработки изображений представляет собой систему, в которой устройство 300 кодирования изображения, показанное на фиг. 17, и устройство 400 декодирования изображения, показанное на фиг. 18, соединены с возможностью обмена данными через носитель передачи данных, такой как сеть. Ниже представлено описание конфигурации устройств.
На фиг. 17 показана блок-схема, иллюстрирующая другой пример устройства кодирования изображения, используемого, как устройство обработки изображений, в котором применено настоящее изобретение.
Устройство 300 кодирования изображения, в основном, представляет собой то же устройство, что и устройство 100 кодирования изображения на фиг. 1, и имеет модуль 301 кодирования изображения.
Конфигурация модуля 301 кодирования изображения представляет собой ту же, конфигурацию, что и устройство 100 кодирования изображения, имеющее модули от модуля 101 A/D преобразования до модуля 119 управления частотой, и работает таким же образом, как и в случае, описанном в первом варианте осуществления.
Помимо модуля 301 кодирования изображения, устройство 300 кодирования изображения дополнительно имеет модуль 302 ввода, модуль 303 передачи данных и модуль сбора информации.
Модуль 302 ввода принимает операции пользователя и т.п.Модуль 303 передачи данных выполняет обмен данными с устройством 400 декодирования изображения через сеть и т.п.Модуль 304 сбора информации собирает информацию спецификации устройства 400 декодирования изображения, введенную через модуль 302 ввода, или информацию спецификации, поданную от устройства 400 декодирования изображения через модуль 303 передачи данных. Модуль 304 сбора информации подает собранную информацию спецификации на модуль 141 управления спецификацией системы модуля 112 генерирования информации управления.
На фиг. 18 показана блок-схема, иллюстрирующая другой пример устройства декодирования изображения, используемого в качестве устройства обработки изображений, в котором применено настоящее изобретение.
Устройство 400 декодирования изображения, в принципе, является тем же, что и устройство 200 декодирования изображения по фиг. 15, и имеет модуль 401 декодирования изображения.
Конфигурация модуля 401 декодирования изображения является той же, что и конфигурация устройства 200 декодирования изображения, имеющего модули от буфера 201 хранения до модуля 213 выбора, и работает так же, как в случае, описанном во втором варианте осуществления.
Кроме модуля 401 декодирования изображения, устройство 400 декодирования изображения дополнительно имеет модуль 402 предоставления информации и модуль 403 передачи данных.
Модуль 402 предоставления информации имеет информацию спецификации устройства 400 декодирования изображения, и на основании запроса из устройства 300 кодирования изображения предоставляет информацию спецификации. Модуль 403 передачи данных выполняет обмен данными с устройством 300 кодирования изображения через сеть и т.п.Модуль 403 передачи данных принимает запрос из устройства 300 кодирования изображения, и подает его в модуль 402 предоставления информации. Модуль 403 передачи данных также подает информацию спецификации устройства 400 декодирования изображения, переданную из модуля 402 предоставления информации, в соответствии с запросом, в устройство 300 кодирования изображения. Последовательность обработки
Пример последовательности обработки, связанной с обменом информацией спецификации с такой системой обработки изображений, будет описан со ссылкой на блок-схему последовательности операций, показанную на фиг. 19.
На этапе S401, модуль 304 сбора информации устройства 300 кодирования запрашивает в устройстве 400 декодирования изображения информацию спецификации устройства 400 декодирования изображения через модуль 303 передачи данных. После приема запроса на этапе S421 модуль 403 передачи данных устройства 400 декодирования изображения подает запрос на модуль 402 предоставления информации.
На этапе S422, модуль 402 предоставления информации подает информацию спецификации устройства 400 декодирования изображения для запроса устройства 300 кодирования изображения через модуль 403 передачи данных, как ответ на запрос.
После получения информации спецификации на этапе S402 через модуль 303 передачи данных модуль 304 сбора информации устройства 300 кодирования изображения подает ее на модуль 141 управления спецификацией системы модуля 112 генерирования информации управления.
На этапе S403, модуль 301 кодирования изображения выполняет обработку кодирования на основе информации спецификации, и генерирует поток кода. На этапе S404, модуль 301 кодирования изображения подает сгенерированный поток кода на устройство 400 декодирования изображения.
На этапе S423, модуль 401 декодирования изображения устройства 400 декодирования изображения получает поток кода, подаваемый от устройства 300 кодирования изображения. На этапе S424, модуль 401 декодирования изображения выполняет обработку декодирования потока кода.
Таким образом, информация спецификации устройства 400 декодирования изображения выполняет обмен перед обработкой кодирования изображения и обработкой декодирования изображения, таким образом, что устройство 300 кодирования изображения может сформировать флаги управления границей на основе информации спецификации системы, включающей в себя информацию спецификации устройства 400 декодирования изображения.
В соответствии с этим, устройство 300 кодирования изображения и устройство 400 декодирования изображения могут подавлять ухудшение эффекта фильтрации, посредством локального управления фильтрацией, выполняемой во время кодирования или декодирования, как описано в соответствии с первым вариантом осуществления и вторым вариантом осуществления.
4. Четвертый вариант осуществления
Описание QALF
Блоки ALF могут иметь структуру дерева квадратов, как описано в NPL 3. Эта технология называется QALF (адаптивный контурный фильтр на основе дерева квадратов). Структура дерева квадратов представляет собой иерархическую структуру, в которой на нижнем иерархическом уровне область одного блока ALF на один иерархический уровень выше делится на четыре.
На фиг. 20 иллюстрируется пример, где разделение блока ALF выражено структурой дерева квадратов, где максимальное количество слоев равно трем, при этом флаг блока фильтра установлен для каждого блока ALF.
На фиг. 20 обозначен уровень 0, который представляет собой блок ALF, используемый как корень структуры дерева квадратов. В структуре дерева квадратов каждый блок ALF имеет флаг разделения блока, обозначающий, разделен он или нет на четыре на более низком иерархическом уровне. Значение флага разделения блока для блока ALF, показанного в позиции А на фиг. 20, равно "1". То есть, этот блок ALF делится на четыре на нижнем иерархическом уровне (уровень 1). В позиции В на фиг. 20 показан уровень 1. То есть, четыре блока ALF сформированы на уровне 1.
В случае, когда флаг разделения блока равен "0", дополнительный более низкий иерархический уровень не делится на четыре. То есть, нет дополнительного разделения, и флаг блока фильтра генерируют, как блок ALF. То есть, блок ALF, для которого флаг разделения блока равен "0", также имеет флаг блока фильтра. "0" слева от "0-1", показанных в позиции В на фиг. 20, обозначает флаг разделения блока, для этого блока ALF, и "1" справа представляет флаг блока фильтра этого блока ALF.
Два блока ALF, флаг разделения блока которых на уровне 1 равен "1", разделены на четыре на более низком иерархическом уровне (уровень 2). В позиции С на фиг. 20 иллюстрируется уровень 2. То есть, десять блоков ALF сформированы на уровне 2.
Таким же образом, блокам ALF с флагом разделения блока равным "0" на уровне 2 также назначают флаг блока фильтра. В позиции С на фиг. 20, флаг разделения блока одного блока ALF равен "1". То есть, блок ALF разделен на четыре на следующем нижнем иерархическом уровне (уровень 3). В позиции D на фиг. 20 показан уровень 3. То есть, 13 блоков ALF сформированы на уровне 3.
В результате формирования дерева квадратов, как показано на фиг. 20, структура блока ALF в конечном итоге становится такой, как показано на фиг. 21. Таким образом, с использованием структуры дерева квадратов, размер блоков ALF отличается в каждом иерархическом уровне. То есть, в результате использования структуры дерева квадратов, размеры блоков ALF могут быть сделаны отличающимися друг от друга в пределах кадра.
Управление флагом блока фильтра в каждом блоке ALF является таким же, как и в других вариантах осуществления, описанных выше. То есть, фильтрацию не выполняют в областях, где значение флага блока фильтра равно "0" (заштрихованные участки на фиг. 21).
На фиг. 22 иллюстрируется пример кодирования области среза 1 на фиг. 5, используя технологию QALF. Здесь область толстой линии 521 представляет область среза 1. Независимо от структуры ALF, возможны случаи, когда окружающие пиксели заполняют множество срезов при выполнении фильтрации для пикселей, расположенных рядом с границей среза. В соответствии с этим, способ управления, состоящий в фильтрации, для пикселей, расположенных рядом с границей среза, может быть выполнен таким же образом, как и в описанных выше вариантах осуществления, также для случая QALF.
То есть, даже в случае блоков ALF структуры дерева квадратов, устройство кодирования изображения и устройство декодирования изображения могут подавлять ухудшение эффектов фильтрации, путем локального управления фильтрацией, выполняемой во время кодирования или декодирования.
5. Пятый вариант осуществления
Персональный компьютер
Описанная выше последовательность обработки может быть выполнена с помощью аппаратных средств, и может быть выполнена с помощью программных средств. В этом случае, конфигурация может быть выполнена в качестве персонального компьютера, такого, как показано, например, на фиг. 23.
На фиг. 23, CPU 601 персонального компьютера 600 выполняет различные типы обработки в соответствии с программами, сохраненными в ROM (Постоянное запоминающее устройство) 602 или программами, загружаемыми в RAM (Оперативное запоминающее устройство) 603 из модуля 613 хранения. В RAM 603 также содержатся данные и т.д., необходимые для исполнения CPU 601 различных типов обработки, соответственно.
CPU 601, ROM 602 и RAM 603 взаимно соединены с помощью шины 604. Эта шина 604 также соединена с интерфейсом 610 ввода-вывода.
С интерфейсом 610 ввода-вывода соединен модуль 611 ввода, состоящий из клавиатуры, мыши и т.д., модуль 612 вывода, состоящий из дисплея, такого как CRT (электронно-лучевая трубка) или LCD (жидкокристаллический дисплей) и т.п., громкоговорителя и т.д., модуля 613 хранения, состоящего из жесткого диска и т.д., и модуля 614 передачи данных, состоящего из модема и т.д. Модуль 614 передачи данных выполняет обработку обмена данными, через сети, включающие в себя Интернет.
Также с интерфейсом 610 ввода-вывода в соответствии с необходимостью соединяют привод 615, в который устанавливают съемный носитель 621 записи, такой как магнитный диск, оптический диск, магнитооптический диск, полупроводниковое запоминающее устройство и т.п., соответственно, и компьютерные программы, считываемые с него, устанавливают в модуле 613 хранения, в соответствии с необходимостью.
В случае выполнения описанной выше последовательности обработки с помощью программных средств, программу, соответствующую программному обеспечению, устанавливают из сети или с записываемого носителя.
Такой записываемый носитель данных может быть выполнен не только как съемный носитель 621, состоящий из магнитного диска (включая гибкий диск), оптический диск (включая в себя CD-ROM (постоянное запоминающее устройство для чтения - компакт-диск), DVD (цифровой универсальный диск), магнитооптический диск (MD (мини-диск)), или полупроводниковое запоминающее устройство и т.п., на которое записывают программу и распределяют как программы, распределяемые пользователям отдельно от основного модуля устройства, но также, состоит из ROM 602, жесткого диска, включенного в модуль 613 хранения, и т.д., на котором записаны программы, распределяемые пользователям в состоянии их предварительного встраивания в основной модуль устройства.
Следует отметить, что программа, которую выполняет компьютер, может представлять собой программу, в которой обработку выполняют во временной последовательности, в соответствии с порядком, описанным в настоящем описании, или может представлять собой программу, по которой обработку выполняют параллельно, или в необходимые моменты времени такие, как, например, во время телефонного вызова.
Кроме того, в соответствии с настоящим описанием, этапы, описывающие программы, записанные на записываемом носителе, включают в себя обработку, выполняемую во временной последовательности, следующей описанному порядку, в соответствии с курсом, и также обработку, выполняемую параллельно или индивидуально, без необходимости обработки во временной последовательности.
Кроме того, в настоящем описании термин система представляет все устройства, выполненные из множества устройств (устройств).
Кроме того, конфигурация, которая была описана выше, как одно устройство (или модуль обработки) может быть разделена и выполнена, как множество устройств (или модулей обработки). И, наоборот, конфигурации, которые были описаны выше, как множество устройств (или модулей обработки), могут быть интегрированы и выполнены, как одно устройство (или модуль обработки). Кроме того, другие конфигурации, кроме описанных выше, могут быть добавлены к устройствам (или модулям обработки), как само собой разумеется. Кроме того, часть конфигурации некоторого устройства (или модуль обработки) может быть включена в конфигурацию другого устройства (или другого модуля обработки), если только конфигурация и операции общей системы, будут, по существу, одинаковыми. То есть, варианты осуществления настоящего изобретения не ограничены описанными выше вариантами осуществления, и различные модификации могут быть выполнены без выхода за пределы сущности настоящего изобретения.
Например, описанное выше устройство 100 кодирования изображения, устройство 200 декодирования изображения, устройство 300 кодирования изображения и устройство 400 декодирования изображение можно применять в различных электронных устройствах. Ниже представлено описание их примеров.
6. Шестой вариант осуществления
Телевизионный приемник
На фиг. 24 показана блок-схема, иллюстрирующая принципиальный пример конфигурации телевизионного приемника с использованием устройства 200 декодирования изображения или устройства 400 декодирования изображения, в котором применяется настоящее изобретение.
Телевизионный приемник 1000, показанный на фиг. 24, включает в себя наземный тюнер 1013, видеодекодер 1015, схему 1018 обработки данных видеосигнала, схему 1019 генерирования графики, схему 1020 управления панелью, и панель 1021 отображения.
Наземный тюнер 1013 принимает сигналы волны широковещательной передачи наземной аналоговой широковещательной передачи через антенну, демодулирует, получает видеосигналы и подает их в видеодекодер 1015. Видеодекодер 1015 подвергает видеосигналы, переданные от наземного тюнера 1013, обработке декодирования, и передает полученные цифровые сигналы компонентов в схему 1018 обработки видеосигнала.
Схема 1018 обработки видеосигнала подвергает видеоданные, переданные от видеодекодера 1015, заданной обработке, такой, как удаление шумов и т.п., и подает полученные видеоданные в схему 1019 генерирования графики.
Схема 1019 генерирования графики генерирует видеоданные программы, предназначенной для отображения, на панели 1021 отображения, или данные изображения, в результате обработки, основанной на применении, которое будет передано через сеть и т.п., и передает сгенерированные видеоданные или данные изображения в схему 1020 управления панелью. Кроме того, схема 1019 генерирования графики также выполняет обработку, такую, как подача видеоданных, полученных в результате генерирования видеоданных (графики) для пользователя, отображая экран, используемый для выбора элемента и т.п., и накладывая его на видеоданные программы, в схеме 1020 управления панелью, соответственно.
Схема 1020 управления панелью выполняет управление панелью 1021 отображения на основе данных, переданных от схемы 1019 генерирования графики, для отображения видеоизображения программы или упомянутых выше различных экранов на панели 1021 отображения.
Панель 1021 отображения состоит из LCD (жидкокристаллический дисплей) и т.д., и отображает видеоизображения программы и т.п., в соответствии с управлением схемы 1020 управления панелью.
Кроме того, телевизионный приемник 1000 также включает в себя схему 1014 A/D (аналогово/цифрового) преобразования аудиоданных, схему 1022 обработки аудиосигнала, схему 1023 удаления эхо-сигнала/синтеза аудиоданных и схему 1024 усилителя звука, и громкоговоритель 1025.
Наземный тюнер 1013 демодулирует принятый сигнал широковещательной наземной волны, получая, таким образом, не только видеосигнал, но также и аудиосигнал. Наземный тюнер 1013 применяет полученный аудиосигнал в схему 1014 A/D преобразования аудиоданных.
Схема 1014 A/D преобразования подвергает аудиосигнал, переданный из наземного тюнера 1013, обработке A/D преобразования, и подает полученный цифровой аудиосигнал на схему 1022 обработки аудиосигнала.
Схема 1022 обработки аудиосигнала подвергает аудиоданные, переданные от схемы 1014 A/D преобразования аудиоданных, заданной обработке, такой как удаление шумов и т.п., и подает полученные аудиоданные на схему 1023 удаления эхо-сигнала/синтеза аудиоданных.
Схема 1023 удаления эхо-сигнала/синтеза звука подает аудиоданные, переданные от схемы 1022 обработки аудиосигнала, на схему 1024 усилителя звука.
Схема 1024 усилителя звука подвергает аудиоданные, переданные от схемы 1023 удаления эхо-сигнала/синтеза аудиоданных, обработке D/A преобразования, в соответствии с обработкой усилителя, для регулирования заданного уровня громкости и затем выводит звук через громкоговоритель 1025.
Кроме того, телевизионный приемник 1000 также включает в себя цифровой тюнер и декодер 1017 MPEG.
Цифровой тюнер 1016 принимает сигналы волны широковещательной передачи цифровой широковещательной передачи (наземная цифровая широковещательная передача, В S (спутник широковещательной передачи)/С8 (спутник передачи данных) цифровой широковещательной передачи) через антенну, демодулирует, для получения MPEG-TS (Транспортный последовательность Экспертной группы по вопросам движущегося изображения), и подает на декодер 1017 MPEG.
Декодер 1017 MPEG устраняет скремблирование, приданное MPEG-TS, поступающему от цифрового тюнера 1016, и выделяет поток, включающий в себя данные программы, служащей целью воспроизведения (целью просмотра). Декодер 1017 MPEG декодирует аудиопакет, составляющий выделенный поток, подает полученные аудиоданные на схему 1022 обработки аудиосигнала, и также декодирует видеопакет, составляющий поток, и подает полученные видеоданные на схему 1018 обработки видеосигнала. Кроме того, декодер 1017 MPEG подает данные EPG (Электронная программа телевизионных передач), выделенные из MPEG-TS, в CPU 1032 через непоказанный путь.
Телевизионный приемник 1000 использует упомянутое выше устройство 200 декодирования изображения или устройство 400 декодирования изображения, как декодер
MPEG, для декодирования видеопакетов, таким образом. Следует отметить, что MPEG-TS, переданный от станции широковещательной передачи и т.п., кодируется устройством 100 кодирования изображения или устройством 300 кодирования изображения.
Декодер 1017 MPEG выделяет и декодирует информацию управления, переданную от устройства 100 кодирования изображения или устройства 300 кодирования изображения, таким же образом, как и в устройстве 200 декодирования изображения или устройстве 400 декодирования изображения, и выполняет обработку управления адаптивным фильтром (и фильтрацию), используя информацию управления. В соответствии с этим, декодер 1017 MPEG может подавлять ухудшение эффектов локального управления при фильтрации.
Видеоданные, подаваемые от декодера 1017 MPEG, таким же образом, как и в случае видеоданных, подаваемых от видеодекодера 1015, подвергают заданной обработке в схеме 1018 обработки видеосигнала, в то время, как их налагают на генерируемые видеоданные и т.д. в схеме 1019 генерирования графики, соответственно, подаваемые в панель 1021 отображения через схему 1020 управления панелью, и изображение отображают на ней.
Аудиоданные, подаваемые из декодера 1017 MPEG, таким же образом, как и в случае аудиоданных, подаваемых из схемы 1014 A/D преобразования аудиоданных, подвергают заданной обработке в схеме 1022 обработки аудиосигнала, и подают в схему 1024 усилителя звука через схему 1023 устранения эхосигнала/синтеза аудиоданных, и подвергают обработке D/A преобразования и обработке усилителя. В результате этого, аудиоданные, отрегулированные до заданного уровня громкости, выводят через громкоговоритель 1025.
Кроме того, телевизионный приемник 1000 также включает в себя микрофон 1026 и схему 1027 A/D преобразования.
Схема 1027 AJO преобразования принимает аудиосигналы пользователя, собранные микрофоном 1026, предусмотренным в телевизионном приемнике 1000, используемым, как для разговора по радио, подвергает принятый аудиосигнал обработке A/D преобразования и подает полученные цифровые аудиоданные в схему 1023 устранения эхосигнала/синтеза аудиоданных.
Когда аудиоданные пользователя (пользователя А) телевизионного приемника 1000 были поданы от схемы 1027 A/D преобразования, схема 1023 устранения эхосигнала/синтеза аудиоданных выполняют устранение эхосигнала, используя аудиоданные пользователя (пользователя А), в качестве объекта обработки, и выводит аудиоданные, полученные путем синтеза аудиоданных пользователя А и других аудиоданных и т.п.от громкоговорителя 1025, через схему 1024 усилителя звука.
Кроме того, телевизионный приемник 1000 также включает в себя аудиокодек 1028, внутреннюю шину 1029, SDRAM (синхронное динамическое оперативное запоминающее устройство) 1030, запоминающее устройство 1031 типа флэш, CPU 1032, I/F 1033 USB (универсальная последовательная шина) и сетевой I/F 1034.
Схема 1027 A/D преобразования принимает аудиосигнал пользователя, полученный с помощью микрофона 1026, который предусмотрен в телевизионном приемнике 1000, который используется для разговоров, подвергает принятый аудиосигнал обработке A/D преобразования, и подает полученные цифровые аудиоданные в аудиокодек 1028.
Аудиокодек 1028 преобразует аудиоданные, поданные от схемы 1027 A/D преобразования, в данные заданного формата для передачи через сеть, и подает в сетевой I/F 1034 через внутреннюю шину 1029.
Сетевой I/F 1034 соединен с сетью через кабель, установленный на сетевом терминале 1035. Сетевой I/F 1034 передает аудиоданные, поданные от аудиокодека 1028, например, в другое устройство, соединенное с ним посредством сети. Кроме того, сетевой I/F 1034 принимает, через сетевой терминал 1035, аудиоданные, переданные от другого устройства, подключенного к нему через сеть, и подает его в аудиокодек 1028, например, через внутреннюю шину 1029.
Аудиокодек 1028 преобразует аудиоданные, поданные через сетевой I/F 1034, в данные в заданном формате, и подает их на схему 1023 устранения эхосигнала/синтеза звука.
Схема 1023 устранения эхосигнала/синтеза звука выполняет устранение эхосигнала в аудиоданных, подаваемых от аудиокодека 1028, используемых, как цель обработки, и выводит данные звука, полученные путем синтеза аудиоданных и других аудиоданных, и т.п., на громкоговоритель 1025 через схему 1024 усилителя звука.
В SDRAM 1030 сохраняют различные типы данных, необходимых для выполнения обработки CPU 1032.
Запоминающее устройство 1031 типа флэш содержит программу, предназначенную для исполнения в CPU 1032. Программу, сохраняемую в запоминающем устройстве 1031 типа флэши, считываемую с помощью CPU 1032 в заданные моменты времени, например, во время включения телевизионного приемника 1000 и т.п.Данные EPG, полученные через цифровую широковещательную передачу, данные, полученные от заданного сервера через сеть, и т.д., также сохраняют в запоминающем устройстве 1031 типа флэш.
Например, MPEG-TS, включающий в себя данные содержания, полученные от заданного сервера через сеть под управлением CPU 1032, сохраняют в запоминающем устройстве 1031. Запоминающее устройство 1031 типа флэш передает свой MPEG-TS в декодер 1017 MPEG через внутреннюю шину 1029 под управлением, например, CPU 1032.
Декодер 1017 MPEG обрабатывает свой MPEG-TS таким же образом, как и в случае MPEG-TS, поданного от цифрового тюнера 1016. Таким образом, телевизионный приемник 1000 принимает данные содержания, состоящие из видеоданных, аудиоданных и т.д. через сеть, декодирует, используя декодер 1017 MPEG, в результате чего видеоизображение может быть отображено, и его аудиоданные могут быть выведены.
Кроме того, телевизионный приемник 1000 также включает в себя модуль 1037 приема света, предназначенный для приема инфракрасного сигнала, передаваемого от пульта 1051 дистанционного управления.
Модуль 1037 приема света принимает инфракрасные лучи от пульта 1051 дистанционного управления, и выводит код управления, представляющий содержание операции пользователя, полученный в результате демодуляции, в CPU 1032.
CPU 1032 выполняет программу, сохраненную в запоминающем устройстве 1031 типа флэш для управления всей работой телевизионного приемника 1000, в соответствии с кодом управления, передаваемым от модуля 1037 приема света, и т.д. CPU 1032, и модули телевизионного приемника 1000 соединены через непоказанный путь.
I/F 1033 USB выполняет передачу/прием данных в/от внешнего устройства для телевизионного приемника 1000, которое соединено через кабель USB, подключенный к выводу 1036 USB. Сетевой I/F 1034 соединяется с сетью через кабель, установленный в сетевой вывод 1035, а также выполняет передачу/прием других данных, кроме аудиоданных, с различными устройствами, соединенными с сетью.
Телевизионный приемник 1000 использует устройство 200 декодирования изображения или устройство 400 декодирования изображения, как декодер 1017 MPEG, в результате чего может подавляться ухудшение эффектов локального управления при фильтрации для сигналов широковещательной передачи, принимаемых через антенну, или данных содержания, получаемые через сеть.
7. Седьмой вариант осуществления
Сотовый телефон
На фиг. 25 показана блок-схема, иллюстрирующая пример основной конфигурации сотового телефона, в котором используется устройство кодирования изображения и устройство декодирования изображения, в которых применяется настоящее изобретение.
Сотовый телефон 1100, показанный на фиг. 25, включает в себя модуль 1150 основного управления, выполненный с возможностью совместного управления модулями, модуль 1151 схемы источника питания, модуль 1152 управления вводом операции, кодер 1153 изображения, модуль 1154 I/F камеры, модуль 1155 управления LCD, декодер 1156 изображения, модуль 1157 мультиплексирования/разделения, модуль 1162 записи/ воспроизведения, модуль 1158 схемы модуляции/демодуляции и аудиокодек 1159. Они взаимно соединены через шину 1160.
Кроме того, сотовый телефон 1100 включает в себя кнопки 1119 операций, камеру 1116 CCD (устройство с зарядовой связью), жидкокристаллический дисплей 1118, модуль 1123 хранения, модуль 1163 схемы передачи/приема, антенну 1114, микрофон (MIC) 1121 и громкоговоритель 1117.
После окончания вызова и включения кнопки питания, при выполнении операции пользователя, модуль 1151 схемы подачи питания активирует сотовый телефон 1100 в рабочем состоянии путем подачи питания в модули из пакета батарей.
Сотовый телефон 1100 выполняет различные операции, такие как передача/прием аудиосигнала, передача/прием электронной почты и данных изображения, съемка изображения, запись данных, и т.д., в различных режимах, таких как режим голосового вызова, режим передачи данных и т.д., на основе управления со стороны модуля 1150 основного управления, состоящего из CPU, ROM, RAM и т.д.
Например, в режиме голосового вызова, сотовый телефон 1100 преобразует аудиосигнал, полученный с помощью микрофона (MIC) 1121 в цифровые аудиоданные, используя аудиокодек 1159, подвергает их обработке расширения спектра в модуле 1158 схемы модуляции/демодуляции, и подвергает их обработке цифро-аналогового преобразования и обработке преобразования частоты в модуле 1163 схемы передачи/приема. Сотовый телефон 1100 передает сигнал для передачи, полученный в результате обработки преобразования его, на непоказанную базовую станцию через антенну 1114. Сигнал для передачи (аудиосигнал), передаваемый на базовую станцию, подают в сотовой телефон другой стороны через общественную телефонную сеть.
Кроме того, например, в режиме голосового вызова, сотовый телефон 1100 усиливает принимаемый сигнал, принимаемый антенной 1114, в модуле 1163 схемы передачи/приема, дополнительно подвергает обработке преобразования частоты и обработке аналогово/цифрового преобразования, подвергает обработке обратного расширения спектра в модуле 1158 схемы модуляции/демодуляции, и преобразует в аналоговый аудиосигнал с помощью аудиокодека 1159. Сотовый телефон 1100 выводит преобразованный и полученный аналоговый аудиосигнал через громкоговоритель 1117.
Кроме того, например, в случае передачи электронной почты в режиме передачи данных, сотовый телефон 1100 принимает текстовые данные электронной почты, вводимые при выполнении операции с кнопок 1119 операций, в модуле 1152 управления вводом операций. Сотовый телефон 1100 обрабатывает его текстовые данные в модуле 1150 основного управления, и отображает на жидкокристаллическом дисплее 1118 через модуль 1155 управления LCD, как изображение.
Кроме того, сотовый телефон 1100 генерирует данные электронной почты в модуле 1150 основного управления на основе текстовых данных, принятых модулем 1152 управления вводом операций, инструкциями пользователя и т.д. Сотовый телефон 1100 подвергает данные электронной почты обработке расширения спектра в модуле 1158 схемы модуляции/демодуляции, и подвергает цифро-аналоговой обработке и обработке преобразования частоты в модуле 1163 схемы передачи/приема. Сотовый телефон 1100 передает сигнал для передачи, полученный в результате его обработки преобразования, на непоказанную базовую станцию через антенну 1114. Сигнал для передачи (электронной почты), передаваемый на базовую станцию, подают в заданное местоположение через сеть, почтовый сервер и т.д.
Кроме того, например, в случае приема электронной почты в режиме передачи данных, сотовый телефон 1100 принимает сигнал, переданный от базовой станции через антенну 1114, с помощью модуля 1163 схемы передачи/приема, усиливает и дополнительно подвергает обработке преобразования частоты и обработке аналого/цифрового преобразования. Сотовый телефон 1100 подвергает сигнал приема обработке инверсного расширения спектра в модуле 1158 схемы модуляции/демодуляции, для восстановления исходных данных электронной почты. Сотовый телефон 1100 отображает восстановленные данные электронной почты на жидкокристаллическом дисплее 1118 через модуль 1155 управления LCD.
Следует отметить, что сотовый телефон 1100 может записывать (сохранять) принимаемые данные электронной почты в модуле 1123 хранения посредством модуля 1162 записи/воспроизведения.
Модуль 1123 хранения представляет собой необязательный, предназначенный для перезаписи носитель записи. Модуль 1123 сохранения может представлять собой полупроводниковое запоминающее устройство, такое как RAM, встроенное запоминающее устройство типа флэш и т.п., может представлять собой жесткий диск, или может представлять собой съемный носитель, такой как магнитный диск, магнитооптический диск, оптический диск, запоминающее устройство USB, карта памяти, и т.п.Само собой разумеется, что модуль 1123 хранения может быть другим, кроме перечисленного.
Кроме того, например, в случае передачи данных изображения в режиме передачи данных, сотовый телефон 1100 генерирует данные изображения путем формирования изображения в камере 1116 CCD. Камера 1116 CCD включает в себя CCD, используемый, как оптическое устройство, такое, как объектив, диафрагма и т.д., и используемый, как устройство фотоэлектрического преобразования, которое формирует изображение субъекта, преобразует интенсивность принятого света в электрический сигнал и генерирует данные изображения для изображения субъекта. Камера 1116 CCD выполняет кодирование сжатия данных изображения в кодере 1153 изображения через модуль 1154 I/F камеры, и преобразует в кодированные данные изображения.
В сотовом телефоне 1100 используется упомянутое выше устройство 100 кодирования изображения или устройство 300 кодирования изображения, как кодер 1153 изображения, для выполнения такой обработки. Соответственно, таким же образом, как и в устройстве 100 кодирования изображения или в устройстве 300 кодирования изображения кодер 1053 изображения может подавлять ухудшение эффектов посредством локального управления фильтрацией.
Следует отметить, что, в это время, одновременно, сотовый телефон 1100 преобразует аудиоданные, собранные с помощью микрофона (MIC) 1121, во время съемки с помощью камеры 1116 CCD, из аналоговой в цифровую форму в аудиокодеке 1159, и дополнительно кодирует их.
Сотовый телефон 1100 мультиплексирует кодированные данные изображения, передаваемые от кодера 1153 изображения, и цифровые аудиоданные, передаваемые от аудиокодека 1159, в модуле 1157 мультиплексирования/разделения, используя заданный способ. Сотовый телефон 1100 подвергает мультиплексированные данные, полученные в результате этого, обработке расширения спектра, в модуле 1158 схемы модуляции/демодуляции, и подвергает обработке цифро-аналогового преобразования и обработке преобразования частоты, в модуле 1163 схемы передачи/приема. Сотовый телефон 1100 передает сигнал передачи, полученный в результате обработки преобразования, на непоказанную базовую станцию через антенну 1114. Сигнал для передачи (данные изображения), передаваемые от базовой станции, подают на другую сторону через сеть и т.п.
Следует отметить, что, когда данные изображения не передают, сотовый телефон 1100 также может отображать данные изображения, генерируемые камерой 1116 CCD, в устройстве 1118 жидкокристаллического дисплея через модуль 1155 управления LCD, вместо кодера 1153 изображения.
Кроме того, например, в случае приема данных файла движущегося изображения, связанного с простым веб-сайтом и т.п. в режиме передачи данных, сотовый телефон 1100 принимает сигнал, переданный от базовой станции, в модуле 1163 схемы передачи/приема через антенну 1114, усиливает и дополнительно подвергает обработке преобразования частоты и обработке аналого/цифрового преобразования. Сотовый телефон 1100 подвергает принятый сигнал обработке обратного расширения спектра в модуле 1158 схемы модуляции/демодуляции для восстановления исходных мультиплексированных данных. Сотовый телефон 1100 разделяет мультиплексированные данные в модуле 1157 мультиплексирования/разделения на кодированные данные изображения и аудиоданные.
Сотовый телефон 1100 декодирует данные кодированного изображения в декодере 1156 изображения, используя формат декодирования, соответствующий заданному формату кодирования, такой как MPEG2, MPEG4 и т.п., генерируя, таким образом, воспроизводимые данные движущегося изображения, и отображает их на жидкокристаллическом дисплее 1118 через модуль 1155 управления LCD. Таким образом, данные движущегося изображения, включенные в файл движущегося изображения, соединенные с простым веб-сайтом, отображают, например, на жидкокристаллическом дисплее 1118.
В сотовом телефоне 1100 используется упомянутое выше устройство 200 декодирования изображения или устройство 400 декодирования изображения, как декодер 1156 изображения, для выполнения такой обработки. Соответственно, таким же образом, как и в устройстве 200 декодирования изображения или в устройстве 400 декодирования изображения, декодер 1156 изображения выделяет и декодирует информацию управления, подаваемую от устройства 100 кодирования изображения или от устройства 300 кодирования изображения, и выполняет обработку управления адаптивного фильтра (и фильтрацию), используя эту информацию управления. Таким образом, декодер 1156 изображения может подавлять ухудшение эффектов, посредством локального управления обработкой фильтра.
В это время, одновременно, сотовый телефон 1100 преобразует цифровые аудиоданные в аналоговый аудиосигнал в аудиокодеке 1159, и выводит его через громкоговоритель 1117. Таким образом, воспроизводят, например, аудиоданные, включенные в файл движущегося изображения, связанного с простым веб-сайтом.
Следует отметить, что, таким же образом, как и в случае электронной почты, сотовый телефон 1100 может записывать (сохранять) принятые данные, связанные с простым веб-сайтом и т.п., в модуле 1123 хранения через модуль 1162 записи/воспроизведения.
Кроме того, сотовый телефон 1100 анализирует изображение двумерного кода, получаемый камерой 1116 CCD в модуле 1150 основного управления, в результате чего, может быть получена информация, записанная в виде двумерного кода.
Кроме того, сотовый телефон 1100 может выполнять обмен данными с внешним устройством посредством модуля 1181 инфракрасной передачи данных, используя инфракрасные лучи.
В сотовом телефоне 1100 используется устройство 100 кодирования изображения или устройство 300 кодирования изображения, как кодер 1153 изображения, в результате чего, может быть реализовано подавление ухудшения эффектов, посредством локального управления фильтрацией в отношении кодированных данных, генерируемых данными кодирующего изображения, генерируемыми, например, в камере 1116 CCD.
Например, сотовый телефон 1100 может улучшить качество изображения результатов фильтрации путем выполнения фильтрации для разнесенных срезов, и может подавать кодированные данные с более высоким качеством изображения на другие сотовые телефоны. Кроме того, например, в результате выполнения фильтрации, замкнутого в текущем срезе, сотовый телефон 1100 может выполнять фильтрацию с малой задержкой, и может подавать кодированные данные на другие сотовые телефоны с меньшей задержкой.
Кроме того, в сотовом телефоне 1100 используется устройство 200 декодирования изображения или устройство 400 декодирования изображения, в качестве декодера 1156 изображения, в результате чего может быть реализовано подавление ухудшения эффектов посредством локального управления фильтрацией в отношении, например, данных файла движущегося изображения, связанного с простым веб-сайтом и т.п.
Например, сотовый телефон 1100 может улучшить качество изображения результатов фильтрации путем выполнения фильтрации для разнесенных срезов, и может реализовать высокое качество изображения декодированных изображений. Кроме того, например, путем выполнения фильтрации, замкнутого в текущем срезе, сотовый телефон 1100 может выполнять фильтрацию с малой задержкой, и может декодировать кодированные данные с малой задержкой.
Следует отметить, что до сих пор было представлено описание, в котором, в сотовом телефоне 1100 используется камера 1116 CCD, но в сотовом телефоне 1100 может использоваться датчик изображения (датчик изображения CMOS), в котором используется CMOS (комплементарный металло-оксидный полупроводник) вместо камеры 1116 CCD. В этом случае также, сотовый телефон 1100 может снимать изображение субъекта и генерировать данные изображения для изображения этого субъекта таким же образом, как и в случае использования камеры 1116 CCD.
Кроме того, до сих пор было представлено описание, относящееся к сотовому телефону 1100, но устройство 100 кодирования изображения и устройство 200 декодирования изображения могут применяться в устройстве любого типа, таким же образом, как и в случае сотового телефона 1100, если только оно представляет собой устройство, имеющее ту же функцию формирования изображений и функцию обмена данными, как и в сотовом телефоне 1100, например, таком как PDA (карманный персональный компьютер), смартфон, UMPC (ультра мобильный персональный компьютер), нетбук, персональный компьютер с размером нетбука, и т.п.
8. Восьмой вариант осуществления
Блок записи на жесткий диск
На фиг. 26 показана блок-схема, иллюстрирующая пример основной конфигурации блока записи на жесткий диск, в котором используется устройство кодирования изображения и устройство декодирования изображения, в котором применяют настоящее изобретение.
Блок 1200 записи на жесткий диск (блок записи HDD), показанный на фиг. 26, представляет собой устройство, в котором содержатся, на встроенном жестком диске, аудиоданные и видеоданные программ широковещательной передачи, включенные в сигналы волны широковещательной передачи (телевизионные сигналы), принятые тюнером и переданные со спутника или через наземную антенну и т.п., и который предоставляет сохраненные данные пользователю в момент времени, в соответствии с инструкцией пользователя.
Блок 1200 записи на жесткий диск может, например, выделять аудиоданные и видеоданные из сигналов волны широковещательной передачи, декодировать их соответствующим образом, и сохранять на встроенном жестком диске. Кроме того, блок 1200 записи на жесткий диск также может получать аудиоданные и видеоданные от другого устройства через сеть, декодировать их соответствующим образом и сохранять, например, на встроенном жестком диске.
Кроме того, блок 1200 записи на жесткий диск может, например, декодировать аудиоданные и видеоданные, записанные на встроенный жесткий диск, подавать их на монитор 1260, отображать их изображение на экране монитора 1260, и выводить их звук через громкоговорители монитора 1260. Кроме того, блок 1200 записи на жесткий диск может, например, декодировать аудиоданные и видеоданные, выделенные из сигналов цифровой широковещательной передачи, полученные через тюнер, или аудиоданные и видеоданные, полученные от другого устройства через сеть, подавать их на монитор 1260, отображать их изображение на экране монитора 1260, и выводить их звук через громкоговорители монитора 1260.
Конечно, могут быть выполнены другие операции, кроме этих.
Как показано на фиг. 26, блок 1200 записи на жесткий диск включает в себя модуль 1221 приема, модуль 1222 демодуляции, демультиплексор 1223, аудио декодер 1224, видеодекодер 1225 и модуль 1226 управления блоком записи. Блок 1200 записи на жесткий диск дополнительно включает в себя запоминающее устройство 1227 данных EPG, запоминающее устройство 1228 программы, рабочее запоминающее устройство 1229, преобразователь 1230 отображения, модуль 1231 управления OSD (отображение на экране), модуль 1232 управления дисплеем, модуль 1233 записи/воспроизведения, D/A преобразователь 1234, и модуль 1235 передачи данных.
Кроме того, преобразователь 1230 отображения включает в себя видеокодер 1241. Модуль 1233 записи/воспроизведения включает в себя кодер 1251 и декодер 1252.
Модуль 1221 приема принимает инфракрасный сигнал с пульта дистанционного управления (не показан), преобразует его в электрический сигнал, и выводит на модуль 1226 управления блоком записи. Модуль 1226 управления блоком записи выполнен, например, на основе микропроцессора и т.д., и выполняет различные типы обработки в соответствии с программой, сохраненной в запоминающем устройстве 1228 программы. В это время модуль 1226 управления блоком записи использует рабочее запоминающее устройство 1229, в соответствии с необходимостью.
Модуль 1235 передачи данных, который соединен с сетью, выполняет обработку обмена данными с другим устройством через сеть. Например, модулем 1235 передачи данных управляют с помощью модуля 1226 управления блоком записи для связи с тюнером (не показан) и для преимущественного вывода сигнала управления выбором канала в тюнер.
Модуль 1222 демодуляции демодулирует сигнал, подаваемый из тюнера, и выводит в демультиплексор 1223. Демультиплексор 1223 разделяет данные, поданные из модуля 1222 демодуляции на аудиоданные, видеоданные и данные EPG, и выводит их в аудиодекодер 1224, видеодекодер 1225 и модуль 1226 управления блоком записи, соответственно.
Аудиодекодер 1224 декодирует входные аудиоданные, и выводит их в модуль 1233 записи/воспроизведения. Видеодекодер 1225 декодирует входные видеоданные, и выводит в преобразователь 1230 отображения. Модуль 1226 управления блоком записи подает входные данные EPG в запоминающее устройство 1227 данных EPG для сохранения.
Преобразователь 1230 отображения кодирует видеоданные, передаваемые из видеодекодера 1225 или 1226 модуля управления блоком записи, например, видеоданные, соответствующие формату NTSC (Национальный комитет по телевизионным стандартам), используя видеокодер 1241, и выводит в модуль 1233 записи/воспроизведения. Кроме того, преобразователь 1230 отображения преобразует размер экрана видеоданных, передаваемых от видеодекодера 1225 или модуля 1226 управления блоком записи, в размер, соответствующий размеру монитора 1260, преобразует видеоданные, размер экрана которых был преобразован, в видеоданные, соответствующие формату NTSC, используя видеокодер 1241, преобразует в аналоговый сигнал, и выводит в модуль 1232 управления отображением.
Модуль 1232 управления отображением накладывает, под управлением модуля 1226 управления блоком записи, сигнал OSD, выводимый из модуля 1231 управления OSD (отображение на экране) для видеосигнала, подаваемого из преобразователя 1230 отображения, и выводит на дисплей 1260 монитора для отображения.
Кроме того, аудиоданные, выводимые из аудиодекодера 1224, преобразуют в аналоговый сигнал, используя D/A преобразователь 1234, и подают в монитор 1260. Монитор 1260 выводит аудиосигнал из встроенного громкоговорителя.
Модуль 1233 записи/воспроизведения включает в себя жесткий диск, как носитель записи, в котором записаны видеоданные, аудиоданные и т.д.
Модуль 1233 записи/воспроизведения кодирует аудиоданные, подаваемые из аудиодекодера 1224 с помощью кодера 1251. Кроме того, модуль 1233 записи/воспроизведения кодирует видеоданные, подаваемые из видеокодера 1241 через преобразователь 1230 отображения с помощью кодера 1251. Модуль 1233 записи/воспроизведения синтезирует кодированные данные из его аудиоданных, и кодированные данные из видеоданных, используя мультиплексор. Модуль 1233 записи/воспроизведения усиливает синтезированные данные путем кодирования канала, и записывает данные на жесткий диск через записывающую головку.
Модуль 1233 записи/воспроизведения воспроизводит данные, записанные на жесткий диск, через головку воспроизведения, усиливает и разделяет на аудиоданные и видеоданные, используя демультиплексор. Модуль 1233 записи/воспроизведения декодирует аудиоданные и видеоданные с помощью декодера 1252, используя формат MPEG. Модуль 1233 записи/воспроизведения преобразует декодированные аудиоданные из цифровой в аналоговую форму, и выводит в громкоговоритель монитора 1260. Кроме того, модуль 1233 записи/воспроизведения преобразует декодированные видеоданные из цифровой в аналоговую форму, и выводит в дисплей монитора 1260.
Модуль 1226 управления блоком записи считывает последние данные EPG из запоминающего устройства 1227 данных EPG на основе инструкции пользователя, обозначенных инфракрасным сигналом от пульта дистанционного управления, которые принимает через модуль 1221 приема, и подает в модуль 1231 управления OSD. Модуль 1231 управления OSD генерирует данные изображения, соответствующие входным данным EPG, и выводит в модуль 1232 управления отображением. Модуль 1232 управления отображением выводит видеоданные, вводимые из модуля 1231 управления OSD в дисплей монитора 1260, для отображения. Таким образом, EPG (электронная программа телевизионных передач) отображается на дисплее монитора 1260.
Кроме того, блок 1200 записи на жесткий диск может получать различные типы данных, такие как видеоданные, аудиоданные, данные EPG и т.д., подаваемые от другого устройства через сеть, такую как Интернет и т.п.
Модулем 1235 передачи данных управляют с помощью модуля 1226 управления блоком записи для получения кодированных данных, такие как видеоданные, аудиоданные, данные EPG и т.д., переданные из другого устройства через сеть, и подают их в модуль 1226 управления блоком записи. Модуль 1226 управления блоком записи подает кодированные данные полученных видеоданных и аудиоданных в модуль 1233 записи/воспроизведения, и сохраняет их, например, на жестком диске. В это время модуль 1226 управления блоком записи и модуль 1233 записи/воспроизведения может выполнять обработку, такую, как повторное кодирование и т.п., в соответствии с необходимостью.
Кроме того, модуль 1226 управления блоком записи декодирует кодированные данные полученных видеоданных и аудиоданных, и подает полученные видеоданные в преобразователь 1230 отображения. Преобразователь 1230 отображения обрабатывает таким же образом, как и видеоданные, подаваемые из видеодекодера 1225, видеоданные, подаваемые из модуля 1226 управления блоком записи, подает на монитор 1260 через модуль 1232 управления отображением для отображения их изображения.
В качестве альтернативы, может быть выполнена компоновка, в которой в соответствии с таким отображением изображения, модуль 1226 управления блоком записи подает декодируемые аудиоданные в монитор 1260 через D/A преобразователь 1234, и выводит его аудиоданные через громкоговоритель.
Кроме того, модуль 1226 управления блоком записи декодирует кодированные данные полученных данных EPG, и подает декодированные данные EPG в запоминающее устройство 1227 данных EPG.
Блок 1200 записи жесткого диска, выполненный таким образом, использует устройство 200 декодирования изображения или устройство 400 декодирования изображения, как видеодекодер 1225, декодер 1252 и декодер, размещенный в модуле 1226 управления блоком записи. В соответствии с этим, таким же образом, как и в устройстве 200 декодирования изображения или в устройстве 400 декодирования изображения, видеодекодер 1225, декодер 1252 и декодер, размещенный в модуле 1226 управления блоком записи, выделяет и декодируют информацию управления, подаваемую из устройства 100 кодирования изображения или устройства 300 кодирования изображения, и выполняет обработку управления адаптивным фильтром (и фильтрацию), используя информацию управления. В соответствии с этим, видеодекодер 1225, декодер 1252 и декодер, размещенный в модуле 1226 управления блоком записи, могут подавлять ухудшение эффектов посредством локального управления фильтрацией.
В соответствии с этим, блок 1200 записи жесткого диска может подавлять ухудшение эффектов, посредством локального управления фильтрацией в отношении видеоданных, принимаемых через тюнер или модуль 1235 передачи данных, и видеоданных, записанных, например, на жестком диске модуля 1233 записи/воспроизведения.
Например, блок 1200 записи жесткого диска может улучшить качество изображения результатов фильтрации путем выполнения фильтрации для разнесенных срезов, и может реализовать высокое качество изображения декодируемых изображений. Кроме того, например, путем выполнения фильтрации, замкнутой в текущем срезе, блок 1200 записи жесткого диска может выполнять фильтрацию с малой задержкой и может декодировать кодированные данные с малой задержкой.
Кроме того, в блоке 1200 записи на жесткий диск используется устройство 100 кодирования изображения или устройство 300 кодирования изображения, как кодер 1251. В соответствии с этим, таким же образом, как и в случае устройства изображения 100 кодирования изображения или устройства 300 кодирования изображения, кодер 1251 может реализовать подавление ухудшения эффектов посредством локального управления фильтрацией.
В соответствии с этим, блок 1200 записи на жесткий диск может подавлять ухудшение эффектов, из-за локального управления фильтрацией в отношении кодированных данных, записанных, например, на жестком диске.
Например, блок 1200 записи на жесткий диск может улучшить качество изображения результатов фильтрации путем выполнения фильтрации для разнесенных срезов, и может записывать кодированные данные с более высоким качеством изображения на жесткий диск. Кроме того, например, путем выполнения фильтрации, замкнутой в текущем срезе, блок 1200 записи на жесткий диск может выполнить фильтрацию с малой задержкой, и может генерировать кодированные данные и записывать их на жесткий диск с малой задержкой.
Следует отметить, что выше было представлено описание в отношении блока 1200 записи на жесткий диск, для записи видеоданных и аудиоданных на жесткий диск, но, само собой разумеется, что может использоваться носитель записи любого вида. Например, даже при использовании блока записи, в котором применяется другой носитель записи, чем жесткий диск, такой, как запоминающее устройство типа флэш, оптический диск, видеолента и т.п., устройство 100 кодирования изображения и устройство 200 декодирования изображения могут применяться в нем таким же образом, как и в случае представленного выше блока 1200 записи на жесткий диск.
9. Девятый вариант осуществления
Камера
На фиг. 27 показана блок-схема, иллюстрирующая пример основной конфигурации камеры, в которой используется устройство кодирования изображения и устройство декодирования изображения, в которых применяется настоящее изобретение.
Камера 1300, показанная на фиг. 27, снимает изображение субъекта, отображает изображение субъекта на LCD 1316, и записывает его на носителе 1333 записи, как данные изображения.
Блок 1311 объектива подает свет (то есть, изображение субъекта) в CCD/CMOS1312. CCD/CMOS 1312 представляет собой датчик изображения, в котором используются CCD или CMOS, которые преобразуют интенсивность принятого света в электрический сигнал, и подает в модуль 1313 обработки сигналов камеры.
Модуль 1313 обработки сигналов камеры преобразует электрический сигнал, подаваемый из CCD/CMOS 1312, в цветоразностные сигналы Y, Сг и СЬ, и подает их в модуль 1314 обработки сигнала изображения. Модуль 1314 обработки сигнала изображения подвергает, под управлением контроллера 1321, сигнал изображения, подаваемый из модуля 1313 обработки сигналов камеры, заданной обработке изображения или кодирует свой сигнал изображения с помощью кодера 1341, используя, например, формат MPEG. Модуль 1314 обработки сигнала изображения подает кодированные данные, генерируемые путем кодирования сигнала изображения, в декодер 1315. Кроме того, модуль 1314 обработки сигнала изображения получает данные для отображения, генерируемые при отображении 1320 на экране (OSD), и подает их в декодер 1315.
При использовании упомянутой выше обработки, модуль 1313 обработки сигналов камеры, соответственно, использует преимущество DRAM (динамического оперативного запоминающего устройства) 1318, соединенного через шину 1317, для содержания данных изображения, кодированных данных, кодированных из его данных изображения, и т.д. в своем DRAM 1318, в соответствии с необходимостью.
Декодер 1315 декодирует кодированные данные, подаваемые из модуля 1314 обработки сигнала изображения, и подает полученные данные изображения (декодированные данные изображения) в LCD 1316. Кроме того, декодер 1315 подает данные для отображения, передаваемые из модуля 1314 обработки сигнала изображения в LCD 1316. LCD 1316 синтезирует изображение декодированных данных изображения, и изображение данных для отображения, передаваемых из декодера 1315 соответствующим образом, и отображает их синтезированное изображение.
Отображение 1320 на экране выводит, под управлением контроллера 1321, данные для отображения, такие, как экран меню или пиктограмма, и т.п., составленные из символов, знаков или фигуры, в модуль 1314 обработки сигнала изображения через шину 1317.
На основе сигнала, обозначающего содержание, на воспроизведение которого была получена команда от пользователя, используя модуль 1322 операций, контроллер 1321 выполняет различные типы обработки, и также управляет модулем 1314 обработки сигнала изображения, DRAM 1318, внешним интерфейсом 1319, отображением 1320 на экране, мультимедийным приводом 1323 и т.д. через шину 1317. Программа, данные, и т.д., необходимые для контроллера 1321, выполняющиеся различные типы обработки, сохранены в запоминающем устройстве 1324 типа флэш.
Например, контроллер 1321 может кодировать данные изображения, сохраненные в DRAM 1318, или декодировать кодированные данные, сохраненные в DRAM 1318, вместо модуля 1314 обработки сигнала изображения и декодера 1315. В это время контроллер 1321 может выполнять обработку кодирования и декодирования, используя тот же формат, что и формат кодирования и декодирования модуля 1314 обработки сигнала изображения и декодера 1315, или может выполнять обработку кодирования и декодирования, используя формат, который не может обрабатывать ни модуль 1314 обработки сигнала изображения, ни декодер 1315.
Кроме того, например, в случае, когда из модуля 1322 поступила инструкция на начало печати изображения, контроллер 1321 считывает данные изображения из DRAM 1318, и подает их в принтер 1334, соединенный с внешним интерфейсом 1319 через шину 1317, для печати.
Кроме того, например, в случае, когда из модуля 1322 операций поступила инструкция на запись изображения, контроллер 1321 считывает кодированные данные из DRAM 1318, и подает их в носитель 1333 записи, установленный в мультимедийном приводе 1323 через шину 1317 для сохранения.
Носитель 1333 записи представляет собой необязательный носитель записи, выполненный с возможностью считывания с него/записи на нем, например, такой как магнитный диск, магнитооптический диск, оптический диск, полупроводниковое запоминающее устройство и т.п. Само собой разумеется, что носитель 1333 записи также является необязательным в отношении типа съемного носителя записи, и, соответственно, может представлять собой устройство, работающее с магнитной лентой, или может представлять собой диск, или может быть картой памяти. Само собой разумеется, что носитель 1333 может представлять собой бесконтактную IC-карту и т.п.
В качестве альтернативы, мультимедийный привод 1323 и носитель 1333 записи могут быть выполнены так, чтобы они были интегрированы в не съемный носитель записи, например, такой как встроенный привод жесткого диска, SSD (твердотельный привод) и т.п.
Внешний интерфейс 1319 выполнен, например, из терминала ввода-вывода USB и т.д., и соединен с принтером 1334, в случае выполнения печати изображения. Кроме того, привод 1331, соединяют с внешним интерфейсом 1319, в соответствии с необходимостью, в котором установлен съемный носитель 1332, такой как магнитный диск, оптический диск или магнитооптический диск, соответственно, и компьютерная программа, считанная с него, устанавливается в FLASH ROM 1324, в соответствии с необходимостью.
Кроме того, внешний интерфейс 1319 включает в себя сетевой интерфейс, который должен быть подключен к заданной сети, такой как LAN, Интернет и т.п.Например, в соответствии с инструкциями модуля 1322 операций, контроллер 1321 может считывать кодированные данные из DRAM 1318 и подавать из внешнего интерфейса 1319 в другое устройство, соединенное через сеть. Кроме того, контроллер 1321 может получать, через внешний интерфейс 1319, кодированные данные или данные изображения, подаваемые из другого устройства через сеть, и содержать их в DRAM 1318, или подавать их в модуль 1314 обработки сигнала изображения.
Камера 1300, выполненная таким образом, использует устройство 200 декодирования изображения или устройство 400 декодирования изображения, как декодер 1315. В соответствии с этим, таким же образом, как и в устройстве 200 декодирования изображения или в устройстве 400 декодирования изображения, декодер 1315 выделяет и декодирует информацию управления, подаваемую из устройства 100 кодирования изображения или устройства 300 кодирования изображения, и выполняет обработку управления адаптивным фильтром (и фильтрацию), используя информацию управления. В соответствии с этим, декодер 1315 может подавлять ухудшение эффектов, из-за локального управления фильтрацией.
В соответствии с этим, камера 1300 может подавлять ухудшение эффектов посредством локального управления фильтрацией, в отношении, например, данных изображения, генерируемых в CCD/CMOS1312, кодированных данных видеоданных, считываемых из DRAM 1318 или носителя 1333 записи, и кодированных данных видеоданных, полученных через сеть.
Например, камера 1300 может улучшить качество изображения результатов фильтрации, путем выполнения фильтрации для разнесенных срезов, и может реализовать высокое качество изображения декодируемых изображений. Кроме того, например, путем выполнения фильтрации, замкнутой в текущем срезе, камера 1300 может выполнять фильтрацию с малой задержкой, и может декодировать кодированные данные с малой задержкой.
Кроме того, в камере 1300 используется устройство 100 кодирования изображения или устройство 300 кодирования изображения, как кодер 1341. В соответствии с этим, таким же образом, как и в случае устройства 100 кодирования изображения или устройства 300 кодирования изображения, кодер 1341 может реализовать подавление ухудшения эффектов, из-за локального управления фильтрацией.
В соответствии с этим, камера 1300 может подавлять ухудшение эффектов, из-за локального управления фильтрацией в отношении кодированных данных, записанных в DRAM 1318 или на носителе 1333 записи, или, например, кодированных данных, которые должны быть предоставлены другими устройствами.
Например, камера 1300 может улучшить качество изображения результатов фильтрации путем выполнения фильтрации для разнесенных срезов, и может записывать кодированные данные с более высоким качеством изображения в DRAM 1318 или на носитель 1333 записи, или предоставлять их в другие устройства. Кроме того, например, путем выполнения фильтрации, замкнутого в текущем срезе, камера 1300 может выполнять фильтрацию с малой задержкой, и может генерировать кодированные данные и записывать их в DRAM 1318 или на носитель 1333 записи или предоставлять их другим устройствам, с малой задержкой.
Следует отметить, что способ декодирования устройства 200 декодирования изображения или устройства 400 декодирования изображения могут применяться при обработке декодирования, которую выполняет контроллер 1321. Таким же образом, способ кодирования устройства 100 кодирования изображения или устройства 300 кодирования изображения могут применяться при обработке кодирования, которую выполняет контроллер 1321.
Кроме того, данные изображения, которые снимает камера 1300, могут представлять собой движущиеся изображения или фотографии.
Само собой разумеющееся, устройство 100 кодирования изображения, устройство 200 декодирования изображения, устройство 300 кодирования изображения и устройство 400 декодирования изображения могут применяться в других устройствах или системах, чем описанные выше устройства.
Кроме того, размер макроблоков не ограничен 16×16 пикселями. При этом можно применять макроблоки различных размеров, такие как, например, 32×32 пикселя, показанные на фиг. 28.
Хотя выше было представлено описание с информацией флага и т.п., мультиплексированной (описанной) в потоке битов, флаги и данные изображения (или поток битов) могут быть переданы (записаны), например, помимо их мультиплексирования. Может быть выполнена форма, в которой флаг и данные изображения (или последовательность битов) также связаны (суммированы).
Связанные (суммирование) обозначает состояние, в котором данные изображения (или потоки битов) и флаги взаимно связаны (коррелированное состояние), и взаимосвязь физического положения является произвольной. Например, данные изображения (или последовательность битов) и флаги могут быть переданы через отдельные каналы передачи. Кроме того, данные изображения (или последовательность битов) и флаги, каждый могут быть записаны на отдельные носители записи (или в отдельные области записи в пределах одного и того же носителя записи). Следует отметить, что последовательные приращения, в которых данные изображения (или потоки битов) и флаги связаны, являются произвольными, и могут быть установлены, например, через последовательные приращения при обработке кодирования (один кадр, множество кадров и т.д.).
Список номеров ссылочных позиций
100 устройство кодирования изображения
112 модуль генерирования информации управления
113 модуль управления адаптивного фильтра
132 модуль генерирования флага управления границей
141 модуль управления спецификацией системы
142 модуль определения
161 пиксель, предназначенный для обработки
162 окружающие пиксели
163 граница среза
171 модуль управления
172 адаптивный фильтр
173 модуль выбора
181 буфер
182 адаптивный фильтр внутри среза
183 первый адаптивный фильтр для границы
184 второй адаптивный фильтр для границы
200 устройство декодирования изображения
202 модуль декодирования без потерь
207 модуль обработки адаптивного фильтра
300 устройство кодирования изображения
301 модуль кодирования изображения
302 модуль ввода
303 модуль передачи данных
304 модуль сбора информации
400 модуль декодирования изображения
401 модуль декодирования изображения
402 модуль предоставления информации
403 модуль передачи данных

Claims (37)

1. Устройство декодирования изображений, содержащее:
схемы, выполненные с возможностью
приема кодированного блока изображения, подлежащего декодированию, данных фильтрации блока для проверки, выполнена ли обработка фильтрации блока изображения, данных управления границы для проверки, выполнена ли обработка фильтрации с использованием пикселя среза, следующего после среза, содержащего указанный кодированный блок изображения, и информации о размере блока указанного кодированного блока изображения;
получения, на основе указанной информации о размере блока, положения указанного кодированного блока изображения;
декодирования указанного кодированного блока изображения; и
осуществления указанной обработки фильтрации декодированного блока изображения, на основе указанных данных фильтрации блока, указанных данных управления границы и указанной позиции кодированного блока изображения.
2. Устройство декодирования изображений по п. 1, в котором указанные данные управления границы содержатся в заголовке среза указанного среза, содержащего указанный кодированный блок изображения.
3. Устройство декодирования изображений по п. 2, в котором указанные схемы выполнены с возможностью осуществления обработки фильтрации всех пикселей указанного декодированного блока изображения, при указании данными фильтрации блока, что обработка фильтрации подлежит осуществлению, и указании данными управления границы, что обработка фильтрации подлежит осуществлению с использованием указанного пикселя в указанном следующем срезе.
4. Устройство декодирования изображений по п. 3, в котором указанные схемы выполнены с возможностью осуществления обработки фильтрации всех, кроме граничных, пикселей указанного декодированного блока изображения, при указании данными фильтрации блока, что обработка фильтрации подлежит осуществлению, и указании данными управления границы, что обработка фильтрации подлежит осуществлению без использования пикселей в указанном следующем срезе.
5. Устройство декодирования изображений по п. 4, в котором указанные схемы выполнены с возможностью осуществления обработки фильтрации без пикселей указанного декодированного блока изображения, при указании данными фильтрации блока, что обработка фильтрации не подлежит осуществлению, и указании данными управления границы, что обработка фильтрации подлежит осуществлению без использования пикселей в указанном следующем срезе.
6. Устройство декодирования изображений по п. 5, в котором указанный кодированный блок изображения разделен на четыре области на нижнем иерархическом уровне, а указанные схемы выполнены с возможностью осуществления обработки фильтрации указанного разделенного блока изображения на основе данных фильтрации блока и данных управления границы.
7. Устройство декодирования изображений по п. 1, в котором указанные схемы включают в себя цифровой тюнер выполненный с возможностью приема сигнала широковещательных волн цифрового широковещания, включающего в себя кодированный указанный блок изображения, указанные данные фильтрации блока, указанные данные управления границы и указанную информацию о размере блока.
8. Устройство декодирования изображений по п. 1, дополнительно содержащее:
схему обработки аудиосигнала, выполненную с возможностью осуществления обработки удаления шума над аудиоданными, полученными от схем.
9. Устройство декодирования изображений по п. 1, дополнительно содержащее:
схему обработки видеосигнала, выполненную с возможностью осуществления обработки видео над видеоданными, полученными от схем.
10. Устройство декодирования изображений по п. 9, дополнительно содержащее:
устройство отображения, выполненное с возможностью отображения видеоданных, принятых от указанной схемы обработки видеосигнала.
11. Устройство декодирования изображений по п. 1, в котором обработка фильтрации является обработкой адаптивной фильтрации.
12. Устройство декодирования изображений по п. 11, в котором кодированный блок изображения имеет структуру дерева квадратов.
13. Устройство декодирования изображений по п. 12, в котором структура дерева квадратов является иерархической структурой, и иерархическая структура разделена на четыре.
14. Устройство декодирования изображений по п. 13, в котором структура дерева квадратов является рекурсивной.
15. Устройство декодирования изображений по п. 12, в котором количество уровней структуры дерева квадратов более двух.
16. Способ декодирования изображений, содержащий этапы, на которых:
принимают кодированный блок изображения, подлежащий декодированию, данные фильтрации блока для проверки, выполнена ли обработка фильтрации блока изображения, данные управления границы для проверки, выполнена ли обработка фильтрации с использованием пикселя среза, следующего после среза, содержащего указанный кодированный блок изображения, и информацию о размере блока указанного кодированного блока изображения;
получают, на основе указанной информации о размере блока, положение указанного кодированного блока изображения;
декодируют указанный кодированный блок изображения; и
осуществляют указанную обработку фильтрации декодированного блока изображения, на основе указанных данных фильтрации блока, указанных данных управления границы и указанной позиции кодированного блока изображения.
17. Способ декодирования изображений по п. 16, в котором указанные данные управления границы содержатся в заголовке среза указанного среза, содержащего указанный кодированный блок изображения.
18. Способ декодирования изображений по п. 17, в котором этап осуществления обработки фильтрации содержит подэтап, на котором осуществляют обработку фильтрации всех пикселей указанного декодированного блока изображения, при указании данными фильтрации блока, что обработка фильтрации подлежит осуществлению, и указании данными управления границы, что обработка фильтрации подлежит осуществлению с использованием указанного пикселя в указанном следующем срезе.
19. Способ декодирования изображений по п. 18, в котором этап осуществления обработки фильтрации содержит подэтап, на котором осуществляют обработку фильтрации всех, кроме граничных, пикселей указанного декодированного блока изображения, при указании данными фильтрации блока, что обработка фильтрации подлежит осуществлению, и указании данными управления границы, что обработка фильтрации подлежит осуществлению без использования пикселей в указанном следующем срезе.
20. Способ декодирования изображений по п. 19, в котором этап осуществления обработки фильтрации содержит подэтап, на котором осуществляют обработку фильтрации без пикселей указанного декодированного блока изображения, при указании данными фильтрации блока, что обработка фильтрации не подлежит осуществлению, и указании данными управления границы, что обработка фильтрации подлежит осуществлению без использования пикселей в указанном следующем срезе.
21. Способ декодирования изображений по п. 20, дополнительно содержащий этапы, на которых:
разделяют указанный блок изображения на четыре области на нижнем иерархическом уровне; и
осуществляют обработку фильтрации указанного разделенного блока изображения на основе данных фильтрации блока и данных управления границы.
22. Способ декодирования изображений по п. 16, в котором обработка фильтрации является обработкой адаптивной фильтрации.
23. Энергонезависимый машиночитаемый носитель, хранящий компьютерную программу, вызывающую выполнение процессором способа по п. 16.
RU2014119668A 2009-07-31 2014-05-15 Устройство и способ обработки изображений RU2660612C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009179395A JP5344238B2 (ja) 2009-07-31 2009-07-31 画像符号化装置および方法、記録媒体、並びにプログラム
JP2009-179395 2009-07-31

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
RU2012102382/08A Division RU2543306C2 (ru) 2009-07-31 2010-07-23 Устройство и способ обработки изображений

Publications (2)

Publication Number Publication Date
RU2014119668A RU2014119668A (ru) 2015-11-20
RU2660612C2 true RU2660612C2 (ru) 2018-07-06

Family

ID=43529237

Family Applications (4)

Application Number Title Priority Date Filing Date
RU2012102382/08A RU2543306C2 (ru) 2009-07-31 2010-07-23 Устройство и способ обработки изображений
RU2014119668A RU2660612C2 (ru) 2009-07-31 2014-05-15 Устройство и способ обработки изображений
RU2014123684A RU2656712C2 (ru) 2009-07-31 2014-06-10 Устройство и способ обработки изображений
RU2018117534A RU2766441C2 (ru) 2009-07-31 2018-05-11 Устройство и способ обработки изображений

Family Applications Before (1)

Application Number Title Priority Date Filing Date
RU2012102382/08A RU2543306C2 (ru) 2009-07-31 2010-07-23 Устройство и способ обработки изображений

Family Applications After (2)

Application Number Title Priority Date Filing Date
RU2014123684A RU2656712C2 (ru) 2009-07-31 2014-06-10 Устройство и способ обработки изображений
RU2018117534A RU2766441C2 (ru) 2009-07-31 2018-05-11 Устройство и способ обработки изображений

Country Status (12)

Country Link
US (6) US8805085B2 (ru)
EP (5) EP3661207B1 (ru)
JP (1) JP5344238B2 (ru)
KR (7) KR101872657B1 (ru)
CN (4) CN102511165B (ru)
BR (1) BR112012001639B1 (ru)
ES (2) ES2733072T3 (ru)
HU (2) HUE045448T2 (ru)
PL (2) PL2802150T3 (ru)
RU (4) RU2543306C2 (ru)
TW (5) TWI595775B (ru)
WO (1) WO2011013580A1 (ru)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2801594C1 (ru) * 2019-11-18 2023-08-11 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство кодирования изображения для управления контурной фильтрацией
US12081805B2 (en) 2019-11-18 2024-09-03 Lg Electronics Inc. Image coding device and method, for controlling loop filtering

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5604825B2 (ja) * 2009-08-19 2014-10-15 ソニー株式会社 画像処理装置および方法
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI508534B (zh) * 2010-05-18 2015-11-11 Sony Corp Image processing apparatus and image processing method
DK3177017T3 (da) 2010-06-04 2020-03-02 Sony Corp Kodning af en qp og en delta qp for billedblokke, der er større end en minimumsstørrelse
CN103716632B (zh) 2010-12-07 2017-04-19 索尼公司 图像处理设备和图像处理方法
CN106385586A (zh) 2010-12-07 2017-02-08 索尼公司 图像处理设备和图像处理方法
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
JP5551274B2 (ja) * 2010-12-14 2014-07-16 シャープ株式会社 画像フィルタ装置
US9060174B2 (en) 2010-12-28 2015-06-16 Fish Dive, Inc. Method and system for selectively breaking prediction in video coding
CN103392338A (zh) 2011-01-03 2013-11-13 联发科技股份有限公司 基于滤波单元的回路滤波方法
KR20190069613A (ko) 2011-02-10 2019-06-19 벨로스 미디어 인터내셔널 리미티드 화상 처리 장치 및 화상 처리 방법
JPWO2012120840A1 (ja) * 2011-03-07 2014-07-17 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置および画像符号化装置
MY186854A (en) 2011-03-11 2021-08-26 Sony Corp Image processing apparatus and method
JP2012213128A (ja) 2011-03-24 2012-11-01 Sony Corp 画像処理装置および方法
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
MY167204A (en) 2011-06-28 2018-08-13 Sony Corp Image processing device and image processing method
JP2013074491A (ja) * 2011-09-28 2013-04-22 Sony Corp 画像処理装置および方法
US9462298B2 (en) 2011-10-21 2016-10-04 Qualcomm Incorporated Loop filtering around slice boundaries or tile boundaries in video coding
US9247258B2 (en) 2011-10-26 2016-01-26 Qualcomm Incorporated Unified design for picture partitioning schemes
US20130107973A1 (en) * 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
US9986235B2 (en) 2011-10-31 2018-05-29 Mitsubishi Electric Corporation Video decoding device and video decoding method
US9635359B2 (en) * 2011-11-28 2017-04-25 Canon Kabushiki Kaisha Method and apparatus for determining deblocking filter intensity
CN103200400B (zh) * 2012-01-09 2018-03-16 中兴通讯股份有限公司 一种图像层和分片层的编解码方法、编解码器和电子设备
US9930379B2 (en) 2012-01-31 2018-03-27 Comcast Cable Communications, Llc System and method for data stream fragmentation
BR112013027865B1 (pt) * 2012-02-03 2023-03-21 Hfi Innovation Inc Método e aparelho de processamento de filtro em loop para pixels de fronteira através de uma fronteira de bloco
US20130279882A1 (en) * 2012-04-23 2013-10-24 Apple Inc. Coding of Video and Audio with Initialization Fragments
MX338938B (es) * 2012-07-02 2016-05-06 Panasonic Ip Corp America Metodo de decodificacion de imagenes, metodo de codificaicon de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imágenes.
JP5885604B2 (ja) * 2012-07-06 2016-03-15 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
WO2014097596A1 (ja) * 2012-12-19 2014-06-26 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
US20170295369A1 (en) * 2014-10-06 2017-10-12 Sony Corporation Image processing device and method
CN104683819A (zh) * 2015-01-31 2015-06-03 北京大学 一种自适应环路滤波方法及装置
TWI575937B (zh) * 2015-07-24 2017-03-21 矽創電子股份有限公司 Image prediction and decoding method and encoding / decoder
DE112016007098T5 (de) * 2016-07-26 2019-04-18 Hewlett-Packard Development Company, L.P. Indexierung von voxeln für das 3d-drucken
US11057624B2 (en) 2016-10-14 2021-07-06 Industry Academy Cooperation Foundation Of Sejong University Image encoding method/device, image decoding method/device, and recording medium in which bitstream is stored
CN116489406A (zh) * 2016-10-14 2023-07-25 世宗大学校产学协力团 影像解码/编码方法、传送比特流的方法及记录介质
US10469876B2 (en) * 2016-12-22 2019-11-05 Mediatek Inc. Non-local adaptive loop filter combining multiple denoising technologies and grouping image patches in parallel
JPWO2019225459A1 (ja) * 2018-05-23 2021-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
US12034977B2 (en) 2018-06-28 2024-07-09 Electronics And Telecommunications Research Institute Video encoding/decoding method and device, and recording medium for storing bitstream
WO2020013498A1 (ko) * 2018-07-13 2020-01-16 엘지전자 주식회사 컨텐츠 서비스 시스템에서 영상 서비스 처리 방법 및 그 장치
US10735682B2 (en) * 2018-11-14 2020-08-04 Omnivision Technologies, Inc. Dram with staggered word line transitions for hybrid-bonded photosensor arrays
WO2020262928A1 (ko) * 2019-06-23 2020-12-30 엘지전자 주식회사 비디오/영상 코딩 시스템에서 디블록킹 필터링 방법 및 장치
JP2021033334A (ja) * 2019-08-13 2021-03-01 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、および情報処理プログラム
AU2020414207B2 (en) * 2019-12-23 2024-05-02 Lg Electronics Inc. Image coding apparatus and method based on sub-picture
KR20220003812A (ko) * 2020-07-02 2022-01-11 삼성전자주식회사 호 채널의 상태에 기반하여 필터를 사용하여 전처리된 컨텐츠를 전송하는 전자 장치 및 전자 장치의 동작 방법
KR20220021961A (ko) 2020-08-13 2022-02-23 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050008079A1 (en) * 2003-07-08 2005-01-13 Ntt Docomo, Inc. Moving-picture encoding apparatus, moving-picture encoding methods, and moving-picture encoding programs
US20070183508A1 (en) * 2004-08-05 2007-08-09 Shintaro Kudo Image decoding device and image encoding device
US7330596B2 (en) * 2002-07-17 2008-02-12 Ricoh Company, Ltd. Image decoding technique for suppressing tile boundary distortion
US20080267297A1 (en) * 2007-04-26 2008-10-30 Polycom, Inc. De-blocking filter arrangements
RU2341034C1 (ru) * 2005-01-04 2008-12-10 Самсунг Электроникс Ко., Лтд. Способ управления устранением блочности, учитывающий режим внутреннего bl, и кодировщик/декодер многослойного видео, его использующий

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5344238B2 (ru) 1973-04-06 1978-11-27
JP3297293B2 (ja) 1996-03-07 2002-07-02 三菱電機株式会社 動画像復号方法および動画像復号装置
US6788880B1 (en) * 1998-04-16 2004-09-07 Victor Company Of Japan, Ltd Recording medium having a first area for storing an audio title set and a second area for storing a still picture set and apparatus for processing the recorded information
AU717480B2 (en) * 1998-08-01 2000-03-30 Korea Advanced Institute Of Science And Technology Loop-filtering method for image data and apparatus therefor
JP2002150281A (ja) * 2000-11-16 2002-05-24 Sony Corp 画像縮小処理装置及び方法
EP1401214A4 (en) 2001-10-17 2006-08-02 Matsushita Electric Ind Co Ltd METHOD FOR ENCODING AND DECODING IMAGES
US7423691B2 (en) * 2001-11-19 2008-09-09 Matsushita Electric Industrial Co., Ltd. Method of low latency interlace to progressive video format conversion
US7995849B2 (en) * 2003-03-17 2011-08-09 Qualcomm, Incorporated Method and apparatus for improving video quality of low bit-rate video
US7324596B2 (en) * 2003-07-15 2008-01-29 Lsi Logic Corporation Low complexity block size decision for variable block size motion estimation
JP4282399B2 (ja) 2003-07-16 2009-06-17 パナソニック株式会社 無線親機及び無線子機
EP1515561B1 (en) * 2003-09-09 2007-11-21 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for 3-D sub-band video coding
EP1878257A1 (en) * 2005-04-12 2008-01-16 Nokia Corporation Method and system for motion compensated fine granularity scalable video coding with drift control
KR100716998B1 (ko) * 2005-05-24 2007-05-10 삼성전자주식회사 블록화 현상을 감소시키기 위한 부호화 및 복호화 장치 및그 방법과, 이를 구현하기 위한 프로그램이 기록된 기록매체
JP2007027956A (ja) 2005-07-13 2007-02-01 Matsushita Electric Ind Co Ltd デブロッキングフィルタ
US20080130989A1 (en) * 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
JP2007129369A (ja) 2005-11-01 2007-05-24 Matsushita Electric Ind Co Ltd 画像再生装置およびその方法
JP4987322B2 (ja) 2006-02-28 2012-07-25 株式会社東芝 動画像復号装置及び動画像復号方法
JP4605052B2 (ja) * 2006-03-03 2011-01-05 日本電気株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、フィルタ装置及びプログラム
JP4646234B2 (ja) 2006-03-22 2011-03-09 パナソニック株式会社 薬液供給装置および半導体装置の製造方法
CN102158697B (zh) 2006-09-07 2013-10-09 Lg电子株式会社 用于解码/编码视频信号的方法及装置
CN101401430B (zh) * 2006-11-17 2012-02-29 Lg电子株式会社 用于解码/编码视频信号的方法及装置
KR100896289B1 (ko) * 2006-11-17 2009-05-07 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
US9445128B2 (en) * 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers
US20080170793A1 (en) * 2007-01-12 2008-07-17 Mitsubishi Electric Corporation Image encoding device and image encoding method
JP4847890B2 (ja) * 2007-02-16 2011-12-28 パナソニック株式会社 符号化方式変換装置
US8345968B2 (en) 2007-06-28 2013-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
JP4821723B2 (ja) 2007-07-13 2011-11-24 富士通株式会社 動画像符号化装置及びプログラム
US8437564B2 (en) * 2007-08-07 2013-05-07 Ntt Docomo, Inc. Image and video compression using sparse orthonormal transforms
WO2009044475A1 (ja) 2007-10-04 2009-04-09 Fujitsu Limited 符号化装置、符号化方法、符号化プログラムおよび符号化回路
US20090316793A1 (en) * 2008-06-20 2009-12-24 Yang Zhijie Michael Method and system for adaptive deblocking for avs1-p2
KR101538704B1 (ko) * 2009-01-28 2015-07-28 삼성전자주식회사 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
JP5233897B2 (ja) 2009-07-31 2013-07-10 ソニー株式会社 画像処理装置および方法
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7330596B2 (en) * 2002-07-17 2008-02-12 Ricoh Company, Ltd. Image decoding technique for suppressing tile boundary distortion
US20050008079A1 (en) * 2003-07-08 2005-01-13 Ntt Docomo, Inc. Moving-picture encoding apparatus, moving-picture encoding methods, and moving-picture encoding programs
US20070183508A1 (en) * 2004-08-05 2007-08-09 Shintaro Kudo Image decoding device and image encoding device
RU2341034C1 (ru) * 2005-01-04 2008-12-10 Самсунг Электроникс Ко., Лтд. Способ управления устранением блочности, учитывающий режим внутреннего bl, и кодировщик/декодер многослойного видео, его использующий
US20080267297A1 (en) * 2007-04-26 2008-10-30 Polycom, Inc. De-blocking filter arrangements

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2801594C1 (ru) * 2019-11-18 2023-08-11 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство кодирования изображения для управления контурной фильтрацией
RU2802374C1 (ru) * 2019-11-18 2023-08-28 ЭлДжи ЭЛЕКТРОНИКС ИНК. Устройство и способ кодирования изображения для управления контурной фильтрацией
RU2809689C2 (ru) * 2019-11-18 2023-12-14 ЭлДжи ЭЛЕКТРОНИКС ИНК. Устройство и способ кодирования изображения для управления контурной фильтрацией
RU2810653C2 (ru) * 2019-11-18 2023-12-28 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство кодирования изображения для управления контурной фильтрацией
US12081805B2 (en) 2019-11-18 2024-09-03 Lg Electronics Inc. Image coding device and method, for controlling loop filtering

Also Published As

Publication number Publication date
US20130301942A1 (en) 2013-11-14
CN103957407A (zh) 2014-07-30
US8805085B2 (en) 2014-08-12
CN102511165A (zh) 2012-06-20
EP3496402B1 (en) 2020-04-01
RU2018117534A (ru) 2019-11-11
PL2790409T3 (pl) 2019-10-31
CN103957408A (zh) 2014-07-30
EP2461588A4 (en) 2014-11-12
EP3661207A1 (en) 2020-06-03
JP5344238B2 (ja) 2013-11-20
US20200314454A1 (en) 2020-10-01
EP3661207B1 (en) 2021-09-01
KR20140065021A (ko) 2014-05-28
US11405652B2 (en) 2022-08-02
KR101649775B1 (ko) 2016-08-19
US8774537B2 (en) 2014-07-08
RU2012102382A (ru) 2013-07-27
KR20170049637A (ko) 2017-05-10
CN103957407B (zh) 2017-08-15
KR101649805B1 (ko) 2016-08-19
US10721494B2 (en) 2020-07-21
CN103957408B (zh) 2018-05-18
RU2014119668A (ru) 2015-11-20
KR20160099727A (ko) 2016-08-22
EP2790409A2 (en) 2014-10-15
KR101931730B1 (ko) 2018-12-24
BR112012001639A2 (pt) 2016-04-12
WO2011013580A1 (ja) 2011-02-03
HUE045448T2 (hu) 2019-12-30
KR20180070716A (ko) 2018-06-26
ES2733068T3 (es) 2019-11-27
EP2802150B1 (en) 2019-04-24
EP2790409A3 (en) 2014-11-19
TW201921930A (zh) 2019-06-01
TW202029752A (zh) 2020-08-01
KR101872657B1 (ko) 2018-06-28
ES2733072T3 (es) 2019-11-27
TWI694711B (zh) 2020-05-21
EP2461588A1 (en) 2012-06-06
KR20180137038A (ko) 2018-12-26
CN102511165B (zh) 2015-06-17
US20160309193A1 (en) 2016-10-20
CN104935937B (zh) 2019-03-19
US9918108B2 (en) 2018-03-13
EP2802150A1 (en) 2014-11-12
TWI647947B (zh) 2019-01-11
PL2802150T3 (pl) 2019-10-31
RU2656712C2 (ru) 2018-06-06
US20140270559A1 (en) 2014-09-18
EP2790409B1 (en) 2019-04-24
RU2766441C2 (ru) 2022-03-15
TWI472230B (zh) 2015-02-01
CN104935937A (zh) 2015-09-23
TWI723849B (zh) 2021-04-01
BR112012001639B1 (pt) 2021-01-26
HUE044436T2 (hu) 2019-10-28
US9392269B2 (en) 2016-07-12
TW201114265A (en) 2011-04-16
KR20120039657A (ko) 2012-04-25
RU2543306C2 (ru) 2015-02-27
KR101747063B1 (ko) 2017-06-14
RU2014123684A (ru) 2015-12-20
KR20190114025A (ko) 2019-10-08
US20120121188A1 (en) 2012-05-17
TWI595775B (zh) 2017-08-11
EP3496402A1 (en) 2019-06-12
RU2018117534A3 (ru) 2021-09-13
KR102126165B1 (ko) 2020-06-24
US20180146215A1 (en) 2018-05-24
JP2011035620A (ja) 2011-02-17
TW201448569A (zh) 2014-12-16
KR102030954B1 (ko) 2019-10-10
TW201728170A (zh) 2017-08-01

Similar Documents

Publication Publication Date Title
RU2766441C2 (ru) Устройство и способ обработки изображений
JP6328076B2 (ja) 画像復号装置および方法、記録媒体、並びにプログラム
JP6826177B2 (ja) 画像復号装置、画像復号方法、及び、記録媒体
JP6620184B2 (ja) 画像復号装置、画像復号方法、及び、記録媒体
JP5999773B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP5429418B2 (ja) 画像復号装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
HZ9A Changing address for correspondence with an applicant