RU2512130C2 - Устройство и способ получения изображений с более высоким разрешением во встроенном устройстве - Google Patents
Устройство и способ получения изображений с более высоким разрешением во встроенном устройстве Download PDFInfo
- Publication number
- RU2512130C2 RU2512130C2 RU2009130114/07A RU2009130114A RU2512130C2 RU 2512130 C2 RU2512130 C2 RU 2512130C2 RU 2009130114/07 A RU2009130114/07 A RU 2009130114/07A RU 2009130114 A RU2009130114 A RU 2009130114A RU 2512130 C2 RU2512130 C2 RU 2512130C2
- Authority
- RU
- Russia
- Prior art keywords
- image
- images
- sequence
- resolution
- technology
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 35
- 238000003384 imaging method Methods 0.000 title abstract 2
- 238000005516 engineering process Methods 0.000 claims abstract description 56
- 239000013598 vector Substances 0.000 claims abstract description 41
- 230000006835 compression Effects 0.000 claims abstract description 33
- 238000007906 compression Methods 0.000 claims abstract description 33
- 230000000694 effects Effects 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract 1
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
- H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
Изобретение относится к области обработки изображений для получения изображения с более высоким разрешением (ВР) во встроенном устройстве с использованием технологии сверхразрешения (СР). Техническим результатом является создание изображения с ВР по технологии СР для последовательности сжатых изображений. Указанный технический результат достигается тем, что сжимают последовательность изображений, содержащую множество изображений с более низким разрешением (НР), определяют векторы движения между опорным изображением в последовательности и одним или несколькими последующими изображениями в последовательности и генерируют следующее прогнозируемое изображение путем применения векторов движения к реконструируемой версии опорного изображения. Генерируют разностное изображение между следующим фактическим изображением и следующим прогнозируемым изображением, декодируют изображение в последовательности на основе от блока к блоку и применяют технологию СР к каждому декодированному блоку для генерирования изображения с более ВР путем выполнения временной интерполяции и/или пространственной интерполяции опорного изображения и разностного изображения. Сжатие последовательности изображений содержит этапы определения вектора движения между опорным изображением и, по меньшей мере, одним из дополнительного изображения последовательности изображений, причем полученный вектор движения используют к опорному изображению для прогнозирования, по меньшей мере, одного дополнительного изображения и рассчитывают разностные изображения между, по меньшей мере, одним дополнительным изображением и прогно�
Description
Область техники, к которой относится изобретение
Варианты выполнения настоящего изобретения, в общем, относятся к встроенным устройствам и, более конкретно, к способу и устройству, которые позволяют получать изображение с более высоким разрешением во встроенном устройстве с использованием технологии сверхразрешения.
Уровень техники
Пользователь устройства камеры может “снимать” изображение объекта, генерируя цифровое изображение объекта с определенным разрешением изображения. Обычно цифровое изображение включает в себя данные пикселя, которые представляют объект, и разрешение изображения относится к количеству деталей цифрового изображения. В частности, цифровое изображение, генерируемое устройством фотокамеры, может быть искажено. Например, дрожание рук (например, тряска камеры) может вызвать искажения (например, смазывание) цифрового изображения.
Иногда можно использовать технологию сверхразрешения для уменьшения эффекта дрожания рук. Технология сверхразрешения позволяет формировать изображения с более высоким разрешением из одного или более изображений с более низким разрешением. Технология сверхразрешения прогнозирует отсутствующие детали (например, данные пикселя) из изображений с меньшим разрешением, используя оценку движения и технологии устранения размытости изображения. Отсутствующие детали применяют к одному или более изображениям с меньшим разрешением для получения изображения с более высоким разрешением.
В настоящее время технологии сверхразрешения не применяют во встроенном устройстве из-за ограниченных возможностей процессора и памяти. Встроенное устройство может представлять собой устройство со встроенной камерой, такое как мобильный телефон, карманный персональный компьютер (PDF, КПК), “смартфон” и т.п. Из-за ограничения размеров встроенное устройство ограничено определенными размерами памяти и/или ресурсами процессора. Необработанные и несжатые изображения имеют относительно большой размер и занимают существенный объем памяти. В результате процессор должен обрабатывать слишком большое количество изображений для выполнения технологии сверхразрешения при использовании встроенного устройства.
В настоящее время технологии сверхразрешения выполняют в автономном режиме встроенного устройства перед синхронизацией, в ходе которой изображения с малым разрешением могут быть сохранены в памяти устройства. Обработку выполняют в автономном режиме перед передачей изображений с малым разрешением из встроенного устройства в другое устройство (например, компьютер). Пользователь, однако, не имеет возможности просматривать изображение с высоким разрешением на экране с малым разрешением.
Поэтому в данной области техники существует потребность в получении изображений с более высоким разрешением во встроенном устройстве.
Сущность изобретения
Варианты воплощения настоящего изобретения направлены на способ, устройство и встроенное устройство, которое позволяет получать изображение с высоким разрешением в результате выполнения технологии сверхразрешения для последовательности сжатых изображений, используя один или более векторов движения. В одном варианте воплощения способ для использования технологии видеосжатия, который обеспечивает сверхразрешение во встроенном устройстве, содержит сжатие последовательности изображений, используя технологию видеосжатия, в которой последовательность изображений содержит множество изображений с меньшим разрешением, и применяя технологию сверхразрешения для сжатой последовательности изображений для генерирования изображения с более высоким разрешением.
Краткое описание чертежей
Для подробного описания отмеченных выше свойств настоящего изобретения, более конкретное описание изобретения, кратко представленное выше, может быть приведено со ссылкой на варианты воплощения, некоторые из которых иллюстрируются на приложенных чертежах. Однако следует отметить, что на приложенных чертежах иллюстрируются только типичные варианты воплощения данного изобретения, и поэтому их не следует рассматривать как ограничение его объема, поскольку в изобретении могут быть выполнены другие в равной степени эффективные варианты воплощения.
На фиг.1 показана блок-схема встроенного устройства, предназначенного для выполнения технологии сверхразрешения для последовательности сжатых изображений, для формирования изображения с более высоким разрешением, в соответствии с одним или более вариантами воплощения;
на фиг.2 показана блок-схема последовательности операций способа использования технологии видеосжатия, который обеспечивает возможность применения сверхразрешения во встроенном устройстве, в соответствии с одним или более вариантами воплощения;
на фиг.3 показана блок-схема последовательности операций способа сжатия множества изображений с более низким разрешением для обеспечения возможности получения сверхразрешения во встроенном устройстве, в соответствии с одним или более вариантами воплощения;
на фиг.4 показана блок-схема последовательности операции способа для генерирования разностного изображения, в соответствии с одним или более вариантами воплощения; и
на фиг.5 показана блок-схема последовательности операций способа сжатия последовательности изображений в датчике встроенного устройства, в соответствии с одним или более вариантами воплощения.
Подробное описание изобретения
На фиг.1 показана блок-схема встроенного устройства 100, предназначенного для выполнения технологии сверхразрешения для последовательности сжатых изображений, для получения изображения с более высоким разрешением в соответствии с одним или более вариантами воплощения настоящего изобретения. Последовательность сжатых изображений может быть сжата с использованием технологии сжатия видеоизображения без потерь или практически без потерь.
Встроенное устройство 100 может представлять собой мобильный телефон, камерофон, смартфон, карманный персональный компьютер (КПК), широко известные в данной области техники. Встроенное устройство 100 включает в себя микропроцессор 102, различные вспомогательные схемы 104, память 106, модуль 108 камеры и модуль 110 сверхразрешения. Микропроцессор 102 способствует обработке и сохранению данных. Различные вспомогательные схемы 104 способствуют работе микропроцессора 102 и включают в себя, по меньшей мере, одну из схемы тактовой частоты, источника питания, кэш, схемы ввода/вывода и т.п. Память 106 содержит, по меньшей мере, одно из постоянного запоминающего устройства (ROM, ПЗУ), оперативного запоминающего устройства (RAM, ОЗУ), накопителя привода диска, оптического накопителя, съемного накопителя и т.п. Память 106 включает в себя модуль 115 управления, программный кодек 116 и изображения 118 с малым разрешением. Обычно программный кодек 116 включает в себя программный код, предназначенный для сжатия последовательности изображений, используя технологию сжатия видеоизображения без потерь (например, YUV (цветоразностные сигналы) сжатие Хаффмана, CorePNG и т.п.) или практически без потерь (например, сжатие DV (ЦВ, цифровое видео), FastCodec и т.п.). В одном варианте воплощения программный кодек 116 использует технологию прогнозирования между кадрами для обработки последовательности необработанных изображений. Программный кодек 116 может оценивать вектора движения между последовательными изображениями, используя технологию оценки вектора движения. Различные технологии оценки движения, которые можно использовать с помощью программного кодека 116, известны в данной области техники. В одном варианте воплощения программный кодек 116 разделяет изображение с более низким разрешением из изображений 118 с более низким разрешением на множество блоков пикселей и выполняет прогнозирование между блоками и сжатие на основе от блока к блоку. В некоторых вариантах воплощения модуль 108 камеры может включать в себя аппаратный кодек 114, который выполняет функцию программного кодека 116, будучи воплощенным как аппаратное средство.
В одном варианте воплощения модуль 108 камеры включает в себя коммерчески доступное встроенное устройство генерирования изображения (например, встроенную камеру). В качестве примера, а не для ограничения, модуль 108 камеры использует для съемки множество необработанных изображений для последовательности изображений (например, последовательности несжатых изображений). Модуль 108 камеры включает в себя датчик 112 (то есть датчик изображения). В одном варианте воплощения датчик 112 сохраняет последовательность снятых изображений в памяти 106, как изображения 118 с малым разрешением. В другом варианте воплощения датчик 112 преобразует последовательность снятых изображений в электрический сигнал, который может быть передан в различные участки встроенного устройства 110 через микропроцессор 102. Например, датчик 112 может связываться с модулем 110 сверхразрешения.
Обычно модуль НО сверхразрешения представляет собой компонент встроенного устройства 100, который включает в себя модуль 120 улучшения разрешения и локальную память 122. Локальная память 122 содержит, по меньшей мере, одну из постоянного запоминающего устройства (ПЗУ), оперативного запоминающего устройства (ОЗУ), накопителя привода диска, оптического накопителя, съемного накопителя и т.п. Локальная память 122 включает в себя последовательность 124 сжатых изображений, информацию 126 вектора движения и изображение 128 с высоким разрешением. В одном или более вариантах воплощения настоящего изобретения модуль 110 сверхразрешения сохраняет последовательность 124 сжатых изображений и информацию 126 вектора движения, как сформированную путем использования аппаратного кодека 114 или программного кодека 116. Как дополнительно описано ниже, модуль 120 улучшения разрешения применяет одну или более технологий сверхразрешения для последовательности 124 сжатых изображений и информацию 126 вектора для генерирования изображения 128 с более высоким разрешением. Различные технологии сверхразрешения, известные в данной области техники, можно использовать в настоящем изобретении. Следует отметить, что модуль 120 улучшения разрешения применяет технологию (технологии) сверхразрешения без полного восстановления изображения 118 с малым разрешением из последовательности 124 сжатых изображений.
В соответствии с различными вариантами воплощения настоящего изобретения модуль 115 управления включает в себя программный код, предназначенный для управления формированием изображения 128 с высоким разрешением из необработанной несжатой последовательности изображения, состоящий из изображений с малым разрешением. Во время работы модуль 115 управления координирует сжатие необработанных изображений и применение технологии сверхразрешения для последовательности 124 сжатых изображений. В одном варианте воплощения модуль 115 управления выполняет программный кодек 116 для сжатия изображения 118 с малым разрешением и сохраняет последовательность 124 сжатых изображений в локальной памяти 122. В соответствии с этим изображения 118 с малым разрешением могут быть удалены для высвобождения ресурсов памяти. В одном варианте воплощения последовательность 124 сжатых изображений включает в себя опорное изображение (например, первое изображение в последовательности изображения), один или более векторов движения, и одно или более разностных изображений (например, данные пикселя, представляющие разность между исходным изображением и версией исходного изображения, прогнозируемой на основе опорного изображения). Опорное изображение и/или одно или более изображений разности могут быть сжаты с использованием технологии сжатия без потерь. Можно использовать технологию оценки вектора движения для определения одного или более векторов движения. Для ясности, в качестве примера, последовательность 124 сжатых изображений описана здесь, как имеющая одно опорное изображение. Для специалистов в данной области техники будет понятно, что последовательность 124 сжатых изображений может включать в себя множество опорных изображений.
В некоторых вариантах воплощения исходное изображение представляет собой любое изображение в последовательности несжатых изображений. Опорное изображение представляет собой одно из исходных изображений. Для разностного изображения прогнозируемое изображение формируют путем расчета векторов движения относительно опорного изображения и затем выполняют компенсацию движения реконструируемой версии опорного изображения, используя вектора движения. Разностное изображение формируют путем вычитания прогнозируемого изображения из исходного кодируемого изображения. Такое прогнозирование между изображениями может быть выполнено на основе от блока к блоку для каждого исходного изображения в последовательности после опорного изображения. Таким образом, формируют последовательность 124 сжатых изображений и информацию 126 вектора движения. В то время как здесь описаны конкретные варианты воплощения прогнозирования между изображениями, для специалистов в данной области техники будет понятно, что программный кодек 116 и/или аппаратный кодек 114 могут выполнять другие виды обработки прогнозирования между изображениями, аналогичные описанным здесь, такие как прогнозирование между изображениями, используемое в стандартах Экспертной группы по вопросам движущегося изображения (MPEG), известных в данной области техники.
В соответствии с одним вариантом воплощения дрожание рук встроенного устройства 100 может привести к возникновению одного или более различий между изображениями с малым разрешением, которые формируют несжатую последовательность изображения. Изображения с малым разрешением могут быть сгенерированы для идентичной сцены, но могут включать различные данные пикселей, представляющих идентичную сцену, из-за движения (то есть тряски) встроенного устройства 100. Поскольку данные пикселя могут отличаться друг от друга, изображение с более низким разрешением может включать в себя дополнительные детали, не снятые в другом изображении с низким разрешением. В соответствии с этим детали из двух или более изображений с низким разрешением могут быть скомбинированы для получения изображения с более высоким разрешением.
В соответствии с различными вариантами воплощения настоящего изобретения модуль 120 улучшения разрешения выполняет одну или более технологий сверхразрешения для последовательности 124 сжатых изображений для генерирования изображения 128 с более высоким разрешением. В соответствии с одним вариантом воплощения технология (технологии) сверхразрешения включает в себя временную интерполяцию и/или пространственную интерполяцию опорного изображения и изображения разности. Например, технология (технологии) сверхразрешения интерполирует отсутствующие детали сцены из опорного изображения, векторов движения и изображения разности. После этого модуль 120 улучшения разрешения использует отсутствующие детали для улучшения разрешения опорного изображения.
В одном варианте воплощения последовательность сжатых изображений не полностью декодируют для восстановления всех изображений 118 с низким разрешением перед применением технологий сверхразрешения с помощью модуля 120 улучшения разрешения. Другими словами, технологию сверхразрешения не выполняют для последовательности декодированных изображений (например, изображений 118 с низким разрешением) в соответствии с одним или более вариантов воплощения настоящего изобретения. Технология сверхразрешения может быть выполнена непосредственно для последовательности 124 сжатых изображений. В одном варианте воплощения модуль 120 улучшения разрешения выполняет технологию сверхразрешения для последовательности 124 сжатых изображений на уровне блока (то есть блоков пикселей одновременно). То есть учитывая опорное изображение вектора движения и разностные изображения, модуль 120 улучшения разрешения может начать декодирование последовательности 124 сжатых изображений на основе от блока к блоку. Технологии сверхразрешения затем могут быть применены к каждому блоку по мере его декодирования для формирования изображения 128 с более высоким разрешением. Благодаря выполнению сверхразрешения на основе от блока к блоку, для модуля 120 улучшения разрешения не требуется ожидать, пока все исходные изображения будут декодированы, и при этом нет необходимости сохранять все исходные изображения в памяти.
В одном варианте воплощения информация 126 вектора движения включает в себя вектора движения для данных (например, двумерные вектора движения) между опорным изображением и последующими изображениями в последовательности. Каждый вектор движения предоставляет смещение от координат в опорном изображении до координат в следующем изображении. В одном или более вариантах воплощения вектора движения определяют как точность на уровне подпикселя (например, одной сотой пикселя) с помощью программного кодека 116 или аппаратного кодека 114. Модуль 120 улучшения разрешения использует вектора движения, с точностью на уровне подпикселя, для генерирования изображения 128 с более высоким разрешением из опорного изображения и разностных изображений на уровне блока, в соответствии с одним вариантом воплощения.
В соответствии с одним вариантом воплощения модуль 108 камеры и модуль 110 сверхразрешения взаимодействуют для генерирования изображения 128 с более высоким разрешением из изображений 118 с более низким разрешением. В качестве примера, а не для ограничений, датчик 112 модуля камеры 108 снимает множество изображений с более низким разрешением, которые сохраняют как изображения 118 с низким разрешением. Программный кодек 116 сжимает изображения 118 с более низким разрешением, используя технологию сжатия видеоизображения без потерь или практически без потерь.
Во время выполнения этапа сжатия программный кодек 116 также рассчитывает вектора движения между последовательными изображениями с низким разрешением в последовательности изображений с точностью на уровне подпикселя.
В случае необходимости, датчик 112 включает в себя аппаратный кодек 114. В одном или более вариантах воплощения настоящего изобретения аппаратный кодек 114 представляет собой компонент, который воплощает технологию сжатия видеоизображения без потерь или практически без потерь. В одном варианте воплощения аппаратный кодек 114 разделяет изображение с низким разрешением для изображений 118 с низким разрешением на множество блоков пикселей. Во время работы, по мере того, как необработанные изображения снимают с помощью датчика 112, аппаратный кодек 114 сжимает последовательность изображений, используя технологию сжатия видеоизображения без потерь или практически без потерь с прогнозированием между изображениями, как описано выше со ссылкой на программный кодек 116. В результате последовательность 124 сжатых изображений генерируют и сохраняют в модуле 110 сверхразрешения. В соответствии с одним вариантом воплощения модуль 120 улучшения разрешения применяет технологию сверхразрешения для последовательности 124 сжатых изображений и генерирует изображение 128 с высоким разрешением. В одном варианте воплощения аппаратный кодек 114 обеспечивает работу технологии сжатия без потерь или практически без потерь для последовательности изображений перед сохранением в памяти 106. Вследствие этого, сохраняется пространство памяти, благодаря тому, что изображения 118 с низким разрешением не требуется сохранять для формирования изображения 128 с высоким разрешением.
На фиг.2 показана блок-схема последовательности операции способа 200, предназначенного для использования технологии видеосжатия, которая обеспечивает обработку сверхразрешения во встроенном устройстве, и для генерирования изображения с более высоким разрешением в соответствии с одним вариантом воплощения. Способ 200 начинается на этапе 202 и переходит на этап 204, где последовательность изображения (например, множество изображений с более низким разрешением) сохраняют в локальной памяти (например, локальная память 122 по фиг.1).
На этапе 206 последовательность изображений сжимают, используя технологию сжатия видеоизображения, работающую без потерь, с прогнозированием между изображениями. В другом варианте воплощения используют кодек сжатия видеоизображения, работающий в режиме, близком к режиму без потерь, для сжатия последовательности изображений. На этапе 208 применяют технологию сверхразрешения к последовательности сжатых изображений (например, последовательности 124 сжатых изображений по фиг.1). На этапе 210 генерируют изображение с более высоким разрешением (например, изображение 128 с более высоким разрешением по фиг.1). На этапе 212 способ 200 заканчивается. В одном варианте воплощения модуль улучшения разрешения (например, модуль 120 улучшения разрешения по фиг.1) применяет одну или более технологий сверхразрешения к опорному изображению, одному или более векторам движения и одному или более разностным изображениям, как описано выше.
На фиг.3 показана блок-схема последовательности операций способа 300, предназначенная для сжатия множества изображений с более низким разрешением для обеспечения возможности получения сверхразрешения во встроенном устройстве в соответствии с одним вариантом воплощения. Способ 300 начинается на этапе 302 и переходит на этап 304, на котором обращаются к множеству изображений с более низким разрешением, содержащихся в памяти (например, в памяти 106 по фиг.1).
На этапе 306 опорное изображение (то есть первое изображение среди изображений с более низким разрешением) обрабатывают (например, сжимают, используя алгоритм без потерь или практически без потерь). На этапе 308 получают следующее изображение (то есть следующее изображение с более низким разрешением). На этапе 310 определяют вектор движения между следующим изображением и опорным изображением. В одном варианте воплощения технология оценки вектора движения определяет вектора движения с точностью на уровне подпикселя. На этапе 312 генерируют разностное изображение. Разностное изображение представляет одно или более различий (то есть ошибок), между следующим изображением и результатом прогнозирования следующего изображения, получаемого из опорного изображения, как описано выше.
На этапе 314 определяют, существует ли следующее изображение в последовательности изображений, предназначенное для обработки. Если определяют, что существует следующее изображение в последовательности изображений, предназначенных для обработки (вариант выбора: “Да”), способ 300 переходит на этап 308. Если на этапе 314 определяют, что больше нет изображений в последовательности изображений, предназначенных для обработки (вариант выбора: “Нет”), способ 300 переходит на этап 316. На этапе 316 сохраняют опорное движение вектора движения и разностного изображения. В одном варианте воплощения опорное изображение вектора движения и разностное изображение составляют сжатые последовательности изображения, которые передают в модуль сверхразрешения (например, модуль сверхразрешения 110 по фиг.1) встроенного устройства. В другом варианте воплощения опорное изображение и/или разностное изображение перед сохранением сжимают, используя технологию сжатия, работающую без потерь. На этапе 318 способ 300 заканчивается.
На фиг.4 показана блок-схема последовательности операции способа 400 для генерирования разностного изображения в соответствии с одним вариантом воплощения. Способ 400 начинается на этапе 402 и переходит на этап 404, на котором обрабатывают опорное изображение и вектора движения. На этапе 406 генерируют прогнозирование кодируемого изображения из опорного изображения и векторов движения. В одном варианте воплощения кодек прогнозирует кодируемое изображение путем применения векторов движения к первому изображению (например, ранее кодированному и реконструированному изображению). На этапе 408 прогнозируемое изображение вычитают из кодируемого изображения (например, наблюдаемого или фактического изображения). На этапе 410 рассчитывают разностное изображение. На этапе 412 разностное изображение сжимают. На этапе 414 способ 400 заканчивается.
На фиг.5 показана блок-схема последовательности операции способа 500, предназначенного для сжатия последовательности изображений в датчике встроенного устройства в соответствии с одним вариантом воплощения. Способ 500 начинается на этапе 502 и переходит на этап 504, где снимают множество изображений с более низким разрешением. Изображения с более низким разрешением сохраняют в памяти (например, в памяти 106 по фиг.1) как последовательность несжатых необработанных изображений. На этапе 506 множество изображений с более низким разрешением сжимают, используя аппаратный кодек. В одном или более вариантах воплощения аппаратный кодек может быть воплощен, как аппаратный кодек без потерь или практически без потерь с прогнозированием, между изображениями, как описано выше. На этапе 508 сжатое множество изображений с более низким разрешением преобразуют в электрический сигнал. На этапе 510 электрический сигнал передают в модуль сверхразрешения (например, модуль 110 сверхразрешения по фиг.1) и сохраняют. Способ 500 заканчивается на этапе 512.
Таким образом, были представлены различные варианты воплощения настоящего изобретения. Различные варианты воплощения настоящего изобретения, предпочтительно, могут обеспечить возможность получения сверхразрешения во встроенном устройстве. Кроме того, способ в соответствии с изобретением и устройство можно использовать для работы непосредственно с последовательностью сжатых изображений с малым разрешением. Кроме того, различные варианты воплощения могут уменьшать объем памяти и ресурсы процессора, требуемые для оптимального или эффективного использования встроенного устройства.
Хотя предыдущее описание направлено на вариант воплощения настоящего изобретения, другие и дополнительные варианты воплощения изобретения могут быть разработаны без выхода за пределы его основного объема, и его объем определяют с помощью следующей формулы изобретения.
Claims (13)
1. Способ генерирования изображения с высоким разрешением из последовательности изображений, содержащей множество изображений с меньшим разрешением, во встроенном устройстве, содержащий этапы, на которых:
сжимают последовательность изображений, используя технологию видеосжатия, в котором последовательность изображений содержит множество изображений с более низким разрешением;
определяют векторы движения между опорным изображением в последовательности и одним или несколькими последующими изображениями в последовательности и генерируют следующее прогнозируемое изображение, путем применения векторов движения к реконструируемой версии опорного изображения;
генерируют разностное изображение между следующим фактическим изображением и следующим прогнозируемым изображением;
декодируют изображение в последовательности на основе от блока к блоку; и
применяют технологию сверхразрешения к каждому декодированному блоку для генерирования изображения с более высоким разрешением путем выполнения временной интерполяции и/или пространственной интерполяции опорного изображения и изображения разности.
сжимают последовательность изображений, используя технологию видеосжатия, в котором последовательность изображений содержит множество изображений с более низким разрешением;
определяют векторы движения между опорным изображением в последовательности и одним или несколькими последующими изображениями в последовательности и генерируют следующее прогнозируемое изображение, путем применения векторов движения к реконструируемой версии опорного изображения;
генерируют разностное изображение между следующим фактическим изображением и следующим прогнозируемым изображением;
декодируют изображение в последовательности на основе от блока к блоку; и
применяют технологию сверхразрешения к каждому декодированному блоку для генерирования изображения с более высоким разрешением путем выполнения временной интерполяции и/или пространственной интерполяции опорного изображения и изображения разности.
2. Способ по п.1, в котором сжатие последовательности изображений дополнительно содержит этапы, на которых: снимают множество изображений с более низким разрешением с помощью датчика; и сжимают множество изображений с более низким разрешением, используя технологию видеосжатия.
3. Способ по п.1, в котором сжатие последовательности изображений дополнительно содержит этапы, на которых: сохраняют множество изображений с более низким разрешением; и применяют технологию видеосжатия для сохраненного множества изображений с более низким разрешением.
4. Способ по п.1, в котором сжатие последовательности изображений дополнительно содержит этап, на котором определяют вектора движения между опорным изображением и, по меньшей мере, одним из дополнительного изображения последовательности изображений.
5. Способ по п.4, в котором сжатие последовательности изображений дополнительно
содержит этап, на котором применяют вектора движения к опорному изображению для прогнозирования, по меньшей мере, одного дополнительного изображения.
содержит этап, на котором применяют вектора движения к опорному изображению для прогнозирования, по меньшей мере, одного дополнительного изображения.
6. Способ по п.5, в котором сжатие последовательности изображения дополнительно содержит этап, на котором рассчитывают разностные изображения между, по меньшей мере, одним дополнительным изображением и прогнозом, по меньшей мере, одного дополнительного изображения, соответственно.
7. Способ по п.6, в котором сжатие последовательности изображения дополнительно содержит этап, на котором сжимают разностные изображения с использованием технологии видеосжатия, работающей без потерь.
8. Способ по п.6, в котором сжатие последовательности изображения дополнительно содержит этап, на котором сжимают разностные изображения, используя технологию сжатия видеоизображения, работающую в режиме, близком к режиму без потерь.
9. Устройство, предназначенное для генерирования изображения с высоким разрешением из последовательности изображений, содержащей множество изображений с меньшим разрешением, содержащее:
модуль управления, предназначенный для применения технологии сжатия к последовательности изображения, которая содержит множество изображений с более низким разрешением;
модуль улучшения разрешения, выполненный с возможностью определения векторов движения между опорным изображением в последовательности и одним или несколькими последующими изображениями в последовательности, и с возможностью прогнозирования следующего изображение путем применения векторов движения к реконструируемой версии опорного изображения, для генерирования разностного изображения между следующим фактическим изображением и следующим прогнозируемым изображением, для декодирования изображения в последовательности на основе от блока к блоку и
для выполнения технологии сверхразрешения к каждому декодированному блоку для формирования изображения с более высоким разрешением путем выполнения временной интерполяции и/или пространственной интерполяции опорного изображения и изображения разности.
модуль управления, предназначенный для применения технологии сжатия к последовательности изображения, которая содержит множество изображений с более низким разрешением;
модуль улучшения разрешения, выполненный с возможностью определения векторов движения между опорным изображением в последовательности и одним или несколькими последующими изображениями в последовательности, и с возможностью прогнозирования следующего изображение путем применения векторов движения к реконструируемой версии опорного изображения, для генерирования разностного изображения между следующим фактическим изображением и следующим прогнозируемым изображением, для декодирования изображения в последовательности на основе от блока к блоку и
для выполнения технологии сверхразрешения к каждому декодированному блоку для формирования изображения с более высоким разрешением путем выполнения временной интерполяции и/или пространственной интерполяции опорного изображения и изображения разности.
10. Устройство по п.9, дополнительно содержащее кодек, работающий без потерь, предназначенный для сжатия множества изображений с более низким разрешением, используя технологию сжатия, работающую без потерь.
11. Устройство по п.10, в котором кодек, работающий без потерь, применяет технологию оценки движения для генерирования, по меньшей мере, одного вектора движения с точностью на уровне подпикселей.
12. Устройство по п.9, дополнительно содержащее кодек, работающий в режиме, близком к режиму без потерь, предназначенный для сжатия множества изображений с более низким разрешением, используя технологию сжатия, работающую в режиме, близком к режиму без потерь.
13. Устройство по любому из пп.9-12, дополнительно содержащее модуль камеры, предназначенный для съемки множества изображений с более низким разрешением.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/187,348 US8374444B2 (en) | 2008-08-06 | 2008-08-06 | Method and apparatus for providing higher resolution images in an embedded device |
| US12/187,348 | 2008-08-06 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2009130114A RU2009130114A (ru) | 2011-02-10 |
| RU2512130C2 true RU2512130C2 (ru) | 2014-04-10 |
Family
ID=41571281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2009130114/07A RU2512130C2 (ru) | 2008-08-06 | 2009-08-05 | Устройство и способ получения изображений с более высоким разрешением во встроенном устройстве |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8374444B2 (ru) |
| EP (1) | EP2161686A3 (ru) |
| JP (1) | JP5295045B2 (ru) |
| CN (1) | CN101651832B (ru) |
| RU (1) | RU2512130C2 (ru) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2655662C1 (ru) * | 2014-09-12 | 2018-05-29 | Кэнон Кабусики Кайся | Устройство обработки изображений и способ обработки изображений |
| RU2699258C2 (ru) * | 2015-07-03 | 2019-09-04 | Хуавей Текнолоджиз Ко., Лтд. | Способ прогнозирования изображения и устройство прогнозирования изображения |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8374444B2 (en) | 2008-08-06 | 2013-02-12 | Sony Corporation | Method and apparatus for providing higher resolution images in an embedded device |
| US20100086048A1 (en) * | 2008-10-03 | 2010-04-08 | Faisal Ishtiaq | System and Method for Video Image Processing |
| JP2011180798A (ja) * | 2010-03-01 | 2011-09-15 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
| JP5341010B2 (ja) * | 2010-04-15 | 2013-11-13 | オリンパス株式会社 | 画像処理装置、撮像装置、プログラム及び画像処理方法 |
| RU2431889C1 (ru) * | 2010-08-06 | 2011-10-20 | Дмитрий Валерьевич Шмунк | Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления |
| TWI436649B (zh) * | 2010-11-12 | 2014-05-01 | Alpha Imaging Technology Corp | 處理原始高解析影像資料之影像處理裝置及其影像處理晶片和方法 |
| CN102006477A (zh) * | 2010-11-25 | 2011-04-06 | 中兴通讯股份有限公司 | 图像传输方法及系统 |
| GB2486475A (en) * | 2010-12-16 | 2012-06-20 | Norland Technology Ltd | Encoding, transmitting and displaying a sequence of images using a difference image |
| US8750647B2 (en) | 2011-02-03 | 2014-06-10 | Massachusetts Institute Of Technology | Kinetic super-resolution imaging |
| US20140037189A1 (en) * | 2012-08-02 | 2014-02-06 | Qualcomm Incorporated | Fast 3-D point cloud generation on mobile devices |
| US9508025B2 (en) * | 2012-11-06 | 2016-11-29 | Nec Corporation | Image processing device, image processing method and medium |
| CN104008538B (zh) * | 2014-05-12 | 2017-03-01 | 清华大学 | 基于单张图像超分辨率方法 |
| US10229478B2 (en) * | 2014-09-26 | 2019-03-12 | Samsung Electronics Co., Ltd. | Image processing apparatus and image processing method |
| CN105159663B (zh) * | 2015-08-06 | 2019-06-14 | 北京小熊博望科技有限公司 | 图像的调整方法及装置 |
| CN106815806B (zh) * | 2016-12-20 | 2020-01-10 | 浙江工业大学 | 基于压缩感知和svr的单幅图像sr重建方法 |
| CN107181949A (zh) * | 2017-06-23 | 2017-09-19 | 四川大学 | 一种结合超分辨率和残差编码技术的图像压缩框架 |
| US10621718B2 (en) * | 2018-03-23 | 2020-04-14 | Kla-Tencor Corp. | Aided image reconstruction |
| CN112449140B (zh) * | 2019-08-29 | 2021-09-14 | 华为技术有限公司 | 视频超分辨率处理方法及装置 |
| CN114746902A (zh) | 2020-04-02 | 2022-07-12 | 索尼集团公司 | 用于纹理映射应用的块压缩纹理的超分辨率 |
| CN113422947A (zh) * | 2021-06-09 | 2021-09-21 | 和信光场(深圳)科技有限公司 | 一种用于教学的3d裸眼成像方法、装置及介质 |
| CN116797452A (zh) * | 2022-03-17 | 2023-09-22 | 北京字节跳动网络技术有限公司 | 一种视频的超分辨率方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2221349C2 (ru) * | 1997-08-14 | 2004-01-10 | Самсунг Электроникс Ко., Лтд. | Устройство цифрового камкордера, применяющее сжатие видеосигнала, совместимое со стандартом экспертной группы по подвижным изображениям (эгпи-2) |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6510177B1 (en) * | 2000-03-24 | 2003-01-21 | Microsoft Corporation | System and method for layered video coding enhancement |
| JP2003163931A (ja) | 2001-11-28 | 2003-06-06 | Victor Co Of Japan Ltd | 画像圧縮装置及び画像復号装置 |
| KR100504594B1 (ko) * | 2003-06-27 | 2005-08-30 | 주식회사 성진씨앤씨 | 데이터 압축 처리된 저해상도 영상으로부터 초해상도 영상복원 및 재구성 방법 |
| JP2005150808A (ja) * | 2003-11-11 | 2005-06-09 | Ntt Data Corp | 監視映像記録システム |
| US7315661B2 (en) * | 2004-04-01 | 2008-01-01 | Mediatek Inc. | Directional interpolation method using DCT information and related device |
| US8036494B2 (en) * | 2004-04-15 | 2011-10-11 | Hewlett-Packard Development Company, L.P. | Enhancing image resolution |
| US7809155B2 (en) * | 2004-06-30 | 2010-10-05 | Intel Corporation | Computing a higher resolution image from multiple lower resolution images using model-base, robust Bayesian estimation |
| JP2007266667A (ja) * | 2006-03-27 | 2007-10-11 | Nec Electronics Corp | カメラ付き携帯機器、その制御方法及びその撮影支援方法 |
| US8150163B2 (en) * | 2006-04-12 | 2012-04-03 | Scanbuy, Inc. | System and method for recovering image detail from multiple image frames in real-time |
| US8184712B2 (en) * | 2006-04-30 | 2012-05-22 | Hewlett-Packard Development Company, L.P. | Robust and efficient compression/decompression providing for adjustable division of computational complexity between encoding/compression and decoding/decompression |
| JP4851240B2 (ja) | 2006-06-05 | 2012-01-11 | 株式会社トプコン | 画像処理装置及びその処理方法 |
| JP2008053848A (ja) | 2006-08-22 | 2008-03-06 | Oki Electric Ind Co Ltd | 画像処理装置及び画像処理方法 |
| JP4964541B2 (ja) * | 2006-09-11 | 2012-07-04 | オリンパス株式会社 | 撮像装置、画像処理装置、撮像システム及び画像処理プログラム |
| JP4876048B2 (ja) * | 2007-09-21 | 2012-02-15 | 株式会社日立製作所 | 映像送受信方法、受信装置、映像蓄積装置 |
| CN102057398B (zh) * | 2008-06-13 | 2013-11-06 | 上海惠普有限公司 | 处理超分辨率目标图像 |
| US8374444B2 (en) | 2008-08-06 | 2013-02-12 | Sony Corporation | Method and apparatus for providing higher resolution images in an embedded device |
-
2008
- 2008-08-06 US US12/187,348 patent/US8374444B2/en active Active
-
2009
- 2009-07-30 EP EP09251917A patent/EP2161686A3/en not_active Withdrawn
- 2009-08-05 RU RU2009130114/07A patent/RU2512130C2/ru not_active IP Right Cessation
- 2009-08-05 CN CN200910161859.XA patent/CN101651832B/zh not_active Expired - Fee Related
- 2009-08-06 JP JP2009197337A patent/JP5295045B2/ja not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2221349C2 (ru) * | 1997-08-14 | 2004-01-10 | Самсунг Электроникс Ко., Лтд. | Устройство цифрового камкордера, применяющее сжатие видеосигнала, совместимое со стандартом экспертной группы по подвижным изображениям (эгпи-2) |
Non-Patent Citations (1)
| Title |
|---|
| C. ANDREW SEGALL et al, Reconstruction of high-resolution image frames from a sequence of low-resolution and compressed observations, IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2002), Orlando, 13 - 17 May 2002. CHEN D. et al, Extraction of high-resolution video stills from MPEG image sequences, Proceedings of International Conference on Image (ICIP 1998), Los Alamitos, 4-7 October 1998, abstract * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2655662C1 (ru) * | 2014-09-12 | 2018-05-29 | Кэнон Кабусики Кайся | Устройство обработки изображений и способ обработки изображений |
| US10360660B2 (en) | 2014-09-12 | 2019-07-23 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method for handling raw images |
| RU2699258C2 (ru) * | 2015-07-03 | 2019-09-04 | Хуавей Текнолоджиз Ко., Лтд. | Способ прогнозирования изображения и устройство прогнозирования изображения |
| US10560714B2 (en) | 2015-07-03 | 2020-02-11 | Huawei Technologies Co., Ltd. | Picture prediction method and picture prediction apparatus |
| US10771809B2 (en) | 2015-07-03 | 2020-09-08 | Huawei Technologies Co., Ltd. | Picture prediction method and picture prediction apparatus |
| US11240529B2 (en) | 2015-07-03 | 2022-02-01 | Huawei Technologies Co., Ltd. | Picture prediction method and picture prediction apparatus |
| US11831902B2 (en) | 2015-07-03 | 2023-11-28 | Huawei Technologies Co., Ltd. | Picture prediction method and picture prediction apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2161686A2 (en) | 2010-03-10 |
| EP2161686A3 (en) | 2012-02-01 |
| RU2009130114A (ru) | 2011-02-10 |
| CN101651832B (zh) | 2014-08-13 |
| US8374444B2 (en) | 2013-02-12 |
| US20100034477A1 (en) | 2010-02-11 |
| JP5295045B2 (ja) | 2013-09-18 |
| CN101651832A (zh) | 2010-02-17 |
| JP2010050976A (ja) | 2010-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2512130C2 (ru) | Устройство и способ получения изображений с более высоким разрешением во встроенном устройстве | |
| EP2805499B1 (en) | Video decoder, video encoder, video decoding method, and video encoding method | |
| JP4641892B2 (ja) | 動画像符号化装置、方法、及びプログラム | |
| KR101878515B1 (ko) | 움직임 보상된 샘플 기반 초해상도를 이용한 비디오 인코딩 | |
| JP2005333622A (ja) | イメージおよびビデオの予測可逆符号化 | |
| WO2009139123A1 (ja) | 画像処理装置およびそれを搭載した撮像装置 | |
| JPWO2009142003A1 (ja) | 画像符号化装置及び画像符号化方法 | |
| JP2013537381A5 (ru) | ||
| JP2017224939A (ja) | 撮像装置 | |
| KR20130069400A (ko) | 영상 처리 방법 및 시스템 | |
| CN111343465A (zh) | 电子电路和电子设备 | |
| JP2007329678A (ja) | 輝度マスキング及び輝度補償を用いた超解像処理方法及び装置 | |
| JP6152642B2 (ja) | 動画像圧縮装置、動画像復号装置およびプログラム | |
| US9549205B2 (en) | Method and device for encoding video | |
| JP6317720B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム | |
| JP2017200199A (ja) | 動画像圧縮装置、動画像復号装置およびプログラム | |
| JP6004852B2 (ja) | ピクセルブロックを符号化及び再構成する方法と装置 | |
| JP2009278473A (ja) | 画像処理装置、それを搭載した撮像装置、および画像再生装置 | |
| WO2016047250A1 (ja) | 信号処理装置、撮像装置および信号処理方法 | |
| JP2009038740A (ja) | 画像符号化装置 | |
| JP6311821B2 (ja) | 動画像処理装置及び動画像処理方法 | |
| JP2016054514A (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム | |
| JP6065090B2 (ja) | 動画像復号装置、動画像復号方法、動画像復号プログラム | |
| JP2019036992A (ja) | 圧縮装置、復号装置およびプログラム | |
| JP2013042216A (ja) | 画像処理装置およびその制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20150806 |