RU2486591C2 - Способ и устройство для уменьшения шумов в видеоизображении - Google Patents

Способ и устройство для уменьшения шумов в видеоизображении Download PDF

Info

Publication number
RU2486591C2
RU2486591C2 RU2011131987/08A RU2011131987A RU2486591C2 RU 2486591 C2 RU2486591 C2 RU 2486591C2 RU 2011131987/08 A RU2011131987/08 A RU 2011131987/08A RU 2011131987 A RU2011131987 A RU 2011131987A RU 2486591 C2 RU2486591 C2 RU 2486591C2
Authority
RU
Russia
Prior art keywords
video sequence
images
input video
module
noise
Prior art date
Application number
RU2011131987/08A
Other languages
English (en)
Other versions
RU2011131987A (ru
Inventor
Оскар НЕСТАРЕС
Хорст В. ХАУСЭККЕР
Скотт М. ЭТТИНГЕР
Йорам ГЭТ
Сринат КУРУПАТИ
Original Assignee
Интел Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Интел Корпорейшн filed Critical Интел Корпорейшн
Publication of RU2011131987A publication Critical patent/RU2011131987A/ru
Application granted granted Critical
Publication of RU2486591C2 publication Critical patent/RU2486591C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/911—Television signal processing therefor for the suppression of noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

Изобретение относится к обработке видеоизображения. Технический результат - уменьшение шумов в видеоизображении. Для этого в некоторых вариантах осуществления в способе обработки видеопоследовательности: принимают входную видеопоследовательность, имеющую разрешение входной видеопоследовательности; выравнивают изображение входной видеопоследовательности; уменьшают шумы в выровненных изображениях; формируют выходную видеопоследовательность из изображений с уменьшенным уровнем шумов, в котором выходная видеопоследовательность имеет то же разрешение, что и разрешение входной видеопоследовательности. 3 н. и 18 з.п. ф-лы, 19 ил.

Description

Изобретение относится к обработке видеоизображения. Более конкретно, некоторые варианты осуществления изобретения относятся к уменьшению шумов в видеоизображении.
Уровень техники
В патенте США №7,447,382 описан расчет изображения с более высоким разрешением из множества изображений с более низким разрешением, используя надежную байесову оценку, на основе модели. Получаемое в результате изображение сцены с высоким разрешением (HR), полученное на основе заданного множества, наблюдаемых изображений более низкого разрешения (LR) сцены, рассчитывают, используя методику реконструирования изображения на основе байесовой оценки. Методология позволяет получить в результате изображение HR на основе функции вероятности правдоподобия, которая воплощает модель для формирования LR изображений в присутствии шумов. Такие шумы моделируют с помощью вероятностной не-Гауссовой устойчивой функции.
Краткое описание чертежей
Различные свойства изобретения будут понятны из следующего описания предпочтительных вариантов осуществления, как они представлены на приложенных чертежах, на которых одинаковые номера ссылочных позиций, в общем, относятся к одинаковым частям на всех чертежах. Чертежи не обязательно выполнены в масштабе, при этом выделение может быть представлено для иллюстрации принципа изобретения.
На фиг.1 показана блок-схема последовательности операции в соответствии с некоторыми вариантами осуществления изобретения.
На фиг.2 показана другая блок-схема последовательности операций в соответствии с некоторыми вариантами осуществления изобретения.
На фиг.3 показана еще одна блок-схема последовательности операции в соответствии с некоторыми вариантами осуществления изобретения.
На фиг.4 показана блок-схема устройства обработки видеоизображения в соответствии с некоторыми вариантами осуществления изобретения.
На фиг.5 показана блок-схема другого устройства обработки видеоизображения в соответствии с некоторыми вариантами осуществления изобретения.
На фиг.6 показана блок-схема модуля устранения шумов в соответствии с некоторыми вариантами осуществления изобретения.
На фиг.7 показана блок-схема другого модуля устранения шумов в соответствии с некоторыми вариантами осуществления изобретения.
На фиг.8. показана блок-схема электронной системы на основе процессоров в соответствии с некоторыми вариантами осуществления изобретения.
На фиг.9 показана блок-схема модуля оценки оптического потока в соответствии с некоторыми вариантами осуществления изобретения.
На фиг.10 показана блок-схема другого модуля устранения шумов в соответствии с некоторыми вариантами осуществления изобретения.
На фиг.11 показано опорное цифровое изображение.
На фиг.12 показано обработанное цифровое изображение в соответствии с некоторыми вариантами осуществления изобретения.
На фиг.13 показано другое обработанное цифровое изображение в соответствии с некоторыми вариантами осуществления изобретения.
На фиг.14 показано другое опорное цифровое изображение.
На фиг.15 показано другое обработанное цифровое изображение в соответствии с некоторыми вариантами осуществления изобретения.
На фиг.16 показано другое обработанное цифровое изображение в соответствии с некоторыми вариантами осуществления изобретения.
На фиг.17 показано другое опорное цифровое изображение.
На фиг.18 показано другое обработанное цифровое изображение в соответствии с некоторыми вариантами осуществления изобретения.
На фиг.19 показано другое обработанное цифровое изображение в соответствии с некоторыми вариантами осуществления изобретения.
Подробное описание изобретения
В следующем описании с целью пояснения, а не для ограничения представлены конкретные детали, такие как, например, структуры, архитектура, интерфейсы, технологии и т.д., для обеспечения полного понимания различных аспектов изобретения. Однако для специалистов в данной области техники будет понятно на основе настоящего раскрытия, что различные аспекты изобретения могут быть выполнены на практике в других примерах, которые отходят от этих конкретных деталей. В некоторых случаях описание хорошо известных устройств, цепей и способов исключено, чтобы оно не усложняло описание настоящего изобретения ненужными деталями.
Как показано на фиг.1, способ обработки видеопоследовательности в соответствии с некоторыми вариантами осуществления изобретения может включать в себя: принимают видеопоследовательность, имеющую разрешение входной видеопоследовательности (например, в блоке 10), выравнивают изображения из входной видеопоследовательности (например, в блоке 11), уменьшают шумы в выровненных изображениях (например, в блоке 12) и получают выходную видеопоследовательность из изображений с уменьшенными шумами, в котором выходная видеопоследовательность имеет то же разрешение, что и разрешение входной видеопоследовательности (например, в блоке 13). Например, до выравнивания изображений из входной видеопоследовательности может дополнительно потребоваться оценка оптического потока входной видеопоследовательности перед выравниванием изображений из входной видеопоследовательности (например, в блоке 14). Например, входная видеопоследовательность может включать в себя опорный кадр и, по меньшей мере, один предшествующий кадр и, по меньшей мере, один последующий кадр относительно опорного кадра (например, в блоке 15).
Как показано на фиг.2, в некоторых вариантах осуществления изобретения, уменьшение шумов в выровненных изображениях, может включать в себя выполнение итеративного прямого и обратного перераспределения выровненных изображений в соответствии с минимизацией сопряженных градиентов (например, в блоке 20). В некоторых вариантах осуществления изобретения уменьшение шумов в выровненных изображениях может включать в себя, выполнение итеративной линейной минимизации (например, в блоке 21).
Со ссылкой на фиг.3, в некоторых вариантах осуществления изобретения, уменьшение шумов в выровненных изображениях, может включать в себя, выполнение деформирования изображения для выровненных изображений. В некоторых вариантах осуществления изобретения уменьшение шумов в выровненных изображениях может включать в себя, выполнение двусторонней фильтрации по времени и пространству для выровненных деформированных изображений.
Как показано на фиг.4, устройство 40 обработки видеоизображения, в соответствии с некоторыми вариантами осуществления изобретения может включать в себя первый модуль 41, предназначенный для приема входной видеопоследовательности, имеющей разрешение входной видеопоследовательности, второй модуль 42, соединенный с первым модулем 41 для выравнивания изображений из входной видеопоследовательности, третий модуль 43 соединенный со вторым модулем 42 для уменьшения шумов во входной видеопоследовательности на основе выровненных изображений, и четвертый модуль 44, соединенный с третьим модулем 43 для получения выходной видеопоследовательности на основе входной видеопоследовательности с уменьшенными шумами, в котором выходная видеопоследовательность имеет не большее разрешение, чем разрешение входной видеопоследовательности.
Как показано на фиг.5, модуль 52 выравнивания изображения (например, второй модуль 42 по фиг.4) может дополнительно включать в себя модуль 55 для оценки оптического потока входной видеопоследовательности. Например, входная видеопоследовательность может включать в себя опорный кадр R, по меньшей мере, один предшествующий кадр F и, по меньшей мере, один последующий кадр В относительно опорного кадра R.
Как показано на фиг.6, модуль 63 уменьшения шумов (например, третий модуль 43 по фиг.4) может включать в себя модуль 65 для выполнения итеративного прямого и обратного перераспределения выровненных изображений, соответствующих минимизации сопряженного градиента. Модуль 63 устранения шумов может дополнительно включать в себя модуль 66 для выполнения итеративной линейной минимизации.
Как показано на фиг.7, альтернативный модуль 73 устранения шумов (например, третий модуль 43 по фиг.4) может включать в себя модуль 75 для выполнения деформирования изображения выровненных изображений. Альтернативный модуль 73 устранения шумов может дополнительно включать в себя модуль 76 для выполнения двусторонней фильтрации в пространстве и времени для выровненных искаженных изображений.
Как показано на фиг.8, электронная система 80 на основе процессора может включать в себя процессор 81 и запоминающее устройство 82, соединенное с процессором 81. Например, запоминающее устройство 82 может иметь инструкции, которые при выполнении их с помощью процессора принимают входную видеопоследовательность, имеющую разрешение входной видеопоследовательности, выравнивают изображения из входной видеопоследовательности, уменьшают шумы во входной видеопоследовательности на основе выровненных изображений и формируют выходную видеопоследовательность на основе входной видеопоследовательности с уменьшенными шумами, в которой выходная видеопоследовательность имеет не большее разрешение, чем разрешение входной видеопоследовательности. Например, запоминающее устройство 82 может иметь дополнительные инструкции, которые при их выполнении с помощью процессора получают оценку оптического потока входной видеопоследовательности. Например, входная видеопоследовательность может включать в себя опорный кадр, по меньшей мере, один предшествующий кадр и, по меньшей мере, один последующий кадр относительно опорного кадра.
Например, запоминающее устройство 82 может иметь дополнительные инструкции, которые при выполнении их с помощью процессора выполняют итеративное прямое и обратное перераспределение выровненных изображений, соответствующих минимизации сопряженного градиента. Запоминающее устройство 82 может иметь дополнительные инструкции которые, при их выполнении с помощью процессора выполняют итеративную линейную минимизацию. В качестве альтернативы запоминающее устройство 82 может иметь дополнительные инструкции, которые при их выполнении с помощью процессора выполняют деформирование изображения для выровненных изображений выполняют двустороннюю фильтрацию по времени и пространству выровненных деформированных изображений.
Кроме того, процессор 81 и запоминающее устройство 82 могут быть расположены в корпусе 83. Например, корпус может соответствовать любому из настольного компьютера, переносного компьютера, телевизионной приставки, портативного устройства помимо множества других возможностей для системы 80 на основе процессора. Например, система 80 может дополнительно включать в себя устройство 84 дисплея, соединенное с процессором 81, и запоминающее устройство 82. Выходная видеопоследовательность может быть отображена в устройстве 84 дисплея. Например, система 80 может дополнительно включать в себя входное устройство 85 для предоставления входных команд пользователя в процессор 81 и 82. Например, входное устройство 85 может представлять собой беспроводное устройство - пульт дистанционного управления.
Предпочтительно некоторые варианты осуществления изобретения позволяют уменьшить шум в видеопоследовательностях и/или последовательностях изображений. Без ограничений, связанных с теорией операции, некоторые варианты осуществления изобретения могут обеспечивать устойчивое уменьшение шумов для множества кадров оптического потока для видеоизображения. Например, некоторые варианты осуществления изобретения могут применяться для видеоизображения и/или последовательностей изображений из множества различных источников, в способах обеспечения качества и приобретения, включающих в себя видеоизображения потребительского уровня, полученные с помощью недорогостоящих устройств (таких как вездесущие камеры в мобильном телефоне, веб-камеры и т.д.), видеоизображений профессионального уровня, полученных в неоптимальных условиях (низкая освещенность), в последовательностях медицинских изображений из различных источников (рентгеновских, ультразвуковых и т.д.) помимо множества других источников видеопоследовательностей.
Без ограничений, связанных с теорией операции, в некоторых вариантах осуществления изобретения может использоваться высокая степень избыточности, обычно присутствующая в видеоизображениях и последовательностях изображений. Например, в случае шумной видеопоследовательности статической сцены и камеры множество выборок кадров с определенной интенсивностью шумов в каждом пикселе можно использовать для получения статистической оценки, полученной на основе постоянной интенсивности этого пикселя (например, получая среднее значение всех доступных выборок).
Во многих видеопоследовательностях, однако, сцены обычно не являются статическими из-за движения камеры или объекта. Предпочтительно некоторые варианты осуществления изобретения могут получать оценку оптического потока видеопоследовательности. Например, оптический поток может соответствовать видимому движению с уровнями интенсивности от одного изображения до следующего в последовательности благодаря движению камеры или объектов на сцене. Например, оценка оптического потока может быть получена из окна кадров, вокруг опорного кадра (например, номинального центрального кадра), используя, например, два кадра перед ним и два кадра позади него для использования в сумме пяти кадров, и выравнивая каждый кадр по опорному кадру.
Например, выравнивание изображения может быть оценено, используя разные модели движения, в диапазоне от моделей с низким параметром движения (например, чистое перемещение, вращение, аффинное, проекционное и т.д.), которые имеют ограниченную применимость в обычных видеоизображениях, до плотных непараметрических моделей (например, оптического потока), в которых вектор смещения оценивают для каждого пикселя, также с возможностью промежуточных решений (одна модель движения низкого параметра, плюс отдельный оптический поток для точек, рассматриваемых как изолированные для этой модели). Например, в публикации №2008-0112630 патента США, под названием DIGITAL VIDEO STABILIZATION BASED ON ROBUST DOMINANT MOTION ESTIMATION описано, что устройство может принимать последовательность входных изображений и оценивать доминантные движения между соседними изображениями в последовательности изображения. Устройство может использовать устойчивый модуль оценки для автоматического детектирования и отбрасывания изолированных участков, соответствующих независимо движущимся объектам.
В некоторых вариантах осуществления изобретения может использоваться оценка оптического потока с малым разрешением на основе градиента с теоретической точностью до уровня подпикселя. Однако потенциально могут быть применимы другие способы оценки плотного движения. Например, может быть применима технология оценки движения, применяемая для преобразования частоты кадров.
Со ссылкой на фиг.9 некоторые варианты осуществления изобретения могут включать в себя оценку оптического потока, основанную на градиенте, оценку от грубой к тонкой. Например, после того как будет получена пирамида для множества разрешений, оценка оптического потока может быть получена на каждом уровне разрешений, используя дополнительный вход потока, оцениваемого по предыдущему уровню, если он доступен. На каждом уровне оценку оптического потока выполняют итеративно с первым перераспределением входных изображений в соответствии с текущей оценкой оптического потока и с последующим вычислением градиента второго порядка и получением решения для вектора потока в каждом пикселе, используя ограничения градиента от окружения до самого пикселя.
В соответствии с некоторыми вариантами осуществления изобретения устойчивое устранение шума в кадре может применяться для выровненных изображений в видеопоследовательности. Например, после того как будет получена оценка выравнивания интенсивность шумов, поступающих из разных кадров, которые соответствуют одному и тому же месту на сцене, может быть скомбинирована для получения версии с удаленными шумами центрального опорного кадра. В соответствии с некоторыми вариантами осуществления изобретения диапазон устойчивости можно применять при устранении шумов в кадре. Например, в некоторых вариантах осуществления изобретения для устойчивого устранения шумов в кадре могут потребоваться относительно большие вычислительные затраты и может обеспечиваться очень эффективное устранение шумов (например, используя байесов метод). Например, в некоторых вариантах осуществления изобретения для устойчивого устранения шумов в кадре могут потребоваться относительно малые вычислительные затраты, которые, однако, обеспечивают менее эффективное устранение шумов (например, на основе предварительного деформирования).
Один важный параметр в устойчивых способах (таких как предложен здесь) состоит в том, что известен параметр масштабирования, который связан с тем, какие магнитуды ошибки рассматриваются как шум и какие магнитуды рассматриваются как изолированные. Автоматическую оценку этого важного параметра получают из входных изображений, используя надежную оценку шумов изображения (на основе MAD (медиана абсолютных разностей) разности вертикальных и горизонтальных пикселей). Это позволяет с помощью предложенных способов работать в полностью автоматическом режиме без взаимодействия с пользователем, независимого от уровня шумов в последовательности входных изображений.
Как показано на фиг.10, пример байесова метода может быть основан на использовании модели прямого формирования изображения из изображения, не содержащего шумов, для соответствующего измеряемого кадра, который включает в себя деформирование, необходимое для выравнивания изображений и аддитивных шумов. Он также может включать в себя предыдущую модель по несодержащему шумов изображению, которое представляет собой компактное вероятностное описание того, что мы ожидаем увидеть на естественных изображениях. Например, в способе может использоваться нелинейный сопряженный градиент для минимизации функций стоимости, заданной байесовой моделью. На основе текущей оценки не содержащего шумов изображения g два обновления рассчитывают, используя модель формирования изображения (включающую в себя обратное перераспределение, расчет ошибки, применение нелинейной функции, и прямое перераспределение), и предшествующую модель. После того как обновления будут рассчитаны, получают оценку оптимального коэффициента α взвешивания, используя линейную минимизацию, и обновление умножают на этот вес и суммируют с оценкой изображения g, не содержащего шумов, для получения новой текущей оценки g. Процедура может быть затем итерирована до получения схождения.
Предпочтительно по сравнению с обработкой изображения со сверхразрешением, описанной в упомянутом выше патенте США №7,447,382, в некоторых вариантах осуществления изобретения могут использоваться относительно малые вычислительные затраты, которые все еще обеспечивают хорошие характеристики устранения шумов. Например, поскольку некоторые варианты осуществления настоящего изобретения не повышают разрешение изображения, в модели формирования изображения может быть исключена обработка выборки с повышением/понижением частоты. Некоторые варианты осуществления изобретения могут быть итеративными, и в них может множество раз использоваться применение прямой и обратной моделей формирования изображения (в принципе, прямое и обратное перераспределение), а также линейная минимизация при каждой итерации, в результате чего возникают высокие вычислительные затраты. Предпочтительно результаты такого способа на основе итеративной модели обычно представляют собой очень высокое качество с высокой степенью устранения шумов, и при этом практически не вводится дополнительная нерезкость в получаемом в результате изображении. В некоторых вариантах осуществления изобретения можно использовать возможности устранения нерезкости.
В соответствии с некоторыми вариантами осуществления изобретения способ вычислений с малыми вычислительными затратами может быть основан на предварительном деформировании изображений с последующим комбинированием результатов. Например, после оценки выравнивания становится возможным комбинировать интенсивности шумов, поступающих из разных кадров, которые статистически соответствуют одному и тому же месту положения на сцене для получения версии центрального кадра без шумов. Например, деформирование может быть выполнено для каждого изображения в окне изображения вокруг центрального кадра, используя оценку оптического потока. Деформирование может быть выполнено с использованием обратной интерполяции (например, с использованием двулинейной интерполяции).
После того как окружающие изображения будут выровнены по центральному кадру и деформированы, результат представляет собой подборку кадров, пиксели которых были выровнены, предоставляя для каждого кадра, по меньшей мере, одну выборку шумов для лежащей в основе интенсивности, не содержащей шумов. Например, в каждом положении пикселя имеется множество выборок интенсивности шумов в диапазоне от 1 (единица соответствует центральному кадру) до количества изображений в зависимости от видимости этого пикселя в разных изображениях. В соответствии с некоторыми вариантами осуществления изобретения все доступные выборки могут быть затем скомбинированы, используя подход, аналогичный двусторонней фильтрации.
Например, взвешенное среднее каждого положения пикселя может быть определено, где веса каждой выборки представляют собой функцию разности интенсивностей между выборкой и центральным кадром (например, используя Гауссову функцию). Предпочтительно в некоторых вариантах осуществления изобретения могут предпочтительно использоваться интенсивности, которые расположены близко к значению интенсивности центрального кадра, что может исключить комбинирование неправильных интенсивностей, поступающих в результате неправильного выравнивания. Предпочтительно вычислительные затраты этого способа являются относительно низкими и не требует итераций, и обработку выполняют локально на основе от пикселя к пикселю.
Предпочтительно некоторые варианты осуществления изобретения могут обеспечивать способ устранения шумов по множеству кадров для видеоизображения, которое является относительно простым (например, по сравнению с байесовым методом), без увеличения разрешения и неся относительно низкие вычислительные затраты. После того как кадры, которые должны быть скомбинированы, будут выровнены, в некоторых вариантах осуществления изобретения может использоваться очень малая дополнительная полоса пропускания и мало операций. Предпочтительно в некоторых вариантах осуществления изобретения может использоваться движение, оценка которого уже была получена с помощью других модулей (например, используемых для преобразования частоты кадров) для выполнения выравнивания изображения, в результате чего получают дополнительную экономию вычислительных средств (например, и потенциально экономию количества микросхем и количества больших схем при воплощении в виде аппаратных средств).
Некоторые варианты осуществления изобретения могут включать в себя устойчивое устранение шумов, используя двустороннюю фильтрацию. После выравнивания изображения значения интенсивности могут быть скомбинированы на основе от пикселя к пикселю для оценки значения интенсивности, не содержащей шумов, которая основана на измерениях шумов, используя соответствующий статистический способ. Например, непосредственный способ результата измерения может использоваться для получения простой статистической оценки, такой как среднее значение или медиана. Однако эти оценки могут быть недостаточно устойчивыми к ошибкам при выравнивании. Грубые ошибки при выравнивании могут возникать даже при использовании современных технологий оценки движения. Предпочтительно некоторые варианты осуществления изобретения могут комбинировать результаты измерения шумов на основе двусторонней фильтрации, которая может улучшить результаты, даже когда возникают ошибки при выравнивании.
Двусторонняя фильтрация может быть полезной для пространственного устранения шумов на основе получения в каждом пикселе взвешенного среднего значения интенсивности пикселей в окружающем окне (например, аналогично линейной фильтрации), где вес в заданном пикселе представляет собой функцию разности между интенсивностью в этом пикселе и интенсивностью в центральном кадре (например, Гауссову, которая может придать больше веса интенсивностям, расположенным ближе к центральному пикселю).
Некоторые варианты осуществления изобретения могут комбинировать интенсивности, поступающие из разных кадров, в результате чего получают следующее решение для заданного изображения (отдельные местоположения пикселей исключены из уравнения для ясности):
O = ∑ k = 1 N W 0 ( I c − I k ) ⋅ I k ∑ k = 1 N W 0 ( I c − I k )       ( 1 )
Figure 00000001
где N представляет собой количество кадров, которые комбинируют, С представляет собой индекс, соответствующий центральному (опорному) кадру, и где изображения Ik уже деформированы в соответствии с оценкой выравнивания центрального кадра.
В некоторых вариантах осуществления изобретения может комбинироваться как временная, так и пространственная информация для получения значения одного заданного пикселя, информация может быть скомбинирована из одного и того же места во множестве предварительно выровненных кадрах вместе с соседними пикселями в окне, окружающем заданный пиксель, в центральном кадре.
Без ограничения со стороны теории операций, двусторонний фильтр может быть интерпретирован как одна итерация способа модуля оценки итеративно повторно взвешенных наименьших квадратов с решением, инициализированным по интенсивности центрального пикселя. Предпочтительно некоторые варианты осуществления изобретения могут быть неитеративными, устойчивыми к выбросам и могут получать значения пикселя без шумов, которое близко к оригинальному значению центрального пикселя. Это может быть особенно предпочтительным, когда значительная ошибка выравнивания могла бы, в противном случае, сместить оценку интенсивности к значениям, очень далеким от исходного значения, даже при использовании устойчивых способов оценки, когда достигается точка отказа устойчивого модуля оценки, в результате чего формируются искусственно полученные значения.
В итеративном RWLS эта процедура может быть итерирована, пока не будет получено схождение. В соответствии с некоторыми вариантами выполнения изобретения двусторонняя фильтрация по уравнению 1 обеспечивает результат, который представляет собой обоснованную оценку способа RWLS. Например, одно конкретное измерение шумов может быть определено как центральное значение, используемое как исходная оценка g, и затем результат может быть вычислен только по одной итерации. Поэтому в некоторых вариантах осуществления изобретения двусторонняя фильтрация может быть интерпретирована как использующая одну итерацию итеративного RWLS с определенной исходной точкой.
При стандартной двусторонней фильтрации наиболее частый выбор для взвешивающей функции представляет собой Гауссову взвешивающую функцию, которая соответствует лежащей в основе устойчивой функции, известной как функция Уэлша в литературе устойчивой статистики. Другие выборы устойчивых функций могут представлять собой соответствующие альтернативы для двустороннего фильтра. Например, функция Коши может быть соответствующей для устранения шумов из видеоизображений, поскольку она может обеспечить результаты высокого качества для сверхразрешения. Функция Хубера также может обеспечить хорошие результаты. И напротив, функция Таки, с формой, аналогичной функции Уэлша, может быть пригодна, но не дает таких хороших результатов.
Как показано на фиг.11-19, результаты такого устранения шумов показаны на нескольких испытательных изображениях. На фиг.11 показан участок (например, подобласть) последовательности профессионального качества HD с умеренным уровнем шумов. На фиг.12 также показано представительное цифровое изображение после байесова устранения шумов в соответствии с некоторыми вариантами осуществления изобретения. На фиг.13 показано представительное цифровое изображение после временного двустороннего устранения шумов в соответствии с некоторыми вариантами осуществления изобретения. На фиг.14 показано цифровое изображение домашнего видео, снятого при низком уровне освещения с высоким уровнем шумов. На фиг.15 показано представительное цифровое изображение после байесова устранения шумов в соответствии с некоторыми вариантами осуществления изобретения. На фиг.16 показано представительное цифровое изображение после временного двустороннего устранения шумов в соответствии с некоторыми вариантами осуществления изобретения. Фиг.17-19 соответствуют фиг.14-16, увеличенным для представления деталей.
Результаты, показанные на фиг.13, 16 и 19, были получены с использованием только временной комбинации (Уравнение 1) из 5 кадров, используя Гауссову взвешивающую функцию, где оценку среднеквадратического отклонения Гаусса получили как в 2,5 раза большую, чем устойчивая оценка шумов изображения (на основе MAD (медиана абсолютных разностей) для разностей вертикальных и горизонтальных пикселей). Во время предварительной оценки результаты, полученные таким способом, выглядят как имеющее более низкое качество (несколько зашумленные и с худшей резкостью), чем полученные при использовании итеративного байесова метода, требующего более значительных вычислительных затрат. Однако предпочтительно оба способа наблюдали для получения изображения с очевидным меньшим уровнем шумом, чем в оригинале. Требующая значительных затрат на расчеты байесова реконструкция наблюдалась как лучше сохраняющая резкость, чем подход с использованием двусторонней фильтрации.
Предпочтительно в некоторых вариантах осуществления изобретения комбинируют оценку движения с устойчивыми статистическими способами (такими как двусторонняя фильтрация или байесова реконструкция с надежными функциями), для достижения высокого качества устранения шумов, которые, по существу, не содержат искусственных образований и которые не вводят существенную пространственную нерезкость. Кроме того, способ может быть выполнен полностью автоматически и может применяться для последовательностей с разными уровнями шумов от не содержащих шумов до очень зашумленных без ввода заметных искусственных образований и ухудшения визуального качества в последовательностях, не содержащих шумов.
Например, некоторые варианты осуществления изобретения могут быть полезными для конвейеров обработки видеоизображения, которые могут быть встроены в дисплеи и/или в телевизионные приставки, которые могут обеспечить преимущество модуля устранения шумов, который очищал бы потенциально зашумленное содержание. Например, некоторые варианты осуществления изобретения могут быть воплощены как аппаратное средство с фиксированной функцией. Например, некоторые варианты осуществления изобретения могут быть осуществлены как программное решение, работающее на специализированных процессорах или процессорах общего назначения. Хотя данное описание было представлено в связи с модулями, для специалистов в данной области техники будет понятно, что такие модули не обязательно представляют собой отдельные части с фиксированными компонентами. Скорее, такие модули могут быть воплощены с использованием различных комбинаций аппаратных и/или программных средств, распределенных в архитектуре системы на основе процессора.
Для специалистов в данной области техники будет понятно, что схема последовательности операций, показанная на фиг.1-3, и блок-схемы, показанные на фиг.4-10, могут быть воплощены в любом количестве компоновок аппаратных средств, программных средств и/или встроенного программного обеспечения. Например, схемы могут быть полностью воплощены с использованием аппаратных средств специального назначения. В качестве альтернативы схемы могут быть полностью воплощены с использованием программных средств, работающих в процессоре общего назначения. В качестве альтернативы схемы могут быть избирательно разделены между аппаратными и программными средствами специального назначения, работающими в процессоре общего назначения.
Представленные выше другие аспекты изобретения достигаются индивидуально и в комбинации. Изобретение не следует рассматривать как требующее двух или больше таких аспектов, если только это не будет определенно требоваться в конкретном пункте формулы изобретения. Однако в то время как изобретение было описано в связи с тем, что в настоящее время рассматривается как предпочтительные примеры, следует понимать, что изобретение не ограничивается раскрытыми примерами, но наоборот, предназначено для охвата различных модификаций и эквивалентных компоновок, включенных в пределы сущности и объема изобретения.

Claims (21)

1. Способ для обработки видеопоследовательности, содержащий:
принимают входную видеопоследовательность, имеющую разрешение входной видеопоследовательности;
выравнивают изображения из входной видеопоследовательности;
уменьшают шумы в выровненных изображениях; и
получают выходную видеопоследовательность из изображений с уменьшенными шумами, в котором выходная видеопоследовательность имеет то же разрешение, что и разрешение входной видеопоследовательности.
2. Способ по п.1, в котором выравнивание изображений из входной видеопоследовательности дополнительно содержит:
выполняют оценку оптического потока входной видеопоследовательности перед выравниванием изображений из входной видеопоследовательности.
3. Способ по п.2, в котором входная видеопоследовательность включает в себя опорный кадр и, по меньшей мере, один предшествующий кадр и, по меньшей мере, один последующий кадр относительно опорного кадра.
4. Способ по п.1, в котором уменьшение шумов в выровненных изображениях включает в себя:
выполняют итеративное прямое и обратное перераспределение выровненных изображений в соответствии с минимизацией сопряженных градиентов.
5. Способ по п.4, в котором уменьшение шумов выровненных изображений, включает в себя:
выполняет итеративную линейную минимизацию.
6. Способ по п.1, в котором уменьшение шумов в выровненных изображениях включает в себя:
выполняют деформирование изображения для выровненных изображений.
7. Способ по п.6, в котором уменьшение шумов в выровненных изображениях включает в себя:
выполняют двустороннюю фильтрацию по времени и пространству для выровненных деформированных изображений.
8. Устройство обработки видеоизображения, содержащее:
первый модуль, предназначенный для приема входной видеопоследовательности, имеющей разрешение входной видеопоследовательности;
второй модуль, соединенный с первым модулем для выравнивания изображений из входной видеопоследовательности;
третий модуль, соединенный со вторым модулем для уменьшения шумов во входной видеопоследовательности на основе выровненных изображений; и
четвертый модуль, соединенный с третьим модулем для получения выходной видеопоследовательности на основе входной видеопоследовательности с уменьшенными шумами, в котором выходная видеопоследовательность не имеет большее разрешение, чем разрешение входной видеопоследовательности.
9. Устройство обработки видеоизображений по п.8, в котором второй модуль включает в себя модуль для оценки оптического потока входной последовательности.
10. Устройство обработки видеоизображения по п.9, в котором входная видеопоследовательность включает в себя опорный кадр и, по меньшей мере, один предшествующий кадр, и, по меньшей мере, один последующий кадр, относительно опорного кадра.
11. Устройство обработки видеоизображения по п.8, в котором третий модуль включает в себя модуль для выполнения итеративного прямого и обратного перераспределения выровненных изображений, соответствующих минимизации сопряженного градиента.
12. Устройство обработки видеоизображения по п.11, в котором третий модуль дополнительно включает в себя модуль для выполнения итеративной линейной минимизации.
13. Устройство обработки видеоизображения по п.8, в котором третий модуль включает в себя модуль для выполнения деформирования изображения выровненных изображений.
14. Устройство обработки видеоизображения по п.13, в котором третий модуль дополнительно включает в себя модуль для выполнения двусторонней фильтрации по отношению выровненных, деформированных изображений.
15. Устройство обработки видеоизображения на основе процессора, содержащее:
процессор;
запоминающее устройство, соединенное с процессором, причем это запоминающее устройство имеет инструкции, которые при выполнении их процессором,
принимают входную видеопоследовательность, имеющую разрешение входной видеопоследовательности;
выравнивают изображения из входной видеопоследовательности;
уменьшают шумы во входной видеопоследовательности на основе выровненных изображений; и
формируют выходную видеопоследовательность на основе входной видеопоследовательности с уменьшенными шумами, в которой выходная видеопоследовательность имеет не большее разрешение, чем разрешение входной видеопоследовательности.
16. Устройство обработки видеоизображения по п.15, причем запоминающее устройство имеет дополнительные инструкции, которые при их выполнении с помощью процессора получают оценку оптического потока входной видеопоследовательности.
17. Устройство обработки видеоизображения по п.16, в которой входная видеопоследовательность включает в себя опорный кадр и, по меньшей мере, один предшествующий кадр, и, по меньшей мере, один последующий кадр, относительно опорного кадра.
18. Устройство обработки видеоизображения по п.15, причем запоминающее устройство имеет дополнительные инструкции, которые, при их выполнении с помощью процессора, выполняют итеративное прямое и обратное перераспределение выровненных изображений, соответствующих минимизации сопряженного градиента.
19. Устройство обработки видеоизображения по п.18, причем запоминающее устройство имеет дополнительные инструкции, которые, при их выполнении с помощью процессора, выполняют итеративную линейную минимизацию.
20. Устройство обработки видеоизображения по п.15, причем запоминающее устройство имеет дополнительные инструкции, которые, при их выполнении с помощью процессора, выполняют деформирование изображения для выровненных изображений.
21. Устройство обработки видеоизображения по п.20, причем запоминающее устройство имеет дополнительные инструкции, которые, при их выполнении с помощью процессора, выполняют двустороннюю фильтрацию для выровненных, деформированных изображений.
RU2011131987/08A 2008-12-30 2009-12-16 Способ и устройство для уменьшения шумов в видеоизображении RU2486591C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/317,806 US8903191B2 (en) 2008-12-30 2008-12-30 Method and apparatus for noise reduction in video
US12/317,806 2008-12-30
PCT/US2009/068185 WO2010077913A2 (en) 2008-12-30 2009-12-16 Method and apparatus for noise reduction in video

Publications (2)

Publication Number Publication Date
RU2011131987A RU2011131987A (ru) 2013-02-10
RU2486591C2 true RU2486591C2 (ru) 2013-06-27

Family

ID=42284495

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2011131987/08A RU2486591C2 (ru) 2008-12-30 2009-12-16 Способ и устройство для уменьшения шумов в видеоизображении

Country Status (11)

Country Link
US (1) US8903191B2 (ru)
JP (1) JP5497066B2 (ru)
KR (2) KR101573974B1 (ru)
CN (1) CN102171722B (ru)
DE (1) DE112009002658T5 (ru)
FI (1) FI126544B (ru)
GB (1) GB2478438B (ru)
HK (1) HK1160270A1 (ru)
RU (1) RU2486591C2 (ru)
SG (1) SG172407A1 (ru)
WO (1) WO2010077913A2 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2680754C2 (ru) * 2015-01-16 2019-02-26 федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики" (Университет ИТМО) Способ повышения резкости цифрового изображения

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8903191B2 (en) 2008-12-30 2014-12-02 Intel Corporation Method and apparatus for noise reduction in video
US8331714B2 (en) * 2009-02-23 2012-12-11 Sharp Laboratories Of America, Inc. Methods and systems for image processing
US9286691B2 (en) * 2009-04-17 2016-03-15 The Hong Kong University Of Science And Technology Motion estimation and compensation of feature-motion decorrelation
US8818131B2 (en) * 2010-08-20 2014-08-26 Adobe Systems Incorporated Methods and apparatus for facial feature replacement
JP5726482B2 (ja) * 2010-11-08 2015-06-03 株式会社東芝 画像処理装置及びそれを用いたｘ線診断装置、画像処理装置の作動方法
US8923392B2 (en) 2011-09-09 2014-12-30 Adobe Systems Incorporated Methods and apparatus for face fitting and editing applications
JP6223990B2 (ja) * 2011-11-23 2017-11-01 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． イメージ領域のノイズ除去
DE102011121332A1 (de) * 2011-12-16 2013-06-20 Testo Ag Verfahren zur Erzeugung von SR-Bildern mit verbesserter Bildauflösung und Messvorrichtung
US9639915B2 (en) * 2012-08-08 2017-05-02 Samsung Electronics Co., Ltd. Image processing method and apparatus
WO2015119207A1 (ja) * 2014-02-07 2015-08-13 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
US9311690B2 (en) * 2014-03-11 2016-04-12 Adobe Systems Incorporated Video denoising using optical flow
EP3274986A4 (en) 2015-03-21 2019-04-17 Mine One GmbH METHODS, SYSTEMS, AND SOFTWARE FOR VIRTUAL 3D
US11238564B2 (en) * 2015-03-21 2022-02-01 Mine One Gmbh Temporal de-noising
US10853625B2 (en) 2015-03-21 2020-12-01 Mine One Gmbh Facial signature methods, systems and software
US11132769B2 (en) 2016-03-23 2021-09-28 Koninklijke Philips N.V. Image quality by two pass temporal noise reduction
US10504211B2 (en) * 2017-03-10 2019-12-10 Disney Enterprises, Inc. Sample-based video denoising
CN109509146B (zh) * 2017-09-15 2023-03-24 腾讯科技（深圳）有限公司 图像拼接方法及装置、存储介质
CN109949221B (zh) * 2019-01-30 2022-05-17 深圳大学 一种图像处理方法及电子设备
US11176682B2 (en) * 2019-11-27 2021-11-16 Nvidia Corporation Enhanced optical flow estimation using a varied scan order
US20210192681A1 (en) * 2019-12-18 2021-06-24 Ati Technologies Ulc Frame reprojection for virtual reality and augmented reality
CN113938575B (zh) * 2021-07-23 2023-06-13 东莞理工学院 一种视频超分辨率重构方法、装置、终端设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006211254A (ja) * 2005-01-27 2006-08-10 Sony Corp 情報処理装置および回収基板
US20060257042A1 (en) * 2005-05-13 2006-11-16 Microsoft Corporation Video enhancement
RU2295297C2 (ru) * 2003-12-02 2007-03-20 Александр Васильевич Жукоцкий Способ исследования и диагностики состояния биологического объекта или его части
WO2007038701A1 (en) * 2005-09-27 2007-04-05 Qualcomm Incorporated Scalability techniques based on content information
RU2298294C2 (ru) * 2001-06-05 2007-04-27 Риэктрикс Системз, Инк. Интерактивная видеодисплейная система

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561975A (ja) 1991-08-31 1993-03-12 Sony Corp 信号マツチング装置
US5208673A (en) 1991-11-05 1993-05-04 Matsushita Electric Corporation Of America Noise reduction in frame transmitted video signals
JP3306671B2 (ja) * 1992-09-24 2002-07-24 日本テキサス・インスツルメンツ株式会社 ノイズ低減回路
US5361105A (en) * 1993-03-05 1994-11-01 Matsushita Electric Corporation Of America Noise reduction system using multi-frame motion estimation, outlier rejection and trajectory correction
US5453792A (en) * 1994-03-18 1995-09-26 Prime Image, Inc. Double video standards converter
US5442407A (en) 1994-03-22 1995-08-15 Matsushita Electric Corporation Of America Video signal noise reduction system using time-varying filter coefficients
JPH0865682A (ja) 1994-08-25 1996-03-08 Sanyo Electric Co Ltd 動画像の動き補償予測方式
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
US6408104B1 (en) * 1997-12-31 2002-06-18 Lg Electronics Inc. Method and apparatus for eliminating noise in a video signal encoder
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US6681058B1 (en) * 1999-04-15 2004-01-20 Sarnoff Corporation Method and apparatus for estimating feature values in a region of a sequence of images
US6798897B1 (en) * 1999-09-05 2004-09-28 Protrack Ltd. Real time image registration, motion detection and background replacement using discrete local motion estimation
WO2001028238A2 (en) * 1999-10-08 2001-04-19 Sarnoff Corporation Method and apparatus for enhancing and indexing video and audio signals
US7289154B2 (en) * 2000-05-10 2007-10-30 Eastman Kodak Company Digital image processing method and apparatus for brightness adjustment of digital images
JP3619136B2 (ja) 2000-09-25 2005-02-09 キヤノン株式会社 画像形成装置
KR100405150B1 (ko) * 2001-06-29 2003-11-10 주식회사 성진씨앤씨 시공간 적응적 잡음 제거/고화질 복원 방법 및 이를응용한 고화질 영상 입력 장치
US20030095696A1 (en) * 2001-09-14 2003-05-22 Reeves Anthony P. System, method and apparatus for small pulmonary nodule computer aided diagnosis from computed tomography scans
US7711044B1 (en) * 2001-10-29 2010-05-04 Trident Microsystems (Far East) Ltd. Noise reduction systems and methods
KR100687645B1 (ko) * 2002-06-25 2007-02-27 마쯔시다덴기산교 가부시키가이샤 움직임 검출 장치 및 그것을 이용한 잡음 제거 장치
US6824514B2 (en) * 2002-10-11 2004-11-30 Koninklijke Philips Electronics N.V. System and method for visualizing scene shift in ultrasound scan sequence
US7218792B2 (en) 2003-03-19 2007-05-15 Mitsubishi Electric Research Laboratories, Inc. Stylized imaging using variable controlled illumination
JP4017578B2 (ja) * 2003-09-19 2007-12-05 三洋電機株式会社 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体
JP2005295302A (ja) 2004-04-01 2005-10-20 Mitsubishi Electric Corp カメラ画像処理装置
JP2005295287A (ja) 2004-04-01 2005-10-20 Shibasoku:Kk 映像信号処理装置
US7447382B2 (en) 2004-06-30 2008-11-04 Intel Corporation Computing a higher resolution image from multiple lower resolution images using model-based, robust Bayesian estimation
US7730406B2 (en) * 2004-10-20 2010-06-01 Hewlett-Packard Development Company, L.P. Image processing system and method
JP5352942B2 (ja) 2005-03-31 2013-11-27 株式会社ニコン 画像処理方法、画像処理プログラム、および画像処理装置
JP2006319136A (ja) 2005-05-12 2006-11-24 Mitsubishi Electric Corp 高周波モジュール
US20070047834A1 (en) * 2005-08-31 2007-03-01 International Business Machines Corporation Method and apparatus for visual background subtraction with one or more preprocessing modules
US7519235B1 (en) * 2005-10-24 2009-04-14 Adobe Systems Incorporated Using nonlinear filtering while resizing an image to preserve sharp image detail
JP4679372B2 (ja) 2006-01-20 2011-04-27 株式会社日立製作所 映像ノイズ削減処理装置及び映像表示装置
US7861068B2 (en) 2006-03-07 2010-12-28 Intel Corporation Method and apparatus for using dynamic workload characteristics to control CPU frequency and voltage scaling
JP4859516B2 (ja) 2006-04-27 2012-01-25 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像復元方法
JP2006221190A (ja) 2006-05-01 2006-08-24 National Institute Of Advanced Industrial & Technology 共焦点走査型顕微鏡システム
GB0611969D0 (en) * 2006-06-16 2006-07-26 Robert Gordon The University Video content prioritisation
US7945117B2 (en) * 2006-08-22 2011-05-17 Siemens Medical Solutions Usa, Inc. Methods and systems for registration of images
US7760848B2 (en) 2006-09-08 2010-07-20 General Electric Company Method and system for generating a multi-spectral image of an object
US20080112630A1 (en) 2006-11-09 2008-05-15 Oscar Nestares Digital video stabilization based on robust dominant motion estimation
CN100530239C (zh) 2007-01-25 2009-08-19 复旦大学 基于特征匹配与跟踪的视频稳定方法
KR101456305B1 (ko) * 2007-02-20 2014-11-03 소니 주식회사 화상 표시 장치, 영상 신호 처리 장치 및 영상 신호 처리 방법
JP4321626B2 (ja) 2007-05-23 2009-08-26 ソニー株式会社 画像処理方法および画像処理装置
WO2009066186A2 (en) * 2007-11-21 2009-05-28 University Of Manitoba System and methods of improved tomography imaging
US8718133B2 (en) * 2008-03-26 2014-05-06 Samsung Electronics Co., Ltd. Method and system for image scaling detection
US8339456B2 (en) * 2008-05-15 2012-12-25 Sri International Apparatus for intelligent and autonomous video content generation and streaming
US8903191B2 (en) 2008-12-30 2014-12-02 Intel Corporation Method and apparatus for noise reduction in video
US8712156B2 (en) * 2010-01-10 2014-04-29 Bronstein Bronstein Kimmel Technologies Ltd. Comparison of visual information
US8447565B2 (en) * 2010-06-07 2013-05-21 Lawrence Livermore National Security, Llc Approximate error conjugation gradient minimization methods
US8818131B2 (en) * 2010-08-20 2014-08-26 Adobe Systems Incorporated Methods and apparatus for facial feature replacement

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2298294C2 (ru) * 2001-06-05 2007-04-27 Риэктрикс Системз, Инк. Интерактивная видеодисплейная система
RU2295297C2 (ru) * 2003-12-02 2007-03-20 Александр Васильевич Жукоцкий Способ исследования и диагностики состояния биологического объекта или его части
JP2006211254A (ja) * 2005-01-27 2006-08-10 Sony Corp 情報処理装置および回収基板
US20060257042A1 (en) * 2005-05-13 2006-11-16 Microsoft Corporation Video enhancement
WO2007038701A1 (en) * 2005-09-27 2007-04-05 Qualcomm Incorporated Scalability techniques based on content information

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2680754C2 (ru) * 2015-01-16 2019-02-26 федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики" (Университет ИТМО) Способ повышения резкости цифрового изображения

Also Published As

Publication number Publication date
CN102171722A (zh) 2011-08-31
HK1160270A1 (en) 2012-08-10
GB2478438B (en) 2014-06-25
CN102171722B (zh) 2014-08-13
GB2478438A (en) 2011-09-07
JP5497066B2 (ja) 2014-05-21
KR20110048591A (ko) 2011-05-11
KR20120114386A (ko) 2012-10-16
KR101573974B1 (ko) 2015-12-02
GB201105549D0 (en) 2011-05-18
US20100165206A1 (en) 2010-07-01
WO2010077913A2 (en) 2010-07-08
FI20115688A (fi) 2011-06-30
FI126544B (fi) 2017-02-15
KR101252363B1 (ko) 2013-04-08
JP2012514419A (ja) 2012-06-21
WO2010077913A3 (en) 2010-09-02
SG172407A1 (en) 2011-07-28
DE112009002658T5 (de) 2012-08-02
US8903191B2 (en) 2014-12-02
RU2011131987A (ru) 2013-02-10

Similar Documents

Publication Publication Date Title
RU2486591C2 (ru) Способ и устройство для уменьшения шумов в видеоизображении
US8306121B2 (en) Method and apparatus for super-resolution of images
US8712095B2 (en) Digital processing method and system for determination of optical flow
US9230303B2 (en) Multi-frame super-resolution of image sequence with arbitrary motion patterns
US8768069B2 (en) Image enhancement apparatus and method
US7840095B2 (en) Image processing method, image processing apparatus, program and recording medium
US8326069B2 (en) Computing higher resolution images from multiple lower resolution images
JP5543605B2 (ja) 空間画像事前確率を用いたぼけ画像修正
US8711938B2 (en) Methods and systems for motion estimation with nonlinear motion-field smoothing
CN101247489A (zh) 一种用于数字电视细节实时重现的方法
Huebner et al. Software-based mitigation of image degradation due to atmospheric turbulence
KR100987031B1 (ko) 공간 해상도와 다이내믹 레인지가 향상된 영상 생성 방법과그 장치, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
Moldovan et al. Denoising archival films using a learned Bayesian model
Prabhu et al. Natural matting for degraded pictures
El-Yamany et al. An adaptive M-estimation framework for robust image super resolution without regularization
Kyamakya et al. Super Resolution Challenges and Rewards
Gunturk Handling exposure time in multi-frame image restoration
Zhang et al. Multi-frame Image Super-resolution Reconstruction based on GPOF Registration and L1-norm
Peng et al. Print-from-video: computationally efficient outlier reduction pattern filtering

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20171217