RU2603529C2 - Уменьшение шума в последовательностях изображений - Google Patents

Уменьшение шума в последовательностях изображений Download PDF

Info

Publication number
RU2603529C2
RU2603529C2 RU2014141364/08A RU2014141364A RU2603529C2 RU 2603529 C2 RU2603529 C2 RU 2603529C2 RU 2014141364/08 A RU2014141364/08 A RU 2014141364/08A RU 2014141364 A RU2014141364 A RU 2014141364A RU 2603529 C2 RU2603529 C2 RU 2603529C2
Authority
RU
Russia
Prior art keywords
noise
sequence
current frame
block
original
Prior art date
Application number
RU2014141364/08A
Other languages
English (en)
Other versions
RU2014141364A (ru
Inventor
Анил КОКАРАМ
Дамьен КЕЛЛИ
Эндрю Джозеф КРОУФОРД
Хью Пьер ДЕНМЭН
Original Assignee
Гугл Инк.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Гугл Инк. filed Critical Гугл Инк.
Publication of RU2014141364A publication Critical patent/RU2014141364A/ru
Application granted granted Critical
Publication of RU2603529C2 publication Critical patent/RU2603529C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/10—Adaptations for transmission by electrical cable
    • H04N7/102—Circuits therefor, e.g. noise reducers, equalisers, amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Изобретение относится к способу и устройству уменьшения шумов для последовательности изображений или видео. Технический результат состоит в уменьшении шумов в видео и достигается за счет применения блоков оценки движения, оценки спектра шумов, вычисления расчетного шумового спектра, определителя записи, шумоподавителя. При этом блок оценки движения предназначен для выполнения оценки движения в видео. Блок оценки спектра шумов предназначен для оценки шума в видео. Определитель записи предназначен для запуска процесса оценки шумов. Блок проверки спектра шумов предназначен для проверки вычисленного спектра шумов. Шумоподавитель предназначен для уменьшения шумов в видео посредством использования вычисленного спектра шумов. 3 н. и 30 з.п. ф-лы, 5 ил.

Description

ОБЩИЕ СВЕДЕНИЯ
[0001] Шумы - обычная проблема для всех мультимедийных источников, включая видео. С появлением цифровых камер шумы становятся более явной и большой проблемой, по крайней мере, по двум причинам. Первая причина - снимки делают в условиях, которые не являются оптимальными для съемки. Вторая причина заключается в том, что многие цифровые изображения сжимаются перед передачей, и шумы в сигнале изображения делают сжатие более сложной задачей.
КРАТКОЕ ОПИСАНИЕ
[0002] В общем, практической реализацией представленного здесь объекта изобретения может быть устройство, уменьшающее шум в последовательности изображений. Устройство состоит из блока оценки движения, предназначенного для выработки кадров с компенсированным движением. Устройство включает в себя блок оценки спектра шумов, предназначенный для оценки шума в одном или в нескольких блоках пикселей последовательности входящих кадров. Блок оценки спектра шумов определяет зашумленные и фоновые зоны в последовательности входящих кадров. Блок оценки спектра шумов также определяет расчетный шумовой спектр текущего кадра в последовательности входящих кадров из зашумленных и фоновых зон в последовательности входящих кадров. Устройство также включает в себя определитель записи, предназначенный для обнаружения смены записи в последовательности входящих кадров и для приведения в действие блока оценки спектра шумов в ответ на обнаруженную смену записи. Устройство включает в себя шумоподавитель, предназначенный для уменьшения шума в последовательности изображений посредством использования расчетного шумового спектра и последовательности кадров с компенсированным движением.
[0003] Настоящее краткое описание представлено с пониманием того, что оно не будет использоваться для толкования или ограничения предмета или значения формулы изобретения. Настоящее краткое описание не предназначено для определения главных или основных особенностей заявленного объекта, оно также не предназначено для использования в качестве вспомогательного средства при определении рамок заявленного объекта изобретения.
КРАТКОЕ ПОЯСНЕНИЕ ЧЕРТЕЖЕЙ
[0004] На фиг. 1 показан пример устройства уменьшения шума согласно одному или нескольким исполнениям, описанным в настоящем документе.
[0005] На фиг. 2 показан пример модуля расчетной спектральной плотности мощности (ePSD), изображенного на фиг. 1, согласно одному или нескольким исполнениям, описанным в настоящем документе.
[0006] На фиг. 3 изображена блок-схема способа уменьшения шумов в последовательности изображений согласно одному или нескольким исполнениям, описанным в настоящем документе.
[0007] На фиг. 4 изображена блок-схема способа оценки шумов в последовательности изображений согласно одному или нескольким исполнениям, описанным в настоящем документе.
[0008] На фиг. 5 представлена высокоуровневая блок-схема, иллюстрирующая пример компьютерной системы, пригодной для реализации описанной технологии.
[0009] Подробное описание содержит ссылки на сопровождающие чертежи. На чертежах крайняя левая цифра(-ы) ссылочного номера указывает на чертеж, на котором ссылочный номер появляется впервые. Те же самые номера используются во всех чертежах для ссылок на аналогичные особенности и составляющие.
ПОДРОБНОЕ ОПИСАНИЕ
[0010] В настоящем описании представлена технология, предназначенная для уменьшения шумов в видео, особенно для загружаемого контента. На фиг. 1 ниже показано устройство уменьшения шумов в одном или нескольких исполнениях, включающее в себя определитель записи, блок оценки спектра шумов, блок проверки спектра шумов и шумоподавитель. В устройство уменьшения шумов вводятся три кадра исходной последовательности изображений (т.е. видео). Эти три кадра - текущий кадр, предыдущий кадр и следующий кадр.
[0011] Блок оценки движения определяет движение в кадрах. Одна из целей определения движения в кадрах изображения - использование того, что контент сцены от кадра к кадру может сильно не изменяться, а знание того, где двигаются объекты на месте действия, помогает отличать объекты и шум. Двигающие объекты не являются шумом и должны остаться на изображении. В случаях, когда осуществляется оценка движения, блок оценки движения может использовать не менее трех исходных кадров (т.е. текущий кадр, предыдущий кадр и следующий кадр) для оценки движения камеры, использованной для съемки, определяя основное движение сцены (общая оценка), и/или для оценки движения каждого блока на изображении (блоковая оценка). Блок оценки движения выдает три кадра, движения которых было откорректировано так, чтобы между текущим кадром и предыдущим или следующим не было относительного движения.
[0012] Определитель записи также получает не менее трех кадров исходной последовательности изображений. Определитель записи определяет, где на изображении происходит смена записи. Запись существует со времени начала съемки камерой до времени прекращения съемки. Как правило, в последовательности изображений есть несколько записей, поскольку камера прекращает и начинает снимать несколько раз. В некоторых исполнениях определитель записи определяет смены записи взаимным вычитанием полутоновых гистограмм текущего исходного кадра и предыдущего исходного кадра. Большая разница между двумя гистограммами может означать смену записи в последовательности изображений.
[0013] Блок оценки спектра шумов получает не менее трех кадров исходной последовательности изображений, три кадра с компенсированным изображением из блока оценки движения и выходной результат из определителя записи. Блок оценки спектра шумов может использовать выходной результат из определителя записи для запуска процесса оценки спектра шумов. Блок оценки спектра шумов может использовать исходный текущий кадр, предыдущий и следующий кадры с компенсированным движением для определения того, какие части исходного кадра являются шумами, какие части - текстурой, какие - контурами и т.д. Блок оценки спектра шумов затем использует двухэтапный процесс для определения шума в изображении. На первом этапе блок оценки спектра шумов, используя фильтр размытости Гаусса, находит в исходном изображении блоки только с фоновыми зонами (без текстур или контуров) и шумы. На втором этапе, используя трехмерное быстрое преобразование Фурье (3-D FFT), блоки, прошедшие через первый этап, проходят обработку, чтобы определить для них шумовой спектр. Результатом работы блока оценки спектра шумов является расчетная/вычисленная спектральная плотность мощности шума (ePSD) и соответствующее количество блоков, по которым была вычислена ePSD.
[0014] Блок проверки спектра шумов может получать расчетную спектральную плотность мощности шума и может принимать решение, представляет ли ePSD правдоподобные данные шумов. То есть мощность в каждой временной Фурье-плоскости должна быть приблизительно одинаковой, a ePSD должна быть симметричной. Проверенная спектральная плотность может поступать на шумоподавитель.
[0015] Шумоподавитель может получать исходный текущий кадр, предыдущий кадр с компенсированным движением и следующий кадр с компенсированным движением. Шумоподавитель берет блок из исходного текущего кадра, блок из предыдущего кадра с компенсированным движением, блок из следующего кадра с компенсированным движением и оценивает линейное плоскостное соответствие блоку из исходного текущего кадра. Двухмерная плоскость удаляется из блока исходного текущего кадра, удаляется блок из предыдущего кадра с компенсированным движением и блок из следующего кадра с компенсированным движением, затем на блоке исходного текущего кадра выполняется частотная операция фильтра Винера для уменьшения шумов в блоке. Удаленная двухмерная плоскость затем может быть возвращена в блок из исходного текущего кадра. В результате этого процесса получаем текущий кадр с уменьшенными шумами.
Пример устройства уменьшения шума
[0016] На фиг. 1 показан пример устройства уменьшения шума 100 согласно одному или нескольким исполнениям, описанным в настоящем документе. Показанное устройство 100 включает в себя определитель записи 102, блок оценки движения 104, блок оценки спектра шумов 106, блок проверки спектра шумов 108 и шумоподавитель 110. Показанное устройство уменьшения шума 100 получает исходную последовательность изображений 112 и передает их на определитель записи 102, блок оценки движения 104 и блок оценки спектра шумов 106. Блок оценки движения 104 состоит из устройства блочной оценки движения 116 и общего оценочного устройства 118. Определитель записи 102 включает в себя гистограммный модуль 120. Блок оценки спектра шумов 106 состоит из фильтра Гаусса 124 и модуля ePSD 126. Блок проверки спектра шумов 108 включает в себя модуль определения симметричности 128. Шумоподавитель 110 включает в себя фильтр Винера 130.
[0017] В одном или в нескольких исполнениях устройство уменьшения шума 100 может быть расширением для редактора обработки изображений. В качестве варианта устройство уменьшения шума 100 можно установить в специализированной интегральной микросхеме (ASIC), программируемой пользователем вентильной матрице (FPGA), клиентском компьютере, сервере, камерафоне, смартфоне, планшетном телефоне и/или в подобных устройствах.
[0018] Устройство уменьшения шума 100 получает три кадра из исходной последовательности изображений 112. Этими тремя кадрами являются исходный текущий кадр, исходный предыдущий кадр и исходный следующий кадр. В основном, при обработке видео или другой последовательности изображений, которая была отредактирована, есть несколько записей. Разные записи могут иметь разные характеристики шумов. Определитель записи 102 получает три кадра и определяет, где происходит смена записи, чтобы принять это в расчет во время процесса уменьшения шума.
[0019] В одном или в нескольких исполнениях определитель записи 102 использует гистограммный модуль 120, чтобы определить, где в исходной последовательности изображений 112 происходят смены записи. Например, гистограммный модуль 120 определяет разницу между полутоновой гистограммой исходного текущего кадра и полутоновой гистограммой исходного предыдущего кадра. Большая разница между двумя гистограммами может означать смену записи в исходной последовательности изображений 112. Небольшая разница между двумя гистограммами может означать отсутствие смены записи в исходной последовательности изображений 112.
[0020] В одном или в нескольких исполнениях определитель записи 102 определяет разницу между значениями яркости исходного текущего кадра и исходного предыдущего кадра. Большая разница между двумя значениями яркости может означать смену записи в исходной последовательности изображений 112. Небольшая разница между двумя значениями яркости может означать отсутствие смены записи в исходной последовательности изображений 112.
[0021] В одном или в нескольких исполнениях определитель записи 102 может вычислять общее движение в исходном текущем кадре и исходном предыдущем кадре и может вычислять разницу межкадрового смещения (DFD) исходного текущего кадра и исходного предыдущего кадра. Большая DFD может указывать на смену записи в последовательности изображений 112. Небольшая DFD может указывать на отсутствие смены записи в последовательности изображений 112.
[0022] Блок оценки движения 104 также получает три кадра из исходной последовательности изображений 112. В одном или в нескольких исполнениях блок оценки движения 104 определяет отсутствие движения в исходной последовательности изображений 112, оценивает общее движение в исходной последовательности изображений 112, определяет вектор движения для каждого блока в исходной последовательности изображений 112, где размер блока изменяется в зависимости от размера изображения и/или определяет вектор движения для каждого пикселя в исходной последовательности изображений 112.
[0023] Например, если размер изображения исходной последовательности изображений 112 менее 480p, блок оценки движения 104 может не выполнять оценку движения в исходной последовательности изображений 112.
[0024] В исполнениях, где блок оценки движения 104 может использовать устройство блочной оценки 116 для блочной оценки движения в исходной последовательности изображений 112, устройство блочной оценки движения 116 использует блоки пикселей, чтобы получить векторы, соответствующие движению блоков в текущем кадре исходной последовательности изображений 112. Если разрешение изображения исходной последовательности изображений 112 больше 480p, устройство блочной оценки движения 116 может осуществлять процесс оценки движения на блоках размером 32×32 пикселей. Если разрешение изображения исходной последовательности изображений 112 меньше 480p, но больше 360p, устройство блочной оценки движения 116 может осуществлять процесс оценки движения на блоках размером 16×16 пикселей. Если разрешение изображения исходной последовательности изображений 112 меньше 360p, устройство блочной оценки движения 116 может осуществлять процесс оценки движения на блоках размером 8×8 пикселей.
[0025] Например, в одном или в нескольких исполнениях устройство блочной оценки 116 может использовать способ переборного поиска, чтобы минимизировать смещение (или вектор скорости) между блоками исходного текущего кадра и блоками исходного предыдущего кадра. Устройство блочной оценки 116 можно выполнить, используя технологию сверхвысокой интеграции (VLSI). Устройство блочной оценки 116 можно выполнить, используя способ блочной оценки движения.
[0026] В одном или в нескольких исполнениях блок оценки движения 104 может использовать блок общей оценки 116 для оценки движения камеры, использованной для съемки, из которой взяли исходную последовательность изображений 112, определяя основное движение сцены. Блок общей оценки 116 может затем выдать один вектор движения, характеризующий общее движение сцены, исходя из этой оценки.
[0027] В одном или в нескольких исполнениях блок оценки движения 104 может использовать способ поэлементного рекурсивного оценивания для получения пакета векторов, соответствующих движению каждого пикселя в сцене. Блок оценки движения 104 в результате выдает три кадра с компенсированным движением, так что относительное движение между ними уменьшено или даже устранено, т.е. кадры с компенсированным движением 119. То есть между текущим кадром с компенсированным движением, предыдущим кадром с компенсированным движением и следующим кадром с компенсированным движением мало движения или оно отсутствует.
[0028] Блок оценки спектра шумов 106 может получать текущий кадр с компенсированным движением, предыдущий кадр с компенсированным движением и следующий кадр с компенсированным движением из блока оценки движения 104. Блок оценки спектра шумов 106 также может получать исходный текущий кадр, исходный предыдущий кадр и исходный следующий кадр из последовательности изображений 112. Блок оценки спектра шумов 106 может использовать обработанные данные из определителя записи в качестве пускового сигнала 122 начала процесса оценки спектра шумов.
[0029] В одном или в нескольких исполнениях блок оценки спектра шумов 106 может использовать исходный текущий кадр, предыдущий и следующий кадры с компенсированным движением, чтобы определить, какие части исходного кадра являются шумом, какие - текстурой, какие - контурами и т.д. Блок оценки спектра шумов 106 может использовать двухэтапный процесс для определения шума в последовательности изображений 112.
[0030] На первом этапе блок оценки спектра шумов 106 находит блоки в последовательности изображений 112, в которых есть только фоновые зоны (без текстур или контуров) и шум. Можно установить следующие размеры блока. Если разрешение последовательности изображений 112 выше 480p, размер блока можно установить 32×32 пикселей. Если разрешение последовательности изображений 112 ниже 480p, но выше 360p, размер блока можно установить 16×16 пикселей. Если разрешение последовательности изображений 112 ниже 360p, размер блока можно установить 8×8 пикселей.
[0031] Блок оценки спектра шумов 106 проверяет сетку блоков в последовательности изображений 112. В одном или в нескольких исполнениях блоки в сетке могут двукратно совпадать в обоих направлениях. В других исполнениях блоки в сетке могут иметь другие коэффициенты совпадения в обоих направлениях: один, три, четыре, пять и т.д.
[0032] Блок оценки спектра шумов 106 выполняет проверку насыщенности последовательности изображений 112. В одном или в нескольких исполнениях блок оценки спектра шумов 106 определяет блоки в сетке, яркость которых находится между насыщенностью и недостаточной выдержкой, чтобы такие блоки можно было исключить из процесса оценки шумов. Например, последовательность изображений 112 является 8-битным изображением, среднее значение яркости в блоке может быть в рамках 0,05×255 и 0,95×255. В одном или в нескольких исполнениях среднее значение яркости в блоке может быть в рамках 0,1×255 и 0,90×255. Как вариант, в одном или в нескольких исполнениях среднее значение яркости в блоке может быть в рамках 0,15×255 и 0,85×255.
[0033] Блок оценки спектра шумов 106 выполняет проверку компенсации движения блоков, которые прошли проверку насыщенности. В одном или в нескольких исполнениях блок оценки спектра шумов 106 извлекает блок из исходного текущего кадра, блок из предыдущего кадра с компенсированным движением, соответствующий блоку, извлеченному из исходного текущего кадра, и блок из следующего кадра с компенсированным движением, соответствующий блоку, извлеченному из исходного текущего кадра. Блок оценки спектра шумов 106 определяет смещенную вперед разницу кадров (fDFD) и смещенную назад разницу кадров (bDFD), чтобы в результате получить среднее абсолютное отклонение (MAE) между блоком, извлеченным из исходного текущего кадра.
[0034] Затем блок оценки шумов 106 выбирает блоки из исходного текущего кадра, fDFD и bDFD которого меньше верхней пороговой величины. Это делается для обеспечения того, чтобы движение в этих выбранных блоках были хорошо компенсированным.
[0035] Единицами fDFD и bDFD могут быть уровни полутона. В одном или в нескольких исполнениях, в которых изображение является 8-битным, уровни полутона могут находиться в диапазоне от 0 до 255. В этих исполнениях предельные значения находятся между 0 и 255. В некоторых исполнениях верхняя пороговая величина может быть 10.
[0036] Блок оценки спектра шумов 106 также выполняет проверку минимального шума блоков, которые прошли проверку насыщенности. В одном или в нескольких исполнениях блок оценки спектра шумов 106 выбирает блоки из исходного текущего кадра, значения fDFD и bDFD которого больше нижней пороговой величины. Это необходимо для того, чтобы эти отобранные блоки имели, по крайней мере, некоторое количество шума. В одном или в нескольких исполнениях нижняя пороговая величина может быть 0,1.
[0037] Блок оценки спектра шумов 106 выполняет проверку только шума блоков, которые прошли проверку насыщенности, проверку компенсации движения и проверку минимального шума. Во время проверки только шума блок оценки спектра шумов 106 оценивает текстурный контент блоков, которые прошли проверку насыщенности, проверку компенсации движения и проверку минимального шума. В одном или в нескольких исполнениях блок оценки спектра шумов 106 вычисляет минимальный и максимальный градиент блоков, а также направление минимального и максимального градиента.
[0038] Вычисления можно выполнить, используя анализ собственных значений любой известной градиентной корреляционной матрицы 2×2 (GTG). Например, можно считать, что блоки имеют только один шум, если следующее является верным: (1) условие матрицы GTG меньше заранее определенного значения (TC), (2) показатель матрицы GTG меньше заранее определенного значения (TDET), и (3) квадратный корень точки пересечения матрицы GTG меньше заранее определенного значения (TG). В одном или в нескольких исполнениях TC=50, TDET=0,04, и (3) квадратный корень точки пересечения GTG матрицы (TG) меньше 0,09.
[0039] Для выполнения оценки текстур блок оценки спектра шумов 106 использует версию низкочастотного фильтра последовательности изображения 112. В одном или в нескольких исполнениях фильтр Гаусса 124, который может, например, иметь отклонение 0,5, можно использовать для низкочастотного фильтрования последовательности изображений 112. Можно считать, что блоки, которые прошли проверку насыщенности, проверку компенсации движения и проверку минимального шума, содержат только шум, и их можно передавать на второй этап обработки блока оценки спектра шумов 106.
[0040] На втором этапе блок оценки спектра шумов 106 определяет шумовой спектр блоков, которые считаются содержащими только шум, как определено на первом этапе обработки. В одном или в нескольких исполнениях блок оценки спектра шумов 106 проверяет, что блоков, которые содержат только шум, минимальное количество. Затем блоки проходят обработку для оценки шумового спектра. Например, если есть по крайней мере пять блоков, по которым определили, что они содержат только шум, блок оценки спектра шумов 106 оценивает шумовой спектр, используя эти блоки.
[0041] В одном или в нескольких исполнениях модуль ePSD 126 осуществляет части второго этапа блока оценки спектра шумов 106. На фиг. 2 показан модуль ePSD 126 более подробно. Показанный модуль ePSD 126 включает в себя модуль плоскостной насыщенности 202, гистограммный модуль 204, модуль обработки способом окна 206, модуль преобразования 208 и усредняющий модуль 210.
[0042] Блок оценки шумового спектра 106 выбирает интересующий блок из блоков, содержащих только шум, и модуль плоскостной насыщенности 202 подгоняет плоскость насыщенности под рассматриваемый блок. То есть модуль плоскостной насыщенности 202 оценивает соответствие линейной плоскости рассматриваемому блоку. Плоскость насыщенности имеет формулу
I′=a+bh+ck+dhk,
где a, b, c и d - коэффициенты плоскости насыщенности, h и k - координаты ряда и колонки пикселя.
[0043] Модуль плоскостной насыщенности 202 оценивает соответствие линейной плоскости рассматриваемому блоку и убирает двухмерную плоскость из рассматриваемого блока. Модуль плоскостной насыщенности 202 определяет разницу между насыщенностью рассматриваемого блока и насыщенностью пикселя в зашумленном исходном текущем кадре, чтобы в результате найти отклонение ec
ec=Ic-I′,
где Ic - насыщенность пикселя. Этот процесс определения разницы между насыщенностью рассматриваемого блока и насыщенностью пикселя в соответствующем зашумленном исходном текущем кадре используется, чтобы получить отклонение ec. Отклонение сигнала ошибки ec приблизительно соответствует отклонению шума в последовательности зашумленных изображений 112.
[0044] В одном или в нескольких исполнениях блок оценки спектра шумов 106 определяет общее значение для блоков, по которому определяется значение отклонения сигнала ошибки подгруппы блоков ec. Гистограммный модуль 204 создает гистограмму шумовых отклонений. Блок оценки спектра шумов 106 выбирает блоки в моде гистограммы, чтобы представить зашумленные блоки, подходящие для вычисления спектра шумов. Например, если в режиме меньше пяти блоков, блок оценки спектра шумов 106 может включить столбики гистограммы в любую из сторон моды. Если все равно меньше пяти блоков, зашумленный исходный текущий кадр не может быть обработан для оценки шумов, и для обработки выбирается другой зашумленный исходный текущий кадр.
[0045] Для окончательной группы выбранных блоков модуль плоскостной насыщенности 202 определяет разницу между оцененной плоскостью предыдущего и следующего блоков, чтобы в результате получить два или более блоков ошибок eP и eN, соответствующих блокам из предыдущих и следующих кадров.
[0046] Модуль обработки способом окна 206 обрабатывает блоки ошибок способом окна e. В одном или в нескольких исполнениях модуль обработки способом окна 206 может включать в себя двухмерное окно Хэмминга. В других исполнениях модуль обработки способом окна 206 использует другие подходящие окна, например треугольные и прямоугольные окна.
[0047] Модуль преобразования 208 вычисляет возможное значение спектра мощности для сигналов в блоках ошибок ec, eP и eN. Эта мощность называется «спектральная плотность мощности» (PSD). Для целей настоящего документа «мощность» означает квадрат амплитуды составляющих спектра в преобразовании сигналов в блоках ошибок ec, eP и eN.
[0048] Исходя из того, что подгонка плоскости насыщенности смоделировала основополагающие данные последовательности изображений 112, сигналы ошибки представляют шум в последовательности изображений 112, спектральная мощность шума была вычислена, и каждый блок ошибки ec, eP и eN в результате дает пример такого спектра мощности. В одном или в нескольких исполнениях модуль преобразования 208 вычисляет возможное значение спектра мощности для сигналов в блоках ошибок ec, eP и eN, используя трехмерное быстрое преобразование Фурье, дискретное косинусное преобразование или другое соответствующее преобразование.
[0049] В одном или в нескольких исполнениях усредняющий модуль 210 вычисляет среднее значение каждого блока ошибок ec, eP и eN, чтобы в результате дать окончательную оценку шумового спектра. Выходным результатом 132 работы блока оценки спектра шумов 106 является шумовой спектр. Другим выходным результатом 142 является соответствующее количество блоков, по которым был вычислен расчетный шумовой спектр. Соответственно, если блок оценки спектра шумов 106 не вычислил шумовые спектры, блок оценки спектра шумов 106 ждет другой кадр для обработки, чтобы оценить шумовой спектр.
[0050] В одном или в нескольких исполнениях блок оценки спектра шумов 106 выполняет предварительную оценку расчетного шумового спектра. Чтобы это сделать, пользователь должен сделать снимок малоконтрастного изображения, например стены без текстуры или серой карточки. Пользователь передает данные малоконтрастного изображения в модуль ePSD 126, который в результате выдает предварительно вычисленный расчетный шумовой спектр.
[0051] Оценка шумового спектра, выполненная блоком оценки спектра шумов 106, может быть неправильной, если в последовательности изображений 112 есть много текстур, и эти текстуры похожи на шум. Оценка шумового спектра, выполненная блоком оценки спектра шумов 106 также может быть неправильной, если есть движение, которое сложно отследить. Возвращаясь к фиг. 1, блок проверки спектра шумов 108 получает расчетную спектральную плотность шумовой мощности и определяет, представляет ли спектр мощности правдоподобные характеристики шума.
[0052] В исполнениях, в которых трехмерное быстрое преобразование Фурье вычисляет возможное значение шумового спектра сигналов в блоках ошибок ec, eP и eN, чтобы быть действительными, шумовой спектр должен быть приблизительно равным для каждой из трех временных плоскостей Фурье. Если коэффициент средней мощности в каждой из трех временных плоскостях Фурье больше предельного значения, тогда временную плоскость Фурье с минимальной мощностью можно скопировать в плоскости с наибольшей мощностью, чтобы обеспечить минимальное расхождение мощностей. В одном или в нескольких исполнениях предельное значение - 3,0, что обеспечивает значение расхождения мощности в плоскостях менее трех. Предельное значение 3,0 также обеспечивает определенный допуск до уровня ×3, чтобы учитывать необычные спектры мощности.
[0053] Кроме того, чтобы быть действительным, расчетный спектр мощности должен быть симметричным. В одном или в нескольких исполнениях модуль определения симметричности 128 определяет симметричность в расчетных спектрах шумовой мощности для блоков. Например, в исполнениях, в которых трехмерное быстрое преобразование Фурье вычисляет возможное значение шумового спектра сигналов в блоках ошибок ec, eP и eN, модуль определения симметричности 128 использует соотношение между мощностью по горизонтальной и вертикальной осям каждой временной плоскости Фурье. Если расчетный шумовой спектр является асимметричным, модуль определения симметричности 128 определяет, что значение шумового спектра является недействительным. Вместо недействительного шумового спектра модуль определения симметричности 128 представляет спектр мощности белого шума. То есть модуль определения симметричности 128 представляет шумовой спектр с одинаковой мощностью в каждом столбике быстрого преобразования Фурье.
[0054] Блок проверки спектра шумов 108 также масштабирует расчетный шумовой спектр, чтобы учесть потенциальное отсутствие видимого эффекта в процессе уменьшения шумов, используя расчетный шумовой спектр. Блок проверки спектра шумов 108 масштабирует каналы яркости на множитель 3,5, а каналы цвета - на множитель 7,0. Однако в одном или в нескольких исполнениях блок проверки спектра шумов 108 может масштабировать шумовой спектр на любой множитель больше единицы.
[0055] Блок проверки спектра шумов 108 также усиливает контуры в последовательности изображений 112. Это достигается путем усиления высокочастотного контента относительно низкочастотного контента в последовательности изображений 112. В одном или в нескольких исполнениях, в которых трехмерное быстрое преобразование Фурье вычисляет возможное значение шумового спектра сигналов в блоках ошибок ec, eP и eN, контуры последовательности изображений 112 усиливаются путем умножения высокочастотных коэффициентов на функцию, большую единицы.
[0056] Выходным результат 152 работы блока проверки спектра шумов 108 является проверенный расчетный шумовой спектр или указание на то, что расчетный шумовой спектр является неправильным.
[0057] Шумоподавитель 110 уменьшает шумы на последовательности изображений 112, используя расчетный шумовой спектр. В одном или в нескольких исполнениях шумоподавитель 110 получает исходный текущий кадр из последовательности изображений 112, предыдущий кадр с компенсированным движением из блока оценки движения 104 и следующий кадр с компенсированным движением из блока оценки движения 104. Шумоподавитель 110 берет блок из исходного текущего кадра, блок из предыдущего кадра с компенсированным движением, блок из следующего кадра с компенсированным движением и оценивает линейное плоскостное соответствие блоку из исходного текущего кадра. Двухмерная плоскость убирается из блока исходного текущего кадра, и фильтр Винера 130 выполняет частотную операцию фильтра Винера на блоке исходного текущего кадра, чтобы уменьшить шумы в блоке, используя расчетный шумовой спектр, вычисленный блоком оценки спектра шумов 106. Удаленную двухмерную плоскость затем возвращают в блок из исходного текущего кадра. Выходным результатом 162 работы шумоподавителя 110 является вариант исходного текущего кадра с уменьшенными шумами из последовательности изображений 112.
[0058] Выполняя уменьшение шума для каждого обрабатываемого блока, шумоподавитель 110 определяет следующее. Если смещенная вперед разница кадров (fDFD) и смещенная назад разница кадров (bDFD) между исходным текущим кадром, предыдущим кадром с компенсированным движением и следующим кадром с компенсированным движением выше предельного значения, тогда шумоподавитель 110 определяет, что компенсация движения не увенчалась успехом. Шумоподавитель 110 повторяет текущий блок в направлении несовпадающего блока. В одном или в нескольких исполнениях 10 может быть предельным значением для каналов яркости и 5 - для каналов цветности.
[0059] Если fDFD и bDFD между исходным текущим кадром, предыдущим кадром с компенсированным движением и следующим кадром с компенсированным движением слишком низкая, тогда шумоподавитель 110 не уменьшает шум в исходном текущем кадре. В одном или в нескольких исполнениях, если fDFD и bDFD между исходным текущим кадром, предыдущим кадром с компенсированным движением и следующим кадром с компенсированным движением менее 0,1 уровней полутонов, тогда шумоподавитель 110 не уменьшает шум в исходном текущем кадре.
[0060] Если пространственное изменение сигнала в текущем блоке слишком низкое, тогда шумоподавитель 110 не выполняет уменьшение шума в исходном текущем кадре. В одном или в нескольких исполнениях, если пространственное изменение сигнала в текущем блоке равно нулю, тогда шумоподавитель 110 не выполняет уменьшение шума в исходном текущем кадре.
[0061] Если мощность расчетного шумового спектра слишком низкая, шумоподавитель 110 определяет, что в исходном текущем кадре шум отсутствует. Сам по себе шумоподавитель 110 не уменьшает шумы в исходном текущем кадре. В одном или в нескольких исполнениях шумоподавитель 110 не выполняет операцию по уменьшению шума в исходном текущем кадре, если мощность шумового спектра меньше 40 дБ. В одном или в нескольких исполнениях шумоподавитель 110 не выполняет операцию по уменьшению шума в исходном текущем кадре, если мощность шумового спектра меньше 30 дБ.
Пример способа уменьшения шума
[0062] На фиг. 3 представлена структурная схема способа 300, выполняемого устройством уменьшения шумов, таким как устройство уменьшения шумов 100, показанное на фиг. 1, в соответствии с описанной здесь технологией. Например, устройство уменьшения шума получает последовательность изображений 112. Определитель записи 102 находит смену записи в последовательности изображений 112. Блок оценки движения 104 оценивает движение блоков в последовательности изображений 112. Блок оценки спектра шумов 106 оценивает шум в последовательности изображений 112, чтобы в результате выдать расчетный шумовой спектр. Блок проверки спектра шумов 108 проверяет правильность расчетного шумового спектра. Шумоподавитель уменьшает шум в последовательности изображений 112, используя проверенный расчетный шумовой спектр.
[0063] В блоке 302 устройство уменьшения шума 100 получает исходные кадры из последовательности изображений 112. В одном или в нескольких исполнениях определитель записи 102, блок оценки шумов 104 и блок оценки спектра шумов 106 получают исходные кадры из последовательности изображений 112. Исходные кадры состоят из исходного текущего кадра, исходного предыдущего кадра и исходного следующего кадра.
[0064] Устройство уменьшения шумов 100 использует любой подходящий механизм для получения исходных кадров из последовательности изображений 112. Например, в одном или в нескольких исполнениях устройство уменьшения шумов 100 получает последовательность изображений 112 из камеры в формате сжатого видеофайла Экспертной группы по киноизображению-2 (MPEG-2), в формате видеофайла h264 или в подобных форматах.
[0065] В блоке 304 устройство уменьшения шумов 100 находит смену записи в последовательности изображений 112. В одном или в нескольких исполнениях определитель записи 102 определяет смену записи в последовательности изображений 112 путем нахождения разницы между полутоновой гистограммой исходного текущего кадра и полутоновой гистограммой исходного предыдущего кадра. Большая разница между двумя гистограммами указывает на смену записи, а небольшая разница между двумя гистограммами указывает на отсутствие смены записи.
[0066] В блоке 306 устройство уменьшения шумов 100 оценивает движение в последовательности изображений 112. В одном или в нескольких исполнениях блок оценки движения 104 использует способ оценки общего движения и/или способ блоковой оценки движения, чтобы оценить движение исходного предыдущего кадра и исходного следующего кадра относительно исходного текущего кадра.
[0067] В блоке 308 устройство уменьшения шумов 100 оценивает шумовой спектр последовательности изображений 112. В одном или в нескольких исполнениях блок оценки спектра шумов 106 оценивает шумовой спектр в последовательности изображений путем нахождения блоков в последовательности изображений 112, содержащих только фоновые зоны, и вычисляя возможное значение шумового спектра для фоновых блоков.
[0068] В блоке 310 устройство уменьшения шумов 100 проверяет правильность расчетных шумовых спектров для каждого блока. В одном или в нескольких исполнениях блок проверки спектра шумов 108 проверяет симметричность оцененных шумовых спектров. В одном или в нескольких исполнениях блок проверки спектра шумов 108 также масштабирует оцененные шумовые спектры на коэффициент больше единицы.
[0069] В блоке 312 устройство уменьшения шумов 100 уменьшает шумы в последовательности изображений 112. В одном или в нескольких исполнениях шумоподавитель 110 оценивает линейное плоскостное соответствие блоку из исходного текущего кадра, убирает двухмерную плоскость из блока и применяет к блоку фильтр Винера 130 для уменьшения шумов в исходном текущем кадре. Затем шумоподавитель 110 заменяет двухмерную плоскость в блоке из исходного текущего кадра.
Пример способа оценки шума
[0070] На фиг. 4 представлена структурная схема способа 400, выполняемого блоком оценки спектра шумов, таким как блок оценки спектра шумов 106, показанный на фиг. 1, в соответствии с описанной здесь технологией. В одном или в нескольких исполнениях блок оценки спектра шумов 106 получает исходные кадры из последовательности изображений 112, кадры с компенсированным движением 119 из блока оценки движения 104 и пусковой сигнал 122 из определителя записи 102. Исходные кадры в последовательности изображений 112 состоят из исходного текущего кадра, исходного предыдущего кадра и исходного следующего кадра.
[0071] В блоке 402 блок оценки спектра шумов 106 выбирает сетку блоков из последовательности изображений 112. В одном или в нескольких исполнениях, если разрешение последовательности изображений 112 больше 480p, блок оценки шумов 106 устанавливает размер блока 32×32 пикселей. Если разрешение последовательности изображений 112 ниже 480p, но выше 360p, блок оценки шумов 106 устанавливает размер блока 16×16 пикселей. Если разрешение последовательности изображений 112 ниже 360p, блок оценки шумов 106 устанавливает размер блока 8×8 пикселей. В одном или в нескольких исполнениях блок оценки спектра шумов 106 выбирает сетку блоков так, чтобы было двукратное совпадение в горизонтальном и вертикальном направлениях.
[0072] В блоке 404 блок оценки спектра шумов 106 выбирает блоки, яркость которых больше, чем недостаточно выдержанных, и меньше, чем насыщенных, чтобы такие блоки можно было исключить из процесса оценки шумов. Например, последовательность изображений 112 является 8-битным изображением, среднее значение яркости в блоке находится в рамках 0,05×255 и 0,95×255. В одном или в нескольких исполнениях среднее значение яркости в блоке находится в рамках 0,7×255 и 0,81×255. Как вариант, в одном или в нескольких исполнениях среднее значение яркости в блоке находится в рамках 0,13×255 и 0,76×255.
[0073] В блоке 406 блок оценки спектра шумов 106 выбирает блоки, fDFD и bDFD которых находится между минимальным и максимальным предельными значениями. В одном или в нескольких исполнениях максимальное предельное значение - 10, а минимальное предельное значение - 0,1.
[0074] В блоке 408 блок оценки спектра шумов 106 оценивает текстурное содержание выбранных блоков. В одном или в нескольких исполнениях фильтр Гаусса 124 фильтрует блоки, выбранные для оценки текстур. Блок оценки спектра шумов 106 вычисляет минимальный и максимальный градиент отфильтрованных блоков, а также направление минимального и максимального градиента выбранных блоков для оценки их текстурного содержания.
[0075] В блоке 410 блок оценки спектра шумов 106 выбирает рассматриваемый блок и подгоняет плоскость насыщенности к рассматриваемому блоку. В одном или в нескольких исполнениях модуль плоскостной насыщенности 202 оценивает соответствие линейной плоскости рассматриваемому блоку.
[0076] В блоке 412 блок оценки спектра шумов 106 находит значения ошибок для исходного текущего блока, исходного предыдущего блока и исходного следующего блока. В одном или в нескольких исполнениях модуль плоскостной насыщенности 202 определяет разницу между плоскостью насыщенности, которая была подогнана к рассматриваемому блоку, и насыщенностью пикселя в зашумленном исходном текущем кадре, чтобы в результате получить ошибку ec. Модуль плоскостной насыщенности 202 также определяет разницу между расчетной плоскостью предыдущего и следующего блоков, чтобы в результате дать еще два блока ошибок eP и eN, соответствующих блокам из предыдущего и следующего кадров.
[0077] В блоке 414 блок оценки спектра шумов 106 обрабатывает способом окна текущий, предыдущий и следующий блоки. В одном или в нескольких исполнениях модуль обработки способом окна 206 обрабатывает блоки ошибок ec, eP и eN, используя двухмерное окно Хэмминга.
[0078] В блоке 416 блок оценки спектра шумов 106 вычисляет трехмерное быстрое преобразование Фурье рассматриваемого блока, предыдущего блока и следующего блока. В одном или в нескольких исполнениях модуль преобразования 208 вычисляет возможное значение шумового спектра для сигналов в блоках ошибок ec, eP и eN, чтобы выдать расчетный шумовой спектр для текущего, предыдущего и следующего блоков соответственно.
[0079] В блоке 418 блок оценки спектра шумов 106 вычисляет среднее значение расчетных шумовых спектров для сигналов в блоках ошибок ec, eP и eN. В одном или в нескольких исполнениях усредняющий модуль 210 вычисляет среднее значение каждого блока ошибок ec, eP и eN, чтобы в результате дать окончательную оценку шумового спектра.
[0080] Способы 300 и 400 показаны как подборка блоков в логической блок-схеме, представляющей последовательность операций, которые можно реализовать только с помощью технических средств или используя сочетание оборудования, программного обеспечения и/или микропрограмм. Применительно к программному обеспечению/микропрограммам блоки представляют собой команды, хранимые на машиночитаемых накопителях данных, которые при исполнении одним или несколькими процессорами выполняют описанные операции. Примите во внимание, что последовательность, в которой описаны процессы, не следует рассматривать единственно возможной, и любое количество описанных блоков технологического процесса можно сочетать для выполнения процессов или для построения альтернативного процесса. Кроме того, из процессов можно убирать отдельные блоки, не отклоняясь от смысла и объекта изобретения, описанных здесь.
Пример вычислительной среды
[0081] На фиг. 5 представлена высокоуровневая блок-схема, иллюстрирующая пример компьютерной системы 500, пригодной для реализации устройства уменьшения шума 100, представленного на фиг. 1. В определенных аспектах компьютерную систему 500 можно реализовать, используя аппаратное оборудование или сочетание программного обеспечения и аппаратного оборудования.
[0082] Представленная компьютерная система 500 состоит из процессора 502, памяти 504, ЗУ для данных 506, соединенного с шиной 508 или иным коммуникационным устройством для передачи данных. Модуль ввода/вывода 510 также соединен с шиной 508. Коммуникационный модуль 512, устройство 514 и устройство 516 соединены с модулем ввода/вывода 510.
[0083] Процессор 502 может быть микропроцессором общего назначения, микроконтроллером, цифровым сигнальным процессором (DSP), специализированной интегральной микросхемой (ASIC), программируемой пользователем вентильной матрицей (FPGA), программируемой логической интегральной схемой (PLD), контроллером, конечной машиной, вентильной логической схемой, дискретными аппаратными элементами или любым другим подходящим элементом, который может выполнять вычисления или другие манипуляции с данными. Процессор 502 используется для обработки данных. Процессор 502 можно дополнить специальными логическими схемами или включить его в такие схемы.
[0084] Память 504 может быть оперативным запоминающим устройством (RAM), флэш-памятью, постоянным запоминающим устройством (ROM), программируемым постоянным запоминающим устройством (PROM), стираемым программируемым постоянным запоминающим устройством (EPROM), самопишущими аппаратами, жестким диском, съемным диском, CD-ROM, DVD или любым другим подходящим устройством хранения данных, используемым для хранения информации, компьютерной программы и/или команд, которые должен выполнять процессор 502. Память 504 хранит код, который создает условия выполнения для одной или нескольких компьютерных программ, используемых для осуществления описанной здесь технологии.
[0085] Рассматриваемая здесь компьютерная программа не обязательно соответствует файлу в файловой системе. Компьютерная программа может храниться в части файла, содержащего другие программы или данные (например, один или несколько скриптов хранятся в документе языка разметки), в единичном файле, предназначенном для рассматриваемой программы, или в нескольких согласованных файлах (например, файлы, которые хранят один или несколько модулей, подпрограммы или части кода). Компьютерную программу можно ввести в действие для выполнения на одном компьютере или на нескольких компьютерах, расположенных в одном месте или в разных местах и связанных между собой сетью передачи данных.
[0086] Если контекст не указывает на иное, под «модулем» имеется ввиду элемент, являющийся аппаратным оборудованием, встроенным программным обеспечением и/или их сочетанием с ПО (например, компьютерная программа). Как указано, компьютерная программа не обязательно соответствует файлу в файловой системе. Компьютерная программа может храниться в части файла, содержащего другие программы или данные (например, один или несколько скриптов хранятся в документе языка разметки), в единичном файле, предназначенном для рассматриваемой программы, или в нескольких согласованных файлах (например, файлы, которые хранят один или несколько модулей, подпрограммы или части кода). Компьютерную программу можно ввести в действие для выполнения на одном компьютере или на нескольких компьютерах, расположенных в одном месте или в разных местах и связанных между собой сетью передачи данных.
[0087] Команды реализуются в одной или в нескольких компьютерных программных продуктах, т.е. один или несколько модулей компьютерных программных команд закодирован на одном или нескольких машиночитаемых носителях для выполнения компьютерной системой 500 или для управления ее работой в соответствии с способом, хорошо известным для владеющих данным вопросом. Термин «машиночитаемые носители» охватывает компьютерные запоминающие устройства. Например, компьютерные запоминающие устройства включают в себя, в том числе, магнитные запоминающие устройства (например, жесткий диск, гибкий диск, магнитные карты), оптические диски (например, лазерный диск (CD) и универсальный цифровой диск (DVD)), смарт-карты, устройства флэш-памяти (например, флэшка, карта памяти, карты SD), а также энергозависимую и энергонезависимую память (например, оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM)).
[0088] Запоминающим устройством для данных 506 может быть, например, магнитный диск или оптический диск. ЗУ для данных 506 работает для хранения данных и команд, используемых процессором 502 и другими элементами компьютерной системы 500.
[0089] Шиной 508 может быть любое соответствующее устройство, позволяющее выполнять обмен данными между элементами, соединенными с шиной 508. Например, шиной 508 могут быть средства передачи данных, такие как коаксиальные кабели, медный провод, волоконно-оптические кабели, оптические сигналы и тому подобное.
[0090] Модулем ввода/вывода 510 может быть любой модуль ввода/вывода. Пример модуля ввода/вывода 510 включает в себя порты передачи данных, такие как порты универсальной последовательной шины (USB).
[0091] Коммуникационный модуль 512 может включать в себя сетевые интерфейсные карты, такие как карты локальной сети и модемы.
[0092] Устройством 514 может быть устройство ввода. Образец устройств 514 включает в себя клавиатуру, указывающее устройство, мышь или трекбол, используя которые пользователь может вводить данные в компьютерную систему 500.
[0093] Устройством 516 может быть устройство вывода. Образец устройств 516 включает в себя дисплеи, такие как электронно-лучевые трубки (ЭЛТ) или мониторы с жидкокристаллическим дисплеем (ЖК), отображающие пользователю данные, такие как, например, веб-страницы.
[0094] Одно или несколько исполнений описаны здесь со ссылкой на примеры определенного применения. Следует понимать, что представленные исполнения не являются исчерпывающими. Специалисты, владеющие знаниями в области представленной здесь идеи, найдут дополнительные модификации, области применения и способы реализации в рамках идеи, а также дополнительные сферы, в которых технология найдет практическое применение. В представленном выше описании примеров исполнения, для объяснения конкретные цифры, материалы, конфигурации и прочие подробности изложены для лучшего пояснения заявленной практической реализации. Тем не менее, специалисту, обладающему соответствующими знаниями, будет ясно, что формулу изобретения можно практически реализовать, используя детали, отличающиеся от описанных здесь примеров. В других случаях хорошо известные особенности опущены или упрощены для ясности описания примеров исполнения.
[0095] В настоящем документе термин «или» означает включающее «или», а не исключающее «или». То есть, если иное не указано или не понятно из контекста, «X использует A или B» означает любые нормальные инклюзивные сочетания. То есть, если X использует A; X использует B; или X использует и A и B, тогда «X использует A или B» является выполненным в любом из вышеуказанных случаев. Помимо всего прочего, неопределенные артикли, используемые в данной заявке и прилагаемой формуле изобретения, должны, как правило, интерпретироваться, как означающие «один или несколько», если не указано иначе или из контекста ясно, что артикль указывает на единственное число.
[0096] В прилагаемой формуле изобретения автор изобретения ссылается на 35 U.S.С. § 112, пункт 6 Свода законов США только когда слова «средства для» или «шаги для» использованы в формуле изобретения. Если такие слова не используются в формуле, тогда автор изобретения не предполагает, что рассматриваемая заявка охватывает соответствующую конструкцию, материал или действия, описанные в настоящем документе (или их аналоги) в соответствии с 35 U.S.С. § 112, пунктом 6 Свода законов США.

Claims (33)

1. Устройство, предназначенное для уменьшения шумов в последовательности изображений, включающей в себя последовательность входных кадров, причем в состав устройства входят:
блок оценки движения, предназначенный для выработки кадров с компенсированным движением из указанной последовательности входных кадров;
блок оценки спектра шумов, предназначенный для оценки шумов в одном или нескольких блоках пикселей последовательности входящих кадров путем вычисления расчетного шумового спектра текущего кадра в последовательности входящих кадров;
определитель записи, предназначенный для обнаружения смены записи в последовательности входящих кадров и для приведения в действие блока оценки спектра шумов посредством реакции на обнаруженную смену записи,
блок проверки спектра шумов, выполненный с возможностью проверки расчетного шумового спектра с получением проверенного расчетного шумовой спектр, и
шумоподавитель, предназначенный для подавления шума в последовательности изображений путем использования проверенного расчетного шумового спектра и последовательности кадров с компенсированным движением.
2. Устройство по п. 1, в котором блок оценки спектра шумов предназначен для оценки шумов посредством использования предварительно вычисленного расчетного шумового спектра; и/или
блок оценки спектра шумов предназначен для оценки шумов путем определения зашумленных и фоновых зон в последовательности входных кадров и вычисления расчетного шумового спектра текущего кадра в последовательности входящих кадров из зашумленных и фоновых зон в последовательности входных кадров.
3. Устройство по п. 1, в котором блок оценки спектра шумов предназначен для оценки шумов посредством использования дискретного косинусного преобразования.
4. Устройство по п. 1, в котором блок оценки спектра шумов включает в себя окно Хэмминга или треугольное окно.
5. Устройство по п. 1, в котором блок оценки спектра шумов использует градиентный анализ для определения местонахождения в последовательности изображений блоков, не содержащих исходной текстуры.
6. Устройство по п. 1, в котором блок проверки спектра шумов предназначен для определения того, является ли расчетный спектр шумов симметричным.
7. Устройство по п. 1, в котором шумоподавитель включает в себя фильтр Винера, предназначенный для уменьшения шумов в последовательности изображений.
8. Устройство по п. 1, в котором блок оценки спектра шумов предназначен для оценки шумов посредством использования трехмерного быстрого преобразования Фурье.
9. Устройство по п. 1, в котором блок оценки спектра шумов включает в себя фильтр размытости Гаусса, предназначенный для определения местонахождения в последовательности изображений блоков с фоновыми зонами и шумами.
10. Устройство по п. 1, в котором шумоподавитель оценивает линейное плоскостное соответствие блоку пикселей в последовательности входящих кадров и блоку пикселей в последовательности кадров с компенсированными кадрами, убирает двухмерную плоскость из блока пикселей в последовательности входящих кадров и возвращает удаленную двухмерную плоскость в блок пикселей в последовательности входящих кадров.
11. Способ, реализуемый одним или несколькими вычислительными устройствами, предназначенными для уменьшения шума в последовательности изображений, способ включает в себя:
оценку движения между исходным текущим кадром в последовательности изображений и исходным предыдущим кадром в последовательности изображений, а также между исходным текущим кадром в последовательности изображений и исходным следующим кадром в последовательности изображений, в результате оценки получаем последовательность кадров с компенсированным движением;
определение смены записи в последовательности изображений;
использование последовательности кадров с компенсированным изображением и использование найденной смены записи в качестве пускового сигнала для оценки шума в блоке пикселей исходного текущего кадра, чтобы в результате получить расчетный шумовой спектр исходного текущего кадра;
проверку расчетного шумового спектра, в результате обеспечивающую получение подтвержденного шумового спектра; а также
уменьшение шума в последовательности изображений посредством использования проверенного расчетного шумового спектра.
12. Способ по п. 11, в котором оценка шума в блоке пикселей включает в себя выбор сетки блоков в исходном текущем кадре, яркость которых находится между значением насыщенности и недостаточной выдержки.
13. Способ по п. 11, в котором оценка шума в блоке пикселей включает в себя выбор сетки блоков в исходном текущем кадре, яркость которых находится между 5% и 95% силы максимальной яркости последовательности изображений.
14. Способ по п. 11, в котором оценка шума в блоке пикселей включает в себя выбор блоков, чья смещенная кадровая разница между ними и блоком в последовательности кадров с компенсированным изображением, соответствующих исходному предыдущему кадру, находится между двумя пороговыми значениями.
15. Способ по п. 11, в котором оценка шума в блоке пикселей включает в себя выбор блоков, чья смещенная кадровая разница между ними и блоком в последовательности кадров с компенсированным изображением, соответствующих исходному следующему кадру, находится между двумя пороговыми значениями.
16. Способ по п. 11, в котором оценка шума в блоке пикселей включает в себя оценку текстурного содержания выбранной сетки блоков.
17. Способ по п. 11, в котором проверка расчетной шумовой мощности включает в себя определение, является ли расчетный шумовой спектр асимметричным.
18. Способ по п. 11, в котором уменьшение шума в последовательности изображений, осуществляемое с использованием подтвержденного шумового спектра, включает в себя использование блока пикселей из последовательности кадров с компенсированным изображением, соответствующих исходному предыдущему кадру, и блока пикселей из последовательности кадров с компенсированным изображением, соответствующих исходному следующему кадру, с использованием оценки линейного плоскостного соответствия блока пикселей из исходного текущего кадра блоку пикселей из исходного текущего кадра.
19. Способ по п. 11, в котором уменьшение шума в последовательности изображений, осуществляемое с использованием подтвержденного шумового спектра, включает в себя удаление двухмерной плоскости из блока пикселей исходного текущего кадра.
20. Способ по п. 11, в котором уменьшение шума в последовательности изображений, используя подтвержденный шумовой спектр, включает в себя применение фильтра Винера к блоку пикселей из исходного текущего кадра.
21. Способ по п. 19, в котором уменьшение шума в последовательности изображений, используя подтвержденный шумовой спектр, включает в себя возврат двухмерной плоскости в блок пикселей из исходного текущего кадра.
22. Один или несколько машиночитаемых носителей, хранящих исполняемые процессором команды, при выполнении которых один или несколько процессоров осуществляют выполнение способа для оценки шумового спектра в последовательности изображений, способ включает в себя:
получение исходного текущего кадра, исходного предыдущего кадра и исходного следующего кадра из последовательности изображений;
получение текущего кадра с компенсированным движением, предыдущего кадра с компенсированным движением и следующего кадра с компенсированным движением;
определение смены записи в последовательности изображений; и
оценку шума в исходном текущем кадре с использованием исходного текущего кадра, исходного предыдущего кадра, исходного следующего кадра, текущего кадра с компенсированным движением, предыдущего кадра с компенсированным движением и следующего кадра с компенсированным движением, причем определенную смену записи используют в качестве пускового сигнала для оценки шума.
23. Один или несколько машиночитаемых носителей по п. 22, в которых оценка шума в исходном текущем кадре включает в себя применение фильтра размытости Гаусса к исходному текущему кадру, исходному предыдущему кадру и исходному следующему кадру.
24. Один или несколько машиночитаемых носителей по п. 22, в которых оценка шума в исходном текущем кадре включает в себя применение трехмерного быстрого преобразования Фурье к исходному текущему кадру, исходному предыдущему кадру и исходному следующему кадру.
25. Один или несколько машиночитаемых носителей по п. 22, в которых оценка шума в исходном текущем кадре включает в себя выбор сетки блоков в исходном текущем кадре, яркость которых находится между значением насыщенности и недостаточной выдержки.
26. Один или несколько машиночитаемых носителей по п. 22, в которых оценка шума в исходном текущем кадре включает в себя выбор сетки блоков в исходном текущем кадре, яркость которых находится между 5% и 95% силы максимальной яркости последовательности изображений.
27. Один или несколько машиночитаемых носителей по п. 22, в которых оценка шума в исходном текущем кадре включает в себя выбор сетки блоков в исходном текущем кадре, яркость которых находится между 10% и 90% силы максимальной яркости последовательности изображений.
28. Один или несколько машиночитаемых носителей по п. 22, в котором оценка шума в исходном текущем кадре включает в себя выбор блоков, чья смещенная кадровая разница между ними и блоком в предыдущем кадре с компенсированным изображением находится между двумя пороговыми значениями.
29. Один или несколько машиночитаемых носителей по п. 22, в которых оценка шума в исходном текущем кадре включает в себя выбор блоков, чья смещенная кадровая разница между ними и блоком в следующем кадре с компенсированным изображением находится между двумя пороговыми значениями.
30. Один или несколько машиночитаемых носителей по п. 22, в которых оценка шума в исходном текущем кадре включает в себя оценку текстурного содержания сетки блоков в последовательности изображений.
31. Один или несколько машиночитаемых носителей по п. 22, в которых оценка шума в исходном текущем кадре включает в себя:
подгонку плоскости насыщенности к рассматриваемому блоку в исходном текущем кадре;
определение разности между плоскостью насыщенности и рассматриваемым блоком, чтобы получить значение ошибки текущего кадра;
определение разности между плоскостью насыщенности и сеткой блоков в исходном предыдущем кадре и сеткой блоков в исходном следующем кадре, чтобы получить значение ошибки предыдущего кадра; а также
определение разности между плоскостью насыщенности и сеткой блоков в исходном предыдущем кадре и сеткой блоков в исходном следующем кадре, чтобы получить значение ошибки следующего кадра.
32. Один или несколько машиночитаемых носителей по п. 22, в которых оценка шума в исходном текущем кадре включает в себя применение двухмерного окна Хэмминга к сетке блоков в исходном текущем кадре, к сетке блоков в исходном предыдущем кадре и к сетке блоков в исходном следующем кадре.
33. Один или несколько машиночитаемых носителей по п. 22, в которых оценка шума в исходном текущем кадре включает в себя:
вычисление трехмерного быстрого преобразования Фурье сетки блоков в исходном текущем кадре, чтобы получить оценку шумового спектра значения ошибки текущего кадра;
вычисление трехмерного быстрого преобразования Фурье сетки блоков в исходном предыдущем кадре, чтобы получить оценку шумового спектра значения ошибки предыдущего кадра;
вычисление трехмерного быстрого преобразования Фурье сетки блоков в исходном следующем кадре, чтобы получить оценку шумового спектра значения ошибки следующего кадра;
выведение среднего значения расчетных значений шумового спектра, чтобы получить значение шумового спектра.
RU2014141364/08A 2012-04-10 2013-04-09 Уменьшение шума в последовательностях изображений RU2603529C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/443,826 2012-04-10
US13/443,826 US9326008B2 (en) 2012-04-10 2012-04-10 Noise reduction for image sequences
PCT/US2013/035807 WO2013155089A1 (en) 2012-04-10 2013-04-09 Noise reduction for image sequences

Publications (2)

Publication Number Publication Date
RU2014141364A RU2014141364A (ru) 2016-06-10
RU2603529C2 true RU2603529C2 (ru) 2016-11-27

Family

ID=49292275

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2014141364/08A RU2603529C2 (ru) 2012-04-10 2013-04-09 Уменьшение шума в последовательностях изображений

Country Status (6)

Country Link
US (2) US9326008B2 (ru)
EP (1) EP2836963B1 (ru)
JP (1) JP5944575B2 (ru)
KR (1) KR101694927B1 (ru)
RU (1) RU2603529C2 (ru)
WO (1) WO2013155089A1 (ru)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9466094B1 (en) 2015-03-26 2016-10-11 Sony Corporation Method to improve video quality under low light conditions
CN105472205B (zh) * 2015-11-18 2020-01-24 腾讯科技（深圳）有限公司 编码过程中的实时视频降噪方法和装置
EP3466051A1 (en) * 2016-05-25 2019-04-10 GoPro, Inc. Three-dimensional noise reduction
US10419757B2 (en) * 2016-08-31 2019-09-17 Qualcomm Incorporated Cross-component filter
US10140689B2 (en) * 2017-01-20 2018-11-27 Sony Corporation Efficient path-based method for video denoising
US10181181B2 (en) 2017-05-10 2019-01-15 Southwest Research Institute Denoising with three dimensional fourier transform for three dimensional images, including image sequences
US11308584B2 (en) 2017-12-04 2022-04-19 Google Llc Method and apparatus for denoising video content
WO2019112558A1 (en) 2017-12-05 2019-06-13 Google Llc Noise reduction method for high dynamic range videos
US11067448B2 (en) 2018-10-05 2021-07-20 Parsons Corporation Spectral object detection
CN111415313B (zh) * 2020-04-13 2022-08-30 展讯通信（上海）有限公司 图像处理方法、装置、电子设备及存储介质
US20220301113A1 (en) * 2021-03-19 2022-09-22 Micron Technology, Inc. Modular machine learning models for denoising images and systems and methods for using same
CN116188326B (zh) * 2023-04-19 2023-07-11 赛诺威盛科技(北京)股份有限公司 一种ct系统噪声功率谱校正方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550935A (en) * 1991-07-01 1996-08-27 Eastman Kodak Company Method for multiframe Wiener restoration of noisy and blurred image sequences
US6307888B1 (en) * 1998-04-14 2001-10-23 Thomson Licensing S.A Method for estimating the noise level in a video sequence
RU2189700C2 (ru) * 1995-12-12 2002-09-20 РКА Лайсенсинг Корпорейшн Устройство для сжатия представляющего изображение видеосигнала и устройство для фильтрации шума в сигнале
RU2364937C1 (ru) * 2008-05-23 2009-08-20 Самсунг Электроникс Ко., Лтд. Способ и устройство фильтрования шума видеосигналов

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9321372D0 (en) 1993-10-15 1993-12-08 Avt Communications Ltd Video signal processing
US5974192A (en) * 1995-11-22 1999-10-26 U S West, Inc. System and method for matching blocks in a sequence of images
EP0815535B1 (en) 1995-12-21 2002-10-09 Koninklijke Philips Electronics N.V. Directional adaptive noise reduction
JP4020966B2 (ja) 1995-12-21 2007-12-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像内のノイズ減少方法
US5923775A (en) 1996-04-04 1999-07-13 Eastman Kodak Company Apparatus and method for signal dependent noise estimation and reduction in digital images
JPH10198788A (ja) 1997-01-10 1998-07-31 Nec Corp 光学センサデータのノイズ検出装置
CA2309002A1 (en) 2000-05-23 2001-11-23 Jonathan Martin Shekter Digital film grain reduction
US7110455B2 (en) 2001-08-14 2006-09-19 General Instrument Corporation Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering
US6933983B2 (en) 2001-09-10 2005-08-23 Jaldi Semiconductor Corp. System and method for reducing noise in images
JP3882651B2 (ja) * 2002-03-20 2007-02-21 富士ゼロックス株式会社 画像処理装置およびプログラム
JP4389489B2 (ja) * 2003-05-06 2009-12-24 ソニー株式会社 画像処理方法、および画像処理装置
JP4314062B2 (ja) 2003-05-08 2009-08-12 株式会社日立メディコ 超音波診断装置
KR100564592B1 (ko) 2003-12-11 2006-03-28 삼성전자주식회사 동영상 데이터 잡음제거방법
EP1771818A4 (en) * 2004-07-30 2011-07-27 Algolith Inc DEVICE AND METHOD FOR ADAPTIVE 3D ARTIFACT REDUCTION FOR A CODED IMAGE SIGNAL
JP4520794B2 (ja) 2004-08-20 2010-08-11 セーレン株式会社 線条検査方法および装置
GB0423578D0 (en) 2004-10-22 2004-11-24 Greenparrotpictures Ltd Dominant motion estimation for image sequence processing
GB0500174D0 (en) 2005-01-06 2005-02-16 Kokaram Anil Method for estimating motion and occlusion
JP2006226706A (ja) 2005-02-15 2006-08-31 Ricoh Co Ltd 欠陥検出方法及びプログラム
ATE512422T1 (de) 2006-04-03 2011-06-15 Omnivision Cdm Optics Inc Optische bildgebungssysteme und verfahren mit nichtlinearer und/oder räumlich variierender bildverarbeitung
JP2008017448A (ja) 2006-06-06 2008-01-24 Sony Corp 映像信号処理方法、映像信号処理方法のプログラム、映像信号処理方法のプログラムを記録した記録媒体及び映像信号処理装置
JP4802941B2 (ja) 2006-08-29 2011-10-26 ソニー株式会社 画像処理装置、および画像処理方法
EP2140687A2 (en) * 2007-04-03 2010-01-06 Gary Demos Flowfield motion compensation for video compression
CN103124354B (zh) * 2007-09-28 2016-01-20 杜比实验室特许公司 处理视频信息
JP5003406B2 (ja) 2007-10-17 2012-08-15 株式会社ニコン 合焦測定装置、合焦測定方法およびプログラム
JP5039017B2 (ja) 2008-12-22 2012-10-03 日本放送協会 ノイズレベル検出装置
JP2010200176A (ja) 2009-02-26 2010-09-09 Olympus Corp 撮像装置及び画像処理プログラム
US8237868B2 (en) * 2009-03-30 2012-08-07 Sharp Laboratories Of America, Inc. Systems and methods for adaptive spatio-temporal filtering for image and video upscaling, denoising and sharpening
US8520731B2 (en) * 2009-06-05 2013-08-27 Cisco Technology, Inc. Motion estimation for noisy frames based on block matching of filtered blocks
US8350966B2 (en) * 2009-06-08 2013-01-08 Broadcom Corporation Method and system for motion compensated noise level detection and measurement
KR20120116940A (ko) * 2009-11-25 2012-10-23 코닌클리케 필립스 일렉트로닉스 엔.브이. 향상된 화상 데이터/선량 감소
JP2011128978A (ja) 2009-12-18 2011-06-30 Sony Corp 情報処理装置、情報処理方法、及びプログラム
EP2413586B1 (en) 2010-07-26 2014-12-03 Sony Corporation Method and device for adaptive noise measurement of a video signal
WO2012166840A2 (en) * 2011-06-01 2012-12-06 The Board Of Trustees Of The Leland Stanford Junior University Learning of image processing pipeline for digital imaging devices
US8977347B2 (en) * 2012-06-25 2015-03-10 Xerox Corporation Video-based estimation of heart rate variability

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550935A (en) * 1991-07-01 1996-08-27 Eastman Kodak Company Method for multiframe Wiener restoration of noisy and blurred image sequences
RU2189700C2 (ru) * 1995-12-12 2002-09-20 РКА Лайсенсинг Корпорейшн Устройство для сжатия представляющего изображение видеосигнала и устройство для фильтрации шума в сигнале
US6307888B1 (en) * 1998-04-14 2001-10-23 Thomson Licensing S.A Method for estimating the noise level in a video sequence
RU2364937C1 (ru) * 2008-05-23 2009-08-20 Самсунг Электроникс Ко., Лтд. Способ и устройство фильтрования шума видеосигналов

Also Published As

Publication number Publication date
EP2836963A1 (en) 2015-02-18
WO2013155089A1 (en) 2013-10-17
RU2014141364A (ru) 2016-06-10
JP5944575B2 (ja) 2016-07-05
US20160205415A1 (en) 2016-07-14
KR101694927B1 (ko) 2017-01-10
US9326008B2 (en) 2016-04-26
US20130266057A1 (en) 2013-10-10
US10277919B2 (en) 2019-04-30
EP2836963A4 (en) 2015-11-04
JP2015520544A (ja) 2015-07-16
KR20140143834A (ko) 2014-12-17
EP2836963B1 (en) 2017-06-07

Similar Documents

Publication Publication Date Title
RU2603529C2 (ru) Уменьшение шума в последовательностях изображений
US9378543B2 (en) Temporally coherent local tone mapping of high dynamic range video
US8422766B2 (en) System and method for depth extraction of images with motion compensation
US8237868B2 (en) Systems and methods for adaptive spatio-temporal filtering for image and video upscaling, denoising and sharpening
KR101097673B1 (ko) 화질 개선을 위한 노이즈 검출 및 평가 기술
CN109791695B (zh) 基于图像块的运动向量确定所述块的方差
US9135683B2 (en) System and method for temporal video image enhancement
JP6239594B2 (ja) ３ｄ情報処理装置及び方法
EP2164040B1 (en) System and method for high quality image and video upscaling
US9361679B2 (en) Temporally coherent local tone mapping of HDR video
CN106030653A (zh) 用于生成高动态范围图像的图像处理系统和图像处理方法
Khaloo et al. Pixel‐wise structural motion tracking from rectified repurposed videos
JP2013192224A (ja) ブラー映像及びノイズ映像で構成されたマルチフレームを用いて非均一モーションブラーを除去する方法及び装置
US20200143582A1 (en) Image processing apparatus, image processing method, and storage medium
Ghadiyaram et al. A no-reference video quality predictor for compression and scaling artifacts
JP2012238932A (ja) ３ｄ自動色補正装置とその色補正方法と色補正プログラム
TWI413023B (zh) 移動偵測方法及裝置
EP2927872A1 (en) Method and device for processing a video sequence
KR20140144961A (ko) 관심 영역 검출 장치 및 검출 방법
KR101359351B1 (ko) 연산 스킵 기법에 의한 고속 스테레오 영상 정합 방법
US8463037B2 (en) Detection of low contrast for image processing
US20130286289A1 (en) Image processing apparatus, image display apparatus, and image processing method
JP2019016865A (ja) 画像処理装置、画像処理方法
Ham et al. Noise reduction scheme of temporal and spatial filter for 3D video real-time processing
KR20130111498A (ko) 연산 스킵 기법에 의한 고속 스테레오 영상 정합 방법