KR102007601B1 - 비디오 잡음 제거를 위한 효율적인 패치 기반 방법 - Google Patents

비디오 잡음 제거를 위한 효율적인 패치 기반 방법 Download PDF

Info

Publication number
KR102007601B1
KR102007601B1 KR1020180002095A KR20180002095A KR102007601B1 KR 102007601 B1 KR102007601 B1 KR 102007601B1 KR 1020180002095 A KR1020180002095 A KR 1020180002095A KR 20180002095 A KR20180002095 A KR 20180002095A KR 102007601 B1 KR102007601 B1 KR 102007601B1
Authority
KR
South Korea
Prior art keywords
patch
noise
canceled
frame
current
Prior art date
Application number
KR1020180002095A
Other languages
English (en)
Other versions
KR20180086127A (ko
Inventor
샤오강 둥
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20180086127A publication Critical patent/KR20180086127A/ko
Application granted granted Critical
Publication of KR102007601B1 publication Critical patent/KR102007601B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213—Circuitry for suppressing or minimising impulsive noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Abstract

비디오 잡음 제거를 위한 효율적인 패치 기반 방법이 본 명세서에서 설명된다. 잡음 패치가 현재의 프레임으로부터 선택되고, 이전의 잡음 제거된 프레임 내의 모션 보상된 패치가 발견된다. 2개의 패치는 패치 잡음 제거 프로세스를 거쳐서 잡음 제거된 패치를 생성한다. 회전 버퍼 및 집성 기술을 사용하여, 잡음 제거된 현재의 비디오 프레임을 생성한다.

Description

비디오 잡음 제거를 위한 효율적인 패치 기반 방법{AN EFFICIENT PATCH-BASED METHOD FOR VIDEO DENOISING}
본 발명은 비디오 처리에 관한 것이다. 더욱 구체적으로, 본 발명은 비디오 잡음 제거에 관한 것이다.
비디오 레코딩은 카메라들, 스마트폰들, 태블릿들 및 많은 다른 디바이스에 대한 표준 특징이다. 소형 카메라들 및 모바일 디바이스들, 예로서 전화들 및 태블릿들은 통상적으로 더 작은 크기의 이미지 센서들 및 결코 이상적이지 않은 광학 기구들을 구비한다. 이러한 디바이스들에 대해서는 비디오 잡음 제거가 특히 중요하다. 고급 카메라들 및 캠코더들은 일반적으로 더 큰 크기의 이미지 센서들 및 더 양호한 광학 기구들을 구비한다. 이러한 디바이스들을 사용하여 캡처된 비디오들은 정상적인 조명 조건들하에서는 괜찮은 품질을 갖는다. 그러나, 열악한 조명 조건들하에서 레코딩된 비디오들은 여전히 고급 카메라들 및 캠코더들에 대해서도 상당한 개선을 요구한다. 또한, 최근에 많은 레코딩 디바이스의 해상도가 증가해왔다(예로서, SD에서 HD로, HD에서 4K로, 아마도 미래에는 4K에서 8K로). 비디오 해상도의 증가는 이미지 센서 상의 모든 픽셀 위치에서 신호 대 잡음비를 낮춘다. 비디오 잡음 제거는 비디오 해상도의 증가에 따라 훨씬 더 어려워지고 있다.
비디오 잡음 제거를 해결하기 위해, 2015년 3월 26일자로 출원된 미국 특허 출원 제14/669,433호에 설명된 바와 같은 "열악한 조명 조건들하에서 비디오 품질을 개선하기 위한 방법(A method to improve video quality under low light conditions)"을 포함하는 많은 방법이 제안되었다. 비디오 잡음 제거를 위해 전체 비디오 프레임을 이용하는 것은 큰 계산 능력 및 저장 공간을 필요로 하는데, 이는 단일 프레임 잡음 제거 및 차이-프레임 잡음 제거 결과들 양자가 계산되고 저장되기 때문이다. 따라서, 계산 능력 및 메모리 사용 양자에서의 더 효율적인 비디오 잡음 제거 방법이 요구되고 있다.
비디오 잡음 제거를 위한 효율적인 패치 기반 방법이 본 명세서에서 설명된다. 잡음 패치가 현재의 프레임으로부터 선택되고, 이전의 잡음 제거된 프레임 내의 모션 보상된 패치가 발견된다. 2개의 패치는 패치 잡음 제거 프로세스를 거쳐서 잡음 제거된 패치를 생성한다. 회전 버퍼 및 집성 기술을 사용하여, 잡음 제거된 현재의 비디오 프레임을 생성한다.
일 양태에서, 디바이스의 비일시적 메모리 안에 프로그래밍된 방법은 현재의 잡음 프레임 및 이전에 잡음 제거된 프레임에 기초하여 모션을 추정하여 모션 추정 정보를 생성하는 단계, 모션 추정 정보로 모션 추정 보상된 이전의 패치를 생성하는 단계, 현재의 잡음 프레임으로부터의 현재의 잡음 패치 및 모션 추정 보상된 이전의 패치를 처리하여 잡음 제거된 패치를 생성하는 단계, 및 잡음 제거된 패치 및 추가적인 잡음 제거된 패치들을 집성하여 잡음 제거된 프레임을 생성하는 단계를 포함한다. 방법은 비디오로부터 현재의 잡음 프레임을 선택하는 단계, 및 현재의 잡음 프레임으로부터 현재의 잡음 패치를 선택하는 단계를 더 포함한다. 현재의 잡음 프레임을 선택하는 단계 및 현재의 잡음 패치를 선택하는 단계는 순차적으로 수행된다. 현재의 잡음 프레임을 선택하는 단계 및 현재의 잡음 패치를 선택하는 단계는 현재의 잡음 프레임 및 현재의 잡음 패치 각각의 잡음과 하나 이상의 임계치의 비교에 기초한다. 집성하는 단계는 회전 버퍼 집성을 이용하는 단계를 포함한다. 현재의 잡음 프레임으로부터의 현재의 잡음 패치 및 모션 추정 보상된 이전의 패치를 처리하여 잡음 제거된 패치를 생성하는 단계는 현재의 잡음 패치 및 이전의 잡음 제거된 패치로부터 차이 패치를 생성하는 단계, 차이 패치의 절대값들의 합이 임계치보다 클 때, 현재의 잡음 패치를 잡음 제거하여 잡음 제거된 패치를 생성하는 단계, 및 차이 패치의 절대값들의 합이 임계치보다 크지 않을 때, 차이 패치를 잡음 제거하고, 잡음 제거된 차이 패치 및 이전의 잡음 제거된 패치를 사용하여 시간적 잡음 제거된 패치를 결정하고, 시간적 잡음 제거된 패치와 현재의 잡음 패치를 혼합하여 잡음 제거된 패치를 생성하는 단계를 포함한다.
다른 양태에서, 장치는 애플리케이션을 저장하기 위한 비일시적 메모리 - 애플리케이션은 현재의 잡음 프레임 및 이전에 잡음 제거된 프레임에 기초하여 모션을 추정하여 모션 추정 정보를 생성하고, 모션 추정 정보로 모션 추정 보상된 이전의 패치를 생성하고, 현재의 잡음 프레임으로부터의 현재의 잡음 패치 및 모션 추정 보상된 이전의 패치를 처리하여 잡음 제거된 패치를 생성하고, 잡음 제거된 패치 및 추가적인 잡음 제거된 패치들을 집성하여 잡음 제거된 프레임을 생성함 -, 및 메모리에 결합된 처리 컴포넌트 - 처리 컴포넌트는 애플리케이션을 처리하도록 구성됨 - 를 포함한다. 장치는 비디오로부터 현재의 잡음 프레임을 선택하는 것, 및 현재의 잡음 프레임으로부터 현재의 잡음 패치를 선택하는 것을 더 포함한다. 현재의 잡음 프레임을 선택하는 것 및 현재의 잡음 패치를 선택하는 것은 순차적으로 수행된다. 현재의 잡음 프레임을 선택하는 것 및 현재의 잡음 패치를 선택하는 것은 현재의 잡음 프레임 및 현재의 잡음 패치 각각의 잡음과 하나 이상의 임계치의 비교에 기초한다. 집성하는 것은 회전 버퍼 집성을 이용하는 것을 포함한다. 현재의 잡음 프레임으로부터의 현재의 잡음 패치 및 모션 추정 보상된 이전의 패치를 처리하여 잡음 제거된 패치를 생성하는 것은 현재의 잡음 패치 및 이전의 잡음 제거된 패치로부터 차이 패치를 생성하는 것, 차이 패치의 절대값들의 합이 임계치보다 클 때, 현재의 잡음 패치를 잡음 제거하여 잡음 제거된 패치를 생성하는 것, 및 차이 패치의 절대값들의 합이 임계치보다 크지 않을 때, 차이 패치를 잡음 제거하고, 잡음 제거된 차이 패치 및 이전의 잡음 제거된 패치를 사용하여 시간적 잡음 제거된 패치를 결정하고, 시간적 잡음 제거된 패치와 현재의 잡음 패치를 혼합하여 잡음 제거된 패치를 생성하는 것을 포함한다.
또 다른 양태에서, 시스템은 비디오를 획득하기 위한 카메라, 및 비디오의 현재의 잡음 프레임 및 이전에 잡음 제거된 프레임에 기초하여 모션을 추정하여 모션 추정 정보를 생성하고, 모션 추정 정보로 모션 추정 보상된 이전의 패치를 생성하고, 현재의 잡음 프레임으로부터의 현재의 잡음 패치 및 모션 추정 보상된 이전의 패치를 처리하여 잡음 제거된 패치를 생성하고, 잡음 제거된 패치 및 추가적인 잡음 제거된 패치들을 집성하여 잡음 제거된 프레임을 생성하도록 구성된 컴퓨팅 디바이스, 및 메모리에 결합된 처리 컴포넌트 - 처리 컴포넌트는 애플리케이션을 처리하도록 구성됨 - 를 포함한다. 시스템은 비디오로부터 현재의 잡음 프레임을 선택하는 것, 및 현재의 잡음 프레임으로부터 현재의 잡음 패치를 선택하는 것을 더 포함한다. 현재의 잡음 프레임을 선택하는 것 및 현재의 잡음 패치를 선택하는 것은 순차적으로 수행된다. 현재의 잡음 프레임을 선택하는 것 및 현재의 잡음 패치를 선택하는 것은 현재의 잡음 프레임 및 현재의 잡음 패치 각각의 잡음과 하나 이상의 임계치의 비교에 기초한다. 집성하는 것은 회전 버퍼 집성을 이용하는 것을 포함한다. 현재의 잡음 프레임으로부터의 현재의 잡음 패치 및 모션 추정 보상된 이전의 패치를 처리하여 잡음 제거된 패치를 생성하는 것은 현재의 잡음 패치 및 이전의 잡음 제거된 패치로부터 차이 패치를 생성하는 것, 차이 패치의 절대값들의 합이 임계치보다 클 때, 현재의 잡음 패치를 잡음 제거하여 잡음 제거된 패치를 생성하는 것, 및 차이 패치의 절대값들의 합이 임계치보다 크지 않을 때, 차이 패치를 잡음 제거하고, 잡음 제거된 차이 패치 및 이전의 잡음 제거된 패치를 사용하여 시간적 잡음 제거된 패치를 결정하고, 시간적 잡음 제거된 패치와 현재의 잡음 패치를 혼합하여 잡음 제거된 패치를 생성하는 것을 포함한다.
도 1은 일부 실시예들에 따른 비디오 잡음 제거를 위한 패치 기반 방법의 흐름도를 도시한다.
도 2는 일부 실시예들에 따른 패치 기반 처리 방법의 흐름도를 도시한다.
도 3은 일부 실시예들에 따른 이미지들을 도시한다.
도 4는 일부 실시예들에 따른 비디오 잡음 제거를 위한 패치 기반 방법을 구현하도록 구성된 예시적인 컴퓨팅 디바이스의 블록도를 도시한다.
비디오 잡음 제거를 위한 효율적인 패치 기반 방법이 본 명세서에서 설명된다. 잡음 패치가 현재의 프레임으로부터 선택되고, 이전의 잡음 제거된 프레임 내의 모션 보상된 패치가 발견된다. 2개의 패치는 패치 잡음 제거 프로세스를 거쳐서 잡음 제거된 패치를 생성한다. 회전 버퍼 및 집성 기술을 사용하여 잡음 제거된 현재의 비디오 프레임을 생성한다. 효율적인 패치 기반 방법은 계산 비용 및 메모리 사용을 크게 줄인다.
도 1은 일부 실시예들에 따른 비디오 잡음 제거를 위한 패치 기반 방법의 흐름도를 도시한다. 단계 100에서, 현재의 잡음 프레임이 선택된다. 예를 들어, 비디오로부터, 프레임들이 통상적으로 순차적으로 선택된다. 다른 프레임 선택 순서도 가능할 수 있다. 일부 실시예들에서, 잡음이 많은 것으로 결정된 프레임들(예로서, 임계치를 초과하는 잡음 레벨을 갖는 것으로 결정된 프레임들)만이 선택된다. 단계 102에서, 현재의 잡음 패치가 현재의 잡음 프레임으로부터 선택된다. 예를 들어, 잡음 프레임으로부터, 패치들이 순차적으로 또는 다른 순서로 선택된다. 일부 실시예들에서, 잡음이 많은 것으로 결정된 패치들(예로서, 임계치를 초과하는 잡음 레벨을 갖는 것으로 결정된 패치들)만이 선택된다. 단계 104에서, 현재의 잡음 프레임(100) 및 이전에 잡음 제거된 프레임(106)에 기초하여 모션을 추정하여 모션 추정 정보를 생성한다. 광학 흐름, 블록 매칭 및/또는 위상 상관과 같은 임의의 모션 추정 구현이 사용 가능하다. 단계 108에서, 모션 추정 정보 및 이전에 잡음 제거된 프레임을 사용하여 모션 추정 보상된 이전의 패치를 생성한다. 단계 110에서, 현재의 잡음 패치 및 모션 추정 보상된 이전의 패치를 처리하여 잡음 제거된 패치(112)를 생성한다. 처리는 패치들 간의 차이의 결정, 패치들의 결합 및/또는 임의의 다른 처리와 같은 임의의 이미지/비디오 처리 구현일 수 있다. 일부 실시예들에서, 처리는 도 2에 도시된 처리를 포함한다. 단계 114에서, 잡음 제거된 패치들을 회전 버퍼 집성을 사용하여 집성하여 잡음 제거된 프레임(116)을 생성한다. 집성은 패치들을 결합하여 프레임을 생성하는 것, 예로서 패치들을 함께 순차적으로 스티칭하는 것 및/또는 임의의 다른 집성을 포함할 수 있다. 일부 실시예들에서, 추가적인 또는 더 적은 단계들이 구현된다. 일부 실시예들에서, 단계들의 순서가 변경된다.
도 2는 일부 실시예들에 따른 패치 기반 처리 방법의 흐름도를 도시한다. 현재의 잡음 패치(102) 및 이전의 잡음 제거된 패치(108)를 사용하여 차이 패치(200)를 생성한다. 예를 들어, 이미지/비디오 처리 동작들을 사용하여, 현재의 잡음 패치(102)와 이전의 잡음 제거된 패치(108) 사이의 차이가 결정된다. 단계 202에서, 차이 패치(200)의 절대값들의 합(SAV)이 임계치보다 큰지를 결정한다. 차이 패치(200)의 SAV가 임계치보다 큰 경우, 현재의 잡음 패치(102)는 이전의 잡음 제거된 패치(108)와 "유사하지 않은" 것으로 간주된다. 2개의 패치 사이의 그러한 비유사성은 통상적으로 모션 추정 단계(104)의 불만스런 성능으로부터 유발된다. 비유사성으로 인해, 이전의 잡음 제거된 패치(108) 안에 포함된 정보를 사용하여 현재의 잡음 패치(102)의 잡음 제거를 돕는 것은 신뢰성이 없다. 따라서, 잡음 제거 단계 204에서는 현재의 잡음 패치(102) 자체만을 사용하여 잡음 제거된 패치(112)를 생성한다. 단계 204에서는 임의의 적절한 잡음 제거 스킴이 구현될 수 있다. 차이 패치(200)의 SAV가 임계치보다 크지 않은 경우, 현재의 잡음 패치(102)는 이전의 잡음 제거된 패치(108)와 유사한 것으로 간주된다. 이 경우, 양 패치들로부터의 정보를 사용하여 잡음 제거된 패치를 생성하는 것이 도움이 된다. 이러한 2개의 패치의 유사성으로 인해, 그들 간의 차이 패치(200)는 통상적으로 희박한데, 예를 들어 차이 패치(200) 내의 픽셀들의 대부분이 0들이거나 거의 0들이다. 이어서, 단계 208에서 차이 패치가 잡음 제거된다. 차이 패치(200)의 SAV가 아닌 다른 방법을 사용하여, 현재의 잡음 패치(102)와 이전의 잡음 제거된 패치(108) 사이의 유사성을 검사할 수도 있다. 유사성 검사의 결과에 따라, 현재의 잡음 패치(102)에 대한 잡음 제거 단계 204 또는 잡음 차이 패치(200)에 대한 잡음 제거 단계 208가 실행된다. 2개의 계산 집약적인 잡음 제거 단계 204 및 208은 동시에 실행되지 않으므로, 계산 비용이 크게 감소한다. 단계 204 및 208에서 사용되는 잡음 제거 스킴들은 동일하거나 상이할 수 있다. 단계 204 및 208에서 동일한 스킴이 사용될 때, 이는 설명되는 방법의 하드웨어 구현에서 상당한 장점을 제공한다. 단계 204 및 208은 원하는 잡음 제거 기술을 수행하는 단일 하드웨어 세트를 공유할 수 있다. 잡음 제거된 차이 패치 및 이전의 잡음 제거된 패치(108)를 사용하여 시간적 잡음 제거된 패치(206)를 결정한다. 시간적 잡음 제거된 패치(206)는 잡음 제거된 차이 패치와 이전의 잡음 제거된 패치(108)의 단순 합산일 수 있다. 가중 합과 같은 다른 가능한 결합 방법들도 사용될 수 있다. 시간적 잡음 제거된 패치(206)가 잡음 제거된 패치의 최종 출력으로 사용되는 경우, 링잉 및 고스팅과 같은 일부 시간적 아티팩트들이 관측될 수 있다. 이것은 현재의 잡음 패치(102)와 이전의 잡음 제거된 패치(108) 사이의 유사성 검사에 있어서의 피할 수 없는 에러들에 기인한다. 시간적 아티팩트들을 억제하기 위해, 단계 210에서 시간적 잡음 제거된 패치(206)와 현재의 잡음 패치(102)를 함께 혼합하여 잡음 제거된 패치(112)를 생성한다. 혼합은 시간적 잡음 제거된 패치(206)와 현재의 잡음 패치(102)의 선형 결합으로서 구현될 수 있다. 본 명세서에서는 다른 혼합 기술들도 사용될 수 있다. 시간적 잡음 제거된 패치(206)로 더 편향된 혼합은 링잉 및 고스팅과 같은 일부 임의적인 시간적 아티팩트들을 갖는 더 매끄러운 비디오들을 생성할 수 있다. 반면, 현재의 잡음 패치(102)로 더 편향된 혼합은 더 적은 시간적 아티팩트들을 갖는 더 잡음 많은 비디오들을 생성할 수 있다. 그러한 절충을 설정하기 위한 적절한 혼합이 선택되어야 한다. 일부 실시예들에서, 더 적거나 추가적인 단계들이 구현된다. 일부 실시예들에서, 단계들의 순서가 변경된다.
도 3은 일부 실시예들에 따른 이미지들을 도시한다. 잡음 이미지(300)를 종래 기술의 접근법을 사용하여 잡음 제거하여 종래 기술의 결과(302)를 생성한다. 잡음 이미지(300)를 또한 본 명세서에서 설명되는 바와 같은 비디오 잡음 제거를 위한 패치 기반 방법을 사용하여 잡음 제거하여 패치 기반 잡음 제거된 결과(304)를 생성한다. 본 명세서에서 설명되는 바와 같이, 비디오 잡음 제거를 위한 패치 기반 방법은 종래 기술보다 계산 비용 및 메모리 사용 면에서 훨씬 더 효율적이다.
도 4는 일부 실시예들에 따른 비디오 잡음 제거를 위한 패치 기반 방법을 구현하도록 구성된 예시적인 컴퓨팅 디바이스의 블록도를 도시한다. 컴퓨팅 디바이스(400)는 이미지들 및 비디오들과 같은 정보를 획득, 저장, 계산, 처리, 통신 및/또는 표시하는 데 사용될 수 있다. 일반적으로, 컴퓨팅 디바이스(400)를 구현하는 데 적합한 하드웨어 구조는 네트워크 인터페이스(402), 메모리(404), 프로세서(406), I/O 디바이스(들)(408), 버스(410) 및 저장 디바이스(412)를 포함한다. 프로세서의 선택은 충분한 속도를 갖는 적절한 프로세서가 선택되는 한은 중요하지 않다. 메모리(404)는 본 기술분야에 공지된 임의의 통상적인 컴퓨터 메모리일 수 있다. 저장 디바이스(412)는 하드 드라이브, CDROM, CDRW, DVD, DVDRW, 블루레이 드라이브, 플래시 메모리 카드 또는 임의의 다른 저장 디바이스를 포함할 수 있다. 컴퓨팅 디바이스(400)는 하나 이상의 네트워크 인터페이스(402)를 포함할 수 있다. 네트워크 인터페이스의 일례는 이더넷 또는 다른 타입의 LAN에 접속되는 네트워크 카드를 포함한다. I/O 디바이스(들)(408)는 키보드, 마우스, 모니터, 스크린, 프린터, 모뎀, 터치스크린, 버튼 인터페이스 및 다른 디바이스들 중 하나 이상을 포함할 수 있다. 비디오 잡음 제거를 위한 패치 기반 방법을 수행하는 데 사용되는 비디오 잡음 제거 패치 기반 방법 애플리케이션(들)(430)이 저장 디바이스(412) 및 메모리(404) 안에 저장되며, 애플리케이션들이 통상적으로 처리되는 바와 같이 처리될 것 같다. 도 4에 도시된 것보다 많거나 적은 컴포넌트들이 컴퓨팅 디바이스(400)에 포함될 수 있다. 일부 실시예들에서, 비디오 잡음 제거 패치 기반 방법 하드웨어(420)가 포함된다. 도 4의 컴퓨팅 디바이스(400)는 비디오 잡음 제거를 위한 패치 기반 방법을 위한 애플리케이션들(430) 및 하드웨어(420)를 포함하지만, 비디오 잡음 제거를 위한 패치 기반 방법은 컴퓨팅 디바이스 상에서 하드웨어, 소프트웨어 또는 이들의 임의 조합으로 구현될 수 있다. 예를 들어, 일부 실시예들에서, 비디오 잡음 제거 패치 기반 방법 애플리케이션들(430)은 메모리 안에 프로그래밍되고, 프로세서를 사용하여 실행된다. 다른 예에서, 일부 실시예들에서, 비디오 잡음 제거 패치 기반 방법 하드웨어(420)는 비디오 잡음 제거를 위한 패치 기반 방법을 구현하도록 특별히 설계된 게이트들을 포함하는 프로그래밍된 하드웨어 논리이다.
일부 실시예들에서, 비디오 잡음 제거 패치 기반 방법 애플리케이션(들)(430)은 여러 개의 애플리케이션 및/또는 모듈을 포함한다. 일부 실시예들에서, 모듈들은 또한 하나 이상의 서브모듈을 포함한다. 일부 실시예들에서, 더 적거나 추가적인 모듈들이 포함될 수 있다.
적절한 컴퓨팅 디바이스들의 예들은 개인용 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 단말기, 셀룰러/모바일 전화, 스마트 기구, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 스마트폰, 휴대용 뮤직 플레이어, 태블릿 컴퓨터, 모바일 디바이스, 비디오 플레이어, 비디오 디스크 라이터/플레이어(예를 들어, DVD 라이터/플레이어, 고화질 디스크 라이터/플레이어, 초고화질 디스크 라이터/플레이어), 텔레비전, 홈 엔터테인먼트 시스템, 증강 현실 디바이스, 가상 현실 디바이스, 스마트 쥬얼리(예로서 스마트 워치) 또는 임의의 다른 적절한 컴퓨팅 디바이스를 포함한다.
본 명세서에서 설명되는 비디오 잡음 제거를 위한 패치 기반 방법을 이용하기 위해, 비디오가 획득된다. 이어서, 비디오를 비디오 잡음 제거를 위한 패치 기반 방법을 사용하여 처리하여 잡음 제거된 비디오를 생성한다. 처리는 사람의 개입 없이 자동으로 발생할 수 있다.
동작 시에, 비디오 잡음 제거를 위한 패치 기반 방법은 계산 비용 및 메모리 사용을 크게 줄이며, 텔레비전, 레코딩된 비디오(예로서, DVD 또는 블루레이) 및/또는 게임과 같은 임의의 비디오 애플리케이션에서 유용하다.
비디오 잡음 제거를 위한 효율적인 패치 기반 방법의 일부 실시예들
1. 디바이스의 비일시적 메모리 안에 프로그래밍된 방법으로서,
현재의 잡음 프레임 및 이전에 잡음 제거된 프레임에 기초하여 모션을 추정하여 모션 추정 정보를 생성하는 단계;
모션 추정 정보로 모션 추정 보상된 이전의 패치를 생성하는 단계;
현재의 잡음 프레임으로부터의 현재의 잡음 패치 및 모션 추정 보상된 이전의 패치를 처리하여 잡음 제거된 패치를 생성하는 단계; 및
잡음 제거된 패치 및 추가적인 잡음 제거된 패치들을 집성하여 잡음 제거된 프레임을 생성하는 단계
를 포함하는, 방법.
2. 제1항에 있어서, 비디오로부터 현재의 잡음 프레임을 선택하는 단계, 및 현재의 잡음 프레임으로부터 현재의 잡음 패치를 선택하는 단계를 더 포함하는, 방법.
3. 제2항에 있어서, 현재의 잡음 프레임을 선택하는 단계 및 현재의 잡음 패치를 선택하는 단계는 순차적으로 수행되는, 방법.
4. 제2항에 있어서, 현재의 잡음 프레임을 선택하는 단계 및 현재의 잡음 패치를 선택하는 단계는 현재의 잡음 프레임 및 현재의 잡음 패치 각각의 잡음과 하나 이상의 임계치의 비교에 기초하는, 방법.
5. 제1항에 있어서, 집성하는 단계는 회전 버퍼 집성을 이용하는 단계를 포함하는, 방법.
6. 제1항에 있어서, 현재의 잡음 프레임으로부터의 현재의 잡음 패치 및 모션 추정 보상된 이전의 패치를 처리하여 잡음 제거된 패치를 생성하는 단계는
현재의 잡음 패치 및 이전의 잡음 제거된 패치로부터 차이 패치를 생성하는 단계;
차이 패치의 절대값들의 합이 임계치보다 클 때, 현재의 잡음 패치를 잡음 제거하여 잡음 제거된 패치를 생성하는 단계; 및
차이 패치의 절대값들의 합이 임계치보다 크지 않을 때, 차이 패치를 잡음 제거하고, 잡음 제거된 차이 패치 및 이전의 잡음 제거된 패치를 사용하여 시간적 잡음 제거된 패치를 결정하고, 시간적 잡음 제거된 패치와 현재의 잡음 패치를 혼합하여 잡음 제거된 패치를 생성하는 단계
를 포함하는, 방법.
7. 장치로서,
애플리케이션을 저장하기 위한 비일시적 메모리 - 애플리케이션은
현재의 잡음 프레임 및 이전에 잡음 제거된 프레임에 기초하여 모션을 추정하여 모션 추정 정보를 생성하고;
모션 추정 정보로 모션 추정 보상된 이전의 패치를 생성하고;
현재의 잡음 프레임으로부터의 현재의 잡음 패치 및 모션 추정 보상된 이전의 패치를 처리하여 잡음 제거된 패치를 생성하고;
잡음 제거된 패치 및 추가적인 잡음 제거된 패치들을 집성하여 잡음 제거된 프레임을 생성함 -; 및
메모리에 결합된 처리 컴포넌트 - 처리 컴포넌트는 애플리케이션을 처리하도록 구성됨 -
를 포함하는, 장치.
8. 제7항에 있어서, 비디오로부터 현재의 잡음 프레임을 선택하는 것, 및 현재의 잡음 프레임으로부터 현재의 잡음 패치를 선택하는 것을 더 포함하는, 장치.
9. 제8항에 있어서, 현재의 잡음 프레임을 선택하는 것 및 현재의 잡음 패치를 선택하는 것은 순차적으로 수행되는, 장치.
10. 제8항에 있어서, 현재의 잡음 프레임을 선택하는 것 및 현재의 잡음 패치를 선택하는 것은 현재의 잡음 프레임 및 현재의 잡음 패치 각각의 잡음과 하나 이상의 임계치의 비교에 기초하는, 장치.
11. 제7항에 있어서, 집성하는 것은 회전 버퍼 집성을 이용하는 것을 포함하는, 장치.
12. 제7항에 있어서, 현재의 잡음 프레임으로부터의 현재의 잡음 패치 및 모션 추정 보상된 이전의 패치를 처리하여 잡음 제거된 패치를 생성하는 것은
현재의 잡음 패치 및 이전의 잡음 제거된 패치로부터 차이 패치를 생성하는 것;
차이 패치의 절대값들의 합이 임계치보다 클 때, 현재의 잡음 패치를 잡음 제거하여 잡음 제거된 패치를 생성하는 것; 및
차이 패치의 절대값들의 합이 임계치보다 크지 않을 때, 차이 패치를 잡음 제거하고, 잡음 제거된 차이 패치 및 이전의 잡음 제거된 패치를 사용하여 시간적 잡음 제거된 패치를 결정하고, 시간적 잡음 제거된 패치와 현재의 잡음 패치를 혼합하여 잡음 제거된 패치를 생성하는 것
을 포함하는, 장치.
13. 시스템으로서,
비디오를 획득하기 위한 카메라; 및
비디오의 현재의 잡음 프레임 및 이전에 잡음 제거된 프레임에 기초하여 모션을 추정하여 모션 추정 정보를 생성하고;
모션 추정 정보로 모션 추정 보상된 이전의 패치를 생성하고;
현재의 잡음 프레임으로부터의 현재의 잡음 패치 및 모션 추정 보상된 이전의 패치를 처리하여 잡음 제거된 패치를 생성하고;
잡음 제거된 패치 및 추가적인 잡음 제거된 패치들을 집성하여 잡음 제거된 프레임을 생성하도록 구성된
컴퓨팅 디바이스; 및
메모리에 결합된 처리 컴포넌트 - 처리 컴포넌트는 애플리케이션을 처리하도록 구성됨 -
를 포함하는, 시스템.
14. 제13항에 있어서, 비디오로부터 현재의 잡음 프레임을 선택하는 것, 및 현재의 잡음 프레임으로부터 현재의 잡음 패치를 선택하는 것을 더 포함하는, 시스템.
15. 제14항에 있어서, 현재의 잡음 프레임을 선택하는 것 및 현재의 잡음 패치를 선택하는 것은 순차적으로 수행되는, 시스템.
16. 제14항에 있어서, 현재의 잡음 프레임을 선택하는 것 및 현재의 잡음 패치를 선택하는 것은 현재의 잡음 프레임 및 현재의 잡음 패치 각각의 잡음과 하나 이상의 임계치의 비교에 기초하는, 시스템.
17. 제13항에 있어서, 집성하는 것은 회전 버퍼 집성을 이용하는 것을 포함하는, 시스템.
18. 제13항에 있어서, 현재의 잡음 프레임으로부터의 현재의 잡음 패치 및 모션 추정 보상된 이전의 패치를 처리하여 잡음 제거된 패치를 생성하는 것은
현재의 잡음 패치 및 이전의 잡음 제거된 패치로부터 차이 패치를 생성하는 것;
차이 패치의 절대값들의 합이 임계치보다 클 때, 현재의 잡음 패치를 잡음 제거하여 잡음 제거된 패치를 생성하는 것; 및
차이 패치의 절대값들의 합이 임계치보다 크지 않을 때, 차이 패치를 잡음 제거하고, 잡음 제거된 차이 패치 및 이전의 잡음 제거된 패치를 사용하여 시간적 잡음 제거된 패치를 결정하고, 시간적 잡음 제거된 패치와 현재의 잡음 패치를 혼합하여 잡음 제거된 패치를 생성하는 것
을 포함하는, 시스템.
본 발명은 본 발명의 구성 및 동작의 원리들의 이해를 용이하게 하기 위해 상세들을 포함하는 특정 실시예들과 관련하여 설명되었다. 본 명세서에서의 특정 실시예들 및 그들의 상세들에 대한 그러한 참조는 본 명세서에 첨부된 청구항들의 범위를 한정하도록 의도되지 않는다. 청구항들에 의해 한정되는 바와 같은 본 발명의 사상 및 범위로부터 벗어나지 않고서, 예시를 위해 선택된 실시예에서 다른 다양한 변경들이 이루어질 수 있다는 것이 본 기술분야의 기술자에게 자명할 것이다.

Claims (18)

  1. 디바이스의 비일시적 메모리(non-transitory memory) 안에 프로그래밍된 방법으로서,
    현재의 잡음 프레임(current noisy frame) 및 이전에 잡음 제거된 프레임(previously denoised frame)에 기초하여 모션을 추정하여 모션 추정 정보를 생성하는 단계;
    상기 모션 추정 정보로 모션 추정 보상된 이전의 패치(motion estimation-compensated previous patch)를 생성하는 단계;
    상기 현재의 잡음 프레임으로부터의 현재의 잡음 패치(current noisy patch) 및 상기 모션 추정 보상된 이전의 패치를 처리하여 잡음 제거된 패치를 생성하는 단계; 및
    상기 잡음 제거된 패치 및 추가적인 잡음 제거된 패치들을 집성(aggregating)하여 잡음 제거된 프레임을 생성하는 단계
    를 포함하고,
    상기 현재의 잡음 프레임으로부터의 상기 현재의 잡음 패치 및 상기 모션 추정 보상된 이전의 패치를 처리하여 상기 잡음 제거된 패치를 생성하는 단계는,
    상기 현재의 잡음 패치 및 이전의 잡음 제거된 패치로부터 차이 패치를 생성하는 단계;
    상기 차이 패치의 절대값들의 합이 임계치보다 클 때, 상기 현재의 잡음 패치를 잡음 제거하여 상기 잡음 제거된 패치를 생성하는 단계; 및
    상기 차이 패치의 절대값들의 상기 합이 상기 임계치보다 크지 않을 때, 상기 차이 패치를 잡음 제거하고, 상기 잡음 제거된 차이 패치 및 상기 이전의 잡음 제거된 패치를 사용하여 시간적 잡음 제거된 패치(temporal denoised patch)를 결정하고, 상기 시간적 잡음 제거된 패치와 상기 현재의 잡음 패치를 혼합(blending)하여 상기 잡음 제거된 패치를 생성하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서, 비디오로부터 상기 현재의 잡음 프레임을 선택하는 단계, 및 상기 현재의 잡음 프레임으로부터 상기 현재의 잡음 패치를 선택하는 단계를 더 포함하는, 방법.
  3. 제2항에 있어서, 상기 현재의 잡음 프레임을 선택하는 단계 및 상기 현재의 잡음 패치를 선택하는 단계는 순차적으로 수행되는, 방법.
  4. 제2항에 있어서, 상기 현재의 잡음 프레임을 선택하는 단계 및 상기 현재의 잡음 패치를 선택하는 단계는 상기 현재의 잡음 프레임 및 상기 현재의 잡음 패치 각각의 잡음과 하나 이상의 임계치의 비교에 기초하는, 방법.
  5. 제1항에 있어서, 집성하는 단계는 회전 버퍼 집성(rotation-buffer aggregation)을 이용하는 단계를 포함하는, 방법.
  6. 삭제
  7. 장치로서,
    애플리케이션을 저장하기 위한 비일시적 메모리 - 상기 애플리케이션은
    현재의 잡음 프레임 및 이전에 잡음 제거된 프레임에 기초하여 모션을 추정하여 모션 추정 정보를 생성하고;
    상기 모션 추정 정보로 모션 추정 보상된 이전의 패치를 생성하고;
    상기 현재의 잡음 프레임으로부터의 현재의 잡음 패치 및 상기 모션 추정 보상된 이전의 패치를 처리하여 잡음 제거된 패치를 생성하고;
    상기 잡음 제거된 패치 및 추가적인 잡음 제거된 패치들을 집성하여 잡음 제거된 프레임을 생성함 -; 및
    상기 메모리에 결합된 처리 컴포넌트 - 상기 처리 컴포넌트는 상기 애플리케이션을 처리하도록 구성됨 -
    를 포함하고,
    상기 현재의 잡음 프레임으로부터의 상기 현재의 잡음 패치 및 상기 모션 추정 보상된 이전의 패치를 처리하여 상기 잡음 제거된 패치를 생성하는 것은
    상기 현재의 잡음 패치 및 이전의 잡음 제거된 패치로부터 차이 패치를 생성하는 것;
    상기 차이 패치의 절대값들의 합이 임계치보다 클 때, 상기 현재의 잡음 패치를 잡음 제거하여 상기 잡음 제거된 패치를 생성하는 것; 및
    상기 차이 패치의 절대값들의 상기 합이 상기 임계치보다 크지 않을 때, 상기 차이 패치를 잡음 제거하고, 상기 잡음 제거된 차이 패치 및 상기 이전의 잡음 제거된 패치를 사용하여 시간적 잡음 제거된 패치를 결정하고, 상기 시간적 잡음 제거된 패치와 상기 현재의 잡음 패치를 혼합하여 상기 잡음 제거된 패치를 생성하는 것을 포함하는, 장치.
  8. 제7항에 있어서, 비디오로부터 상기 현재의 잡음 프레임을 선택하는 것, 및 상기 현재의 잡음 프레임으로부터 상기 현재의 잡음 패치를 선택하는 것을 더 포함하는, 장치.
  9. 제8항에 있어서, 상기 현재의 잡음 프레임을 선택하는 것 및 상기 현재의 잡음 패치를 선택하는 것은 순차적으로 수행되는, 장치.
  10. 제8항에 있어서, 상기 현재의 잡음 프레임을 선택하는 것 및 상기 현재의 잡음 패치를 선택하는 것은 상기 현재의 잡음 프레임 및 상기 현재의 잡음 패치 각각의 잡음과 하나 이상의 임계치의 비교에 기초하는, 장치.
  11. 제7항에 있어서, 집성하는 것은 회전 버퍼 집성을 이용하는 것을 포함하는, 장치.
  12. 삭제
  13. 시스템으로서,
    비디오를 획득하기 위한 카메라; 및
    상기 비디오의 현재의 잡음 프레임 및 이전에 잡음 제거된 프레임에 기초하여 모션을 추정하여 모션 추정 정보를 생성하고;
    상기 모션 추정 정보로 모션 추정 보상된 이전의 패치를 생성하고;
    상기 현재의 잡음 프레임으로부터의 현재의 잡음 패치 및 상기 모션 추정 보상된 이전의 패치를 처리하여 잡음 제거된 패치를 생성하고;
    상기 잡음 제거된 패치 및 추가적인 잡음 제거된 패치들을 집성하여 잡음 제거된 프레임을 생성
    하도록 구성된 컴퓨팅 디바이스; 및
    메모리에 결합된 처리 컴포넌트 - 상기 처리 컴포넌트는 애플리케이션을 처리하도록 구성됨 -
    를 포함하고,
    상기 현재의 잡음 프레임으로부터의 상기 현재의 잡음 패치 및 상기 모션 추정 보상된 이전의 패치를 처리하여 상기 잡음 제거된 패치를 생성하는 것은
    상기 현재의 잡음 패치 및 이전의 잡음 제거된 패치로부터 차이 패치를 생성하는 것;
    상기 차이 패치의 절대값들의 합이 임계치보다 클 때, 상기 현재의 잡음 패치를 잡음 제거하여 상기 잡음 제거된 패치를 생성하는 것; 및
    상기 차이 패치의 절대값들의 상기 합이 상기 임계치보다 크지 않을 때, 상기 차이 패치를 잡음 제거하고, 상기 잡음 제거된 차이 패치 및 상기 이전의 잡음 제거된 패치를 사용하여 시간적 잡음 제거된 패치를 결정하고, 상기 시간적 잡음 제거된 패치와 상기 현재의 잡음 패치를 혼합하여 상기 잡음 제거된 패치를 생성하는 것을 포함하는, 시스템.
  14. 제13항에 있어서, 상기 비디오로부터 상기 현재의 잡음 프레임을 선택하는 것, 및 상기 현재의 잡음 프레임으로부터 상기 현재의 잡음 패치를 선택하는 것을 더 포함하는, 시스템.
  15. 제14항에 있어서, 상기 현재의 잡음 프레임을 선택하는 것 및 상기 현재의 잡음 패치를 선택하는 것은 순차적으로 수행되는, 시스템.
  16. 제14항에 있어서, 상기 현재의 잡음 프레임을 선택하는 것 및 상기 현재의 잡음 패치를 선택하는 것은 상기 현재의 잡음 프레임 및 상기 현재의 잡음 패치 각각의 잡음과 하나 이상의 임계치의 비교에 기초하는, 시스템.
  17. 제13항에 있어서, 집성하는 것은 회전 버퍼 집성을 이용하는 것을 포함하는, 시스템.
  18. 삭제
KR1020180002095A 2017-01-20 2018-01-08 비디오 잡음 제거를 위한 효율적인 패치 기반 방법 KR102007601B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/410,978 US10140689B2 (en) 2017-01-20 2017-01-20 Efficient path-based method for video denoising
US15/410,978 2017-01-20

Publications (2)

Publication Number Publication Date
KR20180086127A KR20180086127A (ko) 2018-07-30
KR102007601B1 true KR102007601B1 (ko) 2019-10-23

Family

ID=60937626

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180002095A KR102007601B1 (ko) 2017-01-20 2018-01-08 비디오 잡음 제거를 위한 효율적인 패치 기반 방법

Country Status (5)

Country Link
US (1) US10140689B2 (ko)
EP (1) EP3352133B1 (ko)
JP (1) JP6521278B2 (ko)
KR (1) KR102007601B1 (ko)
CN (1) CN108337402B (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113452870B (zh) * 2020-03-26 2024-04-09 腾讯美国有限责任公司 视频处理方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160284066A1 (en) * 2015-03-26 2016-09-29 Sony Corporation Method to improve video quality under low light conditions

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6366317B1 (en) * 1998-03-27 2002-04-02 Intel Corporation Motion estimation using intrapixel logic
JP4973031B2 (ja) * 2006-07-03 2012-07-11 ソニー株式会社 ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置
US8237830B2 (en) * 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
US8477848B1 (en) * 2008-04-22 2013-07-02 Marvell International Ltd. Picture rate conversion system architecture
KR101508386B1 (ko) * 2008-09-29 2015-04-03 엘지전자 주식회사 움직임 적응적 잡음 제거 방법 및 그 장치
JP4893758B2 (ja) * 2009-01-23 2012-03-07 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
US8358380B2 (en) * 2009-06-05 2013-01-22 Cisco Technology, Inc. Efficient spatial and temporal transform-based video preprocessing
US8571117B2 (en) * 2009-06-05 2013-10-29 Cisco Technology, Inc. Out of loop frame matching in 3D-based video denoising
US8144253B2 (en) 2009-07-21 2012-03-27 Sharp Laboratories Of America, Inc. Multi-frame approach for image upscaling
JP2011199716A (ja) * 2010-03-23 2011-10-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5576812B2 (ja) * 2011-02-16 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
US9131073B1 (en) * 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
US9326008B2 (en) * 2012-04-10 2016-04-26 Google Inc. Noise reduction for image sequences
JP5927051B2 (ja) * 2012-06-07 2016-05-25 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
US9041834B2 (en) * 2012-09-19 2015-05-26 Ziilabs Inc., Ltd. Systems and methods for reducing noise in video streams
US9171355B2 (en) 2013-04-12 2015-10-27 Qualcomm Incorporated Near infrared guided image denoising
US9135683B2 (en) 2013-09-05 2015-09-15 Arecont Vision, Llc. System and method for temporal video image enhancement
US9449371B1 (en) * 2014-03-06 2016-09-20 Pixelworks, Inc. True motion based temporal-spatial IIR filter for video
US9311690B2 (en) * 2014-03-11 2016-04-12 Adobe Systems Incorporated Video denoising using optical flow
KR102182695B1 (ko) * 2014-04-01 2020-11-24 한화테크윈 주식회사 영상 잡음 제거 장치 및 방법
US10102613B2 (en) * 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
US11300646B2 (en) * 2014-11-10 2022-04-12 Canon Medical Systems Corporation Magnetic resonance imaging apparatus, image processing apparatus, and image processing method
WO2016165116A1 (zh) * 2015-04-16 2016-10-20 中国科学院自动化研究所 一种基于噪声相关性的视频去噪系统
CN106294458A (zh) * 2015-05-29 2017-01-04 北京四维图新科技股份有限公司 一种地图兴趣点更新方法及装置
US10049436B1 (en) * 2015-09-30 2018-08-14 Google Llc Adaptive denoising for real-time video on mobile devices
CN105472205B (zh) * 2015-11-18 2020-01-24 腾讯科技（深圳）有限公司 编码过程中的实时视频降噪方法和装置
CN106308792A (zh) * 2016-09-06 2017-01-11 武汉大学 一种便携的高精度肌电信号采集装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160284066A1 (en) * 2015-03-26 2016-09-29 Sony Corporation Method to improve video quality under low light conditions

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Antoni Buades ET AL:"Patch-Based Video Denoising With Optical Flow Estimation", IEEE Transactions on Image Processing, Volume. 25, NO. 6, June 2016, Pages 2573-2586(2016.06.30.) 1부.*

Also Published As

Publication number Publication date
US10140689B2 (en) 2018-11-27
EP3352133B1 (en) 2020-07-01
KR20180086127A (ko) 2018-07-30
JP6521278B2 (ja) 2019-05-29
US20180211365A1 (en) 2018-07-26
EP3352133A1 (en) 2018-07-25
JP2018117346A (ja) 2018-07-26
CN108337402B (zh) 2020-11-03
CN108337402A (zh) 2018-07-27

Similar Documents

Publication Publication Date Title
US9615039B2 (en) Systems and methods for reducing noise in video streams
US9824426B2 (en) Reduced latency video stabilization
EP2164040B1 (en) System and method for high quality image and video upscaling
US9514525B2 (en) Temporal filtering for image data using spatial filtering and noise history
CN109963048B (zh) 降噪方法、降噪装置及降噪电路系统
US20120092559A1 (en) Rolling Shutter Distortion Correction
US9326008B2 (en) Noise reduction for image sequences
KR20130001215A (ko) 일반 플랫폼 비디오 이미지 안정화
JP2011070681A (ja) Ｌ１距離測度に基づいて局所画像相似性を測定する方法
US9398217B2 (en) Video stabilization using padded margin pixels
Gryaditskaya et al. Motion aware exposure bracketing for HDR video
KR102007601B1 (ko) 비디오 잡음 제거를 위한 효율적인 패치 기반 방법
TWI413023B (zh) 移動偵測方法及裝置
US10122996B2 (en) Method for 3D multiview reconstruction by feature tracking and model registration
CN108885790A (zh) 基于所生成的运动数据处理图像
TW202126022A (zh) 信號處理裝置與信號處理方法
US9466094B1 (en) Method to improve video quality under low light conditions
US10764632B2 (en) Video signal processing apparatus, video signal processing method, and program
Dai et al. Color video denoising based on adaptive color space conversion
US8463037B2 (en) Detection of low contrast for image processing
US8179474B2 (en) Fast iterative motion estimation method on gradually changing images
JP7450861B2 (ja) ルックアップテーブルを使用するポイントクラウド圧縮のためのフォワード及び逆量子化
WO2024072835A1 (en) Removing distortion from real-time video using a masked frame
CN114612837A (zh) 视频处理方法、装置以及视频稳定方法
JP2014158083A5 (ko)

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant