KR20110048591A - 비디오의 노이즈 감소를 위한 방법 및 장치 - Google Patents

비디오의 노이즈 감소를 위한 방법 및 장치 Download PDF

Info

Publication number
KR20110048591A
KR20110048591A KR1020117007690A KR20117007690A KR20110048591A KR 20110048591 A KR20110048591 A KR 20110048591A KR 1020117007690 A KR1020117007690 A KR 1020117007690A KR 20117007690 A KR20117007690 A KR 20117007690A KR 20110048591 A KR20110048591 A KR 20110048591A
Authority
KR
South Korea
Prior art keywords
video sequence
input video
images
module
aligned
Prior art date
Application number
KR1020117007690A
Other languages
English (en)
Other versions
KR101252363B1 (ko
Inventor
오스카 네스타레스
호스트 더블유. 호섹커
스캇 엠. 에틴거
요람 개트
스리나쓰 쿠루파티
Original Assignee
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코오퍼레이션 filed Critical 인텔 코오퍼레이션
Publication of KR20110048591A publication Critical patent/KR20110048591A/ko
Application granted granted Critical
Publication of KR101252363B1 publication Critical patent/KR101252363B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/911—Television signal processing therefor for the suppression of noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

일부 실시예들에서, 비디오 시퀀스를 프로세싱하는 방법은 입력 비디오 시퀀스 해상도를 갖는 입력 비디오 시퀀스를 수신하는 단계, 입력 비디오 시퀀스로부터 이미지들을 정렬하는 단계, 정렬된 이미지들에서 노이즈를 감소시키는 단계, 및 감소된 노이즈 이미지들로부터 입력 비디오 시퀀스와 동일한 해상도를 갖는 출력 비디오 시퀀스를 생성하는 단계를 포함할 수 있다. 다른 실시예들도 개시되고 청구되었다.

Description

비디오의 노이즈 감소를 위한 방법 및 장치{METHOD AND APPARATUS FOR NOISE REDUCTION IN VIDEO}
본 발명은 비디오 프로세싱에 관한 것이다. 더욱 구체적으로, 본 발명의 일부 실시예들은 비디오의 노이즈 감소에 관한 것이다.
미국 특허 제7,447,382호는 모델-기반, 견고한 베이시안(Bayesian) 추정을 사용하여 복수의 더 낮은 해상도 이미지로부터 더 높은 해상도 이미지를 연산하는 것을 설명한다. 장면의 주어진 복수의 보여지는 더 낮은 해상도(LR) 이미지로부터 얻어진 상기 장면의 더 높은 해상도(HR) 이미지 결과는 베이시안 추정 이미지 재구성 방법을 사용하여 연산된다. 그 방법은 노이즈가 존재하는 LR 이미지의 형성에 대한 모델을 시행하는 가능성 확률 함수에 기초한 결과 HR 이미지를 산출한다. 이러한 노이즈는 확률적, 비-가우시안, 견고한 함수에 의해 모델링된다.
특허 또는 출원 파일은 컬러로 구현된 적어도 하나의 도면을 포함한다. 컬러 도면(들)을 갖는 이 특허 또는 특허 출원 공개의 사본은 필요한 요금의 지불 및 요청에 따라 관청에 의해 제공될 것이다.
본 발명의 다양한 특징들은 동일한 참조번호가 일반적으로 전체 도면을 통해 동일한 부분을 가리키는, 첨부한 도면에서 도시된 바와 같이 바람직한 실시예들의 다음의 설명으로부터 명백해질 것이다. 도면은 반드시 크기에 비례하여 도시될 필요는 없으며, 본 발명의 원리를 설명함에 따라 강조하며 도시되었다.
도 1은 본 발명의 일부 실시예들을 따른 흐름도이다.
도 2는 본 발명의 일부 실시예들을 따른 다른 흐름도이다.
도 3은 본 발명의 일부 실시예들을 따른 다른 흐름도이다.
도 4는 본 발명의 일부 실시예들을 따른 비디오 프로세싱 장치의 블록도이다.
도 5는 본 발명의 일부 실시예들을 따른 다른 비디오 프로세싱 장치의 블록도이다.
도 6은 본 발명의 일부 실시예들을 따른 노이즈 제거 모듈의 블록도이다.
도 7은 본 발명의 일부 실시예들을 따른 다른 노이즈 제거 모듈의 블록도이다.
도 8은 본 발명의 일부 실시예들을 따른 프로세서 기반 전자 시스템의 블록도이다.
도 9는 본 발명의 일부 실시예들을 따른 광 흐름 추정 모듈의 블록도이다.
도 10은 본 발명의 일부 실시예들을 따른 다른 노이즈 제거 모듈의 블록도이다.
도 11은 기준 디지털 이미지이다.
도 12는 본 발명의 일부 실시예들에 따라 프로세싱된 디지털 이미지이다.
도 13은 본 발명의 일부 실시예들에 따라 프로세싱된 다른 디지털 이미지이다.
도 14는 다른 기준 디지털 이미지이다.
도 15는 본 발명의 일부 실시예들에 따라 프로세싱된 다른 디지털 이미지이다.
도 16은 본 발명의 일부 실시예들에 따라 프로세싱된 다른 디지털 이미지이다.
도 17은 다른 기준 디지털 이미지이다.
도 18은 본 발명의 일부 실시예들에 따라 프로세싱된 다른 디지털 이미지이다.
도 19는 본 발명의 일부 실시예들에 따라 프로세싱된 다른 디지털 이미지이다.
다음의 설명에서, 제한이 아닌 설명의 목적을 위해, 특정한 구조, 아키텍쳐, 인터페이스, 기술 등과 같은 특정한 세부사항들이 본 발명의 다양한 양상들의 철저한 이해를 제공하기 위해 나열되었다. 그러나, 본 발명의 다양한 양상들이 이러한 구체적 세부사항들로부터 벗어난 다른 예들에서 시행될 수 있다는 것이 본 개시의 이득을 갖는 당업자들에게 명백할 것이다. 특정한 예들에서, 공지의 디바이스, 회로, 및 방법들의 설명은 불필요한 세부사항으로 본 발명의 설명을 모호하게 하지 않기 위해 생략되었다.
도 1을 참조하여, 본 발명의 일부 실시예들을 따라 비디오 시퀀스를 프로세싱하는 방법은 입력 비디오 시퀀스 해상도를 갖는 입력 비디오 시퀀스를 수신하는 단계(예를 들면, 블록(10)), 입력 비디오 시퀀스로부터 이미지들을 정렬하는 단계(예를 들면, 블록(11)), 정렬된 이미지들에서 노이즈를 감소시키는 단계(예를 들면, 블록(12)), 및 감소된 노이즈 이미지들로부터 입력 비디오 시퀀스와 동일한 해상도를 갖는 출력 비디오 시퀀스를 생성하는 단계(예를 들면, 블록(13))를 포함할 수 있다. 예를 들면, 입력 비디오 시퀀스로부터 이미지들을 정렬하기 전에 입력 비디오 시퀀스의 광 흐름을 추정하는 것이 더 요구될 수 있다(예를 들면, 블록(14)). 예를 들면, 입력 비디오 시퀀스는 기준 프레임과 기준 프레임에 대한 적어도 하나의 전방 프레임 및 적어도 하나의 후방 프레임을 포함할 수 있다(예를 들면, 블록(15)).
도 2를 참조하여, 본 발명의 일부 실시예들에서 정렬된 이미지들에서 노이즈를 감소시키는 것은 공액 기울기(conjugate gradient) 최소화에 대응하여 정렬된 이미지들의 반복적인 전방 및 후방 재매핑을 수행하는 것(예를 들면, 블록(20))을 포함할 수 있다. 본 발명의 일부 실시예들에서, 정렬된 이미지들에서 노이즈를 감소시키는 것은 반복적인 라인 최소화를 수행하는 것(예를 들면, 블록(21))을 포함할 수 있다.
도 3을 참조하여, 본 발명의 일부 실시에들에서, 정렬된 이미지들에서 노이즈를 감소시키는 것은 정렬된 이미지들의 이미지 워핑(warping)을 수행하는 것을 포함할 수 있다. 본 발명의 일부 실시예들에서 정렬된 이미지들의 노이즈를 감소시키는 것은 정렬되고, 워핑된 이미지들에 시간적 및 공간적 양방향 필터링(bilateral filtering)을 수행하는 것을 포함할 수 있다.
도 4를 참조하여, 본 발명의 일부 실시예들을 따르는 비디오 프로세싱 장치(40)는 입력 비디오 시퀀스 해상도를 갖는 입력 비디오 시퀀스를 수신하는 제1 모듈(41), 제1 모듈(41)에 결합되어 입력 비디오 시퀀스로부터 이미지들을 정렬하는 제2 모듈(42), 제2 모듈(42)에 결합되어 정렬된 이미지들에 기초하여 입력 비디오 시퀀스에서 노이즈를 감소시키는 제3 모듈(43), 및 제3 모듈(43)에 결합되어 감소된 입력 비디오 시퀀스에 기초하여 입력 비디오 시퀀스 해상도보다 더 크지 않은 해상도를 갖는 출력 비디오 시퀀스를 생성하는 제4 모듈(44)을 포함할 수 있다.
도 5를 참조하여, 이미지 정렬 모듈(52)(예를 들면, 도 4로부터의 제2 모듈(42))은 입력 비디오 시퀀스의 광 흐름을 추정하는 모듈(55)을 더 포함할 수 있다. 예를 들면, 입력 비디오 시퀀스는 기준 프레임 R과 기준 프레임 R에 대한 적어도 하나의 전방 프레임 F 및 적어도 하나의 후방 프레임 B를 포함할 수 있다.
도 6을 참조하여, 노이즈 제거 모듈(63)(예를 들면, 도 4로부터의 제3 모듈(43))은 공액 기울기 최소화에 대응하여 정렬된 이미지들의 반복적인 전방 및 후방 재매핑을 수행하는 모듈(65)을 포함할 수 있다. 노이즈 제거 모듈(63)은 반복적인 라인 최소화를 수행하는 모듈(66)을 더 포함할 수 있다.
도 7을 참조하여, 대안적인 노이즈 제거 모듈(73)(예를 들면, 도 4로부터의 제3 모듈(43))은 정렬된 이미지들의 이미지 워핑을 수행하는 모듈(75)을 포함할 수 있다. 대안적인 노이즈 제거 모듈(73)은 정렬되고, 워핑된 이미지들에 공간적 및 시간적 양방향 필터링을 수행하는 모듈(76)을 더 포함할 수 있다.
도 8을 참조하여, 프로세서-기반 전자 시스템(80)은 프로세서(81) 및 프로세서(81)에 결합된 메모리(82)를 포함할 수 있다. 예를 들면, 메모리(82)는 프로세서에 의해 실행되었을 때, 입력 비디오 시퀀스 해상도를 갖는 입력 비디오 시퀀스를 수신하고, 입력 비디오 시퀀스로부터 이미지들을 정렬하고, 정렬된 이미지들에 기초하여 입력 비디오 시퀀스에서 노이즈를 감소시키고, 감소된 노이즈 입력 비디오 시퀀스에 기초하여 입력 비디오 시퀀스의 해상도보다 더 크지 않은 해상도를 갖는 출력 비디오 시퀀스를 생성하는 명령어들을 가질 수 있다. 예를 들면, 메모리(82)는 프로세서에 의해 실행되었을 때 입력 비디오 시퀀스의 광 흐름을 추정하는 명령어들을 더 가질 수 있다. 예를 들면, 입력 비디오 시퀀스는 기준 프레임과 기준 프레임에 대한 적어도 하나의 전방 프레임 및 적어도 하나의 후방 프레임을 포함할 수 있다.
예를 들면, 메모리(82)는 프로세서에 의해 실행되었을 때 공액 기울기 최소화에 대응하여 정렬된 이미지의 반복적인 전방 및 후방 재매핑을 수행하는 명령어들을 더 가질 수 있다. 메모리(82)는 프로세서에 의해 실행되었을 때 반복적인 라인 최소화를 수행하는 명령어들을 더 가질 수 있다. 대안적으로, 메모리(82)는 프로세서에 의해 실행되었을 때 정렬된 이미지들의 이미지 워핑을 수행하고, 정렬되고, 워핑된 이미지들에 시간적 및 공간적 양방향 필터링을 수행하는 명령어들을 더 가질 수 있다.
예를 들면, 프로세서(81) 및 메모리(82)는 하우징(83)에 배치될 수 있다. 예를 들면, 하우징은 데스크톱 컴퓨터, 랩톱 컴퓨터, 셋-톱 박스, 휴대 디바이스, 프로세서-기반 시스템(80)을 위한 다른 수많은 가능한 것들 중 어느 것에도 대응할 수 있다. 예를 들면, 시스템(80)은 프로세서(81) 및 메모리(82)에 결합된 디스플레이 디바이스(84)를 더 포함할 수 있다. 출력 비디오 시퀀스는 디스플레이 디바이스(84) 상에 디스플레이될 수 있다. 예를 들면, 시스템(80)은 프로세서(81, 82)에 사용자 입력을 제공하는 입력 디바이스(85)를 더 포함할 수 있다. 예를 들면, 입력 디바이스(85)는 무선 원격 제어 디바이스일 수 있다.
유리하게, 본 발명의 일부 실시예들은 비디오 및/또는 이미지 시퀀스의 노이즈를 감소시킬 수 있다. 동작의 이론에 제한을 두지 않고, 본 발명의 일부 실시예들은 비디오에 광 흐름 기반 견고한 다중-프레임 노이즈 감소를 제공할 수 있다. 예를 들면, 본 발명의 일부 실시예들은 다양한 상이한 소스들, 품질 및 취득 방법들로부터 (유비쿼터스 셀-폰 카메라, 웹캠 등과 같은) 저렴한 디바이스들로 얻어진 소비자급 비디오들, 비-최적 조건(어두운 조명)에서 얻어진 전문가급 비디오, 다양한 소스(X-레이, 초음파 등)로부터의 의학 이미지 시퀀스들, 수많은 다른 소스의 비디오 시퀀스들을 포함하는 비디오 및/또는 이미지 시퀀스에 적용될 수 있다.
동작의 이론에 제한을 두지 않고, 본 발명의 일부 실시예들은 비디오 및 이미지 시퀀스에 일반적으로 존재하는 높은 수준의 중복을 활용할 수 있다. 예를 들면, 정적 장면 및 카메라의 노이즈를 갖는 비디오 시퀀스의 경우에, 각 픽셀에서 노이즈 세기를 갖는 프레임들의 많은 샘플은 (예를 들면, 이용 가능한 모든 샘플들의 평균을 취함으로써) 그 픽셀의 근본적인 불변 세기의 통계적인 추정을 획득하는 데에 사용될 수 있다.
그러나, 많은 비디오 시퀀스에서, 장면들은 카메라 또는 대상의 움직임 때문에 일반적으로 정적이지 않다. 유리하게, 본 발명의 일부 실시예들은 비디오 시퀀스의 광 흐름을 추정할 수 있다. 예를 들면, 광 흐름은 장면에서 카메라 또는 대상의 움직임 때문에 시퀀스에 있어 한 이미지에서 다음 이미지로 세기 레벨의 명백한 움직임에 대응할 수 있다. 예를 들면, 광 흐름은 예컨대 2개의 프레임을 전방에서 2개의 프레임을 후방에서 취해, 총 5개의 프레임들을 사용하고 각 프레임을 기준 프레임에 대해 정렬하여, 기준 프레임(예를 들면, 명목상 중앙 프레임) 근처의 프레임들의 윈도우로부터 추정될 수 있다.
예를 들면, 이미지 정렬은 일반 비디오에서 제한적인 응용력을 갖는 낮은 파라미터 움직임 모델(예를 들면, 순수 병진, 회전, 아핀(affine), 투영 등)로부터, 치환 벡터가 모든 픽셀에 대해 추정되는 고밀도 비-파라미터 모델(예를 들면, 광 흐름)에 달하는 -중간 솔루션들(이러한 모델에 있어서 아웃라이어(outlier)로 간주된 포인트들에 대해 하나의 낮은 파라미터 움직임 모델에 개별적 광 흐름을 더함)도 또한 가능함- 상이한 움직임 모델들을 사용하여 추정될 수 있다. 예를 들면, 미국 특허 공보 제2008-0112630호, 표제 DIGITAL VIDEO STABILIZATION BASED ON ROBUST DOMINANT MOTION ESTIMATION은 장치가 입력 이미지 시퀀스를 수신하고 이미지 시퀀스의 이웃한 이미지들 사이에서 지배적인 움직임을 추정할 수 있다는 것을 설명한다. 장치는 움직이는 대상에 독립적으로 대응하는 아웃라이어들을 자동으로 감지하고 감소시키는 견고한 추정자(estimator)를 사용할 수 있다.
본 발명의 일부 실시예들은 이론적인 서브-픽셀 정확도로 기울기 기반, 다중-해상도, 광 흐름 추정을 이용할 수 있다. 그러나, 고밀도 움직임 추정을 위한 다른 방법들이 잠재적으로 적용가능하다. 예를 들면, 프레임 레이트 전환에 적용되는 움직임 추정 기술들이 적용가능하다.
도 9를 참조하여, 본 발명의 일부 실시예들은 기울기 기반 개략 상세 추정을 사용하는 광 흐름 추정을 포함할 수 있다. 예를 들면, 다중-해상도 피라미드가 획득되면, 이용가능하다면 추가적인 입력으로서 이전 레벨로부터 추정된 흐름을 사용하여 각각의 해상도 레벨에서 광 흐름을 추정할 수 있다. 각각의 레벨에서 광 흐름은 먼저 광 흐름의 현재 추정치에 따라 입력 이미지들을 재매핑하고 제2차 기울기를 연산하고 픽셀 자체의 이웃으로부터 기울기 제한을 사용하여 각각의 픽셀에서 흐름 벡터를 계산하기를 반복함으로써 추정된다.
본 발명의 일부 실시예들을 따라, 견고한 프레임 노이즈 제거가 비디오 시퀀스의 정렬된 이미지에 적용될 수 있다. 예를 들면, 정렬이 추정되면, 동일한 장면 위치에 대응하는 상이한 프레임들로부터 얻어지는 노이즈 세기들은 중앙 기준 프레임의 노이즈 제거 버전을 획득하도록 조합될 수 있다. 본 발명의 일부 실시예들에 따라, 견고함의 범위는 프레임 노이즈 제거에 적용될 수 있다. 예를 들면, 본 발명의 일부 실시예들에서 견고한 프레임 노이즈 제거는 상대적으로 높은 연산 비용을 필요로 하고 매우 효과적인 노이즈 제거(예를 들면, 베이시안 방법)를 제공할 수 있다. 예를 들면 본 발명의 일부 실시예들에서, 견고한 프레임 노이즈 제거는 상대적으로 낮은 연산 비용을 필요로 할 수 있으나 덜 효과적인 노이즈 제거(예를 들면, 프리워핑(pre-warping))를 제공한다.
(본원에서 제안된 것들과 같은) 견고한 방법들 중 하나의 중요한 파라미터는 노이즈를 고려한 에러의 크기들이 노이즈로 간주되고 크기들이 아웃라이어들로 간주되는 것에 관한 스케일 파라미터로 알려진 것이다. 이러한 중요한 파라미터는 (수직 및 수평 픽셀 차의 MAD -median of absolute differences-에 기초한) 이미지 노이즈의 견고한 추정을 사용하여 입력 이미지로부터 자동으로 추정된다. 이것은 제안된 방법들이 입력 이미지 시퀀스의 노이즈 레벨에 관계없이 사용자 상호작용 없이 완전히 자동 모드로 동작하도록 한다.
도 10을 참조하여, 예시적인 베이시안 방법이 이미지 및 추가적인 노이즈를 정렬하는 데에 필요한 워핑을 포함하는, 노이즈 없는 이미지로부터 대응하는 측정된 프레임까지 직접 이미지 형성을 사용하는 것에 기초할 수 있다. 그것은 또한 원래 이미지에서 볼 수 있을 것으로 기대되는 것의 간략한 확률적인 설명인 노이즈 없는 이미지 상의 이전 모델을 포함할 수 있다. 예를 들면, 방법은 베이시안 모델에 의해 주어진 비용 함수를 최소화하기 위해 비-선형 공액 기울기를 사용할 수 있다. 노이즈 없는 이미지의 현재 추정을 g라고 하면, 2개의 업데이트들은 (후방 재매핑, 에러의 연산, 비-선형 함수의 적용, 및 전방 재매핑을 포함하는) 이미지 형성 모델 및 이전 모델을 사용하여 연산된다. 업데이트가 연산되면, 최적 가중치 요소 α는 라인 최소화를 사용하여 추정되고, 업데이트는 이 가중치에 의해 곱해지고 노이즈 없는 이미지의 추정치 g에 더해져서 g의 새로운 현재 추정치를 획득한다. 절차는 수렴할 때까지 반복될 수 있다.
유리하게, 전술된 미국 특허 제7,447,382호에서 설명된 슈퍼-해상도 이미지 프로세싱에 비교하여, 본 발명의 일부 실시예들은 여전히 좋은 노이즈 제거 성능을 제공하면서 상대적으로 낮은 연산 비용을 필요로 할 수 있다. 예를 들면, 본 발명의 일부 실시예들이 이미지의 해상도를 증가시키지 않기 때문에, 이미지 형성 모델은 다운/업 샘플링을 생략할 수 있다. 본 발명의 일부 실시예들은 반복적일 수 있고 직접 및 반전 이미지 형성 모델(기본적으로 전방 및 후방 재매핑)의 적용을 수차례 이용할 뿐만 아니라, 각각의 반복에서의 라인 최소화를 실행할 수 있어, 높은 연산 비용을 초래하게 된다. 유리하게, 본 반복적인 모델-기반 방법의 결과는 높은 노이즈 감소를 갖는 일반적으로 매우 높은 품질이고 실제로 결과 이미지에서 추가적인 블러(blur)가 도입되지 않는다. 본 발명의 일부 실시예들에서 추가적인 블러 제거 능력이 이용될 수 있다.
본 발명의 일부 실시예들에 따라, 더 낮은 연산 비용 방법은 이미지를 프리워핑하고 결과를 조합하는 것에 기초할 수 있다. 예를 들면, 정렬이 추정되면, 통계적인 방법으로 동일한 장면 위치에 대응하는 상이한 프레임들로부터 얻어진 노이즈 세기들을 조합하여 중앙 프레임의 노이즈 제거 버젼을 획득하는 것이 가능하다. 예를 들면, 워핑은 추정된 광 흐름을 사용하여 중앙 프레임 근처의 이미지들의 윈도우에서 매 이미지마다 수행될 수 있다. 워핑은 후방 보간법(interpolation)을 사용하여(예를 들면, 쌍일차 보간법을 사용하여) 행해질 수 있다.
주변 이미지들이 중앙 프레임에 대해 정렬되고 워핑된 후에, 그 결과는 픽셀들이 정렬된 프레임들의 집합이며, 프레임마다 근본적인 노이즈 없는 세기의 적어도 하나의 노이즈 샘플을 제공한다. 예를 들면, 모든 픽셀 위치에서 상이한 이미지들의 해당 픽셀의 가시성에 따라 (중앙 프레임에 대응하는 하나인) 1로부터 다수의 이미지들에 달하는 다수의 노이즈 세기 샘플들이 있다. 본 발명의 일부 실시예들에 따라, 모든 이용가능한 샘플들은 양방향 필터링과 유사한 방식을 사용하여 조합될 수 있다.
예를 들면, 각각의 픽셀 위치에 대해 가중치 평균이 결정될 수 있고, 각각의 샘플의 가중치는 (예를 들면, 가우시안 함수를 사용하는) 샘플과 중앙 프레임 사이에서의 세기의 차의 함수이다. 유리하게, 본 발명의 일부 실시예들은 중앙 프레임의 세기 값에 가까운 세기들을 선호하고, 이는 정확하지 않은 정렬로부터 얻어진 잘못된 세기들을 조합하는 것을 방지할 수 있다. 유리하게, 이 방법의 연산 비용은 반복을 요구하지 않음으로써 상대적으로 낮으며 프로세스는 픽셀 단위로 로컬하게 행해진다.
유리하게, 본 발명의 일부 실시예들은 해상도를 증가시키지 않고, 상대적으로 낮은 연산 비용을 갖는 (예를 들면, 베이시안 방법과 비교하여) 상대적으로 간단한 비디오에 대한 다중-프레임 노이즈 제거 방법을 제공할 수 있다. 조합되는 프레임들이 정렬되면, 본 발명의 일부 실시예들은 매우 작은 추가 대역폭 및 동작들을 필요로 할 수 있다. 유리하게, 본 발명의 일부 실시예들은, 이미지 정렬을 수행하는 데에 (예를 들면, 프레임 레이트 전환에 대해 사용된 것인) 다른 모듈들에 의해 이미 추정된 움직임을 이용할 수 있고, 그에 따라 추가적인 연산 절감(예를 들면, 하드웨어 구현에 있어서 잠재적인 실리콘 영역 또는 보드 영역 절감)이 된다.
본 발명의 일부 실시예들은 양방향 필터링을 사용하는 견고한 노이즈 제거를 포함할 수 있다. 이미지들이 정렬되면, 적절한 통계 방법을 사용하여 노이즈 측정치의 기초가 되는 노이즈 없는 세기의 값을 추정하기 위해 픽셀 단위로 세기 값들을 조합할 수 있다. 예를 들면, 측정치를 조합하는 직선적인 방법은 평균 또는 중간값과 같은 단순한 통계적 추정자를 취하는 것이다. 그러나, 이러한 추정자들은 정렬에서의 에러에 충분히 견고하지 않을 수 있다. 정렬에서의 총 에러들은 진보한 움직임 추정 기술들을 사용해서도 발생할 수 있다. 유리하게, 본 발명의 일부 실시예들은 양방향 필터링에 기초하여 노이즈 측정치를 조합할 수 있고, 이는 정렬 에러가 있을 때에도 결과를 향상시킬 수 있다.
양방향 필터링은 주변 윈도우의 픽셀들의 세기의 가중치 평균을 각각의 픽셀에서 얻는 것(예를 들면, 선형 필터링과 유사)에 기초하는 공간적 노이즈 제거에 유용할 수 있으며, 여기서 주어진 픽셀의 가중치는 그 픽셀의 세기와 중앙 프레임의 세기 사이의 차의 함수(예를 들면, 중앙 픽셀에 가까운 세기들에 가중치를 더 주는 가우시안)이다.
본 발명의 일부 실시예들은 상이한 프레임들로부터 얻어진 세기들을 조합할 수 있고, 이는 주어진 이미지에 있어 다음과 같은 솔루션을 도출한다(개별적인 픽셀 위치는 명확성을 위해 등식으로부터 생략됨):
Figure pct00001
여기서 N은 조합되는 프레임들의 수이고, c는 중앙(기준) 프레임에 대응하는 인덱스이며, 이미지 Ik는 중앙 프레임에 대해 추정된 정렬에 따라 이미 워핑되었다.
본 발명의 일부 실시예들은 하나의 주어진 픽셀의 값을 획득하도록 시간적 및 공간적 정보 모두를 조합할 수 있으며, 정보는 중앙 프레임의 주어진 픽셀 주변의 윈도우의 이웃하는 픽셀들과 함께, 다수의 선-정렬 프레임들의 동일한 위치로부터 조합될 수 있다.
동작의 이론을 제한하지 않고, 양방향 필터는 반복적으로 재-가중된 최소값의 방법의 하나의 반복이 중앙 픽셀의 세기로 초기화된 솔루션으로 제곱하는 것으로 이해될 수 있다. 유리하게, 본 발명의 일부 실시예들은 비-반복적이고, 아웃라이어들에 견고하며, 중앙 픽셀의 원래 값에 근접한 노이즈 제거 값을 제거할 수 있다. 이것은 견고한 추정자의 중단(breakdown) 포인트가 도달되었을 때, 견고한 추정자를 사용하고, 아티팩트(artifact)를 생성하여, 총 정렬 에러가 원래 값으로부터 매우 떨어진 값들에 세기의 추정치를 치중되게 가할 수 있을 때 특히 유리할 수 있다.
반복적인 RWLS에서 이러한 절차는 수렴이 달성될 때까지 반복될 수 있다. 본 발명의 일부 실시예들에 따라, 수학식 1의 양방향 필터링은 RWLS 방법의 합리적인 추정치인 결과를 제공한다. 예를 들면, 하나의 특정한 노이즈 측정치는 g의 초기 추정치로서 사용되는, 중앙값으로 정의될 수 있고, 결과는 단지 하나의 반복으로 연산될 수 있다. 그러므로, 본 발명의 일부 실시예들에서 양방향 필터링은 특정한 시작 포인트로 반복적인 RWLS의 하나의 반복을 수행하는 것으로 이해될 수 있다.
표준 양방향 필터링에서 가중 함수에 대한 가장 일반적인 선택은 가우시안 가중 함수이며, 이는 견고한 통계학에서 웰치(Welsch) 함수로 알려진 기존의 견고한 함수에 대응한다. 견고한 함수의 다른 선택들은 양방향 필터에 대한 적절한 대안책들일 수 있다. 예를 들면, 코치(Cauchy) 함수는 그것이 슈퍼-해상도 응용을 초래하는 고 품질을 제공할 수 있기 때문에 비디오 노이즈 제거에 있어 적절할 수 있다. 후버(Huber) 함수 또한 좋은 결과를 제공한다. 대조적으로, 웰치 함수와 유사한 형태를 갖는 투키(Tukey) 함수는 적절할 수 있으나 그다지 좋지 않을 수 있다.
도 11 내지 도 19를 참조하여, 이러한 노이즈 제거 방법의 결과물들이 다수의 테스트 이미지로 도시되었다. 도 11은 일반적인 노이즈 레벨을 갖는 HD 전문가용 품질 시퀀스의 크롭(crop)(예를 들면, 서브-영역)이다. 도 12는 본 발명의 일부 실시예들에 따라 베이시안 노이즈 제거 후를 나타내는 디지털 이미지이다. 도 13은 본 발명의 일부 실시예들에 따라 시간적인 양방향 노이즈 제거 후를 나타내는 디지털 이미지이다. 도 14는 어두운 조명에서 얻어진, 높은 레벨의 노이즈를 갖는 홈 비디오로부터의 디지털 이미지이다. 도 15는 본 발명의 일부 실시예들에 따라 베이시안 노이즈 제거 후를 나타내는 디지털 이미지이다. 도 16은 본 발명의 일부 실시예들에 따라 시간적 양방향 노이즈 제거 후를 나타내는 디지털 이미지이다. 도 17 내지 도 19는 세부사항을 도시하기 위해 확대된 도 14 내지 도 16에 대응한다.
도 13, 16 및 19의 결과는 5개의 프레임의 오직 시간적인 조합(수학식 1)을 사용하고, 가우시안의 표준 편차가 (수직 및 수평 픽셀 차의 MAD -median of absolute differences- 에 기초하여) 이미지 노이즈의 견고한 추정치의 2.5 배로 추정되는 가우시안 가중치 함수를 사용하여 획득된다. 선행하는 평가에서 이러한 방법으로 얻어진 결과들은 더 높은 연산 비용을 갖는 반복적인 베이시안으로 얻어진 값보다 더 낮은 품질(다소 더 많은 노이즈 및 블러 함유)을 갖는 것으로 보인다. 그러나, 유리하게, 양 방법들은 원본보다 명백하게 더 적은 노이즈를 갖는 이미지들을 제공하는 것으로 보인다. 더 높은 연산 비용 베이시안 재구성은 양방향 필터링 방식보다 더 나은 선명도(sharpness)를 유지하는 것으로 보인다.
유리하게, 본 발명의 일부 실시예들은 고 품질 노이즈 제거를 달성하고, 실질적으로 아티팩트가 없는 것을 달성하도록 (견고한 함수를 갖는 베이시안 재구성 또는 양방향 필터링과 같은) 견고한 통계적 방법들과 움직임 추정을 조합하고 그것은 실질적인 공간적 블러를 도입하지 않는다. 게다가, 방법은 완전히 자동으로 될 수 있으며 전혀 노이즈가 없는 것으로부터 매우 노이즈가 많은 것으로, 노이즈가 없는 시퀀스에서 시각적 품질의 감소 또는 눈에 띌만한 아티팩트들을 도입하는 것 없이, 상이한 노이즈 레벨을 갖는 시퀀스들에 적용될 수 있다.
예를 들면, 본 발명의 일부 실시예들은 잠재적으로 노이즈가 있는 콘텐츠를 클린(clean)하는 데에 노이즈 제거 모듈로부터 이득을 얻을 수 있는 디스플레이들 및/또는 셋-톱 박스들에 통합되는 비디오 프로세싱 파이프라인들에서 유용할 수 있다. 예를 들면, 본 발명의 일부 실시예들은 고정 기능 하드웨어로 구현될 수 있다. 예를 들면, 본 발명의 일부 실시예들은 특수용 또는 범용 프로세서들 상에서 실행되는 소프트웨어 솔루션으로 구현될 수 있다. 모듈들과 관련하여 설명되었더라도, 당업자들은 그러한 모듈들이 반드시 고정된 구성요소를 갖는 개별 부품일 필요가 없다는 것을 이해할 것이다. 그보다는 그러한 모듈들은 프로세서-기반 시스템의 아키텍쳐를 통해 분포된 하드웨어 및/또는 소프트웨어의 다양한 조합으로 구현될 수 있다.
당업자들은 도 1 내지 도 3의 흐름도 및 도 4 내지 도 10의 블록도가 다수의 하드웨어, 소프트웨어 및/또는 펌웨어의 임의로 구현될 수 있다는 것을 이해할 것이다. 예를 들면, 도면들은 특수용 하드웨어 회로에 의해 완전히 구현될 수 있다. 대안적으로, 도면들은 범용 프로세서 상에 실행되는 소프트웨어에 의해 완전히 구현될 수 있다. 대안적으로, 도면들은 범용 프로세서 상에 실행되는 소프트웨어와 특수용 하드웨어 사이에 선택적으로 나눠질 수 있다.
본 발명의 전술한 그리고 다른 양상들은 개별적으로 그리고 조합으로 달성된다. 본 발명은 특정한 클레임에 의해 명확히 요구되지 않는 한 그러한 양상들의 두가지 이상을 요구하는 것으로 이해되어서는 안된다. 게다가, 본 발명이 바람직한 예들로 현재 고려되는 것과 연관되어 설명되었지만, 본 발명이 개시된 예들에 제한적이지 않고, 그와 대조적으로, 본 발명의 사상 및 범위 내에 포함되는 다양한 수정 및 균등한 구성들을 커버하도록 의도된 것을 이해할 것이다.

Claims (21)

  1. 비디오 시퀀스를 프로세싱하는 방법으로서,
    입력 비디오 시퀀스 해상도를 갖는 입력 비디오 시퀀스를 수신하는 단계;
    상기 입력 비디오 시퀀스로부터 이미지들을 정렬하는 단계;
    상기 정렬된 이미지들에서 노이즈를 감소시키는 단계; 및
    상기 감소된 노이즈 이미지들로부터 상기 입력 비디오 시퀀스 해상도와 동일한 해상도를 갖는 출력 비디오 시퀀스를 생성하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 입력 비디오 시퀀스로부터 이미지들을 정렬하는 단계는
    상기 입력 비디오 시퀀스로부터 이미지들을 정렬하기 전에 상기 입력 비디오 시퀀스의 광 흐름을 추정하는 단계를 더 포함하는 방법.
  3. 제2항에 있어서,
    상기 입력 비디오 시퀀스는 기준 프레임과 상기 기준 프레임에 대한 적어도 하나의 전방 프레임 및 적어도 하나의 후방 프레임을 포함하는 방법.
  4. 제1항에 있어서,
    상기 정렬된 이미지들에서 노이즈를 감소시키는 단계는
    공액 기울기 최소화에 대응하여 상기 정렬된 이미지들의 반복적인 전방 및 후방 재매핑을 수행하는 단계를 포함하는 방법.
  5. 제4항에 있어서,
    상기 정렬된 이미지들에서 노이즈를 감소시키는 단계는
    반복적인 라인 최소화를 수행하는 단계를 포함하는 방법.
  6. 제1항에 있어서,
    상기 정렬된 이미지들에서 노이즈를 감소시키는 단계는
    상기 정렬된 이미지들의 이미지 워핑을 수행하는 단계를 포함하는 방법.
  7. 제6항에 있어서,
    상기 정렬된 이미지의 노이즈들에서 감소시키는 단계는
    상기 정렬되고, 워핑된 이미지들에 시간적 및 공간적 양방향 필터링을 수행하는 단계를 포함하는 방법.
  8. 비디오 프로세싱 장치로서,
    입력 비디오 시퀀스 해상도를 갖는 입력 비디오 시퀀스를 수신하는 제1 모듈;
    상기 제1 모듈에 결합되어 상기 입력 비디오 시퀀스로부터 이미지들을 정렬하는 제2 모듈;
    상기 제2 모듈에 결합되어 상기 정렬된 이미지들에 기초하여 상기 입력 비디오 시퀀스에서 노이즈를 감소시키는 제3 모듈; 및
    상기 제3 모듈에 결합되어 상기 감소된 노이즈 입력 비디오 시퀀스에 기초하여 상기 입력 비디오 시퀀스 해상도보다 더 크지 않은 해상도를 갖는 출력 비디오 시퀀스를 생성하는 제4 모듈
    을 포함하는 비디오 프로세싱 장치.
  9. 제8항에 있어서,
    상기 제2 모듈은 상기 입력 비디오 시퀀스의 광 흐름을 추정하는 모듈을 포함하는 비디오 프로세싱 장치.
  10. 제9항에 있어서,
    상기 입력 비디오 시퀀스는 기준 프레임과 상기 기준 프레임에 대한 적어도 하나의 전방 프레임 및 적어도 하나의 후방 프레임을 포함하는 비디오 프로세싱 장치.
  11. 제8항에 있어서,
    상기 제3 모듈은 공액 기울기 최소화에 대응하여 상기 정렬된 이미지들의 반복적인 전방 및 후방 재매핑을 수행하는 모듈을 포함하는 비디오 프로세싱 장치.
  12. 제11항에 있어서,
    상기 제3 모듈은 반복적인 라인 최소화를 수행하는 모듈을 더 포함하는 비디오 프로세싱 장치.
  13. 제8항에 있어서,
    상기 제3 모듈은 상기 정렬된 이미지들의 이미지 워핑을 수행하는 모듈을 포함하는 비디오 프로세싱 장치.
  14. 제13항에 있어서,
    상기 제3 모듈은 상기 정렬되고, 워핑된 이미지들에 양방향 필터링을 수행하는 모듈을 더 포함하는 비디오 프로세싱 장치.
  15. 프로세서 기반 전자 시스템으로서,
    프로세서; 및
    상기 프로세서에 결합된 메모리를 포함하고,
    상기 메모리는 상기 프로세서에 의해 실행될 때,
    입력 비디오 시퀀스 해상도를 갖는 입력 비디오 시퀀스를 수신하고,
    상기 입력 비디오 시퀀스로부터 이미지들을 정렬하고,
    상기 정렬된 이미지들에 기초하여 상기 입력 비디오 시퀀스에서 노이즈를 감소시키고,
    상기 감소된 노이즈 입력 비디오 시퀀스에 기초하여 상기 입력 비디오 시퀀스 해상도보다 더 크지 않은 해상도를 갖는 출력 비디오 시퀀스를 생성하는
    명령어들을 갖는 프로세서 기반 전자 시스템.
  16. 제15항에 있어서,
    상기 메모리는 상기 프로세서에 의해 실행될 때, 상기 입력 비디오 시퀀스의 광 흐름을 추정하는 명령어들을 더 갖는 프로세서 기반 전자 시스템.
  17. 제16항에 있어서,
    상기 입력 비디오 시퀀스는 기준 프레임과 상기 기준 프레임에 대한 적어도 하나의 전방 프레임 및 적어도 하나의 후방 프레임을 포함하는 프로세서 기반 전자 시스템.
  18. 제15항에 있어서,
    상기 메모리는 상기 프로세서에 의해 실행될 때, 공액 기울기 최소화에 대응하여 상기 정렬된 이미지들의 반복적인 전방 및 후방 재매핑을 수행하는 명령어들을 더 갖는 프로세서 기반 전자 시스템.
  19. 제18항에 있어서,
    상기 메모리는 상기 프로세서에 의해 실행될 때, 반복적인 라인 최소화를 수행하는 명령어들을 더 갖는 프로세서 기반 전자 시스템.
  20. 제15항에 있어서,
    상기 메모리는 상기 프로세서에 의해 실행될 때, 상기 정렬된 이미지들의 이미지 워핑을 수행하는 명령어들을 더 갖는 프로세서 기반 전자 시스템.
  21. 제20항에 있어서,
    상기 메모리는 상기 프로세서에 의해 실행될 때, 상기 정렬되고, 워핑된 이미지들에 양방향 필터링을 수행하는 명령어들을 더 갖는 프로세서 기반 전자 시스템.
KR1020117007690A 2008-12-30 2009-12-16 비디오의 노이즈 감소를 위한 방법 및 장치 KR101252363B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/317,806 US8903191B2 (en) 2008-12-30 2008-12-30 Method and apparatus for noise reduction in video
US12/317,806 2008-12-30
PCT/US2009/068185 WO2010077913A2 (en) 2008-12-30 2009-12-16 Method and apparatus for noise reduction in video

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020127022588A Division KR101573974B1 (ko) 2008-12-30 2009-12-16 비디오의 노이즈 감소를 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110048591A true KR20110048591A (ko) 2011-05-11
KR101252363B1 KR101252363B1 (ko) 2013-04-08

Family

ID=42284495

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020127022588A KR101573974B1 (ko) 2008-12-30 2009-12-16 비디오의 노이즈 감소를 위한 방법 및 장치
KR1020117007690A KR101252363B1 (ko) 2008-12-30 2009-12-16 비디오의 노이즈 감소를 위한 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020127022588A KR101573974B1 (ko) 2008-12-30 2009-12-16 비디오의 노이즈 감소를 위한 방법 및 장치

Country Status (11)

Country Link
US (1) US8903191B2 (ko)
JP (1) JP5497066B2 (ko)
KR (2) KR101573974B1 (ko)
CN (1) CN102171722B (ko)
DE (1) DE112009002658T5 (ko)
FI (1) FI126544B (ko)
GB (1) GB2478438B (ko)
HK (1) HK1160270A1 (ko)
RU (1) RU2486591C2 (ko)
SG (1) SG172407A1 (ko)
WO (1) WO2010077913A2 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8903191B2 (en) 2008-12-30 2014-12-02 Intel Corporation Method and apparatus for noise reduction in video
US8331714B2 (en) * 2009-02-23 2012-12-11 Sharp Laboratories Of America, Inc. Methods and systems for image processing
US9286691B2 (en) * 2009-04-17 2016-03-15 The Hong Kong University Of Science And Technology Motion estimation and compensation of feature-motion decorrelation
US8818131B2 (en) * 2010-08-20 2014-08-26 Adobe Systems Incorporated Methods and apparatus for facial feature replacement
JP5726482B2 (ja) * 2010-11-08 2015-06-03 株式会社東芝 画像処理装置及びそれを用いたｘ線診断装置、画像処理装置の作動方法
US8923392B2 (en) 2011-09-09 2014-12-30 Adobe Systems Incorporated Methods and apparatus for face fitting and editing applications
EP2783344B1 (en) * 2011-11-23 2017-05-03 Koninklijke Philips N.V. Image domain de-noising
DE102011121332A1 (de) * 2011-12-16 2013-06-20 Testo Ag Verfahren zur Erzeugung von SR-Bildern mit verbesserter Bildauflösung und Messvorrichtung
US9639915B2 (en) * 2012-08-08 2017-05-02 Samsung Electronics Co., Ltd. Image processing method and apparatus
WO2015119207A1 (ja) * 2014-02-07 2015-08-13 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
US9311690B2 (en) * 2014-03-11 2016-04-12 Adobe Systems Incorporated Video denoising using optical flow
WO2016114684A1 (ru) * 2015-01-16 2016-07-21 федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики" (Университет ИТМО) Способ повышения резкости цифрового изображения
US10853625B2 (en) 2015-03-21 2020-12-01 Mine One Gmbh Facial signature methods, systems and software
US12169944B2 (en) 2015-03-21 2024-12-17 Mine One Gmbh Image reconstruction for virtual 3D
US11238564B2 (en) * 2015-03-21 2022-02-01 Mine One Gmbh Temporal de-noising
US20220230280A1 (en) * 2015-03-21 2022-07-21 Mine One Gmbh Temporal de-noising
US10551913B2 (en) 2015-03-21 2020-02-04 Mine One Gmbh Virtual 3D methods, systems and software
CN109155059B (zh) 2016-03-23 2023-05-09 皇家飞利浦有限公司 通过双通道时域降噪的改善的图像质量
US10504211B2 (en) * 2017-03-10 2019-12-10 Disney Enterprises, Inc. Sample-based video denoising
CN109509146B (zh) * 2017-09-15 2023-03-24 腾讯科技（深圳）有限公司 图像拼接方法及装置、存储介质
CN109949221B (zh) * 2019-01-30 2022-05-17 深圳大学 一种图像处理方法及电子设备
US11176682B2 (en) * 2019-11-27 2021-11-16 Nvidia Corporation Enhanced optical flow estimation using a varied scan order
US12148120B2 (en) * 2019-12-18 2024-11-19 Ati Technologies Ulc Frame reprojection for virtual reality and augmented reality
CN113938575B (zh) * 2021-07-23 2023-06-13 东莞理工学院 一种视频超分辨率重构方法、装置、终端设备及存储介质

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561975A (ja) 1991-08-31 1993-03-12 Sony Corp 信号マツチング装置
US5208673A (en) 1991-11-05 1993-05-04 Matsushita Electric Corporation Of America Noise reduction in frame transmitted video signals
JP3306671B2 (ja) * 1992-09-24 2002-07-24 日本テキサス・インスツルメンツ株式会社 ノイズ低減回路
US5361105A (en) * 1993-03-05 1994-11-01 Matsushita Electric Corporation Of America Noise reduction system using multi-frame motion estimation, outlier rejection and trajectory correction
US5453792A (en) * 1994-03-18 1995-09-26 Prime Image, Inc. Double video standards converter
US5442407A (en) 1994-03-22 1995-08-15 Matsushita Electric Corporation Of America Video signal noise reduction system using time-varying filter coefficients
JPH0865682A (ja) 1994-08-25 1996-03-08 Sanyo Electric Co Ltd 動画像の動き補償予測方式
US5696848A (en) 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
US6408104B1 (en) * 1997-12-31 2002-06-18 Lg Electronics Inc. Method and apparatus for eliminating noise in a video signal encoder
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US6681058B1 (en) * 1999-04-15 2004-01-20 Sarnoff Corporation Method and apparatus for estimating feature values in a region of a sequence of images
US6798897B1 (en) * 1999-09-05 2004-09-28 Protrack Ltd. Real time image registration, motion detection and background replacement using discrete local motion estimation
WO2001028238A2 (en) * 1999-10-08 2001-04-19 Sarnoff Corporation Method and apparatus for enhancing and indexing video and audio signals
US7289154B2 (en) * 2000-05-10 2007-10-30 Eastman Kodak Company Digital image processing method and apparatus for brightness adjustment of digital images
JP3619136B2 (ja) 2000-09-25 2005-02-09 キヤノン株式会社 画像形成装置
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
KR100405150B1 (ko) * 2001-06-29 2003-11-10 주식회사 성진씨앤씨 시공간 적응적 잡음 제거/고화질 복원 방법 및 이를응용한 고화질 영상 입력 장치
WO2003024184A2 (en) * 2001-09-14 2003-03-27 Cornell Research Foundation, Inc. System, method and apparatus for small pulmonary nodule computer aided diagnosis from computed tomography scans
US7711044B1 (en) * 2001-10-29 2010-05-04 Trident Microsystems (Far East) Ltd. Noise reduction systems and methods
AU2003246185A1 (en) * 2002-06-25 2004-01-06 Matsushita Electric Industrial Co., Ltd. Motion detection device and noise reduction device using that
US6824514B2 (en) 2002-10-11 2004-11-30 Koninklijke Philips Electronics N.V. System and method for visualizing scene shift in ultrasound scan sequence
US7218792B2 (en) 2003-03-19 2007-05-15 Mitsubishi Electric Research Laboratories, Inc. Stylized imaging using variable controlled illumination
JP4017578B2 (ja) * 2003-09-19 2007-12-05 三洋電機株式会社 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体
RU2295297C2 (ru) * 2003-12-02 2007-03-20 Александр Васильевич Жукоцкий Способ исследования и диагностики состояния биологического объекта или его части
JP2005295287A (ja) 2004-04-01 2005-10-20 Shibasoku:Kk 映像信号処理装置
JP2005295302A (ja) 2004-04-01 2005-10-20 Mitsubishi Electric Corp カメラ画像処理装置
US7447382B2 (en) 2004-06-30 2008-11-04 Intel Corporation Computing a higher resolution image from multiple lower resolution images using model-based, robust Bayesian estimation
US7730406B2 (en) * 2004-10-20 2010-06-01 Hewlett-Packard Development Company, L.P. Image processing system and method
JP4640579B2 (ja) 2005-01-27 2011-03-02 ソニー株式会社 情報処理装置および回収基板
JP5352942B2 (ja) 2005-03-31 2013-11-27 株式会社ニコン 画像処理方法、画像処理プログラム、および画像処理装置
JP2006319136A (ja) 2005-05-12 2006-11-24 Mitsubishi Electric Corp 高周波モジュール
US7548659B2 (en) * 2005-05-13 2009-06-16 Microsoft Corporation Video enhancement
US20070047834A1 (en) * 2005-08-31 2007-03-01 International Business Machines Corporation Method and apparatus for visual background subtraction with one or more preprocessing modules
US9113147B2 (en) * 2005-09-27 2015-08-18 Qualcomm Incorporated Scalability techniques based on content information
US7519235B1 (en) * 2005-10-24 2009-04-14 Adobe Systems Incorporated Using nonlinear filtering while resizing an image to preserve sharp image detail
JP4679372B2 (ja) 2006-01-20 2011-04-27 株式会社日立製作所 映像ノイズ削減処理装置及び映像表示装置
US7861068B2 (en) 2006-03-07 2010-12-28 Intel Corporation Method and apparatus for using dynamic workload characteristics to control CPU frequency and voltage scaling
JP4859516B2 (ja) 2006-04-27 2012-01-25 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像復元方法
JP2006221190A (ja) 2006-05-01 2006-08-24 National Institute Of Advanced Industrial & Technology 共焦点走査型顕微鏡システム
GB0611969D0 (en) * 2006-06-16 2006-07-26 Robert Gordon The University Video content prioritisation
US7945117B2 (en) * 2006-08-22 2011-05-17 Siemens Medical Solutions Usa, Inc. Methods and systems for registration of images
US7760848B2 (en) 2006-09-08 2010-07-20 General Electric Company Method and system for generating a multi-spectral image of an object
US20080112630A1 (en) 2006-11-09 2008-05-15 Oscar Nestares Digital video stabilization based on robust dominant motion estimation
CN100530239C (zh) 2007-01-25 2009-08-19 复旦大学 基于特征匹配与跟踪的视频稳定方法
CN101543065B (zh) * 2007-02-20 2012-03-14 索尼株式会社 图像显示装置、视频信号处理器以及视频信号处理方法
JP4321626B2 (ja) 2007-05-23 2009-08-26 ソニー株式会社 画像処理方法および画像処理装置
US8478555B2 (en) * 2007-11-21 2013-07-02 University Of Manitoba System and methods of improved tomography imaging
US8718133B2 (en) * 2008-03-26 2014-05-06 Samsung Electronics Co., Ltd. Method and system for image scaling detection
US8339456B2 (en) * 2008-05-15 2012-12-25 Sri International Apparatus for intelligent and autonomous video content generation and streaming
US8903191B2 (en) 2008-12-30 2014-12-02 Intel Corporation Method and apparatus for noise reduction in video
US8712156B2 (en) * 2010-01-10 2014-04-29 Bronstein Bronstein Kimmel Technologies Ltd. Comparison of visual information
US8447565B2 (en) * 2010-06-07 2013-05-21 Lawrence Livermore National Security, Llc Approximate error conjugation gradient minimization methods
US8818131B2 (en) 2010-08-20 2014-08-26 Adobe Systems Incorporated Methods and apparatus for facial feature replacement

Also Published As

Publication number Publication date
HK1160270A1 (en) 2012-08-10
KR101573974B1 (ko) 2015-12-02
WO2010077913A3 (en) 2010-09-02
US20100165206A1 (en) 2010-07-01
CN102171722A (zh) 2011-08-31
DE112009002658T5 (de) 2012-08-02
SG172407A1 (en) 2011-07-28
KR101252363B1 (ko) 2013-04-08
JP5497066B2 (ja) 2014-05-21
KR20120114386A (ko) 2012-10-16
FI126544B (fi) 2017-02-15
JP2012514419A (ja) 2012-06-21
WO2010077913A2 (en) 2010-07-08
RU2486591C2 (ru) 2013-06-27
GB201105549D0 (en) 2011-05-18
FI20115688A (fi) 2011-06-30
GB2478438B (en) 2014-06-25
RU2011131987A (ru) 2013-02-10
CN102171722B (zh) 2014-08-13
GB2478438A (en) 2011-09-07
US8903191B2 (en) 2014-12-02

Similar Documents

Publication Publication Date Title
KR101252363B1 (ko) 비디오의 노이즈 감소를 위한 방법 및 장치
US8428390B2 (en) Generating sharp images, panoramas, and videos from motion-blurred videos
US8768069B2 (en) Image enhancement apparatus and method
US8306121B2 (en) Method and apparatus for super-resolution of images
Tai et al. Richardson-lucy deblurring for scenes under a projective motion path
US9230303B2 (en) Multi-frame super-resolution of image sequence with arbitrary motion patterns
US8755636B2 (en) Method and apparatus of high-resolution image reconstruction based on multi-frame low-resolution images
EP2141653A2 (en) Computing higher resolution images from multiple lower resolution images
EP1351502A1 (en) Enhanced resolution video construction method and apparatus
US8711938B2 (en) Methods and systems for motion estimation with nonlinear motion-field smoothing
JP6236259B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN105931213B (zh) 基于边缘检测和帧差法的高动态范围视频去鬼影的方法
Lee et al. Video deblurring algorithm using accurate blur kernel estimation and residual deconvolution based on a blurred-unblurred frame pair
US8014633B2 (en) Method and apparatus for suppressing ringing artifacts within super-resolution image processing
Wang et al. Improved super-resolution reconstruction from video
Mohan Adaptive super-resolution image reconstruction with lorentzian error norm
Jeong et al. Video deblurring algorithm using an adjacent unblurred frame
Lokhande A matlab based GUI for multiframe super resolution reconstruction of different gray scale images with and without adaptive filter
Eran et al. Robust region-based high-resolution image reconstruction from low-resolution video
Fazli et al. New representation of TV regularization for super-resolution
Aach et al. Motion-compensated defect interpolation for flat-panel detectors
Auvray et al. Joint motion estimation and layer segmentation in transparent image sequences-Application to transparent-motion-compensated noise reduction in X-ray image sequences

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20110401

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120329

Patent event code: PE09021S01D

A107 Divisional application of patent
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20120829

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20130115

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20130402

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20130402

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20180328

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20180328

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20190328

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20190328

Start annual number: 7

End annual number: 7

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20210113