KR101291869B1

KR101291869B1 - 공간 및 시간 처리를 이용하는 비디오 시퀀스에서의 노이즈 및/또는 플리커 감소

Info

Publication number: KR101291869B1
Application number: KR1020107017838A
Authority: KR
Inventors: 샌딥 가누무리; 오너 지 굴러유즈; 엠 레하 키반라; 아키라 후지바야시; 창 에스 분
Original assignee: 가부시키가이샤 엔티티 도코모
Priority date: 2008-02-05
Filing date: 2009-02-02
Publication date: 2013-07-31
Also published as: JP2011527033A; KR101137753B1; EP2240869B1; KR20100114068A; US20090195697A1; JP5419897B2; JP5734475B2; CN101933330A; KR20100112162A; EP2243298A1; US20090195535A1; JP2011512086A; CN102378978A; EP2243298B1; JP5517954B2; WO2009100034A3; WO2009100032A1; WO2009100034A2; CN101933330B; US8837579B2

Abstract

비디오 시퀀스에서 플리커 및 노이즈 중 적어도 하나를 감소시키는 방법 및 장치가 본 명세서에 개시되어 있다. 하나의 실시형태에 있어서, 이 방법은, 입력 비디오를 수신하는 단계; 및 공간 및 시간 처리를 이용하여 입력 비디오에서 노이즈와 플리커 모두 또는 노이즈 및 플리커 중 하나를 감소시키기 위한 동작을 수행하는 단계를 포함한다.

Description

공간 및 시간 처리를 이용하는 비디오 시퀀스에서의 노이즈 및/또는 플리커 감소{NOISE AND/OR FLICKER REDUCTION IN VIDEO SEQUENCES USING SPATIAL AND TEMPORAL PROCESSING}

우선권

본 특허 출원은, 2008 년 2 월 5 일자로 출원되었으며 발명의 명칭이 "Flicker Reduction in Video Sequences Using Temporal Processing" 인 대응하는 미국 가특허 출원 제 61/026,453 호에 대해 우선권을 주장하며, 이 대응하는 미국 가특허 출원을 참조로서 포함하고 있다.

관련 출원

본 출원은, 2008 년 6 월 17 일자로 출원되었고 발명의 명칭이 "Image/Video Quality Enhancement and Super-Resolution Using Sparse Transformations" 이며 본 발명의 법인 양수인에게 양도된 함께 계류중인 출원인 미국 특허 출원 제 12/140,829 호에 관한 것이다.

발명의 기술분야

본 발명은 일반적으로 비디오 시퀀스의 처리에 관한 것이고; 보다 상세하게는, 본 발명은 비디오 시퀀스에서 노이즈 및/또는 플리커를 감소시키는 것에 관한 것이다.

카메라 제한으로 인해 포착 중에 모스키토 노이즈 (mosquito noise) 및 시간적 플리커 (temporal flicker) 가 야기된다. 압축, 다운샘플링 및 업샘플링과 같은 비디오 처리 파이프라인에서의 모듈은 블로킹 아티팩트 (blocking artifact), 에일리어싱 (aliasing), 물결현상 (ringing) 및 시간적 플리커를 초래한다. 이미지 및 비디오 신호 처리는 오늘날 다수의 애플리케이션에서 광범위하게 이용된다. 이들 기술 중 일부는 노이즈 및 시간적 플리커를 감소시키는데 이용되었다.

본 발명은, 본 발명의 각종 실시형태의 첨부 도면으로부터 그리고 이하에 주어지는 상세한 설명으로부터 보다 완전히 이해될 것이지만, 이는 본 발명을 특정 실시형태로 제한하도록 취해져서는 안 되며, 단지 설명 및 이해를 위한 것이다.
도 1a 및 도 1b 는 입력 비디오에서 노이즈 및/또는 플리커를 감소시키기 위한 노이즈 및 플리커 감소 모듈의 하나의 실시형태를 도시한 도면이다.
도 2 는 비디오 시퀀스에 대해 이미지 처리를 수행하기 위한 프로세스의 하나의 실시형태의 흐름도이다.
도 3(A) 내지 도 3(M) 은 서브프레임 타입의 라이브러리에 대응하는 마스크의 실시예를 도시한 도면이다.
도 4 는 픽셀이 래스터-스캔 순서로 넘버링되는 경우에 픽셀 i 에서의 예시적인 서브프레임을 도시한 도면이다.
도 5 는 서브프레임 타입 선택 프로세스의 하나의 실시형태의 흐름도이다.
도 6 은 과거의 출력 프레임으로부터의 서브프레임 형성 프로세스의 하나의 실시형태의 흐름도이다.
도 7 은 공간 변환 선택 프로세스의 하나의 실시형태의 흐름도이다.
도 8 은 시간 변환 선택 프로세스의 하나의 실시형태의 흐름도이다.
도 9 는 변환 계수를 임계화 (thresholding) 하기 위한 임계화 프로세스의 하나의 실시형태의 흐름도이다.
도 10 은 서브프레임을 결합하여 프레임을 생성하기 위한 프로세스의 하나의 실시형태의 흐름도이다.
도 11 은 단조 감소하는 계단 함수를 도시한 도면이다.
도 12 는 비디오 시퀀스에 대해 이미지 처리를 수행하기 위한 프로세스의 다른 실시형태의 흐름도이다.
도 13(A) 내지 도 13(E) 는 선택된 픽셀의 예시적인 서브세트를 도시한 도면이다.
도 14 는 컴퓨터 시스템의 하나의 실시형태의 블록도이다.

압축/비압축 비디오 시퀀스에서의 노이즈 및/또는 플리커 감소 방법 및 장치가 기재되어 있다. 본 명세서에서의 목적을 위해, 비디오 시퀀스는 본 명세서에서 순차 배치된 프레임으로 언급되는 다수의 이미지로 구성된다.

하나의 실시형태에 있어서, 본 명세서에 개시된 기술은, 입력 비디오의 현재의 프레임으로부터 특정 픽셀에서의 서브프레임을 선택하며, 기준을 만족시키는 출력 비디오의 과거의 프레임으로부터 다른 서브프레임을 발견하는 것; 픽셀-적응 왜곡 (warped) 공간 변환을 선택하며, 서브프레임을 공간 변환 도메인으로 변환하는 것; 디테일-보존 적응 임계치를 도출하며, 하드 임계화 (변환 계수의 크기가 임계치보다 작은 경우에 0 으로 설정) 또는 소프트 임계화와 같은 다른 임계화 기술을 이용하여 현재의 프레임 및 과거의 프레임으로부터의 서브프레임의 변환 계수를 임계화하는 것; 시간 변환을 이용하여 공간-변환 계수를 추가 변환하며, 시간-변환 계수의 선택된 서브세트를 임계화하는 것; 먼저 시간적으로 그 다음에 공간적으로 시간-변환 계수를 역방향 변환하여, 현재의 프레임 및 과거의 프레임 모두에 속하는 처리된 서브프레임을 획득하는 것; 및 입력 비디오로부터의 현재의 프레임에 속하는 처리된 서브프레임을 결합하여, 출력 비디오에 대한 현재의 프레임을 획득하는 것을 포함하지만, 이에 제한되지는 않는다. 이들 동작은 입력 비디오의 프레임 모두에 대해 반복될 수 있다.

다음의 설명에 있어서, 본 발명의 보다 완전한 설명을 제공하도록 다수의 상세가 기재된다. 그러나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게, 본 발명이 이들 특정 상세 없이 실시될 수도 있다는 것은 명백할 것이다. 다른 경우에, 본 발명의 모호함을 회피하기 위해서, 잘 알려진 구조 및 디바이스는 상세하게 보다는 블록도 형태로 도시된다.

다음의 상세한 설명의 일부는, 컴퓨터 메모리 내의 데이터 비트에 대한 연산의 심볼 표현 및 알고리즘에 관하여 제공된다. 이들 알고리즘 설명 및 표현은, 데이터 처리 기술분야에서 통상의 지식을 가진 자가 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 그 작업의 실체를 가장 효과적으로 전달하는데 이용하는 수단이다. 알고리즘은 본 명세서에서 그리고 일반적으로 원하는 결과를 야기시키는 자기 모순 없는 단계의 시퀀스로 고려된다. 이들 단계는 물리적 양의 물리적 조작을 요구하는 단계이다. 일반적으로, 반드시 그렇지는 않지만, 이들 양은, 저장, 전달, 결합, 비교, 및 그렇지 않으면 조작될 수 있는 전기적 또는 자기적 신호의 형태를 취한다. 이들 신호를 비트, 값, 요소, 심볼, 문자, 용어, 숫자 등으로 언급하는 것이, 때때로, 주로 보통 용법 (common usage) 을 이유로 편리하다고 입증되었다.

그러나, 이들 용어 및 유사한 용어 모두가 적절한 물리적 양과 연관되며, 단지 이들 양에 적용되는 편리한 라벨이라는 것을 명심해야 한다. 다음의 설명으로부터 명백한 바와 같이 특별히 다른 방식으로 기재되지 않는 한, 이 설명 전체에 걸쳐, "처리" 또는 "컴퓨팅" 또는 "계산" 또는 "결정" 또는 "디스플레이" 등과 같은 용어를 이용하는 설명은, 컴퓨터 시스템의 레지스터 및 메모리 내의 물리적 (전자적) 양으로서 표현된 데이터를 컴퓨터 시스템 메모리나 레지스터 또는 다른 이러한 정보 저장, 송신 또는 디스플레이 디바이스 내의 물리적 양으로서 유사하게 표현된 다른 데이터로 조작 및 변환하는 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 디바이스의 동작 및 프로세스를 언급한다.

또한, 본 발명은 본 명세서에서의 동작을 수행하는 장치에 관한 것이다. 이 장치는 필요한 목적을 위해 특별하게 구성될 수도 있고, 또는 이 장치는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 기동되거나 재구성되는 범용 컴퓨터를 포함할 수도 있다. 이러한 컴퓨터 프로그램은, 플로피 디스크, 광학 디스크, CD-ROM, 및 자기-광학 디스크를 포함한 임의의 타입의 디스크, ROM (Read Only Memory), RAM (Random Access Memory), EPROM, EEPROM, 자기 또는 광학 카드, 또는 전자적 명령들을 저장하기에 적합한 임의의 타입의 매체와 같지만 이에 제한되지는 않는 컴퓨터 판독가능 저장 매체에 저장될 수도 있고, 그 각각은 컴퓨터 시스템 버스에 커플링되어 있다.

본 명세서에서 제공된 알고리즘 및 디스플레이는 본래 임의의 특정 컴퓨터 또는 다른 장치에 관련되지는 않는다. 각종 범용 시스템은 본 명세서에서의 교시에 따른 프로그램과 함께 사용될 수도 있고, 또는 필요한 방법 단계를 수행하도록 보다 전문화된 장치를 구성하는 것이 편리하다고 입증될 수도 있다. 각종 이들 시스템에 필요한 구조는 이하의 설명으로부터 나타날 것이다. 또한, 본 발명은 임의의 특정 프로그래밍 언어를 참조하여 설명되지는 않는다. 본 명세서에 기재된 바와 같은 본 발명의 교시를 구현하는데 각종 프로그래밍 언어가 이용될 수도 있다는 것이 인식될 것이다.

머신 판독가능 매체는, 머신 (예를 들어, 컴퓨터) 에 의해 판독가능한 형태로 정보를 저장하거나 송신하는 임의의 메커니즘을 포함한다. 예를 들어, 머신 판독가능 매체는, ROM (Read Only Memory); RAM (Random Access Memory); 자기 디스크 저장 매체; 광학 저장 매체; 플래시 메모리 디바이스; 전기, 광학, 음향 또는 다른 형태의 전파 신호 (예를 들어, 반송파, 적외선 신호, 디지털 신호 등) 등을 포함한다.

개략

도 1a 는 입력 비디오에서 노이즈 및/또는 플리커를 감소시키기 위한 노이즈 및 플리커 감소 모듈의 하나의 실시형태를 도시한 도면이다. 도 1a 를 참조하면, 노이즈 및 플리커 감소 블록 (101) 은 입력 비디오 (100) 를 수신한다. 입력 비디오 (100) 는 노이즈 및/또는 플리커를 포함한다. 또한, 노이즈 및 플리커 감소 블록 (101) 은 임계치 파라미터

및 본 명세서에서 OP 로 언급되는 선택적 파라미터의 벡터를 수신한다. 이들 입력에 응답하여, 노이즈 및 플리커 감소 블록 (101) 은 노이즈 및 플리커가 감소된 출력 비디오 (102) 를 발생시킨다.

도 1b 는 비디오 시퀀스에 대해 이미지 처리를 수행하기 위한 프로세스의 하나의 실시형태의 흐름도이다. 이 프로세스는, 하드웨어 (회로, 전용 로직 등), (범용 컴퓨터 시스템이나 전용 머신 상에서 실행되는 것과 같은) 소프트웨어, 또는 이들의 조합을 포함할 수도 있는 처리 로직에 의해 수행된다.

도 1b 를 참조하면, 이 프로세스는, 처리 로직이 입력 비디오를 수신하는 것으로 시작된다 (처리 블록 111).

입력 비디오를 수신하는 것에 응답하여, 처리 로직은 공간 및 시간 처리를 이용하여 입력 비디오에서 노이즈와 플리커 모두 또는 이들 중 하나를 감소시키기 위한 동작을 수행한다 (처리 블록 112). 하나의 실시형태에 있어서, 이들 동작은 계수의 적응 임계화와 함께 공간 변환 및 시간 변환을 적용하는 것을 포함한다. 하나의 실시형태에 있어서, 공간 변환 및 시간 변환을 적용하는 것은, 서브프레임에 대해 적어도 하나의 왜곡 변환을 적용하여 변환 계수를 생성하는 것을 포함한다.

도 2 은 비디오 시퀀스에 대해 이미지 처리를 수행하기 위한 프로세스의 하나의 실시형태의 보다 상세한 흐름도이다. 이 프로세스는, 하드웨어 (회로, 전용 로직 등), (범용 컴퓨터 시스템이나 전용 머신 상에서 실행되는 것과 같은) 소프트웨어, 또는 이들의 조합을 포함할 수도 있는 처리 로직에 의해 수행된다.

후술하는 프로세스에 있어서, x 는 본 명세서에 기재된 기술에 의해 처리되는 입력 비디오로부터의 현재의 프레임을 나타내고,

는 본 명세서에 기재된 기술을 이용한 이후에 출력된 과거의 프레임을 나타내며,

는 이미지 처리 프로세스에 의해 이용되는 임계치 파라미터를 나타낸다. 또한, OP 로 표시되며 다른 선택적 파라미터를 포함하는 벡터가 공급될 수 있다. 사용자 또는 알고리즘은 주관적/객관적 품질의 최적화를 이용하여, 모델 기반 기술을 이용하여 또는 다른 방법을 이용하여 가장 많이 원하는 파라미터를 결정할 수 있다. 또한, 교정 알고리즘이 이용될 수 있다. 또한, 이러한 알고리즘은 비디오 처리 파이프라인이나 입력 비디오 중 어느 하나 또는 이들 모두의 부분/완전 정보를 이용할 수 있다. 하나의 실시형태에 있어서, 모든 비디오 프레임은 래스터-스캔 순서로 픽셀을 배열함으로써 벡터로서 표현되며, N 은 각 비디오 프레임에서의 픽셀의 개수를 나타낸다.

프레임 x 가 획득된 이후에, 도 2 의 처리 블록 202 의 서브프레임 선택 프로세스가 시작된다. 서브프레임 타입 S 는 M²×1 정수값 벡터로서 정의된다. 본 명세서에서의 목적을 위해, M 은 0 보다 큰 임의의 정수일 수 있다. {S¹, S², S³, …} 은 서브프레임 타입의 라이브러리이다. 픽셀이 래스터-스캔 순서로 넘버링되는 프레임 x 로부터 선택된 픽셀 세트에서의 각 픽셀 i 에 대하여, 서브프레임 타입 s_i 가 이 라이브러리로부터 선택되며, 벡터 p_i 는

로서 형성되는데, 여기서

은 모든 요소가 1 과 동등한 M²×1 벡터이다. 하나의 실시형태에 있어서, 선택되지 않은 픽셀에 대하여, p_i 는 0 의 벡터이다. 선택된 픽셀 세트는 벡터 OP 내에서 시그널링되거나 사전결정될 수 있다. 이 실시형태에 있어서, 이미지에서의 각 픽셀에 대하여 서브프레임이 형성 및 처리된다. 즉, 선택된 픽셀 세트는 프레임에서의 전체 픽셀 세트이다. 그러나, 다른 실시형태에 있어서, 처리는 이미지에서의 픽셀 모두에 대해서가 아니라 픽셀의 선택된 서브세트에 대해서만 수행될 수도 있다. 서브세트는 사이드 정보의 부분으로서 시그널링되거나 사전결정될 수도 있다. 도 13(A) 내지 도 13(E) 는 이러한 서브세트의 실시예를 나타내며; 본 명세서에 기재된 교시에 대해 다른 서브세트가 이용될 수도 있다. 서브프레임으로 지칭되는 M²×1 벡터 z_i 는 p_i 의 요소에 대응하는 위치에서 프레임 x 의 픽셀값으로 형성된다. 픽셀 i 는 서브프레임 z_i 에 대한 피벗으로 지칭된다. 도 4 는 픽셀이 래스터-스캔 순서로 넘버링되는 경우에 픽셀 i 에서의 예시적인 서브프레임 z_i 를 도시한 도면이다. 도 4 를 참조하면, 픽셀의 래스터-스캔 순서화는 그 순서로 "1" 부터 시작하여 픽셀을 넘버링함으로써 발생한다. 서브프레임은 픽셀 i 를 피벗으로 하는 것으로 도시되어 있다. 서브프레임은 왜곡 로우로 지칭되는 M 개의 벡터로 구성된다. 제 1 왜곡 로우는 서브프레임 요소 1 내지 M 을 그 순서로 갖고; 제 2 왜곡 로우는 서브프레임 요소 M+1 내지 2M 을 갖는 등이다.

하나의 실시형태에 있어서, M 은 4 와 동등하며, 서브프레임 타입의 라이브러리는 도 3(A) 내지 도 3(M) 에 도시된 마스크 세트에 대응한다. 도 3(A) 내지 도 3(M) 을 참조하면, 이러한 서브프레임의 라이브러리에 있어서, 마스크는 화살표로 도시된 바와 같이 상이한 방향에 대응한다. 도 3(A) 에서의 마스크는 본 명세서에서 정규 마스크 (regular mask) 로 언급되는데, 그 이유는 이 마스크가 정규 수평 또는 수평 방향에 대응하기 때문이다. 다른 마스크는 방향성 마스크로 지칭되는데, 그 이유는 이들 마스크가 명백하지 않은 방향에 대응하기 때문이다. 마스크에서의 픽셀 ('a' 내지 'p') 의 차분-위치 (Ω) 는 Ω=C_C+W×C_R 로서 정의되는데, 여기서 W 는 프레임 y 의 폭이다. C_C 는, 관심 대상인 현재의 픽셀의 칼럼에 도착하기 위해서 픽셀 'a' 의 칼럼으로부터 시작하여 우측으로 수평 이동시킬 필요가 있는 칼럼의 개수이다. C_R 은, 관심 대상인 현재의 픽셀의 로우에 도착하기 위해서 픽셀 'a' 의 로우로부터 시작하여 아래로 수직 이동시킬 필요가 있는 로우의 개수이다. 예를 들어, 도 3(H) 에서의 마스크의 경우에, 픽셀 'c' 는 C_C=-1 및 C_R=2 를 갖는다. 마스크에 대응하는 서브프레임 타입은 'a' 부터 'p' 로 순서화된 그 마스크에서의 픽셀의 차분-위치를 포함하는 벡터이다.

하나의 실시형태에 있어서, 픽셀에 대한 서브프레임 타입의 선택은, 항상 정규 마스크에 대응하는 서브프레임 타입을 선택함으로써 이루어진다. 다른 실시형태에 있어서, 픽셀에 대한 서브프레임 타입의 선택은, 각 선택된 픽셀에 대하여, (1) 형성된 서브프레임에 대한 2-D DCT 를 각 서브프레임 타입에 대해 평가함으로써, 그리고 (2) 주어진 임계치 T 보다 큰 크기를 갖는 넌제로 변환 계수의 개수를 최소화하는 서브프레임 타입을 주어진 임계치 T 에 대해 선택함으로써 이루어진다. 또다른 실시형태에 있어서, 픽셀에 대한 서브프레임 타입의 선택은, 각 선택된 픽셀에 대하여, 모든 왜곡 로우에 대해 평균화된 픽셀값의 왜곡 로우 편차를 최소화하는 서브프레임 타입을 선택함으로써 이루어진다. 또다른 실시형태에 있어서, 픽셀에 대한 서브프레임 타입의 선택은, (모든 왜곡 로우에 대해 평균화된 픽셀값의 왜곡 로우 편차를 최소화하는 서브프레임 타입에 기초하여) 서브프레임 타입에 대한 각 픽셀 보트 (vote) 를 K×L 픽셀의 블록에 대해 가지며 K×L 블록에서의 픽셀 모두에 대해 최대 보트를 갖는 서브프레임 타입을 선택함으로써 이루어지는데, 여기서 K 및 L 은 0 보다 큰 임의의 정수일 수 있다. 하나의 실시형태에 있어서, K 및 L 은 모두 4 로 설정된다. 다른 실시형태에 있어서, 픽셀에 대한 서브프레임 타입의 선택은, 각 픽셀에 대해 K×L 픽셀의 블록을 형성하며 이 블록에 대해 선행하는 보팅 방식을 이용하여 서브프레임 타입을 선택함으로써 이루어진다. 각 경우에, 선택된 서브프레임 타입은 현재의 픽셀에 이용된다. 따라서, 각 마스크에 대해 이들 측정된 통계치 중 하나를 이용함으로써, 서브프레임의 선택이 수행된다.

도 3(A) 내지 도 3(M) 에서의 마스크 이외의 마스크가 사용될 수도 있다는 것에 주목하라.

도 5 는 서브프레임 선택 프로세스의 하나의 실시형태의 흐름도이다. 이 프로세스는, 하드웨어 (회로, 전용 로직 등), (범용 컴퓨터 시스템이나 전용 머신 상에서 실행되는 것과 같은) 소프트웨어, 또는 이들의 조합을 포함할 수도 있는 처리 로직에 의해 수행된다.

도 5 를 참조하면, 이 프로세스는, 처리 로직이 프레임 x 를 수신하여, 그 서브프레임이 픽셀-적응인지 여부를 판정함으로써 시작된다 (처리 블록 501). 서브프레임이 픽셀-적응이 아닌 경우에는, 처리 로직은 모든 픽셀에 대해 정규 서브프레임 타입을 선택한다 (처리 블록 502). 프레임 x 의 서브프레임이 픽셀-적응인 경우에는, 처리 로직은, 각 픽셀에 대하여, 왜곡 로우 편차를 최소화하는 서브프레임 타입을 마킹한다 (처리 블록 503). 이는 전술한 바와 같이 서브프레임 타입의 라이브러리 (510) 를 이용하여 수행된다. 따라서, 각 픽셀에 대하여, 서브프레임 타입의 라이브러리 중에서 왜곡 로우 편차를 최소화하는 서브프레임 타입이 마킹된다.

다음에, 처리 로직은 선택이 블록-기반인지 여부를 판정한다 (처리 블록 504). 선택이 블록-기반이라고 처리 로직이 판정하는 경우에는, 처리 로직은, 각 블록에서, 각 서브프레임 타입을 마킹한 픽셀의 개수를 카운트하고 (처리 블록 506), 블록에서의 모든 픽셀에 대하여, 처리 로직은 그 블록에서의 대부분의 픽셀에 의해 마킹된 서브프레임 타입을 선택한다 (처리 블록 507). 다시 말하면, 선택이 블록-기반인 경우에는, 블록에서의 대부분의 픽셀에 의해 마킹된 서브프레임 타입이 그 블록에서의 모든 픽셀에 대해 선택된다. 선택이 블록-기반이 아니라고 처리 로직이 판정하는 경우에는, 처리 로직은, 각 픽셀에 대하여, 그 픽셀에 의해 마킹된 서브프레임 타입을 선택한다 (처리 블록 505). 다시 말하면, 각 픽셀은 스스로 마킹한 서브프레임 타입을 선택한다.

각 픽셀에 대한 서브프레임 타입의 선택은 벡터 OP 내에서 시그널링될 수 있다.

서브프레임 타입 s_i 는 벡터

을 형성하는데 이용되며, 여기서 m_i 는 정수이고,

는 모든 요소가 1 과 동등한 M²×1 벡터이다. 또한, 처리 로직은

의 요소에 대응하는 위치에서 과거의 출력 프레임

의 픽셀값으로

(또한 서브프레임) 로 표시된 M²×1 벡터를 형성한다 (처리 블록 203).

m_i 의 선택은 다수의 상이한 방식으로 이루어질 수 있다. 대안적인 실시형태에 있어서, m_i 의 선택은 다음의 방식 중 하나의 방식으로 수행된다:

ⅰ. m_i = i

ⅱ. z_i 와

사이의 p-놈 (norm) (p≥0)

이 최소화되도록 모든 가능한 값으로부터 m_i 선택.

ⅲ. 상기 'ⅱ' 에 기초하여 m_i 를 선택하지만, {j:j=i+j_h+W×j_v} 로 탐색 세트 제한 (여기서, W 는 프레임 의 폭이며, j_h, j_v ∈ {-J, -(J-1), …, -1, 0, 1, …, J-1, J} 임). J 는 0 이상의 임의의 정수이다. 하나의 실시형태에 있어서, 옵션 'ⅲ' 이 이용되는 경우, J 의 값은 2 로 설정되며, 2-놈이 이용된다.

ⅳ. 상기 'ⅲ' 에 기초하여 m_i 선택 및 m_i 에 값 k=k_h+W×k_v 가산 (여기서, W 는 프레임

의 폭이며, k_h, k_v 는 세트 {-K, -(K-1), …, -1, 0, 1, …, K-1, K} 로부터 랜덤하게 발생된 값임). K 는 0 이상의 임의의 정수이다.

m_i 의 선택은 벡터 OP 내에서 시그널링될 수 있다.

다른 실시형태에 있어서, 과거의 출력 프레임

가 예를 들어 휘도 변화 및 장면 페이드와 같은 이슈를 보상하기 위해서 세기 보상 및 비선형 예측 필터와 같지만 이에 제한되지는 않는 기술을 이용하여 처리된 이후에, 서브프레임

가 형성된다.

도 6 은 과거의 출력 프레임으로부터의 서브프레임 형성 프로세스의 하나의 실시형태의 흐름도이다. 이 프로세스는, 하드웨어 (회로, 전용 로직 등), (범용 컴퓨터 시스템이나 전용 머신 상에서 실행되는 것과 같은) 소프트웨어, 또는 이들의 조합을 포함할 수도 있는 처리 로직에 의해 수행된다.

도 6 을 참조하면, 이 프로세스는, 처리 로직이 탐색 세트 {m¹, m², …} 를 이용함으로써 시작되며, 각 값 m^j 에 대하여, 다음의 수학식:

에 따라

를 컴퓨팅한다 (처리 블록 601).

다음에, 처리 로직은

를 이용하여 프레임

로부터 서브프레임

를 형성한다 (처리 블록 602). 그런 다음, 각 j 에 대하여, 처리 로직은 p-놈:

를 컴퓨팅한다 (처리 블록 603).

p-놈을 컴퓨팅한 이후에, 처리 로직은 최소 p-놈을 제공하도록 m^k 를 선택하고; m_i 를 m^k 와 동등하게 설정하고, 다음의 수학식:

에 따라

를 설정하며,

를 이용하여 서브프레임

를 형성한다 (처리 블록 604).

공간 변환 선택 및 적용

도 2 의 처리 블록 204 의 부분으로서, 처리 로직은 또한 공간 변환 선택 및 적용을 수행한다. 보다 상세하게는, 처리 로직은 픽셀-적응 왜곡 공간 변환 H_i 를 이용하여 각각 서브 프레임 z_i 및

를 e_i 및

로 변환한다. 이 변환은 '왜곡' 으로 지칭되는데, 그 이유는 변환 근거의 지원이 서브프레임 형상에 매칭되도록 변형되었기 때문이다. 변환은 픽셀-적응으로 지칭되는데, 그 이유는 서브프레임 타입의 선택이 픽셀마다 변할 수 있다는 사실에 부가하여 상이한 픽셀을 피벗으로 한 서브프레임이 상이한 변환을 이용할 수 있기 때문이다. 변환 H_i 는 분리가능 DCT, 비-분리가능 DCT, 2-D 가버 웨이브릿, 조종가능 피라미드, 2-D 방향성 웨이브릿, 커브릿 (curvelet) 및 컨투어릿 (contourlet) 과 같은 변환의 라이브러리로부터 선택될 수 있다. 하나의 실시형태에 있어서, 이용되는 공간 변환은 비적응 방식의 직교 분리가능 2D-DCT 이다. 다른 실시형태에 있어서, 이용되는 공간 변환은 비적응 방식의 직교 분리가능 2D-아다마르 변환이다.

분리가능 변환은 왜곡 이후에 비-분리가능으로 되는 것이 주목되어야 한다. 변환의 선택은 선험적으로 고정될 수 있고, 또는 상이한 픽셀을 피벗으로 한 상이한 서브프레임에 대해 적응적일 수 있다. 적응적인 경우에, 선택된 변환은 마스터 임계치

보다 큰 절대값을 갖는 e_i 에서의 계수의 최소 개수를 갖는 변환이다.

서브프레임에 대한 공간 변환 선택 프로세스의 하나의 실시형태의 흐름도가 도 7 에 도시되어 있다. 이 프로세스는, 하드웨어 (회로, 전용 로직 등), (범용 컴퓨터 시스템이나 전용 머신 상에서 실행되는 것과 같은) 소프트웨어, 또는 이들의 조합을 포함할 수도 있는 처리 로직에 의해 수행된다.

도 7 을 참조하면, 이 프로세스는, 변환이 픽셀-적응인지 여부를 처리 로직이 테스트함으로써 시작된다 (처리 블록 701). 이 테스트는 리스트를 참조함으로써 수행될 수도 있다. 하나의 실시형태에 있어서, 이 리스트는 변환이 비적응적이도록 이루어질 수 있다. 다른 실시형태에 있어서, 이 리스트는 벡터 OP 내에서 시그널링될 수 있다. 변환이 픽셀-적응이 아니라고 처리 로직이 판정하는 경우에는, 처리 로직은 사용을 위한 2-D 직교 분리가능 DCT 를 변환 H_i 로서 선택하고, 서브프레임 z_i 에 대해 이 변환을 적용함으로써 변환 계수 e_i 를 발생시키며, 서브프레임

에 대해 이 변환을 적용함으로써 변환 계수

를 발생시킨다 (처리 블록 702).

변환이 픽셀-적응이라고 처리 로직이 판정하는 경우에는, 변환의 라이브러리 {H¹, H², …} (처리 블록 704) 에서의 각 변환 H^j 에 대하여, 처리 로직은 다음의 수학식:

를 이용하여 변환 계수 e^j 를 컴퓨팅한다 (처리 블록 703). 변환 계수 e^j 는 변환 H^j 에 대응한다.

다음에, 각 j 에 대하여, 처리 로직은 임계치

보다 큰 절대값을 갖는 e^j 에서의 계수의 개수를 카운트하고 (처리 블록 705), 변환의 라이브러리로부터 최소 카운트를 갖는 변환 H^k 를 선택하고, 최소 카운트에 대응하는 변환 H^k 와 동등하게 변환 H_i 를 설정한 다음, 변환 계수 e^k 와 동등하게 계수 e_i 를 설정하고, 서브프레임

에 대해 이 변환 H_i 를 적용함으로써 변환 계수

를 발생시킨다 (처리 블록 706).

공간 변환의 선택은 벡터 OP 내에서 시그널링될 수 있다.

임계화

도 2 의 처리 블록 204 의 부분으로서, 처리 로직은 또한 임계화를 수행한다. 보다 상세하게는, 처리 로직은 e_i 의 선택된 요소에 대해 적응 임계치

을 적용하여, a_i 를 획득한다. 하나의 실시형태에 있어서, e_i 의 요소 모두가 선택된다. 다른 실시형태에 있어서, 제 1 요소 (일반적으로, DC 요소) 를 제외한 모든 요소가 선택된다. 또다른 실시형태에 있어서, 어떠한 요소도 선택되지 않는다. 또한, 변환 계수 e_i 는 마스터 임계치

을 이용하여 임계화되어,

를 획득한다. 임계화 동작은 예를 들어 하드 임계화 및 소프트 임계화와 같이 각종 방식으로 수행될 수 있다. 하드 임계화 동작은

로서 정의되는데, 여기서 T 는 이용되는 임계치이다. 유사하게, 임계치로서 T 를 이용하는 소프트 임계화 동작은,

로서 정의된다. 대안적인 실시형태에 있어서, 임계치

은 다음의 방식 중 하나의 방식으로 컴퓨팅된다:

●

이며, 여기서

는 함수를 나타낸다.

●

이며, 여기서

는 함수를 나타낸다.

●

. 함수

는 도 11 에 도시된 바와 같은 단조 감소하는 계단 함수이다. 하나의 실시형태에 있어서, 함수의 스텝 위치 (f₁, f₂, …, f_n 및 E₁, E₂, …, E_n) 는 복원된 이미지/비디오 품질에서의 로컬 최적을 달성하기 위해서 트레이닝 세트에 대해 튜닝된다. 하나의 실시형태에 있어서, 이 임계치 계산은 하드 임계화와 함께 이용된다.

●

이도록 a_i 에서의 넌제로 요소의 개수를 최소화하기 위해서,

에 대한 가능한 값에 대해 탐색 수행. E_local 은 사이드 정보의 부분일 수 있고, 또는 디폴트 값이 이용될 수도 있다. 이는 알고리즘에 대한 설정으로서 간주될 수 있다. 하나의 실시형태에 있어서, 디폴트 값은, 트레이닝 세트에 대해 튜닝하며 복원된 이미지/비디오 품질에서의 로컬 최적을 달성하는 값을 선택함으로써 획득될 수 있다.

●

이도록 모든 k ∈ {1, 2, …, N} 에 대해 합산된 a_k 에서의 넌제로 요소의 총수를 최소화하기 위해서,

에 대한 가능한 값에 대해 공동 탐색 수행. E_global 은 사이드 정보의 부분일 수 있고, 또는 디폴트 값이 이용될 수도 있다. 이는 알고리즘에 대한 설정으로서 간주될 수 있다. 하나의 실시형태에 있어서, 디폴트 값은, 트레이닝 세트에 대해 튜닝하며 복원된 이미지/비디오 품질에서의 로컬 최적을 달성하는 값을 선택함으로써 획득될 수 있다.

의 값은 벡터 OP 내에서 시그널링될 수 있다. 다른 실시형태에 있어서,

을 계산하는데 이용되는 옵션의 선택은 벡터 OP 내에서 시그널링될 수 있다.

적응 임계치

가

의 선택된 요소에 대해 적용되어,

를 획득한다. 하나의 실시형태에 있어서,

의 요소 모두가 선택된다. 다른 실시형태에 있어서, 제 1 요소 (일반적으로, DC 요소) 를 제외한 모든 요소가 선택된다. 또다른 실시형태에 있어서, 어떠한 요소도 선택되지 않는다. 또한, 변환 계수

는 마스터 임계치

를 이용하여 임계화되어,

를 획득한다. 임계화 동작은 전술한 하드 임계화 및 소프트 임계화와 같이 각종 방식으로 수행될 수 있다.

대안적인 실시형태에 있어서, 임계치

가 다음의 방식 중 하나의 방식으로 컴퓨팅된다:

●

이며, 여기서

는 함수를 나타낸다.

●

이며, 여기서

는 함수를 나타낸다.

●

. 함수

는 도 11 에 도시된 바와 같은 단조 감소하는 계단 함수이다. 함수의 스텝 위치 (f₁, f₂, …, f_n 및 E₁, E₂, …, E_n) 는 로컬 최적을 달성하기 위해서 트레이닝 세트에 대해 튜닝된다. 하나의 실시형태에 있어서, 이 임계치 계산이 이용되며, 임계화 동작에 하드 임계화가 이용된다.

●

이도록

에서의 넌제로 요소의 개수를 최소화하기 위해서,

●

이도록 모든 k ∈ {1, 2, …, N} 에 대해 합산된

에서의 넌제로 요소의 총수를 최소화하기 위해서,

하나의 실시형태에 있어서,

의 값은 벡터 OP 내에서 시그널링된다. 다른 실시형태에 있어서,

를 계산하는데 이용되는 옵션의 선택은 벡터 OP 내에서 시그널링된다.

시간 변환 선택 및 적용

처리 블록 205 에서, 처리 로직은 임계화의 결과, 즉 벡터 a_i 및

를 이용하여, M²×2 매트릭스

를 형성한다;

. 본 명세서에서의 목적을 위해, 함수

는, 페이드와 같은 보다 복잡한 장면 특성을 캡처하기 위한 보다 일반적인 함수 또는 휘도 변화에 매칭하기 위한

의 요소 모두의 단순한 선형 스케일링 또는 단위 함수일 수도 있다. 처리 로직은 픽셀-적응 시간 변환 G_i 를 이용하여

를 b_i 로 변환한다;

. 변환 G_i 는 변환의 라이브러리로부터 선택될 수 있다. 변환은 픽셀-적응으로 지칭되는데, 그 이유는 상이한 픽셀을 피벗으로 한 서브프레임이 상이한 변환을 이용할 수 있기 때문이다. 적응적인 경우에, 선택된 변환은, 마스터 임계치

보다 큰 절대값을 갖는 b_i 에서의 계수의 최소 개수를 갖는 변환이다.

도 8 은 시간 변환 선택 프로세스의 하나의 실시형태의 흐름도이다. 이 프로세스는, 하드웨어 (회로, 전용 로직 등), (범용 컴퓨터 시스템이나 전용 머신 상에서 실행되는 것과 같은) 소프트웨어, 또는 이들의 조합을 포함할 수도 있는 처리 로직에 의해 수행된다.

도 8 을 참조하면, 이 프로세스는, 변환이 픽셀-적응인지 여부를 처리 로직이 테스트함으로써 시작된다 (처리 블록 801). 이 테스트는 리스트를 참조함으로써 수행될 수도 있다. 하나의 실시형태에 있어서, 이 리스트는 변환이 비적응적이도록 이루어질 수 있다. 다른 실시형태에 있어서, 이 리스트는 벡터 OP 내에서 시그널링될 수 있다. 변환이 픽셀-적응이 아니라고 처리 로직이 판정하는 경우에는, 처리 로직은 디폴트 시간 변환에 기초하여 변환 G_i 를 선택하고, 매트릭스

에 대해 변환 G_i 를 적용함으로써 변환 계수 b_i 를 발생시킨다 (처리 블록 802). 하나의 실시형태에 있어서, 이용되는 디폴트 시간 변환은 Haar 변환, 즉

이다. 시간 변환의 선택은 벡터 OP 내에서 시그널링될 수 있다.

변환이 픽셀-적응이라고 처리 로직이 판정하는 경우에는, 변환의 라이브러리 {G¹, G², …} (처리 블록 804) 에서의 각 변환 G^j 에 대하여, 처리 로직은 다음의 수학식:

를 이용하여 변환 계수 b^j 를 컴퓨팅한다 (처리 블록 803). 변환 계수 b^j 는 변환 G^j 에 대응한다.

다음에, 각 j 에 대하여, 처리 로직은 마스터 임계치

보다 큰 절대값을 갖는 b^j 에서의 계수의 개수를 카운트하고 (처리 블록 805), 변환의 라이브러리로부터 최소 카운트를 갖는 변환 G^k 를 선택하고, 최소 카운트에 대응하는 변환 G^k 와 동등하게 변환 G_i 를 설정한 다음, 변환 계수 b^k 와 동등하게 계수 b_i 를 설정한다 (처리 블록 806).

시간 변환 이후의 임계화

변환 계수 b_i 를 발생시킨 이후에,

를 이용하여 변환 계수 b_i 가 임계화되어, c_i 를 획득한다 (도 2 의 처리 블록 206). 임계화 동작은 전술한 바와 같은 하드 임계화 및 소프트 임계화와 같이 각종 방식으로 수행될 수 있다. 임계화의 선택은 벡터 OP 내에서 시그널링될 수 있다.

하나의 실시형태에 있어서, 도 9 에 도시된 바와 같이 하드 임계화가 이용된다. 도 9 를 참조하면, 하드 임계화는, 하드웨어 (회로, 전용 로직 등), (범용 컴퓨터 시스템이나 전용 머신 상에서 실행되는 것과 같은) 소프트웨어, 또는 이들의 조합을 포함할 수도 있는 처리 로직에 의해 수행된다.

하드 임계화는, 입력으로서 마스터 임계치

및 계수 b_i 를 이용하며, 처리 로직이, 각 요소 b_ij ∈ b_i 에 대하여, 다음의 수학식:

에 따라 대응하는 요소 c_ij ∈ c_i 를 컴퓨팅함으로써 시작된다 (처리 블록 901). 이와 같이, 처리 로직은 마스터 임계치

보다 작은 절대값을 갖는 모든 계수를 0 으로 설정하며, 이들 계수는 c_i 로서 저장된다.

하나의 실시형태에 있어서, 선험적으로 선택된 b_i 의 일부 요소는 임계화되어, c_i 에서의 그 각각의 위치로 직접 카피된다. 특정 실시형태에 있어서, b_i 의 제 1 칼럼에서의 요소는 임계화되지 않는다. 임계화되지 않는 요소 세트의 선택은 벡터 OP 내에서 시그널링될 수 있다.

하나의 실시형태에 있어서, 요소 c_ij ∈ c_i 는 선택적으로 수학식

을 이용함으로써 증대되는데, 여기서 파라미터

,

은 복원된 이미지/비디오 품질에서의 로컬 최적을 달성하기 위해서 트레이닝 세트에 대해 튜닝된다. 이러한 동작이 도 2 에서의 처리 블록 206 이후에 발생한다는 것에 주목하라. 하나의 실시형태에 있어서, 이들 파라미터는 벡터 OP 내에서 시그널링될 수 있다.

역방향 변환

임계화 이후에, 처리 로직은 G_i ^-1 을 이용하여 계수를 (시간 변환으로) 역방향 변환하여,

을 획득한다 (처리 블록 207). 또한, 처리 로직은 d_i 에 대해 역방향 변환 (공간) H_i ^-1 을 적용하여, 처리된 서브프레임

를 획득한다 (처리 블록 208).

하나의 실시형태에 있어서, 현재의 프레임은 이전의 반복에 의해 출력된 과거의 프레임을 이용하지 않고 처리된다. 이 실시형태에 있어서, 벡터

,

및 매트릭스

, b_i, c_i,

는 컴퓨팅되지 않는다. 벡터 d_i 는 d_i=a_i 로서 획득되며, 역방향 변환 (공간) H_i ^-1 이 d_i 에 대해 적용되어, 처리된 서브프레임

(

) 를 획득한다.

다른 실시형태에 있어서, 이미지 처리의 결과로서 출력된 과거의 프레임 세트 {

,

, …} 가 단지 직전의 과거의 출력 프레임

를 이용하는 대신에 이용될 수 있다. N_PF 를 이 세트에서의 과거의 프레임의 개수로 표시한다. 이 경우, 이 세트에서의 과거의 프레임 각각은 전술한 바와 동일한 방식으로

의 하나의 칼럼에 기여한다. 출력 프레임

는 제 2 칼럼에 대해

의 형태로 기여하며, 출력 프레임

는 제 3 칼럼에 대해

의 형태로 기여하는 등이다. 하나의 실시형태에 있어서,

, b_i, c_i 및 d_i 는 크기 M²×(N_PF+1) 로 이루어지며, G_i 는 크기 (N_PF+1)×(N_PF+1) 로 이루어진다.

서브프레임의 결합

임계화된 계수에 대해 역방향 변환을 적용한 이후에, 처리된 서브프레임 모두가 가중화된 방식으로 결합되어, 프레임 y 를 형성한다. 하나의 실시형태에 있어서, 가중치 w_i 가 각 처리된 서브프레임

에 대해 컴퓨팅된다. 대안적인 실시형태에 있어서, e_i 및 a_i 에 기초한 가중치가 다음의 방식 중 하나의 방식으로 컴퓨팅된다:

● w_i = 1

●

이며, 여기서

는 함수를 나타낸다.

● MSE 옵션 1:

.

● L-p 놈 (p≥0) 옵션 1:

.

● 튜닝된 가중치 옵션 1:

이며, 여기서

는 세트 {1, 2, …, M²} (

에 대한 가능한 값의 세트) 로부터 [0,1] 로의 매핑을 나타낸다.

는 트레이닝 비디오의 세트에 대해 최상의 성능 (PSNR 과 같은 메트릭을 이용하여 또는 주관적 스코어를 이용하여 측정됨) 을 획득하기 위해서 시뮬레이션된 어닐링과 같은 최적화 알고리즘을 이용하여 튜닝된다.

● 다른 실시형태에 있어서, b_i 및 c_i 에 기초한 가중화를 위한 가중치는 다음의 방식 중 하나의 방식으로 컴퓨팅될 수 있다:

●

이며, 여기서

는 함수를 나타낸다.

● MSE 옵션 2:

.

● L-p 놈 (p≥0) 옵션 2:

.

● 튜닝된 가중치 옵션 2:

이며, 여기서

는 세트 {1, 2, …, 2M²} (

매핑

및/또는 계산된 가중치는 벡터 OP 내에서 시그널링될 수 있다.

(모든 픽셀에 대응하는) 처리된 서브프레임

은 함께 결합되어 가중화된 방식으로 y 를 형성한다. 이 프로세스의 하나의 실시형태는 j 번째 픽셀의 값인 y_j 에 대해 설명된다.

1. y_j=0 및 n_j=0 설정 (여기서, n_j 는 j 번째 픽셀에 대한 정규화 계수임).

2. 각 처리된 서브프레임

에 대하여,

a. 픽셀 j 가 p_i 의 부분인 경우,

ⅰ. k = p_i 에서의 픽셀 j 의 인덱스.

ⅱ.

(여기서,

는 처리된 서브프레임

에서의 픽셀 j 의 값임).

ⅲ.

3.

도 10 은 모든 처리된 서브프레임을 결합하여 프레임 y 를 형성하기 위한 프로세스의 하나의 실시형태의 흐름도이다. 이 프로세스는, 하드웨어 (회로, 전용 로직 등), (범용 컴퓨터 시스템이나 전용 머신 상에서 실행되는 것과 같은) 소프트웨어, 또는 이들의 조합을 포함할 수도 있는 처리 로직에 의해 수행된다.

도 10 을 참조하면, 이 프로세스는 프레임 y 에서의 각 픽셀 m=1:N 에 대하여 그 값 y_m 및 그 정규화 인자 n_m 을 0 으로 설정함으로써 시작된다 (처리 블록 1001). 다음에, 처리 로직은 픽셀 인덱스 j 및 서브프레임 인덱스 i 를 1 로 초기화한다 (처리 블록 1002).

초기화 이후에, 처리 로직은 픽셀 j∈p_i 인지 여부를 판정한다 (처리 블록 1003). j∈p_i 인 경우에는, 이 프로세스는 처리 블록 1004 로 천이한다. j∈p_i 가 아닌 경우에는, 이 프로세스는 처리 블록 1005 로 천이한다.

처리 블록 1004 에서, 하나의 실시형태에 있어서, 처리 로직은 전술한 바와 같이

,

에서의 픽셀 j 의 값 및 가중치 w_i 를 이용하여 y_j 및 n_j 를 업데이트한다. 하나의 실시형태에 있어서, 가중치는 다음의 수학식:

에 따라 계산된다.

처리 블록 1004 에 있어서, k 는 p_i 에서의 픽셀 j 의 인덱스와 동등하다. 하나의 실시형태에 있어서, 처리 로직은 다음의 수학식:

에 기초하여 y_j 및 n_j 를 업데이트한다. 처리 로직이 y_j 및 n_j 를 업데이트한 이후에, 이 프로세스는 처리 블록 1005 로 천이한다.

처리 블록 1005 에서, 처리 로직은 인덱스 i=N (프레임에서의 픽셀의 총수) 인지 여부를 체크한다. i=N 인 경우에는, 이 프로세스는 처리 블록 1007 로 천이한다. i=N 이 아닌 경우에는, 이 프로세스는 처리 블록 1006 으로 천이한다. 처리 블록 1006 에서, 인덱스는 1 만큼 증분되며, 이 프로세스는 처리 블록 1003 으로 천이한다.

처리 블록 1007 에서, 처리 로직은 다음의 수학식:

에 따라 y_j 를 업데이트한다.

y_j 를 업데이트한 이후에, 처리 로직은 인덱스 i 를 1 과 동등하게 설정하고 (처리 블록 1008), 인덱스 j 가 N 과 동등한지 여부를 체크한다 (처리 블록 1009). 인덱스 j 가 N 과 동등한 경우에는, 이 프로세스는 종료된다. 인덱스 j 가 N 과 동등하지 않은 경우에는, 이 프로세스는 처리 블록 1010 으로 천이하는데, 이 처리 블록 1010 에서 인덱스 j 는 1 만큼 증분된다. 인덱스 j 를 1 만큼 증분한 이후에, 이 프로세스는 처리 블록 1003 으로 천이한다.

프레임 y 는 현재의 입력 프레임 x 에 대응하는 출력이다. 처리할 추가 프레임이 존재하는 경우, 처리 로직은 도 2 에 도시된 바와 같이 현재의 입력 프레임 x 를 업데이트하고, y 를

로 카피하며, 이 프로세스를 반복한다 (처리 블록 212).

하나의 실시형태에 있어서, 프레임 y 는 픽셀-도메인 또는 변환-도메인에서 추가 이미지/비디오 처리를 겪는다. 하나의 실시형태에 있어서, 언샤프 마스킹 (unsharp masking) 이 프레임 y 에 대해 수행되어, 고주파수 디테일을 증대시킨다. 다른 실시형태에 있어서, 크기 P×P 픽셀의 다수의 블록이 프레임 y 로부터 형성되고 (여기서, P 는 정수임), 각 P×P 블록 f 는 2-D DCT, 2-D 아다마르 등과 같은 변환을 겪어, 다른 P×P 블록 h 를 생성한다. P×P 블록 h 의 요소 h(i,j) (여기서, 0≤i, j≤P-1) 는 처리되어,

이도록 증대된 P×P 블록

를 형성한다. 대안적인 실시형태에 있어서, 증대 인자

는 다음의 방식 중 하나의 방식으로 컴퓨팅될 수 있는데:

여기서, 파라미터

는 복원된 이미지/비디오 품질에서의 로컬 최적을 달성하기 위해서 트레이닝 세트에 대해 튜닝된다. 하나의 실시형태에 있어서, 이들 파라미터는 벡터 OP 내에서 시그널링될 수 있다. 전술한 동작은 도 2 의 처리 블록 210 이후에 발생한다는 것에 주목하라. 증대된 P×P 블록은 역방향 변환 및 결합되어, 프레임 y 의 증대된 버전을 형성한다.

대안적인 이미지 처리 실시형태

대안적인 실시형태에 있어서, 도 2 에 기재된 프로세스가 변경되어 보다 낮은 복잡도의 알고리즘 (이하, 보다 낮은 복잡도의 기술로 언급됨) 을 획득할 수 있다. 보다 낮은 복잡도의 기술이 도 12 에서의 흐름도로 도시되어 있다. 이 실시형태에 있어서, 프레임 y 는 현재의 입력 프레임 x 에 대응하는 보다 낮은 복잡도의 기술의 출력이며, 처리할 추가 프레임이 존재하는 경우, 도 12 에 도시된 바와 같이 현재의 입력 프레임 x 를 업데이트하고, y 를

로 카피하며, 이 프로세스를 반복한다.

도 12 를 참조하면, 이 프로세스는, 처리 로직이,

이도록 현재의 입력 프레임 x 및 과거의 출력 프레임

를 이용하여 프레임

를 형성함으로써 시작되는데, 여기서 w_z, w_y 는 실수이며, m 은 정수이다 (처리 블록 1201). 본 명세서에서의 목적을 위해, 표기 (j) 는 관심 대상인 프레임에서의 (래스터 스캔 순서로 넘버링된) 픽셀 j 의 값을 나타낸다. 예를 들어,

는 프레임

의 5 번째 픽셀의 값을 나타낸다. 하나의 실시형태에 있어서, w_z=0.5 이며, w_y=0.5 이다. 하나의 실시형태에 있어서, 값 w_z 및 w_y 는 벡터 OP 내에서 시그널링된다.

대안적인 실시형태에 있어서, m 의 선택은 다음의 방식 중 하나의 방식으로 이루어질 수 있다:

ⅰ. m=0

ⅱ.

의 p-놈 (p≥0)

이 최소화되도록 모든 가능한 값으로부터 m 선택.

ⅲ. 상기 'ⅱ' 에 기초하여 m 을 선택하지만, {j:j=j_h+W×j_v} 로 탐색 세트 제한 (여기서, W 는 프레임 x 의 폭이며, j_h, j_v ∈ {-J, -(J-1), …, -1, 0, 1, …, J-1, J} 임). J 는 0 이상의 임의의 정수이다.

하나의 실시형태에 있어서, m 의 선택은 벡터 OP 내에서 시그널링될 수 있다.

다른 실시형태에 있어서, 프레임

는 휘도 변화 및 장면 페이드와 같은 이슈를 보상하기 위해서

대신에

의 처리된 버전을 이용하여 형성되는데, 여기서 이 처리는 세기 보상 및 비선형 예측 필터와 같은 기술을 포함하지만, 이에 제한되지는 않는다.

처리 로직은, p_i 의 요소에 대응하는 위치에서 프레임 x 의 픽셀값으로 서브프레임으로 지칭되는 M²×1 벡터 z_i 를 형성한다. 픽셀 i 는 서브프레임 z_i 에 대한 피벗으로 지칭된다 (처리 블록 1202).

(또한 서브프레임) 로 표시된 M²×1 벡터는 p_i 의 요소에 대응하는 위치에서 프레임

의 픽셀값으로 형성된다 (처리 블록 1202).

처리 로직은 공간 변환 H_i 를 선택하고, 각각 서브프레임 z_i 및

에 대해 이 공간 변환을 적용하여 벡터 e_i 및

를 획득한다 (처리 블록 1203).

처리 로직은 전술한 바와 동일한 프로세스를 이용하여

로부터 적응 임계치

을 컴퓨팅하고, e_i 의 선택된 요소에 대해 적응 임계치

을 적용하여, a_i 를 획득한다 (처리 블록 1203). 하나의 실시형태에 있어서, e_i 의 요소 모두가 선택된다. 다른 실시형태에 있어서, 제 1 요소 (일반적으로, DC 요소) 를 제외한 모든 요소가 선택된다. 전술한 바와 같이, 임계화 동작은 하드 임계화 및 소프트 임계화와 같이 각종 방식으로 수행될 수 있다.

e_i 의 선택된 요소에 대해 적응 임계치

을 적용한 이후에, 처리 로직은 a_i, e_i,

를 이용하여 그리고

를 이용하여 벡터 d_i 를 형성한다 (처리 블록 1204). a_ij, e_ij,

및 d_ij 는 각각 벡터 a_i, e_i,

및 d_i 에서의 j 번째 요소를 나타낸다 (여기서, j∈{1, 2, …, M²}). 대안적인 실시형태에 있어서, 값 d_ij 는 다음의 방식 중 하나의 방식으로 컴퓨팅된다.

ⅰ.

ⅱ.

ⅲ.

하나의 실시형태에 있어서, d_ij 를 계산하는데 이용되는 옵션의 선택은 벡터 OP 내에서 시그널링된다.

그 이후에, 처리 로직은 벡터 d_i 에 대해 역방향 공간 변환을 적용하여 서브프레임

를 생성하고 (처리 블록 1205), 나머지 처리 블록 1206, 1207, 1208 및 1209 는 도 2 에서의 그 각각의 카운터파트 209, 210, 211 및 212 와 같이 동작하여, 이 프로세스를 완료한다.

전술한 실시형태에 있어서, 선택적인 파라미터 벡터 OP 또는 그 부분은 코덱, 카메라, 수퍼-해상도 프로세서 등을 포함하지만 이에 제한되지는 않는 임의의 모듈에 의해 시그널링될 수 있다. 파라미터 벡터 OP 를 구성하는 하나의 단순한 방식은 다음과 같다: 각 선택은 벡터에서의 2 개의 요소를 이용하여 시그널링된다. n 번째 선택에 있어서,

이며,

=선택을 나타내는 값이다.

은 설정될 필요가 있으며,

인 경우에만 이용된다.

본 명세서에 기재된 기술은 RGB, YUV, YCbCr, YCoCg 및 CMYK 를 포함하지만 이에 제한되지는 않는 임의의 컬러 표현에서 비디오 시퀀스를 처리하는데 이용될 수 있다. 이들 기술은 컬러 표현에서 (빈 세트 또는 모든 채널 세트를 포함하여) 컬러 채널의 임의의 서브세트에 대해 적용될 수 있다. 하나의 실시형태에 있어서, YUV 컬러 표현에서의 'Y' 채널만이 본 명세서에 기재된 기술을 이용하여 처리된다. U 및 V 채널은 2-D 저역 통과 필터 (예를 들어, Le Gall 5/3 웨이브릿의 LL 대역 필터) 를 이용하여 필터링된다.

본 명세서에 기재된 기술은 비디오 시퀀스에서 프레임의 사전선택된 세트만을 처리하는데 이용될 수 있다. 하나의 실시형태에 있어서, 대안적인 프레임이 처리된다. 다른 실시형태에 있어서, 비디오 시퀀스의 하나 이상의 파티션에 속하는 모든 프레임이 처리된다. 처리를 위해 선택된 프레임 세트는 OP 내에서 시그널링될 수 있다.

압축/비압축 비디오 시퀀스에 대한 본 명세서에 기재된 기술의 적용에 부가하여, 이들 기술은 또한 비선형 디노이징 필터와 같은 후처리를 겪은 압축 비디오 시퀀스에 대해 적용될 수 있다. 또한, 이들 기술은, 저해상도 압축/비압축 비디오 시퀀스를 수퍼-해상도화함으로써 획득되는 비디오 시퀀스에 대해 적용될 수 있다. 또한, 이들 기술은, 프레임-레이트 변환 모듈에 의해 처리될 것이거나 또는 이미 처리된 비디오 시퀀스에 대해 적용될 수 있다.

컴퓨터 시스템의 일 실시예

도 14 는 본 명세서에 기재된 동작 중 하나 이상의 동작을 수행할 수도 있는 예시적인 컴퓨터 시스템의 블록도이다. 도 14 를 참조하면, 컴퓨터 시스템 (1400) 은 예시적인 클라이언트 또는 서버 컴퓨터 시스템을 포함할 수도 있다. 컴퓨터 시스템 (1400) 은, 정보를 통신하는 통신 메커니즘이나 버스 (1411), 및 버스 (1411) 에 커플링되어 정보를 처리하는 프로세서 (1412) 를 포함한다. 프로세서 (1412) 는 마이크로프로세서를 포함하지만, 예를 들어 Pentium™, PowerPC™, Alpha™ 등과 같은 마이크로프로세서에 제한되지는 않는다.

컴퓨터 시스템 (1400) 은, 버스 (1411) 에 커플링되어 프로세서 (1412) 에 의해 실행될 명령들 및 정보를 저장하는 RAM (Random Access Memory) 또는 다른 동적 저장 디바이스 (1404) (메인 메모리로 언급됨) 를 더 포함한다. 또한, 메인 메모리 (1404) 는 프로세서 (1412) 에 의한 명령들의 실행 중에 일시 변수 또는 다른 중간 정보를 저장하는데 사용될 수도 있다.

또한, 컴퓨터 시스템 (1400) 은, 버스 (1411) 에 커플링되어 프로세서 (1412) 에 대한 명령들 및 정적 정보를 저장하는 ROM (Read Only Memory) 및/또는 다른 정적 저장 디바이스 (1406), 및 자기 디스크나 광학 디스크 및 그 대응하는 디스크 드라이브와 같은 데이터 저장 디바이스 (1407) 를 포함한다. 데이터 저장 디바이스 (1407) 는 버스 (1411) 에 커플링되어, 정보 및 명령들을 저장한다.

컴퓨터 시스템 (1400) 은, 버스 (1411) 에 커플링되어 컴퓨터 사용자에게 정보를 디스플레이하는 디스플레이 디바이스 (1421) (예를 들어, CRT (Cathode Ray Tube) 또는 LCD (Liquid Crystal Display)) 에 더 커플링될 수도 있다. 또한, 영숫자 키 및 다른 키를 포함하는 영숫자 입력 디바이스 (1422) 는 버스 (1411) 에 커플링되어, 프로세서 (1412) 로 정보 및 커맨드 선택을 통신할 수도 있다. 부가적인 사용자 입력 디바이스는, 버스 (1411) 에 커플링되어, 프로세서 (1412) 로 방향 정보 및 커맨드 선택을 통신하며 디스플레이 (1421) 상의 커서 이동을 제어하는 커서 제어 디바이스 (1423) (예를 들어, 마우스, 트랙볼, 트랙패드, 스타일러스, 또는 커서 방향 키) 이다.

버스 (1411) 에 커플링될 수도 있는 다른 디바이스는 하드 카피 디바이스 (1424) 인데, 이 하드 카피 디바이스 (1424) 는 종이, 필름 또는 유사한 타입의 매체와 같은 매체 상에 정보를 마킹하는데 사용될 수도 있다. 버스 (1411) 에 커플링될 수도 있는 또다른 디바이스는 전화기나 핸드헬드 팜 디바이스와 통신하는 유/무선 통신 능력 (1425) 이다.

컴퓨터 시스템 (1400) 및 연관된 하드웨어의 임의의 컴포넌트 또는 모든 컴포넌트가 본 발명에서 사용될 수도 있다는 것에 주목하라. 그러나, 컴퓨터 시스템의 다른 구성은 디바이스의 일부 또는 전부를 포함할 수도 있다는 것이 인식될 수 있다.

본 발명의 다수의 변경 및 변형은 전술한 설명을 판독한 이후에 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명백해진다는 것은 의심할 바 없지만, 예시로서 기재 및 설명된 임의의 특정 실시형태는 결코 제한하는 것으로 고려되도록 의도되어서는 안 된다는 것이 이해되어야 한다. 그러므로, 각종 실시형태의 상세에 대한 참조는, 본 발명에 대해 본질적인 것으로서 간주되는 특징만을 기술하는 특허청구범위의 범위를 제한하도록 의도되지는 않는다.

Claims

비디오 시퀀스 처리 방법으로서,
입력 비디오를 수신하는 단계; 및
변환 계수의 적응 임계화 (adaptive thresholding) 와 함께 공간 변환 및 시간 변환을 적용함으로써 상기 입력 비디오의 공간적 및 시간적 처리를 이용하여 상기 입력 비디오에서 노이즈와 플리커 모두 또는 상기 노이즈 및 상기 플리커 중 하나를 감소시키기 위한 동작을 수행하는 단계를 포함하고,
상기 입력 비디오에서 노이즈와 플리커 모두 또는 상기 노이즈 및 상기 플리커 중 하나를 감소시키기 위한 동작을 수행하는 단계는,
현재의 프레임의 서브프레임 및 과거의 프레임의 서브프레임을, 각 서브프레임에 대해 공간 변환을 이용하여 변환하는 단계,
각 변환된 서브프레임에 대한 공간-변환 계수를 적응 임계치로 임계화하는 단계,
시간 변환을 이용하여 상기 임계화된 공간-변환 계수를 변환하는 단계,
각 변환된 서브프레임에 대한 시간-변환 계수를 임계치로 임계화하여, 임계화된 시간-변환 계수를 생성하는 단계,
상기 임계화된 시간-변환 계수를 역방향 변환하여, 처리된 서브프레임을 픽셀 도메인에서 형성하는 단계, 및
상기 처리된 서브프레임을 결합하여, 새로운 프레임을 생성하는 단계를 포함하는, 비디오 시퀀스 처리 방법.
삭제
제 1 항에 있어서,
상기 공간 변환 및 시간 변환을 적용하는 것은, 서브프레임에 대해 적어도 하나의 왜곡 (warped) 변환을 적용하여 변환 계수를 생성하는 것을 포함하는, 비디오 시퀀스 처리 방법.
제 3 항에 있어서,
상기 적어도 하나의 왜곡 변환은 2-D 분리가능 DCT 또는 2-D 아다마르 변환을 포함하는, 비디오 시퀀스 처리 방법.
제 1 항에 있어서,
상기 적응 임계화는 공간적으로 적응 임계치를 적용하는 것을 포함하는, 비디오 시퀀스 처리 방법.
제 1 항에 있어서,
적응 임계치를 컴퓨팅하는 단계를 더 포함하고,
적응 임계화를 수행하는 것은 상기 적응 임계치로 변환 계수를 임계화하는 것을 포함하는, 비디오 시퀀스 처리 방법.
삭제
제 1 항에 있어서,
상기 공간 변환은 왜곡 변환인, 비디오 시퀀스 처리 방법.
제 1 항에 있어서,
상기 각 변환된 서브프레임에 대한 공간-변환 계수를 적응 임계치로 임계화하는 단계는,
제 1 임계치를 이용하여 상기 현재의 프레임의 서브프레임으로부터 발생된 계수에 대한 임계화를 수행하는 단계, 및
제 2 임계치를 이용하여 상기 과거의 프레임의 서브프레임으로부터 발생된 계수에 대한 임계화를 수행하는 단계를 포함하고,
상기 제 2 임계치는 상기 제 1 임계치와 독립적으로 컴퓨팅되는, 비디오 시퀀스 처리 방법.
제 1 항에 있어서,
하나 이상의 적응 임계치를 컴퓨팅하는 단계를 더 포함하고,
각 변환된 서브프레임에 대한 변환 계수를 적응 임계치로 임계화하는 것은, 각 변환된 서브프레임에 대한 변환 계수를 상기 하나 이상의 적응 임계치 중 하나의 적응 임계치로 임계화하는 것을 포함하는, 비디오 시퀀스 처리 방법.
제 1 항에 있어서,
상기 새로운 프레임에 대해 적어도 하나의 순방향 변환을 적용하여, 상기 새로운 프레임의 데이터를 변환 도메인에서의 계수로 변환하는 단계;
상기 계수에 대해 적어도 하나의 데이터 처리 동작을 수행하는 단계; 및
데이터 처리 이후에 상기 계수에 대해 적어도 하나의 역방향 변환을 적용하는 단계를 더 포함하는, 비디오 시퀀스 처리 방법.
제 11 항에 있어서,
상기 적어도 하나의 데이터 처리 동작은, 상기 계수에 대한 증대 인자 (enhancement factor) 의 적용 및 언샤프 마스킹 (unsharp masking) 으로 구성되는 그룹의 하나 이상을 포함하는, 비디오 시퀀스 처리 방법.
비디오 시퀀스 처리 방법으로서,
입력 비디오를 수신하는 단계; 및
변환 계수의 적응 임계화 (adaptive thresholding) 와 함께 공간 변환 및 시간 변환을 적용함으로써 상기 입력 비디오의 공간적 및 시간적 처리를 이용하여 상기 입력 비디오에서 노이즈와 플리커 모두 또는 상기 노이즈 및 상기 플리커 중 하나를 감소시키기 위한 동작을 수행하는 단계를 포함하고,
상기 동작은,
입력 비디오의 현재의 프레임으로부터 특정 픽셀에서의 서브프레임을 선택하며, 상기 특정 픽셀에 대응하는, 출력 비디오의 과거의 프레임으로부터의 다른 서브프레임을 발견하는 것,
왜곡 공간 변환을 선택하며, 상기 서브프레임들을 공간 변환 도메인으로 변환하는 것,
적응 임계치를 도출하며, 상기 현재의 프레임으로부터의 서브프레임 및 상기 과거의 프레임으로부터의 서브프레임의 공간-변환 계수를 임계화하는 것,
상기 임계화된 공간-변환 계수에 대해 시간 변환을 적용하며, 시간-변환 계수의 선택된 서브세트를 임계화하는 것,
먼저 시간적으로 그 다음에 공간적으로 상기 시간-변환 계수를 역방향 변환하여, 처리된 서브프레임을 획득하는 것, 및
현재의 프레임에 속하는 이전에 처리된 서브프레임과 상기 처리된 서브프레임을 결합하여, 출력 비디오의 새로운 프레임을 생성하는 것을 포함하는, 비디오 시퀀스 처리 방법.
제 13 항에 있어서,
상기 왜곡 공간 변환은 픽셀-적응적이며, 상기 적응 임계치는 디테일-보존적인, 비디오 시퀀스 처리 방법.
제 13 항에 있어서,
상기 과거의 프레임의 서브프레임은 기준을 만족시키는 것에 기초하여 위치되는, 비디오 시퀀스 처리 방법.
제 15 항에 있어서,
상기 기준은, 픽셀의 개수; 상기 현재의 프레임의 선택된 서브프레임과 상기 과거의 프레임의 선택된 서브프레임 사이의 p-놈(p-norm)의 모든 값 중에서 최소값; 상기 현재의 프레임의 선택된 서브프레임과 상기 과거의 프레임의 선택된 서브프레임 사이의 p-놈의, 수평 오프셋과 수직 오프셋 및 상기 과거의 프레임의 폭으로 제한되는 범위 내의 값 중에서 최소값; 및 상기 현재의 프레임의 선택된 서브프레임과 상기 과거의 프레임의 선택된 서브프레임 사이의 p-놈의, 랜덤하게 선택된 수평 오프셋과 수직 오프셋 및 상기 과거의 프레임의 폭으로 제한되는 범위 내의 값 중에서 최소값으로 구성되는 그룹의 하나에 기초하는, 비디오 시퀀스 처리 방법.
제 13 항에 있어서,
상기 적응 임계치를 도출하며, 상기 현재의 프레임으로부터의 서브프레임 및 상기 과거의 프레임으로부터의 서브프레임의 공간-변환 계수를 임계화하는 것은, 변환 계수의 크기가 임계치보다 작은 경우에 계수가 0 으로 설정되는 하드 임계화를 이용하는 것을 포함하는, 비디오 시퀀스 처리 방법.
제 13 항에 있어서,
상기 적응 임계치를 도출하며, 상기 현재의 프레임으로부터의 서브프레임 및 상기 과거의 프레임으로부터의 서브프레임의 공간-변환 계수를 임계화하는 것은, 소프트 임계화를 이용하는 것을 포함하는, 비디오 시퀀스 처리 방법.
제 13 항에 있어서,
상기 입력 비디오로부터의 다른 프레임에 매칭되는 상기 출력 비디오의 출력 비디오 프레임을 선택하는 단계; 및
상기 출력 비디오 프레임을 상기 과거의 프레임으로서 이용하여 상기 동작을 수행하는 단계를 더 포함하는, 비디오 시퀀스 처리 방법.
제 13 항에 있어서,
상기 서브프레임들이 모든 픽셀에서 일정하도록 설정하는 단계를 더 포함하는, 비디오 시퀀스 처리 방법.
제 13 항에 있어서,
각 서브프레임에 대해 변환을 적응적으로 선택하는 단계를 더 포함하는, 비디오 시퀀스 처리 방법.
제 13 항에 있어서,
각 픽셀에서 적응적으로 서브프레임을 선택하는 단계를 더 포함하는, 비디오 시퀀스 처리 방법.
제 13 항에 있어서,
하나 이상의 적응 임계치를 컴퓨팅하는 단계를 더 포함하고,
각 변환된 서브프레임에 대한 변환 계수를 적응 임계치로 임계화하는 것은, 각 변환된 서브프레임에 대한 변환 계수를 상기 하나 이상의 적응 임계치 중 하나의 적응 임계치로 임계화하는 것을 포함하는, 비디오 시퀀스 처리 방법.
제 23 항에 있어서,
각 픽셀에서 선택된 서브프레임에 대해 변환을 적응적으로 선택하는 단계를 더 포함하는, 비디오 시퀀스 처리 방법.
삭제
제 13 항에 있어서,
상기 임계화된 공간-변환 계수에 대해 시간 변환을 적용하며, 시간-변환 계수의 선택된 서브세트를 임계화하는 것은,
상기 현재의 프레임으로부터의 서브프레임 및 상기 과거의 프레임으로부터의 서브프레임의 임계화된 공간-변환 계수로부터 제 1 매트릭스를 형성하는 것, 및
상기 제 1 매트릭스에서의 계수의 선택된 서브세트에 대해 임계화를 적용하여, 제 2 매트릭스를 생성하는 것을 포함하고, 또한
상기 먼저 시간적으로 그 다음에 공간적으로 상기 시간-변환 계수를 역방향 변환하여, 처리된 서브프레임을 획득하는 것은,
상기 제 2 매트릭스에 대해 역방향 시간 변환을 적용하여, 제 3 매트릭스를 발생시키는 것, 및
상기 제 3 매트릭스에 대해 역방향 공간 변환을 적용하여, 상기 처리된 서브프레임을 생성하는 것을 포함하는, 비디오 시퀀스 처리 방법.
삭제
비디오 시퀀스 처리 방법으로서,
입력 비디오를 수신하는 단계; 및
변환 계수의 적응 임계화 (adaptive thresholding) 와 함께 공간 변환 및 시간 변환을 적용함으로써 상기 입력 비디오의 공간적 및 시간적 처리를 이용하여 상기 입력 비디오에서 노이즈와 플리커 모두 또는 상기 노이즈 및 상기 플리커 중 하나를 감소시키기 위한 동작을 수행하는 단계를 포함하고,
상기 동작은,
입력 비디오의 현재의 프레임 및 출력 비디오의 과거의 프레임으로부터 새로운 프레임을 형성하는 것,
각각 상기 현재의 프레임 및 상기 새로운 프레임으로부터의 픽셀을 이용하여 그리고 각 픽셀에 대한 서브프레임 타입에 기초하여 각각 제 1 서브프레임 및 제 2 서브프레임에서의 각 픽셀로부터 형성된 벡터를 이용하여 상기 제 1 서브프레임 및 상기 제 2 서브프레임을 발생시키고, 왜곡 공간 변환을 선택하며 상기 제 1 서브프레임 및 상기 제 2 서브프레임을 공간 변환 도메인으로 변환하고, 적응 임계치를 도출하며 상기 제 1 서브프레임의 변환 계수를 임계화하고, 상기 임계화된 변환 계수 및 상기 제 2 서브프레임으로부터 발생된 계수를 이용하여 매트릭스를 발생시키며, 상기 매트릭스에서의 계수를 역방향 변환하여 처리된 서브프레임을 생성함으로써, 상기 현재의 프레임의 서브프레임 및 상기 새로운 프레임의 서브프레임을 처리하는 것, 및
현재의 프레임에 속하는 이전에 처리된 서브프레임과 상기 처리된 서브프레임을 결합하여, 출력 비디오의 새로운 프레임을 생성하는 것을 포함하는, 비디오 시퀀스 처리 방법.
제 28 항에 있어서,
현재의 프레임 및 과거의 프레임은 다차원 컬러 표현의 모든 채널의 서브세트에 대해서만 채널 정보를 포함하는, 비디오 시퀀스 처리 방법.
삭제
시스템에 의해 실행되는 경우, 상기 시스템으로 하여금,
입력 비디오를 수신하는 단계; 및
변환 계수의 적응 임계화 (adaptive thresholding) 와 함께 공간 변환 및 시간 변환을 적용함으로써 상기 입력 비디오의 공간적 및 시간적 처리를 이용하여 상기 입력 비디오에서 노이즈와 플리커 모두 또는 상기 노이즈 및 상기 플리커 중 하나를 감소시키기 위한 동작을 수행하는 단계를 포함하는 방법을 수행하도록 하는 명령들을 저장하고,
상기 입력 비디오에서 노이즈와 플리커 모두 또는 상기 노이즈 및 상기 플리커 중 하나를 감소시키기 위한 동작을 수행하는 단계는,
현재의 프레임의 서브프레임 및 과거의 프레임의 서브프레임을, 각 서브프레임에 대해 공간 변환을 이용하여 변환하는 단계,
각 변환된 서브프레임에 대한 공간-변환 계수를 적응 임계치로 임계화하는 단계,
시간 변환을 이용하여 상기 임계화된 공간-변환 계수를 변환하는 단계,
각 변환된 서브프레임에 대한 시간-변환 계수를 임계치로 임계화하여, 임계화된 시간-변환 계수를 생성하는 단계,
상기 임계화된 시간-변환 계수를 역방향 변환하여, 픽셀 도메인에서 처리된 서브프레임을 형성하는 단계, 및
상기 처리된 서브프레임을 결합하여, 새로운 프레임을 생성하는 단계를 포함하는, 하나 이상의 컴퓨터 판독가능 저장 매체를 갖는 제조물.
삭제
제 31 항에 있어서,
상기 공간 변환 및 시간 변환을 적용하는 것은, 서브프레임에 대해 적어도 하나의 왜곡 변환을 적용하여 변환 계수를 생성하는 것을 포함하는, 하나 이상의 컴퓨터 판독가능 저장 매체를 갖는 제조물.
제 33 항에 있어서,
상기 적어도 하나의 왜곡 변환은 2-D 분리가능 DCT 또는 2-D 아다마르 변환을 포함하는, 하나 이상의 컴퓨터 판독가능 저장 매체를 갖는 제조물.
삭제
제 31 항에 있어서,
상기 공간 변환은 왜곡 변환인, 하나 이상의 컴퓨터 판독가능 저장 매체를 갖는 제조물.
제 31 항에 있어서,
상기 각 변환된 서브프레임에 대한 공간-변환 계수를 적응 임계치로 임계화하는 단계는,
제 1 임계치를 이용하여 상기 현재의 프레임의 서브프레임으로부터 발생된 계수에 대한 임계화를 수행하는 단계, 및
제 2 임계치를 이용하여 상기 과거의 프레임의 서브프레임으로부터 발생된 계수에 대한 임계화를 수행하는 단계를 포함하고,
상기 제 2 임계치는 상기 제 1 임계치와 독립적으로 컴퓨팅되는, 하나 이상의 컴퓨터 판독가능 저장 매체를 갖는 제조물.
시스템에 의해 실행되는 경우, 상기 시스템으로 하여금,
입력 비디오를 수신하는 단계; 및
변환 계수의 적응 임계화 (adaptive thresholding) 와 함께 공간 변환 및 시간 변환을 적용함으로써 상기 입력 비디오의 공간적 및 시간적 처리를 이용하여 상기 입력 비디오에서 노이즈와 플리커 모두 또는 상기 노이즈 및 상기 플리커 중 하나를 감소시키기 위한 동작을 수행하는 단계를 포함하는 방법을 수행하도록 하는 명령들을 저장하고,
상기 동작은,
입력 비디오의 현재의 프레임으로부터 특정 픽셀에서의 서브프레임을 선택하며, 출력 비디오의 과거의 프레임으로부터 다른 서브프레임을 발견하는 것,
왜곡 공간 변환을 선택하며, 상기 서브프레임들을 공간 변환 도메인으로 변환하는 것,
적응 임계치를 도출하며, 상기 현재의 프레임으로부터의 서브프레임 및 상기 과거의 프레임으로부터의 서브프레임의 공간-변환 계수를 임계화하는 것,
상기 공간-변환 계수에 대해 시간 변환을 적용하며, 시간-변환 계수의 선택된 서브세트를 임계화하는 것,
먼저 시간적으로 그 다음에 공간적으로 상기 시간-변환 계수를 역방향 변환하여, 현재의 프레임 및 과거의 프레임 모두에 속하는 처리된 서브프레임을 획득하는 것, 및
현재의 프레임에 속하는 처리된 서브프레임을 결합하여, 출력 비디오의 새로운 프레임을 생성하는 것을 포함하는, 하나 이상의 컴퓨터 판독가능 저장 매체를 갖는 제조물.
제 38 항에 있어서,
상기 왜곡 공간 변환은 픽셀-적응적이며, 상기 적응 임계치는 디테일-보존적인, 하나 이상의 컴퓨터 판독가능 저장 매체를 갖는 제조물.