KR20010041900A - 화상 시퀀스를 코딩하고 노이즈 필터링하는 방법 및 장치 - Google Patents

화상 시퀀스를 코딩하고 노이즈 필터링하는 방법 및 장치 Download PDF

Info

Publication number
KR20010041900A
KR20010041900A KR1020007010204A KR20007010204A KR20010041900A KR 20010041900 A KR20010041900 A KR 20010041900A KR 1020007010204 A KR1020007010204 A KR 1020007010204A KR 20007010204 A KR20007010204 A KR 20007010204A KR 20010041900 A KR20010041900 A KR 20010041900A
Authority
KR
South Korea
Prior art keywords
noise
filtering
coding
filter
ratio
Prior art date
Application number
KR1020007010204A
Other languages
English (en)
Inventor
오이비어리스테파노
Original Assignee
요트.게.아. 롤페즈
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 요트.게.아. 롤페즈, 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 요트.게.아. 롤페즈
Publication of KR20010041900A publication Critical patent/KR20010041900A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Abstract

본 발명은 화상 시퀀스(g(i,j,k))를 코딩(10*)하는 장치 및 방법을 제공한다. 상기 장치(10*)는 화상 시퀀스를 노이즈 필터링(12)하는 노이즈 필터(12)와, 노이즈 필터(12)의 응답을 적응시키도록 노이즈 필터링(12)을 비율-왜곡 최적화 문제로 간주하는 수단을 구비한다. 특히, 화상 시퀀스가 노이즈없는 화상 시퀀스를 압축시키기 위하여 이용되는 저예산인 최적의 저예산을 이용하여 코딩되고, 제공된 저예산에 대한 왜곡이 최소화되기 때문에, 필터 매개변수 세트(C)는 상기 필터(12)의 응답을 적응시키도록 결정된다. 라그랑주의 멀티플라이어(Lagrange multiplier) 방법으로 필터 매개변수 세트(C)를 계산하는(12) 비율-왜곡 문제에 대한 해결이 제안된다. 분리된 최소화는 독립적으로 매개변수 세트의 각 매개변수를 결정하기 위해 이용된다. 실시예에서, 공간 적응형 가중 평균(SAWA ; spatial dadptive weighted averaging) 필터링(23)은 저예산(Rf*)을 추정하고, 화상 시퀀스(g(i,j,k))를 전치 필터하기 위하여 이용된다.

Description

화상 시퀀스를 코딩하고 노이즈 필터링하는 방법 및 장치{CODING AND NOISE FILTERING AN IMAGE SEQUENCE}
"kleihorst외" [1]에서는 적응형 노이즈 필터를 이용하는 단일-칩 MPEG2 인코더(encoder)를 설명한다. 노이즈 필터(2)는 도 1에 도시된다. 노이즈 필터(2) 외에, 종래 기술의 실시예는 뺄셈기(1), 덧셈기(3), 선택기(4), 메인 루프 메모리(5) 및 이동 추정기(motion estimator)(6)를 구비한다. 단순성의 이유들 때문에, 신호들은 1차원 데이터로 표현된다. 여기서 g(k)는 관측되고 노이지된 신호이고,는 메인 루프 메모리(5)에서 만회된 전치 필터된(코드된-디코드된) 신호이다. 후술될 MC는 상기 신호가 g(k)의 이동 상각궤도(trajectory)를 따라 위치하기 위하여 보정된 이동임을 표시하는 것을 알 수 있다. 필터링의 결과는이고,는 노이지 g(k) 대신에 코딩 체인으로 삽입된다. 상호 코딩된 마이크로 블록들내에서, 신호는 진행된다. 칼만-이익 멀티플라이어(Kalman-gain multiplier) 0≤C≤1는 필터(2)를 위치 가까이에 적응시키기 위하여 제어된다. C=1로 설정하는 것은 (노이지) 관측을 진행시키고, 임의의 필터링 동작도 일어나지 않게 된다. C=0이라면, 그 다음 예측만이 진행되지만, C 노이즈 필터링의 중간값들이 획득된다. 총체적으로 제어하는 상기 중간값을 제외하고, C는 이동 보정의 결과에 의해 또한 집적 제어된다. 이러한 것은 MPEG의 (전송의) 이동형이 부적당한 위치들에서 불명확해지는 것을 피하기 위하여 실행된다. 이에 반하여, 적응성은 양호한 이동-보정이 검출될 때 필터링 성과를 또한 증가시킨다.
본 발명은 노이즈 필터링된 화상 시퀀스를 코딩하는 방법 및 장치에 관한 것이다.
도 1은 종래의 기술에서 공지된 바와 같은 적응형 노이즈 필터의 구조에 대한 도면.
도 2는 결합된 비디오 코딩 및 노이즈 감소를 제공하는 본 발명에 따른 제 1 실시예에 대한 도면.
도 3은 결합된 비디오 코딩 및 노이즈 감소를 제공하는 본 발명에 따른 제 2 실시예에 대한 도면.
도 4는 본 발명에 따른 카메라 시스템에 대한 도면.
본 발명의 목적은 특히, 효과적인 필터링을 제공하기 위함이다. 따라서, 본 발명은 화상 시퀀스를 코딩하는 방법 및 장치와 독립항에서 정의된 바와 같이 카메라 시스템을 제공한다. 유익한 실시예는 종속항에서 정의된다.
본 발명의 첫 번째 실시예는 노이즈 필터링을 적응시키기 위하여 노이즈 필터링을 비율-왜곡 최적화 문제로 간주하는 것에 기초로 한다. 본 발명은 코드화된 영상의 질이 떨어지는 것과 노이즈 불순화로 인해 전송에 대한 비트들의 수량이 증가되는 것을 고려한다. 본 발명은 화상 시퀀스의 적응형 필터링이 보다 나은 압축이 되게 하고, 왜곡 실행을 허용한다. 양호하게, 필터 매개변수 세트는 화상 시퀀스가 노이즈없는 화상 시퀀스를 압축시키기 위하여 이용되는 최적의 저예산(또는, 비율)(R)을 이용하여 코딩되고, 제공된 저예산(R)에 대한 왜곡(D)이 최소화되기 때문에, 필터의 응답을 적응시키도록 결정된다. 코딩된 프로세스로 인하여 임의의 프레임의 왜곡과 상기 프레임을 코드화하기 위해 이용되는 비트들의 수는 평가될 필요가 있다. 비율-왜곡 문제는 라그랑주의 멀티플라이어 방법으로 필터 매개변수 세트를 계산하는 것에 의해 효과적으로 해결될 수 있다.
본 발명에 따른 또 다른 실시예는 저예산(R)의 제 2 미분의 최대를 결정하는 것에 의해 최적의 라그랑주의 멀티플라이어를 추정하기 위하여 효과적인 알고리즘을 이용한다. 본 실시예에서, 최적의 라그랑주의 멀티플라이어는 노이즈 특성 및 비율 한계에 대한 종래의 지식과 상관없이 결정된다.
본 발명에 따른 실질적 실시예는 비율을 추정하기 위하여 공간 적응형 가중 평균 필터링을 이용한다. 또 다른 실시예에서, 공간 적응형 가중 평균 필터링은 화상 시퀀스를 전치 필터하기 위하여 이용된다. 상술된 것은 픽셀들간의 공간의 상호 관계를 이용하고, 3차원의 필터링 기술들과 비교되는 처리 부담을 줄이기 위하여 실행된다. 벡터들이 공간적으로 필터된 이후, 변위 벡터들은 이동 추정들에 대한 부가적인 확정을 제공하는 현재 프레임과 이전 프레임에서 추정된다.
본 발명의 전술한 측면과 다른 측면은 이후 설명되는 실시예의 참조로부터 명백하게 나타난다.
본 발명은 필터의 응답이 적응될 수 있기 때문에, 비율-왜곡 최적화 문제와 같이 화상 시퀀스를 비율-왜곡 최적화 문제로 간주한다. 특히, 최적의 필터 매개변수 세트는 노이지 화상이 최적의 저예산을 이용하여 코딩되고, 왜곡이 최소화되도록 결정된다. 최적의 저예산은 노이즈없는 화상 시퀀스를 압축하도록 이용될 수 있는 비트들의 수이다. 선호하는 실행과 같이, 라그랑주의 멀티플라이어 방법에 기초로 하는 해결이 제안될 것이다. 상기 방법은 비율-왜곡 문제의 효과적인 해결을 가능하게 한다. 또한, 저예산에 대한 종래의 지식 즉, 비율 한계 및 노이즈 특성들의 지식 없이 최적의 라그랑주의 멀티플라이어를 결정하는 효과적인 알고리즘이 논의된다.
일반적으로 말하면, 완전한 노이즈 필터링은 원래의 신호를 떨어뜨리리 않고는 이루어질 수 없다. 본 발명의 일측면은 아래와 같이 간주된 임의의 비디오 코딩의 문맥에서 화상 시퀀스를 필터링하는 문제이다.
-최적의 저예산(R) 즉, 노이즈없는 시퀀스를 인코드하기 위하여 이용된 비트들의 수를 이용하는 노이지 시퀀스를 인코드하고,
-제공된 R, 제공된 노이즈 필터의 계수들이 적응되기 때문에 필터링으로 인해 왜곡을 최소화시키고,
상술된 것은 제공된 저예산의 효과적인 왜곡을 허용하는 최적의 매개변수 세트가 충분한 화상의 질을 확보하기 위하여, 제공된 저예산의 효과적인 왜곡을 허용하는 최적의 매개변수에서 리소스 배치 문제로 간주될 수 있다.
도 2는 결합된 비디오 코딩 및 노이즈 필터링을 도시하는 본 발며에 따른 장치(10)를 도시한다. 장치(10)는 뺄셈기(11), 처리 유닛 CPU(12*)를 가진 노이즈 필터(12), 덧셈기(13), 스위치(14), 분리 코사인 변형기(DCT)(15), 양자기(16), 가변 길이 코더(VLC)(17), 역양자기(Q-1)(18), 역DCT(DCT-1)(19), 덧셈기(20), 이동 추정기(ME)/ 이동 보정기(MC)(21) 및 스위치(22)를 포함한다. 장치(10)는 DCT 변형 플러스 양자화 및 이동 보정에 의해 공간 시간적으로 입력된 화상 시퀀스 g(i,j,k)를 코드하는 하이브리드 코더이다. 상기 장치는 상호 코드된 프레임들(I) 및 상호 코드된 프레임들(P)을 생성한다. 상호 코드된 프레임들이 없다면 상호 코드된 프레임들이 이동 보정된다. 상기 프레임이 상호 코드된다면, 스위치들(14, 22)은 임의의 이동 보정이 실행되도록 위치된다. 모든 프레임들은 DCT(15)에서 DCT 코드되도록, Q(16)에서 양자하되며, VLC(17)에서 엔트로피 코드된다. 재구성된 프레임을 획득하기 위하여, 이러한 것은 이동 추정 및 이동 보정을 필요로 한다. 코드된 프레임은 Q-1(18)에서 역양자화되고, DCT-1(19)에서 역DCT 변형된다. 재구성된 프레임은 ME/MC 유닛(21)에 포함된 프레임 메모리에서 저장된다. 노이즈 필터(12)는 뺄셈기(11)와 연결되어 있기 때문에 상이한 프레임을 필터한다. 장치(10) 및 특히 CPU(12*)를 가진 노이즈 필터(12)는 이후 상세히 논의될 것이다.
양호하게, 단일 부가적 노이즈형으로 가정하면, 다음 식에 의해 제공된다.
여기서 g(i,j,k)는 뺄셈기(11), f(i,j,k) 원래의 시퀀스 및 (i,j,k) 노이즈로 입력되는 관측된 화상 시퀀스를 표시하고, i,j는 공간적 대등한 것들 및 k 분리 시간 가변(프레임 인덱스)이다. 노이즈 n(i,j,k)는 0-수단들, 공간, f(i,j,k)에 의존 및 공분산 변위 σ2 n를 가진 가우스의 왜곡으로 가정된다.
실예와 같이 낮은 계산을 유지하기 위하여, 후술될 토론은 필터된 프레임을 생성하는 단일 이동 보정된(MC) 노이즈 필터[2]에 집중된다.
여기서,은 위치(i,j)의 변위이고, Cij(k)는 노이즈 필터(12)의 응답을 적응시키기 위한 제어 매개변수이다.
제공된 MC에 있어서, 비디오 코딩 시스템(10)은 이동 추정 및 이동 보상에 대하여 K1×K2필터된 크기의 블록 영역들로 분할된 화상을 간주하고, 상등하는 변위 세트는이다. 또한, 상기 화상은 MC 필터링에 대한 넓이들 I×J의 N1×N2중복되지 않는 블록들로 분할되는 것을 가정한다. 상기 대응하는 제어 매개변수 세트 및 변위 세트는 다음 식에 의해 제공된다.
각.
제어 매개변수 세트 및 이동 벡터들은 허용될 수 있는 값들의 제한 세트에서 양쪽 모두 가정된다.
인코드되도록 필터된 프레임과,
디코더에서 표시된 바와 같이 재구성되는 필터된 프레임을 표시하고, Q[]는 양자기(16)의 현재와 같이 양자화 동작기이다. k1 및 k2는 이동 추정 및 이동 보정에 대하여 블록 영역을 지시하기 위하여 지시될 수 있다.
2개로 분리된 이동 추정/ 보상 처리들은 하나는 노이즈 필터링 및 다른 하나는 이동 보정된 코딩으로 실행된다. 계산의 성과를 구하기 위하여, 인코드될 F(i,j,k) = g(i,j,k) 및 상기 시퀀스 g(i,j,k)로 가정하는 것은 이동 상각궤도 vk=dk[1]에 따라 필터된다. 이러한 것은 필터링이 코딩 루프에서 실행된 이동 보정 예측에 기초하는 것을 의미한다. 도 2를 보자.
재고성되고 필터된 프레임은 다음 식에 의해 제공된다.
이동 추정이 노이지 관측 g(i,j,k)에서 실행되기 때문에, 노이지가 이동 보정 예측이 감소된 부정확한 이동 추정치가 될 수 있음을 알 수 있다. 따라서, dk의 계산에 대한 노이즈 확정 이동 측정기(ME)(21)는 유익한 실시예에서 채택된다. 낮은 복잡성 공간 시간적 순환 ME[3]이 이용될 수 있다.
비율-왜곡 최적화 문제는 제어 매개변수 세트 Ck를 계산하기 위하여 공식화된다. Rf k는 노이즈없는 시퀀스 (f(i,j,k))와 결합된 변위된 프레임 차이(DFD)를 인코드하기 위하여 이용된 비트들의 수라고 하자. 다음과 같이 표시된다.
목적은 프레임 왜곡을 최소화하는 세트 Ck를 구하는 것이다.
제공된 저 비율 한계 Rf k에 대한가 이용가능하지 않기 때문에, Dg(Ck)의 수단들에 의해 필터링된 것으로 인해 왜곡만이 간주될 수 있지만, 노이즈로 인해 감소로 간주될 가능성은 없다는 것을 알 수 있다.
및은 각각 영역(n1,n2)와 결합된 비율 및 왜곡으로 표현하자. 이후, RD 최적화 문제는 다음 식과 같이 표현될 수 있다.
조건으로,
등식(5),(7) 및 (8)은 비디오 코딩에 대하여 제안된 RD 최적화된 MC 시간적 노이즈 필터로 정의한다.
이러한 문제를 효과적으로 해결하기 위하여, 제약이없는 문제는 라그랑주의 멀티플라이어 λk[4]를 통하여 왜곡 조건과 비율 조건을 합병함으로써 공식화될 수 있다. 총 라그랑주의 비용 함수를 도입하면,
다음과 같이이 있다면, [5]에 도시된다.
도출
는 (7, 8)로 최적의 해결이다.
2등분 방법은 최적의을 구하기 위하여 이용될 수 있다. 노이즈 필터링에 대한 분할이 상호 영역에 의존하지 않는 것으로 가정하면, 비율 및 영역(n1,n2)은 상기 영역과 결합된 신호에만 의존한다.
따라서,
와
를 갖는다.
여기서 왜곡은 다음과 식이 표현된다.
따라서,분리 최소화 원리가 야기될 수 있고, 각각의 제어 매개변수 Cn1.n2(k)∈Ck인 단일 최적화 문제로 (10)의 조인트 최적화 문제를 커버링하는 것은 독립적으로 결정될 수 있다. 따라서,
일반적으로, 프레임 (f(i,j,k))와 결합된 비율 Rf k에 대한 종래의 지식이 없기 때문에,(11)이 이행되도록을 계산하는 것은 불가능하다. 효과적인 방법은 [6]에 설명된 바와 같이 스킴(scheme)에 기초한 방법이 제안된다. 상기 스킴은 종래의 정보에 대한 부가적 필요없이 입력 데이터로부터 노이즈 파워를 암시적으로 추정한다. 최적의의 추정은 다음과 같다.
와
로 가정된다.
상기 등식의 설명은 아래와 같다. λk=0에서 점점 더 작은 저 예산으로 시작하는 것은 부가적인 노이즈로 변조된 화상 시퀀스를 인코드하기 위하여 할당된다. 굴곡부에서 발생하는 임의의 λk에서, 원래의 시퀀스를 인코드하기 위하여 정확한 비트들의 양이 할당된다. 이런 값 이후에, 압축비가 천천히 증가되고, 비디오 정보를 인코드하기 위해서 할당되는 필요보다 작은 비트들을 표시한다.
도 3에 도시된 바와 같은 본 발명의 제 2 실시예(10*)에서, 공간 적응형 가중 평균(SAWA) 필터(23)는 비율 조건 Rf k의 추정기로 사용된다. SAWA 필터의 상세한 설명은 [7]에서 발견된다. k번째 프레임에서의 픽셀 위치(i,j)에서 SAWA 추정 j(i,j,k)은 다음과 같이 정의된다.
여기서,은 공간의 서포트 S(i,j,k)안의 가중치들이고, 현재의 픽셀 위치에 대해 중심에 있는 3×3 공간의 창으로 정의된다. K(i,j,k)는 표준화 상수이고, α 및 ε는 동조된 매개변수들이다. 일반적으로 1에서 설정되는 수량 α는 가중치들이 픽셀 값들간에 불일치의 함수로서 얼마나 빠르게 감소해야 하는지를 제어하고, 반면에 매개변수 ε2는 가중 평균과 직접 평균간의 스위칭을 결정한다. 노이즈 레벨을 고려하지 않고 DFD를 인코드하기 위하여 비트들의 수의 정확한 추정치들을 획득하기 위하여, 매개변수 ε2와 노이즈 공분산 σ2 n간의 관계는 실험적으로 결정될 수 있다. 많은 실험들로부터 ε2= (δσ2 n)2이 이루어지고, 여기서 δ는 동조 상수이다. 비율 Rf k의 추정 Rf* k은 인코드하기 위하여 사용된 비트들의 수이다.
비트들의 수 Rf* k는 VLC(17)에서 결정되고, 노이즈 필터(12)의 CPU(12*)로 공급된다. 매개변수 세트는 각각의 프레임을 위해 계산될 수 있지만, 또한 임의의 프레임들의 수를 위하여 일정하게 유지된다.
일반적으로, 3차원 필터링 기술들은 픽셀들 간의 공간적 상호관계와 프레임들간의 시간적 상호관계를 개발하기 위하여 이용된다. 또한, 처리 부담을 줄이기 위한 필터링 처리는 각각의 프레임에 독립적으로 작용하는 공간적 부분과 이동 방향에 작용하는 시간적 부분으로 분리된다. 이러한 기술은 변위 벡터들이 공간적으로 필터된 이후 현재와 이전의 프레임으로부터 추정된 이후 특히 낮은 SNR's에 보다 더 잇점이 있으며, 이동 추정치에 부가적인 확신을 제공한다. 상기 방법에 따르면 현재 프레임 (g(i,j,k))의 SAWA 전치 필터링이 먼저 실행되고, 다음 MC 시간적 필터가 부드러운 화상에 적용된다. 예를 들면, 등식(5)의 (g(i,j,k))는 등식(18)의 (h(i,j,k))로 치환된다. 도 3를 보자. 최적의 왜곡 실행을 이루기 위하여, ε2=2σ2 n가 SAWA 전치 필터링에 대해 설정된다.
본 발명에 따르면 비디오 코더는 방송, 비디오 전화, 텔레비젼 회의 시스템, 위성 관측, 감시 시스템등과 같이 여러 적용에서 사용될 수 있다. 본 발명에 따르면 도 4는 카메라(100) 및 장치(200)를 포함하는 카메라 시스템을 도시한다. 상기 카메라는 장치(200)에서 화상 시퀀스 (g(i,j,k))를 제공한다. 장치(200)는 각각 도 2 및 도 3에 도시된 바와 같이 장치(10) 또는 장치(10*)와 유사하다.
본 발명은 MPEG뿐만 아니라 H.261 및 H.263과 같은 하이브리드 코딩 스킴들을 보정하는 낮은 비트율 이동에 특히 적용된다. 요약하면, 본 발명은 화상 시퀀스 (g(i,j,k))의 코딩을위한 방법 및 장치를 제공한다. 상기 장치는 화상 시퀀스 (g(i,j,k))는 노이즈 필터링을 위한 노이즈 필터와 노이즈 필터의 응답을 적응시키도록 노이즈 필터링을 비율-왜곡 최적화 문제로 간주하는 수단을 구비한다. 특히, 화상 시퀀스가 노이즈없는 화상 시퀀스를 압축시키기 위하여 이용되는 저예산인 최적의 저예산을 이용하여 코딩되고, 제공된 저예산에 대한 왜곡이 최소화되기 때문에 필터 매개변수 세트(C)는 상기 필터의 응답을 적응시키도록 결정된다.
라그랑주의 멀티플라이어 방법으로 필터 매개변수 세트(C)를 계산하는 비율-왜곡 문제에 대한 해결이 제안된다. 분리된 최소화는 독립적으로 매개변수 세트의 각각의 매개변수를 결정하기 위하여 이용된다. 실시예에서, 공간 적응형 가중 평균(SAWA) 필터링은 저예산을 추정하고 화상 시퀀스 (g(i,j,k))를 전치 필터하기 위하여 이용된다.
상술된 실시예들은 본 발명의 제한보다 상세히 설명되고, 본 기술분야의 숙련된 기술자들은 첨부된 청구항들의 범위에서 벗어나지 않고 여러 실시예들을 설계할 수 있음을 알 수 있다. 청구항에서, 괄호들 간의 위치된 임의의 참조 부호들은 청구항의 제한으로 구성되지 않는다. "포함하는"이라는 용어는 청구항안에 작성된 요소들 및 단계들보다 다른 요소들 및 단계들의 존재를 배재하지 않는다. 본 발명은 여러 명확한 요소들을 포함하는 하드웨어의 수단들, 적합하게 프로그램된 컴퓨터의 수단들에 의해 실행될 수 있다. 여러 수단들을 열거하는 장치항에서, 상기 여러 수단들은 하드웨어의 동일한 항목에 의해 구체화될 수 있다.
참조
[1] "R.P. Kleihorst, A. van der Werf, W.H.A. Bruls, W.F.J. Verhaegh 및 E. Waterlander"의 문헌"MPEG2 video endocing in consumer electronics(J.VLSI Signal Processing Syst., Vol. 17, pp. 1 내지 13, 1997)"
[2]"A.K. Katsaggelos, J.N. Driessen, S.N. Efstratiadis 및 R.L. Lagendijk"의 문헌"Spatio-temporal motion compensated noise filtering of image sequences(Proc, SPIE Conf. Visual Commun. 및 Image Processing, Vol. 1199, pp. 61 내지 70, 1989)"
[3]"S. Olivieri, G. de Haan 및 L. Albani"의 문헌"Noise-robust recursive motion estimation for H.263 based videoconferencing systems(Proc. MMSP'99,1999)"
[4]"K. Ramchandran, A. Ortega, M. Vetterli"의 문헌"Bit allocation for dependent quantization with applications to multiresolution and MPEG video coders(IEEE Trans. Image Processing, Vol. 3, pp. 533 내지 545, Sept. 1994)"
[5]"Y. Shoham 및 A Gersho"의 문헌"Efficient bit allocation for an arbitrary set of quantizers(IEEE Trans. Acoust., Speech, Signal Processing, Vol. 36, pp. 1445 내지 1453, Sept. 1988.)"
[6]"B.K. Natarajan"의 문헌"Filtering random noise from deterministic signals via data compression(IEEE Trans. Signal Processing, vol. 43, pp. 2595 내지 2605, Nov. 1995)"
[7]"M.K. Ozkan, M.I. Sezan 및 A.M. Tekalp"의 문헌"Adaptive motion-compensated filtering of noisy image sequences(IEEE Trans. Circuits Syst. Video Technol., Vol. 3, pp. 277 내지 290, Aug. 1993)"

Claims (5)

  1. 화상 시퀀스(g(i,j,k))를 코딩(10,10*)하는 방법에 있어서,
    상기 화상 시퀀스(g(i,j,k))를 노이즈 필터링(12)하는 단계 및,
    상기 코딩(10,10*)의 비율-왜곡 최적화에 따라 상기 노이즈 필터링(12)을 적응(12*)시키는 단계를 포함하는 화상 시퀀스 코딩 방법.
  2. 제 1 항에 있어서,
    상기 적응하는 단계(12*)는
    라그랑주의 멀티플라이어(Lagrange multiplier) 방법에 의해 상기 노이즈 필터링(12)의 필터 매개변수 세트(C)를 계산(12*)하는 단계 및,
    상기 비율-왜곡 최적화에서 이용된 비율의 제 2 미분의 최대치를 결정함으로써 최적의 라그랑주 멀티플라이어를 추정(12*)하는 단계를 포함하는 화상 시퀀스 코딩 방법.
  3. 제 1 항에 있어서,
    상기 적응하는 단계는
    상기 화상 시퀀스를 공간 필터링(23)하는 단계 및,
    상기 비율-왜곡 최적화에서 이용된 비율로서 상기 공간적으로 필터링된 화상 시퀀스를 코딩하기 위하여 이용된 비트들의 수를 획득(17)하는 단계를 포함하는 화상 시퀀스 코딩 방법.
  4. 화상 시퀀스(g(i,j,k))를 코딩하는 장치(10,10*)에 있어서,
    상기 화상 시퀀스(g(i,j,k))를 노이즈 필터링하는 수단(12) 및,
    상기 코딩(10,10*)의 비율-왜곡 최적화에 따라 노이즈 필터링(12)하는 상기 수단들의 응답을 적응시키는 수단(12*)을 포함하는 화상 시퀀스 코딩 장치.
  5. 제 4 항에 청구된 장치(200) 및 카메라(100)를 포함하는 카메라 시스템.
KR1020007010204A 1999-01-15 1999-12-24 화상 시퀀스를 코딩하고 노이즈 필터링하는 방법 및 장치 KR20010041900A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP99200103 1999-01-15
EP99200103.2 1999-01-15
EP99202038 1999-06-24
EP99202038.8 1999-06-24
PCT/EP1999/010414 WO2000042772A1 (en) 1999-01-15 1999-12-24 Coding and noise filtering an image sequence

Publications (1)

Publication Number Publication Date
KR20010041900A true KR20010041900A (ko) 2001-05-25

Family

ID=26153236

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020007010204A KR20010041900A (ko) 1999-01-15 1999-12-24 화상 시퀀스를 코딩하고 노이즈 필터링하는 방법 및 장치

Country Status (6)

Country Link
US (2) US6856699B1 (ko)
EP (1) EP1064790A1 (ko)
JP (1) JP2002535895A (ko)
KR (1) KR20010041900A (ko)
CN (1) CN1184820C (ko)
WO (1) WO2000042772A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2790123B1 (fr) * 1999-02-18 2001-04-27 Ge Medical Syst Sa Procede de traitement d'une sequence d'images fluoroscopiques d'un corps, de facon a ameliorer la qualite des images visualisees
CN1167034C (zh) 2001-02-27 2004-09-15 华为技术有限公司 图像预去噪的方法
KR100827363B1 (ko) * 2002-03-22 2008-05-07 주식회사 우암닷컴 다중 표현 부호화를 이용한 데이터 압축방법
CN101409835B (zh) * 2002-11-08 2014-09-17 苹果公司 利用拉格朗日乘子和视觉掩蔽来控制速率-失真折中的方法和装置
US7042943B2 (en) 2002-11-08 2006-05-09 Apple Computer, Inc. Method and apparatus for control of rate-distortion tradeoff by mode selection in video encoders
CN100536571C (zh) * 2003-01-08 2009-09-02 苹果公司 用于改进的编码模式选择的方法和装置
US7194035B2 (en) 2003-01-08 2007-03-20 Apple Computer, Inc. Method and apparatus for improved coding mode selection
WO2005029868A1 (en) * 2003-09-23 2005-03-31 Koninklijke Philips Electronics, N.V. Rate-distortion video data partitioning using convex hull search
PL1673944T3 (pl) * 2003-10-14 2020-03-31 Interdigital Vc Holdings, Inc. Technika do symulowania ziarna filmu o dokładności bitowej
KR101044934B1 (ko) * 2003-12-18 2011-06-28 삼성전자주식회사 움직임 벡터 추정방법 및 부호화 모드 결정방법
US20050175109A1 (en) * 2004-02-11 2005-08-11 Anthony Vetro Optimal bit allocation for error resilient video transcoding
US7418149B2 (en) * 2004-07-30 2008-08-26 Algolith Inc. Apparatus and method for adaptive 3D noise reduction
US7925320B2 (en) * 2006-03-06 2011-04-12 Garmin Switzerland Gmbh Electronic device mount
US8542726B2 (en) 2006-10-17 2013-09-24 Microsoft Corporation Directional and motion-compensated discrete cosine transformation
CN101711481B (zh) * 2006-10-18 2013-01-09 汤姆森特许公司 使用预测数据精选进行视频编码的方法和装置
US8259804B2 (en) * 2007-01-03 2012-09-04 International Business Machines Corporation Method and system for signal prediction in predictive coding
US20080316364A1 (en) * 2007-06-25 2008-12-25 The Hong Kong University Of Science And Technology Rate distortion optimization for video denoising
CN101442297B (zh) * 2007-11-23 2011-06-08 深圳Tcl工业研究院有限公司 一种数字抽取滤波器
CN101442296B (zh) * 2007-11-23 2011-11-16 深圳Tcl工业研究院有限公司 一种数字抽取滤波器
US20090268818A1 (en) * 2008-04-29 2009-10-29 International Business Machines Corporation Method and system for integrating noise filtering in predictive video coding
KR101563554B1 (ko) 2008-08-01 2015-10-27 퀄컴 테크놀로지스, 인크. 잡음 제거를 위한 통합 시간 필터를 구비한 비디오 인코더
CN101742288B (zh) * 2008-11-11 2013-03-27 北京中星微电子有限公司 视频降噪编码方法和视频降噪编码装置
US20120242864A1 (en) * 2010-09-20 2012-09-27 Pauli Myron R Flash detection and clutter rejection processor
US8619030B2 (en) * 2010-11-09 2013-12-31 Blackberry Limited Method and apparatus for controlling an output device of a portable electronic device
JP5710022B2 (ja) * 2011-01-12 2015-04-30 シーメンス アクチエンゲゼルシヤフトＳｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ ビデオデコーダにおける参照画像の圧縮方法及び伸長方法
US10909272B2 (en) 2018-01-31 2021-02-02 Seagate Technology Llc Storage compute appliance with user authentication and memory allocation capabilities
US11017127B2 (en) 2018-01-31 2021-05-25 Seagate Technology Llc Storage compute appliance with internal data encryption
WO2020139414A1 (en) * 2018-12-24 2020-07-02 Google Llc Video stream adaptive filtering for bitrate reduction

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62234495A (ja) * 1986-03-31 1987-10-14 Nec Home Electronics Ltd 磁気記録再生装置
US5534917A (en) * 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5231484A (en) * 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
JPH05244011A (ja) * 1992-02-29 1993-09-21 Sony Corp ノイズシェーピング回路
US5402520A (en) * 1992-03-06 1995-03-28 Schnitta; Bonnie S. Neural network method and apparatus for retrieving signals embedded in noise and analyzing the retrieved signals
DE69329670T2 (de) * 1992-09-14 2001-03-15 Thomson Multimedia Sa Verfahren und Gerät zur Rauschminderung
US6026190A (en) * 1994-10-31 2000-02-15 Intel Corporation Image signal encoding with variable low-pass filter
JP3242278B2 (ja) * 1995-03-24 2001-12-25 東芝テック株式会社 画像処理装置
FI98020C (fi) * 1995-06-06 1997-03-25 Nokia Mobile Phones Ltd Digitaalisen signaalin modulointimenetelmä ja modulaattori
FR2736181A1 (fr) * 1995-06-30 1997-01-03 Philips Electronique Lab Procede de traitement d'images pour la reduction du bruit dans une image d'une sequence d'images numeriques et dispositif mettant en oeuvre ce procede
US5926209A (en) * 1995-07-14 1999-07-20 Sensormatic Electronics Corporation Video camera apparatus with compression system responsive to video camera adjustment
JP3353604B2 (ja) * 1995-08-09 2002-12-03 ソニー株式会社 動画像符号化方法及び装置、並びに信号記録媒体
US5696710A (en) * 1995-12-29 1997-12-09 Thomson Consumer Electronics, Inc. Apparatus for symmetrically reducing N least significant bits of an M-bit digital signal
GB9611455D0 (en) * 1996-05-29 1996-08-07 Digi Media Vision Ltd Method and apparatus for processing a digital signal
CN1115779C (zh) * 1997-05-21 2003-07-23 三星电子株式会社 数字锁相环电路以及方法
US6281942B1 (en) * 1997-08-11 2001-08-28 Microsoft Corporation Spatial and temporal filtering mechanism for digital motion video signals
US6366704B1 (en) * 1997-12-01 2002-04-02 Sharp Laboratories Of America, Inc. Method and apparatus for a delay-adaptive rate control scheme for the frame layer
US6100940A (en) * 1998-01-21 2000-08-08 Sarnoff Corporation Apparatus and method for using side information to improve a coding system
US6434196B1 (en) * 1998-04-03 2002-08-13 Sarnoff Corporation Method and apparatus for encoding video information
US6192080B1 (en) * 1998-12-04 2001-02-20 Mitsubishi Electric Research Laboratories, Inc. Motion compensated digital video signal processing
US6546117B1 (en) * 1999-06-10 2003-04-08 University Of Washington Video object segmentation using active contour modelling with global relaxation
US6549014B1 (en) * 2002-02-15 2003-04-15 Power Designers, Llc Battery monitoring method and apparatus

Also Published As

Publication number Publication date
CN1184820C (zh) 2005-01-12
WO2000042772A1 (en) 2000-07-20
US20030053709A1 (en) 2003-03-20
JP2002535895A (ja) 2002-10-22
US6993195B2 (en) 2006-01-31
CN1292978A (zh) 2001-04-25
EP1064790A1 (en) 2001-01-03
US6856699B1 (en) 2005-02-15

Similar Documents

Publication Publication Date Title
KR20010041900A (ko) 화상 시퀀스를 코딩하고 노이즈 필터링하는 방법 및 장치
US5757969A (en) Method for removing a blocking effect for use in a video signal decoding apparatus
US5852682A (en) Post-processing method and apparatus for use in a video signal decoding apparatus
KR100425640B1 (ko) 비디오신호처리를위한노이즈추정및감소장치
US5565921A (en) Motion-adaptive image signal processing system
US6658157B1 (en) Method and apparatus for converting image information
US6690833B1 (en) Apparatus and method for macroblock based rate control in a coding system
US6148027A (en) Method and apparatus for performing hierarchical motion estimation using nonlinear pyramid
US20050281479A1 (en) Method of and apparatus for estimating noise of input image based on motion compensation, method of eliminating noise of input image and encoding video using the method for estimating noise of input image, and recording media having recorded thereon program for implementing those methods
US7885341B2 (en) Spatial filtering for improving compression efficiency of motion compensated interframe coding
US20110075037A1 (en) Enhanced image/video quality through artifact evaluation
US7394856B2 (en) Adaptive video prefilter
US20080101469A1 (en) Method and apparatus for adaptive noise filtering of pixel data
JPH09163373A (ja) 雑音低減装置
US20120087411A1 (en) Internal bit depth increase in deblocking filters and ordered dither
WO2006073579A2 (en) Methods and apparatus for providing a rate control
EP0680217B1 (en) Video signal decoding apparatus capable of reducing blocking effects
EP0721284B1 (en) An image processing system using pixel-by-pixel motion estimation and frame decimation
US7450639B2 (en) Advanced noise estimation method and apparatus based on motion compensation, and method and apparatus to encode a video using the same
KR20020064963A (ko) 임베딩된 필터들을 갖는 트랜스코딩 방법 및 트랜스코딩장치
US20030081676A1 (en) Methods and systems for video transcoding in DCT domain with low complexity
US20060146932A1 (en) Method and apparatus for providing motion estimation with weight prediction
US6061401A (en) Method and apparatus for selectively encoding/decoding a video signal
EP0886972B1 (en) Improved post-processing for removing blocking effects in decoded image signal
JPH07336684A (ja) 画像信号復号化装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application