KR100967872B1

KR100967872B1 - Ｈ.264 동영상 표준 부호화 방식의 블록화 현상 제거를위한 적응적 후처리 기법

Info

Publication number: KR100967872B1
Application number: KR1020080054603A
Authority: KR
Inventors: 최권열; 김범수; 홍민철
Original assignee: 숭실대학교산학협력단; 중앙대학교 산학협력단
Priority date: 2008-06-11
Filing date: 2008-06-11
Publication date: 2010-07-05
Also published as: KR20090128714A

Abstract

본 발명은 H.264 동영상 표준 부호화 방식의 블록화 현상 제거 및 화질개선을 위한 적응적 후처리 영상복원 방법에 관한 것이다.

본 발명의 하나의 모습은, H.264 블록 이산여현변환 방식 기반의 부호화로 인한 훼손 영상 획득단계; 획득된 훼손 영상의 매크로 블록에 대응하는 소정 크기 단위의 화소블록을 블록경계영역과 블록내부영역으로 구분하여 각 화소들이 위치한 영역에 따라 각기 다른 라플라시안 연산자를 선택하고 각 화소들이 위치한 영역에 따라 각기 다른 방식으로 국부평균 및 국부활동성 값 산출하여 산출된 국부활동성에 따른 가중치 함수를 사용하여 대각행렬의 대각원소를 산출하고 정규화 복원방식에서 데이터에 대한 신뢰도와 원 영상에 대한 완화도의 상반된 특성을 조절하기 위한 정규화 매개변수를 산출하고 산출된 가중치 대각원소와 정규화 매개변수를 사용하여 CLS 기반의 정규화 반복해를 도출하는 가중치 규준(norm) CLS 정규화 복원방식을 적용하는 단계; 및 가중치 규준(norm) CLS 정규화 복원방식으로 도출되는 정규화 반복해를 대상으로 주변 화소들의 활동성의 정도에 따라 화소값의 허용범위를 제한하는 투영해를 도출하는 투영 영상복원 방식을 적용하는 단계;를 포함하여 이루어지는 것을 특징으로 한다.

본 발명에 따르면 영상 복원에서 사용되는 CLS 기법과 투영 기법이 결합된 방식을 블록화 현상 제거를 위한 처리 과정에 적용함으로써 기존 H.264 루프 필터보다 높은 PSNR 성능을 보이며, CLS 기법만 단독으로 사용되는 방식보다 PSNR이 향 상되는 동시에 수렴 속도가 상승되는 장점이 있다.

H.264, 블록화 현상, 화질개선, CLS, 정규화 반복기법, 투영기법, 블록경계, 가중치,

Description

Ｈ.264 동영상 표준 부호화 방식의 블록화 현상 제거를 위한 적응적 후처리 기법{Method of adaptive post-process for removing blocking artifacts of H.264 video coding standard}

본 발명은 블록 이산여현변환 기반의 부호화 방식인 H.264 동영상 표준 부호화 방식으로 훼손된 영상의 화질 개선 및 블록화 현상 제거를 위한 후처리 영상복원 방법에 관한 것으로, 보다 상세하게는 인간의 시각 시스템을 반영한 CLS 기법과 국부 공간 제약 정보를 이용한 투영 기법을 결합한 형태를 취하는 적응적인 영상복원방법에 관한 것이다.

1997년 이후 차세대 동영상 압축 방식으로 개발되어 온 H.264(MPEG-4 part 10) 동영상 표준 부호화 방식은 현재 디지털방송의 표준 동영상 압축 기술로서 다양한 네트워크 환경에 쉽게 부응할 수 있는 유연성과 동영상의 부호화 효율 측면에서 기존의 H.263 및 MPEG4 방식보다 성능면에서 우월성이 입증되었다. 기존 H.263+ 또는 MPEG-4(part2) 대비 50%의 압축효율을 가지며, 지속적인 고품질 동영상 전송을 보 장한다. 또한, H.264는 패킷망에서의 패킷 손실 및 무선 네트워크에서의 비트 에러 복구능력이 뛰어나고, 네트워크 적응 계층을 통해 상이한 네트워크에서의 전송이 용이한 장점을 가진다.

이러한 H.264 표준은 기존의 압축방식에 비해 16x16에서 4x4까지의 더 작은 블록과 화소 정밀도의 미세한 움직임 보상을 제공한다. H.263 및 MPEG4와의 주요 차이점은 H.264 동영상 표준 부호화 방식이 4 X 4 블록 기반의 변환 및 부호화를 사용하고, 변환 블록 크기의 움직임 추정 및 보상, 그리고 한 개의 VLC(Variable Length Code)를 사용하는 점에 있다.

H.264 동영상 표준 부호화 방식은 4X4 블록 기반을 이용하고 공간 예측 방법을 사용하기 때문에 코드화 된 계수의 분포는 이전의 움직임 보상/DCT를 기반으로 한 8X8 블록과는 다르게 나타난다. H.264 동영상 표준 부호화 방식의 코딩 효율이 이전의 표준화된 압축방식보다 더 뛰어난 성능을 갖고 있으나, 시각적으로 불편한 현상은 저 비트율에서 블록의 크기가 적기 때문에 더욱 심각하게 나타난다.

즉, H.264 동영상 표준 부호화 방식을 비롯한 블록 이산여현변환(DCT, Discrete Cosine Transform) 방식 기반의 부호화에 사용되는 양자화(Qunantization) 과정은 저주파 및 고주파 성분을 손상시킴으로써 블록화 현상을 초래하는 등의 원영상 훼손을 초래한다.

영상 부호화에 의해 훼손된

크기의 이차원 영상은 일반적으로 다음과 같이 수학식 1로 표현될 수 있다.

수학식 1의

,

및

은 스택 순서로 정렬된

열벡터들로 각각 압축에 의해 열화되어 블록화 현상을 포함하는 훼손된 영상, 원영상 및 첨가된 양자화 노이즈를 나타낸다. 일반적으로 첨가된 노이즈는 가우시안 노이즈라 가정하고, 원영상을 복원하기 위해 최소제곱(least squares) 접근 방식이 많이 사용된다.

대표적인 최소제곱 방식으로 CLS(constraint least squares) 방식이 있으며, 이 방식은 영상은 일반적으로 완만하다는 사전 정보를 제약 조건으로 사용한다. 이를 반영한 기본적인 CLS 정규화 복원 방식은 수학식 2와 같이 정의되며, 한 단계 발전된 가중치 규준(norm) CLS 정규화 복원방식은 수학식 3과 같이 정의된다.

수학식 2와 수학식 3의 우변 첫째 항들은 데이터에 대한 신뢰도를 나타내고, 둘째 항들은 원 영상에 대한 완화도를 나타낸다. α는 상충되는 우변의 첫째항과 둘째항의 기여도를 제어하는 정규화 매개변수를 나타낸다. C는 2차원 라플라시안 연산자로써 고주파 성분을 추출하는 일종의 고주파통과 필터를 나타낸다.

인간의 시각 시스템(Human Visual System)은 평탄한 영역과 복잡한 영역에 존재하는 같은 노이즈에 대해 각기 다르게 반응한다. 즉 같은 양을 갖는 동일 노이즈가 평탄한 영역에 존재할 경우, 인간의 시각 시스템은 예민하게 반응하지만, 동일한 노이즈가 복잡한 영역에 존재할 경우, 인간의 시각 시스템은 노이즈에 대해서 거의 반응하지 않는다. 그러므로 각 영역의 노이즈를 적응적으로 처리하기 위해

크기의 대각 행렬 R 과 L 을 수학식 3에 추가하였다. 행렬 R과 L은 가중치 대각 행렬로써 대각 성분들은 0과 1사이의 가중치를 갖는다. 즉 R과 L의 대각 성분은 국부 통계 특성에 따라 설정된다.

수학식 3의 비용함수에 그레디언트(gradient)를 취한 후, 그 결과값을 ‘0’ 벡터로 놓고, 이 결과식을 연속근사 기법에 적용하여 최종적인 CLS 기법 기반의 정규화 반복해를 수학식 4와 같이 얻을 수 있다.

여기에서 R 또는 L의 우측 상단의 t는 전이행렬(transition matrix )을 의미하고, β는 이득 매개변수(gain parameter), I는 단위행렬, 그리고 G는 반복과정 수행을 의미하는 연산자이다. 여기에서

조건을 만족해야만 수렴한다.

상술한 바와 같은 종래기술은 몇 가지 문제점을 갖고 있다. 첫째, 대각 행렬 R과 L의 대각 성분을 구하기 위해 국부 통계적 특성만 고려함으로써 블록화 현상을 완벽하게 제거하지 못한다. 둘째 주변 상하좌우 화소만 고려함으로써 블록화 현상을 완벽히 제거하지 못한다. 셋째, 블록화 현상을 완벽히 제거한다 해도 많은 반복을 요구함에 따라 연산량 증가를 초래하게 된다.

따라서 본 발명은 상술한 종래기술의 문제점을 해결하기 위하여, 블록화 현상과 양자화 크기에 대한 사전 정보를 대각 행렬 R과 L의 대각 성분 추출을 위해 사용함으로써 정교한 대각 행렬 R과 L을 구성하는 것을 목적으로 한다.(①가중치 norm CLS 기법)

또한 본 발명은 복원 영상의 각 화소가 취할 수 있는 값의 범위를 국부활동성 정도에 따라 제한함으로써 반복 해의 수렴 속도를 증가시키며, 신호 대 잡음비(PSNR)의 개선을 얻는 것을 목적으로 한다.(②투영 기법)

이를 통한 본 발명의 최종 목적은 블록 기반의 부호화 방식에서 발생하는 블록화 현상 제거 및 화질 개선이다.

상기 목적을 달성하기 위하여, 본 발명의 하나의 모습으로, H.264 블록 이산여현변환 방식 기반의 부호화로 인한 훼손 영상 획득단계; 획득된 훼손 영상의 매크로 블록에 대응하는 소정 크기 단위의 화소블록을 블록경계영역과 블록내부영역으로 구분하여 각 화소들이 위치한 영역에 따라 각기 다른 라플라시안 연산자를 선택하고 각 화소들이 위치한 영역에 따라 각기 다른 방식으로 국부평균 및 국부활동성 값 산출하여 산출된 국부활동성에 따른 가중치 함수를 사용하여 대각행렬의 대각원소를 산출하고 정규화 복원방식에서 데이터에 대한 신뢰도와 원 영상에 대한 완화도의 상반된 특성을 조절하기 위한 정규화 매개변수를 산출하고 산출된 가중치 대각원소와 정규화 매개변수를 사용하여 CLS 기반의 정규화 반복해를 도출하는 가중치 규준(norm) CLS 정규화 복원방식을 적용하는 단계; 및 가중치 규준(norm) CLS 정규화 복원방식으로 도출되는 정규화 반복해를 대상으로 주변 화소들의 활동성의 정도에 따라 화소값의 허용범위를 제한하는 투영해를 도출하는 투영 영상복원 방식을 적용하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 H.264 동영상 표준 부호화 방식의 블록화현상 제거 및 화질개선을 위한 적응적 후처리 영상복원 방법이 제안된다.

또한, 본 발명의 다른 하나의 모습으로, 상기 가중치 규준 CLS 정규화 복원방식을 적용하는 단계는: 획득된 훼손 영상의 매크로 블록에 대응하는 4×4 크기의 화소블록에서 블록내부영역 M_area과 블록경계영역으로 구분하고 블록경계영역은 다시 상하 블록경계영역 V_area, 좌우 블록경계영역 H_area, 코너 블록경계영역 C_area로 구분하는 블록영역 구분단계; 각 화소들이 위치한 4개의 영역(V_area, H_area, C_area, M_area)에 따라 다른 라플라시안 연산자 C를 선택하는 라플라시안 연산자 선택단계; 각 화소들이 위치한 4개의 영역(V_area, H_area, C_area, M_area)별로 다른 방식으로 국부평균 m(i,j) 및 변형된 국부활동성 LA(i,j)를 산출하는 국부평균 및 국부활동성 산출단계; 블록내부영역과 블록경계영역에 따른 양자화 계수 QP의 가중치 값과 산출된 국부활동성 LA(i,j) 값의 범위에 따른 가중치 함수 ω(·)를 사용하여 대각행렬 L과 R의 대각원소를 산출하는 가중치 대각원소 산출단계; 정규화 복원방식에서 데이터에 대한 신뢰도와 원 영상에 대한 완화도의 상반된 특성을 조절하기 위한 정규화 매개변수 α를 산출하는 정규화 매개변수 산출단계; 및 산출된 가중치 대각원소와 정규화 매개변수를 사용하여 CLS 기반의 정규화 반복해를 도출하는 정규화 반복해 도출단계;를 포함하여 이루어지는 것을 특징으로 한다.

게다가, 본 발명의 또 다른 하나의 모습으로, 상기 투영 영상복원 방식을 적용하는 단계는 블록경계영역의 화소들에 대해 먼저 투영시킨 후 블록내부영역의 화소들에 대해 투영시키는 것을 특징으로 한다.

더욱이, 본 발명의 더욱 다른 하나의 모습으로, 상기 투영 영상복원 방식을 적용하는 단계는 블록경계영역의 화소들에 대한 투영과 블록내부영역의 화소들에 대한 투영을 실시하고, 블록경계영역의 화소에 대한 투영은: 블록경계 주변화소들의 차이 값 평균을 구하는 주변화소차 평균 산출단계, 블록경계 주변화소들의 차이 값 평균을 이용하여 블록경계의 차이 값에 대하여, 복원영상이 원하고자 하는 특성을 갖는 영역으로 투영시키는 연산자인 투영연산자를 산출하는 투영연산자 산출단계, 그리고 투영연산자 값을 블록경계의 화소의 값에 가산 또는 감산하여 블록경계의 화소에 대한 최종 투영해를 산출하는 최종 투영해 산출단계를 포함하여 이루어지고, 블록내부영역의 화소에 대한 투영은 블록경계영역의 화소에 대한 투영 단계들에 상응하는 방식으로 주변화소차 평균을 산출하고 투영연산자를 산출하고 그리고 블록내부의 화소의 최종 투영해를 산출하는 것을 특징으로 한다.

게다가 또한, 본 발명의 또 다른 하나의 모습으로, 주변화소차 평균 산출은 블록경계영역의 화소의 경우 블록경계에 위치한 블록경계 화소, 그리고 블록내부영역의 화소의 경우 블록내부 화소 p0와 q0의 이웃 화소들의 차이 값 평균 MPD와, p0와 q0를 포함한 전체 이웃 화소 차이 값 평균 MAD, 그리고 p0와 q0의 차이 값 BD를 산출하고, 투영연산자 산출은 양자화 계수 QP가 크고 MPD가 작을수록 완만한 영역이므로 엄격한 한계를 갖도록 하고 반대의 경우 완만한 한계를 갖도록 하는, 주변 화소들의 국부 활동성을 나타내는 요소인 MPD를 이용한, BD에 대한 투영연산자 P(BD)를 산출하고, 최종 투영해는 인접하는 두 화소 중 작거나 같은 화소 값에 투영연산자 P(BD)를 가산하고 나머지 값에서 P(BD)를 감산하여 산출되는 것을 특징으 로 한다.

본 발명에 따르면 영상 복원에서 사용되는 CLS 기법과 투영 기법이 결합된 방식을 블록화 현상 제거를 위한 처리 과정에 적용함으로써 기존 H.264 루프 필터보다 높은 PSNR 성능을 보이며, CLS 기법만 단독으로 사용되는 방식보다 PSNR이 향상되는 동시에 수렴 속도가 상승되는 장점이 있다.

본 발명의 특징은 블록 이산여현변환 기반의 영상 부호화 방식으로 인해 발생된 블록화 현상(blocking artifacts)을 제거하는 동시에 고화질의 영상을 복원하기 위해 CLS(Constraint Least Squares) 기법과 투영 기법이 결합한 것으로서, 기존의 블록화 현상 제거를 위한 적응적 저주파통과 필터와 CLS(Constraint Least Squares) 기법만 단독적으로 사용된 방식들과 차별화된다. 인간의 시각 시스템(Human Visual System)을 반영하기 위해 가중치 규준(norm) CLS 기법을 사용하며, 이를 위해 블록 경계와 블록 내부에 위치한 화소들의 위치에 따라 각기 다른 국부 분산과 라플라시안 연산자를 새롭게 정의한다. 투영 기법의 투영 집합을 정의하기 위해 국부 화소간의 상관관계가 높다는 특성을 이용하고, 화소간의 상관관계를 나타내기 위한 국부 활동성 정보로써 블록 경계 주변 화소들 간의 차이값을 활용한다. 그리고 H.264의 양자화 계수(QP)를 완화도 조절을 위해 공통적으로 사용한 다.

아래에서 상기 목적을 달성하기 위한 본 발명의 실시예들이 첨부된 도면을 참조하여 설명된다. 본 실시예들을 설명함에 있어서, 중복되는 부가적인 설명은 아래에서 생략된다.

도 1은 본 발명의 하나의 모습에 따른 H.264 동영상 표준 부호화 방식의 블록화현상 제거 및 화질개선을 위한 적응적 후처리 영상복원 방법의 흐름도이다.

도 1에 도시된 바와 같이, 본 발명의 모습으로, H.264 동영상 표준 부호화 방식의 블록화현상 제거 및 화질개선을 위한 적응적 후처리 영상복원 방법은 가중치 규준(norm) CLS 정규화 복원방식과 투영 영상복원 방식을 결합한 것으로, H.264 블록 이산여현변환 방식 기반의 부호화로 인한 훼손 영상 획득단계(S100)와 가중치 규준(norm) CLS 정규화 복원방식을 적용하는 단계(S200) 및 투영 영상복원 방식을 적용하는 단계(S300)를 포함하여 이루어진다.

도 2는 도 1의 하나의 실시예에 따른 H.264 동영상 표준 부호화 방식의 블록화현상 제거 및 화질개선을 위한 적응적 후처리 영상복원 방법의 흐름도이고, 도 3은 도 1의 하나의 실시예에 따른 가중치 규준(norm) CLS 정규화 복원방식을 적용하는 단계를 나타내는 흐름도이다.

도 2 및 3에 도시된 바와 같이, 가중치 규준(norm) CLS 정규화 복원방 식(S200)은 획득된 훼손 영상의 매크로 블록에 대응하는 소정 크기 단위의 화소블록을 블록경계영역과 블록내부영역으로 구분하고, 각 화소들이 위치한 영역에 따라 각기 다른 라플라시안 연산자를 선택하고, 각 화소들이 위치한 영역에 따라 각기 다른 방식으로 국부평균 및 국부활동성 값 산출하고, 산출된 국부활동성에 따른 가중치 함수를 사용하여 대각행렬의 대각원소를 산출하고, 정규화 복원방식에서 데이터에 대한 신뢰도와 원 영상에 대한 완화도의 상반된 특성을 조절하기 위한 정규화 매개변수를 산출하고, 그리고 산출된 가중치 대각원소와 정규화 매개변수를 사용하여 CLS 기반의 정규화 반복해를 도출한다.

바람직하게는, 블록영역 구분단계(S210), 라플라시안 연산자 선택단계(S220), 국부평균 및 국부활동성 산출단계(S230), 가중치 대각원소 산출단계(S240), 정규화 매개변수 산출단계(S250) 및 정규화 반복해 도출단계(S260)를 포함하여 이루어진다.

여기에서, 블록영역 구분단계(S210)에서는 획득된 훼손 영상의 매크로 블록에 대응하는 4×4 크기의 화소블록에서 블록내부영역 M_area과 블록경계영역으로 구분하고 블록경계영역은 다시 상하 블록경계영역 V_area, 좌우 블록경계영역 H_area, 코너 블록경계영역 C_area로 구분한다. 라플라시안 연산자 선택단계(S220)에서는 각 화소들이 위치한 4개의 영역(V_area, H_area, C_area, M_area)에 따라 다른 라플라시안 연산자 C를 선택한다. 그리고 국부평균 및 국부활동성 산출단계(S230)에서는 각 화소들이 위치 한 4개의 영역(V_area, H_area, C_area, M_area)별로 다른 방식으로 국부평균 m(i,j) 및 변형된 국부활동성 LA(i,j)를 산출한다. 가중치 대각원소 산출단계(S240)에서는 블록내부영역과 블록경계영역에 따른 양자화 계수 QP의 가중치 값과 산출된 국부활동성 LA(i,j) 값의 범위에 따른 가중치 함수 ω(·)를 사용하여 대각행렬 L과 R의 대각원소를 산출한다. 정규화 매개변수 산출단계(S250)에서는 정규화 복원방식에서 데이터에 대한 신뢰도와 원 영상에 대한 완화도의 상반된 특성을 조절하기 위한 정규화 매개변수 α를 산출한다. 그리고 정규화 반복해 도출단계(S260)에서는 산출된 가중치 대각원소와 정규화 매개변수를 사용하여 CLS 기반의 정규화 반복해를 도출한다.

도 4는 도 1의 하나의 실시예에 따른 투영 영상복원 방식을 적용하는 단계를 나타내는 흐름도이다.

그리고, 도 2 및 4에 도시된 바와 같이, 투영 영상복원 방식을 적용하는 단계(S300)는 가중치 규준(norm) CLS 정규화 복원방식으로 도출되는 정규화 반복해를 대상으로 주변 화소들의 활동성의 정도에 따라 화소값의 허용범위를 제한하는 투영해를 도출한다.

바람직하게는, 블록경계영역의 화소들에 대한 투영과 블록내부영역의 화소들에 대한 투영을 실시한다. 블록경계영역 및 블록내부영역의 화소에 대한 투영은 주변화소차 평균 산출단계(S310, S340), 투영연산자 산출단계(S320, S350) 및 최종 투영해 산출단계(S330, S360)를 포함하여 이루어진다. 블록경계영역의 화소에 대한 투영(S310 내지 S330)에서, 주변화소차 평균 산출단계(S310)에서는 블록경계 주변화소들의 차이 값 평균을 구하고, 투영연산자 산출단계(S320)에서 블록경계 주변화소들의 차이 값 평균을 이용하여 블록경계의 차이 값에 대하여, 복원영상이 원하고자 하는 특성을 갖는 영역으로 투영시키는 연산자인 투영연산자를 산출한다. 그리고 최종 투영해 산출단계(S330)에서 투영연산자 값을 블록경계의 화소의 값에 가산 또는 감산하여 블록경계의 화소에 대한 최종 투영해를 산출한다. 마찬가지로, 블록내부영역의 화소에 대한 투영(S340 내지 S360)은 블록경계영역의 화소에 대한 투영 단계들에 상응하는 방식으로 주변화소차 평균을 산출하고(S340) 투영연산자를 산출하고(S350) 그리고 블록내부의 화소의 최종 투영해를 산출한다(S360).

더욱 바람직하게는, 주변화소차 평균 산출(S310, S340)은 블록경계영역의 화소의 경우(S310) 블록경계에 위치한 블록경계 화소, 그리고 블록내부영역의 화소의 경우(S340) 블록내부 화소 p0와 q0의 이웃 화소들의 차이 값 평균 MPD와, p0와 q0를 포함한 전체 이웃 화소 차이 값 평균 MAD, 그리고 p0와 q0의 차이 값 BD를 산출하고, 그리고 투영연산자 산출(S320, S350)은 양자화 계수 QP가 크고 MPD가 작을수록 완만한 영역이므로 엄격한 한계를 갖도록 하고 반대의 경우 완만한 한계를 갖도록 하는, 주변 화소들의 국부 활동성을 나타내는 요소인 MPD를 이용한, BD에 대한 투영연산자 P(BD)를 산출한다. 또한, 최종 투영해는 인접하는 두 화소 중 작거나 같은 화소 값에 투영연산자 P(BD)를 가산하고 나머지 값에서 P(BD)를 감산하여 산출한다(S330, S360).

게다가, 도 2 및 4에 도시된 바와 같이, 투영 영상복원 방식을 적용하는 단계는 블록경계영역의 화소들에 대해 먼저 투영(S310 내지 S330)시킨 후 블록내부영역의 화소들에 대해 투영(S340 내지 S360)시킬 수 있고, 또한 도 2에 도시된 바와 같이, 수평블록경계의 화소에 대해 먼저 투영시키고 수평블럭내부의 화소에 대해 투영 후, 수직블록경계의 화소와 그 다음에 수직블록내부의 화소에 대해 투영시킬 수도 있다.

보다 구체적으로 가중치 규준(norm) CLS 정규화 복원방식과 투영 영상복원 방식을 나누어 살펴본다.

① 가중치 norm CLS 기법

가중치 대각행렬 R과 L이 만족해야할 조건은 다음과 같다.

ㄱ) 활동성이 낮은 영역은 평탄한 영역이므로 해당 영역을 더 많이 완화시키기 위해 L은 큰 가중치를 가져야한다. 반대로 활동성이 큰 영역은 영상 고유의 테두리 정보이므로 해당영역을 보존하기 위하여 R은 큰 가중치를 가져야한다.

ㄴ) 블록 경계에서 블록화 현상과 영상의 고유 테두리 정보가 구별되어야 한다. 따라서 정확한 국부활동성 예측을 위해 블록 경계와 블록 내부가 구별되어야 한다.

ㄷ) 일반적으로 양자화 계수(QP, Quantization Parameter)가 커질수록 블록 화 현상은 심해진다. 따라서 블록 경계에서의 정확한 국부활동성 예측을 위해 QP가 반영되어야 한다.

이와 같은 조건을 만족시키기 위해 먼저 도 5와 같이 블록 내부를 4개의 영역으로 나눈 후, 각기 다른 방법으로 국부 평균

과 변형된 국부 활동성 값

을 계산한다.

도 5는 본 발명의 다른 하나의 실시예에 따른 H.264 동영상 표준 부호화 방식의 블록화현상 제거 및 화질개선을 위한 적응적 후처리 영상복원 방법에서 4×4 화소블록의 블록내부영역과 상하 블록경계영역, 좌우 블록경계영역을 나타내는 도면이다.

도 5는 4×4 블록내의 화소들을 영역화한 것으로, V_area는 상하 블록 경계 영역을, H_area는 좌우 블록 경계영역을, C_area는 모서리 블록 경계 영역을, M_area은 블록 내부 영역을 나타낸다. 4×4 블록 기준으로 영역 M_area의 변형된 국부 활동성 값 LA는 수학식 5, 영역 H_area의 LA는 수학식 6, 영역 V의 LA는 수학식 7과 같이 나타낼 수 있다. 또한 영역 C_area의 LA는 H_area와 V_area의 평균으로 정의될 수 있다. 아래의 수학식 5, 6, 7에서 국부평균 m(i,j)을 나타내는 수학식에서의 계수들은 실험에 의해 적절히 부여된 가중치로 당해 분야에서 통상의 지식을 가진자에 의해 실험을 통해 적절한 변경이 가능할 것이다.

여기에서,

여기에서,

여기에서,

수학식 8의 가중치 함수 ω(·)을 사용하여 최종적인 가중치 대각행렬 L과 R 을 수학식 9와 같이 독립적으로 결정될 수 있다. 수학식 8, 9에서 가중치 값과 가중치 함수의 범위 조건은 실험에 의해 적절히 부여된 것으로서, 당해 분야에서 통상의 지식을 가진자에 의해 실험을 통해 적절한 변경이 가능할 것이다.

여기에서,

여기에서,

또한 국부활동성 방향에 대응하는 적응적 라플라시안 연산자 C를 사용한다. C는 바람직하게는 2차원 라플라시안 연산자이다. 국부활동성과 같은 방향의 고주파성분을 효과적으로 추출하여, 블록 경계에서 블록화 현상을 효율적으로 제거하기 위해 수학식 10 내지 12와 같이 블록 내부 위치에 따라 적응적으로 다른 라플라시안 연산자를 적용할 수 있다. 수학식 10 내지 12에서 제안된 연산자의 값은 실험에 의해 적절히 부여된 것으로서, 당해 분야에서 통상의 지식을 가진자에 의해 실험을 통해 적절한 변경이 가능할 것이다. 제안된 하나의 라플라시안 연산자의 연산은 모두 쉬프트 연산자로 구현 가능하도록 하였다.

그리고 가중치 규준(norm) CLS 정규화 복원방식에서 데이터에 대한 신뢰도와 원 영상에 대한 완화도의 상반된 특성을 조절하기 위한 정규화 매개변수 α를 수학식 13에서와 같이 산출한다. 정규화 매개변수는 수학식 13 이외에 당해 분야에서 통상의 지식을 지닌 자에 의해 실험치에 따라 적절한 방법으로 정의될 수 있다.

여기에서

은 수학식 3에서와 같이 데이터에 대한 신뢰도를,

은 원 영상에 대한 완화도를 의미하고,

은 매 스텝 반복해에서 양자화 계수를 의미한다.

매 스템 반복해에서 정규화 매개변수 α를 결정하여 다음 반복해의 도출에 이용한다. 수학식 9에서 산출된 가중치 대각원소와 수학식 13에서 산출된 정규화 매개변수를 사용하여 수학식 4에 따른 CLS 기반의 정규화 반복해를 도출한다.

그리고, 연산량 절감을 위해 수식을 변형할 수 있다. 기본적으로 소수점 연산을 배제하고, 나눗셈 연산자를 쉬프트 연산자로 대체함으로써 계산 복잡도를 낮출 수 있다. 이를 반영하여 수학식 4, 8, 9를 각각 다음과 같이 변형할 수 있다. 아래의 수학식 14 내지 16에서 가중치, 계수 또는 범위 값은 당해 분야에서 통상의 지식을 가진자에 의해 실험을 통해 적절한 변경이 가능할 것이다.

여기에서,

여기에서,

② 투영 기법

정규화 반복해를 대상으로 주변 화소들의 활동성 정도에 따라 화소값의 허용 범위를 한정지을 수 있다. 이와 같은 작업을 수식으로 표현하면 수학식 17과 같다.

여기서 P는 투영연산자이다. ^는 투영연산자 P를 수행한 결과를 의미하고, 그에 따라 다음번 반복으로 진행하기 위한 중간 결과를 나타내는 것이다.

정규화 반복해를 대상으로 화소값의 허용범위를 한정 짓는 것은 반복 종료 조건에 다다를 때까지의 횟수를 줄여, 수렴 속도를 빠르게 하기 위한 것이다

투영 기법을 적용하기 위해 먼저 투영 집합을 정의해야 한다. 일반적으로 국부 화소들간의 상관관계는 높다. 그러므로 블록 경계 화소들의 차는 블록 내부 화소들의 차와 높은 상관관계를 갖는다. 이와 같은 특성을 투영 집합을 정의하는데 사용한다. 투영 집합의 제약 조건을 결정하기 위한 국부 정보로써 블록 경계 주변 화소들의 차이값 평균을 이용한다.

도 6은 본 발명의 또 다른 하나의 실시예에 따른 H.264 동영상 표준 부호화 방식의 블록화현상 제거 및 화질개선을 위한 적응적 후처리 영상복원 방법에서 블록경계를 나타내는 도면이다. 도 6에서는 수평 블록경계를 나타내고 있으나, 마찬가지로 수직 블록경계를 나타낼 수 있다.

도 6에서 블록 경계가 p0와 q0 사이라고 가정하면, 블록 경계에 위치한 p0와 q0의 이웃 화소들의 차이값 평균 MPD, p0과 q0를 포함한 전체 이웃 화소 차이값 평균 MAD 그리고 블록 경계의 차이값 BD는 각각 수학식 15, 수학식 16, 수학식 17과 같다. MPD는 주변 화소들의 국부 활동성을 나타내는 요소로써 MPD가 크면 클수록 해당 영역은 복잡한 영역이 된다. 반대로 MPD가 작으면 해당 영역은 평탄한 영역이 된다. 수학식 18, 19에서 계수들은 실험에 의해 적절히 부여된 가중치로 당해 분야에서 통상의 지식을 가진자에 의해 실험을 통해 적절한 변경이 가능할 것이다.

블록 경계의 이웃 화소들간의 차가 크면 클수록 해당 영역은 활동성이 큰 영역이므로 블록 경계 차이값 BD가 존재할 수 있는 범위가 넓어진다. 반면 블록 경계의 이웃 화소들간의 차가 작으면 작을수록 해당 영역은 활동성이 작은 영역으로 블 록 경계의 차이값이 존재할 수 있는 범위가 좁아지게 된다. 이러한 특성을 고려하여 수학식 18, 19, 20을 이용해 블록 경계 차이값 BD에 대한 투영 연산자 P를 수학식 21과 같이 정의한다. 수학식 21에서 가중치 또는 계수 값은 실험에 의해 적절히 부여된 것으로, 당해 분야에서 통상의 지식을 가진자에 의해 실험을 통해 적절한 변경이 가능할 것이다.

여기에서,

일반적으로 QP가 클수록 블록화 현상은 심해지고 MPD가 작을수록 완만한 영역이므로, 엄격한 한계(tighter bound)를 갖는다. 반대의 경우는 완만한 한계(looser bound)를 갖는다. P(BD)를 이용한 최종적인 투영해는 수학식 22와 같다. 블록 경계 화소들에 대해 먼저 투영 시킨 후, 블록 내부 화소들에 대해 투영시킬 수 있다.

이상 설명한 바와 같이, 본 발명에 따르면 정교한 대각 행렬 R과 L을 계산하기 위해 국부 통계특성과 블록화 현상과 양자화 크기에 대한 사전 정보를 활용하였다. 또한 국부 화소들의 통계적 특성을 이용하여 화소값이 가질 수 있는 범위를 한정하였다. 이를 통해서 기존의 CLS 기법과 비교해 수렴 속도와 PSNR을 향상시킬 수 있었다.

구체적으로 객관적인 비교를 나타내기 위해 QCIF 홀 모니터(Hall_monitor)의 PSNR(Peek Signal To Noise Rate)과 평균 수렴 횟수(AIN) 비교를 표 1에 제시하였다. 표 1에서 Hong의 CLS 기법은 단순히 국부 평균과 국부 활동성을 나타내는 국부 분산만 이용한 방법이다. QP는 양자화 계수이고, SNR은 신호대잡음비이다. SNRY, SNRU, SNRV에서 Y는 휘도, U와 V는 색차 신호로 SNRY, SNRU, SNRV는 각 요소별 SNR을 나타낸다.

본 발명의 실시예와 비교예의 비교를 나타내기 위해 QCIF 홀 모니터(Hall_monitor)의 결과 영상을 도 7과 도 8에 제시하였다.

도 7은 QCIF 홀 모니터의 92번째 원영상과 부호화 영상 및 비교예에 따라 처리된 영상을 나타내는 도면이고, 도 8은 도 7의 좌측 하단 부분을 2배 확대한 영상을 나타내는 도면이다.

도 7에서 (a)는 QCIF 홀 모니터의 92번째 원영상이고, (b)는 부호화 영상, (c)는 제안된 CLS 처리된 영상, (d)는 Hong의 CLS 기법으로 처리된 영상, (e)는 H.264 루프필터 처리된 영상, 그리고 (f)는 본 발명에 따라 제안된 방법으로 처리된 영상을 나타내고 있다. 도 8은 도 7의 좌측 하단 부분을 2배 확대한 것으로 원영상과 부호화 영상 다른 방법에 의해 처리된 영상과 본 발명의 실시예에 따라 처리된 영상의 차이를 확실히 알 수 있다.

이상에서, 본 발명은 첨부된 도면 및 실시예에 따라 구체적으로 설명되었으나, 첨부된 도면 및 상기의 실시예는 본 발명에 대한 당해 기술분야에서 통상의 지식을 가진 자의 이해를 돕기 위해 예시적으로 설명된 것이다. 따라서, 상기의 실시예는 제한적인 것이 아닌 예시적인 것으로 여겨져야 하며, 본 발명의 범위는 첨부된 특허청구범위에 기재된 발명에 따라 해석되어져야 하고, 그 범위는 당해 기술분야에서 통상의 지식을 가진 자에 의한 다양한 변경, 대안, 균등물을 포함한다.

도 2는 도 1의 하나의 실시예에 따른 H.264 동영상 표준 부호화 방식의 블록화현상 제거 및 화질개선을 위한 적응적 후처리 영상복원 방법의 흐름도이다.

도 3은 도 1의 하나의 실시예에 따른 가중치 규준(norm) CLS 정규화 복원방식을 적용하는 단계를 나타내는 흐름도이다.

도 6은 본 발명의 또 다른 하나의 실시예에 따른 H.264 동영상 표준 부호화 방식의 블록화현상 제거 및 화질개선을 위한 적응적 후처리 영상복원 방법에서 블록경계를 나타내는 도면이다.

도 7는 QCIF 홀 모니터의 92번째 원영상과 부호화 영상 및 비교예에 따라 처리된 영상을 나타내는 도면이다.

도 8는 도 7의 좌측 하단 부분을 2배 확대한 영상을 나타내는 도면이다.

Claims

H.264 블록 이산여현변환 방식 기반의 부호화로 인한 훼손 영상 획득단계;

획득된 훼손 영상의 매크로 블록에 대응하는 소정 크기 단위의 화소블록을 블록경계영역과 블록내부영역으로 구분하여 각 화소들이 위치한 영역에 따라 각기 다른 라플라시안 연산자를 선택하고 각 화소들이 위치한 영역에 따라 각기 다른 방식으로 국부평균 및 국부활동성 값 산출하여 산출된 국부활동성에 따른 가중치 함수를 사용하여 대각행렬의 대각원소를 산출하고 정규화 복원방식에서 데이터에 대한 신뢰도와 원 영상에 대한 완화도의 상반된 특성을 조절하기 위한 정규화 매개변수를 산출하고 산출된 가중치 대각원소와 정규화 매개변수를 사용하여 CLS 기반의 정규화 반복해를 도출하는 가중치 규준(norm) CLS 정규화 복원방식을 적용하는 단계; 및

상기 가중치 규준(norm) CLS 정규화 복원방식으로 도출되는 정규화 반복해를 대상으로 주변 화소들의 활동성의 정도에 따라 화소값의 허용범위를 제한하는 투영해를 도출하는 투영 영상복원 방식을 적용하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 H.264 동영상 표준 부호화 방식의 블록화현상 제거 및 화질개선을 위한 적응적 후처리 영상복원 방법.
제 1 항에 있어서, 상기 가중치 규준 CLS 정규화 복원방식을 적용하는 단계는:

획득된 훼손 영상의 매크로 블록에 대응하는 4×4 크기의 화소블록에서 블록내부영역 M_area과 블록경계영역으로 구분하고 상기 블록경계영역은 다시 상하 블록경계영역 V_area, 좌우 블록경계영역 H_area, 코너 블록경계영역 C_area로 구분하는 블록영역 구분단계;

각 화소들이 위치한 상기 구분된 4개의 영역(V_area, H_area, C_area, M_area)에 따라 다른 라플라시안 연산자 C를 선택하는 라플라시안 연산자 선택단계;

각 화소들이 위치한 상기 구분된 4개의 영역(V_area, H_area, C_area, M_area)별로 다른 방식으로 국부평균 m(i,j) 및 변형된 국부활동성 LA(i,j)를 산출하는 국부평균 및 국부활동성 산출단계;

상기 블록내부영역과 블록경계영역에 따른 양자화 계수 QP의 가중치 값과 상기 산출된 국부활동성 LA(i,j) 값의 범위에 따른 가중치 함수 ω(·)를 사용하여 대각행렬 L과 R의 대각원소를 산출하는 가중치 대각원소 산출단계;

정규화 복원방식에서 데이터에 대한 신뢰도와 원 영상에 대한 완화도의 상반된 특성을 조절하기 위한 정규화 매개변수 α를 산출하는 정규화 매개변수 산출단계; 및

상기 산출된 가중치 대각원소와 정규화 매개변수를 사용하여 CLS 기반의 정규화 반복해를 도출하는 정규화 반복해 도출단계;를 포함하되,

여기에서,
이고, M, N은 획득된 부호화 영상의 가로, 세로 화소블록 크기(갯수)인 것을 특징으로 하는 H.264 동영상 표준 부호화 방식의 블록화현상 제거 및 화질개선을 위한 적응적 후처리 영상복원 방법.
제 2 항에 있어서,

상기 구분된 4개의 영역(V_area, H_area, C_area, M_area)에 따른 라플라시안 연산자 C는 아래의 수학식 10 내지 수학식 12에 따르고,

상기 정규화 매개변수 α는 아래의 수학식 13에 따르고,

상기 정규화 반복해는 아래의 수학식 4에 따르는 것을 특징으로 하는 H.264 동영상 표준 부호화 방식의 블록화현상 제거 및 화질개선을 위한 적응적 후처리 영상복원 방법.

[수학식 4]

여기에서, x는 정규화 반복해, y는 압축에 의해 열화되어 블록화 현상을 포함하는 훼손된 영상의 열벡터, k는 반복해를 표현하기 위하여 사용되는 기호(x_k는 k번째 정규화 반복해를 의미함), β는 이익 매개변수, I는 단위행렬, G는 반복과정 수행을 의미하는 연산자,
는 전이행렬을 의미

[수학식 10]

[수학식 11]

[수학식 12]

[수학식 13]

여기에서,
은 데이터에 대한 신뢰도,
은 원 영상에 대한 완화도,
은 매 스텝 반복해에서 양자화 계수를 의미
제 2 항에 있어서,

상기 국부평균 m(i,j) 및 변형된 국부활동성 LA(i,j) 산출에서, 영역 M_area의 변형된 국부활동성 LA는 아래의 수학식 5, 영역 H_area의 변형된 국부활동성 LA는 아래의 수학식 6, 영역 V_area의 변형된 국부활동성 LA는 아래의 수학식 7, 그리고 영역 C_area의 변형된 국부활동성 LA는 H_area와 V_area의 평균으로 정의되고,

상기 정규화 매개변수 α는 아래의 수학식 13에 따르고,

상기 정규화 반복해는 아래의 수학식 4에 따르는 것을 특징으로 하는 H.264 동영상 표준 부호화 방식의 블록화현상 제거 및 화질개선을 위한 적응적 후처리 영상복원 방법.

[수학식 4]

여기에서, x는 정규화 반복해, y는 압축에 의해 열화되어 블록화 현상을 포함하는 훼손된 영상의 열벡터, k는 반복해를 표현하기 위하여 사용되는 기호(x_k는 k번째 정규화 반복해를 의미함), β는 이익 매개변수, I는 단위행렬, G는 반복과정 수행을 의미하는 연산자,
는 전이행렬을 의미

[수학식 5]

여기에서,

[수학식 6]

여기에서,

[수학식 7]

여기에서,

[수학식 13]

여기에서,
은 데이터에 대한 신뢰도,
은 원 영상에 대한 완화도,
은 매 스텝 반복해에서 양자화 계수를 의미
제 4 항에 있어서,

상기 대각행렬 L과 R의 대각원소는 아래의 수학식 8에 따른 가중치 함수 ω(·)를 사용하여 아래의 수학식 9와 같이 독립적으로 결정하는 것을 특징으로 하는 H.264 동영상 표준 부호화 방식의 블록화현상 제거 및 화질개선을 위한 적응적 후처리 영상복원 방법.

[수학식 8]

여기에서,
이고,
는 양자화 계수

[수학식 9]

여기에서,
이고, M, N은 획득된 부호화 영상의 가로, 세로 화소블록 크기(갯수)
제 2 항에 있어서,

상기 국부평균 m(i,j) 및 변형된 국부활동성 LA(i,j) 산출에서, 영역 M_area의 변형된 국부활동성 LA는 아래의 수학식 5, 영역 H_area의 변형된 국부활동성 LA는 아래의 수학식 6, 영역 V_area의 변형된 국부활동성 LA는 아래의 수학식 7, 그리고 영역 C_area의 변형된 국부활동성 LA는 H_area와 V_area의 평균으로 정의되고,

상기 대각행렬 L과 R의 대각원소는 계산의 복잡도를 낮추도록 아래의 수학식 15에 따른 가중치 함수 ω(·)를 사용하여 아래의 수학식 16과 같이 독립적으로 결정하고,

상기 정규화 매개변수 α는 아래의 수학식 13에 따르고,

상기 정규화 반복해는 계산의 복잡도를 낮추도록 아래의 수학식 14에 따르는 것을 특징으로 하는 H.264 동영상 표준 부호화 방식의 블록화현상 제거 및 화질개선을 위한 적응적 후처리 영상복원 방법.

[수학식 5]

여기에서,

[수학식 6]

여기에서,

[수학식 7]

여기에서,

[수학식 13]

여기에서,
은 데이터에 대한 신뢰도,
은 원 영상에 대한 완화도,
은 매 스텝 반복해에서 양자화 계수를 의미

[수학식 14]

여기에서, x는 정규화 반복해, y는 압축에 의해 열화되어 블록화 현상을 포함하는 훼손된 영상의 열벡터, k는 반복해를 표현하기 위하여 사용되는 기호(x_k는 k번째 정규화 반복해를 의미함), β는 이익 매개변수,
는 전이행렬을 의미

[수학식 15]

여기에서,
이고,
는 양자화 계수

[수학식 16]

여기에서,
이고, M, N은 획득된 훼손 영상의 가로, 세로 화소블록 크기(갯수)
제 1 항 내지 제 6 항 중 어느 한 항에 있어서,

상기 투영 영상복원 방식을 적용하는 단계는 블록경계영역의 화소들에 대해 먼저 투영시킨 후 블록내부영역의 화소들에 대해 투영시키는 것을 특징으로 하는 H.264 동영상 표준 부호화 방식의 블록화현상 제거 및 화질개선을 위한 적응적 후처리 영상복원 방법.
제 1 항 내지 제 6 항 중 어느 한 항에 있어서,

상기 투영 영상복원 방식을 적용하는 단계는 블록경계영역의 화소들에 대한 투영과 블록내부영역의 화소들에 대한 투영을 실시하고,

상기 블록경계영역의 화소에 대한 투영은:

블록경계 주변화소들의 차이 값 평균을 구하는 주변화소차 평균 산출단계,

상기 블록경계 주변화소들의 차이 값 평균을 이용하여 블록경계의 차이 값에 대하여, 복원영상이 원하고자 하는 특성을 갖는 영역으로 투영시키는 연산자인 투영연산자를 산출하는 투영연산자 산출단계, 및

상기 투영연산자 값을 블록경계의 화소의 값에 가산 또는 감산하여 블록경계의 화소에 대한 최종 투영해를 산출하는 최종 투영해 산출단계를 포함하여 이루어지고,

상기 블록내부영역의 화소에 대한 투영은 상기 블록경계영역의 화소에 대한 투영 단계들에 상응하는 방식으로 주변화소차 평균을 산출하고 투영연산자를 산출하고 그리고 블록내부의 화소의 최종 투영해를 산출하는 것을 특징으로 하는 H.264 동영상 표준 부호화 방식의 블록화현상 제거 및 화질개선을 위한 적응적 후처리 영상복원 방법.
제 8 항에 있어서,

상기 주변화소차 평균 산출은 블록경계영역의 화소의 경우 블록경계에 위치한 블록경계 화소, 그리고 블록내부영역의 화소의 경우 블록내부 화소 p0와 q0의 이웃 화소들의 차이 값 평균 MPD와, 상기 p0와 q0를 포함한 전체 이웃 화소 차이 값 평균 MAD, 그리고 p0와 q0의 차이 값 BD를 산출하고,

상기 투영연산자 산출은 양자화 계수 QP가 크고 상기 MPD가 작을수록 완만한 영역이므로 엄격한 한계를 갖도록 하고 반대의 경우 완만한 한계를 갖도록 하는, 주변 화소들의 국부 활동성을 나타내는 요소인 상기 MPD를 이용한, 상기 BD에 대한 투영연산자 P(BD)를 산출하고,

상기 최종 투영해는 아래의 수학식 22에 따라 정의되는 것을 특징으로 하는 H.264 동영상 표준 부호화 방식의 블록화현상 제거 및 화질개선을 위한 적응적 후처리 영상복원 방법.

[수학식 22]
제 9 항에 있어서,

상기 MPD, MAD 및 BD는 각각 아래의 수학식 18, 18 및 19에 따라 산출되고,

상기 P(BD)는 아래의 수학식 21에 따라 산출되는 것을 특징으로 하는 H.264 동영상 표준 부호화 방식의 블록화현상 제거 및 화질개선을 위한 적응적 후처리 영상복원 방법.

[수학식 18]

[수학식 19]

[수학식 20]

[수학식 21]

여기에서,

수학식 18, 19에서 (p1, q1)은 경계화소(p0, q0)에 인접한 다음의 화소값이며, (p2, q2)는 (p1, q1)에 인접한 다음의 화소값을 의미