KR102133528B1 - 인간의 시각 특성을 이용한 오프셋 값 결정 방법 및 장치 - Google Patents

인간의 시각 특성을 이용한 오프셋 값 결정 방법 및 장치 Download PDF

Info

Publication number
KR102133528B1
KR102133528B1 KR1020130042424A KR20130042424A KR102133528B1 KR 102133528 B1 KR102133528 B1 KR 102133528B1 KR 1020130042424 A KR1020130042424 A KR 1020130042424A KR 20130042424 A KR20130042424 A KR 20130042424A KR 102133528 B1 KR102133528 B1 KR 102133528B1
Authority
KR
South Korea
Prior art keywords
value
offset
pixel
category
current
Prior art date
Application number
KR1020130042424A
Other languages
English (en)
Other versions
KR20130117706A (ko
Inventor
송학섭
주재환
김찬열
최종범
김재현
박정훈
이교혁
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20130117706A publication Critical patent/KR20130117706A/ko
Application granted granted Critical
Publication of KR102133528B1 publication Critical patent/KR102133528B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

현재 영상을 복수개의 블록으로 분할하고, 인접 화소 값에 기초하여 분할된 각 블록 내 화소들의 카테고리를 결정하고, 결정된 각 카테고리에 속하는 화소들의 오프셋 값을 결정하고, 카테고리의 특성 및 각 화소의 배경 화소 값에 기초하여 오프셋 값을 조정하고, 오프셋 값은 하나의 카테고리에 속하는 화소들의 원본 영상과 복원 영상 간의 차이값의 평균값이고, 배경 화소 값은 배경 화소 값을 구하기 위해 분할된 배경 화소 블록들 중 화소가 속하는 배경 화소 블록 내 화소 값들의 평균 값인 오프셋 결정 방법이 개시된다.

Description

인간의 시각 특성을 이용한 오프셋 값 결정 방법 및 장치 {Method and Apparatus for determining value of offset using human visual system}
본 발명은 인간의 시각 특성을 이용하여 오프셋 값을 결정하고, 결정된 오프셋 값을 이용하여 영상을 부호화하거나 복호화하는 방법 및 장치에 대한 것이다.
HEVC(High Efficiency Video Coding) 표준화 기술 중 SAO(Sample Adaptive Offset) 기술은 영상의 부호화 과정을 통해 발생하는 원본 영상과 복원 영상 간의 차이를 화소 단위의 오프셋(offset)을 통해 보상함으로써, 주관적 화질 및 부호화 효율을 같이 향상시키는 것이다.
그러나, SAO 기술이 영상에 적용될 때, 인접 화소보다 더 작거나 더 큰 값을 가지는 화소에 대하여 음수값 또는 양수값을 가진 오프셋 값이 적용되는 경우, 현재 화소 값과 인접 화소 값과의 차이가 더 커짐에 따라 솔트 노이즈(salt noise)가 발생하는 문제점이 있다.
본 발명은 인간의 시각 특성을 이용하여 오프셋 값을 결정하고, 결정된 오프셋 값을 이용하여 영상을 부호화하거나 복호화하는 방법 및 장치에 대한 것이다.
상기 기술적 과제를 달성하기 위하여, 본 발명에 따른 오프셋 결정 방법은 현재 영상을 복수개의 블록으로 분할하는 단계; 인접 화소 값에 기초하여 상기 분할된 각 블록 내 화소들의 카테고리를 결정하는 단계; 상기 결정된 각 카테고리에 속하는 화소들의 오프셋 값을 결정하는 단계; 및 상기 카테고리의 특성 및 각 화소의 배경 화소 값에 기초하여 오프셋 값을 조정하는 단계를 포함하고, 상기 오프셋 값은 하나의 카테고리에 속하는 화소들의 원본 영상과 복원 영상 간의 차이값의 평균값이고, 상기 배경 화소 값은 배경 화소 값을 구하기 위해 분할된 배경 화소 블록들 중 상기 화소가 속하는 배경 화소 블록 내 화소 값들의 평균 값인 것을 특징으로 한다.
상기 오프셋 값을 조정하는 단계는 상기 오프셋 값과 대응되는 화소의 배경 화소 값을 검출하는 단계; 및 상기 검출된 배경 화소 값 및 상기 결정된 카테고리 특성에 기초하여, 상기 오프셋 값을 조정하는 단계를 포함하는 것을 특징으로 한다.
상기 배경 화소 값을 검출하는 단계는 상기 결정된 카테고리 특성이 국부 최소 값(local min) 또는 국부 최대 값(local max)에 해당하는 경우, 상기 오프셋 값과 대응되는 화소의 배경 화소 값을 검출하는 것을 특징으로 한다.
상기 오프셋 값을 조정하는 단계는 상기 배경 화소 값이 시각적으로 민감한 영역에 속하는지 여부를 판단하는 단계; 및 상기 판단 결과에 따라 오프셋 값을 조정하는 단계를 포함하는 것을 특징으로 한다.
상기 오프셋 값을 조정하는 단계는 상기 결정된 카테고리의 특성이 국부 최소 값이고, 상기 배경 화소 값이 시각적으로 민감한 영역에 속하고, 오프셋 값이 음수값인 경우, 오프셋 값을 0으로 조정하고, 상기 결정된 카테고리의 특성이 국부 최대 값이고, 상기 배경 화소 값이 시각적으로 민감한 영역에 속하고, 오프셋 값이 양수값인 경우, 오프셋 값을 0으로 조정하는 것을 특징으로 한다.
상기 오프셋 값을 조정하는 단계는 현재 화소 값이 제1 인접 화소 값과 동일하나, 제2 인접 화소 값보다 작고, 오프셋 값이 음수값이면, 오프셋 값을 0으로 조정하고, 상기 현재 화소 값이 제1 인접 화소 값과 동일하나, 제2 인접 화소 값보다 크고, 오프셋 값이 양수값이면, 오프셋 값을 0으로 조정하는 것을 특징으로 한다.
본 발명에 따른 오프셋 결정 방법은 상기 조정된 오프셋 값을 이용하여 각 블록의 SAO(Sample adaptive offset) 타입을 결정하는 단계를 더 포함하고, 상기 각 블록의 SAO 타입을 결정하는 단계는, 각 블록의 SAO 타입 별로 각 카테고리의 오프셋 값을 검출하는 단계; 및 상기 검출된 오프셋 값과 각 블록의 분할 여부를 고려하여 최적의 SAO 타입과 블록 분할 구조를 결정하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 오프셋 결정 방법은 상기 오프셋 값을 이용하여 상기 복원 영상의 화소 값들을 카테고리 별로 보정하는 단계를 더 포함하는 것을 특징으로 한다.
도 1은 본 발명의 일 실시 예에 의한 동영상 부호화 장치의 내부 구성을 나타낸 블록도이다.
도 2 는 본 발명의 일 실시 예에 의한 적응적 오프셋 결정부의 내부 구성을 나타낸 블록도이다.
도 3은 본 발명의 다른 실시 예에 의한 적응적 오프셋 결정부의 내부 구성을 나타낸 블록도이다.
도 4는 본 발명의 일 실시 예에 의한 동영상 복호화 장치의 내부 구성을 나타낸 블록도이다.
도 5 및 도 6은 본 발명의 일 실시 예에 의한 오프셋 결정 방법을 나타낸 순서도이다.
도 7은 본 발명의 다른 실시 예에 의한 오프셋 결정 방법을 나타낸 순서도이다.
도 8은 본 발명의 일 실시 예에 있어서, 영상을 다수의 블록으로 분할한 것을 도시한 예시도이다.
도 9는 본 발명의 다른 실시 예에 있어서, 인접 화소 값에 기초하여 화소의 카테고리를 결정하는 일 예를 도시한 예시도이다.
도 10은 본 발명의 일 실시 예에 있어서, 결정된 화소의 카테고리의 일 예를 도시한 예시도이다.
도 11은 본 발명의 일 실시 예에 있어서, 화소의 배경 화소 값을 검출하는 일 예를 도시한 예시도이다.
도 12는 본 발명의 일 실시 예에 있어서, 배경 화소 값의 분포를 나타낸 그래프이다.
도 13은 본 발명의 다른 실시 예에 의한 블록 분할 구조 결정 방법을 도시한 예시도이다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
본 발명의 원리는 임의의 인트라-프레임과 인터-프레임 기반의 인코딩 표준에 적용될 수 있다. 본 명세서 전반에 걸쳐 사용되는 "영상"이라는 용어는 "영상"이라는 용어 자체뿐만 아니라, "프레임", "필드", 및 "슬라이스"로서 관련 분야에서 알려질 수 있는 비디오 이미지 정보의 다양한 형태들을 설명하기 위한 포괄적인 용어로서 사용된다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 본 발명의 일 실시 예에 의한 동영상 부호화 장치의 내부 구성을 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 의한 동영상 부호화 장치(100)는 움직임 추정부(101), 움직임 보상부(102), 인트라 예측부(103), 감산기(104), 변환부(105), 양자화부(106), 엔트로피 부호화부(107), 역양자화부(108), 역변환부(109), 가산기(110) 및 적응적 오프셋 결정부(111)를 포함할 수 있다.
움직임 추정부(101)는 가산기(110)에 의해 복원된 참조 영상들 중 적어도 하나의 참조 영상을 이용하여, 동영상을 구성하는 영상들 중 외부로부터 현재 입력된 영상(이하 "현재 영상"이라 한다)의 움직임을 추정(estimate)한다. 보다 상세하게 설명하면, 움직임 추정부(101)는 현재 영상을 구성하는 블록들 중 인터 모드(inter mode)에 해당하는 블록들 각각에 대하여 움직임 추정을 수행한다. 복원부(112)에 의해 복원된 참조 영상들 중 현재 영상의 인터 모드 블록에 가장 잘 매칭(matching)되는 참조 영상의 블록을 결정하고, 이와 같이 결정된 참조 영상의 블록과 현재 영상의 블록간의 변위를 나타내는 움직임 벡터(motion vector)를 산출한다.
움직임 보상부(102)는 복원부(112)에 의해 복원된 적어도 하나의 참조 영상으로부터 현재 영상의 예측 영상을 생성한다. 보다 상세하게 설명하면, 움직임 보상부(102)는 움직임 추정부(101)에 의해 산출된 현재 영상의 블록들 각각의 움직임 벡터가 지시하는 적어도 하나의 참조 영상의 블록들의 값을 이용하여 현재 영상의 블록들의 값으로 결정함으로써 현재 영상의 예측 영상을 생성한다.
인트라 예측부(103)는 현재 영상을 구성하는 블록들 중 인트라 모드(intra mode)에 해당하는 블록들 각각에 대하여 가산기(110)에 의해 먼저 복원된 현재 영상의 블록들 중 현재 블록의 이웃에 위치한 블록의 값으로부터, 현재 블록의 값을 예측함으로써 현재 영상의 예측 영상을 생성한다.
감산기(104)는 현재 영상으로부터 움직임 보상부(102) 또는 인트라 예측부(103)에 의해 생성된 예측 영상을 감산함으로써 현재 영상과 예측 영상의 잔차 영상(residue image)을 생성한다.
변환부(105)는 감산기(104)에 의해 생성된 잔차 영상을 공간 영역으로부터 주파수 영역으로 변환한다. 예를 들면, 변환부(105)는 DHT(Discrete Hadamard Transform), DCT(Discrete Cosine Transform)의 정수 변환 등을 이용하여 감산기(104)에 의해 산출된 잔차 영상을 공간 영역으로부터 주파수 영역으로 변환할 수 있다.
양자화부(106)는 변환부(105)에 의해 변환된 결과들을 양자화한다. 보다 상세하게 설명하면, 양자화부(106)는 잔차 영상이 변환부(105)에 의해 변환되어 생성된 값들을 양자화 크기(quantization size)로 나누고, 그 결과를 정수 값들로 근사화한다.
엔트로피 부호화부(107)는 양자화부(26)에 의해 양자화된 결과들을 엔트로피 부호화함으로써 비트 스트림을 생성한다. 예를 들면, 엔트로피 부호화부(107)는 CAVLC(Context-Adaptive Variable-Length Coding), CAVAC(Context-Adaptive Binary Arithmetic Coding) 등을 이용하여 양자화부(106)에 의해 양자화된 결과들을 엔트로피 부호화할 수 있다. 특히, 엔트로피 부호화부(107)는 양자화부(106)에 의해 양자화된 결과 이외에 동영상 복호화를 위한 정보, 예를 들면 인터 예측에 사용된 참조 영상의 색인 정보, 움직임 벡터 정보, 인트라 예측에 사용된 이웃 블록의 위치 정보 등을 엔트로피 부호화할 수 있다.
역양자화부(108)는 양자화부(106)에 의해 양자화된 결과들을 역양자화한다. 보다 상세하게 설명하면, 역양자화부(108)는 양자화부(106)에 의해 근사화된 정수 값들에 양자화 크기를 곱함으로써 변환 계수 값들을 복원한다.
역변환부(109)는 역양자화부(108)에 의해 역양자화된 결과들, 즉 변환 계수 값들을 주파수 영역으로부터 공간 영역으로 변환함으로써 현재 영상과 예측 영상의 잔차 영상을 복원한다.
가산기(110)는 움직임 보상부(102) 또는 인트라 예측부(103)에 의해 생성된 예측 영상에 역변환부(109)에 의해 복원된 잔차 영상을 가산함으로써 현재 영상의 복원 영상을 생성한다.
적응적 오프셋 결정부(111)는 화소 단위로 결정될 수 있는 적응적 오프셋(adaptive offset)(이하 '오프셋'이라 한다)을 부호화할 수 있다. 오프셋은 현재 영상의 잔차 영상이 양자화되면서 발생된 오차를 보상하기 위해 이용될 수 있다. 오프셋은 동일한 카테고리 내의 속하는 현재 영상의 화소들과 복원 영상의 화소들 간 차이값의 평균값으로부터 결정될 수 있다. 카테고리는 현재 화소의 인접 화소 값에 기초하여 결정될 수 있다. 카테고리는 각 화소의 인접 화소 값에 따라 결정될 수 있는 값이므로 각 카테고리 별로 오프셋만 부호화될 수 있다.
오프셋은 SAO(Sample Adaptive Offset) 기술에서 사용될 수 있는 값으로, SAO 기술은 양자화 등의 부호화 과정을 통해 발생하는 원본 영상과 복원 영상 간의 차이를 화소 단위의 오프셋을 통해 보상함으로써, 주관적 화질 및 부호화 효율을 같이 향상시킬 수 있는 기술이다.
수학식 1을 참조하면, 오프셋은 N개의 화소에 대해 원본 화소(orgn)와 복원 화소(recn) 간의 오차의 평균값으로 정의될 수 있다. 이때 N 개의 화소는 동일한 카테고리에 속하는 화소들일 수 있다. 따라서, 오프셋은 카테고리마다 결정될 수 있고, 카테고리마다 동일한 오프셋이 복원 영상에 적용될 수 있다. 결정된 오프셋은 복호화 과정에서 수학식 2와 같이 복원 영상(recn)의 오차를 보상하는데 이용될 수 있다.
[수학식 1]
offset=
Figure 112013033583088-pat00001
[수학식 2]
rec'n=recn+offset, where n=0,1,…, N-1
SAO 기술에 의하면, 원본 영상과 복원 영상 간의 오차를 직접 계산하기 때문에 주관적 화질뿐만 아니라 객관적 화질의 향상이 보장될 수 있다. 또한 원본 영상과 복원 영상 간 차이가 보상된 복원 영상이 참조 영상으로 활용됨으로써 부호화 효율이 향상될 수 있다. 다만, SAO 기술이 영상에 적용될 때, 인접 화소보다 더 작거나 더 큰 값을 가지는 화소에 대하여 음수값 또는 양수값을 가진 오프셋 값이 적용되는 경우, 현재 화소 값과 인접 화소 값과의 차이가 더 커짐에 따라 솔트 노이즈가 발생될 수 있다.
적응적 오프셋 결정부(111)는 복원 영상에 오프셋이 적용됨에 따라 발생될 수 있는 솔트 노이즈를 제거하기 위해 인간의 시각 특징을 이용하여 오프셋을 조정할 수 있다.
카테고리의 특성이 국부 최소 값, 즉 현재 화소 값이 인접 화소들보다 작은 값을 가지고, 결정된 오프셋 값이 음수값인 제1 경우와 카테고리의 특성이 국부 최대 값, 즉 현재 화소 값이 인접 화소들보다 큰 값을 가지고, 결정된 오프셋 값이 양수값인 제2 경우에는, 복원 영상에 오프셋이 적용되면 현재 화소 값과 인접 화소와의 차이가 더 커짐에 따라 오프셋이 적용된 복원 영상에 솔트 노이즈가 발생할 수 있다. 이러한 경우, 현재 화소 값과 인접 화소와의 차이가 더 커지지 않도록 오프셋이 0으로 조정됨으로써 솔트 노이즈의 발생을 저지할 수 있다. 그러나, 오프셋을 강제로 0으로 조정하는 방법에 의하면 오프셋이 적용되지 않음에 따라 복원 영상에 존재하는 오차가 보상되지 않으므로 압축률이 낮아질 수 있다는 문제점이 존재한다.
따라서, 솔트 노이즈를 제거하기 위해 적응적 오프셋 결정부(111)는 화소의 배경 화소 값이 시각적으로 민감한 영역에 속하는지 판단할 수 있다. 시각적으로 민감한 영역에 속하는 경우, 솔트 노이즈로 인식될 수 있는 현재 화소 값과 인접 화소 값 간의 차이가 상대적으로 작으므로, 현재 화소 값과 인접 화소와의 차이가 더 커지지 않도록 오프셋이 0으로 조정될 수 있다. 화소의 배경 화소 값이 시각적으로 민감한 영역에 속하지 않는 경우에는, 솔트 노이즈로 인식될 수 있는 현재 화소 값과 인접 화소 값 간의 차이가 상대적으로 크므로 오프셋은 조정되지 않을 수 있다.
본 발명의 일 실시 예에 의하면, 화소의 배경 화소 값에 기초하여 현재 화소가 시각적으로 민감한 영역에 속하는지 판단함으로써, 오프셋이 현재 화소값과 인접 화소 값과의 차이가 더 커지게 하더라도 솔트 노이즈에 민감하지 않은 영역에는 오프셋이 적용될 수 있다. 따라서, 오프셋 적용으로 발생될 수 있는 솔트 노이즈의 발생을 방지하고, 오프셋을 적용시키지 않음에 따 부호화 효율이 낮아지는 문제점을 최소화할 수 있다.
도 2 는 본 발명의 일 실시 예에 의한 적응적 오프셋 결정부의 내부 구성을 나타낸 블록도이다. 도 2의 적응적 오프셋 결정부(200)는 도 1의 적응적 오프셋 결정부(111)와 대응되는 것으로 중복되는 내용은 생략하기로 한다.
도 2를 참조하면, 적응적 오프셋 결정부(200)는 오프셋 결정부(210), 오프셋 조정부(220) 및 데이터 부호화부(230)를 포함할 수 있다.
오프셋 결정부(210)는 복수 개로 분할된 각 블록에서 카테고리 별로 오프셋 값을 결정할 수 있다. 본 발명의 일 실시 예에 있어서, 블록 분할 구조는 제한되지 않고, 다양한 방법으로 결정될 수 있다. 카테고리는 화소의 인접 화소 값에 기초하여 결정될 수 있는데 이에 제한되지 않고 현재 화소 값만으로도 결정될 수 있다. 카테고리는 화소의 인접 화소 값과의 차이에 따라 나뉠 수 있는데, 도 6과 관련하여 더 자세히 설명하기로 한다. 오프셋 결정부(210)는 블록 내 속하는 화소들이 각각 어느 카테고리에 속하는지 판단하고, 동일한 카테고리에 속하는 화소 값들을 이용하여 상기 수학식 1에 따라 오프셋 값을 결정할 수 있다. 따라서, 오프셋 값은 카테고리 별로 결정될 수 있다.
오프셋 조정부(220)는 오프셋 결정부(210)에 의해 결정된 오프셋 값을 카테고리의 특성과 화소의 배경 화소 값에 기초하여 조정할 수 있다.
데이터 부호화부(230)는 오프셋 조정부(220)에 의해 조정된 오프셋을 부호화하여 비트 스트림을 생성할 수 있다. 데이터 부호화부(230)는 엔트로피 부호화부(107)와 같이 CAVLC(Context-Adaptive Variable-Length Coding), CAVAC(Context-Adaptive Binary Arithmetic Coding) 등을 이용하여 엔트로피 부호화할 수 있다. 적응적 오프셋 결정부(200)는 데이터 부호화부(230)를 포함하지 않고, 엔트로피 부호화부(107)로 동영상 복호화를 위한 정보로서 상기 조정된 오프셋을 전달하여 엔트로피 부호화부(107)에 의해 오프셋이 부호화될 수 있다.
도 3은 본 발명의 다른 실시 예에 의한 적응적 오프셋 결정부의 내부 구성을 나타낸 블록도이다. 도 3의 적응적 오프셋 결정부(300)는 도 1의 적응적 오프셋 결정부(111)와 대응되는 것으로 중복되는 내용은 생략하기로 한다. 또한, 도 3의 오프셋 결정부(310), 오프셋 조정부(320) 및 데이터 부호화부(330)는 도 2의 오프셋 결정부(210), 오프셋 조정부(220) 및 데이터 부호화부(230)와 대응되는 것으로 중복되는 내용은 생략하기로 한다.
도 3을 참조하면, 적응적 오프셋 결정부(300)는 오프셋 결정부(310), 오프셋 조정부(320) 및 데이터 부호화부(330) 외에 블록 타입 및 분할 결정부(340)와 오프셋 적용부(350)를 더 포함할 수 있다. 또한, 적응적 오프셋 결정부(300)는 오프셋 값을 이용하여 최적의 부호화 효율을 가지는 블록 분할 구조와 각 블록의 SAO 타입을 결정할 수 있다. SAO 타입은 카테고리가 인접 화소 값에 기초하여 결정될 때 참조될 수 있는 인접 화소의 상대적인 위치에 따라 구분될 수 있다. 또한 오프셋 적용부(350)가 더 포함됨으로써, 양자화에 의해 발생된 오차가 보상된 참조 영상이 예측 영상을 생성하는데 이용될 수 있다.
일반적으로 양자화 과정에서 발생되는 오차는 예측 정확도에 따라서 서로 다르게 나타날 수 있다. 예를 들어, 정확한 예측이 수행된 블록은 양자화 과정에 의해 발생되는 오차가 거의 발생하지 않는 반면, 부정확한 예측이 수행된 블록은 잔여 신호가 많이 발생하므로 양자화 과정에서 오차가 많이 발생할 가능성이 높다. 따라서, SAO 기술에 의하면 분할된 블록마다 최적의 SAO 타입을 적용할 수 있는 블록 단위의 적응적인 구조에 따라 오프셋이 결정될 수 있다. 쿼드트리 기반의 CU(code unit) 분할 방법과 동일한 방식으로 LCU(Largest CU) 블록을 최대 4-깊이(depth)까지 하위 블록으로 분할할 수 있으며, 분할된 각 하위 블록에는 서로 다른 SAO 타입이 적용될 수 있다. SAO 타입에 따라 블록 내 화소들을 카테고리별로 분류할 수 있고, 카테고리 별로 오프셋이 결정될 수 있다.
본 발명의 다른 실시 예에 있어서, 적응적 오프셋 결정부(300)는 부호화 효율 측면에서 최적인 블록 분할 구조 및 SAO 타입을 결정하고, 결정된 블록 분할 구조와 SAO 타입 정보를 부호화하여 동영상 복호화 장치로 전송할 수 있다. 따라서, 블록 분할 구조 정보로서, 블록의 분할 여부를 표현하는 정보인 sao_split_flag 및 분할된 각 하위 블록에 적용된 SAO 타입을 표현하는 정보인 sao_type_idx가 추가적으로 전송될 수 있다. sao_split_flag 는 해당 블록이 분할된 경우에는 1, 분할되지 않은 경우에는 0의 값을 가질 수 있으며, 1의 값을 가지는 블록은 하위 블록을 가질 수 있다.
분할된 블록들에 적용 가능한 SAO 타입은 SAO를 적용하지 않는 타입, EO(Edge Offset) 타입 및 BO(Band Offset) 타입으로 구분될 수 있다. 또한, EO 타입은 인접 화소의 현재 화소에 대한 상대적인 위치에 기초하여 4 종류의 EO 타입으로 구분될 수 있다. EO 타입에 의하면, 적응적 오프셋 결정부(300)는 현재 화소와 인접 화소 간 상대적인 대소 관계에 따라 해당 화소가 속하는 카테고리를 분류하고, 분류된 카테고리 별로 서로 다른 오프셋을 적용할 수 있다. BO 타입의 경우, 화소 값에 따라 카테고리가 분류될 수 있으며, 각 카테고리 별로 오프셋이 결정되고 부호화될 수 있다. SAO를 적용하지 않는 타입의 경우, 오프셋이 적용되지 않으므로 이 타입에 해당되는 블록의 오프셋은 결정되지 않을 수 있다.
오프셋 결정부(310)는 복수 개로 분할된 각 블록에서 SAO 타입마다 카테고리 별로 오프셋 값을 결정하여 오프셋 조정부(320)로 전달할 수 있다. 오프셋 결정부(310)는 블록 분할 구조와 블록의 SAO 타입이 결정될 수 있도록 블록들의 각 SAO 타입마다 카테고리 별로 오프셋 값을 결정할 수 있다. 결정된 오프셋 값은 오프셋 조정부(320)에 의해 조정된 후, SAO 타입 및 분할 구조 결정부(340)가 블록 분할 구조와 각 블록의 SAO 타입을 결정하는데 이용될 수 있다. 예를 들어, 오프셋 결정부(310)는 분할된 블록들과 분할된 블록들이 재분할된 블록들에 대한 각 SAO 타입마다 카테고리 별로 오프셋 값을 결정할 수 있다. 그리고, 재분할된 블록들의 부호화 효율이 더 높으면 SAO 타입 및 분할 구조 결정부(340)로부터 재분할된 블록이 다시 분할된 블록에 대한 오프셋 값을 전달해줄 것을 요청 받을 수 있다. 오프셋 결정부(310)는 재분할된 블록이 다시 분할된 블록들에 대한 각 SAO 타입마다 카테고리 별로 오프셋 값을 결정하고, 오프셋 조정부(320)를 통해 조정된 오프셋 값을 SAO 타입 및 분할 구조 결정부(340)로 전달할 수 있다.
오프셋 조정부(320)는 오프셋 값을 카테고리 특성 및 배경 화소 값에 기초하여 조정할 수 있다. 본 발명의 다른 실시 예에 있어서, 조정될 수 있는 오프셋 값의 SAO 타입은 EO 타입일 수 있다.
SAO 타입 및 분할 구조 결정부(340)는 오프셋 조정부(320)에 의해 각 블록의 카테고리 별 오프셋 값에 기초하여 각 블록의 SAO 타입 및 블록 분할 구조를 결정할 수 있다. 예를 들어, SAO 타입 및 분할 구조 결정부(340)는 영상이 다수의 LCU(Largest CU) 블록으로 분할된 블록 중 하나의 LCU 블록에서 오프셋 값을 결정하고자 할 때, 하나의 LCU 블록에 대한 각 SAO 타입마다 카테고리 별로 결정된 오프셋 값에 기초하여, 현재 블록에서 최적의 부호화 효율을 가지는 SAO 타입을 결정할 수 있다. 또한, SAO 타입 및 분할 구조 결정부(340)는 상기 LCU 블록을 분할한 각 블록들에 적용될 수 있는 SAO 타입마다 카테고리 별로 결정된 오프셋 값에 기초하여 상기 LCU 블록을 분할한 각 블록들의 최적의 부호화 효율을 가지는 SAO 타입을 결정할 수 있다. 상기 오프셋 값들은 오프셋 조정부(320)로부터 전달될 수 있다. 그리고, SAO 타입 및 분할 구조 결정부(340)는 상기 하나의 LCU 블록의 결정된 SAO 타입에 따른 오프셋 값과 상기 LCU 블록을 분할한 각각의 블록의 결정된 SAO 타입에 따른 오프셋 값에 기초하여 최적의 부호화 효율을 가지는 블록 분할 구조를 결정할 수 있다.
즉, SAO 타입 및 분할 구조 결정부(340)는 상기 하나의 LCU 블록의 부호화 효율이 최적인 경우, 상기 하나의 LCU 블록의 결정된 SAO 타입을 상기 LCU 블록의 SAO 타입으로 최종 결정하고, 다른 LCU 블록에 대하여도 앞서 논의한 방법과 동일하게 블록 분할 구조와 SAO 타입을 결정할 수 있다. 반면, 상기 LCU 블록을 분할한 각각의 블록들의 부호화 효율이 최적인 경우, SAO 타입 및 분할 구조 결정부(340)는 상기 LCU 블록을 분할한 블록들의 결정된 SAO 타입에 따른 오프셋 값을 이용하여, 상기 분할된 블록을 상기 하나의 LCU 블록과 같이 재분할할 수 있다. SAO 타입 및 분할 구조 결정부(340)는 재분할된 블록 각각에 대하여 최적의 부호화 효율을 가지는 SAO 타입을 결정하고, 오프셋 값을 이용하여 최적의 부호화 효율을 갖는 블록 분할 구조를 결정할 수 있다. 재분할된 블록 구조가 최적의 부호화 효율을 갖는 것으로 결정되면, SAO 타입 및 분할 구조 결정부(340)는 재분할된 블록을 다시 재분할 하여 최적의 부호화 효율을 가지는 블록 분할 구조를 탐색할 수 있다. 재분할된 블록의 오프셋 값들은 SAO 타입 및 분할 구조 결정부(340)가 오프셋 결정부(310)에 요청하여 오프셋 조정부(320)로부터 전달받을 수 있다. 분할된 블록을 재분할하여 블록 분할 구조를 탐색하는 횟수는 무한대로 탐색되지 않도록 소정 횟수, 예를 들면 4회로 분할 횟수가 제한될 수 있다.
오프셋 적용부(350)는 SAO 타입 및 분할 구조 결정부(340)에 의해 최종 결정된 각 블록의 SAO 타입 및 블록 분할 구조에 따른 오프셋 값을 복원 영상에 적용시킨 참조 영상을 생성할 수 있다. 참조 영상은 동영상 부호화 장치가 현재 영상과 참조 영상 간의 차이인 잔차 영상을 생성하기 위해 이용될 수 있다. 본 발명의 다른 실시 예에 의한, 동영상 부호화 장치는 복원 영상의 양자화로 발생되는 오차가 보상된 참조 영상을 이용하여 부호화함으로써, 부호화 효율이 더 향상될 수 있다.
도 4는 본 발명의 일 실시 예에 의한 동영상 복호화 장치의 내부 구성을 나타낸 블록도이다.
도 4를 참조하면, 본 발명의 일 실시 예에 의한 동영상 복호화 장치(400)는 엔트로피 복호화부(401), 역양자화부(402), 역변환부(403), 움직임 보상부(404), 인트라 예측부(405), 가산기(406) 및 적응적 오프셋 적용부(407)를 포함할 수 있다. 도 4에 도시된 동영상 복호화 장치(400)의 영상 복원 과정은 도 1에 도시된 동영상 부호화 장치(100)의 영상 복원 과정과 동일하게 진행될 수 있다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 동영상 부호화 장치(100)에 관하여 이상에서 기술된 내용은 본 실시예에 따른 동영상 복호화 장치(400)에도 적용될 수 있다.
엔트로피 복호화부(401)는 도 1에 도시된 동영상 부호화 장치(100)로부터 출력된 비트 스트림을 엔트로피 복호화함으로서 동영상에 해당하는 정수 값들과 동영상 복호화를 위한 정보 등을 복원한다.
역양자화부(402)는 엔트로피 복호화부(401)에 의해 복원된 정수 값들을 역양자화함으로서 변환 계수 값들을 복원한다.
역변환부(403)는 역양자화부(402)에 의해 복원된 변환 계수 값들을 주파수 영역으로부터 공간 영역으로 변환함으로써 현재 영상과 예측 영상의 잔차 영상을 복원한다.
움직임 보상부(404)는 적응적 오프셋 적용부(407)에 의해 생성된 참조 영상들 중 적어도 하나의 참조 영상으로부터 현재 영상의 예측 영상을 생성할 수 있다.
인트라 예측부(405)는 현재 영상을 구성하는 블록들 중 인트라 모드에 해당하는 블록들 각각에 대하여 적응적 오프셋 적용부(407)에 의해 복원된 ?h제 영상을 구성하는 블록들 중 현재 영상의 블록의 이웃에 위치한 복원 블록의 값으로부터 현재 영상의 블록의 값을 예측함으로써 현재 영상의 예측 영상을 생성한다.
가산기(406)는 움직임 보상부(404) 또는 인트라 예측부(405)에 의해 생성된 예측 영상에 역변환부(403)에 의해 복원된 잔차 영상을 가산함으로써 현재 영상의 복원 영상을 생성한다.
적응적 오프셋 적용부(407)는 가산기(406)에 의해 생성된 복원 영상에 카테고리 별로 오프셋 값을 적용시켜 오프셋 값이 적용된 복원 영상을 생성할 수 있다. 본 발명의 다른 실시 예에 의하면, 적응적 오프셋 적용부(407)는 블록 분할 구조 및 SAO 타입 정보를 더 이용하여 오프셋 값을 복원 영상에 적용시킬 수 있다. 상기 블록 분할 구조 및 SAO 타입 정보, 카테고리 별 오프셋 값은 엔트로피 복호화부(401)에 의해 비트 스트림이 복호화되어 생성될 수 있다.
생성된 복원 영상은 움직임 보상부(404)와 인트라 예측부(405)로 전달되어 복원 영상을 생성하기 위한 참조 영상으로 이용될 수 있다. 본 발명의 일 실시 예에 의하면, 부호화 과정에서 발생될 수 있는 현재 영상과 복원 영상 간의 오차가 복원 영상에 오프셋 값을 적용함으로써 보상될 수 있으므로 부호화 효율이 더 향상될 수 있다.
도 5는 본 발명의 일 실시 예에 의한 오프셋 결정 방법을 나타낸 순서도이다.
도 5를 참조하면, 단계 S501에서, 적응적 오프셋 결정부(111)는 현재 영상의 오프셋을 결정하기 위한 복수 개의 블록으로 분할할 수 있다. 이때 블록 분할은 영상의 부호화 과정에서 분할되는 블록과 같이 분할될 수도 있으나 이에 제한되지 않고 다양한 방법으로 분할될 수 있다.
단계 S503에서, 적응적 오프셋 결정부(111)는 각 블록 내 화소들의 카테고리를 결정할 수 있다. 카테고리는 블록 별로 인접 화소 값과 현재 화소 값을 비교하여 결정될 수 있다. 본 발명의 일 실시 예에 있어서, 카테고리는 인접 화소 값과 현재 화소 값의 상대적인 대소 관계에 따라 결정될 수 있다. 인접 화소 값들보다 더 작거나 더 큰 현재 화소를 포함하는 카테고리에 속한 화소들은 복원 영상에 오프셋이 적용되면 현재 화소 값과 인접 화소 값과의 차이가 더 커질 수 있으므로 솔트 노이즈가 발생될 수 있다. 따라서, 본 발명의 일 실시 예에 의하면, 솔트 노이즈가 발생될 가능성이 있는 카테고리의 오프셋 값은 인간의 시각적 특성에 기초하여 조정될 수 있다.
단계 S505에서, 적응적 오프셋 결정부(111)는 하나의 카테고리에 속하는 화소들의 원본 영상과 복원 영상 간의 차이값의 평균 값을 상기 카테고리의 오프셋 값으로 결정할 수 있다. 상기 오프셋 값은 조정 과정을 거쳐 복원 영상의 상기 카테고리에 속하는 화소들에 적용될 수 있다.
단계 S507에서, 적응적 오프셋 결정부(111)는 카테고리의 특성 및 화소의 배경 화소 값에 기초하여 오프셋 값을 조정할 수 있다. 앞서 논의한 바와 같이 솔트 노이즈가 발생될 가능성이 있는 카테고리의 오프셋 값은, 화소의 배경 화소 값이 민감 영역에 속하는지 여부에 기초하여 조정될 수 있다. 영상의 배경 화소 블록 중 하나의 배경 화소 블록의 배경 화소 값은 상기 배경 화소 블록에 속하는 화소들의 평균 화소 값으로 결정될 수 있다. 상기 배경 화소 블록은 단계 S501에서 분할된 블록과는 독립적으로 분할될 수 있다.
각 화소의 배경 화소 값이 민감 영역에 속하는지 여부에 기초하여 화소 별로 오프셋 값이 조정될 수 있다. 이 경우, 각 화소가 속하는 배경 화소 블록에서, 배경 화소 블록에 속하는 화소들의 평균 값이 배경 화소 값으로 결정될 수 있다.
배경 화소 값이 시각적으로 민감한 영역에 속하는 경우, 솔트 노이즈로 인식될 수 있는 현재 화소 값과 인접 화소 값 간의 차이가 작으므로, 현재 화소 값과 인접 화소와의 차이가 더 커지지 않도록 오프셋이 0으로 조정될 수 있다. 화소의 배경 화소 값이 시각적으로 민감한 영역에 속하지 않는 경우에는, 솔트 노이즈로 인식될 수 있는 현재 화소 값과 인접 화소 값 간의 차이가 상대적으로 크므로 단계 S505에서 결정된 오프셋 값은 조정되지 않을 수 있다.
도 6은 본 발명의 일 실시 예에 의한 오프셋 결정 방법을 나타낸 순서도이다. 도 6의 단계 S601 및 단계 S603은 도 5의 단계 S501 및 단계 S503과 대응되는 것으로서 중복되는 설명은 생략하기로 한다.
도 6을 참조하면, 단계 S601에서, 적응적 오프셋 결정부(111)는 현재 영상의 오프셋을 결정하기 위한 복수 개의 블록으로 분할할 수 있다.
단계 S603에서, 적응적 오프셋 결정부(111)는 각 화소의 인접 화소 값에 기초하여 각 블록 내 화소들의 카테고리를 결정할 수 있다. 단계 S603에서 결정될 수 있는 카테고리는 총 5가지로, 카테고리 1은 현재 화소가 인접 화소들보다 화소 값이 작은 경우이고, 카테고리 2는 제1 인접화소 값과 현재 화소 값이 동일하나, 제2 인접 화소 값은 현재 화소 값보다 작은 경우이다. 카테고리 3은 제1 인접화소 값과 현재 화소 값이 동일하나, 제2 인접 화소 값은 현재 화소 값보다 큰 경우이다. 카테고리 4는 현재 화소가 인접 화소들보다 큰 경우이다. 상기 카테고리 1 내지 4의 화소 값은 도 10의 그래프와 같이 표시될 수 있다. 카테고리 0은 상기 카테고리 1 내지 4에 속하지 않은 화소들이 속할 수 있으며, 카테고리 0에서는 오프셋 값이 결정되지 않을 수 있다.
단계 S605에서, 적응적 오프셋 결정부(111)는 카테고리 1 또는 4인 화소 값들에 대하여, 단계 S607에서, 각 카테고리에 속하는 화소들의 배경 화소 값을 검출할 수 있다. 앞서 논의한 바와 같이, 영상의 배경 화소 블록 중 하나의 배경 화소 블록의 배경 화소 값은 상기 배경 화소 블록에 속하는 화소들의 평균 화소 값으로 결정될 수 있다. 그리고, 동일한 카테고리에 속한 화소들의 배경 화소 값의 평균 값이 민감 영역에 속하는지 여부에 기초하여 상기 카테고리의 오프셋 값이 조정될 수 있다, 또는, 각 화소의 배경 화소 값이 민감 영역에 속하는지 여부에 기초하여 화소 별로 오프셋 값이 조정될 수 있다. 이하에서는 카테고리 별로 오프셋 값이 조정되는 경우를 기준으로 설명하기로 한다.
단계 S609에서, 적응적 오프셋 결정부(111)는 동일한 카테고리에 속한 화소들의 배경 화소 값의 평균 값이 민감 영역에 속하는지 판단하고, 배경 화소 값의 평균 값이 민감 영역에 속하는 경우, 카테고리 1 또는 4의 오프셋 값이 음수값 또는 양수값인지에 기초하여 각 카테고리의 오프셋을 조정할 수 있다.
단계 S611 및 S615에서, 적응적 오프셋 결정부(111)는 카테고리 1의 오프셋 값이 음수값인 경우, 단계 S617에서 오프셋 값을 0으로 조정할 수 있다. 상기 카테고리 1에 속한 화소들은 음수값의 오프셋 적용으로 인접 화소와의 차이가 더 커지게 되므로, 오프셋이 적용된 복원 영상에서 솔트 노이즈가 발생될 수 있다. 따라서, 적응적 오프셋 결정부(111)는 시각적 민감 영역에 속한 배경 화소 값을 가지는 오프셋 값을 0으로 조정함으로써, 솔트 노이즈의 발생을 저지할 수 있다.
단계 S611 및 S613에서, 적응적 오프셋 결정부(111)는 카테고리 4의 오프셋 값이 양수값인 경우, 단계 S617에서 오프셋 값을 0으로 조정할 수 있다. 상기 카테고리 4에 속한 화소들은 양수값의 오프셋 적용으로 인접 화소와의 차이가 더 커지게 되므로, 오프셋이 적용된 복원 영상에서 솔트 노이즈가 발생될 수 있다. 따라서, 적응적 오프셋 결정부(111)는 시각적 민감 영역에 속한 배경 화소 값을 가지는 오프셋 값을 0으로 조정함으로써, 솔트 노이즈의 발생을 저지할 수 있다.
이외에 카테고리의 배경 화소값의 평균 값이 시각적 민감 영역에 포함되지 않는 경우, 솔트 노이즈가 인식되기 어려운 경우에 속하므로 적응적 오프셋 결정부(111)는 오프셋 값을 조정하지 않음이 바람직하다. 또한, 카테고리 1의 오프셋이 0을 포함한 양수값 또는 카테고리 4의 오프셋이 0을 포함한 음수값인 경우, 현재 화소 값과 인접 화소 값 간의 차이가 오프셋 적용으로 더 커지는 경우가 아니므로 적응적 오프셋 결정부(111)는 오프셋 값을 조정하지 않음이 바람직하다.
단계 S619 내지 S623에서, 적응적 오프셋 결정부(111)는 카테고리의 배경 화소 값을 고려하지 않고, 오프셋 값을 조정할 수 있다. 카테고리 2 및 3에 해당하는 화소들은 대개 엣지 영역에 속하여서, 엣지 영역의 화소 값을 임의로 변경하는 경우 왜곡이 더 심해질 수 있기 때문이다. 반면, 앞서 언급된 카테고리 1 및 4에 해당하는 화소들은 대개 패브릭(fabric) 또는 텍스쳐(texture) 영역에 속하므로, 엣지 영역과는 달리 화소 값을 변경하여도 왜곡이 심하게 발생될 가능성이 적다. 따라서, 카테고리 1 및 4에 해당하는 화소들은 본 발명의 일 실시 예에 따라 배경 화소 값에 기초하여 오프셋 값이 조정될 수 있다. 그러나, 카테고리 2의 오프셋 값이 음수값이거나, 카테고리 3의 오프셋 값이 양수값인 경우 오프셋 값 적용 시 솔트 노이즈가 발생됨을 고려하여, 오프셋 값은 0으로 조정됨이 바람직하다.
따라서, 단계 S619 및 S621에서, 적응적 오프셋 결정부(111)는 카테고리 2의 오프셋 값이 음수값인 경우, 단계 S623에서 오프셋 값을 0으로 조정할 수 있다. 또한, 단계 S625 및 S627에서, 적응적 오프셋 결정부(111)는 카테고리 3의 오프셋 값이 양수값인 경우, 단계 S623에서 오프셋 값을 0으로 조정할 수 있다.
이외에, 단계 S621 또는 S627에서 카테고리 2의 오프셋이 0을 포함한 양수값 또는 카테고리 3의 오프셋이 0을 포함한 음수값인 경우, 현재 화소 값과 인접 화소 값 간의 차이가 오프셋 적용으로 더 커지는 경우가 아니므로 오프셋 값은 조정되지 않음이 바람직하다. 카테고리 1 내지 4 이외에 오프셋 값이 적용되지 않는 영역인 카테고리 0에 속하는 화소들은 오프셋 값이 적용되지 않으므로, 오프셋 값은 조정되지 않음이 바람직하다.
도 7은 본 발명의 다른 실시 예에 의한 오프셋 결정 방법을 나타낸 순서도이다.
도 7을 참조하면, 단계 S701에서, 적응적 오프셋 결정부(111)는 현재 영상을 복수개의 LCU 블록으로 분할할 수 있다. 상기 LCU 블록은 영상 부호화를 위한 CU(code unit) 블록 분할 여부와 관계없이 독립적으로 분할될 수 있다.
단계 S703에서, 적응적 오프셋 결정부(111)는 분할된 하나의 블록에 대한 각 SAO 타입마다 카테고리 별로 결정된 오프셋 값에 기초하여 최적의 부호화 효율을 가지는 상기 블록의 SAO 타입을 결정할 수 있다.
또한, 단계 S705 및 S707에서, 적응적 오프셋 결정부(111)는 상기 분할된 하나의 블록을 재분할하고, 재분할된 각각의 블록에 대한 각 SAO 타입마다 카테고리 별로 오프셋 값에 기초하여 상기 블록들의 최적의 부호화 효율을 가지는 SAO 타입을 각 블록별로 결정할 수 있다.
블록의 부호화 효율은 각 SAO 타입에 따라 분류된 카테고리 별로 결정된 오프셋 값에 기초하여 획득될 수 있다.
단계 S709에서, 적응적 오프셋 결정부(111)는 단계 S703에서 결정된 SAO 타입에 따른 분할된 하나의 블록의 부호화 효율과, 단계 S707에서 결정된 SAO 타입에 따른 재분할된 블록들의 부호화 효율을 비교할 수 있다. 단계 S703 또는 S707에서 결정된 SAO 타입에 따른 블록의 부호화 효율은 상기 SAO 타입에 따라 분류된 카테고리 별로 결정된 오프셋 값에 기초하여 획득될 수 있다.
단계 S703에서 결정된 SAO 타입에 따른 블록의 부호화 효율이 더 높은 경우, 적응적 오프셋 결정부(111)는 단계 S717에서 SAO 타입이 결정되지 않은 블록이 더 존재하는지 판단할 수 있다. 존재하는 경우, 단계 S719에서 SAO 타입이 결정되지 않은 다른 블록에서 S703 이하의 단계가 반복적으로 수행될 수 있다. 반면, 존재하지 않는 경우, 모든 블록의 SAO 타입이 결정된 것으로 보고, 단계 S721에서 최적의 부호화 효율을 가지는 블록 분할 구조에 대한 정보, 각 블록의 SAO 타입 및 각 블록의 카테고리별 오프셋 값이 부호화될 수 있다.
한편, 단계 S707에서 결정된 SAO 타입에 따른 블록의 부호화 효율이 더 높은 경우, 단계 S705에서 재분할된 블록들이 단계 S715에서, 다시 재분할되어 다시 재분할된 블록 각각에 대해 단계 S703 이하의 단계가 반복적으로 수행될 수 있다. 다만, 단계 S715 이전에 블록의 깊이(depth)가 소정 기준값 이상인지를 판단하여, 블록 분할이 무한대로 수행되지 않게 할 수 있다. 블록의 깊이는 블록이 분할된 횟수를 의미하는 것으로, 영상에서 처음 분할된 LCU 블록일 때의 깊이가 0이고, LCU 블록이 분할된 블록의 깊이는 1일 수 있다. 따라서, 단계 S709에서 재분할된 블록들의 부호화 효율이 더 높은 것으로 판단되면, 단계 S711에서 블록 깊이에 1이 더해지고, 단계 S713에서 블록 깊이가 소정 기준값 이상인지 판단될 수 있다. 블록 깊이가 소정 기준값 이상인 경우에는 블록은 더 이상 재분할되지 않고, SAO 타입이 결정되지 않은 블록에 대하여 단계 S703 이하의 단계가 반복적으로 수행될 수 있다.
도 8은 본 발명의 일 실시 예에 있어서, 영상을 다수의 블록으로 분할한 것을 도시한 예시도이다.
도 8을 참조하면, 영상은 쿼드 트리(quadtree) 기반의 CU 분할 방법과 동일한 방식으로 LCU 블록을 최대 4 깊이까지의 하위 블록으로 분할될 수 있다. 각 블록의 블록 분할 여부에 따라 각 블록의 sao_split_flag 값(80)은 0 또는 1의 값을 가질 수 있다. sao_split_flag 값(80)은 분할되지 않은 블록은 0, 분할되어 하위 블록을 가지는 블록은 1을 값을 가질 수 있다.
도 8에서, sao_type_idx 값(81, 82)은 각 블록의 SAO 타입 값을 나타낸 것으로 하위 블록이 없는 블록이 sao_type_idx 값을 가질 수 있다. sao_type_idx 값은 0, 1, 2, 3, 4 등의 정수 값을 가질 수 있고, 각 정수 값은 SAO 타입과 일대일로 대응될 수 있다.
다만, 본 발명의 일 실시 예에 의하면, 영상의 오프셋 결정을 위한 블록 분할은 이에 제한되지 않고 다양한 방법으로 분할될 수 있다.
도 9는 본 발명의 다른 실시 예에 있어서, 인접 화소 값에 기초하여 화소의 카테고리를 결정하는 일 예를 도시한 예시도이다.
도 9를 참조하면, 화소(C)의 카테고리를 결정하기 위해 참조하는 인접 화소(N)의 위치에 따라 SAO 타입이 결정될 수 있다. 인접 화소와 화소의 위치에 따라 0도, 90도, 135도, 45도의 총 4가지의 EO 타입으로서 SAO 타입이 결정될 수 있다. 그러므로 도 7에서의 블록의 SAO 타입 결정은 상기 4가지의 EO 타입을 포함한 SAO 타입이 결정될 수 있다. 본 발명의 다른 실시 예에 있어서, 결정될 수 있는 SAO 타입은 EO 타입 외에, BO 타입과 SAO를 적용하지 않는 타입을 더 포함할 수 있다. SAO 타입이 결정되면, 결정된 SAO 타입에 따라 카테고리가 결정될 수 있다. 결정된 SAO 타입이 EO 타입 중 하나인 경우에는, 결정된 EO 타입에 의해 카테고리 결정을 위해 참조될 인접 화소의 위치가 결정될 수 있다. 각 화소의 카테고리는 현재 화소와 상기 결정된 위치에 존재하는 인접 화소들의 상대적인 대소 관계에 기초하여 결정될 수 있다.
도 10은 본 발명의 일 실시 예에 있어서, 결정된 화소의 카테고리의 일 예를 도시한 예시도이다.
본 발명의 일 실시 예에 있어서, 결정될 수 있는 카테고리는 총 5가지로, 카테고리 1은 픽셀 인덱스 x 인 현재 화소가 픽셀 인덱스 x-1 및 x+1인 인접 화소들보다 화소 값이 작은 오목 엣지(concave)이고, 카테고리 2는 현재 화소가 인접 화소들보다 화소 값이 작거나 같은 오목 엣지의 가장자리이다. 카테고리 3은 현재 화소가 인접 화소들보다 화소 값이 같거나 큰 볼록 엣지의 가장자리이고, 카테고리 4는 현재 화소가 인접 화소들보다 큰 볼록 엣지(convex)이다. 카테고리 0(미도시)은 카테고리 1 내지 4에 속하지 않은 화소들이 속할 수 있으며, 카테고리 0에서는 오프셋 값이 결정되지 않을 수 있다.
도 11은 본 발명의 일 실시 예에 있어서, 화소의 배경 화소 값을 검출하는 일 예를 도시한 예시도이다.
도 11을 참조하면, 배경 화소 값을 검출하기 위해 분할된 배경 화소 블록 중 현재 화소(11)가 속한 배경 화소 블록(12) 내에 속하는 화소들의 평균 화소 값이 현재 화소(11)의 배경 화소 값으로 결정될 수 있다.
적응적 오프셋 결정부(111)는 동일한 카테고리에 속하는 화소들의 배경 화소 값의 평균에 기초하여 카테고리 별로 오프셋을 조정하거나, 각 화소의 배경 화소 값에 기초하여 각 화소에 적용될 오프셋을 화소 별로 조정할 수 있다.
도 12는 본 발명의 일 실시 예에 있어서, 배경 화소 값의 분포를 나타낸 그래프이다.
도 12의 그래프는, 배경 화소 값에 따라 현재 화소가 인접 화소와 시각적으로 구별될 수 있다고 인지할 수 있는 인접 픽셀과의 차이값을 나타낸 것이다. 도 12의 그래프를 참조하면, 배경 화소 값이 T1과 T2 사이 영역(14)의 값에 속하는 경우 현재 화소가 인접 화소와 시각적으로 구별될 수 있는 차이값이 다른 영역(13, 15)에 비해 현저히 작음을 알 수 있다. 즉, 배경 화소 값이 T1과 T2 사이의 값(14)에 속하는 경우, 현재 화소 값과 인접 화소 값의 차이가 적어도 현재 화소 값이 시각적으로 구별될 가능성이 높다. 따라서, 상기 14 영역에서는 화소 값의 변화를 잘 인식할 수 있어 솔트 노이즈가 쉽게 발생할 수 있으므로, 적응적 오프셋 결정부(111)는 상기 영역에 속하는 화소들의 오프셋을 0으로 조정하여 솔트 노이즈를 제거할 수 있다. 나머지 13 또는 15 영역의 경우, 현재 화소 값과 인접 화소 값의 차이가 커도 현재 화소 값이 시각적으로 구별될 가능성이 상대적으로 낮아서 솔트 노이즈의 발생 가능성이 상대적으로 적기 때문에 적응적 오프셋 결정부(111)는 부호화 효율을 높이기 위해서 오프셋을 조정하지 않을 수 있다.
도 13은 본 발명의 다른 실시 예에 의한 블록 분할 구조 결정 방법을 도시한 예시도이다.
도 13을 참조하면, 적응적 오프셋 결정부(111)는 하나의 블록(20)과 상기 블록이 분할된 블록들(21)의 부호화 효율을 비교함으로써 영상의 블록 분할 구조와 SAO 타입을 결정할 수 있다.
자세히 설명하면, 적응적 오프셋 결정부(111)는 깊이 0의 LCU 블록(120)을 위해 SAO 타입 및 블록 분할 구조를 결정할 수 있다. 깊이 0의 블록(20)을 4개의 블록으로 분할한 것이 깊이 1의 블록들(21)이다. 적응적 오프셋 결정부(111)는 깊이 0의 블록(20)과 깊이 1의 블록들(21) 각각을 블록 별로 최적의 SAO 타입과 최적의 SAO 타입에 대한 카테고리 별 오프셋 값을 결정할 수 있다. 적응적 오프셋 결정부(111)는 상기 결정된 오프셋 값을 이용하여 깊이 0의 블록(20)과 깊이 1의 블록들(21)의 부호화 효율을 비교할 수 있다.
깊이 0의 블록(20)의 부호화 효율이 더 높은 경우에는 깊이 0의 블록(20)에 대한 SAO 타입을 최종적으로 결정할 수 있다. 이어서, SAO 타입이 결정되지 않은 다른 깊이 0의 블록에 대하여 상기 블록이 분할된 블록들과 부호화 효율이 비교될 수 있다.
또한, 깊이 1의 블록들(21)의 부호화 효율이 더 높은 경우에는 깊이 1의 블록들 각각(23, 24, 25, 26)에 대하여 상기 블록들(23, 24, 25, 26)이 분할된 깊이 2의 블록들(27, 28, 29, 30)과 부호화 효율이 비교될 수 있다.
깊이 1의 블록(23, 25, 26)의 경우, 분할된 블록들(27, 29, 30)보다 부호화 효율이 높아 더 이상 분할되지 않을 수 있다. 깊이 1의 블록(24)의 경우, 깊이 2의 블록들(28)보다 부호화 효율이 낮아, 깊이 2의 블록들(28)이 재분할된 블록들과 부호화 효율이 비교될 수 있다.
블록(31)은 블록 분할 구조가 일부 결정된 일 예를 나타낸 것으로, 블록(23,25,26)은 더 이상 분할되지 않는 것으로 최종 결정되어, 각각 깊이 1의 블록으로 결정되었다. 반면, 블록(31)의 분할된 블록(32)은 분할된 블록의 부호화 효율이 더 높은 것으로 결정되어, 상기 분할된 블록(32)은 재분할될 수 있다.
본 발명의 일 실시 예에 의하면, 오프셋 값이 화소 값에 적용될 때, 화소 값이 인접 화소 값보다 더 작거나 더 큰 값으로 결정되는 경우, 인간의 시각 특징(Human visual system)을 이용하여 복원 영상에 오프셋을 적용함으로써 발생될 수 있는 솔트 노이즈를 효과적으로 제거하면서, 압축 성능 및 인코딩 디코딩 속도를 개선할 수 있다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장 장치 등이 있다.
비록 상기 설명이 다양한 실시예들에 적용되는 본 발명의 신규한 특징들에 초점을 맞추어 설명되었지만, 본 기술 분야에 숙달된 기술을 가진 사람은 본 발명의 범위를 벗어나지 않으면서도 상기 설명된 장치 및 방법의 형태 및 세부 사항에서 다양한 삭제, 대체, 및 변경이 가능함을 이해할 것이다. 따라서, 본 발명의 범위는 상기 설명에서보다는 첨부된 특허청구범위에 의해 정의된다. 특허청구범위의 균등 범위 안의 모든 변형은 본 발명의 범위에 포섭된다.

Claims (15)

  1. 현재 영상을 복수개의 블록으로 분할하는 단계;
    인접 화소 값에 기초하여 상기 분할된 각 블록 내 화소들의 카테고리를 결정하는 단계;
    상기 결정된 각 카테고리에 속하는 화소들의 오프셋 값을 결정하는 단계; 및
    상기 카테고리의 특성 및 각 화소의 배경 화소 값에 기초하여 오프셋 값을 조정하는 단계를 포함하고,
    상기 오프셋 값은 하나의 카테고리에 속하는 화소들의 원본 영상과 복원 영상 간의 차이값의 평균값이고,
    상기 배경 화소 값은 배경 화소 값을 구하기 위해 분할된 배경 화소 블록들 중 상기 화소가 속하는 배경 화소 블록 내 화소 값들의 평균 값인 오프셋 결정 방법.
  2. 제1항에 있어서, 상기 오프셋 값을 조정하는 단계는
    상기 오프셋 값과 대응되는 화소의 배경 화소 값을 검출하는 단계; 및
    상기 검출된 배경 화소 값 및 상기 카테고리의 특성에 기초하여, 상기 오프셋 값을 조정하는 단계를 포함하는 오프셋 결정 방법.
  3. 제2항에 있어서, 상기 배경 화소 값을 검출하는 단계는
    상기 카테고리의 특성이 국부 최소 값(local min) 또는 국부 최대 값(local max)에 해당하는 경우, 상기 오프셋 값과 대응되는 화소의 배경 화소 값을 검출하는 단계를 포함하는 오프셋 결정 방법.
  4. 제1항에 있어서, 상기 오프셋 값을 조정하는 단계는
    상기 배경 화소 값이 시각적으로 민감한 영역에 속하는지 여부를 판단하는 단계; 및
    상기 판단 결과에 따라 오프셋 값을 조정하는 단계를 포함하는 오프셋 결정 방법.
  5. 제1항에 있어서, 상기 오프셋 값을 조정하는 단계는
    상기 카테고리의 특성이 국부 최소 값이고, 상기 배경 화소 값이 시각적으로 민감한 영역에 속하고, 오프셋 값이 음수값인 경우와,
    상기 카테고리의 특성이 국부 최대 값이고, 상기 배경 화소 값이 시각적으로 민감한 영역에 속하고, 오프셋 값이 양수값인 경우에는, 상기 오프셋 값을 0으로 조정하는 단계를 포함하는 오프셋 결정 방법.
  6. 제1항에 있어서, 상기 오프셋 값을 조정하는 단계는
    현재 화소 값이, 상기 현재 화소에 인접한 화소들 중, 적어도 하나의 인접 화소 값과 동일하나, 상기 현재 화소에 인접한 화소들 중, 다른 적어도 하나의 인접 화소 값보다 작고, 상기 현재 화소 값에 대한 오프셋 값이 음수값이면, 상기 현재 화소 값에 대한 오프셋 값을 0으로 조정하고,
    상기 현재 화소 값이, 상기 현재 화소에 인접한 화소들 중, 적어도 하나의 인접 화소 값과 동일하나, 상기 현재 화소에 인접한 화소들 중, 다른 적어도 하나의 인접 화소 값보다 크고, 오프셋 값이 양수값이면, 오프셋 값을 0으로 조정하는 단계를 포함하는, 오프셋 결정 방법.
  7. 제1항에 있어서,
    상기 오프셋 값을 이용하여 상기 복원 영상의 화소 값들을 카테고리 별로 보정하는 단계를 더 포함하는 오프셋 결정 방법.
  8. 현재 영상을 부호화하는 부호화부;
    상기 부호화된 현재 영상을 복호화함으로써 상기 현재 영상의 복원 영상을 생성하는 복호화부;
    상기 현재 영상을 복수개의 블록으로 분할하고, 인접 화소 값에 기초하여 상기 분할된 각 블록 내 화소들의 카테고리를 결정하고, 상기 결정된 각 카테고리에 속하는 화소들의 오프셋 값을 결정하는 오프셋 결정부;
    상기 카테고리의 특성 및 각 화소의 배경 화소 값에 기초하여 오프셋 값을 조정하는 오프셋 조정부를 포함하고,
    상기 오프셋 값은 하나의 카테고리에 속하는 화소들의 원본 영상과 복원 영상 간의 차이값의 평균값이고,
    상기 배경 화소 값은 배경 화소 값을 구하기 위해 분할된 배경 화소 블록들 중 상기 화소가 속하는 배경 화소 블록 내 화소 값들의 평균 값인 동영상 부호화 장치.
  9. 제8항에 있어서, 상기 오프셋 조정부는
    상기 오프셋 값과 대응되는 화소의 배경 화소 값을 검출하고, 상기 검출된 배경 화소 값 및 상기 카테고리의 특성을 이용하여, 상기 오프셋 값을 조정하는 동영상 부호화 장치.
  10. 제9항에 있어서, 상기 오프셋 조정부는
    상기 카테고리의 특성이 국부 최소 값(local min) 또는 국부 최대 값(local max)에 해당하는 경우, 상기 오프셋 값과 대응되는 화소의 배경 화소 값을 검출하는 동영상 부호화 장치.
  11. 제8항에 있어서, 상기 오프셋 조정부는
    상기 배경 화소 값이 시각적으로 민감한 영역에 속하는지 여부를 판단하고, 상기 판단 결과에 따라 오프셋 값을 조정하는 동영상 부호화 장치.
  12. 제8항에 있어서, 상기 오프셋 조정부는
    상기 카테고리의 특성이 국부 최소 값이고, 상기 배경 화소 값이 시각적으로 민감한 영역에 속하고, 오프셋 값이 음수값인 경우와,
    상기 카테고리의 특성이 국부 최대 값이고, 상기 배경 화소 값이 시각적으로 민감한 영역에 속하고, 오프셋 값이 양수값인 경우에는, 상기 오프셋 값을 0으로 조정하는 동영상 부호화 장치.
  13. 제8항에 있어서, 상기 오프셋 조정부는
    현재 화소 값이, 상기 현재 화소에 인접한 화소들 중, 적어도 하나의 인접 화소 값과 동일하나, 상기 현재 화소에 인접한 화소들 중, 다른 적어도 하나의 인접 화소 값보다 작고, 상기 현재 화소 값에 대한 오프셋 값이 음수값이면, 상기 현재 화소 값에 대한 오프셋 값을 0으로 조정하고,
    상기 현재 화소 값이, 상기 현재 화소에 인접한 화소들 중 적어도 하나의 인접 화소 값과 동일하나, 상기 현재 화소에 인접한 화소들 중, 다른 적어도 하나의 인접 화소 값보다 크고, 상기 현재 화소 값에 대한 오프셋 값이 양수값이면, 상기 현재 화소 값에 대한 오프셋 값을 0으로 조정하는 동영상 부호화 장치.
  14. 부호화된 현재 영상을 복호화함으로써 상기 현재 영상의 복원 영상을 생성하는 복호화부;
    부호화된 오프셋 값을 복호화하고, 상기 복호화된 오프셋 값을 상기 복원 영상에 적용하는 오프셋 적용부를 포함하고,
    상기 현재 영상을 복수개의 블록으로 분할하고, 인접 화소 값에 기초하여 상기 분할된 각 블록 내 화소들의 카테고리를 결정하여, 상기 결정된 각 카테고리에 속하는 화소들의 오프셋 값이 결정되고,
    상기 오프셋 값은 상기 카테고리의 특성 및 각 화소의 배경 화소 값에 기초하여 조정되고,
    상기 오프셋 값은 하나의 카테고리에 속하는 화소들의 원본 영상과 복원 영상 간의 차이값의 평균값이고,
    상기 배경 화소 값은 배경 화소 값을 구하기 위해 분할된 배경 화소 블록들 중 상기 화소가 속하는 배경 화소 블록 내 화소 값들의 평균 값인 동영상 복호화 장치.
  15. 제1항 내지 제7항 중 어느 한 항에 의한 방법을 컴퓨터에서 실행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020130042424A 2012-04-17 2013-04-17 인간의 시각 특성을 이용한 오프셋 값 결정 방법 및 장치 KR102133528B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261625377P 2012-04-17 2012-04-17
US61/625,377 2012-04-17

Publications (2)

Publication Number Publication Date
KR20130117706A KR20130117706A (ko) 2013-10-28
KR102133528B1 true KR102133528B1 (ko) 2020-07-14

Family

ID=49383724

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130042424A KR102133528B1 (ko) 2012-04-17 2013-04-17 인간의 시각 특성을 이용한 오프셋 값 결정 방법 및 장치

Country Status (3)

Country Link
US (1) US9451269B2 (ko)
KR (1) KR102133528B1 (ko)
WO (1) WO2013157839A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150049821A1 (en) * 2013-08-16 2015-02-19 Qualcomm Incorporated In-loop depth map filtering for 3d video coding
US9955187B2 (en) 2014-03-28 2018-04-24 University-Industry Cooperation Group Of Kyung Hee University Method and apparatus for encoding of video using depth information
CN107391985B (zh) * 2017-06-21 2020-10-09 江苏泮池信息技术有限公司 一种解密图像验证方法、终端及计算机可读存储介质
CA3111340A1 (en) * 2018-09-03 2020-03-12 Huawei Technologies Co., Ltd. A video encoder, a video decoder and corresponding methods

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060018940A1 (en) 2004-07-21 2006-01-26 E. I. Du Pont De Nemours And Company Stabilized antimicrobial composition
KR100750137B1 (ko) 2005-11-02 2007-08-21 삼성전자주식회사 영상의 부호화,복호화 방법 및 장치
JP5325157B2 (ja) 2010-04-09 2013-10-23 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び、動画像復号プログラム
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
KR20120020262A (ko) 2010-08-30 2012-03-08 명화공업주식회사 가압성형을 이용한 마그네슘 벌크재의 제조방법 및 그 벌크재
HUE055116T2 (hu) * 2010-09-02 2021-10-28 Lg Electronics Inc Videó kódolási és dekódolási eljárás
US20130188740A1 (en) * 2010-09-13 2013-07-25 Industry-Academic Coooperation Foundation Hanbat National University Method and apparatus for entropy encoding/decoding
US20130177078A1 (en) * 2010-09-30 2013-07-11 Electronics And Telecommunications Research Institute Apparatus and method for encoding/decoding video using adaptive prediction block filtering
US8861617B2 (en) 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
WO2012175195A1 (en) * 2011-06-20 2012-12-27 Panasonic Corporation Simplified pipeline for filtering

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Elena Alshina, Alexander Alshin,"Non-CE8: Sample adaptive offset with constrained ranges of edge offset",JCTVC-H0114_r2, 2012.2.1.

Also Published As

Publication number Publication date
WO2013157839A1 (ko) 2013-10-24
US20150086124A1 (en) 2015-03-26
KR20130117706A (ko) 2013-10-28
US9451269B2 (en) 2016-09-20

Similar Documents

Publication Publication Date Title
KR102469145B1 (ko) 영상을 부호화 또는 복호화하는 방법 및 장치
KR102046521B1 (ko) 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치
KR101366241B1 (ko) 영상 부호화, 복호화 방법 및 장치
JP5559139B2 (ja) 映像の符号化、復号化の方法及び装置
US20150245021A1 (en) Intra-prediction encoding method, intra-prediction decoding method, intra-prediction encoding apparatus, intra-prediction decoding apparatus, program therefor and recording medium having program recorded thereon
US20120027092A1 (en) Image processing device, system and method
JP5421757B2 (ja) 画像符号化装置
KR20090097688A (ko) 영상의 인트라 예측 부호화/복호화 방법 및 장치
KR20090099236A (ko) 변환 계수의 부호화, 복호화 방법 및 장치
KR20080108773A (ko) 인터 컬러 보상을 이용한 영상의 부호화 방법 및 장치,복호화 방법 및 장치
KR20100109459A (ko) 비디오 신호 처리 방법 및 장치
KR20150027530A (ko) Hevc 부호화 장치 및 이를 이용한 부호화 방법
JP2014082639A (ja) 画像符号化装置およびその方法
KR20110017302A (ko) 움직임 벡터의 정확도 조절을 이용한 영상 부호화, 복호화 방법 및 장치
KR102133528B1 (ko) 인간의 시각 특성을 이용한 오프셋 값 결정 방법 및 장치
KR20090087767A (ko) 영상의 인트라 예측 부호화 방법
JP5618128B2 (ja) 符号化装置、符号化方法、およびプログラム
KR20190117352A (ko) 영상 부호화 또는 복호화 장치 및 방법
KR20160078318A (ko) 영상 부호화/복호화 방법 및 장치
KR101781300B1 (ko) 시간 상관도에 기반한 고속 영상 부호화 방법
JP2011239365A (ja) 動画像符号化装置及びその制御方法、コンピュータプログラム
US20210014481A1 (en) Image encoding device, image decoding device and program
KR101796876B1 (ko) 움직임 추정을 이용한 영상 부호화 방법 및 장치
JP6200220B2 (ja) 画像処理装置、符号化装置、復号装置、及びプログラム
KR101590493B1 (ko) 인터 예측을 이용한 영상 부호화 및 복호화 방법과 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant