KR20150077391A - 영역 기반의 부호화/복호화 장치 및 방법 - Google Patents
영역 기반의 부호화/복호화 장치 및 방법 Download PDFInfo
- Publication number
- KR20150077391A KR20150077391A KR1020150086730A KR20150086730A KR20150077391A KR 20150077391 A KR20150077391 A KR 20150077391A KR 1020150086730 A KR1020150086730 A KR 1020150086730A KR 20150086730 A KR20150086730 A KR 20150086730A KR 20150077391 A KR20150077391 A KR 20150077391A
- Authority
- KR
- South Korea
- Prior art keywords
- optimal
- image
- area
- division mode
- image frame
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47G—HOUSEHOLD OR TABLE EQUIPMENT
- A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
- A47G1/06—Picture frames
- A47G1/065—Interconnected frames; Frame assemblies; Frames for two or more pictures
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47G—HOUSEHOLD OR TABLE EQUIPMENT
- A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
- A47G1/06—Picture frames
- A47G1/08—Picture frames adjustable
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47G—HOUSEHOLD OR TABLE EQUIPMENT
- A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
- A47G1/16—Devices for hanging or supporting pictures, mirrors, or the like
- A47G1/166—Devices for hanging or supporting pictures, mirrors, or the like for rotatably hanging or supporting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47G—HOUSEHOLD OR TABLE EQUIPMENT
- A47G2200/00—Details not otherwise provided for in A47G
- A47G2200/18—Time
- A47G2200/183—Time indicator
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
Abstract
영역 기반의 부호화 장치 및 복호화 장치가 개시된다. 본 발명의 일실시예에 따른 부호화 장치는 영상 프레임의 분할된 영역과 관련된 영역 분할 모드들 중 최적의 영역 분할 모드를 선택하고, 상기 최적의 영역 분할 모드에 따라 분할된 영역들 각각의 최적의 영상 필터링 방법과 최적의 필터 계수를 최적의 영역 분할 모드와 함께 복호화 장치에 전송할 수 있다.
Description
본 발명의 일실시예들은 부호화/복호화 장치 및 방법에 관한 것으로, 보다 구체적으로는 영상 프레임의 분할된 영역에 기반하여 영상 처리하는 장치 및 방법에 관한 것이다.
하나의 영상 프레임은 동일한 특징으로 구성되는 경우뿐만 아니라, 서로 다른 특징을 나타낼 수 있다. 종래에는 영상 프레임의 특징들을 고려하지 않고 영상 프레임 전체에 대해 필터링을 수행하는 경우가 있었다.
이와 같이 영상 프레임의 특징을 고려하지 않고 필터링한 결과 영상 프레임의 품질이 저하되고, 영상 프레임의 압축 효과도 높지 않는 문제가 있었다. 따라서, 영상 프레임 각각의 특징들을 고려하여 보다 나은 영상 처리 결과를 도출하려는 시도가 있었다.
본 발명의 일실시예에 따른 부호화 장치는 영상 프레임에 대한 영역 분할 모드들 중 최적의 영역 분할 모드(region-dividing mode)를 선택하는 분할 모드 선택부; 상기 선택된 최적의 영역 분할 모드를 복호화 장치에 전송하는 분할 모드 전송부; 및 상기 선택된 최적의 영역 분할 모드에 따라 분할된 영역 각각의 최적의 영상 필터링 방법 및 최적의 필터 계수를 복호화 장치에 전송하는 필터 정보 전송부를 포함할 수 있다.
본 발명의 일실시예에 따른 부호화 장치는 상기 최적의 영역 분할 모드에 따라 영상 프레임을 2이상의 영역으로 분할하여 필터링을 수행한 영상 처리 결과 및 영상 프레임에 필터링을 수행하지 않은 영상 처리 결과 각각의 비용 함수에 기초하여 최종적인 영상 처리 결과를 선택하는 결과 선택부를 더 포함할 수 있다.
본 발명의 일실시예에 따른 복호화 장치는 부호화 장치로부터 최적의 영역 분할 모드를 수신하는 분할 모드 수신부; 상기 부호화 장치로부터 최적의 영역 분할 모드에 따라 분할된 영역 각각의 최적의 영상 필터링 방법 및 최적의 필터 계수를 수신하는 필터 정보 수신부; 및 상기 최적의 영상 필터링 방법 및 최적의 필터 계수에 기초하여 상기 최적의 영역 분할 모드에 따라 분할된 영상 프레임의 영역들 각각에 필터링을 수행하는 필터링 수행부를 포함할 수 있다.
본 발명의 일실시예에 따른 부호화 방법은 영상 프레임에 대한 영역 분할 모드들 중 최적의 영역 분할 모드(region-dividing mode)를 선택하는 단계; 상기 선택된 최적의 영역 분할 모드를 복호화 장치에 전송하는 단계; 및 상기 선택된 최적의 영역 분할 모드에 따라 분할된 영역 각각의 최적의 영상 필터링 방법 및 최적의 필터 계수를 복호화 장치에 전송하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 부호화 방법은 상기 최적의 영역 분할 모드에 따라 영상 프레임을 2이상의 영역으로 분할하여 필터링을 수행한 영상 처리 결과 및 영상 프레임에 필터링을 수행하지 않은 영상 처리 결과 각각의 비용 함수에 기초하여 최종적인 영상 처리 결과를 선택하는 단계를 더 포함할 수 있다.
본 발명의 일실시예에 따른 복호화 방법은 부호화 장치로부터 최적의 영역 분할 모드를 수신하는 단계;
상기 부호화 장치로부터 최적의 영역 분할 모드에 따라 분할된 영역 각각의 최적의 영상 필터링 방법 및 최적의 필터 계수를 수신하는 단계; 및 상기 최적의 영상 필터링 방법 및 최적의 필터 계수에 기초하여 상기 최적의 영역 분할 모드에 따라 분할된 영상 프레임의 영역들 각각에 필터링을 수행하는 단계
를 포함할 수 있다.
본 발명의 일실시예에 따른 비트스트림은 영상 프레임에 대한 영역 분할 모드들 중 최적의 영역 분할 모드, 최적의 영상 필터링 방법 및 최적의 필터 계수가 기록될 수 있다.
본 발명의 일실시예에 따르면, 영상 프레임의 분할된 영역들 각각에 독립적인 필터링을 수행함으로써 영상 프레임에 대한 영상 처리 결과의 품질을 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 부호화 장치와 복호화 장치의 동작을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 부호화 장치의 세부 구성을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 복호화 장치의 세부 구성을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따라 영역 기반의 영상 처리 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따라 영역 분할 모드의 속성을 도시한 도면이다.
도 6은 본 발명의 일실시예에 따라 영역 분할 모드의 종류를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따라 영상 프레임을 복수의 영역으로 분할하는 일례를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따라 부호화 장치가 적용된 예를 도시한 도면이다.
도 9는 본 발명의 일실시예에 따라 복호화 장치가 적용된 예를 도시한 도면이다.
도 10은 본 발명의 일실시예에 따른 부호화 방법을 도시한 플로우차트이다.
도 11은 본 발명의 일실시예에 따라 영역 분할 모드를 선택하는 과정을 도시한 플로우차트이다.
도 12는 본 발명의 일실시예에 따라 필터링 결과를 선택하는 과정을 도시한 도면이다.
도 13은 본 발명의 일실시예에 따른 복호화 방법을 도시한 플로우차트이다.
도 2는 본 발명의 일실시예에 따른 부호화 장치의 세부 구성을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 복호화 장치의 세부 구성을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따라 영역 기반의 영상 처리 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따라 영역 분할 모드의 속성을 도시한 도면이다.
도 6은 본 발명의 일실시예에 따라 영역 분할 모드의 종류를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따라 영상 프레임을 복수의 영역으로 분할하는 일례를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따라 부호화 장치가 적용된 예를 도시한 도면이다.
도 9는 본 발명의 일실시예에 따라 복호화 장치가 적용된 예를 도시한 도면이다.
도 10은 본 발명의 일실시예에 따른 부호화 방법을 도시한 플로우차트이다.
도 11은 본 발명의 일실시예에 따라 영역 분할 모드를 선택하는 과정을 도시한 플로우차트이다.
도 12는 본 발명의 일실시예에 따라 필터링 결과를 선택하는 과정을 도시한 도면이다.
도 13은 본 발명의 일실시예에 따른 복호화 방법을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 부호화 장치와 복호화 장치의 동작을 설명하기 위한 도면이다.
부호화 장치(101)는 영상 프레임에 대해 최적의 영역 분할 모드(region dividing mode)를 선택하고, 최적의 영역 분할 모드를 복호화 장치(102)에 전송할 수 있다. 영상 프레임은 특정 영역마다 서로 다른 특성을 나타낼 수 있다. 따라서, 본 발명의 일실시예에 따르면, 영상 프레임은 2이상의 영역으로 분할될 수 있으며, 분할된 영역마다 독립적인 필터가 적용될 수 있다. 이 때, 필터는 영상 복원 또는 영상 확대를 위해 사용될 수 있다. 그리고, 부호화 장치(101)는 최적의 영역 분할 모드에 따라 분할된 영역 각각에 대해 최적의 영상 필터링 방법 및 최적의 필터 계수를 계산할 수 있다.
부호화 장치(101)는 미리 설정된 영역 분할 모드 각각의 영상 처리 결과에 대한 비용 함수를 계산하고, 영역 분할 모드들 중 비용 함수가 가장 낮은 영역 분할 모드를 최적의 영역 분할 모드로 선택할 수 있다. 이 때, 영상 처리 결과는 영역 분할 모드에 따라 분할된 영상 프레임의 영역들 각각에 대해 필터링을 수행한 결과를 의미한다. 만약, 필터가 영상 확대에 적용된 것이라면, 영상 처리 결과는 영상 프레임이 확대된 것을 의미한다. 그리고, 필터가 영상 복원에 적용된 것이라면, 영상 처리 결과는 영상 프레임이 압축된 후 필터링에 의해 영상 프레임이 압축되기 이전으로 복원된 것을 의미한다.
부호화 장치(101)는 비트 스트림을 통해 최적의 영역 분할 모드와 최적의 영역 분할 모드에 따라 분할된 영상 프레임의 영역들 각각의 최적의 영상 처리 방법 혹은 분할된 영상 프레임의 영역들 각각의 최적의 필터 계수를 복호화 장치(102)에 전송할 수 있다.
결국, 본 발명의 일실시예에 따르면, 영상 프레임 전체에 대해 필터를 적용한 것이 아니라 영상 프레임을 2이상의 영역으로 분할하는 영역 분할 모드에 따라 영역들 각각에 독립적인 필터링을 수행함으로써 영상 프레임에 대한 영상 처리 결과의 품질이 향상될 수 있다.
도 2는 본 발명의 일실시예에 따른 부호화 장치의 세부 구성을 도시한 도면이다.
도 2를 참고하면, 부호화 장치(101)는 분할 모드 선택부(201), 분할 모드 전송부(202), 필터 정보 전송부(203) 및 결과 선택부(204) 를 포함할 수 있다.
분할 모드 선택부(201)는 영상 프레임에 대한 영역 분할 모드들 중 최적의 영역 분할 모드(region-dividing mode)를 선택할 수 있다. 이 때, 분할된 복수의 영역들의 개수와 형태는 영역 분할 모드에 따라 결정될 수 있다. 영역 분할 모드는 분할 모드를 선택하기 전에 미리 설정될 수 있다. 영역 분할 모드에 따라 분할된 영상 프레임의 영역들 각각에는 서로 독립적인 필터링을 수행하거나 서로 독립적인 필터 계수를 갖는 필터셋이 할당될 수 있다.
일례로, 분할 모드 선택부(201)는 영역 분할 모드들 각각의 비용 함수를 계산하여 최적의 영역 분할 모드를 선택할 수 있다. 그리고, 분할 모드 선택부(201)는 최적의 영역 분할 모드에 따라 분할된 영역들 각각의 최적의 필터링 방법을 판단하고, 최적의 필터링 방법에 따라 최적의 필터 계수를 계산할 수 있다.
구체적으로, 분할 모드 선택부(201)는 영역 분할 모드들에 따라 분할된 영상 프레임의 복수의 영역들 각각의 최적의 영상 필터링 방법 및 최적의 필터 계수를 계산하고, 최적의 영상 필터링 방법 및 최적의 필터 계수를 적용한 필터링 결과의 비용 함수에 기초하여 최적의 영역 분할 모드를 선택할 수 있다. 그러면, 분할 모드 선택부(201)는 영역 분할 모드들 각각의 비용 함수들 중 가장 작은 비용 함수를 갖는 영역 분할 모드를 최적의 영역 분할 모드로 선택할 수 있다. 또한, 분할 모드 선택부(201)는 영역 분할 모드들 각각의 비용 함수를 계산하여 최적의 영상 필터링 방법을 선택할 수 있다.
일례로, 분할 모드 선택부(201)는 영상 프레임을 왼쪽(left) 영역과 오른쪽(right) 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 위쪽(top) 영역과 아래쪽(bottom) 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 수직 방향에 따라 위쪽 영역, 중간(middle) 영역 및 아래쪽 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 수평 방향에 따라 왼쪽 영역, 중간 영역, 및 오른쪽 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 수평 방향에 따라 적어도 4개 이상의 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 수직 방향에 따라 적어도 4개 이상의 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 적어도 4개 이상의 영역으로 분할하는 영역 분할 모드 및 상기 영상 프레임을 중앙(center) 영역과 가장자리(surround) 영역으로 분할하는 영역 분할 모드, 기본 단위가 사각형이고 기본 단위로 확장한 영역을 하나의 분할 영역으로 설정한 영역 분할 모드 중 적어도 하나에서 최적의 영역 분할 모드를 선택할 수 있다. 여기서 언급한 영역 분할 모드 예시에 불과하고, 본 발명의 일실시예에 따른 부호화 장치(101)는 영상 프레임을 2이상의 영역으로 분할하는 모든 형태의 영역 분할 모드를 이용할 수 있다.
분할 모드 전송부(202)는 최적의 영역 분할 모드를 복호화 장치(102)에 전송할 수 있다. 최적의 영역 분할 모드는 부호화 장치(101)가 복호화 장치(102)에 전송하는 비트스트림의 헤더에 포함될 수 있다.
필터 정보 전송부(203)는 최적의 영역 분할 모드에 따라 분할된 영역 각각의 최적의 영상 필터링 방법 및 최적의 필터 계수를 복호화 장치에 전송할 수 있다. 이 때, 최적의 영상 필터링 방법 및 최적의 필터 계수는 부호화 장치(101)가 복호화 장치(102)에 전송하는 비트스트림의 헤더에 포함될 수 있다.
결과 선택부(303)는 최적의 영역 분할 모드에 따라 영상 프레임을 2이상의 영역으로 분할하여 필터링을 수행한 영상 처리 결과 및 영상 프레임에 필터링을 수행하지 않은 영상 처리 결과 각각의 비용 함수에 기초하여 최종적인 영상 처리 결과를 선택할 수 있다.
이 때, 최종적인 영상 처리 여부를 스킵 플래그로 정의하고 복호화 장치에 전송할 수 있다. 스킵 플래그는 부호화 장치(101)가 복호화 장치(102)에 전송하는 비트스트림의 헤더에 포함될 수 있다.
도 3은 본 발명의 일실시예에 따른 복호화 장치의 세부 구성을 도시한 도면이다.
도 3을 참고하면, 복호화 장치(102)는 분할 모드 수신부(301), 필터 정보 수신부(302) 및 필터링 수행부(303)를 포함할 수 있다.
먼저, 복호화 장치(102)는 영상 프레임에 대해 필터링을 수행할 지 여부를 나타내는 스킵 플래그를 부호화 장치(101)로부터 수신할 수 있다. 스킵 플래그에 따라 복호화 장치(102)는 아래의 과정에 따라 필터링을 수행할 수 있다.
분할 모드 수신부(301)는 부호화 장치(101)로부터 최적의 영역 분할 모드를 수신할 수 있다. 이 때, 분할 모드 수신부(301)는 영상 프레임에 대한 영역 분할 모드들 각각의 비용 함수에 기초하여 선택된 최적의 영역 분할 모드를 부호화 장치(101)로부터 수신할 수 있다.
일례로, 분할 모드 수신부(301)는 영상 프레임을 왼쪽(left) 영역과 오른쪽(right) 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 위쪽(top) 영역과 아래쪽(bottom) 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 수직 방향에 따라 위쪽 영역, 중간(middle) 영역 및 아래쪽 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 수평 방향에 따라 왼쪽 영역, 중간 영역, 및 오른쪽 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 수평 방향에 따라 적어도 4개 이상의 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 수직 방향에 따라 적어도 4개 이상의 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 적어도 4개 이상의 영역으로 분할하는 영역 분할 모드 및 상기 영상 프레임을 중앙(center) 영역과 가장자리(surround) 영역으로 분할하는 영역 분할 모드, 기본 단위가 사각형이고 기본 단위로 확장한 영역을 하나의 분할 영역으로 설정한 영역 분할 모드 중 적어도 하나에서 부호화 장치(101)가 선택한 최적의 영역 분할 모드를 수신할 수 있다.
일례로, 부호화 장치(101)는 영역 분할 모드들에 따라 분할된 영상 프레임의 복수의 영역들 각각의 최적의 영상 필터링 방법 및 최적의 필터 계수를 계산하고, 상기 최적의 영상 필터링 방법 및 최적의 필터 계수를 적용한 필터링 결과의 비용 함수에 기초하여 최적의 영역 분할 모드를 선택할 수 있다.
필터 정보 수신부(302)는 부호화 장치로부터 최적의 영역 분할 모드에 따라 분할된 영역 각각의 최적의 영상 필터링 방법 및 최적의 필터 계수를 수신할 수 있다. 일례로, 필터 정보 수신부(302)는 영상 프레임에 대해 최적의 영역 분할 모드에 따라 분할된 영역들 각각의 최적의 영상 필터링 방법 및 필터 계수를 부호화 장치(101)로부터 수신할 수 있다.
필터링 수행부(302)는 최적의 영상 필터링 방법 및 최적의 필터 계수에 기초하여 최적의 영역 분할 모드에 따라 분할된 영상 프레임의 영역들 각각에 필터링을 수행할 수 있다. 최적의 영상 필터링 방법에 따라 최적의 필터 계수가 결정되며, 영상 프레임에 대해 분할된 영역별도 독립적인 필터링을 수행함으로서 영상 처리 효과가 향상될 수 있다.
도 4는 본 발명의 일실시예에 따라 영역 기반의 영상 처리 방법을 설명하기 위한 도면이다.
도 4에서 볼 수 있듯이, 영상 프레임은 복수의 영역(401, 402)으로 분할되어 처리될 수 있다. 영상 프레임을 분할하는 영역의 개수는 2 이상일 수 있다.
구체적으로, 영상 프레임은 분할된 복수의 영역마다 서로 다른 필터가 적용될 수 있다. 이 때, 필터는 영상 프레임을 확대하는 필터이거나 또는 압축된 영상 프레임을 복원하는 필터일 수 있다. 그래서, 도 4에서 볼 수 있듯이, 영역마다 서로 다른 영상 필터링 방법 혹은 필터 계수로 구성된 필터셋이 적용될 수 있다.
다만, 실시예에 따라 영상 프레임이 3개 이상의 영역으로 분할되고, 동일한 영상 특성을 나타내는 영역들이 존재하면 해당 영역에는 동일한 영상 필터링 방법 혹은 동일한 필터 계수가 적용될 수 있다.
결국, 본 발명의 일실시예에 따르면, 영상 프레임의 영상 특징을 고려하여 영역별로 독립적인 필터를 적용함으로써 영상 처리 결과의 품질을 향상시킬 수 있다.
도 5는 본 발명의 일실시예에 따라 영역 분할 모드의 속성을 도시한 도면이다.
도 5를 참고하면, 영상 프레임을 2이상의 영역으로 분할하는 영역 분할 모드의 속성이 도시된다. 영역 분할 모드는 부호화 장치(101)가 복수의 영역 분할 모드들 중 최적의 영역 분할 모드를 선택하기 전에 미리 설정될 수 있다.
모드 1, 2 및 8은 영상 프레임을 2개의 영역으로 분할하는 영역 분할 모드를 나타낸다. 그리고, 모드 3 및 4는 영상 프레임을 3개의 영역으로 분할하는 영역 분할 모드를 나타낸다. 또한, 모드 5,6 및 7은 영상 프레임을 4개의 영역으로 분할하는 영역 분할 모드를 나타낸다.
영상 프레임은 영역 분할 모드에 따라 분할되는 영역의 개수와 영역의 형태가 달라질 수 있다. 그리고, 모드 1인 영역 분할 모드에 따라 영상 프레임이 왼쪽 영역과 오른쪽 영역으로 분할되는 경우, 왼쪽 영역과 오른쪽 영역의 면적이 동일하거나 또는 서로 다를 수 있다. 즉, 영상 프레임은 서로 동일한 면적을 가지는 영역으로 분할되거나 또는 서로 다른 면적을 가지는 영역으로 분할될 수 있다.
도 5에 도시된 영역 분할 모드의 속성은 실시예에 불과하고, 영상 프레임의 특성에 따라 영상 프레임을 5개 이상의 영역으로 분할하는 영역 분할 모드도 포함될 수 있다.
도 6은 본 발명의 일실시예에 따라 영역 분할 모드의 종류를 도시한 도면이다.
도 6은 영역 분할 모드에 따라 2 이상의 영역으로 분할된 영상 프레임을 나타낸다. 도 6에 도시된 영역 분할 모드는 일례에 불과하고, 영상 프레임을 2 이상의 영역으로 분할하는 영역 분할 모드는 전부 본 발명의 일실시예의 범위에 속할 수 있다.
영상 프레임(601, 602, 603, 604, 605, 616, 617, 618, 621, 622, 623)은 도 5의 모드 3인 영역 분할 모드(Left/Middle/Right)에 따라 3개의 영역으로 분할된 영상 프레임을 의미한다. 그리고, 영상 프레임(606, 607)은 도 5의 모드 8인 영역 분할 모드(Center/Surround)에 따라 2개의 영역으로 분할된 영상 프레임을 의미한다. 또한, 영상 프레임(608, 609, 610)은 도 5의 모드 1인 영역 분할 모드(Left/Right)에 따라 2개의 영역으로 분할된 영상 프레임을 의미한다.
그리고, 영상 프레임(611, 612, 613)은 도 5의 모드 2인 영역 분할 모드(Top/Bottom)에 따라 2개의 영역으로 분할된 영상 프레임을 의미한다. 영상 프레임(614)은 도 5의 모드 4인 영역 분할 모드(Top/Middle/Bottom)에 따라 3개의 영역으로 분할된 영상 프레임을 의미한다. 영상 프레임(615)은 도 5의 모드 7인 영역 분할 모드(Quartered)에 따라 4개의 영역으로 분할된 영상 프레임을 의미한다. 영상 프레임(619)은 도 5의 모드 6인 영역 분할 모드(Vertically-Quartered)에 따라 4개의 영역으로 분할된 영상 프레임을 의미한다. 영상 프레임(620)은 도 5의 모드 5인 영역 분할 모드(Horizontally-Quartered)에 따라 4개의 영역으로 분할된 영상 프레임을 의미한다.
부호화 장치(101)는 도 6에 도시된 영역 분할 모드들에 따라 분할된 영역 각각에 필터링을 적용한 결과의 비용 함수를 고려하여 최적의 영역 분할 모드를 선택할 수 있다. 입력 영상을 구성하는 복수의 영상 프레임들은 서로 다른 특징을 나타내기 때문에 영상 프레임들마다 선택되는 최적의 영역 분할 모드는 다를 수 있다. 그리고, 영역 분할 모드에 따라 영상 프레임을 분할하는 영역의 개수와 형태는 다를 수 있다.
도 7은 본 발명의 일실시예에 따라 영상 프레임을 복수의 영역으로 분할하는 일례를 도시한 도면이다.
도 7은 하나의 영역 분할 모드를 나타낸다. 도 7에서 볼 수 있듯이, 기본 단위가 x개 픽셀, y개 픽셀로 구성된 사각형이고 기본 단위로 확장한 영역을 하나의 분할 영역으로 설정될 수 있다. 하나의 영상 프레임은 분할 영역으로 구성될 수도 있다.
영상 프레임은 복수개의 분할 영역으로 분할하며 각 분할 영역은 기본 단위의 배수로 구성된다. 여기서, 기본 단위는 x개 픽셀, y개 픽셀로 구성된 사각형일 수 있다. 도 7의 (a)는 2개의 기본 단위(세로 방향)과 3개의 기본 단위(가로 방향)로 구성된 영역이 하나의 분할 영역인 경우를 나타낸다. 도 7의 (b)는 4개의 기본 단위(세로 방향)과 6개의 기본 단위(가로 방향)로 구성된 영역이 하나의 분할 영역인 경우를 나타낸다. 도 7의 (c)는 8개의 기본 단위(세로 방향)과 12개의 기본 단위(가로 방향)로 구성된 영역이 하나의 분할 영역인 경우를 나타낸다. 기본 단위의 배수로 구성된 영상 분할 방법도 본 발명의 일실시예에 따른 영역 분할 모드에 속할 수 있다.
도 8은 본 발명의 일실시예에 따라 부호화 장치가 적용된 예를 도시한 도면이다.
도 2의 부호화 장치(101)는 도 8에서 루프 필터(805)에 대응될 수 있다. 그리고, 도 8의 루프 필터(805)는 압축된 영상 프레임을 압축되기 이전의 영상 프레임으로 복원할 때 사용될 수 있다. 도 8의 루프 필터(805)는 영상 프레임의 분할된 영역에 적용되는 필터가 2개인 경우에 적용될 수 있다. 도 8은 일례에 불과하고, 도 2의 부호화 장치(101)는 영상 프레임을 확대하는 경우에도 사용될 수 있다.
도 8을 참고하면, 부호화 장치는 제1 합성부(801), 변환/양자화부(802), 움직임 예측/움직임 보상부(803), 프레임 메모리(804), 루프 필터(805), 제1 필터(806), 제2 필터(807), 스킵 결정부(808), 분할 모드 선택부(809), 역양자화/역변환부(810), 제2 합성부(811), 디블록킹 필터(812), 엔트로피 코딩부(813)를 포함할 수 있다.
도 8의 부호화 장치는 예측 기법을 통해 입력 영상과 예측 영상 간의 예측 오차를 압축하여 복호화 장치에 제공할 수 있다. 움직임 예측/움직임 보상부(803)는 입력 영상과 프레임 메모리(804)에 저장된 복원 영상을 이용하여 예측 영상을 생성할 수 있다.
이 때, 복원 영상은 입력 영상보다 시간적으로 이전에 존재하는 영상을 의미한다. 제1 합성부(801)는 입력 영상과 예측 영상을 이용하여 예측 오차를 계산한다. 변환/양자화부(802)는 예측 오차를 변환하고 양자화하며, 역양자화/역변환부(810)는 양자화된 예측 오차를 역양자화 및 역변환한다.
제2 합성부(811)는 역양자화 및 역변환된 예측 오차와 예측 영상을 합성하고, 디블록킹 필터(812)는 예측 오차와 예측 영상을 합성한 결과에 디블로킹 필터를 적용하여 복호화 영상을 생성할 수 있다. 디블록킹 필터(812)는 예측 오차와 예측 영상을 합성한 결과의 블록 아티팩트(Block Artifact)를 제거할 수 있다.
루프 필터(805)는 분할 모드 선택부(809)를 통해 영역별로 제1 필터(806) 또는 제2 필터(807) 또는 그 이상의 필터(제 N 필터)를 선택적으로 적용할 수 있다. 분할 모드 선택부(809)는 복수의 영역 분할 모드들 중 최적의 영역 분할 모드를 선택하고, 최적의 영역 분할 모드에 따라 분할된 영역들 중 어느 하나를 선택할 수 있다. 앞서 설명하였듯이, 최적의 영역 분할 모드는 복수의 영역 분할 모드들 중 비용 함수가 가장 낮은 영역 분할 모드를 의미한다. 그리고, 분할 모드 선택부(809)는 최적의 영역 분할 모드에 따라 분할된 영역들 각각에 대해 최적의 영상 필터링 방법을 판단하거나 필터 계수를 계산할 수 있다.
스킵 결정부(808)는 복호화 영상과 제1 필터(806) 및 제2 필터(807)에 따라 필터링된 영상 중 비용 함수가 낮은 영상을 복원 영상으로 결정할 수 있다. 제1 필터(806), 제2 필터(807), 및 그 이상의 필터(제 N 필터) 에 따라 필터링된 영상이 복원 영상으로 결정되면, 스킵 모드가 오프(Off)이고, 복호화 영상이 복원 영상으로 결정되면 스킵 모드는 온(On)이다. 즉, 스킵 모드는 제1 필터(806), 제2 필터(807), 및 그 이상의 필터(제 N 필터) 에 따라 필터링된 영상을 이용할 지 여부를 나타내는 정보를 의미한다. 스킵 모드는 플래그 정보의 형태로 헤더에 부가하여 복호화 장치에 전송될 수 있다.
루프 필터(805)는 최적의 영역 분할 모드와 최적의 영역 분할 모드에 따라 분할된 영역들 각각의 영상 필터링 방법 혹은 필터 계수를 도출할 수 있다. 일례로, 영상 필터링 방법은 위너 필터링, 평활화 필터링, 오프셋 재조정이 될 수 있다. 필터 계수는 복호화 영상과 입력 영상을 참조하여 계산될 수 있다. 일례로, 필터 계수는 하기 수학식 1의 위너 방정식에 따라 계산될 수 있다.
수학식 1에서 S는 입력 영상을 의미하고, P는 복호화 영상을 의미한다. 위너 방정식은 입력 영상과 복호화 영상 간에 MSE(Mean of Squared Error)를 최소화하는 선형 방정식이다. 선형 방정식에서 필터 계수인 h는 가우스 소거법과 같은 선형 방정식의 해법에 따라 결정될 수 있다. 필터 계수는 복호화 영상이 입력 영상에 가장 근접하도록 선택될 수 있다.
엔트로핑 코딩부(813)는 최적의 영역 분할 모드, 최적의 필터 계수, 각 분할 영역 별 최적의 영상 필터링 방법, 스킵 플래그를 코딩하여 압축 영상 데이터와 함께 복호화 장치에 전송할 수 있다. 여기서, 최적의 필터 계수와 최적의 영상 필터링 방법은 최적의 영역 분할 모드에 따라 분할된 영역 각각에 적용될 수 있다.
도 9는 본 발명의 일실시예에 따라 복호화 장치가 적용된 예를 도시한 도면이다.
도 3의 복호화 장치(102)는 도 8의 루프 필터(904)에 대응될 수 있다. 그리고, 도 8의 루프 필터(904)는 압축된 영상 프레임을 압축되기 이전의 영상 프레임으로 복원할 때 사용될 수 있다. 도 7의 루프 필터(904)는 영상 프레임의 분할된 영역에 적용되는 필터가 2개인 경우에 적용될 수 있다. 도 7은 일례에 불과하고, 도 3의 복호화 장치(102)는 영상 프레임을 확대하는 경우에도 사용될 수 있다.
도 8을 참고하면, 복호화 장치는 엔트로피 디코딩부(901), 움직임 보상부(902), 프레임 메모리(903), 루프 필터(904), 스킵 선택부(905), 제1 필터(906), 제2 필터(907), 분할 모드 선택부(908), 역양자화/역변환부(909), 합산부(810), 디블로킹 필터(811)를 포함할 수 있다.
엔트로피 디코딩부(901)는 부호화 장치로부터 수신한 압축 영상 데이터를 복호화할 수 있다. 복호화한 결과, 움직임 벡터의 예측 모드가 추출된다. 그리고, 역양자화/역변환부(909)는 복호화된 압축 영상 데이터를 역양자화 및 역변환한다. 움직임 보상부(902)는 프레임 메모리(903)에 저장된 이전 시간의 출력 영상과 움직임 벡터의 예측 모드에 기초하여 현재 시간에 대한 움직임 벡터를 생성하고, 이를 합산부(910)에 전송한다. 합산부는 역변환된 영상 데이터에 움직임 벡터를 적용하여 복호화 영상을 생성하고, 디블로킹 필터(911)는 복호화 영상에 대해 디블로킹 필터를 적용할 수 있다.
루프 필터(904)에서 분할 모드 선택부(908)는 입력된 복호화 영상에 대해 최적의 영역 분할 모드를 선택할 수 있다. 최적의 영역 분할 모드는 부호화 장치에서 전송될 수 있다. 그리고, 최적의 영역 분할 모드에 따라 분할된 영역들은 각각 제1 필터(906), 제2 필터(907), 및 그 이상의 필터(제 N필터)를 통해 필터링된다. 그리고, 각 분할 영역별 최적의 영상 처리 방법은 부호화 장치에서 전송될 수 있다. 스킵 선택부(905)는 필터링된 출력 영상과 필터링되지 않은 복호화 영상인 출력 영상의 비용 함수를 계산하여, 부가 전송된 스킵 플래그에 따라 최종적인 출력 영상을 결정할 수 있다.
도 10은 본 발명의 일실시예에 따른 부호화 방법을 도시한 플로우차트이다.
단계 1000에서, 부호화 장치(101)는 영상 프레임에 대한 영역 분할 모드들 중 최적의 영역 분할 모드(region-dividing mode)를 선택할 수 있다. 이 때, 영상 프레임에서 분할된 복수의 영역들의 개수와 형태는 영역 분할 모드에 따라 결정될 수 있다. 일례로, 부호화 장치(101)는 영역 분할 모드들 각각의 비용 함수를 계산하여 최적의 영역 분할 모드를 선택할 수 있다. 구체적으로, 부호화 장치(101)는 영역 분할 모드들 각각의 비용 함수들 중 가장 작은 비용 함수를 갖는 영역 분할 모드를 최적의 영역 분할 모드로 선택할 수 있다.
부호화 장치(101)는 영상 프레임을 왼쪽(left) 영역과 오른쪽(right) 영역으로 분할하는 영역 분할 모드, 영상 프레임을 위쪽(top) 영역과 아래쪽(bottom) 영역으로 분할하는 영역 분할 모드, 영상 프레임을 수직 방향에 따라 위쪽 영역, 중간(middle) 영역 및 아래쪽 영역으로 분할하는 영역 분할 모드, 영상 프레임을 수평 방향에 따라 왼쪽 영역, 중간 영역, 및 오른쪽 영역으로 분할하는 영역 분할 모드, 영상 프레임을 수평 방향에 따라 적어도 4개 이상의 영역으로 분할하는 영역 분할 모드, 영상 프레임을 수직 방향에 따라 적어도 4개 이상의 영역으로 분할하는 영역 분할 모드, 영상 프레임을 적어도 4개 이상의 영역으로 분할하는 영역 분할 모드 및 영상 프레임을 중앙(center) 영역과 가장자리(surround) 영역으로 분할하는 영역 분할 모드, 기본 단위가 사각형이고 기본 단위로 확장한 영역을 하나의 분할 영역으로 설정한 영역 분할 모드, 기본 단위가 사각형이고 기본 단위로 확장한 영역을 하나의 분할 영역으로 설정한 영역 분할 모드 중 적어도 하나에서 최적의 영역 분할 모드를 선택할 수 있다.
단계 1002에서, 부호화 장치(101)는 최적의 영역 분할 모드에 따라 분할된 영역들 각각의 최적의 영상 필터링 방법 및 최적의 필터 계수를 계산할 수 있다. 이 때, 부호화 장치(101)는 최적의 영역 분할 모드에 따라 분할된 영역들 각각의 최적의 필터링 방법을 판단하고, 상기 최적의 필터링 방법에 따라 최적의 필터 계수를 계산할 수 있다.
단계 1003에서, 부호화 장치(101)는 선택된 최적의 영역 분할 모드를 복호화 장치에 전송할 수 있다. 일례로, 부호화 장치(101)는 최적의 영역 분할 모드의 인덱스를 비트스트림의 헤더에 포함시켜 복호화 장치(102)에 전송할 수 있다.
또 다른 일례로, 부호화 장치(101)는 최적의 분할 영역의 가로 길이 및 세로 길이 혹은 가로 길이, 세로 길이에 대응하는 인덱스를 비트스트림의 헤더에 포함시켜 복호화 장치(102)에 전송할 수 있다.
단계 1004에서, 부호화 장치(101)는 최적의 영역 분할 모드에 따라 분할된 영역 각각의 최적의 영상 필터링 방법 및 최적의 필터 계수를 복호화 장치(102)에 전송할 수 있다. 일례로, 부호화 장치(101)는 최적의 영상 필터링 방법 및 최적의 필터 계수를 비트스트림의 헤더에 포함시켜 복호화 장치(102)에 전송할 수 있다.
또한, 부호화 장치(101)는 영상 프레임에 대해 영역을 분할하여 필터링을 수행할 지 여부를 나타내는 스킵 플래그도 복호화 장치(102)에 전송할 수 있다.
도 11은 본 발명의 일실시예에 따라 영역 분할 모드를 선택하는 과정을 도시한 플로우차트이다.
단계 1001에서, 부호화 장치(101)는 영역 분할 모드 N를 불러온다. 영역 분할 모드는 복수이며, 미리 설정될 수 있다.
단계 1002에서, 부호화 장치(101)는 영역 분할 모드에 따라 분할된 영상 프레임의 영역들 각각에 필터링을 수행할 수 있다. 여기서, 필터링에 적용될 필터는 압축된 영상 프레임을 복원하거나 또는 영상 프레임을 확대할 수 있다.
단계 1003에서, 부호화 장치(101)는 필터링된 영상 처리 결과의 비용 함수를 계산할 수 있다. 여기서, 비용 함수는 Rate-Distortion Cost(RD cost), SSD(Sum of Squared Difference), SAD(Sum of Absoulte Difference), MSE(Mean of Squared Error), MAD(Mean of Absolute Difference), Distortion Cost일 수 있다.
단계 1001에서 단계 1003의 과정은 미리 설정된 영역 분할 모드에 대해 모두 적용된다.
단계 1004에서, 부호화 장치(101)는 복수의 영역 분할 모드에 대한 비용 함수를 이용하여 비용 함수가 최소인 영역 분할 모드를 최적의 영역 분할 모드로 선택할 수 있다.
도 12는 본 발명의 일실시예에 따라 필터링 결과를 선택하는 과정을 도시한 도면이다.
단계 1201에서, 복호화 장치(102)는 영상 프레임에 대하여 필터링을 수행하지 않으며, 그대로 영상 처리 결과 1이 도출된다.
단계 1202에서, 복호화 장치(102)는 영상 프레임의 분할된 영역 각각에 대해 필터링을 수행할 수 있다. 이 때, 분할된 영역은 최적의 영역 분할 모드에 따라 결정된다. 단계 1202에서 필터링이 수행되면, 영상 처리 결과 2가 도출된다.
단계 1203에서, 복호화 장치(102)는 영상 처리 결과 1의 비용 함수 1를 계산할 수 있다. 그리고, 단계 1204에서, 복호화 장치(102)는 영상 처리 결과 2의 비용 함수 2를 계산할 수 있다.
단계 1205에서, 복호화 장치(102)는 비용 함수 1이 비용 함수 2보다 큰 지 여부를 판단할 수 있다. 만약, 비용 함수 1이 비용 함수 2보다 큰 경우, 복호화 장치(102)는 영상 처리 결과 2를 선택할 수 있다. 반대로, 비용 함수 1이 비용 함수 2보다 작은 경우, 복호화 장치(102)는 영상 처리 결과 1을 선택할 수 있다.
도 13은 본 발명의 일실시예에 따른 복호화 방법을 도시한 플로우차트이다.
단계 1301에서, 복호화 장치(102)는 부호화 장치(101)로부터 영역 분할 방법에 따라 필터링할 지 여부를 나타내는 스킵 플래그를 수신할 수 있다. 그리고, 복호화 장치(102)는 스킵 플래그에 따라 영역 분할 방법을 이용하여 필터링할 지 여부를 결정할 수 있다. 즉, 복호화 장치(102)는 전송된 스킵 플래그에 따라서 영상 프레임에 대해 최적의 영역 분할 모드에 따라 영역을 분할하여 필터링을 수행 영상을 출력하거나 필터링되지 않은 복호화 영상를 출력한다. 단계 1302 내지 단계 1305는 영역 분할 방법에 따라 필터링하는 과정을 나타낸다.
단계 1302에서, 복호화 장치(102)는 부호화 장치(101)로부터 최적의 영역 분할 모드를 수신할 수 있다.
일례로, 복호화 장치(102)는 영상 프레임에 대한 영역 분할 모드들 각각의 비용 함수에 기초하여 선택된 최적의 영역 분할 모드를 부호화 장치(101)로부터 선택할 수 있다. 이 때, 부호화 장치(101)는 영역 분할 모드들에 따라 분할된 영상 프레임의 복수의 영역들 각각에 최적의 영상 필터링 방법 및 필터 계수를 계산하고, 영상 필터링 방법 및 필터 계수를 적용한 결과에 대한 비용 함수에 기초하여 최적의 영역 분할 모드를 선택할 수 있다.
구체적으로, 부호화 장치(101)는 영상 프레임을 왼쪽(left) 영역과 오른쪽(right) 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 위쪽(top) 영역과 아래쪽(bottom) 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 수직 방향에 따라 위쪽 영역, 중간(middle) 영역 및 아래쪽 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 수평 방향에 따라 왼쪽 영역, 중간 영역, 및 오른쪽 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 수평 방향에 따라 적어도 4개 이상의 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 수직 방향에 따라 적어도 4개 이상의 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 적어도 4개 이상의 영역으로 분할하는 영역 분할 모드 및 상기 영상 프레임을 중앙(center) 영역과 가장자리(surround) 영역으로 분할하는 영역 분할 모드, 기본 단위가 사각형이고 기본 단위로 확장한 영역을 하나의 분할 영역으로 설정한 영역 분할 모드 중 적어도 하나에서 최적의 영역 분할 모드를 선택할 수 있다.
단계 1303에서, 복호화 장치(102)는 영상 프레임에 대해 최적의 영역 분할 모드에 따라 분할된 영역들 각각의 최적의 영상 필터링 방법 및 최적의 필터 계수를 부호화 장치로부터 수신할 수 있다. 이 때, 최적의 필터 계수는 최적의 영역 분할 모드에 따라 분할된 영역들 각각에 대한 최적의 영상 필터링 방법에 따라 결정될 수 있다.
단계 1304에서, 복호화 장치(102)는 최적의 영역 분할 모드에 따라 영상 프레임을 2 이상의 영역들로 분할할 수 있다.
단계 1305에서, 복호화 장치(102)는 최적의 영역 분할 모드에 따라 분할된 영상 프레임의 영역들 각각에 필터링을 수행할 수 있다. 일례로, 복호화 장치(102)는 최적의 영역 분할 모드에 따라 분할된 영역들 각각의 최적의 영상 필터링 방법 또는 최적의 필터 계수에 기초하여 필터링을 수행할 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
Claims (1)
- 영상에 대해 복수의 기본 단위들로 구성된 복수의 영역들을 식별하는 단계;
상기 복수의 영역들 각각에 대한 필터 타입과 필터값을 식별하는 단계; 및
상기 필터 타입과 필터값을 이용하여 상기 복수의 영역들 각각에 대해 필터링을 수행하는 단계
를 포함하고,
상기 필터링을 수행하는 단계는,
상기 복수의 영역들 각각에 대해 필터 타입과 필터값에 따라 필터링함으로써 상기 복수의 영역들 각각에 대해 오프셋을 적용하는 복호화 방법.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20100005908 | 2010-01-22 | ||
KR1020100005908 | 2010-01-22 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110006393A Division KR101743482B1 (ko) | 2010-01-22 | 2011-01-21 | 영역 기반의 부호화/복호화 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150077391A true KR20150077391A (ko) | 2015-07-07 |
KR101785383B1 KR101785383B1 (ko) | 2017-10-16 |
Family
ID=44922895
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110006393A KR101743482B1 (ko) | 2010-01-22 | 2011-01-21 | 영역 기반의 부호화/복호화 장치 및 방법 |
KR1020150086730A KR101785383B1 (ko) | 2010-01-22 | 2015-06-18 | 영역 기반의 부호화/복호화 장치 및 방법 |
KR1020150086731A KR101834819B1 (ko) | 2010-01-22 | 2015-06-18 | 영역 기반의 부호화/복호화 장치 및 방법 |
KR1020150086729A KR101785386B1 (ko) | 2010-01-22 | 2015-06-18 | 영역 기반의 부호화/복호화 장치 및 방법 |
KR1020150086732A KR101785391B1 (ko) | 2010-01-22 | 2015-06-18 | 영역 기반의 부호화/복호화 장치 및 방법 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110006393A KR101743482B1 (ko) | 2010-01-22 | 2011-01-21 | 영역 기반의 부호화/복호화 장치 및 방법 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150086731A KR101834819B1 (ko) | 2010-01-22 | 2015-06-18 | 영역 기반의 부호화/복호화 장치 및 방법 |
KR1020150086729A KR101785386B1 (ko) | 2010-01-22 | 2015-06-18 | 영역 기반의 부호화/복호화 장치 및 방법 |
KR1020150086732A KR101785391B1 (ko) | 2010-01-22 | 2015-06-18 | 영역 기반의 부호화/복호화 장치 및 방법 |
Country Status (4)
Country | Link |
---|---|
US (5) | US9124887B2 (ko) |
EP (2) | EP2963928A1 (ko) |
KR (5) | KR101743482B1 (ko) |
WO (1) | WO2011090352A2 (ko) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9124887B2 (en) * | 2010-01-22 | 2015-09-01 | Samsung Electronics Co., Ltd. | Area-based encoding/decoding device and method |
GB2505169B (en) * | 2012-08-13 | 2016-03-16 | Gurulogic Microsystems Oy | decoder and method |
CN103517070B (zh) * | 2013-07-19 | 2017-09-29 | 清华大学 | 图像的编解码方法和装置 |
US10638132B2 (en) | 2015-10-15 | 2020-04-28 | Lg Electronics Inc. | Method for encoding and decoding video signal, and apparatus therefor |
JP6883218B2 (ja) * | 2016-03-07 | 2021-06-09 | ソニーグループ株式会社 | 符号化装置および符号化方法 |
KR20180045530A (ko) * | 2016-10-26 | 2018-05-04 | 디지털인사이트 주식회사 | 임의의 블록 분할을 사용하는 비디오 코딩 방법 및 장치 |
WO2023022376A1 (ko) * | 2021-08-17 | 2023-02-23 | 현대자동차주식회사 | 개선된 인루프 필터를 이용하는 비디오 코딩방법 및 장치 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5920359A (en) | 1997-05-19 | 1999-07-06 | International Business Machines Corporation | Video encoding method, system and computer program product for optimizing center of picture quality |
US6111913A (en) | 1997-05-20 | 2000-08-29 | International Business Machines Corporation | Macroblock bit regulation schemes for video encoder |
CN101448162B (zh) * | 2001-12-17 | 2013-01-02 | 微软公司 | 处理视频图像的方法 |
FI114679B (fi) | 2002-04-29 | 2004-11-30 | Nokia Corp | Satunnaisaloituspisteet videokoodauksessa |
US20050200757A1 (en) * | 2004-01-23 | 2005-09-15 | Alberta Pica | Method and apparatus for digital video reconstruction |
WO2006108654A2 (en) * | 2005-04-13 | 2006-10-19 | Universität Hannover | Method and apparatus for enhanced video coding |
WO2007116551A1 (ja) * | 2006-03-30 | 2007-10-18 | Kabushiki Kaisha Toshiba | 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法 |
EP1926321A1 (en) * | 2006-11-27 | 2008-05-28 | Matsushita Electric Industrial Co., Ltd. | Hybrid texture representation |
US20090154567A1 (en) * | 2007-12-13 | 2009-06-18 | Shaw-Min Lei | In-loop fidelity enhancement for video compression |
KR100950969B1 (ko) | 2008-01-21 | 2010-04-02 | 한양대학교 산학협력단 | 영상의 블록킹 현상 제거 시스템 및 그 방법 |
US8195001B2 (en) * | 2008-04-09 | 2012-06-05 | Intel Corporation | In-loop adaptive wiener filter for video coding and decoding |
TWI587685B (zh) * | 2010-01-08 | 2017-06-11 | 諾基亞科技公司 | 用於視訊處理之裝置、方法及電腦程式 |
US9124887B2 (en) * | 2010-01-22 | 2015-09-01 | Samsung Electronics Co., Ltd. | Area-based encoding/decoding device and method |
-
2011
- 2011-01-21 US US13/574,481 patent/US9124887B2/en active Active
- 2011-01-21 EP EP15176752.2A patent/EP2963928A1/en not_active Ceased
- 2011-01-21 KR KR1020110006393A patent/KR101743482B1/ko active IP Right Grant
- 2011-01-21 WO PCT/KR2011/000455 patent/WO2011090352A2/ko active Application Filing
- 2011-01-21 EP EP11734901.9A patent/EP2538673A4/en not_active Ceased
-
2015
- 2015-06-18 KR KR1020150086730A patent/KR101785383B1/ko active IP Right Grant
- 2015-06-18 KR KR1020150086731A patent/KR101834819B1/ko active IP Right Grant
- 2015-06-18 KR KR1020150086729A patent/KR101785386B1/ko active IP Right Grant
- 2015-06-18 KR KR1020150086732A patent/KR101785391B1/ko active IP Right Grant
- 2015-07-14 US US14/799,178 patent/US9386315B2/en active Active
- 2015-07-14 US US14/799,114 patent/US9414071B2/en active Active
- 2015-07-14 US US14/799,088 patent/US9386314B2/en active Active
- 2015-07-14 US US14/799,147 patent/US9374587B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
KR101785383B1 (ko) | 2017-10-16 |
US20150319436A1 (en) | 2015-11-05 |
KR20150079525A (ko) | 2015-07-08 |
KR101785386B1 (ko) | 2017-10-16 |
KR101834819B1 (ko) | 2018-03-06 |
US20150319434A1 (en) | 2015-11-05 |
US9124887B2 (en) | 2015-09-01 |
US9386314B2 (en) | 2016-07-05 |
US9374587B2 (en) | 2016-06-21 |
EP2538673A2 (en) | 2012-12-26 |
US20130028529A1 (en) | 2013-01-31 |
US9386315B2 (en) | 2016-07-05 |
KR101743482B1 (ko) | 2017-06-07 |
EP2963928A1 (en) | 2016-01-06 |
WO2011090352A2 (ko) | 2011-07-28 |
WO2011090352A3 (ko) | 2011-12-01 |
US20150319435A1 (en) | 2015-11-05 |
KR20150077392A (ko) | 2015-07-07 |
US9414071B2 (en) | 2016-08-09 |
KR101785391B1 (ko) | 2017-10-16 |
KR20150077390A (ko) | 2015-07-07 |
EP2538673A4 (en) | 2015-12-23 |
KR20110086521A (ko) | 2011-07-28 |
US20150319433A1 (en) | 2015-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101785386B1 (ko) | 영역 기반의 부호화/복호화 장치 및 방법 | |
US10743033B2 (en) | Method and device for optimizing encoding/decoding of compensation offsets for a set of reconstructed samples of an image | |
US20100232691A1 (en) | Image coding device, image decoding device, image coding method, and image decoding method | |
KR20090116655A (ko) | 비디오 신호의 디코딩 방법 및 장치 | |
US9264736B2 (en) | Encoding method, decoding method, encoding device, and decoding device | |
CN111903124B (zh) | 图像处理装置和图像处理方法 | |
WO2017135692A1 (ko) | 픽셀 순환 코딩과 변환 코딩의 결합에 기초하여 비디오 신호를 처리하는 방법 및 장치 | |
JPWO2013001720A1 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
KR20210043546A (ko) | 비디오 신호의 디코딩 방법 및 장치 | |
KR20200001099A (ko) | 블록 예측을 기반한 영상 스트림 재압축 시스템 및 이를 이용한 영상 스트림 재압축 방법 | |
WO2019082291A1 (ja) | 符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |