KR101785386B1 - 영역 기반의 부호화／복호화 장치 및 방법 - Google Patents

영역 기반의 부호화／복호화 장치 및 방법 Download PDF

Info

Publication number
KR101785386B1
KR101785386B1 KR1020150086729A KR20150086729A KR101785386B1 KR 101785386 B1 KR101785386 B1 KR 101785386B1 KR 1020150086729 A KR1020150086729 A KR 1020150086729A KR 20150086729 A KR20150086729 A KR 20150086729A KR 101785386 B1 KR101785386 B1 KR 101785386B1
Authority
KR
South Korea
Prior art keywords
image
optimal
area
division mode
image frame
Prior art date
Application number
KR1020150086729A
Other languages
English (en)
Other versions
KR20150077390A (ko
Inventor
임일순
위호천
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20150077390A publication Critical patent/KR20150077390A/ko
Application granted granted Critical
Publication of KR101785386B1 publication Critical patent/KR101785386B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • A47G1/06—Picture frames
    • A47G1/065—Interconnected frames; Frame assemblies; Frames for two or more pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • A47G1/06—Picture frames
    • A47G1/08—Picture frames adjustable
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • A47G1/16—Devices for hanging or supporting pictures, mirrors, or the like
    • A47G1/166—Devices for hanging or supporting pictures, mirrors, or the like for rotatably hanging or supporting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G2200/00—Details not otherwise provided for in A47G
    • A47G2200/18—Time
    • A47G2200/183—Time indicator

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)

Abstract

영역 기반의 부호화 장치 및 복호화 장치가 개시된다. 본 발명의 일실시예에 따른 부호화 장치는 영상 프레임의 분할된 영역과 관련된 영역 분할 모드들 중 최적의 영역 분할 모드를 선택하고, 상기 최적의 영역 분할 모드에 따라 분할된 영역들 각각의 최적의 영상 필터링 방법과 최적의 필터 계수를 최적의 영역 분할 모드와 함께 복호화 장치에 전송할 수 있다.

Description

영역 기반의 부호화／복호화 장치 및 방법 {APPARATUS AND METHOD FOR ENCODING AND DECODING BASED REGION}
본 발명의 일실시예들은 부호화/복호화 장치 및 방법에 관한 것으로, 보다 구체적으로는 영상 프레임의 분할된 영역에 기반하여 영상 처리하는 장치 및 방법에 관한 것이다.
하나의 영상 프레임은 동일한 특징으로 구성되는 경우뿐만 아니라, 서로 다른 특징을 나타낼 수 있다. 종래에는 영상 프레임의 특징들을 고려하지 않고 영상 프레임 전체에 대해 필터링을 수행하는 경우가 있었다.
이와 같이 영상 프레임의 특징을 고려하지 않고 필터링한 결과 영상 프레임의 품질이 저하되고, 영상 프레임의 압축 효과도 높지 않는 문제가 있었다. 따라서, 영상 프레임 각각의 특징들을 고려하여 보다 나은 영상 처리 결과를 도출하려는 시도가 있었다.
본 발명의 일실시예에 따른 부호화 장치는 영상 프레임에 대한 영역 분할 모드들 중 최적의 영역 분할 모드(region-dividing mode)를 선택하는 분할 모드 선택부; 상기 선택된 최적의 영역 분할 모드를 복호화 장치에 전송하는 분할 모드 전송부; 및 상기 선택된 최적의 영역 분할 모드에 따라 분할된 영역 각각의 최적의 영상 필터링 방법 및 최적의 필터 계수를 복호화 장치에 전송하는 필터 정보 전송부를 포함할 수 있다.
본 발명의 일실시예에 따른 부호화 장치는 상기 최적의 영역 분할 모드에 따라 영상 프레임을 2이상의 영역으로 분할하여 필터링을 수행한 영상 처리 결과 및 영상 프레임에 필터링을 수행하지 않은 영상 처리 결과 각각의 비용 함수에 기초하여 최종적인 영상 처리 결과를 선택하는 결과 선택부를 더 포함할 수 있다.
본 발명의 일실시예에 따른 복호화 장치는 부호화 장치로부터 최적의 영역 분할 모드를 수신하는 분할 모드 수신부; 상기 부호화 장치로부터 최적의 영역 분할 모드에 따라 분할된 영역 각각의 최적의 영상 필터링 방법 및 최적의 필터 계수를 수신하는 필터 정보 수신부; 및 상기 최적의 영상 필터링 방법 및 최적의 필터 계수에 기초하여 상기 최적의 영역 분할 모드에 따라 분할된 영상 프레임의 영역들 각각에 필터링을 수행하는 필터링 수행부를 포함할 수 있다.
본 발명의 일실시예에 따른 부호화 방법은 영상 프레임에 대한 영역 분할 모드들 중 최적의 영역 분할 모드(region-dividing mode)를 선택하는 단계; 상기 선택된 최적의 영역 분할 모드를 복호화 장치에 전송하는 단계; 및 상기 선택된 최적의 영역 분할 모드에 따라 분할된 영역 각각의 최적의 영상 필터링 방법 및 최적의 필터 계수를 복호화 장치에 전송하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 부호화 방법은 상기 최적의 영역 분할 모드에 따라 영상 프레임을 2이상의 영역으로 분할하여 필터링을 수행한 영상 처리 결과 및 영상 프레임에 필터링을 수행하지 않은 영상 처리 결과 각각의 비용 함수에 기초하여 최종적인 영상 처리 결과를 선택하는 단계를 더 포함할 수 있다.
본 발명의 일실시예에 따른 복호화 방법은 부호화 장치로부터 최적의 영역 분할 모드를 수신하는 단계; 상기 부호화 장치로부터 최적의 영역 분할 모드에 따라 분할된 영역 각각의 최적의 영상 필터링 방법 및 최적의 필터 계수를 수신하는 단계; 및 상기 최적의 영상 필터링 방법 및 최적의 필터 계수에 기초하여 상기 최적의 영역 분할 모드에 따라 분할된 영상 프레임의 영역들 각각에 필터링을 수행하는 단계 를 포함할 수 있다.
본 발명의 일실시예에 따른 비트스트림은 영상 프레임에 대한 영역 분할 모드들 중 최적의 영역 분할 모드, 최적의 영상 필터링 방법 및 최적의 필터 계수가 기록될 수 있다.
본 발명의 일실시예에 따르면, 영상 프레임의 분할된 영역들 각각에 독립적인 필터링을 수행함으로써 영상 프레임에 대한 영상 처리 결과의 품질을 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 부호화 장치와 복호화 장치의 동작을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 부호화 장치의 세부 구성을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 복호화 장치의 세부 구성을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따라 영역 기반의 영상 처리 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따라 영역 분할 모드의 속성을 도시한 도면이다.
도 6은 본 발명의 일실시예에 따라 영역 분할 모드의 종류를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따라 영상 프레임을 복수의 영역으로 분할하는 일례를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따라 부호화 장치가 적용된 예를 도시한 도면이다.
도 9는 본 발명의 일실시예에 따라 복호화 장치가 적용된 예를 도시한 도면이다.
도 10은 본 발명의 일실시예에 따른 부호화 방법을 도시한 플로우차트이다.
도 11은 본 발명의 일실시예에 따라 영역 분할 모드를 선택하는 과정을 도시한 플로우차트이다.
도 12는 본 발명의 일실시예에 따라 필터링 결과를 선택하는 과정을 도시한 도면이다.
도 13은 본 발명의 일실시예에 따른 복호화 방법을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 부호화 장치와 복호화 장치의 동작을 설명하기 위한 도면이다.
부호화 장치(101)는 영상 프레임에 대해 최적의 영역 분할 모드(region dividing mode)를 선택하고, 최적의 영역 분할 모드를 복호화 장치(102)에 전송할 수 있다. 영상 프레임은 특정 영역마다 서로 다른 특성을 나타낼 수 있다. 따라서, 본 발명의 일실시예에 따르면, 영상 프레임은 2이상의 영역으로 분할될 수 있으며, 분할된 영역마다 독립적인 필터가 적용될 수 있다. 이 때, 필터는 영상 복원 또는 영상 확대를 위해 사용될 수 있다. 그리고, 부호화 장치(101)는 최적의 영역 분할 모드에 따라 분할된 영역 각각에 대해 최적의 영상 필터링 방법 및 최적의 필터 계수를 계산할 수 있다.
부호화 장치(101)는 미리 설정된 영역 분할 모드 각각의 영상 처리 결과에 대한 비용 함수를 계산하고, 영역 분할 모드들 중 비용 함수가 가장 낮은 영역 분할 모드를 최적의 영역 분할 모드로 선택할 수 있다. 이 때, 영상 처리 결과는 영역 분할 모드에 따라 분할된 영상 프레임의 영역들 각각에 대해 필터링을 수행한 결과를 의미한다. 만약, 필터가 영상 확대에 적용된 것이라면, 영상 처리 결과는 영상 프레임이 확대된 것을 의미한다. 그리고, 필터가 영상 복원에 적용된 것이라면, 영상 처리 결과는 영상 프레임이 압축된 후 필터링에 의해 영상 프레임이 압축되기 이전으로 복원된 것을 의미한다.
부호화 장치(101)는 비트 스트림을 통해 최적의 영역 분할 모드와 최적의 영역 분할 모드에 따라 분할된 영상 프레임의 영역들 각각의 최적의 영상 처리 방법 혹은 분할된 영상 프레임의 영역들 각각의 최적의 필터 계수를 복호화 장치(102)에 전송할 수 있다.
결국, 본 발명의 일실시예에 따르면, 영상 프레임 전체에 대해 필터를 적용한 것이 아니라 영상 프레임을 2이상의 영역으로 분할하는 영역 분할 모드에 따라 영역들 각각에 독립적인 필터링을 수행함으로써 영상 프레임에 대한 영상 처리 결과의 품질이 향상될 수 있다.
도 2는 본 발명의 일실시예에 따른 부호화 장치의 세부 구성을 도시한 도면이다.
도 2를 참고하면, 부호화 장치(101)는 분할 모드 선택부(201), 분할 모드 전송부(202), 필터 정보 전송부(203) 및 결과 선택부(204) 를 포함할 수 있다.
분할 모드 선택부(201)는 영상 프레임에 대한 영역 분할 모드들 중 최적의 영역 분할 모드(region-dividing mode)를 선택할 수 있다. 이 때, 분할된 복수의 영역들의 개수와 형태는 영역 분할 모드에 따라 결정될 수 있다. 영역 분할 모드는 분할 모드를 선택하기 전에 미리 설정될 수 있다. 영역 분할 모드에 따라 분할된 영상 프레임의 영역들 각각에는 서로 독립적인 필터링을 수행하거나 서로 독립적인 필터 계수를 갖는 필터셋이 할당될 수 있다.
일례로, 분할 모드 선택부(201)는 영역 분할 모드들 각각의 비용 함수를 계산하여 최적의 영역 분할 모드를 선택할 수 있다. 그리고, 분할 모드 선택부(201)는 최적의 영역 분할 모드에 따라 분할된 영역들 각각의 최적의 필터링 방법을 판단하고, 최적의 필터링 방법에 따라 최적의 필터 계수를 계산할 수 있다.
구체적으로, 분할 모드 선택부(201)는 영역 분할 모드들에 따라 분할된 영상 프레임의 복수의 영역들 각각의 최적의 영상 필터링 방법 및 최적의 필터 계수를 계산하고, 최적의 영상 필터링 방법 및 최적의 필터 계수를 적용한 필터링 결과의 비용 함수에 기초하여 최적의 영역 분할 모드를 선택할 수 있다. 그러면, 분할 모드 선택부(201)는 영역 분할 모드들 각각의 비용 함수들 중 가장 작은 비용 함수를 갖는 영역 분할 모드를 최적의 영역 분할 모드로 선택할 수 있다. 또한, 분할 모드 선택부(201)는 영역 분할 모드들 각각의 비용 함수를 계산하여 최적의 영상 필터링 방법을 선택할 수 있다.
일례로, 분할 모드 선택부(201)는 영상 프레임을 왼쪽(left) 영역과 오른쪽(right) 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 위쪽(top) 영역과 아래쪽(bottom) 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 수직 방향에 따라 위쪽 영역, 중간(middle) 영역 및 아래쪽 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 수평 방향에 따라 왼쪽 영역, 중간 영역, 및 오른쪽 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 수평 방향에 따라 적어도 4개 이상의 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 수직 방향에 따라 적어도 4개 이상의 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 적어도 4개 이상의 영역으로 분할하는 영역 분할 모드 및 상기 영상 프레임을 중앙(center) 영역과 가장자리(surround) 영역으로 분할하는 영역 분할 모드, 기본 단위가 사각형이고 기본 단위로 확장한 영역을 하나의 분할 영역으로 설정한 영역 분할 모드 중 적어도 하나에서 최적의 영역 분할 모드를 선택할 수 있다. 여기서 언급한 영역 분할 모드 예시에 불과하고, 본 발명의 일실시예에 따른 부호화 장치(101)는 영상 프레임을 2이상의 영역으로 분할하는 모든 형태의 영역 분할 모드를 이용할 수 있다.
분할 모드 전송부(202)는 최적의 영역 분할 모드를 복호화 장치(102)에 전송할 수 있다. 최적의 영역 분할 모드는 부호화 장치(101)가 복호화 장치(102)에 전송하는 비트스트림의 헤더에 포함될 수 있다.
필터 정보 전송부(203)는 최적의 영역 분할 모드에 따라 분할된 영역 각각의 최적의 영상 필터링 방법 및 최적의 필터 계수를 복호화 장치에 전송할 수 있다. 이 때, 최적의 영상 필터링 방법 및 최적의 필터 계수는 부호화 장치(101)가 복호화 장치(102)에 전송하는 비트스트림의 헤더에 포함될 수 있다.
결과 선택부(303)는 최적의 영역 분할 모드에 따라 영상 프레임을 2이상의 영역으로 분할하여 필터링을 수행한 영상 처리 결과 및 영상 프레임에 필터링을 수행하지 않은 영상 처리 결과 각각의 비용 함수에 기초하여 최종적인 영상 처리 결과를 선택할 수 있다.
이 때, 최종적인 영상 처리 여부를 스킵 플래그로 정의하고 복호화 장치에 전송할 수 있다. 스킵 플래그는 부호화 장치(101)가 복호화 장치(102)에 전송하는 비트스트림의 헤더에 포함될 수 있다.
도 3은 본 발명의 일실시예에 따른 복호화 장치의 세부 구성을 도시한 도면이다.
도 3을 참고하면, 복호화 장치(102)는 분할 모드 수신부(301), 필터 정보 수신부(302) 및 필터링 수행부(303)를 포함할 수 있다.
먼저, 복호화 장치(102)는 영상 프레임에 대해 필터링을 수행할 지 여부를 나타내는 스킵 플래그를 부호화 장치(101)로부터 수신할 수 있다. 스킵 플래그에 따라 복호화 장치(102)는 아래의 과정에 따라 필터링을 수행할 수 있다.
분할 모드 수신부(301)는 부호화 장치(101)로부터 최적의 영역 분할 모드를 수신할 수 있다. 이 때, 분할 모드 수신부(301)는 영상 프레임에 대한 영역 분할 모드들 각각의 비용 함수에 기초하여 선택된 최적의 영역 분할 모드를 부호화 장치(101)로부터 수신할 수 있다.
일례로, 분할 모드 수신부(301)는 영상 프레임을 왼쪽(left) 영역과 오른쪽(right) 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 위쪽(top) 영역과 아래쪽(bottom) 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 수직 방향에 따라 위쪽 영역, 중간(middle) 영역 및 아래쪽 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 수평 방향에 따라 왼쪽 영역, 중간 영역, 및 오른쪽 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 수평 방향에 따라 적어도 4개 이상의 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 수직 방향에 따라 적어도 4개 이상의 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 적어도 4개 이상의 영역으로 분할하는 영역 분할 모드 및 상기 영상 프레임을 중앙(center) 영역과 가장자리(surround) 영역으로 분할하는 영역 분할 모드, 기본 단위가 사각형이고 기본 단위로 확장한 영역을 하나의 분할 영역으로 설정한 영역 분할 모드 중 적어도 하나에서 부호화 장치(101)가 선택한 최적의 영역 분할 모드를 수신할 수 있다.
일례로, 부호화 장치(101)는 영역 분할 모드들에 따라 분할된 영상 프레임의 복수의 영역들 각각의 최적의 영상 필터링 방법 및 최적의 필터 계수를 계산하고, 상기 최적의 영상 필터링 방법 및 최적의 필터 계수를 적용한 필터링 결과의 비용 함수에 기초하여 최적의 영역 분할 모드를 선택할 수 있다.
필터 정보 수신부(302)는 부호화 장치로부터 최적의 영역 분할 모드에 따라 분할된 영역 각각의 최적의 영상 필터링 방법 및 최적의 필터 계수를 수신할 수 있다. 일례로, 필터 정보 수신부(302)는 영상 프레임에 대해 최적의 영역 분할 모드에 따라 분할된 영역들 각각의 최적의 영상 필터링 방법 및 필터 계수를 부호화 장치(101)로부터 수신할 수 있다.
필터링 수행부(302)는 최적의 영상 필터링 방법 및 최적의 필터 계수에 기초하여 최적의 영역 분할 모드에 따라 분할된 영상 프레임의 영역들 각각에 필터링을 수행할 수 있다. 최적의 영상 필터링 방법에 따라 최적의 필터 계수가 결정되며, 영상 프레임에 대해 분할된 영역별도 독립적인 필터링을 수행함으로서 영상 처리 효과가 향상될 수 있다.
도 4는 본 발명의 일실시예에 따라 영역 기반의 영상 처리 방법을 설명하기 위한 도면이다.
도 4에서 볼 수 있듯이, 영상 프레임은 복수의 영역(401, 402)으로 분할되어 처리될 수 있다. 영상 프레임을 분할하는 영역의 개수는 2 이상일 수 있다.
구체적으로, 영상 프레임은 분할된 복수의 영역마다 서로 다른 필터가 적용될 수 있다. 이 때, 필터는 영상 프레임을 확대하는 필터이거나 또는 압축된 영상 프레임을 복원하는 필터일 수 있다. 그래서, 도 4에서 볼 수 있듯이, 영역마다 서로 다른 영상 필터링 방법 혹은 필터 계수로 구성된 필터셋이 적용될 수 있다.
다만, 실시예에 따라 영상 프레임이 3개 이상의 영역으로 분할되고, 동일한 영상 특성을 나타내는 영역들이 존재하면 해당 영역에는 동일한 영상 필터링 방법 혹은 동일한 필터 계수가 적용될 수 있다.
결국, 본 발명의 일실시예에 따르면, 영상 프레임의 영상 특징을 고려하여 영역별로 독립적인 필터를 적용함으로써 영상 처리 결과의 품질을 향상시킬 수 있다.
도 5는 본 발명의 일실시예에 따라 영역 분할 모드의 속성을 도시한 도면이다.
도 5를 참고하면, 영상 프레임을 2이상의 영역으로 분할하는 영역 분할 모드의 속성이 도시된다. 영역 분할 모드는 부호화 장치(101)가 복수의 영역 분할 모드들 중 최적의 영역 분할 모드를 선택하기 전에 미리 설정될 수 있다.
모드 1, 2 및 8은 영상 프레임을 2개의 영역으로 분할하는 영역 분할 모드를 나타낸다. 그리고, 모드 3 및 4는 영상 프레임을 3개의 영역으로 분할하는 영역 분할 모드를 나타낸다. 또한, 모드 5,6 및 7은 영상 프레임을 4개의 영역으로 분할하는 영역 분할 모드를 나타낸다.
영상 프레임은 영역 분할 모드에 따라 분할되는 영역의 개수와 영역의 형태가 달라질 수 있다. 그리고, 모드 1인 영역 분할 모드에 따라 영상 프레임이 왼쪽 영역과 오른쪽 영역으로 분할되는 경우, 왼쪽 영역과 오른쪽 영역의 면적이 동일하거나 또는 서로 다를 수 있다. 즉, 영상 프레임은 서로 동일한 면적을 가지는 영역으로 분할되거나 또는 서로 다른 면적을 가지는 영역으로 분할될 수 있다.
도 5에 도시된 영역 분할 모드의 속성은 실시예에 불과하고, 영상 프레임의 특성에 따라 영상 프레임을 5개 이상의 영역으로 분할하는 영역 분할 모드도 포함될 수 있다.
도 6은 본 발명의 일실시예에 따라 영역 분할 모드의 종류를 도시한 도면이다.
도 6은 영역 분할 모드에 따라 2 이상의 영역으로 분할된 영상 프레임을 나타낸다. 도 6에 도시된 영역 분할 모드는 일례에 불과하고, 영상 프레임을 2 이상의 영역으로 분할하는 영역 분할 모드는 전부 본 발명의 일실시예의 범위에 속할 수 있다.
영상 프레임(601, 602, 603, 604, 605, 616, 617, 618, 621, 622, 623)은 도 5의 모드 3인 영역 분할 모드(Left/Middle/Right)에 따라 3개의 영역으로 분할된 영상 프레임을 의미한다. 그리고, 영상 프레임(606, 607)은 도 5의 모드 8인 영역 분할 모드(Center/Surround)에 따라 2개의 영역으로 분할된 영상 프레임을 의미한다. 또한, 영상 프레임(608, 609, 610)은 도 5의 모드 1인 영역 분할 모드(Left/Right)에 따라 2개의 영역으로 분할된 영상 프레임을 의미한다.
그리고, 영상 프레임(611, 612, 613)은 도 5의 모드 2인 영역 분할 모드(Top/Bottom)에 따라 2개의 영역으로 분할된 영상 프레임을 의미한다. 영상 프레임(614)은 도 5의 모드 4인 영역 분할 모드(Top/Middle/Bottom)에 따라 3개의 영역으로 분할된 영상 프레임을 의미한다. 영상 프레임(615)은 도 5의 모드 7인 영역 분할 모드(Quartered)에 따라 4개의 영역으로 분할된 영상 프레임을 의미한다. 영상 프레임(619)은 도 5의 모드 6인 영역 분할 모드(Vertically-Quartered)에 따라 4개의 영역으로 분할된 영상 프레임을 의미한다. 영상 프레임(620)은 도 5의 모드 5인 영역 분할 모드(Horizontally-Quartered)에 따라 4개의 영역으로 분할된 영상 프레임을 의미한다.
부호화 장치(101)는 도 6에 도시된 영역 분할 모드들에 따라 분할된 영역 각각에 필터링을 적용한 결과의 비용 함수를 고려하여 최적의 영역 분할 모드를 선택할 수 있다. 입력 영상을 구성하는 복수의 영상 프레임들은 서로 다른 특징을 나타내기 때문에 영상 프레임들마다 선택되는 최적의 영역 분할 모드는 다를 수 있다. 그리고, 영역 분할 모드에 따라 영상 프레임을 분할하는 영역의 개수와 형태는 다를 수 있다.
도 7은 본 발명의 일실시예에 따라 영상 프레임을 복수의 영역으로 분할하는 일례를 도시한 도면이다.
도 7은 하나의 영역 분할 모드를 나타낸다. 도 7에서 볼 수 있듯이, 기본 단위가 x개 픽셀, y개 픽셀로 구성된 사각형이고 기본 단위로 확장한 영역을 하나의 분할 영역으로 설정될 수 있다. 하나의 영상 프레임은 분할 영역으로 구성될 수도 있다.
영상 프레임은 복수개의 분할 영역으로 분할하며 각 분할 영역은 기본 단위의 배수로 구성된다. 여기서, 기본 단위는 x개 픽셀, y개 픽셀로 구성된 사각형일 수 있다. 도 7의 (a)는 2개의 기본 단위(세로 방향)과 3개의 기본 단위(가로 방향)로 구성된 영역이 하나의 분할 영역인 경우를 나타낸다. 도 7의 (b)는 4개의 기본 단위(세로 방향)과 6개의 기본 단위(가로 방향)로 구성된 영역이 하나의 분할 영역인 경우를 나타낸다. 도 7의 (c)는 8개의 기본 단위(세로 방향)과 12개의 기본 단위(가로 방향)로 구성된 영역이 하나의 분할 영역인 경우를 나타낸다. 기본 단위의 배수로 구성된 영상 분할 방법도 본 발명의 일실시예에 따른 영역 분할 모드에 속할 수 있다.
도 8은 본 발명의 일실시예에 따라 부호화 장치가 적용된 예를 도시한 도면이다.
도 2의 부호화 장치(101)는 도 8에서 루프 필터(805)에 대응될 수 있다. 그리고, 도 8의 루프 필터(805)는 압축된 영상 프레임을 압축되기 이전의 영상 프레임으로 복원할 때 사용될 수 있다. 도 8의 루프 필터(805)는 영상 프레임의 분할된 영역에 적용되는 필터가 2개인 경우에 적용될 수 있다. 도 8은 일례에 불과하고, 도 2의 부호화 장치(101)는 영상 프레임을 확대하는 경우에도 사용될 수 있다.
도 8을 참고하면, 부호화 장치는 제1 합성부(801), 변환/양자화부(802), 움직임 예측/움직임 보상부(803), 프레임 메모리(804), 루프 필터(805), 제1 필터(806), 제2 필터(807), 스킵 결정부(808), 분할 모드 선택부(809), 역양자화/역변환부(810), 제2 합성부(811), 디블록킹 필터(812), 엔트로피 코딩부(813)를 포함할 수 있다.
도 8의 부호화 장치는 예측 기법을 통해 입력 영상과 예측 영상 간의 예측 오차를 압축하여 복호화 장치에 제공할 수 있다. 움직임 예측/움직임 보상부(803)는 입력 영상과 프레임 메모리(804)에 저장된 복원 영상을 이용하여 예측 영상을 생성할 수 있다.
이 때, 복원 영상은 입력 영상보다 시간적으로 이전에 존재하는 영상을 의미한다. 제1 합성부(801)는 입력 영상과 예측 영상을 이용하여 예측 오차를 계산한다. 변환/양자화부(802)는 예측 오차를 변환하고 양자화하며, 역양자화/역변환부(810)는 양자화된 예측 오차를 역양자화 및 역변환한다.
제2 합성부(811)는 역양자화 및 역변환된 예측 오차와 예측 영상을 합성하고, 디블록킹 필터(812)는 예측 오차와 예측 영상을 합성한 결과에 디블로킹 필터를 적용하여 복호화 영상을 생성할 수 있다. 디블록킹 필터(812)는 예측 오차와 예측 영상을 합성한 결과의 블록 아티팩트(Block Artifact)를 제거할 수 있다.
루프 필터(805)는 분할 모드 선택부(809)를 통해 영역별로 제1 필터(806) 또는 제2 필터(807) 또는 그 이상의 필터(제 N 필터)를 선택적으로 적용할 수 있다. 분할 모드 선택부(809)는 복수의 영역 분할 모드들 중 최적의 영역 분할 모드를 선택하고, 최적의 영역 분할 모드에 따라 분할된 영역들 중 어느 하나를 선택할 수 있다. 앞서 설명하였듯이, 최적의 영역 분할 모드는 복수의 영역 분할 모드들 중 비용 함수가 가장 낮은 영역 분할 모드를 의미한다. 그리고, 분할 모드 선택부(809)는 최적의 영역 분할 모드에 따라 분할된 영역들 각각에 대해 최적의 영상 필터링 방법을 판단하거나 필터 계수를 계산할 수 있다.
스킵 결정부(808)는 복호화 영상과 제1 필터(806) 및 제2 필터(807)에 따라 필터링된 영상 중 비용 함수가 낮은 영상을 복원 영상으로 결정할 수 있다. 제1 필터(806), 제2 필터(807), 및 그 이상의 필터(제 N 필터) 에 따라 필터링된 영상이 복원 영상으로 결정되면, 스킵 모드가 오프(Off)이고, 복호화 영상이 복원 영상으로 결정되면 스킵 모드는 온(On)이다. 즉, 스킵 모드는 제1 필터(806), 제2 필터(807), 및 그 이상의 필터(제 N 필터) 에 따라 필터링된 영상을 이용할 지 여부를 나타내는 정보를 의미한다. 스킵 모드는 플래그 정보의 형태로 헤더에 부가하여 복호화 장치에 전송될 수 있다.
루프 필터(805)는 최적의 영역 분할 모드와 최적의 영역 분할 모드에 따라 분할된 영역들 각각의 영상 필터링 방법 혹은 필터 계수를 도출할 수 있다. 일례로, 영상 필터링 방법은 위너 필터링, 평활화 필터링, 오프셋 재조정이 될 수 있다. 필터 계수는 복호화 영상과 입력 영상을 참조하여 계산될 수 있다. 일례로, 필터 계수는 하기 수학식 1의 위너 방정식에 따라 계산될 수 있다.
Figure 112015059133113-pat00001
수학식 1에서 S는 입력 영상을 의미하고, P는 복호화 영상을 의미한다. 위너 방정식은 입력 영상과 복호화 영상 간에 MSE(Mean of Squared Error)를 최소화하는 선형 방정식이다. 선형 방정식에서 필터 계수인 h는 가우스 소거법과 같은 선형 방정식의 해법에 따라 결정될 수 있다. 필터 계수는 복호화 영상이 입력 영상에 가장 근접하도록 선택될 수 있다.
엔트로핑 코딩부(813)는 최적의 영역 분할 모드, 최적의 필터 계수, 각 분할 영역 별 최적의 영상 필터링 방법, 스킵 플래그를 코딩하여 압축 영상 데이터와 함께 복호화 장치에 전송할 수 있다. 여기서, 최적의 필터 계수와 최적의 영상 필터링 방법은 최적의 영역 분할 모드에 따라 분할된 영역 각각에 적용될 수 있다.
도 9는 본 발명의 일실시예에 따라 복호화 장치가 적용된 예를 도시한 도면이다.
도 3의 복호화 장치(102)는 도 8의 루프 필터(904)에 대응될 수 있다. 그리고, 도 8의 루프 필터(904)는 압축된 영상 프레임을 압축되기 이전의 영상 프레임으로 복원할 때 사용될 수 있다. 도 7의 루프 필터(904)는 영상 프레임의 분할된 영역에 적용되는 필터가 2개인 경우에 적용될 수 있다. 도 7은 일례에 불과하고, 도 3의 복호화 장치(102)는 영상 프레임을 확대하는 경우에도 사용될 수 있다.
도 8을 참고하면, 복호화 장치는 엔트로피 디코딩부(901), 움직임 보상부(902), 프레임 메모리(903), 루프 필터(904), 스킵 선택부(905), 제1 필터(906), 제2 필터(907), 분할 모드 선택부(908), 역양자화/역변환부(909), 합산부(810), 디블로킹 필터(811)를 포함할 수 있다.
엔트로피 디코딩부(901)는 부호화 장치로부터 수신한 압축 영상 데이터를 복호화할 수 있다. 복호화한 결과, 움직임 벡터의 예측 모드가 추출된다. 그리고, 역양자화/역변환부(909)는 복호화된 압축 영상 데이터를 역양자화 및 역변환한다. 움직임 보상부(902)는 프레임 메모리(903)에 저장된 이전 시간의 출력 영상과 움직임 벡터의 예측 모드에 기초하여 현재 시간에 대한 움직임 벡터를 생성하고, 이를 합산부(910)에 전송한다. 합산부는 역변환된 영상 데이터에 움직임 벡터를 적용하여 복호화 영상을 생성하고, 디블로킹 필터(911)는 복호화 영상에 대해 디블로킹 필터를 적용할 수 있다.
루프 필터(904)에서 분할 모드 선택부(908)는 입력된 복호화 영상에 대해 최적의 영역 분할 모드를 선택할 수 있다. 최적의 영역 분할 모드는 부호화 장치에서 전송될 수 있다. 그리고, 최적의 영역 분할 모드에 따라 분할된 영역들은 각각 제1 필터(906), 제2 필터(907), 및 그 이상의 필터(제 N필터)를 통해 필터링된다. 그리고, 각 분할 영역별 최적의 영상 처리 방법은 부호화 장치에서 전송될 수 있다. 스킵 선택부(905)는 필터링된 출력 영상과 필터링되지 않은 복호화 영상인 출력 영상의 비용 함수를 계산하여, 부가 전송된 스킵 플래그에 따라 최종적인 출력 영상을 결정할 수 있다.
도 10은 본 발명의 일실시예에 따른 부호화 방법을 도시한 플로우차트이다.
단계 1000에서, 부호화 장치(101)는 영상 프레임에 대한 영역 분할 모드들 중 최적의 영역 분할 모드(region-dividing mode)를 선택할 수 있다. 이 때, 영상 프레임에서 분할된 복수의 영역들의 개수와 형태는 영역 분할 모드에 따라 결정될 수 있다. 일례로, 부호화 장치(101)는 영역 분할 모드들 각각의 비용 함수를 계산하여 최적의 영역 분할 모드를 선택할 수 있다. 구체적으로, 부호화 장치(101)는 영역 분할 모드들 각각의 비용 함수들 중 가장 작은 비용 함수를 갖는 영역 분할 모드를 최적의 영역 분할 모드로 선택할 수 있다.
부호화 장치(101)는 영상 프레임을 왼쪽(left) 영역과 오른쪽(right) 영역으로 분할하는 영역 분할 모드, 영상 프레임을 위쪽(top) 영역과 아래쪽(bottom) 영역으로 분할하는 영역 분할 모드, 영상 프레임을 수직 방향에 따라 위쪽 영역, 중간(middle) 영역 및 아래쪽 영역으로 분할하는 영역 분할 모드, 영상 프레임을 수평 방향에 따라 왼쪽 영역, 중간 영역, 및 오른쪽 영역으로 분할하는 영역 분할 모드, 영상 프레임을 수평 방향에 따라 적어도 4개 이상의 영역으로 분할하는 영역 분할 모드, 영상 프레임을 수직 방향에 따라 적어도 4개 이상의 영역으로 분할하는 영역 분할 모드, 영상 프레임을 적어도 4개 이상의 영역으로 분할하는 영역 분할 모드 및 영상 프레임을 중앙(center) 영역과 가장자리(surround) 영역으로 분할하는 영역 분할 모드, 기본 단위가 사각형이고 기본 단위로 확장한 영역을 하나의 분할 영역으로 설정한 영역 분할 모드, 기본 단위가 사각형이고 기본 단위로 확장한 영역을 하나의 분할 영역으로 설정한 영역 분할 모드 중 적어도 하나에서 최적의 영역 분할 모드를 선택할 수 있다.
단계 1002에서, 부호화 장치(101)는 최적의 영역 분할 모드에 따라 분할된 영역들 각각의 최적의 영상 필터링 방법 및 최적의 필터 계수를 계산할 수 있다. 이 때, 부호화 장치(101)는 최적의 영역 분할 모드에 따라 분할된 영역들 각각의 최적의 필터링 방법을 판단하고, 상기 최적의 필터링 방법에 따라 최적의 필터 계수를 계산할 수 있다.
단계 1003에서, 부호화 장치(101)는 선택된 최적의 영역 분할 모드를 복호화 장치에 전송할 수 있다. 일례로, 부호화 장치(101)는 최적의 영역 분할 모드의 인덱스를 비트스트림의 헤더에 포함시켜 복호화 장치(102)에 전송할 수 있다.
또 다른 일례로, 부호화 장치(101)는 최적의 분할 영역의 가로 길이 및 세로 길이 혹은 가로 길이, 세로 길이에 대응하는 인덱스를 비트스트림의 헤더에 포함시켜 복호화 장치(102)에 전송할 수 있다.
단계 1004에서, 부호화 장치(101)는 최적의 영역 분할 모드에 따라 분할된 영역 각각의 최적의 영상 필터링 방법 및 최적의 필터 계수를 복호화 장치(102)에 전송할 수 있다. 일례로, 부호화 장치(101)는 최적의 영상 필터링 방법 및 최적의 필터 계수를 비트스트림의 헤더에 포함시켜 복호화 장치(102)에 전송할 수 있다.
또한, 부호화 장치(101)는 영상 프레임에 대해 영역을 분할하여 필터링을 수행할 지 여부를 나타내는 스킵 플래그도 복호화 장치(102)에 전송할 수 있다.
도 11은 본 발명의 일실시예에 따라 영역 분할 모드를 선택하는 과정을 도시한 플로우차트이다.
단계 1001에서, 부호화 장치(101)는 영역 분할 모드 N를 불러온다. 영역 분할 모드는 복수이며, 미리 설정될 수 있다.
단계 1002에서, 부호화 장치(101)는 영역 분할 모드에 따라 분할된 영상 프레임의 영역들 각각에 필터링을 수행할 수 있다. 여기서, 필터링에 적용될 필터는 압축된 영상 프레임을 복원하거나 또는 영상 프레임을 확대할 수 있다.
단계 1003에서, 부호화 장치(101)는 필터링된 영상 처리 결과의 비용 함수를 계산할 수 있다. 여기서, 비용 함수는 Rate-Distortion Cost(RD cost), SSD(Sum of Squared Difference), SAD(Sum of Absoulte Difference), MSE(Mean of Squared Error), MAD(Mean of Absolute Difference), Distortion Cost일 수 있다.
단계 1001에서 단계 1003의 과정은 미리 설정된 영역 분할 모드에 대해 모두 적용된다.
단계 1004에서, 부호화 장치(101)는 복수의 영역 분할 모드에 대한 비용 함수를 이용하여 비용 함수가 최소인 영역 분할 모드를 최적의 영역 분할 모드로 선택할 수 있다.
도 12는 본 발명의 일실시예에 따라 필터링 결과를 선택하는 과정을 도시한 도면이다.
단계 1201에서, 복호화 장치(102)는 영상 프레임에 대하여 필터링을 수행하지 않으며, 그대로 영상 처리 결과 1이 도출된다.
단계 1202에서, 복호화 장치(102)는 영상 프레임의 분할된 영역 각각에 대해 필터링을 수행할 수 있다. 이 때, 분할된 영역은 최적의 영역 분할 모드에 따라 결정된다. 단계 1202에서 필터링이 수행되면, 영상 처리 결과 2가 도출된다.
단계 1203에서, 복호화 장치(102)는 영상 처리 결과 1의 비용 함수 1를 계산할 수 있다. 그리고, 단계 1204에서, 복호화 장치(102)는 영상 처리 결과 2의 비용 함수 2를 계산할 수 있다.
단계 1205에서, 복호화 장치(102)는 비용 함수 1이 비용 함수 2보다 큰 지 여부를 판단할 수 있다. 만약, 비용 함수 1이 비용 함수 2보다 큰 경우, 복호화 장치(102)는 영상 처리 결과 2를 선택할 수 있다. 반대로, 비용 함수 1이 비용 함수 2보다 작은 경우, 복호화 장치(102)는 영상 처리 결과 1을 선택할 수 있다.
도 13은 본 발명의 일실시예에 따른 복호화 방법을 도시한 플로우차트이다.
단계 1301에서, 복호화 장치(102)는 부호화 장치(101)로부터 영역 분할 방법에 따라 필터링할 지 여부를 나타내는 스킵 플래그를 수신할 수 있다. 그리고, 복호화 장치(102)는 스킵 플래그에 따라 영역 분할 방법을 이용하여 필터링할 지 여부를 결정할 수 있다. 즉, 복호화 장치(102)는 전송된 스킵 플래그에 따라서 영상 프레임에 대해 최적의 영역 분할 모드에 따라 영역을 분할하여 필터링을 수행 영상을 출력하거나 필터링되지 않은 복호화 영상를 출력한다. 단계 1302 내지 단계 1305는 영역 분할 방법에 따라 필터링하는 과정을 나타낸다.
단계 1302에서, 복호화 장치(102)는 부호화 장치(101)로부터 최적의 영역 분할 모드를 수신할 수 있다.
일례로, 복호화 장치(102)는 영상 프레임에 대한 영역 분할 모드들 각각의 비용 함수에 기초하여 선택된 최적의 영역 분할 모드를 부호화 장치(101)로부터 선택할 수 있다. 이 때, 부호화 장치(101)는 영역 분할 모드들에 따라 분할된 영상 프레임의 복수의 영역들 각각에 최적의 영상 필터링 방법 및 필터 계수를 계산하고, 영상 필터링 방법 및 필터 계수를 적용한 결과에 대한 비용 함수에 기초하여 최적의 영역 분할 모드를 선택할 수 있다.
구체적으로, 부호화 장치(101)는 영상 프레임을 왼쪽(left) 영역과 오른쪽(right) 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 위쪽(top) 영역과 아래쪽(bottom) 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 수직 방향에 따라 위쪽 영역, 중간(middle) 영역 및 아래쪽 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 수평 방향에 따라 왼쪽 영역, 중간 영역, 및 오른쪽 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 수평 방향에 따라 적어도 4개 이상의 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 수직 방향에 따라 적어도 4개 이상의 영역으로 분할하는 영역 분할 모드, 상기 영상 프레임을 적어도 4개 이상의 영역으로 분할하는 영역 분할 모드 및 상기 영상 프레임을 중앙(center) 영역과 가장자리(surround) 영역으로 분할하는 영역 분할 모드, 기본 단위가 사각형이고 기본 단위로 확장한 영역을 하나의 분할 영역으로 설정한 영역 분할 모드 중 적어도 하나에서 최적의 영역 분할 모드를 선택할 수 있다.
단계 1303에서, 복호화 장치(102)는 영상 프레임에 대해 최적의 영역 분할 모드에 따라 분할된 영역들 각각의 최적의 영상 필터링 방법 및 최적의 필터 계수를 부호화 장치로부터 수신할 수 있다. 이 때, 최적의 필터 계수는 최적의 영역 분할 모드에 따라 분할된 영역들 각각에 대한 최적의 영상 필터링 방법에 따라 결정될 수 있다.
단계 1304에서, 복호화 장치(102)는 최적의 영역 분할 모드에 따라 영상 프레임을 2 이상의 영역들로 분할할 수 있다.
단계 1305에서, 복호화 장치(102)는 최적의 영역 분할 모드에 따라 분할된 영상 프레임의 영역들 각각에 필터링을 수행할 수 있다. 일례로, 복호화 장치(102)는 최적의 영역 분할 모드에 따라 분할된 영역들 각각의 최적의 영상 필터링 방법 또는 최적의 필터 계수에 기초하여 필터링을 수행할 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (1)

  1. 영상에 대해 복수의 기본 단위들로 구성된 복수의 영역들을 식별하는 단계;
    상기 복수의 영역들 각각에 대한 필터링 방법과 필터 계수를 식별하는 단계; 및
    상기 필터링 방법과 필터 계수를 이용하여 상기 복수의 영역들 각각에 대해 독립적으로 서로 다른 필터링을 수행하는 단계
    를 포함하고,
    상기 필터링을 수행하는 단계는,
    상기 영상에 대해 디블록킹 필터링이 완료된 후, 복호화 장치의 루프 필터에서 복수의 영역들 각각에 대해 서로 다른 필터링 방법과 필터 계수에 따라 필터링함으로써 상기 복수의 영역들 각각에 대해 오프셋을 적용하는 복호화 방법.
KR1020150086729A 2010-01-22 2015-06-18 영역 기반의 부호화／복호화 장치 및 방법 KR101785386B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100005908 2010-01-22
KR20100005908 2010-01-22

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020110006393A Division KR101743482B1 (ko) 2010-01-22 2011-01-21 영역 기반의 부호화/복호화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150077390A KR20150077390A (ko) 2015-07-07
KR101785386B1 true KR101785386B1 (ko) 2017-10-16

Family

ID=44922895

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020110006393A KR101743482B1 (ko) 2010-01-22 2011-01-21 영역 기반의 부호화/복호화 장치 및 방법
KR1020150086731A KR101834819B1 (ko) 2010-01-22 2015-06-18 영역 기반의 부호화／복호화 장치 및 방법
KR1020150086729A KR101785386B1 (ko) 2010-01-22 2015-06-18 영역 기반의 부호화／복호화 장치 및 방법
KR1020150086732A KR101785391B1 (ko) 2010-01-22 2015-06-18 영역 기반의 부호화／복호화 장치 및 방법
KR1020150086730A KR101785383B1 (ko) 2010-01-22 2015-06-18 영역 기반의 부호화／복호화 장치 및 방법

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020110006393A KR101743482B1 (ko) 2010-01-22 2011-01-21 영역 기반의 부호화/복호화 장치 및 방법
KR1020150086731A KR101834819B1 (ko) 2010-01-22 2015-06-18 영역 기반의 부호화／복호화 장치 및 방법

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020150086732A KR101785391B1 (ko) 2010-01-22 2015-06-18 영역 기반의 부호화／복호화 장치 및 방법
KR1020150086730A KR101785383B1 (ko) 2010-01-22 2015-06-18 영역 기반의 부호화／복호화 장치 및 방법

Country Status (4)

Country Link
US (5) US9124887B2 (ko)
EP (2) EP2538673A4 (ko)
KR (5) KR101743482B1 (ko)
WO (1) WO2011090352A2 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9124887B2 (en) * 2010-01-22 2015-09-01 Samsung Electronics Co., Ltd. Area-based encoding/decoding device and method
GB2505169B (en) * 2012-08-13 2016-03-16 Gurulogic Microsystems Oy decoder and method
CN103517070B (zh) * 2013-07-19 2017-09-29 清华大学 图像的编解码方法和装置
EP3364658A4 (en) 2015-10-15 2019-07-03 LG Electronics Inc. METHOD AND DEVICE FOR CODING AND DECODING A VIDEO SIGNAL
CN108702506B9 (zh) * 2016-03-07 2021-10-15 索尼公司 编码设备和编码方法
KR20180045530A (ko) * 2016-10-26 2018-05-04 디지털인사이트 주식회사 임의의 블록 분할을 사용하는 비디오 코딩 방법 및 장치
WO2023022376A1 (ko) * 2021-08-17 2023-02-23 현대자동차주식회사 개선된 인루프 필터를 이용하는 비디오 코딩방법 및 장치

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5920359A (en) * 1997-05-19 1999-07-06 International Business Machines Corporation Video encoding method, system and computer program product for optimizing center of picture quality
US6111913A (en) * 1997-05-20 2000-08-29 International Business Machines Corporation Macroblock bit regulation schemes for video encoder
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
FI114679B (fi) * 2002-04-29 2004-11-30 Nokia Corp Satunnaisaloituspisteet videokoodauksessa
WO2005072337A2 (en) * 2004-01-23 2005-08-11 Sarnoff Corporation Method and apparatus for digital video reconstruction
EP1886502A2 (en) * 2005-04-13 2008-02-13 Universität Hannover Method and apparatus for enhanced video coding
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
EP1926321A1 (en) * 2006-11-27 2008-05-28 Matsushita Electric Industrial Co., Ltd. Hybrid texture representation
US20090154567A1 (en) * 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
KR100950969B1 (ko) 2008-01-21 2010-04-02 한양대학교 산학협력단 영상의 블록킹 현상 제거 시스템 및 그 방법
US8195001B2 (en) * 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
KR101464423B1 (ko) * 2010-01-08 2014-11-25 노키아 코포레이션 비디오 프로세싱을 위한 장치, 방법 및 컴퓨터 프로그램
US9124887B2 (en) * 2010-01-22 2015-09-01 Samsung Electronics Co., Ltd. Area-based encoding/decoding device and method

Also Published As

Publication number Publication date
EP2963928A1 (en) 2016-01-06
KR20150077391A (ko) 2015-07-07
US9386314B2 (en) 2016-07-05
US9414071B2 (en) 2016-08-09
US9386315B2 (en) 2016-07-05
US20150319435A1 (en) 2015-11-05
US20150319434A1 (en) 2015-11-05
KR101785383B1 (ko) 2017-10-16
KR20110086521A (ko) 2011-07-28
US9124887B2 (en) 2015-09-01
WO2011090352A3 (ko) 2011-12-01
US20130028529A1 (en) 2013-01-31
KR101834819B1 (ko) 2018-03-06
US9374587B2 (en) 2016-06-21
WO2011090352A2 (ko) 2011-07-28
US20150319433A1 (en) 2015-11-05
KR101743482B1 (ko) 2017-06-07
EP2538673A4 (en) 2015-12-23
EP2538673A2 (en) 2012-12-26
US20150319436A1 (en) 2015-11-05
KR101785391B1 (ko) 2017-10-16
KR20150077392A (ko) 2015-07-07
KR20150079525A (ko) 2015-07-08
KR20150077390A (ko) 2015-07-07

Similar Documents

Publication Publication Date Title
KR101785386B1 (ko) 영역 기반의 부호화／복호화 장치 및 방법
US20100232691A1 (en) Image coding device, image decoding device, image coding method, and image decoding method
KR20090116655A (ko) 비디오 신호의 디코딩 방법 및 장치
US20230239471A1 (en) Image processing apparatus and image processing method
US9264736B2 (en) Encoding method, decoding method, encoding device, and decoding device
KR102413597B1 (ko) 복호 방법 및 장치
WO2017135692A1 (ko) 픽셀 순환 코딩과 변환 코딩의 결합에 기초하여 비디오 신호를 처리하는 방법 및 장치
KR102242723B1 (ko) 비디오 신호의 디코딩 방법 및 장치
KR101927970B1 (ko) 적응적인 루프 필터링을 이용한 비디오의 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR20200004348A (ko) 타겟 영역 수정을 통해 비디오 신호를 처리하는 방법 및 장치
KR101882950B1 (ko) 적응적인 루프 필터링을 이용한 비디오의 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101780026B1 (ko) 적응적인 루프 필터링을 이용한 비디오의 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR20200001099A (ko) 블록 예측을 기반한 영상 스트림 재압축 시스템 및 이를 이용한 영상 스트림 재압축 방법
KR20170106261A (ko) 적응적인 루프 필터링을 이용한 비디오의 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
WO2019082291A1 (ja) 符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right