KR20110049079A - 필터 정보를 이용한 영상 압축 장치 및 방법과 영상 복원 장치 및 방법 - Google Patents

필터 정보를 이용한 영상 압축 장치 및 방법과 영상 복원 장치 및 방법 Download PDF

Info

Publication number
KR20110049079A
KR20110049079A KR1020090105922A KR20090105922A KR20110049079A KR 20110049079 A KR20110049079 A KR 20110049079A KR 1020090105922 A KR1020090105922 A KR 1020090105922A KR 20090105922 A KR20090105922 A KR 20090105922A KR 20110049079 A KR20110049079 A KR 20110049079A
Authority
KR
South Korea
Prior art keywords
image
block
blocks
reduced image
interpolation coefficient
Prior art date
Application number
KR1020090105922A
Other languages
English (en)
Other versions
KR101710883B1 (ko
Inventor
임일순
위호천
이석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090105922A priority Critical patent/KR101710883B1/ko
Priority to US12/926,233 priority patent/US9172974B2/en
Priority to EP10189950.8A priority patent/EP2320655B1/en
Publication of KR20110049079A publication Critical patent/KR20110049079A/ko
Priority to US14/922,462 priority patent/US9736490B2/en
Application granted granted Critical
Publication of KR101710883B1 publication Critical patent/KR101710883B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Abstract

필터 정보를 이용한 영상 압축 장치 및 방법과 영상 복원 장치 및 방법이 개시된다. 영상 압축 장치는 입력 영상을 샘플링하여 축소 영상을 생성하고, 입력 영상과 복호화된 축소 영상을 이용하여 필터 정보를 결정하고, 필터 정보와 복호화된 축소 영상을 코딩할 수 있다. 제한된 대역폭을 통해 영상을 전송하면서도 영상의 화질의 열화를 방지할 수 있다.
영상 압축, 영상 복원, 필터 셋 테이블, 대표 블록, 관심 블록, 보간 계수

Description

필터 정보를 이용한 영상 압축 장치 및 방법과 영상 복원 장치 및 방법{APPARATUS AND METHOD FOR COMPRESSING AND RESTORATION IMAGE USING FILTER INFORMATION}
영상을 제작/압축/전송/표시하는 장치 및 방법에 관한 것으로, 영상을 디스플레이하는 모바일 환경에서 적용될 수 있다.
고해상도 영상을 전송하는 것은 넓은 대역폭이 요구된다. 그러나, 제한된 대역폭을 통해 고해상도 영상을 전송하기 위해서는, 고해상도 영상을 저해상도 영상으로 제작할 필요가 있다. 그러나, 고해상도 영상을 저해상도 영상으로 변환하는 경우, 영상의 화질이 감소하는 문제가 있다.
따라서, 제한된 대역폭을 이용하면서도 화질 열화를 방지하는 영상 압축 방법 및 영상 복원 방법이 요구된다.
본 발명의 일실시예에 따른 영상 압축 장치는 입력 영상에 대해 샘플링을 수행하여 해상도가 축소된 축소 영상을 생성하는 영상 축소부, 상기 입력 영상과 복호화된 축소 영상을 이용하여 필터 정보를 결정하는 필터 정보 결정부 및 상기 축소 영상과 상기 필터 정보를 코딩하여 비트 스트림을 생성하는 비트 스트림 생성부를 포함할 수 있다.
본 발명의 일실시예에 따르면, 필터 정보 결정부는 상기 복호화된 축소 영상을 복수의 블록들로 분할하는 영상 분할부; 상기 분할된 블록들에 대해 픽셀값이 유사한 블록으로 구성된 적어도 하나의 그룹을 형성하여 상기 그룹의 대표 블록을 선정하는 대표 블록 선정부; 및 상기 입력 영상과 상기 복호화된 축소 영상을 이용하여 상기 대표 블록에 대해 보간 계수를 결정하는 보간 계수 결정부를 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 필터 정보 결정부는 상기 복호화된 축소 영상을 복수의 블록들로 분할하는 영상 분할부; 상기 복수의 블록들 중 인간 시각이 주목하는 영상을 나타내는 관심 블록을 선정하는 관심 블록 선정부; 및 상기 입력 영상과 상기 복호화된 축소 영상을 이용하여 상기 관심 블록에 대한 보간 계수를 결정하는 보간 계수 결정부를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 복원 장치는 영상 압축 장치로부터 수신한 비트 스트림으로부터 필터 정보를 추출하는 필터 정보 추출부; 상기 비트 스트림에 포함된 축소 영상을 복호화하는 영상 복호화부; 및 상기 필터 정보에 따라 상기 복호화된 축소 영상의 해상도를 확대하는 영상 확대부를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 확대부는, 상기 복호화된 축소 영상을 복수의 블록들로 분할하는 영상 분할부; 상기 복수의 블록들 각각에 대해 가장 유사한 대표 블록 또는 관심 블록을 최대 유사 블록으로 추출하는 블록 추출부; 및 상기 최대 유사 블록의 오차와 미리 설정한 임계치를 비교한 결과에 따라 상기 복수의 블록들 각각의 보간 계수를 다르게 설정하여 보간하는 영상 보간부를 포함할 수 있다.
본 발명의 다른 실시예에 따른 영상 확대부는 상기 복호화된 축소 영상을 복수의 블록들로 분할하는 영상 분할부; 상기 복수의 블록들 각각에 설정된 영역 플래그의 종류를 판단하는 플래그 판단부; 및 상기 영역 플래그의 종류에 따라 상기 복수의 블록들 각각에 대한 보간 계수를 다르게 설정하여 상기 축소 영상을 보간하는 영상 보간부를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 압축 방법은 입력 영상에 대해 샘플링을 수행하여 해상도가 축소된 축소 영상을 생성하는 단계; 상기 입력 영상과 복호화된 축소 영상을 이용하여 필터 정보를 결정하는 단계; 및 상기 축소 영상과 상기 필터 정보를 코딩하여 비트 스트림을 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 복원 방법은 영상 압축 방법으로부터 수신한 비트 스트림으로부터 필터 정보를 추출하는 단계; 상기 비트 스트림에 포함된 축소 영상을 복호화하는 단계; 및 상기 필터 정보에 따라 상기 복호화된 축소 영상 의 해상도를 확대하는 단계를 포함할 수 있다.
본 발명에 의하면, 제한된 대역폭에서도 영상의 화질 열화를 줄이고 비트 발생량을 줄일 수 있다.
본 발명에 의하면, 필터 셋 테이블을 누적하여 재사용함으로써 불필요한 비트가 발생하는 것을 방지할 수 있다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 영상 압축 장치 및 영상 복원 장치의 전체 동작을 설명하기 위한 도면이다.
도 1을 참고하면, 영상 압축 장치(101)와 영상 복원 장치(102)가 도시되어 있다. 일반적으로, 고해상도 비디오를 전송하기 위해서는 넓은 대역폭을 요구한다. 따라서, 제한된 대역폭을 통해 고해상도 비디오를 전송하기 위해, 고해상도 비디오를 저해상도 비디오로 축소하여 전송하는 방법이 제안되고 있다.
본 발명의 일실시예에 따른 영상 압축 장치(101)는 제한된 대역폭을 통해 입력 영상의 해상도를 축소하여 축소 영상을 영상 복원 장치(102)로 전송할 수 있다. 다만, 영상 복원 장치(102)에서 축소 영상의 해상도를 확대할 때 발생하는 화질 열화를 방지하기 위해, 영상 압축 장치(101)는 해상도 확대를 위한 필터 정보를 추가 하여 영상 복원 장치(102)에 전송할 수 있다.
도 2는 본 발명의 일실시예에 따른 영상 압축 장치의 세부 구성을 도시한 도면이다.
도 2를 참고하면, 본 발명의 일실시예에 따른 영상 압축 장치(101)는 영상 축소부(201), 필터 정보 결정부(202) 및 비트스트림 생성부(203)를 포함할 수 있다.
영상 축소부(201)는 입력 영상에 대해 샘플링을 수행하여 해상도가 축소된 축소 영상을 생성할 수 있다. 예를 들어, 영상 축소부(201)는 입력 영상에 대해 수직 방향과 수평 방향으로 두 픽셀마다 한 픽셀을 샘플링하면 입력 영상에 대해 해상도가 1/2로 축소된 축소 영상을 생성할 수 있다. 샘플링 방법은 시스템의 구성에 따라 달라질 수 있다.
필터 정보 결정부(202)는 입력 영상과 복호화된 축소 영상을 이용하여 필터 정보를 결정할 수 있다. 이 때, 필터 정보를 결정하기 위해 축소 영상은 부호화가 수행된 후 복호화가 수행될 수 있다. 여기서, 축소 영상은 MPEG-1/24 또는 H.261/263/264를 통해 부호화 될 수 있다.
일례로, 도 2를 참고하면, 필터 정보 결정부(202)는 영상 분할부(204), 대표 블록 선정부(205) 및 보간 계수 결정부(206)를 포함할 수 있다.
영상 분할부(204)는 복호화된 축소 영상을 복수의 블록들로 분할할 수 있다.
대표 블록 선정부(205)는 분할된 블록들에 대해 픽셀값이 유사한 블록으로 구성된 적어도 하나의 그룹을 형성하고, 상기 그룹에서 대표 블록을 선정할 수 있다. 여기서, 픽셀값은 블록의 gray level을 의미한다. 일례로, 대표 블록 선정부(205)는 그룹에 포함된 블록들 각각에 대해 자신을 제외한 나머지 블록과의 오차가 가장 작은 블록을 상기 그룹의 대표 블록으로 선정할 수 있다. 이 때, 대표 블록 선정부(205)는 평균 제곱 오차 방법을 통해 블록 간의 오차를 계산하여 대표 블록을 선정할 수 있다. 또한, 대표 블록 선정부(205)는 K-means 또는 Mean Shift 방법과 같은 클러스터링 방법을 변형하여 대표 블록을 선정할 수 있다.
보간 계수 결정부(206)는 입력 영상과 복호화된 축소 영상을 이용하여 대표 블록에 대해 보간 계수를 결정할 수 있다. 일례로, 보간 계수 결정부(206)는 입력 영상과 복호화된 축소 영상에 보간 계수를 적용한 결과 영상 간의 오차를 최소화하는 보간 계수를 결정하여 대표 블록에 대해 보간 계수를 결정할 수 있다. 이 때, 보간 계수는 대표 블록에 대해 필터 셋 테이블으로 생성될 수 있다.
만약, 수직 방향과 수평 방향으로 두 픽셀마다 한 픽셀을 샘플링하는 경우, 입력 영상의 해상도는 1/2(픽셀수는 1/4)이 축소된 축소 영상이 생성될 수 있다. 추후에, 축소 영상을 보간하여 확대하기 위해, 수직 방향, 수평 방향 및 대각 방향의 픽셀을 보간하기 위한 3 종류의 보간 계수가 필요하다. 보간 계수에 대해서는 도 4에서 좀더 구체적으로 설명하기로 한다. 그러면, 필터 정보로 대표 블록과 보간 계수가 결정될 수 있다.
비트 스트림 생성부(203)는 축소 영상과 필터 정보를 코딩하여 비트 스트림을 생성할 수 있다. 생성된 비트 스트림은 영상 복원 장치(102)에 전송될 수 있 다.
도 3은 본 발명의 다른 실시예에 따른 영상 압축 장치의 세부 구성을 도시한 도면이다.
도 3은 도 2와 비교했을 때, 대표 블록이 아닌 관심 블록을 선정한다는 점에서 차이가 있다. 따라서, 영상 축소부(301), 필터 정보 결정부(302), 비트 스트림 생성부(303), 영상 분할부(304)은 도 2의 영상 축소부(201), 필터 정보 결정부(202), 비트 스트림 생성부(203), 영상 분할부(204)와 대응되므로, 구체적인 설명은 생략하기로 한다.
관심 블록 선정부(305)는 복수의 블록들 중 인간 시각이 주목하는 영상을 나타내는 관심 블록을 선정할 수 있다. 일례로, 관심 블록 선정부(305)는 복수의 블록들 중 픽셀의 분산(variance) 또는 모멘트(moment)가 미리 설정한 임계치보다 큰 블록을 관심 블록으로 선정할 수 있다. 그리고, 복수의 블록들 중 관심 블록으로 선정되지 않는 블록은 무관심 블록으로 선정될 수 있다. 주로, 입력 영상에서 텍스쳐 영역(textured region), 에지 영역(edge region) 또는 전경(foreground)에 대응하는 블록이 관심 블록으로 선정될 수 있고, 스무드 영역(smooth region) 또는 배경(background)에 대응하는 블록이 무관심 블록으로 선정될 수 있다.
또한, 관심 블록 선정부(305)는 복수의 블록들에 대해 관심 블록을 구분하여 영역 플래그를 설정할 수 있다. 예를 들어, 관심 블록 선정부(305)는 관심 블록에 대해 영역 플래그를 "1"로 설정하고, 무관심 블록에 대해 영역 플래그를 "0"으로 설정할 수 있다. 즉, 관심 블록 선정부(305)는 축소 영상을 구성하는 모든 블록에 대해 영역 플래그를 설정할 수 있다.
그러면, 보간 계수 결정부(306)는 입력 영상과 복호화된 축소 영상을 이용하여 관심 블록에 대한 보간 계수를 결정할 수 있다. 일례로, 보간 계수 결정부(306)는 입력 영상과 복호화된 축소 영상에 보간 계수가 적용한 결과 영상 간의 오차를 최소화하는 보간 계수를 결정하여 관심 블록에 대한 보간 계수를 결정할 수 있다. 보간 계수는 관심 블록에 대해 필터 셋 테이블 형태로 생성될 수 있다. 최종적으로, 이 때, 필터 정보는 관심 블록, 보간 계수를 포함할 수 있다. 만약, 관심 블록에 대해 영역 플래그가 설정되면, 필터 정보는 관심 블록, 보간 계수, 영역 플래그를 포함할 수 있다.
도 4는 본 발명의 일실시예에 따른 보간 계수를 결정하는 과정을 도시한 도면이다.
영상 압축 장치(101)는 복호화된 축소 영상(401)에 대해 복수의 블록들로 분할할 수 있다. 그리고, 영상 압축 장치(101)는 복수의 블록들 중 대표 블록(402) 또는 관심 블록(402)을 선정할 수 있다.
앞서 설명하였듯이, 영상 압축 장치(101)는 분할된 블록들에 대해 픽셀값이 유사한 블록으로 구성된 적어도 하나의 그룹을 형성하고, 상기 그룹에서 대표 블록(402)을 선정할 수 있다. 구체적으로. 영상 압축 장치(101)는 그룹에 포함된 블록들 각각에 대해 자신을 제외한 나머지 블록과의 오차가 가장 작은 블록을 상기 그룹의 대표 블록(402)으로 선정할 수 있다.
또한, 영상 압축 장치(101)는 복수의 블록들 중 인간 시각이 주목하는 영상 을 나타내는 관심 블록(402)을 선정할 수 있다. 일례로, 영상 압축 장치(101)는 복수의 블록들 중 픽셀의 분산(variance) 또는 모멘트(moment)가 미리 설정한 임계치보다 큰 블록을 관심 블록(402)으로 선정할 수 있다. 그리고, 복수의 블록들 중 관심 블록(402)으로 선정되지 않는 블록은 무관심 블록으로 선정될 수 있다.
이 후, 영상 압축 장치(101)는 선정된 대표 블록(402) 또는 관심 블록(402)에 대한 보간 계수(403)를 결정할 수 있다. 일례로, 영상 압축 장치(101)는 대표 블록(402) 또는 관심 블록(402)에 대해 입력 영상과 복호화된 축소 영상(401) 간의 오차를 최소화하는 보간 계수를 결정할 수 있다. 즉, 영상 복원 장치(102)가 축소 영상을 보간 계수에 따라 보간하여 확대 영상을 생성하는 경우, 확대 영상이 입력 영상과의 오차가 최소화되어야 할 것이다.
보간 계수는 블록마다 결정되는 값이므로, 블록의 개수에 따라 비트 발생량도 증가한다. 예를 들어, 해상도가 704*576 크기의 축소 영상에 대해 4*4 블록으로 분할하여 보간 계수를 결정하는 경우, 대각 방향으로 16개, 수직 방향으로 16개, 수평 방향으로 16개의 보간 계수가 생성될 수 있다. 그러나, 해상도가 704*576 크기의 축소 영상에 대해 32*32 블록으로 분할하여 보간 계수를 결정하는 경우, 총 4752개의 보간 계수가 생성된다. 즉, 분할되는 블록에 포함된 픽셀이 증가함에 따라 보간 계수가 증가하므로, 영상 복원 장치(102)로 전송되는 파일 사이즈가 증가한다.
따라서, 본 발명의 영상 압축 장치(101)는 보간 계수를 필터 셋 테이블 방식으로 생성할 수 있다. 예를 들어, 해상도가 704*576 크기의 축소 영상에 대해 32*32블록으로 분할하면 99개의 블록이 도출된다. 그러면, 영상 압축 장치(101)는 99개의 블록을 16개의 그룹으로 클러스터링하고, 그룹에 포함된 블록들 중 대표 블록(402)을 선정하여 대표 블록(402)에 대해서만 보간 계수를 결정할 수 있다. 그룹의 개수는 제한이 없다. 또는, 영상 압축 장치(101)는 99개의 블록 중 미리 설정한 분산 또는 모멘트에 대한 임계치를 초과하는 블록을 관심 블록(402)으로 선정하여 관심 블록(402)에 대해서만 보간 계수를 결정할 수 있다. 그러면, 생성되는 보간 계수가 줄어들어, 영상 복원 장치(102)로 전송되는 파일 사이즈도 감소할 수 있다.
일례로, 영상 압축 장치(101)는 하기 수학식 1에 따라 대표 블록 또는 관심 블록에 대해 보간 계수를 결정할 수 있다.
Figure 112009067800992-PAT00001
여기서, S는 입력 영상을 의미하고, R은 복호화된 축소 영상을 의미한다. 수학식 1에 따르면, 입력 영상과 복호화된 축소 영상에 보간 계수(h)를 적용한 결과 영상 간의 오차를 최소화하는 보간 계수를 결정할 수 있다. 여기서, 오차는 평균 제곱 오차(Mean Square Error: MSE)를 의미할 수 있다. 이 때, 보간 계수는 입 력 영상의 픽셀에 비례하고, 복호화된 축소 영상의 픽셀에 반비례하는 값을 가질 수 있다. 보간 계수는 대표 블록 또는 관심 블록에 포함된 모든 픽셀에 대해 재귀적으로 결정될 수 있다.
수학식 1에 의하면, 보간 계수는 선형 연립 방정식의 근을 의미한다. 그러면, 보간 계수는 가우스 소거법 등을 통해 계산될 수 있다. 축소 영상 전체가 아닌 블록 단위로 보간 계수가 결정됨으로써, PSNR(Peak Signal to Ratio)가 증가하여 화질 개선이 향상될 수 있다.
도 5는 본 발명의 일실시예에 따른 영상 복원 장치의 세부 구성을 도시한 도면이다.
도 5를 참고하면, 영상 복원 장치(102)는 필터 정보 추출부(501), 영상 복호화부(502) 및 영상 확대부(503)를 포함할 수 있다.
필터 정보 추출부(501)는 영상 압축 장치(101)로부터 수신한 비트 스트림으로부터 필터 정보를 추출할 수 있다. 앞서 도 2 및 도 3에서 설명하였듯이, 필터 정보는 대표 블록, 보간 계수를 포함하거나 또는 관심 블록, 보간 계수 또는 영역 플래그를 포함할 수 있다.
영상 복호화부(502)는 비트 스트림에 포함된 축소 영상을 복호화 할 수 있다.
영상 확대부(503)는 필터 정보에 따라 복호화된 축소 영상의 해상도를 확대할 수 있다. 일례로, 영상 확대부(503)는 영상 분할부(504), 블록 추출부(505) 및 영상 보간부(506)를 포함할 수 있다. 이 때, 도 5의 영상 확대부(503)는 필터 정 보에 대표 블록 또는 영역 플래그가 설정되지 않은 관심 블록이 포함된 경우 적용될 수 있다.
영상 분할부(504)는 복호화된 축소 영상을 복수의 블록들로 분할할 수 있다.
블록 추출부(505)는 복수의 블록들 각각에 대해 가장 유사한 대표 블록 또는 관심 블록을 최대 유사 블록으로 추출할 수 있다. 이 때, 대표 블록은 픽셀값이 유사한 블록들로 형성된 그룹에서 블록들 각각에 대해 자신을 제외한 나머지 블록과의 오차가 가장 작은 블록을 의미한다. 그리고, 관심 블록은 축소 영상을 구성하는 복수의 블록들 중 픽셀의 분산 또는 모멘트가 미리 설정한 임계치보다 큰 블록을 의미한다.
영상 보간부(506)는 최대 유사 블록의 오차와 미리 설정한 임계치를 비교한 결과에 따라 상기 복수의 블록들 각각의 보간 계수를 다르게 설정하여 보간할 수 있다. 그리고, 영상 보간부(506)는 축소 영상을 구성하는 적어도 하나의 픽쳐 그룹에 대해 필터 정보에 포함된 필터 셋 테이블을 재사용하여 보간 계수를 선택할 수 있다. 또한, 영상 보간부(506)는 픽쳐 그룹의 첫번째 픽쳐인 인트라 픽쳐에 대해 보간 계수를 결정하고, 첫번째 이후 픽쳐에 대해 픽쳐 그룹마다 새로운 필터 셋 테이블을 누적하여 보간 계수를 선택할 수 있다.
도 6은 본 발명의 일실시예에 따른 도 5의 영상 확대부의 동작을 설명하는 도면이다.
영상 확대부(503)는 복호화된 블록 영상에 대해 가장 유사한 대표 블록 또는 관심 블록을 최대 유사 블록으로 선택할 수 있다(S601). 이 때, 복호화된 블록 영 상은 복호화된 축소 영상을 복수 개의 블록들로 분할하여 도출될 수 있다.
그러면, 영상 확대부(503)는 최대 유사 블록의 오차와 임계치(Th)를 비교할 수 있다(S602). 이 때, 최대 유사 블록의 오차는 평균 제곱 오차(MSE), SAD(sum of Absolute Difference) 및 SSD(Sum Of Squared Difference)로 계산될 수 있다.
만약, 최대 유사 블록의 오차가 미리 설정한 임계치보다 작은 경우, 영상 확대부(503)는 필터 정보에 포함된 필터 셋 테이블에서 최대 유사 블록에 대응하는 보간 계수를 추출할 수 있다(S603). 즉, 영상 확대부(503)는 필터 셋 테이블에서 최대 유사 블록에 대응하는 필터를 호출할 수 있다.
이 후, 영상 확대부(503)는 추출한 보간 계수에 따라 상기 축소 영상의 복수의 블록들 각각에 대해 컨볼루션을 수행하여 보간 할 수 있다(S604). 그러면 최종적으로, 확대된 블록 영상이 도출될 수 있다.
만약, 단계 S602에서, 최대 유사 블록의 오차가 미리 설정한 임계치보다 큰 경우, 영상 확대부(503)는 디폴트 보간 계수에 따라 상기 복수의 블록들 각각에 대해 컨볼루션을 수행하여 보간할 수 있다(S604). 이 때, 디폴트 보간 계수는 6-tab interpolation filter 또는 쌍삼차(bicubic) 보간 계수를 포함할 수 있다. 도 6의 과정은 한 픽쳐를 구성하는 모든 블록에 대해 동일하게 적용될 수 있다. 결국, 실제 입력 영상과 차이가 많이 발생하는 이상 블록에 대해서는 디폴트 보간 계수를 적용함으로써 화질의 급격한 열화를 방지할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 영상 복원 장치의 세부 구성을 도시한 도면이다.
도 7의 영상 복원 장치(102)의 필터 정보 추출부(701), 영상 복호화부(702), 영상 확대부(703)는 도 6의 영상 복원 장치(102)의 필터 정보 추출부(601), 영상 복호화부(602) 및 영상 확대부(603)과 대응하므로, 구체적인 설명은 이하에서 생략한다. 그리고, 도 7의 영상 복원 장치(102)는 필터 정보에 영역 플래그가 설정된 관심 블록이 포함된 경우 적용될 수 있다.
영상 분할부(704)는 복호화된 축소 영상을 복수의 블록들로 분할할 수 있다.
플래그 판단부(705)는 복수의 블록들 각각에 설정된 영역 플래그의 종류를 판단할 수 있다. 이 때, 영역 플래그는 관심 블록인지 또는 무관심 블록인지 여부를 나타내며, 필터 정보 추출부(701)가 추출한 필터 정보에 포함될 수 있다. 그러면, 영상 보간부(706)는 영역 플래그의 종류에 따라 복수의 블록들 각각에 대한 보간 계수를 다르게 설정하여 축소 영상을 보간할 수 있다. 영상 보간부(706)의 동작에 대해서는 도 8에서 보다 구체적으로 설명하기로 한다.
도 8은 본 발명의 다른 실시예에 따른 도 7의 영상 확대부의 동작을 설명하는 도면이다.
영상 확대부(703)는 복호화된 블록 각각에 설정된 영역 플래그의 종류를 판단할 수 있다(S801). 이 때, 복호화된 블록은 복호화된 축소 영상을 복수 개의 블록들로 분할되어 생성된 것이다.
만약, 영역 플래그가 관심 블록을 나타내는 경우(flag=1), 영상 확대부(703)는 복수의 블록들 각각에 대해 가장 유사한 관심 블록을 최대 유사 블록으로 선택할 수 있다(S802). 그러면, 영상 확대부(703)는 필터 정보에 포함된 필터 셋 테이 블에서 최대 유사 블록에 대응하는 보간 계수를 추출할 수 있다(S803). 즉, 영상 확대부(703)는 필터 셋 테이블에서 최대 유사 블록에 대응하는 필터를 호출할 수 있다. 이 후, 영상 확대부(703)는 추출한 보간 계수에 따라 복수의 블록들 각각에 대해 컨볼루션을 수행하여 보간할 수 있다(S804). 그러면 최종적으로, 확대된 블록 영상이 도출될 수 있다.
만약, 단계 S802에서, 영역 플래그가 무관심 블록을 나타내는 경우(flag=0), 영상 확대부(703)는 복수의 블록들 각각에 대해 디폴트 보간 계수에 따라 보간할 수 있다. 이 때, 디폴트 보간 계수는 6-tab interpolation filter 또는 쌍삼차(bicubic) 보간 계수를 포함할 수 있다. 도 8의 과정은 한 픽쳐를 구성하는 모든 블록에 대해 동일하게 적용될 수 있다. 결국, 실제 입력 영상과 차이가 많이 발생하는 이상 블록에 대해서는 디폴트 보간 계수를 적용함으로써 화질의 급격한 열화를 방지할 수 있다.
도 9는 본 발명의 일실시예에 따른 보간 계수를 재사용하는 과정을 도시한 도면이다.
동일 장면에 대한 픽쳐(picture)는 서로 유사한 특징을 가지고 있다. 따라서, 본 발명의 일실시예에 따른 영상 복원 장치(102)는 매 픽쳐마다 보간 계수를 결정하지 않고, 축소 영상을 구성하는 적어도 하나의 픽쳐 그룹의 첫번째 픽쳐인 인트라 픽쳐에 대한 보간 계수만 선택할 수 있다. 그러면, 영상 복원 장치(102)는 첫 번째 이후의 픽쳐에 대해서는 첫 번째 픽쳐에 대한 보간 계수를 재사용할 수 있다. 첫 번째 이후의 P-픽쳐나 B-픽쳐는 모션 벡터나 예측 모드를 가지고 있다.
모션 벡터와 예측 모드는 이전 픽쳐(901)의 매크로블록(903)을 가리킨다. 이전 픽쳐(901)의 매크로 블록(903)이 속한 블록 영상과 현재 픽쳐(902)의 블록(905) 사이의 오차가 미리 설정한 임계치 이하인 경우, 이전 픽쳐(901)의 블록 영상의 보간 계수를 현재 픽쳐(902)의 보간 계수로 사용할 수 있다. 보간 계수를 재사용함으로써, 비트 발생량이 감소될 수 있다.
도 10은 본 발명의 일실시예에 따른 필터 정보의 누적 방식을 도시한 도면이다.
도 10은 필터 정보에 포함된 필터 셋 테이블을 누적하여 사용하는 방법을 나타내고 있다. 축소 영상을 확대할 때 사용되는 필터 셋 테이블은 새롭게 전송된 필터 셋 테이블을 추가하여 크기를 확장할 수 있다. 새롭게 전송된 필터 셋 테이블은 이전 필터 셋 테이블의 대표 블록과 상관도가 낮은 블록들로 구성되어야 한다. 필터 셋 테이블의 크기는 점점 확장되다가 일정 크기를 초과하면, 가장 적게 호출된 대표 블록 순으로 제거되어 크기가 무한히 확장되는 것이 방지될 수 있다.
영상 압축 장치(101)는 시퀀스 헤더(1001, 1003)에 보간 계수를 부가적으로 전송할 수 있다. 영상의 압축 기본 단위는 픽쳐 그룹(Group Of Pictures: GOP)이며, GOP(1002, 1004)는 I-픽쳐(intra-picture)를 시작으로 여러 개의 P-픽쳐와 B-픽쳐로 구성된 픽쳐의 집합을 의미한다. I-픽쳐(1005)는 입력 영상으로부터 직접 압축된 영상이고, P-픽쳐와 B-픽쳐는 I-픽쳐(1005)를 기준으로 변환된 부분(움직인 부분)의 정보만 가지고 있는 픽쳐이다. GOP(1002, 1004) 내의 첫 번째 픽쳐인 I-픽쳐(1005)에 대해 필터 정보를 결정한 다음, 이후의 P-픽쳐와 B-픽쳐는 새로운 필 터 정보를 결정하지 않고, I-픽쳐(1005)의 필터 정보를 재사용한다. 이렇게 계산된 필터 정보는 엔트로피 코딩되어 시퀀스 헤더(1001, 1003)를 통해 영상 복원 장치(102)로 전송된다.
영상 복원 장치(102)는 GOP(1002) 내의 첫 번째 픽쳐인 I-픽쳐(1005)를 복원하기 위해 시퀀스 헤더(1001)에 포함된 필터 셋 테이블(FST1ST)에서 보간 계수를 결정한다. 그리고, 다음 GOP(1004) 내의 첫 번째 픽쳐인 I-픽쳐(1005)를 복원하기 위해, 영상 복원 장치(102)는 시퀀스 헤더(1001)에 포함된 필터 셋 테이블(FST1ST)를 재사용할 수 있다. 그리고, 영상 복원 장치(102)는 시퀀스 헤더(1001)에 포함된 필터 셋 테이블(FST1ST)와 시퀀스 헤더(1003)에 포함된 필터 셋 테이블(FST2nd)를 누적할 수 있다. 이러한 과정을 계속해서 반복되며, 누적된 필터 셋 테이블의 크기(FST1st U FST2nd U…U FSTNth)가 미리 설정한 크기를 초과하면 가장 적게 호출된 대표 블록의 필터 셋 테이블을 제거할 수 있다.
도 11은 본 발명의 일실시예에 따른 영상 압축 장치의 전체 동작을 도시한 도면이다.
영상 압축 장치(101)는 입력 영상에 대해 샘플링하여 영상을 축소할 수 있다(S1101). 그러면, 영상 압축 장치(101)는 입력 영상에 비해 해상도가 감소한 축소 영상을 생성할 수 있다. 축소 영상은 변환/양자화(S1102)를 통해 부호화되고, 다시 역양자화/역변환(S1104)를 통해 복호화될 수 있다. 복호화된 축소 영상은 프레임 메모리에 저장될 수 있다(S1105). 이 때, 축소 영상은 이전 픽쳐에서 복호 화된 축소 영상이 움직임 추정/움직임 보상(S1103)을 통해 생성된 예측 영상에 기초하여 부호화될 수 있다.
영상 압축 장치(101)는 복호화된 축소 영상에서 대표 블록 또는 관심 블록을 추출할 수 있다(S1106). 그리고, 영상 압축 장치(101)는 복호화된 축소 영상에 보간 계수를 적용한 결과 영상과 입력 영상 간에 오차가 최소화되는 대표 블록 또는 관심 블록의 보간 계수를 결정할 수 있다(S1106). 그리고, 관심 블록에 영역 플래그가 설정될 수 있다. 그러면, 대표 블록, 관심 블록, 보간 계수, 영역 플래그가 필터 정보로 결정될 수 있다. 이 후, 영상 압축 장치(101)는 필터 정보와 부호화된 축소 영상을 이용하여 엔트리피 코딩을 수행하여 비트 스트림을 생성할 수 있다(S1107).
도 12는 본 발명의 일실시예에 따른 영상 복원 장치의 전체 동작을 도시한 도면이다.
영상 복원 장치(102)는 비트 스트림을 엔트리피 코딩하여 부호화된 축소 영상과 필터 정보를 추출할 수 있다(S1201). 그리고, 영상 복원 장치(102)는 부호화된 축소 영상을 역양자화/역변환하여 복호화할 수 있다(S1202). 부호화된 축소 영상은 움직임 보상을 통해 피드백 될 수 있다(S1203). 이 후, 영상 복원 장치(102)는 필터 정보를 통해 복호화된 축소 영상을 보간하여 영상을 확대할 수 있다(S1204).
도 11 및 도 12에서 설명되지 않은 사항은 도 1 내지 도 10의 설명을 참고할 수 있다.
또한 본 발명의 일실시예에 따른 영상 압축 방법 및 영상 복원 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명의 일실시예는 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명의 일실시예는 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 일실시예는 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 따른 영상 압축 장치 및 영상 복원 장치의 전체 동작을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 영상 압축 장치의 세부 구성을 도시한 도면이다.
도 3은 본 발명의 다른 실시예에 따른 영상 압축 장치의 세부 구성을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 보간 계수를 결정하는 과정을 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 영상 복원 장치의 세부 구성을 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 도 5의 영상 확대부의 동작을 설명하는 도면이다.
도 7은 본 발명의 다른 실시예에 따른 영상 복원 장치의 세부 구성을 도시한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 도 7의 영상 확대부의 동작을 설명하는 도면이다.
도 9는 본 발명의 일실시예에 따른 보간 계수를 재사용하는 과정을 도시한 도면이다.
도 10은 본 발명의 일실시예에 따른 필터 정보의 누적 방식을 도시한 도면이 다.
도 11은 본 발명의 일실시예에 따른 영상 압축 장치의 전체 동작을 도시한 도면이다.
도 12는 본 발명의 일실시예에 따른 영상 복원 장치의 전체 동작을 도시한 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
201: 영상 축소부 202: 필터 정보 결정부
203: 비트스트림 생성부 204: 영상 분할부
205: 대표 블록 선정부 206: 필터 계수 결정부

Claims (31)

  1. 입력 영상에 대해 샘플링을 수행하여 해상도가 축소된 축소 영상을 생성하는 영상 축소부;
    상기 입력 영상과 복호화된 축소 영상을 이용하여 필터 정보를 결정하는 필터 정보 결정부; 및
    상기 축소 영상과 상기 필터 정보를 코딩하여 비트 스트림을 생성하는 비트 스트림 생성부
    를 포함하는 영상 압축 장치.
  2. 제1항에 있어서,
    상기 필터 정보 결정부는,
    상기 복호화된 축소 영상을 복수의 블록들로 분할하는 영상 분할부;
    상기 분할된 블록들에 대해 픽셀값이 유사한 블록으로 구성된 적어도 하나의 그룹을 형성하여 상기 그룹의 대표 블록을 선정하는 대표 블록 선정부; 및
    상기 입력 영상과 상기 복호화된 축소 영상을 이용하여 상기 대표 블록에 대해 보간 계수를 결정하는 보간 계수 결정부
    를 포함하는 영상 압축 장치.
  3. 제2항에 있어서,
    상기 대표 블록 선정부는,
    상기 그룹에 포함된 블록들 각각에 대해 나머지 블록과의 오차가 가장 작은 블록을 대표 블록으로 선정하는 것을 특징으로 하는 영상 압축 장치.
  4. 제1항에 있어서,
    상기 필터 정보 결정부는,
    상기 복호화된 축소 영상을 복수의 블록들로 분할하는 영상 분할부;
    상기 복수의 블록들 중 인간 시각이 주목하는 영상을 나타내는 관심 블록을 선정하는 관심 블록 선정부; 및
    상기 입력 영상과 상기 복호화된 축소 영상을 이용하여 상기 관심 블록에 대한 보간 계수를 결정하는 보간 계수 결정부
    를 포함하는 영상 압축 장치.
  5. 제4항에 있어서,
    상기 관심 블록 선정부는,
    상기 복수의 블록들 중 픽셀의 분산 또는 모멘트가 미리 설정한 임계치보다 큰 블록을 관심 블록으로 선정하는 것을 특징으로 하는 영상 압축 장치.
  6. 제4항에 있어서,
    상기 관심 블록 선정부는,
    상기 복수의 블록들에 대해 관심 블록을 구분하여 영역 플래그를 설정하는 것을 특징으로 하는 영상 압축 장치.
  7. 제2항 또는 제4항 중 어느 한 항에 있어서,
    상기 보간 계수 결정부는,
    상기 입력 영상과 상기 복호화된 축소 영상에 보간 계수가 적용한 결과 영상 간의 오차를 최소화하는 보간 계수를 결정하여 필터 셋 테이블을 생성하는 영상 압축 장치.
  8. 영상 압축 장치로부터 수신한 비트 스트림으로부터 필터 정보를 추출하는 필터 정보 추출부;
    상기 비트 스트림에 포함된 축소 영상을 복호화하는 영상 복호화부; 및
    상기 필터 정보에 따라 상기 복호화된 축소 영상의 해상도를 확대하는 영상 확대부
    를 포함하는 영상 복원 장치.
  9. 제8항에 있어서,
    상기 영상 확대부는,
    상기 복호화된 축소 영상을 복수의 블록들로 분할하는 영상 분할부;
    상기 복수의 블록들 각각에 대해 가장 유사한 대표 블록 또는 관심 블록을 최대 유사 블록으로 추출하는 블록 추출부; 및
    상기 최대 유사 블록의 오차와 미리 설정한 임계치를 비교한 결과에 따라 상기 복수의 블록들 각각의 보간 계수를 다르게 설정하여 보간하는 영상 보간부
    를 포함하는 영상 복원 장치.
  10. 제9항에 있어서,
    상기 대표 블록은,
    픽셀값이 유사한 블록들로 형성된 그룹에서 상기 블록들 각각에 대해 나머지 블록과의 오차가 가장 작은 블록이고,
    상기 관심 블록은,
    상기 축소 영상을 구성하는 복수의 블록들 중 픽셀의 분산 또는 모멘트가 미리 설정한 임계치보다 큰 블록인 것을 특징으로 하는 영상 복원 장치.
  11. 제9항에 있어서,
    상기 영상 보간부는,
    상기 최대 유사 블록의 오차가 미리 설정한 임계치보다 작은 경우, 상기 필터정보에 포함된 필터 셋 테이블에서 최대 유사 블록에 대응하는 보간 계수를 추출하여 상기 복수의 블록들 각각을 보간하고,
    상기 최대 유사 블록의 오차가 미리 설정한 임계치보다 큰 경우, 디폴트 보간 계수에 따라 상기 복수의 블록들 각각을 보간하는 것을 특징으로 하는 영상 복 원 장치.
  12. 제8항에 있어서,
    상기 영상 확대부는,
    상기 복호화된 축소 영상을 복수의 블록들로 분할하는 영상 분할부;
    상기 복수의 블록들 각각에 설정된 영역 플래그의 종류를 판단하는 플래그 판단부; 및
    상기 영역 플래그의 종류에 따라 상기 복수의 블록들 각각에 대한 보간 계수를 다르게 설정하여 상기 축소 영상을 보간하는 영상 보간부
    를 포함하는 영상 복원 장치.
  13. 제12항에 있어서,
    상기 영상 보간부는,
    상기 영역 플래그가 관심 블록을 나타내는 경우, 상기 복수의 블록들 각각에 대해 가장 유사한 관심 블록을 최대 유사 블록으로 선택하고, 상기 필터 정보에 포함된 필터 셋 테이블에서 상기 최대 유사 블록에 대응하는 보간 계수를 추출하여 상기 복수의 블록들 각각을 보간하고,
    상기 영역 플래그가 무관심 블록을 나타내는 경우, 상기 복수의 블록들 각각에 대해 디폴트 보간 계수에 따라 보간하는 것을 특징으로 하는 영상 복원 장치.
  14. 제9항 또는 12항 중 어느 한 항에 있어서,
    상기 영상 보간부는,
    상기 축소 영상을 구성하는 적어도 하나의 픽쳐 그룹에 대해 상기 필터 정보에 포함된 필터 셋 테이블을 재사용하여 보간 계수를 선택하는 것을 특징으로 하는 영상 복원 장치.
  15. 제14항에 있어서,
    상기 영상 보간부는,
    상기 픽쳐 그룹의 첫번째 픽쳐인 인트라 픽쳐에 대해 보간 계수를 결정하고, 첫번째 이후 픽쳐에 대해서는 픽쳐 그룹마다 새로운 필터 셋 테이블을 누적하여 보간 계수를 선택하는 것을 특징으로 하는 영상 복원 장치.
  16. 입력 영상에 대해 샘플링을 수행하여 해상도가 축소된 축소 영상을 생성하는 단계;
    상기 입력 영상과 복호화된 축소 영상을 이용하여 필터 정보를 결정하는 단계; 및
    상기 축소 영상과 상기 필터 정보를 코딩하여 비트 스트림을 생성하는 단계
    를 포함하는 영상 압축 방법.
  17. 제16항에 있어서,
    상기 필터 정보를 결정하는 단계는,
    상기 복호화된 축소 영상을 복수의 블록들로 분할하는 단계;
    상기 분할된 블록들에 대해 픽셀값이 유사한 블록으로 구성된 적어도 하나의 그룹을 형성하여 상기 그룹의 대표 블록을 선정하는 단계; 및
    상기 입력 영상과 상기 복호화된 축소 영상을 이용하여 상기 대표 블록에 대해 보간 계수를 결정하는 단계
    를 포함하는 영상 압축 방법.
  18. 제17항에 있어서,
    상기 대표 블록을 선정하는 단계는,
    상기 그룹에 포함된 블록들 각각에 대해 나머지 블록과의 오차가 가장 작은 블록을 대표 블록으로 선정하는 것을 특징으로 하는 영상 압축 방법.
  19. 제16항에 있어서,
    상기 필터 정보를 결정하는 단계는,
    상기 복호화된 축소 영상을 복수의 블록들로 분할하는 단계;
    상기 복수의 블록들 중 인간 시각이 주목하는 영상을 나타내는 관심 블록을 선정하는 단계; 및
    상기 입력 영상과 상기 복호화된 축소 영상을 이용하여 상기 관심 블록에 대한 보간 계수를 결정하는 단계
    를 포함하는 영상 압축 방법.
  20. 제19항에 있어서,
    상기 관심 블록을 선정하는 단계는,
    상기 복수의 블록들 중 픽셀의 분산 또는 모멘트가 미리 설정한 임계치보다 큰 블록을 관심 블록으로 선정하는 것을 특징으로 하는 영상 압축 방법.
  21. 제19항에 있어서,
    상기 관심 블록을 선정하는 단계는,
    상기 복수의 블록들에 대해 관심 블록을 구분하여 영역 플래그를 설정하는 것을 특징으로 하는 영상 압축 방법.
  22. 제17항 또는 제19항 중 어느 한 항에 있어서,
    상기 보간 계수를 결정하는 단계는,
    상기 입력 영상과 상기 복호화된 축소 영상에 보간 계수가 적용한 결과 영상 간의 오차를 최소화하는 보간 계수를 결정하여 필터 셋 테이블을 생성하는 영상 압축 방법.
  23. 영상 압축 방법으로부터 수신한 비트 스트림으로부터 필터 정보를 추출하는 단계;
    상기 비트 스트림에 포함된 축소 영상을 복호화하는 단계; 및
    상기 필터 정보에 따라 상기 복호화된 축소 영상의 해상도를 확대하는 단계
    를 포함하는 영상 복원 방법.
  24. 제23항에 있어서,
    상기 복호화된 축소 영상의 해상도를 확대하는 단계는,
    상기 복호화된 축소 영상을 복수의 블록들로 분할하는 단계;
    상기 복수의 블록들 각각에 대해 가장 유사한 대표 블록 또는 관심 블록을 최대 유사 블록으로 추출하는 단계; 및
    상기 최대 유사 블록의 오차와 미리 설정한 임계치를 비교한 결과에 따라 상기 복수의 블록들 각각의 보간 계수를 다르게 설정하여 상기 축소 영상을 보간하는 단계
    를 포함하는 영상 복원 방법.
  25. 제24항에 있어서,
    상기 대표 블록은,
    픽셀값이 유사한 블록들로 형성된 그룹에서 상기 블록들 각각에 대해 나머지 블록과의 오차가 가장 작은 블록이고,
    상기 관심 블록은,
    상기 축소 영상을 구성하는 복수의 블록들 중 픽셀의 분산 또는 모멘트가 미 리 설정한 임계치보다 큰 블록인 것을 특징으로 하는 영상 복원 방법.
  26. 제24항에 있어서,
    상기 보간하는 단계는,
    상기 최대 유사 블록의 오차가 미리 설정한 임계치보다 작은 경우, 상기 필터정보에 포함된 필터 셋 테이블에서 최대 유사 블록에 대응하는 보간 계수를 추출하여 상기 복수의 블록들 각각을 보간하는 단계; 및
    상기 최대 유사 블록의 오차가 미리 설정한 임계치보다 큰 경우, 디폴트 보간 계수에 따라 상기 복수의 블록들 각각을 보간하는 단계
    를 포함하는 영상 복원 방법.
  27. 제23항에 있어서,
    상기 복호화된 축소 영상의 해상도를 확대하는 단계는,
    상기 복호화된 축소 영상을 복수의 블록들로 분할하는 단계;
    상기 복수의 블록들 각각에 설정된 영역 플래그의 종류를 판단하는 단계; 및
    상기 영역 플래그의 종류에 따라 상기 복수의 블록들 각각에 대한 보간 계수를 다르게 설정하여 상기 축소 영상을 보간하는 단계
    를 포함하는 영상 복원 방법.
  28. 제27항에 있어서,
    상기 축소 영상을 보간하는 단계는,
    상기 영역 플래그가 관심 블록을 나타내는 경우, 상기 복수의 블록들 각각에 대해 가장 유사한 관심 블록을 최대 유사 블록으로 선택하고, 상기 필터 정보에 포함된 필터 셋 테이블에서 상기 최대 유사 블록에 대응하는 보간 계수를 추출하여 상기 복수의 블록들 각각을 보간하는 단계; 및
    상기 영역 플래그가 무관심 블록을 나타내는 경우, 상기 복수의 블록들 각각에 대해 디폴트 보간 계수에 따라 보간하는 단계
    를 포함하는 영상 복원 방법.
  29. 제24항 또는 27항 중 어느 한 항에 있어서,
    상기 축소 영상을 보간하는 단계는,
    상기 축소 영상을 구성하는 적어도 하나의 픽쳐 그룹에 대해 상기 필터 정보에 포함된 필터 셋 테이블을 재사용하여 보간 계수를 선택하는 것을 특징으로 하는 영상 복원 방법.
  30. 제29항에 있어서,
    상기 축소 영상을 보간하는 단계는,
    상기 픽쳐 그룹의 첫번째 픽쳐인 인트라 픽쳐에 대해 보간 계수를 결정하고, 첫번째 이후 픽쳐에 대해서는 픽쳐 그룹마다 새로운 필터 셋 테이블을 누적하여 보간 계수를 선택하는 것을 특징으로 하는 영상 복원 방법.
  31. 제16항 또는 제23항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
KR1020090105922A 2009-11-04 2009-11-04 필터 정보를 이용한 영상 압축 장치 및 방법과 영상 복원 장치 및 방법 KR101710883B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020090105922A KR101710883B1 (ko) 2009-11-04 2009-11-04 필터 정보를 이용한 영상 압축 장치 및 방법과 영상 복원 장치 및 방법
US12/926,233 US9172974B2 (en) 2009-11-04 2010-11-03 Apparatus and method of compressing and restoring image using filter information
EP10189950.8A EP2320655B1 (en) 2009-11-04 2010-11-04 Apparatus and method of compressing image using filter information
US14/922,462 US9736490B2 (en) 2009-11-04 2015-10-26 Apparatus and method of compressing and restoring image using filter information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090105922A KR101710883B1 (ko) 2009-11-04 2009-11-04 필터 정보를 이용한 영상 압축 장치 및 방법과 영상 복원 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110049079A true KR20110049079A (ko) 2011-05-12
KR101710883B1 KR101710883B1 (ko) 2017-02-28

Family

ID=43086231

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090105922A KR101710883B1 (ko) 2009-11-04 2009-11-04 필터 정보를 이용한 영상 압축 장치 및 방법과 영상 복원 장치 및 방법

Country Status (3)

Country Link
US (2) US9172974B2 (ko)
EP (1) EP2320655B1 (ko)
KR (1) KR101710883B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210154409A (ko) * 2020-06-12 2021-12-21 인천대학교 산학협력단 모바일 디지털 이미지 확대 필터 장치 및 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5665508B2 (ja) * 2010-11-30 2015-02-04 キヤノン株式会社 画像処理装置及び方法、並びにプログラム及び記憶媒体
KR102012944B1 (ko) * 2018-12-27 2019-08-22 한국방송공사 영상 송수신 장치 및 제어 방법
CN109947722B (zh) * 2019-02-13 2021-08-17 北京达佳互联信息技术有限公司 用于应用程序的数据压缩方法、装置和计算机可读存储介质
KR20210067783A (ko) 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치, 그 제어 방법 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11331613A (ja) * 1998-05-20 1999-11-30 Matsushita Electric Ind Co Ltd 階層型映像信号符号化装置と階層型映像信号復号化装置
EP1962513A1 (en) * 2007-02-26 2008-08-27 Vestel Elektronik Sanayi ve Ticaret A.S. Methods and apparatus for processing of a digital image
KR20090100402A (ko) * 2006-12-18 2009-09-23 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 압축 및 압축해제

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR1156507A (fr) 1956-07-23 1958-05-19 Revêtement préfabriqué et ses utilisations
FR1172472A (fr) 1956-07-23 1959-02-11 Perfectionnements aux procédés de protection des métaux contre la corrosion en milieu aqueux
US5418714A (en) * 1993-04-08 1995-05-23 Eyesys Laboratories, Inc. Method and apparatus for variable block size interpolative coding of images
EP0709809B1 (en) * 1994-10-28 2002-01-23 Oki Electric Industry Company, Limited Image encoding and decoding method and apparatus using edge synthesis and inverse wavelet transform
DE69836473T2 (de) * 1997-09-23 2007-09-20 Koninklijke Philips Electronics N.V. Bewegungsschätzung und bewegungskompensierte interpolation
US6574370B1 (en) * 1998-07-22 2003-06-03 Mitsubishi Denki Kabushiki Kaisha Image encoding system
JP4083934B2 (ja) * 1999-09-10 2008-04-30 株式会社東芝 画像処理装置および画像処理方法
DE19958553A1 (de) * 1999-12-04 2001-06-07 Luratech Ges Fuer Luft Und Rau Verfahren zur Kompression von gescannten Farb- und/oder Graustufendokumenten
US6968082B2 (en) * 2001-09-06 2005-11-22 Hewlett-Packard Development Company L.P. Resolution dependent image compression
US7127118B2 (en) * 2001-09-28 2006-10-24 Gregory Michael Burke System and method for compressing image files while preserving visually significant aspects
GB0128888D0 (en) * 2001-12-03 2002-01-23 Imagination Tech Ltd Method and apparatus for compressing data and decompressing compressed data
BRPI0304545B1 (pt) * 2002-01-14 2018-07-03 Nokia Technologies Oy Método de codificação das imagens em uma seqüência de vídeo digital para fornecer os dados de vídeo codificados, codificador de vídeo, método de decodificação dos dados indicativos de uma sequência de vídeo digital, decodificador de vídeo, e, sistema de codificação de vídeo
CA2430795A1 (en) 2002-05-31 2003-11-30 George V. Eleftheriades Planar metamaterials for controlling and guiding electromagnetic radiation and applications therefor
AU2003246987A1 (en) * 2002-07-09 2004-01-23 Nokia Corporation Method and system for selecting interpolation filter type in video coding
HUP0301368A3 (en) * 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
WO2005072337A2 (en) 2004-01-23 2005-08-11 Sarnoff Corporation Method and apparatus for digital video reconstruction
US7953152B1 (en) 2004-06-28 2011-05-31 Google Inc. Video compression and encoding method
US7260762B2 (en) * 2004-07-26 2007-08-21 Motorola, Inc. Decoder performance for block product codes
US7607073B1 (en) * 2004-08-04 2009-10-20 Marvell International Ltd. Methods, algorithms, software, circuits, receivers and systems for iteratively decoding a tailbiting convolutional code
JP4844331B2 (ja) * 2005-10-31 2011-12-28 コニカミノルタビジネステクノロジーズ株式会社 画像データの処理方法および装置
JP5203976B2 (ja) 2006-03-01 2013-06-05 アルカテル−ルーセント ユーエスエー インコーポレーテッド 無線通信システムの基地局において使用するためのメタ媒質フィルタ
US7482893B2 (en) 2006-05-18 2009-01-27 The Regents Of The University Of California Power combiners using meta-material composite right/left hand transmission line at infinite wavelength frequency
US7592957B2 (en) 2006-08-25 2009-09-22 Rayspan Corporation Antennas based on metamaterial structures
US7952526B2 (en) 2006-08-30 2011-05-31 The Regents Of The University Of California Compact dual-band resonator using anisotropic metamaterial
US8064975B2 (en) * 2006-09-20 2011-11-22 Nellcor Puritan Bennett Llc System and method for probability based determination of estimated oxygen saturation
US20080075165A1 (en) * 2006-09-26 2008-03-27 Nokia Corporation Adaptive interpolation filters for video coding
WO2008044511A1 (en) * 2006-10-12 2008-04-17 Kabushiki Kaisha Toshiba Method and apparatus for encoding image
KR100828948B1 (ko) 2006-10-30 2008-05-13 주식회사 이엠따블유안테나 인터디지털 커패시터, 인덕터, 및 이들을 이용한 전송 선로및 결합기
WO2008072500A1 (ja) * 2006-12-13 2008-06-19 Sharp Kabushiki Kaisha 動画像符号化装置および動画像復号装置
EP2127391A2 (en) * 2007-01-09 2009-12-02 Nokia Corporation Adaptive interpolation filters for video coding
US20080170766A1 (en) * 2007-01-12 2008-07-17 Yfantis Spyros A Method and system for detecting cancer regions in tissue images
KR100867129B1 (ko) 2007-02-05 2008-11-06 주식회사 이엠따블유안테나 Ｒｆ 스위치
JP4777274B2 (ja) * 2007-02-19 2011-09-21 キヤノン株式会社 映像再生装置及びその制御方法
KR101369224B1 (ko) * 2007-03-28 2014-03-05 삼성전자주식회사 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치
US7623083B2 (en) 2007-07-31 2009-11-24 Arcadyan Technology Corporation Planar antenna utilizing cascaded right-handed and left-handed transmission lines
KR100930196B1 (ko) 2007-08-29 2009-12-07 한양대학교 산학협력단 안테나 급전 회로 및 이를 이용한 안테나 장치
US8363719B2 (en) * 2007-10-29 2013-01-29 Canon Kabushiki Kaisha Encoding apparatus, method of controlling thereof, and computer program
TWI401840B (zh) 2007-11-13 2013-07-11 Tyco Electronics Services Gmbh 具有多層金屬化及接觸孔的超材料
KR101493325B1 (ko) * 2008-09-03 2015-02-16 삼성전자주식회사 정밀 움직임 예측을 기반으로 한 프레임 보간 장치 및 그 방법
JP2010226376A (ja) * 2009-03-23 2010-10-07 Toshiba Corp 画像復号装置およびコンピュータが実行可能なプログラム
EP2273796A3 (en) * 2009-06-09 2011-12-21 Thomson Licensing Method and device for coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11331613A (ja) * 1998-05-20 1999-11-30 Matsushita Electric Ind Co Ltd 階層型映像信号符号化装置と階層型映像信号復号化装置
KR20090100402A (ko) * 2006-12-18 2009-09-23 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 압축 및 압축해제
EP1962513A1 (en) * 2007-02-26 2008-08-27 Vestel Elektronik Sanayi ve Ticaret A.S. Methods and apparatus for processing of a digital image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
L. Shao, et al. Coding Artifacts Robust Resolution Up-conversion. IEEE International Conference on Image Processing 2007, Sep. 2007, pp.V-409 - V-412* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210154409A (ko) * 2020-06-12 2021-12-21 인천대학교 산학협력단 모바일 디지털 이미지 확대 필터 장치 및 방법

Also Published As

Publication number Publication date
US20160044328A1 (en) 2016-02-11
EP2320655A1 (en) 2011-05-11
US20110103702A1 (en) 2011-05-05
EP2320655B1 (en) 2018-01-10
US9736490B2 (en) 2017-08-15
US9172974B2 (en) 2015-10-27
KR101710883B1 (ko) 2017-02-28

Similar Documents

Publication Publication Date Title
CN108810536B (zh) 图像编码设备
JP5902814B2 (ja) 映像符号化方法および装置、映像復号方法および装置、及びそれらのプログラム
US10531094B2 (en) Image processing device and moving image transmission method
US20090147856A1 (en) Variable color format based video encoding and decoding methods and apparatuses
JP6042899B2 (ja) 映像符号化方法および装置、映像復号方法および装置、それらのプログラム及び記録媒体
JPWO2009063554A1 (ja) 符号化装置および復号装置
CN108353175B (zh) 使用系数引起的预测处理视频信号的方法和装置
US9736490B2 (en) Apparatus and method of compressing and restoring image using filter information
JP4973886B2 (ja) 動画像復号装置、復号画像記録装置、それらの方法及びプログラム
KR20160057311A (ko) 픽처 부호화 프로그램, 픽처 부호화 방법 및 픽처 부호화 장치 및 픽처 복호화 프로그램
JP4888919B2 (ja) 動画像符号化装置および動画像復号装置
KR102163477B1 (ko) 비디오 부호화 및 복호화 방법, 그를 이용한 장치
CN106028031B (zh) 视频编码装置和方法、视频解码装置和方法
CN110337809B (zh) 利用预扫描的基于块的视频解码方法以及其装置
JP5080304B2 (ja) 秘匿データが挿入された画像データの表示方式
JP4165752B2 (ja) 画像データへの秘匿データ挿入方式および秘匿データ検出方式
JP2006246351A (ja) 画像符号化装置および画像復号化装置
JP6265414B2 (ja) 映像符号化装置及び映像復号装置
KR20160102075A (ko) 블록킹 아티팩트의 가시성을 감소시키기 위한 비디오 신호 처리 방법 및 장치
KR20200004348A (ko) 타겟 영역 수정을 통해 비디오 신호를 처리하는 방법 및 장치
US11336889B2 (en) Moving image encoding device and method for reducing flicker in a moving image
JP4250553B2 (ja) 画像データ処理方法及び装置
WO2013073422A1 (ja) 動画像符号化装置
WO2012177015A2 (ko) 영상 부호화/복호화 방법 및 그 장치
WO2005062623A1 (ja) 動画像再生方法及び装置並びにプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 4