KR20100058201A - 비디오 신호의 부호화/복호화 장치 및 방법 - Google Patents

비디오 신호의 부호화/복호화 장치 및 방법 Download PDF

Info

Publication number
KR20100058201A
KR20100058201A KR1020080116931A KR20080116931A KR20100058201A KR 20100058201 A KR20100058201 A KR 20100058201A KR 1020080116931 A KR1020080116931 A KR 1020080116931A KR 20080116931 A KR20080116931 A KR 20080116931A KR 20100058201 A KR20100058201 A KR 20100058201A
Authority
KR
South Korea
Prior art keywords
image
template
filter coefficient
motion
filter
Prior art date
Application number
KR1020080116931A
Other languages
English (en)
Other versions
KR101098739B1 (ko
Inventor
신일홍
강정원
유정주
홍진우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020080116931A priority Critical patent/KR101098739B1/ko
Priority to US13/130,905 priority patent/US20110228854A1/en
Priority to PCT/KR2009/004576 priority patent/WO2010058895A2/en
Publication of KR20100058201A publication Critical patent/KR20100058201A/ko
Application granted granted Critical
Publication of KR101098739B1 publication Critical patent/KR101098739B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 신호의 부호화/복호화 장치 및 방법을 개시한다. 비디오 신호의 부호화 장치는 참조영상을 저장하는 참조 영상 저장부; 템플릿을 이용하여 입력영상과 상기 참조영상 간의 움직임을 추정하여 움직임 추정 정보를 생성하는 템플릿 움직임 추정부; 상기 움직임 추정 정보와 상기 참조영상을 이용하여 예측영상을 생성하고 상기 예측영상에서 템플릿을 이용한 필터계수를 계산하고 상기 필터계수를 이용하여 상기 예측영상을 필터링하는 적응적 움직임 보상부; 상기 입력영상과 상기 필터링한 예측영상과의 차인 차분영상을 정수 변환 및 양자화하는 변환 및 양자화부; 및, 상기 양자화한 차분영상을 엔트로피 부호화하여 생성한 영상 스트림을 출력하는 엔트로피 부호화부를 포함한다.
Figure P1020080116931
비디오 신호, 부호화, 복호호, 움직임 추정, 움직임 보상

Description

비디오 신호의 부호화/복호화 장치 및 방법{APPARATUS AND METHOD FOR ENCODING/DECODING A VIDEO SIGNAL}
본 발명은 비디오 신호의 부호화/복호화 장치 및 방법에 관한 것으로, 특히 부호화 또는 복호화를 할 때 템플릿을 이용하여 움직임 추정을 하고 템플릿을 이용한 적응적 움직임 보상을 하는 비디오 신호의 부호화/복호화 장치 및 방법에 관한 것이다.
본 발명은 지식경제부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2006-S-006-01, 과제명: 유무선 환경의 개방형 IPTV(IPTV 2.0) 기술개발].
H.264는 이전의 비디오 압축 표준인 MPEG-4 또는 H.263+에 비해 훨씬 높은 압축률을 제공하는 비디오 압축 표준으로서, H.264/AVC(Advanced Video Coding)라고도 불린다. 현재 H.264/AVC(Advanced Video Coding)를 사용한 다양한 서비스가 유료 또는 무료로 제공되고 있다. 무료 서비스로는 지상파 DMB(Digital Multimedia Broadcasting)가 있으며, 유로 서비스로는 통신사 서비스로 SKT의 June, KTF의 Fimm이 있으며 방송 서비스로 위성DMB가 있다. 앞으로도 H.264/AVC 코덱(Codec) 기반의 다양한 서비스가 사용자에게 제공될 것으로 생각된다.
H,264는 1Mbps 이하의 속도에서 DVD 수준의 고품질 비디오 데이터를 제공할 수 있으며, 이에 따라 무선, 위성 또는 ADSL을 통한 고속 인터넷 접속의 경우 30fps(frame per second)의 완전한 동영상 비디오 데이터를 제공할 수 있다.
또한 현재 MPEG-2 기반의 방송시스템도 H.264/AVC 기반의 방송시스템으로 바뀌게 된다면 현재 HD(High Definition)방송이 사용하고 있는 대역폭인 19.39Mbps를 사용하여 더욱 고화질로(MPEG-2 대비 약 2배) 방송할 수 있고, 채널 수를 늘린다면 약 두 배로 채널의 수를 늘릴 수 있게 된다.
H.264에서는 16*16 화소를 가지는 블록을 하나의 매크로 블록으로 하고, 이를 다양한 크기의 블록으로 나누어 처리하며, 보다 정확한 움직임 예측 및 보상을 수행하기 위해 화소 영역에서의 인트라 예측(intra prediction), 다양한 블록 크기, 다중 참조 화면, 율-왜곡 최적화 기법에 의해 매크로 블록 모드를 결정하여, 기존의 동영상 압축 표준에 비해 동일한 화질에서 50% 이상 비트 수를 절약할 수 있는 이점이 있다.
H.264는 상당한 효율을 가지는 비디오 코딩방법이지만 현재 더욱 향상된 압축률을 가지는 새로운 비디오 코덱에 대한 요구가 증대하고 있다. 이에 Joint video team(JVT)에서는 KTA(Key technology area) reference software를 제작하여 새로운 아이디어를 검증하고 있다.
기존의 H.264는 1/2, 1/4 화소 움직임 보상(MC)를 위한 FILTER 계수가 고정되어 있다. 하지만 근래의 H.264 코덱의 성능개선을 위해서 NON-SEPARABLE ADAPTIVE INTERPOLATION FILTER방법을 적용하여 성능을 개선하였다. 방법은 움직임 추정 후 만들어진 움직임 보상 영상과 현재 영상에서 선택된 움직임 벡터의 화소 (1,1/2,1/4)에 따라 적응적인 필터계수를 구해서 복호화 단에 전송하고 복호기에서는 그 필터 계수에 따라 움직임 보상 연산후 필터링(Filtering)을 한 후 참조 영상(Reference frame)을 만든다. 현재는 한 프레임 화면에 6x6 2D filter를 가정하여 전송한다. 하지만 이 방법은 한 프레임의 전체를 대상으로 하므로 변화가 심한 영상에 적용하면 그 효율이 높지가 않다.
본 발명은 비디오 신호의 부호화/복호화 장치 및 방법을 제공한다.
본 발명은 부호화 또는 복호화를 할 때 템플릿을 이용하여 움직임 추정을 하고 템플릿을 이용한 적응적 움직임 보상을 하는 비디오 신호의 부호화/복호화 장치 및 방법을 제공한다.
본 발명은 부호화 또는 복호화를 할 때 템플릿을 이용하여 움직임 추정을 하고 템플릿을 이용하여 움직임 보상 필터계수를 구하고 필터 계수를 이용하여 필터링하여 적응적 움직임 보상을 하는 비디오 신호의 부호화/복호화 장치 및 방법을 제공한다.
본 발명의 실시예에 따른 비디오 신호의 부호화 장치는, 참조영상을 저장하는 참조 영상 저장부; 템플릿을 이용하여 입력영상과 상기 참조영상 간의 움직임을 추정하여 움직임 추정 정보를 생성하는 템플릿 움직임 추정부; 상기 움직임 추정 정보와 상기 참조영상을 이용하여 예측영상을 생성하고 상기 예측영상에서 템플릿을 이용한 필터계수를 계산하고 상기 필터계수를 이용하여 상기 예측영상을 필터링하는 적응적 움직임 보상부; 상기 입력영상과 상기 필터링한 예측영상과의 차인 차분영상을 정수 변환 및 양자화하는 변환 및 양자화부; 및, 상기 양자화한 차분영상을 엔트로피 부호화하여 생성한 영상 스트림을 출력하는 엔트로피 부호화부를 포함 한다.
본 발명의 실시예에 따른 비디오 신호의 복호화 장치는, 입력 영상 스트림을 엔트리피 디코딩하는 엔트로피 복호화부; 상기 디코딩한 입력 영상 스트림을 역양자화 하고 역변환하여 복원된 차분영상을 획득하는 역변환 및 역양자화부; 예측영상과 상기 차분영상을 더한 영상을 디블록킹 필터링하여 출력영상을 생성하는 디블록킹 필터; 상기 출력영상을 예측영상을 위한 참조영상으로 저장하는 참조 영상 저장부; 템플릿을 이용하여 최근 상기 참조영상들 간의 움직임을 추정하여 움직임 추정 정보를 생성하는 템플릿 움직임 추정부; 및, 상기 움직임 추정 정보와 상기 참조영상을 이용하여 다음 예측영상을 생성하고 필터계수를 계산하고 상기 필터계수를 이용하여 상기 다음 예측영상을 필터링하는 적응적 움직임 보상부를 포함한다.
본 발명의 실시예에 따른 비디오 신호의 부호화 방법은, 부호화할 입력영상을 수신하면, 템플릿을 확인하고 입력영상과 참조영상을 이용하여 템플릿의 움직임을 추정하여 움직임 추정정보를 생성하는 단계; 상기 움직임 추정정보와 참조영상을 이용하여 예측영상을 생성하는 단계; 상기 예측영상에서 템플릿을 이용한 필터계수를 계산하는 단계; 상기 필터계수를 이용하여 상기 예측영상을 필터링하는 단계; 상기 입력영상과 상기 필터링한 예측영상과의 차를 계산하여 차분영상 생성하는 단계; 상기 차분영상을 정수 변환 및 양자화하는 단계; 및, 양자화한 차분영상을 엔트로피 부호화 하여 영상 스트림으로 출력하는 단계를 포함한다.
본 발명의 실시예에 따른 비디오 신호의 복호화 방법은, 입력 영상 스트림 수신하면 상기 입력 영상 스트림을 엔트리피 디코딩하는 단계; 상기 디코딩한 입력 영상 스트림을 역양자화 하고 역변환하여 복원된 차분영상를 획득하는 단계; 예측영상과 상기 차분영상을 더하고 디블럭킹 필터링한 출력영상을 생성하여 출력하는 단계; 상기 출력영상을 참조영상으로 저장하는 단계; 템플릿을 확인하고 저장된 최근 참조영상들을 이용하여 템플릿을 이용한 움직임을 추정하여 움직임 추정 정보를 생성하는 단계; 상기 움직임 추정 정보와 상기 참조영상을 이용하여 다음 예측영상을 생성하는 단계; 상기 다음 예측영상에서 템플릿을 이용한 필터계수를 계산하는 단계; 및, 상기 필터계수를 이용하여 상기 다음 예측영상을 필터링하는 단계를 포함한다.
본 발명은 부호화 또는 복호화를 할 때 템플릿을 이용하여 움직임 추정을 하고 템플릿을 이용하여 움직임 보상 필터계수를 구하고 필터 계수를 이용하여 필터링하여 적응적 움직임 보상을 하는 비디오 신호의 부호화/복호화 장치 및 방법에 관한 것으로, 템플릿을 이용하여 움직임을 추정함으로 움직임 벡터를 전송할 필요가 없고 측정하는 필터계수를 통해 적응적인 움직임 보상을 수행할 수 있다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 그리고 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설 명을 생략한다.
본 발명의 실시 예는 부호화 또는 복호화를 할 때 템플릿을 이용하여 움직임 추정을 하고 템플릿을 이용하여 움직임 보상 필터계수를 구하고 필터계수룰 이용하여 필터링하여 적응적 움직임 보상을 하는 비디오 신호의 부호화/복호화 장치 및 방법에 관한 것이다.
도 1은 본 발명의 실시예에 따른 부호화 장치의 구성을 도시한 도면이다.
도 1을 참조하면 부호화 장치는 부호화 제어부(110), 변환 및 양자화부(120), 엔트로피 부호화부(130), 역변환 및 역양자화부(140), 디블록킹 필터(150), 참조 영상 저장부(160), 템플릿 움직임 추정부(170), 적응적 움직임 보상부(180) 및 인트라 예측부(190)를 포함한다.
입력 영상을 인트라 프레임으로 처리하는 경우, 입력 영상은 부호화 제어부(110)를 거쳐 인트라 예측부(190)에서 예측 과정이 수행된다. 이후, 예측된 영상 신호는 변환 및 양자화부(120)에서 정수 변환 및 양자화가 이루어져 엔트로피 부호화부(130)를 통해 출력되는 한편, 역변환 및 역양자화부(140)와 디블록킹 필터(150)를 통과하여 참조 영상 저장부(160)에 저장되어 다음 프레임의 예측 과정에서 사용되게 된다.
한편, 본 발명의 실시 예에 따라 입력 영상을 인터 프레임(inter frame)으로 처리하는 경우, 템플릿 움직임 추정부(170)는 템플릿을 확인하고, 템플릿을 이용하여 입력영상과 참조 영상 저장부(160)에 저장된 참조영상 간의 움직임을 추정하고, 템플릿을 이용한 움직임 추정 정보를 적응적 움직임 보상부(180)로 제공한 다. 템플릿을 이용한 움직임 추정정보란 입력영상에서 기설정한 템플릿 영역과 가장 유사한 영역을 참조영상에서 검색하여 영상의 움직임을 추정한 정보이다. 본 발명에서 제안하는 템플릿은 아래 도 2를 통해 설명하고자 한다.
도 2는 본 발명의 실시예에 따른 부호화/복호화 장치에서 현재 매크로 블록에 대한 템플릿의 구성을 도시한 도면이다.
본 발명에서 제안하는 부호화/복호화 장치는 현재 매크로 블록(MB: Macro Block)(200)을 기준으로 Left MB(212), Upper-Left MB(214), Upper MB(216) 및, Upper-Right MB(218)을 템플릿으로 구성한다.
적응적 움직임 보상부(180)는 제공받은 움직임 추정 정보와 참조 영상 저장부(160)에 저장된 참조영상을 이용하여 예측영상을 생성하고, 예측영상에서 템플릿을 이용한 필터계수를 계산하고, 필터계수를 이용하여 예측영상을 필터링한다. 본 발명의 실시 예에 따른 적응적 움직임 보상부(180)를 아래에서 도 3을 참조하여 상세히 설명하고자 한다.
도 3은 본 발명의 실시예에 따른 부호화/복호화 장치에서 적응적 움직임 보상부의 구성을 도시한 도면이다. 도 3을 참조하면 적응적 움직임 보상부(180)는 움직임 보상부(310), 움직임 보상 필터계수 측정부(320) 및, 필터부(330)를 포함한다.
움직임 보상부(310)는 제공받은 움직임 추정 정보와 참조 영상 저장부(160)에 저장된 참조영상을 이용하여 예측영상을 생성하고, 생성한 예측영상을 움직임 보상 필터계수 측정부(320)로 제공한다.
움직임 보상 필터계수 측정부(320)는 제공받은 예측영상에서 현재 매크로 블록에 대한 템플릿을 이용하여 필터계수를 측정한다. 측정방법으로는 아래 <수학식 1>로 표현되는 최소 자승 추정 기법(Least square estimation)이 있다.
Figure 112008080867078-PAT00001
여기서, B는 현재 매크로 블록을 매트릭스(Matrix)로 표시한 것이고, H는 필터의 회선 커널(Convolution kernel)를 매트릭스로 표시한 것이고, Ti는 입력영상의 매크로 블록과 대응되는 참조영상의 매크로 블록이다.
이때, 움직임 보상 필터계수의 측정은 <수학식 1>을 최소화 시키는 H를 구하면 된다. 필터부(330)는 측정한 움직임 보상 필터계수를 이용하여 예측영상을 필터링한다.
변환 및 양자화부(120)는 입력영상과 필터링한 예측영상과의 차를 계산한 차분영상을 수신하여 차분영상을 정수 변환 및 양자화하여 엔트로피 부호화부(130)와 역변환 및 역양자화부(140)로 제공한다. 엔트로피 부호화부(130)는 양자화한 차분영상을 엔트로피 부호화 하여 생성한 영상 스트림을 출력한다.
한편, 역변환 및 역양자화부(140)는 양자화한 차분영상을 역변환 및 역양자화하여 차분영상을 다시 획득하고 한다. 참조 영상 저장부(160)는 차분영상과 입력영상을 더하여 생성한 참조영상을 저장한다.
도 4는 본 발명의 실시예에 따른 복호화 장치의 구성을 도시한 도면이다. 도 4를 참조하면 복호화 장치는 엔트로피 복호화부(410), 역변환 및 역양자화부(420), 디블록킹 필터(430), 참조 영상 저장부(440), 템플릿 움직임 추정부(450) 및, 적응적 움직임 보상부(460)를 포함한다.
엔트로피 복호화부(410)는 입력 영상 스트림을 엔트리피 디코딩하고, 역변환 및 역양자화부(420)는 디코딩한 입력 영상 스트림을 역양자화 하고 역변환하여 복원된 차분영상을 획득한다.
디블록킹 필터(430)는 블록 단위의 코딩에서 발생하는 블록의 경계 오차를 부드럽게 해주는 필터로서 예측영상과 차분영상을 더한 영상을 디블록킹 필터링하여 출력영상을 생성한다.
참조 영상 저장부(440)는 출력영상을 다음 예측영상을 위한 참조영상으로 저장한다.
템플릿 움직임 추정부(450)는 템플릿을 확인하고, 템플릿을 이용하여 참조 영상 저장부(440)에 저장된 최근 참조영상들 간의 움직임 추정하고, 템플릿을 이용한 움직임 추정 정보를 적응적 움직임 보상부(460)로 제공한다.
적응적 움직임 보상부(460)는 제공받은 움직임 추정 정보와 참조 영상 저장부(440)에 저장된 참조영상을 이용하여 예측영상을 생성하고, 예측영상에서 템플릿을 이용한 필터계수를 계산하고, 필터계수를 이용하여 예측영상을 필터링한다. 적응적 움직임 보상부(460)의 세부 구성은 상술한 도 3의 구성과 동일하다.
이하, 상기와 같이 구성된 본 발명에 따른 비디오 신호의 부호화/복호화 방법을 아래에서 도면을 참조하여 설명한다.
도 5는 본 발명의 실시예에 따른 부호화 장치에서 영상을 부호화 하는 과정을 도시한 흐름도이다.
도 5를 참조하면 부호화 장치는 500단계에서 부호화할 입력영상을 수신하면, 502단계로 진행하여 템플릿을 확인하고 입력영상과 참조영상을 이용하여 템플릿의 움직임을 추정하고, 504단계로 진행하여 템플릿을 이용한 움직임 추정정보와 참조영상을 이용하여 예측영상을 생성하고, 506단계로 진행하여 예측영상에서 템플릿을 이용한 필터계수를 계산하고, 508단계로 진행하여 필터계수를 이용하여 예측영상을 필터링한다.
이후, 부호화 장치는 510단계로 진행하여 현재의 입력영상과 필터링한 예측영상과의 차를 계산하여 차분영상 생성하고, 512단계로 진행하여 차분영상을 정수 변환 및 양자화하고, 514단계로 진행하여 양자화한 차분영상을 엔트로피 부호화 하여 영상 스트림으로 출력한다.
한편, 510단계 이후에 부호화 장치는 516단계로 진행하여 양자화한 차분영상을 역변환 및 역양자화하여 차분영상 획득하고, 518단계로 진행하여 차분영상과 현재의 입력영상을 더하여 다음 움직임 예측 및 보정을 위한 참조영상을 생성하여 저장한다.
도 6은 본 발명의 실시예에 따른 복호화 장치에서 영상 스트림을 복호화 하 는 과정을 도시한 흐름도이다.
도 6을 참조하면 복호화 장치는 600단계에서 입력 영상 스트림 수신하면, 602단계로 진행하여 입력 영상 스트림을 엔트리피 디코딩하고, 604단계로 진행하여 디코딩한 입력 영상 스트림을 역양자화 하고 역변환하여 복원된 차분영상을 획득하고, 606단계로 진행하여 이전 입력 스트림을 이용하여 예측하는 예측영상과 차분영상을 더하고 디블럭킹 필터링한 출력영상을 생성하여 출력한다.
한편, 복호화 장치는 608단계로 진행하여 출력영상을 참조영상으로 저장하고, 610단계로 진행하여 템플릿을 확인하고 최근 참조영상들을 이용하여 템플릿을 이용한 움직임을 추정한다.
610단계 이후 복호화 장치는 612단계로 진행하여 템플릿을 이용한 움직임 추정정보와 참조영상을 이용하여 다음 복호화를 위한 예측영상을 생성하고, 614단계로 진행하여 예측영상에서 템플릿을 이용한 필터계수를 계산하고, 616단계로 진행하여 필터계수를 이용하여 다음 입력영상 복호화를 위한 예측영상을 필터링한다.
저장매체의 안전한 데이터 관리를 위한 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 실시예에 따른 부호화 장치의 구성을 도시한 도면,
도 2는 본 발명의 실시예에 따른 부호화/복호화 장치에서 현재 매크로 블록에 대한 템플릿의 구성을 도시한 도면,
도 3은 본 발명의 실시예에 따른 부호화/복호화 장치에서 적응적 움직임 보상부의 구성을 도시한 도면,
도 4는 본 발명의 실시예에 따른 복호화 장치의 구성을 도시한 도면,
도 5는 본 발명의 실시예에 따른 부호화 장치에서 영상을 부호화 하는 과정을 도시한 흐름도 및,
도 6은 본 발명의 실시예에 따른 복호화 장치에서 영상 스트림을 복호화 하는 과정을 도시한 흐름도이다.

Claims (15)

  1. 참조영상을 저장하는 참조 영상 저장부;
    템플릿을 이용하여 입력영상과 상기 참조영상 간의 움직임을 추정하여 움직임 추정 정보를 생성하는 템플릿 움직임 추정부;
    상기 움직임 추정 정보와 상기 참조영상을 이용하여 예측영상을 생성하고 상기 예측영상에서 템플릿을 이용한 필터계수를 계산하고 상기 필터계수를 이용하여 상기 예측영상을 필터링하는 적응적 움직임 보상부;
    상기 입력영상과 상기 필터링한 예측영상과의 차인 차분영상을 정수 변환 및 양자화하는 변환 및 양자화부; 및
    상기 양자화한 차분영상을 엔트로피 부호화하여 생성한 영상 스트림을 출력하는 엔트로피 부호화부를 포함함을 특징으로 하는 비디오 신호의 부호화 장치.
  2. 제1항에 있어서, 상기 템플릿은,
    현재 매크로 블록을 기준으로 상단(upper), 왼쪽(left), 왼쪽상단(upper-left), 오른쪽상단(upper-right)에 위치하는 매크로 블록임을 특징으로 비디오 신호의 부호화 장치.
  3. 제1항에 있어서, 상기 적응적 움직임 보상부는,
    상기 움직임 추정 정보와 상기 참조영상을 이용하여 상기 예측영상을 생성하는 움직임 보상부;
    상기 예측영상에서 템플릿을 이용한 필터계수를 계산하는 움직임 보상 필터계수 측정부; 및
    상기 필터계수를 이용하여 상기 예측영상을 필터링하는 필터부를 포함함을 특징으로 하는 비디오 신호의 부호화 장치.
  4. 제3항에 있어서, 상기 움직임 보상 필터계수 측정부는,
    최소 자승 추정 기법(Least square estimation)을 이용하여 필터계수를 측정함을 특징으로 하는 비디오 신호의 부호화 장치.
  5. 입력 영상 스트림을 엔트리피 디코딩하는 엔트로피 복호화부;
    상기 디코딩한 입력 영상 스트림을 역양자화 하고 역변환하여 복원된 차분영상을 획득하는 역변환 및 역양자화부;
    예측영상과 상기 차분영상을 더한 영상을 디블록킹 필터링하여 출력영상을 생성하는 디블록킹 필터;
    상기 출력영상을 예측영상을 위한 참조영상으로 저장하는 참조 영상 저장 부;
    템플릿을 이용하여 최근 상기 참조영상들 간의 움직임을 추정하여 움직임 추정 정보를 생성하는 템플릿 움직임 추정부; 및
    상기 움직임 추정 정보와 상기 참조영상을 이용하여 다음 예측영상을 생성하고 필터계수를 계산하고 상기 필터계수를 이용하여 상기 다음 예측영상을 필터링하는 적응적 움직임 보상부를 포함함을 특징으로 하는 비디오 신호의 복호화 장치.
  6. 제5항에 있어서, 상기 템플릿은,
    현재 매크로 블록을 기준으로 상단(upper), 왼쪽(left), 왼쪽상단(upper-left), 오른쪽상단(upper-right)에 위치하는 매크로 블록임을 특징으로 비디오 신호의 복호화 장치.
  7. 제5항에 있어서, 상기 적응적 움직임 보상부는,
    상기 움직임 추정 정보와 상기 참조영상을 이용하여 상기 다음 예측영상을 생성하는 움직임 보상부;
    상기 다음 예측영상에서 템플릿을 이용한 필터계수를 계산하는 움직임 보상 필터계수 측정부; 및
    상기 필터계수를 이용하여 상기 다음 예측영상을 필터링하는 필터부를 포함 함을 특징으로 하는 비디오 신호의 복호화 장치.
  8. 제7항에 있어서, 상기 움직임 보상 필터계수 측정부는,
    최소 자승 추정 기법(Least square estimation)을 이용하여 필터계수를 측정함을 특징으로 하는 비디오 신호의 복호화 장치.
  9. 부호화할 입력영상을 수신하면, 템플릿을 확인하고 입력영상과 참조영상을 이용하여 템플릿의 움직임을 추정하여 움직임 추정정보를 생성하는 단계;
    상기 움직임 추정정보와 참조영상을 이용하여 예측영상을 생성하는 단계;
    상기 예측영상에서 템플릿을 이용한 필터계수를 계산하는 단계;
    상기 필터계수를 이용하여 상기 예측영상을 필터링하는 단계;
    상기 입력영상과 상기 필터링한 예측영상과의 차를 계산하여 차분영상 생성하는 단계;
    상기 차분영상을 정수 변환 및 양자화하는 단계; 및
    양자화한 차분영상을 엔트로피 부호화 하여 영상 스트림으로 출력하는 단계를 포함함을 특징으로 하는 비디오 신호의 부호화 방법.
  10. 제9항에 있어서,
    상기 차분영상과 상기 입력영상을 더하여 다음 움직임 보상을 위한 참조영상을 생성하여 저장하는 단계를 더 포함함을 특징으로 하는 비디오 신호의 부호화 방법.
  11. 제9항에 있어서, 상기 템플릿은,
    현재 매크로 블록을 기준으로 상단(upper), 왼쪽(left), 왼쪽상단(upper-left), 오른쪽상단(upper-right)에 위치하는 매크로 블록임을 특징으로 하는 비디오 신호의 부호화 방법.
  12. 제9항에 있어서, 상기 필터계수는,
    최소 자승 추정 기법(Least square estimation)을 이용하여 필터계수를 측정함을 특징으로 하는 비디오 신호의 부호화 방법.
  13. 입력 영상 스트림 수신하면 상기 입력 영상 스트림을 엔트리피 디코딩하는 단계;
    상기 디코딩한 입력 영상 스트림을 역양자화 하고 역변환하여 복원된 차분 영상를 획득하는 단계;
    예측영상과 상기 차분영상을 더하고 디블럭킹 필터링한 출력영상을 생성하여 출력하는 단계;
    상기 출력영상을 참조영상으로 저장하는 단계;
    템플릿을 확인하고 저장된 최근 참조영상들을 이용하여 템플릿을 이용한 움직임을 추정하여 움직임 추정 정보를 생성하는 단계;
    상기 움직임 추정 정보와 상기 참조영상을 이용하여 다음 예측영상을 생성하는 단계;
    상기 다음 예측영상에서 템플릿을 이용한 필터계수를 계산하는 단계; 및
    상기 필터계수를 이용하여 상기 다음 예측영상을 필터링하는 단계를 포함함을 특징으로 하는 비디오 신호의 복호화 방법.
  14. 제13항에 있어서, 상기 템플릿은,
    현재 매크로 블록을 기준으로 상단(upper), 왼쪽(left), 왼쪽상단(upper-left), 오른쪽상단(upper-right)에 위치하는 매크로 블록임을 특징으로 하는 비디오 신호의 복호화 방법.
  15. 제13항에 있어서, 상기 필터계수는,
    최소 자승 추정 기법(Least square estimation)을 이용하여 필터계수를 측정함을 특징으로 하는 비디오 신호의 복호화 방법.
KR1020080116931A 2008-11-24 2008-11-24 비디오 신호의 부호화/복호화 장치 및 방법 KR101098739B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020080116931A KR101098739B1 (ko) 2008-11-24 2008-11-24 비디오 신호의 부호화/복호화 장치 및 방법
US13/130,905 US20110228854A1 (en) 2008-11-24 2009-08-17 Apparatus and method for encoding/decoding a video signal
PCT/KR2009/004576 WO2010058895A2 (en) 2008-11-24 2009-08-17 Apparatus and method for encoding/decoding a video signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080116931A KR101098739B1 (ko) 2008-11-24 2008-11-24 비디오 신호의 부호화/복호화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100058201A true KR20100058201A (ko) 2010-06-03
KR101098739B1 KR101098739B1 (ko) 2011-12-23

Family

ID=42198613

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080116931A KR101098739B1 (ko) 2008-11-24 2008-11-24 비디오 신호의 부호화/복호화 장치 및 방법

Country Status (3)

Country Link
US (1) US20110228854A1 (ko)
KR (1) KR101098739B1 (ko)
WO (1) WO2010058895A2 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8577159B2 (en) * 2010-09-14 2013-11-05 Blackberry Limited Methods and devices for data compression with adaptive filtering in the transform domain
KR101442127B1 (ko) * 2011-06-21 2014-09-25 인텔렉추얼디스커버리 주식회사 쿼드트리 구조 기반의 적응적 양자화 파라미터 부호화 및 복호화 방법 및 장치
PL400344A1 (pl) * 2012-08-13 2014-02-17 Politechnika Poznanska Sposób wyznaczania predyktora wektora ruchu
WO2016091122A1 (en) * 2014-12-11 2016-06-16 Mediatek Inc. Method and apparatus of intra prediction in video coding
US10419755B2 (en) 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
CN106954070B (zh) * 2017-04-28 2023-04-11 河南工程学院 一种滑动像素块整数dct核心矩阵变换运动补偿器及方法
CN114097228B (zh) 2019-06-04 2023-12-15 北京字节跳动网络技术有限公司 具有几何分割模式编解码的运动候选列表
CN117395397A (zh) 2019-06-04 2024-01-12 北京字节跳动网络技术有限公司 使用临近块信息的运动候选列表构建
WO2021008513A1 (en) 2019-07-14 2021-01-21 Beijing Bytedance Network Technology Co., Ltd. Transform block size restriction in video coding
CN117596389A (zh) 2019-09-28 2024-02-23 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
WO2021101356A1 (ko) 2019-11-22 2021-05-27 한국전자통신연구원 참조 픽처의 해상도를 이용하는 비디오 처리 방법, 장치 및 기록 매체
WO2024039910A1 (en) * 2022-08-19 2024-02-22 Beijing Dajia Internet Information Technology Co., Ltd. Method and apparatus for adaptive motion compensated filtering

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6188795B1 (en) * 1996-06-13 2001-02-13 Dublin City University Data compression
US7599435B2 (en) * 2004-01-30 2009-10-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video frame encoding and decoding
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
US20070171987A1 (en) * 2006-01-20 2007-07-26 Nokia Corporation Method for optical flow field estimation using adaptive Filting
JP2010524383A (ja) * 2007-04-09 2010-07-15 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法及び装置
EP2048886A1 (en) * 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients

Also Published As

Publication number Publication date
US20110228854A1 (en) 2011-09-22
KR101098739B1 (ko) 2011-12-23
WO2010058895A2 (en) 2010-05-27
WO2010058895A3 (en) 2013-02-28

Similar Documents

Publication Publication Date Title
KR101098739B1 (ko) 비디오 신호의 부호화/복호화 장치 및 방법
KR102118718B1 (ko) 주변 블록이 갖는 방향성을 기초로 인트라 예측을 수행하는 비디오 인코딩 장치, 비디오 디코딩 장치 및 비디오 디코딩 방법
TWI401961B (zh) 藉由過濾器選擇之視訊編碼
US8897360B2 (en) Method and apparatus for encoding and decoding images by adaptively using an interpolation filter
JP5400876B2 (ja) ビデオ符号化のための、スライス依存性に基づくレート制御モデル適合化
AU2003201069C1 (en) Coding dynamic filters
KR100703788B1 (ko) 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
US9736475B2 (en) Method and apparatus for generating a reference frame and method and apparatus for encoding/decoding image using the same
JP5623640B2 (ja) 高解像度の参照フレームを用いるビデオコーディング
RU2668056C1 (ru) Устройство обработки изображения и способ обработки изображения
KR20160040486A (ko) 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
US20220030256A1 (en) Advanced video coding method, system, apparatus, and storage medium
JP2005354686A (ja) ビデオ内のマクロブロック毎に最適な符号化モードを選択するための方法およびシステム
US9420281B2 (en) Method and apparatus for encoding/decoding video using high-precision filter
JP2008507190A (ja) 動き補償方法
WO2006137709A1 (en) Video coding method and apparatus using multi-layer based weighted prediction
RU2340115C1 (ru) Способ кодирования видеосигналов и устройство, поддерживающее быстрый алгоритм точной масштабируемости по качеству
KR20130045784A (ko) 인터 예측 모드 스케일러블 코딩 방법 및 장치
JP4494803B2 (ja) 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置
KR20090090152A (ko) 영상의 부호화, 복호화 방법 및 장치
JP4784618B2 (ja) 動画像符号化装置、動画像復号化装置、動画像符号化プログラム、及び動画像復号化プログラム
JP4719854B2 (ja) 動画像符号化装置、動画像符号化プログラム、動画像復号化装置及び動画像復号化プログラム
KR101562343B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
JP5381571B2 (ja) 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
KR20180113868A (ko) 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재부호화 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee