KR20160003876A - 부호화 데이터가 기록된 기록 매체 - Google Patents

부호화 데이터가 기록된 기록 매체 Download PDF

Info

Publication number
KR20160003876A
KR20160003876A KR1020157035466A KR20157035466A KR20160003876A KR 20160003876 A KR20160003876 A KR 20160003876A KR 1020157035466 A KR1020157035466 A KR 1020157035466A KR 20157035466 A KR20157035466 A KR 20157035466A KR 20160003876 A KR20160003876 A KR 20160003876A
Authority
KR
South Korea
Prior art keywords
prediction
filter
unit
intra
block
Prior art date
Application number
KR1020157035466A
Other languages
English (en)
Other versions
KR101669388B1 (ko
Inventor
아키라 미네자와
슌이치 세키구치
？이치 세키구치
가즈오 스기모토
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=45892218&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20160003876(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20160003876A publication Critical patent/KR20160003876A/ko
Application granted granted Critical
Publication of KR101669388B1 publication Critical patent/KR101669388B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

인트라 예측부(4)가 프레임 내의 부호화 완료된 화상 신호를 이용하여, 프레임 내 예측 처리를 실시하는 것에 의해 인트라 예측 화상을 생성할 때, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 부호화에 따른 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 예측 화상에 대한 필터 처리를 실시한다. 이것에 의해, 국소적으로 발생하는 예측 오차를 저감하여, 화상 품질을 높일 수 있다.

Description

부호화 데이터가 기록된 기록 매체{STORAGE MEDIUM FOR ENCODED DATA}
본 발명은, 동화상을 고효율로 부호화를 행하는 동화상 부호화 장치 및 동화상 부호화 방법과, 고효율로 부호화되어 있는 동화상을 복호하는 동화상 복호 장치 및 동화상 복호 방법에 관한 것이다.
예컨대, MPEG(Moving Picture Experts Group)나 「ITU-T H. 26x」 등의 국제 표준 영상 부호화 방식에서는, 입력 영상 프레임을 직사각형의 블록(부호화 대상 블록)으로 분할하고, 그 부호화 대상 블록에 대하여, 부호화 완료된 화상 신호를 이용하는 예측 처리를 실시하는 것에 의해 예측 화상을 생성하고, 그 부호화 대상 블록과 예측 화상의 차분인 예측 오차 신호를 블록 단위로 직교 변환이나 양자화 처리를 행하는 것에 의해, 정보 압축을 행하도록 하고 있다.
예컨대, 국제 표준 방식인 AVC/H. 264(ISO/IEC 14496-10｜ITU-T H.264)에서는, 부호화 완료된 근방 화소로부터의 인트라 예측 처리 또는 근접 프레임간에서의 움직임 보상 예측 처리를 행하고 있다(예컨대, 비특허 문헌 1을 참조).
MPEG-4 AVC/H. 264에 있어서, 휘도의 인트라 예측 모드에서는, 블록 단위로, 복수의 예측 모드 중에서 1개의 예측 모드를 선택할 수 있다.
도 10은 휘도의 블록 사이즈가 4×4 화소의 경우의 인트라 예측 모드를 나타내는 설명도이다.
도 10에 있어서, 백색원이 부호화 대상의 블록 내의 화소이다. 흑색원은 예측에 이용하는 화소이고, 부호화 완료된 인접 블록 내의 화소이다.
도 10에서는, 인트라 예측 모드로서, 9개의 모드 0~모드 8이 준비되어 있지만, 모드 2는 평균값 예측을 행하는 모드이고, 위쪽과 왼쪽의 블록의 인접 화소의 평균값으로, 부호화 대상 블록 내의 화소를 예측한다.
모드 2 이외의 모드는 방향성 예측을 행하는 모드이다. 모드 0은 수직 방향 예측이고, 위쪽의 블록의 인접 화소를 수직 방향으로 반복하는 것에 의해 예측 화상을 생성한다. 예컨대, 세로줄무늬 모양일 때에는 모드 0이 선택된다.
모드 1은 수평 방향 예측이고, 왼쪽의 블록의 인접 화소를 수평 방향으로 반복하는 것에 의해 예측 화상을 생성한다. 예컨대, 가로줄무늬 모양일 때에는 모드 1이 선택된다.
모드 3~모드 8은, 위쪽 또는 왼쪽의 블록의 인접 화소를 이용하여, 소정의 방향(화살표가 나타내는 방향)으로 보간 화소를 생성하여 예측 화상을 생성한다.
인트라 예측을 적용하는 휘도의 블록 사이즈는, 4×4 화소, 8×8 화소, 16×16 화소 중에서 선택할 수 있고, 8×8 화소의 경우에는, 4×4 화소의 경우와 같이 9개의 인트라 예측 모드가 규정되어 있다.
16×16 화소의 경우에는, 4개의 인트라 예측 모드(평균값 예측, 수직 방향 예측, 수평 방향 예측, 평면 예측)가 규정되어 있다.
평면 예측은, 위쪽의 블록의 인접 화소와 왼쪽의 블록의 인접 화소를 사선 방향으로 내삽 보간하여 생성한 화소를 예측값으로 하는 모드이다.
블록 사이즈가 4×4 화소 또는 8×8 화소의 경우의 방향성 예측 모드는, 예컨대, 45도 등, 모드에 따라 미리 정해진 방향으로 예측값을 생성하기 때문에, 블록 내의 오브젝트의 경계(에지)의 방향이, 예측 모드가 나타내는 방향과 일치하는 경우, 예측 효율이 높아져 부호량을 삭감할 수 있다.
그러나, 에지의 방향과 예측 모드가 나타내는 방향의 사이에 약간 어긋남이 생기고 있거나, 방향이 일치하고 있더라도 부호화 대상 블록 내의 에지가 약간 비뚤어져(흔들림, 구부러짐 등) 있거나 하는 것만으로, 국소적으로 큰 예측 오차가 발생하여 버리고, 예측 효율이 극단적으로 저하되는 일이 있다.
이와 같은 예측 효율의 저하를 막기 위해, 8×8 화소의 방향성 예측에서는, 부호화 완료된 인접 화소에 평활화 필터를 실시한 것을 예측 화상의 생성시에 이용하는 참조 화상으로 하는 것에 의해, 평활화된 예측 화상을 생성하고, 예측 방향의 약간의 어긋남이나, 에지에 약간의 비뚤어짐이 생기고 있는 경우에 발생하는 예측 오차를 저감시키고 있다.
(선행 기술 문헌)
(비특허 문헌)
(비특허 문헌 1) MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H. 264 규격
종래의 화상 부호화 장치는 이상과 같이 구성되어 있으므로, 필터 처리를 실시하여, 평활화된 예측 화상을 생성하면, 예측 방향의 약간의 어긋남이나, 에지에 약간의 비뚤어짐이 생기더라도, 발생하는 예측 오차를 저감할 수 있다. 그러나, 비특허 문헌 1에서는, 8×8 화소의 블록 이외에는 필터 처리를 실시하고 있지 않고, 8×8 화소의 블록에 이용하는 필터도 1가지밖에 없다. 실제로는, 8×8 화소 이외의 사이즈의 블록에서도 마찬가지로, 예측 화상과 부호화 대상 화상의 패턴이 비슷하더라도, 에지의 약간의 미스매치에 의해, 국소적으로 큰 예측 오차가 발생하여, 예측 효율의 대폭 저하가 생기는 일이 있는 과제가 있었다.
또한, 동일 사이즈의 블록에 있어서도, 예측 오차 신호를 양자화할 때에 이용하는 양자화 파라미터나, 블록 내의 화소의 위치 등이 다르면, 국소적인 예측 오차를 저감하기에 적합한 필터가 다르지만, 1가지의 필터밖에 준비되어 있지 않아, 예측 오차를 충분히 저감할 수 없는 과제가 있었다.
본 발명은 상기와 같은 과제를 해결하기 위해 이루어진 것이고, 국소적으로 발생하는 예측 오차를 저감하여, 화상 품질을 높일 수 있는 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법 및 동화상 복호 방법을 얻는 것을 목적으로 한다.
본 발명에 따른 동화상 복호 장치는, 부호화 블록에 대한 부호화 모드가 인트라 부호화 모드인 경우, 부호화 블록의 예측 처리의 단위가 되는 블록마다 프레임 내 예측 처리를 실시하여 예측 화상을 생성하는 인트라 예측 수단을 구비하고, 인트라 예측 수단은, 인트라 예측 파라미터에 따라 참조 화소로부터 중간 예측값을 생성하고, 블록 내의 특정의 위치만 중간 예측값에 대한 필터 처리에 의해 얻어지는 값을 최종적인 예측값으로 하고, 블록 내의 그 밖의 위치에 대해서는 중간 예측값을 최종적인 예측값으로 하는 것이다.
본 발명에 의하면, 부호화 블록에 대한 부호화 모드가 인트라 부호화 모드인 경우, 부호화 블록의 예측 처리의 단위가 되는 블록마다 프레임 내 예측 처리를 실시하여 예측 화상을 생성하는 인트라 예측 수단을 구비하고, 인트라 예측 수단은, 인트라 예측 파라미터에 따라 참조 화소로부터 중간 예측값을 생성하고, 블록 내의 특정의 위치만 중간 예측값에 대한 필터 처리에 의해 얻어지는 값을 최종적인 예측값으로 하고, 블록 내의 그 밖의 위치에 대해서는 중간 예측값을 최종적인 예측값으로 하도록 구성했으므로, 국소적으로 발생하는 예측 오차를 저감하여, 화상 품질이 높은 동화상 부호화 장치측에서 생성된 인트라 예측 화상과 동일한 인트라 예측 화상을 동화상 복호 장치측에서도 생성할 수 있는 효과가 있다.
도 1은 본 발명의 실시의 형태 1에 따른 동화상 부호화 장치를 나타내는 구성도이다.
도 2는 본 발명의 실시의 형태 1에 따른 동화상 복호 장치를 나타내는 구성도이다.
도 3은 본 발명의 실시의 형태 1에 따른 동화상 부호화 장치의 처리 내용을 나타내는 플로차트이다.
도 4는 본 발명의 실시의 형태 1에 따른 동화상 복호 장치의 처리 내용을 나타내는 플로차트이다.
도 5는 최대 사이즈의 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 상태를 나타내는 설명도이다.
도 6(a)는 분할 후의 파티션의 분포를 나타내고, 도 6(b)는 계층 분할 후의 파티션에 부호화 모드 m(Bn)이 할당되는 상황을 4지 트리 그래프(quadtree graph)로 나타내는 설명도이다.
도 7은 부호화 블록 Bn 내의 각 파티션 Pi n에 있어서 선택 가능한 인트라 예측 파라미터(인트라 예측 모드)의 일례를 나타내는 설명도이다.
도 8은 lin=mi n=4일 때, 파티션 Pi n 내의 화소의 예측값을 생성할 때에 이용하는 화소의 일례를 나타내는 설명도이다.
도 9는 N=5의 경우의 참조 화소 배치의 일례를 나타내는 설명도이다.
도 10은 휘도의 블록 사이즈가 4×4 화소의 경우의 인트라 예측 모드를 나타내는 설명도이다.
이하, 본 발명을 보다 상세히 설명하기 위해, 본 발명을 실시하기 위한 형태에 대하여, 첨부의 도면에 따라 설명한다.
실시의 형태 1.
본 실시의 형태 1에서는, 영상의 각 프레임 화상을 입력하고, 부호화 완료된 근방 화소로부터의 인트라 예측 처리 또는 근접 프레임간에서 움직임 보상 예측 처리를 실시하는 것에 의해 예측 화상을 생성하고, 그 예측 화상과 프레임 화상의 차분 화상인 예측 오차 신호에 대하여, 직교 변환ㆍ양자화에 의한 압축 처리를 실시한 후에, 가변 길이 부호화를 행하여 비트스트림을 생성하는 동화상 부호화 장치와, 그 동화상 부호화 장치로부터 출력되는 비트스트림을 복호하는 동화상 복호 장치에 대하여 설명한다.
본 실시의 형태 1의 동화상 부호화 장치는, 영상 신호의 공간ㆍ시간 방향의 국소적인 변화에 적응하여, 영상 신호를 다양한 사이즈의 영역으로 분할하여 프레임 내(intra-frame)ㆍ프레임간(inter-frame) 적응 부호화를 행하는 것을 특징으로 하고 있다.
일반적으로 영상 신호는, 공간ㆍ시간적으로 신호의 복잡함이 국소적으로 변화하는 특성을 갖고 있다. 공간적으로 보면, 어느 특정 영상 프레임상에서는, 하늘이나 벽 등과 같은 비교적 넓은 화상 영역 중에서 균일한 신호 특성을 갖는 패턴도 있고, 인물이나 상세한 텍스처를 갖는 그림 등 작은 화상 영역 내에서 복잡한 텍스처 패턴을 갖는 패턴도 혼재하는 일이 있다.
시간적으로 보더라도, 하늘이나 벽은 국소적으로 시간 방향의 패턴의 변화가 작지만, 움직이는 인물이나 물체는 그 윤곽이 시간적으로 강체ㆍ비강체의 운동을 하기 때문에, 시간적인 변화가 크다.
부호화 처리는, 시간ㆍ공간적인 예측에 의해 신호 전력이나 엔트로피가 작은 예측 오차 신호를 생성하는 것에 의해, 전체 부호량을 삭감하지만, 예측을 위한 파라미터를 가능한 한 큰 화상 신호 영역에 균일하게 적용할 수 있으면, 그 파라미터의 부호량을 작게 할 수 있다.
한편, 시간적ㆍ공간적으로 변화가 큰 화상 신호 패턴에 대하여, 동일한 예측 파라미터를 적용하면, 예측의 오류가 늘어나기 때문에, 예측 오차 신호의 부호량을 삭감할 수 없다.
그래서, 시간적ㆍ공간적으로 변화가 큰 화상 신호 패턴에 대해서는, 예측 대상의 영역을 작게 하여, 예측을 위한 파라미터의 데이터량을 늘리더라도 예측 오차 신호의 전력ㆍ엔트로피를 저감하는 것이 바람직하다
이와 같은 영상 신호의 일반적인 성질에 적응한 부호화를 행하기 위해, 본 실시의 형태 1의 동화상 부호화 장치에서는, 소정의 최대 블록 사이즈로부터 계층적으로 영상 신호의 영역을 분할하여, 분할 영역마다 예측 처리나, 예측 오차의 부호화 처리를 실시하도록 하고 있다.
본 실시의 형태 1의 동화상 부호화 장치가 처리 대상으로 하는 영상 신호는, 휘도 신호와 2개의 색차 신호로 이루어지는 YUV 신호나, 디지털 촬상 소자로부터 출력되는 RGB 신호 등의 임의의 색공간의 컬러 영상 신호 외에, 모노크롬 화상 신호나 적외선 화상 신호 등, 영상 프레임이 수평ㆍ수직 2차원의 디지털 샘플(화소)열로 구성되는 임의의 영상 신호이다.
각 화소의 계조는 8비트이더라도 좋고, 10비트, 12비트 등의 계조이더라도 좋다.
단, 이하의 설명에 있어서는, 특별히 언급하지 않는 한, 입력되는 영상 신호가 YUV 신호인 것으로 한다. 또한, 2개의 색차 성분 U, V가 휘도 성분 Y에 대하여, 서브샘플된 4 : 2 : 0 포맷의 신호인 것으로 한다.
또, 영상의 각 프레임에 대응하는 처리 데이터 단위를 「픽쳐」라고 칭하고, 본 실시의 형태 1에서는, 「픽쳐」는 순차 주사(프로그레시브 스캔)된 영상 프레임의 신호로 하여 설명을 행한다. 단, 영상 신호가 인터레이스 신호인 경우, 「픽쳐」는 영상 프레임을 구성하는 단위인 필드 화상 신호이더라도 좋다.
도 1은 본 발명의 실시의 형태 1에 따른 동화상 부호화 장치를 나타내는 구성도이다.
도 1에 있어서, 부호화 제어부(1)는 인트라 예측 처리(프레임 내 예측 처리) 또는 움직임 보상 예측 처리(프레임간 예측 처리)가 실시될 때의 처리 단위가 되는 부호화 블록의 최대 사이즈를 결정함과 아울러, 최대 사이즈의 부호화 블록이 계층적으로 분할될 때의 상한의 계층수를 결정하는 처리를 실시한다.
또한, 부호화 제어부(1)는 이용 가능한 하나 이상의 부호화 모드(하나 이상의 인트라 부호화 모드, 하나 이상의 인터 부호화 모드) 중에서, 계층적으로 분할되는 각각의 부호화 블록에 적합한 부호화 모드를 선택하는 처리를 실시한다.
또한, 부호화 제어부(1)는 각각의 부호화 블록마다, 차분 화상이 압축될 때에 이용되는 양자화 파라미터 및 변환 블록 사이즈를 결정함과 아울러, 예측 처리가 실시될 때에 이용되는 인트라 예측 파라미터 또는 인터 예측 파라미터를 결정하는 처리를 실시한다. 양자화 파라미터 및 변환 블록 사이즈는, 예측 오차 부호화 파라미터에 포함되고, 변환ㆍ양자화부(7), 역양자화ㆍ역변환부(8) 및 가변 길이 부호화부(13) 등에 출력된다.
또, 부호화 제어부(1)는 부호화 제어 수단을 구성하고 있다.
블록 분할부(2)는 입력 화상을 나타내는 영상 신호를 입력하면, 그 영상 신호가 나타내는 입력 화상을 부호화 제어부(1)에 의해 결정된 최대 사이즈의 부호화 블록으로 분할함과 아울러, 부호화 제어부(1)에 의해 결정된 상한의 계층수에 이를 때까지, 그 부호화 블록을 계층적으로 분할하는 처리를 실시한다. 또, 블록 분할부(2)는 블록 분할 수단을 구성하고 있다.
전환 스위치(3)는 부호화 제어부(1)에 의해 선택된 부호화 모드가 인트라 부호화 모드이면, 블록 분할부(2)에 의해 분할된 부호화 블록을 인트라 예측부(4)에 출력하고, 부호화 제어부(1)에 의해 선택된 부호화 모드가 인터 부호화 모드이면, 블록 분할부(2)에 의해 분할된 부호화 블록을 움직임 보상 예측부(5)에 출력하는 처리를 실시한다.
인트라 예측부(4)는 전환 스위치(3)로부터 블록 분할부(2)에 의해 분할된 부호화 블록을 받으면, 프레임 내의 부호화 완료된 화상 신호를 이용하여, 부호화 제어부(1)로부터 출력된 인트라 예측 파라미터에 근거하여, 그 부호화 블록에 대한 프레임 내 예측 처리를 실시하는 것에 의해 예측 화상을 생성하는 처리를 실시한다.
단, 인트라 예측부(4)는 상기 예측 화상을 생성한 후, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 부호화에 따른 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 상기 예측 화상에 대한 필터 처리를 실시하여, 필터 처리 후의 예측 화상을 감산부(6) 및 가산부(9)에 출력한다.
상기 필터는, 다음의 4개의 파라미터 중 적어도 1개 이상의 파라미터를 고려하여 선택한다.
ㆍ파라미터(1)
상기 예측 화상의 블록 사이즈
ㆍ파라미터(2)
부호화 제어부(1)에 의해 결정된 양자화 파라미터
ㆍ파라미터(3)
예측 화상을 생성할 때에 이용하고 있는 프레임 내의 부호화 완료된 화상 신호와 필터 처리 대상 화소의 거리
ㆍ파라미터(4)
부호화 제어부(1)에 의해 결정된 인트라 예측 파라미터
또, 전환 스위치(3) 및 인트라 예측부(4)로 인트라 예측 수단이 구성되어 있다.
움직임 보상 예측부(5)는 블록 분할부(2)에 의해 분할된 부호화 블록에 적합한 부호화 모드로서, 부호화 제어부(1)에 의해 인터 부호화 모드가 선택된 경우, 움직임 보상 예측 프레임 메모리(12)에 의해 저장되어 있는 1프레임 이상의 참조 화상을 이용하여, 부호화 제어부(1)로부터 출력된 인터 예측 파라미터에 근거하여, 그 부호화 블록에 대한 움직임 보상 예측 처리를 실시하는 것에 의해 예측 화상을 생성하는 처리를 실시한다.
또, 전환 스위치(3) 및 움직임 보상 예측부(5)로 움직임 보상 예측 수단이 구성되어 있다.
감산부(6)는 블록 분할부(2)에 의해 분할된 부호화 블록으로부터, 인트라 예측부(4) 또는 움직임 보상 예측부(5)에 의해 생성된 예측 화상을 감산하는 것에 의해, 차분 화상(=부호화 블록-예측 화상)을 생성하는 처리를 실시한다. 또, 감산부(6)는 차분 화상 생성 수단을 구성하고 있다.
변환ㆍ양자화부(7)는 부호화 제어부(1)로부터 출력된 예측 오차 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 감산부(6)에 의해 생성된 차분 화상의 변환 처리(예컨대, DCT(이산 코사인 변환)나, 미리 특정한 학습 계열에 대하여 기저 설계가 이루어져 있는 KL 변환 등의 직교 변환 처리)를 실시함과 아울러, 그 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 그 차분 화상의 변환 계수를 양자화하는 것에 의해, 양자화 후의 변환 계수를 차분 화상의 압축 데이터로서 출력하는 처리를 실시한다. 또, 변환ㆍ양자화부(7)는 화상 압축 수단을 구성하고 있다.
역양자화ㆍ역변환부(8)는 부호화 제어부(1)로부터 출력된 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 변환ㆍ양자화부(7)로부터 출력된 압축 데이터를 역양자화하고, 그 예측 오차 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 역양자화의 압축 데이터의 역변환 처리(예컨대, 역DCT(역이산 코사인 변환)나, 역KL 변환 등의 역변환 처리)를 실시하는 것에 의해, 역변환 처리 후의 압축 데이터를 국소 복호 예측 오차 신호로서 출력하는 처리를 실시한다.
가산부(9)는 역양자화ㆍ역변환부(8)로부터 출력된 국소 복호 예측 오차 신호와 인트라 예측부(4) 또는 움직임 보상 예측부(5)에 의해 생성된 예측 화상을 나타내는 예측 신호를 가산하는 것에 의해, 국소 복호 화상을 나타내는 국소 복호 화상 신호를 생성하는 처리를 실시한다.
인트라 예측용 메모리(10)는 인트라 예측부(4)에 의해 다음의 인트라 예측 처리에서 이용되는 화상으로서, 가산부(9)에 의해 생성된 국소 복호 화상 신호가 나타내는 국소 복호 화상을 저장하는 RAM 등의 기록 매체이다.
루프 필터부(11)는 가산기(9)에 의해 생성된 국소 복호 화상 신호에 포함되어 있는 부호화 왜곡을 보상하고, 부호화 왜곡 보상 후의 국소 복호 화상 신호가 나타내는 국소 복호 화상을 참조 화상으로서 움직임 보상 예측 프레임 메모리(12)에 출력하는 처리를 실시한다.
움직임 보상 예측 프레임 메모리(12)는 움직임 보상 예측부(5)에 의해 다음의 움직임 보상 예측 처리에서 이용되는 참조 화상으로서, 루프 필터부(11)에 의한 필터링 처리 후의 국소 복호 화상을 저장하는 RAM 등의 기록 매체이다.
가변 길이 부호화부(13)는 변환ㆍ양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(1)로부터 출력된 부호화 모드 및 예측 오차 부호화 파라미터와, 인트라 예측부(4)로부터 출력된 인트라 예측 파라미터 또는 움직임 보상 예측부(5)로부터 출력된 인터 예측 파라미터를 가변 길이 부호화하여, 그 압축 데이터, 부호화 모드, 예측 오차 부호화 파라미터, 인트라 예측 파라미터/인터 예측 파라미터의 부호화 데이터가 다중화되어 있는 비트스트림을 생성하는 처리를 실시한다. 또, 가변 길이 부호화부(13)는 가변 길이 부호화 수단을 구성하고 있다.
도 2는 본 발명의 실시의 형태 1에 따른 동화상 복호 장치를 나타내는 구성도이다.
도 2에 있어서, 가변 길이 복호부(51)는 비트스트림에 다중화되어 있는 부호화 데이터로부터 계층적으로 분할되어 있는 각각의 부호화 블록에 대한 압축 데이터, 부호화 모드, 예측 오차 부호화 파라미터, 인트라 예측 파라미터/인터 예측 파라미터를 가변 길이 복호하여, 그 압축 데이터 및 예측 오차 부호화 파라미터를 역양자화ㆍ역변환부(55)에 출력함과 아울러, 그 부호화 모드 및 인트라 예측 파라미터/인터 예측 파라미터를 전환 스위치(52)에 출력하는 처리를 실시한다. 또, 가변 길이 복호부(51)는 가변 길이 복호 수단을 구성하고 있다.
전환 스위치(52)는 가변 길이 복호부(51)로부터 출력된 부호화 블록에 대한 부호화 모드가 인트라 부호화 모드인 경우, 가변 길이 복호부(51)로부터 출력된 인트라 예측 파라미터를 인트라 예측부(53)에 출력하고, 그 부호화 모드가 인터 부호화 모드인 경우, 가변 길이 복호부(51)로부터 출력된 인터 예측 파라미터를 움직임 보상 예측부(54)에 출력하는 처리를 실시한다.
인트라 예측부(53)는 프레임 내의 복호 완료된 화상 신호를 이용하여, 전환 스위치(52)로부터 출력된 인트라 예측 파라미터에 근거하여, 부호화 블록에 대한 프레임 내 예측 처리를 실시하는 것에 의해 예측 화상을 생성하는 처리를 실시한다.
단, 인트라 예측부(53)는 상기 예측 화상을 생성한 후, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 복호에 따른 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 상기 예측 화상에 대한 필터 처리를 실시하여, 필터 처리 후의 예측 화상을 가산부(56)에 출력한다.
상기 필터는, 다음의 4개의 파라미터 중 적어도 1개 이상의 파라미터를 고려하여 선택한다.
ㆍ파라미터(1)
상기 예측 화상의 블록 사이즈
ㆍ파라미터(2)
가변 길이 복호부(51)에 의해 가변 길이 복호된 양자화 파라미터
ㆍ파라미터(3)
예측 화상을 생성할 때에 이용하고 있는 프레임 내의 복호 완료된 화상 신호와 필터 처리 대상 화소의 거리
ㆍ파라미터(4)
가변 길이 복호부(51)에 의해 가변 길이 복호된 인트라 예측 파라미터
또, 전환 스위치(52) 및 인트라 예측부(53)로 인트라 예측 수단이 구성되어 있다.
움직임 보상 예측부(54)는 움직임 보상 예측 프레임 메모리(59)에 의해 저장되어 있는 1프레임 이상의 참조 화상을 이용하여, 전환 스위치(52)로부터 출력된 인터 예측 파라미터에 근거하여, 부호화 블록에 대한 움직임 보상 예측 처리를 실시하는 것에 의해 예측 화상을 생성하는 처리를 실시한다.
또, 전환 스위치(52) 및 움직임 보상 예측부(54)로 움직임 보상 예측 수단이 구성되어 있다.
역양자화ㆍ역변환부(55)는 가변 길이 복호부(51)로부터 출력된 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 가변 길이 복호부(51)로부터 출력된 부호화 블록에 대한 압축 데이터를 역양자화하고, 그 예측 오차 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 역양자화의 압축 데이터의 역변환 처리(예컨대, 역DCT(역이산 코사인 변환)나, 역KL 변환 등의 역변환 처리)를 실시하는 것에 의해, 역변환 처리 후의 압축 데이터를 복호 예측 오차 신호(압축 전의 차분 화상을 나타내는 신호)로서 출력하는 처리를 실시한다. 또, 역양자화ㆍ역변환부(55)는 차분 화상 생성 수단을 구성하고 있다.
가산부(56)는 역양자화ㆍ역변환부(55)로부터 출력된 복호 예측 오차 신호와 인트라 예측부(53) 또는 움직임 보상 예측부(54)에 의해 생성된 예측 화상을 나타내는 예측 신호를 가산하는 것에 의해, 복호 화상을 나타내는 복호 화상 신호를 생성하는 처리를 실시한다. 또, 가산부(56)는 복호 화상 생성 수단을 구성하고 있다.
인트라 예측용 메모리(57)는 인트라 예측부(53)에 의해 다음의 인트라 예측 처리에서 이용되는 화상으로서, 가산부(56)에 의해 생성된 복호 화상 신호가 나타내는 복호 화상을 저장하는 RAM 등의 기록 매체이다.
루프 필터부(58)는 가산기(56)에 의해 생성된 복호 화상 신호에 포함되어 있는 부호화 왜곡을 보상하고, 부호화 왜곡 보상 후의 복호 화상 신호가 나타내는 복호 화상을 참조 화상으로서 움직임 보상 예측 프레임 메모리(59)에 출력하는 처리를 실시한다.
움직임 보상 예측 프레임 메모리(59)는 움직임 보상 예측부(54)에 의해 다음의 움직임 보상 예측 처리에서 이용되는 참조 화상으로서, 루프 필터부(58)에 의한 필터링 처리 후의 복호 화상을 저장하는 RAM 등의 기록 매체이다.
도 1에서는, 동화상 부호화 장치의 구성 요소인 부호화 제어부(1), 블록 분할부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환ㆍ양자화부(7), 역양자화ㆍ역변환부(8), 가산부(9), 루프 필터부(11) 및 가변 길이 부호화부(13)의 각각이 전용 하드웨어(예컨대, CPU를 실장하고 있는 반도체 집적 회로, 혹은, 원 칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 동화상 부호화 장치가 컴퓨터로 구성되는 경우, 부호화 제어부(1), 블록 분할부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환ㆍ양자화부(7), 역양자화ㆍ역변환부(8), 가산부(9), 루프 필터부(11) 및 가변 길이 부호화부(13)의 처리 내용을 기술하고 있는 프로그램을 그 컴퓨터의 메모리에 저장하고, 그 컴퓨터의 CPU가 그 메모리에 저장되어 있는 프로그램을 실행하도록 하더라도 좋다.
도 3은 본 발명의 실시의 형태 1에 따른 동화상 부호화 장치의 처리 내용을 나타내는 플로차트이다.
도 2에서는, 동화상 복호 장치의 구성 요소인 가변 길이 복호부(51), 전환 스위치(52), 인트라 예측부(53), 움직임 보상 예측부(54), 역양자화ㆍ역변환부(55), 가산부(56) 및 루프 필터부(58)의 각각이 전용 하드웨어(예컨대, CPU를 실장하고 있는 반도체 집적 회로, 혹은, 원 칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 동화상 복호 장치가 컴퓨터로 구성되는 경우, 가변 길이 복호부(51), 전환 스위치(52), 인트라 예측부(53), 움직임 보상 예측부(54), 역양자화ㆍ역변환부(55), 가산부(56) 및 루프 필터부(58)의 처리 내용을 기술하고 있는 프로그램을 그 컴퓨터의 메모리에 저장하고, 그 컴퓨터의 CPU가 그 메모리에 저장되어 있는 프로그램을 실행하도록 하더라도 좋다.
도 4는 본 발명의 실시의 형태 1에 따른 동화상 복호 장치의 처리 내용을 나타내는 플로차트이다.
다음으로 동작에 대하여 설명한다.
최초로, 도 1의 동화상 부호화 장치의 처리 내용을 설명한다.
우선, 부호화 제어부(1)는, 인트라 예측 처리(프레임 내 예측 처리) 또는 움직임 보상 예측 처리(프레임간 예측 처리)가 실시될 때의 처리 단위가 되는 부호화 블록의 최대 사이즈를 결정함과 아울러, 최대 사이즈의 부호화 블록이 계층적으로 분할될 때의 상한의 계층수를 결정한다(도 3의 단계 ST1).
부호화 블록의 최대 사이즈의 결정 방법으로서, 예컨대, 모든 픽쳐에 대하여, 입력 화상의 해상도에 따른 사이즈로 결정하는 방법을 생각할 수 있다.
또한, 입력 화상의 국소적인 움직임의 복잡함의 차이를 파라미터로서 정량화하여 두고, 움직임이 심한 픽쳐에서는 최대 사이즈를 작은 값으로 결정하고, 움직임이 적은 픽쳐에서는 최대 사이즈를 큰 값으로 결정하는 방법 등을 생각할 수 있다.
상한의 계층수에 대해서는, 예컨대, 입력 화상의 움직임이 심할수록, 계층수를 깊게 하여, 보다 세밀한 움직임을 검출할 수 있도록 설정하고, 입력 화상의 움직임이 적으면, 계층수를 억제하도록 설정하는 방법을 생각할 수 있다.
또한, 부호화 제어부(1)는, 이용 가능한 하나 이상의 부호화 모드(M종류의 인트라 부호화 모드, N종류의 인터 부호화 모드) 중에서, 계층적으로 분할되는 각각의 부호화 블록에 적합한 부호화 모드를 선택한다(단계 ST2).
부호화 제어부(1)에 의한 부호화 모드의 선택 방법은 공지의 기술이기 때문에 상세한 설명을 생략하지만, 예컨대, 이용 가능한 임의의 부호화 모드를 이용하여, 부호화 블록에 대한 부호화 처리를 실시하여 부호화 효율을 검증하고, 이용 가능한 복수의 부호화 모드 중에서, 가장 부호화 효율이 좋은 부호화 모드를 선택하는 방법 등이 있다.
또한, 부호화 제어부(1)는, 각각의 부호화 블록마다, 차분 화상이 압축될 때에 이용되는 양자화 파라미터 및 변환 블록 사이즈를 결정함과 아울러, 예측 처리가 실시될 때에 이용되는 인트라 예측 파라미터 또는 인터 예측 파라미터를 결정한다.
부호화 제어부(1)는, 양자화 파라미터 및 변환 블록 사이즈를 포함하는 예측 오차 부호화 파라미터를 변환ㆍ양자화부(7), 역양자화ㆍ역변환부(8) 및 가변 길이 부호화부(13)에 출력한다. 또한, 예측 오차 부호화 파라미터를 필요에 따라 인트라 예측부(4)에 출력한다.
블록 분할부(2)는, 입력 화상을 나타내는 영상 신호를 입력하면, 그 영상 신호가 나타내는 입력 화상을 부호화 제어부(1)에 의해 결정된 최대 사이즈의 부호화 블록으로 분할함과 아울러, 부호화 제어부(1)에 의해 결정된 상한의 계층수에 이를 때까지, 그 부호화 블록을 계층적으로 분할한다.
여기서, 도 5는 최대 사이즈의 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 상태를 나타내는 설명도이다.
도 5의 예에서는, 최대 사이즈의 부호화 블록은, 제 0 계층의 부호화 블록 B0이고, 휘도 성분으로 (L0, M0)의 사이즈를 갖고 있다.
또한, 도 5의 예에서는, 최대 사이즈의 부호화 블록 B0을 출발점으로 하여, 4지 트리 구조로, 별도로 정하는 소정의 깊이까지 계층적으로 분할을 행하는 것에 의해, 부호화 블록 Bn을 얻고 있다.
깊이 n에 있어서는, 부호화 블록 Bn은 사이즈 (Ln, Mn)의 화상 영역이다.
단, Ln과 Mn은 같더라도 좋고 다르더라도 좋지만, 도 5의 예에서는 Ln=Mn의 케이스를 나타내고 있다.
이후, 부호화 블록 Bn의 사이즈는, 부호화 블록 Bn의 휘도 성분에 있어서의 사이즈 (Ln, Mn)으로 정의한다.
블록 분할부(2)는, 4지 트리 분할을 행하기 때문에, 항상 (Ln＋1, Mn＋1)=(Ln/2, Mn/2)가 성립한다.
단, RGB 신호 등과 같이, 모든 색성분이 동일 샘플수를 갖는 컬러 영상 신호(4 : 4 : 4 포맷)에서는, 모든 색성분의 사이즈가 (Ln, Mn)이 되지만, 4 : 2 : 0 포맷을 처리하는 경우, 대응하는 색차 성분의 부호화 블록의 사이즈는 (Ln/2, Mn/2)이다.
이후, 제 n 계층의 부호화 블록 Bn에서 선택할 수 있는 부호화 모드를 m(Bn)으로 적는다.
복수의 색성분으로 이루어지는 컬러 영상 신호의 경우, 부호화 모드 m(Bn)은, 색성분마다, 각각 개별 모드를 이용하도록 구성되더라도 좋지만, 이후, 특별히 언급하지 않는 한, YUV 신호, 4 : 2 : 0 포맷의 부호화 블록의 휘도 성분에 대한 부호화 모드를 가리키는 것으로 하여 설명을 행한다.
부호화 모드 m(Bn)에는, 하나 내지 복수의 인트라 부호화 모드(총칭하여 「INTRA」), 하나 내지 복수의 인터 부호화 모드(총칭하여 「INTER」)가 있고, 부호화 제어부(1)는, 상술한 바와 같이, 해당 픽쳐에서 이용 가능한 모든 부호화 모드 내지는, 그 서브셋 중에서, 부호화 블록 Bn에 대하여 가장 부호화 효율이 좋은 부호화 모드를 선택한다.
부호화 블록 Bn은, 도 5에 나타내는 바와 같이, 하나 내지 복수의 예측 처리 단위(파티션)로 더 분할된다.
이후, 부호화 블록 Bn에 속하는 파티션을 Pi n(i : 제 n 계층에 있어서의 파티션 번호)으로 표기한다.
부호화 블록 Bn에 속하는 파티션 Pi n의 분할이 어떻게 이루어지고 있는지는 부호화 모드 m(Bn) 중에 정보로서 포함된다.
파티션 Pi n은, 모두 부호화 모드 m(Bn)에 따라 예측 처리가 행해지지만, 파티션 Pi n마다, 개별 예측 파라미터를 선택할 수 있다.
부호화 제어부(1)는, 최대 사이즈의 부호화 블록에 대하여, 예컨대, 도 6에 나타내는 바와 같은 블록 분할 상태를 생성하여, 부호화 블록 Bn을 특정한다.
도 6(a)의 해칭 부분은 분할 후의 파티션의 분포를 나타내고, 또한, 도 6(b)는 계층 분할 후의 파티션에 부호화 모드 m(Bn)이 할당되는 상황을 4지 트리 그래프로 나타내고 있다.
도 6(b)에 있어서, □로 둘러싸여 있는 노드가, 부호화 모드 m(Bn)이 할당된 노드(부호화 블록 Bn)를 나타내고 있다.
전환 스위치(3)는, 부호화 제어부(1)가 각각의 부호화 블록 Bn의 파티션 Pi n에 대하여 최적의 부호화 모드 m(Bn)을 선택하면, 그 부호화 모드 m(Bn)이 인트라 부호화 모드이면(단계 ST3), 블록 분할부(2)에 의해 분할된 부호화 블록 Bn의 파티션 Pi n을 인트라 예측부(4)에 출력한다.
한편, 그 부호화 모드 m(Bn)이 인터 부호화 모드이면(단계 ST3), 블록 분할부(2)에 의해 분할된 부호화 블록 Bn의 파티션 Pi n을 움직임 보상 예측부(5)에 출력한다.
인트라 예측부(4)는, 전환 스위치(3)로부터 부호화 블록 Bn의 파티션 Pi n을 받으면, 프레임 내의 부호화 완료된 화상 신호를 이용하여, 부호화 제어부(1)로부터 출력된 인트라 예측 파라미터에 근거하여, 그 부호화 블록 Bn의 파티션 Pi n에 대한 프레임 내 예측 처리를 실시하는 것에 의해, 인트라 예측 화상 Pi n을 생성한다(단계 ST4).
단, 인트라 예측부(4)는, 상기 인트라 예측 화상 Pi n을 생성한 후, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 부호화에 따른 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 그 인트라 예측 화상 Pi n에 대한 필터 처리를 실시한다.
인트라 예측부(4)는, 인트라 예측 화상 Pi n에 대한 필터 처리를 실시하면, 필터 처리 후의 인트라 예측 화상 Pi n을 감산부(6) 및 가산부(9)에 출력하지만, 도 2의 동화상 복호 장치에서도 같은 인트라 예측 화상 Pi n을 생성할 수 있도록 하기 위해, 그 인트라 예측 파라미터를 가변 길이 부호화부(13)에 출력한다.
인트라 예측부(4)의 처리 내용의 개략은 상기와 같지만, 상세한 처리 내용은 후술한다.
움직임 보상 예측부(5)는, 전환 스위치(3)로부터 부호화 블록 Bn의 파티션 Pi n을 받으면, 움직임 보상 예측 프레임 메모리(12)에 의해 저장되어 있는 1프레임 이상의 참조 화상을 이용하여, 부호화 제어부(1)로부터 출력된 인터 예측 파라미터에 근거하여, 그 부호화 블록 Bn의 파티션 Pi n에 대한 움직임 보상 예측 처리를 실시하는 것에 의해 인터 예측 화상 Pi n을 생성한다(단계 ST5).
또, 움직임 보상 예측 처리를 실시하는 것에 의해 예측 화상을 생성하는 기술은 공지의 기술이기 때문에 상세한 설명을 생략한다.
감산부(6)는, 인트라 예측부(4) 또는 움직임 보상 예측부(5)가 예측 화상(인트라 예측 화상 Pi n, 인터 예측 화상 Pi n)을 생성하면, 블록 분할부(2)에 의해 분할된 부호화 블록 Bn의 파티션 Pi n으로부터, 인트라 예측부(4) 또는 움직임 보상 예측부(5)에 의해 생성된 예측 화상(인트라 예측 화상 Pi n, 인터 예측 화상 Pi n)을 감산하는 것에 의해 차분 화상을 생성하고, 그 차분 화상을 나타내는 예측 오차 신호 ei n을 변환ㆍ양자화부(7)에 출력한다(단계 ST6).
변환ㆍ양자화부(7)는, 감산부(6)로부터 차분 화상을 나타내는 예측 오차 신호 ei n을 받으면, 부호화 제어부(1)로부터 출력된 예측 오차 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 그 차분 화상의 변환 처리(예컨대, DCT(이산 코사인 변환)나, 미리 특정 학습 계열에 대하여 기저 설계가 이루어져 있는 KL 변환 등의 직교 변환 처리)를 실시함과 아울러, 그 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 그 차분 화상의 변환 계수를 양자화하는 것에 의해, 양자화 후의 변환 계수를 차분 화상의 압축 데이터로서 역양자화ㆍ역변환부(8) 및 가변 길이 부호화부(13)에 출력한다(단계 ST7).
역양자화ㆍ역변환부(8)는, 변환ㆍ양자화부(7)로부터 차분 화상의 압축 데이터를 받으면, 부호화 제어부(1)로부터 출력된 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 그 차분 화상의 압축 데이터를 역양자화하고, 그 예측 오차 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 역양자화의 압축 데이터의 역변환 처리(예컨대, 역DCT(역이산 코사인 변환)나, 역KL 변환 등의 역변환 처리)를 실시하는 것에 의해, 역변환 처리 후의 압축 데이터를 국소 복호 예측 오차 신호 ei n햇(전자 출원의 관계상, 알파벳 문자에 붙은 「＾」를 햇으로 표기한다)으로서 가산부(9)에 출력한다(단계 ST8).
가산부(9)는, 역양자화ㆍ역변환부(8)로부터 국소 복호 예측 오차 신호 ei n햇을 받으면, 그 국소 복호 예측 오차 신호 ei n햇과, 인트라 예측부(4) 또는 움직임 보상 예측부(5)에 의해 생성된 예측 화상(인트라 예측 화상 Pi n, 인터 예측 화상 Pi n)을 나타내는 예측 신호를 가산하는 것에 의해, 국소 복호 파티션 화상 Pi n햇 내지는 그 집합으로서의 국소 복호 부호화 블록 화상인 국소 복호 화상을 생성한다(단계 ST9).
가산부(9)는, 국소 복호 화상을 생성하면, 그 국소 복호 화상을 나타내는 국소 복호 화상 신호를 인트라 예측용 메모리(10)에 저장함과 아울러, 그 국소 복호 화상 신호를 루프 필터부(11)에 출력한다.
단계 ST3~ST9의 처리는, 계층적으로 분할된 모든 부호화 블록 Bn에 대한 처리가 완료될 때까지 반복 실시되고, 모든 부호화 블록 Bn에 대한 처리가 완료되면 단계 ST12의 처리로 이행한다(단계 ST10, ST11).
가변 길이 부호화부(13)는, 변환ㆍ양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(1)로부터 출력된 부호화 모드(부호화 블록의 분할 상태를 나타내는 정보를 포함한다) 및 예측 오차 부호화 파라미터와, 인트라 예측부(4)로부터 출력된 인트라 예측 파라미터 또는 움직임 보상 예측부(5)로부터 출력된 인터 예측 파라미터를 엔트로피 부호화한다.
가변 길이 부호화부(13)는, 엔트로피 부호화의 부호화 결과인 압축 데이터, 부호화 모드, 예측 오차 부호화 파라미터, 인트라 예측 파라미터/인터 예측 파라미터의 부호화 데이터를 다중화하여 비트스트림을 생성한다(단계 ST12).
루프 필터부(11)는, 가산기(9)로부터 국소 복호 화상 신호를 받으면, 그 국소 복호 화상 신호에 포함되어 있는 부호화 왜곡을 보상하고, 부호화 왜곡 보상 후의 국소 복호 화상 신호가 나타내는 국소 복호 화상을 참조 화상으로서 움직임 보상 예측 프레임 메모리(12)에 저장한다(단계 ST13).
루프 필터부(11)에 의한 필터링 처리는, 가산기(9)로부터 출력되는 국소 복호 화상 신호의 최대 부호화 블록 혹은 개개의 부호화 블록 단위로 행하더라도 좋고, 복수의 최대 부호화 블록을 합친 단위로 행하거나, 1픽쳐분의 국소 복호 화상 신호가 출력된 후에 1픽쳐분 합쳐 행하거나 하더라도 좋다.
다음으로, 인트라 예측부(4)의 처리 내용을 상세히 설명한다.
도 7은 부호화 블록 Bn 내의 각 파티션 Pi n에 있어서 선택 가능한 인트라 예측 파라미터(인트라 예측 모드)의 일례를 나타내는 설명도이다.
도 7의 예에서는, 인트라 예측 모드와, 그 인트라 예측 모드가 나타내는 예측 방향 벡터를 나타내고 있고, 선택 가능한 인트라 예측 모드의 개수가 늘어남에 따라, 예측 방향 벡터끼리의 상대 각도가 작아지도록 설계하고 있다.
인트라 예측부(4)는, 파티션 Pi n에 대한 인트라 예측 파라미터나, 인트라 예측 화상 Pi n의 생성에 사용하는 필터의 선택 파라미터에 근거하여, 파티션 Pi n에 대한 인트라 예측 처리를 실시한다.
이하, 파티션 Pi n의 휘도 신호에 대한 인트라 예측 파라미터(인트라 예측 모드)에 근거하여, 휘도 신호의 인트라 예측 신호를 생성하는 인트라 처리에 대하여 설명한다.
여기서는, 파티션 Pi n의 사이즈를 li n×mi n화소로 한다.
도 8은 li n=mi n=4일 때, 파티션 Pi n 내의 화소의 예측값을 생성할 때에 이용하는 화소의 일례를 나타내는 설명도이다.
도 8에서는, 파티션 Pi n에 인접하는 부호화 완료된 위쪽 파티션의 화소 (2×li n＋1)개와 왼쪽 파티션의 화소 (2×mi n)개를 예측에 이용하는 화소로 하고 있지만, 예측에 이용하는 화소는, 도 8에 나타내는 화소보다, 많더라도 적더라도 좋다.
또한, 도 8에서는, 인접하는 1행 또는 1열분의 화소를 예측에 이용하고 있지만, 2행 또는 2열, 혹은 그 이상의 화소를 예측에 이용하더라도 좋다.
파티션 Pi n에 대한 인트라 예측 모드의 인덱스값이 2(평균값 예측)인 경우에는, 위쪽 파티션의 인접 화소와 왼쪽 파티션의 인접 화소의 평균값을 파티션 Pi n 내의 화소의 예측값으로 하여 중간 예측 화상을 생성한다.
인트라 예측 모드의 인덱스값이 2(평균값 예측) 이외인 경우에는, 인덱스값이 나타내는 예측 방향 벡터 vp=(dx, dy)에 근거하여, 파티션 Pi n 내의 화소의 예측값을 생성한다.
단, 예측값을 생성하는 화소(예측 대상 화소)의 파티션 Pi n 내의 상대 좌표(파티션의 좌상 화소를 원점으로 한다)를 (x, y)로 한다.
예측에 이용하는 참조 화소의 위치는, 하기에 나타내는 A와 인접 화소의 교점이 된다.
Figure pat00001
참조 화소가 정수 화소 위치에 있는 경우는, 그 정수 화소를 예측 대상 화소의 예측값으로 한다.
한편, 참조 화소가 정수 화소 위치에 없는 경우는, 참조 화소에 인접하는 정수 화소로부터 생성되는 보간 화소를 예측값으로 한다.
도 8의 예에서는, 참조 화소가 정수 화소 위치에 없으므로, 참조 화소에 인접하는 2화소로부터 내삽하여 예측값을 산출한다. 단, 예측값은 인접하는 2화소에 한하는 것은 아니고, 인접하는 2화소 이상의 화소로부터 보간 화소를 생성하여 예측값으로 하더라도 좋다.
다음으로, 상기 수순에 의해 생성된 중간 예측 화상(예측값)에 대하여 필터 처리를 행하는 것에 의해 최종적인 예측 화상을 취득한다.
이하, 구체적인 필터 처리에 대하여 설명한다.
미리 준비되어 있는 적어도 하나 이상의 필터 중에서, 사용하는 필터를 후술하는 수법으로 선택하고, 중간 예측 화상의 각 화소에 대하여, 하기의 식(1)에 따라 필터 처리를 행한다.
Figure pat00002
식(1)에 있어서, an(n=0, 1, ㆍㆍㆍ, N)은, 참조 화소에 관계되는 계수 (a0, a1, …, aN-1)과 오프셋 계수 aN으로 구성되는 필터 계수이다.
pn(n=0, 1, …, N-1)은, 필터 처리 대상 화소 p0을 포함하는 필터의 참조 화소를 나타내고 있다.
s(pn)은 각 참조 화소의 휘도값, s햇(p0)은 필터 처리 대상 화소 p0에 있어서의 필터 처리 후의 휘도값을 나타내고 있다.
단, 필터 계수는 오프셋 계수 aN이 없는 것으로 하여 구성하더라도 좋다. 또한, N은 임의의 참조 화소수이다.
도 9는 N=5의 경우의 참조 화소 배치의 일례를 나타내는 설명도이다.
상기 필터 처리를 행할 때, 파티션 Pi n의 사이즈(li n×mi n)가 클수록, 입력 화상에 비직선적인 에지 등이 존재하기 쉬워지고, 중간 예측 화상의 예측 방향과의 어긋남이 생기기 쉽기 때문에, 중간 예측 화상을 평활화하는 것이 바람직하다.
또한, 예측 오차의 양자화값이 클수록, 복호 화상에 생기는 양자화 왜곡이 커지고, 파티션 Pi n에 인접하고 있는 부호화 완료된 화소로부터 생성된 중간 예측 화상의 예측 정확도가 낮아지기 때문에, 파티션 Pi n을 대략적으로 표현하는 평활화한 예측 화상을 준비하는 것이 바람직하다.
또한, 같은 파티션 Pi n 내의 화소에서도, 중간 예측 화상의 생성에 이용하는 파티션 Pi n에 인접하는 부호화 완료된 화소로부터 먼 화소일수록, 중간 예측 화상과 입력 화상의 사이에 에지 등의 어긋남이 생기기 쉽기 때문에, 예측 화상을 평활화하여, 어긋남이 생겼을 때의 급격한 예측 오차의 증가를 억제하도록 하는 것이 좋다.
또한, 필터의 강도뿐만 아니라, 필터의 참조 화소 배치에 대해서도, 중간 예측 화상의 예측 방향에 따라 참조 화소를 적절히 배치하여, 중간 예측 화상의 에지 등의 패턴이 부자연스럽게 비뚤어져 버리지 않도록 할 필요가 있다.
따라서, 필터 선택 처리에서는, 하기의 4개의 파라미터(1)~(4)를 고려하여, 필터를 선택하도록 구성한다.
(1) 파티션 Pi n의 사이즈(li n×mi n)
(2) 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터
(3) 중간 예측 화상의 생성시에 사용하는 부호화 완료된 화소(도 8에 나타내는 "예측에 이용하는 화소")군과 필터 처리 대상 화소의 거리
(4) 중간 예측 화상을 생성했을 때의 인트라 예측 모드의 인덱스값
구체적으로는, 파티션 Pi n의 사이즈(li n×mi n)가 클수록, 양자화 파라미터에 의해 정해지는 양자화값이 클수록, 필터 처리 대상 화소가 파티션 Pi n의 왼쪽 및 위쪽에 있는 중간 예측 화상의 생성시에 사용하는 부호화 완료된 화소군과의 거리가 멀어질수록, 평활화의 강도가 강한 필터를 이용하도록, 또한, 인트라 예측 모드의 예측 방향을 고려한 필터 강도 및 참조 화소 배치가 되도록 구성한다. 즉, 상기 파라미터의 조합의 각각에 대하여, 미리 준비한 필터군 중에서 적절한 필터를 대응시켜 두는 것에 의해, 상기 파라미터에 따른 필터의 적응 선택을 실현한다.
단, 필터 강도의 종류는 2종류 이상이면 몇 개이더라도 좋고, 필터의 강도의 표현으로서, 가장 약한 필터를 필터 처리 없음과 같은 처리로서 정의하더라도 좋다. 따라서, 중간 예측 화상 내의 특정 화소만 필터 처리가 행해지고, 그 이외의 화소는 가장 약한 필터 처리 즉 필터 처리 없음으로 하는 필터 처리를 구성하더라도 좋다.
또, 상기 설명에서는, 필요한 수의 필터를 미리 준비하여 두는 것을 전제로 설명하고 있지만, 상기 필터 선택 파라미터의 값에 따라 필터가 산출되도록 필터를 상기 필터 선택 파라미터의 함수로서 정의하여 이용하더라도 좋다.
또한, 상기 설명에서는, 4개의 파라미터(1)~(4)를 고려하여, 필터를 선택하도록 구성하는 것을 나타냈지만, 4개의 파라미터(1)~(4) 중, 적어도 1개 이상의 파라미터를 고려하여, 필터를 선택하도록 구성하더라도 좋다. 일례로서는, 상기 4개의 파라미터 중 (3)과 (4)를 고려하는 경우, 인트라 예측 모드의 예측 방향에 따라 각 필터 처리 대상 화소의 예측에 이용한 화소로부터의 거리(도 8의 예에서는, 블록의 상단에 인접하는 "참조 화소"와의 거리)가 멀어질수록, 강도가 강한 필터가 선택되는 구성을 들 수 있다.
또한, 4개의 파라미터(1)~(4)는 동화상 복호 장치측에서도 기지의 파라미터이기 때문에, 상기 필터 처리를 행하는 것에 의한 부호화해야 할 부가 정보는 일절 발생하지 않는다.
같은 수순으로, 파티션 Pi n 내의 휘도 신호의 모든 화소에 대한 예측 화소를 생성하고, 생성한 인트라 예측 화상 Pi n을 출력한다.
인트라 예측 화상 Pi n의 생성에 이용된 인트라 예측 파라미터는, 비트스트림에 다중화하기 위해 가변 길이 부호화부(13)에 출력한다.
파티션 Pi n 내의 색차 신호에 대해서도, 휘도 신호와 같은 수순으로, 인트라 예측 파라미터(인트라 예측 모드)에 근거하는 인트라 예측 처리를 실시하고, 인트라 예측 화상의 생성에 이용된 인트라 예측 파라미터를 가변 길이 부호화부(13)에 출력한다.
단, 색차 신호의 인트라 예측에 대해서는 상기에서 설명한 필터 처리를, 휘도 신호와 마찬가지로 행하는 것으로 하여 구성하더라도 좋고, 행하지 않는 것으로 하여 구성하더라도 좋다.
다음으로, 도 2의 동화상 복호 장치의 처리 내용을 설명한다.
가변 길이 복호부(51)는, 도 1의 화상 부호화 장치로부터 출력된 비트스트림을 입력하면, 그 비트스트림에 대한 가변 길이 복호 처리를 실시하여, 1프레임 이상의 픽쳐로 구성되는 시퀀스 단위 혹은 픽쳐 단위로 프레임 사이즈의 정보를 복호한다(도 4의 단계 ST21).
가변 길이 복호부(51)는, 도 1의 부호화 제어부(1)와 같은 수순으로, 인트라 예측 처리(프레임 내 예측 처리) 또는 움직임 보상 예측 처리(프레임간 예측 처리)가 실시될 때의 처리 단위가 되는 부호화 블록의 최대 사이즈를 결정함과 아울러, 최대 사이즈의 부호화 블록이 계층적으로 분할될 때의 상한의 계층수를 결정한다(단계 ST22).
예컨대, 화상 부호화 장치에 있어서, 부호화 블록의 최대 사이즈가, 입력 화상의 해상도에 따라 결정되고 있는 경우, 먼저 복호하고 있는 프레임 사이즈 정보에 근거하여 부호화 블록의 최대 사이즈를 결정한다.
또, 부호화 블록의 최대 사이즈 및 상한의 계층수를 나타내는 정보가 비트스트림에 다중화되어 있는 경우에는, 그 비트스트림으로부터 복호한 정보를 참조한다.
비트스트림에 다중화되어 있는 최대 사이즈의 부호화 블록 B0의 부호화 모드 m(B0)에는, 최대 사이즈의 부호화 블록 B0의 분할 상태를 나타내는 정보가 포함되어 있으므로, 가변 길이 복호부(51)는, 비트스트림에 다중화되어 있는 최대 사이즈의 부호화 블록 B0의 부호화 모드 m(B0)을 복호하여, 계층적으로 분할되어 있는 각각의 부호화 블록 Bn을 특정한다(단계 ST23).
가변 길이 복호부(51)는, 각각의 부호화 블록 Bn을 특정하면, 그 부호화 블록 Bn의 부호화 모드 m(Bn)을 복호하고, 그 부호화 모드 m(Bn)에 속하고 있는 파티션 Pi n의 정보에 근거하여, 부호화 블록 Bn에 속하고 있는 파티션 Pi n을 특정한다.
가변 길이 복호부(51)는, 부호화 블록 Bn에 속하고 있는 파티션 Pi n을 특정하면, 파티션 Pi n마다, 압축 데이터, 부호화 모드, 예측 오차 부호화 파라미터, 인트라 예측 파라미터/인터 예측 파라미터를 복호한다(단계 ST24).
즉, 부호화 블록 Bn에 할당된 부호화 모드 m(Bn)이 인트라 부호화 모드인 경우, 부호화 블록에 속하고 있는 파티션 Pi n마다 인트라 예측 파라미터를 복호한다.
부호화 블록 Bn에 할당된 부호화 모드 m(Bn)이 인터 부호화 모드인 경우, 부호화 블록에 속하고 있는 파티션 Pi n마다 인터 예측 파라미터를 복호한다.
예측 처리 단위가 되는 파티션은, 또한 예측 오차 부호화 파라미터에 포함되는 변환 블록 사이즈 정보에 근거하여, 변환 처리 단위가 되는 1개 내지 복수의 파티션으로 분할되고, 변환 처리 단위가 되는 파티션마다 압축 데이터(변환ㆍ양자화 후의 변환 계수)를 복호한다.
전환 스위치(52)는, 가변 길이 복호부(51)로부터 부호화 블록 Bn에 속하고 있는 파티션 Pi n의 부호화 모드 m(Bn)이 인트라 부호화 모드인 경우(단계 ST25), 가변 길이 복호부(51)로부터 출력된 인트라 예측 파라미터를 인트라 예측부(53)에 출력한다.
한편, 파티션 Pi n의 부호화 모드 m(Bn)이 인터 부호화 모드인 경우(단계 ST25), 가변 길이 복호부(51)로부터 출력된 인터 예측 파라미터를 움직임 보상 예측부(54)에 출력한다.
인트라 예측부(53)는, 전환 스위치(52)로부터 인트라 예측 파라미터를 받으면, 도 1의 인트라 예측부(4)와 같이, 프레임 내의 복호 완료된 화상 신호를 이용하여, 그 인트라 예측 파라미터에 근거하여, 부호화 블록 Bn의 파티션 Pi n에 대한 프레임 내 예측 처리를 실시하는 것에 의해 인트라 예측 화상 Pi n을 생성한다(단계 ST26).
단, 인트라 예측부(53)는, 인트라 예측 화상 Pi n을 생성할 때, 도 1의 인트라 예측부(4)와 동일한 수법으로 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 복호에 따른 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 그 인트라 예측 화상 Pi n에 대한 필터 처리를 실시하여, 필터 처리 후의 인트라 예측 화상 Pi n을 최종적인 인트라 예측 화상으로 하고 있다.
또, 상기 설명에서는, 필요한 수의 필터를 미리 준비하여 두는 것을 전제로 설명하고 있지만, 도 1의 인트라 예측부(4)가 필터 선택에 이용하는 파라미터의 상태에 따라 필터가 산출되도록 필터를 상기 파라미터의 함수로서 정의하고 있는 경우, 인트라 예측부(53)도 마찬가지로 상기 필터 처리 대상 블록의 복호에 따른 각종 파라미터의 상태에 따라 필터가 산출되도록 필터를 상기 파라미터의 함수로서 정의하도록 구성하더라도 좋다.
움직임 보상 예측부(54)는, 전환 스위치(52)로부터 인터 예측 파라미터를 받으면, 움직임 보상 예측 프레임 메모리(59)에 의해 저장되어 있는 1프레임 이상의 참조 화상을 이용하여, 그 인터 예측 파라미터에 근거하여, 부호화 블록 Bn의 파티션 Pi n에 대한 움직임 보상 예측 처리를 실시하는 것에 의해 인터 예측 화상 Pi n을 생성한다(단계 ST27).
역양자화ㆍ역변환부(55)는, 가변 길이 복호부(51)로부터 출력된 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 가변 길이 복호부(51)로부터 출력된 부호화 블록에 대한 압축 데이터를 역양자화하고, 그 예측 오차 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 역양자화의 압축 데이터의 역변환 처리(예컨대, 역DCT(역이산 코사인 변환)나, 역KL 변환 등의 역변환 처리)를 실시하는 것에 의해, 역변환 처리 후의 압축 데이터를 복호 예측 오차 신호(압축 전의 차분 화상을 나타내는 신호)로서 가산부(56)에 출력한다(단계 ST28).
가산부(56)는, 역양자화ㆍ역변환부(55)로부터 복호 예측 오차 신호를 받으면, 그 복호 예측 오차 신호와 인트라 예측부(53) 또는 움직임 보상 예측부(54)에 의해 생성된 예측 화상을 나타내는 예측 신호를 가산하는 것에 의해 복호 화상을 생성하여, 그 복호 화상을 나타내는 복호 화상 신호를 인트라 예측용 메모리(57)에 저장함과 아울러, 그 복호 화상 신호를 루프 필터부(58)에 출력한다(단계 ST29).
단계 ST23~ST29의 처리는, 계층적으로 분할된 모든 부호화 블록 Bn에 대한 처리가 완료될 때까지 반복 실시된다(단계 ST30).
루프 필터부(58)는, 가산기(56)로부터 복호 화상 신호를 받으면, 그 복호 화상 신호에 포함되어 있는 부호화 왜곡을 보상하고, 부호화 왜곡 보상 후의 복호 화상 신호가 나타내는 복호 화상을 참조 화상으로서 움직임 보상 예측 프레임 메모리(59)에 저장한다(단계 ST31).
루프 필터부(58)에 의한 필터링 처리는, 가산기(56)로부터 출력되는 복호 화상 신호의 최대 부호화 블록 혹은 개개의 부호화 블록 단위로 행하더라도 좋고, 1화면분의 매크로 블록에 상당하는 복호 화상 신호가 출력된 후에 1화면분 합쳐 행하더라도 좋다.
이상에서 분명한 것처럼, 본 실시의 형태 1에 따르면, 동화상 부호화 장치의 인트라 예측부(4)가 프레임 내의 부호화 완료된 화상 신호를 이용하여, 프레임 내 예측 처리를 실시하는 것에 의해 인트라 예측 화상을 생성할 때, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 부호화에 따른 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 예측 화상에 대한 필터 처리를 실시하도록 구성했으므로, 국소적으로 발생하는 예측 오차를 저감하여, 화상 품질을 높일 수 있는 효과를 얻는다.
또한, 본 실시의 형태 1에 따르면, 인트라 예측부(4)가, (1) 파티션 Pi n의 사이즈(li n×mi n), (2) 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터, (3) 중간 예측 화상의 생성시에 사용하는 부호화 완료된 화소군과 필터 처리 대상 화소의 거리, (4) 중간 예측 화상을 생성했을 때의 인트라 예측 모드의 인덱스값 중에서, 적어도 1개 이상의 파라미터를 고려하여, 필터를 선택하도록 구성했으므로, 부호화 대상 화상과 상관이 높은 중간 예측 화상에 대하여, 부호화 대상 화상의 에지의 방향과 예측 방향의 사이에 약간의 어긋남이 생기거나, 에지에 약간의 비뚤어짐이 존재하거나 하는 경우에 생기는 국소적인 예측 오차를 억제하는 효과를 얻을 수 있고, 예측 효율을 개선할 수 있는 효과를 얻는다.
본 실시의 형태 1에 따르면, 동화상 복호 장치의 인트라 예측부(53)가 프레임 내의 복호 완료된 화상 신호를 이용하여, 프레임 내 예측 처리를 실시하는 것에 의해 인트라 예측 화상을 생성할 때, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 복호에 따른 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 예측 화상에 대한 필터 처리를 실시하도록 구성했으므로, 국소적으로 발생하는 예측 오차를 저감하여, 동화상 부호화 장치측에서 생성된 인트라 예측 화상과 동일한 인트라 예측 화상을 동화상 복호 장치측에서도 생성할 수 있는 효과를 얻는다.
또한, 본 실시의 형태 1에 따르면, 인트라 예측부(53)가, (1) 파티션 Pi n의 사이즈(li n×mi n), (2) 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터, (3) 중간 예측 화상의 생성시에 사용하는 부호화 완료된 화소군과 필터 처리 대상 화소의 거리, (4) 중간 예측 화상을 생성했을 때의 인트라 예측 모드의 인덱스값 중에서, 적어도 1개 이상의 파라미터를 고려하여, 필터를 선택하도록 구성했으므로, 부호화 대상 화상과 상관이 높은 중간 예측 화상에 대하여, 부호화 대상 화상의 에지의 방향과 예측 방향의 사이에 약간의 어긋남이 생기거나, 에지에 약간의 비뚤어짐이 존재하거나 하는 경우에 생기는 국소적인 예측 오차를 억제하는 효과를 얻을 수 있고, 동화상 부호화 장치측에서 생성된 인트라 예측 화상과 동일한 인트라 예측 화상을 동화상 복호 장치측에서도 생성할 수 있는 효과를 얻는다.
실시의 형태 2.
상기 실시의 형태 1에서는, 인트라 예측부(4)가, 프레임 내의 부호화 완료된 화상 신호를 이용하여, 프레임 내 예측 처리를 실시하는 것에 의해 인트라 예측 화상을 생성할 때, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 부호화에 따른 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 예측 화상에 대한 필터 처리를 실시하는 것에 대하여 나타냈지만, 부호화 대상의 블록과 예측 화상 사이의 제곱오차합(sum of squared error)이 최소가 되는 위너 필터(Wiener filter)를 설계하고, 미리 준비되어 있는 하나 이상의 필터 중에서 선택하고 있는 필터를 이용하는 것보다, 상기 위너 필터를 이용하는 것이 예측 오차의 저감 정도가 높아지는 경우, 그 선택하고 있는 필터 대신에, 상기 위너 필터를 이용하여, 예측 화상에 대한 필터 처리를 실시하도록 하더라도 좋다
이하, 구체적으로 처리 내용을 설명한다.
상기 실시의 형태 1에서는, 인트라 예측부(4, 53)가, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 부호화에 따른 각종 파라미터의 상태에 따라 필터를 선택하도록 하고 있다. 그러나, 4개의 파라미터(1)~(4)를 고려하여, 필터를 선택하는 경우, 선택 후보 중에서 적절한 필터를 선택하는 것은 가능하지만, 선택 후보 이외에 최적의 필터가 존재하는 경우에는 "최적의 필터 처리"를 행할 수 없다.
본 실시의 형태 2에서는, 픽쳐 단위로 동화상 부호화 장치측에서, 최적의 필터를 설계하여 필터 처리를 실시함과 아울러, 그 필터의 필터 계수 등을 부호화하고, 동화상 복호 장치측에서, 그 필터 계수 등을 복호하는 것에 의해, 해당 필터를 이용한 필터 처리를 실시하도록 하고 있는 것을 특징으로 한다.
동화상 부호화 장치의 인트라 예측부(4)는, 상기 실시의 형태 1과 같이, 부호화 블록 Bn의 파티션 Pi n에 대한 프레임 내 예측 처리를 실시하는 것에 의해 인트라 예측 화상 Pi n을 생성한다.
또한, 인트라 예측부(4)는, 상기 실시의 형태 1과 같은 방법으로, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 부호화에 따른 각종 파라미터의 상태에 따라 필터를 선택하고, 이 필터를 이용하여 인트라 예측 화상 Pi n에 필터 처리를 행한다.
인트라 예측부(4)는, 픽쳐 내의 모든 부호화 블록 Bn에서 인트라 예측 파라미터가 결정된 후, 픽쳐 내에서 같은 필터가 이용된 영역(동일한 필터 인덱스를 갖는 영역)마다, 그 영역 내의 입력 화상과 인트라 예측 화상의 제곱오차합(대상 영역 내의 평균제곱오차(mean square error))이 최소가 되는 위너 필터를 설계한다.
위너 필터는, 중간 예측 화상 신호 s'의 자기 상관 행렬 Rs's'와, 입력 화상 신호 s와 중간 예측 화상 신호 s'의 상호 상관 행렬 Rss'에 의해, 하기의 식(4)로부터 필터 계수 w를 구할 수 있다. 행렬 Rs's', Rss'의 크기는, 구해지는 필터탭의 수에 대응한다.
Figure pat00003
인트라 예측부(4)는, 위너 필터를 설계하면, 그 위너 필터를 이용하여 필터 처리를 실시한 경우의 필터 설계 대상 영역 내의 제곱오차합을 D1, 그 위너 필터에 따른 정보(예컨대, 필터 계수)를 부호화했을 때의 부호량을 R1, 상기 실시의 형태 1과 같은 방법으로 선택하고 있는 필터를 이용하여 필터 처리를 실시한 경우의 필터 설계 대상 영역 내의 제곱오차합을 D2로 하여, 하기의 식(5)가 성립하는지 여부를 확인한다.
Figure pat00004
단, λ는 상수이다.
인트라 예측부(4)는, 식(5)가 성립하는 경우, 상기 실시의 형태 1과 같은 방법으로 선택하고 있는 필터 대신에, 그 위너 필터를 이용하여 필터 처리를 실시한다.
한편, 식(5)가 성립하지 않는 경우, 상기 실시의 형태 1과 같은 방법으로 선택하고 있는 필터를 이용하여 필터 처리를 실시한다.
여기서는, 제곱오차합 D1, D2를 이용하여 평가하고 있지만, 이것으로 한정되는 것은 아니고, 제곱오차합 D1, D2 대신에, 오차의 절대값합 등의 다른 예측의 왜곡을 나타내는 척도를 이용하여 평가하도록 하더라도 좋다.
인트라 예측부(4)는, 위너 필터를 이용하여 필터 처리를 실시하는 경우, 그 위너 필터의 필터 계수나, 어느 인덱스의 필터를, 위너 필터로 치환하고 있는지는 나타내는 필터 갱신 정보가 필요하게 된다.
구체적으로는, 필터 선택 파라미터를 이용한 필터 처리에 의해 선택 가능한 필터의 수를 L로 하고, 각 필터에 0~L-1의 인덱스를 할당하는 경우, 각각의 인덱스에 대하여, 설계한 위너 필터를 이용하는 경우에는 "1", 미리 준비되어 있는 필터를 이용하는 경우에는 "0"의 값을, 필터 갱신 정보로서 부호화할 필요가 있다.
가변 길이 부호화부(13)는, 인트라 예측부(4)로부터 출력된 필터 갱신 정보를 가변 길이 부호화하여, 그 필터 갱신 정보의 부호화 데이터를 비트스트림에 다중화한다.
여기서는, 픽쳐 내에서 같은 필터가 이용된 영역마다, 그 영역 내의 입력 화상과 예측 화상의 평균제곱오차가 최소가 되는 위너 필터를 설계하는 것을 나타냈지만, 픽쳐 단위가 아닌 다른 특정 영역 단위로, 같은 필터가 이용된 영역마다, 그 영역 내의 입력 화상과 예측 화상의 평균제곱오차가 최소가 되는 위너 필터를 설계하도록 구성하더라도 좋고, 어느 특정 픽쳐만, 필터 설계를 행하도록 하거나, 특정 조건에 해당하는 경우(예컨대, 신 체인지(scene change) 검출 기능을 부가하고, 신 체인지가 검출된 픽쳐의 경우)에 한해, 상기 필터 설계를 행하도록 하거나 하더라도 좋다.
동화상 복호 장치의 가변 길이 복호부(51)는, 비트스트림에 다중화되어 있는 부호화 데이터로부터 필터 갱신 정보를 가변 길이 복호한다.
인트라 예측부(53)는, 상기 실시의 형태 1과 같이, 부호화 블록 Bn의 파티션 Pi n에 대한 프레임 내 예측 처리를 실시하는 것에 의해 인트라 예측 화상 Pi n을 생성한다.
인트라 예측부(53)는, 가변 길이 복호부(51)로부터 필터 갱신 정보를 받으면, 그 필터 갱신 정보를 참조하여, 해당하는 인덱스의 필터에서의 갱신의 유무를 확인한다.
인트라 예측부(53)는, 그 확인의 결과, 어느 영역의 필터가, 위너 필터로 치환되어 있는 경우, 그 필터 갱신 정보에 포함되어 있는 위너 필터의 필터 계수를 읽어내어, 그 위너 필터를 특정하고, 그 위너 필터를 이용하여, 인트라 예측 화상 Pi n의 필터 처리를 실시한다.
한편, 위너 필터로 치환되어 있지 않은 영역에서는, 상기 실시의 형태 1과 같은 방법으로 필터를 선택하고, 그 필터를 이용하여, 인트라 예측 화상 Pi n의 필터 처리를 실시한다.
이상에서 분명한 것처럼, 본 실시의 형태 2에 따르면, 부호화 대상의 블록과 예측 화상 사이의 제곱오차합이 최소가 되는 위너 필터를 설계하고, 미리 준비되어 있는 하나 이상의 필터 중에서 선택하고 있는 필터를 이용하는 것보다, 그 위너 필터를 이용하는 것이 예측 오차의 저감 정도가 높아지는 경우, 그 선택하고 있는 필터 대신에, 그 위너 필터를 이용하여, 예측 화상에 대한 필터 처리를 실시하도록 구성했으므로, 상기 실시의 형태 1보다 국소적으로 발생하는 예측 오차를 더 저감할 수 있는 효과를 얻는다.
또, 본원 발명은 그 발명의 범위 내에 있어서, 각 실시의 형태의 자유로운 조합, 혹은 각 실시의 형태의 임의의 구성 요소의 변형, 또는 각 실시의 형태에 있어서 임의의 구성 요소의 생략이 가능하다.
(산업상이용가능성)
이상과 같이, 본 발명에 따른 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법 및 동화상 복호 방법은, 인트라 예측 수단이 프레임 내의 부호화 완료된 화상 신호를 이용하여, 프레임 내 예측 처리를 실시하는 것에 의해 예측 화상을 생성할 때, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 부호화에 따른 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 예측 화상에 대한 필터 처리를 실시하여, 필터 처리 후의 예측 화상을 차분 화상 생성 수단에 출력하도록 구성했으므로, 동화상을 고효율로 부호화를 행하는 동화상 부호화 장치 및 동화상 부호화 방법과, 고효율로 부호화되어 있는 동화상을 복호하는 동화상 복호 장치 및 동화상 복호 방법 등에 이용하는 것에 적합하다.
1 : 부호화 제어부(부호화 제어 수단)
2 : 블록 분할부(블록 분할 수단)
3 : 전환 스위치(인트라 예측 수단, 움직임 보상 예측 수단)
4 : 인트라 예측부(인트라 예측 수단)
5 : 움직임 보상 예측부(움직임 보상 예측 수단)
6 : 감산부(차분 화상 생성 수단)
7 : 변환ㆍ양자화부(화상 압축 수단)
8 : 역양자화ㆍ역변환부
9 : 가산부
10 : 인트라 예측용 메모리
11 : 루프 필터부
12 : 움직임 보상 예측 프레임 메모리
13 : 가변 길이 부호화부(가변 길이 부호화 수단)
51 : 가변 길이 복호부(가변 길이 복호 수단)
52 : 전환 스위치(인트라 예측 수단, 움직임 보상 예측 수단)
53 : 인트라 예측부(인트라 예측 수단)
54 : 움직임 보상 예측부(움직임 보상 예측 수단)
55 : 역양자화ㆍ역변환부(차분 화상 생성 수단)
56 : 가산부(복호 화상 생성 수단)
57 : 인트라 예측용 메모리
58 : 루프 필터부
59 : 움직임 보상 예측 프레임 메모리

Claims (1)

  1. 부호화 블록 또는 상기 부호화 블록을 분할한 서브 블록을 처리 블록으로 하고, 상기 처리 블록마다 예측 처리를 실시하여 생성되는 부호화 데이터가 기록된 기록 매체로서,
    상기 부호화 데이터는,
    상기 부호화 블록의 부호화 모드와,
    상기 부호화 모드가 인트라 부호화 모드인 경우, 인트라 예측의 종류를 나타내는 인트라 예측 파라미터와,
    상기 처리 블록의 크기를 나타내는 블록 사이즈와,
    상기 처리 블록의 화상과 상기 처리 블록에 예측 처리를 실시하여 생성되는 예측 화상과의 차분에 압축 처리를 행하여 생성되는 압축 데이터를 포함하고,
    상기 예측 화상은, 상기 부호화 모드가 인트라 부호화 모드인 경우, 상기 인트라 예측 파라미터에 따라 참조 화소로부터 예측값을 산출하고, 상기 블록 사이즈에 따라 상기 예측 화상에 있어서의 적어도 어느 화소의 예측값에 필터 처리를 행하여 생성되는 것을 특징으로 하는
    부호화 데이터가 기록된 기록 매체.
KR1020157035466A 2010-09-30 2011-07-21 부호화 데이터가 기록된 기록 매체 KR101669388B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010221471 2010-09-30
JPJP-P-2010-221471 2010-09-30
PCT/JP2011/004122 WO2012042720A1 (ja) 2010-09-30 2011-07-21 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020137010924A Division KR101580021B1 (ko) 2010-09-30 2011-07-21 화상 복호 장치, 화상 부호화 장치, 화상 부호화 방법 및 화상 복호 방법

Publications (2)

Publication Number Publication Date
KR20160003876A true KR20160003876A (ko) 2016-01-11
KR101669388B1 KR101669388B1 (ko) 2016-10-25

Family

ID=45892218

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020137010924A KR101580021B1 (ko) 2010-09-30 2011-07-21 화상 복호 장치, 화상 부호화 장치, 화상 부호화 방법 및 화상 복호 방법
KR1020147020866A KR101578318B1 (ko) 2010-09-30 2011-07-21 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법
KR1020147020864A KR101563835B1 (ko) 2010-09-30 2011-07-21 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법
KR1020147020850A KR101563833B1 (ko) 2010-09-30 2011-07-21 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법
KR1020147020862A KR101563834B1 (ko) 2010-09-30 2011-07-21 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법
KR1020157035466A KR101669388B1 (ko) 2010-09-30 2011-07-21 부호화 데이터가 기록된 기록 매체

Family Applications Before (5)

Application Number Title Priority Date Filing Date
KR1020137010924A KR101580021B1 (ko) 2010-09-30 2011-07-21 화상 복호 장치, 화상 부호화 장치, 화상 부호화 방법 및 화상 복호 방법
KR1020147020866A KR101578318B1 (ko) 2010-09-30 2011-07-21 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법
KR1020147020864A KR101563835B1 (ko) 2010-09-30 2011-07-21 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법
KR1020147020850A KR101563833B1 (ko) 2010-09-30 2011-07-21 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법
KR1020147020862A KR101563834B1 (ko) 2010-09-30 2011-07-21 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법

Country Status (13)

Country Link
US (5) US10291939B2 (ko)
EP (2) EP2624563A4 (ko)
JP (5) JP5503747B2 (ko)
KR (6) KR101580021B1 (ko)
CN (5) CN105516723B (ko)
BR (1) BR112013006501B1 (ko)
CA (5) CA3105771C (ko)
HK (3) HK1219593A1 (ko)
MX (2) MX2013003696A (ko)
RU (5) RU2608674C2 (ko)
SG (5) SG10201912003RA (ko)
TW (5) TWI566588B (ko)
WO (1) WO2012042720A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105516723B (zh) * 2010-09-30 2018-07-27 三菱电机株式会社 运动图像编码装置及方法、运动图像解码装置及方法
SG10202008690XA (en) 2011-01-12 2020-10-29 Mitsubishi Electric Corp Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method
SG10201902274SA (en) 2011-06-24 2019-04-29 Mitsubishi Electric Corp Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method
JP2013012895A (ja) * 2011-06-29 2013-01-17 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
CN107968945B (zh) * 2011-09-14 2021-09-14 三星电子株式会社 对视频进行解码的方法和对视频进行编码的方法
US9635359B2 (en) * 2011-11-28 2017-04-25 Canon Kabushiki Kaisha Method and apparatus for determining deblocking filter intensity
WO2015115644A1 (ja) * 2014-02-03 2015-08-06 三菱電機株式会社 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法
JP6221820B2 (ja) * 2014-02-25 2017-11-01 株式会社Ｊｖｃケンウッド 符号化装置、符号化方法および符号化プログラム
JP2016146572A (ja) * 2015-02-09 2016-08-12 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム
EP3276958A4 (en) * 2015-03-23 2018-08-29 LG Electronics Inc. Method for processing image on basis of intra prediction mode and apparatus therefor
JP6357133B2 (ja) * 2015-06-10 2018-07-11 日本電信電話株式会社 イントラ予測処理装置、イントラ予測処理方法、イントラ予測処理プログラム、画像符号化装置及び画像復号装置
CN105049846B (zh) * 2015-08-14 2019-05-21 广东中星微电子有限公司 图像和视频编解码的方法和设备
CN116760977A (zh) * 2015-08-20 2023-09-15 日本放送协会 图像编码装置、图像解码装置、和其程序
CN105872538B (zh) * 2016-04-18 2020-12-29 广东中星微电子有限公司 时域滤波方法和时域滤波装置
CN115037949A (zh) * 2016-05-27 2022-09-09 松下电器（美国）知识产权公司 编码方法、解码方法、及编码和解码方法
EP3509299B1 (en) * 2016-09-05 2024-05-01 Rosedale Dynamics LLC Image encoding/decoding method and device therefor
CA3227652A1 (en) 2016-10-04 2018-04-12 Kt Corporation Method and apparatus for processing video signal
US10681354B2 (en) * 2016-12-05 2020-06-09 Lg Electronics Inc. Image encoding/decoding method and apparatus therefor
CN110290384A (zh) * 2018-03-19 2019-09-27 华为技术有限公司 图像滤波方法、装置及视频编解码器
CN110650349B (zh) 2018-06-26 2024-02-13 中兴通讯股份有限公司 一种图像编码方法、解码方法、编码器、解码器及存储介质
CN113994671B (zh) 2019-06-14 2024-05-10 北京字节跳动网络技术有限公司 基于颜色格式处理视频单元边界和虚拟边界
KR20220020268A (ko) 2019-06-14 2022-02-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 유닛 경계들 및 가상 경계들의 처리
JP7291846B2 (ja) 2019-07-09 2023-06-15 北京字節跳動網絡技術有限公司 適応ループフィルタリングのためのサンプル決定
WO2021004542A1 (en) 2019-07-11 2021-01-14 Beijing Bytedance Network Technology Co., Ltd. Sample padding in adaptive loop filtering
EP3984219A4 (en) 2019-07-15 2022-08-17 Beijing Bytedance Network Technology Co., Ltd. CLASSIFICATION IN AN ADAPTIVE LOOP FILTERING
CN114430902B (zh) 2019-09-22 2023-11-10 北京字节跳动网络技术有限公司 自适应环路滤波中的填充过程
JP7326600B2 (ja) 2019-09-27 2023-08-15 北京字節跳動網絡技術有限公司 異なるビデオユニット間の適応ループフィルタリング
JP7454042B2 (ja) 2019-10-10 2024-03-21 北京字節跳動網絡技術有限公司 適応ループ・フィルタリングにおける利用可能でないサンプル位置でのパディング・プロセス
JP7524906B2 (ja) * 2019-10-31 2024-07-30 株式会社ソシオネクスト 動画像符号化方法、符号化処理方法、動画像符号化装置および符号化処理装置
US20220060702A1 (en) * 2020-08-21 2022-02-24 Alibaba Group Holding Limited Systems and methods for intra prediction smoothing filter

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US103475A (en) * 1870-05-24 Improvement in water-wheels
DE10158658A1 (de) * 2001-11-30 2003-06-12 Bosch Gmbh Robert Verfahren zur gerichteten Prädiktion eines Bildblockes
US7167522B2 (en) * 2003-02-27 2007-01-23 Texas Instruments Incorporated Video deblocking filter
US20040202921A1 (en) 2003-04-14 2004-10-14 Gencell Corporation Apparatus and method for addition of electrolyte to fuel cells
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
JP4699685B2 (ja) * 2003-08-21 2011-06-15 パナソニック株式会社 信号処理装置及びそれを用いた電子機器
US7412955B2 (en) * 2004-02-27 2008-08-19 Yamaha Hatsudoki Kabushiki Kaisha Engine component part and method for producing the same
KR100616164B1 (ko) 2004-05-12 2006-08-25 주식회사 대우일렉트로닉스 메디안 필터를 이용한 적응적인 영상 디인터레이스 장치및 그 방법
KR100813958B1 (ko) * 2004-06-07 2008-03-14 세종대학교산학협력단 동영상의 무손실 인코딩 및 디코딩 방법, 그 장치
EP1765020A4 (en) * 2004-06-14 2010-10-06 Jbf Partners Inc METHOD FOR ENCODING MOVING IMAGES AND METHOD FOR DECODING MOVING IMAGES
JP2006032999A (ja) * 2004-07-12 2006-02-02 Sharp Corp 画像復号装置及び画像復号方法
US7283634B2 (en) 2004-08-31 2007-10-16 Dts, Inc. Method of mixing audio channels using correlated outputs
JP2006157481A (ja) * 2004-11-30 2006-06-15 Canon Inc 画像符号化装置及びその方法
JP2006229411A (ja) * 2005-02-16 2006-08-31 Matsushita Electric Ind Co Ltd 画像復号化装置及び画像復号化方法
JP2006254232A (ja) * 2005-03-11 2006-09-21 Toshiba Corp 情報処理装置およびプログラム
CN101213843B (zh) * 2005-06-30 2010-09-29 法国电信公司 视频编码方法和设备
US20090123066A1 (en) * 2005-07-22 2009-05-14 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
WO2007055445A1 (en) 2005-11-11 2007-05-18 Daegu Gyeongbuk Institute Of Science And Technology A pre-viewing method of multiple movies or movie-clips in multimedia apparatus
CA2631336A1 (en) * 2005-11-30 2007-06-07 Kabushiki Kaisha Toshiba Image encoding/image decoding method, image encoding/image decoding apparatus
BRPI0621935A2 (pt) * 2006-07-28 2016-09-13 Toshiba Kk Toshiba Corp método e aparelho para codificar e decodificar imagem
TW200808067A (en) * 2006-07-31 2008-02-01 Univ Nat Cheng Kung Prediction module
US9001899B2 (en) 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
KR101566557B1 (ko) 2006-10-18 2015-11-05 톰슨 라이센싱 예측 데이터 리파인먼트를 이용한 비디오 코딩 방법 및 장치
JP4571955B2 (ja) * 2007-02-07 2010-10-27 日本電信電話株式会社 適応デブロッキング処理方法，装置および適応デブロッキング処理プログラム並びにコンピュータ読み取り可能な記録媒体
US8345968B2 (en) * 2007-06-28 2013-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
WO2009035149A1 (ja) * 2007-09-12 2009-03-19 Sony Corporation 画像処理装置及び画像処理方法
EP2048886A1 (en) * 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
KR101460608B1 (ko) 2008-03-04 2014-11-14 삼성전자주식회사 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치
KR101591825B1 (ko) * 2008-03-27 2016-02-18 엘지전자 주식회사 비디오 신호의 인코딩 또는 디코딩 방법 및 장치
KR101596829B1 (ko) 2008-05-07 2016-02-23 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 장치
JP5137687B2 (ja) * 2008-05-23 2013-02-06 キヤノン株式会社 復号装置及び復号方法、プログラム
JP2009284298A (ja) * 2008-05-23 2009-12-03 Hitachi Ltd 動画像符号化装置、動画像復号化装置、動画像符号化方法及び動画像復号化方法
KR101517768B1 (ko) * 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
EP2141927A1 (en) * 2008-07-03 2010-01-06 Panasonic Corporation Filters for video coding
US20100008603A1 (en) * 2008-07-09 2010-01-14 Julie Rossing Smith Sealable repulpable valve bag and method of assembling
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
WO2010041858A2 (en) * 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for decoding a video signal
KR101590500B1 (ko) 2008-10-23 2016-02-01 에스케이텔레콤 주식회사 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체
JPWO2010064675A1 (ja) 2008-12-03 2012-05-10 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP2010183162A (ja) * 2009-02-03 2010-08-19 Mitsubishi Electric Corp 動画像符号化装置
WO2010095916A1 (ru) 2009-02-20 2010-08-26 Bogamedov Gazimagomed Abulovich Изоляционный материал «pизoлин»
KR20100095992A (ko) 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
WO2010096916A1 (en) 2009-02-27 2010-09-02 Andre Boulet Parallel passage fluid contactor structure
JP5326828B2 (ja) * 2009-06-03 2013-10-30 富士通株式会社 動画像符号化装置及び動画像符号化方法
KR101510108B1 (ko) * 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN101715135B (zh) * 2009-09-30 2013-01-09 武汉大学 基于匹配模板的自适应帧内预测滤波编码方法
EP2499829B1 (en) * 2009-10-14 2019-04-17 Dolby International AB Methods and devices for depth map processing
KR101457418B1 (ko) 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
JP4983908B2 (ja) 2009-12-28 2012-07-25 ソニー株式会社 復号装置及び方法
JP2011166326A (ja) * 2010-02-05 2011-08-25 Sony Corp 画像処理装置および方法
KR20110113561A (ko) * 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
JP5871906B2 (ja) * 2010-04-26 2016-03-01 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 復号方法、プログラムおよび復号装置
CN101848394B (zh) * 2010-05-25 2012-01-18 宁波中科集成电路设计中心有限公司 一种无线视频传感器的avs编码功耗模型优化方法
KR20120012385A (ko) * 2010-07-31 2012-02-09 오수미 인트라 예측 부호화 장치
CN105516723B (zh) * 2010-09-30 2018-07-27 三菱电机株式会社 运动图像编码装置及方法、运动图像解码装置及方法
US9258573B2 (en) * 2010-12-07 2016-02-09 Panasonic Intellectual Property Corporation Of America Pixel adaptive intra smoothing
US9162957B2 (en) * 2011-07-19 2015-10-20 Edison Pharmaceuticals, Inc. Methods for oxidation of alpha tocotrienol in the presence of non-alpha tocotrienols

Also Published As

Publication number Publication date
KR101669388B1 (ko) 2016-10-25
KR101580021B1 (ko) 2015-12-23
CA3052614A1 (en) 2012-04-05
KR20140106742A (ko) 2014-09-03
CN105516723B (zh) 2018-07-27
US10244233B2 (en) 2019-03-26
SG10201911999WA (en) 2020-02-27
CN105657423B (zh) 2019-02-01
CN105516722A (zh) 2016-04-20
CN105744274A (zh) 2016-07-06
RU2674306C1 (ru) 2018-12-06
CA3000366A1 (en) 2012-04-05
JP2017017736A (ja) 2017-01-19
BR112013006501A2 (pt) 2016-07-12
HK1182244A1 (zh) 2013-11-22
SG10201912001PA (en) 2020-02-27
WO2012042720A1 (ja) 2012-04-05
US20130188706A1 (en) 2013-07-25
US20150245022A1 (en) 2015-08-27
CN103141106A (zh) 2013-06-05
US10291939B2 (en) 2019-05-14
SG10201912003RA (en) 2020-02-27
RU2013119934A (ru) 2014-11-10
KR20130101070A (ko) 2013-09-12
KR20140102324A (ko) 2014-08-21
MX2013003696A (es) 2013-05-20
CN105516723A (zh) 2016-04-20
JP2018117379A (ja) 2018-07-26
KR101563833B1 (ko) 2015-10-27
CA3105771C (en) 2023-04-25
US20150172724A1 (en) 2015-06-18
US20150245023A1 (en) 2015-08-27
KR101563834B1 (ko) 2015-10-27
RU2015102755A (ru) 2015-06-10
RU2608674C2 (ru) 2017-01-23
RU2642356C1 (ru) 2018-01-24
JP2014123988A (ja) 2014-07-03
EP3661213A1 (en) 2020-06-03
CN105516722B (zh) 2018-12-07
TWI603612B (zh) 2017-10-21
KR20140102323A (ko) 2014-08-21
CA3188026A1 (en) 2012-04-05
TW201515447A (zh) 2015-04-16
JP5503747B2 (ja) 2014-05-28
TW201223288A (en) 2012-06-01
KR20140102325A (ko) 2014-08-21
TWI606721B (zh) 2017-11-21
JP6851429B2 (ja) 2021-03-31
CA3105771A1 (en) 2012-04-05
RU2693910C1 (ru) 2019-07-05
TW201640899A (zh) 2016-11-16
CA2812201A1 (en) 2012-04-05
TW201639372A (zh) 2016-11-01
CN105744274B (zh) 2019-02-01
KR101578318B1 (ko) 2015-12-16
EP2624563A1 (en) 2013-08-07
MX338462B (es) 2016-04-15
TWI472229B (zh) 2015-02-01
CA3052614C (en) 2021-03-09
SG10201507816SA (en) 2015-10-29
HK1219593A1 (zh) 2017-04-07
CA2812201C (en) 2020-06-23
US10237550B2 (en) 2019-03-19
JP2019149847A (ja) 2019-09-05
TW201640900A (zh) 2016-11-16
JP6775539B2 (ja) 2020-10-28
TWI606720B (zh) 2017-11-21
US20150237379A1 (en) 2015-08-20
RU2544799C2 (ru) 2015-03-20
JPWO2012042720A1 (ja) 2014-02-03
JP6675289B2 (ja) 2020-04-01
TWI566588B (zh) 2017-01-11
CA3000366C (en) 2019-11-19
CN105657423A (zh) 2016-06-08
EP2624563A4 (en) 2016-03-16
KR101563835B1 (ko) 2015-10-27
HK1219594A1 (zh) 2017-04-07
US10237551B2 (en) 2019-03-19
SG189076A1 (en) 2013-05-31
BR112013006501B1 (pt) 2022-10-18
CN103141106B (zh) 2016-03-16
JP6005087B2 (ja) 2016-10-12
US10244264B2 (en) 2019-03-26

Similar Documents

Publication Publication Date Title
KR101669388B1 (ko) 부호화 데이터가 기록된 기록 매체
KR101609490B1 (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
KR101921781B1 (ko) 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법, 및 부호화 데이터의 데이터 구조를 기록한 기록 매체
KR101562158B1 (ko) 동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법 및 동영상 복호 방법
KR101647242B1 (ko) 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체
KR101538248B1 (ko) 화상 부호화 장치
WO2014049982A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191002

Year of fee payment: 4