KR20140010029A - 화상 처리 장치 및 화상 처리 방법 - Google Patents

화상 처리 장치 및 화상 처리 방법 Download PDF

Info

Publication number
KR20140010029A
KR20140010029A KR1020137020512A KR20137020512A KR20140010029A KR 20140010029 A KR20140010029 A KR 20140010029A KR 1020137020512 A KR1020137020512 A KR 1020137020512A KR 20137020512 A KR20137020512 A KR 20137020512A KR 20140010029 A KR20140010029 A KR 20140010029A
Authority
KR
South Korea
Prior art keywords
quantization matrix
parameter
parameter set
quantization
unit
Prior art date
Application number
KR1020137020512A
Other languages
English (en)
Other versions
KR101874143B1 (ko
Inventor
준이치 다나카
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20140010029A publication Critical patent/KR20140010029A/ko
Application granted granted Critical
Publication of KR101874143B1 publication Critical patent/KR101874143B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Color Television Systems (AREA)

Abstract

양자화 행렬의 갱신에 수반하는 부호화 효율의 저하를 완화하는 것을 과제로 한다. 양자화 행렬을 정의하는 양자화 행렬 파라미터가 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 다른 파라미터 세트 내에 설정된 부호화 스트림으로부터, 상기 양자화 행렬 파라미터를 취득하는 취득부와, 상기 취득부에 의해 취득되는 상기 양자화 행렬 파라미터에 기초하여, 상기 부호화 스트림으로부터 복호되는 데이터를 역양자화할 때 이용되는 양자화 행렬을 설정하는 설정부와, 상기 설정부에 의해 설정되는 양자화 행렬을 이용하여, 상기 부호화 스트림으로부터 복호되는 상기 데이터를 역양자화하는 역양자화부를 구비하는 화상 처리 장치를 제공한다.

Description

화상 처리 장치 및 화상 처리 방법{IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD}
본 발명은, 화상 처리 장치 및 화상 처리 방법에 관한 것이다.
화상 부호화 방식의 표준 사양의 하나인 H.264/AVC에서는, High Profile 이상의 프로파일에 있어서, 화상 데이터의 양자화 시에 직교 변환 계수의 성분마다 서로 다른 양자화 스텝을 이용할 수 있다. 직교 변환 계수의 성분마다의 양자화 스텝(또는 양자화 스케일)은 직교 변환의 단위와 동등한 사이즈로 정의되는 양자화 행렬(스케일링 리스트라고도 함) 및 기준의 스텝 값에 기초하여 설정될 수 있다.
도 38은, H.264/AVC에서 미리 정의되어 있는 4종류의 기정(default) 양자화 행렬을 나타내고 있다. 행렬 SL1은, 인트라 예측 모드의 4×4의 기정 양자화 행렬이다. 행렬 SL2는, 인터 예측 모드의 4×4의 기정 양자화 행렬이다. 행렬 SL3은, 인트라 예측 모드의 8×8의 기정 양자화 행렬이다. 행렬 SL4는, 인터 예측 모드의 8×8의 기정 양자화 행렬이다. 또한, 유저는 시퀀스 파라미터 세트 또는 픽처 파라미터 세트에서, 도 38에 도시한 기정 행렬과는 다른 독자의 양자화 행렬을 정의할 수 있다. 또한, 양자화 행렬의 지정이 없는 경우에는, 모든 성분에 대하여 동일한 양자화 스텝을 갖는 플랫한 양자화 행렬이 사용될 수 있다.
H.264/AVC에 이어지는 차세대 화상 부호화 방식으로서 표준화가 진행되고 있는 HEVC(High Efficiency Video Coding)에서는, 종래의 매크로 블록에 상당하는 부호화 단위(CU: Coding Unit)라고 하는 개념이 도입되어 있다(하기 비특허문헌 1 참조). 부호화 단위의 사이즈 범위는, 시퀀스 파라미터 세트에 있어서, LCU(Largest Coding Unit) 및 SCU(Smallest Coding Unit)라고 하는 2의 멱승 값의 세트로 지정된다. 그리고, split_flag를 이용하여, LCU 및 SCU로 지정된 범위 내의 구체적인 부호화 단위의 사이즈가 특정된다.
HEVC에서는, 하나의 부호화 단위는 하나 이상의 직교 변환의 단위, 즉 하나 이상의 변환 단위(Transform Unit: TU)로 분할될 수 있다. 변환 단위의 사이즈로서는 4×4, 8×8, 16×16 및 32×32 중 어느 하나가 이용 가능하다. 따라서, 양자화 행렬도 또한, 이들 변환 단위의 후보의 사이즈마다 지정될 수 있다. 하기 비특허문헌 2는, 1 픽처 내에서 하나의 변환 단위의 사이즈에 대하여 복수의 양자화 행렬의 후보를 지정하고, RD(Rate-Distortion)의 최적화의 관점에서 블록마다 적응적으로 양자화 행렬을 선택하는 것을 제안하고 있다.
JCTVC-B205, "Test Model under Consideration", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting: Geneva, CH, 21-28 July, 2010 VCEG-AD06, "Adaptive Quantization Matrix Selection on KTA Software", ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group (VCEG) 30th Meeting: Hangzhou, China, 23-24 October, 2006
그러나, 양자화 및 역양자화에 적합한 양자화 행렬은, 영상에 포함되는 각 화상의 특성에 따라서 서로 다르다. 그로 인해, 시시각각 화상 특성이 변화하는 영상을 최적의 양자화 행렬로 부호화하려고 하면, 양자화 행렬의 갱신 빈도가 높아진다. 양자화 행렬은, H.264/AVC에서는, 시퀀스 파라미터 세트(SPS) 또는 픽처 파라미터 세트(PPS) 내에서 정의된다. 따라서, 양자화 행렬의 갱신 빈도가 높아지면, 부호화 스트림에 차지하는 SPS 또는 PPS의 비율이 증가한다. 이것은, 오버헤드의 증대에 의해 부호화 효율이 저하되는 것을 의미한다. 이러한 양자화 행렬의 갱신에 수반하는 부호화 효율의 저하는, 양자화 행렬의 사이즈가 보다 커져서 픽처마다 몇 가지나 되는 양자화 행렬이 정의될 수 있는 HEVC에서는, 한층 현저해질 우려가 있다.
따라서, 양자화 행렬의 갱신에 수반하는 부호화 효율의 저하를 완화할 수 있는 구조가 제공되는 것이 바람직하다.
본 발명에 의하면, 양자화 행렬을 정의하는 양자화 행렬 파라미터가 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 다른 파라미터 세트 내에 설정된 부호화 스트림으로부터, 상기 양자화 행렬 파라미터를 취득하는 취득부와, 상기 취득부에 의해 취득되는 상기 양자화 행렬 파라미터에 기초하여, 상기 부호화 스트림으로부터 복호되는 데이터를 역양자화할 때 이용되는 양자화 행렬을 설정하는 설정부와, 상기 설정부에 의해 설정되는 양자화 행렬을 이용하여, 상기 부호화 스트림으로부터 복호되는 상기 데이터를 역양자화하는 역양자화부를 구비하는 화상 처리 장치가 제공된다.
상기 화상 처리 장치는, 전형적으로는 화상을 복호하는 화상 복호 장치로서 실현될 수 있다.
또한, 본 발명에 의하면, 양자화 행렬을 정의하는 양자화 행렬 파라미터가 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 다른 파라미터 세트 내에 설정된 부호화 스트림으로부터, 상기 양자화 행렬 파라미터를 취득하는 것과, 취득된 상기 양자화 행렬 파라미터에 기초하여, 상기 부호화 스트림으로부터 복호되는 데이터를 역양자화할 때 이용되는 양자화 행렬을 설정하는 것과, 설정된 양자화 행렬을 이용하여, 상기 부호화 스트림으로부터 복호되는 상기 데이터를 역양자화하는 것을 포함하는 화상 처리 방법이 제공된다.
또한, 본 발명에 의하면, 데이터를 양자화 행렬을 이용하여 양자화하는 양자화부와, 상기 양자화부에 의해 상기 데이터를 양자화할 때 이용되는 양자화 행렬을 정의하는 양자화 행렬 파라미터를 설정하는 설정부와, 상기 설정부에 의해 설정되는 상기 양자화 행렬 파라미터를 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 다른 파라미터 세트 내에 부호화하는 부호화부를 구비하는 화상 처리 장치가 제공된다.
상기 화상 처리 장치는, 전형적으로는, 화상을 부호화하는 화상 부호화 장치로서 실현될 수 있다.
또한, 본 발명에 의하면, 데이터를 양자화 행렬을 이용하여 양자화하는 것과, 상기 데이터를 양자화할 때 이용되는 상기 양자화 행렬을 정의하는 양자화 행렬 파라미터를 설정하는 것과, 설정된 상기 양자화 행렬 파라미터를 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 다른 파라미터 세트 내에 부호화하는 것을 포함하는 화상 처리 방법이 제공된다.
본 발명에 따른 화상 처리 장치 및 화상 처리 방법에 의하면, 양자화 행렬의 갱신에 수반되는 부호화 효율의 저하를 완화할 수 있다.
도 1은 일 실시 형태에 따른 화상 부호화 장치의 구성의 일례를 나타낸 블록도이다.
도 2는 도 1에 도시한 신택스 처리부의 상세한 구성의 일례를 나타낸 블록도이다.
도 3은 일 실시 형태에 있어서 양자화 행렬 파라미터 세트에 포함되는 파라미터의 일례를 나타낸 설명도이다.
도 4는 일 실시 형태에 있어서 슬라이스 헤더에 포함되는 파라미터의 일례를 나타낸 설명도이다.
도 5는 일 실시 형태에 따른 파라미터 세트 삽입 처리 흐름의 일례를 나타낸 흐름도이다.
도 6은 일 실시 형태에 따른 방법과 기존의 방법 사이의 스트림 구성의 차이에 대하여 설명하기 위한 설명도이다.
도 7은 일 실시 형태에 따른 화상 복호 장치의 구성의 일례를 나타낸 블록도이다.
도 8은 도 7에 도시한 신택스 처리부의 상세한 구성의 일례를 나타낸 블록도이다.
도 9는 일 실시 형태에 따른 양자화 행렬 생성 처리 흐름의 일례를 나타낸 흐름도이다.
도 10은 일 실시 형태에 따른 카피 모드에서의 처리의 상세한 흐름의 일례를 나타낸 흐름도이다.
도 11은 일 실시 형태에 따른 축 지정 모드에서의 처리의 상세한 흐름의 일례를 나타낸 흐름도이다.
도 12는 일 실시 형태에 따른 슬라이스에의 양자화 행렬 설정 처리 흐름의 일례를 나타낸 흐름도이다.
도 13은 양자화 행렬 파라미터 세트의 신택스를 표현하는 예시적인 의사 코드의 제1 예를 나타낸 제1 설명도이다.
도 14는 양자화 행렬 파라미터 세트의 신택스를 표현하는 예시적인 의사 코드의 제1 예를 나타내는 제2 설명도이다.
도 15는 양자화 행렬 파라미터 세트의 신택스를 표현하는 예시적인 의사 코드의 제1 예를 나타내는 제3 설명도이다.
도 16은 양자화 행렬 파라미터 세트의 신택스를 표현하는 예시적인 의사 코드의 제2 예를 나타내는 제1 설명도이다.
도 17은 양자화 행렬 파라미터 세트의 신택스를 표현하는 예시적인 의사 코드의 제2 예를 나타내는 제2 설명도이다.
도 18은 양자화 행렬 파라미터 세트의 신택스를 표현하는 예시적인 의사 코드의 제2 예를 나타내는 제3 설명도이다.
도 19는 양자화 행렬 파라미터 세트의 신택스를 표현하는 예시적인 의사 코드의 제2 예를 나타내는 제4 설명도이다.
도 20은 양자화 행렬 파라미터 세트의 신택스를 표현하는 예시적인 의사 코드의 제2 예를 나타내는 제5 설명도이다.
도 21은 양자화 행렬의 양자화를 위해 정의되는 양자화 스케일 설정 영역의 일례를 나타낸 설명도이다.
도 22는 도 21에 예시한 각 양자화 스케일 설정 영역으로 설정되는 양자화 스케일의 일례를 나타낸 설명도이다.
도 23은 LCEC에서 준비되어 있는 11가지의 VLC 테이블에 대하여 설명하기 위한 설명도이다.
도 24는 APS를 이용하는 제1 방법에 따라서 구성되는 부호화 스트림의 일례를 나타낸 설명도이다.
도 25는 APS를 이용하는 제1 방법에 따라서 정의되는 APS의 신택스의 일례를 나타낸 설명도이다.
도 26은 APS를 이용하는 제1 방법에 따라서 정의되는 슬라이스 헤더의 신택스의 일례를 나타낸 설명도이다.
도 27은 APS를 이용하는 제1 방법의 일 변형예에 따라서 정의되는 APS의 신택스의 일례를 나타낸 설명도이다.
도 28은 APS를 이용하는 제2 방법에 따라서 구성되는 부호화 스트림의 일례를 나타낸 설명도이다.
도 29는 APS를 이용하는 제3 방법에 따라서 구성되는 부호화 스트림의 일례를 나타낸 설명도이다.
도 30은 APS를 이용하는 제3 방법에 따라서 정의되는 APS의 신택스의 일례를 나타낸 설명도이다.
도 31은 APS를 이용하는 제3 방법에 따라서 정의되는 슬라이스 헤더의 신택스의 일례를 나타낸 설명도이다.
도 32는 대표적인 부호화 툴마다의 파라미터의 특징을 일람화한 표이다.
도 33은 APS를 이용하는 제3 방법의 하나의 변형예에 따라서 구성되는 부호화 스트림의 일례에 대하여 설명하기 위한 설명도이다.
도 34는 텔레비전 장치의 개략적인 구성의 일례를 나타낸 블록도이다.
도 35는 휴대 전화기의 개략적인 구성의 일례를 나타낸 블록도이다.
도 36은 기록 재생 장치의 개략적인 구성의 일례를 나타낸 블록도이다.
도 37은 촬상 장치의 개략적인 구성의 일례를 나타낸 블록도이다.
도 38은 H.264/AVC에서 미리 정의되어 있는 기정 양자화 행렬을 나타낸 설명도이다.
이하에 첨부 도면을 참조하면서, 본 발명의 바람직한 실시 형태에 대하여 상세히 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 부호를 부여함으로써 중복 설명을 생략한다.
또한, 이하의 순서로 설명을 행한다.
1. 일 실시 형태에 따른 화상 부호화 장치의 구성예
1-1. 전체적인 구성예
1-2. 신택스 처리부의 구성예
1-3. 파라미터 구성예
2. 일 실시 형태에 따른 부호화 시의 처리 흐름
3. 일 실시 형태에 따른 화상 복호 장치의 구성예
3-1. 전체적인 구성예
3-2. 신택스 처리부의 구성예
4. 일 실시 형태에 따른 복호 시의 처리 흐름
4-1. 양자화 행렬의 생성
4-2. 슬라이스에의 양자화 행렬의 설정
5. 신택스의 예
5-1. 제1 예
5-2. 제2 예
6. 파라미터 세트의 여러 구성예
6-1. 제1 방법
6-2. 제1 방법의 변형예
6-3. 제2 방법
6-4. 제3 방법
6-5. 제3 방법의 변형예
7. 응용예
8. 정리
<1. 일 실시 형태에 따른 화상 부호화 장치의 구성예>
본 단락에서는, 일 실시 형태에 따른 화상 부호화 장치의 구성예에 대하여 설명한다.
[1-1. 전체적인 구성예]
도 1은, 일 실시 형태에 따른 화상 부호화 장치(10)의 구성의 일례를 나타낸 블록도이다. 도 1을 참조하면, 화상 부호화 장치(10)는 A/D(Analogue to Digital) 변환부(11), 재배열 버퍼(12), 신택스 처리부(13), 감산부(14), 직교 변환부(15), 양자화부(16), 가역 부호화부(17), 축적 버퍼(18), 레이트 제어부(19), 역양자화부(21), 역직교 변환부(22), 가산부(23), 디블로킹 필터(24), 프레임 메모리(25), 셀렉터(26), 인트라 예측부(30), 움직임 탐색부(40) 및 모드 선택부(50)를 구비한다.
A/D 변환부(11)는 아날로그 형식으로 입력되는 화상 신호를 디지털 형식의 화상 데이터로 변환하고, 일련의 디지털 화상 데이터를 재배열 버퍼(12)로 출력한다.
재배열 버퍼(12)는 A/D 변환부(11)로부터 입력되는 일련의 화상 데이터에 포함되는 화상을 재배열한다. 재배열 버퍼(12)는 부호화 처리에 관한 GOP(Group of Pictures) 구조에 따라서 화상을 재배열한 후, 재배열 후의 화상 데이터를 신택스 처리부(13)로 출력한다.
재배열 버퍼(12)로부터 신택스 처리부(13)로 출력되는 화상 데이터는, NAL(Network Abstraction Layer: 네트워크 추상 레이어) 유닛이라는 단위로 비트 스트림에 맵핑된다. 화상 데이터의 스트림은, 하나 이상의 시퀀스를 포함한다. 시퀀스의 선두 픽처는, IDR(Instantaneous Decoding Refresh) 픽처라 불린다. 각 시퀀스는 하나 이상의 픽처를 포함하고, 각 픽처는 하나 이상의 슬라이스를 더 포함한다. H.264/AVC 및 HEVC에서는, 이들 슬라이스가 영상의 부호화 및 복호의 기본적인 단위이다. 각 슬라이스의 데이터는, VCL(Video Coding Layer: 비디오 부호화 레이어) NAL 유닛으로서 인식된다.
신택스 처리부(13)는 재배열 버퍼(12)로부터 입력되는 화상 데이터의 스트림 내의 NAL 유닛을 순차 인식하고, 헤더 정보를 저장하는 비 VCL NAL 유닛을 스트림에 삽입한다. 신택스 처리부(13)가 스트림에 삽입하는 비 VCL NAL 유닛은, 시퀀스 파라미터 세트(SPS: Sequence Parameter Set) 및 픽처 파라미터 세트(PPS: Picture Parameter Set)를 포함한다. 또한, 본 실시 형태에 있어서, 신택스 처리부(13)는 SPS 및 PPS와는 다른 비 VCL NAL 유닛인 양자화 행렬 파라미터 세트(QMPS: Quantization Matrix Parameter Set)를 스트림에 삽입한다. 또한, 신택스 처리부(13)는 슬라이스의 선두에 슬라이스 헤더(SH: Slice Header)를 부가한다. 그리고, 신택스 처리부(13)는 VCL NAL 유닛 및 비 VCL NAL 유닛을 포함하는 화상 데이터의 스트림을, 감산부(14), 인트라 예측부(30) 및 움직임 탐색부(40)로 출력한다. 신택스 처리부(13)의 상세한 구성에 대하여, 후에 다시 설명한다.
감산부(14)에는, 신택스 처리부(13)로부터 입력되는 화상 데이터, 및 후에 설명하는 모드 선택부(50)에 의해 선택되는 예측 화상 데이터가 공급된다. 감산부(14)는 신택스 처리부(13)로부터 입력되는 화상 데이터와 모드 선택부(50)로부터 입력되는 예측 화상 데이터와의 차분인 예측 오차 데이터를 산출하고, 산출된 예측 오차 데이터를 직교 변환부(15)로 출력한다.
직교 변환부(15)는 감산부(13)로부터 입력되는 예측 오차 데이터에 대하여 직교 변환을 행한다. 직교 변환부(15)에 의해 실행되는 직교 변환은, 예를 들어 이산 코사인 변환(Discrete Cosine Transform: DCT) 또는 카루넨 루베 변환 등이어도 된다. 직교 변환부(15)는 직교 변환 처리에 의해 취득되는 변환 계수 데이터를 양자화부(16)로 출력한다.
양자화부(16)는 직교 변환부(15)로부터 입력되는 변환 계수 데이터를 양자화 행렬을 이용하여 양자화하고, 양자화 후의 변환 계수 데이터(이하, 양자화 데이터라 함)를 가역 부호화부(17) 및 역양자화부(21)로 출력한다. 양자화 데이터의 비트 레이트는, 레이트 제어부(19)로부터의 레이트 제어 신호에 기초하여 제어된다. 양자화부(16)에 의해 사용되는 양자화 행렬은, 양자화 행렬 파라미터 세트 내에서 정의되고, 슬라이스마다 슬라이스 헤더 내에서 지정될 수 있다. 양자화 행렬이 지정되지 않은 경우에는, 모든 성분에 대하여 동일한 양자화 스텝을 갖는 플랫한 양자화 행렬이 사용된다.
가역 부호화부(17)는 양자화부(16)로부터 입력되는 양자화 데이터에 대하여 가역 부호화 처리를 행함으로써, 부호화 스트림을 생성한다. 가역 부호화부(17)에 의한 가역 부호화는, 예를 들어 가변 길이 부호화, 또는 산술 부호화 등이어도 된다. 또한, 가역 부호화부(17)는 모드 선택부(50)로부터 입력되는 인트라 예측에 관한 정보 또는 인터 예측에 관한 정보를, 부호화 스트림의 헤더 내에 다중화한다. 그리고, 가역 부호화부(17)는 생성한 부호화 스트림을 축적 버퍼(18)로 출력한다.
축적 버퍼(18)는 가역 부호화부(17)로부터 입력되는 부호화 스트림을 반도체 메모리 등의 기억 매체를 이용하여 일시적으로 축적한다. 그리고, 축적 버퍼(18)는 축적한 부호화 스트림을, 전송로의 대역에 따른 레이트로, 도시하지 않은 전송부(예를 들어, 통신 인터페이스 또는 주변 기기와의 접속 인터페이스 등)로 출력한다.
레이트 제어부(19)는 축적 버퍼(18)의 빈 용량을 감시한다. 그리고, 레이트 제어부(19)는 축적 버퍼(18)의 빈 용량에 따라서 레이트 제어 신호를 생성하고, 생성한 레이트 제어 신호를 양자화부(16)로 출력한다. 예를 들어, 레이트 제어부(19)는 축적 버퍼(18)의 빈 용량이 적을 때에는, 양자화 데이터의 비트 레이트를 저하시키기 위한 레이트 제어 신호를 생성한다. 또한, 예를 들어 레이트 제어부(19)는 축적 버퍼(18)의 빈 용량이 충분히 클 때에는, 양자화 데이터의 비트 레이트를 높이기 위한 레이트 제어 신호를 생성한다.
역양자화부(21)는 양자화부(16)로부터 입력되는 양자화 데이터에 대하여, 양자화 행렬을 이용하여 역양자화 처리를 행한다. 그리고, 역양자화부(21)는 역양자화 처리에 의해 취득되는 변환 계수 데이터를, 역직교 변환부(22)로 출력한다.
역직교 변환부(22)는 역양자화부(21)로부터 입력되는 변환 계수 데이터에 대하여 역직교 변환 처리를 행함으로써, 예측 오차 데이터를 복원한다. 그리고, 역직교 변환부(22)는 복원한 예측 오차 데이터를 가산부(23)로 출력한다.
가산부(23)는 역직교 변환부(22)로부터 입력되는 복원된 예측 오차 데이터와 모드 선택부(50)로부터 입력되는 예측 화상 데이터를 가산함으로써, 복호 화상 데이터를 생성한다. 그리고, 가산부(23)는 생성한 복호 화상 데이터를 디블로킹 필터(24) 및 프레임 메모리(25)로 출력한다.
디블로킹 필터(24)는 화상의 부호화 시에 발생하는 블록 왜곡을 감소시키기 위한 필터링 처리를 행한다. 디블로킹 필터(24)는 가산부(23)로부터 입력되는 복호 화상 데이터를 필터링함으로써 블록 왜곡을 제거하고, 필터링 후의 복호 화상 데이터를 프레임 메모리(25)로 출력한다.
프레임 메모리(25)는 가산부(23)로부터 입력되는 복호 화상 데이터 및 디블로킹 필터(24)로부터 입력되는 필터링 후의 복호 화상 데이터를 기억 매체를 이용하여 기억한다.
셀렉터(26)는 인트라 예측을 위해 사용되는 필터링 전의 복호 화상 데이터를 프레임 메모리(25)로부터 판독하고, 판독된 복호 화상 데이터를 참조 화상 데이터로서 인트라 예측부(30)에 공급한다. 또한, 셀렉터(26)는 인터 예측을 위해 사용되는 필터링 후의 복호 화상 데이터를 프레임 메모리(25)로부터 판독하고, 판독된 복호 화상 데이터를 참조 화상 데이터로서 움직임 탐색부(40)에 공급한다.
인트라 예측부(30)는 신택스 처리부(13)로부터 입력되는 부호화 대상의 화상 데이터 및 셀렉터(26)를 통해 공급되는 복호 화상 데이터에 기초하여, 각 인트라 예측 모드의 인트라 예측 처리를 행한다. 예를 들어, 인트라 예측부(30)는 각 인트라 예측 모드에 의한 예측 결과를 소정의 비용 함수를 이용하여 평가한다. 그리고, 인트라 예측부(30)는 비용 함수값이 최소가 되는 인트라 예측 모드, 즉 압축률이 가장 높아지는 인트라 예측 모드를, 최적의 인트라 예측 모드로서 선택한다. 또한, 인트라 예측부(30)는 상기 최적의 인트라 예측 모드를 나타내는 예측 모드 정보, 예측 화상 데이터 및 비용 함수값 등의 인트라 예측에 관한 정보를, 모드 선택부(50)로 출력한다.
움직임 탐색부(40)는 신택스 처리부(13)로부터 입력되는 부호화 대상의 화상 데이터 및 셀렉터(26)를 통해 공급되는 복호 화상 데이터에 기초하여, 인터 예측 처리(프레임 간 예측 처리)를 행한다. 예를 들어, 움직임 탐색부(40)는 각 예측 모드에 의한 예측 결과를 소정의 비용 함수를 이용하여 평가한다. 다음으로, 움직임 탐색부(40)는 비용 함수값이 최소가 되는 예측 모드, 즉 압축률이 가장 높아지는 예측 모드를, 최적의 예측 모드로서 선택한다. 또한, 움직임 탐색부(40)는 상기 최적의 예측 모드에 따라서 예측 화상 데이터를 생성한다. 그리고, 움직임 탐색부(40)는 선택한 최적의 예측 모드를 나타내는 예측 모드 정보, 예측 화상 데이터 및 비용 함수값 등의 인터 예측에 관한 정보를, 모드 선택부(50)로 출력한다.
모드 선택부(50)는 인트라 예측부(30)로부터 입력되는 인트라 예측에 관한 비용 함수값과 움직임 탐색부(40)로부터 입력되는 인터 예측에 관한 비용 함수값을 비교한다. 그리고, 모드 선택부(50)는 인트라 예측 및 인터 예측 중 비용 함수값이 보다 적은 예측 방법을 선택한다. 모드 선택부(50)는 인트라 예측을 선택한 경우에는, 인트라 예측에 관한 정보를 가역 부호화부(17)로 출력함과 함께, 예측 화상 데이터를 감산부(14) 및 가산부(23)로 출력한다. 또한, 모드 선택부(50)는 인터 예측을 선택한 경우에는, 인터 예측에 관한 전술한 정보를 가역 부호화부(17)로 출력함과 함께, 예측 화상 데이터를 감산부(14) 및 가산부(23)로 출력한다.
[1-2. 신택스 처리부의 구성예]
도 2는, 도 1에 도시한 화상 부호화 장치(10)의 신택스 처리부(13)의 상세한 구성의 일례를 나타낸 블록도이다. 도 2를 참조하면, 신택스 처리부(13)는 설정부(110), 파라미터 생성부(120) 및 삽입부(130)를 갖는다.
(1) 설정부
설정부(110)는 화상 부호화 장치(10)에 의한 부호화 처리를 위해 사용되는 다양한 설정을 유지한다. 예를 들어, 설정부(110)는 화상 데이터의 각 시퀀스의 프로파일, 각 픽처의 부호화 모드 및 GOP 구조에 관한 데이터 등을 유지한다. 또한, 본 실시 형태에 있어서, 설정부(110)는 양자화부(16)(및 역양자화부(21))에 의해 사용되는 양자화 행렬에 대한 설정을 유지한다. 양자화부(16)에 의해 어떤 양자화 행렬을 이용할지는, 전형적으로는 오프라인에서의 화상 해석에 기초하여, 슬라이스마다 미리 결정될 수 있다.
예를 들어, 디지털 비디오 카메라와 같은 응용예에서는, 입력 화상에 압축 변형이 존재하지 않기 때문에, 고역에서도 양자화 스텝을 보다 작게 한 양자화 행렬이 사용될 수 있다. 양자화 행렬은 픽처 단위 또는 프레임 단위로 변화한다. 입력 화상의 복잡성이 낮은 경우에는, 양자화 스텝의 보다 작은 플랫한 양자화 행렬을 이용함으로써, 유저에게 주관적으로 감지되는 화질을 향상시킬 수 있다. 한편, 입력 화상의 복잡성이 높은 경우에는, 부호량의 증대를 억제하기 위해서, 보다 큰 양자화 스텝을 이용하는 것이 바람직하다. 이 경우, 플랫한 양자화 행렬을 이용하면 저역 신호의 왜곡이 블록 노이즈로서 인식될 우려가 있다. 그로 인해, 저역으로부터 고역을 향해 양자화 스텝이 증가하는 양자화 행렬을 이용하여 노이즈를 저감시키는 것이 유익하다.
MPEG2로 부호화된 방송 콘텐츠를 재압축하는 레코더와 같은 응용예에서는, 입력 화상 자체에, 모스키토 노이즈 등의 MPEG2의 압축 변형이 존재한다. 모스키토 노이즈는, 고역 신호를 보다 큰 양자화 스텝에서 양자화한 결과로서 발생하는 노이즈이며, 노이즈의 주파수 성분 자체도 극히 높은 주파수가 된다. 이러한 입력 화상에 대해서는, 재압축할 때 고역에 큰 양자화 스텝을 갖는 양자화 행렬을 이용하는 것이 바람직하다. 또한, 프로그레시브 신호와 비교하여, 인터레이스 신호에서는 비월 주사의 영향으로, 수평 방향 신호의 상관 쪽이 수직 방향 신호의 상관보다도 높다. 그로 인해, 화상 신호가 프로그레시브 신호냐 인터레이스 신호냐에 따라서 서로 다른 양자화 행렬을 이용하는 것도 유익하다. 어느 경우든, 화상의 내용에 따라서 최적의 양자화 행렬은 픽처 단위 또는 프레임 단위로 변화할 수 있다.
(2) 파라미터 생성부
파라미터 생성부(120)는 설정부(110)에 의해 유지되어 있는 부호화 처리를 위한 설정을 정의하는 파라미터를 생성하고, 생성한 파라미터를 삽입부(130)로 출력한다.
예를 들어, 본 실시 형태에 있어서, 파라미터 생성부(120)는 양자화부(16)에 의해 사용되는 양자화 행렬을 정의하는 양자화 행렬 파라미터를 생성한다. 파라미터 생성부(120)에 의해 생성되는 일군의 양자화 행렬 파라미터는, 양자화 행렬 파라미터 세트(QMPS)에 포함된다. 각 QMPS에는, 각 QMPS를 서로 식별하기 위한 식별자인 QMPS ID가 부여된다. 전형적으로는, 하나의 QMPS 내에서 복수 종류의 양자화 행렬이 정의된다. 양자화 행렬의 종류는, 행렬 사이즈와 대응하는 예측 방식 및 신호 성분에 의해 서로 구별된다. 예를 들어, 하나의 QMPS 내에서, 4×4, 8×8, 16×16 및 32×32의 각 사이즈에 대하여 최대 6종류의 양자화 행렬(인트라 예측/인터 예측의 Y/Cb/Cr 성분)이 정의될 수 있다.
보다 구체적으로는, 파라미터 생성부(120)는 H.264/AVC에서의 양자화 행렬의 부호화 처리와 마찬가지로, 각 양자화 행렬을 지그재그 스캔에 의해 일차원 배열로 변형되고, 일차원 배열의 각 요소값을 DPCM(Differential Pulse Code Modulation) 방식으로 부호화해도 된다. 이 경우, DPCM의 차분 데이터의 일차원 배열이 양자화 행렬 파라미터가 된다. 양자화 행렬 파라미터의 생성을 위한 이러한 모드를, 본 명세서에서는 전체 스캔 모드라 한다.
또한, 파라미터 생성부(120)는 양자화 행렬 파라미터의 부호량을 삭감하기 위해서, 전체 스캔 모드와는 다른 모드에서 양자화 행렬 파라미터를 생성해도 된다. 예를 들어, 파라미터 생성부(120)는 전체 스캔 모드 대신에 다음에 설명하는 카피 모드 또는 축 지정 모드에서 양자화 행렬 파라미터를 생성해도 된다.
카피 모드는, 어떤 슬라이스에 대하여 사용되는 양자화 행렬이 이미 정의된 양자화 행렬과 유사하거나 동일한 경우에 선택될 수 있는 모드이다. 카피 모드의 경우에는, 파라미터 생성부(120)는 카피원의 양자화 행렬이 정의되어 있는 QMPS의 QMPS ID와 카피원의 양자화 행렬의 사이즈 및 타입을, 양자화 행렬 파라미터로서 QMPS에 포함한다. 또한, 본 명세서에 있어서, 어떤 양자화 행렬에 대응하는 예측 방식과 신호 성분의 조합을, 상기 양자화 행렬의 타입이라 한다. 파라미터 생성부(120)는 정의하려고 하는 양자화 행렬과 카피원의 양자화 행렬 사이에서 차분이 존재하는 경우에는, 각 성분의 잔차를 나타내는 잔차 행렬을 생성하기 위한 잔차 데이터를, QMPS에 더 포함해도 된다.
축 지정 모드에 대한 처리는, 차분 방식과 보간 방식이라는 2가지 지정 방식에 의해 나누어진다. 차분 방식에서는, 파라미터 생성부(120)는 변환 단위의 가장 좌측의 열인 종축, 가장 상측의 행인 횡축 및 대각선에 따른 경사축에 해당하는 양자화 행렬의 요소값만을 지정한다. 보간 방식에서는, 파라미터 생성부(120)는 변환 단위의 좌측 상단(DC 성분), 우측 상단, 좌측 하단 및 우측 하단이라는 4개 코너에 해당하는 양자화 행렬의 요소값만을 지정한다. 나머지 요소값은 선형 보간, 큐빅 보간 또는 라그랑제 보간 등의 임의의 방법으로 보간될 수 있다. 축 지정 모드에서도, 파라미터 생성부(120)는 정의하려고 하는 양자화 행렬과 보간 후의 양자화 행렬 사이에서 차분이 존재하는 경우에는, 각 성분의 잔차를 나타내는 잔차 행렬을 생성하기 위한 잔차 데이터를, QMPS에 더 포함해도 된다.
(3) 삽입부
삽입부(130)는 파라미터 생성부(120)에 의해 생성되는 파라미터군을 각각 포함하는 SPS, PPS, QMPS 및 슬라이스 헤더 등의 헤더 정보를, 재배열 버퍼(12)로부터 입력되는 화상 데이터의 스트림에 삽입한다. 전술한 바와 같이, QMPS는 SPS 및 PPS와는 다른 비 VCL NAL 유닛이다. QMPS에는, 파라미터 생성부(120)에 의해 생성되는 양자화 행렬 파라미터가 포함된다. 그리고, 삽입부(130)는 헤더 정보가 삽입된 화상 데이터의 스트림을, 감산부(14), 인트라 예측부(30) 및 움직임 탐색부(40)로 출력한다.
[1-3. 파라미터 구성예]
(1) 양자화 행렬 파라미터 세트
도 3은, 본 실시 형태에 있어서 각 QMPS에 포함되는 파라미터의 일례를 나타낸 설명도이다. 도 3을 참조하면, 각 QMPS에는 「QMPS ID」, 「생성 모드 존재 플래그」, 「생성 모드」 및 각 모드마다 서로 다른 양자화 행렬 파라미터가 포함된다.
「QMPS ID」는, 각 QMPS를 서로 식별하기 위한 식별자이다. QMPS ID는, 예를 들어 0 내지 31 범위의 정수 등이어도 된다. 미사용의 QMPS ID의 지정은, 새로운 QMPS가 정의되는 것을 의미한다. 시퀀스 내에서 이미 사용되고 있는 QMPS ID의 재지정은 정의 완료 QMPS가 갱신되는 것을 의미한다.
「생성 모드 존재 플래그」는, 양자화 행렬 생성 처리의 모드를 나타내는 구분인 「생성 모드」가 상기 QMPS 내에 존재하는지 여부를 나타내는 플래그이다. 생성 모드 존재 플래그가 「0: 존재하지 않음」을 나타내는 경우에는, 상기 QMPS 내에서는, 전체 스캔 모드로 양자화 행렬이 정의된다. 한편, 생성 모드 존재 플래그가 「1: 존재함」을 나타내는 경우에는, 상기 QMPS 내에 「생성 모드」가 존재한다.
「생성 모드」는, 예를 들어 「0: 카피」, 「1: 축 지정」 또는 「2: 전체 스캔」 중 어느 하나의 값을 취할 수 있는 구분이다. 후에 설명하는 신택스의 의사 코드에서는, 생성 모드는 "pred_mode"라 하는 변수에 의해 표현된다.
카피 모드(즉, pred_mode=0)인 경우에는, QMPS는 양자화 행렬 파라미터로서, 「소스 ID」, 「카피원 사이즈」, 「카피원 타입」, 「잔차 플래그」 및 「잔차 데이터」를 포함할 수 있다. 「소스 ID」는 카피원의 양자화 행렬이 정의된 QMPS를 지정하는 QMPS ID이다. 「카피원 사이즈」는 카피원의 양자화 행렬의 사이즈이다. 「카피원 타입」은 카피원의 양자화 행렬의 타입(인트라-Y, 인트라-Cb, …, 인터-Cr)이다. 「잔차 플래그」는 잔차가 존재하는지 여부를 나타내는 플래그이다. 「잔차 데이터」는 잔차가 존재하는 경우에 잔차를 나타내는 잔차 행렬을 생성하기 위한 데이터이다. 잔차 플래그가 「0: 존재하지 않음」을 나타내는 경우에는, 잔차 데이터는 생략될 수 있다.
또한, 어떤 QMPS의 소스 ID가 상기 QMPS 자신의 QMPS ID와 동일한 경우에는, 도 38에 예시한 바와 같은 기정 양자화 행렬이 지정된 것이라 해석되어도 된다. 그것에 의해, 기정 양자화 행렬을 지정하기 위한 독립된 플래그를 QMPS에 포함하지 않아도 되기 때문에, QMPS의 부호량이 삭감될 수 있다.
축 지정 모드(즉, pred_mode=1)인 경우에는, QMPS는 양자화 행렬 파라미터로서, 「지정 방식 플래그」 외에, 「기준축 데이터」 및 「코너 데이터」 중 어느 한쪽, 「잔차 플래그」와 「잔차 데이터」를 포함할 수 있다. 지정 방식 플래그는, 양자화 행렬의 생성의 기준이 되는 기준축의 요소값을 어떻게 지정할지를 나타내는 플래그이며, 예를 들어 「0: 차분」 또는 「1: 보간」 중 어느 하나의 값을 취할 수 있다. 지정 방식이 「0: 차분」인 경우에는 양자화 행렬의 기준축인 종축, 횡축 및 경사축에 해당하는 요소값이, 기준축 데이터에 의해 지정된다. 지정 방식이 「1: 보간」인 경우에는 양자화 행렬의 좌측 상단, 우측 상단, 좌측 하단 및 우측 하단이라는 4개 코너에 해당하는 요소값이, 코너 데이터에 의해 지정된다. 3개 기준축의 요소값은, 이들 4개 코너값으로부터 보간에 의해 생성될 수 있다. 잔차 플래그 및 잔차 데이터는, 카피 모드의 경우와 마찬가지이다.
전체 스캔 모드(즉, pred_mode=2)인 경우에는, QMPS는 양자화 행렬 파라미터로서, DPCM의 차분 데이터의 일차원 배열을 포함할 수 있다.
또한, 각 QMPS는, 양자화 행렬의 종류마다 서로 다른 생성 모드 및 각 모드에 대응하는 양자화 행렬 파라미터를 포함해도 된다. 즉, 일례로서, 1개의 QMPS 내에서, 어떤 종류의 양자화 행렬은 전체 스캔 모드로 정의되고, 다른 종류의 양자화 행렬은 축 지정 모드로 정의되며, 나머지 양자화 행렬은 카피 모드로 정의되어도 된다.
(2) 슬라이스 헤더
도 4는, 본 실시 형태에 있어서 각 슬라이스 헤더에 포함되는 파라미터의 일례를 부분적으로 나타낸 설명도이다. 도 4를 참조하면, 각 슬라이스 헤더에는, 「슬라이스 타입」, 「PPS ID」, 「QMPS ID 존재 플래그」 및 「QMPS ID」가 포함될 수 있다. 「슬라이스 타입」은, 상기 슬라이스의 부호화 타입을 나타내는 구분이며, P 슬라이스, B 슬라이스 또는 I 슬라이스 등에 대응하는 값을 취한다. 「PPS ID」는, 상기 슬라이스를 위해 참조되는 픽처 파라미터 세트(PPS)의 ID이다. 「QMPS ID 존재 플래그」는, 상기 슬라이스 헤더 내에 QMPS ID가 존재하는지 여부를 나타내는 플래그이다. 「QMPS ID」는, 상기 슬라이스를 위해 참조되는 양자화 행렬 파라미터 세트(QMPS)의 QMPS ID이다.
<2. 일 실시 형태에 따른 부호화 시의 처리 흐름>
(1) 파라미터 세트 삽입 처리
도 5는, 본 실시 형태에 따른 신택스 처리부(13)의 삽입부(130)에 의한 파라미터 세트 삽입 처리 흐름의 일례를 나타낸 흐름도이다.
도 5를 참조하면, 삽입부(130)는 우선, 재배열 버퍼(12)로부터 입력되는 화상 데이터의 스트림 내의 NAL 유닛을 순차 취득하고, 1개의 픽처를 인식한다(스텝 S100). 다음으로, 삽입부(130)는 인식한 픽처가 시퀀스의 선두 픽처인지 여부를 판정한다(스텝 S102). 여기서, 인식한 픽처가 시퀀스의 선두 픽처인 경우에는, 삽입부(130)는 스트림에 SPS를 삽입한다(스텝 S104). 이어서, 삽입부(130)는 인식한 픽처에 대하여 PPS의 변경이 있는지 여부를 다시 판정한다(스텝 S106). 여기서, PPS의 변경이 있는 경우, 또는 인식한 픽처가 시퀀스의 선두 픽처인 경우에는, 삽입부(130)는 스트림에 PPS를 삽입한다(스텝 S108). 다음으로, 삽입부(130)는 QMPS의 변경이 있는지 여부를 다시 판정한다(스텝 S110). 여기서, QMPS의 변경이 있는 경우, 또는 인식한 픽처가 시퀀스의 선두 픽처인 경우에는, 삽입부(130)는 스트림에 QMPS를 삽입한다(스텝 S112). 그 후, 삽입부(130)는 스트림의 종료가 검출된 경우에는, 처리를 종료한다. 한편, 스트림이 종료하지 않은 경우에는, 삽입부(130)는 다음 픽처에 대하여 전술한 처리를 반복한다(스텝 S114).
또한, 여기에서는 설명의 간략화를 위해서 SPS, PPS 및 QMPS의 삽입에 대해서만 흐름도로 나타내고 있지만, 삽입부(130)는 SEI(Supplemental Enhancement Information) 및 슬라이스 헤더 등의 다른 헤더 정보도 스트림에 삽입할 수 있다.
(2) 스트림 구성의 설명
도 6은, 본 실시 형태에 따른 방법과 기존의 방법 사이의 스트림 구성의 차이에 대하여 설명하기 위한 설명도이다.
도 6의 좌측에는, 기존의 방법에 따라서 생성되는 일례로서의 스트림 ST1이 도시되어 있다. 스트림 ST1의 선두는 시퀀스의 선두이기 때문에, 스트림 ST1의 선두에는 첫 번째 SPS(1) 및 첫 번째의 PPS(1)가 삽입된다. SPS(1) 및 PPS(1)에 있어서, 하나 이상의 양자화 행렬이 정의될 수 있다. 다음으로, 몇 개의 슬라이스 헤더 및 슬라이스 데이터가 이어진 후, 양자화 행렬을 갱신할 필요성이 발생했다고 하자. 그러면, 스트림 ST1에 두 번째 PPS(2)가 삽입된다. PPS(2)에는, 양자화 행렬 파라미터 이외의 파라미터도 포함된다. 이어서, 몇 개의 슬라이스 헤더 및 슬라이스 데이터가 이어진 후, PPS를 갱신할 필요성이 발생했다고 하자. 그러면, 스트림 ST1에 세 번째 PPS(3)가 삽입된다. PPS(3)에는, 양자화 행렬 파라미터도 포함된다. 그 후의 슬라이스에 대한 양자화 처리(및 역양자화 처리)는 슬라이스 헤더 내의 PPS ID에 의해 지정되는 PPS 내에서 정의되어 있는 양자화 행렬을 이용하여 행해진다.
도 6의 우측에는, 본 실시 형태에 따른 전술한 방법에 따라서 생성되는 일례로서의 스트림 ST2가 도시되어 있다. 스트림 ST2의 선두는 시퀀스의 선두이기 때문에, 스트림 ST1의 선두에는 첫 번째 SPS(1), 첫 번째 PPS(1) 및 첫 번째의 QMPS(1)가 삽입된다. 스트림 ST2에서는, QMPS(1)에 있어서 하나 이상의 양자화 행렬이 정의될 수 있다. 스트림 ST2의 PPS(1) 및 QMPS(1)의 길이의 합은, 스트림 ST1의 PPS(1)의 길이와 거의 동일하다. 다음으로, 몇 개의 슬라이스 헤더 및 슬라이스 데이터가 이어진 후, 양자화 행렬을 갱신할 필요성이 발생하면, 스트림 ST2에 두 번째 QMPS(2)가 삽입된다. QMPS(2)에는 양자화 행렬 파라미터 이외의 파라미터가 포함되지 않기 때문에, QMPS(2)의 길이는 스트림 ST2의 PPS(2)의 길이보다도 짧다. 다음으로, 몇 개의 슬라이스 헤더 및 슬라이스 데이터가 이어진 후, PPS를 갱신할 필요성이 발생하면, 스트림 ST2에 두 번째 PPS(2)가 삽입된다. 스트림 ST2의 PPS(2)에는 양자화 행렬 파라미터가 포함되지 않기 때문에, 스트림 ST2의 PPS(2)의 길이는 스트림 ST1의 PPS(3)의 길이보다도 짧다. 그 후의 슬라이스에 대한 양자화 처리(및 역양자화 처리)는 슬라이스 헤더 내의 QMPS ID에 의해 지정되는 QMPS 내에서 정의되어 있는 양자화 행렬을 이용하여 행해진다.
도 6의 스트림 ST1 및 ST2를 비교하면, 본 실시 형태에 있어서 설명한 방법에 의해 스트림 전체의 부호량이 삭감될 수 있는 것이 이해된다. 특히, 양자화 행렬의 사이즈가 보다 큰 경우, 또는 픽처마다 정의되는 양자화 행렬의 수가 보다 많은 경우에는, 전술한 방법에 의한 부호량의 삭감은 한층 효과적으로 된다.
<3. 일 실시 형태에 따른 화상 복호 장치의 구성예>
[3-1. 전체적인 구성예]
본 단락에서는, 일 실시 형태에 따른 화상 복호 장치의 구성예에 대하여 설명한다.
[3-1. 전체적인 구성예]
도 7은, 일 실시 형태에 따른 화상 복호 장치(60)의 구성의 일례를 나타낸 블록도이다. 도 7을 참조하면, 화상 복호 장치(60)는 신택스 처리부(61), 가역 복호부(62), 역양자화부(63), 역직교 변환부(64), 가산부(65), 디블로킹 필터(66), 재배열 버퍼(67), D/A(Digital to Analogue) 변환부(68), 프레임 메모리(69), 셀렉터(70 및 71), 인트라 예측부(80)와 움직임 보상부(90)를 구비한다.
신택스 처리부(61)는 전송로를 통해 입력되는 부호화 스트림으로부터 SPS, PPS, QMPS 및 슬라이스 헤더 등의 헤더 정보를 취득하고, 취득한 헤더 정보에 기초하여 화상 복호 장치(60)에 의한 복호 처리를 위한 여러 설정을 인식한다. 예를 들어, 본 실시 형태에 있어서, 신택스 처리부(61)는 QMPS에 포함되는 양자화 행렬 파라미터에 기초하여, 역양자화부(63)에 의한 역양자화 처리 시에 사용되는 양자화 행렬을 설정한다. 신택스 처리부(61)의 상세한 구성에 대하여, 후에 다시 설명한다.
가역 복호부(62)는 신택스 처리부(61)로부터 입력되는 부호화 스트림을, 부호화 시에 사용된 부호화 방식에 따라서 복호한다. 그리고, 가역 복호부(62)는 복호 후의 양자화 데이터를 역양자화부(62)로 출력한다. 또한, 가역 복호부(62)는 헤더 정보에 포함되는 인트라 예측에 관한 정보를 인트라 예측부(80)로 출력하고, 인터 예측에 관한 정보를 움직임 보상부(90)로 출력한다.
역양자화부(63)는 신택스 처리부(61)에 의해 설정되는 양자화 행렬을 이용하여, 가역 복호부(62)에 의한 복호 후의 양자화 데이터(즉, 양자화된 변환 계수 데이터)를 역양자화한다. 어떤 슬라이스 내의 각 블록에 대하여 어느 양자화 행렬을 이용할지는, 슬라이스 헤더에 있어서 지정되는 QMPS ID, 각 블록(변환 단위)의 사이즈, 각 블록의 예측 방식 및 신호 성분에 따라서 결정될 수 있다.
역직교 변환부(64)는 부호화 시에 사용된 직교 변환 방식에 따라서 역양자화부(63)로부터 입력되는 변환 계수 데이터에 대하여 역직교 변환을 행함으로써, 예측 오차 데이터를 생성한다. 그리고, 역직교 변환부(64)는 생성한 예측 오차 데이터를 가산부(65)로 출력한다.
가산부(65)는 역직교 변환부(64)로부터 입력되는 예측 오차 데이터와, 셀렉터(71)로부터 입력되는 예측 화상 데이터를 가산함으로써, 복호 화상 데이터를 생성한다. 그리고, 가산부(65)는 생성한 복호 화상 데이터를 디블로킹 필터(66) 및 프레임 메모리(69)로 출력한다.
디블로킹 필터(66)는 가산부(65)로부터 입력되는 복호 화상 데이터를 필터링 함으로써 블록 왜곡을 제거하고, 필터링 후의 복호 화상 데이터를 재배열 버퍼(67) 및 프레임 메모리(69)로 출력한다.
재배열 버퍼(67)는 디블로킹 필터(66)로부터 입력되는 화상을 재배열함으로써, 시계열의 일련의 화상 데이터를 생성한다. 그리고, 재배열 버퍼(67)는 생성한 화상 데이터를 D/A 변환부(68)로 출력한다.
D/A 변환부(68)는 재배열 버퍼(67)로부터 입력되는 디지털 형식의 화상 데이터를 아날로그 형식의 화상 신호로 변환한다. 그리고, D/A 변환부(68)는 예를 들어 화상 복호 장치(60)와 접속되는 디스플레이(도시생략)에 아날로그 화상 신호를 출력함으로써, 화상을 표시시킨다.
프레임 메모리(69)는 가산부(65)로부터 입력되는 필터링 전의 복호 화상 데이터 및 디블로킹 필터(66)로부터 입력되는 필터링 후의 복호 화상 데이터를 기억 매체를 이용하여 기억한다.
셀렉터(70)는 가역 복호부(62)에 의해 취득되는 모드 정보에 따라서 화상 내의 블록마다, 프레임 메모리(69)로부터의 화상 데이터의 출력처를 인트라 예측부(80)와 움직임 보상부(90) 사이에서 전환한다. 예를 들어, 셀렉터(70)는 인트라 예측 모드가 지정된 경우에는, 프레임 메모리(69)로부터 공급되는 필터링 전의 복호 화상 데이터를 참조 화상 데이터로서 인트라 예측부(80)로 출력한다. 또한, 셀렉터(70)는 인터 예측 모드가 지정된 경우에는, 프레임 메모리(69)로부터 공급되는 필터링 후의 복호 화상 데이터를 참조 화상 데이터로서 움직임 보상부(90)로 출력한다.
셀렉터(71)는 가역 복호부(62)에 의해 취득되는 모드 정보에 따라서, 화상 내의 블록마다 가산부(65)에 공급할 예측 화상 데이터의 출력원을 인트라 예측부(80)와 움직임 보상부(90) 사이에서 전환한다. 예를 들어, 셀렉터(71)는 인트라 예측 모드가 지정된 경우에는, 인트라 예측부(80)로부터 출력되는 예측 화상 데이터를 가산부(65)에 공급한다. 셀렉터(71)는 인터 예측 모드가 지정된 경우에는, 움직임 보상부(90)로부터 출력되는 예측 화상 데이터를 가산부(65)에 공급한다.
인트라 예측부(80)는 가역 복호부(62)로부터 입력되는 인트라 예측에 관한 정보와 프레임 메모리(69)로부터의 참조 화상 데이터에 기초하여 화소값의 화면 내 예측을 행하고, 예측 화상 데이터를 생성한다. 그리고, 인트라 예측부(80)는 생성한 예측 화상 데이터를 셀렉터(71)로 출력한다.
움직임 보상부(90)는 가역 복호부(62)로부터 입력되는 인터 예측에 관한 정보와 프레임 메모리(69)로부터의 참조 화상 데이터에 기초하여 움직임 보상 처리를 행하고, 예측 화상 데이터를 생성한다. 그리고, 움직임 보상부(90)는 생성한 예측 화상 데이터를 셀렉터(71)로 출력한다.
[3-2. 신택스 처리부의 구성예]
도 8은, 도 7에 도시한 화상 복호 장치(60)의 신택스 처리부(61)의 상세한 구성의 일례를 나타낸 블록도이다. 도 8을 참조하면, 신택스 처리부(61)는 파라미터 취득부(160) 및 설정부(170)를 갖는다.
(1) 파라미터 취득부
파라미터 취득부(160)는 화상 데이터의 스트림으로부터 SPS, PPS, QMPS 및 슬라이스 헤더 등의 헤더 정보를 인식하고, 헤더 정보에 포함되는 파라미터를 취득한다. 예를 들어, 본 실시 형태에 있어서, 파라미터 취득부(160)는 양자화 행렬을 정의하는 양자화 행렬 파라미터를 QMPS로부터 취득한다. 전술한 바와 같이, QMPS는, SPS 및 PPS와는 다른 비 VCL NAL 유닛이다. 그리고, 파라미터 취득부(160)는 취득한 파라미터를 설정부(170)로 출력한다. 또한, 파라미터 취득부(160)는 화상 데이터의 스트림을 가역 복호부(62)로 출력한다.
(2) 설정부
설정부(170)는 파라미터 취득부(160)에 의해 취득되는 파라미터에 기초하여, 도 7에 도시한 각 부의 처리를 위한 설정을 행한다. 예를 들어, 설정부(170)는 LCU 및 SCU의 값의 세트로부터 부호화 단위의 사이즈 범위를 인식함과 함께, split_flag의 값에 따라서 부호화 단위의 사이즈를 설정한다. 여기서 설정되는 부호화 단위를 처리 단위로 하여, 화상 데이터의 복호가 행해진다. 또한, 설정부(170)는 변환 단위의 사이즈를 다시 설정한다. 여기서 설정되는 변환 단위를 처리 단위로 하여, 전술한 역양자화부(63)에 의한 역양자화 및 역직교 변환부(64)에 의한 역직교 변환이 행해진다.
또한, 본 실시 형태에 있어서, 설정부(170)는 파라미터 취득부(160)에 의해 QMPS로부터 취득되는 양자화 행렬 파라미터에 기초하여, 양자화 행렬을 설정한다. 보다 구체적으로는, 설정부(170)는 QMPS에 포함되는 양자화 파라미터에 기초하여, 사이즈 및 타입이 서로 다른 복수의 양자화 행렬을, 전체 스캔 모드, 카피 모드 또는 축 지정 모드에서 각각 생성한다. 양자화 행렬의 생성은, 화상 데이터의 스트림 내에서 QPMS가 검출될 때마다 행해질 수 있다.
예를 들어, 설정부(170)는 전체 스캔 모드에서, 양자화 행렬 파라미터에 포함되는 차분 데이터의 일차원 배열을 DPCM 방식으로 복호한다. 그리고, 설정부(170)는 복호 후의 일차원 배열을, 지그재그 스캔의 스캔 패턴에 따라서 이차원의 양자화 행렬로 변형된다.
또한, 설정부(170)는 카피 모드에 있어서, 양자화 행렬 파라미터에 포함되는 소스 ID, 카피원 사이즈 및 카피원 타입에 의해 특정되는(이전에 생성한) 양자화 행렬을 카피한다. 이때, 설정부(170)는 카피원의 양자화 행렬의 사이즈보다도 새로운 양자화 행렬의 사이즈가 작은 경우에는, 카피한 양자화 행렬의 요소를 솎아냄(decimating)으로써, 새로운 양자화 행렬을 생성한다. 또한, 설정부(170)는 카피원의 양자화 행렬의 사이즈보다도 새로운 양자화 행렬의 사이즈가 큰 경우에는, 카피한 양자화 행렬의 요소를 보간함으로써, 새로운 양자화 행렬을 생성한다. 그리고, 설정부(170)는 잔차 성분이 존재하는 경우에는, 새로운 양자화 행렬에 잔차 성분을 가산한다.
또한, 설정부(170)는 어떤 QMPS 내의 양자화 행렬 파라미터에 포함되는 소스 ID가 상기 QMPS의 QMPS ID와 동일한 경우에는, 새로운 양자화 행렬을 기정 양자화 행렬로 한다.
또한, 설정부(170)는 축 지정 모드에 있어서, 양자화 행렬 파라미터에 포함되는 지정 방식 플래그를 인식한다. 그리고, 설정부(170)는 차분 방식의 경우에는, 양자화 행렬 파라미터에 포함되는 기준축 데이터에 기초하여 종축, 횡축 및 경사축에 해당하는 양자화 행렬의 요소값을 생성하고, 나머지 요소값을 보간에 의해 생성한다. 또한, 설정부(170)는 보간 방식의 경우에는, 양자화 행렬 파라미터에 포함되는 코너 데이터에 기초하여 4개 코너에 해당하는 양자화 행렬의 요소값을 생성하고, 기준축의 요소값을 보간에 의해 생성한 후, 나머지 요소값을 보간에 의해 다시 생성한다. 그리고, 설정부(170)는 잔차 성분이 존재하는 경우에는, 새로운 양자화 행렬에 잔차 성분을 가산한다.
그 후, 설정부(170)는 슬라이스 헤더에 있어서 QMPS ID가 지정되면, 지정된 QMPS ID에 의해 식별되는 QMPS에 대하여 생성한 양자화 행렬을, 역양자화부(63)가 사용할 양자화 행렬로서 설정한다.
<4. 일 실시 형태에 따른 복호 시의 처리 흐름>
[4-1. 양자화 행렬의 생성]
(1) 양자화 행렬 생성 처리
도 9는, 본 실시 형태에 따른 신택스 처리부(61)에 의한 양자화 행렬 생성 처리 흐름의 일례를 나타낸 흐름도이다. 도 9의 양자화 행렬 생성 처리는, 화상 데이터의 스트림 내에서 QPMS가 검출될 때마다 행해질 수 있는 처리이다.
도 9를 참조하면, 파라미터 취득부(160)는 우선, QMPS로부터 QMPS ID를 취득한다(스텝 S200). 여기서 취득되는 QMPS ID가 스트림 내에서 미사용의 ID이면, 설정부(170)는 상기 QMPS ID에 관련지어지는 양자화 행렬을, 이하에 설명하는 처리에 따라서 새롭게 생성한다. 한편, QMPS ID가 이미 사용되고 있는 ID이면, 설정부(170)는 상기 QMPS ID와 관련지어서 유지하고 있는 양자화 행렬을, 이하에 설명하는 처리에 따라서 생성되는 행렬로 갱신한다. 다음으로, 파라미터 취득부(160)는 QMPS로부터 생성 모드 존재 플래그를 취득한다(스텝 S202).
그 후의 스텝 S206에서 스텝 S240까지의 처리는, 양자화 행렬의 종류마다 반복된다(스텝 S204). 또한, 양자화 행렬의 종류란, 양자화 행렬의 사이즈와 타입(즉, 예측 방식 및 신호 성분)의 조합에 상당한다.
스텝 S206에서는, 설정부(170)는 생성 모드 존재 플래그의 값에 따라서 QMPS내에 생성 모드(의 구분)가 존재하는지 여부를 판정한다(스텝 S206). 여기서 생성 모드가 존재하지 않는 경우에는, 설정부(170)는 H.264/AVC에서의 양자화 행렬의 복호 처리와 마찬가지로, 전체 스캔 방식으로 양자화 행렬을 생성한다(스텝 S208). 한편, 생성 모드가 존재하는 경우에는, 파라미터 취득부(160)는 QMPS로부터 생성 모드를 취득한다(스텝 S210). 그리고, 설정부(170)는 생성 모드에 따라서 서로 다른 처리를 행한다(스텝 S212, S214).
예를 들어, 설정부(170)는 카피 모드가 지시된 경우에는, 도 10에 예시한 카피 모드에서의 처리를 행한다(스텝 S220). 또한, 설정부(170)는 축 지정 모드가 지시된 경우에는, 도 11에 예시한 축 지정 모드에서의 처리를 행한다(스텝 S240). 또한, 설정부(170)는 전체 스캔 모드가 지시된 경우에는, H.264/AVC에서의 양자화 행렬의 복호 처리와 마찬가지로, 전체 스캔 방식으로 양자화 행렬을 생성한다(스텝 S208).
그 후, 모든 양자화 행렬의 종류에 대하여 양자화 행렬이 생성되면, 도 9에 도시한 양자화 행렬 생성 처리는 종료한다.
(2) 카피 모드에서의 처리
도 10은, 도 9의 스텝 S220에서의 카피 모드에서의 처리의 상세한 흐름의 일례를 나타낸 흐름도이다.
도 10을 참조하면, 우선, 파라미터 취득부(160)는 QMPS로부터 소스 ID를 취득한다(스텝 S221). 다음으로, 설정부(170)는 도 9의 스텝 S200에서 취득된 QMPS ID(현재의 QMPS의 QMPS ID)와 소스 ID가 동일한지 여부를 판정한다(스텝 S222). 여기서, 현재의 QMPS의 QMPS ID와 소스 ID가 동일한 경우에는, 설정부(170)는 새로운 양자화 행렬을 기정 양자화 행렬로서 생성한다(스텝 S223). 한편, 현재의 QMPS의 QMPS ID와 소스 ID가 동일하지 않은 경우에는, 처리는 스텝 S224로 진행한다.
스텝 S224에 있어서, 파라미터 취득부(160)는 QMPS로부터 카피원 사이즈 및 카피원 타입을 취득한다(스텝 S224). 다음으로, 설정부(170)는 소스 ID, 카피원 사이즈 및 카피원 타입에 의해 특정되는 양자화 행렬을 카피한다(스텝 S225). 이어서, 설정부(170)는 카피원 사이즈와 생성 대상의 양자화 행렬의 사이즈를 비교한다(스텝 S226). 여기서, 카피원 사이즈와 생성 대상의 양자화 행렬의 사이즈가 동일하지 않은 경우에는, 설정부(170)는 사이즈의 차이에 따라서 카피한 양자화 행렬의 요소를 보간하거나 솎아냄으로써, 새로운 양자화 행렬을 생성한다(스텝 S227).
또한, 파라미터 취득부(160)는 QMPS로부터 잔차 플래그를 취득한다(스텝 S228). 다음으로, 설정부(170)는 잔차 플래그의 값에 따라서, 잔차 데이터가 존재하는지 여부를 판정한다(스텝 S229). 여기서, 잔차 데이터가 존재하는 경우에는, 설정부(170)는 스텝 S223 또는 스텝 S225 내지 S227에 있어서 생성된 새로운 양자화 행렬에 잔차를 가산한다(스텝 S230).
(3) 축 지정 모드에서의 처리
도 11은, 도 9의 스텝 S240에서의 축 지정 모드에서의 처리의 상세한 흐름의 일례를 나타낸 흐름도이다.
도 11을 참조하면, 우선, 파라미터 취득부(160)는 QMPS로부터 지정 방식 플래그를 취득한다(스텝 S241). 다음으로, 설정부(170)는 지정 방식 플래그의 값에 따라서 지정 방식을 판정한다(스텝 S242). 여기서, 차분 방식이 지시되어 있는 경우에는, 처리는 스텝 S243으로 진행한다. 한편, 보간 방식이 지시되어 있는 경우에는, 처리는 스텝 S246으로 진행한다.
차분 방식의 경우, 설정부(170)는 양자화 행렬 파라미터에 포함되는 기준축 데이터에 기초하여, 종축, 횡축 및 경사축에 해당하는 양자화 행렬의 요소값을 생성한다(스텝 S243, S244 및 S245). 한편, 보간 방식의 경우, 설정부(170)는 양자화 행렬 파라미터에 포함되는 코너 데이터에 기초하여, 4개 코너에 해당하는 양자화 행렬의 요소값을 생성한다(스텝 S246). 다음으로, 설정부(170)는 4개 코너를 연결하는 기준축(종축, 횡축 및 경사축)의 요소값을 보간에 의해 생성한다(스텝 S247). 그 후, 설정부(170)는 경사축의 요소값에 기초하여, 나머지 요소값을 보간한다(스텝 S248).
또한, 파라미터 취득부(160)는 QMPS로부터 잔차 플래그를 취득한다(스텝 S249). 다음으로, 설정부(170)는 잔차 플래그의 값에 따라서, 잔차 데이터가 존재하는지 여부를 판정한다(스텝 S250). 여기서, 잔차 데이터가 존재하는 경우에는, 설정부(170)는 스텝 S248에 있어서 생성된 새로운 양자화 행렬에 잔차를 가산한다(스텝 S251).
[4-2. 슬라이스에의 양자화 행렬의 설정]
도 12는, 본 실시 형태에 따른 신택스 처리부(61)에 의한 슬라이스에의 양자화 행렬 설정 처리 흐름의 일례를 나타낸 흐름도이다. 도 12의 처리는, 화상 데이터의 스트림 내에서 슬라이스 헤더가 검출될 때마다 행해질 수 있다.
우선, 파라미터 취득부(160)는 슬라이스 헤더로부터 QMPS ID 존재 플래그를 취득한다(스텝 S261). 다음으로, 파라미터 취득부(160)는 QMPS ID 존재 플래그의 값에 따라서 슬라이스 헤더 내에 QMPS ID가 존재하는지 여부를 판정한다(스텝 S262). 여기서, QMPS ID가 존재하는 경우에는, 파라미터 취득부(160)는 QMPS ID를 QMPS로부터 다시 취득한다(스텝 S263). 그리고, 설정부(170)는 취득된 QMPS ID에 의해 식별되는 QMPS에 대하여 생성한 양자화 행렬을, 상기 슬라이스 헤더에 이어지는 슬라이스를 위해 설정한다(스텝 S264). 한편, 슬라이스 헤더 내에 QMPS ID가 존재하지 않는 경우에는, 설정부(170)는 플랫한 양자화 행렬을 상기 슬라이스 헤더에 이어지는 슬라이스를 위해 설정한다(스텝 S265).
<5. 신택스의 예>
[5-1. 제1 예]
도 13 내지 도 15는, 본 실시 형태에 따른 QMPS의 신택스를 표현하는 예시적인 의사 코드의 제1 예를 나타내고 있다. 의사 코드의 좌측 단부에는, 행 번호가 붙여져 있다. 또한, 의사 코드 내의 변수에 붙여진 하선은, 상기 변수에 대응하는 파라미터가 QMPS 내에서 특정되는 것을 의미한다.
도 13의 제1행의 함수 QuantizaionMatrixParameterSet()는 1개의 QMPS의 신택스를 표현하는 함수이다. 제2행 및 제3행에 있어서, QMPS ID(quantization_matrix_paramter_id) 및 생성 모드 존재 플래그(pred_present_flag)가 특정된다. 그 후의 제6행에서 제56행까지의 신택스는, 양자화 행렬의 사이즈 및 타입마다 루프된다. 루프 내의 제7행에서 제53행까지의 신택스는, 생성 모드가 존재하는 경우(pred_present_flag=1)에 QMPS에 삽입된다.
생성 모드가 존재하는 경우의 제9행 내지 제16행까지의 신택스는, 카피 모드에서의 신택스이다. 제9행부터 제11행에서는, 소스 ID, 카피원 사이즈 및 카피원 타입이 특정된다. 제12행의 함수 pred_matrix()는 소스 ID, 카피원 사이즈 및 카피원 타입에 의해 특정되는 양자화 행렬이 카피되는 것을 의미한다. 제13행에서는, 잔차 플래그가 특정된다. 제15행의 함수 residual_matrix()는 잔차 성분이 존재하는 경우에 잔차 데이터가 QMPS에 있어서 특정되는 것을 의미한다.
제18행에서 제50행까지의 신택스는 축 지정 모드에서의 신택스이며, 도 14에 기재되어 있다. 제18행에서는, 지정 방식 플래그가 특정된다. 지정 방식이 차분(DPCM) 방식인 경우에는, 제21행부터 제25행에 있어서 종축의 요소값, 제26행부터 제34행에 있어서 횡축의 요소값, 제35행부터 제40행에 있어서 경사축의 요소값이 각각 특정된다. 이 경우의 기준축 데이터는, DPCM의 차분 데이터의 일차원 배열이다. 또한, 횡축의 요소값을 종축으로부터 카피할 수 있는 경우에는, 횡축의 요소에 대한 신택스는 생략될 수 있다(제27행, 제28행). 지정 방식이 보간 방식인 경우에는, 제42행부터 제45행에 있어서 좌측 상단(DC 성분), 우측 상단, 좌측 하단 및 우측 하단의 요소값이 코너 데이터로서 각각 특정된다.
제52행의 처리는, 전체 스캔 모드에서의 신택스이다. 제55행의 처리는, 생성 모드가 존재하지 않는 경우의 신택스이다. 어느 경우든, H.264/AVC에서의 양자화 행렬의 신택스를 나타내는 함수 qmatrix()에 의해, 전체 스캔 방식으로 양자화 행렬이 특정된다.
도 15의 제1행의 함수 residual_matrix()는 도 13의 제15행 및 도 14의 제49행에서 사용되고 있는, 잔차 데이터를 특정하기 위한 함수이다. 도 15의 예에 있어서, 잔차 데이터는 DPCM 방식 또는 런 렝스 방식으로 특정된다. DPCM 방식의 경우에는, 제4행부터 제8행에 있어서, 일차원 배열의 요소마다 이전 요소와의 사이의 차분값(delta_coef)이 특정된다. 런 렝스 방식의 경우에는, 제11행부터 제18행에 있어서, 값에 제로가 이어지는 부분의 요소군의 길이(run) 및 비제로의 요소값(data)이 반복하여 특정된다.
[5-2. 제2 예]
도 16 내지 도 20은, 본 실시 형태에 따른 QMPS의 신택스를 표현하는 예시적인 의사 코드의 제2 예를 나타내고 있다.
도 16의 제1행의 함수 QuantizaionMatrixParameterSet()는 1개의 QMPS의 신택스를 표현하는 함수이다. 제2행에 있어서, QMPS ID(quantization_matrix_paramter_id)가 특정된다. 또한, 기정 양자화 행렬만이 지정되는 케이스를 제외하고, 제6행에 있어서, 생성 모드 존재 플래그(pred_present_flag)가 특정된다.
또한, 제2 예에서는, 함수 QuantizaionMatrixParameterSet()의 제7행부터 제10행에 있어서, 4종류의 양자화 스케일(Qscale0 내지 Qscale3)이 특정된다. 이들 양자화 스케일은, 양자화 행렬의 각 요소값을 양자화하여 부호량을 보다 적게 하기 위해 채용될 수 있는 파라미터이다. 보다 구체적으로는, 예를 들어 8×8의 양자화 행렬로, 도 21에 도시한 바와 같은 4개의 양자화 스케일 설정 영역 A1 내지 A4가 정의된다. 양자화 스케일 설정 영역 A1은, DC 성분을 포함하는 저역 신호에 대응하는 요소군을 위한 영역이다. 양자화 스케일 설정 영역 A2 및 A3은, 각각 중간 영역의 신호에 대응하는 요소군을 위한 영역이다. 양자화 스케일 설정 영역 A4는, 고역 신호에 대응하는 요소군을 위한 영역이다. 이러한 영역마다, 양자화 행렬의 요소값을 양자화하기 위한 양자화 스케일이 설정될 수 있다. 예를 들어, 도 22를 참조하면, 양자화 스케일 설정 영역 A1에 대한 제1 양자화 스케일(Qscale0)은 "1"이다. 이것은, 저역 신호에 대응하는 요소군에 대해서는 양자화 행렬의 값이 양자화되지 않는 것을 의미한다. 한편, 양자화 스케일 설정 영역 A2에 대한 제2 양자화 스케일(Qscale1)은 "2"이다. 양자화 스케일 설정 영역 A3에 대한 제3 양자화 스케일(Qscale2)은 "3"이다. 양자화 스케일 설정 영역 A4에 대한 제4 양자화 스케일(Qscale3)은 "4"이다. 양자화 스케일이 커질수록, 양자화에 의해 발생하는 오차는 증가한다. 그러나, 일반적으로 고역 신호에 대해서는, 어느 정도의 오차가 허용될 수 있다. 따라서, 높은 부호화 효율을 달성하는 것이 요망되는 경우에는, 양자화 행렬의 양자화를 위한 이러한 양자화 스케일의 설정에 의해, 양자화 행렬의 정의에 필요로 하는 부호량을, 화질을 크게 열화시키지 않고 효과적으로 삭감할 수 있다. 양자화 행렬의 양자화가 행해지는 경우에는, 실질적으로는, 도 3에 예시한 잔차 데이터 또는 차분 데이터의 각 요소값이, 각 요소가 속하는 양자화 스케일 설정 영역에 대하여 설정된 양자화 스텝에서 양자화되거나 역양자화될 수 있다.
또한, 도 21에 도시한 양자화 스케일 설정 영역의 배치는 일례에 지나지 않는다. 예를 들어, 양자화 행렬의 사이즈마다 서로 다른 수의 양자화 스케일 설정 영역이 정의되어도 된다(예를 들어, 사이즈가 클수록 많은 양자화 스케일 설정 영역이 정의될 수 있음). 또한, 양자화 스케일 설정 영역의 경계 위치도 도 21의 예에 한정되지 않는다. 통상적으로 양자화 행렬을 일차원화할 때의 스캔 패턴은 지그재그 스캔이다. 그로 인해, 도 21에 도시된 바와 같은 우측 상단부터 좌측 하방에 걸친 경사 영역 경계가 이용되는 것이 바람직하다. 그러나, 양자화 행렬의 요소 간의 상관 또는 사용되는 스캔 패턴 등에 따라서, 세로 방향 또는 가로 방향을 따른 영역 경계가 이용되어도 된다. 또한, 양자화 스케일 설정 영역의 배치(영역의 수 및 경계의 위치 등)는 부호화 효율의 관점에서 적응적으로 선택되어도 된다. 예를 들어, 플랫에 가까운 양자화 행렬이 정의되는 경우에는, 보다 적은 수의 양자화 스케일 설정 영역이 선택되어도 된다.
도 16에 있어서, 그 후의 제13행에서 제76행까지의 신택스는, 양자화 행렬의 사이즈 및 타입마다 루프된다. 루프 내의 제14행에서 제66행(도 18 참조)까지의 신택스는, 생성 모드가 존재하는 경우(pred_present_flag=1)에 QMPS에 삽입된다.
생성 모드가 존재하는 경우의 제16행에서 제22행까지의 신택스는, 카피 모드에서의 신택스이다. 제16행부터 제18행에서는, 소스 ID, 카피원 사이즈 및 카피원 타입이 특정된다. 제19행에서는, 잔차 플래그가 특정된다. 제21행의 함수residual_matrix()는 잔차 성분이 존재하는 경우에 잔차 데이터가 QMPS에 있어서 특정되는 것을 의미한다. 여기에서의 잔차 데이터는, 전술한 4종류의 양자화 스케일(Qscale0 내지 Qscale3)의 값에 따라서 양자화될 수 있다. 제23행에서 제56행까지의 신택스는 축 지정 모드에서의 신택스이며, 도 17에 기재되어 있다. 축 지정 모드에서의 잔차 데이터도 또한, 전술한 4종류의 양자화 스케일(Qscale0 내지 Qscale3)의 값에 따라서 양자화될 수 있다(제55행).
도 18의 제57행에서 제66행까지의 신택스는, 전체 스캔 모드에서의 신택스이다. 또한, 제68행에서 제75행까지의 신택스는, 생성 모드가 존재하지 않는 경우의 신택스이다. 모든 경우에도, 함수 qmatrix()에 의해 전체 스캔 방식으로 양자화 행렬이 특정된다. 단, 제2 예에서는, 부호화 효율을 보다 높이기 위해서, DPCM 방식의 차분 데이터(delta_coef) 또는 런 렝스 방식의 런 값(run) 및 비제로 요소값(data)을 엔트로피 부호화하기 위한 VLC 테이블이 적응적으로 전환된다. 제61행 및 제71행의 vlc_table_data는, DPCM 방식의 차분 데이터(delta_coef) 또는 런 렝스 방식의 비제로 요소값(data)을 위해 선택되는 VLC 테이블의 테이블 번호를 특정한다. 제63행 및 제73행의 vlc_table_run은, 런 렝스 방식의 런 값(run)을 위해서 선택되는 VLC 테이블의 테이블 번호를 특정한다.
도 19의 제1행의 함수 qmatrix()는 전체 스캔 방식으로 양자화 행렬을 특정하기 위한 신택스이다. 도 19의 제3행부터 제8행은 DPCM 방식에서의 신택스를 나타내고 있으며, 제5행의 차분 데이터(delta_coef)는 전술한 vlc_table_data에 의해 특정되는 VLC 테이블을 이용하여 부호화된다. 또한, 제10행부터 제21행은 런 렝스 방식에서의 신택스를 나타내고 있으며, 제12행의 런 값(run)은 전술한vlc_table_run에 의해 특정되는 VLC 테이블을 이용하여 부호화된다. 제13행의 비제로 요소값(data)은 전술한 vlc_table_data에 의해 특정되는 VLC 테이블을 이용하여 부호화된다.
도 23은, LCEC(Low Complexity Entropy Coding: 저부하 엔트로피 부호화) 방식에 있어서 선택 가능한 11종류의 VLC(Variable Length Coding) 테이블의 부호어 리스트를 나타내고 있다. 도 23에서의 각 부호어 내의 "x"는, 소위 서픽스이다. 예를 들어, "15"라 하는 값을 지수 골롬 부호로 부호화하면 "000010000"이라는 9비트의 부호어가 얻어지지만, 상기 값을 VLC4로 부호화하면 "11111"이라는 5비트의 부호어가 얻어진다. 이와 같이, 보다 큰 값이 많이 부호화되는 경우에는, 짧은 부호어 중에 보다 자릿수가 많은 서픽스를 갖는 VLC 테이블을 선택함으로써, 부호화 효율을 높일 수 있다. 도 23의 11종류의 VLC 테이블 중에서는, 예를 들어 VLC4는, 5비트의 부호어 중에 4자리의 서픽스를 갖고 있다. 또한, VLC9는, 6비트의 부호어 중에 4자리의 서픽스를 갖고 있다. 따라서, 이들 VLC 테이블은, 보다 큰 값이 많이 부호화되는 경우에 적합하다.
양자화 행렬의 신택스로 돌아가면, 양자화 행렬의 일차원 배열의 차분 데이터에서는 제로가 이어지는 경우가 많기 때문에, 런 렝스 방식의 런 값에 대해서는, 제로, 1 또는 2 등의 작은 값이 아니라 보다 큰 값이 많이 발생한다. 한편, 런 렝스 방식의 비제로 요소값 및 차분 데이터의 값에 대해서는, 큰 값은 적은 빈도로 밖에 발생하지 않는다. 따라서, 전술한 신택스와 같이 차분 데이터의 지정 방식(DPCM/런 렝스) 및 값의 종류(런 렝스 방식의 경우의 런/비제로 요소)마다 VLC 테이블을 전환함으로써, 양자화 행렬의 정의에 필요로 하는 부호량은 한층 삭감된다.
도 20의 제1행의 함수 residual_matrix()에 있어서도, VLC 테이블의 적응적인 전환이 채용되어 있다. 즉, 제7행의 vlc_table_data는, DPCM 방식의 차분 데이터(delta_coef)를 위해 선택되는 VLC 테이블의 테이블 번호를 특정한다. 제10행의 차분 데이터(delta_coef)는 제7행에서 특정되는 VLC 테이블을 이용하여 부호화된다. 제15행의 vlc_table_data는, 런 렝스 방식의 비제로 요소값(data)을 위해 선택되는 VLC 테이블의 테이블 번호를 특정한다. 제16행의 vlc_table_run은, 런 렝스 방식의 런 값(run)을 위해 선택되는 VLC 테이블의 테이블 번호를 특정한다. 제19행의 런 값(run)은 전술한 vlc_table_run에 의해 특정되는 VLC 테이블을 이용하여 부호화된다. 제20행의 비제로 요소값(data)은 전술한 vlc_table_data에 의해 특정되는 VLC 테이블을 이용하여 부호화된다.
이와 같은 QMPS의 신택스의 여러 특징에 의해, 양자화 행렬의 정의에 필요로 하는 부호량이 효과적으로 삭감되어, 부호화 효율은 향상될 수 있다. 또한, 본 단락에서 설명한 신택스는 일례에 지나지 않는다. 즉, 여기에서 예시한 신택스의 일부가 생략되고, 파라미터의 순서가 변경되거나, 다른 파라미터가 신택스에 추가되어도 된다. 또한, 본 단락에서 설명한 신택스의 몇 가지 특징은, QMPS가 아니라 SPS 또는 PPS에 있어서 양자화 행렬을 정의할 때 채용되어도 된다. 그 경우에는, SPS 또는 PPS에서의 양자화 행렬의 정의에 필요로 하는 부호량을 삭감할 수 있다.
<6. 파라미터 세트의 다양한 구성예>
여기까지, 양자화 행렬 파라미터를 저장하는 양자화 행렬 파라미터 세트(QMPS)의 신택스의 구체적인 몇 가지 예를 설명하였다. QMPS는 실질적으로는 양자화 행렬 파라미터만을 포함하는 전용의 파라미터 세트이어도 되고, 양자화 행렬 이외의 부호화 툴에 관련된 다른 파라미터도 포함하는 공용의 파라미터 세트이어도 된다. 예를 들어, "Adaptation Parameter Set(APS)" (JCTVC-F747r3, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011)은 적응 파라미터 세트(APS: Adaptation Parameter Set)라 불리는 새로운 파라미터 세트를 도입하고, 적응 루프 필터(ALF: Adaptive Loop Filter) 및 샘플 적응 오프셋(SAO: Sample Adaptive Offset)에 관련된 파라미터를 APS에 저장하는 것을 제안하고 있다. 이러한 APS에 양자화 행렬 파라미터를 더 포함함으로써, 전술한 QMPS를 실질적으로 구성할 수도 있다. 따라서, 본 단락에서는, "Adaptation Parameter Set (APS)"(JCTVC-F747r3)에 의해 제안되어 있는 APS를 이용하여 QMPS를 구성하기 위한 몇 가지 방법에 대하여 설명한다.
[6-1. 제1 방법]
제1 방법은, 하나의 APS 내에서 대상의 모든 파라미터를 열거하고, 상기 APS를 일의적으로 식별하는 식별자인 APS ID를 이용하여 각 파라미터를 참조한다고 하는 방법이다. 도 24는, 제1 방법에 따라서 구성되는 부호화 스트림의 일례를 나타내고 있다.
도 24를 참조하면, 시퀀스의 선두에 위치하는 픽처 P0의 첫머리에 SPS801, PPS802 및 APS803이 삽입되어 있다. PPS802는 PPS ID "P0"에 의해 식별된다. APS803은 APS ID "A0"에 의해 식별된다. APS803은 ALF 관련 파라미터, SAO 관련 파라미터 및 양자화 행렬 파라미터(이하, QM 관련 파라미터라 함)를 포함한다. 픽처 P0 내의 슬라이스 데이터에 부가되어 있는 슬라이스 헤더(804)는 참조 PPS ID "P0"을 포함하고, 이것은 상기 슬라이스 데이터를 복호하기 위해서 PPS802 내의 파라미터가 참조되는 것을 의미한다. 마찬가지로, 슬라이스 헤더(804)는 참조 APS ID "A0"을 포함하고, 이것은 상기 슬라이스 데이터를 복호하기 위해 APS803 내의 파라미터가 참조되는 것을 의미한다.
픽처 P0에 이어지는 픽처 P1에는 APS805가 삽입되어 있다. APS805는 APS ID "A1"에 의해 식별된다. APS805는 ALF 관련 파라미터, SAO 관련 파라미터 및 QM 관련 파라미터를 포함한다. APS805에 포함되는 ALF 관련 파라미터 및 SAO 관련 파라미터는 APS803으로부터 갱신되어 있지만, QM 관련 파라미터는 갱신되어 있지 않다. 픽처 P1 내의 슬라이스 데이터에 부가되어 있는 슬라이스 헤더(806)는 참조 APS ID "A1"을 포함하고, 이것은 상기 슬라이스 데이터를 복호하기 위해 APS805 내의 파라미터가 참조되는 것을 의미한다.
픽처 P1에 이어지는 픽처 P2에는 APS807이 삽입되어 있다. APS807은 APS ID "A2"에 의해 식별된다. APS807은, ALF 관련 파라미터, SAO 관련 파라미터 및 QM 관련 파라미터를 포함한다. APS807에 포함되는 ALF 관련 파라미터 및 QM 관련 파라미터는 APS805로부터 갱신되어 있지만, SAO 관련 파라미터는 갱신되어 있지 않다. 픽처 P2 내의 슬라이스 데이터에 부가되어 있는 슬라이스 헤더(808)는 참조APS ID "A2"를 포함하고, 이것은 상기 슬라이스 데이터를 복호하기 위해서 APS807 내의 파라미터가 참조되는 것을 의미한다.
도 25는, 제1 방법에 따라서 정의되는 APS의 신택스의 일례를 나타내고 있다. 도 25의 제2행에 있어서, 상기 APS를 일의적으로 식별하기 위한 APS ID가 특정된다. APS ID는, 도 3을 이용하여 설명한 QMPS ID 대신에 이용되는 파라미터 세트 식별자이다. 제13행 내지 제17행에서는 ALF 관련 파라미터가 특정된다. 제18행 내지 제23행에서는 SAO 관련 파라미터가 특정된다. 제24행 내지 제28행에서는 QM 관련 파라미터가 특정된다. 제24행의 "aps_qmatrix_flag"는, 상기 APS 내에 QM 관련 파라미터가 설정되었는지를 나타내는 양자화 행렬 존재 플래그이다. 제27행의 "qmatrix_param()"은, 도 13 내지 도 20에 예시한 바와 같은 양자화 행렬 파라미터를 특정하는 함수이다. 상기 APS 내에 QM 관련 파라미터가 설정된 것을 제24행의 양자화 행렬 존재 플래그가 나타내고 있는 경우(aps_qmatrix_flag=1)에, 상기 APS 내에서 함수 qmatrix_param()을 이용하여 양자화 행렬 파라미터가 설정될 수 있다.
제1 방법이 채용되는 경우, 도 8에 도시한 파라미터 취득부(160)는 APS에 포함되는 양자화 행렬 존재 플래그를 참조함으로써, 상기 APS 내에 양자화 행렬 파라미터가 설정되었는지를 판정한다. 그리고, 파라미터 취득부(160)는 APS 내에 양자화 행렬 파라미터가 설정된 경우에, 상기 APS로부터 양자화 행렬 파라미터를 취득한다.
도 26은, 제1 방법에 따라서 정의되는 슬라이스 헤더의 신택스의 일례를 나타낸 설명도이다. 도 26의 제5행에서는, 상기 슬라이스에 설정할 파라미터 중 PPS에 포함되는 파라미터를 참조하기 위한 참조 PPS ID가 특정된다. 제8행에서는, 상기 슬라이스에 설정할 파라미터 중 APS에 포함되는 파라미터를 참조하기 위한 참조APS ID가 특정된다. 참조 APS ID는, 도 4를 이용하여 설명한(참조) QMPS ID의 대신에 이용되는 참조용 파라미터이다.
제1 방법에 의하면, "Adaptation Parameter Set(APS)"(JCTVC-F747r3)에 의해 제안되어 있는 APS를 확장함으로써, 전술한 양자화 행렬 파라미터 세트를 적은 비용으로 실현할 수 있다. 또한, 양자화 행렬 존재 플래그를 이용하여, APS에 포함 가능한 다양한 부호화 툴에 관련된 파라미터 중, 양자화 행렬 파라미터만을 부분적으로 갱신하거나, 양자화 행렬 파라미터만을 부분적으로 갱신하지 않는 것이 가능해진다. 즉, 양자화 행렬의 갱신 필요성이 발생한 타이밍에서만 APS에 양자화 행렬 파라미터를 포함할 수 있기 때문에, APS 내에서 양자화 행렬 파라미터를 효율적으로 전송할 수 있다.
[6-2. 제1 방법의 변형예]
APS 내의 양자화 행렬 파라미터의 부호량을 보다 삭감하기 위해서, 이하에 설명하는 변형예에 따른 방법이 채용되어도 된다.
도 27은, 제1 방법의 일 변형예에 따라서 정의되는 APS의 신택스의 일례를 나타내고 있다. 도 27에 도시한 신택스에 있어서, 제24행 내지 제33행에서는, QM 관련 파라미터가 특정된다. 제24행의 "aps_qmatrix_flag"는, 상기 APS 내에 QM 관련 파라미터가 설정되었는지를 나타내는 양자화 행렬 존재 플래그이다. 제25행의"ref_aps_id_present_flag"는, 상기 APS의 QM 관련 파라미터로서 과거 참조 ID가 사용될지를 나타내는 과거 참조 ID 존재 플래그이다. 과거 참조 ID가 사용되는 것을 과거 참조 ID 존재 플래그가 나타내고 있는 경우(ref_aps_id_present_flag=1)에는, 제27행에 있어서, 과거 참조 ID "ref_aps_id"가 설정된다. 과거 참조 ID는, 상기 APS보다도 전에 부호화되거나 복호되는 APS의 APS ID를 참조하기 위한 식별자이다. 과거 참조 ID가 사용되는 경우에는, 참조원의(후의) APS 내에는 양자화 행렬 파라미터는 설정되지 않는다. 이 경우, 도 8에 도시한 설정부(170)는 참조원의 APS에 대응하는 양자화 행렬로서, 과거 참조 ID에 의해 나타내는 참조처의 APS의 양자화 행렬 파라미터에 기초하여 설정한 양자화 행렬을 재이용한다. 또한, 과거 참조 ID가 참조원의 APS의 APS ID를 참조하는 것(소위 자기 참조)은 금지되어도 된다. 그 대신에, 설정부(170)는 자기 참조가 행해지고 있는 APS에 대응하는 양자화 행렬로서, 기정 양자화 행렬을 설정하여도 된다. 과거 참조 ID가 사용되지 않은 경우(ref_aps_id_present_flag=0)에는, 제31행의 함수 "qmatrix_param()"을 이용하여, 상기 APS 내에 양자화 행렬 파라미터가 설정될 수 있다.
이와 같이, 이미 부호화되거나 복호된 양자화 행렬을 과거 참조 ID를 이용하여 재이용함으로써, 동일한 양자화 행렬 파라미터가 반복하여 APS 내에 설정되는 것이 회피된다. 그것에 의해, APS 내의 양자화 행렬 파라미터의 부호량을 삭감할 수 있다. 또한, 도 27에서는, 과거의 APS를 참조하기 위해 APS ID가 사용되는 예를 나타내었지만, 과거의 APS를 참조하는 방법은 이러한 예에 한정되지 않는다. 예를 들어, 참조원의 APS와 참조처의 APS 사이의 APS의 수 등의 다른 파라미터가, 과거의 APS를 참조하기 위해 이용되어도 된다. 또한, 과거 참조 ID 존재 플래그가 사용되는 대신에, 과거 참조 ID가 소정의 값(예를 들어 마이너스 1)을 나타내는지 여부에 따라서, 과거의 APS의 참조와 새로운 양자화 행렬 파라미터의 설정이 전환되어도 된다.
[6-3. 제2 방법]
제2 방법은, 파라미터의 종류마다 서로 다른 APS(서로 다른 NAL 유닛) 내에 파라미터를 저장하고, 각 APS를 일의적으로 식별하는 APS ID를 이용하여 각 파라미터를 참조한다고 하는 방법이다. 도 28은, 제2 방법에 따라서 구성되는 부호화 스트림의 일례를 나타내고 있다.
도 28을 참조하면, 시퀀스의 선두에 위치하는 픽처 P0의 첫머리에, SPS(811), PPS(812), APS(813a), APS(813b) 및 APS(813c)가 삽입되어 있다. PPS(812)는 PPS ID "P0"에 의해 식별된다. APS(813a)는 ALF 관련 파라미터용 APS이며, APS ID "A00"에 의해 식별된다. APS(813b)는 SAO 관련 파라미터용 APS이며, APS ID "A10"에 의해 식별된다. APS(813c)는 QM 관련 파라미터용 APS이며, APS ID "A20"에 의해 식별된다. 픽처 P0 내의 슬라이스 데이터에 부가되어 있는 슬라이스 헤더(814)는 참조 PPS ID "P0"을 포함하고, 이것은 상기 슬라이스 데이터를 복호하기 위해 PPS(812) 내의 파라미터가 참조되는 것을 의미한다. 마찬가지로, 슬라이스 헤더(814)는 참조 APS_ALF ID "A00", 참조 APS_SAO ID "A10" 및 참조 APS_QM ID "A20"을 포함하고, 이들은 상기 슬라이스 데이터를 복호하기 위해 APS(813a, 813b 및 813c) 내의 파라미터가 참조되는 것을 의미한다.
픽처 P0에 이어지는 픽처 P1에는, APS(815a 및 APS815b)가 삽입되어 있다. APS(815a)는 ALF 관련 파라미터용 APS이며, APS ID "A01"에 의해 식별된다. APS(815b)는 SAO 관련 파라미터용 APS이며, APS ID "A11"에 의해 식별된다. 픽처 P0으로부터 QM 관련 파라미터는 갱신되지 않기 때문에, QM 관련 파라미터용 APS는 삽입되어 있지 않다. 픽처 P1 내의 슬라이스 데이터에 부가되어 있는 슬라이스 헤더(816)는 참조 APS_ALF ID "A01", 참조 APS_SAO ID "A11" 및 참조 APS_QM ID "A20"을 포함한다. 이들은, 상기 슬라이스 데이터를 복호하기 위해 APS(815a, 815b 및 813c) 내의 파라미터가 참조되는 것을 의미한다.
픽처 P1에 이어지는 픽처 P2에는, APS(817a 및 APS817c)가 삽입되어 있다. APS(817a)는 ALF 관련 파라미터용 APS이며, APS ID "A02"에 의해 식별된다. APS(817c)는 QM 관련 파라미터용 APS이며, APS ID "A21"에 의해 식별된다. 픽처 P1로부터 SAO 관련 파라미터는 갱신되지 않기 때문에, SAO 관련 파라미터용 APS는 삽입되어 있지 않다. 픽처 P2 내의 슬라이스 데이터에 부가되어 있는 슬라이스 헤더(818)는 참조 APS_ALF ID "A02", 참조 APS_SAO ID "A11" 및 참조 APS_QM ID "A21"을 포함한다. 이들은, 상기 슬라이스 데이터를 복호하기 위해 APS(817a, 815b 및 817c) 내의 파라미터가 참조되는 것을 의미한다.
제2 방법에서의 QM 관련 파라미터용 APS(예를 들어, APS(813c 및 817c))는 실질적으로 전술한 QMPS와 동일하다. QM 관련 파라미터용 APS의 APS ID는, 도 3을 이용하여 설명한 QMPS ID 대신에 이용된다. 제2 방법에 의하면, 파라미터의 종류마다 서로 다른 APS가 이용되기 때문에, 갱신의 필요성이 없는 파라미터에 대하여 용장적인 파라미터의 전송이 행해지지 않는다. 그로 인해, 부호화 효율은 최적화될 수 있다. 단, 제2 방법에서는, APS의 대상이 되는 파라미터의 종류가 증가할수록, APS의 종류를 식별하기 위한 식별자인 NAL 유닛 타입(nal_unit_type)의 종류도 증가한다. HEVC의 표준 사양에 있어서, 확장을 위해 확보되어 있는 NAL 유닛 타입(nal_unit_type)의 수에는 제한이 있다. 따라서, APS를 위해 다수의 NAL 유닛 타입을 소비하는 것을 회피하는 구조를 고려하는 것이 유익하다.
[6-4. 제3 방법]
제3 방법은, APS에 양자화 행렬 파라미터 및 다른 파라미터를 포함하고, 이들 파라미터를 APS ID와는 별도로 정의되는 식별자마다 그룹화한다고 하는 방법이다. 본 명세서에서는, APS ID와는 별도로 정의되고 그룹마다 부여되는 상기 식별자를, 보조 식별자(SUB ID)라 한다. 각 파라미터는, 슬라이스 헤더에 있어서 보조 식별자를 이용하여 참조된다. 도 29는, 제3 방법에 따라서 구성되는 부호화 스트림의 일례를 나타내고 있다.
도 29를 참조하면, 시퀀스의 선두에 위치하는 픽처 P0의 첫머리에, SPS(821), PPS(822) 및 APS(823)가 삽입되어 있다. PPS(822)는 PPS ID "P0"에 의해 식별된다. APS(823)는 ALF 관련 파라미터, SAO 관련 파라미터 및 QM 관련 파라미터를 포함한다. ALF 관련 파라미터는 하나의 그룹에 속하고, ALF용 보조 식별자인 SUB_ALF ID "AA0"에 의해 식별된다. SAO 관련 파라미터는 하나의 그룹에 속하고, SAO용 보조 식별자인 SUB_SAO ID "AS0"에 의해 식별된다. QM 관련 파라미터는 하나의 그룹에 속하고, QM용 보조 식별자인 SUB_QM ID "AQ0"에 의해 식별된다. 픽처 P0 내의 슬라이스 데이터에 부가되어 있는 슬라이스 헤더(824)는 참조 SUB_ALF ID "AA0", 참조 SUB_SAO ID "AS0" 및 참조 SUB_QM ID "AQ0"을 포함한다. 이들은, 상기 슬라이스 데이터를 복호하기 위해서, SUB_ALF ID "AA0"에 속하는 ALF 관련 파라미터, SUB_SAO ID "AS0"에 속하는 SAO 관련 파라미터 및 SUB_QM ID "AQ0"에 속하는 QM 관련 파라미터가 참조되는 것을 의미한다.
픽처 P0에 이어지는 픽처 P1에는, APS(825)가 삽입되어 있다. APS(825)는 ALF 관련 파라미터 및 SAO 관련 파라미터를 포함한다. ALF 관련 파라미터는 SUB_ALF ID "AA1"에 의해 식별된다. SAO 관련 파라미터는 SUB_SAO ID "AS1"에 의해 식별된다. 픽처 P0부터 QM 관련 파라미터는 갱신되지 않기 때문에, APS(825)에 QM 관련 파라미터는 포함되어 있지 않다. 픽처 P1 내의 슬라이스 데이터에 부가되어 있는 슬라이스 헤더(826)는 참조 SUB_ALF ID "AA1", 참조 SUB_SAO ID "AS1" 및 참조 SUB_QM ID "AQ0"을 포함한다. 이들은, 상기 슬라이스 데이터를 복호하기 위해 APS(825) 내의 SUB_ALF ID "AA1"에 속하는 ALF 관련 파라미터 및 SUB_SAO ID "AS1"에 속하는 SAO 관련 파라미터와 APS(823) 내의 SUB_QM ID "AQ0"에 속하는 QM 관련 파라미터가 참조되는 것을 의미한다.
픽처 P1에 이어지는 픽처 P2에는, APS(827)가 삽입되어 있다. APS(827)는 ALF 관련 파라미터 및 QM 관련 파라미터를 포함한다. ALF 관련 파라미터는 SUB_ALF ID "AA2"에 의해 식별된다. QM 관련 파라미터는 SUB_QM ID "AQ1"에 의해 식별된다. 픽처 P1부터 SAO 관련 파라미터는 갱신되지 않기 때문에, APS(827)에 SAO 관련 파라미터는 포함되어 있지 않다. 픽처 P2 내의 슬라이스 데이터에 부가되어 있는 슬라이스 헤더(828)는 참조 SUB_ALF ID "AA2", 참조 SUB_SAO ID "AS1" 및 참조 SUB_QM ID "AQ1"을 포함한다. 이들은, 상기 슬라이스 데이터를 복호하기 위해 APS(827) 내의 SUB_ALF ID "AA2"에 속하는 ALF 관련 파라미터 및 SUB_QM ID "AQ1"에 속하는 QM 관련 파라미터와 APS(825) 내의 SUB_SAO ID "AS1"에 속하는 SAO 관련 파라미터가 참조되는 것을 의미한다.
도 30은, 제3 방법에 따라서 정의되는 APS의 신택스의 일례를 나타내고 있다. 도 30의 제2행 내지 제4행에 있어서, 3개의 그룹 존재 플래그"aps_adaptive_loop_filter_flag", "aps_sample_adaptive_offset_flag" 및 "aps_qmatrix_flag"가 특정된다. 그룹 존재 플래그는, 각 그룹에 속하는 파라미터가 상기 APS 내에 포함되는지 여부를 나타낸다. 도 30의 예에서는 APS ID는 신택스로부터 생략되어 있지만, 상기 APS를 식별하기 위한 APS ID가 신택스 내에 추가되어도 된다. 제12행 내지 제17행에서는 ALF 관련 파라미터가 특정된다. 제13행의 "sub_alf_id"는 ALF용 보조 식별자이다. 제18행 내지 제24행에서는 SAO 관련 파라미터가 특정된다. 제19행의 "sub_sao_id"는 SAO용 보조 식별자이다. 제25행 내지 제30행에서는 QM 관련 파라미터가 특정된다. 제26행의 "sub_qmatrix_id"는 QM용 보조 식별자이다. 제29행의 "qmatrix_param()"은, 도 13 내지 도 20에 예시한 바와 같은 양자화 행렬 파라미터를 특정하는 함수이다.
도 31은, 제3 방법에 따라서 정의되는 슬라이스 헤더의 신택스의 일례를 나타낸 설명도이다. 도 31의 제5행에서는, 상기 슬라이스에 설정할 파라미터 중 PPS에 포함되는 파라미터를 참조하기 위한 참조 PPS ID가 특정된다. 제8행에서는, 상기 슬라이스에 설정할 파라미터 중 ALF 관련 파라미터를 참조하기 위한 참조 SUB_ALF ID가 특정된다. 제9행에서는, 상기 슬라이스에 설정할 파라미터 중 SAO 관련 파라미터를 참조하기 위한 참조 SUB_SAO ID가 특정된다. 제10행에서는, 상기 슬라이스에 설정할 파라미터 중 QM 관련 파라미터를 참조하기 위한 참조 SUB_QM ID가 특정된다.
제3 방법이 채용되는 경우, 화상 부호화 장치(10)의 신택스 처리부(13)의 파라미터 생성부(130)는 양자화 행렬 파라미터가 갱신될 때마다, 갱신된 일군의 양자화 행렬 파라미터에 보조 식별자로서 새로운 SUB_QM ID를 부여한다. 그리고, 삽입부(130)는 SUB_QM ID의 부여된 양자화 행렬 파라미터를, 다른 파라미터와 함께 APS에 삽입한다. 화상 복호 장치(60)의 신택스 처리부(61)의 파라미터 취득부(160)는 각 슬라이스에 설정되는 양자화 행렬 파라미터를, 슬라이스 헤더 내에서 지정되는 참조 SUB_QM ID를 이용하여 APS로부터 취득한다.
제3 방법에 의하면, 보조 식별자를 이용하여 APS 내의 파라미터가 그룹화되고, 갱신의 필요성이 없는 그룹의 파라미터에 대하여 용장적인 파라미터의 전송이 행해지지 않는다. 그로 인해, 부호화 효율은 최적화될 수 있다. 또한, 파라미터의 종류가 증가하여도 APS의 종류는 증가하지 않기 때문에, 전술한 제2 방법과 같이 NAL 유닛 타입이 수많이 소비되는 일이 없다. 따라서, 제3 방법은 장래의 확장 유연성을 손상시키는 일도 없다.
도 29 내지 도 31의 예에서는, APS에 포함되는 파라미터가 ALF, SAO 및 QM이라는 관련된 부호화 툴에 따라서 그룹화되어 있다. 그러나, 이것은 파라미터의 그룹화의 일례에 지나지 않는다. 또한, APS에는 다른 부호화 툴에 관련된 파라미터가 포함되어도 된다. 예를 들어, 적응 보간 필터(AIF: Adaptive Interpolation Filter)의 필터 계수 등의 AIF 관련 파라미터는, APS에 포함될 수 있는 파라미터의 일례이다. 이하, 도 32를 참조하면서, APS에 포함되는 파라미터 그룹화의 다양한 기준에 대하여 설명한다.
도 32에 나타낸 표는, 대표적인 부호화 툴마다의 파라미터 특징으로서, 「파라미터의 내용」, 「갱신 빈도」 및 「데이터 사이즈」를 일람화하고 있다.
적응 루프 필터(ALF)는 복호 화상과 원 화상의 오차를 최소화하도록 적응적으로 결정되는 필터 계수로 복호 화상을 2차원 필터링하는 필터(전형적으로는, 위너 필터)이다. ALF 관련 파라미터는, 각 블록에 적용되는 필터 계수와 CU(Coding Unit)마다 On/Off 플래그를 포함한다. ALF의 필터 계수의 데이터 사이즈는, 다른 종류의 파라미터와 비교하여 매우 크다. 그로 인해, 통상 부호량이 많은 I 픽처에 대해서는 ALF 관련 파라미터는 전송되지만, 부호량이 작은 B 픽처에 대해서는 ALF 관련 파라미터의 전송은 생략될 수 있다. 이것은, 부호량이 작은 픽처에 대하여 데이터 사이즈가 큰 ALF 관련 파라미터를 전송하는 것이 이득의 관점에서 비효율적이기 때문이다. ALF의 필터 계수는 대부분의 경우 픽처마다 변화한다. 필터 계수는 화상의 내용에 의존하기 때문에, 과거에 설정된 필터 계수를 재이용할 수 있을 가능성은 낮다.
샘플 적응 오프셋(SAO)은 복호 화상의 각 화소값에 적응적으로 결정되는 오프셋값을 더함으로써, 복호 화상의 화질을 향상시키는 툴이다. SAO 관련 파라미터는 오프셋 패턴 및 오프셋값을 포함한다. SAO 관련 파라미터의 데이터 사이즈는 ALF 관련 파라미터일수록 크지 않다. SAO 관련 파라미터도 또한, 원칙으로서 픽처마다 변화한다. 단, SAO 관련 파라미터에는, 화상의 내용이 조금 변화해도 그다지 변화하지 않는다고 하는 성질이 있기 때문에, 과거에 설정된 파라미터값을 재이용할 수 있을 가능성이 있다.
양자화 행렬(QM)은 직교 변환에 의해 화상 데이터로부터 변환되는 변환 계수를 양자화할 때 이용되는 양자화 스케일을 요소로 하는 행렬이다. QM 관련 파라미터, 즉 양자화 행렬 파라미터에 대해서는, 본 명세서에서 상세히 설명한 바와 같다. QM 관련 파라미터의 데이터 사이즈는 SAO 관련 파라미터보다도 크다. 양자화 행렬은 원칙으로서 모든 픽처에 필요해지지만, 화상의 내용이 크게 변화하지 않으면 반드시 픽처마다 갱신되지 않아도 된다. 그로 인해, 양자화 행렬은 동일한 종별(I/P/B 픽처 등)의 픽처에 대하여, 또는 GOP마다 재이용될 수 있다.
적응 보간 필터(AIF)는 움직임 보상 시에 이용되는 보간 필터의 필터 계수를 서브 픽셀 위치마다 적응적으로 변화시키는 툴이다. AIF 관련 파라미터는 서브 픽셀 위치마다의 필터 계수를 포함한다. AIF 관련 파라미터의 데이터 사이즈는 전술한 3종류의 파라미터와 비교하면 작다. AIF 관련 파라미터는 원칙으로서 픽처마다 변화한다. 단, 픽처의 종별이 동일하면 보간의 특성이 유사한 경향이 있기 때문에, 동일한 종별(I/P/B 픽처 등)의 픽처에 대하여 AIF 관련 파라미터를 재이용할 수 있다.
전술한 바와 같은 파라미터의 성질에 기초하여, 예를 들어 APS에 포함되는 파라미터를 그룹화하기 위한 다음의 3가지 기준을 채용할 수 있다.
기준 A) 부호화 툴에 따른 그룹화
기준 B) 갱신 빈도에 따른 그룹화
기준 C) 파라미터의 재이용 가능성에 따른 그룹화
기준 A는, 관련된 부호화 툴에 따라서 파라미터를 그룹화한다고 하는 기준이다. 도 29 내지 도 31에 예시한 파라미터 세트의 구성은, 기준 A에 기초하고 있다. 파라미터의 성질은 대체로 관련된 부호화 툴에 따라서 정해지기 때문에, 부호화 툴마다 파라미터를 그룹화함으로써, 파라미터의 다양한 성질에 따라서 적시에 효율적으로 파라미터를 갱신하는 것이 가능해진다.
기준 B는, 갱신 빈도에 따라서 파라미터를 그룹화한다고 하는 기준이다. 도 32에 도시한 바와 같이, ALF 관련 파라미터, SAO 관련 파라미터 및 AIF 관련 파라미터는, 모두 원칙으로서 픽처마다 갱신될 수 있다. 따라서, 예를 들어 이들 파라미터를 하나의 그룹으로, QM 관련 파라미터를 다른 그룹으로 그룹화할 수 있다. 이 경우에는, 기준 A와 비교하여 그룹의 수가 적어진다. 그 결과, 슬라이스 헤더에서 특정할 보조 식별자의 수도 적어지기 때문에, 슬라이스 헤더의 부호량을 삭감할 수 있다. 한편, 동일한 그룹에 속하는 파라미터의 갱신 빈도는 서로 유사하기 때문에, 갱신되지 않는 파라미터가 다른 파라미터의 갱신을 위해 용장적으로 전송될 가능성도 낮게 유지된다.
기준 C는, 파라미터의 재이용 가능성에 따라서 파라미터를 그룹화한다고 하는 기준이다. ALF 관련 파라미터에 대해서는 재이용 가능성은 낮지만, SAO 관련 파라미터 및 AIF 관련 파라미터에 대해서는 어느 정도의 재이용 가능성이 있다. QM 관련 파라미터에 대해서는, 복수의 픽처에 걸쳐 파라미터가 재이용될 가능성이 높다. 따라서, 이러한 재이용 가능성에 따라서 파라미터를 그룹화함으로써, 재이용되는 파라미터를 APS 내에서 용장적으로 전송하는 것을 회피할 수 있다.
[6-5. 제3 방법의 변형예]
전술한 제3 방법에서는, 도 31에 예시한 바와 같이, APS 내의 파라미터를 그룹화하는 그룹의 수만큼 참조 SUB ID가 슬라이스 헤더 내에서 특정되게 된다. 참조 SUB ID를 위해서 필요로 하는 부호량은, 대략 슬라이스 헤더의 수와 그룹의 수의 곱에 비례한다. 이러한 부호량을 보다 삭감하기 위해서, 이하에 설명하는 변형예에 따른 방법이 채용되어도 된다.
제3 방법의 변형예에서는, 보조 식별자의 조합에 관련지어지는 조합 ID가, APS 또는 다른 파라미터 세트 내에서 정의된다. 그리고, APS 내에 포함되는 파라미터는, 조합 ID를 통해서 슬라이스 헤더로부터 참조될 수 있다. 도 33은, 제3 방법의 이러한 변형예에 따라서 구성되는 부호화 스트림의 일례를 나타내고 있다.
도 33을 참조하면, 시퀀스의 선두에 위치하는 픽처 P0의 첫머리에, SPS(831), PPS(832) 및 APS(833)가 삽입되어 있다. PPS(832)는 PPS ID "P0"에 의해 식별된다. APS(833)는 ALF 관련 파라미터, SAO 관련 파라미터 및 QM 관련 파라미터를 포함한다. ALF 관련 파라미터는 SUB_ALF ID "AA0"에 의해 식별된다. SAO 관련 파라미터는 SUB_SAO ID "AS0"에 의해 식별된다. QM 관련 파라미터는 SUB_QM ID "AQ0"에 의해 식별된다. 또한, APS(833)는 조합의 정의로서, 조합 ID "C00"={AA0, AS0, AQ0}을 포함한다. 픽처 P0 내의 슬라이스 데이터에 부가되어 있는 슬라이스 헤더(834)는 조합 ID "C00"을 포함한다. 이것은, 상기 슬라이스 데이터를 복호하기 위해서, 조합 ID "C00"에 각각 관련지어져 있는 SUB_ALF ID "AA0"에 속하는 ALF 관련 파라미터, SUB_SAO ID "AS0"에 속하는 SAO 관련 파라미터 및 SUB_QM ID "AQ0"에 속하는 QM 관련 파라미터가 참조되는 것을 의미한다.
픽처 P0에 이어지는 픽처 P1에는 APS(835)가 삽입되어 있다. APS(835)는 ALF 관련 파라미터 및 SAO 관련 파라미터를 포함한다. ALF 관련 파라미터는 SUB_ALF ID "AA1"에 의해 식별된다. SAO 관련 파라미터는 SUB_SAO ID "AS1"에 의해 식별된다. 픽처 P0으로부터 QM 관련 파라미터는 갱신되지 않기 때문에, APS(835)에 QM 관련 파라미터는 포함되어 있지 않다. 또한, APS(835)는 조합의 정의로서, 조합 ID "C01"={AA1, AS0, AQ0}, 조합 ID "C02"={AA0, AS1, AQ0} 및 조합 ID "C03"={AA1, AS1, AQ0}을 포함한다. 픽처 P1 내의 슬라이스 데이터에 부가되어 있는 슬라이스 헤더(836)는 조합 ID "C03"을 포함한다. 이것은, 상기 슬라이스 데이터를 복호하기 위해서, 조합 ID "C03"에 각각 관련지어져 있는 SUB_ALF ID "AA1"에 속하는 ALF 관련 파라미터, SUB_SAO ID "AS1"에 속하는 SAO 관련 파라미터 및 SUB_QM ID "AQ0"에 속하는 QM 관련 파라미터가 참조되는 것을 의미한다.
픽처 P1에 이어지는 픽처 P2에는, APS(837)가 삽입되어 있다. APS(837)는 ALF 관련 파라미터를 포함한다. ALF 관련 파라미터는 SUB_ALF ID "AA2"에 의해 식별된다. 픽처 P1로부터 SAO 관련 파라미터 및 QM 관련 파라미터는 갱신되지 않기 때문에, APS(837)에 SAO 관련 파라미터 및 QM 관련 파라미터는 포함되어 있지 않다. 또한, APS(837)는, 조합의 정의로서, 조합 ID "C04"={AA2, AS0, AQ0} 및 조합 ID "C05"={AA2, AS1, AQ0}을 포함한다. 픽처 P2 내의 슬라이스 데이터에 부가되어 있는 슬라이스 헤더(838)는 조합 ID "C05"를 포함한다. 이것은, 상기 슬라이스 데이터를 복호하기 위해서, 조합 ID "C05"에 각각 관련지어져 있는 SUB_ALF ID "AA2"에 속하는 ALF 관련 파라미터, SUB_SAO ID "AS1"에 속하는 SAO 관련 파라미터 및 SUB_QM ID "AQ0"에 속하는 QM 관련 파라미터가 참조되는 것을 의미한다.
또한, 본 변형예에 있어서, 보조 식별자의 모든 조합에 대하여 조합 ID가 정의되지 않아도 되고, 슬라이스 헤더에서 실제로 참조되는 보조 식별자의 조합에 대해서만 조합 ID가 정의되어도 된다. 또한, 보조 식별자의 조합은, 대응하는 파라미터가 저장되어 있는 APS와는 다른 APS 내에서 정의되어도 된다.
본 변형예가 채용되는 경우, 화상 부호화 장치(10)의 신택스 처리부(13)의 파라미터 생성부(130)는 양자화 행렬 파라미터를 포함하는 다양한 파라미터를 그룹화하는 보조 식별자의 조합에 관련지어지는 조합 ID를, 추가적인 파라미터로서 생성한다. 그리고, 삽입부(130)는 파라미터 생성부(130)에 의해 생성된 조합 ID를, APS 또는 다른 파라미터 세트에 삽입한다. 화상 복호 장치(60)의 신택스 처리부(61)의 파라미터 취득부(160)는 각 슬라이스의 슬라이스 헤더에서 지정되는 조합 ID를 취득하고, 상기 조합 ID에 관련지어지는 보조 식별자를 이용하여 APS 내의 양자화 행렬 파라미터를 다시 취득한다.
이와 같이, 보조 식별자의 조합에 관련지어지는 조합 ID를 이용하여 APS 내의 파라미터를 참조함으로써, 슬라이스 헤더로부터 각 파라미터를 참조하기 위해 필요로 하는 부호량을 삭감할 수 있다.
<7. 응용예>
전술한 실시 형태에 따른 화상 부호화 장치(10) 및 화상 복호 장치(60)는 위성 방송, 케이블 TV 등의 유선 방송, 인터넷상에서의 배신 및 셀룰러 통신에 의한 단말기에의 배신 등에서의 송신기 또는 수신기, 광 디스크, 자기 디스크 및 플래시 메모리 등의 매체에 화상을 기록하는 기록 장치, 또는 이들 기억 매체로부터 화상을 재생하는 재생 장치 등의 다양한 전자 기기에 응용될 수 있다. 이하, 4가지 응용예에 대하여 설명한다.
[7-1. 제1 응용예]
도 34는, 전술한 실시 형태를 적용한 텔레비전 장치의 개략적인 구성의 일례를 나타내고 있다. 텔레비전 장치(900)는 안테나(901), 튜너(902), 디멀티플렉서(903), 디코더(904), 영상 신호 처리부(905), 표시부(906), 음성 신호 처리부(907), 스피커(908), 외부 인터페이스(909), 제어부(910), 유저 인터페이스(911) 및 버스(912)를 구비한다.
튜너(902)는 안테나(901)를 통해서 수신되는 방송 신호로부터 원하는 채널의 신호를 추출하고, 추출한 신호를 복조한다. 그리고, 튜너(902)는 복조에 의해 얻어진 부호화 비트 스트림을 디멀티플렉서(903)로 출력한다. 즉, 튜너(902)는 화상이 부호화되어 있는 부호화 스트림을 수신하는, 텔레비전 장치(900)에서의 전송 수단으로서의 역할을 갖는다.
디멀티플렉서(903)는 부호화 비트 스트림으로부터 시청 대상인 프로그램의 영상 스트림 및 음성 스트림을 분리하고, 분리한 각 스트림을 디코더(904)로 출력한다. 또한, 디멀티플렉서(903)는 부호화 비트 스트림으로부터 EPG(Electronic Program Guide) 등의 보조적인 데이터를 추출하고, 추출한 데이터를 제어부(910)에 공급한다. 또한, 디멀티플렉서(903)는 부호화 비트 스트림이 스크램블되어 있는 경우에는, 디스크램블을 행해도 된다.
디코더(904)는 디멀티플렉서(903)로부터 입력되는 영상 스트림 및 음성 스트림을 복호한다. 그리고, 디코더(904)는 복호 처리에 의해 생성되는 영상 데이터를 영상 신호 처리부(905)로 출력한다. 또한, 디코더(904)는 복호 처리에 의해 생성되는 음성 데이터를 음성 신호 처리부(907)로 출력한다.
영상 신호 처리부(905)는 디코더(904)로부터 입력되는 영상 데이터를 재생하고, 표시부(906)에 영상을 표시시킨다. 또한, 영상 신호 처리부(905)는 네트워크를 통해 공급되는 어플리케이션 화면을 표시부(906)에 표시시켜도 된다. 또한, 영상 신호 처리부(905)는 영상 데이터에 대하여 설정에 따라서, 예를 들어 노이즈 제거 등의 추가적인 처리를 행해도 된다. 또한, 영상 신호 처리부(905)는 예를 들어 메뉴, 버튼 또는 커서 등의 GUI(Graphical User Interface)의 화상을 생성하고, 생성한 화상을 출력 화상에 중첩해도 된다.
표시부(906)는 영상 신호 처리부(905)로부터 공급되는 구동 신호에 의해 구동되고, 표시 디바이스(예를 들어, 액정 디스플레이, 플라즈마 디스플레이 또는 OLED 등)의 영상면 위에 영상 또는 화상을 표시한다.
음성 신호 처리부(907)는 디코더(904)로부터 입력되는 음성 데이터에 대하여 D/A 변환 및 증폭 등의 재생 처리를 행하고, 스피커(908)로부터 음성을 출력시킨다. 또한, 음성 신호 처리부(907)는 음성 데이터에 대하여 노이즈 제거 등의 추가적인 처리를 행해도 된다.
외부 인터페이스(909)는 텔레비전 장치(900)와 외부 기기 또는 네트워크를 접속하기 위한 인터페이스이다. 예를 들어, 외부 인터페이스(909)를 통해 수신되는 영상 스트림 또는 음성 스트림이, 디코더(904)에 의해 복호되어도 된다. 즉, 외부 인터페이스(909)도 또한, 화상이 부호화되어 있는 부호화 스트림을 수신하는, 텔레비전 장치(900)에서의 전송 수단으로서의 역할을 갖는다.
제어부(910)는 CPU(Central Processing Unit) 등의 프로세서와 RAM(Random Access Memory) 및 ROM(Read Only Memory) 등의 메모리를 갖는다. 메모리는 CPU에 의해 실행되는 프로그램, 프로그램 데이터, EPG 데이터, 및 네트워크를 통해 취득되는 데이터 등을 기억한다. 메모리에 의해 기억되는 프로그램은, 예를 들어 텔레비전 장치(900)의 기동 시에 CPU에 의해 읽어 들여져서 실행된다. CPU는 프로그램을 실행함으로써, 예를 들어 유저 인터페이스(911)로부터 입력되는 조작 신호에 따라서, 텔레비전 장치(900)의 동작을 제어한다.
유저 인터페이스(911)는 제어부(910)와 접속된다. 유저 인터페이스(911)는 예를 들어 유저가 텔레비전 장치(900)를 조작하기 위한 버튼 및 스위치와 원격 제어 신호의 수신부 등을 갖는다. 유저 인터페이스(911)는 이들 구성 요소를 통해 유저에 의한 조작을 검출하여 조작 신호를 생성하고, 생성한 조작 신호를 제어부(910)로 출력한다.
버스(912)는 튜너(902), 디멀티플렉서(903), 디코더(904), 영상 신호 처리부(905), 음성 신호 처리부(907), 외부 인터페이스(909) 및 제어부(910)를 서로 접속한다.
이와 같이 구성된 텔레비전 장치(900)에 있어서, 디코더(904)는 전술한 실시 형태에 따른 화상 복호 장치(60)의 기능을 갖는다. 따라서, 텔레비전 장치(900)로 복호되는 영상에 대한 부호화 효율의 저하를 완화하거나, 부호화 효율을 향상할 수 있다.
[7-2. 제2 응용예]
도 35는, 전술한 실시 형태를 적용한 휴대 전화기의 개략적인 구성의 일례를 나타내고 있다. 휴대 전화기(920)는 안테나(921), 통신부(922), 음성 코덱(923), 스피커(924), 마이크로폰(925), 카메라부(926), 화상 처리부(927), 다중 분리부(928), 기록 재생부(929), 표시부(930), 제어부(931), 조작부(932) 및 버스(933)를 구비한다.
안테나(921)는 통신부(922)에 접속된다. 스피커(924) 및 마이크로폰(925)는 음성 코덱(923)에 접속된다. 조작부(932)는 제어부(931)에 접속된다. 버스(933)는 통신부(922), 음성 코덱(923), 카메라부(926), 화상 처리부(927), 다중 분리부(928), 기록 재생부(929), 표시부(930) 및 제어부(931)를 서로 접속한다.
휴대 전화기(920)는 음성 통화 모드, 데이터 통신 모드, 촬영 모드 및 텔레비전 전화 모드를 포함하는 다양한 동작 모드이며, 음성 신호의 송수신, 전자 메일 또는 화상 데이터의 송수신, 화상의 촬상 및 데이터의 기록 등의 동작을 행한다.
음성 통화 모드에 있어서, 마이크로폰(925)에 의해 생성되는 아날로그 음성 신호는 음성 코덱(923)에 공급된다. 음성 코덱(923)은 아날로그 음성 신호를 음성 데이터로 변환하고, 변환된 음성 데이터를 A/D 변환하여 압축한다. 그리고, 음성 코덱(923)은 압축 후의 음성 데이터를 통신부(922)로 출력한다. 통신부(922)는 음성 데이터를 부호화 및 변조하고, 송신 신호를 생성한다. 그리고, 통신부(922)는 생성한 송신 신호를 안테나(921)를 통해 기지국(도시생략)으로 송신한다. 또한, 통신부(922)는 안테나(921)를 통해 수신되는 무선 신호를 증폭 및 주파수 변환하고, 수신 신호를 취득한다. 그리고, 통신부(922)는 수신 신호를 복조 및 복호 음성 데이터를 생성하고, 생성한 음성 데이터를 음성 코덱(923)으로 출력한다. 음성 코덱(923)은 음성 데이터를 신장 및 D/A 변환하고, 아날로그 음성 신호를 생성한다. 그리고, 음성 코덱(923)은 생성한 음성 신호를 스피커(924)에 공급하여 음성을 출력시킨다.
또한, 데이터 통신 모드에 있어서, 예를 들어 제어부(931)는 조작부(932)를 거친 유저에 의한 조작에 따라서, 전자 메일을 구성하는 문자 데이터를 생성한다. 또한, 제어부(931)는 문자를 표시부(930)에 표시시킨다. 또한, 제어부(931)는 조작부(932)를 거친 유저로부터의 송신 지시에 따라서 전자 메일 데이터를 생성하고, 생성한 전자 메일 데이터를 통신부(922)로 출력한다. 통신부(922)는 전자 메일 데이터를 부호화 및 변조하고, 송신 신호를 생성한다. 그리고, 통신부(922)는 생성된 송신 신호를 안테나(921)를 통해 기지국(도시생략)에 송신한다. 또한, 통신부(922)는 안테나(921)를 통해 수신되는 무선 신호를 증폭 및 주파수 변환하고, 수신 신호를 취득한다. 그리고, 통신부(922)는 수신 신호를 복조 및 복호 전자 메일 데이터를 복원하고, 복원한 전자 메일 데이터를 제어부(931)로 출력한다. 제어부(931)는 표시부(930)에 전자 메일의 내용을 표시시킴과 함께, 전자 메일 데이터를 기록 재생부(929)의 기억 매체에 기억시킨다.
기록 재생부(929)는 판독 기입 가능한 임의의 기억 매체를 갖는다. 예를 들어, 기억 매체는 RAM 또는 플래시 메모리 등의 내장형 기억 매체이어도 되고, 하드디스크, 자기 디스크, 광자기 디스크, 광 디스크, USB 메모리, 또는 메모리 카드 등의 외부 장착형 기억 매체이어도 된다.
또한, 촬영 모드에 있어서, 예를 들어 카메라부(926)는 피사체를 촬상하여 화상 데이터를 생성하고, 생성한 화상 데이터를 화상 처리부(927)로 출력한다. 화상 처리부(927)는 카메라부(926)로부터 입력되는 화상 데이터를 부호화하고, 부호화 스트림을 기록 재생부(929)의 기억 매체에 기억시킨다.
또한, 텔레비전 전화 모드에 있어서, 예를 들어 다중 분리부(928)는 화상 처리부(927)에 의해 부호화된 영상 스트림과, 음성 코덱(923)으로부터 입력되는 음성 스트림을 다중화하고, 다중화한 스트림을 통신부(922)로 출력한다. 통신부(922)는 스트림을 부호화 및 변조하고, 송신 신호를 생성한다. 그리고, 통신부(922)는 생성한 송신 신호를 안테나(921)를 통해 기지국(도시생략)으로 송신한다. 또한, 통신부(922)는 안테나(921)를 통해 수신되는 무선 신호를 증폭 및 주파수 변환하고, 수신 신호를 취득한다. 이들 송신 신호 및 수신 신호에는, 부호화 비트 스트림이 포함될 수 있다. 그리고, 통신부(922)는 수신 신호를 복조 및 복호 스트림을 복원하고, 복원된 스트림을 다중 분리부(928)로 출력한다. 다중 분리부(928)는 입력되는 스트림으로부터 영상 스트림 및 음성 스트림을 분리하고, 영상 스트림을 화상 처리부(927), 음성 스트림을 음성 코덱(923)으로 출력한다. 화상 처리부(927)는 영상 스트림을 복호하고, 영상 데이터를 생성한다. 영상 데이터는 표시부(930)에 공급되고, 표시부(930)에 의해 일련의 화상이 표시된다. 음성 코덱(923)은 음성 스트림을 신장 및 D/A 변환하고, 아날로그 음성 신호를 생성한다. 그리고, 음성 코덱(923)은 생성한 음성 신호를 스피커(924)에 공급하여 음성을 출력시킨다.
이와 같이 구성된 휴대 전화기(920)에 있어서, 화상 처리부(927)는 전술한 실시 형태에 따른 화상 부호화 장치(10) 및 화상 복호 장치(60)의 기능을 갖는다. 따라서, 휴대 전화기(920)로 부호화 및 복호되는 영상에 대한 부호화 효율의 저하를 완화하거나, 부호화 효율을 향상할 수 있다.
[7-3. 제3 응용예]
도 36은, 전술한 실시 형태를 적용한 기록 재생 장치의 개략적인 구성의 일례를 나타내고 있다. 기록 재생 장치(940)는 예를 들어 수신한 방송 프로그램의 음성 데이터 및 영상 데이터를 부호화하여 기록 매체에 기록한다. 또한, 기록 재생 장치(940)는 예를 들어 다른 장치로부터 취득되는 음성 데이터 및 영상 데이터를 부호화하여 기록 매체에 기록해도 된다. 또한, 기록 재생 장치(940)는 예를 들어 유저의 지시에 따라서, 기록 매체에 기록되어 있는 데이터를 모니터 및 스피커 위에서 재생한다. 이때, 기록 재생 장치(940)는 음성 데이터 및 영상 데이터를 복호한다.
기록 재생 장치(940)는 튜너(941), 외부 인터페이스(942), 인코더(943), HDD(944: Hard Disk Drive), 디스크 드라이브(945), 셀렉터(946), 디코더(947), OSD(948: On-Screen Display), 제어부(949) 및 유저 인터페이스(950)를 구비한다.
튜너(941)는 안테나(도시생략)를 통해 수신되는 방송 신호로부터 원하는 채널의 신호를 추출하고, 추출한 신호를 복조한다. 그리고, 튜너(941)는 복조에 의해 얻어진 부호화 비트 스트림을 셀렉터(946)로 출력한다. 즉, 튜너(941)는 기록 재생 장치(940)에서의 전송 수단으로서의 역할을 갖는다.
외부 인터페이스(942)는 기록 재생 장치(940)와 외부 기기 또는 네트워크를 접속하기 위한 인터페이스이다. 외부 인터페이스(942)는 예를 들어 IEEE1394 인터페이스, 네트워크 인터페이스, USB 인터페이스, 또는 플래시 메모리 인터페이스 등이어도 된다. 예를 들어, 외부 인터페이스(942)를 통해 수신되는 영상 데이터 및 음성 데이터는 인코더(943)에 입력된다. 즉, 외부 인터페이스(942)는 기록 재생 장치(940)에서의 전송 수단으로서의 역할을 갖는다.
인코더(943)는 외부 인터페이스(942)로부터 입력되는 영상 데이터 및 음성 데이터가 부호화되어 있지 않은 경우에, 영상 데이터 및 음성 데이터를 부호화한다. 그리고, 인코더(943)는 부호화 비트 스트림을 셀렉터(946)로 출력한다.
HDD(944)는, 영상 및 음성 등의 콘텐츠 데이터가 압축된 부호화 비트 스트림, 각종 프로그램 및 기타 데이터를 내부 하드 디스크에 기록한다. 또한, HDD(944)는 영상 및 음성의 재생 시에, 이들 데이터를 하드 디스크로부터 판독한다.
디스크 드라이브(945)는 장착되어 있는 기록 매체에의 데이터의 기록 및 판독을 행한다. 디스크 드라이브(945)에 장착되는 기록 매체는, 예를 들어 DVD 디스크(DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD+R, DVD+RW 등) 또는 Blu-ray(등록상표) 디스크 등이어도 된다.
셀렉터(946)는 영상 및 음성의 기록 시에는, 튜너(941) 또는 인코더(943)로부터 입력되는 부호화 비트 스트림을 선택하고, 선택한 부호화 비트 스트림을 HDD(944) 또는 디스크 드라이브(945)로 출력한다. 또한, 셀렉터(946)는 영상 및 음성의 재생 시에는, HDD(944) 또는 디스크 드라이브(945)로부터 입력되는 부호화 비트 스트림을 디코더(947)로 출력한다.
디코더(947)는 부호화 비트 스트림을 복호하고, 영상 데이터 및 음성 데이터를 생성한다. 그리고, 디코더(947)는 생성한 영상 데이터를 OSD(948)로 출력한다. 또한, 디코더(904)는 생성한 음성 데이터를 외부의 스피커로 출력한다.
OSD(948)는 디코더(947)로부터 입력되는 영상 데이터를 재생하고, 영상을 표시한다. 또한, OSD(948)는 표시하는 영상에, 예를 들어 메뉴, 버튼 또는 커서 등의 GUI의 화상을 중첩해도 된다.
제어부(949)는 CPU 등의 프로세서와 RAM 및 ROM 등의 메모리를 갖는다. 메모리는 CPU에 의해 실행되는 프로그램 및 프로그램 데이터 등을 기억한다. 메모리에 의해 기억되는 프로그램은, 예를 들어 기록 재생 장치(940)의 기동 시에 CPU에 의해 읽어 들여져서 실행된다. CPU는 프로그램을 실행함으로써, 예를 들어 유저 인터페이스(950)로부터 입력되는 조작 신호에 따라서, 기록 재생 장치(940)의 동작을 제어한다.
유저 인터페이스(950)는 제어부(949)와 접속된다. 유저 인터페이스(950)는 예를 들어 유저가 기록 재생 장치(940)를 조작하기 위한 버튼 및 스위치와 원격 제어 신호의 수신부 등을 갖는다. 유저 인터페이스(950)는 이들 구성 요소를 통해 유저에 의한 조작을 검출하여 조작 신호를 생성하고, 생성한 조작 신호를 제어부(949)로 출력한다.
이와 같이 구성된 기록 재생 장치(940)에 있어서, 인코더(943)는 전술한 실시 형태에 따른 화상 부호화 장치(10)의 기능을 갖는다. 또한, 디코더(947)는 전술한 실시 형태에 따른 화상 복호 장치(60)의 기능을 갖는다. 따라서, 기록 재생 장치(940)로 부호화 및 복호되는 영상에 대한 부호화 효율의 저하를 완화하거나, 부호화 효율을 향상할 수 있다.
[7-4. 제4 응용예]
도 37은, 전술한 실시 형태를 적용한 촬상 장치의 개략적인 구성의 일례를 나타내고 있다. 촬상 장치(960)는 피사체를 촬상하여 화상을 생성하고, 화상 데이터를 부호화하여 기록 매체에 기록한다.
촬상 장치(960)는 광학 블록(961), 촬상부(962), 신호 처리부(963), 화상 처리부(964), 표시부(965), 외부 인터페이스(966), 메모리(967), 미디어 드라이브(968), OSD(969), 제어부(970), 유저 인터페이스(971) 및 버스(972)를 구비한다.
광학 블록(961)은 촬상부(962)에 접속된다. 촬상부(962)는 신호 처리부(963)에 접속된다. 표시부(965)는 화상 처리부(964)에 접속된다. 유저 인터페이스(971)는 제어부(970)에 접속된다. 버스(972)는 화상 처리부(964), 외부 인터페이스(966), 메모리(967), 미디어 드라이브(968), OSD(969) 및 제어부(970)를 서로 접속한다.
광학 블록(961)은 포커스 렌즈 및 교축 기구 등을 갖는다. 광학 블록(961)은 피사체의 광학 상(像)을 촬상부(962)의 촬상면에 결상시킨다. 촬상부(962)는 CCD 또는 CMOS 등의 이미지 센서를 갖고, 촬상면에 결상한 광학 상을 광전 변환에 의해 전기 신호로서의 화상 신호로 변환한다. 그리고, 촬상부(962)는 화상 신호를 신호 처리부(963)로 출력한다.
신호 처리부(963)는 촬상부(962)로부터 입력되는 화상 신호에 대하여 니 보정, 감마 보정, 색 보정 등의 다양한 카메라 신호 처리를 행한다. 신호 처리부(963)는 카메라 신호 처리 후의 화상 데이터를 화상 처리부(964)로 출력한다.
화상 처리부(964)는 신호 처리부(963)로부터 입력되는 화상 데이터를 부호화하고, 부호화 데이터를 생성한다. 그리고, 화상 처리부(964)는 생성한 부호화 데이터를 외부 인터페이스(966) 또는 미디어 드라이브(968)로 출력한다. 또한, 화상 처리부(964)는 외부 인터페이스(966) 또는 미디어 드라이브(968)로부터 입력되는 부호화 데이터를 복호하고, 화상 데이터를 생성한다. 그리고, 화상 처리부(964)는 생성한 화상 데이터를 표시부(965)로 출력한다. 또한, 화상 처리부(964)는 신호 처리부(963)로부터 입력되는 화상 데이터를 표시부(965)로 출력하여 화상을 표시시켜도 된다. 또한, 화상 처리부(964)는 OSD(969)로부터 취득되는 표시용 데이터를, 표시부(965)로 출력하는 화상에 중첩해도 된다.
OSD(969)는 예를 들어 메뉴, 버튼 또는 커서 등의 GUI의 화상을 생성하고, 생성한 화상을 화상 처리부(964)로 출력한다.
외부 인터페이스(966)는 예를 들어 USB 입출력 단자로서 구성된다. 외부 인터페이스(966)는 예를 들어 화상의 인쇄 시에, 촬상 장치(960)와 프린터를 접속한다. 또한, 외부 인터페이스(966)에는, 필요에 따라서 드라이브가 접속된다. 드라이브에는, 예를 들어 자기 디스크 또는 광 디스크 등의 리무버블 미디어가 장착되고, 리무버블 미디어로부터 판독되는 프로그램이 촬상 장치(960)에 인스톨될 수 있다. 또한, 외부 인터페이스(966)는 LAN 또는 인터넷 등의 네트워크에 접속되는 네트워크 인터페이스로서 구성되어도 된다. 즉, 외부 인터페이스(966)는 촬상 장치(960)에서의 전송 수단으로서의 역할을 갖는다.
미디어 드라이브(968)에 장착되는 기록 매체는, 예를 들어 자기 디스크, 광자기 디스크, 광 디스크, 또는 반도체 메모리 등의, 판독 기입 가능한 임의의 리무버블 미디어이어도 된다. 또한, 미디어 드라이브(968)에 기록 매체가 고정적으로 장착되고, 예를 들어 내장형 하드디스크 드라이브 또는 SSD(Solid State Drive)와 같은 비가반성 기억부가 구성되어도 된다.
제어부(970)는 CPU 등의 프로세서와 RAM 및 ROM 등의 메모리를 갖는다. 메모리는 CPU에 의해 실행되는 프로그램 및 프로그램 데이터 등을 기억한다. 메모리에 의해 기억되는 프로그램은, 예를 들어 촬상 장치(960)의 기동 시에 CPU에 의해 읽어 들여져서 실행된다. CPU는 프로그램을 실행함으로써, 예를 들어 유저 인터페이스(971)로부터 입력되는 조작 신호에 따라서, 촬상 장치(960)의 동작을 제어한다.
유저 인터페이스(971)는 제어부(970)와 접속된다. 유저 인터페이스(971)는 예를 들어 유저가 촬상 장치(960)를 조작하기 위한 버튼 및 스위치 등을 갖는다. 유저 인터페이스(971)는 이들 구성 요소를 통해 유저에 의한 조작을 검출하여 조작 신호를 생성하고, 생성된 조작 신호를 제어부(970)로 출력한다.
이와 같이 구성된 촬상 장치(960)에 있어서, 화상 처리부(964)는 전술한 실시 형태에 따른 화상 부호화 장치(10) 및 화상 복호 장치(60)의 기능을 갖는다. 따라서, 촬상 장치(960)로 부호화 및 복호되는 영상에 대한 부호화 효율의 저하를 완화하거나, 부호화 효율을 향상할 수 있다.
<8. 정리>
여기까지, 도 1 내지 도 37을 이용하여, 일 실시 형태에 따른 화상 부호화 장치(10) 및 화상 복호 장치(60)에 대하여 설명하였다. 본 실시 형태에 의하면, 화상의 양자화 및 역양자화 시에 사용되는 양자화 행렬을 정의하는 양자화 행렬 파라미터가, 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 다른 양자화 행렬 파라미터 세트(QMPS) 내에 삽입된다. 그것에 의해, 양자화 행렬의 갱신 시에 양자화 행렬 파라미터 이외의 파라미터를 부호화하는 일도, 양자화 행렬 파라미터 이외의 파라미터의 갱신 시에 양자화 행렬 파라미터를 부호화하는 일도 불필요해진다. 따라서, 양자화 행렬의 갱신에 수반하는 부호화 효율의 저하가 완화되거나, 부호화 효율이 향상된다. 특히, 양자화 행렬의 사이즈가 보다 큰 경우, 또는 픽처마다 정의되는 양자화 행렬의 수가 보다 많은 경우에는, 본 명세서에서 개시한 방법에 의한 부호량의 삭감은 한층 효과적으로 된다.
또한, 본 실시 형태에 의하면, 양자화 행렬을 직접 정의하는 대신에, 이전에 생성한 양자화 행렬을 카피할 것을 지시하는 파라미터가, QMPS에 포함될 수 있다. 이 경우에는, 양자화 행렬 그 자체를 특정하는 파라미터(예를 들어, DPCM 방식에서의 차분 데이터의 배열)가 QMPS 내에서 생략되기 때문에, 양자화 행렬의 정의에 필요로 하는 부호량을 더 삭감할 수 있다.
또한, 본 실시 형태에 의하면, 각 QMPS에 QMPS ID가 부여된다. 그리고, 카피 모드에서는, 카피원의 양자화 행렬을 정의한 QMPS의 QMPS ID가 소스 ID로서 지정될 수 있다. 또한, 카피원의 양자화 행렬의 사이즈 및 타입이, 카피원 사이즈 및 카피원 타입으로서 지정될 수 있다. 따라서, 이전에 생성한 복수의 QMPS의 양자화 행렬 중 임의의 QMPS의 양자화 행렬을 카피원의 양자화 행렬로서 유연하게 지정할 수 있다. 또한, 사이즈 또는 타입이 다른 양자화 행렬을 카피하여 재이용하는 것도 가능하다.
또한, 본 실시 형태에 의하면, 카피되는 양자화 행렬의 잔차 성분을 지정하는 파라미터가 QMPS에 포함될 수 있다. 따라서, 이전에 생성한 양자화 행렬과 완전하게는 동일하지 않은 양자화 행렬도, 적은 부호량으로 새롭게 생성할 수 있다.
또한, 축 지정 모드에서는, 양자화 행렬의 모든 요소가 스캔되는 대신에, 양자화 행렬의 3개의 기준축 또는 4개 코너에 해당하는 양자화 행렬의 요소값만이, QMPS에 포함될 수 있다. 따라서, 이 경우에도 적은 부호량으로 양자화 행렬을 정의할 수 있다.
또한, 본 실시 형태에 의하면, 슬라이스 헤더에 있어서 지정되는 QMPS ID에 의해 식별되는 QMPS 내의 양자화 행렬 파라미터에 기초하여, 각 슬라이스에 대하여 사용할 양자화 행렬이 설정된다. 따라서, 슬라이스마다 양자화 행렬을 유연하게 전환할 수 있기 때문에, 시시각각 화상 특성이 변화하는 경우에도, 각 시점에서 최적의 양자화 행렬을 이용하여 영상을 부호화 또는 복호할 수 있다.
또한, 본 명세서에서는, 양자화 행렬 파라미터 세트가, 부호화 스트림의 헤더에 다중화되어, 부호화측으로부터 복호측으로 전송되는 예에 대하여 설명하였다. 그러나, 양자화 행렬 파라미터 세트를 전송하는 방법은 이러한 예에 한정되지 않는다. 예를 들어, 각 파라미터 세트 내의 정보는, 부호화 비트 스트림에 다중화되지 않고, 부호화 비트 스트림과 관련지어진 별개 데이터로서 전송되거나 기록되어도 된다. 여기서, 「관련짓다」라는 용어는, 비트 스트림에 포함되는 화상(슬라이스 또는 블록 등, 화상의 일부이어도 됨)과 상기 화상에 대응하는 정보를 복호 시에 링크시킬 수 있도록 함을 의미한다. 즉, 정보는, 화상(또는 비트 스트림)과는 별도의 전송로 위에서 전송되어도 된다. 또한, 정보는, 화상(또는 비트 스트림)과는 별도의 기록 매체(또는 동일한 기록 매체의 다른 기록 에리어)에 기록되어도 된다. 또한, 정보와 화상(또는 비트 스트림)이란, 예를 들어 복수 프레임, 1 프레임, 또는 프레임 내의 일부분 등의 임의의 단위로 서로 관련지어도 된다.
이상, 첨부 도면을 참조하면서 본 발명의 바람직한 실시 형태에 대하여 상세히 설명하였지만, 본 발명의 기술적 범위는 이러한 예에 한정되지 않는다. 본 발명이 속하는 기술 분야에서의 통상의 지식을 갖는 자이면, 특허청구범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있는 것은 자명하며, 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.
또한, 이하와 같은 구성도 본 발명의 기술적 범위에 속한다.
(1) 양자화 행렬을 정의하는 양자화 행렬 파라미터가 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 다른 파라미터 세트 내에 설정된 부호화 스트림으로부터, 상기 양자화 행렬 파라미터를 취득하는 취득부와,
상기 취득부에 의해 취득되는 상기 양자화 행렬 파라미터에 기초하여, 상기 부호화 스트림으로부터 복호되는 데이터를 역양자화할 때 이용되는 양자화 행렬을 설정하는 설정부와,
상기 설정부에 의해 설정되는 양자화 행렬을 이용하여, 상기 부호화 스트림으로부터 복호되는 상기 데이터를 역양자화하는 역양자화부
를 구비하는 화상 처리 장치.
(2) 상기 양자화 행렬 파라미터를 포함하는 파라미터 세트는, 양자화 행렬 이외의 부호화 툴에 관련된 다른 부호화 파라미터도 설정 가능한 공용의 파라미터 세트이며,
상기 취득부는, 상기 공용의 파라미터 세트 내에 상기 양자화 행렬 파라미터가 설정된 경우에, 상기 양자화 행렬 파라미터를 취득하는 상기 (1)에 기재된 화상 처리 장치.
(3) 상기 취득부는, 상기 공용의 파라미터 세트에 포함되는 플래그를 참조함으로써, 상기 공용의 파라미터 세트 내에 상기 양자화 행렬 파라미터가 설정되었는지를 판정하는 상기 (2)에 기재된 화상 처리 장치.
(4) 상기 공용의 파라미터 세트는, 적응 파라미터 세트(Adaptation Parameter Set)인 상기 (2) 또는 (3)에 기재된 화상 처리 장치.
(5) 상기 설정부는, 제1 적응 파라미터 세트의 후에 복호되는 제2 적응 파라미터 세트 내에 상기 제1 적응 파라미터 세트에의 참조가 포함되는 경우에, 상기 제1 적응 파라미터 세트로부터 취득된 상기 양자화 행렬 파라미터에 기초하여 설정한 양자화 행렬을, 상기 제2 적응 파라미터 세트에 대응하는 양자화 행렬로서 재이용하는 상기 (4)에 기재된 화상 처리 장치.
(6) 상기 설정부는, 제3 적응 파라미터 세트 내에 상기 제3 적응 파라미터 세트에의 참조가 포함되는 경우에, 상기 제3 적응 파라미터 세트에 대응하는 양자화 행렬로서 기정 양자화 행렬을 설정하는 상기 (5)에 기재된 화상 처리 장치.
(7) 상기 설정부는, 제1 파라미터 세트에 대한 제1 양자화 행렬의 카피를 지시하는 카피 파라미터가 제2 파라미터 세트에 포함되는 경우에는, 상기 제1 양자화 행렬을 카피함으로써, 제2 양자화 행렬을 설정하는 상기 (1)에 기재된 화상 처리 장치.
(8) 상기 양자화 행렬 파라미터를 포함하는 각 파라미터 세트는, 각 파라미터 세트를 식별하는 식별자를 갖고,
상기 카피 파라미터는, 카피원의 파라미터 세트의 식별자를 포함하는 상기 (7)에 기재된 화상 처리 장치.
(9) 각 파라미터 세트는, 복수의 종류의 양자화 행렬을 각각 정의하는 상기 양자화 행렬 파라미터를 포함하고,
상기 카피 파라미터는, 상기 제1 양자화 행렬의 종류를 지정하는 종류 파라미터를 포함하는 상기 (8)에 기재된 화상 처리 장치.
(10) 상기 설정부는, 제3 파라미터 세트에 포함되는 상기 카피원의 파라미터 세트의 식별자가 상기 제3 파라미터 세트의 식별자와 동일한 경우에는, 상기 제3 파라미터 세트에 대한 제3 양자화 행렬로서, 기정 양자화 행렬을 설정하는 상기 (8)에 기재된 화상 처리 장치.
(11) 상기 설정부는, 상기 제2 양자화 행렬의 사이즈가 상기 제1 양자화 행렬의 사이즈보다도 큰 경우에는, 카피한 상기 제1 양자화 행렬의 요소를 보간함으로써, 상기 제2 양자화 행렬을 설정하는 상기 (7)에 기재된 화상 처리 장치.
(12) 상기 설정부는, 상기 제2 양자화 행렬의 사이즈가 상기 제1 양자화 행렬의 사이즈보다도 작은 경우에는, 카피한 상기 제1 양자화 행렬의 요소를 솎아냄으로써, 상기 제2 양자화 행렬을 설정하는 상기 (7)에 기재된 화상 처리 장치.
(13) 상기 설정부는, 카피되는 양자화 행렬의 잔차 성분을 지정하는 잔차 지정 파라미터가 상기 제2 파라미터 세트에 포함되는 경우에는, 카피한 상기 제1 양자화 행렬에 상기 잔차 성분을 가산함으로써, 상기 제2 양자화 행렬을 설정하는 상기 (7)에 기재된 화상 처리 장치.
(14) 상기 양자화 행렬 파라미터를 포함하는 각 파라미터 세트는, 각 파라미터 세트를 식별하는 파라미터 세트 식별자를 갖고,
상기 역양자화부는, 슬라이스 헤더에 있어서 지정되는 상기 파라미터 세트 식별자에 의해 식별되는 파라미터 세트에 포함되는 양자화 행렬 파라미터에 기초하여 상기 설정부에 의해 설정되는 양자화 행렬을, 각 슬라이스에 대하여 사용하는 상기 (1)에 기재된 화상 처리 장치.
(15) 상기 양자화 행렬 파라미터를 포함하는 파라미터 세트는, 양자화 행렬 이외의 부호화 툴에 관련된 다른 부호화 파라미터를 더 포함하는 상기 (7) 내지 (14) 중 어느 하나에 기재된 화상 처리 장치.
(16) 상기 양자화 행렬 파라미터 및 상기 다른 부호화 파라미터는, 각 파라미터 세트를 식별하는 파라미터 세트 식별자와는 별도로 정의되는 보조 식별자마다 그룹화되고,
상기 취득부는, 상기 양자화 행렬 파라미터를, 상기 보조 식별자를 이용하여 취득하는 상기 (15)에 기재된 화상 처리 장치.
(17) 상기 파라미터 세트 또는 다른 파라미터 세트에 있어서, 복수의 상기 보조 식별자의 조합에 관련지어지는 조합 식별자가 정의되고,
상기 취득부는, 각 슬라이스의 슬라이스 헤더에 있어서 지정되는 상기 조합 식별자를 취득하고, 취득한 상기 조합 식별자에 관련지어지는 상기 보조 식별자를 이용하여 상기 양자화 행렬 파라미터를 취득하는 상기 (16)에 기재된 화상 처리 장치.
(18) 양자화 행렬을 정의하는 양자화 행렬 파라미터가 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 다른 파라미터 세트 내에 설정된 부호화 스트림으로부터, 상기 양자화 행렬 파라미터를 취득하는 것과,
취득된 상기 양자화 행렬 파라미터에 기초하여, 상기 부호화 스트림으로부터 복호되는 데이터를 역양자화할 때 이용되는 양자화 행렬을 설정하는 것과,
설정된 양자화 행렬을 이용하여, 상기 부호화 스트림으로부터 복호되는 상기 데이터를 역양자화하는 것
을 포함하는 화상 처리 방법.
(19) 데이터를 양자화 행렬을 이용하여 양자화하는 양자화부와,
상기 양자화부에 의해 상기 데이터를 양자화할 때 사용되는 양자화 행렬을 정의하는 양자화 행렬 파라미터를 설정하는 설정부와,
상기 설정부에 의해 설정되는 상기 양자화 행렬 파라미터를 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 다른 파라미터 세트 내에 부호화하는 부호화부
를 구비하는 화상 처리 장치.
(20) 데이터를 양자화 행렬을 이용하여 양자화하는 것과,
상기 데이터를 양자화할 때 사용되는 상기 양자화 행렬을 정의하는 양자화 행렬 파라미터를 설정하는 것과,
설정된 상기 양자화 행렬 파라미터를 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 다른 파라미터 세트 내에 부호화하는 것
을 포함하는 화상 처리 방법.
10: 화상 처리 장치(화상 부호화 장치)
16: 양자화부
120: 파라미터 생성부
130: 삽입부
60: 화상 처리 장치(화상 복호 장치)
63: 역양자화부
160: 파라미터 취득부
170: 설정부

Claims (20)

  1. 화상 처리 장치로서,
    양자화 행렬을 정의하는 양자화 행렬 파라미터가 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 다른 파라미터 세트 내에 설정된 부호화 스트림으로부터, 상기 양자화 행렬 파라미터를 취득하는 취득부와,
    상기 취득부에 의해 취득되는 상기 양자화 행렬 파라미터에 기초하여, 상기 부호화 스트림으로부터 복호되는 데이터를 역양자화 할 때 이용되는 양자화 행렬을 설정하는 설정부와,
    상기 설정부에 의해 설정되는 양자화 행렬을 이용하여, 상기 부호화 스트림으로부터 복호되는 상기 데이터를 역양자화하는 역양자화부
    를 구비하는, 화상 처리 장치.
  2. 제1항에 있어서,
    상기 양자화 행렬 파라미터를 포함하는 파라미터 세트는, 양자화 행렬 이외의 부호화 툴에 관련된 다른 부호화 파라미터도 설정 가능한 공용의 파라미터 세트이며,
    상기 취득부는, 상기 공용의 파라미터 세트 내에 상기 양자화 행렬 파라미터가 설정된 경우에, 상기 양자화 행렬 파라미터를 취득하는, 화상 처리 장치.
  3. 제2항에 있어서,
    상기 취득부는, 상기 공용의 파라미터 세트에 포함되는 플래그를 참조함으로써, 상기 공용의 파라미터 세트 내에 상기 양자화 행렬 파라미터가 설정되었는지를 판정하는, 화상 처리 장치.
  4. 제2항에 있어서,
    상기 공용의 파라미터 세트는, 적응 파라미터 세트(Adaptation Parameter Set)인, 화상 처리 장치.
  5. 제4항에 있어서,
    상기 설정부는, 제1 적응 파라미터 세트의 후에 복호되는 제2 적응 파라미터 세트 내에 상기 제1 적응 파라미터 세트에의 참조가 포함되는 경우에, 상기 제1 적응 파라미터 세트로부터 취득된 상기 양자화 행렬 파라미터에 기초하여 설정한 양자화 행렬을, 상기 제2 적응 파라미터 세트에 대응하는 양자화 행렬로서 재이용하는, 화상 처리 장치.
  6. 제5항에 있어서,
    상기 설정부는, 제3 적응 파라미터 세트 내에 상기 제3 적응 파라미터 세트에의 참조가 포함되는 경우에, 상기 제3 적응 파라미터 세트에 대응하는 양자화 행렬로서 기정(default) 양자화 행렬을 설정하는, 화상 처리 장치.
  7. 제1항에 있어서,
    상기 설정부는, 제1 파라미터 세트에 대한 제1 양자화 행렬의 카피를 지시하는 카피 파라미터가 제2 파라미터 세트에 포함되는 경우에는, 상기 제1 양자화 행렬을 카피함으로써, 제2 양자화 행렬을 설정하는, 화상 처리 장치.
  8. 제7항에 있어서,
    상기 양자화 행렬 파라미터를 포함하는 각 파라미터 세트는, 각 파라미터 세트를 식별하는 식별자를 갖고,
    상기 카피 파라미터는, 카피원의 파라미터 세트의 식별자를 포함하는, 화상 처리 장치.
  9. 제8항에 있어서,
    각 파라미터 세트는, 복수 종류의 양자화 행렬을 각각 정의하는 상기 양자화 행렬 파라미터를 포함하고,
    상기 카피 파라미터는, 상기 제1 양자화 행렬의 종류를 지정하는 종류 파라미터를 포함하는, 화상 처리 장치.
  10. 제8항에 있어서,
    상기 설정부는, 제3 파라미터 세트에 포함되는 상기 카피원의 파라미터 세트의 식별자가 상기 제3 파라미터 세트의 식별자와 동일한 경우에는, 상기 제3 파라미터 세트에 대한 제3 양자화 행렬로서, 기정 양자화 행렬을 설정하는, 화상 처리 장치.
  11. 제7항에 있어서,
    상기 설정부는, 상기 제2 양자화 행렬의 사이즈가 상기 제1 양자화 행렬의 사이즈보다도 큰 경우에는, 카피한 상기 제1 양자화 행렬의 요소를 보간함으로써, 상기 제2 양자화 행렬을 설정하는, 화상 처리 장치.
  12. 제7항에 있어서,
    상기 설정부는, 상기 제2 양자화 행렬의 사이즈가 상기 제1 양자화 행렬의 사이즈보다도 작은 경우에는, 카피한 상기 제1 양자화 행렬의 요소를 솎아냄(decimating)으로써, 상기 제2 양자화 행렬을 설정하는, 화상 처리 장치.
  13. 제7항에 있어서,
    상기 설정부는, 카피되는 양자화 행렬의 잔차 성분을 지정하는 잔차 지정 파라미터가 상기 제2 파라미터 세트에 포함되는 경우에는, 카피한 상기 제1 양자화 행렬에 상기 잔차 성분을 가산함으로써, 상기 제2 양자화 행렬을 설정하는, 화상 처리 장치.
  14. 제1항에 있어서,
    상기 양자화 행렬 파라미터를 포함하는 각 파라미터 세트는, 각 파라미터 세트를 식별하는 파라미터 세트 식별자를 갖고,
    상기 역양자화부는, 슬라이스 헤더에 있어서 지정되는 상기 파라미터 세트 식별자에 의해 식별되는 파라미터 세트에 포함되는 양자화 행렬 파라미터에 기초하여 상기 설정부에 의해 설정되는 양자화 행렬을, 각 슬라이스에 대하여 사용하는, 화상 처리 장치.
  15. 제7항에 있어서,
    상기 양자화 행렬 파라미터를 포함하는 파라미터 세트는, 양자화 행렬 이외의 부호화 툴에 관련된 다른 부호화 파라미터를 더 포함하는, 화상 처리 장치.
  16. 제15항에 있어서,
    상기 양자화 행렬 파라미터 및 상기 다른 부호화 파라미터는, 각 파라미터 세트를 식별하는 파라미터 세트 식별자와는 별도로 정의되는 보조 식별자마다 그룹화되고,
    상기 취득부는, 상기 양자화 행렬 파라미터를, 상기 보조 식별자를 이용하여 취득하는, 화상 처리 장치.
  17. 제16항에 있어서,
    상기 파라미터 세트 또는 다른 파라미터 세트에 있어서, 복수의 상기 보조 식별자의 조합에 관련지어지는 조합 식별자가 정의되고,
    상기 취득부는, 각 슬라이스의 슬라이스 헤더에 있어서 지정되는 상기 조합 식별자를 취득하고, 취득한 상기 조합 식별자에 관련지어지는 상기 보조 식별자를 이용하여 상기 양자화 행렬 파라미터를 취득하는, 화상 처리 장치.
  18. 화상 처리 방법으로서,
    양자화 행렬을 정의하는 양자화 행렬 파라미터가 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 다른 파라미터 세트 내에 설정된 부호화 스트림으로부터, 상기 양자화 행렬 파라미터를 취득하는 것과,
    취득된 상기 양자화 행렬 파라미터에 기초하여, 상기 부호화 스트림으로부터 복호되는 데이터를 역양자화할 때 이용되는 양자화 행렬을 설정하는 것과,
    설정된 양자화 행렬을 이용하여, 상기 부호화 스트림으로부터 복호되는 상기 데이터를 역양자화하는 것
    을 포함하는, 화상 처리 방법.
  19. 화상 처리 장치로서,
    데이터를 양자화 행렬을 이용하여 양자화하는 양자화부와,
    상기 양자화부에 의해 상기 데이터를 양자화할 때 사용되는 양자화 행렬을 정의하는 양자화 행렬 파라미터를 설정하는 설정부와,
    상기 설정부에 의해 설정되는 상기 양자화 행렬 파라미터를 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 다른 파라미터 세트 내에 부호화하는 부호화부
    를 구비하는, 화상 처리 장치.
  20. 화상 처리 방법으로서,
    데이터를 양자화 행렬을 이용하여 양자화하는 것과,
    상기 데이터를 양자화할 때 사용되는 상기 양자화 행렬을 정의하는 양자화 행렬 파라미터를 설정하는 것과,
    설정된 상기 양자화 행렬 파라미터를 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 다른 파라미터 세트 내에 부호화하는 것
    을 포함하는, 화상 처리 방법.
KR1020137020512A 2011-02-10 2012-01-18 화상 처리 장치 및 화상 처리 방법 KR101874143B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JPJP-P-2011-027896 2011-02-10
JP2011027896 2011-02-10
JPJP-P-2011-047655 2011-03-04
JP2011047655 2011-03-04
JP2011187179 2011-08-30
JPJP-P-2011-187179 2011-08-30
PCT/JP2012/050931 WO2012108237A1 (ja) 2011-02-10 2012-01-18 画像処理装置及び画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020187018026A Division KR101989613B1 (ko) 2011-02-10 2012-01-18 화상 처리 장치 및 화상 처리 방법

Publications (2)

Publication Number Publication Date
KR20140010029A true KR20140010029A (ko) 2014-01-23
KR101874143B1 KR101874143B1 (ko) 2018-07-03

Family

ID=46638456

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020197016632A KR20190069613A (ko) 2011-02-10 2012-01-18 화상 처리 장치 및 화상 처리 방법
KR1020137020512A KR101874143B1 (ko) 2011-02-10 2012-01-18 화상 처리 장치 및 화상 처리 방법
KR1020207024984A KR102205752B1 (ko) 2011-02-10 2012-01-18 화상 처리 장치 및 화상 처리 방법
KR1020187018026A KR101989613B1 (ko) 2011-02-10 2012-01-18 화상 처리 장치 및 화상 처리 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020197016632A KR20190069613A (ko) 2011-02-10 2012-01-18 화상 처리 장치 및 화상 처리 방법

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020207024984A KR102205752B1 (ko) 2011-02-10 2012-01-18 화상 처리 장치 및 화상 처리 방법
KR1020187018026A KR101989613B1 (ko) 2011-02-10 2012-01-18 화상 처리 장치 및 화상 처리 방법

Country Status (19)

Country Link
US (13) US9706205B2 (ko)
EP (3) EP3462738A1 (ko)
JP (6) JP5966932B2 (ko)
KR (4) KR20190069613A (ko)
CN (5) CN103780912B (ko)
AU (1) AU2012215968B2 (ko)
BR (2) BR112013019937B1 (ko)
CA (3) CA2819401C (ko)
CO (1) CO6751263A2 (ko)
ES (1) ES2708940T3 (ko)
HK (1) HK1250109A1 (ko)
MX (3) MX2013008980A (ko)
MY (2) MY169660A (ko)
PH (2) PH12015501742B1 (ko)
RU (2) RU2609094C2 (ko)
SG (3) SG10201912144SA (ko)
TW (4) TWI528734B (ko)
WO (1) WO2012108237A1 (ko)
ZA (1) ZA201304780B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020213866A1 (ko) * 2019-04-15 2020-10-22 엘지전자 주식회사 스케일링 리스트 파라미터 기반 비디오 또는 영상 코딩

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI508534B (zh) 2010-05-18 2015-11-11 Sony Corp Image processing apparatus and image processing method
DK3177017T3 (da) 2010-06-04 2020-03-02 Sony Corp Kodning af en qp og en delta qp for billedblokke, der er større end en minimumsstørrelse
CN103716632B (zh) 2010-12-07 2017-04-19 索尼公司 图像处理设备和图像处理方法
CN106385586A (zh) 2010-12-07 2017-02-08 索尼公司 图像处理设备和图像处理方法
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
KR20190069613A (ko) 2011-02-10 2019-06-19 벨로스 미디어 인터내셔널 리미티드 화상 처리 장치 및 화상 처리 방법
MY186854A (en) 2011-03-11 2021-08-26 Sony Corp Image processing apparatus and method
JP5874725B2 (ja) 2011-05-20 2016-03-02 ソニー株式会社 画像処理装置及び画像処理方法
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
MY167204A (en) 2011-06-28 2018-08-13 Sony Corp Image processing device and image processing method
CA2836161C (en) 2011-08-23 2017-12-19 Mediatek Singapore Pte. Ltd. Method and system of transform block processing according to quantization matrix in video coding
CN103096056B (zh) 2011-11-08 2015-11-25 华为技术有限公司 矩阵编码方法与装置及解码方法与装置
CN108924571B (zh) * 2012-01-20 2021-09-07 韩国电子通信研究院 使用量化矩阵的视频编解码方法
EP3432583B1 (en) 2012-02-29 2020-04-01 Sony Corporation Image processing device and method
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
CN103636221B (zh) * 2012-05-25 2017-11-17 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置、图像解码装置以及图像编码解码装置
JP6041554B2 (ja) * 2012-06-27 2016-12-07 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP6210368B2 (ja) * 2012-09-18 2017-10-11 サン パテント トラスト 画像復号方法および画像復号装置
CN109068136B (zh) 2012-12-18 2022-07-19 索尼公司 图像处理装置和图像处理方法、计算机可读存储介质
GB2519745B (en) * 2013-10-22 2018-04-18 Canon Kk Method of processing disordered frame portion data units
KR102231279B1 (ko) 2013-10-30 2021-03-25 삼성디스플레이 주식회사 영상 데이터 인코딩 장치 및 방법
KR102253039B1 (ko) * 2013-11-04 2021-05-20 삼성디스플레이 주식회사 영상 데이터 인코딩 장치 및 방법
US20150264374A1 (en) * 2014-03-14 2015-09-17 Vid Scale, Inc. Systems and methods for rgb video coding enhancement
US9877035B2 (en) * 2014-03-17 2018-01-23 Qualcomm Incorporated Quantization processes for residue differential pulse code modulation
CN105227953A (zh) * 2014-06-11 2016-01-06 晨星半导体股份有限公司 影像编码装置、影像解码装置以及其相关编码与解码方法
JP6392572B2 (ja) * 2014-07-22 2018-09-19 ルネサスエレクトロニクス株式会社 画像受信装置、画像伝送システムおよび画像受信方法
KR102365685B1 (ko) * 2015-01-05 2022-02-21 삼성전자주식회사 인코더의 작동 방법과 상기 인코더를 포함하는 장치들
WO2016119746A1 (zh) * 2015-01-29 2016-08-04 同济大学 图像编码方法及装置、图像解码方法及装置
US9380303B1 (en) * 2015-03-18 2016-06-28 Sony Corporation Adding run-mode to block-based DPCM codec
CN105208298B (zh) * 2015-10-28 2018-06-19 大连科迪视频技术有限公司 一种用于多格式视频信号切换的矩阵切换系统及矩阵切换方法
FR3044196B1 (fr) * 2015-11-20 2019-05-10 Thales Methode de compression d'images permettant d'obtenir une qualite de compression fixe
CN105472371B (zh) * 2016-01-13 2019-11-05 腾讯科技（深圳）有限公司 视频码流处理方法和装置
US10218976B2 (en) * 2016-03-02 2019-02-26 MatrixView, Inc. Quantization matrices for compression of video
EP4447452A2 (en) * 2016-10-04 2024-10-16 B1 Institute of Image Technology, Inc. Image data encoding/decoding method and apparatus
CN118474340A (zh) * 2016-10-04 2024-08-09 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和传输数据的方法
JP6272441B2 (ja) * 2016-11-08 2018-01-31 キヤノン株式会社 画像復号装置、画像復号方法及びプログラム
US20230308626A1 (en) * 2017-07-17 2023-09-28 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
CN113316931B (zh) 2018-11-22 2024-04-12 北京字节跳动网络技术有限公司 视频处理中的脉冲编解码调制技术
JP2020098983A (ja) 2018-12-17 2020-06-25 キヤノン株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法
KR20200080187A (ko) * 2018-12-26 2020-07-06 한국전자통신연구원 양자화 행렬 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
EP3939278A4 (en) * 2019-03-11 2023-03-22 Tencent America LLC TILE AND SUB-DIVISION
EP3958568A4 (en) 2019-04-15 2023-01-11 Lg Electronics Inc. VIDEO OR IMAGE ENCODING BASED ON SIGNALING SCALING LIST DATA
CN113785581A (zh) * 2019-04-15 2021-12-10 Lg 电子株式会社 基于缩放列表的视频或图像编译
CA3141350A1 (en) * 2019-05-24 2020-12-03 Digitalinsights Inc. Video coding method and apparatus using adaptive parameter set
JP7493310B2 (ja) * 2019-06-07 2024-05-31 キヤノン株式会社 画像復号装置及び方法及びプログラム
CN114391254A (zh) * 2019-06-28 2022-04-22 弗劳恩霍夫应用研究促进协会 视频解码器、视频编码器、用于编码和解码视频信号的方法以及调整一个或多个去噪操作的计算机程序
WO2021001215A1 (en) * 2019-07-02 2021-01-07 Interdigital Vc Holdings France, Sas Chroma format dependent quantization matrices for video encoding and decoding
US11394973B2 (en) 2019-07-06 2022-07-19 Hfi Innovation Inc. Signaling of quantization matrices
EP3993412A4 (en) * 2019-07-08 2023-03-08 Hyundai Motor Company METHOD AND DEVICE FOR INTRA PREDICTION CODING OF VIDEO DATA
US11284073B2 (en) 2019-07-08 2022-03-22 Hyundai Motor Company Method and apparatus for intra prediction coding of video data involving matrix based intra-prediction
IL313127A (en) 2019-07-10 2024-07-01 Guangdong Oppo Mobile Telecommunications Corp Ltd Image component prediction method, encoder, decoder and storage medium
JP2021048532A (ja) * 2019-09-19 2021-03-25 キヤノン株式会社 画像符号化装置、画像復号装置及びそれらの制御方法及びプログラム
US12052414B2 (en) 2019-09-23 2024-07-30 Lg Electronics Inc. Image encoding/decoding method and apparatus using quantization matrix, and method for transmitting bitstream
CN114762349B (zh) * 2019-11-05 2024-04-12 Lg电子株式会社 用于图像/视频编译的高级别语法信令方法和装置
WO2021091254A1 (ko) 2019-11-05 2021-05-14 엘지전자 주식회사 영상/비디오 코딩 시스템에서 픽처 헤더에서 슬라이스 타입에 관한 정보를 시그널링하는 방법 및 장치
FI4044599T3 (fi) * 2019-11-05 2024-03-25 Lg Electronics Inc Kuva/videokoodausmenetelmä ja -laite
CN115720265B (zh) * 2019-12-18 2024-08-09 腾讯科技（深圳）有限公司 视频编解码方法、装置、设备及存储介质
CN114007082B (zh) * 2020-03-25 2022-12-23 杭州海康威视数字技术股份有限公司 一种解码、编码、编解码方法、装置及其设备
WO2021251744A1 (ko) * 2020-06-10 2021-12-16 엘지전자 주식회사 Aps에 대한 식별자를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
CN112429475B (zh) * 2020-09-29 2023-06-30 贵州大学 一种胶囊排序送料装置
WO2022115113A1 (en) * 2020-11-30 2022-06-02 Intel Corporation Determining adaptive quantization matrices using machine learning for video coding

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06284412A (ja) * 1993-03-26 1994-10-07 Sony Corp 画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
JPH07152693A (ja) 1993-11-29 1995-06-16 Canon Inc 情報処理装置
DE19618117C1 (de) 1996-05-06 1997-10-02 Siemens Ag Verfahren zur Quantisierung und Verfahren zur inversen Quantisierung von Transformationscodierungskoeffizienten eines Videodatenstorms
RU2201654C2 (ru) * 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
US6483947B1 (en) * 1998-03-17 2002-11-19 Matsushita Electric Industrial Co., Ltd. Video signal processing apparatus
JP4099682B2 (ja) 1998-09-18 2008-06-11 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP2000152213A (ja) * 1998-11-17 2000-05-30 Nec Software Nagano Ltd 圧縮画像のセキュリティ装置および方法
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
KR100584552B1 (ko) 2003-01-14 2006-05-30 삼성전자주식회사 동영상 부호화 및 복호화 방법과 그 장치
MXPA05006718A (es) 2003-02-21 2005-09-08 Matsushita Electric Ind Co Ltd Metodo de codificacion de imagenes y metodo de decodificacion de imagenes.
JP4414328B2 (ja) * 2003-12-26 2010-02-10 パナソニック株式会社 画像処理装置及び画像処理装置
EP1665133A4 (en) * 2004-01-20 2009-05-13 Panasonic Corp IMAGE ENCODING METHOD, IMAGE DECODING METHOD, IMAGE ENCODING APPARATUS, IMAGE DECODING APPARATUS, AND CORRESPONDING PROGRAM
US20050190836A1 (en) 2004-01-30 2005-09-01 Jiuhuai Lu Process for maximizing the effectiveness of quantization matrices in video codec systems
PL1709801T3 (pl) * 2004-01-30 2013-02-28 Panasonic Ip Corp America Sposób dekodowania video z wykorzystaniem adaptacyjnych macierzy kwantyzacji
US7630435B2 (en) * 2004-01-30 2009-12-08 Panasonic Corporation Picture coding method, picture decoding method, picture coding apparatus, picture decoding apparatus, and program thereof
JP4393319B2 (ja) * 2004-09-08 2010-01-06 キヤノン株式会社 画像符号化装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
EP1675402A1 (en) * 2004-12-22 2006-06-28 Thomson Licensing Optimisation of a quantisation matrix for image and video coding
US7653129B2 (en) * 2004-12-28 2010-01-26 General Instrument Corporation Method and apparatus for providing intra coding frame bit budget
US7539612B2 (en) * 2005-07-15 2009-05-26 Microsoft Corporation Coding and decoding scale factor information
BRPI0618705B8 (pt) 2005-11-14 2021-05-25 Labrys Biologics Inc anticorpos antagonistas humanizados direcionados contra peptídeo relacionado ao gene da calcitonina, composição farmacêutica e uso dos mesmos
CA2631336A1 (en) * 2005-11-30 2007-06-07 Kabushiki Kaisha Toshiba Image encoding/image decoding method, image encoding/image decoding apparatus
WO2007094100A1 (ja) * 2006-02-13 2007-08-23 Kabushiki Kaisha Toshiba 動画像符号化／復号化方法及び装置並びにプログラム
JP2007318516A (ja) 2006-05-26 2007-12-06 Sony Corp プログラム、情報処理装置、情報処理方法、並びに、記録媒体
KR100773761B1 (ko) * 2006-09-14 2007-11-09 한국전자통신연구원 동영상 부호화 장치 및 방법
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
US20080170793A1 (en) 2007-01-12 2008-07-17 Mitsubishi Electric Corporation Image encoding device and image encoding method
US20080253449A1 (en) 2007-04-13 2008-10-16 Yoji Shimizu Information apparatus and method
JPWO2009008177A1 (ja) * 2007-07-11 2010-09-02 パナソニック株式会社 トランスコーダ、トランスコード方法、デコーダ、およびデコード方法
WO2009050897A1 (ja) * 2007-10-19 2009-04-23 Panasonic Corporation 符号化レート変換装置、符号化レート変換方法および集積回路
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US8660193B2 (en) * 2009-01-12 2014-02-25 Maxim Integrated Products, Inc. Parallel, pipelined, integrated-circuit implementation of a computational engine
JP2010288166A (ja) * 2009-06-15 2010-12-24 Panasonic Corp 動画像符号化装置、放送波記録装置及び、プログラム
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI508534B (zh) 2010-05-18 2015-11-11 Sony Corp Image processing apparatus and image processing method
DK3177017T3 (da) 2010-06-04 2020-03-02 Sony Corp Kodning af en qp og en delta qp for billedblokke, der er større end en minimumsstørrelse
US9167252B2 (en) 2010-12-01 2015-10-20 Texas Instruments Incorporated Quantization matrix compression in video coding
US9258573B2 (en) * 2010-12-07 2016-02-09 Panasonic Intellectual Property Corporation Of America Pixel adaptive intra smoothing
CN103716632B (zh) 2010-12-07 2017-04-19 索尼公司 图像处理设备和图像处理方法
CN106385586A (zh) 2010-12-07 2017-02-08 索尼公司 图像处理设备和图像处理方法
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
KR20190069613A (ko) 2011-02-10 2019-06-19 벨로스 미디어 인터내셔널 리미티드 화상 처리 장치 및 화상 처리 방법
MY186854A (en) 2011-03-11 2021-08-26 Sony Corp Image processing apparatus and method
JP2012238927A (ja) 2011-05-09 2012-12-06 Sony Corp 画像処理装置及び画像処理方法
JP5874725B2 (ja) 2011-05-20 2016-03-02 ソニー株式会社 画像処理装置及び画像処理方法
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
MY167204A (en) 2011-06-28 2018-08-13 Sony Corp Image processing device and image processing method
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
CN103748884A (zh) 2011-08-30 2014-04-23 索尼公司 图像处理装置和图像处理方法
EP3432583B1 (en) 2012-02-29 2020-04-01 Sony Corporation Image processing device and method
EP2869560A4 (en) 2012-06-29 2016-09-07 Sony Corp DEVICE AND METHOD OF ENCODING

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020213866A1 (ko) * 2019-04-15 2020-10-22 엘지전자 주식회사 스케일링 리스트 파라미터 기반 비디오 또는 영상 코딩
US12113960B2 (en) 2019-04-15 2024-10-08 Lg Electronics Inc. Scaling list parameter-based video or image coding

Also Published As

Publication number Publication date
KR102205752B1 (ko) 2021-01-22
BR112013019937B1 (pt) 2022-05-03
CA3063234A1 (en) 2012-08-16
CN103370935B (zh) 2017-11-21
CO6751263A2 (es) 2013-09-16
US20180234680A1 (en) 2018-08-16
MY191819A (en) 2022-07-18
JP6208822B2 (ja) 2017-10-04
JP2018011340A (ja) 2018-01-18
JP6726334B2 (ja) 2020-07-22
JP2016195430A (ja) 2016-11-17
PH12018501219A1 (en) 2019-03-11
US20130251032A1 (en) 2013-09-26
MX2013008980A (es) 2013-11-01
CN107682706B (zh) 2020-04-03
KR20190069613A (ko) 2019-06-19
TW201722153A (zh) 2017-06-16
US20200252612A1 (en) 2020-08-06
US20200099931A1 (en) 2020-03-26
PH12018501219B1 (en) 2019-03-11
US20150043816A1 (en) 2015-02-12
TW201830960A (zh) 2018-08-16
EP3462738A1 (en) 2019-04-03
US11196996B2 (en) 2021-12-07
EP4254953A2 (en) 2023-10-04
SG10201912144SA (en) 2020-02-27
KR101874143B1 (ko) 2018-07-03
RU2595624C2 (ru) 2016-08-27
US10674153B2 (en) 2020-06-02
SG10201400975QA (en) 2014-07-30
JP6211653B2 (ja) 2017-10-11
TWI590646B (zh) 2017-07-01
JP5966932B2 (ja) 2016-08-10
EP4254953A3 (en) 2024-01-03
MY169660A (en) 2019-04-26
TW201540048A (zh) 2015-10-16
US11831873B2 (en) 2023-11-28
US10225554B2 (en) 2019-03-05
US20240040123A1 (en) 2024-02-01
KR20180080334A (ko) 2018-07-11
TWI528734B (zh) 2016-04-01
CA3063234C (en) 2023-09-19
BR112013019937A2 (pt) 2016-12-13
EP2675161B1 (en) 2018-11-14
JP5967179B2 (ja) 2016-08-10
US10257515B2 (en) 2019-04-09
US20130322525A1 (en) 2013-12-05
RU2014150547A (ru) 2016-07-10
PH12015501742A1 (en) 2017-06-14
CA3211497A1 (en) 2012-08-16
AU2012215968A1 (en) 2013-07-18
US20190182485A1 (en) 2019-06-13
US9986241B2 (en) 2018-05-29
CN107566845A (zh) 2018-01-09
HK1250109A1 (zh) 2018-11-23
AU2012215968B2 (en) 2015-12-24
AU2012215968A2 (en) 2013-08-01
BR122014031521B1 (pt) 2022-08-23
SG10201606972VA (en) 2016-10-28
EP2675161A1 (en) 2013-12-18
US10531089B2 (en) 2020-01-07
CN103780912B (zh) 2017-11-24
JPWO2012108237A1 (ja) 2014-07-03
TWI629894B (zh) 2018-07-11
US20190166368A1 (en) 2019-05-30
EP2675161A4 (en) 2016-03-16
US9706205B2 (en) 2017-07-11
CN107509077A (zh) 2017-12-22
JP2015084556A (ja) 2015-04-30
CA2819401C (en) 2020-02-11
US20170310966A1 (en) 2017-10-26
KR20200105544A (ko) 2020-09-07
PH12015501742B1 (en) 2017-06-14
JP2019165468A (ja) 2019-09-26
US8897361B2 (en) 2014-11-25
RU2013136367A (ru) 2015-02-10
US20150063447A1 (en) 2015-03-05
MX348562B (es) 2017-06-20
CN107566845B (zh) 2020-03-03
CN107509077B (zh) 2020-08-07
US11166024B2 (en) 2021-11-02
BR122014031521A2 (pt) 2019-08-20
TWI695617B (zh) 2020-06-01
RU2609094C2 (ru) 2017-01-30
CN107682706A (zh) 2018-02-09
WO2012108237A1 (ja) 2012-08-16
CN103780912A (zh) 2014-05-07
CA2819401A1 (en) 2012-08-16
MX2018013536A (es) 2021-06-23
TW201249114A (en) 2012-12-01
ES2708940T3 (es) 2019-04-12
US9967564B2 (en) 2018-05-08
US20220078426A1 (en) 2022-03-10
US20220014746A1 (en) 2022-01-13
CN103370935A (zh) 2013-10-23
JP2016195429A (ja) 2016-11-17
ZA201304780B (en) 2016-07-27
US11825089B2 (en) 2023-11-21
KR101989613B1 (ko) 2019-06-14

Similar Documents

Publication Publication Date Title
JP6726334B2 (ja) 画像処理装置および画像処理方法
AU2018206825B2 (en) Image processing device and image processing method
AU2015202011B2 (en) Image Processing Device and Image Processing Method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant