KR20130108457A - 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법 및 영상 복호 방법 - Google Patents

영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법 및 영상 복호 방법 Download PDF

Info

Publication number
KR20130108457A
KR20130108457A KR1020137020857A KR20137020857A KR20130108457A KR 20130108457 A KR20130108457 A KR 20130108457A KR 1020137020857 A KR1020137020857 A KR 1020137020857A KR 20137020857 A KR20137020857 A KR 20137020857A KR 20130108457 A KR20130108457 A KR 20130108457A
Authority
KR
South Korea
Prior art keywords
step size
quantization step
image
quantization
prediction
Prior art date
Application number
KR1020137020857A
Other languages
English (en)
Inventor
히로후미 아오키
게이이치 조노
유조 센다
겐타 센자키
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=46797859&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20130108457(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20130108457A publication Critical patent/KR20130108457A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Abstract

양자화 스텝 사이즈의 부호화 효율을 높이기 위하여, 영상 부호화 장치는, 양자화의 입도를 제어하는 양자화 스텝 사이즈를 부호화하는 양자화 스텝 사이즈 부호화부를 구비한다. 당해 양자화 스텝 사이즈 부호화부는, 이미 부호화 완료된 근방 화상 블록에 할당된 양자화 스텝 사이즈 정보와, 부호화 대상으로 되는 화상 블록의 프레임 내 예측 방향 정보를 이용해서 당해 양자화 스텝 사이즈를 예측하는 스텝 사이즈 예측부를 포함한다.

Description

영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법 및 영상 복호 방법{VIDEO ENCODING DEVICE, VIDEO DECODING DEVICE, VIDEO ENCODING METHOD, AND VIDEO DECODING METHOD}
본 발명은, 영상 부호화 기술, 특히, 재구축 화상을 참조한 예측과 양자화에 의한 데이터 압축을 행하는 영상 부호화 기술에 관한 것이다.
일반적인 영상 부호화 장치는, 소정의 영상 부호화 방식에 준거한 부호화 처리를 행함으로써, 부호화 데이터 즉 비트스트림을 생성한다. 소정의 영상 부호화 방식의 대표예인 예로, 비특허문헌 1에 기재된 ISO/IEC 14496-10 Advanced Video Coding(AVC)에서는, 각 프레임이 MB(Macro Block)라 불리는 16×16 화소 사이즈의 블록으로 분할되며, 또한 각 MB가 4×4 화소 사이즈의 블록으로 분할되어, MB를 부호화의 최소 구성 단위로 한다. 도 23에, 프레임의 컬러 포맷이 YCbCr 4:2:0 포맷이며, 공간 해상도가 QCIF(Quarter Common Intermediate Format)인 경우에 있어서의 블록 분할의 예를 나타낸다.
분할된 각 화상 블록은, 순차적으로, 영상 부호화 장치에 입력되어 부호화된다. 도 24는, AVC에 준거한 비트스트림을 생성하는 일반적인 영상 부호화 장치의 구성의 일례를 나타내는 블록도이다. 이하, 도 24를 참조해서, 일반적인 영상 부호화 장치의 구성과 동작을 설명한다.
도 24에 나타내는 영상 부호화 장치는, 주파수 변환기(101)와, 양자화기(102)와, 가변 길이 부호화기(103)와, 양자화 제어기(104)와, 역(逆)양자화기(105)와, 역(逆)주파수 변환기(106)와, 프레임 메모리(107)와, 프레임 내 예측기(108)와, 프레임간 예측기(109)와, 예측 선택기(110)를 구비한다.
영상 부호화 장치에 입력된 화상은, 예측 선택기(110)를 통해서 프레임 내 예측기(108) 또는 프레임간 예측기(109)로부터 공급되는 예측 화상이 감산된 후, 예측 오차 화상으로서 주파수 변환기(101)에 입력된다.
주파수 변환기(101)는, 입력된 예측 오차 화상을 공간 영역으로부터 주파수 영역으로 변환하여 계수 화상으로서 결과를 출력한다.
양자화기(102)는, 주파수 변환기(101)로부터 공급된 계수 화상을, 양자화 제어기(104)로부터 공급되는, 양자화의 입도(granularity)를 제어하기 위한 양자화 스텝 사이즈를 이용해서 양자화하여 양자화 계수 화상으로서 출력한다.
가변 길이 부호화기(103)는, 양자화기(102)로부터 공급되는 양자화 계수 화상을 엔트로피 부호화한다. 또한, 가변 길이 부호화기(103)는, 양자화 제어기(104)로부터 공급되는 상기 양자화 스텝 사이즈와, 예측 선택기(110)로부터 공급되는 화상 예측 파라미터를 부호화한다. 이들 부호화 데이터는 다중화되어 비트스트림으로서 영상 부호화 장치로부터 출력된다.
여기에서, 도 25를 이용해서, 가변 길이 부호화기(103)에 있어서의 양자화 스텝 사이즈의 부호화 처리를 설명한다. 가변 길이 부호화기(103)에 있어서 양자화 스텝 사이즈의 부호화를 행하는 양자화 스텝 사이즈 부호화기는, 도 25에 나타내는 바와 같이, 양자화 스텝 사이즈 버퍼(10311)와, 엔트로피 부호화기(10312)를 포함한다.
양자화 스텝 사이즈 버퍼(10311)는, 부호화할 화상 블록 직전에 부호화한 이전 화상 블록에 대하여 할당한 양자화 스텝 사이즈 Q(i-1)를 유지한다.
입력된 양자화 스텝 사이즈 Q(i)는, 이하의 (1)식에 나타내는 바와 같이, 양자화 스텝 사이즈 버퍼(10311)로부터 공급되는 직전의 양자화 스텝 사이즈 Q(i-1)가 감산된 후, 차분(差分) 양자화 스텝 사이즈 dQ(i)로서, 엔트로피 부호화기(10312)에 입력된다.
dQ(i)=Q(i)-Q(i-1)…(1)
엔트로피 부호화기(10312)는, 입력된 차분 양자화 스텝 사이즈 dQ(i)를 엔트로피 부호화하여, 양자화 스텝 사이즈에 대응하는 부호로서 출력한다.
이상으로, 양자화 스텝 사이즈 부호화 처리의 설명을 했다.
양자화 제어기(104)는 현재의 입력 화상 블록에 대한 양자화 스텝 사이즈를 결정한다. 일반적으로는, 양자화 제어기(104)는, 가변 길이 부호화기(103)의 출력 부호량을 감시하여, 당해 화상 블록에 대한 출력 부호량이 작아지도록 양자화 스텝 사이즈를 크게 하거나, 반대로 당해 화상 블록에 대한 출력 부호량이 커지도록 양자화 스텝 사이즈를 작게 하거나 한다. 양자화 스텝 사이즈를 증감함으로써, 영상 부호화 장치가 입력 동화상(動畵像)을 목표 부호량으로 부호화할 수 있게 한다. 결정된 양자화 스텝 사이즈는, 양자화기(102) 및 가변 길이 부호화기(103)에 공급된다.
양자화기(102)로부터 출력된 양자화 계수 화상은, 이후의 화상 블록의 부호화에 있어서 예측에 이용하기 위하여, 역양자화기(105)에 의해 역양자화되어 계수 화상으로 된다. 역양자화기(105)로부터 출력된 계수 화상은, 역주파수 변환기(106)에 의해 공간 영역으로 되돌려져 예측 오차 화상으로 된다. 예측 오차 화상은, 예측 화상이 가해진 후, 재구축 화상으로서 프레임 메모리(107) 및 프레임 내 예측기(108)에 입력된다.
프레임 메모리(107)는, 과거에 입력되어 부호화된 화상 프레임의 재구축 화상을 축적한다. 프레임 메모리(107)에 축적되는 화상 프레임을, 참조 프레임이라 한다.
프레임 내 예측기(108)는, 현재 부호화 중인 화상 프레임 내에 있어서 과거에 부호화된 화상 블록의 재구축 화상을 참조하여 예측 화상을 생성한다.
프레임간 예측기(109)는, 프레임 메모리(107)로부터 공급되는 참조 프레임을 참조하여 예측 화상을 생성한다.
예측 선택기(110)는, 프레임 내 예측기(108)로부터 공급되는 예측 화상과 프레임간 예측기(109)로부터 공급되는 예측 화상을 비교하여, 입력 화상에 가까운 측의 예측 화상을 선택해서 출력한다. 또한, 예측 선택기(110)는, 프레임 내 예측기(108) 또는 프레임간 예측기(109)가 행한 예측 방법에 관한 정보(화상 예측 파라미터라 함)를 출력하여 가변 길이 부호화기(103)에 공급한다.
일반적인 영상 부호화 장치는, 이상의 처리에 의해 입력 동화상을 압축 부호화하여 비트스트림을 생성한다.
출력된 비트스트림은, 영상 복호 장치에 전달된다. 영상 복호 장치에 의해 복호 처리가 행해져 비트스트림은 동화상으로서 복원된다. 도 26은, 일반적인 영상 부호화 장치가 출력한 비트스트림을 복호하여 복호 영상을 얻는 일반적인 영상 복호 장치의 구성의 일례를 나타낸다. 이하, 도 26을 참조하여, 일반적인 영상 복호 장치의 구성과 동작을 설명한다.
도 26에 나타내는 영상 복호 장치는, 가변 길이 복호기(201)와, 역양자화기(202)와, 역주파수 변환기(203)와, 프레임 메모리(204)와, 프레임 내 예측기(205)와, 프레임간 예측기(206)와, 예측 선택기(207)를 구비한다.
가변 길이 복호기(201)는, 입력된 비트스트림을 가변 길이 복호하여, 역양자화의 입도를 제어하기 위한 양자화 스텝 사이즈와, 양자화 계수 화상과, 화상 예측 파라미터를 얻는다. 상기 양자화 스텝 사이즈와 양자화 계수 화상은, 역양자화기(202)에 공급된다. 화상 예측 파라미터는 예측 선택기(207)에 공급된다.
역양자화기(202)는, 입력된 양자화 계수 화상을, 입력된 양자화 스텝 사이즈에 의거하여 역양자화해서 계수 화상으로서 출력한다.
역주파수 변환기(203)는, 역양자화기(202)로부터 공급되는 계수 화상을 주파수 영역으로부터 공간 영역으로 변환하여 예측 오차 화상으로서 출력한다. 예측 오차 화상은, 예측 선택기(207)로부터 공급되는 예측 화상과 가산되어 복호 화상으로 된다. 복호 화상은, 출력 화상으로서 영상 복호 장치로부터 출력됨과 동시에, 프레임 메모리(204) 및 프레임 내 예측기(205)에 입력된다.
프레임 메모리(204)는, 과거에 복호된 화상 프레임을 축적한다. 프레임 메모리(204)에 축적되는 화상 프레임을 참조 프레임이라 한다.
프레임 내 예측기(205)는, 현재 복호 중인 화상 프레임 내에 있어서 과거에 복호된 화상 블록의 재구축 화상을, 가변 길이 복호기(201)로부터 공급되는 화상 예측 파라미터에 의거하여 참조해서 예측 화상을 생성한다.
프레임간 예측기(206)는, 프레임 메모리(204)로부터 공급되는 참조 프레임을, 가변 길이 복호기(201)로부터 공급되는 화상 예측 파라미터에 의거하여 참조해서 예측 화상을 생성한다.
예측 선택기(207)는, 프레임 내 예측기(205)와 프레임간 예측기(206)로부터 공급되는 예측 화상 중 어느 하나를, 가변 길이 복호기(201)로부터 공급되는 화상 예측 파라미터에 의거하여 선택한다.
여기에서, 도 27을 참조해서, 가변 길이 복호기(201)에 있어서의 양자화 스텝 사이즈의 복호 처리를 설명한다. 가변 길이 복호기(201)에 있어서, 양자화 스텝 사이즈의 부호화를 행하는 양자화 스텝 사이즈 복호기는, 도 27에 나타내는 바와 같이, 엔트로피 복호기(20111)와, 양자화 스텝 사이즈 버퍼(20112)를 포함한다.
엔트로피 복호기(20111)는, 입력된 부호를 엔트로피 복호하고, 차분 양자화 스텝 사이즈 dQ(i)를 출력한다.
양자화 스텝 사이즈 버퍼(20112)는, 이전 양자화 스텝 사이즈 Q(i-1)를 유지한다.
이하의 (2)식에 나타내는 바와 같이, 엔트로피 복호기(20111)에 의해 생성된 차분 양자화 스텝 사이즈 dQ(i)에, 양자화 스텝 사이즈 버퍼(20112)로부터 공급되는 Q(i-1)가 가산된다. 가산값은, 양자화 스텝 사이즈 Q(i)로서 출력됨과 동시에, 양자화 스텝 사이즈 버퍼(20112)에 입력된다.
Q(i)=Q(i-1)+ dQ(i)…(2)
이상으로, 양자화 스텝 사이즈 복호 처리의 설명을 종료한다.
일반적인 영상 복호 장치는, 이상의 처리에 의해 입력 비트스트림을 복호하여 동화상을 생성한다.
그런데, 부호화 처리에 의해 압축되는 동화상의 주관 품질을 유지하기 위하여, 일반적인 영상 부호화 장치에 있어서의 양자화 제어기(104)는, 일반적으로, 출력 부호량을 해석할 뿐만 아니라, 입력 화상과 예측 오차 화상 중 한쪽 또는 쌍방을 해석해서, 인간의 시각 감도에 따른 양자화 스텝 사이즈를 결정한다. 즉, 양자화 제어기(104)는, 시각 감도 기반 적응 양자화를 행한다. 구체적으로는, 현 부호화 대상 화상에 대한 인간의 시각 감도가 높은 것으로 판정되었을 경우 양자화 스텝 사이즈를 작게, 반대로 시각 감도가 낮은 것으로 판정되었을 경우 양자화 스텝 사이즈를 크게 설정한다. 그러한 제어가 행해짐으로써, 시각 감도가 낮은 영역에 대하여, 보다 많은 부호량을 할당하는 것이 가능해지므로, 주관 품질이 향상된다.
시각 감도 기반 적응 양자화 기술로서, 예를 들면 MPEG-2 Test Model 5(TM5)에서 채용된, 입력 화상의 텍스처의 복잡도에 의거한 적응 양자화가 공지되어 있다. 텍스처의 복잡도는 일반적으로 액티비티(activity)라 불린다. 또한, 특허문헌 1에서는, 입력 화상의 액티비티에 합쳐서 예측 화상의 액티비티를 이용하는 적응 양자화 시스템이 제안되어 있다. 또한, 특허문헌 2에서는, 에지부를 고려한 액티비티에 의거한 적응 양자화 시스템이 제안되어 있다.
시각 감도 기반 적응 양자화 기술을 이용할 때에, 화상 프레임 내에서, 빈번하게 양자화 스텝 사이즈의 변동이 발생하는 것이 문제가 된다. AVC 방식에 준거한 비트스트림을 생성하는 일반적인 영상 부호화 장치에서는, 양자화 스텝 사이즈를 부호화함에 있어서, 부호화될 화상 블록 직전에 부호화한 화상 블록에 대한 양자화 스텝 사이즈와의 차분을 엔트로피 부호화한다. 따라서, 부호화 순서 방향에 대한 양자화 스텝 사이즈의 변동이 커지면, 양자화 스텝 사이즈의 부호화에 필요한 부호량이 증가한다. 그 결과, 상대적으로 계수 화상의 부호화에 할당되는 부호량이 감소하여 화질이 열화되게 된다.
부호화 순서 방향은 화면상의 시각 감도의 연속성과는 관계없으므로, 시각 감도 기반 적응 양자화 기술은, 필연적으로 양자화 스텝 사이즈의 부호화에 필요한 부호량을 증가시킨다. 그러므로, 일반적인 영상 부호화 장치에서는, 시각 감도 기반 적응 양자화 기술을 이용해도, 양자화 스텝 사이즈의 부호량 증가와 연관된 화질 열화가, 적응 양자화 기술에 의한 주관 화질 향상분을 상쇄하게 되는, 즉 충분한 화질 향상을 달성할 수 없다는 문제가 있다.
이 문제에 대하여, 특허문헌 3에는, 시각 감도에 따라 양자화 스텝 사이즈를 적응 설정하는 대신에, 공간 영역 및 주파수 영역에서의 시각 감도에 따라, 제로(zero)로 양자화하는 범위 즉 데드존을 적응 설정하는 기술이 개시되어 있다. 특허문헌 3에 기재된 시스템에서는, 시각 감도가 낮은 것으로 판정된 변환 계수에 대한 데드존을, 시각 감도가 높은 것으로 판정된 변환 계수에 대한 데드존보다 넓게 한다. 그러한 제어가 행해짐으로써, 양자화 스텝 사이즈를 변동시키지 않고, 시각 감도 기반 적응 양자화를 행할 수 있다.
일본국 특허 2646921호 공보 일본국 특허 4529919호 공보 일본국 특허 4613909호 공보
ISO/IEC 14496-10 Advanced Video Coding "WD1 : Working Draft 1 of High-Efficiency Video Coding", Document JCTVC-C403, Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 3rd Meeting at Guangzhou, China, October 2010.
그러나 특허문헌 3에 기재된 기술을 이용하면, 데드존의 범위에 들어가지 않는 변환 계수에 대해서는, 시각 감도에 적응한 양자화를 행할 수 없다. 즉, 시각 감도가 낮은 것으로 판정되어도, 데드존의 범위에 들어가지 않는 변환 계수에 대해서는 계수 부호량을 삭감할 수 없다. 또한, 양자화 스텝 사이즈를 확대했을 경우에는, 양자화 후의 변환 계수값은 제로 부근에 집중하지만, 데드존을 확대했을 경우에는, 데드존의 범위에 들어가지 않는 변환 계수는 양자화해도 제로 부근에 집중하지 않게 된다. 즉, 데드존을 확대했을 경우에는, 양자화 스텝 사이즈를 확대한 경우와 비교해서, 엔트로피 부호화에 의한 부호화 효율이 불충분해진다. 이러한 이유에 의해, 일반적인 부호화 기술에는, 시각 감도가 높은 영역에 대한 부호량 할당을 충분히 증가시킬 수 없다는 문제가 있다고 할 수 있다.
본 발명은 상기한 과제를 감안하여 이루어진 발명이며, 제1 목적은, 부호량 증가를 억제하면서 양자화 스텝 사이즈를 빈번하게 변동시키는 것을 가능하게 하여, 고화질인 동화상 부호화를 행하는 영상 부호화 장치 및 영상 부호화 방법을 제공하는 것이다. 또한, 본 발명의 제2 목적은, 고품질인 동화상의 재생이 가능한 영상 복호 장치 및 영상 복호 방법을 제공하는 것이다.
본 발명에 따른 영상 부호화 장치는, 입력 화상 데이터를 소정의 크기의 블록으로 분할하고, 분할된 화상 블록마다 양자화를 적용해서, 압축 부호화 처리를 행하는 영상 부호화 장치로서, 양자화의 입도를 제어하는 양자화 스텝 사이즈를 부호화하는 양자화 스텝 사이즈 부호화 수단을 구비하고, 양자화 스텝 사이즈 부호화 수단은, 이미 부호화 완료된 근방 화상 블록에 할당된 양자화 스텝 사이즈를 이용해서 양자화의 입도를 제어하는 양자화 스텝 사이즈를 예측한다.
본 발명에 따른 영상 복호 장치는, 입력된 압축 영상 데이터의 역양자화를 이용해서 화상 블록을 복호해서, 화상 블록의 집합으로서 화상 데이터의 생성 처리를 행하는 영상 복호 장치로서, 역양자화의 입도를 제어하는 양자화 스텝 사이즈를 복호하는 양자화 스텝 사이즈 복호 수단을 구비하고, 양자화 스텝 사이즈 복호 수단은, 이미 복호 완료된 근방 화상 블록에 할당된 양자화 스텝 사이즈를 이용해서 역양자화의 입도를 제어하는 양자화 스텝 사이즈를 예측한다.
본 발명에 따른 영상 부호화 방법은, 입력 화상 데이터를 소정의 크기의 블록으로 분할하고, 분할된 화상 블록마다 양자화를 적용해서, 압축 부호화 처리를 행하는 영상 부호화 방법으로서, 양자화의 입도를 제어하는 양자화 스텝 사이즈를, 이미 부호화 완료된 근방 화상 블록에 할당된 양자화 스텝 사이즈를 이용해서 예측하는 것을 포함한다.
본 발명에 따른 영상 복호 방법은, 입력된 압축 영상 데이터의 역양자화를 이용해서 화상 블록을 복호해서, 화상 블록의 집합으로서 화상 데이터의 생성 처리를 행하는 영상 복호 방법으로서, 역양자화의 입도를 제어하는 양자화 스텝 사이즈를, 이미 복호 완료된 근방 화상 블록에 할당된 양자화 스텝 사이즈를 이용해서 예측하는 것을 포함한다.
본 발명에 따르면, 영상 부호화 장치에 있어서, 양자화 스텝 사이즈를 화상 프레임 내에서 빈번하게 변동시켜도, 그것에 부수하는 부호량의 증가를 억제할 수 있다. 환언하면, 보다 적은 부호량으로 양자화 스텝 사이즈의 부호화를 행할 수 있다. 따라서, 시각 감도 적응 기반 양자화에 의한 주관 화질의 향상분이 상쇄된다는 문제가 해소되는, 즉 고화질인 동화상 부호화를 실현할 수 있다. 또한, 본 발명에 따르면, 영상 복호 장치에 있어서, 소량의 부호를 수신하는 것만으로 빈번하게 변동하는 양자화 스텝 사이즈를 복호할 수 있으므로, 적은 부호량으로 고화질인 동화상의 재생을 행할 수 있다.
도 1은 본 발명의 제1 실시형태의 영상 부호화 장치에 있어서의 양자화 스텝 사이즈 부호화기를 나타내는 블록도.
도 2는 부호화 대상인 화상 블록과 근방 화상 블록의 일례를 나타내는 설명도.
도 3은 본 발명의 제2 실시형태의 영상 복호 장치에 있어서의 양자화 스텝 사이즈 복호기를 나타내는 블록도.
도 4는 본 발명의 제3 실시형태의 영상 부호화 장치에 있어서의 양자화 스텝 사이즈 부호화기를 나타내는 블록도.
도 5는 본 발명의 제4 실시형태의 영상 복호 장치에 있어서의 양자화 스텝 사이즈 복호기를 나타내는 블록도.
도 6은 프레임 내 예측의 예측 방향을 나타내는 설명도.
도 7은 프레임간 예측의 예를 나타내는 설명도.
도 8은 본 발명의 제3 실시형태의 영상 부호화 장치에 있어서의 프레임간 예측의 모션 벡터(motion vector)를 이용한 양자화 스텝 사이즈 예측의 예를 나타내는 설명도.
도 9는 본 발명에 따른 다른 영상 부호화 장치의 구성을 나타내는 블록도.
도 10은 본 발명에 따른 다른 영상 부호화 장치에 있어서의 특징적인 구성 요소를 나타내는 블록도.
도 11은 양자화 스텝 사이즈 예측 파라미터의 다중화의 예를 나타낸 리스트를 나타내는 설명도.
도 12는 본 발명에 따른 다른 영상 복호 장치의 구성을 나타내는 블록도.
도 13은 본 발명에 따른 다른 영상 복호 장치에 있어서의 특징적인 구성 요소를 나타내는 블록도.
도 14는 본 발명의 제7 실시형태의 양자화 스텝 사이즈 부호화기를 나타내는 블록도.
도 15는 본 발명의 제8 실시형태의 영상 복호 장치에 있어서의 양자화 스텝 사이즈 복호기를 나타내는 블록도.
도 16은 본 발명에 따른 영상 부호화 장치 및 영상 복호 장치의 기능을 실현 가능한 정보 처리 시스템의 구성예를 나타내는 블록도.
도 17은 본 발명에 따른 영상 부호화 장치에 있어서의 특징적인 구성 요소를 나타내는 블록도.
도 18은 본 발명에 따른 다른 영상 부호화 장치에 있어서의 특징적인 구성 요소를 나타내는 블록도.
도 19는 본 발명에 따른 영상 복호 장치에 있어서의 특징적인 구성 요소를 나타내는 블록도.
도 20은 본 발명에 따른 다른 영상 복호 장치에 있어서의 특징적인 구성 요소를 나타내는 블록도.
도 21은 본 발명에 따른 영상 부호화 방법에 있어서의 특징적인 스텝을 나타내는 플로차트.
도 22는 본 발명에 따른 영상 복호 방법에 있어서의 특징적인 스텝을 나타내는 플로차트.
도 23은 블록 분할의 예를 나타내는 설명도.
도 24는 영상 부호화 장치의 구성의 일례를 나타내는 블록도.
도 25는 일반적인 영상 부호화 장치에 있어서의 양자화 스텝 사이즈 부호화기를 나타내는 블록도.
도 26은 영상 복호 장치의 구성의 일례를 나타내는 블록도.
도 27은 일반적인 영상 복호 장치에 있어서의 양자화 스텝 사이즈 부호화기를 나타내는 블록도.
이하, 본 발명의 실시형태에 대하여 도면을 참조해서 설명한다.
실시형태 1.
본 발명의 제1 실시형태의 영상 부호화 장치는, 도 24에 나타낸 영상 부호화 장치와 마찬가지로, 주파수 변환기(101)와, 양자화기(102)와, 가변 길이 부호화기(103)와, 양자화 제어기(104)와, 역양자화기(105)와, 역주파수 변환기(106)와, 프레임 메모리(107)와, 프레임 내 예측기(108)와, 프레임간 예측기(109)와, 예측 선택기(110)를 구비한다. 그러나, 가변 길이 부호화기(103)에 포함되어 있는 양자화 스텝 사이즈 부호화기의 구성은, 도 25에 나타낸 구성과는 상이하다.
도 1은, 본 발명의 제1 실시형태의 영상 부호화 장치에 있어서의 양자화 스텝 사이즈 부호화기를 나타내는 블록도이다. 도 1에 나타내는 바와 같이, 본 실시형태에 있어서의 양자화 스텝 사이즈 부호화기는, 도 25에 나타낸 양자화 스텝 사이즈 부호화기와 비교하면, 예측 양자화 스텝 사이즈 생성기(10313)를 포함하는 점이 상이하다.
양자화 스텝 사이즈 버퍼(10311)는, 과거에 부호화한 화상 블록에 대하여 할당한 양자화 스텝 사이즈를 축적하고 유지한다.
예측 양자화 스텝 사이즈 생성기(10313)는, 과거에 부호화 완료된 근방 화상 블록에 할당된 양자화 스텝 사이즈를 양자화 스텝 사이즈 버퍼로부터 취출하여, 예측 양자화 스텝 사이즈를 생성한다.
입력 양자화 스텝 사이즈는, 예측 양자화 스텝 사이즈 생성기(10313)로부터 공급되는 예측 양자화 스텝 사이즈가 감산된 후, 차분 양자화 스텝 사이즈로서, 엔트로피 부호화기(10312)에 입력된다.
엔트로피 부호화기(10312)는, 입력된 차분 양자화 스텝 사이즈를 엔트로피 부호화하여, 양자화 스텝 사이즈에 대응한 부호로서 출력한다.
이렇게 구성함으로써, 양자화 스텝 사이즈의 부호화에 필요한 부호량을 삭감할 수 있고, 그 결과 고화질인 동화상 부호화를 실현할 수 있다. 그 이유는, 예측 양자화 스텝 사이즈 생성기(10313)가, 부호화 순서에 의존하지 않는 근방 화상 블록의 양자화 스텝 사이즈를 이용해서 예측 양자화 스텝 사이즈를 생성하므로, 엔트로피 부호화기(10312)에 입력되는 차분 양자화 스텝 사이즈의 절대량을 작게 할 수 있기 때문이다. 근방 화상 블록의 양자화 스텝 사이즈를 이용해서 예측 양자화 스텝 사이즈를 생성하면 엔트로피 부호화기(10312)에 입력되는 차분 양자화 스텝 사이즈의 절대량을 작게 할 수 있는 이유는, 동화상에는 일반적으로 근방 화소간의 상관성이 있으므로, 시각 감도 기반 적응 양자화를 이용했을 경우에는, 서로 상관성이 높은 근방 화상 블록에 대해서는 할당되는 양자화 스텝 사이즈의 유사도가 높아지기 때문이다.
제1 실시형태의 영상 부호화 장치에 있어서의 양자화 스텝 사이즈 부호화기의 구체적인 동작을, 구체예를 이용하여 이하에서 설명한다.
본 예에서는, 부호화 단위로 되는 화상 블록은 고정 사이즈인 것으로 한다. 양자화 스텝 사이즈의 예측에 이용하는 근방 화상 블록으로서, 동일 화상 프레임 내의 좌측, 상측, 대각선 우상측에 각각 인접하는 3개의 화상 블록을 이용하는 것으로 한다.
현재 부호화 대상인 화상 블록을 X로 표시하고, 3개의 근방 화상 블록 A, B, C가 각각, 도 2에 나타내는 바와 같이, 화상 블록 X에 대하여 좌측, 상측, 대각선 우상측에 인접하는 위치에 있는 것으로 한다. 이 경우에, 임의의 블록 Z에 있어서의 양자화 스텝 사이즈를 Q(Z), 예측 양자화 스텝 사이즈를 pQ(Z)로 할 때, 예측 양자화 스텝 사이즈 생성기(10313)는, 예측 양자화 스텝 사이즈 pQ(X)를, 이하의 (3)식에 의해 결정한다.
pQ(X)=Median(Q(A), Q(B), Q(C))…(3)
단, Median(x, y, z)은, x, y, z의 3개의 값으로부터 중간값을 구하는 함수이다.
엔트로피 부호화기(10312)는, 이하의 (4)식에 의해 얻어진 차분 양자화 스텝 사이즈 dQ(X)를, 엔트로피 부호의 하나인 부호화된 Exp-Golomb(Exponential-Golomb) 부호를 이용해서 부호화하여, 당해 화상 블록에 대한 양자화 스텝 사이즈에 대응하는 부호로서 출력한다.
dQ(X)=Q(X)-pQ(X)…(4)
본 예에서는, 양자화 스텝 사이즈의 예측에 이용하는 근방 화상 블록으로서, 동일 화상 프레임 내의 좌측, 상측, 대각선 우상측에 각각 인접하는 3개의 화상 블록을 이용했다. 그러나, 근방 화상 블록은 그것으로 한정되지 않는다. 예를 들면, 좌측, 상측, 대각선 좌상측에 각각 인접하는 화상 블록을 이용하여, 이하의 (5)식에 의해 예측 양자화 스텝 사이즈를 결정해도 된다.
pQ(X)=Median(Q(A), Q(B), Q(D))…(5)
예측에 이용하는 화상 블록은, 3개가 아닌 임의의 개수여도 되며, 또한 예측에 이용하는 연산으로서, 중간값이 아닌 예를 들면 평균값 등을 이용해도 된다. 또한, 예측에 이용하는 화상 블록은, 반드시 부호화 대상 화상 블록에 인접해 있을 필요는 없다. 예측에 이용하는 화상 블록은, 부호화 대상 화상 블록으로부터 소정의 거리만큼 떨어져 있어도 된다. 또한, 예측에 이용하는 화상 블록은, 공간 근방 즉 동일 화상 프레임 내의 화상 블록으로 한정되지 않으며, 시간 근방 즉 이미 부호화된 다른 화상 프레임 내의 화상 블록이어도 된다.
또한, 본 예에서는, 부호화 대상 화상 블록과 근방 화상 블록이 동일한 고정 사이즈인 경우를 가정하고 있다. 그러나, 본 발명은 고정 사이즈인 경우로 한정되지 않으며, 부호화의 단위로 되는 블록은 가변 사이즈여도 된다.
또한, 본 예에서는, 부호화 대상 화상 블록의 양자화 스텝 사이즈와 예측 양자화 스텝 사이즈간의 차분을 부호화할 때에, Exp-Golomb 부호에 의거하여 부호화가 행해지고 있다. 그러나, 본 발명은 Exp-Golomb 부호의 이용으로 한정되지 않으며, 다른 엔트로피 부호에 의거하여 부호화해도 된다. 예를 들면 허프만 부호(Huffman)나 산술 부호 등에 의거한 부호화를 행해도 된다.
이상으로, 본 발명의 제1 실시형태의 영상 부호화 장치의 설명을 종료한다.
실시형태 2.
본 발명의 제2 실시형태의 영상 복호 장치는, 도 26에 나타낸 영상 복호 장치와 마찬가지로, 가변 길이 복호기(201)와, 역양자화기(202)와, 역주파수 변환기(203)와, 프레임 메모리(204)와, 프레임 내 예측기(205)와, 프레임간 예측기(206)와, 예측 선택기(207)를 구비한다. 그러나, 가변 길이 복호기(201)에 포함되어 있는 양자화 스텝 사이즈 복호기의 구성은, 도 27에 나타낸 구성과는 상이하다.
도 3은, 본 발명의 제2 실시형태의 영상 복호 장치에 있어서의 양자화 스텝 사이즈 복호기를 나타내는 블록도이다. 도 3에 나타내는 바와 같이, 본 실시형태에 있어서의 양자화 스텝 사이즈 복호기는, 도 27에 나타낸 양자화 스텝 사이즈 복호기와 비교하면, 예측 양자화 스텝 사이즈 생성기(20113)를 포함하는 점이 상이하다.
엔트로피 복호기(20111)는, 입력된 부호를 엔트로피 복호하여 차분 양자화 스텝 사이즈를 출력한다.
양자화 스텝 사이즈 버퍼(20112)는, 과거에 복호한 양자화 스텝 사이즈를 축적하여 유지한다.
예측 양자화 스텝 사이즈 생성기(20113)는, 과거에 복호 완료된 양자화 스텝 사이즈 중, 현재의 복호 대상 화상 블록의 근방 화소 블록에 대응하는 양자화 스텝 사이즈를 양자화 스텝 사이즈 버퍼로부터 취출하여, 예측 양자화 스텝 사이즈를 생성한다. 구체적으로는, 예를 들면 제1 실시형태의 영상 부호화 장치의 구체적인 예에 있어서의 예측 양자화 스텝 사이즈 생성기(10313)와 동일한 동작을 행한다.
엔트로피 복호기(20111)에 의해 생성된 차분 양자화 스텝 사이즈는, 예측 양자화 스텝 사이즈 생성기(20113)로부터 공급되는 예측 양자화 스텝 사이즈가 가산된 후, 양자화 스텝 사이즈로서 출력됨과 함께, 양자화 스텝 사이즈 버퍼(20112)에 입력된다.
이렇게 양자화 스텝 사이즈 복호기를 구성함으로써, 영상 복호 장치는 보다 적은 부호량을 수신하는 것만으로 양자화 스텝 사이즈를 복호할 수 있다. 그 결과, 고화질인 동화상을 복호하여 재생할 수 있다. 그 이유는, 예측 양자화 스텝 사이즈 생성기(20113)가, 복호 순서에 의존하지 않는 근방 화상 블록의 양자화 스텝 사이즈를 이용해서 예측 양자화 스텝 사이즈를 생성함으로써, 예측 양자화 스텝 사이즈는 실제로 할당되는 양자화 스텝 사이즈에 가까워지므로, 엔트로피 복호기(20111)는 제로에 가까운 차분 양자화 스텝 사이즈를 복호하면 되기 때문이다. 근방 화상 블록의 양자화 스텝 사이즈를 이용해서 예측 양자화 스텝 사이즈를 생성함으로써 실제로 할당되는 양자화 스텝 사이즈에 가까운 예측 양자화 스텝 사이즈가 얻어질 수 있는 이유는, 동화상에는 일반적으로 근방 화소간의 상관성이 있어, 시각 감도 기반 적응 양자화를 이용했을 경우에는, 서로 상관성이 높은 근방 화상 블록에 대해서는 할당되는 양자화 스텝 사이즈의 유사도가 높아지기 때문이다.
이상으로, 본 발명의 제2 실시형태의 영상 복호 장치의 설명을 종료한다.
실시형태 3.
본 발명의 제3 실시형태의 영상 부호화 장치는, 본 발명의 제1 실시형태의 영상 부호화 장치와 마찬가지로, 도 24에 도시되는 바와 같이, 주파수 변환기(101)와, 양자화기(102)와, 가변 길이 부호화기(103)와, 양자화 제어기(104)와, 역양자화기(105)와, 역주파수 변환기(106)와, 프레임 메모리(107)와, 프레임 내 예측기(108)와, 프레임간 예측기(109)와, 예측 선택기(110)를 구비한다. 그러나, 가변 길이 부호화기(103)에 포함되어 있는 양자화 스텝 사이즈 부호화기의 구성은, 도 25에 나타낸 구성과는 상이하다.
도 4는, 본 발명의 제3 실시형태의 영상 부호화 장치에 있어서의 양자화 스텝 사이즈 부호화기를 나타내는 블록도이다. 도 4에 나타내는 바와 같이, 본 발명의 제3 실시형태의 영상 부호화 장치에 있어서의 양자화 스텝 사이즈 부호화기의 구성은, 도 1에 나타낸 양자화 스텝 사이즈 부호화기의 구성과 동일하다. 그러나, 제3 실시형태에서는 예측 양자화 스텝 사이즈 생성기(10313)에 대하여, 도 24에 나타내는 예측 선택기(110)로부터, 화상 예측에 이용한 파라미터가 공급되는 점과, 예측 양자화 스텝 사이즈 생성기(10313)의 동작이 제1 실시형태와는 상이하다.
양자화 스텝 사이즈 버퍼(10311) 및 엔트로피 부호화기(10312)의 동작은, 제1 실시형태의 영상 부호화 장치에 있어서의 양자화 스텝 사이즈 부호화기의 경우와 동일하므로, 여기에서는 설명을 생략한다.
예측 양자화 스텝 사이즈 생성기(10313)는, 과거에 부호화 완료된 화상 블록 중에서, 양자화 스텝 사이즈의 예측에 이용하는 화상 블록을, 화상 예측 파라미터를 이용해서 선택한다. 예측 양자화 스텝 사이즈 생성기(10313)는, 선택된 화상 블록에 대응하는 양자화 스텝 사이즈로부터, 예측 양자화 스텝 사이즈를 생성한다.
이렇게 구성함으로써, 영상 부호화 장치는, 제1 실시형태의 영상 부호화 장치에 비해서, 양자화 스텝 사이즈의 부호화에 필요한 부호량을 더 삭감할 수 있다. 그 결과, 고화질인 동화상 부호화를 실현할 수 있다. 그 이유는, 예측 양자화 스텝 사이즈 생성기(10313)가, 화상 예측 파라미터를 이용해서 양자화 스텝 사이즈의 예측을 행하므로, 당해 화상 블록에 대하여 보다 상관성이 높은 근방 화상 블록으로부터 양자화 스텝 사이즈를 예측할 수 있기 때문이다.
실시형태 4.
본 발명의 제4 실시형태의 영상 복호 장치는, 본 발명의 제2 실시형태의 영상 복호 장치와 마찬가지로, 도 26에 도시되는 바와 같이, 가변 길이 복호기(201)와, 역양자화기(202)와, 역주파수 변환기(203)와, 프레임 메모리(204)와, 프레임 내 예측기(205)와, 프레임간 예측기(206)와, 예측 선택기(207)를 구비한다. 그러나, 가변 길이 복호기(201)에 포함되어 있는 양자화 스텝 사이즈 복호기의 구성은, 도 27에 나타낸 구성과는 상이하다.
도 5는, 본 발명의 제4 실시형태의 영상 복호 장치에 있어서의 양자화 스텝 사이즈 복호기를 나타내는 블록도이다. 도 5에 나타내는 바와 같이, 본 발명의 제4 실시형태의 영상 복호 장치에 있어서의 양자화 스텝 사이즈 복호기의 구성은, 도 3에 나타낸 양자화 스텝 사이즈 복호기의 구성과 동일하다. 그러나, 제4 실시형태에서는 예측 양자화 스텝 사이즈 생성기(20313)에 대하여, 도 26에 나타내는 예측 선택기(207)로부터, 화상 예측에 이용한 파라미터가 공급되는 점과, 예측 양자화 스텝 사이즈 생성기(20113)의 동작이 제2 실시형태와는 상이하다.
엔트로피 복호기(20111) 및 양자화 스텝 사이즈 버퍼(20112)의 동작은, 제2 실시형태의 영상 복호 장치에 있어서의 양자화 스텝 사이즈 복호기의 경우와의 동작과 동일하므로, 여기에서는 설명을 생략한다.
예측 양자화 스텝 사이즈 생성기(20113)는, 과거에 복호 완료된 화상 블록 중에서, 양자화 스텝 사이즈의 예측에 이용하는 화상 블록을, 화상 예측 파라미터를 이용해서 선택한다. 예측 양자화 스텝 사이즈 생성기(20113)는, 선택된 화상 블록에 대응하는 양자화 스텝 사이즈로부터, 예측 양자화 스텝 사이즈를 생성한다. 생성된 예측 양자화 스텝 사이즈는, 엔트로피 복호기(20111)로부터 출력되는 차분 양자화 스텝 사이즈가 가산된 후, 양자화 스텝 사이즈로서 출력됨과 함께, 양자화 스텝 사이즈 버퍼(20112)에 입력된다.
예측 양자화 스텝 사이즈 생성기(20113)에 있어서의 예측 양자화 스텝 사이즈의 도출 방법은, 상술한 제3 실시형태의 영상 부호화 장치에 있어서의 예측 양자화 스텝 사이즈 생성기(10313)에서의 예측 양자화 스텝 사이즈의 생성 방법과 동일하므로, 여기에서는 설명을 생략한다.
이렇게 구성함으로써, 영상 복호 장치는, 제2 실시형태의 영상 복호 장치에 비해서, 더 적은 부호량을 수신하는 것만으로 양자화 스텝 사이즈를 복호할 수 있다. 그 결과, 고화질인 동화상을 복호하여 재생할 수 있다. 그 이유는, 예측 양자화 스텝 사이즈 생성기(20113)가, 화상 예측 파라미터를 이용해서 양자화 스텝 사이즈의 예측을 행하므로, 당해 화상 블록에 대하여 보다 상관성이 높은 근방 화상 블록으로부터 양자화 스텝 사이즈를 예측할 수 있기 때문이다.
[실시예 1]
상술한 제3 실시형태의 영상 부호화 장치에 있어서의 양자화 스텝 사이즈 부호화기의 구체적인 동작을, 실시예를 이용하여 이하에서 설명한다.
본 실시형태에서는, 양자화 스텝 사이즈의 예측에 이용하는 화상 예측 파라미터로서, 프레임 내 예측의 예측 방향을 이용한다. 또한, 프레임 내 예측으로서, 비특허문헌 1에 기재되어 있는 AVC에 있어서 4×4 화소 블록 및 8×8화소 블록에서 이용되고 있는 8방향의 방향 예측과 평균 예측(도 6에 도시됨)을 이용한다.
부호화 단위로 되는 화상 블록은 고정 사이즈인 것으로 가정한다. 또한, 양자화 스텝 사이즈를 결정하는 단위로 되는 블록(양자화 스텝 사이즈 전송 블록이라 함)과, 프레임 내 예측의 단위로 되는 블록(예측 블록이라 함)은 동일한 사이즈인 것으로 가정한다. 현재 부호화 대상인 화상 블록을 X로 표시하면, 4개의 근방 블록 A, B, C, D가 도 2에 나타내는 위치 관계에 있고, 예측 양자화 스텝 사이즈 생성기(10313)는, 예측 양자화 스텝 사이즈 pQ(X)를, 이하의 (6)에 의해 구한다.
pQ(X)=pQ(B); if m=0
pQ(X)=pQ(A); if m=1
pQ(X)=(pQ(A)+pQ(B)+1)/2; if m=2
pQ(X)=pQ(C); if m=3
pQ(X)=pQ(D); if m=4
pQ(X)=(pQ(C)+pQ(D)+1)/2; if m=5
pQ(X)=(pQ(A)+pQ(D)+1)/2; if m=6
pQ(X)=(pQ(B)+pQ(D)+1)/2; if m=7
pQ(X)=pQ(A); if m=8
…(6)
단, m은 도 6에 나타내는 프레임 내 예측 방향 인덱스이다.
엔트로피 부호화기(10312)는, 양자화 스텝 사이즈 Q(X)와 예측 양자화 스텝 사이즈 pQ(X)를 (4)식에 적용해서 차분 양자화 스텝 사이즈 dQ(X)를 얻는다. 엔트로피 부호화기(10312)는, 얻어진 차분 양자화 스텝 사이즈 dQ(X)를, 엔트로피 부호의 하나인 부호화된 Exp-Golomb 부호를 이용해서 부호화한 후, 당해 화상 블록에 대한 양자화 스텝 사이즈에 대응하는 부호로서 출력한다.
본 실시형태에서는, 프레임 내 예측으로서, 8방향의 방향 예측과 평균 예측을 이용했지만, 본 발명은 그들로 한정되지 않는다. 예를 들면, 비특허문헌 2에 기재되어 있는 33방향의 방향 예측과 평균 예측 등을 이용해도 되고, 또 다른 임의의 프레임 내 예측을 이용해도 된다.
또한, 예측에 이용하는 화상 블록은, 4개가 아닌 임의여도 된다. 또한, 본 실시형태에서는, 예측 양자화 스텝 사이즈로서, 상기 (6)식에 나타내는 바와 같이, 어느 하나의 화상 블록에 있어서의 양자화 스텝 사이즈 또는 2개의 화상 블록에 있어서의 양자화 스텝 사이즈의 평균값 중 어느 하나를 이용했다. 그러나, 본 발명은 상기 (6)식으로 한정되는 것은 아니며, 다른 연산 결과를 예측 양자화 스텝 사이즈로 해도 된다. 예를 들면, 이하의 (7)식에 나타내는 바와 같이, 어느 하나의 화상 블록에 있어서의 양자화 스텝 사이즈 또는 3개의 양자화 스텝 사이즈의 중간값 중 어느 하나를 이용해도 되고, 또 다른 임의의 연산을 이용해서 예측 양자화 스텝 사이즈를 구해도 된다. 또한, 예측에 이용하는 화상 블록은, 반드시 현 부호화 대상 화상 블록에 인접해 있을 필요는 없다. 예측에 이용하는 화상 블록은, 현 부호화 대상 화상 블록으로부터 소정의 거리만큼 떨어져 있어도 된다.
pQ(X)=pQ(B); if m=0, 5 or 7
pQ(X)=pQ(A); if m=1, 6 or 8
pQ(X)=pQ(C); if m=3
pQ(X)=pQ(D); if m=4
pQ(X)=Median(pQ(A), pQ(B), Q(C)); if m=2
…(7)
본 실시형태에서는, 부호화 대상 화상 블록과 근방 화상 블록이 동일한 고정 사이즈인 경우를 가정하고 있다. 그러나, 본 발명은 고정 사이즈로 한정되지 않으며, 부호화의 단위로 되는 블록은 가변 사이즈여도 된다.
또한, 본 실시형태에서는, 양자화 스텝 사이즈 전송 블록과, 예측 블록이 동일한 사이즈인 것으로 가정하고 있다. 그러나, 본 발명은 동일한 사이즈인 경우로 한정되지 않으며, 양자화 스텝 사이즈 전송 블록과 예측 블록이 상이한 사이즈여도 된다. 예를 들면, 양자화 스텝 사이즈 전송 블록에 복수의 예측 블록이 포함될 경우에는, 당해 복수의 예측 블록 중 어느 하나의 예측 블록에 있어서의 예측 블록을, 양자화 스텝 사이즈의 예측에 이용해도 된다. 또는, 복수의 예측 블록의 예측 방향에 대하여 중간값 연산이나 평균값 연산 등의 임의의 연산을 가한 결과를, 양자화 스텝 사이즈의 예측에 이용해도 된다.
또한, 본 실시형태에서는, 부호화 대상 화상 블록의 양자화 스텝 사이즈와 예측 양자화 스텝 사이즈의 차분을 부호화함에 있어서, Exp-Golomb 부호에 의거하여 부호화하고 있다. 그러나, 본 발명은 Exp-Golomb 부호의 이용으로 한정되지 않으며, 다른 엔트로피 부호에 의거하여 부호화해도 된다. 예를 들면, 허프만 부호나 산술 부호 등에 의거한 부호화를 행해도 된다.
[실시예 2]
상술한 제3 실시형태의 영상 부호화 장치에 있어서의 양자화 스텝 사이즈 부호화기의 구체적인 동작을, 다른 실시예를 이용하여 이하에 설명한다.
본 실시형태에서는, 양자화 스텝 사이즈의 예측에 이용하는 화상 예측 파라미터로서, 프레임간 예측의 모션 벡터를 이용한다. 프레임간 예측으로서, 도 7에 나타내는 바와 같이, 블록 단위의 평행 이동에 의해 정의되는 예측을 가정한다. 참조 프레임 내에서, 부호화 대상 블록과 동일한 공간 위치로부터 모션 벡터분의 변위를 가한 위치에 있는 화상 블록으로부터, 예측 화상이 생성되는 것으로 한다. 또한, 프레임간 예측으로서, 도 7에 도시되는 바와 같이, 단일 참조 프레임으로부터의 예측 즉 편(片) 방향 예측을 가정한다. 또한, 본 실시형태에서는, 양자화 스텝 사이즈 전송 블록과, 예측 블록은 동일한 사이즈인 것으로 가정한다.
여기에서, 부호화 대상 블록을 X, 블록 X의 중심 위치를 cent(X), X의 프레임간 예측에 있어서의 모션 벡터를 V(X), 프레임간 예측에서 참조하는 참조 프레임을 RefPic(X)로 한다. 그리고, 도 8에 나타내는 바와 같이, 프레임 RefPic(X)에 있어서 위치 cent(X)+V(X)가 속하는 블록을 Block(RefPic(X), cent(X)+V(X))으로 표기한다. 예측 양자화 스텝 사이즈 생성기(10313)는, 예측 양자화 스텝 사이즈 pQ(X)를, 이하의 (8)식에 의해 구한다.
pQ(X)=Q(Block(RefPic(X), cent(X)+V(X))…(8)
dQ(X)의 도출과 엔트로피 부호화기(10312)에 의한 부호화 처리는, 제1 실시예와 동일하다.
본 실시형태에서는, 편 방향 예측을 가정했지만, 본 발명은 편 방향 예측의 이용으로 한정되지 않는다. 예를 들면, 2매의 참조 프레임에 있어서의 참조 화상 블록의 가중 평균(weighted average)에 의해 예측 화상을 생성하는 쌍방향 예측의 경우에는, 1매째의 참조 프레임을 RefPic0(X), RefPic0(X)에 대한 모션 벡터를 V0(X), 다른 1매의 참조 프레임을 RefPic1(X), RefPic1(X)에 대한 모션 벡터를 V1(X)로 하고, 예측 화상 생성 시의 RefPic0(X)에 대한 가중치를 w0, RefPic1(X)에 대한 가중치를 w1로 해서, 예측 양자화 스텝 사이즈 생성기(10313)는, 예측 양자화 스텝 사이즈 pQ(X)를, 이하의 (9)식에 의해 결정해도 된다.
pQ(X)=w0 Q(Block(RefPic0(X), cent(X)+V0(X))+w1 Q(Block(RefPic1(X), cent(X)+V1(X))…(9)
또한, 본 실시형태에서는, 참조 화상 블록의 중심 위치가 속하는 블록의 양자화 스텝 사이즈를 예측 양자화 스텝 사이즈로서 이용했지만, 예측 양자화 스텝 사이즈는, 그것으로 한정되지 않는다. 예를 들면, 참조 화상 블록의 좌상측 위치가 속하는 블록의 양자화 스텝 사이즈를 예측 양자화 스텝 사이즈로서 이용해도 된다. 또한, 참조 화상 블록의 모든 화소가 속하는 블록의 양자화 스텝 사이즈를 각각 참조하여, 그들의 양자화 스텝 사이즈의 평균값을 예측 양자화 스텝 사이즈로서 이용해도 된다.
또한, 본 실시형태에서는, 프레임간 예측으로서 블록간의 평행 이동에 의해 나타나는 예측을 가정하고 있다. 그러나, 참조 화상 블록은 그것으로 한정되지 않으며, 임의의 형상이어도 된다.
또한, 본 실시형태에서는, 양자화 스텝 사이즈 전송 블록과, 예측 블록은 동일한 사이즈인 것으로 가정하고 있다. 그러나, 상술한 제3 실시형태의 영상 부호화 장치에 있어서의 제1 실시예와 마찬가지로, 양자화 스텝 사이즈 전송 블록과 예측 블록은 서로 다른 사이즈여도 된다.
[실시예 3]
상술한 제3 실시형태의 영상 부호화 장치에 있어서의 양자화 스텝 사이즈 부호화기의 구체적인 동작을, 다른 실시예를 이용해서 이하에 설명한다.
본 실시형태에서는, 양자화 스텝 사이즈의 예측에 이용하는 화상 예측 파라미터로서, 프레임간 예측의 모션 벡터의 예측, 즉 예측 모션 벡터를 이용한다. 예측 모션 벡터가 당해 부호화 대상 블록의 근방 화상 블록으로부터 도출될 경우에, 예측 모션 벡터의 도출에 이용한 근방 화상 블록의 양자화 스텝 사이즈를 이용해서, 당해 부호화 대상 블록의 모션 벡터를 예측한다.
본 실시형태에서는, 양자화 스텝 사이즈 전송 블록과, 예측 블록은 동일한 사이즈인 것으로 가정한다. 또한, 프레임간 예측으로서, 상술한 제3 실시형태의 영상 부호화 장치에 있어서의 제2 실시예와 마찬가지로, 모션 벡터에 의해 나타나는 편 방향 예측을 가정한다. 본 실시형태에서는, 도 7에 나타내는 모션 벡터로부터, 소정의 방법에 의해 도출되는 예측 모션 벡터가 감산되고, 그 차분이 엔트로피 부호화된다. 소정의 예측 모션 벡터 도출 방법으로서, 비특허문헌 2의 "8.4.2.1.4 Derivation process for luma motion vector prediction"에 기재된 예측 모션 벡터 도출 방법을 이용한다.
여기에서, 본 실시형태에서 이용하는 예측 모션 벡터 도출 방법에 대하여 간단히 설명한다. 부호화 대상 블록을 X로 표시하고, 도 2에 나타내는 바와 같이, 좌측, 상측, 우상측, 좌상측, 좌하측에 인접하는 블록을 각각 A, B, C, D, E로 표기한다. 블록 A의 모션 벡터를 mvA, 블록 B의 모션 벡터를 mvB로 한다. 또한, 블록 C가 화상 내에 존재하며 이미 부호화 완료된 경우 블록 C의 모션 벡터를 mvC로 한다. 그 이외의 경우로, 블록 D가 화상 내에 존재하며 이미 부호화 완료된 경우, 블록 D의 모션 벡터를 mvC로 한다. 그 이외의 경우는 블록 E의 모션 벡터를 mvC로 한다.
또한, 이하의 (10)식에 의해 구해지는 모션 벡터를 mvMed로 하고, 당해 부호화 대상 화상 프레임에 할당된 참조 프레임 상에서 당해 부호화 대상 블록과 동일 공간 위치에 있는 블록(도 8에, 부호화 대상 블록 X에 대한 동(同) 위상 블록 XCol로서 도시됨)의 모션 벡터를 mvCol로 한다. 할당된 참조 프레임이란, 예를 들면 당해 부호화 대상 화상 프레임의 직전에 부호화된 화상 프레임을 가리킨다.
mvMed=(mvMedx, mvMedy)
mvMedx=Median(mvAx, mvBx, mvCx)
mvMedy=Median(mvAy, mvBy, mvCy)
…(10)
상술한 바와 같이 mvMed, mvA, mvB, mvC, mvCol의 5개가, 부호화 대상 블록 X에 있어서의 예측 모션 벡터의 후보로 된다. 이 중에서, 소정의 우선 순위에 따라, 어느 하나의 모션 벡터가 선택되어, 당해 부호화 대상 블록의 예측 모션 벡터 pMV(X)로 설정된다. 소정의 우선 순위의 일례가, 비특허문헌 2의 "8.4.2.1.4 Derivation process for luma motion vector prediction" 및 "8.4.2.1.8 Removal process for motion vector prediction"에 기재되어 있다.
상기한 바와 같이 예측 모션 벡터pMV(X)가 결정될 때, 예측 양자화 스텝 사이즈 생성기(10313)는, 부호화 대상 블록 X의 예측 양자화 스텝 사이즈 pQ(X)를, 이하의 (11)식에 의해 결정한다.
pQ(X)=Q(A); if pMV(X)=mvA
pQ(X)=Q(B); otherwise if pMV(X)=mvB
pQ(X)=Q(C); otherwise if pMV(X)=mvC 또한 mvC는 블록 C의 모션 벡터
pQ(X)=Q(D); otherwise if pMV(X)=mvC 또한 mvC는 블록 D의 모션 벡터
pQ(X)=Q(E); otherwise if pMV(X)=mvC 또한 mvC는 블록 E의 모션 벡터
pQ(X)=Q(XCol); otherwise if pMV(X)=mvCol
pQ(X)=Median(Q(A), Q(B), Q(C)); otherwise
…(11)
본 실시형태에서는, 편 방향 예측을 가정했지만, 본 발명은 편 방향 예측의 이용으로 한정되지 않는다. 상술한 제3 실시형태의 영상 부호화 장치에 있어서의 제2 실시예와 마찬가지로, 쌍방향 예측에 대해서도 적용 가능하다.
또한, 본 실시형태에서는, 예측 모션 벡터의 도출 방법으로서, 비특허문헌 2의 "8.4.2.1.4 Derivation process for luma motion vector prediction"에 기재된 예측 모션 벡터 도출 방법을 이용했지만, 본 발명은 그것으로 한정되지 않는다. 예를 들면, 비특허문헌 2의 "8.4.2.1.3 Derivation process for luma motion vectors for merge mode"에 기재되어 있는 바와 같이, 부호화 대상 블록 X의 모션 벡터가 블록 A 또는 블록 B 중 어느 하나의 모션 벡터에 의해 예측될 때, 예측 양자화 스텝 사이즈 생성기(10313)는, 당해 부호화 대상 블록 X의 예측 양자화 스텝 사이즈 pQ(X)를, 이하의 (12)식에 의해 구해도 되고, 다른 임의의 예측 모션 벡터 도출 방법을 이용해도 된다.
pQ(X)=Q(A); if pMV(X)=mvA
pQ(X)=Q(B); otherwise
…(12)
또한, 본 실시형태에서는, (11)식에 나타낸 바와 같이, 블록 A, B, C, D, E, XCol의 순으로 양자화 스텝 사이즈의 예측에 이용하는 화상 블록을 참조하고 있다. 그러나, 본 발명은 그 순서로 한정되지 않으며, 임의의 순서를 이용해도 된다. 또한, 양자화 스텝 사이즈의 예측에 이용하는 화상 블록의 수나 위치에 관해서도 임의의 화상 블록의 수나 위치를 이용해도 된다. 또한, 본 실시형태에서는, pMV(X)가 mvA, mvB, mvC, mvCol의 어느 것에도 일치하지 않을 경우에는 (3)식과 마찬가지로 중간값 연산을 이용했지만, 중간값 연산의 이용으로 한정되지 않는다. 제1 실시형태와 마찬가지로, 평균값 연산 등 임의의 연산을 이용해도 된다.
또한, 본 실시형태에서는, 양자화 스텝 사이즈 전송 블록과, 예측 블록은 동일한 사이즈인 것으로 가정하고 있다. 그러나, 상술한 제3 실시형태의 영상 부호화 장치에 있어서의 제1 실시예 및 제2 실시예와 마찬가지로, 양자화 스텝 사이즈 전송 블록과 예측 블록은 서로 다른 사이즈여도 된다.
실시형태 5.
도 9는, 본 발명의 제5 실시형태의 영상 부호화 장치의 구성을 나타내는 블록도이다. 또한, 도 10은 본 실시형태의 영상 부호화 장치에 있어서의 양자화 스텝 사이즈 부호화기의 구성을 나타내는 블록도이다.
도 9에 나타내는 바와 같이, 본 실시형태의 영상 부호화 장치는, 도 24에 나타낸 영상 부호화 장치와 비교하면, 양자화 스텝 사이즈 예측 제어기(111) 및 다중화기(112)를 포함하는 점이 상이하다. 또, 상술한 바와 같이, 도 24에 나타낸 영상 부호화 장치는, 제3 실시형태의 영상 부호화 장치이기도 하다.
또한, 도 10에 나타내는 바와 같이, 본 실시형태의 영상 부호화 장치의 가변 길이 부호화기(103)에 있어서 양자화 스텝 사이즈의 부호화를 행하는 양자화 스텝 사이즈 부호화기는, 도 4에 나타낸 양자화 스텝 사이즈 부호화기와 비교하면, 예측 양자화 스텝 사이즈 생성기(10313)에 대하여, 도 9에 나타내는 양자화 스텝 사이즈 예측 제어기(111)로부터 양자화 스텝 사이즈 예측 파라미터가 공급되는 점과, 예측 양자화 스텝 사이즈 생성기(10313)의 동작이, 제3 실시형태와는 상이하다.
양자화 스텝 사이즈 예측 제어기(111)는, 예측 양자화 스텝 사이즈 생성기(10313)에 있어서의 양자화 스텝 사이즈 예측 동작을 제어하는 제어 정보를, 가변 길이 부호화기(103) 및 다중화기(112)에 공급한다. 양자화 스텝 사이즈 예측 동작을 제어하는 제어 정보를, 양자화 스텝 사이즈 예측 파라미터라 한다.
다중화기(112)는, 가변 길이 부호화기(103)로부터 공급되는 영상 비트스트림에, 상기 양자화 스텝 사이즈 예측 파라미터를 다중화하여, 비트스트림으로서 출력한다.
예측 양자화 스텝 사이즈 생성기(10313)는, 과거에 부호화 완료된 화상 블록 중에서, 양자화 스텝 사이즈의 예측에 이용하는 화상 블록을, 화상 예측 파라미터와 양자화 스텝 사이즈 예측 파라미터를 이용해서 선택한다. 예측 양자화 스텝 사이즈 생성기(10313)는, 또한 선택된 화상 블록에 대응하는 양자화 스텝 사이즈로부터, 예측 양자화 스텝 사이즈를 생성한다.
이렇게 구성함으로써, 제3 실시형태의 영상 부호화 장치와 비교하면, 본 실시형태의 영상 부호화 장치는, 양자화 스텝 사이즈의 부호화에 필요한 부호량을 더 삭감할 수 있다. 그 결과, 고화질인 동화상 부호화를 실현할 수 있다. 그 이유는, 예측 양자화 스텝 사이즈 생성기(10313)가, 화상 예측 파라미터에 부가해서 양자화 스텝 사이즈 예측 파라미터를 이용함으로써, 화상 예측 파라미터를 이용한 양자화 스텝 사이즈의 예측값의 전환 또는 보정을 행하므로, 당해 화상 블록에 대하여 보다 높은 정밀도로 양자화 스텝 사이즈를 예측할 수 있기 때문이다. 양자화 스텝 사이즈 예측 파라미터에 의한 전환 또는 보정에 의해 더 높은 정밀도로 양자화 스텝 사이즈를 예측할 수 있는 이유는, 도 9에 나타낸 양자화 제어기(104)가, 인간의 시각 감도에만 의하지 않고, 가변 길이 부호화기(103)의 출력 부호량을 감시하여, 양자화 스텝 사이즈를 증감시키는 경우가 있으므로, 동일한 시각 감도를 갖는 화상 블록에 대해서도, 부여해야 할 양자화 스텝 사이즈가 변화할 수 있기 때문이다.
상술한 제5 실시형태의 영상 부호화 장치에 있어서의 양자화 스텝 사이즈 부호화기의 구체적인 동작을, 구체예를 이용하여 이하에서 설명한다.
본 예에서는, 양자화 스텝 사이즈의 예측에 이용하는 화상 예측 파라미터로서, 상술한 제3 실시형태의 영상 부호화 장치에 있어서의 제2 실시예와 마찬가지로, 프레임간 예측의 모션 벡터를 이용한다. 프레임간 예측으로서, 도 7에 나타내는 바와 같이, 블록 단위의 평행 이동에 의해 정의되는 예측을 가정한다. 이 경우에, 참조 프레임 내에서, 부호화 대상 블록과 동일한 공간 위치로부터 모션 벡터분의 변위를 가한 위치에 있는 화상 블록으로부터, 예측 화상이 생성되는 것으로 한다. 또한, 프레임간 예측으로서, 도 7에 나타내는 바와 같이, 단일 참조 프레임으로부터의 예측 즉 편 방향 예측을 가정한다. 또한, 본 실시형태에서는, 양자화 스텝 사이즈 전송 블록과, 예측 블록은 동일한 사이즈인 것으로 가정한다.
여기에서, 부호화 대상 블록을 X, 부호화 대상 프레임을 Pic(X), 블록 X의 중심 위치를 cent(X), X의 프레임간 예측에 있어서의 모션 벡터를 V(X), 프레임간 예측에서 참조하는 참조 프레임을 RefPic(X)로 한다. 그리고, 도 8에 나타내는 바와 같이, 프레임 RefPic(X)에 있어서 위치 cent(X)+V(X)가 속하는 블록을 Block(RefPic(X), cent(X)+V(X))으로 표기한다. 또한, 3개의 근방 화상 블록 A, B, C가 각각, 도 2에 나타내는 바와 같이, 블록 X에 대하여 좌측, 상측, 대각선 우상측에 각각 인접하는 위치에 있는 것으로 한다. 이때, 예측 양자화 스텝 사이즈 생성기(10313)는, 예측 양자화 스텝 사이즈 pQ(X)를, 이하의 (13)식에 의해 구한다.
pQ(X)=Q(Block(RefPic(X), cent(X)+V(X)); if temporal_qp_pred_flag=1
pQ(X)=Median(pQ(A), pQ(B), Q(C)); otherwise
…(13)
여기에서, temporal_qp_pred_flag는, 양자화 스텝 사이즈의 예측에 있어서 프레임간의 모션 벡터의 이용 가부를 전환하는 플래그를 나타낸다. 양자화 스텝 사이즈 예측 제어기(111)에 의해, 예측 양자화 스텝 사이즈 생성기(10313)에 플래그가 공급된다.
또한, 예측 양자화 스텝 사이즈 생성기(10313)는, 부호화 대상 프레임 Pic(X)과 참조 프레임 RefPic(X) 사이의 양자화 스텝 사이즈의 변화를 보상하기 위한 오프셋값, 즉 양자화 스텝 사이즈 오프셋 Qofs(Pic(X), RefPic(X))를 이용해서, 예측 양자화 스텝 사이즈 pQ(X)를, 이하의 (14)식에 의해 구해도 된다.
pQ(X)=Q(Block(RefPic(X), cent(X)+V(X))+ Qofs(Pic(X), RefPic(X))…(14)
또한, 예측 양자화 스텝 사이즈 생성기(10313)는, 상술한 temporal_qp_pred_flag와 양자화 스텝 사이즈 오프셋의 쌍방을 이용해서, 예측 양자화 스텝 사이즈 pQ(X)를, 이하의 (15)식에 의해 결정해도 된다.
pQ(X)=Q(Block(RefPic(X), cent(X)+V(X))+ Qofs(Pic(X), RefPic(X)); if temporal_qp_pred_flag=1
pQ(X)=Median(pQ(A), pQ(B), Q(C)); otherwise
…(15)
상기한 (14)식 및 (15)식에 있어서의 양자화 스텝 사이즈 오프셋 Qofs(Pic(X), RefPic(X))을, 예를 들면 임의의 프레임 Z의 초기 양자화 스텝 사이즈를 Qinit(Z)로 나타낼 때, 이하의 (16)식에 의해 구해도 된다.
Qofs(Pic(X), RefPic(X))=Qinit(Pic(X))-Qinit(RefPic(X))…(16)
초기 양자화 스텝 사이즈란, 각 프레임에 대한 양자화 스텝 사이즈의 초기값으로서 부여되는 값이며, 예를 들면 비특허문헌 1의 "7.4.3 Slice header semantics"에 기재된 SliceQPY를 이용해도 된다.
상술한 temporal_qp_pred_flag 값 및 Qofs(Pic(X), RefPic(X)) 값 중 어느 하나 또는 쌍방의 값을, 예를 들면 비특허문헌 1의 "Specification of syntax functions, categories, and descriptors"의 기술(記述)에 준한 도 11에 나타내는 리스트에 예시하는 바와 같이, 헤더 정보의 일부로서 비트스트림에 다중화해도 된다.
도 11에 나타내는 리스트에 있어서, qp_pred_offset은, 상기한 (14)식에 있어서의 Qofs의 값을 나타낸다. 도 11에 나타내는 바와 같이, 각각의 참조 프레임에 대응하는 Qofs의 값으로서 qp_pred_offset을 복수 다중화해도 되고, 모든 참조 프레임에 대한 공통의 Qofs의 값으로서 하나의 qp_pred_offset을 다중화해도 된다.
본 실시형태에서는, 화상 예측 파라미터로서 프레임간 예측의 모션 벡터를 가정했다. 그러나, 본 발명은 프레임간 예측의 모션 벡터의 이용으로 한정되지 않는다. 상술한 제3 실시형태의 영상 부호화 장치에 있어서의 제1 실시예와 마찬가지로, 프레임 내 예측의 예측 방향을 이용해서, 양자화 스텝 사이즈 예측에 있어서 프레임 내 예측의 예측 방향을 이용할지의 여부를, 상술한 플래그에 의해 전환해도 된다. 상술한 제3 실시형태의 영상 부호화 장치에 있어서의 제3 실시예와 마찬가지로, 예측 모션 벡터의 예측 방향을 이용해도 되고, 다른 화상 예측 파라미터를 이용해도 된다.
또한, 본 실시형태에서는, 프레임간 예측으로서 편 방향 예측을 가정했다. 본 발명은 편 방향 예측의 이용으로 한정되지 않는다. 그러나, 상술한 제3 실시형태의 영상 부호화 장치에 있어서의 제2 실시예와 마찬가지로, 쌍방향 예측에 대해서도 적용 가능하다.
또한, 본 실시형태에서는, 참조 화상 블록의 중심 위치가 속하는 블록의 양자화 스텝 사이즈를 예측 양자화 스텝 사이즈로서 이용했다. 그러나, 본 발명에 있어서의 예측 양자화 스텝 사이즈의 도출은, 그것으로 한정되지 않는다. 예를 들면, 참조 화상 블록의 좌상측 위치가 속하는 블록의 양자화 스텝 사이즈를 예측 양자화 스텝 사이즈로서 이용해도 된다. 또한, 참조 화상 블록의 모든 화소가 속하는 블록의 양자화 스텝 사이즈를 각각 참조하여, 그들의 양자화 스텝 사이즈의 평균값을 예측 양자화 스텝 사이즈로서 이용해도 된다.
또한, 본 실시형태에서는, 프레임간 예측으로서 동일 형상 블록간의 평행 이동에 의해 나타나는 예측을 가정하고 있다. 그러나, 본 발명에 있어서의 참조 화상 블록은, 그것으로 한정되지 않으며, 임의의 형상이어도 된다.
또한, 본 실시형태에서는, (13)식 및 (15)식에 나타내는 바와 같이, 프레임간 예측 정보를 이용하지 않을 경우에는, 3개의 공간 근방 화상 블록으로부터 중간값 연산에 의거하여 양자화 스텝 사이즈를 예측했지만, 본 발명은 그들로 한정되지 않는다. 제1 실시형태에 있어서의 구체예와 마찬가지로, 예측에 이용하는 화상 블록의 수는 3개가 아닌 임의의 개수여도 되며, 중간값 연산 대신에 예를 들면 평균값 연산 등을 이용해도 된다. 또한, 예측에 이용하는 화상 블록은, 반드시 현 부호화 대상 화상 블록에 인접해 있을 필요는 없으며, 현 부호화 대상 화상 블록으로부터 소정의 거리만큼 떨어져 있어도 된다.
또한, 본 실시형태에서는, 양자화 스텝 사이즈 전송 블록과, 예측 블록은 동일한 사이즈인 것으로 가정했지만, 상술한 제3 실시형태의 영상 부호화 장치에 있어서의 제1 실시예와 마찬가지로, 양자화 스텝 사이즈 전송 블록과 예측 블록은 서로 다른 사이즈여도 된다.
실시형태 6.
도 12는, 본 발명의 제6 실시형태의 영상 복호 장치의 구성을 나타내는 블록도이다. 또한 도 13은, 본 실시형태의 영상 복호 장치에 있어서의 양자화 스텝 사이즈 복호기의 구성을 나타내는 블록도이다.
도 12에 나타내는 바와 같이, 본 실시형태의 영상 복호 장치는, 도 26에 나타낸 영상 복호 장치와 비교하면, 다중화 해제기(208) 및 양자화 스텝 사이즈 예측 제어기(209)를 포함하는 점이 상이하다. 또, 상술한 바와 같이, 도 26에 나타낸 영상 복호 장치는, 제4 실시형태의 영상 복호 장치이기도 하다.
또한, 도 13에 나타내는 바와 같이, 본 실시형태의 영상 복호 장치의 가변 길이 복호기(201)에 있어서 양자화 스텝 사이즈의 복호를 행하는 양자화 스텝 사이즈 복호기는, 도 5에 나타낸 양자화 스텝 사이즈 복호기와 비교하면, 예측 양자화 스텝 사이즈 생성기(20113)에 대하여, 도 12에 나타내는 양자화 스텝 사이즈 예측 제어기(209)로부터 양자화 스텝 사이즈 예측 파라미터가 공급되는 점과, 예측 양자화 스텝 사이즈 생성기(20113)의 동작이, 제4 실시형태와는 상이하다.
다중화 해제기(208)는, 비트스트림의 다중화를 해제해서, 영상 비트스트림과, 양자화 스텝 사이즈 예측의 동작을 제어하는 제어 정보를 추출한다. 또한, 다중화 해제기(208)는, 추출한 제어 정보를 양자화 스텝 사이즈 예측 제어기(209)에, 추출한 영상 비트스트림을 가변 길이 복호기(201)에, 각각 공급한다.
양자화 스텝 사이즈 예측 제어기(209)는, 공급되는 제어 정보에 의거하여, 예측 양자화 스텝 사이즈 생성기(20113)의 동작을 설정한다.
예측 양자화 스텝 사이즈 생성기(20113)는, 과거에 복호 완료된 화상 블록 중에서, 양자화 스텝 사이즈의 예측에 이용하는 화상 블록을, 화상 예측 파라미터와 양자화 스텝 사이즈 예측 파라미터를 이용해서 선택한다. 예측 양자화 스텝 사이즈 생성기(20113)는, 또한 선택된 화상 블록에 대응하는 양자화 스텝 사이즈로부터, 예측 양자화 스텝 사이즈를 생성한다. 생성된 예측 양자화 스텝 사이즈는, 엔트로피 복호기(20111)로부터 출력되는 차분 양자화 스텝 사이즈가 가산된 후, 양자화 스텝 사이즈로서 출력됨과 함께, 양자화 스텝 사이즈 버퍼(20112)에 입력된다.
예측 양자화 스텝 사이즈 생성기(20113)에 있어서의 예측 양자화 스텝 사이즈의 도출 방법은, 상술한 제5 실시형태의 영상 부호화 장치에 있어서의 예측 양자화 스텝 사이즈 생성기(10313)에서의 예측 양자화 스텝 사이즈의 생성 방법과 동일하므로, 여기에서는 설명을 생략한다.
이렇게 구성함으로써, 영상 복호 장치는, 제4 실시형태의 영상 복호 장치와 비교해서, 더 적은 부호량을 수신하는 것만으로 양자화 스텝 사이즈를 복호할 수 있다. 그 결과, 고화질인 동화상을 복호하여 재생할 수 있다. 그 이유는, 예측 양자화 스텝 사이즈 생성기(20113)가, 화상 예측 파라미터에 부가해서 양자화 스텝 사이즈 예측 파라미터를 이용함으로써, 화상 예측 파라미터를 이용한 양자화 스텝 사이즈의 예측값의 전환 또는 보정을 행하므로, 당해 화상 블록에 대하여 보다 높은 정밀도로 양자화 스텝 사이즈를 예측할 수 있기 때문이다.
실시형태 7.
본 발명의 제7 실시형태의 영상 부호화 장치는, 제3 실시형태의 영상 부호화 장치와 마찬가지로, 도 24에 나타내는 바와 같이, 주파수 변환기(101)와, 양자화기(102)와, 가변 길이 부호화기(103)와, 양자화 제어기(104)와, 역양자화기(105)와, 역주파수 변환기(106)와, 프레임 메모리(107)와, 프레임 내 예측기(108)와, 프레임간 예측기(109)와, 예측 선택기(110)를 구비한다. 그러나, 가변 길이 부호화기(103)에 있어서의 양자화 스텝 사이즈 부호화기의 구성은, 도 4에 나타낸 제3 실시형태의 영상 부호화 장치에 있어서의 구성과는 상이하다.
도 14는, 본 발명의 제7 실시형태의 영상 부호화 장치에 있어서의 양자화 스텝 사이즈 부호화기의 구성을 나타내는 블록도이다. 도 14에 나타내는 바와 같이, 본 실시형태에 있어서의 양자화 스텝 사이즈 부호화기의 구성은, 도 4에 나타낸 양자화 스텝 사이즈 부호화기의 구성과 비교하면, 양자화 스텝 사이즈 선택기(10314)를 포함하는 점이 상이하다.
양자화 스텝 사이즈 버퍼(10311), 엔트로피 부호화기(10312) 및 예측 양자화 스텝 사이즈 생성기(10313)의 동작은, 제3 실시형태의 영상 부호화 장치에 있어서의 양자화 스텝 사이즈 부호화기의 동작과 동일하므로, 여기에서는 설명을 생략한다.
양자화 스텝 사이즈 선택기(10314)는, 직전에 부호화한 화상 블록에 대하여 할당한 양자화 스텝 사이즈와, 예측 양자화 스텝 사이즈 생성기(10313)로부터 출력되는 예측 양자화 스텝 사이즈 중 어느 하나를, 화상 예측 파라미터에 따라 선택해서 선택적 예측 양자화 스텝 사이즈로서 출력한다. 직전에 부호화한 화상 블록에 대하여 할당한 양자화 스텝 사이즈는, 양자화 스텝 사이즈 버퍼(10311)에 보존되어 있다. 양자화 스텝 사이즈 부호화기에 입력된 현 부호화 대상 양자화 스텝 사이즈는, 양자화 스텝 사이즈 선택기(10314)로부터 출력된 선택적 예측 양자화 스텝 사이즈가 감산된 후, 엔트로피 부호화기(10312)에 입력된다.
이렇게 구성함으로써, 본 실시형태의 영상 부호화 장치는, 제3 실시형태의 영상 부호화 장치와 비교하면, 양자화 스텝 사이즈의 부호화에 필요한 부호량을 더 삭감할 수 있다. 그 결과, 고화질인 동화상 부호화를 실현할 수 있다. 그 이유는, 양자화 스텝 사이즈 선택기(10314)의 동작에 의해, 화상 예측 파라미터로부터 도출된 예측 양자화 스텝 사이즈와, 직전에 부호화한 양자화 스텝 사이즈를 선택적으로 이용해서 양자화 스텝 사이즈를 부호화할 수 있기 때문이다. 화상 예측 파라미터로부터 도출된 예측 양자화 스텝 사이즈와, 직전에 부호화한 양자화 스텝 사이즈를 선택적으로 이용함으로써 양자화 스텝 사이즈의 부호화에 필요한 부호량을 더 삭감할 수 있는 이유는, 영상 부호화 장치에 있어서의 양자화 제어기(104)는, 상술한 바와 같이, 시각 감도 기반 적응 양자화를 행할 뿐만 아니라, 출력 부호량을 감시하여 양자화 스텝 사이즈 증감도 행하기 때문이다.
제7 실시형태의 영상 부호화 장치에 있어서의 양자화 스텝 사이즈 부호화기의 구체적인 동작을, 구체예를 이용하여 이하에서 설명한다.
여기에서는, 양자화 스텝 사이즈의 예측에 이용하는 화상 예측 파라미터로서, 프레임 내 예측의 예측 방향을 이용한다. 또한, 프레임 내 예측으로서, 비특허문헌 1에 기재되어 있는 AVC 방식으로 있어서 4×4 화소 블록 및 8×8화소 블록에서 이용되고 있는 8방향의 방향 예측과 평균 예측(도 6 참조)을 이용한다.
부호화 단위로 되는 화상 블록은 고정 사이즈인 것으로 한다. 또한, 양자화 스텝 사이즈를 결정하는 단위로 되는 블록(양자화 스텝 사이즈 전송 블록이라 함)과, 프레임 내 예측의 단위가 되는 블록(예측 블록이라 함)은 동일한 사이즈인 것으로 한다. 현재 부호화 대상인 화상 블록을 X로 하고, 4개의 근방 블록 A, B, C, D가 도 2에 나타내는 위치 관계에 있는 것으로 하고, 예측 양자화 스텝 사이즈 생성기(10313)는, 예측 양자화 스텝 사이즈 pQ(X)를 상술한 (6)식에 의해 결정한다.
양자화 스텝 사이즈 선택기(10314)는, (6)식에 의해 얻어진 예측 양자화 스텝 사이즈 pQ(X), 또는 직전에 부호화한 양자화 스텝 사이즈 Q(Xprev) 중 어느 하나를, 하기의 (17)식에 따라 선택하여, 선택적 예측 양자화 스텝 사이즈 sQ(X)를 생성한다. 즉, 방향 예측에 대해서는 (6)식에 의해 결정되는 예측 양자화 스텝 사이즈를 선택적 예측 양자화 스텝 사이즈로서 이용하고, 평균값 예측에 대해서는 직전의 양자화 스텝 사이즈를 선택적 예측 양자화 스텝 사이즈로서 이용한다.
sQ(X)=Q(Xprev); if m=2
sQ(X)=pQ(X); if m=0, 1, 3, 4, 5, 6, 7 or 8
…(17)
단, m은, 도 6에 나타내는 프레임 내 예측 방향 인덱스이다.
엔트로피 부호화기(10312)는, 하기의 (18)식에 의해 얻어진 차분 양자화 스텝 사이즈 dQ(X)를, 엔트로피 부호의 하나인 부호화된 Exp-Golomb((Exponential-Golomb) 부호를 이용해서 부호화하여, 당해 화상 블록에 대한 양자화 스텝 사이즈에 대응하는 부호로서 출력한다.
dQ(X)=Q(X)-sQ(X)…(18)
또, 본 실시형태에서는 프레임 내 예측으로서, 8방향의 방향 예측과 평균 예측을 이용했지만, 본 발명은 그들로 한정되지 않는다. 예를 들면, 비특허문헌 2에 기재되어 있는 33방향의 방향 예측과 평균 예측 등을 이용해도 되고, 또 다른 임의의 프레임 내 예측을 이용해도 된다.
또한, 본 실시형태에서는, 프레임 내 예측의 파라미터에 의거하여 예측 양자화 스텝 사이즈와 직전에 부호화한 양자화 스텝 사이즈 사이의 선택을 행했지만, 본 발명은 프레임 내 예측 정보의 이용으로 한정되지 않는다. 예를 들면, 프레임 내 예측 블록에서는 예측 양자화 스텝 사이즈를, 프레임간 예측 블록에서는 직전에 부호화한 양자화 스텝 사이즈를 이용하도록 선택을 행해도 되고, 그 반대여도 된다. 또한, 프레임간 예측의 파라미터가 있는 특정 조건을 만족시킬 경우에 직전에 부호화한 양자화 스텝 사이즈를 이용하도록 선택을 행해도 된다.
예측에 이용하는 화상 블록은, 4개가 아니고 임의여도 된다. 또한, 본 실시형태에서는 예측 양자화 스텝 사이즈로서, (6)식에 나타낸 바와 같이, 어느 하나의 화상 블록에 있어서의 양자화 스텝 사이즈, 또는 2개의 화상 블록에 있어서의 양자화 스텝 사이즈의 평균값 중 어느 하나를 이용했다. 그러나, 예측 양자화 스텝 사이즈는 (6)식에 의한 것으로 한정되지 않는다. 다른 연산 결과를 예측 양자화 스텝 사이즈로 해도 된다. 예를 들면 (7)식에 나타내는 바와 같이, 어느 하나의 화상 블록에 있어서의 양자화 스텝 사이즈 또는 3개의 양자화 스텝 사이즈의 중간값 중 어느 하나를 이용해도 되고, 또 다른 임의의 연산을 이용해서 예측 양자화 스텝 사이즈를 결정해도 된다. 또한, 예측에 이용하는 화상 블록은, 반드시 현 부호화 대상 화상 블록에 인접해 있을 필요는 없다. 예측에 이용하는 화상 블록은, 현 부호화 대상 화상 블록으로부터 소정의 거리만큼 떨어져 있어도 된다.
또한, 본 실시형태에서는, 부호화 대상 화상 블록과 예측에 이용하는 화상 블록이 동일한 고정 사이즈인 것으로 가정했다. 그러나, 본 발명은, 부호화의 단위로 되는 화상 블록이 고정 사이즈인 경우로 한정되지 않는다. 부호화의 단위로 되는 화상 블록이 가변 사이즈이고, 부호화 대상 화상 블록과 예측에 이용하는 화상 블록이 서로 다른 사이즈여도 된다.
또한, 본 실시형태에서는 양자화 스텝 사이즈 전송 블록과, 예측 블록이 동일한 사이즈인 것으로 가정했다. 그러나, 본 발명은, 동일한 사이즈인 경우로 한정되지 않으며, 양자화 스텝 사이즈 전송 블록과 예측 블록이 상이한 사이즈여도 된다. 예를 들면, 양자화 스텝 사이즈 전송 블록에 복수의 예측 블록이 포함될 경우에는, 당해 복수의 예측 블록 중 어느 하나의 예측 블록에 있어서의 예측 방향을, 양자화 스텝 사이즈의 예측에 이용해도 된다. 또는, 복수의 예측 블록의 예측 방향에 대하여 중간값 연산이나 평균값 연산 등의 임의의 연산을 가한 결과를, 양자화 스텝 사이즈의 예측에 이용해도 된다.
또한, 본 실시형태에서는 부호화 대상 화상 블록의 양자화 스텝 사이즈와 예측 양자화 스텝 사이즈의 차분을 부호화함에 있어서, Exp-Golomb 부호에 의거하여 부호화했다. 그러나, 본 발명은 Exp-Golomb 부호의 이용으로 한정되지 않으며, 임의의 다른 엔트로피 부호에 의거하여 부호화해도 된다. 예를 들면, 허프만 부호나 산술 부호 등에 의거한 부호화를 행해도 된다.
실시형태 8.
본 발명의 제8 실시형태의 영상 복호 장치는, 본 발명의 제4 실시형태의 영상 복호 장치와 마찬가지로, 도 26에 나타내는 바와 같이, 가변 길이 복호기(201)와, 역양자화기(202)와, 역주파수 변환기(203)와, 프레임 메모리(204)와, 프레임 내 예측기(205)와, 프레임간 예측기(206)와, 예측 선택기(207)를 구비한다. 그러나, 가변 길이 복호기(201)에 포함되어 있는 양자화 스텝 사이즈 복호기의 구성은, 도 5에 나타낸 구성과는 상이하다.
도 15는, 본 발명의 제4 실시형태의 영상 복호 장치에 있어서의 양자화 스텝 사이즈 복호기의 구성을 나타내는 블록도이다. 도 15에 나타내는 바와 같이, 본 실시형태에 있어서의 양자화 스텝 사이즈 복호기의 구성은, 도 5에 나타낸 양자화 스텝 사이즈 복호기의 구성과 비교하면, 양자화 스텝 사이즈 선택기(20114)를 포함하는 점이 상이하다.
엔트로피 복호기(20111), 양자화 스텝 사이즈 버퍼(20112) 및 예측 양자화 스텝 사이즈 생성기(20113)의 동작은, 제4 실시형태의 영상 복호 장치에 있어서의 양자화 스텝 사이즈 복호기의 동작과 동일하므로, 여기에서는 설명을 생략한다.
양자화 스텝 사이즈 선택기(20114)는, 직전에 복호한 화상 블록에 대하여 할당한 양자화 스텝 사이즈, 또는 예측 양자화 스텝 사이즈 생성기(20113)로부터 출력되는 예측 양자화 스텝 사이즈 중 어느 하나를, 화상 예측 파라미터에 따라 선택해서, 선택적 예측 양자화 스텝 사이즈로서 출력한다. 직전에 복호한 화상 블록에 대하여 할당한 양자화 스텝 사이즈는, 양자화 스텝 사이즈 버퍼(20112)에 보존되어 있다. 출력된 선택적 예측 양자화 스텝 사이즈는, 엔트로피 복호기(20111)에 의해 생성된 차분 양자화 스텝 사이즈가 가산된 후, 양자화 스텝 사이즈로서 출력됨과 함께, 양자화 스텝 사이즈 버퍼(20112)에 축적된다.
이렇게 구성함으로써, 영상 복호 장치는, 제4 실시형태의 영상 복호 장치와 비교해서, 더 적은 부호량을 수신하는 것만으로 양자화 스텝 사이즈를 복호할 수 있다. 그 결과, 고화질인 동화상을 복호하여 재생할 수 있다. 그 이유는, 양자화 스텝 사이즈 선택기(20114)의 동작에 의해, 화상 예측 파라미터로부터 도출된 예측 양자화 스텝 사이즈와, 직전에 부호화한 양자화 스텝 사이즈를 선택적으로 이용해서 양자화 스텝 사이즈를 복호할 수 있으므로, 시각 감도 기반 적응 양자화와 출력 부호량을 감시하여 양자화 스텝 사이즈 증감의 쌍방을 적용해서 생성된 비트스트림에 대하여, 보다 적은 부호량으로 양자화 스텝 사이즈를 복호할 수 있으며, 나아가서는 보다 적은 부호량으로 동화상을 복호하여 재생할 수 있기 때문이다.
또한, 상기한 각 실시형태를, 하드웨어로 구성하는 것도 가능하지만, 컴퓨터 프로그램에 의해 실현하는 것도 가능하다.
도 16에 나타내는 정보 처리 시스템은, 프로세서(1001), 프로그램 메모리(1002), 영상 데이터를 저장하기 위한 기억 매체(1003) 및 비트스트림을 저장하기 위한 기억 매체(1004)를 구비한다. 기억 매체(1003)와 기억 매체(1004)는, 별개의 기억 매체여도 되고, 동일한 기억 매체로 이루어지는 기억 영역이어도 된다. 기억 매체로서, 하드디스크 등의 자기 기억 매체를 이용할 수 있다.
도 16에 나타낸 정보 처리 시스템에 있어서, 프로그램 메모리(1002)에는, 도 24, 도 26의 각각에 나타낸 각 블록(도 1, 도 3, 도 4, 도 5에 나타낸 각 블록을 포함함. 또한, 버퍼의 블록을 제외함)의 기능을 실현하기 위한 프로그램이 저장된다. 프로세서(1001)는, 프로그램 메모리(1002)에 저장되어 있는 프로그램에 따라 처리를 실행함으로써, 도 24, 도 26 및 도 1, 도 3, 도 4, 도 5의 각각에 나타낸 영상 부호화 장치 또는 영상 복호 장치의 기능을 실현한다.
도 17은, 본 발명에 따른 영상 부호화 장치에 있어서의 특징적인 구성 요소를 나타내는 블록도이다. 도 17에 나타내는 바와 같이, 본 발명에 따른 영상 부호화 장치는, 양자화의 입도를 제어하는 양자화 스텝 사이즈를 부호화하는 양자화 스텝 사이즈 부호화부(10)를 구비하며, 양자화 스텝 사이즈 부호화부(10)는, 이미 부호화 완료된 근방 화상 블록에 할당된 양자화 스텝 사이즈를 이용해서 당해 양자화 스텝 사이즈를 예측하는 양자화 스텝 사이즈 예측부(11)를 포함한다.
도 18은, 본 발명에 따른 다른 영상 부호화 장치에 있어서의 특징적인 구성 요소를 나타내는 블록도이다. 도 18에 나타내는 바와 같이, 본 발명에 따른 다른 영상 부호화 장치는, 도 17에 나타내는 구성에 부가해서, 과거에 부호화 완료된 화상과 소정의 파라미터를 이용해서 부호화 대상 화상 블록의 예측 화상을 생성하는 예측 화상 생성부(20)를 구비한다. 이러한 구성으로 인해, 양자화 스텝 사이즈 부호화부(10)는, 예측 화상의 생성에 이용되는 파라미터를 이용해서 양자화 스텝 사이즈를 예측한다. 또한, 이미 부호화 완료된 근방 화상 블록에 할당된 모션 벡터를 이용해서 프레임간 예측에 이용하는 모션 벡터를 예측하는 예측 모션 벡터 생성부(30)를 구비해서, 양자화 스텝 사이즈 부호화부(50)는, 양자화 스텝 사이즈를 예측하기 위하여 예측 모션 벡터의 예측 방향을 이용한다.
도 19는, 본 발명에 따른 영상 복호 장치에 있어서의 특징적인 구성 요소를 나타내는 블록도이다. 도 19에 나타내는 바와 같이, 본 발명에 따른 영상 복호 장치는, 역양자화의 입도를 제어하는 양자화 스텝 사이즈를 복호하는 양자화 스텝 사이즈 복호부(50)를 구비하고, 양자화 스텝 사이즈 복호부(50)는, 이미 복호 완료된 근방 화상 블록에 할당된 양자화 스텝 사이즈를 이용해서 양자화 스텝 사이즈를 예측하는 스텝 사이즈 예측부(51)를 포함한다.
도 20은, 본 발명에 따른 다른 영상 복호 장치에 있어서의 특징적인 구성 요소를 나타내는 블록도이다. 도 20에 나타내는 바와 같이, 본 발명에 따른 다른 영상 복호 장치는, 도 19에 나타내는 구성에 부가해서, 과거에 복호 완료된 화상과 소정의 파라미터를 이용해서 복호 대상 화상 블록의 예측 화상을 생성하는 예측 화상 생성부(60)를 구비한다. 이러한 구성으로 인해, 양자화 스텝 사이즈 복호부(50)는, 예측 화상의 생성에 이용되는 파라미터를 이용해서 양자화 스텝 사이즈를 예측한다. 이미 부호화 완료된 근방 화상 블록에 할당된 모션 벡터를 이용해서 프레임간 예측에 이용하는 모션 벡터를 예측하는 예측 모션 벡터 생성부(70)를 구비해서, 양자화 스텝 사이즈 복호부(50)는, 양자화 스텝 사이즈를 예측하기 위하여 예측 모션 벡터의 예측 방향을 이용한다.
도 21은, 본 발명에 따른 영상 부호화 방법에 있어서의 특징적인 스텝을 나타내는 플로차트이다. 도 21에 나타내는 바와 같이, 영상 부호화 방법은, 프레임 내 예측의 예측 방향을 결정하는 스텝 S11과, 프레임 내 예측을 이용해서 예측 화상을 생성하는 스텝 S12와, 프레임 내 예측의 예측 방향을 이용해서 양자화 스텝 사이즈를 예측하는 스텝 S13을 포함한다.
도 22는, 본 발명에 따른 영상 복호 방법에 있어서의 특징적인 스텝을 나타내는 플로차트이다. 도 22에 나타내는 바와 같이, 영상 복호 방법은, 프레임 내 예측의 예측 방향을 결정하는 스텝 S21과, 프레임 내 예측을 이용해서 예측 화상을 생성하는 스텝 S22과, 프레임 내 예측의 예측 방향을 이용해서 양자화 스텝 사이즈를 예측하는 스텝 S33을 포함한다.
상기한 실시형태의 일부 또는 전부는 이하의 부기와 같이 기재될 수도 있지만, 본 발명의 구성은 이하의 구성으로 한정되지 않는다.
(부기 1)
입력 화상 데이터를 소정의 크기의 블록으로 분할하고, 분할된 화상 블록마다 양자화를 적용해서, 압축 부호화 처리를 행하는 영상 부호화 장치이며, 상기 양자화의 입도를 제어하는 양자화 스텝 사이즈를 부호화하는 양자화 스텝 사이즈 부호화 수단과, 과거에 부호화 완료된 화상과 소정의 파라미터를 이용해서 부호화 대상 화상 블록의 예측 화상을 생성하는 예측 화상 생성 수단을 구비하고, 상기 양자화 스텝 사이즈 부호화 수단은, 상기 예측 화상 생성 수단이 이용하는 파라미터를 이용해서 양자화 스텝 사이즈를 예측하는 영상 부호화 장치로서, 상기 예측 화상 생성 수단은, 적어도 프레임간 예측을 이용해서 예측 화상을 생성하고, 상기 양자화 스텝 사이즈 부호화 수단은, 양자화 스텝 사이즈를 예측하기 위하여 상기 프레임간 예측의 모션 벡터를 이용하는 영상 부호화 장치.
(부기 2)
입력 화상 데이터를 소정의 크기의 블록으로 분할하고, 분할된 화상 블록마다 양자화를 적용해서, 압축 부호화 처리를 행하는 영상 부호화 장치이며, 상기 양자화의 입도를 제어하는 양자화 스텝 사이즈를 부호화하는 양자화 스텝 사이즈 부호화 수단과, 과거에 부호화 완료된 화상과 소정의 파라미터를 이용해서 부호화 대상 화상 블록의 예측 화상을 생성하는 예측 화상 생성 수단을 구비하고, 상기 양자화 스텝 사이즈 부호화 수단은, 상기 예측 화상 생성 수단이 이용하는 파라미터를 이용해서 양자화 스텝 사이즈를 예측하는 영상 부호화 장치로서, 상기 양자화 스텝 사이즈 부호화 수단은, 이미 부호화 완료된 근방 화상 블록에 할당된 양자화 스텝 사이즈를 이용해서 당해 양자화 스텝 사이즈를 예측하고, 상기 예측 화상 생성 수단은, 적어도 프레임간 예측을 이용해서 예측 화상을 생성하며, 이미 부호화 완료된 근방 화상 블록에 할당된 모션 벡터를 이용해서 프레임간 예측에 이용하는 모션 벡터를 예측하는 예측 모션 벡터 생성 수단을 더 구비하고, 상기 양자화 스텝 사이즈 부호화 수단은, 양자화 스텝 사이즈를 예측하기 위하여 상기 예측 모션 벡터의 예측 방향을 이용하는 영상 부호화 장치.
(부기 3)
입력된 압축 영상 데이터의 역양자화를 이용해서 화상 블록을 복호해서, 당해 화상 블록의 집합으로서 화상 데이터의 생성 처리를 행하는 영상 복호 장치이며, 상기 역양자화의 입도를 제어하는 양자화 스텝 사이즈를 복호하는 양자화 스텝 사이즈 복호 수단과, 과거에 복호 완료된 화상과 소정의 파라미터를 이용해서 복호 대상 화상 블록의 예측 화상을 생성하는 예측 화상 생성 수단을 구비하고, 상기 양자화 스텝 사이즈 복호 수단은, 이미 복호 완료된 근방 화상 블록에 할당된 양자화 스텝 사이즈를 이용해서 당해 양자화 스텝 사이즈를 예측하는 영상 복호 장치로서, 상기 양자화 스텝 사이즈 복호 수단은, 상기 예측 화상 생성에 이용하는 파라미터를 이용해서 당해 양자화 스텝 사이즈를 예측하고, 상기 예측 화상 생성 수단은, 적어도 프레임간 예측을 이용해서 예측 화상을 생성하고, 상기 양자화 스텝 사이즈 복호 수단은, 양자화 스텝 사이즈를 예측하기 위하여 상기 프레임간 예측의 모션 벡터를 이용하는 영상 복호 장치.
(부기 4)
입력된 압축 영상 데이터의 역양자화를 이용해서 화상 블록을 복호해서, 당해 화상 블록의 집합으로서 화상 데이터의 생성 처리를 행하는 영상 복호 장치이며, 상기 역양자화의 입도를 제어하는 양자화 스텝 사이즈를 복호하는 양자화 스텝 사이즈 복호 수단과, 과거에 복호 완료된 화상과 소정의 파라미터를 이용해서 복호 대상 화상 블록의 예측 화상을 생성하는 예측 화상 생성 수단을 구비하고, 상기 양자화 스텝 사이즈 복호 수단은, 이미 복호 완료된 근방 화상에 할당된 양자화 스텝 사이즈를 이용해서 당해 양자화 스텝 사이즈를 예측하는 영상 복호 장치로서, 상기 양자화 스텝 사이즈 복호 수단은, 상기 예측 화상 생성에 이용하는 예측 화상을 이용해서 당해 양자화 스텝 사이즈를 예측하고, 상기 예측 화상 생성 수단은, 적어도 프레임간 예측을 이용해서 예측 화상을 생성하고, 이미 부호화 완료된 근방 화상 블록에 할당된 모션 벡터를 이용해서 프레임간 예측에 이용하는 모션 벡터를 예측하는 예측 모션 벡터 생성 수단을 더 구비하고, 상기 양자화 스텝 사이즈 복호 수단은, 양자화 스텝 사이즈를 예측하기 위하여 상기 예측 모션 벡터의 예측 방향을 이용하는 영상 복호 장치.
(부기 5)
입력 화상 데이터를 소정의 크기의 블록으로 분할하고, 분할된 화상 블록마다 양자화를 적용해서, 압축 부호화 처리를 행하는 영상 부호화 방법으로서, 상기 양자화의 입도를 제어하는 양자화 스텝 사이즈를, 이미 부호화 완료된 근방 화상 블록에 할당된 양자화 스텝 사이즈를 이용해서 예측하고, 과거에 부호화 완료된 화상과 소정의 파라미터를 이용해서 부호화 대상 화상 블록의 예측 화상을 생성하는 단계를 포함하고, 상기 예측 화상의 생성에 이용되는 파라미터를 이용해서 양자화 스텝 사이즈를 예측하는 영상 부호화 방법.
(부기 6)
부기 5의 영상 부호화 방법으로서, 예측 화상을 생성하는 단계에서는, 적어도 프레임 내 예측을 이용해서 예측 화상을 생성하고, 양자화 스텝 사이즈를 예측하기 위하여 상기 프레임 내 예측의 예측 방향을 이용하는 영상 부호화 방법.
(부기 7)
부기 5의 영상 부호화 방법으로서, 예측 화상을 생성하는 단계에서는, 적어도 프레임간 예측을 이용해서 예측 화상을 생성하고, 양자화 스텝 사이즈를 예측하기 위하여 상기 프레임간 예측의 모션 벡터를 이용하는 영상 부호화 방법.
(부기 8)
부기 5의 영상 부호화 방법으로서, 예측 화상을 생성하는 단계에서는, 적어도 프레임간 예측을 이용해서 예측 화상을 생성하고, 이미 부호화 완료된 근방 화상 블록에 할당된 모션 벡터를 이용해서 프레임간 예측에 이용하는 모션 벡터를 예측하는 단계를 포함하고, 양자화 스텝 사이즈를 예측하기 위하여 상기 예측 모션 벡터의 예측 방향을 이용하는 영상 부호화 방법.
(부기 9)
입력된 압축 영상 데이터의 역양자화를 이용해서 화상 블록을 복호하고, 당해 화상 블록의 집합으로서 화상 데이터의 생성 처리를 행하는 영상 복호 방법으로서, 상기 역양자화의 입도를 제어하는 양자화 스텝 사이즈를, 이미 복호 완료된 근방 화상 블록에 할당된 양자화 스텝 사이즈를 이용해서 예측하는 단계, 및 적어도 프레임간 예측을 이용해서 예측 화상을 생성하는 단계를 포함하고, 양자화 스텝 사이즈를 예측하기 위하여 상기 프레임간 예측의 모션 벡터를 이용하는 영상 부호화 방법.
(부기 10)
입력된 압축 영상 데이터에 역양자화를 이용해서 화상 블록을 복호해서, 당해 화상 블록의 집합으로서 화상 데이터의 생성 처리를 행하는 영상 부호화 방법으로서, 상기 역양자화의 입도를 제어하는 양자화 스텝 사이즈를, 이미 복호 완료된 근방 화상 블록에 할당된 양자화 스텝 사이즈를 이용해서 예측하는 단계, 및 적어도 프레임간 예측을 이용해서 예측 화상을 생성하는 단계를 포함하고, 이미 부호화 완료된 근방 화상 블록에 할당된 모션 벡터를 이용해서 프레임간 예측에 이용하는 모션 벡터를 예측하고, 양자화 스텝 사이즈를 예측하기 위하여 상기 예측 모션 벡터의 예측 방향을 이용하는 영상 부호화 방법.
(부기 11)
입력 화상 데이터를 소정의 크기의 블록으로 분할하고, 분할된 화상 블록마다 양자화를 적용해서, 압축 부호화 처리를 행하는 영상 부호화 장치에서 사용되는 영상 부호화 프로그램으로서, 컴퓨터에, 상기 양자화의 입도를 제어하는 양자화 스텝 사이즈를, 이미 부호화 완료된 근방 화상 블록에 할당된 양자화 스텝 사이즈를 이용해서 예측시키기 위한 영상 부호화 프로그램.
(부기 12)
부기(11)의 영상 부호화 프로그램으로서, 컴퓨터에, 과거에 부호화 완료된 화상과 소정의 파라미터를 이용해서 부호화 대상 화상 블록의 예측 화상을 생성하는 처리를 실행시키고, 상기 예측 화상의 생성에 이용되는 파라미터를 이용해서 양자화 스텝 사이즈를 예측시키는 영상 부호화 프로그램.
(부기 13)
부기(12)의 영상 부호화 프로그램으로서, 컴퓨터에, 적어도 프레임 내 예측을 이용해서 예측 화상을 생성하는 처리를 실행시키고, 상기 프레임 내 예측의 예측 방향을 이용해서 양자화 스텝 사이즈를 예측시키는 영상 부호화 프로그램.
(부기 14)
부기(12)의 영상 부호화 프로그램으로서, 컴퓨터에, 적어도 프레임간 예측을 이용해서 예측 화상을 생성하는 처리를 실행시키고, 상기 프레임간 예측의 모션 벡터를 이용해서 양자화 스텝 사이즈를 예측시키는 영상 부호화 프로그램.
(부기 15)
부기(12)의 영상 부호화 프로그램으로서, 컴퓨터에, 적어도 프레임간 예측을 이용해서 예측 화상을 생성하는 처리를 실행시키고, 이미 부호화 완료된 근방 화상 블록에 할당된 모션 벡터를 이용해서 프레임간 예측에 이용하는 모션 벡터를 예측하는 처리를 실행시키고, 상기 예측 모션 벡터의 예측 방향을 이용해서 양자화 스텝 사이즈를 예측시키는 영상 부호화 프로그램.
(부기 16)
입력된 영상 압축 데이터의 역양자화를 이용해서 화상 블록을 복호해서, 당해 화상 블록의 집합으로서 화상 데이터의 생성 처리를 행하는 영상 복호 장치에서 사용되는 영상 복호 프로그램으로서, 컴퓨터에, 상기 역양자화의 입도를 제어하는 양자화 스텝 사이즈를, 이미 복호 완료된 근방 화상 블록에 할당된 양자화 스텝 사이즈를 이용해서 예측시키기 위한 영상 복호 프로그램.
(부기 17)
부기(16)의 영상 복호 프로그램으로서, 컴퓨터에, 과거에 복호 완료된 화상과 소정의 파라미터를 이용해서 복호 대상 화상 블록의 예측 화상을 생성하는 처리를 실행시키고, 상기 예측 화상의 생성에 이용되는 파라미터를 이용해서 당해 양자화 스텝 사이즈를 예측시키는 영상 복호 프로그램.
(부기 18)
부기(17)의 영상 복호 프로그램으로서, 컴퓨터에, 적어도 프레임 내 예측을 이용해서 예측 화상을 생성하는 처리를 실행시키고, 상기 프레임 내 예측의 예측 방향을 이용해서 양자화 스텝 사이즈를 예측시키는 영상 복호 프로그램.
(부기 19)
부기(17)의 영상 복호 프로그램으로서, 컴퓨터에, 적어도 프레임간 예측을 이용해서 예측 화상을 생성하는 처리를 실행시키고, 상기 프레임간 예측의 모션 벡터를 이용해서 양자화 스텝 사이즈를 예측시키는 영상 복호 프로그램.
(부기 20)
부기(17)의 영상 복호 프로그램으로서, 컴퓨터에, 적어도 프레임간 예측을 이용해서 예측 화상을 생성하는 처리를 실행시키고, 이미 부호화 완료된 근방 화상 블록에 할당된 모션 벡터를 이용해서 프레임간 예측에 이용하는 모션 벡터를 예측하는 처리를 실행시키고, 상기 예측 모션 벡터의 예측 방향을 이용해서 양자화 스텝 사이즈를 예측시키는 영상 복호 프로그램.
(부기 21)
입력 화상 데이터를 소정의 크기의 블록으로 분할하고, 분할된 화상 블록마다 양자화를 적용해서, 압축 부호화 처리를 행하는 영상 부호화 장치로서, 상기 양자화의 입도를 제어하는 양자화 스텝 사이즈를 부호화하는 양자화 스텝 사이즈 부호화 수단과, 과거에 부호화 완료된 화상과 소정의 파라미터를 이용해서 부호화 대상 화상 블록의 예측 화상을 생성하는 예측 화상 생성 수단을 구비하고, 상기 양자화 스텝 사이즈 부호화 수단은, 상기 예측 화상 생성 수단이 이용하는 파라미터를 이용해서 양자화 스텝 사이즈를 예측하고, 또한 소정의 파라미터에 의거하여 상기 양자화 스텝 사이즈 부호화 수단의 동작을 제어하는 양자화 스텝 사이즈 예측 제어 수단과, 압축 부호화 처리 결과에 상기 양자화 스텝 사이즈 부호화 수단의 동작 파라미터를 다중화하는 다중화 수단을 갖는 영상 부호화 장치.
(부기 22)
부기 21의 영상 부호화 장치로서, 상기 양자화 스텝 사이즈 부호화 수단의 동작 파라미터는, 적어도, 상기 예측 화상 생성 수단이 이용하는 파라미터의 이용 가부를 나타내는 플래그를 포함하고, 상기 양자화 스텝 사이즈 예측 제어 수단은, 상기 플래그에 의거하여, 상기 양자화 스텝 사이즈 부호화 수단의 동작을 제어하는 영상 부호화 장치.
(부기 23)
부기 21의 영상 부호화 장치로서, 상기 양자화 스텝 사이즈 부호화 수단의 동작 파라미터는, 적어도, 양자화 스텝 사이즈의 변조 파라미터를 포함하고, 상기 양자화 스텝 사이즈 부호화 수단은, 상기 예측 화상 생성 수단이 이용하는 파라미터에 의거하여 결정된 양자화 스텝 사이즈에 대하여, 상기 변조 파라미터에 의한 변조를 가함으로써 양자화 스텝 사이즈를 예측하는 영상 부호화 장치.
(부기 24)
부기 23의 영상 부호화 장치로서, 상기 양자화 스텝 사이즈 부호화 수단은, 상기 예측 화상 생성 수단이 이용하는 파라미터에 의거하여 결정된 양자화 스텝 사이즈에 소정의 오프셋을 가함으로써 양자화 스텝 사이즈를 예측하는 영상 부호화 장치.
(부기 25)
입력된 압축 영상 데이터의 역양자화를 이용해서 화상 블록을 복호해서, 당해 화상 블록의 집합으로서 화상 데이터의 생성 처리를 행하는 영상 복호 장치로서, 상기 역양자화의 입도를 제어하는 양자화 스텝 사이즈를 복호하는 양자화 스텝 사이즈 복호 수단과, 과거에 복호 완료된 화상과 소정의 파라미터를 이용해서 복호 대상 화상 블록의 예측 화상을 생성하는 예측 화상 생성 수단을 구비하고, 상기 양자화 스텝 사이즈 복호 수단은, 이미 복호 완료된 근방 화상 블록에 할당된 양자화 스텝 사이즈를 이용해서 당해 양자화 스텝 사이즈를 예측하고, 또한 상기 양자화 스텝 사이즈 복호 수단의 동작 파라미터를 포함하는 비트스트림의 다중화를 해제하는 다중화 해제 수단과, 다중화 해제된 양자화 스텝 사이즈 복호 수단의 동작 파라미터에 의거하여 상기 양자화 스텝 사이즈 복호 수단의 동작을 제어하는 양자화 스텝 사이즈 예측 제어 수단을 갖는 영상 복호 장치.
(부기 26)
부기 25의 영상 복호 장치로서, 상기 다중화 해제 수단은, 양자화 스텝 사이즈 복호 수단의 동작 파라미터로서, 적어도, 상기 예측 화상 생성 수단이 이용하는 파라미터의 이용 가부를 나타내는 플래그를 추출하고, 상기 양자화 스텝 사이즈 예측 제어 수단은, 상기 플래그에 의거하여, 상기 양자화 스텝 사이즈 복호 수단의 동작을 제어하는 영상 복호 장치.
(부기 27)
부기 25의 영상 복호 장치로서, 상기 다중화 해제 수단은, 양자화 스텝 사이즈 복호 수단의 동작 파라미터로서, 적어도, 양자화 스텝 사이즈의 변조 파라미터를 추출하고, 상기 양자화 스텝 사이즈 복호 수단은, 상기 예측 화상 생성 수단이 이용하는 파라미터에 의거하여 결정된 양자화 스텝 사이즈에 대하여, 상기 변조 파라미터에 의한 변조를 가함으로써 양자화 스텝 사이즈를 예측하는 영상 복호 장치.
(부기 28)
부기 27의 영상 복호 장치로서, 상기 양자화 스텝 사이즈 복호 수단은, 상기 예측 화상 생성 수단이 이용하는 파라미터에 의거하여 결정된 양자화 스텝 사이즈에 소정의 오프셋을 가함으로써 양자화 스텝 사이즈를 예측하는 영상 복호 장치.
(부기 29)
입력 화상 데이터를 소정의 크기의 블록으로 분할하고, 분할된 화상 블록마다 양자화를 적용해서, 압축 부호화 처리를 행하는 영상 부호화 방법으로서, 상기 양자화의 입도를 제어하는 양자화 스텝 사이즈를 부호화하고, 과거에 부호화 완료된 화상과 소정의 파라미터를 이용해서 부호화 대상 화상 블록의 예측 화상을 생성하고, 예측 화상을 생성할 때에 이용하는 파라미터를 이용해서 상기 양자화 스텝 사이즈를 예측하고, 압축 부호화 처리 결과에 상기 양자화 스텝 사이즈를 부호화할 때의 동작 파라미터를 다중화하는 영상 부호화 방법.
(부기 30)
부기 29의 영상 부호화 방법으로서, 상기 양자화 스텝 사이즈를 부호화할 때의 동작 파라미터는, 적어도, 예측 화상을 생성할 때에 파라미터의 이용 가부를 나타내는 플래그를 포함하고, 상기 플래그에 의거하여, 상기 양자화 스텝 사이즈를 부호화할 때의 동작을 제어하는 영상 부호화 방법.
(부기 31)
부기 29의 영상 부호화 방법으로서, 상기 양자화 스텝 사이즈를 부호화할 때의 동작 파라미터는, 적어도, 양자화 스텝 사이즈의 변조 파라미터를 포함하고, 상기 양자화 스텝 사이즈를 부호화할 때에, 예측 화상을 생성할 때에 이용하는 파라미터에 의거하여 구해진 양자화 스텝 사이즈에 대하여, 상기 변조 파라미터에 의한 변조를 가함으로써 양자화 스텝 사이즈를 예측하는 영상 부호화 방법.
(부기 32)
부기 31의 영상 부호화 방법으로서, 예측 화상을 생성할 때에 이용하는 파라미터에 의거하여 결정된 양자화 스텝 사이즈에 소정의 오프셋을 가함으로써 양자화 스텝 사이즈를 예측하는 영상 부호화 방법.
(부기 33)
입력된 압축 영상 데이터에 역양자화를 이용해서 화상 블록을 복호해서, 당해 화상 블록의 집합으로서 화상 데이터의 생성 처리를 행하는 영상 복호 방법으로서, 상기 역양자화의 입도를 제어하는 양자화 스텝 사이즈를 복호하고, 과거에 복호 완료된 화상과 소정의 파라미터를 이용해서 복호 대상 화상 블록의 예측 화상을 생성하고, 상기 양자화 스텝 사이즈를 복호할 때에, 이미 복호 완료된 근방 화상 블록에 할당된 양자화 스텝 사이즈를 이용해서 당해 양자화 스텝 사이즈를 예측하고, 또한 상기 양자화 스텝 사이즈를 복호할 때의 동작 파라미터를 포함하는 비트스트림의 다중화를 해제하고, 다중화 해제된 상기 동작 파라미터에 의거하여 상기 양자화 스텝 사이즈를 복호할 때의 동작을 제어하는 영상 복호 방법.
(부기 34)
부기 33의 영상 복호 방법으로서, 양자화 스텝 사이즈를 복호할 때의 동작 파라미터로서, 적어도 상기 복호 대상 화상 블록의 예측 화상을 생성할 때에 이용하는 파라미터의 이용 가부를 나타내는 플래그를 추출하고, 상기 플래그에 의거하여, 상기 양자화 스텝 사이즈를 복호할 때의 동작을 제어하는 영상 복호 방법.
(부기 35)
부기 33의 영상 복호 방법으로서, 양자화 스텝 사이즈를 복호할 때의 동작 파라미터로서, 적어도 양자화 스텝 사이즈의 변조 파라미터를 추출하고, 상기 복호 대상 화상 블록의 예측 화상을 생성할 때에 이용하는 파라미터에 의거하여 결정된 양자화 스텝 사이즈에 대하여, 상기 변조 파라미터에 의한 변조를 가함으로써 양자화 스텝 사이즈를 예측하는 영상 복호 방법.
(부기 36)
부기 35의 영상 복호 방법으로서, 상기 양자화 스텝 사이즈를 복호할 때에, 상기 복호 대상 화상 블록의 예측 화상을 생성할 때에 이용하는 파라미터에 의거하여 결정된 양자화 스텝 사이즈에 소정의 오프셋을 가함으로써 양자화 스텝 사이즈를 예측하는 영상 복호 방법.
(부기 37)
입력 화상 데이터를 소정의 크기의 블록으로 분할하고, 분할된 화상 블록마다 양자화를 적용해서, 압축 부호화 처리를 행하는 영상 부호화 프로그램으로서, 컴퓨터에, 상기 양자화의 입도를 제어하는 양자화 스텝 사이즈를 부호화하는 처리와, 과거에 부호화 완료된 화상과 소정의 파라미터를 이용해서 부호화 대상 화상 블록의 예측 화상을 생성하는 처리와, 예측 화상을 생성할 때에 이용하는 파라미터를 이용해서 상기 양자화 스텝 사이즈를 예측하는 처리와, 압축 부호화 처리 결과에 상기 양자화 스텝 사이즈를 부호화할 때의 동작 파라미터를 다중화하는 처리를 실행시키기 위한 영상 부호화 프로그램.
(부기 38) 부기 37의 영상 부호화 프로그램으로서, 상기 양자화 스텝 사이즈를 부호화할 때의 동작 파라미터는, 적어도 예측 화상을 생성할 때에 파라미터의 이용 가부를 나타내는 플래그를 포함하고, 컴퓨터에, 상기 플래그에 의거하여, 상기 양자화 스텝 사이즈를 부호화할 때의 동작을 제어시키는 영상 부호화 프로그램.
(부기 39)
부기 37의 영상 부호화 프로그램으로서, 상기 양자화 스텝 사이즈를 부호화할 때의 동작 파라미터는, 적어도, 양자화 스텝 사이즈의 변조 파라미터를 포함하고, 컴퓨터에, 상기 양자화 스텝 사이즈를 부호화할 때에, 예측 화상을 생성할 때에 이용하는 파라미터에 의거하여 결정된 양자화 스텝 사이즈에 대하여, 상기 변조 파라미터에 의한 변조를 가함으로써 양자화 스텝 사이즈를 예측시키는 영상 부호화 프로그램.
(부기 40)
부기 39의 영상 부호화 프로그램으로서, 컴퓨터에, 예측 화상을 생성할 때에 이용하는 파라미터에 의거하여 결정된 양자화 스텝 사이즈에 소정의 오프셋을 가함으로써 양자화 스텝 사이즈를 예측시키는 영상 부호화 프로그램.
(부기 41)
입력된 압축 영상 데이터의 역양자화를 이용해서 화상 블록을 복호해서, 당해 화상 블록의 집합으로서 화상 데이터의 생성 처리를 행하는 영상 복호 프로그램으로서, 컴퓨터에, 상기 역양자화의 입도를 제어하는 양자화 스텝 사이즈를 복호하는 처리와, 과거에 복호 완료된 화상과 소정의 파라미터를 이용해서 복호 대상 화상 블록의 예측 화상을 생성하는 처리와, 상기 양자화 스텝 사이즈를 복호할 때에, 이미 복호 완료된 근방 화상 블록에 할당된 양자화 스텝 사이즈를 이용해서 당해 양자화 스텝 사이즈를 예측하는 처리와, 상기 양자화 스텝 사이즈를 복호할 때의 동작 파라미터를 포함하는 비트스트림의 다중화를 해제하는 처리와, 다중화 해제된 상기 동작 파라미터에 의거하여 상기 양자화 스텝 사이즈를 복호할 때의 동작을 제어시키기 위한 처리를 실행시키는 영상 복호 프로그램.
(부기 42)
부기 41의 영상 복호 프로그램으로서, 컴퓨터에, 양자화 스텝 사이즈를 복호할 때의 동작 파라미터로서, 적어도, 상기 복호 대상 화상 블록의 예측 화상을 생성할 때에 이용하는 파라미터의 이용 가부를 나타내는 플래그를 추출하는 처리와, 상기 플래그에 의거하여 상기 양자화 스텝 사이즈를 복호할 때의 동작을 제어시키는 처리를 더 실행시키는 영상 복호 프로그램.
(부기 43)
부기 41의 영상 복호 프로그램으로서, 컴퓨터에, 양자화 스텝 사이즈를 복호할 때의 동작 파라미터로서, 적어도 양자화 스텝 사이즈의 변조 파라미터를 추출하는 처리와, 상기 복호 대상 화상 블록의 예측 화상을 생성할 때에 이용하는 파라미터에 의거하여 결정된 양자화 스텝 사이즈에 대하여, 상기 변조 파라미터에 의한 변조를 가함으로써 양자화 스텝 사이즈를 예측하는 처리를 더 실행시키는 영상 복호 프로그램.
(부기 44)
부기 43의 영상 복호 프로그램으로서, 컴퓨터에, 상기 양자화 스텝 사이즈를 복호할 때에, 상기 복호 대상 화상 블록의 예측 화상을 생성할 때에 이용하는 파라미터에 의거하여 결정된 양자화 스텝 사이즈에 소정의 오프셋을 가함으로써 양자화 스텝 사이즈를 예측시키는 영상 복호 프로그램.
(부기 45)
입력 화상 데이터를 소정의 크기의 블록으로 분할하고, 분할된 화상 블록 마다 양자화를 적용해서 압축 부호화 처리를 행하는 영상 부호화 장치로서, 상기 양자화의 입도를 제어하는 양자화 스텝 사이즈를 부호화하는 양자화 스텝 사이즈 부호화 수단을 구비하고, 상기 양자화 스텝 사이즈 부호화 수단은, 이미 부호화 완료된 복수의 근방 화상 블록에 할당된 양자화 스텝 사이즈의 평균값을 이용해서 상기 양자화의 입도를 제어하는 양자화 스텝 사이즈를 예측하는 영상 부호화 장치.
(부기 46)
입력된 압축 영상 데이터의 역양자화를 이용해서 화상 블록을 복호해서, 당해 화상 블록의 집합으로서 화상 데이터의 생성 처리를 행하는 영상 복호 장치로서, 상기 역양자화의 입도를 제어하는 양자화 스텝 사이즈를 복호하는 양자화 스텝 사이즈 복호 수단을 구비하고, 상기 양자화 스텝 사이즈 복호 수단은, 이미 복호 완료된 복수의 근방 화상 블록 사이즈에 할당된 양자화 스텝 사이즈의 평균값을 이용해서 상기 양자화의 입도를 제어하는 양자화 스텝 사이즈를 예측하는 영상 복호 장치.
(부기 47)
입력 화상 데이터를 소정의 크기의 블록으로 분할하고, 분할된 화상 블록마다 양자화를 적용해서, 압축 부호화 처리를 행하는 영상 부호화 방법으로서, 상기 양자화의 입도를 제어하는 양자화 스텝 사이즈를, 이미 부호화 완료된 복수의 근방 화상 블록에 할당된 양자화 스텝 사이즈의 평균값을 이용해서 예측하는 것을 포함하는 영상 부호화 방법.
(부기 48)
입력된 압축 영상 데이터의 역양자화를 이용해서 화상 블록을 복호해서, 당해 화상 블록의 집합으로서 화상 데이터의 생성 처리를 행하는 영상 복호 방법으로서, 상기 역양자화의 입도를 제어하는 양자화 스텝 사이즈를, 이미 복호 완료된 복수의 근방 화상 블록에 할당된 양자화 스텝 사이즈의 평균값을 이용해서 예측하는 것을 포함하는 영상 복호 방법.
(부기 49)
입력 화상 데이터를 소정의 크기의 블록으로 분할하고, 분할된 화상 블록마다 양자화를 적용해서, 압축 부호화 처리를 행하는 영상 부호화 프로그램으로서, 컴퓨터에, 상기 양자화의 입도를 제어하는 양자화 스텝 사이즈를 부호화하는 처리와, 상기 양자화의 입도를 제어하는 양자화 스텝 사이즈를, 이미 복호 완료된 복수의 근방 화상 블록에 할당된 양자화 스텝 사이즈의 평균값을 이용해서 예측하는 처리를 실행시키는 영상 부호화 프로그램.
(부기 50)
입력된 압축 영상 데이터의 역양자화를 이용해서 화상 블록을 복호해서, 당해 화상 블록의 집합으로서 화상 데이터의 생성 처리를 행하는 영상 복호 프로그램으로서, 컴퓨터에, 상기 역양자화의 입도를 제어하는 양자화 스텝 사이즈를 복호하는 처리와, 이미 복호 완료된 복수의 근방 화상 블록에 할당된 양자화 스텝 사이즈의 평균값을 이용해서 상기 역양자화의 입도를 제어하는 양자화 스텝 사이즈를 예측하는 처리를 실행시키는 영상 복호 프로그램.
이상, 실시형태 및 실시예를 참조해서 본 발명을 설명했지만, 본 발명은 상기 실시형태 및 실시예로 한정되지 않는다. 본 발명의 구성이나 상세에는, 본 발명의 범위 내에서 당업자가 이해할 수 있는 다양한 변경을 할 수 있다.
이 출원은, 2011년 3월 9일에 출원된 일본국 특허출원2011-51291 및 2011년 4월 21일에 출원된 일본국 특허출원2011-95395를 기초로 하는 우선권을 주장하며, 그 개시의 전부를 여기에 포함한다.
10 : 양자화 스텝 사이즈 부호화부
11 : 스텝 사이즈 예측부
20 : 예측 화상 생성부
30 : 예측 모션 벡터 생성부
50 : 양자화 스텝 사이즈 복호부
51 : 스텝 사이즈 예측부
60 : 예측 화상 생성부
70 : 예측 모션 벡터 생성부
101 : 주파수 변환기
102 : 양자화기
103 : 가변 길이 부호화기
104 : 양자화 제어기
105 : 역양자화기
106 : 역주파수 변환기
107 : 프레임 메모리
108 : 프레임 내 예측기
109 : 프레임간 예측기
110 : 예측 선택기
111 : 양자화 스텝 사이즈 예측 제어기
112 : 다중화기
201 : 가변 길이 복호기
202 : 역양자화기
203 : 역주파수 변환기
204 : 프레임 메모리
205 : 프레임 내 예측기
206 : 프레임간 예측기
207 : 예측 선택기
208 : 다중화 해제기
209 : 양자화 스텝 사이즈 예측 제어기
1001 : 프로세서
1002 : 프로그램 메모리
1003 : 기억 매체
1004 : 기억 매체
10311 : 양자화 스텝 사이즈 버퍼
10312 : 엔트로피 부호화기
10313 : 예측 양자화 스텝 사이즈 생성기
20111 : 엔트로피 복호기
20112 : 양자화 스텝 사이즈 버퍼
20113 : 예측 양자화 스텝 사이즈 생성기

Claims (14)

  1. 입력 화상 데이터를 소정의 크기의 블록으로 분할하고, 분할된 화상 블록마다 양자화를 적용해서, 압축 부호화 처리를 행하는 영상 부호화 장치로서,
    상기 양자화의 입도(granularity)를 제어하는 양자화 스텝 사이즈를 부호화하는 양자화 스텝 사이즈 부호화 수단을 구비하고,
    상기 양자화 스텝 사이즈 부호화 수단은, 이미 부호화 완료된 근방 화상 블록에 할당된 양자화 스텝 사이즈를 이용해서 상기 양자화의 입도를 제어하는 양자화 스텝 사이즈를 예측하는
    영상 부호화 장치.
  2. 제1항에 있어서,
    상기 양자화 스텝 사이즈 부호화 수단은, 이미 부호화 완료된 복수의 근방 화상 블록에 할당된 양자화 스텝 사이즈의 평균값을 이용해서 상기 양자화의 입도를 제어하는 양자화 스텝 사이즈를 예측하는
    영상 부호화 장치.
  3. 제1항 또는 제2항에 있어서,
    과거에 부호화 완료된 화상과 소정의 파라미터를 이용해서 부호화 대상 화상 블록의 예측 화상을 생성하는 예측 화상 생성 수단을 더 구비하고,
    상기 양자화 스텝 사이즈 부호화 수단은, 상기 예측 화상의 생성에 이용되는 파라미터를 이용해서 상기 양자화의 입도를 제어하는 양자화 스텝 사이즈를 예측하는
    영상 부호화 장치.
  4. 제3항에 있어서,
    상기 예측 화상 생성 수단은, 적어도 프레임 내 예측을 이용해서 예측 화상을 생성하고,
    상기 양자화 스텝 사이즈 부호화 수단은, 상기 프레임 내 예측의 예측 방향을 이용해서 상기 양자화의 입도를 제어하는 양자화 스텝 사이즈를 예측하는
    영상 부호화 장치.
  5. 입력된 압축 영상 데이터의 역(逆)양자화에 의거하여 화상 블록을 복호하고, 당해 화상 블록의 집합으로서 화상 데이터의 생성 처리를 행하는 영상 복호 장치로서,
    상기 역양자화의 입도를 제어하는 양자화 스텝 사이즈를 복호하는 양자화 스텝 사이즈 복호 수단을 구비하고,
    상기 양자화 스텝 사이즈 복호 수단은, 이미 복호 완료된 근방 화상 블록에 할당된 양자화 스텝 사이즈를 이용해서 상기 역양자화의 입도를 제어하는 양자화 스텝 사이즈를 예측하는
    영상 복호 장치.
  6. 제5항에 있어서,
    상기 양자화 스텝 사이즈 복호 수단은, 이미 복호 완료된 복수의 근방 화상 블록에 할당된 양자화 스텝 사이즈의 평균값을 이용해서 상기 역양자화의 입도를 제어하는 양자화 스텝 사이즈를 예측하는
    영상 복호 장치.
  7. 제5항 또는 제6항에 있어서,
    과거에 복호 완료된 화상과 소정의 파라미터를 이용해서 복호 대상 화상 블록의 예측 화상을 생성하는 예측 화상 생성 수단을 더 구비하고,
    상기 양자화 스텝 사이즈 복호 수단은, 상기 예측 화상의 생성에 이용되는 파라미터를 이용해서 상기 역양자화의 입도를 제어하는 양자화 스텝 사이즈를 예측하는
    영상 복호 장치.
  8. 제7항에 있어서,
    상기 예측 화상 생성 수단은, 적어도 프레임 내 예측을 이용해서 예측 화상을 생성하고,
    상기 양자화 스텝 사이즈 복호 수단은, 상기 프레임 내 예측의 예측 방향을 이용해서 상기 역양자화의 입도를 제어하는 양자화 스텝 사이즈를 예측하는
    영상 복호 장치.
  9. 입력 화상 데이터를 소정의 크기의 블록으로 분할하고, 분할된 화상 블록마다 양자화를 적용해서, 압축 부호화 처리를 행하는 영상 부호화 방법으로서,
    상기 양자화의 입도를 제어하는 양자화 스텝 사이즈를, 이미 부호화 완료된 근방 화상 블록에 할당된 양자화 스텝 사이즈를 이용해서 예측하는 단계를 포함하는
    영상 부호화 방법.
  10. 제9항에 있어서,
    이미 부호화 완료된 복수의 근방 화상 블록에 할당된 양자화 스텝 사이즈의 평균값을 이용해서 상기 양자화의 입도를 제어하는 양자화 스텝 사이즈를 예측하는
    영상 부호화 방법.
  11. 입력된 압축 영상 데이터의 역양자화를 이용하여 화상 블록을 복호해서, 당해 화상 블록의 집합으로서 화상 데이터의 생성 처리를 행하는 영상 복호 방법으로서,
    상기 역양자화의 입도를 제어하는 양자화 스텝 사이즈를, 이미 복호 완료된 근방 화상 블록에 할당된 양자화 스텝 사이즈를 이용해서 예측하는 단계를 포함하는
    영상 복호 방법.
  12. 제11항에 있어서,
    이미 복호 완료된 복수의 근방 화상 블록에 할당된 양자화 스텝 사이즈의 평균값을 이용해서 상기 역양자화의 입도를 제어하는 양자화 스텝 사이즈를 예측하는
    영상 복호 방법.
  13. 제11항 또는 제12항에 있어서,
    과거에 복호 완료된 화상과 소정의 파라미터를 이용해서 복호 대상 화상 블록의 예측 화상을 생성하는 단계를 포함하고,
    상기 예측 화상의 생성에 이용되는 파라미터를 이용해서 상기 역양자화의 입도를 제어하는 양자화 스텝 사이즈를 예측하는
    영상 복호 방법.
  14. 제13항에 있어서,
    예측 화상을 생성할 때에, 적어도 프레임 내 예측을 이용해서 예측 화상을 생성하고,
    상기 프레임 내 예측의 예측 방향을 이용해서 상기 역양자화의 입도를 제어하는 양자화 스텝 사이즈를 예측하는
    영상 복호 방법.
KR1020137020857A 2011-03-09 2012-03-08 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법 및 영상 복호 방법 KR20130108457A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JPJP-P-2011-051291 2011-03-09
JP2011051291 2011-03-09
JP2011095395 2011-04-21
JPJP-P-2011-095395 2011-04-21
PCT/JP2012/001592 WO2012120888A1 (ja) 2011-03-09 2012-03-08 映像符号化装置、映像復号装置、映像符号化方法及び映像復号方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
KR1020157002098A Division KR101814259B1 (ko) 2011-03-09 2012-03-08 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법 및 영상 복호 방법
KR1020157002096A Division KR101814258B1 (ko) 2011-03-09 2012-03-08 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법 및 영상 복호 방법

Publications (1)

Publication Number Publication Date
KR20130108457A true KR20130108457A (ko) 2013-10-02

Family

ID=46797859

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020167023086A KR101769726B1 (ko) 2011-03-09 2012-03-08 영상 복호 장치, 및 영상 복호 방법
KR1020157002098A KR101814259B1 (ko) 2011-03-09 2012-03-08 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법 및 영상 복호 방법
KR1020167007874A KR101689997B1 (ko) 2011-03-09 2012-03-08 영상 복호 장치, 및 영상 복호 방법
KR1020137020857A KR20130108457A (ko) 2011-03-09 2012-03-08 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법 및 영상 복호 방법
KR1020157002096A KR101814258B1 (ko) 2011-03-09 2012-03-08 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법 및 영상 복호 방법

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020167023086A KR101769726B1 (ko) 2011-03-09 2012-03-08 영상 복호 장치, 및 영상 복호 방법
KR1020157002098A KR101814259B1 (ko) 2011-03-09 2012-03-08 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법 및 영상 복호 방법
KR1020167007874A KR101689997B1 (ko) 2011-03-09 2012-03-08 영상 복호 장치, 및 영상 복호 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020157002096A KR101814258B1 (ko) 2011-03-09 2012-03-08 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법 및 영상 복호 방법

Country Status (13)

Country Link
US (5) US10284859B2 (ko)
EP (3) EP2685720B1 (ko)
JP (5) JP6024654B2 (ko)
KR (5) KR101769726B1 (ko)
CN (7) CN107277524B (ko)
AU (1) AU2012226120B2 (ko)
BR (5) BR122020015659B1 (ko)
CA (3) CA2909242C (ko)
ES (3) ES2715704T3 (ko)
MX (4) MX355979B (ko)
PL (2) PL2863637T3 (ko)
RU (6) RU2628212C1 (ko)
WO (1) WO2012120888A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10264285B2 (en) 2014-05-22 2019-04-16 Qualcomm Incorporated Coding runs in palette-based video coding
US10750198B2 (en) * 2014-05-22 2020-08-18 Qualcomm Incorporated Maximum palette parameters in palette-based video coding
CN105338352B (zh) 2014-07-24 2019-04-19 华为技术有限公司 一种视频编码中自适应反量化方法及装置
EP3308540B1 (en) * 2015-06-09 2020-04-15 Microsoft Technology Licensing, LLC Robust encoding/decoding of escape-coded pixels in palette mode
US20180048907A1 (en) * 2016-08-11 2018-02-15 Qualcomm Incorporated Video coding tools for in-loop sample processing
CN107094251B (zh) * 2017-03-31 2021-07-23 浙江大学 一种基于空间位置自适应质量调整的视频、图像编解码方法及装置
US10506196B2 (en) * 2017-04-01 2019-12-10 Intel Corporation 360 neighbor-based quality selector, range adjuster, viewport manager, and motion estimator for graphics
US20200322606A1 (en) * 2017-10-24 2020-10-08 Sharp Kabushiki Kaisha Systems and methods for determining quantization parameter predictive values
CN110771167A (zh) * 2018-07-27 2020-02-07 深圳市大疆创新科技有限公司 视频压缩的方法、装置、计算机系统和可移动设备
SG11202105607VA (en) * 2018-11-27 2021-06-29 Op Solutions Llc Block-based picture fusion for contextual segmentation and processing
JP2020098986A (ja) * 2018-12-17 2020-06-25 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
WO2020248099A1 (en) * 2019-06-10 2020-12-17 Realnetworks, Inc. Perceptual adaptive quantization and rounding offset with piece-wise mapping function
CN111325000B (zh) * 2020-01-23 2021-01-26 北京百度网讯科技有限公司 语言生成方法、装置及电子设备
CN114222169B (zh) * 2021-12-14 2023-10-20 咪咕互动娱乐有限公司 一种视频流传输方法、通信设备及计算机可读存储介质
CN116506665A (zh) * 2023-06-27 2023-07-28 北京蔚领时代科技有限公司 自适应码率控制的vr串流方法、系统、装置及存储介质

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5194950A (en) 1988-02-29 1993-03-16 Mitsubishi Denki Kabushiki Kaisha Vector quantizer
JP3012698B2 (ja) 1991-01-29 2000-02-28 オリンパス光学工業株式会社 画像データの符号化装置および符号化方法
JP2646921B2 (ja) 1991-11-15 1997-08-27 日本ビクター株式会社 適応量子化装置
KR0148130B1 (ko) 1992-05-18 1998-09-15 강진구 블럭킹아티팩트를 억제시키는 부호화/복호화 방법 및 그 장치
JP3268512B2 (ja) 1993-03-03 2002-03-25 セイコーエプソン株式会社 画像処理装置および画像処理方法
KR0174452B1 (ko) * 1995-02-28 1999-03-20 배순훈 디지털 영상 복호화장치
KR0174453B1 (ko) 1995-02-28 1999-03-20 배순훈 디지털 영상 복호화 방법
US6061401A (en) 1995-03-20 2000-05-09 Daewoo Electronics Co., Ltd. Method and apparatus for selectively encoding/decoding a video signal
JPH08331567A (ja) 1995-06-02 1996-12-13 Sony Corp 画像情報符号化装置、画像情報復号化装置及び画像情報記録再生システム
JP3408924B2 (ja) * 1995-06-28 2003-05-19 シャープ株式会社 画像圧縮装置
EP0808068B1 (en) * 1996-05-14 2004-08-25 Daewoo Electronics Corporation Methods and apparatus for removing blocking effect in a motion picture decoder
US6795501B1 (en) * 1997-11-05 2004-09-21 Intel Corporation Multi-layer coder/decoder for producing quantization error signal samples
JPH11196262A (ja) 1997-11-07 1999-07-21 Matsushita Electric Ind Co Ltd デジタル情報埋込み・抽出装置および方法並びに当該方法を実行するためのプログラムを記録した媒体
JP4099682B2 (ja) * 1998-09-18 2008-06-11 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP2000269821A (ja) 1999-03-18 2000-09-29 Oki Micro Design Co Ltd 予測符号化信号復号化装置及び雑音除去方法
US6590936B1 (en) * 1999-04-13 2003-07-08 Matsushita Electric Industrial Co., Ltd. Coded data transform method, transcoding method, transcoding system, and data storage media
US6363113B1 (en) 1999-06-07 2002-03-26 Lucent Technologies Inc. Methods and apparatus for context-based perceptual quantization
US6570764B2 (en) * 1999-12-29 2003-05-27 Intel Corporation Low thermal resistance interface for attachment of thermal materials to a processor die
US6782135B1 (en) 2000-02-18 2004-08-24 Conexant Systems, Inc. Apparatus and methods for adaptive digital video quantization
US7251060B2 (en) * 2000-12-12 2007-07-31 Ricoh Company, Ltd. Image-processing device using quantization threshold values produced according to a dither threshold matrix and arranging dot-on pixels in a plural-pixel field according to the dither threshold matrix
US6831947B2 (en) * 2001-03-23 2004-12-14 Sharp Laboratories Of America, Inc. Adaptive quantization based on bit rate prediction and prediction error energy
JP3807342B2 (ja) * 2002-04-25 2006-08-09 三菱電機株式会社 デジタル信号符号化装置、デジタル信号復号装置、デジタル信号算術符号化方法、およびデジタル信号算術復号方法
US8218624B2 (en) 2003-07-18 2012-07-10 Microsoft Corporation Fractional quantization step sizes for high bit rates
KR100594056B1 (ko) * 2003-09-01 2006-07-03 삼성전자주식회사 효율적인 비트율 제어를 위한 ｈ．263/ｍｐｅｇ 비디오인코더 및 그 제어 방법
US7369709B2 (en) * 2003-09-07 2008-05-06 Microsoft Corporation Conditional lapped transform
US7817731B2 (en) 2003-09-22 2010-10-19 Infineon Technologies Ag Amplitude compression of signals in a multicarrier system
WO2005081540A1 (ja) 2004-02-20 2005-09-01 Nec Corporation 画像符号化方法、その装置及びその制御プログラム
JP4747494B2 (ja) * 2004-03-03 2011-08-17 ソニー株式会社 データ処理装置およびその方法と符号化装置
US20050201629A1 (en) * 2004-03-09 2005-09-15 Nokia Corporation Method and system for scalable binarization of video data
US7606427B2 (en) * 2004-07-08 2009-10-20 Qualcomm Incorporated Efficient rate control techniques for video encoding
WO2006072894A2 (en) 2005-01-07 2006-07-13 Koninklijke Philips Electronics N.V. Method of processing a video signal using quantization step sizes dynamically based on normal flow
US8548055B2 (en) * 2005-03-10 2013-10-01 Qualcomm Incorporated Encoding of multimedia data
EP1727371A1 (en) * 2005-05-27 2006-11-29 Thomson Licensing Method for controlling the encoder output bit rate in a block-based video encoder, and corresponding video encoder apparatus
JP5043856B2 (ja) * 2005-12-05 2012-10-10 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー 映像品質測定
JP4529919B2 (ja) 2006-02-28 2010-08-25 日本ビクター株式会社 適応量子化装置及び適応量子化プログラム
WO2007104266A1 (en) * 2006-03-16 2007-09-20 Huawei Technologies Co., Ltd. Method and apparatus for realizing adaptive quantization in encoding process
CN101039432A (zh) * 2006-03-16 2007-09-19 华为技术有限公司 在编码过程中实现自适应量化的方法及装置
KR101008508B1 (ko) * 2006-08-15 2011-01-17 브로드콤 코포레이션 패킷 손실 후의 디코더 상태의 리페이징
EP2073557B1 (en) 2006-10-10 2017-03-29 Nippon Telegraph and Telephone Corporation Intra prediction encoding control method and device, its program, and storage medium containing program
EP3484154A1 (en) * 2006-10-25 2019-05-15 GE Video Compression, LLC Quality scalable coding
CN101578875A (zh) * 2007-01-04 2009-11-11 英国电讯有限公司 利用迭代重新编码的视频信号编码
CN101637026B (zh) * 2007-09-12 2012-03-28 索尼株式会社 图像处理装置和方法
US8542730B2 (en) * 2008-02-22 2013-09-24 Qualcomm, Incorporated Fast macroblock delta QP decision
CN101252689B (zh) * 2008-02-29 2010-08-25 杭州爱威芯科技有限公司 一种自适应的码率控制方法
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
CN101605250A (zh) * 2008-06-13 2009-12-16 三星电子株式会社 码率控制中确定初始量化步长的方法
US8295346B2 (en) 2009-04-08 2012-10-23 Samsung Electronics Co., Ltd. Small detail reservation in content-adaptive quantization
EP2362656B1 (en) 2010-02-18 2017-11-15 BlackBerry Limited Method and encoder for constrained soft-decision quantization in data compression
WO2011127961A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. Adaptive image filtering method and apparatus
WO2011134641A1 (en) * 2010-04-26 2011-11-03 Panasonic Corporation Filtering mode for intra prediction inferred from statistics of surrounding blocks
EP4024865B1 (en) * 2010-06-10 2023-10-25 InterDigital VC Holdings, Inc. Methods and apparatus for determining quantization parameter predictors from a plurality of neighboring quantization parameters
KR20120016980A (ko) 2010-08-17 2012-02-27 한국전자통신연구원 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
EP2490355A1 (en) 2011-02-18 2012-08-22 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Digital receiver and digital transmitter having a variable interleaver functionality
JP2013034037A (ja) 2011-03-09 2013-02-14 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9854275B2 (en) 2011-06-25 2017-12-26 Qualcomm Incorporated Quantization in video coding

Also Published As

Publication number Publication date
RU2015121760A (ru) 2015-10-10
EP2685720B1 (en) 2016-09-14
JP6558477B2 (ja) 2019-08-14
RU2654149C1 (ru) 2018-05-16
BR122020015656B1 (pt) 2023-04-11
RU2566334C2 (ru) 2015-10-20
JP2016086440A (ja) 2016-05-19
BR112013022386A2 (pt) 2016-12-06
CN107181947B (zh) 2019-06-07
US20200366905A1 (en) 2020-11-19
JP6024654B2 (ja) 2016-11-16
EP2863637B1 (en) 2018-12-12
KR101689997B1 (ko) 2016-12-26
AU2012226120A1 (en) 2013-08-01
EP2685720A1 (en) 2014-01-15
CN107257467B (zh) 2020-01-03
EP2866449B1 (en) 2018-12-12
EP2863637A3 (en) 2015-05-06
JP2017139795A (ja) 2017-08-10
RU2679116C1 (ru) 2019-02-06
US20130322526A1 (en) 2013-12-05
CA2909242A1 (en) 2012-09-13
US11509909B2 (en) 2022-11-22
JP6358353B2 (ja) 2018-07-18
ES2715704T3 (es) 2019-06-05
CA2829034A1 (en) 2012-09-13
JP2018164296A (ja) 2018-10-18
KR20160041052A (ko) 2016-04-15
KR20150028822A (ko) 2015-03-16
US20190230366A1 (en) 2019-07-25
MX339436B (es) 2016-05-26
EP2863637A2 (en) 2015-04-22
US20200366903A1 (en) 2020-11-19
CN107277523B (zh) 2019-08-02
BR122020015658B1 (pt) 2023-03-28
KR101769726B1 (ko) 2017-08-18
KR20160103560A (ko) 2016-09-01
EP2866449A1 (en) 2015-04-29
PL2866449T3 (pl) 2019-05-31
US10284859B2 (en) 2019-05-07
CN103444180A (zh) 2013-12-11
CN107277523A (zh) 2017-10-20
JPWO2012120888A1 (ja) 2014-07-17
CA2909242C (en) 2020-03-24
CN107277524B (zh) 2019-05-17
AU2012226120B2 (en) 2015-07-23
US10771790B2 (en) 2020-09-08
CA2909259C (en) 2020-01-14
WO2012120888A1 (ja) 2012-09-13
CN107181947A (zh) 2017-09-19
CN107181951A (zh) 2017-09-19
US11483571B2 (en) 2022-10-25
CN107197277B (zh) 2020-05-05
RU2608446C2 (ru) 2017-01-18
MX2013010216A (es) 2013-10-30
RU2695641C1 (ru) 2019-07-25
KR101814258B1 (ko) 2018-01-02
CA2829034C (en) 2017-04-25
BR122020015657B1 (pt) 2023-04-11
CN107257467A (zh) 2017-10-17
KR101814259B1 (ko) 2018-01-02
CN107277524A (zh) 2017-10-20
BR122020015659B1 (pt) 2023-03-28
CN103444180B (zh) 2017-08-08
ES2604336T3 (es) 2017-03-06
ES2715703T3 (es) 2019-06-05
RU2013145077A (ru) 2015-04-20
CA2909259A1 (en) 2012-09-13
US20200366904A1 (en) 2020-11-19
EP2685720A4 (en) 2014-09-10
MX355979B (es) 2018-05-07
JP2018164301A (ja) 2018-10-18
RU2628212C1 (ru) 2017-08-15
BR112013022386B1 (pt) 2022-04-05
MX2018005721A (es) 2023-03-06
JP6128239B2 (ja) 2017-05-17
PL2863637T3 (pl) 2019-08-30
CN107197277A (zh) 2017-09-22
US11496749B2 (en) 2022-11-08
KR20150028823A (ko) 2015-03-16
CN107181951B (zh) 2019-12-24

Similar Documents

Publication Publication Date Title
JP6558477B2 (ja) 映像符号化装置及び映像復号装置
AU2017251808B2 (en) Video encoding device, video decoding device, video encoding method, and video decoding method

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
A107 Divisional application of patent
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2015101006059; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20151015

Effective date: 20170424