KR101260369B1 - 스케일러블 동화상 부호화 방법, 스케일러블 동화상 부호화 장치, 스케일러블 동화상 부호화 프로그램 및 그 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 - Google Patents

스케일러블 동화상 부호화 방법, 스케일러블 동화상 부호화 장치, 스케일러블 동화상 부호화 프로그램 및 그 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR101260369B1
KR101260369B1 KR1020117008317A KR20117008317A KR101260369B1 KR 101260369 B1 KR101260369 B1 KR 101260369B1 KR 1020117008317 A KR1020117008317 A KR 1020117008317A KR 20117008317 A KR20117008317 A KR 20117008317A KR 101260369 B1 KR101260369 B1 KR 101260369B1
Authority
KR
South Korea
Prior art keywords
prediction mode
encoding
optimal prediction
information
combination
Prior art date
Application number
KR1020117008317A
Other languages
English (en)
Other versions
KR20110069065A (ko
Inventor
가즈야 하야세
유키히로 반도
세이시 다카무라
가즈토 가미쿠라
요시유키 야시마
Original Assignee
니폰덴신뎅와 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰덴신뎅와 가부시키가이샤 filed Critical 니폰덴신뎅와 가부시키가이샤
Publication of KR20110069065A publication Critical patent/KR20110069065A/ko
Application granted granted Critical
Publication of KR101260369B1 publication Critical patent/KR101260369B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Abstract

본 발명은, 스케일러블 동화상 부호화에 있어서, 종래의 부호화에서 선택된 최적 예측 모드에 기초하여 상위 레이어와 하위 레이어의 공간적으로 대응하는 블록에 대해 선택하는 최적 예측 모드의 조합의 발생률을 구하고, 그들의 관계에 대해 기술하는 대응표를 생성한다. 이어서, 발생률에 기초하여 대응표에 기술되는 최적 예측 모드의 조합을 좁히고, 그 좁힌 최적 예측 모드의 조합에 대해 기술하는 예측 모드 대응 정보를 생성한다. 그리고, 상위 레이어의 블록을 부호화하는 경우에, 하위 레이어의 공간적으로 대응하는 블록의 부호화에서 선택된 최적 예측 모드를 키로 하여 예측 모드 대응 정보를 참조함으로써, 그 부호화에서 탐색하는 예측 모드 탐색 후보를 결정하여 예측 모드 탐색 후보의 수를 줄이도록 한다.

Description

스케일러블 동화상 부호화 방법, 스케일러블 동화상 부호화 장치, 스케일러블 동화상 부호화 프로그램 및 그 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체{Scalable video encoding method, scalable video encoding apparatus, scalable video encoding program, and computer readable recording medium storing the program}
본 발명은, 동화상을 스케일러블하게 부호화하는 스케일러블 동화상 부호화 방법 및 그 장치와, 그 스케일러블 동화상 부호화 방법의 실현에 이용되는 스케일러블 동화상 부호화 프로그램 및 그 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체에 관한 것이다. 특히, 본 발명은, 부호화 시간의 삭감을 실현하는 스케일러블 동화상 부호화 방법 및 그 장치와, 그 스케일러블 동화상 부호화 방법의 실현에 이용되는 스케일러블 동화상 부호화 프로그램 및 그 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
본원은, 2008년 10월 22일에 일본에 출원된 특원 2008-271513호에 기초하여 우선권을 주장하고, 그 내용을 여기에 원용한다.
최근의 다양한 표시 단말·네트워크 환경의 배경을 받아 JVT(Joint Video Team: 합동 비디오 팀)에서는, AVC(Advanced Video Coding: 고도 동화상 압축 부호화 표준)에 대해 공간/시간/SNR(Signal to Noise ratio)의 스케일러빌리티를 부여한 부호화 방식 SVC(Scalable Video Coding)가 검토되어 있다(예를 들면, 비특허문헌 1 참조).
SVC에서는, Inter 예측, Intra 예측, 레이어 간 예측이라는 3가지 예측 방법을 받아들이고 있고, 시간, 공간, 레이어 간에 내재하는 용장성 제거를 행한다. SVC에서 취할 수 있는 예측 모드를 하기에 열거한다.
〔Inter 예측〕
·Skip 모드(Skip)
·Direct 모드(Direct)
·16×16블록 크기 움직임 예측 모드(P16×16)
·16×8블록 크기 움직임 예측 모드(P16×8)
·8×16블록 크기 움직임 예측 모드(P8×16)
·8×8블록 크기 움직임 예측 모드(P8×8)
〔Intra 예측〕
·16×16블록 크기 Intra 예측 모드(I16×16)
·8×8블록 크기 Intra 예측 모드(I8×8)
·4×4블록 크기 Intra 예측 모드(I4×4)
〔레이어 간 예측〕
·BLSkip 모드(BLSkip)
·IntraBL 모드(IntraBL)
P8×8을 행하는 경우의 각 8×8블록은, 또 8×4, 4×4, 4×4의 블록 크기로 분할 가능하다. SVC에서는, 매크로 블록마다 이들 예측 모드 탐색 후보 중에서 하나를 최적 예측 모드로서 선택한다.
최적 예측 모드의 결정 방법의 예를 이하에 든다.
JVT가 SVC의 참조 인코더로서 제공하고 있는 JSVM(Joint Scalable Video Model, 예를 들면 비특허문헌 2 참조)에서는, 각 예측 모드에서 부호량과 부호화 왜곡으로 이루어지는 부호화 비용이 계산되고, 상술한 모든 예측 모드 중에서 가장 부호화 비용이 작아지는 예측 모드가 최적 예측 모드로서 정해진다.
또한, 하기에 나타내는 특허문헌 1에서는, 참조 프레임의 움직임 벡터를 부호화 대상 프레임에 외삽/내삽한 벡터가 생성되고, 그것에 의해 움직인 매크로 블록의 각 화소의 좌표가 구해지며, 화소가 일치하는 횟수가 각 화소마다 카운트된다. 다음에, 부호화 대상 매크로 블록 내의 각 화소의 카운트 수로부터 산출되는 스코어 값의 대소에 따라 예측 모드 탐색 후보의 좁힘이 행해진다. 이 좁힘 방법은 H.264/AVC의 예측 모드 탐색 고속화를 위해 제안된 것인데, H.264/AVC와 같은 예측 모드 탐색의 구조인 SVC에서도 적용 가능하다.
또한, 하기에 나타내는 특허문헌 2에서는, 프레임 내 부호화를 고속으로 행할 수 있도록 하기 위해 근접 부호화 블록의 화소값을 이용하여 프레임 내 부호화를 행하는 블록의 예를 들면 9가지의 화면 내 예측 오차가 구해지며, 그것에 기초하여 그 블록의 예측 모드가 결정된다. 다음에, 근접 부호화 블록의 화면 내 예측 모드를 이용하여 그 블록의 예측 모드가 결정되어, 그 2개의 예측 모드가 일치하는 경우에는 그대로 그 예측 모드가 선택되고, 일치하지 않는 경우는 부호화 비용이 작은 쪽의 예측 모드가 선택되도록 하고 있다.
특허문헌 1: 일본특허공개 2006-033451호 공보 특허문헌 2: 일본특허공개 2005-184241호 공보
비특허문헌 1: T. Wiegand, G. Sullivan, J. Reichel, H. Schwarz and M. Wien: "Joint Draft ITU-T Rec. H.264|ISO/IEC 14496-10/Amd. 3 Scalable video coding," ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-X201, 2007. http://ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/JVTX201.zip 비특허문헌 2: J. Reichel, H. Schwarz and M. Wien: "Joint Scalable Video Model JSVM-11," ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-X202, 2007. http://ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/JVTX202.zip
비특허문헌 2의 JSVM에서의 최적 예측 모드의 결정 방법에서는, 예측 모드 탐색 후보의 좁힘을 행하지 않기 때문에 높은 부호화 성능을 실현할 수 있다. 그 반면, 이 결정 방법에서는 예측 모드 탐색에 막대한 시간을 필요로 한다. 즉, 이 결정 방법에서는, 매크로 블록 내의 화상의 특성을 고려하면 명백히 선택될 가능성이 낮은 예측 모드(예를 들면, 정지 영역에서의 Intra 예측 모드)도 탐색하고 있어 쓸데없는 것이 많다.
또한, 특허문헌 1의 예측 모드 탐색 후보의 좁힘은, Intra 예측을 하는지 여부의 판정을 내리는 방법이기 때문에, Intra 예측 모드의 탐색에 비해 긴 계산 시간을 필요로 하는 Inter 예측 모드 탐색의 삭감 효과는 없다. 즉, Inter 예측 모드 탐색에 대해서는 개량의 여지를 그대로 남기고 있다.
또한, 특허문헌 2의 예측 모드 탐색 후보의 좁힘은, Intra 예측만의 좁힘이기 때문에, 특허문헌 1의 예측 모드 탐색 후보의 좁힘과 같이 Inter 예측 모드 탐색의 삭감 효과는 없다. 즉, Inter 예측 모드 탐색에 대해서는 개량의 여지를 그대로 남기고 있다.
본 발명은 이러한 사정을 감안하여 이루어진 것으로, 레이어 구조에 의해 스케일러빌리티를 실현하는 스케일러블 동화상 부호화에 있어서, 레이어 간의 최적 예측 모드의 상관성을 이용하여 상위 레이어의 예측 모드 탐색 후보의 좁힘을 행하여 고속화하는 새로운 스케일러블 동화상 부호화 기술의 제공을 목적으로 한다.
본 발명의 스케일러블 동화상 부호화 장치는, 레이어 구조에 의해 스케일러빌리티를 실현하는 스케일러블 동화상 부호화에 있어서 예측 모드 탐색의 고속화를 실현하기 위해, (1)사용 가능한 것으로서 정의된 예측 모드의 사용에 제한을 만들지 않고 행한 스케일러블 부호화에서 선택된 최적 예측 모드의 정보에 기초하여, 공간적으로 대응하는 블록에서의 선택된 상위 레이어와 하위 레이어의 최적 예측 모드의 조합의 발생률을 구하고, 그 최적 예측 모드의 조합과 그 발생률의 대응 관계에 대해 기술하는 대응표를 생성하는 생성부, (2)상위 레이어의 블록을 부호화하는 경우에, 하위 레이어의 공간적으로 대응하는 블록의 부호화에서 선택된 최적 예측 모드의 정보를 취득하는 취득부, (3)취득부가 취득한 최적 예측 모드의 정보와 대응표에 기술되는 발생률의 정보에 기초하여, 대응표에 기술되는 최적 예측 모드의 조합 중에서 유효한 조합을 추출하고, 그 추출한 조합이 갖는 상위 레이어의 최적 예측 모드를 상위 레이어의 블록의 부호화에서 탐색하는 예측 모드 탐색 후보로서 결정하는 결정부, (4)대응표를 이용하여 실행되는 예측 모드의 사용에 제한을 만드는 스케일러블 부호화와, 대응표를 이용하지 않고 실행되는 예측 모드의 사용에 제한을 만들지 않은 스케일러블 부호화를 교대로 반복하도록 제어하는 제어부를 구비한다.
이러한 구성에 있어서, 결정부는, 취득부가 취득한 최적 예측 모드의 정보를 키로 하여 대응표를 참조함으로써, 그 최적 예측 모드에 대응되는 발생률을 특정한다. 다음에, 결정부는, 그 특정한 발생률 중에서 소정의 문턱값보다도 큰 값을 나타내는 발생률을 갖는 최적 예측 모드의 조합을 추출하거나, 그 특정한 발생률 중에서 가장 큰 값을 나타내는 발생률을 갖는 최적 예측 모드의 조합을 추출하거나, 그 특정한 발생률 중에서 그 값이 큰 순으로 선택되는 소정의 개수의 발생률을 갖는 최적 예측 모드의 조합을 추출하는 것이 바람직하다. 결정부는, 그 추출한 최적 예측 모드의 조합이 갖는 상위 레이어의 최적 예측 모드를 상위 레이어의 블록의 부호화에서 탐색하는 예측 모드 탐색 후보로서 결정한다.
또, 결정부에 의한 효율적인 결정 처리를 실현하기 위해, 본 발명의 스케일러블 동화상 부호화 장치는, 미리 대응표에 기술되는 발생률의 값에 기초하여 대응표에 기술되는 최적 예측 모드의 조합을 좁힘으로써 유효한 최적 예측 모드의 조합을 추출하고, 그 추출한 유효한 최적 예측 모드의 조합에 대해 기술하는 예측 모드 대응 정보를 생성하는 것이 바람직하다.
이 경우에, 본 발명의 스케일러블 동화상 부호화 장치는, 레이어 구조에 의해 스케일러빌리티를 실현하는 스케일러블 동화상 부호화에 있어서 예측 모드 탐색의 고속화를 실현하기 위해, (1)사용 가능한 것으로서 정의된 예측 모드의 사용에 제한을 만들지 않고 행한 스케일러블 부호화에서 선택된 최적 예측 모드의 정보에 기초하여, 공간적으로 대응하는 블록에서의 선택된 상위 레이어와 하위 레이어의 최적 예측 모드의 조합의 발생률을 구하고, 그 최적 예측 모드의 조합과 그 발생률의 대응 관계에 대해 기술하는 대응표를 생성하는 대응표 생성부, (2)대응표에 기술되는 발생률의 값에 기초하여, 대응표에 기술되는 최적 예측 모드의 조합을 좁힘으로써 유효한 최적 예측 모드의 조합을 추출하고, 그 추출한 유효한 최적 예측 모드의 조합에 대해 기술하는 예측 모드 대응 정보를 생성하는 예측 모드 대응 정보 생성부, (3)상위 레이어의 블록을 부호화하는 경우에, 하위 레이어의 공간적으로 대응하는 블록의 부호화에서 선택된 최적 예측 모드의 정보를 취득하는 취득부, (4)취득부가 취득한 최적 예측 모드의 정보를 키로 하여 예측 모드 대응 정보를 참조함으로써, 상위 레이어의 블록의 부호화에서 탐색하는 예측 모드 탐색 후보를 결정하는 결정부, (5)대응표를 이용하여 실행되는 예측 모드의 사용에 제한을 만드는 스케일러블 부호화와, 대응표를 이용하지 않고 실행되는 예측 모드의 사용에 제한을 만들지 않은 스케일러블 부호화를 교대로 반복하도록 제어하는 제어부를 구비한다.
이 구성을 채용할 때에, 예측 모드 대응 정보 생성부는, 소정의 문턱값보다도 큰 값을 나타내는 발생률을 갖는 최적 예측 모드의 조합을 유효한 것으로서 추출함으로써 예측 모드 대응 정보를 생성하거나, 하위 레이어에 대해 동일한 최적 예측 모드를 갖는 최적 예측 모드의 조합 중에서 가장 큰 값을 나타내는 발생률을 갖는 최적 예측 모드의 조합을 유효한 것으로서 추출함으로써 예측 모드 대응 정보를 생성하거나, 큰 값을 나타내는 발생률 순으로 선택되는 소정의 개수의 최적 예측 모드의 조합을 유효한 것으로서 추출함으로써 예측 모드 대응 정보를 생성하도록 해도 된다.
이상의 각 처리부가 동작함으로써 실현되는 본 발명의 스케일러블 동화상 부호화 방법은 컴퓨터 프로그램에서도 실현할 수 있는 것이고, 이 컴퓨터 프로그램은 적당한 컴퓨터 판독 가능한 기록 매체에 기록하여 제공되거나, 네트워크를 개재하여 제공되며, 본 발명을 실시할 때에 인스톨되어 CPU 등의 제어부 상에서 동작함으로써 본 발명을 실현하게 된다.
본 발명에서는, 레이어 구조에 의해 스케일러빌리티를 실현하는 스케일러블 동화상 부호화에 있어서, 레이어 간의 최적 예측 모드의 상관성을 이용하여 상위 레이어의 예측 모드 탐색 후보의 좁힘을 행하기 때문에 부호화 시간을 삭감할 수 있다.
또, 본 발명에서는, 예측 모드 탐색 후보를 좁힘으로써 부호화 시간의 삭감을 도모할 때에, 부호화 완료 프레임에서의 레이어 간의 최적 예측 모드의 대응 관계를 기초로 그 좁힘을 행하기 때문에, 최적 예측 모드가 좁힘에 의해 생략되어 버릴 위험성을 회피할 수 있다. 따라서, 예측 모드 탐색 후보를 좁힘으로써 발생할 가능성이 있는 부호화 성능의 저하를 억제할 수 있다.
도 1은, 예측 모드 대응률 표의 생성 대상이 되는 프레임과 부호화 대상 프레임의 일례를 도시하는 설명도이다.
도 2는, 본 발명의 일실시형태의 동화상 부호화 처리의 큰 흐름을 나타내는 흐름도이다.
도 3은, 본 발명의 일실시형태에서의 예측 모드 대응률 표이다.
도 4는, 본 발명의 일실시형태에서의 예측 모드 탐색 후보의 좁힘 결과를 나타내는 표이다.
도 5는, 본 발명의 일실시형태에서의 예측 모드 탐색 후보의 좁힘 결과를 나타내는 표이다.
도 6은, 본 발명의 일실시형태에 의한 스케일러블 동화상 부호화 처리를 나타내는 흐름도이다.
도 7은, 도 6에 도시된 스케일러블 동화상 부호화 처리에서 실행되는 예측 모드 검색 후보를 결정하는 처리의 일례를 도시하는 흐름도이다.
도 8은, 도 6에 도시된 스케일러블 동화상 부호화 처리에서 실행되는 예측 모드 검색 후보를 결정하는 처리의 다른 예를 도시하는 흐름도이다.
도 9는, 본 발명의 일실시형태에 의한 스케일러블 동화상 부호화 장치를 도시하는 블록도이다.
도 10은, 도 9에 도시된 스케일러블 동화상 부호화 장치에서의 예측 모드 검색 후보 결정부의 일례를 도시하는 블록도이다.
도 11은, 도 9에 도시된 스케일러블 동화상 부호화 장치에서의 예측 모드 검색 후보 결정부의 다른 예를 도시하는 블록도이다.
도 12는, 본 발명의 일실시형태의 유효성을 검증하기 위해 행한 실험에서의 대응률 산출 프레임 및 고속 모드 선택 프레임을 나타내는 설명도이다.
도 13은, 본 발명의 일실시형태의 유효성을 검증하기 위해 행한 실험의 실험 결과를 나타내는 그래프이다.
도 14는, 본 발명의 일실시형태의 유효성을 검증하기 위해 행한 실험의 실험 결과를 나타내는 그래프이다.
〔1〕본 발명의 일실시형태의 기본적인 사고방식
본 발명의 일실시형태에서는, 레이어 구조에 의해 스케일러빌리티를 실현하는 스케일러블 동화상 부호화에 있어서,
(i)예측 모드 대응률 표(레이어 간의 최적 예측 모드의 상관성에 대해 기술하는 표)의 생성
(ii)예측 모드 대응률 표를 사용한 예측 모드 탐색 후보의 좁힘
이라는 2가지 처리에 의해 예측 모드 탐색의 고속화를 실현한다.
이후, 도 1과 같은 예에 따라 설명을 진행한다. 즉, 레이어(L)와 레이어(L-1) 양쪽이 IBBBP의 계층적 B 구조로 부호화를 하고 있다고 가정한다. 도면 중의 화살표는 예측 참조처를 나타낸다. 부호화 대상 레이어를 L, 부호화 대상 프레임을 B2b라고 하고, 예측 모드 대응률 표의 생성 대상 프레임을 B2a라고 한다. 또한, B2b의 동일 시각의 레이어(L-1)의 프레임을 B'2b, B2a의 동일 시각의 레이어(L-1)의 프레임을 B'2a라고 한다. 시간 레벨이 낮은 순으로 부호화되고, 동일 시간 레벨 중에서는 시간이 빠른 프레임 순으로 부호화된다고 한다. 또한, 레이어는 레벨이 작은 순으로 부호화된다고 한다.
다음에, 도 2에 도시된 흐름도에 따라 본 실시형태의 처리의 큰 흐름에 대해 설명한다.
본 실시형태에서는, 동화상을 스케일러블 부호화하는 경우, 도 2의 흐름도에 도시된 바와 같이, 단계 S101에서 변수(n)에 1을 세트하고, 이어지는 단계 S102에서 모든 프레임을 부호화했는지 여부를 판단한다. 모든 프레임을 부호화했다고 판단한 경우에는 처리를 종료한다.
한편, 단계 S102의 판단 처리에 따라 모든 프레임을 부호화하지 않는다고 판단했을 때는, 단계 S103으로 진행하고, 선두 프레임으로부터의 순번에 따라 미처리의 프레임을 하나 선택한다. 이어지는 단계 S104에서, 사용 가능한 것으로서 정의된 예측 모드의 사용에 제한을 가하지 않고 예측을 행하는, 즉 사용 가능한 모든 예측 모드를 사용하여 예측을 행함으로써, 그 선택한 프레임을 부호화한다.
이어서, 단계 S105에서 변수(n)의 값을 하나 인크리먼트한다. 이어지는 단계 S106에서, 변수(n)의 값이 소정의 문턱값(N1)(N1은 1이상의 정수)보다도 커졌는지를 판단한다. 변수(n)의 값이 문턱값(N1)보다도 커지지 않는다고 판단했을 때는, 단계 S102의 처리로 되돌아가서 사용 가능한 것으로서 정의된 예측 모드의 사용에 제한을 가하지 않고 프레임을 부호화하는 것을 속행한다.
한편, 단계 S106의 판단 처리에서 변수(n)의 값이 문턱값(N1)보다도 커졌다고 판단했을 때는, 단계 S107로 진행하여 예측 모드 대응률 표를 생성한다. 예측 모드 대응률 표는, 후술하는 바와 같은 데이터 구조를 가지고, 레이어 간의 최적 예측 모드의 상관성(발생률)에 대해 기술한 표이다.
이어서, 단계 S108에서 변수(n)에 1을 세트하고, 이어지는 단계 S109에서 모든 프레임을 부호화했는지를 판단한다. 모든 프레임을 부호화했다고 판단한 경우에는 처리를 종료한다.
한편, 단계 S109에서 모든 프레임을 부호화하지 않는다고 판단했을 때는 단계 S110으로 진행한다. 단계 S110에서, 선두 프레임으로부터의 순번에 따라 미처리의 프레임을 하나 선택한다. 이어지는 단계 S111에서, 예측 모드 대응률 표를 사용하여 예측 모드의 탐색 후보의 좁힘을 행하면서 예측을 함으로써, 그 선택한 프레임을 부호화한다.
이어서, 단계 S112에서 변수(n)의 값을 하나 인크리먼트한다. 이어지는 단계 S113에서, 변수(n)의 값이 소정의 문턱값(N2)(N2는 1이상의 정수)보다도 커졌는지를 판단한다. 변수(n)의 값이 문턱값(N2)보다도 커지지 않는다고 판단했을 때는, 단계 S109의 처리로 되돌아가서 예측 모드 대응률 표를 사용하여 예측 모드의 탐색 후보의 좁힘을 행하면서 프레임을 부호화하는 것을 속행한다.
한편, 단계 S113에서 변수(n)의 값이 문턱값(N2)보다도 커졌다고 판단했을 때는, 예측 모드 대응률 표를 갱신할 필요가 있다고 판단하여 단계 S101의 처리로 되돌아간다. 이에 의해, 예측 모드 대응률 표를 갱신하면서 단계 S101~단계 S113의 처리를 속행한다.
이와 같이, 본 실시형태에서는, 동화상을 스케일러블 부호화하는 경우에, N1장의 프레임을 부호화한 후, 그 부호화 결과에 기초하여 레이어 간의 최적 예측 모드의 상관성(발생률)에 대해 기술하는 예측 모드 대응률 표를 생성한다. 이어서, 그것에 이어지는 N2장의 프레임의 부호화로 옮기고, 생성한 예측 모드 대응률 표를 사용하여 예측 모드의 탐색 후보의 좁힘을 행하면서 N2장의 프레임의 부호화를 반복해 가도록 처리한다.
(i)예측 모드 대응률 표의 생성
다음에, 단계 S107에서 실행하는 예측 모드 대응률 표의 생성 처리에 대해 설명한다.
단계 S104의 처리에 의해, 도 1에 도시된 예측 모드 대응률 표 생성 대상 프레임(B2a)과 그 직하의 B'2a는 이미 부호화 완료이고, 최적 예측 모드는 이미 선택되어 있다. 프레임(B2a, B'2a)의 부호화시에는, 선택된 최적 예측 모드의 정보를 버퍼에 저장해 둔다. 그 버퍼에 저장되는 최적 예측 모드 정보에 기초하여, 프레임(B2a)의 매크로 블록(이하, MB라고 약기함)의 최적 예측 모드와, 공간적으로 대응하는 프레임(B'2a)의 서브 매크로 블록(이하, SMB라고 약기함)의 최적 예측 모드의 대응 관계를 조사한다.
구체적으로, 도 3에 도시된 바와 같은 데이터 구조를 갖는 예측 모드 대응률 표를 B2a와 B'2a 간에 생성한다. 도 3에 도시된 수치는, 프레임(B'2a)의 각 SMB(8×8크기)에서 선택된 최적 예측 모드가 i인 경우에, 프레임(B2a)의 MB에서 최적 예측 모드(j)가 선택된 비율(발생률)을 나타낸다. 예를 들면, 프레임(B'2a)의 SMB에서 P16×16이 선택된 경우, P16×16이 선택된 SMB와 공간적으로 대응하는 프레임(B2a)의 MB에서는 Skip 모드가 32.3% 선택되어 있는 것을 나타낸다.
여기서, 프레임(B2a)이나 (B'2a)에서의 최적 예측 모드의 선택 방법은 비특허문헌 2에 기재한 JSVM의 방법이어도 되고, 특허문헌 1에 기재한 바와 같은 예측 모드 탐색 후보의 좁힘을 행하는 방법이어도 된다.
또한, 이 예에서는, 예측 모드 대응률 표의 대상 프레임은 부호화 대상 프레임과 동일 시간 레벨의 부호화 완료 프레임 1장(B2a)으로 하고 있는데, 이에 한정되지 않는다. 다른 시간 레벨의 부호화 완료 프레임(예를 들면, B1)을 대상으로 해도 된다. 또한, 복수의 프레임을 대상(예를 들면, B1과 B2a)으로 하여 그 복수의 프레임의 누적으로 대응률을 계산해도 된다. 즉, 부호화 대상 레이어 및 그 직하 레이어에서 부호화 완료한 프레임이면, 예측 모드 대응률 표 생성 대상 프레임이 될 수 있다.
(ii)예측 모드 대응률 표를 사용한 예측 모드 탐색 후보의 좁힘
다음에, 단계 S111에서의 예측 모드 대응률 표를 사용한 예측 모드 탐색 후보의 좁힘 처리에 대해 설명한다.
단계 S107에서 생성된 예측 모드 대응률 표 중의 예측 모드 대응률의 값에 따라, 부호화 대상 프레임(B2b)의 각 MB에서 예측 모드 탐색 후보를 좁힌다. 예측 모드 대응률 표의 표 중의 수치는, 부호화 대상 매크로 블록에서의 최적 예측 모드가 될 수 있는 확률로 간주한다.
예측 모드 탐색 후보의 좁힘 처리에 대해 보다 구체적으로 설명한다. 이하의 설명에서는, 프레임(B2b)의 부호화 대상 매크로 블록을 MBL이라고 표기하고, MBL과 공간적으로 동일 위치에 있는 레이어(L-1)의 프레임(B'2b)의 서브 매크로 블록을 SMBL-1이라고 표기한다.
매크로 블록(MBL)의 예측 모드 탐색 후보를 좁히는 경우, 우선, 서브 매크로 블록(SMBL-1)의 최적 예측 모드의 정보를 읽어들인다. 다음에, 예측 모드 대응률 표와 SMBL-1의 최적 예측 모드를 조합(照合)하고, 부호화 대상 매크로 블록(MBL)에서의 각 예측 모드의 최적 예측 모드가 될 수 있는 확률(대응률)을 조사한다. 다음에, 이 최적 예측 모드가 될 수 있는 확률을 기초로 예측 모드 탐색 후보를 좁힌다. 하기에 좁힘의 예를 2가지 나타낸다.
(가)좁힘 수법 1
좁힘 수법 1은, 예측 모드 탐색 후보 좁힘 문턱값을 이용하여 예측 모드 탐색 후보를 좁히는 수법이다.
이 좁힘 수법 1에서는, 예측 모드 탐색 후보 좁힘 문턱값(t%)을 만들고, 이 문턱값(t%) 미만의 예측 모드를 탐색 후보에서 제외한다. 문턱값(t)의 값은 외부로부터 부여한다. 값의 결정 방법으로서는, 부호화 성능의 열화를 허용범위 이내로 억제하는 값을 복수회의 인코드 처리에 의해 결정하는 방법이 일례로서 생각할 수 있다.
여기서, SMBL-1의 최적 예측 모드의 정보를 취득한 시점에 예측 모드 대응률 표로부터 MBL에서의 각 예측 모드의 최적 예측 모드가 될 수 있는 확률(대응률)을 독출하여, 예측 모드 탐색 후보 좁힘 문턱값과 비교한다는 방법을 이용하면, 그 비교 처리가 번잡한 것이 된다.
그래서, 미리 예측 모드 대응률 표의 대응률을 예측 모드 탐색 후보 좁힘 문턱값으로 문턱값 처리해 두고, 예측 모드 대응률 표의 대응률을 2치화해 두도록 한다.
도 4에, 도 3에 도시된 예측 모드 대응률 표에서 예측 모드 탐색 후보 좁힘 문턱값 5%로 설정한 경우의 예측 모드 탐색 후보의 좁힘 결과를 나타낸다. 도면 중에서, ○가 탐색 후보, ×가 탐색 후보에서 제외된 예측 모드를 나타낸다.
(나)좁힘 수법 2
좁힘 수법 2는, 예측 모드 대응률이 최대가 되는 예측 모드만을 탐색 후보로 설정하는 수법이다.
예측 모드 대응률이 최대가 되는 예측 모드를 탐색 후보로서 설정한다. 통상은 여기서 하나의 예측 모드로 좁혀지는데, 최대값을 부여하는 예측 모드 탐색 후보가 복수 있는 경우에는 그들을 전부 탐색 후보로서 설정한다.
여기서, SMBL-1의 최적 예측 모드의 정보를 취득한 시점에 예측 모드 대응률 표로부터 MBL에서의 각 예측 모드의 최적 예측 모드가 될 수 있는 확률(대응률)을 독출하여, 그 중에서 최대값의 대응률을 특정한다는 방법을 이용하면, 그 특정 처리가 번잡한 것이 된다.
그래서, 미리 예측 모드 대응률 표의 대응률 중에 포함되는 최대값의 대응률을 특정해 두고, 예측 모드 대응률 표의 대응률을 2치화해 두도록 한다.
도 5에, 도 3에 도시된 예측 모드 대응률 표에서 최대값의 예측 모드를 예측 모드 탐색 후보로서 설정한 경우의 좁힘 결과를 나타낸다. 도면 중에서, ○가 탐색 후보, ×가 탐색 후보에서 제외된 예측 모드를 나타낸다.
이하, 실시형태에 따라 본 발명을 상세하게 설명한다.
도 6 내지 도 8에 본 실시형태에 의해 실행되는 스케일러블 동화상 부호화 처리의 흐름도를 도시한다.
도 6은, 본 실시형태에 의해 실행되는 스케일러블 동화상 부호화 처리의 전체적인 흐름도이다. 도 7 및 도 8은, 도 6의 흐름도의 단계 S201에서 실행하는 처리의 상세의 일례 및 다른 예를 나타내는 흐름도이다.
다음에, 이들 흐름도에 따라, 본 실시형태에 의해 실행되는 스케일러블 동화상 부호화 처리에 대해 상세하게 설명한다.
본 실시형태의 부호화 처리는 확장 레이어에 대한 처리로서, 기본 레이어에는 비스케일러블의 싱글 레이어 부호화 처리를 적용한다. 싱글 레이어 부호화 처리의 일례로는, 비특허문헌 2에서 든 SVC의 참조 인코더 JSVM의 기본 레이어 부분의 부호화 처리를 들 수 있다.
도 6의 흐름도에서 실행하는 단계 S201 내지 단계 S206의 처리에 대해 설명한다.
단계 S201에서, 부호화 대상 매크로 블록(MB)에서 탐색하는 예측 모드 탐색 후보의 초기값을 읽어들이고, 최종적으로 부호화 대상 MB에서 탐색하는 예측 모드의 탐색 후보를 결정하여 레지스터에 저장한다. 본 처리의 상세에 대해서는 도 7 및 도 8을 참조하여 후술한다.
단계 S202에서, 단계 S201의 처리에 의해 저장된 예측 모드 탐색 후보의 정보를 레지스터로부터 읽어들이고, 각 예측 모드 탐색 후보의 탐색을 실행하며, 부호화에 이용하는 최적 예측 모드를 하나 결정하여 그 정보를 레지스터에 저장한다. 최적 예측 모드의 결정 방법의 일례로서는, JSVM에서 행해지는 부호량과 부호화 왜곡의 선형합으로 표현되는 부호화 비용을 최소화하는 예측 모드를 최적으로 하는 방법을 들 수 있다.
단계 S203에서, 부호화 대상 MB에서의 최적 예측 모드의 정보를 레지스터로부터 읽어들이고, 그 최적 예측 모드에서 움직임 보상을 하며, 예측 잔차 신호를 생성하여 버퍼에 저장한다.
단계 S204에서, 예측 잔차 신호를 버퍼로부터 읽어들이고, 그 예측 잔차 신호의 부호화를 행하여 부호화 데이터를 버퍼에 저장한다. 본 처리의 일례로는, 비특허문헌 2에서 든 SVC의 참조 인코더 JSVM에서의 DCT, 양자화, 가변길이 부호화의 일련 처리를 들 수 있다.
단계 S205에서, 모든 MB의 부호화가 완료되었는지의 판정 처리를 한다. 모든 MB의 부호화가 완료된 경우에는 부호화 처리를 종료하고, 버퍼로부터 각 MB의 부호화 데이터 및 필요한 그 밖의 헤더 정보를 읽어들여 최종적인 부호화 데이터로서 출력한다. 한편, 모든 MB의 부호화가 완료되지 않은 경우에는 단계 S206의 처리로 이동한다.
단계 S206에서, 다음의 부호화 대상 MB로 이동하여 단계 S201의 처리를 한다.
다음에, 단계 S201에서 실행하는 구체적인 처리의 일례에 대해, 단계 S301 내지 단계 S306을 포함하는 도 7의 흐름도를 이용하여 설명한다.
단계 S301에서, 부호화 대상 MB가 본 실시형태를 적용하는 예측 모드 탐색 후보 좁힘 대상 MB인지에 대해 지정하는 정보를 읽어들인다. 부호화 대상 MB가 예측 모드 탐색 후보 좁힘 대상 MB인 경우에는, 단계 S302의 처리로 이동한다. 부호화 대상 MB가 예측 모드 탐색 후보 좁힘 대상 MB가 아닌 경우에는, 예측 모드 탐색 후보의 초기값을 최종적인 예측 모드 탐색 후보로서 출력한다.
단계 S302에서, 예측 모드 대응률 표의 계산 대상으로 하는 부호화 완료 프레임의 지정 정보를 외부로부터 읽어들이고, 그 지정 프레임의 예측 모드 정보를 레지스터에 저장한다.
단계 S303에서, 예측 모드 대응률 표의 계산 대상 프레임에서의 예측 모드 정보(부호화에서 이용된 최적의 예측 모드의 정보)를 읽어들이고, 부호화 대상 레이어와 그 직하 레이어의 최적 예측 모드의 대응률(발생률)을 계산하여 예측 모드 대응률 표로서 레지스터에 저장한다. 도 3에 도시된 바와 같은 예측 모드 대응률 표를 생성하여 레지스터에 저장한다.
단계 S304에서, 예측 모드 대응률 표를 읽어들이고, 그것을 버퍼에 저장한다.
단계 S305에서, 예측 모드 탐색 후보 좁힘 문턱값을 읽어들이고, 그것을 레지스터에 저장한다.
단계 S306에서, 예측 모드 대응률 표를 버퍼로부터 읽어들임과 동시에, 예측 모드 탐색 후보 좁힘 문턱값을 레지스터로부터 읽어들인다. 대응률(발생률)이 예측 모드 탐색 후보 좁힘 문턱값 이상인 예측 모드만을 예측 모드 탐색 후보로서 설정하고, 그 정보를 레지스터에 저장한다. 이 설정·저장에 있어서는, 기본 레이어의 부호화에서 얻어진 최적 예측 모드에 대응되는 예측 모드 탐색 후보만을 선택하여 설정·저장한다.
이와 같이 하여, 도 6의 흐름도에서는, 도 3에 도시된 바와 같은 데이터 구조를 갖는 예측 모드 대응률 표에 기초하여, 도 4에 도시된 바와 같은 형태로 예측 모드 탐색 후보를 좁히도록 처리한다.
다음에, 단계 S201에서 실행하는 구체적인 처리의 다른 예에 대해, 단계 S401 내지 단계 S405를 포함하는 도 8의 흐름도를 이용하여 설명한다.
단계 S401에서, 부호화 대상 MB가 본 발명을 적용하는 예측 모드 탐색 후보 좁힘 대상 MB인지에 대해 지정하는 정보를 읽어들인다. 부호화 대상 MB가 예측 모드 탐색 후보 좁힘 대상 MB인 경우에는, 단계 S402의 처리로 이동한다. 부호화 대상 MB가 예측 모드 탐색 후보 좁힘 대상 MB가 아닌 경우에는, 예측 모드 탐색 후보 초기값을 최종적인 예측 모드 탐색 후보로서 출력한다.
단계 S402에서, 예측 모드 대응률 표의 계산 대상으로 하는 부호화 완료 프레임의 지정 정보를 외부로부터 읽어들이고, 그 지정 프레임의 예측 모드 정보를 레지스터에 저장한다.
단계 S403에서, 예측 모드 대응률 표의 계산 대상 프레임에서의 예측 모드 정보(부호화에서 이용된 최적의 예측 모드의 정보)를 읽어들인다. 다음에, 부호화 대상 레이어와 그 직하 레이어의 최적 예측 모드의 대응률(발생률)을 계산하여 예측 모드 대응률 표로서 레지스터에 저장한다. 즉, 도 3에 도시된 바와 같은 예측 모드 대응률 표를 생성하여 레지스터에 저장한다.
단계 S404에서, 예측 모드 대응률 표를 읽어들이고, 그것을 버퍼에 저장한다.
단계 S405에서, 예측 모드 대응률 표를 버퍼로부터 읽어들이고, 대응률(발생률)이 최대인 예측 모드만을 예측 모드 탐색 후보로서 설정하고, 그 정보를 레지스터에 저장한다. 여기서, 이 설정·저장에 있어서는, 기본 레이어의 부호화에서 얻어진 최적 예측 모드에 대응되는 예측 모드 탐색 후보만을 선택하여 설정·저장한다.
이와 같이 하여, 도 6의 흐름도에서는, 도 3에 도시된 바와 같은 데이터 구조를 갖는 예측 모드 대응률 표에 기초하여, 도 5에 도시된 바와 같은 형태로 예측 모드 탐색 후보를 좁히도록 처리한다.
도 9 내지 도 11에 본 발명의 일실시형태에 의한 스케일러블 동화상 부호화 장치의 구성을 도시한다.
도 9는 본 실시형태의 스케일러블 동화상 부호화 장치의 전체적인 구성이고, 도 10 및 도 11은 도 9에 도시된 예측 모드 탐색 후보 결정부(102)의 상세한 구성의 일례 및 다른 예를 나타낸다.
다음에, 이들 장치 구성도를 참조하여 본 실시형태의 스케일러블 동화상 부호화 장치에 대해 상세하게 설명한다.
본 실시형태의 스케일러블 동화상 부호화 장치는 확장 레이어에 대한 처리 장치로서, 기본 레이어에는 비스케일러블의 싱글 레이어 부호화 처리를 적용한다. 싱글 레이어 부호화 처리의 일례로는, 비특허문헌 2에서 든 SVC의 참조 인코더 JSVM의 기본 레이어 부분의 부호화 처리를 들 수 있다.
우선, 처음에 도 9를 참조하여 스케일러블 동화상 부호화 장치의 전체 구성에 대해 설명한다.
예측 모드 탐색 후보 초기값 기억부(101)는, 예측 모드 탐색 후보의 초기값을 읽어들이고 레지스터에 출력한다.
예측 모드 탐색 후보 결정부(102)는, 예측 모드 탐색 후보의 초기값을 읽어들이고, 최종적으로 탐색하는 예측 모드 탐색 후보를 결정한다. 다음에, 예측 모드 탐색 후보 결정부(102)는, 그 최종적으로 결정한 예측 모드 탐색 후보의 정보를 레지스터에 출력하여 최적 예측 모드 결정부(103)로 이동한다. 본 처리부의 상세한 구성에 대해서는 도 10 및 도 11을 이용하여 후술한다.
최적 예측 모드 결정부(103)는, 예측 모드 탐색 후보를 레지스터로부터 읽어들이고, 각 예측 모드 탐색 후보에 대해 탐색을 실행한다. 다음에, 최적 예측 모드 결정부(103)는, 부호화에 이용하는 최적 예측 모드를 하나 결정하고, 그 정보를 최적 예측 모드 기억부(104)에 출력한다. 최적 예측 모드의 결정 방법의 일례로서는, JSVM에서 행해지는 부호량과 부호화 왜곡의 선형합으로 표현되는 부호화 비용을 최소화하는 예측 모드를 최적으로 하는 방법을 들 수 있다.
예측 잔차 신호 생성부(105)는, 최적 예측 모드 기억부(104)로부터 부호화 대상 MB에서의 최적 예측 모드를 읽어들이고, 그 최적 예측 모드에서 움직임 보상을 하며, 예측 잔차 신호를 생성하여 버퍼에 출력한다.
예측 잔차 신호 부호화부(106)는, 부호화 대상 MB에서의 예측 잔차 신호를 버퍼로부터 읽어들이고, 그 예측 잔차 신호의 부호화를 행하여 부호화 데이터를 버퍼에 출력한다. 본 처리의 일례로 H.264/AVC의 참조 인코더 JM이나 비특허문헌 2에서 든 SVC의 참조 인코더 JSVM의 DCT, 양자화, 가변길이 부호화의 일련 처리의 적용을 생각할 수 있다.
모든 MB 완료 판정부(107)는, 모든 MB의 부호화가 완료되었는지의 판정 처리를 한다. 모든 MB의 부호화가 완료된 경우에는 부호화 처리를 종료하고 최종적인 부호화 데이터를 출력한다. 모든 MB의 부호화가 완료되지 않은 경우에는 부호화 대상 MB 갱신부(108)의 처리로 이동한다.
부호화 대상 MB 갱신부(108)는, 다음의 부호화 대상 MB로 이동하여 예측 모드 탐색 후보 결정부(102)의 처리를 한다.
다음에, 도 10을 참조하여 예측 모드 탐색 후보 결정부(102)의 상세한 구성의 일례에 대해 설명한다.
예측 모드 탐색 후보 좁힘 대상 MB 지정 정보 기억부(201)는, 예측 모드 탐색 후보의 좁힘을 행하는 MB인지에 대해 지정하는 정보를 읽어들이고 레지스터에 출력한다.
예측 모드 탐색 후보 좁힘 대상 MB 판정부(202)는, 예측 모드 탐색 후보 좁힘 대상 MB 지정 정보 기억부(201)로부터 예측 모드 탐색 후보의 좁힘을 행하는 MB의 지정 정보를 읽어들이고, 부호화 대상 MB가 좁힘을 행하는 MB인지의 판정 처리를 한다. 부호화 대상 MB가 좁힘을 행하는 MB인 경우에는, 예측 모드 대응률 표 생성부(206)의 처리로 이동한다. 부호화 대상 MB가 좁힘을 행하지 않는 MB인 경우에는, 예측 모드 탐색 후보의 초기값을 최종적인 예측 모드 탐색 후보로서 결정하고 출력한다.
예측 모드 대응률 계산 대상 프레임 지정 정보 기억부(203)는, 예측 모드 대응률의 계산 대상이 되는 부호화 완료한 프레임의 지정 정보를 읽어들이고 레지스터에 출력한다.
대상 프레임 확장 레이어 최적 예측 모드 기억부(204)는, 예측 모드 대응률 계산 대상 프레임 지정 정보 기억부(203)가 읽어들인 지정 정보가 가리키는 예측 모드 대응률의 계산 대상이 되는 프레임에 대해, 부호화 대상 레이어에서의 최적 예측 모드 정보를 읽어들이고 레지스터에 출력한다.
대상 프레임 직하 레이어 최적 예측 모드 기억부(205)는, 예측 모드 대응률 계산 대상 프레임 지정 정보 기억부(203)가 읽어들인 지정 정보가 가리키는 예측 모드 대응률의 계산 대상이 되는 프레임에 대해, 부호화 대상 레이어의 직하 레이어에서의 최적 예측 모드 정보를 읽어들이고 레지스터에 출력한다.
예측 모드 대응률 표 생성부(206)는, 대상 프레임 확장 레이어 최적 예측 모드 기억부(204)로부터 예측 모드 대응률의 계산 대상 프레임의 부호화 대상 레이어에서의 최적 예측 모드 정보를 읽어들인다. 또, 예측 모드 대응률 표 생성부(206)는, 대상 프레임 직하 레이어 최적 예측 모드 기억부(205)로부터 예측 모드 대응률의 계산 대상 프레임의 부호화 대상 레이어의 직하 레이어에서의 최적 예측 모드 정보를 읽어들이고, 대응하는 매크로 블록과 서브 매크로 블록 간에서의 최적 예측 모드의 대응률(발생률)을 계산하여, 예측 모드 대응률 표로서 예측 모드 대응률 표 기억부(207)에 출력한다.
예측 모드 탐색 후보 좁힘 문턱값 기억부(208)는, 예측 모드 탐색 후보 좁힘 문턱값을 읽어들이고 레지스터에 출력한다.
예측 모드 대응률 표 문턱값 비교부(209)는, 예측 모드 대응률 표 기억부(207)로부터 예측 모드 대응률 표를 읽어들임과 동시에, 예측 모드 탐색 후보 좁힘 문턱값 기억부(208)로부터 예측 모드 탐색 후보 좁힘 문턱값을 읽어들인다. 다음에, 예측 모드 대응률 표 문턱값 비교부(209)는, 직하 SMB의 최적 예측 모드에 대응되는 부호화 대상 MB의 최적 예측 모드의 발생 확률을 조사하고, 발생 확률이 예측 모드 탐색 후보 좁힘 문턱값 이상인 예측 모드만을 최종적인 예측 모드 탐색 후보로서 설정하여 출력한다.
이와 같이 하여, 도 10에 도시된 장치 구성에서는, 도 3에 도시된 바와 같은 데이터 구조를 갖는 예측 모드 대응률 표에 기초하여, 도 4에 도시된 바와 같은 형태로 예측 모드 탐색 후보를 좁히도록 처리한다.
다음에, 도 11을 참조하여 예측 모드 탐색 후보 결정부(102)의 상세한 구성의 다른 일례에 대해 설명한다.
예측 모드 탐색 후보 좁힘 대상 MB 지정 정보 기억부(301)는, 예측 모드 탐색 후보의 좁힘을 행하는 MB인지에 대해 지정하는 정보를 읽어들이고 레지스터에 출력한다.
예측 모드 탐색 후보 좁힘 대상 MB 판정부(302)는, 예측 모드 탐색 후보 좁힘 대상 MB 지정 정보 기억부(301)로부터 예측 모드 탐색 후보의 좁힘을 행하는 MB의 지정 정보를 읽어들이고, 부호화 대상 MB가 좁힘을 행하는 MB인지의 판정 처리를 한다. 부호화 대상 MB가 좁힘을 행하는 MB인 경우에는, 예측 모드 대응률 표 생성부(306)의 처리로 이동한다. 부호화 대상 MB가 좁힘을 행하지 않는 MB인 경우에는, 예측 모드 탐색 후보의 초기값을 최종적인 예측 모드 탐색 후보로서 결정하여 출력한다.
예측 모드 대응률 계산 대상 프레임 지정 정보 기억부(303)는, 예측 모드 대응률의 계산 대상이 되는 부호화 완료한 프레임의 지정 정보를 읽어들이고 레지스터에 출력한다.
대상 프레임 확장 레이어 최적 예측 모드 기억부(304)는, 예측 모드 대응률 계산 대상 프레임 지정 정보 기억부(303)가 읽어들인 지정 정보가 가리키는 예측 모드 대응률의 계산 대상이 되는 프레임에 대해, 부호화 대상 레이어에서의 최적 예측 모드 정보를 읽어들이고 레지스터에 출력한다.
대상 프레임 직하 레이어 최적 예측 모드 기억부(305)는, 예측 모드 대응률 계산 대상 프레임 지정 정보 기억부(303)가 읽어들인 지정 정보가 가리키는 예측 모드 대응률의 계산 대상이 되는 프레임에 대해, 부호화 대상 레이어의 직하 레이어에서의 최적 예측 모드 정보를 읽어들이고 레지스터에 출력한다.
예측 모드 대응률 표 생성부(306)는, 대상 프레임 확장 레이어 최적 예측 모드 기억부(304)로부터 예측 모드 대응률의 계산 대상 프레임의 부호화 대상 레이어에서의 최적 예측 모드 정보를 읽어들인다. 또, 예측 모드 대응률 표 생성부(306)는, 대상 프레임 직하 레이어 최적 예측 모드 기억부(305)로부터 예측 모드 대응률의 계산 대상 프레임의 부호화 대상 레이어의 직하 레이어에서의 최적 예측 모드 정보를 읽어들인다. 다음에, 예측 모드 대응률 표 생성부(306)는, 대응하는 매크로 블록과 서브 매크로 블록 간에서의 최적 예측 모드의 대응률(발생률)을 계산하여, 예측 모드 대응률 표로서 예측 모드 대응률 표 기억부(307)에 출력한다.
발생률 최대 예측 모드 조사부(308)는, 예측 모드 대응률 표 기억부(307)로부터 예측 모드 대응률 표를 읽어들이고, 직하 SMB의 최적 예측 모드에 대한 부호화 대상 MB의 최적 예측 모드의 발생 확률을 조사하고, 발생 확률이 최대인 예측 모드를 최종적인 예측 모드 탐색 후보로서 설정하여 출력한다.
이와 같이 하여, 도 11에 도시된 장치 구성에서는, 도 3에 도시된 바와 같은 데이터 구조를 갖는 예측 모드 대응률 표에 기초하여, 도 5에 도시된 바와 같은 형태로 예측 모드 탐색 후보를 좁히도록 처리한다.
다음에, 본 발명의 유효성을 검증하기 위해 행한 실험의 결과에 대해 설명한다.
이 실험은, JSVM 9.12.2에 본 실시형태를 실장하고, JSVM과 본 실시형태를 비교함으로써 행하였다. 영상은 704×576 크기의 SVC 테스트 영상 "City" 및 "Soccer"와, 1920×1024 크기의 테스트 영상 "Pedestrian" 및 "Station"을 이용하였다. 상기 해상도의 영상은 확장 레이어에의 입력으로 하고, 기본 레이어에는 그 종횡 절반의 화소수 해상도의 영상을 입력하였다. 부호화 매수는 129장, QP(Quantization Parameter:양자화 변수)는 22, 27, 32, 37의 4개를 시험하고, 두 레이어에서 같은 값을 이용하였다. GOP(Group of Pictures: 영상 그룹) 구조는 IBBBP의 계층적 B픽처 구조로 하고, 16장마다 I를 넣었다. 대응률 산출 프레임 및 고속 모드 선택 프레임은, 도 12에 도시된 바와 같이 최하위 시간 레벨에 속하는 2장의 프레임을 각각 적용하였다. 부호화 시간 측정에는 Xeon 3.16GHz의 CPU를 이용하였다.
하기의 표 1에 부호량 증가율과 부호화 시간 삭감율의 실험 결과를 나타낸다.
부호화 시간 삭감율 부호량 증가율
City 22.97% 0.62%
Soccer 21.63% 0.80%
Pedestrian 18.80% 0.77%
Station 21.46% 0.11%
여기서, 부호량 증가율은, 각 QP에서의 부호량과 PSNR(Peak Signal to Noise Ratio)의 플롯 4점 간의 근사 곡선을 구분적 삼차 에르미트 다항식 보간법 (Piecewise Cubic Hermite Polynominal Interpolation)에 의해 생성하고, 비교 대상의 2데이터의 공통 구간에서의 부호량의 평균 차분값을 당 증가율로서 정하였다. 또한, 부호화 시간 삭감율은 각 QP에서의 부호화 시간 삭감율의 평균값이다.
도 13에 "Pedestrian" 및 "Station" 화상의 부호화에서의 부호화 특성을 도시하고, 도 14에 "Pedestrian"의 부호화에서의 부호화 시간의 변화의 모습을 도시한다.
이상에 나타내는 실험 결과에 의해, 본 발명은 해상도·영상에 의하지 않고 부호량 증가율을 1% 미만으로 억제하면서 20% 전후의 부호화 시간 삭감율을 실현하는 것을 검증할 수 있었다.
본 발명은 상술한 실시형태에 한정되는 것은 아니다. 예를 들면, 상술한 실시형태에서는, 기본 레이어 및 확장 레이어라는 계층 레이어 구성에 대해 본 발명을 적용한 예를 설명하였지만, 본 발명은 이러한 계층 레이어 구성에 적용이 한정되는 것은 아니다.
본 발명은, 레이어 구조에 의해 스케일러빌리티를 실현하는 스케일러블 동화상 부호화에 적용할 수 있는 것이고, 본 발명을 적용함으로써 부호화 시간을 삭감할 수 있다.
101 예측 모드 탐색 후보 초기값 기억부
102 예측 모드 탐색 후보 결정부
103 최적 예측 모드 결정부
104 최적 예측 모드 기억부
105 예측 잔차 신호 생성부
106 예측 잔차 신호 부호화부
107 모든 MB 완료 판정부
108 부호화 대상 MB 갱신부
201 예측 모드 탐색 후보 좁힘 대상 MB 지정 정보 기억부
202 예측 모드 탐색 후보 좁힘 대상 MB 판정부
203 예측 모드 대응률 계산 대상 프레임 지정 정보 기억부
204 대상 프레임 확장 레이어 최적 예측 모드 기억부
205 대상 프레임 직하 레이어 최적 예측 모드 기억부
206 예측 모드 대응률 표 생성부
207 예측 모드 대응률 표 기억부
208 예측 모드 탐색 후보 좁힘 문턱값 기억부
209 예측 모드 대응률 표 문턱값 비교부
301 예측 모드 탐색 후보 좁힘 대상 MB 지정 정보 기억부
302 예측 모드 탐색 후보 좁힘 대상 MB 판정부
303 예측 모드 대응률 계산 대상 프레임 지정 정보 기억부
304 대상 프레임 확장 레이어 최적 예측 모드 기억부
305 대상 프레임 직하 레이어 최적 예측 모드 기억부
306 예측 모드 대응률 표 생성부
307 예측 모드 대응률 표 기억부
308 발생률 최대 예측 모드 조사부

Claims (10)

  1. 동화상을 스케일러블하게 부호화하는 스케일러블 동화상 부호화 방법으로서,
    사용 가능으로서 정의된 예측 모드의 사용에 제한을 만들지 않고 행한 스케일러블 부호화에 있어서 선택된 최적 예측 모드의 정보에 기초하여, 상위 레이어와 하위 레이어의 공간적으로 대응하는 블록에 대해 선택해야 할 최적 예측 모드의 조합의 발생률을 구하고, 상기 선택된 최적 예측 모드와 상기 선택해야 할 최적 예측 모드의 조합과 상기 발생률의 대응 관계에 대해 기술하는 대응표를 생성하는 과정;
    상기 상위 레이어의 블록을 부호화하는 경우에, 상기 하위 레이어의 상기 공간적으로 대응하는 블록의 부호화에서의 상기 선택된 최적 예측 모드의 정보를 취득하는 과정;
    상기 취득하는 과정에서 취득한 상기 선택된 최적 예측 모드의 정보와 상기 대응표에 기술된 상기 발생률의 정보에 기초하여, 상기 대응표에 기술된 상기 조합 중에서 유효한 조합을 추출하고, 추출된 상기 유효한 조합이 갖는 상기 상위 레이어의 최적 예측 모드를 상기 상위 레이어의 블록의 부호화에 있어서 탐색해야 할 예측 모드 탐색 후보로서 결정하는 과정;을 구비하는 스케일러블 동화상 부호화 방법.
  2. 동화상을 스케일러블하게 부호화하는 스케일러블 동화상 부호화 방법으로서,
    사용 가능으로서 정의된 예측 모드의 사용에 제한을 만들지 않고 행한 스케일러블 부호화에 있어서 선택된 최적 예측 모드의 정보에 기초하여, 상위 레이어와 하위 레이어의 공간적으로 대응하는 블록에 대해 선택해야 할 최적 예측 모드의 조합의 발생률을 구하고, 상기 선택된 최적 예측 모드와 상기 선택해야 할 최적 예측 모드의 조합과 상기 발생률의 대응 관계에 대해 기술하는 대응표를 생성하는 과정;
    상기 발생률의 값에 기초하여, 상기 대응표에 기술된 상기 선택된 최적 예측 모드와 상기 선택해야 할 최적 예측 모드의 조합을 좁힘으로써 유효한 최적 예측 모드의 조합을 추출하고, 추출된 상기 유효한 최적 예측 모드의 조합에 대해 기술하는 예측 모드 대응 정보를 생성하는 과정;
    상기 상위 레이어의 블록을 부호화하는 경우에, 상기 하위 레이어의 상기 공간적으로 대응하는 블록의 부호화에서의 상기 선택된 최적 예측 모드의 정보를 취득하는 과정;
    상기 취득하는 과정에서 취득한 상기 선택된 최적 예측 모드의 정보를 키로 하여 상기 예측 모드 대응 정보를 참조함으로써, 상기 상위 레이어의 블록의 부호화에 있어서 탐색해야 할 예측 모드 탐색 후보를 결정하는 과정;을 구비하는 스케일러블 동화상 부호화 방법.
  3. 제2항에 있어서,
    상기 예측 모드 대응 정보를 생성하는 과정에서는, 소정의 문턱값보다도 큰 값을 나타내는 발생률을 갖는 상기 조합을 유효한 것으로서 추출하는 스케일러블 동화상 부호화 방법.
  4. 제2항에 있어서,
    상기 예측 모드 대응 정보를 생성하는 과정에서는, 상기 하위 레이어에 대해 동일한 최적 예측 모드를 갖는 최적 예측 모드의 조합 중에서 가장 큰 값을 나타내는 발생률을 갖는 상기 조합을 유효한 것으로서 추출하거나 혹은 큰 값을 나타내는 발생률의 순으로 선택되는 소정의 개수의 최적 예측 모드의 조합을 유효한 것으로서 추출하는 스케일러블 동화상 부호화 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 대응표를 이용하여 실행되는 예측 모드의 사용에 제한을 만드는 스케일러블 부호화와, 상기 대응표를 이용하지 않고 실행되는 예측 모드의 사용에 제한을 만들지 않은 스케일러블 부호화를 교대로 반복하도록 제어하는 과정을 구비하는 스케일러블 동화상 부호화 방법.
  6. 동화상을 스케일러블하게 부호화하는 스케일러블 동화상 부호화 장치로서,
    사용 가능으로서 정의된 예측 모드의 사용에 제한을 만들지 않고 행한 스케일러블 부호화에 있어서 선택된 최적 예측 모드의 정보에 기초하여, 상위 레이어와 하위 레이어의 공간적으로 대응하는 블록에 대해 선택해야 할 최적 예측 모드의 조합의 발생률을 구하고, 상기 선택된 최적 예측 모드와 상기 선택해야 할 최적 예측 모드의 조합과 상기 발생률의 대응 관계에 대해 기술하는 대응표를 생성하는 생성부;
    상기 상위 레이어의 블록을 부호화하는 경우에, 상기 하위 레이어의 상기 공간적으로 대응하는 블록의 부호화에서의 상기 선택된 최적 예측 모드의 정보를 취득하는 취득부;
    상기 취득부에서 취득한 상기 선택된 최적 예측 모드의 정보와 상기 대응표에 기술된 상기 발생률의 정보에 기초하여, 상기 대응표에 기술된 상기 조합 중에서 유효한 조합을 추출하고, 추출된 상기 유효한 조합이 갖는 상기 상위 레이어의 최적 예측 모드를 상기 상위 레이어의 블록의 부호화에 있어서 탐색해야 할 예측 모드 탐색 후보로서 결정하는 결정부;를 구비하는 스케일러블 동화상 부호화 장치.
  7. 동화상을 스케일러블하게 부호화하는 스케일러블 동화상 부호화 장치로서,
    사용 가능으로서 정의된 예측 모드의 사용에 제한을 만들지 않고 행한 스케일러블 부호화에 있어서 선택된 최적 예측 모드의 정보에 기초하여, 상위 레이어와 하위 레이어의 공간적으로 대응하는 블록에 대해 선택해야 할 최적 예측 모드의 조합의 발생률을 구하고, 상기 선택된 최적 예측 모드와 상기 선택해야 할 최적 예측 모드의 조합과 상기 발생률의 대응 관계에 대해 기술하는 대응표를 생성하는 대응표 생성부;
    상기 발생률의 값에 기초하여, 상기 대응표에 기술된 상기 선택된 최적 예측 모드와 상기 선택해야 할 최적 예측 모드의 조합을 좁힘으로써 유효한 최적 예측 모드의 조합을 추출하고, 추출된 상기 유효한 최적 예측 모드의 조합에 대해 기술하는 예측 모드 대응 정보를 생성하는 예측 모드 대응 정보 생성부;
    상기 상위 레이어의 블록을 부호화하는 경우에, 상기 하위 레이어의 상기 공간적으로 대응하는 블록의 부호화에서의 상기 선택된 최적 예측 모드의 정보를 취득하는 취득부;
    상기 취득부에서 취득된 상기 선택된 최적 예측 모드의 정보를 키로 하여 상기 예측 모드 대응 정보를 참조함으로써, 상기 상위 레이어의 블록의 부호화에 있어서 탐색해야 할 예측 모드 탐색 후보를 결정하는 결정부;를 구비하는 스케일러블 동화상 부호화 장치.
  8. 제6항 또는 제7항에 있어서,
    상기 대응표를 이용하여 실행되는 예측 모드의 사용에 제한을 만드는 스케일러블 부호화와, 상기 대응표를 이용하지 않고 실행되는 예측 모드의 사용에 제한을 만들지 않은 스케일러블 부호화를 교대로 반복하도록 제어하는 제어부를 구비하는 스케일러블 동화상 부호화 장치.
  9. 삭제
  10. 제1항 내지 제4항 중 어느 한 항에 기재된 스케일러블 동화상 부호화 방법을 컴퓨터에 실행시키기 위한 스케일러블 동화상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020117008317A 2008-10-22 2009-10-21 스케일러블 동화상 부호화 방법, 스케일러블 동화상 부호화 장치, 스케일러블 동화상 부호화 프로그램 및 그 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 KR101260369B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2008-271513 2008-10-22
JP2008271513 2008-10-22
PCT/JP2009/005512 WO2010047099A1 (ja) 2008-10-22 2009-10-21 スケーラブル動画像符号化方法、スケーラブル動画像符号化装置、スケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
KR20110069065A KR20110069065A (ko) 2011-06-22
KR101260369B1 true KR101260369B1 (ko) 2013-05-07

Family

ID=42119152

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117008317A KR101260369B1 (ko) 2008-10-22 2009-10-21 스케일러블 동화상 부호화 방법, 스케일러블 동화상 부호화 장치, 스케일러블 동화상 부호화 프로그램 및 그 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체

Country Status (10)

Country Link
US (1) US8509302B2 (ko)
EP (1) EP2339853A4 (ko)
JP (1) JP5225388B2 (ko)
KR (1) KR101260369B1 (ko)
CN (1) CN102187677B (ko)
BR (1) BRPI0920213A2 (ko)
CA (1) CA2740467C (ko)
RU (1) RU2488235C2 (ko)
TW (1) TWI401967B (ko)
WO (1) WO2010047099A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5038367B2 (ja) * 2009-07-27 2012-10-03 日本電信電話株式会社 スケーラブル動画像符号化方法、スケーラブル動画像符号化装置およびスケーラブル動画像符号化プログラム
WO2012113197A1 (zh) * 2011-02-24 2012-08-30 中兴通讯股份有限公司 一种预测模式的编码或解码方法及装置
TWI463876B (zh) * 2011-05-17 2014-12-01 Alpha Imaging Technology Corp 影像壓縮方法
US9654785B2 (en) 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
CN103237212B (zh) * 2013-04-08 2016-04-13 浙江大学 一种生成增强层块单元编码信息参考队列的方法及装置
US20150189269A1 (en) * 2013-12-30 2015-07-02 Google Inc. Recursive block partitioning
WO2016140090A1 (ja) * 2015-03-04 2016-09-09 ソニー株式会社 画像符号化装置および方法
US11166014B2 (en) 2017-12-14 2021-11-02 Electronics And Telecommunications Research Institute Image encoding and decoding method and device using prediction network
WO2019117645A1 (ko) * 2017-12-14 2019-06-20 한국전자통신연구원 예측 네트워크를 사용하는 영상의 부호화 및 복호화를 위한 방법 및 장치
CN114143536B (zh) * 2021-12-07 2022-09-02 重庆邮电大学 一种shvc空间可伸缩帧的视频编码方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5768537A (en) 1996-02-22 1998-06-16 International Business Machines Corporation Scalable MPEG2 compliant video encoder
JP3371191B2 (ja) * 1996-03-22 2003-01-27 ソニー株式会社 画像信号の符号化方法及び復号方法、並びに、符号化装置及び復号装置
US6031575A (en) 1996-03-22 2000-02-29 Sony Corporation Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium
JP2005184241A (ja) 2003-12-17 2005-07-07 Kddi Corp 動画像フレーム内モード判定方式
JP4199707B2 (ja) 2004-07-16 2008-12-17 日本電信電話株式会社 符号化予測モード決定装置，符号化予測モード決定方法，符号化予測モード決定プログラムおよびその記録媒体
KR100679025B1 (ko) * 2004-11-12 2007-02-05 삼성전자주식회사 다 계층 기반의 인트라 예측 방법, 및 그 방법을 이용한비디오 코딩 방법 및 장치
US20060153295A1 (en) 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
EP1952631A4 (en) 2005-09-07 2012-11-21 Vidyo Inc SYSTEM AND METHOD FOR SCALABLE AND DECELERATING VIDEO CONFERENCES WITH SCALABLE VIDEO CODING
KR100763196B1 (ko) * 2005-10-19 2007-10-04 삼성전자주식회사 어떤 계층의 플래그를 계층간의 연관성을 이용하여부호화하는 방법, 상기 부호화된 플래그를 복호화하는방법, 및 장치
BRPI0619193A2 (pt) * 2005-11-30 2011-09-20 Toshiba Kk Toshiba Corp método de codificação de imagem / decodificação de imagem, aparelho de codificação de imagem / decodificação de imagem
US20070160137A1 (en) * 2006-01-09 2007-07-12 Nokia Corporation Error resilient mode decision in scalable video coding
CN100584026C (zh) 2006-03-27 2010-01-20 华为技术有限公司 交织模式下的视频分层编码方法
JP5065086B2 (ja) 2007-03-28 2012-10-31 京セラ株式会社 携帯通信端末およびその制御方法
US20110261876A1 (en) * 2008-10-17 2011-10-27 Yih Han Tan Method for encoding a digital picture, encoder, and computer program element

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hung-Chih Lin et al. "Layer-Adaptive Mode Decision and Motion Search for Scalable Video Coding with Combined Coarse Granular Scalability(CGS) and Temporal Scalability, IEEE ICIP 2007,vol.2,p.289-292.
Seon-Tae Kim et al.,"Fast mode decision algorithm for spatial and SNR scalable video coding," IEEE International Symposium on Circuits and Systems (ISCAS 2009), 24 May 2009, pages 872 to 875

Also Published As

Publication number Publication date
RU2011114296A (ru) 2012-11-27
CA2740467A1 (en) 2010-04-29
CN102187677B (zh) 2013-08-28
BRPI0920213A2 (pt) 2020-12-01
JPWO2010047099A1 (ja) 2012-03-22
EP2339853A1 (en) 2011-06-29
RU2488235C2 (ru) 2013-07-20
TWI401967B (zh) 2013-07-11
TW201023651A (en) 2010-06-16
JP5225388B2 (ja) 2013-07-03
WO2010047099A1 (ja) 2010-04-29
CN102187677A (zh) 2011-09-14
EP2339853A4 (en) 2011-08-31
US20110194599A1 (en) 2011-08-11
US8509302B2 (en) 2013-08-13
KR20110069065A (ko) 2011-06-22
CA2740467C (en) 2013-08-20

Similar Documents

Publication Publication Date Title
KR101260369B1 (ko) 스케일러블 동화상 부호화 방법, 스케일러블 동화상 부호화 장치, 스케일러블 동화상 부호화 프로그램 및 그 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
JP6242984B2 (ja) 動画符号化装置
KR102595689B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US9088802B2 (en) Video encoding method and apparatus, video decoding method and apparatus, programs therefor, and storage media for storing the programs
TWI744613B (zh) 在合併模式中對視頻資料解碼的圖像解碼設備、在合併模式中對視頻資料編碼的圖像編碼設備及儲存編碼視頻資訊的電腦可讀取媒體
JP5672302B2 (ja) 動画像復号装置、動画像復号方法及び動画像符号化装置ならびに動画像符号化方法
KR20180061041A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN112369021A (zh) 用于吞吐量增强的图像编码/解码方法和设备以及存储比特流的记录介质
JP5038367B2 (ja) スケーラブル動画像符号化方法、スケーラブル動画像符号化装置およびスケーラブル動画像符号化プログラム
CN113841398A (zh) 一种基于子块划分的图像编码/解码方法及装置
JP2009049969A (ja) 動画像符号化装置及び方法並びに動画像復号化装置及び方法
JP6528635B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
CN116325735A (zh) 用于针对参考帧进行自适应重新排序的方法和装置
CN116684578A (zh) 基于控制点运动矢量的仿射模型优化

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee