KR101103724B1 - 동화상 스케일러블 부호화 방법 및 복호 방법, 그 장치, 그 프로그램 및 프로그램을 기록한 기록 매체 - Google Patents

동화상 스케일러블 부호화 방법 및 복호 방법, 그 장치, 그 프로그램 및 프로그램을 기록한 기록 매체 Download PDF

Info

Publication number
KR101103724B1
KR101103724B1 KR1020097026698A KR20097026698A KR101103724B1 KR 101103724 B1 KR101103724 B1 KR 101103724B1 KR 1020097026698 A KR1020097026698 A KR 1020097026698A KR 20097026698 A KR20097026698 A KR 20097026698A KR 101103724 B1 KR101103724 B1 KR 101103724B1
Authority
KR
South Korea
Prior art keywords
image region
layer
signal
referenced
weighting coefficient
Prior art date
Application number
KR1020097026698A
Other languages
English (en)
Other versions
KR20100022073A (ko
Inventor
가즈야 하야세
유키히로 반도
세이시 다카무라
가즈토 가미쿠라
요시유키 야시마
Original Assignee
니폰덴신뎅와 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰덴신뎅와 가부시키가이샤 filed Critical 니폰덴신뎅와 가부시키가이샤
Publication of KR20100022073A publication Critical patent/KR20100022073A/ko
Application granted granted Critical
Publication of KR101103724B1 publication Critical patent/KR101103724B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

낮은 공간 해상도의 직하(直下) 레이어 신호로부터 높은 공간 해상도의 상위 레이어 신호를 보간 처리를 사용하여 예측하여 부호화하는 동화상 스케일러블 부호화 방법. 소정 단위의 화상 영역마다 상위 레이어의 부호화 대상 화상 영역과 피참조 화상 영역간의 움직임을 추정하는 탐색 처리시에 직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역과 피참조 화상 영역간의 밝기 변화에 기초한 제1 가중 계수를 산출하고, 상기 피참조 화상 영역의 복호 신호를 상기 제1 가중 계수에 의해 보정한 것을 움직임 추정에서의 추정 신호로 하여 움직임을 추정하고 움직임 벡터를 산출한다. 그 움직임 벡터가 가리키는 피참조 화상 영역과, 직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역간의 밝기 변화에 기초한 제2 가중 계수를 산출하고, 해당 피참조 화상 영역의 복호 신호를 상기 제2 가중 계수로 보정한 것을 움직임 보상에서의 보상 신호로 하고, 상기 부호화 대상 화상 영역의 예측 신호로 한다.

Description

동화상 스케일러블 부호화 방법 및 복호 방법, 그 장치, 그 프로그램 및 프로그램을 기록한 기록 매체{Moving picture scalable encoding and decoding method, their devices, their programs, and recording media storing the programs}
본 발명은 동화상 스케일러블 부호화 방법 및 복호 방법과 그 장치, 프로그램과 그 프로그램의 기록 매체에 관한 것이다.
본원은 2007년 7월 2일에 출원된 일본특원2007-174161호에 기초하여 우선권을 주장하고 그 내용을 여기에 원용한다.
일반적인 동화상 부호화 방식으로는, 프레임간의 화소값 차분 최소화에 기초한 블록 매칭에 의해 움직임을 예측하여 부호화 성능의 향상을 꾀하였다. 그러나 페이드와 같이 밝기가 시간적으로 변화되는 화상에서는, 밝기 변화량만큼 움직임 예측의 예측 잔차가 확대되어 부호화 성능이 저하된다.
그래서 비특허문헌 1에 나타내는 H.264/AVC에서는, 움직임 예측의 참조 픽쳐에 적응적으로 가중 계수를 곱하는 가중 움직임 예측을 수행하고 있다. 이 가중 움직임 예측에 의해 시간적인 밝기 변화를 보정한 예측 참조 신호를 구성하여 부호화 성능을 향상시켰다.
H.264/AVC의 가중 움직임 예측에는, 가중 계수를 부호화하여 전송하는 Explicit모드와, 인코더와 디코더에서 같은 가중 계수를 참조 프레임의 정보로부터 간접적으로 생성하는 Implicit모드의 2가지 계수 전송 모드가 준비되어 있다. P슬라이스 및 B슬라이스에서의 가중 움직임 예측 종류와 예측 방법을 표 1에 나타낸다.
[표 1]
표 1: H.264/AVC에서의 가중 움직임 예측의 종류와 그 방법
타입 예측 종류 예측 신호 계수의 전송
P슬라이스 - z=w0·y0+d0 w0,d0를 전송(Explicit)
B슬라이스 L0/L1 예측 z=w0·y0+d0(L0 예측)
z=w1·y1+d1(L1 예측)		 w0,d0,w1,d1을 전송(Explicit)
쌍예측 z=w0·y0+w1·y1+d
(d=1/2(d0+d1))		 w0,d0,w1,d1을 전송(Explicit)
z=w0·y0+w1·y1+d 참조 픽처로부터의 거리에
따라 산출(Implicit)
이 표 1에서 z는 가중 움직임 예측 신호, y,y0,y1은 가중 움직임 예측 참조 신호, w,w0,w1,d,d0,d1은 가중 계수를 가리키고 있다. 가중 움직임 예측의 스위칭과 계수 전송 모드의 선택은 슬라이스 단위로 실행된다.
도 1은, H.264/AVC에서의 가중 움직임 예측(Implicit모드)을 설명하는 도면이다. Implicit모드는, B슬라이스의 쌍예측인 경우에만 사용되고, 인코더 및 디코더에서는, 도 1과 같이 하여 가중 계수를 생성한다. tb,td는 프레임간 거리이다.
부호화 대상 프레임과 2장의 피참조 프레임에 걸친 밝기 변화가 선형이라고 가정하고, 비례 계수w0,w1을 참조 픽쳐로부터의 거리에 따라 산출한다. 오프셋 계수 d는 0으로 한다.
W0=1-W1
W1=tb/td
d-0
도 1은 참조 픽쳐로부터의 거리에 따른 내분(內分)에 의한 비례 계수 산출예인데, 외분(外分)의 경우도 동일하게 수행할 수 있다. 밝기가 선형으로 변화되는 화상이라면, Implicit모드라 해도 적절한 가중 계수를 산출할 수 있기 때문에 계수 정보에 필요한 부호량을 절약할 수 있다.
현재, 비특허문헌 2에 나타내는 ISO와 ITU-T의 합동 단체인 JVT로 대처하고 있는 H.264/AVC의 스케일러블 확장 방식JSVC에서도, 상기에 나타낸 H.264/AVC와 같은 가중 움직임 예측이 받아들여지고 있다.
비특허문헌 3에 나타내는 JSVC의 참조 인코더JSVM(프로그램)에서도, 표 1에 나타낸 가중 움직임 예측을 수행하였다.
또 동화상의 대국적인 휘도 변화를 검출하여 휘도 보상을 하는 기술로서, 특허문헌 1에 기재된 기술이 알려져 있다. 이 특허문헌 1에 기재된 기술에서는, 화면 전체의 대국적인 휘도 변화량과, 소영역마다 휘도 변화 보상을 할지 여부의 판정을 나타내는 플래그를 사용함으로써 밝기의 변화가 화면내에서 한결같지 않은 경우에 대응하고 있다.
비특허문헌 1: ITU-T: "Advanced video coding for generic audiovisual services", ITU-T Rec, H.264, pp.129-132,2003.
비특허문헌 2: T.Wiegand, G.Sullivan, J.Reichel, H.Schwarz and M.Wien: "Joint Draft 9 of SVC Amendment", ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-V201, pp.166-170, 2006.
비특허문헌 3: J.Reichel, H.Schwarz and M.Wien: "Joint Scalable Video Model JSVM-8.0", ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-U202, 2006.
특허문헌 1: 일본특개평10-32824호 공보
상술한 바와 같이 H.264/AVC의 가중 움직임 예측은 슬라이스 단위로 실행된다. 따라서 슬라이스내의 일부에 밝기 변화가 발생하는 경우나 슬라이스내의 밝기 변화가 한결같지 않은 경우에는 H.264/AVC의 가중 움직임 예측의 예측 성능은 저하된다. 예를 들면, 이동 물체의 그림자 등에 의해 발생하는 밝기 변화 등이 상기에 해당하며 예측 성능이 저하된다.
만일 슬라이스보다 세밀한 매크로 블록 등의 단위로 가중 계수를 산출하여 가중 움직임 예측을 실행하고자 하면 Explicit모드에서는 가중 계수에 필요한 부호량이 엄청나게 커진다. 그러한 경우에는 Implicit모드에서 가중 계수를 산출하는 것이 바람직하다. 그러나 상술한 것처럼 H.264/AVC의 가중 움직임 예측 Implicit모드의 실장은 쌍예측을 하는 B슬라이스만으로 한정되어 있다.
또 이 가중 움직임 예측 Implicit모드에서 산출되는 가중 계수는 부호화 대상 프레임과 2장의 피참조 프레임에 걸친 밝기 변화가 선형이라는 가정에 기초한 것이므로 3프레임에 걸친 밝기의 시간적 변화가 비선형인 경우에는 적절한 가중 계수가 산출되지 않아 예측 성능은 저하된다. 비선형으로 밝기가 변화되는 페이드 화상이나 플래시를 포함한 플래시 화상과 같은 일시적으로 변화되는 화상 등이 상기에 해당한다. JSVC에서의 가중 움직임 예측은, H.264/AVC의 가중 움직임 예측이 그대로 실장되어 있기 때문에 상술한 것과 같은 문제에 직면한다.
또 상기 특허문헌 1에 기재되어 있는 기술에서는, 소영역마다 플래그의 정보를 전송할 필요가 있기 때문에 부호화 성능이 저하된다는 문제, 해당 소영역의 휘도 변화량이 크고 또한 대국적인 휘도 변화량과 동떨어지는 경우에도 해당 소영역에서의 휘도 변화를 보상할 수 없기 때문에 부호화 성능이 저하된다는 문제가 있었다.
본 발명은 상기 사정을 감안하여 이루어진 것으로서, 가장 낮은 공간 해상도를 가진 기본 레이어와, 그보다 높은 공간 해상도를 가진 하나 이상의 확장 레이어에 의해 구성되는 공간 스케일러블 부호화에서, 움직임 예측 피참조 프레임의 복호 신호와 부호화 대상 프레임의 직하 레이어의 복호 신호간의 시간적인 밝기 변화 정보에 기초한 가중 움직임 예측 가중 계수를 생성하여 가중 계수의 정보를 전송하지 않고 부호화기 및 복호기에서 같은 가중 계수를 사용한 가중 움직임 예측을 수행하는 스케일러블 부호화기 및 복호기의 설계 방법을 확립하는 것을 목적으로 한다.
본 발명의 가중 움직임 예측 순서를 이하에 기록한다.
가중 움직임 예측은, 가중 움직임 추정과 가중 움직임 보상 2개의 단계로 구성된다.
가중 움직임 추정이란, 처리 대상 프레임과 움직임 예측 참조 프레임간의 밝기 변화를 보정하면서 양프레임간의 움직임을 탐색하고, 탐색에 의해 검출된 움직임 정보를 움직임 벡터로서 출력하는 처리를 가리킨다.
가중 움직임 보상이란, 움직임 벡터 정보를 읽어들이고 그 움직임 벡터가 가리키는 앞선 신호값에 대해 밝기 변화 보정을 하고, 보정된 신호값을 처리 대상 프레임에서의 예측 신호로서 출력하는 처리를 가리킨다.
부호화 처리에서는, 가중 움직임 추정에 의해 움직임 벡터를 검출하고 그 움직임 벡터를 읽어들여 가중 움직임 보상을 실행한다.
한편, 복호 처리에서는 부호화 데이터를 복호하는 움직임 벡터를 읽어들여 가중 움직임 보상을 실행한다.
가중 계수의 산출은 임의의 화상 영역 단위로 할 수 있다. 예로서는, 프레임 단위, 슬라이스 단위, 매크로 블록 단위 등을 들 수 있다.
계수의 전송이 불필요하므로 가중 움직임 예측에 필요한 오버헤드는 어떤 화상 영역 단위라도 변하지 않는다. 따라서 작은 화상 영역 단위로 가중 계수를 산출할수록 가중 움직임 예측 예측 성능은 향상된다.
여기에서는, 매크로 블록 단위로 가중 계수를 산출하는 경우를 예로 들어 설명을 계속한다. 매크로 블록 단위가 아니더라도 같은 처리에 의해 가중 움직임 예측이 가능하다. 또 대상이 되는 신호와도 상관 없이 휘도 신호이든 색차 신호이든 동일하게 처리할 수 있다.
본 발명에 의해 임의의 국소 영역 단위로 가중 계수를 산출할 수 있기 때문에 이동 물체의 그림자 등에 의해 화상내의 일부 밝기가 변화되는 경우에도 가중 계수를 전송하지 않는 Implicit모드에 의해 고정밀도의 가중 움직임 예측을 실행할 수 있다.
또 종래 Explicit모드 뿐이었던 P슬라이스 및 B슬라이스의 L0/L1 예측인 경우에도 Implicit모드에 의해 가중 움직임 예측을 실행할 수 있다.
또 직하 레이어의 밝기 정보를 고려한 보정을 함으로써 플래시를 포함한 화상이나 비선형 변화의 페이드 화상과 같은 부호화/복호 처리 대상 프레임과 여러 개의 예측 참조 프레임간의 밝기 변화가 비선형인 화상에서도 Implicit모드에서 고정밀도의 가중 움직임 예측을 실행할 수 있다. 이상과 같은 가중 움직임 예측 성능 향상에 의해 부호화 효율의 향상을 기대할 수 있다.
도 1은 H.264/AVC에서의 가중 움직임 예측(Implicit모드)를 설명하는 도면이다.
도 2는 본 발명에 의한 가중 움직임 예측을 설명하는 도면이다.
도 3은 본 발명의 일 실시형태에 의한 부호화 처리의 흐름을 도시한 도면이다.
도 4는 본 발명의 일 실시형태에 의한 복호 처리의 흐름을 도시한 도면이다.
도 5는 부호화 처리에서의 가중 움직임 추정 처리의 흐름을 도시한 도면이다.
도 6은 부호화 및 복호 처리에서의 가중 움직임 보상 처리의 흐름을 도시한 도면이다.
도 7은 부호화 및 복호 처리에서의 가중 계수 산출 처리의 흐름을 도시한 도면이다.
도 8은 단계 S43(도 7)의 상세한 처리의 흐름을 도시한 도면이다.
도 9는 단계 S44(도 7)의 상세한 처리의 흐름을 도시한 도면이다.
도 10은 단계 S46(도 7)의 상세한 처리의 흐름을 도시한 도면이다.
도 11은 단계 S48(도 7)의 상세한 처리의 흐름을 도시한 도면이다.
도 12는 단계 S49(도 7)의 상세한 처리의 흐름을 도시한 도면이다.
도 13은 본 발명의 일 실시형태에 의한 부호화 장치의 구성예를 도시한 도면이다.
도 14는 본 발명의 일 실시형태에 의한 복호 장치의 구성예를 도시한 도면이다.
도 15는 가중 움직임 추정부의 장치 구성예를 도시한 도면이다.
도 16은 가중 움직임 보상부의 장치 구성예를 도시한 도면이다.
도 17은 가중 계수 산출부의 장치 구성예를 도시한 도면이다.
도 18은 쌍예측 제곱 오차 최소화 규범 가중 계수 보정 처리부의 장치 구성예를 도시한 도면이다.
도 19는 쌍예측 직류 성분 규범 가중 계수 보정 처리부의 장치 구성예를 도시한 도면이다.
도 20은 단일 프레임 예측 제곱 오차 최소화 규범 가중 계수 보정 처리부의 장치 구성예를 도시한 도면이다.
도 21은 단일 프레임 예측 직류 성분 규범 비례 계수 보정 처리부의 장치 구성예를 도시한 도면이다.
도 22는 단일 프레임 예측 직류 성분 규범 오프셋 보정 처리부의 장치 구성예를 도시한 도면이다.
도 23은 페이드 화상에서의 BD-bit의 변화(실험예)를 도시한 도면이다.
도 24는 페이드 화상에서의 평균 휘도값과 평균 오프셋 계수의 변화(실험예)를 도시한 도면이다.
도 25는 플래시 화상에서의 BD-bit의 변화(실험예)를 도시한 도면이다.
도 26은 플래시 화상에서의 평균 휘도값과 평균 오프셋 계수의 변화(실험예)를 도시한 도면이다.
<부호의 설명>
101 예측 방법 판정부
102 화면내 예측부
103 가중치 없음 움직임 예측부
104 레이어간 예측부
105 가중 움직임 추정부
106 가중 움직임 보상부
107 예측 잔차 신호 생성부
108 예측 잔차 신호 부호화부
109 복호부
110 해당 확장 레이어 복호 신호 기억부
111 직하 레이어 복호 신호 기억부
201 예측 모드 복호부
202 예측 모드 기억부
203 예측 방법 판정부
204 화면내 예측부
205 가중치 없음 움직임 예측부
206 레이어간 예측부
207 움직임 벡터 정보 복호부
208 움직임 벡터 정보 기억부
209 가중 움직임 보상부
210 직하 레이어 복호 신호 기억부
211 잔차 신호 복호부
212 잔차 신호 기억부
213 복호 신호 생성부
214 해당 확장 레이어 복호 신호 기억부
이하에 본 발명의 전형적인 처리에 대해서 설명하기로 한다.
[가중 움직임 추정]
가중 움직임 추정에서는 부호화 대상 프레임의 소정 단위의 화상 영역, 예를 들면 매크로 블록마다 추정 피참조 프레임내에서 정합되는 매크로 블록을 탐색한다.
이 탐색시, 탐색 대상 매크로 블록이 변경될 때마다 양 프레임의 해당 블록간 밝기 변화를 나타내는 가중 계수를 산출하고, 그 가중 계수로 탐색 대상 매크로 블록의 복호 신호를 보정한 것을 정합 판정을 위한 비교 신호로서 활용한다.
그리고 정합된다고 판정된 매크로 블록이 움직임 벡터의 참조처가 되어 움직임 보상에서의 피참조 매크로 블록이 된다.
정합 판정 수단의 일례로서는, 비특허문헌 1에 나타나 있는 부호량과 부호화 왜곡간의 라그랑주 비용 최소화에 의한 판정 수단을 들 수 있다.
[가중 움직임 보상]
가중 움직임 보상에서는, 우선 부호화/복호 대상 매크로 블록마다 그 매크로 블록이 가진 움직임 벡터 정보를 읽어들인다.
다음으로 그 움직임 벡터가 가리키는 앞선 피참조 매크로 블록과 부호화/복호 대상 매크로 블록간의 밝기 변화를 나타내는 가중 계수를 산출한다.
그리고 그 가중 계수로 피참조 매크로 블록의 복호 신호를 보정한 것을 부호화/복호 대상 매크로 블록에서의 예측 신호로서 활용한다.
[가중 계수의 산출 처리]
전형적으로는, 이하의 순서에 의해 스케일러블 부호화의 가중 움직임 추정 및 가중 움직임 보상에 사용하는 가중 계수를 산출한다.
종래의 Implicit모드에서는 하나의 레이어 내로 한정하여 시간적인 밝기 변화를 피참조 프레임으로부터의 거리에 따른 내삽 또는 외삽에 의해 추정하여 가중 계수를 산출하였다.
본 발명에서는 그 시간적인 밝기의 변화 추정에, 부호화/복호 대상의 레이어의 직하 레이어의 매크로 블록 복호 신호의 정보를 사용함으로써 그 추정 정밀도를 향상시킨다.
순서의 설명시 설명에 사용하는 기호를 정리한다. 해당 확장 레이어의 부호화/복호 처리 대상 프레임(이후, 보정 대상 프레임)을 f, P슬라이스 또는 B슬라이스에서의 L0예측 가중 움직임 추정/보상 피참조 프레임(이후, 피보정 프레임)을 f0, B슬라이스에서의 L1예측 피보정 프레임을 f1로 한다.
또 보정 대상 프레임 f와 같은 시각의 직하 레이어의 프레임을 g, 피보정 프레임 f0과 같은 시각의 직하 레이어의 프레임을 g0, 피보정 프레임 f1과 같은 시각의 직하 레이어의 프레임을 g1로 한다.
또 프레임 f에서의 부호화/복호 처리 대상 블록(이후, 보정 대상 블록)의 좌표(i,j)에 대입되는 예측 신호값을 z(i,j), 또 프레임 f0에서의 가중 움직임 추정/보상 피참조 블록(이후, 피보정 블록)의 좌표(i,j)에서의 복호 신호값을 y0(i,j)로 한다.
또 프레임 g에서의 프레임 f의 보정 대상 블록과 공간적 동일 위치에 위치하 는 블록의 좌표(i,j)에서의 복호 신호값을 x(i,j), 그 x(i,j)를 소정의 업샘플 필터를 사용하여 해당 확장 레이어의 해상도로 업샘플한 신호값을 x'(i,j)로 한다.
마찬가지로, 프레임 g에서의 프레임 f의 피보정 블록과 공간적으로 동일한 위치에 위치하는 블록의 좌표(i,j)에서의 복호 신호값을 x0(i,j), 그 x0(i,j)를 소정의 업샘플 필터를 사용하여 해당 확장 레이어의 해상도로 업샘플한 신호값을 x0'(i,j)로 한다.
y1(i,j),x1(i,j),x1'(i,j)의 부여 방법은 y0(i,j),x0(i,j),x0'(i,j)에 준한다.
이상을 도 2에 도시한다. 도 2는, 해당 확장 레이어와 직하 레이어의 해상도비가 종횡 모두 2:1인 경우의 도면이다. 해상도비가 2:1 이외인 경우에도 같은 처리가 가능하다.
또 프레임 f0에서의 피보정 블록의 직류 성분값을 Y0, 또 프레임 g에서의 프레임 f의 보정 대상 블록과 공간적 동일 위치에 위치하는 블록의 직류 성분값을 X라고 한다. 이들은, 도 2의 경우 다음과 같이 산출된다.
[수학식 1]
Figure 112009079040373-pct00001
[수학식 2]
Figure 112009079040373-pct00002
X0,X0',X1,X1',Y1의 부여 방법은,X 및 Y0에 준한다.
<<P슬라이스 및 L0/L1예측 B슬라이스에서의 가중 계수의 산출 방법>>
P슬라이스 및 L0/L1예측을 하는 B슬라이스와 같은 단일 프레임 예측의 경우, 예측 신호값 z(i,j)는 이하와 같이 하여 산출된다.
·P슬라이스 또는 L0예측 B슬라이스의 경우
z(i,j)=w0·y0(i,j)+d0
·L1예측 B슬라이스의 경우
[수학식 3]
z(i,j)=w1·y1(i,j)+d1
여기에서는 이 가중 계수w0와 d0, 또는 w1과 d1의 산출 방법을 3가지 열거한다.
이후에 기록하는 산출 방법의 설명은, P슬라이스 또는 L0예측 B슬라이스의 경우를 예로 들었다. L1예측 B슬라이스의 경우에는, 프레임 f0 및 g0에 관한 요소를 프레임 f1 및 g1에 관한 요소로 변경하면 된다.
3가지 산출 방법은 이하의 가정에 기초한다. 프레임 f와 프레임 g는 같은 시 각의 정보이므로 신호의 밝기는 가까운 것으로 예상된다. 그래서 이미 알고 있는 프레임 g의 밝기 정보를 이용하여 피보정 프레임 f0으로부터 보정 대상 프레임 f의 밝기 변화를 간접적으로 예측한다.
[방법 1-1] 단일 프레임 예측에서의 직류 성분을 사용한 비례 계수 보정
본 방법에서는, 이하와 같이 가중 계수를 산출한다.
[수학식 4]
w0=X/Y0
[수학식 5]
d0=0
이 수학식 4의 X는, 업샘플 신호의 직류 성분값 X'로 교체해도 좋다. 나아가 그 X 또는 X'에 대해 피보정 프레임 f0와 그 직하 레이어의 프레임 g0의 직류 성분의 관계성을 이용하여 보정한 성분으로 교체해도 좋다.
보정예로서는, X 또는 X'에 피보정 프레임 f0에서의 직류 성분의 비 Y0/X0를 곱한 성분, 또는 X 또는 X'에 피보정 프레임 f0에서의 직류 성분의 차 Y0-X0를 가산한 성분을 생각할 수 있다.
[방법 1-2] 단일 프레임 예측에서의 직류 성분을 사용한 오프셋 계수 보정
본 방법에서는, 이하와 같이 가중 계수를 산출한다.
[수학식 6]
w0=1
[수학식 7]
d0=X-Y0
방법 1-1과 마찬가지로 이 수학식 7의 X는, 업샘플 신호의 직류 성분값 X'로 교체해도 좋다. 또, 그 X 또는 X'에 대해 피보정 프레임 f0와 그 직하 레이어의 프레임 g0의 직류 성분의 관계성을 이용하여 보정한 성분으로 교체해도 좋다. 보정 방법의 예는, 방법 1-1에 기록한 것과 동일하다.
[방법 1-3] 단일 프레임 예측에서의 최소 제곱법을 사용한 가중 계수 보정
본 방법에서는 이하와 같이 가중 계수를 산출한다. 아울러, 이하의 수학식에서 틸더를 붙인 w0,d0는 각각 w0,d0를 구하기 위한 변수이다.
[수학식 8]
Figure 112009079040373-pct00003
[수학식 9]
Figure 112009079040373-pct00004
이 수학식 8의 x'(i,j)는, x'(i,j)에 대해 피보정 프레임 f0와 그 직하 레이어의 프레임 g0의 복호 신호의 관계성을 이용하여 보정한 성분으로 교체해도 좋다. 보정예로서는, x'(i,j)에 피보정 프레임 f0에서의 복호 신호의 비
y0(i,j)/x0'(i,j)
를 곱한 성분, 또는 x'(i,j)에 피보정 프레임 f0에서의 복호 신호의 차
y0(i,j)-x0'(i,j)
를 가산한 성분을 생각할 수 있다.
ε의 최소값을 부여하는 가중 계수(w0,d0)는, 다음 연립 1차방정식의 해답으로서 구해진다.
[수학식 10]
Figure 112009079040373-pct00005
[수학식 11]
Figure 112009079040373-pct00006
<<쌍예측 B슬라이스에서의 가중 계수의 산출 방법>>
쌍예측을 하는 B슬라이스에서는, 예측 신호값 z(i,j)은 이하와 같이 하여 산출된다.
[수학식 12]
z(i,j)=w0·y0(i,j)+w1·y1(i,j)+d
여기에서는, 이 가중 계수 w0,w1,d의 산출 방법을 2가지 열거한다.
2가지 산출 방법은 이하의 가정에 기초한다. 프레임 f와 프레임 g는 같은 시각의 정보이므로 신호의 밝기는 근접한 것으로 예상된다. 그래서 기지의 프레임 g의 밝기 정보를 이용하여 피보정 프레임 f0 및 f1로부터 보정 대상 프레임 f의 밝기 변화를 간접적으로 예측한다.
[방법 2-1] 쌍예측에서의 직류 성분 블록을 사용한 가중 계수 보정
본 방법에서는, 이하와 같이 가중 계수를 산출한다.
[수학식 13]
w0=1-w1
[수학식 14]
w1=tb/td
[수학식 15]
d=X-w0·Y0-w1·Y1
tb는, 피보정 프레임 f0에서 보정 대상 프레임 f까지의 프레임간 거리, td는, 피보정 프레임 f0에서 피보정 프레임 f1까지의 프레임간 거리를 가리키고 있다.
이 수학식 15의 X는, 업샘플 신호의 직류 성분값 X'로 교체해도 좋다. 또, 그 X 또는 X'에 대해 피보정 프레임 f0와 그 직하 레이어의 프레임 g0의 직류 성분 또는 피보정 프레임 f1과 그 직하 레이어의 프레임 g1의 직류 성분을 이용하여 보정한 성분으로 교체해도 좋다. 보정 방법의 예는, 방법 1-1에 기재한 것과 동일하다.
[방법 2-2] 쌍예측에서의 최소 제곱법을 사용한 가중 계수 보정
본 방법에서는, 이하와 같이 가중 계수를 산출한다.
[수학식 16]
Figure 112009079040373-pct00007
[수학식 17]
Figure 112009079040373-pct00008
이 수학식 16의 x'(i,j)는, x'(i,j)에 대해 피보정 프레임 f0와 그 직하 레이어의 프레임 g0의 복호 신호 또는 피보정 프레임 f1과 그 직하 레이어의 프레임 g1의 복호 신호를 사용하여 보정한 성분으로 교체해도 좋다. 보정 방법의 예는, 방법 1-3에 기재한 것과 동일하다.
ε의 최소값을 부여하는 가중 계수(w0,w1,d)는, 다음 연립 1차방정식의 해답으로서 구해진다.
[수학식 18]
Figure 112009079040373-pct00009
[수학식 19]
Figure 112009079040373-pct00010
[수학식 20]
Figure 112009079040373-pct00011
종래의 H.264/AVC의 가중 움직임 예측에서는, 슬라이스 단위로 가중 계수가 전환되어 있는 데 반해, 본 발명에서는 임의의 직사각형 영역 단위로 가중 계수의 산출이 가능해져 가중 예측 정밀도가 향상된다.
또 종래 기술에서는, 한쪽 방향 예측을 하는 블록의 경우에 가중 계수 정보의 전송이 필요한 데 반해, 본 발명에서는 한쪽 방향 예측을 하는 블록에서도 가중 계수의 정보를 전송하지 않고 고정밀도의 가중 예측을 실행할 수 있게 된다.
또 종래 기술에서는, 대상 영상의 밝기가 비선형으로 변화되는 경우에 고정밀도의 가중 예측을 하려면, 쌍예측이라 해도 가중 계수 정보를 전송할 필요가 있는데 반해, 본 발명에서는 대상 영상의 시간적인 밝기 변화가 어떠한 변화이든 가중 계수 정보를 전송하지 않고 고정밀도의 가중 예측을 실현할 수 있다.
특히, 상기 [방법 1-1]은 예측 참조 블록의 복호 신호와 해당 블록의 원신호 의 신호값의 비가 블록내에서 동일한 경우에 고정밀도의 가중 계수를 산출할 수 있어 바람직하다.
또 상기 [방법 1-2]는 예측 참조 블록의 복호 신호와 해당 블록의 원신호의 신호값의 차분이 블록내에서 동일한 경우에 특히 고정밀도의 가중 계수를 산출할 수 있어 바람직하다.
또 상기 [방법 1-1], [방법 1-2], [방법 2-1]은, 해당 블록의 원신호에 포함되는 모든 공간 주파수 성분이 직하 레이어의 공간적으로 대응하는 블록의 보간 신호에 포함되는 공간 주파수 성분과 유사할 때, 고정밀도의 가중 계수를 산출할 수 있다.
상기 [방법 1-3], [방법 2-2]는 해당 블록의 원신호에 포함되는 직류 성분과 직하 레이어의 공간적으로 대응하는 블록의 보간 신호에 포함되는 직류 성분만이 유사할 때, 고정밀도의 가중 계수를 산출할 수 있다.
[처리의 흐름]
본 발명의 부호화 처리 실시형태에 대해서 도 3을 참조하여 설명하기로 한다. 설명하는 실시형태는 하나의 매크로 블록에 대한 부호화 처리이다. 이것을 모든 매크로 블록에 대해 실시함으로써 영상의 부호화 데이터가 구성된다.
단계 S1: 해당 확장 레이어의 해당 매크로 블록이 가중 움직임 예측 대상 매크로 블록인지 여부를 판정 처리하여 참인 경우에는 단계 S3의 처리를 하고, 거짓인 경우에는 단계 S2의 처리를 한다.
이 판정 처리는, 예를 들면 사전에 정해진 설정 조건에 따라서 이루어지는 데, 본 실시형태에서 어떠한 조건을 사용할지는 임의이다.
단계 S2: 단계 S1의 처리로 출력된 해당 매크로 블록의 예측 모드 정보에 따라 예측 신호를 생성한다. 여기에서의 예측 방식에는, 화면내 예측, 가중치 없음의 통상적인 움직임 예측 및 레이어간 예측을 들 수 있다. 각 방식의 예측 방법의 일례로서는, 비특허문헌 3에 나타나는 JSVM에서의 예측 방법을 들 수 있다.
단계 S3: 해당 매크로 블록이 가중 움직임 예측 대상인 경우에 해당 매크로 블록에 대해 해당 매크로 블록의 원신호, 그 직하 레이어의 매크로 블록 복호 신호, 및 (피참조 프레임에서의) 탐색 대상 매크로 블록의 복호 신호를 읽어들여 가중 움직임 추정을 하고 움직임 벡터 정보를 출력한다. 본 처리의 상세는 도 5에 도시한다(후술).
단계 S4: 단계 S3의 처리로 출력된 움직임 벡터 정보 및 직하 레이어의 매크로 블록 복호 신호를 읽어들여 가중 움직임 보상을 하고 가중 움직임 예측 신호를 출력한다. 본 처리의 상세는 도 6에 도시한다(후술).
단계 S5: 단계 S2 또는 단계 S4의 처리에 의해 출력된 예측 신호를 읽어들여 해당 매크로 블록의 원신호와의 차분 신호를 생성하고 그 차분 신호의 부호화를 수행한다. 이 차분 신호의 부호화 처리의 일례로서는, 비특허문헌 3에 나타나는 JSVM에서의 부호화 처리를 들 수 있다.
본 발명의 복호 처리 실시형태에 대해서 도 4를 참조하여 설명하기로 한다. 설명하는 실시형태는 하나의 매크로 블록에 대한 복호 처리이다. 이것을 모든 매크로 블록에 대해 실시함으로써 영상의 복호 신호가 구성된다.
단계 S11: 해당 확장 레이어의 해당 매크로 블록의 예측 모드에 관한 부호화 데이터를 읽어들여 복호 처리를 하고 예측 모드 정보를 출력한다.
단계 S12: 해당 확장 레이어의 해당 매크로 블록이 가중 움직임 예측 대상 매크로 블록인지 여부를 판정 처리하여 참인 경우에는 단계 S14의 처리를 하고, 거짓인 경우에는 단계 S13의 처리를 한다.
단계 S13: 단계 S11의 처리로 출력된 해당 매크로 블록의 예측 모드 정보에 따라 예측 신호를 생성한다. 여기에서의 예측 방식으로는 화면내 예측, 가중치 없음의 통상적인 움직임 예측 및 레이어간 예측을 들 수 있다.
단계 S14: 해당 매크로 블록이 가중 움직임 예측 대상 매크로 블록인 경우, 해당 매크로 블록의 움직임 벡터에 관한 부호화 데이터를 읽어들여 복호 처리를 하고 움직임 벡터 정보를 출력한다.
단계 S15: 단계 S14의 처리로 출력된 움직임 벡터 정보 및 직하 레이어의 매크로 블록 복호 신호를 읽어들여 가중 움직임 보상을 하고 가중 움직임 예측 신호를 출력한다. 본 처리의 상세는 도 6에 도시한다(후술).
단계 S16: 단계 S13 또는 단계 S15의 처리에 의해 출력된 예측 신호를 읽어들여 복호된 예측 잔차 신호와 가산하고 복호 신호를 구성하여 출력한다.
본 발명의 가중 움직임 추정(단계 S3)의 실시형태에 대해서 도 5를 참조하여 설명하기로 한다.
단계 S21: 직하 레이어의 매크로 블록의 복호 신호 및 (피참조 프레임에서의) 현재의 탐색 대상 매크로 블록의 복호 신호를 읽어들여 양매크로 블록간의 가 중 계수를 산출하고 출력한다. 본 처리의 상세는 도 7에 도시한다(후술).
단계 S22: 단계 S21의 처리에 의해 출력된 가중 계수 정보를 읽어들여 현재의 탐색 대상 매크로 블록의 복호 신호를 그 가중 계수에 의해 보정하고 그 신호값을 출력한다.
단계 S23: 단계 S22의 처리에 의해 출력된 신호값과 해당 매크로 블록의 원신호간의 부호량과 부호화 왜곡량에 의해 얻어지는 부호화 비용을 산출하고 출력한다.
단계 S24: 탐색해야 할 모든 매크로 블록에 대해 탐색했는지 여부를 판정 처리하여 참인 경우에는 단계 S26의 처리를 하고, 거짓인 경우에는 단계 S25의 처리를 한다.
단계 S25: 다음 탐색 대상 매크로 블록으로 처리 대상을 옮겨 단계 S21 이후의 처리를 반복한다.
단계 S26: 단계 S23의 처리에 의해 출력된 부호화 비용의 정보를 읽어들여 탐색한 매크로 블록 중에서 부호화 비용이 최소가 되는 매크로 블록을 선정하고, 그 매크로 블록과 해당 매크로 블록과의 좌표 위치의 차분을 움직임 벡터로서 출력한다.
본 발명의 가중 움직임 보상(단계 S4, 단계 S15)의 실시형태에 대해서 도 6을 참조하여 설명하기로 한다.
단계 S31: 해당 매크로 블록의 움직임 벡터 정보를 읽어들여 출력한다. 이 움직임 벡터 정보는 부호화 처리에서의 가중 움직임 보상인 경우에는 가중 움직임 추정부의 출력으로부터, 복호 처리에서의 가중 움직임 보상인 경우에는 움직임 벡터의 복호 처리부의 출력으로부터 읽어들여진다.
단계 S32: 직하 레이어의 매크로 블록의 복호 신호 및 단계 S31의 처리에 의해 출력된 움직임 벡터 정보를 읽어들여 움직임 벡터가 가리키는 피참조 매크로 블록과 해당 매크로 블록간의 가중 계수를 산출하고 출력한다.
본 처리의 상세는 도 7에 도시한다(후술).
아울러 부호화 처리인 경우에는, 도 5에 도시한 가중 추정 처리로 산출한 가중 계수를 움직임 벡터 정보와 함께 기억해 놓고 그 가중 계수를 출력해도 좋다.
단계 S33: 단계 S32의 처리에 의해 출력된 가중 계수 정보를 읽어들여 피참조 매크로 블록의 복호 신호를 그 가중 계수에 의해 보정하고 그 신호값을 출력한다.
본 발명의 가중 계수 산출 처리(단계 S21, 단계 S32)의 실시형태에 대해서, 도 7을 참조하여 설명하기로 한다.
단계 S41: 해당 매크로 블록이 속한 슬라이스가 B슬라이스이고, 또한 쌍예측을 한다고 판정되었는지 판정 처리하여 참인 경우에는 단계 S42의 처리를 하고, 거짓인 경우에는 단계 S45의 처리를 한다.
단계 S42: 외부에서 지정되는 해당 매크로 블록의 가중 계수 산출 방법이, 쌍예측 B슬라이스에서의 제곱 오차 최소화 규범의 가중 계수 보정 방법인지 판정 처리하여 참인 경우에는 단계 S43의 처리를 하고, 거짓인 경우에는 단계 S44의 처리를 한다.
가중 계수 산출 방법의 지정 정보의 외부로부터의 부여 방법의 일례로서는 부호화 처리 설정 조건으로서 처음에 규정하여 픽쳐 파라미터 세트내에 확보해 놓는 방법이나, 멀티 패스 처리에 의해 슬라이스마다 최적의 것을 선택하는 방법을 생각할 수 있다.
단계 S43: 2개의 피보정 매크로 블록의 복호 신호로 구성되는 보정 신호와 직하 레이어의 매크로 블록의 복호 신호와의 제곱 오차를 최소화하는 가중 계수를 산출하여 출력한다. 본 처리의 상세는 도 8에 도시한다(후술).
단계 S44: 2개의 피보정 프레임과 해당 프레임과의 프레임간 거리로 비례 계수를 산출하고, 2개의 피보정 매크로 블록의 복호 신호와 직하 레이어의 매크로 블록의 복호 신호의 직류 성분으로부터 오프셋 계수를 산출하여 출력한다. 본 처리의 상세를 도 9에 도시한다(후술).
단계 S45: 외부에서 지정되는 해당 매크로 블록의 가중 계수 산출 방법이, P슬라이스 또는 L0/L1예측 B슬라이스에서의 제곱 오차 최소화 규범의 가중 계수 보정 방법인지 여부를 판정 처리하여 참인 경우에는 단계 S46의 처리를 하고, 거짓인 경우에는 단계 S47의 처리를 한다.
가중 계수 산출 방법의 지정 정보의 외부로부터의 부여 방법의 일례로서는, 단계 S42의 처리와 마찬가지로 부호화 처리 설정 조건으로서 처음에 규정하여 픽쳐 파라미터 세트내에 확보해 놓는 방법이나, 멀티 패스 처리에 의해 슬라이스마다 최적인 것을 선택하는 방법을 생각할 수 있다.
단계 S46: 피보정 매크로 블록의 복호 신호로 구성되는 보정 신호와 직하 레 이어의 매크로 블록의 복호 신호와의 제곱 오차를 최소화하는 가중 계수를 산출하고 출력한다. 본 처리의 상세를 도 10에 도시한다(후술).
단계 S47: 외부에서 지정되는 해당 매크로 블록의 가중 계수 산출 방법이, P슬라이스 또는 L0/L1예측 B슬라이스에서의 직류 성분 규범의 비례 계수 보정 방법인지 여부를 판정 처리하여 참인 경우에는 단계 S48의 처리를 하고, 거짓인 경우에는 단계 S49의 처리를 한다.
가중 계수 산출 방법의 지정 정보의 외부에서의 부여 방법의 일례로서는, 단계 S42 및 단계 S45의 처리와 같이 부호화 처리 설정 조건으로서 처음에 규정하여 픽쳐 파라미터 세트내에 확보해 놓는 방법이나, 멀티 패스 처리에 의해 슬라이스마다 최적의 것을 선택하는 방법을 생각할 수 있다.
단계 S48: 피보정 매크로 블록의 복호 신호와 직하 레이어의 매크로 블록의 복호 신호의 직류 성분의 비를 계산하고 그것을 비례 계수로서 출력한다. 본 처리의 상세를 도 11에 도시한다(후술).
단계 S49: 피보정 매크로 블록의 복호 신호와 직하 레이어의 매크로 블록의 복호 신호의 직류 성분의 차를 계산하고 그것을 오프셋 계수로서 출력한다. 본 처리의 상세를 도 12에 도시한다(후술).
도 7에 도시한 단계 S43의 처리 실시형태에 대해서 도 8을 참조하여 설명하기로 한다.
단계 S51: 직하 레이어의 매크로 블록의 복호 신호와 2개의 피보정 매크로 블록의 복호 신호를 읽어들여 버퍼에 기입한다.
단계 S52: 직하 레이어의 매크로 블록의 복호 신호와 2개의 피보정 매크로 블록의 복호 신호를 버퍼로부터 읽어들여 2개의 피보정 매크로 블록의 복호 신호로 구성되는 보정 신호와 직하 레이어의 매크로 블록의 복호 신호와의 최소 제곱 오차를 부여하는 연립 방정식을 세우고 레지스터에 기입한다.
단계 S53: 레지스터로부터 단계 S52의 처리로 산출된 연립 방정식을 읽어들여 그 연립 방정식의 해답을 구하고, 비례 계수와 오프셋 계수를 산출하여 출력한다. 연립 방정식의 해답을 구하는 것의 일례로서는, Gauss소거법을 생각할 수 있다. 본 처리는, 상술한 수학식 16 및 수학식 17에 따른다.
도 7에 도시한 단계 S44의 처리 실시형태에 대해서, 도 9를 참조하여 설명하기로 한다.
단계 S61: 직하 레이어의 매크로 블록의 복호 신호와 2개의 피보정 매크로 블록의 복호 신호를 읽어들여 버퍼에 기입한다.
단계 S62: 직하 레이어의 매크로 블록의 복호 신호와 2개의 피보정 매크로 블록의 복호 신호를 버퍼로부터 읽어들여 직하 레이어의 매크로 블록의 복호 신호와 2개의 피보정 매크로 블록의 복호 신호의 직류 성분을 계산하고 레지스터에 기입한다.
단계 S63: 레지스터로부터 단계 S62의 처리로 산출된 직류 성분의 값을 읽어들여 참조 프레임간 거리로부터 비례 계수를, 상술한 수학식 13 내지 수학식 15에 따라 오프셋 계수를 산출하고 출력한다.
도 7에 도시한 단계 S46의 처리 실시형태에 대해서 도 10을 참조하여 설명하 기로 한다.
단계 S71: 직하 레이어의 매크로 블록의 복호 신호와 피보정 매크로 블록의 복호 신호를 읽어들여 버퍼에 기입한다.
단계 S72: 직하 레이어의 매크로 블록의 복호 신호와 피보정 매크로 블록의 복호 신호를 버퍼로부터 읽어들여 피보정 매크로 블록의 복호 신호로 구성되는 보정 신호와 직하 레이어의 매크로 블록의 복호 신호와의 최소 제곱 오차를 부여하는 연립 방정식을 세우고 레지스터에 기입한다.
단계 S73: 레지스터로부터 단계 S72의 처리로 산출된 연립 방정식을 읽어들여 그 연립 방정식의 해답을 구하고 비례 계수와 오프셋 계수를 산출하여 출력한다. 연립 방정식의 해답을 구한 것의 일례로서는, Gauss소거법을 생각할 수 있다. 본 처리는 상술한 수학식 8 및 수학식9에 따른다.
도 7에 도시한 단계 S48의 처리 실시형태에 대해서 도 11을 참조하여 설명하기로 한다.
단계 S81: 직하 레이어의 매크로 블록의 복호 신호와 피보정 매크로 블록의 복호 신호를 읽어들여 버퍼에 기입한다.
단계 S82: 직하 레이어의 매크로 블록의 복호 신호와 피보정 매크로 블록의 복호 신호를 버퍼로부터 읽어들여 직하 레이어의 매크로 블록의 복호 신호와 피보정 매크로 블록의 복호 신호의 직류 성분을 계산하고 레지스터에 기입한다.
단계 S83: 레지스터로부터 단계 S82의 처리로 산출된 직류 성분의 값을 읽어들여 양 직류 성분의 비를 비례 계수로서 산출하고, 오프셋 계수는 제로로 설정하 여 출력한다. 본 처리는 상술한 수학식 4 및 수학식 5에 따른다.
도 7에 도시한 단계 S49의 처리 실시형태에 대해서 도 12를 참조하여 설명하기로 한다.
단계 S91: 직하 레이어의 매크로 블록의 복호 신호와 피보정 매크로 블록의 복호 신호를 읽어들여 버퍼에 기입한다.
단계 S92: 직하 레이어의 매크로 블록의 복호 신호와 피보정 매크로 블록의 복호 신호를 버퍼로부터 읽어들여 직하 레이어의 매크로 블록의 복호 신호와 피보정 매크로 블록의 복호 신호의 직류 성분을 계산하고 레지스터에 기입한다.
단계 S93: 레지스터로부터 단계 S92의 처리로 산출된 직류 성분의 값을 읽어들여 양 직류 성분의 차를 오프셋 계수로서 산출하고, 비례 계수는 1로 설정하여 출력한다. 본 처리는 상술한 수학식 6 및 수학식 7에 따른다.
[처리 장치]
본 발명에 의한 부호화 장치의 구성예를 도 13에 도시한다. 도 13은, 하나의 매크로 블록에 대한 부호화 장치도이다.
예측 방법 판정부(101): 해당 매크로 블록의 예측 방식의 지정 정보를 읽어들여 그 지정 정보에 따라 화면내 예측인 경우에는 화면내 예측부(102), 가중치 없음의 통상적인 움직임 예측인 경우에는 가중치 없음 움직임 예측부(103), 레이어간 예측인 경우에는 레이어간 예측부(104), 가중 움직임 예측인 경우에는 가중 움직임 추정부(105)로 옮긴다.
화면내 예측부(102): 부호화 대상 프레임의 원신호 및 복호 신호를 읽어들여 화면내 예측을 실행하여 예측 신호를 작성하고, 그 예측 신호를 예측 잔차 신호 생성부(107)에 출력한다. 화면내 예측 방법의 일례로서는, 비특허문헌 3에 나타나는 JSVM의 화면내 예측을 들 수 있다.
가중치 없음 움직임 예측부(103): 부호화 대상 프레임의 원신호 및 피참조 프레임의 복호 신호를 읽어들여 가중치를 부여하지 않는 통상의 움직임 예측을 실행하여 예측 신호를 작성하고, 그 예측 신호를 예측 잔차 신호 생성부(107)에 출력한다. 가중치 없음 움직임 예측 방법의 일례로서는, 비특허문헌 3에 나타나는 JSVM의 가중치 없음 움직임 예측을 들 수 있다.
레이어간 예측부(104): 부호화 대상 프레임의 원신호 및 직하 레이어의 복호 신호를 읽어들여 레이어간 예측을 실행하여 예측 신호를 작성하고, 그 예측 신호를 예측 잔차 신호 생성부(107)에 출력한다. 레이어간 예측 방법의 일례로서는, 비특허문헌 3에 나타나는 JSVM의 레이어간 예측을 들 수 있다.
가중 움직임 추정부(105): 부호화 대상 프레임의 원신호, 해당 확장 레이어 복호 신호 기억부(110)에서 출력되는 피참조 프레임의 복호 신호, 및 직하 레이어 복호 신호 기억부(111)에서 출력되는 직하 레이어의 복호 신호를 읽어들여 가중 움직임 추정을 실행하여 움직임 벡터를 생성하고, 그 움직임 벡터 정보를 가중 움직임 보상부(106)에 출력한다. 본 부분의 상세 구성은, 도 15에 도시한다(후술).
가중 움직임 보상부(106): 해당 확장 레이어 복호 신호 기억부(110)에서 출력되는 피참조 프레임의 복호 신호, 및 직하 레이어 복호 신호 기억부(111)에서 출력되는 직하 레이어의 복호 신호를 읽어들여 가중 움직임 보상을 실행하여 예측 신 호를 생성하고, 그 예측 신호를 예측 잔차 신호 생성부(107)에 출력한다. 본 부분의 상세 구성은 도 16에 도시한다(후술).
예측 잔차 신호 생성부(107): 부호화 대상 프레임의 원신호, 및 화면내 예측부(102) 또는 가중치 없음 움직임 예측부(103) 또는 레이어간 예측부(104) 또는 가중 움직임 보상부(106)에서 출력된 예측 신호를 읽어들여 그 차분 신호를 생성하고, 예측 잔차 신호 부호화부(108)에 출력한다.
예측 잔차 신호 부호화부(108): 예측 잔차 신호 생성부(107)에서 출력된 예측 잔차 신호를 읽어들여 부호화 처리를 하고 부호화 데이터로서 출력한다. 또 동시에 그 부호화 데이터는 복호부(109)로의 입력을 위해 버퍼링해둔다. 이 예측 잔차 신호의 부호화 처리의 일례로서는, 비특허문헌 3에 나타나는 JSVM의 직교 변환, 양자화, 가변장 부호화의 일련의 프로세스 적용을 들 수 있다.
복호부(109): 상기 버퍼부터 부호화 데이터를 읽어들여 복호 처리를 하고 얻어진 복호 신호를 해당 확장 레이어 복호 신호 기억부(110)로 출력한다. 이 복호 처리에는 본 발명의 복호 처리를 적용한다. 복호 처리를 하는 복호 장치의 상세는 도 14에 도시한다(후술).
직하 레이어 복호 신호 기억부(111): 직하 레이어의 부호화 정보의 복호 처리에 의해 얻어진 복호 신호를 읽어들여 버퍼에 출력한다.
본 발명에 의한 복호 장치를 도 14에 도시한다. 도 14는, 해당 확장 레이어에서의 하나의 매크로 블록에 대한 복호 장치도이다.
예측 모드 복호부(201): 해당 매크로 블록의 예측 모드에 관한 부호화 데이 터를 읽어들여 그 복호 처리를 하고, 예측 모드 정보를 예측 모드 기억부(202)에 출력한다.
예측 방법 판정부(203): 예측 모드 기억부(202)로부터 예측 모드 정보를 읽어들여 그 지정 정보에 따라 화면내 예측인 경우에는 화면내 예측부(204), 가중치 없음의 통상적인 움직임 예측인 경우에는 가중치 없음 움직임 예측부(205), 레이어간 예측인 경우에는 레이어간 예측부(206), 가중 움직임 예측인 경우에는 움직임 벡터 정보 복호부(207)를 접속처로서 선택한다.
화면내 예측부(204): 부호화 대상 프레임의 원신호 및 복호 신호를 읽어들여 화면내 예측을 실행하여 예측 신호를 작성하고, 그 예측 신호를 복호 신호 생성부(213)에 출력한다.
가중치 없음 움직임 예측부(205): 부호화 대상 프레임의 원신호 및 피참조 프레임의 복호 신호를 읽어들여 가중치를 부여하지 않는 통상의 움직임 예측을 실행하여 예측 신호를 작성하고, 그 예측 신호를 복호 신호 생성부(213)에 출력한다.
레이어간 예측부(206): 부호화 대상 프레임의 원신호 및 직하 레이어의 복호 신호를 읽어들여 레이어간 예측을 실행하여 예측 신호를 작성하고, 그 예측 신호를 복호 신호 생성부(213)에 출력한다.
움직임 벡터 정보 복호부(207): 해당 매크로 블록의 움직임 벡터에 관한 부호화 데이터를 읽어들여 그 복호 처리를 하고, 움직임 벡터 정보를 움직임 벡터 정보 기억부(208)에 출력한다.
가중 움직임 보상부(209): 해당 확장 레이어 복호 신호 기억부(214)에서 출 력되는 피참조 프레임의 복호 신호 및 직하 레이어 복호 신호 기억부(210)에서 출력되는 직하 레이어의 복호 신호를 읽어들여 가중 움직임 보상을 실행하여 예측 신호를 생성하고, 그 예측 신호를 복호 신호 생성부(213)로 출력한다. 본 부분의 상세 구성은 도 16에 도시한다(후술).
직하 레이어 복호 신호 기억부(210): 직하 레이어의 부호화 정보의 복호 처리에 의해 얻어진 복호 신호를 읽어들여 버퍼에 기입한다.
잔차 신호 복호부(211): 해당 매크로 블록의 잔차 신호에 관한 부호화 데이터를 읽어들여 그 복호 처리를 하고 잔차 신호를 잔차 신호 기억부(212)에 출력한다.
복호 신호 생성부(213): 화면내 예측부(204) 또는 가중치 없음 움직임 예측부(205) 또는 레이어간 예측부(206) 또는 가중 움직임 보상부(209)에서 출력된 예측 신호를 읽어들여 그것과 잔차 신호 기억부(212)에서 읽어들여지는 잔차 신호를 합성하고 복호 신호를 생성하여 외부에 출력한다. 또 동시에 해당 확장 레이어 복호 신호 기억부(214)에도 복호 신호를 기입한다.
도 13에 도시한 가중 움직임 추정부(105)의 장치 구성예를 도 15에 도시한다. 도 15는, 해당 확장 레이어에서의 하나의 매크로 블록에 대한 가중 움직임 추정 장치도이다.
탐색 대상 블록 설치부(301): 해당 확장 레이어 복호 신호가 피참조 프레임의 복호 신호를 읽어들여 움직임 추정 탐색 대상이 되는 매크로 블록을 동정(同定)하고, 그 매크로 블록의 복호 신호를 가중 계수 산출부(302)에 출력한다.
가중 계수 산출부(302): 탐색 대상 블록 설치부(301)로부터 출력된 탐색 대상 매크로 블록의 복호 신호, 및 직하 레이어의 블록의 복호 신호를 읽어들여 양 블록간의 밝기 변화를 나타내는 가중 계수를 산출하고, 가중 계수 기억부(303)로 출력한다.
가중 움직임 추정 신호 생성부(304): 가중 계수 기억부(303)로부터 가중 계수를 읽어들여 해당 탐색 대상 블록의 복호 신호를 가중 계수에 의해 보정하고, 그 보정 신호를 가중 움직임 추정 신호 기억부(305)로 출력한다.
부호화 비용 산출부(306): 가중 움직임 추정 신호 기억부(305)로부터 가중 움직임 추정 신호를 읽어들여 해당 매크로 블록의 원신호에 대한 부호화 비용을 산출하고 그 부호화 비용을 부호화 비용 기억부(307)에 출력한다.
탐색 완료 판정부(308): 해당 매크로 블록에서의 피참조 프레임내에서의 가중 움직임 추정 탐색이, 지정된 모든 탐색 범위내에 대해서 이루어졌는지 여부를 판정 처리하여 참인 경우에는 피참조 블록 결정부(309)를 접속처로서 선택하고, 거짓인 경우에는 탐색 대상 블록 설치부(301)를 선택한다.
피참조 블록 결정부(309): 부호화 비용 기억부(307)로부터 모든 탐색 대상 매크로 블록에 관한 부호화 비용 데이터군을 읽어들여 부호화 비용을 최소로 하는 탐색 대상 매크로 블록을 피참조 블록으로서 결정하고, 그 피참조 블록과 해당 매크로 블록의 좌표 위치의 차분을 움직임 벡터 정보로서 출력한다.
도 13에 도시한 가중 움직임 보상부(106) 및 도 14에 도시한 가중 움직임 보상부(209)의 장치 구성예를 도 16에 도시한다. 도 16은, 해당 확장 레이어에서의 하나의 매크로 블록에 대한 가중 움직임 보상 장치도이다.
피참조 블록 신호 설치부(401): 해당 확장 레이어 복호 신호인 피참조 프레임의 복호 신호 및 움직임 벡터 정보를 읽어들여 피참조 매크로 블록을 동정하고, 그 매크로 블록의 신호를 가중 계수 산출부(402)에 출력한다.
이 움직임 벡터 정보는, 본 가중 움직임 보상부가 부호화 장치내에 설치되어 있는 경우에는 가중 움직임 추정부(105)(도 13)로부터 주어지고, 복호 장치내에 설치되어 있는 경우에는 복호된 움직임 벡터 정보를 기억하는 움직임 벡터 정보 기억부(208)(도 14)로부터 주어진다.
가중 계수 산출부(402): 피참조 블록 신호 설치 설치부(401)로부터 출력된 피참조 매크로 블록의 복호 신호 및 직하 레이어의 블록의 복호 신호를 읽어들여 양블록간의 밝기 변화를 나타내는 가중 계수를 산출하고, 가중 계수 기억부(403)로 출력한다. 아울러 부호화 처리에서의 가중 움직임 보상인 경우에는, 도 13에 도시한 가중 추정 처리부(105)에서 산출한 가중 계수를 움직임 벡터 정보와 함께 기억해두고, 그 가중 계수를 가중 계수 기억부(403)에 출력해도 좋다.
가중 움직임 예측 신호 생성부(404): 가중 계수 기억부(403)로부터 가중 계수를 읽어들여 피참조 블록의 복호 신호를 가중 계수에 의해 보정하고, 그 보정 신호를 가중 움직임 예측 신호 기억부(405)로 출력한다.
도 15에 도시한 가중 계수 산출부(302) 및 도 16에 도시한 가중 계수 산출부(402)의 장치 구성예를 도 17에 도시한다. 도 17은, 해당 확장 레이어에서의 하나의 매크로 블록에 대한 가중 계수 산출 장치도이다.
가중 계수 산출 방법 판정부(501): 외부에서 지정되는 해당 매크로 블록의 가중 계수 산출 방법에 따라 해당 산출 처리를 실행하는 처리부에 접속한다.
가중 계수 산출 방법의 지정 정보를 외부에서 부여하는 방법의 일례로서는, 부호화 처리 설정 조건으로서 처음에 규정하여 픽쳐 파라미터 세트내에 확보해 놓는 방법이나, 멀티 패스 처리에 의해 슬라이스마다 최적의 것을 선택하는 방법을 생각할 수 있다.
쌍예측 제곱 오차 최소화 규범 가중 계수 보정 처리부(502): 2개의 피보정 매크로 블록의 복호 신호 및 보정 대상 매크로 블록의 직하 레이어의 복호 신호를 읽어들여 최소 제곱법을 사용하여 가중 계수를 산출하고 출력한다. 본 부분의 상세한 장치도를 도 18에 도시한다. 본 처리는, 상술한 수학식 16 및 수학식 17에 따른다.
쌍예측 직류 성분 규범 가중 계수 보정 처리부(503): 2개의 피보정 매크로 블록의 복호 신호 및 보정 대상 매크로 블록의 직하 레이어의 복호 신호를 읽어들여 그 직류 성분의 값을 사용하여 가중 계수를 산출하고 출력한다. 본 부분의 상세한 장치도를 도 19에 도시한다. 본 처리는, 상술한 수학식 13 내지 수학식 15에 따른다.
단일 프레임 예측 제곱 오차 최소화 규범 가중 계수 보정 처리부(504): 1개의 피보정 매크로 블록의 복호 신호 및 보정 대상 매크로 블록의 직하 레이어의 복호 신호를 읽어들여, 피보정 매크로 블록의 복호 신호로 구성되는 보정 신호와 보정 대상 매크로 블록의 직하 레이어의 복호 신호와의 제곱 오차를 최소로 하는 가 중 계수를 계산하고 출력한다. 본 처리는 상술한 수학식 8 및 수학식 9에 따른다.
단일 프레임 예측 직류 성분 규범 비례 계수 보정 처리부(505): 1개의 피보정 매크로 블록의 복호 신호 및 보정 대상 매크로 블록의 직하 레이어의 복호 신호를 읽어들여 각 블록의 직류 성분을 계산하고, 본 처리는 상술한 수학식 4 및 수학식 5에 따른다.
단일 프레임 예측 직류 성분 규범 오프셋 보정 처리부(506): 하나의 피보정 매크로 블록의 복호 신호 및 보정 대상 매크로 블록의 직하 레이어의 복호 신호를 읽어들여, 각 블록의 직류 성분을 계산하고, 양 직류 성분의 차를 오프셋 계수로서 산출하여 출력한다. 본 처리는 상술한 수학식 6 및 수학식 7에 따른다.
도 18은, 도 17에 도시한 쌍예측 제곱 오차 최소화 규범 가중 계수 보정 처리부(502)의 장치 구성예를 도시한다. 이하, 도 18을 참조하여 쌍예측 제곱 오차 최소화 규범 가중 계수 보정 처리부(502)가 수행하는 처리를 설명하기로 한다.
연립 방정식 입식부(601): 직하 레이어의 매크로 블록의 복호 신호와 2개의 피보정 매크로 블록의 복호 신호를 버퍼로부터 읽어들여, 2개의 피보정 매크로 블록의 복호 신호(피참조 복호 신호)로 구성되는 보정 신호와 직하 레이어의 매크로 블록의 복호 신호와의 제곱 오차 최소를 부여하는 연립 방정식을 세우고 연립 방정식 구해(救解)부(602)로 출력한다.
연립 방정식 구해부(602): 연립 방정식 입식부(601)에서 출력된 연립 방정식을 입력하여 그 연립 방정식의 해답을 구하고, 비례 계수와 오프셋 계수를 산출하여 출력한다. 연립 방정식의 해답을 구하는 것의 일례로서는, Gauss소거법을 생각할 수 있다. 본 처리는 상술한 수학식 16 및 수학식 17에 따른다.
도 19는, 도 17에 도시한 쌍예측 직류 성분 규범 가중 계수 보정 처리부(503)의 장치 구성예를 도시한다. 이하, 도 19를 참조하여 쌍예측 직류 성분 규범 가중 계수 보정 처리부(503)가 수행하는 처리를 설명한다.
직하 레이어 복호 신호 직류 성분 산출부(701): 직하 레이어의 매크로 블록의 복호 신호를 버퍼로부터 읽어들여 그 직류 성분을 산출하고 레지스터에 기입한다.
피참조 복호 신호 1직류 성분 산출부(702): 1개의 피보정 매크로 블록의 복호 신호를 버퍼로부터 읽어들여 그 직류 성분을 산출하고 레지스터에 기입한다.
피참조 복호 신호 2직류 성분 산출부(703): 피참조 복호 신호 1직류 성분 산출부(702)에서 처리한 피보정 매크로 블록과 다른 또 한쪽의 피보정 매크로 블록의 복호 신호를 버퍼로부터 읽어들여 그 직류 성분을 산출하고 레지스터에 기입한다.
비례 계수 산출부(704): 참조 프레임 번호를 읽어들여 비례 계수를 산출하고 비례 계수 기억부(705)에 출력한다.
오프셋 계수 산출부(706): 레지스터로부터 각 직류 성분을, 비례 계수 기억부(705)로부터 비례 계수를 입력하여 오프셋 계수를 산출하고 오프셋 계수 기억부(707)로 출력한다. 오프셋 계수의 산출 방법은(13) 내지 수학식 15에 따른다.
도 20은, 도 17에 도시한 단일 프레임 예측 제곱 오차 최소화 규범 가중 계수 보정 처리부(504)의 장치 구성예를 도시한다. 이하, 도 20을 참조하여 단일 프레임 예측 제곱 오차 최소화 규범 가중 계수 보정 처리부(504)가 수행하는 처리를 설명한다.
연립 방정식 입식부(801): 직하 레이어의 매크로 블록의 복호 신호와 피보정 매크로 블록의 복호 신호를 버퍼로부터 읽어들여, 피보정 매크로 블록의 복호 신호로 구성되는 보정 신호와 직하 레이어의 매크로 블록의 복호 신호와의 최소 제곱 오차를 부여하는 연립 방정식을 세우고, 연립 방정식 구해부(802)로 출력한다.
연립 방정식 구해부(802): 연립 방정식 입식부(801)에서 출력된 연립 방정식을 읽어들여 그 연립 방정식의 해답을 구하고, 비례 계수와 오프셋 계수를 산출하여 출력한다. 연립 방정식의 해답을 구하는 것의 일례로서는, Gauss소거법을 생각할 수 있다. 본 처리는 상술한 수학식 8 및 수학식 9에 따른다.
도 21은, 도 17에 도시한 단일 프레임 예측 직류 성분 규범 비례 계수 보정 처리부(505)의 장치 구성예를 도시한다. 이하, 도 21을 참조하여 단일 프레임 예측 직류 성분 규범 비례 계수 보정 처리부(505)가 수행하는 처리를 설명하기로 한다.
직하 레이어 복호 신호 직류 성분 산출부(901): 직하 레이어의 매크로 블록의 복호 신호를 버퍼로부터 읽어들여 그 직류 성분을 산출하고 레지스터에 기입한다.
피참조 복호 신호 직류 성분 산출부(902): 피보정 매크로 블록의 복호 신호를 버퍼로부터 읽어들여 그 직류 성분을 산출하고 레지스터에 기입한다.
비례 계수 산출부(903): 레지스터로부터 2개의 직류 성분의 값을 읽어들여 양 직류 성분의 비를 비례 계수로서 산출하고 출력한다. 본 처리는 상술한 수학식 4 및 수학식 5에 따른다.
도 22는, 도 17에 도시한 단일 프레임 예측 직류 성분 규범 오프셋 보정 처리부(506)의 장치 구성예를 도시한다. 이하, 도 22를 참조하여 단일 프레임 예측 직류 성분 규범 오프셋 보정 처리부(506)가 수행하는 처리를 설명하기로 한다.
직하 레이어 복호 신호 직류 성분 산출부(1001): 직하 레이어의 매크로 블록의 복호 신호를 버퍼로부터 읽어들여 그 직류 성분을 산출하고 레지스터에 기입한다.
피참조 복호 신호 직류 성분 산출부(1002): 피보정 매크로 블록의 복호 신호를 버퍼로부터 읽어들여 그 직류 성분을 산출하고 레지스터에 기입한다.
오프셋 계수 산출부(1003): 레지스터로부터 2개의 직류 성분의 값을 읽어들여 양 직류 성분의 차를 오프셋 계수로서 산출하고 출력한다. 본 처리는 상술한 수학식 6 및 수학식 7에 따른다.
이상 설명한 동화상 스케일러블 부호화 및 복호의 처리는, 하드웨어나 펌웨어에 의해 실현할 수 있을 뿐만 아니라 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있고, 그 프로그램을 컴퓨터로 읽을 수 있는 기록 매체에 기록하여 제공할 수도 있고, 네트워크를 통해 제공할 수도 있다.
[실험]
본 발명의 효과를 검증하기 위해 JSVC참조 소프트웨어 JSVM 8.0(비특허문헌 3 참조)에 본 발명에 의한 수법을 실장하여 본 수법과 JSVM의 Implicit모드를 비교하였다. 단, 양 수법 모두 복호기에서는 멀티 루프 디코딩을 수행하였다. 또 양 수법 모두 움직임 추정을 정수 정밀도로 한정하여 실시하였다. 이상과 같은 조건하에서 페이드 화상 및 플래시 화상에 대해 효과를 검증하였다.
이하에서는, 쌍예측 B슬라이스에서의 가중 계수의 산출 방법에서, [방법 2-1]로서 설명한 쌍예측에서의 직류 성분 블록을 사용한 가중 계수 보정 실험예를 나타내는데, 본 발명에 의한 다른 방법을 사용한 경우에도 마찬가지로 양호한 결과가 얻어졌다.
<<페이드 화상에 대한 검증 결과>>
실험 조건을 표 2에 나타낸다.
[표 2]
표 2: 페이드 화상에 대한 실험 조건
Sequence City,Foreman,Soccer
Num. of Frames 33 frames(white fade-in mixed)
Resolution (BL)QCIF(EL)CIF
Frame Rate 30fps
GOP 16(Hierarchical B)
QP 21,24,27,30
WP (P-Slice) off (B-Slice) on
3종류의 JSVC표준 화상에 33장에 걸친 흰색의 페이드인을 부여한 화상(페이드(혼합) 화상)을 사용하였다. 흰색의 페이드 혼합 화상은 다음 식과 같이 작성하였다.
g(t)=(1-f(t))a(t)+f(t)b(t)
여기에서 g(t)는 페이드 혼합 화상, a(t)는 흰색의 단일색 화상, b(t)는 원화상, f(t)는 혼합 계수의 산출 함수이다.
본 실험에서는 f(t)에, f(t)=t/T에서 변화되는 Linear Fade, 및 f(t)=(t/T)2에서 변화되는 Quadratic Fade의 2종류를 준비하였다. T는, 페이드 구간을 가리키고 있다. 부호화 대상은 페이드 부분의 33장으로 하고, 1프레임이 1슬라이스에 대응한다.
실험 결과를 표 3에 나타낸다.
[표 3]
표 3: 페이드 화상에 대한 B픽쳐의 부호화 성능
Sequence Fade BD-bit[%] BD-snr[dB]
City Linear -1.23 0.038
Quadratic -6.28 0.215
Foreman Linear -0.03 0.001
Quadratic -6.15 0.187
Soccer Linear -0.50 0.018
Quadratic -2.34 0.095
성능 평가의 지표로서 하기 문헌에 나타나는 Bjontegaard Delta를 사용하였다(문헌: G.Bjontegaard: "Calculation of average PNSR differences between RD-curves", ITU-T SG16 Q.6, VCEG, VCEG-M33, pp.1-4, 2001). 이것은 2개의 RD곡선간의 부호량과 PSNR(Peak Signal to Noise Ratio)의 차분값을 계산하는 한 수법이다.
표 3에서는, B픽쳐에서의 JSVM으로부터의(본 발명에 의한 수법의 경우의) 부호량 증가율을 BD-bit, PSNR증가량을 BD-snr로 하였다. Linear Fade의 화상에서 평균 0.59%의 부호량 삭감, 0.019dB의 SN비 개선, Quadratic Fade의 화상에서 평균 4.92%의 부호량 삭감, 0.166dB의 SN비 개선을 실현하였다.
도 23에, Quadratic Fade를 부여한 JSVC표준 화상 "City"에서의 B픽쳐의 BD-bit의 시간적 변화를 도시한다.
또 도 24에, "City"의 페이드 혼합 화상의 평균 휘도값(Ave.of Lum.)과 그 혼합 화상을 QP(양자화 파라미터)24로 부호화했을 때의 평균 오프셋 계수(Ave.of Offset)의 시간적 변화를 도시한다.
계층적 B픽쳐 구조를 채용하기 때문에 시간 레벨이 낮은 B프레임일수록 참조 신호와의 휘도 변화는 선형과 멀어져 본 수법의 효과가 높아진다.
도 23의 결과로부터도, 시간 레벨이 낮은 B프레임에서 10%를 초과하는 큰 부호량 삭감이 실현된다는 것을 확인할 수 있다.
또 도 24로부터 그와 같은 경우 오프셋 계수의 값도 비제로의 값이 산출되어, 오프셋 계수가 휘도 변화를 양호하게 보정한다는 것이 증명된다.
<<플래시 화상에 대한 검증 결과>>
플래시 화상으로서 JSVC표준 화상의 Crew를 사용하여 300장의 부호화를 수행하였다. GOP(group of pictures)는 8로 하였다. 기타 실험 조건은, 표 2에 기재된 조건으로 수행하였다.
도 25에 플래시 화상에서의 B픽쳐의 BD-bit의 시간적 변화를, 도 26에 원화상의 평균 휘도값과 QP24에서 부호화했을 때의 평균 오프셋 계수의 시간적 변화를 도시한다.
도 26에서 평균 휘도값이 심하게 변화되는 프레임이 플래시를 포함한 프레 임(이후, 플래시 프레임)이다. 또 본 발명에 의한 Implicit모드를 적용하지 않는 프레임의 오프셋 계수는 제로로 되어 있다.
도 25를 보면, 플래시 프레임과 그 근방에 대해 약 10% 정도(최대 36.2%)의 부호량 삭감이 실현된다는 것을 알 수 있다. 시퀀스의 B픽쳐 전체의 BD-bit는 ―1.14%, BD-snr은 0.043dB였다.
휘도 신호와 오프셋 계수를 대조해 보면 BD-bit의 추이와 마찬가지로 플래시 프레임과 그 근방에서 비제로의 오프셋 계수가 산출된다는 것을 알 수 있다.
플래시 프레임에 대해서는, 휘도의 증가분만큼 양의 오프셋 계수가 할당되어 있다. 그 근방은 플래시 프레임을 예측 참조하고 있는 프레임으로서, 고휘도의 플래시 프레임의 참조에 의한 선형 예측으로부터의 괴리를, 음의 오프셋 계수에 의해 보정하였다.
산출한 오프셋 계수가 플래시 화상에 대해서도 양호하게 휘도 변화를 보정한다는 것을 알 수 있다.
본 발명에 의하면, 임의의 국소 영역 단위로 가중 계수를 산출할 수 있기 때문에 이동 물체의 그림자 등에 의해 화상내의 일부 밝기가 변화되는 경우에도, 가중 계수를 전송하지 않는 Implicit모드에 의해 고정밀도의 가중 움직임 예측을 실행할 수 있다.
또 종래, Explicit모드 뿐이었던 P슬라이스 및 B슬라이스의 L0/L1예측인 경우에도 Implicit모드에 의해 가중 움직임 예측을 실행할 수 있다.
또 직하 레이어의 밝기 정보를 고려한 보정을 함으로써 플래시를 포함한 화상이나 비선형 변화 페이드 화상과 같은 부호화/복호 처리 대상 프레임과 여러 개의 예측 참조 프레임간의 밝기 변화가 비선형인 화상에서도, Implicit모드로 고정밀도의 가중 움직임 예측을 실행할 수 있다. 이상과 같은 가중 움직임 예측 성능 향상에 의해 부호화 효율의 향상을 기대할 수 있다.

Claims (36)

  1. 상위 레이어와 그 직하의 직하 레이어에 대해, 낮은 공간 해상도의 직하 레이어 신호로부터 높은 공간 해상도의 상위 레이어 신호를 보간 처리를 사용하여 예측하여 부호화하는 동화상 스케일러블 부호화 방법에서,
    소정 단위의 화상 영역마다 상위 레이어의 부호화 대상 화상 영역과 피참조 화상 영역간의 움직임을 추정하는 탐색 처리시에, 직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역과 피참조 화상 영역간의 밝기 변화에 기초한 제1 가중 계수를 산출하는 단계와,
    상기 피참조 화상 영역의 복호 신호를 상기 제1 가중 계수에 의해 보정한 것을 움직임 추정에서의 추정 신호로 하여 움직임을 추정하고, 움직임 벡터를 산출하는 단계와,
    산출된 움직임 벡터를 읽어들여 그 움직임 벡터가 가리키는 피참조 화상 영역과, 직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역간의 밝기 변화에 기초한 제2 가중 계수를 산출하는 단계와,
    상기 움직임 벡터가 가리키는 피참조 화상 영역의 복호 신호를 상기 제2 가중 계수로 보정한 것을 움직임 보상에서의 보상 신호로 하고 상기 부호화 대상 화상 영역의 예측 신호로 하는 단계를 갖는
    동화상 스케일러블 부호화 방법.
  2. 제1항에 있어서,
    상기 각 가중 계수를 산출하는 단계에서, 상기 피참조 화상 영역이 하나인 경우에 피참조 화상 영역의 직류 성분과, 직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역의 직류 성분의 비를 비례 계수로 간주하고, 오프셋 계수를 제로로 함으로써 상기 가중 계수를 산출하는
    동화상 스케일러블 부호화 방법.
  3. 제1항에 있어서,
    상기 각 가중 계수를 산출하는 단계에서, 상기 피참조 화상 영역이 하나인 경우에 피참조 화상 영역의 직류 성분과, 직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역의 직류 성분의 차분을 오프셋 계수로 간주하고, 비례 계수를 1로 함으로써 상기 가중 계수를 산출하는
    동화상 스케일러블 부호화 방법.
  4. 제1항에 있어서,
    상기 각 가중 계수를 산출하는 단계에서, 상기 피참조 화상 영역이 하나인 경우에 직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역의 복호 신호를 해당 레이어의 공간 해상도까지 업샘플한 신호와, 피참조 화상 영역의 복호 신호를 가중 계수에 의해 보정했을 때의 보정 신호와의 제곱 오차가 최소가 되도록 상기 가중 계수를 산출하는
    동화상 스케일러블 부호화 방법.
  5. 제1항에 있어서,
    상기 각 가중 계수를 산출하는 단계에서, 상기 피참조 화상 영역이 2개 있는 경우에 부호화 대상 화상 영역과 각 피참조 화상 영역과의 프레임간 거리에 따라 비례 계수를 산출하고, 직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역의 직류 성분에서 2개의 피참조 화상 영역의 직류 성분에 대해 비례 계수를 곱한 값을 감산함으로써 오프셋 계수를 산출하여 상기 가중 계수로 하는
    동화상 스케일러블 부호화 방법.
  6. 제1항에 있어서,
    상기 각 가중 계수를 산출하는 단계에서, 상기 피참조 화상 영역이 2개 있는 경우에 직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역의 복호 신호를 해당 레이어의 공간 해상도까지 업샘플한 신호와, 2개의 피참조 화상 영역의 복호 신호를 가중 계수에 의해 보정했을 때의 보정 신호와의 제곱 오차가 최소가 되도록 상기 가중 계수를 설정하는
    동화상 스케일러블 부호화 방법.
  7. 제2항 또는 제3항에 있어서
    상기 직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역의 직류 성분 대신에,
    직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역을 업샘플한 화상 영역의 직류 성분,
    직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역의 직류 성분을, 피참조 화상 영역과 그 직하 레이어의 화상 영역의 직류 성분의 관계성을 이용하여 보정한 성분,
    직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역의 직류 성분을, 피참조 화상 영역과 그 직하 레이어의 화상 영역을 업샘플한 화상 영역의 직류 성분의 관계성을 이용하여 보정한 성분,
    직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역을 업샘플한 화상 영역의 직류 성분을, 피참조 화상 영역과 그 직하 레이어의 화상 영역의 직류 성분의 관계성을 이용하여 보정한 성분,
    직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역을 업샘플한 화상 영역의 직류 성분을, 피참조 화상 영역과 그 직하 레이어의 화상 영역을 업샘플한 화상 영역의 직류 성분의 관계성을 이용하여 보정한 성분 중 어느 하나를 이용하여 상기 가중 계수를 산출하는 동화상 스케일러블 부호화 방법.
  8. 제5항에 있어서,
    상기 직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역의 직류 성분 대신에,
    직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역을 업샘플한 화상 영역의 직류 성분,
    직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역의 직류 성분을, 어느 한 피참조 화상 영역과 그 직하 레이어의 화상 영역의 직류 성분의 관계성을 이용하여 보정한 성분,
    직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역의 직류 성분을, 어느 한 피참조 화상 영역과 그 직하 레이어의 화상 영역을 업샘플한 화상 영역의 직류 성분의 관계성을 이용하여 보정한 성분,
    직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역을 업샘플한 화상 영역의 직류 성분을, 어느 한 피참조 화상 영역과 그 직하 레이어의 화상 영역의 직류 성분의 관계성을 이용하여 보정한 성분,
    직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역을 업샘플한 화상 영역의 직류 성분을, 어느 한 피참조 화상 영역과 그 직하 레이어의 화상 영역을 업샘플한 화상 영역의 직류 성분의 관계성을 이용하여 보정한 성분,
    중 어느 하나를 이용하여 상기 가중 계수를 산출하는 동화상 스케일러블 부호화 방법.
  9. 제4항에 있어서,
    상기 직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역의 복호 신호를 해당 레이어의 공간 해상도까지 업샘플한 신호 대신에,
    직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역의 복호 신호를 해당 레이어의 공간 해상도까지 업샘플한 신호를, 피참조 화상 영역과 그 직하 레이어의 화상 영역의 복호 신호의 관계성을 이용하여 보정한 신호,
    직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역의 복호 신호를 해당 레이어의 공간 해상도까지 업샘플한 신호를, 피참조 화상 영역과 그 직하 레이어의 화상 영역의 복호 신호를 해당 레이어의 공간 해상도까지 업샘플한 신호의 관계성을 이용하여 보정한 신호,
    중 어느 하나를 이용하여 상기 가중 계수를 산출하는 동화상 스케일러블 부호화 방법.
  10. 제6항에 있어서,
    상기 직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역의 복호 신호를 해당 레이어의 공간 해상도까지 업샘플한 신호 대신에,
    직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역의 복호 신호를 해당 레이어의 공간 해상도까지 업샘플한 신호를, 어느 한 피참조 화상 영역과 그 직하 레이어의 화상 영역의 복호 신호의 관계성을 이용하여 보정한 신호,
    직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역의 복호 신호를 해당 레이어의 공간 해상도까지 업샘플한 신호를, 어느 한 피참조 화상 영역과 그 직하 레이어의 화상 영역의 복호 신호를 해당 레이어의 공간 해상도까지 업샘플한 신호의 관계성을 사용하여 보정한 신호,
    중 어느 하나를 이용하여 상기 가중 계수를 산출하는 동화상 스케일러블 부호화 방법.
  11. 상위 레이어와 그 직하의 직하 레이어에 대해, 낮은 공간 해상도의 직하 레이어 신호로부터 높은 공간 해상도의 상위 레이어 신호를 보간 처리를 사용하여 예측하여 복호하는 동화상 스케일러블 복호 방법에서,
    소정 단위의 화상 영역마다 부호화 데이터를 복호하고, 복호된 움직임 벡터를 읽어들여 상위 레이어의 복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역과 상기 움직임 벡터가 가리키는 피참조 화상 영역간의 밝기 변화에 기초한 가중 계수를 산출하는 단계와,
    상기 움직임 벡터가 가리키는 피참조 화상 영역의 복호 신호를 상기 가중 계수로 보정한 것을 움직임 보상에서의 보상 신호로 하고, 상기 복호 대상 화상 영역의 예측 신호로 하는 단계를 가진
    동화상 스케일러블 복호 방법.
  12. 제11항에 있어서,
    상기 가중 계수를 산출하는 단계에서, 상기 피참조 화상 영역이 하나인 경우에 피참조 화상 영역의 직류 성분과, 복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역의 직류 성분의 비를 비례 계수로 간주하고 오프셋 계수를 제로로 함으로써 상기 가중 계수를 산출하는
    동화상 스케일러블 복호 방법.
  13. 제11항에 있어서,
    상기 가중 계수를 산출하는 단계에서, 상기 피참조 화상 영역이 하나인 경우에 피참조 화상 영역의 직류 성분과, 복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역의 직류 성분의 차분을 오프셋 계수로 간주하고 비례 계수를 1로 함으로써 상기 가중 계수를 산출하는
    동화상 스케일러블 복호 방법.
  14. 제11항에 있어서,
    상기 가중 계수를 산출하는 단계에서, 상기 피참조 화상 영역이 하나인 경우에 복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역의 복호 신호를 해당 레이어의 공간 해상도까지 업샘플한 신호와, 피참조 화상 영 역의 복호 신호를 가중 계수에 의해 보정했을 때의 보정 신호와의 제곱 오차가 최소가 되도록 상기 가중 계수를 산출하는
    동화상 스케일러블 복호 방법.
  15. 제11항에 있어서,
    상기 가중 계수를 산출하는 단계에서, 상기 피참조 화상 영역이 2개 있는 경우에 복호 대상 화상 영역과 각 피참조 화상 영역과의 프레임간 거리에 따라 비례 계수를 산출하고, 복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역의 직류 성분에서 2개의 피참조 화상 영역의 직류 성분에 대해 비례 계수를 곱한 값을 감산함으로써 오프셋 계수를 산출하고, 상기 가중 계수로 하는
    동화상 스케일러블 복호 방법.
  16. 제11항에 있어서,
    상기 가중 계수를 산출하는 단계에서, 상기 피참조 화상 영역이 2개 있는 경우에, 복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역의 복호 신호를 해당 레이어의 공간 해상도까지 업샘플한 신호와, 2개의 피참조 화상 영역의 복호 신호를 가중 계수에 의해 보정했을 때의 보정 신호와의 제곱 오차가 최소가 되도록 상기 가중 계수를 산출하는
    동화상 스케일러블 복호 방법.
  17. 제12항 또는 제13항에 있어서,
    상기 복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역의 직류 성분 대신에,
    복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역을 업샘플한 화상 영역의 직류 성분,
    복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역의 직류 성분을, 피참조 화상 영역과 그 직하 레이어의 화상 영역의 직류 성분의 관계성을 이용하여 보정한 성분,
    복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역의 직류 성분을, 피참조 화상 영역과 그 직하 레이어의 화상 영역을 업샘플한 화상 영역의 직류 성분의 관계성을 이용하여 보정한 성분,
    복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역을 업샘플한 화상 영역의 직류 성분을, 피참조 화상 영역과 그 직하 레이어의 화상 영역의 직류 성분의 관계성을 이용하여 보정한 성분,
    복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역을 업샘플한 화상 영역의 성분을, 피참조 화상 영역과 그 직하 레이어의 화상 영역을 업샘플한 화상 영역의 직류 성분의 관계성을 이용하여 보정한 성분,
    중 어느 하나를 이용하여 상기 가중 계수를 산출하는 동화상 스케일러블 복호 방법.
  18. 제15항에 있어서,
    상기 복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역의 직류 성분 대신에,
    복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역을 업샘플한 화상 영역의 직류 성분,
    복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역의 직류 성분을, 어느 한 피참조 화상 영역과 그 직하 레이어의 화상 영역의 직류 성분의 관계성을 이용하여 보정한 성분,
    복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역의 직류 성분을, 어느 한 피참조 화상 영역과 그 직하 레이어의 화상 영역을 업샘플한 화상 영역의 직류 성분의 관계성을 이용하여 보정한 성분,
    복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역을 업샘플한 화상 영역의 직류 성분을, 어느 한 피참조 화상 영역과 그 직하 레이어의 화상 영역의 직류 성분의 관계성을 이용하여 보정한 성분,
    복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역을 업샘플한 화상 영역의 성분을, 어느 한 피참조 화상 영역과 그 직하 레이어의 화상 영역을 업샘플한 화상 영역의 직류 성분의 관계성을 이용하여 보정한 성분,
    중 어느 하나를 이용하여 상기 가중 계수를 산출하는 동화상 스케일러블 복호 방법.
  19. 제14항에 있어서,
    상기 복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역의 복호 신호를 해당 레이어의 공간 해상도까지 업샘플한 신호 대신에,
    복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역의 복호 신호를 해당 레이어의 공간 해상도까지 업샘플한 신호를, 피참조 화상 영역과 그 직하 레이어의 화상 영역의 복호 신호의 관계성을 이용하여 보정한 신호,
    복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역의 복호 신호를 해당 레이어의 공간 해상도까지 업샘플한 신호를, 피참조 화상 영역과 그 직하 레이어의 화상 영역의 복호 신호를 해당 레이어의 공간 해상도까지 업샘플한 신호의 관계성을 이용하여 보정한 신호,
    중 어느 하나를 이용하여 상기 가중 계수를 산출하는 동화상 스케일러블 복호 방법.
  20. 제16항에 있어서,
    상기 복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역의 복호 신호를 해당 레이어의 공간 해상도까지 업샘플한 신호 대신에,
    복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역의 복호 신호를 해당 레이어의 공간 해상도까지 업샘플한 신호를, 어느 한 피참조 화상 영역과 그 직하 레이어의 화상 영역의 복호 신호의 관계성을 이용하여 보 정한 신호,
    복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역의 복호 신호를 해당 레이어의 공간 해상도까지 업샘플한 신호를, 어느 한 피참조 화상 영역과 그 직하 레이어의 화상 영역의 복호 신호를 해당 레이어의 공간 해상도까지 업샘플한 신호의 관계성을 이용하여 보정한 신호,
    중 어느 하나를 이용하여 상기 가중 계수를 산출하는 동화상 스케일러블 복호 방법.
  21. 상위 레이어와 그 직하의 직하 레이어에 대해, 낮은 공간 해상도의 직하 레이어 신호로부터 높은 공간 해상도의 상위 레이어 신호를 보간 처리를 사용하여 예측하여 부호화하는 동화상 스케일러블 부호화 장치에서,
    소정 단위의 화상 영역마다, 상위 레이어의 부호화 대상 화상 영역과 피참조 화상 영역간의 움직임을 추정하는 탐색 처리시에 직하 레이어에서의 부호화 대상 화상 영역과 공간적으로 같은 위치에 존재하는 화상 영역과 피참조 화상 영역간의 밝기 변화에 기초한 제1 가중 계수를 산출하는 수단과,
    상기 피참조 화상 영역의 복호 신호를 상기 제1 가중 계수에 의해 보정한 것을 움직임 추정에서의 추정 신호로 하여 움직임을 추정하고 움직임 벡터를 산출하는 수단과,
    산출된 움직임 벡터를 읽어들여 그 움직임 벡터가 가리키는 피참조 화상 영역과, 직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역간의 밝기 변화에 기초한 제2 가중 계수를 산출하는 수단과,
    상기 움직임 벡터가 가리키는 피참조 화상 영역의 복호 신호를 상기 제2 가중 계수로 보정한 것을 움직임 보상에서의 보상 신호로 하고, 상기 부호화 대상 화상 영역의 예측 신호로 하는 수단을 가진
    동화상 스케일러블 부호화 장치.
  22. 제21항에 있어서,
    상기 각 가중 계수를 산출하는 수단은, 상기 피참조 화상 영역이 하나인 경우에 피참조 화상 영역의 직류 성분과, 직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역의 직류 성분의 비를 비례 계수로 간주하고, 오프셋 계수를 제로로 함으로써 상기 가중 계수를 산출하는
    동화상 스케일러블 부호화 장치.
  23. 제21항에 있어서,
    상기 각 가중 계수를 산출하는 수단은, 상기 피참조 화상 영역이 하나인 경우에 피참조 화상 영역의 직류 성분과, 직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역의 직류 성분의 차분을 오프셋 계수로 간주하고, 비례 계수를 1로 함으로써 상기 가중 계수를 산출하는
    동화상 스케일러블 부호화 장치.
  24. 제21항에 있어서,
    상기 각 가중 계수를 산출하는 수단은, 상기 피참조 화상 영역이 하나인 경우에 직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역의 복호 신호를 해당 레이어의 공간 해상도까지 업샘플한 신호와, 피참조 화상 영역의 복호 신호를 가중 계수에 의해 보정했을 때의 보정 신호와의 제곱 오차가 최소가 되도록 상기 가중 계수를 산출하는
    동화상 스케일러블 부호화 장치.
  25. 제21항에 있어서,
    상기 각 가중 계수를 산출하는 수단은, 상기 피참조 화상 영역이 2개 있는 경우에 부호화 대상 화상 영역과 각 피참조 화상 영역과의 프레임간 거리에 따라 비례 계수를 산출하고, 직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역의 직류 성분에서 2개의 피참조 화상 영역의 직류 성분에 대해 비례 계수를 곱한 값을 감산함으로써 오프셋 계수를 산출하고, 상기 가중 계수로 하는
    동화상 스케일러블 부호화 장치.
  26. 제21항에 있어서,
    상기 각 가중 계수를 산출하는 수단은, 상기 피참조 화상 영역이 2개 있는 경우에 직하 레이어에서의 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 화상 영역의 복호 신호를 해당 레이어의 공간 해상도까지 업샘플한 신호와, 2개의 피참조 화상 영역의 복호 신호를 가중 계수에 의해 보정했을 때의 보정 신호와의 제곱 오차가 최소가 되도록 상기 가중 계수를 설정하는
    동화상 스케일러블 부호화 장치.
  27. 상위 레이어와 그 직하의 직하 레이어에 대해, 낮은 공간 해상도의 직하 레이어 신호로부터 높은 공간 해상도의 상위 레이어 신호를 보간 처리를 사용하여 예측하여 복호하는 동화상 스케일러블 복호 장치에서,
    소정 단위의 화상 영역마다 부호화 데이터를 복호하고, 복호된 움직임 벡터를 읽어들여 상위 레이어의 복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역과 상기 움직임 벡터의 가리키는 피참조 화상 영역간의 밝기 변화에 기초한 가중 계수를 산출하는 수단과,
    상기 움직임 벡터가 가리키는 피참조 화상 영역의 복호 신호를 상기 가중 계수로 보정한 것을 움직임 보상에서의 보상 신호로 하고, 상기 복호 대상 화상 영역의 예측 신호로 하는 수단을 가진
    동화상 스케일러블 복호 장치.
  28. 제27항에 있어서,
    상기 가중 계수를 산출하는 수단은, 상기 피참조 화상 영역이 하나인 경우에 피참조 화상 영역의 직류 성분과, 복호 대상 화상 영역의 직하 레이어의 공간적 동 일 위치에 존재하는 화상 영역의 직류 성분의 비를 비례 계수로 간주하고, 오프셋 계수를 제로로 함으로써 상기 가중 계수를 산출하는
    동화상 스케일러블 복호 장치.
  29. 제27항에 있어서,
    상기 가중 계수를 산출하는 수단은, 상기 피참조 화상 영역이 하나인 경우에 피참조 화상 영역의 직류 성분과, 복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역의 직류 성분의 차분을 오프셋 계수로 간주하고, 비례 계수를 1로 함으로써 상기 가중 계수를 산출하는
    동화상 스케일러블 복호 장치.
  30. 제27항에 있어서,
    상기 가중 계수를 산출하는 수단은, 상기 피참조 화상 영역이 하나인 경우에 복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역의 복호 신호를 해당 레이어의 공간 해상도까지 업샘플한 신호와, 피참조 화상 영역의 복호 신호를 가중 계수에 의해 보정했을 때의 보정 신호와의 제곱 오차가 최소가 되도록 상기 가중 계수를 산출하는
    동화상 스케일러블 복호 장치.
  31. 제27항에 있어서,
    상기 가중 계수를 산출하는 수단은, 상기 피참조 화상 영역이 2개 있는 경우에 복호 대상 화상 영역과 각 피참조 화상 영역과의 프레임간 거리에 따라 비례 계수를 산출하고, 복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역의 직류 성분에서 2개의 피참조 화상 영역의 직류 성분에 대해 비례 계수를 곱한 값을 감산함으로써 오프셋 계수를 산출하고, 상기 가중 계수로 하는
    동화상 스케일러블 복호 장치.
  32. 제27항에 있어서,
    상기 가중 계수를 산출하는 수단은, 상기 피참조 화상 영역이 2개 있는 경우에 복호 대상 화상 영역의 직하 레이어의 공간적 동일 위치에 존재하는 화상 영역의 복호 신호를 해당 레이어의 공간 해상도까지 업샘플한 신호와, 2개의 피참조 화상 영역의 복호 신호를 가중 계수에 의해 보정했을 때의 보정 신호와의 제곱 오차가 최소가 되도록 상기 가중 계수를 산출하는
    동화상 스케일러블 복호 장치.
  33. 삭제
  34. 삭제
  35. 제1항에 기재된 동화상 스케일러블 부호화 방법을 컴퓨터에 실행시키기 위한 동화상 스케일러블 부호화 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  36. 제11항에 기재된 동화상 스케일러블 복호 방법을 컴퓨터에 실행시키기 위한 동화상 스케일러블 복호 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020097026698A 2007-07-02 2008-07-01 동화상 스케일러블 부호화 방법 및 복호 방법, 그 장치, 그 프로그램 및 프로그램을 기록한 기록 매체 KR101103724B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2007-174161 2007-07-02
JP2007174161 2007-07-02
PCT/JP2008/061926 WO2009005071A1 (ja) 2007-07-02 2008-07-01 動画像スケーラブル符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
KR20100022073A KR20100022073A (ko) 2010-02-26
KR101103724B1 true KR101103724B1 (ko) 2012-01-11

Family

ID=40226115

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097026698A KR101103724B1 (ko) 2007-07-02 2008-07-01 동화상 스케일러블 부호화 방법 및 복호 방법, 그 장치, 그 프로그램 및 프로그램을 기록한 기록 매체

Country Status (11)

Country Link
US (1) US9386322B2 (ko)
EP (1) EP2164266B1 (ko)
JP (1) JP5185266B2 (ko)
KR (1) KR101103724B1 (ko)
CN (1) CN101690237B (ko)
BR (1) BRPI0813122A2 (ko)
CA (1) CA2692224C (ko)
ES (1) ES2630211T3 (ko)
RU (1) RU2434359C2 (ko)
TW (1) TWI499304B (ko)
WO (1) WO2009005071A1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2461978C2 (ru) * 2007-10-25 2012-09-20 Ниппон Телеграф Энд Телефон Корпорейшн Способ масштабируемого кодирования и способ масштабируемого декодирования видеоинформации, устройства для них, программы для них и носитель записи, на котором записаны программы
JP5657391B2 (ja) * 2007-12-20 2015-01-21 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ハローを低減する画像補間
JP5453304B2 (ja) * 2007-12-20 2014-03-26 クゥアルコム・インコーポレイテッド 適応探索範囲を用いた動き推定
US20100296579A1 (en) * 2009-05-22 2010-11-25 Qualcomm Incorporated Adaptive picture type decision for video coding
JP5216710B2 (ja) * 2009-07-24 2013-06-19 日立コンシューマエレクトロニクス株式会社 復号化処理方法
US20130003843A1 (en) * 2010-03-12 2013-01-03 Mediatek Singapore Pte. Ltd. Motion Prediction Method
US8537283B2 (en) 2010-04-15 2013-09-17 Qualcomm Incorporated High definition frame rate conversion
CN102739417B (zh) 2011-04-01 2014-08-20 华为技术有限公司 流媒体业务处理系统及故障检测方法
JP5786478B2 (ja) * 2011-06-15 2015-09-30 富士通株式会社 動画像復号装置、動画像復号方法、及び動画像復号プログラム
US20130107962A1 (en) * 2011-10-26 2013-05-02 Intellectual Discovery Co., Ltd. Scalable video coding method and apparatus using inter prediction mode
WO2013069117A1 (ja) * 2011-11-09 2013-05-16 株式会社東芝 予測画像生成方法、符号化方法及び復号方法
CA2950943C (en) 2011-12-22 2019-06-04 Samsung Electronics Co., Ltd. Video encoding method using offset adjustment according to classification of pixels by maximum encoding units and apparatus thereof, and video decoding method and apparatus thereof
WO2013169025A1 (ko) * 2012-05-09 2013-11-14 엘지전자 주식회사 스케일러블 비디오 인코딩/디코딩 방법 및 장치
WO2014009603A1 (en) * 2012-07-02 2014-01-16 Nokia Corporation Method and apparatus for video coding
US9516309B2 (en) * 2012-07-09 2016-12-06 Qualcomm Incorporated Adaptive difference domain spatial and temporal reference reconstruction and smoothing
US9906786B2 (en) 2012-09-07 2018-02-27 Qualcomm Incorporated Weighted prediction mode for scalable video coding
KR20150079742A (ko) * 2012-12-28 2015-07-08 니폰 덴신 덴와 가부시끼가이샤 영상 부호화 장치 및 방법, 영상 복호 장치 및 방법, 및 그 프로그램
JP5952733B2 (ja) * 2012-12-28 2016-07-13 日本電信電話株式会社 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体
US9270991B2 (en) * 2013-01-07 2016-02-23 Qualcomm Incorporated Inter-layer reference picture generation for HLS-only scalable video coding
JP6087747B2 (ja) * 2013-06-27 2017-03-01 Kddi株式会社 映像符号化装置、映像復号装置、映像システム、映像符号化方法、映像復号方法、およびプログラム
CN105659601A (zh) * 2013-10-11 2016-06-08 索尼公司 图像处理装置和图像处理方法
CN106105208B (zh) 2014-01-09 2020-04-07 三星电子株式会社 可伸缩视频编码/解码方法和设备
KR102162856B1 (ko) 2015-05-21 2020-10-07 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 모션 보상을 위한 장치 및 방법
JP6708749B2 (ja) * 2016-11-10 2020-06-10 日本電信電話株式会社 画像評価装置、画像評価方法及び画像評価プログラム
KR102500462B1 (ko) * 2017-05-17 2023-02-16 가부시키가이샤 크리프톤 화상 처리 장치, 화상 처리 프로그램 및 화상 처리 방법
WO2024037645A1 (en) * 2022-08-19 2024-02-22 Mediatek Inc. Boundary sample derivation in video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006054802A (ja) 2004-08-16 2006-02-23 Kddi Corp 動き予測情報検出装置
WO2007018670A1 (en) 2005-07-21 2007-02-15 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1032824A (ja) 1996-07-16 1998-02-03 Nippon Telegr & Teleph Corp <Ntt> 動画像の輝度変化検出方法、動画像の輝度変化補償方法、動画像の位置検出方法および動画像符号化・復号装置
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
KR100491530B1 (ko) 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
MXPA05003464A (es) 2002-10-01 2005-07-05 Thomson Licensing Sa Ponderacion implicita de imagenes de referencia en un codificador de video.
WO2006006835A1 (en) * 2004-07-15 2006-01-19 Samsung Electronics Co., Ltd. Scalable motion information encoding/decoding apparatus and method and scalable video encoding/decoding apparatus and method using them
KR100703770B1 (ko) * 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
KR20080006607A (ko) * 2005-04-12 2008-01-16 노키아 코포레이션 편차 제어를 통한 움직임 보상된 미세 입도 규모 가변성비디오 부호화를 위한 방법 및 시스템
CA2609648A1 (en) 2005-04-29 2006-11-09 Samsung Electronics Co., Ltd. Video coding method and apparatus supporting fast fine granular scalability
KR100763182B1 (ko) 2005-05-02 2007-10-05 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
KR100714696B1 (ko) 2005-06-24 2007-05-04 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
KR101366918B1 (ko) 2005-10-12 2014-02-24 톰슨 라이센싱 스케일러블 비디오 인코딩 및 디코딩에서의 가중 예측을위한 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006054802A (ja) 2004-08-16 2006-02-23 Kddi Corp 動き予測情報検出装置
WO2007018670A1 (en) 2005-07-21 2007-02-15 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
WO2007018669A1 (en) 2005-07-21 2007-02-15 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding

Also Published As

Publication number Publication date
CN101690237B (zh) 2012-03-21
TW200915882A (en) 2009-04-01
US9386322B2 (en) 2016-07-05
JPWO2009005071A1 (ja) 2010-08-26
RU2009147448A (ru) 2011-07-10
EP2164266A1 (en) 2010-03-17
JP5185266B2 (ja) 2013-04-17
CA2692224C (en) 2016-01-12
US20100329344A1 (en) 2010-12-30
ES2630211T3 (es) 2017-08-18
WO2009005071A1 (ja) 2009-01-08
EP2164266A4 (en) 2011-08-17
EP2164266B1 (en) 2017-03-29
TWI499304B (zh) 2015-09-01
KR20100022073A (ko) 2010-02-26
BRPI0813122A2 (pt) 2015-08-04
CN101690237A (zh) 2010-03-31
CA2692224A1 (en) 2009-01-08
RU2434359C2 (ru) 2011-11-20

Similar Documents

Publication Publication Date Title
KR101103724B1 (ko) 동화상 스케일러블 부호화 방법 및 복호 방법, 그 장치, 그 프로그램 및 프로그램을 기록한 기록 매체
KR101123285B1 (ko) 동화상 스케일러블 부호화 방법 및 복호 방법, 그 장치, 그 프로그램 및 프로그램을 기록한 기록매체
JP4752631B2 (ja) 画像符号化装置、及び画像符号化方法
KR101075377B1 (ko) 인터레이스형 비디오의 최신 양방향 예측 코딩
US8085846B2 (en) Method and apparatus for decoding hybrid intra-inter coded blocks
KR101089738B1 (ko) 하이브리드 인트라-인터 코딩된 블록을 인코딩하기 위한 방법 및 장치
US8194740B2 (en) Apparatus and method for compression-encoding moving picture
Lee et al. Motion estimation in low-delay hierarchical p-frame coding using motion vector composition
WO2012008040A1 (ja) 画像符号化方法及び画像復号化方法
KR100240620B1 (ko) 양방향의 반화소 움직임 추정을 위한 대칭 탐색 윈도우를 형성하는 방법 및 장치
Suzuki et al. An improved low delay inter frame coding using template matching averaging
Xin et al. Motion mapping and mode decision for MPEG-2 to H. 264/AVC transcoding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141128

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151210

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161223

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171222

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181220

Year of fee payment: 8