KR20120003863A - 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치 및 동화상 복호 장치 - Google Patents

Abstract

부호화 효율의 저하를 억제하고, 복호되는 동화상의 화질을 향상시킬 수 있는 동화상 부호화 방법은, 동화상 신호를 예측함으로써 예측 신호를 생성하고(S100), 동화상 신호와 예측 신호의 차분을 예측 오차 신호로서 산출하고(S110), 예측 신호 및 예측 오차 신호에 의거하여 동화상 신호를 재구축함으로써 재구축 동화상 신호를 생성하고(S120), 예측 신호, 상기 예측 오차 신호 및 상기 재구축 동화상 신호 중 적어도 2개의 신호의 각각에 대하여, 그 신호를 필터링하기 위한 필터 데이터를 결정하고(S130), 결정된 필터 데이터간의 상호 상관에 의거하여, 결정된 필터 데이터를 부호화한다(S140).

Description

동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치 및 동화상 복호 장치{MOVING IMAGE ENCODING METHOD, MOVING IMAGE DECODING METHOD, MOVING IMAGE ENCODING DEVICE, AND MOVING IMAGE DECODING DEVICE}

본 발명은, 동화상 신호를 부호화하고, 부호화된 동화상 신호를 복호하는 동화상 부호화 방법 및 동화상 복호 방법 등에 관한 것으로, 특히, 부호화 또는 복호에 있어서 생성되는 신호를 필터링하기 위한 필터를 이용하여 부호화 및 복호하는 방법 등에 관한 것이다.

현재, 표준적인 동화상 부호화 알고리즘의 대다수는 하이브리드 동화상 부호화에 의거하는 것이다. 전형적으로는, 하이브리드 동화상 부호화 방법은, 원하는 압축 성과를 달성하기 위해서, 각각 다른 로스가 생기지 않는 압축 방식과 로스가 생기는 압축 방식을 조합시킨 것이다. 하이브리드 동화상 부호화는, ISO/IEC 표준 규격(MPEG-1, MPEG-2, MPEG-4와 같은 MPEG-X 표준 규격)과 마찬가지로, ITU-T 표준규격(H. 261이나 H. 263과 같은 H. 26 x표준 규격)의 기초이기도 하다. 최신 동화상 부호화 표준 규격은, H. 264/MPEG-4 Advanced Video Coding(AVC)이라고 하는 것이며, 이는, 죠인트 비디오 팀(JVT), ITU-T의 조인트 팀, 및 ISO/IEC MPEG 그룹에 의한 표준화 활동의 성과이다.

인코더에 입력되는 동화상 신호는, 프레임이라고 하는 화상의 시퀀스이며, 각 프레임은 2차원 매트릭스의 화소로 이루어진다. 하이브리드 동화상 부호화에 의거하는 상술한 표준 규격 전체에 있어서, 각각의 동화상 프레임은 복수의 화소로 이루어지는 소블록으로 세분화된다. 전형적으로는, 매크로 블록(통상은 16×16화소로 이루어지는 블록을 의미한다)이 기본적인 화상 엘리먼트이며, 이에 대하여 부호화가 행해진다. 그러나, 보다 작은 화상 엘리먼트에 대하여 다양한 특정 부호화 단계가 행해지는 경우가 있고, 예로서 8×8, 4×4, 16×8 화소 등의 사이즈의 서브 매크로 블록이나 단순한 블록을 들 수 있다.

전형적으로는, 하이브리드 동화상 부호화에 있어서의 부호화 단계에는, 공간적 및/또는 시간적 예측이 포함된다. 따라서, 각 부호화 대상 블록은, 우선, 이미 부호화된 동화상 프레임으로부터 공간적으로 인접한 블록인지, 시간적으로 인접한 블록인지를 이용하여 예측된다. 부호화 대상 블록과 예측 결과의 차분인 블록이 예측 잔차 또는 예측 오차 신호로서, 다음에 구해진다. 다음의 부호화 단계에서는, 잔차 블록(예측 오차 신호)이 공간(화소) 영역으로부터 주파수 영역으로 변환된다. 변환의 목적은, 잔차 블록의 용장성을 삭감하는 것이다. 다음의 부호화 단계에 있어서, 변환 계수가 양자화된다. 이 단계에 있어서, 실질적으로 로스가 발생하는 (불가역적인) 압축이 행해진다. 통상, 압축 변환 계수치(양자화 계수)는, 엔트로피 부호화에 의해(로스를 발생시키지 않고) 더욱 압축된다. 또한, 부호화 동화상 신호를 재구축하기 위해서 필요한 보조 정보가 부호화되어, 부호화 동화상 신호와 함께 제공된다. 이 정보는, 예를 들면, 공간적 및/또는 시간적 예측이나 양자화량에 관한 것이다.

도 1은, H. 264/MPEG-4 AVC 표준 규격에 준거한, 전형적인 동화상 부호화 장치(인코더)(100)의 일예를 나타내는 블록도이다. H. 264/MPEG-4 AVC 표준 규격은, 상술한 부호화 단계의 전체를 조합시킨 것이다. 감산기(105)는, 우선 입력 동화상(입력 신호)의 부호화 대상 블록과, 대응하는 예측 블록(예측 신호)의 차분을 특정한다. 이 차분은, 부호화 대상 블록의 예측에 이용되는 것이다. H. 264/MPEG AVC에 있어서의 예측 신호는, 시간적 예측이나 공간적 예측에 의해 취득된다. 예측 타입은, 프레임 단위 또는 매크로 블록 단위로 다르게 할 수 있다. 시간적 예측(화면간 예측)으로 예측된 매크로 블록은, 인터 부호화 매크로 블록이라고 하고, 공간적 예측(화면 내 예측)으로 예측된 매크로 블록은, 인트라 부호화 매크로 블록으로 불린다. 가능한 한 높은 압축 성과를 달성하기 위해서, 동화상 프레임의 예측 타입은, 사용자가 설정할 수도 있고, 동화상 부호화 장치(100)에 선택시킬 수도 있다. 선택된 예측 타입에 따라, 인트라/인터 스위치(175)는, 대응하는 예측 신호를 감산기(105)에 제공한다. 시간적 예측을 이용하여 얻어진 예측 신호는, 메모리(140)에 저장되어 있는 재구축 화상(재구축 화상 신호)으로부터 산출된다. 공간적 예측을 이용하여 얻어진 예측 신호는, 부호화 및 복호되어 메모리(140)에 저장된 인접 블록 내의 경계 화소의 값으로부터 산출된다. 따라서, 메모리(140)는, 부호화 대상의 신호치와, 과거의 신호치로부터 생성된 예측 신호의 비교를 가능하게 하기 위한 지연 수단으로서 동작한다. 메모리(140)는, 복수의 부호화 동화상 프레임을 저장 가능하다. 입력 신호와 예측 신호의 차분은 예측 오차 신호 또는 잔차라고 하고, 변환/양자화부(110)는, 그 예측 오차 신호를 주파수 성분의 계수로 변환하여 양자화한다. 로스가 생기지 않는 방법으로 데이터량을 더욱 삭감하기 위해서, 엔트로피 부호화부(190)는, 양자화 계수에 대하여 엔트로피 부호화를 행한다. 주로, 값의 발생 확률에 의거하여 길이가 결정되는 복수의 부호어를 이용하는 가변 길이 부호화에 의해 데이터량이 삭감된다.

인트라 부호화 화상(I 픽처, I 타입 화상 또는 I 프레임이라고도 한다)은, 인트라 부호화된 매크로 블록만으로 이루어진다. 즉, 인트라 부호화된 화상은, 다른 복호 화상을 참조하지 않고 복호 가능하다. 인트라 부호화 화상은, 부호화 동화상 시퀀스에 대하여 에러 내성을 부여한다. 왜냐하면, 시간적 예측에 의해 동화상 시퀀스 내에서 프레임으로부터 프레임으로 전파할 가능성이 있는 에러를 제거하기 (리프레쉬하기) 때문이다. 또한, I 프레임은, 부호화 동화상 시퀀스 내에서 랜덤 액세스를 가능하게 한다. 화면 내 예측에서는, 기본적으로는, 이미 부호화된 인접 매크로 블록의 경계에 위치하는 화소를 이용하여 대상 매크로 블록을 예측하는, 미리 정해진 인트라 예측 모드의 셋트가 이용된다. 공간적 인트라 예측 모드가 다르다고 하는 것은, 적용된 2차원 예측의 방향이 다르다는 것이다. 이에 따라, 다양한 에지 방향에 있어서 공간적 인트라 예측을 효율적으로 행할 수 있다. 인트라 예측에 의해 얻어진 예측 신호는, 다음에, 상술한 감산기(105)에 의해, 입력 신호로부터 감산된다. 또한, 공간적 인트라 예측 모드를 나타내는 정보는, 엔트로피 부호화되어, 부호화 동화상 신호와 함께 제공된다.

동화상 부호화 장치(100) 내에는, 복호 동화상 신호를 취득하는 복호 수단이 구비되어 있다. 부호화 단계에 준거하여, 복호 단계의 처리를 실행하는 역양자화/역변환부(120)가 포함된다. 역양자화/역변환부(120)는, 양자화 계수에 대하여 역양자화 및 역변환을 행함으로써 양자화 예측 오차 신호를 생성한다. 양자화 예측 오차 신호는, 양자화 노이즈라고도 하는 양자화 오차가 원인으로 원예측 오차 신호와는 다르다. 가산기(125)는, 양자화 예측 오차 신호를 예측 신호에 가산함으로써, 재구축 신호를 생성한다. 인코더(동화상 부호화 장치(100))측과 디코더(동화상 복호 장치)측의 호환성을 유지하기 위해서, 부호화된 후에 복호된 동화상 신호인 재구축 신호를 이용하여, 인코더 및 디코더의 쌍방에 알려지는 예측 신호를 구한다. 양자화에 의해, 양자화 노이즈가 그 재구축 신호에 중첩되어 있다. 블록 단위에서의 부호화에 의해, 중첩된 노이즈는 종종 블로킹 특성을 가지고, 특히 강한 양자화가 행해진 경우는, 재구축 신호에 의해 나타내는 복호 화상의 블록 경계가 눈에 띄는 결과로 된다. 블록킹 아티팩트(블록 변형)는, 인간의 시각적 인식에 있어서 마이너스의 효과가 있다.

아티팩트를 삭감하기 위해서, 디블록킹 필터(130)는, 복호 화상의 블록마다 디블록킹 필터 처리를 적용한다. 디블록킹 필터 처리는, 예측 신호와 양자화 예측 오차 신호의 가산 결과인 재구축 신호에 적용된다. 디블록킹 필터 처리후의 재구축 신호인 재구축 동화상 신호는, 통상은(포스트 필터링이 적용되지 않으면) 디코더측에서 표시되는 복호 신호이다. H. 264/MPEG-4 AVC에 있어서의 디블록킹 필터는, 국소적으로 적용가능한 것이다. 블로킹 노이즈의 정도가 높은 경우는, 강한 (대역폭이 좁은) 로우패스 필터가 적용되고, 블로킹 노이즈의 정도가 낮은 경우는, 약한 (대역폭이 넓은) 로우패스 필터가 적용된다. 로우패스 필터의 강도는, 예측 신호 및 양자화 예측 오차 신호에 의해 정해진다. 디블록킹 필터는, 통상, 블록의 에지를 평활화하여 복호 화상의 주관적 화질을 개선한다. 또한, 화상 내의 필터링 완료 부분이 다음 화상의 움직임 보상 예측에 이용되므로, 필터링에 의해 예측 오차가 삭감되어, 부호화 효율을 개선할 수 있다.

인트라 부호화 매크로 블록은 표시되기 전에 필터링되는데, 인트라 예측은 필터링 전의 재구축 신호가 나타내는 매크로 블록을 이용하여 행해진다.

도 2는, 디블록킹 필터(130)의 처리를 설명하기 위한 도면이다. 디블록킹 필터(130)는, 좌측에 있어서의 제1 블록(301)의 샘플(p3, p2, p1, p0)과, 우측에 있어서의 제2 블록(302)의 샘플(q3, q2, q1, q0)로 분리하고, 수직 블록 경계선(310)에 있어서 디블록킹 필터 처리를 행한다. 4개의 계수를 가지는 선형 디블록킹 필터 처리를, 입력 샘플(p2, p1, p0, q0, q1, q2)에 적용하면, 디블록킹 필터 처리된 샘플로서, 이하의 「p0, new」 및 「q0, new」가 출력된다.

p0, new＝(p2－(p1≪1)＋(p0＋q0＋1)≫1)≫1,

q0, new＝(q2－(q1≪1)＋(q0＋p0＋1)≫1)≫1

그리고, 재구축 동화상 신호는 메모리(140)에 저장된다.

인터 부호화 화상을 복호하기 위해서는, 부호화된 후에 복호된 화상이 필요하다. 시간적 예측은, 단일 방향에서 (즉, 시간적 순서에 있어서, 부호화 대상 프레임보다 앞의 동화상 프레임만을 이용하여) 행해도 되고, 또한 쌍방향에서(즉, 부호화 대상 프레임보다 앞 및 뒤의 동화상 프레임을 이용하여) 행해도 된다. 단일 방향의 시간 예측을 행하면, P 프레임(P 픽처)이라고 하는 인터 부호화 화상이 얻어지고, 쌍방향의 시간적 예측을 행하면, B 프레임(B 픽처)이라고 하는 인터 부호화 화상이 얻어진다. 통상, 인터 부호화 화상은, P타입 매크로 블록과 B 타입 매크로 블록과 I 타입 매크로 블록 중 어느 하나로 구성된다.

움직임 보상 예측부(160)는, 인터 부호화 매크로 블록(P 또는 B 타입 매크로 블록)을 예측한다. 우선, 움직임 검출부(165)는, 부호화된 후에 복호된 동화상 프레임 내에서, 부호화 대상 블록에 최적의 블록을 검출한다. 예측 신호는 이 최적 블록을 나타내고, 움직임 검출부(165)는, 부호화 대상 블록과 최적 블록간의 상대적인 어긋남(움직임)을, 부호화 동화상 신호와 함께 제공되는 보조 정보 내에 포함되는 3차원 움직임 벡터라고 하는 형식으로, 움직임 데이터로서 출력한다. 3차원이란, 2개의 공간 차원과, 1개의 시간 차원으로 이루어진다. 예측 정밀도를 최적화하기 위해서, 1/2 화소 해상도나 1/4 화소 해상도 등의 공간 소수 화소 해상도로 움직임 벡터를 특정해도 된다. 공간 소수 화소 정밀도의 움직임 벡터는, 복호된 동화상 프레임 내의, 소수 화소 위치와 같이 화소치가 실존하지 않는 위치를 가리켜도 된다. 따라서, 움직임 보상 예측을 행하기 위해서는, 그러한 화소치의 공간적 보간이 필요하다. 보간 필터(150)는, 그러한 공간적인 화소치의 보간을 행한다. H. 264/MPEG-4 AVC 표준 규격에 따라, 수평 방향과 수직 방향에서 따로따로 소수 화소 위치의 화소치를 얻기 위해서, 고정 필터 계수를 이용한 6탭·위너 보간 필터와 바이너리 필터가 적용된다.

인트라 부호화 모드 및 인터 부호화 모드에 있어서, 변환/양자화부(110)는, 입력 신호와 예측 신호간의 차분인 예측 오차 신호를 변환하여 양자화하여, 양자화 계수를 생성한다. 일반적으로, 변환에는, 2차원 이산 코사인 변환(DCT) 또는 그 정수판과 같은 직교 변환이 채용된다. 왜냐하면, 이에 따라 자연스러운 동화상의 용장성을 효율적으로 삭감할 수 있기 때문이다. 변환 후, 통상, 저주파수 성분은 고주파 성분보다도 화질에 있어서 중요하기 때문에, 고주파수의 부호화보다도 저주파수의 부호화에 많은 비트가 소비된다. 엔트로피 부호화부(190)는, 2차원 매트릭스의 양자화 계수를 1차원 배열로 변환한다. 전형적으로는, 소위 지그재그 주사에 의해 변환된다. 지그재그 주사에 있어서는, 2차원 매트릭스의 좌측 상방 귀퉁이의 DC 계수부터 우측 하방 귀퉁이의 AC 계수까지 소정의 순서로 주사된다. 전형적으로는, 에너지는 저주파에 상당하는, 2차원 계수 매트릭스의 좌측 상방 부분에 집중하기 때문에, 지그재그 주사를 행하면, 최후의 쪽에서 제로값이 연속하는 배열로 된다. 이에 따라, 실제의 엔트로피 부호화의 일부로서, 또는 그 이전의 단계에서, 런랭스 부호를 이용한 효율적인 부호화를 행하는 것이 가능해진다.

H. 264/MPEG-4 AVC는, 양자화 파라미터(QP) 및 커스터마이즈 가능한 양자화 매트릭스(QM)에 의해 제어가능한 스칼라 양자화를 채용하고 있다. 양자화 파라미터에 의해, 52의 양자화기 중의 1개가 매크로 블록마다 선택된다. 추가하여, 양자화 매트릭스는, 화질의 손실을 피하기 위해서, 특히, 소스 내에서 특정 주파수를 유지하도록 설계된다. H. 264/MPEG-4 AVC에 있어서의 양자화 매트릭스는, 동화상 시퀀스에 적응가능하고, 부호화 동화상 신호와 함께 송신된다.

H. 264/MPEG-4 AVC 표준 규격에는, 동화상 부호화층(VCL)과 네트워크 추상 레이어(NAL)라고 하는 2개의 기능층이 있다. VCL은, 이미 간단히 언급한 부호화 기능을 제공한다. NAL은, 채널 상에서의 전송이나 저장 수단으로의 저장과 같은, 한층더 어플리케이션에 따라, 동화상의 복호 시에 필요한 보조 정보와 함께 부호화된 예측 오차 신호를, NAL 유닛이라고 하는 표준 단위로 캡슐화한다. 압축 동화상 데이터 및 그 관련 정보를 포함하는 VCL NAL 유닛이라고 하는 것이 있다. 또한, 부가 데이터를 캡슐화하는 비VCL 유닛이라고 하는 것도 있다. 부가 데이터는, 예를 들면, 동화상 시퀀스 전체에 관한 파라미터 세트나, 복호 성능을 개선하기 위해서 이용할 수 있는 부가 정보를 제공하는, 최근 추가된 보조적 확장 정보(SEI) 등이다.

화질을 개선하기 위해서, 포스트 필터(280)(도 3 참조)라고 하는 것을, 디코더(동화상 복호 장치(200))에 적용해도 된다. H. 264/MPEG-4 AVC 표준 규격에 있어서는, 보조적 확장 정보(SEI) 메시지를 통하여, 포스트 필터링을 위한 필터 데이터를 송신하는 것이 가능하다. 포스트 필터 설계부(180)는, 필터 데이터(소위 포스트 필터링의 필터 힌트)를, 로컬 복호 신호(재구축 동화상 신호)와 입력 신호를 비교함으로써 특정한다. 일반적으로 필터 데이터는, 적합한 필터 조건을 디코더가 설정하기 위한 정보이다. 필터 데이터는, 예를 들면 필터 계수를 직접 포함하고 있어도 된다. 그러나, 필터 설정을 가능하게 하는 다른 정보를 포함하고 있어도 된다. 예를 들면, 비압축 신호에 관한 상호 상관 정보나, 입력 화상과 복호 화상간의 상호 상관 정보나, 복호 화상과 양자화 노이즈간의 상호 상관 정보 등이다. 이 상호 상관 정보를 이용하여 필터 계수를 산출할 수 있다. 포스트 필터 설계부(180)에서 출력되는 필터 데이터는, 엔트로피 부호화부(190)에 이송되고, 부호화되어 부호화 동화상 신호에 삽입된다.

디코더는, 필터 데이터를, 복호 신호(복호 동화상 신호)를 표시하기 전에 그 복호 신호에 대하여 적용해도 된다.

도 3은, H. 264/MPEG-4 AVC 동화상 부호화 표준 규격에 준거한 예시적인 동화상 복호 장치(디코더)(200)의 블록도이다. 부호화 동화상 신호인 입력 신호는, 우선 엔트로피 복호부(290)에 송신된다. 엔트로피 복호부(290)는, 입력 신호에 대하여 엔트로피 복호를 행한다. 그 결과, 양자화 계수와, 움직임 데이터 및 예측 모드 등의 복호에 필요한 정보 엘리먼트와, 필터 데이터가 복호된다. 1차원으로 배열된 양자화 계수는, 역주사되어 2차원 매트릭스로 되어, 역양자화/역변환부(220)에 송신된다. 역양자화/역변환부(220)는, 2차원 매트릭스의 양자화 계수에 대하여 역양자화 및 역변환을 행함으로써, 양자화 예측 오차 신호를 생성한다. 이는, 양자화 노이즈가 발생하지 않는 경우에 있어서, 인코더에 입력된 입력 신호로부터 예측 신호를 감산하여 얻어진 차분에 상당한다.

예측 신호는, 움직임 보상 예측부(260) 또는 화면 내 예측부(270)로부터 각각 얻어진다. 인트라/인터 스위치(275)는, 인코더에서 적용된 예측 타입을 나타내는 정보 엘리먼트에 따라, 가산기(225)에 출력되는 예측 신호를 전환한다. 정보 엘리먼트는, 또한, 인트라 예측의 경우에는, 인트라 예측 모드 등의 예측에 필요한 정보를 포함하고, 움직임 보상 예측의 경우에는, 움직임 데이터 등의 예측에 필요한 정보를 포함한다. 움직임 벡터의 값에 따라서는, 움직임 보상 예측을 행하기 위해서 화소치를 보간할 필요가 있다. 보간은, 보간 필터(250)에 의해 행해진다. 가산기(225)는, 공간 영역의 양자화 예측 오차 신호를, 움직임 보상 예측부(260)나 화면 내 예측부(270)로부터 얻어지는 예측 신호에 가산함으로써, 재구축 신호를 생성한다. 또한, 가산기(225)는 재구축 신호를 디블록킹 필터(230)에 송신한다. 디블록킹 필터(230)는, 재구축 신호에 대하여 디블록킹 필터 처리를 행함으로써 재구축 동화상 신호를 생성하고, 그 재구축 동화상 신호를 메모리(240)에 저장한다. 이 재구축 동화상 신호는, 후속 블록의 시간적 예측 또는 공간적 예측에 이용된다.

포스트 필터(280)는, 엔트로피 복호부(290)에 의해 엔트로피 복호된 필터 데이터를 취득하고, 그 필터 데이터에 따른 필터 계수 등의 필터링의 조건을 설정한다. 화질을 더욱 개선하기 위해서, 포스트 필터(280)는, 그 조건에 따른 필터링을 그 재구축 동화상 신호에 적용한다. 이에 따라, 포스트 필터(280)는, 인코더에 입력되는 동화상 신호의 특성에 적응하는 능력을 구비한다.

요약하면, 최신 H. 264/AVC 표준 규격으로 이용되는 필터는 이하의 3종류이다. 즉, 보간 필터, 디블록킹 필터, 및 포스트 필터이다. 일반적으로, 어떤 필터가 적절한지 여부는, 필터링 대상의 화상 내용으로 결정된다. 이 때문에, 화상의 특성에 적응가능한 필터 설계가 유리하다. 필터 계수를, 위너 필터 계수로서 설계해도 된다.

도 4는, 노이즈를 삭감하기 위한 위너 필터(400)를 이용한 신호의 흐름을 설명하는 도면이다. 노이즈(n)가 입력 신호(s)에 가산되면, 필터링 대상의 노이즈를 포함하는 신호(s')가 된다. 노이즈(n)를 삭감한다고 하는 목적은, 신호(s')에 위너 필터(400)를 적용하여 필터링 완료 신호(s”)를 얻는 것이다. 위너 필터(400)는, 원하는 신호인 입력 신호(s)와 필터링 완료 신호(s”) 사이의 평균 자승 오차를 최소한으로 하도록 설계된다. 따라서 위너 필터 계수(w)는 Wiener-Hopf 방정식이라고 하는 시스템으로서 표현되는 최적화 문제「arg_W min E [(s-s”)2]」의 해(解)에 상당한다. 연산자 E [x]는 기대치(x)를 표시하는 것이다. 해는 「w＝R^－1·p」로 구해진다.

여기에서, w는, 양의 정수인 M자리수의 최적의 위너 필터 계수를 포함하는 M×1의 벡터이다. R^－1은, 필터링 대상의 노이즈를 포함하는 신호(s')의 M×M의 자기 상관 매트릭스(R)의 역수를 나타낸다. p는, 필터링 대상의 노이즈를 포함하는 신호(s')와 원신호(s) 사이의 M×1의 상호 상관 벡터를 나타낸다. 적응적 필터 설계에 관한 상세에 대해서는, 비특허문헌 1을 참조할 것. 이를 여기에 인용하여 원용한다.

따라서, 위너 필터(400)의 메리트의 1개는, 파손된 (노이즈를 포함한다) 신호의 자기 상관과, 파손 신호와 원하는 신호간의 상호 상관을 이용하여, 필터 계수를 구할 수 있다고 하는 점이다. 동화상 부호화 시에, 양자화 단계에 있어서, 양자화 노이즈가 원(입력) 동화상 신호에 중첩된다. 동화상 부호화의 콘텍스트에 있어서의 위너 필터링은, 필터링된 재구축 동화상 신호와 원동화상 신호의 평균 자승 오차를 최소화하기 위해서, 중첩된 양자화 노이즈를 삭감하는 것을 목적으로 하고 있다.

인코더로부터 디코더로 송신되는 필터 정보는, 산출된 필터 계수 그 자체거나, 디코더에서는 구할 수 없는, 위너 필터의 산출에 필요한 상호 상관 벡터(p)이다. 그러한 보조 정보를 송신하면, 필터링의 질을 개선할 수 있다. 또한, 예를 들면, 필터의 차수를 늘림으로써, 또는 동화상 신호의 각 부분에 대하여 따로따로 필터 계수를 결정 및/또는 적용시킴으로써, 필터링의 질을 더욱 개선하고, 동화질을 더욱 향상시킬 수 있다(예를 들면, 특허문헌 1 참조).

유럽 특허 출원 공개 제2048886호 명세서

S. Haykin, "Adaptive Filter Theory", Fourth Edition, Prentice Hall Information and System Sciences Series, Prentice Hall, 2002

그러나, 종래의 동화상 부호화 방법 및 동화상 복호 방법에서는, 화질의 향상을 도모하기 위해서 필터 계수의 수를 늘리면, 이들 필터 계수를 디코더에 설정시키기 위해서 디코더에 송신되어야 할 필터 데이터의 데이터량이 많아진다고 하는 문제가 있다. 그 결과, 부호화 효율이 저하됨과 더불어, 부호화 동화상 신호의 송신에는, 넓은 통신 대역이 필요해지고, 부호화 동화상 신호의 저장에는, 큰 메모리 용량이 필요해진다.

본 발명의 근저에 있는 과제는, 동화상 필터링의 질이 더욱 향상되기 위해서는, 통상, 필터 데이터를 부호화 동화상 신호와 함께 제공하기 때문에 필요한 대역폭 조건의 증가가 결부되어 있는 것에 의거한다.

여기서, 본 발명은, 이러한 문제를 감안하여 이루어진 것으로서, 부호화 효율의 저하를 억제하고, 복호되는 동화상의 화질을 향상시키는 동화상 부호화 방법 및 동화상 복호 방법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위해서, 본 발명의 하나의 양태의 동화상 부호화 방법은, 적어도 하나의 픽처를 포함하는 동화상 신호를 부호화하는 동화상 부호화 방법으로서, 공간적 또는 시간적으로 상기 동화상 신호를 예측함으로써 예측 신호를 생성하고, 상기 동화상 신호와 상기 예측 신호의 차분을 예측 오차 신호로서 산출하고, 상기 예측 신호 및 상기 예측 오차 신호에 의거하여 상기 동화상 신호를 재구축함으로써 재구축 동화상 신호를 생성하고, 상기 예측 신호, 상기 예측 오차 신호 및 상기 재구축 동화상 신호 중 적어도 2개의 신호의 각각에 대하여, 당해 신호를 필터링하기 위한 필터 데이터를 결정하고, 결정된 상기 필터 데이터간의 상호 상관에 의거하여, 결정된 상기 필터 데이터를 부호화한다.

이에 따라, 예측 신호, 예측 오차 신호 및 재구축 동화상 신호 중 적어도 2개의 신호의 각각에 대하여 필터 계수 등의 필터 데이터가 결정되므로, 동화상 복호 장치에서는, 이들 필터 데이터를 취득하고, 예측 신호, 예측 오차 신호 및 재구축 동화상 신호 중 적어도 2개의 신호에 이들 필터 데이터를 적용하면, 원래의 동화상 신호와 동일 또는 그에 따라 가까운 신호를 생성할 수 있고, 복호되는 동화상의 화질을 향상시킬 수 있다. 또한, 필터 데이터간의 상호 상관에 의거하여, 이들 필터 데이터가 부호화되기 때문에, 필터 데이터의 데이터량을 적게 할 수 있어, 부호화 효율의 저하를 억제할 수 있다.

또한, 상기 필터 데이터를 부호화할 때는, 결정된 2개의 필터 데이터 중 제1의 필터 데이터로부터, 상기 제1의 필터 데이터 이외의 제2의 필터 데이터를 예측함으로써, 상기 제2의 필터 데이터의 예측 데이터를 특정하고, 상기 제2의 필터 데이터와 상기 예측 데이터의 차분을 산출함으로써, 상기 제2의 필터 데이터를 부호화해도 된다. 예를 들면, 상기 예측 데이터를 특정할 때는, 상기 제1의 필터 데이터를 상기 예측 데이터로서 특정한다. 또한, 제1의 필터 데이터는 예를 들면 재구축 동화상 신호에 대한 필터 데이터이며, 제2의 필터 데이터는 예를 들면 예측 신호에 대한 필터 데이터이다.

이에 따라, 소위 필터 데이터(필터 계수)의 예측 부호화가 실현된다. 즉, 제2의 필터와 예측 데이터의 차분이, 부호화된 제2의 필터 데이터가 되기 때문에, 예측 데이터가 제2의 필터 데이터와 유사하면 할수록, 부호화된 제2의 필터 데이터의 데이터량을 적게 할 수 있어, 부호화 효율을 향상시킬 수 있다. 또한, 제1의 필터 데이터가 제2의 필터 데이터와 유사한 경향이 있으면, 제1의 필터 데이터를 예측 데이터로 함으로써, 부호화 효율의 향상이 가능한 예측 데이터를 간단히 특정할 수 있어, 처리 부담의 경감을 도모할 수 있다.

또한, 상기 필터 데이터를 부호화할 때는, 상기 필터 데이터를 양자화하고, 상기 양자화의 정밀도를 나타내는 정밀도 정보를 부호화해도 된다.

이에 따라, 필터 데이터가 양자화되기 때문에, 필터 데이터의 데이터량을 더욱 적게 할 수 있어, 부호화 효율을 더욱 향상시킬 수 있다. 또한, 정밀도 정보 (예를 들면, filter_precision[c])가 부호화되기 때문에, 동화상 복호 장치에서는, 그 부호화된 정밀도 정보를 취득함으로써, 양자화된 필터 데이터를 적절히 역양자화할 수 있다.

또한, 상기 정밀도 정보를 부호화할 때는, 상기 정밀도 정보가 나타내는 정밀도가 낮을수록 짧은 부호어가 당해 정밀도 정보에 할당되도록, 상기 정밀도 정보를 부호화해도 된다.

이에 따라, 부호화 효율을 더욱 향상시킬 수 있다.

또한, 상기 필터 데이터를 결정할 때는, 상기 필터 데이터의 각각을 색성분마다 결정하고, 상기 필터 데이터를 부호화할 때에는, 상기 색성분으로서 제1의 색성분과 제2의 색성분이 있는 경우, 상기 제1의 색성분의 상기 필터 데이터와, 상기 제2의 색성분의 필터 데이터 사이의 상호 상관에 의거하여, 상기 제1의 색성분의 상기 필터 데이터를 부호화해도 된다.

예를 들면, 제1의 색성분의 필터 데이터와 제2의 색성분의 필터 데이터의 차분을, 부호화된 제1의 색성분의 필터 데이터로 함으로써, 필터 데이터 데이터량을 더욱 적게 할 수 있어, 부호화 효율을 더욱 향상시킬 수 있다.

또한, 상기 동화상 부호화 방법은, 또한, 상기 예측 오차 신호에 의거하여 부호화 동화상 신호를 비트 스트림으로서 생성하고, 부호화된 상기 필터 데이터를 상기 비트 스트림에 포함하고, 상기 비트 스트림에 부호화된 상기 필터 데이터를 포함할 때에는, 상기 비트 스트림 내에 있어서, 상기 필터 데이터를 이용한 필터링이 적용되어야 할 화상 신호의 앞에, 부호화된 상기 필터 데이터를 배치해도 된다.

부호화된 필터 데이터가, 그 필터 데이터가 적용되는 화상 신호의 앞에 배치되기 때문에, 비트 스트림에 배열되는 순서에 따라, 그 부호화된 필터 데이터와 그 화상 신호를 생성하면, 생성된 이들 데이터를 일시적으로 저장해 둘 필요가 없어, 메모리 용량의 삭감을 도모할 수 있다. 이 경우에는, 그 필터 데이터를 이용하여 화상 신호를 생성할 수 있으므로, 소위 루프 내 필터를 실현할 수 있다. 즉, 예측 신호에 대하여 그 필터 데이터를 이용한 필터링을 행하고, 그 필터링된 예측 신호로부터 화상 신호를 생성할 수 있다.

또한, 상기 필터 데이터를 결정할 때는, 상기 적어도 2개의 신호의 각각에 대하여, 필터 계수의 사이즈를 선택하고, 선택된 사이즈를 특정하기 위한 신택스 엘리먼트 및 상기 필터 계수를 포함하는 상기 필터 데이터를 결정해도 된다.

이에 따라, 필터 계수의 사이즈(필터 사이즈)를 예를 들면 프레임 또는 슬라이스마다 변경할 수 있고, 예를 들면, 상술한 사이즈에 따라 정해지는 범위의 중심위치의 필터 데이터(필터 계수)만이 상호 상관에 의거하여 부호화(예측 부호화)되는 경우에는, 상황에 따라서 사이즈를 작게 함으로써 부호화 효율을 향상시킬 수 있다.

또한, 상기 목적을 달성하기 위해서, 본 발명의 일양태의 동화상 복호 방법은, 적어도 하나의 픽처를 포함하는 동화상 신호가 부호화된 부호화 동화상 신호를 복호하는 동화상 복호 방법으로서, 상기 부호화 동화상 신호로부터 예측 오차 신호를 생성하고, 공간적 또는 시간적으로 상기 동화상 신호를 예측함으로써 예측 신호를 생성하고, 상기 예측 신호 및 상기 예측 오차 신호에 의거하여 상기 동화상 신호를 재구축함으로써 재구축 동화상 신호를 생성하고, 상기 예측 신호, 상기 예측 오차 신호 및 상기 재구축 동화상 신호 중 적어도 2개의 신호의 각각에 대하여 결정된 필터 데이터가 부호화된 부호화 필터 데이터를 취득하고, 상기 필터 데이터간의 상호 상관에 의거하여, 상기 적어도 2개의 신호의 각각에 대한 상기 부호화 필터 데이터를 복호함으로써 필터 데이터를 생성하고, 상기 적어도 2개의 신호의 각각에 대하여, 생성된 상기 필터 데이터를 이용한 필터링을 행한다.

이에 따라, 상기 본 발명의 일양태의 동화상 부호화 방법에 의해 부호화된 필터 데이터를 적절하게 복호할 수 있고, 그 필터 데이터를 이용한 필터링이 행해짐으로써, 원래의 동화상 신호가 나타내는 화상에 의해 가까운 복호 화상을 생성할 수 있어, 복호 화상의 화질을 향상시킬 수 있다.

또한, 본 발명은, 이러한 동화상 부호화 방법 및 동화상 복호 방법으로서 실현할 수 있을 뿐만 아니라, 그 방법에 따라서 처리 동작하는 장치 혹은 집적 회로, 그 방법에 따른 처리 동작을 컴퓨터에 실행시키는 프로그램, 또는, 그 프로그램을 저장하는 기록 매체로서도 실현할 수 있다.

또한, 예측 동화상 신호와, 예측 오차 신호와, 재구축 동화상 신호 중 적어도 2개를 고려하여 필터 데이터의 결정 및 필터링을 행하는 것, 그리고 상기 적어도 2개의 신호에 대한 필터 데이터를, 당해 필터 데이터간의 통계적 관계(상호 상관)를 이용하여 부호화하는 것은, 본 발명의 특유의 수법이다.

이러한 수법에 의해, 한쪽으로는 필터링 성능을 향상시킬 수 있고, 다른쪽으로는 필터 데이터의 송신에 요하는 대역폭의 삭감이 가능하다. 따라서, 부호화 동화상 신호의 저장/송신에 요하는 특정한 레이트에 대하여, 복호 동화상 신호의 질을 향상시킬 수 있다.

본 발명의 하나의 양태에 의하면, 적어도 하나의 동화상 프레임을 포함하는 동화상 신호를 부호화하기 위한 방법을 제공한다. 공간적 또는 시간적으로 동화상 신호를 예측하고, 예측 결과에 의거하여 예측 오차 신호를 산출한다. 상기 예측 동화상 신호 및 상기 예측 오차 신호에 의거하여, 동화상 신호를 재구축한다. 상기 예측 동화상 신호와, 상기 예측 오차 신호와, 재구축 동화상 신호 중 적어도 2개의 신호를 필터링하기 위한 필터 데이터를 결정하여, 부호화한다. 상기 부호화는, 상기 예측 동화상 신호와, 상기 예측 오차 신호와, 상기 재구축 동화상 신호 중 상기 적어도 2개의 신호에 대한 필터 데이터간의 통계적 관계(상호 상관)에 의거하여 행한다.

본 발명의 다른 양태에 의하면, 적어도 하나의 동화상 프레임을 포함하는 부호화 동화상 신호를 복호하는 방법을 제공한다. 공간적 또는 시간적으로 동화상 신호를 예측하고, 인코더측으로부터 예측 오차 신호를 취득한다. 상기 예측 동화상 신호 및 상기 예측 오차 신호에 의거하여, 동화상 신호를 재구축한다. 상기 예측 동화상 신호와, 상기 예측 오차 신호와, 재구축 동화상 신호 중 적어도 2개의 신호에 대한 필터 데이터간의 통계적 관계에 의거하여, 필터 데이터를 복호한다. 이에 따라, 상기 복호 필터 데이터에 따라서 필터를 설정하고, 상기 예측 신호와, 상기 예측 오차 신호와, 상기 재구축 동화상 신호 중 상기 적어도 2개의 신호를 필터링한다.

본 발명의 또 다른 양태에 의하면, 적어도 하나의 동화상 프레임을 포함하는 동화상 신호를 부호화하는 부호화 장치를 제공한다. 상기 부호화 장치는, 공간적 또는 시간적으로 동화상 신호를 예측하는 예측기와, 예측 동화상 신호에 의거하여 예측 오차 신호를 산출하는 감산기와, 상기 예측 동화상 신호 및 상기 예측 오차 신호에 의거하여 동화상 신호를 재구축하는 재구축기를 구비한다.

또한, 상기 예측 동화상 신호와, 상기 예측 오차 신호와, 재구축 동화상 신호 중 적어도 2개의 신호를 필터링하기 위한 필터 데이터를 결정하는 필터 설계 수단과, 상기 예측 동화상 신호와, 상기 예측 오차 신호와, 상기 재구축 동화상 신호 중 상기 적어도 2개의 신호에 대한 필터 데이터간의 통계적 관계(상호 상관)에 의거하여, 상기 결정된 필터 데이터를 부호화하는 필터 데이터 인코더를 구비한다.

본 발명의 또 다른 양태에 의하면, 적어도 하나의 동화상 프레임을 포함하는 부호화 동화상 신호를 복호하는 복호 장치를 제공한다. 상기 복호 장치는, 공간적 또는 시간적으로 동화상 신호를 예측하는 예측기와, 예측 동화상 신호 및 상기 장치가 인코더측으로부터 취득가능한 예측 오차 신호에 의거하여 동화상 신호를 재구축하는 재구축기를 구비한다. 상기 복호 장치는, 또한, 상기 예측 동화상 신호와, 상기 예측 오차 신호와, 재구축 동화상 신호 중 적어도 2개의 신호에 대한 필터 데이터간의 통계적 관계(상호 상관)에 의거하여, 필터 데이터를 복호하는 디코더와, 상기 복호 필터 데이터에 따라 필터를 설정하고, 상기 예측 동화상 신호와, 상기 예측 오차 신호와, 상기 재구축 동화상 신호 중 상기 적어도 2개의 신호를 필터링하는 필터 설계 수단을 구비한다.

바람직하게는, 부호화 단계는, 예측 오차 신호를 양자화하는 단계를 더 구비하고, 필터 데이터를, 예측 동화상 신호와, 양자화 예측 오차 신호와, 재구축 동화상 신호와, 인코더에 입력되는 동화상 신호에 의거하여, 위너 필터로서 산출한다. 통상, 부호화는 변환이나 색공간 변환 등, 다른 부호화 단계를 더 구비해도 된다. 필터 데이터의 결정은 위너 필터에 한정되는 것은 아니고, 예를 들면 평균 자승 오차를 최소화하는 것 이외의 최적화 문제를 해결하는 등, 다른 방법으로 설계해도 된다.

바람직하게는, 필터 데이터는, 예측 부호화와, 변환 부호화와, 벡터 양자화 및 부호화와, 마르코프(markov) 모델 및/또는 상태 천이도에 의거하는 부호화 중 적어도 하나를 이용하여 부호화된다. 그러나, 예측 신호 및/또는 양자화 예측 오차 신호 및/또는 재구축 신호에 대한 필터 데이터간의 통계적 의존 관계를 이용할 수 있는 부호화라면, 다른 부호화를 이용해도 된다. 예를 들면, 런랭스 부호화, 또는 부호화 완료 데이터에 따라 부호화 테이블을 전환하는 가변 길이 부호화, 또는 다른 동화상 신호 및/또는 색 성분에 대한 필터 데이터의 조합을 1부호어로서 부호화 할 수 있는 조인트 엔트로피 부호화를 이용해도 된다.

본 발명의 바람직한 실시의 형태에 의하면, 예측 동화상 신호와, 예측 오차 신호와, 재구축 동화상 신호에 대한 필터 데이터를, 예측 부호화를 이용하여 부호화한다. 특히, 예측 동화상 신호에 대한 필터 데이터를, 재구축 동화상 신호에 대한 필터 데이터로부터 예측하고, 및/또는 양자화 예측 오차 신호에 대한 필터 데이터를, 예측 동화상 신호에 대한 필터 데이터로부터 예측한다. 예측은, 예를 들면, 예측 동화상 신호에 대한 필터 데이터와, 예측 오차 신호에 대한 필터 데이터는 동등한 것을 전제로 행해도 된다. 필터 계수의 예측도 또한 예를 들면, 예측 동화상 신호에 대한 필터 계수와, 재구축 동화상 신호에 대한 필터 계수의 합계가, 고정 치(1 등)와 동등한 것을 전제로 행해도 된다. 그리고, 필터 데이터와 그 예측 결과의 오차를 부호화함으로써, 부호화를 행한다. 그러나, 상기 신호 중 하나에 대한 필터 데이터의 예측을, 나머지 신호에 대한 필터 데이터의 다른 함수를 이용하여 행해도 된다. 예를 들면, 재구축 동화상 신호에 대한 필터 데이터를, 예측 동화상 신호에 대한 필터 데이터와 예측 오차 신호에 대한 필터 데이터의 함수로서 예측해도 된다. 상기에 대응하여, 디코더는, 상기 신호에 대한 필터 데이터간의 통계적 관계를 이용하여, 이들을 복호한다.

특히, 예측 부호화를 이용하여 필터 데이터를 부호화할 경우, 예측의 종류를 신호 송신함으로써, 부호화 대상의 필터 데이터의 특성에 예측을 적응시켜도 된다. 마찬가지로, 변환 및 마르코프 모델을, 예를 들면 시퀀스, 프레임, 또는 슬라이스 헤더에 포함하여 인코더로부터 디코더측에 적응적으로 신호 송신해도 된다. 벡터 양자화 및 관련된 벡터 부호화를 이용할 경우, 대표 벡터를, 예를 들면 시퀀스, 프레임, 또는 슬라이스 헤더에 포함시켜서 인코더로부터 디코더측으로 적응적으로 신호 송신해도 된다.

바람직하게는, 필터 데이터를, 각 색성분에 대하여 따로따로 결정하고, 제1의 색 성분에 대한 필터 데이터를, 당해 제1의 색 성분에 대한 필터 데이터와, 별도의 색 성분에 대한 필터 데이터 사이의 통계적 관계에 의거하여 부호화한다. 이에 따라, 필터링 완료 신호의 색 성분간의 통계적 관계를 이용할 수 있게 된다.

특히, 상기 필터 데이터는, 필터 계수, 필터 길이, 오프셋, 필터 데이터의 부호화 타입, 및 인코더에 입력되는 동화상 신호와, 상기 예측 신호, 상기 예측 오차 신호, 상기 재구축 동화상 신호 중 적어도 하나와의 상호 상관의 적어도 하나를 포함한다. 또한, 양자화 노이즈와, 예측 신호, 예측 오차 신호 및 재구축 동화상 신호 중 적어도 하나와의 상호 상관을 송신하는 것도 가능하다. 상호 상관 정보는, 디코더가 필터 계수를 결정하기 위해서 이용되어도 된다. 대체로, 디코더측에서 필터 계수를 결정하기 위해서 이용할 수 있는 정보라면, 어떠한 정보를 필터 데이터로서 신호 송신해도 된다. 전형적으로, 그러한 정보는, 인코더에 입력된 원동화상 신호 또는 양자화 노이즈에 관련하여, 디코더측에서는 알려져 있지 않은 정보인 것이 바람직하다.

바람직하게는, 필터 데이터의 부호화는, 부호화 동화상 신호의 전체 비트 레이트에 관하여 행해진다. 특히, 전체 비트 레이트가 낮을수록, 필터 데이터의 부호화에는 낮은 레이트가 선택되고, 전체 비트 레이트가 높을수록, 필터 데이터의 부호화에는 높은 레이트가 선택된다. 필터 데이터는, 필터 데이터 양자화 정보를 포함해도 된다. 필터 데이터 양자화 정보는, 부호화되어 필터 데이터에 포함되는, 오프셋, 필터 계수, 및 인코더에 입력되는 동화상 신호와, 예측 신호, 예측 오차 신호, 재구축 동화상 신호 중 적어도 하나와의 상호 상관 중 적어도 하나의 정확함(정밀도)을 나타낸다. 정밀도가 낮을수록, 데이터는 더욱 개략적으로 양자화된다. 바람직하게는, 필터 데이터 양자화 정보는, 필터 데이터 양자화 정보치가 나타내는 정밀도가 낮을수록, 짧은 부호어를 이용하여 부호화된다. 이에 따라, 레이트가 낮은 부호화 동화상 데이터에 대하여, 필터 데이터의 신호 송신에 의한 오버헤드를 낮게 유지할 수 있다고 하는 효과가 있다. 필터 데이터 양자화 정보를 적응적으로 부호화해도 되고, 부호어 테이블은, 비트 스트림에 포함시켜서 신호 송신하는 정보에 의거하여 신호 송신 또는 산출해도 된다.

본 발명의 실시의 형태에 의하면, 동화상 신호 영역에 관한 필터 데이터는, 비트 스트림에 있어서 부호화 동화상 신호 영역의 뒤에 포함된다. 이에 따라, 관련된 필터 데이터를 포함하는 헤더를 부호화 동화상 스트림에 첨부한다고 하는 목적을 위하여 당해 부호화 동화상 스트림을 인코더에 저장할 필요가 없으므로, 인코더에 있어서의 메모리 조건을 줄일 수 있다.

본 발명의 다른 실시의 형태에 의하면, 동화상 신호 영역에 관한 필터 데이터는, 비트 스트림에 있어서 부호화 동화상 신호 영역의 앞에 포함된다. 이에 따라, 부호화/복호 동화상 스트림 전체를, 필터를 설정 및 적용할 수 있을때까지 저장할 필요가 없기 때문에, 디코더에 있어서의 메모리 조건을 줄일 수 있다.

바람직하게는, 헤더 정보와, 필터 데이터와, 매크로 블록 데이터를, 헤더 정보와, 필터 데이터와, 매크로 블록 데이터에 대하여 각각의 부호어를 제공하도록, 산술 부호를 이용하여 부호화한다. 따라서, 인코더 및 대응하는 디코더는, 헤더 정보와, 필터 데이터와, 매크로 블록 데이터의 각각을 부호화하기 전에 재기동한다. 이에 따라, 이들 종류가 다른 데이터를 따로따로 취급할 수 있게 된다. 그러나, 헤더 정보와, 필터 데이터와, 매크로 블록 데이터를, 인코더 및 디코더를 재기동시키지 않고, 단일한 부호어로서 부호화해도 된다. 또한, 산술 부호화와는 다른 부호화를 이용해도 된다.

부호화 필터 데이터와 함께 플래그를 설정함으로써, 예측 신호와, 예측 오차 신호와, 재구축 동화상 신호 중 어느 것에 대하여 필터 데이터가 부호화되는지를 신호 송신해도 된다. 별도의 플래그를 형성하여, 오프셋이 부호화되는지 여부를 신호 송신해도 된다.

바람직하게는, 동화상 신호는, H. 264/MPEG-4 AVC 표준 규격에 의거하여 부호화 및/또는 복호되고, 필터 데이터는, 보조적 확장 정보(SEI) 메시지 내에 포함된다.

그러나, 본 발명은 H. 264/MPEG-4 AVC 표준 규격, 그 규격을 확장한 것, 및 그 규격에 계속되는 것에 한정되지 않고, 표준화 또는 특허화된 동화상 부호화 메커니즘에 이용해도 된다.

본 발명의 또 다른 양태에 의하면, 본 발명을 실시하도록 적응한, 컴퓨터 판독 가능한 프로그램 코드를 실장한 컴퓨터 판독 가능 매체를 구비하는 컴퓨터 프로그램 제품을 제공한다.

본 발명의 다른 양태에 의하면, 인코더측으로부터 디코더측으로 동화상 신호를 송신하기 위한 시스템이 제공된다. 이 시스템은, 상술한 인코더와, 부호화 동화상 신호를 저장 또는 송신하기 위한 채널과, 상술한 디코더를 구비한다. 본 발명의 실시의 형태에 의하면, 이 채널은 기억 매체에 상당하고, 예를 들면, 휘발성 또는 불휘발성의 메모리나, CD, DVD, BD 또는 하드 디스크와 같은 광학 또는 자기 기억 수단, 플래시 메모리, 또는 그 외의 기억 수단이다. 본 발명의 다른 실시의 형태에 있어서, 채널은 전송 매체이다. 이는, 인터넷, WLAN, UMTS, ISDN, xDSL 등의 표준화 또는 특허화된 전송 기술/시스템에 준거한, 무선 시스템, 유선 시스템,또는 그 양쪽 조합의 리소스에 의해 형성가능하다.

본 발명의 목적 및 특징은, 상기 이외의 것도 포함하고, 부수되는 도면을 참조하면서 이하에 설명되는 기술 및 바람직한 실시의 형태에 의해 더욱 명확해진다.

본 발명의 동화상 부호화 방법 및 동화상 복호 방법은, 부호화 효율의 저하를 억제하고, 복호되는 동화상의 화질을 향상시킬 수 있다.

도 1은 종래의 H. 264/MPEG-4 AVC에 준거한 동화상 부호화 장치를 나타내는 블록도이다.
도 2는 2개의 블록간의 수직 경계선에 있어서의 디블록킹 필터 처리를 나타내는 개략도이다.
도 3은 종래의 H. 264/MPEG-4 AVC에 준거한 동화상 복호 장치를 나타내는 블록도이다.
도 4는 위너 필터를 구비하는 전송 시스템을 나타내는 개략도이다.
도 5는 본 발명의 실시의 형태에 있어서의 동화상 부호화 장치의 블록도이다.
도 6a는 동 상의 동화상 부호화 장치의 처리 동작을 나타내는 플로우차트이다.
도 6b는 동 상의 필터 데이터의 부호화의 상세한 처리 동작을 나타내는 플로우차트이다.
도 7은 동 상의 동화상 복호 장치의 블록도이다.
도 8a는 동 상의 동화상 복호 장치의 처리 동작을 나타내는 플로우차트이다.
도 8b는 동 상의 부호화 필터 데이터의 복호의 상세한 처리 동작을 나타내는 플로우차트이다.
도 9는 동 상의 주파수 영역에 있어서 필터 설계를 행하는 동화상 부호화 장치의 블록도이다.
도 10은 동 상의 주파수 영역에 있어서 필터링을 행하는 동화상 복호 장치의 블록도이다.
도 11a는 동 상의 부호화 동화상 신호(비트 스트림)에 있어서의 슬라이스 또는 프레임에 대응하는 부분의 구성의 일예를 나타내는 도면이다.
도 11b는 동 상의 부호화 동화상 신호(비트 스트림)의 일부분의 구성의 다른 예를 나타내는 도면이다.
도 11c는 동 상의 부호화 동화상 신호(비트 스트림)의 일부분의 구성의 다른 예를 나타내는 도면이다.
도 12a는 동 상의 시퀀스 헤더의 신택스를 나타내는 도면이다.
도 12b는 동 상의 프레임의 신택스를 나타내는 도면이다.
도 13a는 동 상의 decode_post_filter(c)의 신택스를 나타내는 도면이다.
도 13b는 동 상의 decode_post_filter(c)의 다른 신택스를 나타내는 도면이다.
도 14는 동 상의 filter_hint_type[c]의 값과 필터 힌트의 종류의 관계를 나타내는 도면이다.
도 15는 동 상의 filter_precision[c]과 Wiener_Filter_Precision[c]의 대응 관계를 나타내는 도면이다.
도 16은 동 상의 filter_precision[c](Wiener_Filter_Precision[c])에 할당되는 일진 부호를 나타내는 도면이다.
도 17은 동 상의 filter_precision[c](Wiener_Filter_Precision[c])에 할당되는 골롬(Golomb) 부호의 일예를 나타내는 도면이다.
도 18은 동 상의 filter_precision[c](Wiener_Filter_Precision[c])에 할당되는 골롬 부호의 다른 예를 나타내는 도면이다.
도 19는 동 상의 filter_precision[c](Wiener_Filter_Precision[c])에 할당되는 고정 길이 부호를 나타내는 도면이다.
도 20a는 동 상의 재구축 동화상 신호에 대한 필터 계수의 산출식을 나타내는 도면이다.
도 20b는 동 상의 예측 신호에 대한 필터 계수의 산출식을 나타내는 도면이다.
도 20c는 동 상의 양자화 예측 오차 신호에 대한 필터 계수의 산출식을 나타내는 도면이다.
도 21은 동 상의 복호 동화상 신호의 산출식을 나타내는 도면이다.
도 22a는 동 상의 표준화 및 클리핑(clipping)의 산출식을 나타내는 도면이다.
도 22b는 동 상의 표준화 및 클리핑의 다른 산출식을 나타내는 도면이다.
도 23a는 동 상의 예측 신호에 대한 중심 위치에 있어서의 필터 계수의 산출식을 나타내는 도면이다.
도 23b는 동 상의 예측 신호에 대한 중심 위치 이외의 위치에 있어서의 필터 계수의 산출식을 나타내는 도면이다.
도 23c는 동 상의 양자화 예측 오차 신호에 대한 필터 계수의 산출식을 나타내는 도면이다.
도 24a는 동 상의 재구축 동화상 신호에 대한 필터 계수의 산출식을 나타내는 도면이다.
도 24b는 동 상의 예측 신호에 대한 필터 계수의 산출식을 나타내는 도면이다.
도 24c는 동 상의 양자화 예측 오차 신호에 대한 필터 계수의 산출식을 나타내는 도면이다.
도 25는 동 상의 수평 필터링을 나타내는 도면이다.
도 26은 동 상의 수평 필터링 완료 신호에 대한 표준화 및 클리핑의 산출식을 나타내는 도면이다.
도 27은 동 상의 수직 필터링을 나타내는 도면이다.
도 28은 동 상의 수평 및 수직 필터링 완료 신호에 대한 표준화 및 클리핑의 산출식을 나타내는 도면이다.
도 29a는 동 상의 재구축 동화상 신호에 대응하는 상호 상관 행렬의 엘리먼트의 산출식을 나타내는 도면이다.
도 29b는 동 상의 예측 신호에 대응하는 상호 상관 행렬의 엘리먼트 산출식을 나타내는 도면이다.
도 29c는 동 상의 양자화 예측 오차 신호에 대응하는 상호 상관 행렬의 엘리먼트 산출식을 나타내는 도면이다.
도 30a는 동 상의 재구축 동화상 신호에 대응하는 수평 상호 상관 벡터의 엘리먼트 산출식을 나타내는 도면이다.
도 30b는 동 상의 재구축 동화상 신호에 대응하는 수직 상호 상관 벡터의 엘리먼트 산출식을 나타내는 도면이다.
도 30c는 동 상의 예측 신호에 대응하는 수평 상호 상관 벡터의 엘리먼트 산출식을 나타내는 도면이다.
도 30d는 동 상의 예측 신호에 대응하는 수직 상호 상관 벡터의 엘리먼트 산출식을 나타내는 도면이다.
도 30e는 동 상의 양자화 예측 오차 신호에 대응하는 수평 상호 상관 벡터의 엘리먼트 산출식을 나타내는 도면이다.
도 30f는 동 상의 양자화 예측 오차 신호에 대응하는 수직 상호 상관 벡터의 엘리먼트 산출식을 나타내는 도면이다.
도 31은 동 상의 부호화/복호의 대상 블록에 인접하는 주변 블록을 나타내는 도면이다.
도 32는 동 상의 시스템을 나타내는 도면이다.
도 33은 컨텐츠 전송 서비스를 실현하는 컨텐츠 공급 시스템의 전체 구성의 일예를 나타내는 모식도이다.
도 34는 휴대전화의 외관을 나타내는 도면이다.
도 35는 휴대전화의 구성예를 나타내는 블록도이다.
도 36은 디지털 방송용 시스템의 전체 구성의 일예를 나타내는 모식도이다.
도 37은 텔레비전의 구성예를 나타내는 블록도이다.
도 38은 광 디스크인 기록 미디어에 정보의 읽고쓰기를 행하는 정보 재생 기록부의 구성예를 나타내는 블록도이다.
도 39는 광 디스크인 기록 미디어의 구조예를 나타내는 도면이다.
도 40은 각 실시의 형태에 관련된 화상 부호화 방법 및 화상 복호 방법을 실현하는 집적 회로의 구성예를 나타내는 블록도이다.

본 발명에 의하면, 공간 영역 또는 주파수 영역에 있어서의 필터 조건을 설계하기 위해서는, 예측 신호와, 예측 오차 신호와, 재구축 동화상 신호를 고려할 수 있다. 이에 따라, 이들 3개의 신호 각각의 노이즈를 각각에 고려하는 것이 가능해진다. 이들 신호 중 적어도 2개에 대하여 필터 데이터를 결정하고, 그 필터 데이터를, 당해 적어도 2개의 신호의 필터 데이터간의 상호 상관을 이용하여 부호화한다.

이에 따라, 본 발명은, 효율적인 필터링 수법을 제공할 수 있고, 부호화 동화상 스트림을 전송하기 위해서 필요한 데이터량을 삭감하면서, 필터링된 데이터의 질을 높이는 것이 가능해진다. 즉, 부호화 효율의 저하를 억제하여 복호 동화상의 화질을 향상시킬 수 있다.

이하, 본 발명의 실시의 형태에 대해서 설명한다.

(실시의 형태 1)

도 5는 본 실시의 형태에 있어서의, H. 264/MPEG-4 AVC에 의거하는 예시적인 인코더인 동화상 부호화 장치(500)의 블록도이다.

본 실시의 형태에 있어서의 동화상 부호화 장치(500)는, 감산기(105), 변환/양자화부(110), 역양자화/역변환부(120), 가산기(125), 디블록킹 필터(130), 메모리(140), 보간 필터(150), 움직임 보상 예측부(160), 움직임 검출부(165), 화면내 예측부(170), 인트라/인터 스위치(175), 포스트 필터 설계부(540) 및 엔트로피 부호화부(590)를 구비한다. 본 실시의 형태에 있어서의 동화상 부호화 장치(500)에서는, 포스트 필터 설계부(540)의 처리 동작에 특징이 있다.

감산기(105)는, 입력 신호인 동화상 신호로부터 예측 신호를 감산함으로써 예측 오차 신호를 생성한다.

변환/양자화부(110)는, 감산기(105)에 의해 생성된 예측 오차 신호에 대하여, DCT 등의 직교 변환 및 양자화를 행함으로써, 양자화 계수를 생성한다.

역양자화/역변환부(120)는, 변환/양자화부(110)에 의해 생성된 양자화 계수에 대하여, 역양자화를 행함과 더불어 역DCT 등의 역직교 변환을 행함으로써, 양자화 예측 오차 신호를 생성한다.

가산기(125)는, 예측 신호에 대응하는 양자화 예측 오차 신호에, 그 예측 신호를 가산함으로써, 재구축 신호를 생성한다.

디블록킹 필터(130)는, 재구축 신호가 나타내는 화상에 포함되는 블록 변형을 제거하고, 블록 변형이 제거된 재구축 신호인 재구축 동화상 신호를 메모리(140)에 저장한다. 또한, 본 실시의 형태에서는, 가산기(125) 및 디블록킹 필터(130)로부터 재구축부가 구성된다.

보간 필터(150)는, 메모리(140)에 저장되어 있는 재구축 동화상 신호에 의해 나타나는 참조 화상을 읽어내고, 그 참조 화상에 대하여 소수 화소를 보간한다.

화면 내 예측부(170)는, 화면 내 예측에 의해 부호화 대상 블록의 예측 화상을 생성하고, 그 예측 화상을 나타내는 예측 신호를 출력한다.

움직임 검출부(165)는, 메모리(140)에 저장되어 있는 재구축 동화상 신호에 의해 나타나는 참조 화상을 참조하여, 동화상 신호에 포함되는 블록에 대하여 움직임 벡터를 검출한다. 그리고, 움직임 검출부(165)는, 그 움직임 벡터를 움직임 데이터로서 움직임 보상 예측부(160) 및 엔트로피 부호화부(590)에 출력한다.

움직임 보상 예측부(160)는, 보간 필터(150)에 의해 소수 화소가 보간된 참조 화상과, 움직임 검출부(165)로부터 출력된 움직임 데이터를 이용하여 움직임 보상을 행한다. 이에 따라, 움직임 보상 예측부(160)는, 화면간 예측에 의해 부호화 대상 블록의 예측 화상을 생성하고, 그 예측 화상을 나타내는 예측 신호를 출력한다.

인트라/인터 스위치(175)는, 부호화 대상 블록의 부호화 타입에 따라, 화면내 예측부(170)에 의해 생성된 예측 신호와, 움직임 보상 예측부(160)에 의해 생성된 예측 신호를 전환하여, 감산기(105) 및 가산기(125)에 출력한다. 예를 들면, 부호화 대상 블록이 화면 내 예측 부호화되는 경우에는, 인트라/인터 스위치(175)는, 화면 내 예측부(170)에 의해 생성된 예측 신호를 감산기(105) 및 가산기(125)에 출력한다. 한편, 부호화 대상 블록이 화면간 예측 부호화되는 경우에는, 인트라/인터 스위치(175)는, 움직임 보상 예측부(160)에 의해 생성된 예측 신호를 감산기(105) 및 가산기(125)에 출력한다.

포스트 필터 설계부(540)는, 포스트 필터링에 대한 필터 계수 등의 필터 조건을 설계한다. 즉, 포스트 필터 설계부(540)는, 입력 신호인 동화상 신호와, 재구축 동화상 신호와, 예측 신호와, 양자화 예측 오차 신호에 의거하여, 재구축 동화상 신호, 예측 신호 및 양자화 예측 오차 신호의 각각에 대한 필터 계수를 산출한다. 다음에, 포스트 필터 설계부(540)는, 이들 필터 계수를 디코더측에 있어서 복원하기 위한 필터 힌트를, 필터 계수간의 상호 상관에 의거하여 생성하고, 필터 힌트를 포함하는 새로운 필터 데이터(차분 필터 데이터)를 엔트로피 부호화부(590)에 출력한다. 즉, 포스트 필터 설계부(540)는, 재구축 동화상 신호, 예측 신호 및 양자화 예측 오차 신호의 각각에 대하여, 필터 계수를 포함하는 필터 데이터를 결정하고, 필터 데이터간의 상호 상관에 의거하여 필터 힌트(차분 필터 데이터)를 생성한다. 또한, 상술한 필터 힌트는, 재구축 동화상 신호, 예측 신호 및 양자화 예측 오차 신호의 각각에 대하여 생성되고, 필터 계수 그 자체거나, 필터 계수와 다른 것이어도 된다. 또한, 필터 데이터는, 예를 들면 상호 상관 벡터 등, 어떠한 정보여도 된다.

엔트로피 부호화부(590)는, 양자화 계수 및 움직임 데이터와 함께 그 차분 필터 데이터를 엔트로피 부호화(예를 들면, 산술 부호화)하고, 엔트로피 부호화된 차분 필터 데이터를 포함하는 부호화 동화상 신호를 출력한다. 또한, 본 실시의 형태에서는, 포스트 필터 설계부(540)의 필터 데이터를 결정하는 기능 부분이 결정부로서 구성되고, 포스트 필터 설계부(540)의 필터 힌트(차분 필터 데이터)를 생성하는 기능 부분과, 엔트로피 부호화부(590)가 부호화부로서 구성되어 있다.

예를 들면, 포스트 필터 설계부(540)는, 입력 신호인 원하는 신호(s)와 필터링 완료 신호(s') 사이의 평균 자승 오차가 최소가 되도록 필터 계수를 산출한다.

[수식 1]

상기 (식 1)에 있어서, w₁, …, w_M 은 포스트 필터링의 M개의 필터 계수이며, M개의 예측 샘플(예측 신호)(p₁, …, p_M)에 적용된다. 또한, w_{M ＋1}, …, w_{M ＋N}은 포스트 필터링의 N개의 필터 계수이며, N개의 양자화 예측 오차 샘플(양자화 예측 오차 신호)(e₁, …, e_N)에 적용된다. 또한, w_{M ＋N＋1},…, w_{M ＋N＋O}는 포스트 필터링의 O개의 필터 계수이며, O개의 재구축 동화상 샘플(재구축 동화상 신호)(r₁, …, r_O)에 적용된다. w_{M ＋N＋O＋1}은 오프셋이다.

도 4에 관해서 상술한 바와 같이, 원하는 신호(s)와 필터링 완료 신호(s') 사이의 평균 자승 오차를 최소화하는 필터 계수는, Wiener―Hopf 방정식을 풀어 결정해도 된다.

도 6a는, 본 실시의 형태에 있어서의 동화상 부호화 장치(500)의 처리 동작을 도시하는 플로우차트이다.

동화상 부호화 장치(500)의 화면내 예측부(170) 또는 움직임 보상 예측부(160)는, 예측 신호를 생성한다(단계 S100). 다음에, 감산기(105)는, 동화상 신호로부터 예측 신호를 감산함으로써 예측 오차 신호를 생성하고, 변환/양자화부(110) 및 역양자화/역변환부(120)는, 그 예측 오차 신호에 대하여 양자화 및 역양자화를 행함으로써 양자화 예측 오차 신호를 생성한다(단계 S110). 또한, 가산기(125)는, 양자화 예측 오차 신호를 예측 신호에 가산함으로써 재구축 신호를 생성하고, 디블록킹 필터(130)는, 그 재구축 신호로부터 블록 변형을 제거함으로써 재구축 동화상 신호를 생성한다(단계 S120).

포스트 필터 설계부(540)는, 단계 S100, S110, S120에서 생성된 각 신호에 대하여 필터 데이터를 결정한다(단계 S130). 이 때, 포스트 필터 설계부(540)는, 상기 (식 1)에 의거하는 연산을 행하고, 평균 자승 오차가 최소가 되도록 필터 계수를 결정한다. 즉, 포스트 필터 설계부(540)는, 예측 신호, 양자화 예측 오차 신호 및 재구축 동화상 신호의 각각이 나타내는 화상보다도, 동화상 신호가 나타내는 화상에 가까운 화상(복호 화상)이 얻어지도록, 필터 계수를 포함하는 필터 데이터를 결정한다. 그리고, 포스트 필터 설계부(540) 및 엔트로피 부호화부(590)는, 결정된 필터 데이터간의 상호 상관에 의거하여, 그 결정된 필터 데이터를 부호화한다(단계 S140).

도 6b는, 필터 데이터 부호화(단계 S140)의 상세한 처리 동작을 나타내는 플로우차트이다.

포스트 필터 설계부(540)는, 결정된 2개의 필터 데이터 중 한쪽의 필터 데이터로부터, 다른쪽의 필터 데이터를 예측함으로써, 다른쪽 필터 데이터의 예측 데이터를 특정한다(단계 S142). 다음에, 포스트 필터 설계부(540)는, 그 다른쪽의 필터 데이터와 예측 데이터의 차분을 산출함으로써, 차분 필터 데이터(필터 힌트)를 산출한다(단계 S144). 그리고, 엔트로피 부호화부(590)는, 그 차분 필터 데이터를 엔트로피 부호화한다(단계 S146). 이와 같이, 다른쪽의 필터 데이터에 대하여, 차분 산출 및 엔트로피 부호화가 행해짐으로써, 그 다른쪽의 필터 데이터는 부호화된다. 즉, 부호화 필터 데이터가 생성된다.

또한, 필터 데이터는, 전형적으로는 필터 계수이며, 차분 필터 데이터는, 전형적으로는, 2개의 필터 계수간의 차분을 나타내는 차분 필터 계수이며, 그 차분 필터 계수가 필터 힌트로서 취급된다. 또한, 상술한 예측 데이터는, 전형적으로는, 한쪽의 필터 데이터, 즉 한쪽의 필터 계수 그 자체이다.

구체적으로는, 포스트 필터 설계부(540)는, 단계 S120에서, 재구축 동화상 신호에 대한 필터 계수와, 예측 신호에 대한 필터 계수와, 양자화 예측 오차 신호에 대한 필터 계수를 결정한다. 그리고, 포스트 필터 설계부(540)는, 단계 S142에서, 재구축 동화상 신호에 대한 필터 계수로부터, 예측 신호에 대한 필터 계수를 예측함으로써, 그 예측 신호에 대한 예측 데이터(예측 필터 계수)를 특정한다. 다음에, 포스트 필터 설계부(540)는, 단계 S144, S146에서, 예측 신호에 대한 필터 계수와 예측 필터 계수의 차분을 산출하여, 엔트로피 부호화함으로써, 예측 신호에 대한 필터 계수를 부호화한다. 또한, 포스트 필터 설계부(540)는, 단계 S142에서는, 예를 들면, 재구축 동화상 신호에 대한 필터 계수를 예측 필터 계수로서 특정한다.

또한, 포스트 필터 설계부(540)는, 단계 S130에서 결정한, 예측 신호, 양자화 예측 오차 신호 및 재구축 동화상 신호의 각각의 필터 계수(필터 데이터)를 양자화하고, 그 양자화된 필터 계수로부터 차분 필터 계수를 산출해도 된다. 또는, 포스트 필터 설계부(540)는, 필터 계수를 양자화하지 않고, 차분 필터 계수를 산출하여, 그 차분 필터 계수를 양자화해도 된다. 또한, 예측 신호, 양자화 예측 오차 신호 및 재구축 동화상 신호 중, 어느 1개 또는 2개의 신호에 대한 필터 계수만을 양자화해도 된다. 이러한 양자화가 행해지는 경우에는, 포스트 필터 설계부(540)는, 그 양자화의 정밀도(Wiener_Filter_Precision[c])를 나타내는 정보(filter_precision[c])를 차분 필터 데이터에 포함한다.

또한, 포스트 필터 설계부(540)는, 필터 계수를 결정할 때는, 필터 계수의 각각을 색 성분마다 결정하고, 제1의 색 성분(예를 들면 c＝1에 대응하는 색 성분)의 필터 계수와, 제2의 색 성분(예를 들면 c＝2에 대응하는 색 성분)의 필터 계수 사이의 상호 상관에 의거하여, 제1의 색 성분의 필터 계수를 부호화해도 된다.

도 7은, 본 실시의 형태에 있어서의 디코더인 동화상 복호 장치(600)의 블록도이다.

본 실시의 형태에 있어서의 동화상 복호 장치(600)는, 동화상 부호화 장치(500)로부터 출력된 출력 신호인 부호화 동화상 신호를 입력 신호로서 취득하여, 그 입력 신호를 복호한다. 이 동화상 복호 장치(600)는, 엔트로피 복호부(600), 역양자화/역변환부(220), 가산기(225), 디블록킹 필터(230), 메모리(240), 보간 필터(250), 화면 내 예측부(270), 인트라/인터 스위치(275), 움직임 보상 예측부(260) 및 포스트 필터(640)를 구비한다. 본 실시의 형태에 있어서의 동화상 복호 장치(600)에서는, 포스트 필터(640)에 특징이 있다.

엔트로피 복호부(690)는, 입력 신호인 부호화 동화상 신호에 대하여 엔트로피 복호(예를 들면, 산술 복호)를 행함으로써, 움직임 데이터, 양자화 계수 및 필터 데이터(차분 필터 데이터)를 각각, 움직임 보상 예측부(260), 역양자화/역변환부(220) 및 포스트 필터(640)에 출력한다. 이 때, 부호화 동화상 신호에 포함되어 있던 부호화 필터 데이터는, 엔트로피 복호되어, 차분 필터 데이터로 변환된다.

역양자화/역변환부(220)는, 엔트로피 복호부(690)로부터 출력된 양자화 계수에 대하여, 역양자화를 행함과 더불어 역DCT 등의 역직교 변환을 행함으로써, 양자화 예측 오차 신호를 생성한다. 또한, 본 실시의 형태에서는, 엔트로피 복호부(690) 및 역양자화/역변환부(220)로부터 예측 오차 신호 생성부가 구성되어 있다. 또한, 엔트로피 복호부(690)로부터 취득부가 구성되어 있다.

가산기(225)는, 역양자화/역변환부(220)에 의해 생성된 양자화 예측 오차 신호에, 그 양자화 예측 오차 신호에 대응하는 예측 신호를 가산함으로써, 재구축 신호를 생성한다.

디블록킹 필터(230)는, 재구축 신호가 나타내는 화상에 포함되는 블록 변형을 제거하고, 블록 변형이 제거된 재구축 신호인 재구축 동화상 신호를 메모리(240)에 저장한다. 또한, 본 실시의 형태에서는, 가산기(225) 및 디블록킹 필터(230)로부터 재구축부가 구성되어 있다.

보간 필터(250)는, 메모리(240)에 저장되어 있는 재구축 동화상 신호에 의해 나타내는 참조 화상을 읽어내고, 그 참조 화상에 대하여 소수 화소를 보간한다.

화면 내 예측부(270)는, 화면내 예측에 의해 부호화 대상 블록의 예측 화상을 생성하고, 그 예측 화상을 나타내는 예측 신호를 출력한다.

움직임 보상 예측부(260)는, 보간 필터(250)에 의해 소수 화소가 보간된 참조 화상과, 엔트로피 복호부(690)로부터 출력된 움직임 데이터를 이용하여 움직임 보상을 행한다. 이에 따라, 움직임 보상 예측부(260)는, 화면간 예측에 의해 부호화 대상 블록의 예측 화상을 생성하고, 그 예측 화상을 나타내는 예측 신호를 출력한다.

인트라/인터 스위치(275)는, 부호화 대상 블록의 부호화 타입에 따라, 화면내 예측부(270)에 의해 생성된 예측 신호와, 움직임 보상 예측부(260)에 의해 생성된 예측 신호를 전환하여, 가산기(225)에 출력한다. 예를 들면, 부호화 대상 블록이 화면 내 예측 부호화되어 있는 경우에는, 인트라/인터 스위치(275)는, 화면 내 예측부(270)에 의해 생성된 예측 신호를 가산기(225)에 출력한다. 한편, 부호화 대상 블록이 화면간 예측 부호화되어 있는 경우에는, 인트라/인터 스위치(275)는, 움직임 보상 예측부(260)에 의해 생성된 예측 신호를 가산기(225)에 출력한다.

포스트 필터(640)는, 엔트로피 복호부(690)로부터 필터 데이터(차분 필터 데이터)를 취득하고, 그 차분 필터 데이터에 의거하여 필터 계수 등의 필터 조건을 설정한다. 이 차분 필터 데이터에는, 양자화 예측 오차 신호, 예측 신호 및 재구축 동화상 신호의 각각에 대하여 적용되어야 할 필터 계수를 복원하기 위한 필터 힌트가 포함되어 있다. 즉, 포스트 필터(640)는, 이들 필터 데이터(필터 계수)간의 상호 상관에 의거하여, 양자화 예측 오차 신호, 예측 신호 및 재구축 동화상 신호의 각각에 대하여 적용되어야 할 필터 계수를 필터 힌트로부터 복원한다. 또한, 포스트 필터(640)는, 양자화 예측 오차 신호, 예측 신호 및 재구축 동화상 신호의 각각에 대하여 복원된 필터 계수를 적용함으로써, 즉 포스트 필터링을 행함으로써, 복호 화상을 나타내는 복호 동화상 신호를 생성하고, 그 복호 동화상 신호를 출력 신호로서 출력한다.

또한, 본 실시의 형태에서는, 엔트로피 복호부(690)의 엔트로피 복호를 행하는 기능 부분과, 포스트 필터(640)의 필터 계수를 복원하는 기능 부분으로부터, 필터 데이터 복호부가 구성되어 있다. 또한, 포스트 필터(640)의 필터링을 행하는 기능 부분으로부터 필터가 구성되어 있다.

도 8a는, 본 실시의 형태에 있어서의 동화상 복호 장치(600)의 처리 동작을 나타내는 플로우차트이다.

동화상 복호 장치(700)의 엔트로피 복호부(690)는, 부호화 동화상 신호에 대하여 엔트로피 복호를 행함으로써 양자화 계수를 생성하고, 역양자화/역변환부(220)는, 그 양자화 계수에 대하여 역양자화 및 역직교 변환을 행함으로써 양자화 예측 오차 신호를 생성한다(단계 S200). 다음에, 화면 내 예측부(270) 또는 움직임 보상 예측부(260)는 예측 신호를 생성한다(단계 S210). 그리고, 가산기(225)는, 양자화 예측 오차 신호에 예측 신호를 가산함으로써 재구축 신호를 생성하고, 디블록킹 필터는, 그 재구축 신호로부터 블록 변형을 제거함으로써 재구축 동화상 신호를 생성한다(단계 S220).

또한, 엔트로피 복호부(690)는, 부호화 동화상 신호로부터, 양자화 예측 오차 신호, 예측 신호 및 재구축 동화상 신호의 각각에 대한 부호화 필터 데이터를 취득한다(단계 S230). 엔트로피 복호부(690) 및 포스트 필터(640)는, 필터 데이터간의 상호 상관에 의거하여, 이들 부호화 필터 데이터를 복호한다(단계 S240).

그리고, 포스트 필터(640)는, 양자화 예측 오차 신호, 예측 신호 및 재구축 동화상 신호의 각각에 대하여 필터 데이터를 적용함으로써 필터링을 행하여, 출력 신호인 복호 동화상 신호를 출력한다(단계 S260).

도 8b는 부호화 필터 데이터의 복호(단계 S240)의 상세한 처리 동작을 나타내는 플로우차트이다.

엔트로피 복호부(690)는, 부호화 필터 데이터를 엔트로피 복호함으로써, 양자화 예측 오차 신호, 예측 신호 및 재구축 동화상 신호 증 어느 하나의 신호에 대한 차분 필터 데이터(필터 힌트)를 취득하여, 포스트 필터(640)에 출력한다(단계 S242).

포스트 필터(640)는, 그 차분 필터 데이터를 취득하면, 그 차분 필터 데이터에 대응하는 원래의 필터 데이터(전형적으로는 필터 계수)를 예측한다(단계 S244). 이 때 포스트 필터(640)는, 이미 산출된 다른 필터 데이터(전형적으로는 필터 계수)를 이용하여, 상술한 차분 필터 데이터에 대응하는 원래의 필터 데이터를 예측한다. 이에 따라, 예측 데이터가 특정된다. 다음에, 포스트 필터(640)는, 차분 필터 데이터(필터 힌트)에 예측 데이터를 가산함으로써, 그 차분 필터 데이터에 대응하는 원래의 필터 데이터를 산출한다(단계 S246). 이와 같이, 부호화 필터 데이터에 대하여, 엔트로피 복호 및 가산이 행해짐으로써, 그 부호화 필터 데이터는 복호된다. 또한, 상술한 예측 데이터는, 전형적으로는, 이미 산출된 다른 필터 데이터, 즉 다른 필터 계수 그 자체이다.

또한, 차분 필터 데이터에, 양자화의 정밀도(Wiener_Filter_Precision[c])를 나타내는 정보(filter_precision[c])가 포함되어 있는 경우에는, 포스트 필터(640)는, 그 정보가 나타내는 정밀도에 따라, 예측 신호, 양자화 예측 오차 신호 및 재구축 동화상 신호의 각각에 대한 필터 계수 또는 차분 필터 계수를 역양자화한다.

또한, 필터 조건의 설계 및/또는 적용은, 주파수 영역에 있어서 효과적이다. 동화상 신호의 주파수 영역에 있어서의 필터링을 위한 필터가 특히 효과적인 것은, 노이즈가 주파수 영역에서도 부가되는 경우이다. 이는, 주파수 영역으로 변환된 동화상 신호를 양자화 및 전송/저장하기 위한 최근의 동화상 부호화 방법의 대부분의 경우가 그렇다.

도 9는 주파수 영역에 있어서 필터 설계를 행하는 동화상 부호화 장치(700)의 블록도이다.

동화상 부호화 장치(700)는, 동화상 부호화 장치(500)의 포스트 필터 설계부(540) 대신에 주파수 영역 포스트 필터 설계부(730)를 구비하는 인코더이다. 이 주파수 영역 포스트 필터 설계부(730)는, 주파수 영역에 있어서 포스트 필터링의 필터 조건을 설계한다. 구체적으로는, 주파수 영역 포스트 필터 설계부(730)는, 동화상 신호, 예측 신호, 양자화 예측 오차 신호 및 재구축 동화상 신호를 각각 직교 변환한다. 이에 따라, 각각의 신호의 영역이 공간 영역으로부터 주파수 영역으로 변환된다. 또한, 주파수 영역 포스트 필터 설계부(730)는, 포스트 필터 설계부(540)에 의한 처리와 마찬가지로, 주파수 영역의 상기 각 신호에 의거하여 필터 계수를 결정하고, 이들 필터 계수로부터 필터 힌트를 산출한다. 그리고, 주파수 영역 포스트 필터 설계부(730)는, 필터 힌트를 포함하는 차분 필터 데이터를 엔트로피 부호화부(590)에 출력한다.

도 10은 주파수 영역에 있어서 필터링을 행하는 동화상 복호 장치(800)의 블록도이다.

동화상 복호 장치(800)는, 동화상 복호 장치(600)의 포스트 필터(640) 대신에 주파수 영역 포스트 필터(840)를 구비하는 디코더이다. 주파수 영역 포스트 필터(840)는, 포스트 필터(640)와 마찬가지로, 엔트로피 복호부(690)로부터 차분 필터 데이터를 취득하고, 그 차분 필터 데이터에 의거하여 필터 계수 등의 필터 조건을 설정한다. 또한, 주파수 영역 포스트 필터(840)는, 예측 신호, 양자화 예측 오차 신호 및 재구축 동화상 신호를 취득하고, 이들 신호를 직교 변환한다. 이에 따라, 각각의 신호 영역이 공간 영역으로부터 주파수 영역으로 변환된다. 다음에, 주파수 영역 포스트 필터(840)는, 주파수 영역에서 나타내는 양자화 예측 오차 신호, 예측 신호 및 재구축 동화상 신호의 각각에 대하여 설정된 필터 계수를 적용함으로써, 주파수 영역에서 나타내는 복호 동화상 신호를 생성한다. 그리고, 주파수 영역 포스트 필터(840)는, 그 복호 동화상 신호에 대하여 역직교 변환을 행한다. 이에 따라, 복호 동화상 신호의 영역이 주파수 영역으로부터 공간 영역으로 변환된다. 주파수 영역 포스트 필터(840)는, 그 공간 영역에서 나타내는 복호 동화상 신호를 출력 신호로서 출력한다.

또한, 주파수 영역 포스트 필터(840)에서 설정되는 필터 조건은, 주파수 영역 포스트 필터 설계부(730)에 의해 설계되는 필터 조건과 동일하거나 유사해도 된다.

예를 들면, 예측 신호와, 양자화 예측 오차 신호와, 재구축 동화상 신호는, 필터 조건의 설계 또는 필터링의 전에, 주파수 영역으로 변환되어, 각각의 신호에 대하여 K개의 필터 계수가 결정된다. 필터링이 행해질 때에는, 주파수 영역의 각 신호에 대하여 각 필터 계수가 각각에 적용된다. 예를 들면, 필터 조건의 설계에 대한 최적화 기준으로서, 통상, 입력 신호의 주파수 계수인 원하는 주파수 계수(c_k)와 필터링 완료 주파수 계수(c_k') 사이의 최소 평균 자승 오차를 이용해도 된다. 필터링 완료 주파수 계수(c_k')는 이하의 (식 2)에서 구할 수 있다.

[수식 2]

상기 (식 2)에 있어서, w_{k , 1}, …, w_{k , M}은 포스트 필터링의 M개의 필터 계수이며, 예측 신호의 M개의 주파수 계수(c_{k , p, 1}, …, c_{k , p, M})에 적용된다. 또한, w_{k , M＋1}, …, w_{k , M＋N}은 포스트 필터링의 N개의 필터 계수이며, 양자화 예측 오차 신호의 N개의 주파수 계수(c_{k , e, 1}, …, c_{k , e, N})에 적용된다. 또한, w_{k , M＋N＋1}, …, w_{k , M＋N＋O}는 포스트 필터링의 O개의 필터 계수이며, 재구축 동화상 신호의 O개의 주파수 계수(c_{k , r, 1}, …, c_{k, r, O})에 적용된다. w_{k, M＋N＋O＋1}은 오프셋이다.

여기에 있어서도, 원하는 주파수 계수(c_k)와 필터링 완료 주파수 계수(c_k') 사이의 평균 자승 오차를 최소화하는 필터 계수는, Wiener-Hopf 방정식을 적용함으로써 구할 수 있다.

필터 계수 및 오프셋은 부호화되어, 디코더에 전송될 필요가 있다. 혹은, 디코더에 있어서 필터 계수의 산출에 필요한 정보 및/또는 오프셋을, 디코더측에 제공해도 된다. 그러한 정보는, 인코더에 입력된 원동화상 신호에 어떠한 관련성이 있어, 디코더측에서는 입수 불가능한 정보인 것이 바람직하다. 예를 들면, 예측 신호와, (양자화)예측 오차 신호와, 재구축 동화상 신호 중 적어도 하나와, 원동화상 신호와의 상호 상관이 필터 데이터에 포함된다. 또한, 예측 신호와, (양자화)예측 오차 신호와, 재구축 동화상 신호 중 적어도 하나와, 양자화 오차 신호의 상호 상관이 필터 데이터에 포함되어도 된다.

동화상 시퀀스(부호화 동화상 신호) 중, 몇장의 픽처, GOP(Group of Pictures), 프레임, 슬라이스 또는 블록 등의 작은 부분에 대한 필터 데이터를 제공함으로써, 필터링 완료 신호의 질을 높인다. 그러나 그 결과, 부호화 동화상 신호(비트 스트림)에 그러한 필터 데이터를 메워넣기 위해서 필요한 대역폭을 증가시켜버린다.

따라서, 본 발명이 제공하는 방식은, 상술한 것과 같은, 각각의 필터 계수가 예측 신호와, 양자화 예측 오차 신호와, 재구축 동화상 신호의 각각에 대응하여 전송되는 다종의 필터링 방식에 있어서 필요한 필터 데이터(필터 계수나 오프셋 등)를 효율적으로 부호화하는 방식이다. 높은 부호화 효율을 실현하기 위해서, 이 부호화 방식에서는, 부호화 및 전송 대상의 계수와 오프셋의 통계적 의존 관계를 이용한다.

본 발명은 다른 필터링 방식에 적용해도 된다. 예를 들면, 예측 신호와, 양자화 예측 오차 신호와, 재구축 동화상 신호의 3개 모두를 고려하지 않아도 된다. 동화상 신호에 적용되는 차분 펄스 부호 변조 방식에 따라, 예측 신호 및 예측 오차 신호가 부호화 대상 동화상 신호로부터 산출된다. 다음에, 제1의 필터 데이터를 예측 신호의 통계적 특성에 의거하여 구해도 되고, 제2의 필터 데이터를 예측 오차 신호의 통계적 특성에 의거하여 산출한다. 각 필터 데이터의 결정에는, 위너 필터 또는 다른 방법을 이용해도 된다. 그리고, 제1의 필터 데이터 및 제2의 필터 데이터는 모두, 상호 통계적 특성을 이용하여 부호화된다.

또한, 다른 색 성분에 대응하는 신호 등, 다른 신호를 각각에 고려해도 된다.

필터 데이터는 필터 계수 및 오프셋으로 구성되어도 된다. 그러나, 필터 길이 또는 다른 데이터를 포함해도 된다. 필터 계수를 신호 송신하는 대신에, 인코더에 입력되는 원동화상 신호와, 복수의 필터링 대상 동화상 신호 중 어느 하나와의 사이의 상호 상관 등, 필터 계수의 산출에 필요한 정보를 신호 송신해도 되고, 이에 따라, 필터 계수를 디코더측에서 산출할 수 있다.

필터링은 포스트 필터링이어도 되지만, 이에 한정되지 않는다. 본 발명은, 보간 필터 및/또는 디블록킹 필터에 적용해도 된다.

또한, 참조 프레임의 정수 화소 위치에 적용하는 예측 필터에도 적용 가능하다. 또한, 예를 들면, 예측 오차 신호의 필터 데이터를 복수의 필터(예를 들면, 포스트 필터링 및 보간 필터)의 설계에 이용해도 된다. 이 경우, 다른 필터의 필터 데이터간에 있어서의 통계적 의존 관계를 부호화에 이용해도 된다.

필터 데이터의 부호화에 있어서, 보다 높은 부호화 효율을 실현하기 위해서, 필터링 완료 신호의 필터 데이터(필터 계수 및/또는 오프셋 등) 사이의 통계적 의존 관계를 이용한다. 이는 이하와 같은 다양한 부호화 기술을 이용함으로써 달성한다.

―필터 데이터의 예측을 이용한 부호화

―필터 데이터의 변환 부호화 또는,

―마르코프 모델을 이용한 필터 데이터의 부호화 또는,

―벡터 양자화 및 조인트 엔트로피 부호화

이들의 부호화 기술은, 필터 데이터가 필터 계수 및 오프셋으로 이루어지는, 공간 영역 필터링에 관한 하기의 예에서 설명한다.

필터링 완료 신호의 필터 계수와 오프셋의 사이의 통계적 의존 관계를 이용하기 위해서는, 본 발명의 일실시의 형태에 관련된 예측 부호화를 행한다. 이에 따라, 필터 계수(w₁, …, w_{M ＋N＋O＋1})는, 이하의 (식 3)과 같이 예측된다.

[수식 3]

상기 (식 3)은 예측 필터 계수를 나타낸다. 필터 계수와 예측 필터 계수의 차분에 상당하는, 나머지 예측 오차인 차분 필터 계수(ew₁, …, ew_{M ＋N＋O＋1})를 부호화한다. 일반적으로, 필터 계수(w₁, …, w_{M＋N＋O＋1})를 부호화하는 것보다도, 차분 필터 계수(ew₁,…, ew_{M＋N＋O＋1})를 부호화하는 쪽이 부호화 효율이 높다.

인코더(디코더)에 있어서의 대상 필터 계수는, 부호화(또는 복호) 완료 필터 계수에 의거하여 예측된다. 그러나, 전송된 필터 계수 이외의, 디코더에 있어서 이미 이용가능한 정보도 고려하여 예측을 행해도 된다.

예를 들면, 예측 필터 계수는, 이하의 (식 4)로부터 얻어진다.

[수식 4]

상기 (식 4)에 있어서, 인덱스(t)는 시간 인스턴스를 나타낸다. 시간 인스턴스는 상대 복호 순서에 관련되어 있다. 즉, t보다 작은 시간 인덱스를 가지는 정보는 부호화 완료이다. 예를 들면, 시간 인스턴스(t)는, 필터 계수가 결정되는 영역에 따라, 픽처 또는 1블록의 부호화(또는 복호)에 관련되어도 된다. 함수(F_i)는 통상 모든 부호화 완료 필터 계수에 따라서 결정되는 함수이다.

특히, 선형 예측 인자를 필터 계수 및 오프셋의 예측에 이용해도 된다. 예를 들면, 함수(F_i)는 이하의 (식 5)와 같이 나타난다.

[수식 5]

상기 (식 5)에 있어서, α_i는 정수치이다. 예측 계수(α_{j, t},…,α_{j, t－1},…, α_{j, t－2}, … 및 α_i)는, 고정되어 있거나, 또는 적응적으로 변화되어도 된다. 적응적인 예측 계수의 경우, 그 예측 계수를 디코더측에 제공해도 된다. 즉, 적응적인 예측 계수를, 예를 들면 시퀀스 헤더 또는 프레임 헤더에 있어서의 부호화 동화상 신호에 포함시킨다. 또한, 수신 완료의 데이터로부터 디코더에 있어서 산출할 수도 있다. 또한, 예측 계수(_{j, t},…,α_{j, t－1},…, α_{j, t－2}, … 및 α_i)를, 슬라이스 또는 블록 등의, 1장의 픽처의 임의 부분(영역)에 대하여 적응화시켜도 된다.

대역폭을 더욱 축소하기 위해서는, 하프만 부호, 산술 부호, 골롬 부호, 엘리어스(Elias) 부호 등의 가변 길이 부호, 또는 다른 가변 길이 부호에 의해 차분 필터 계수(예측 오차)를 부호화해도 된다. 또한, 차분 필터 계수를 고정 길이 부호화해도 된다.

재구축 동화상 신호는 예측 신호 및 (양자화)예측 오차 신호에 의거하기 위해서, 필터 데이터를 예측 부호화하는 것이 효과적이다. 따라서, 통상, 특히 재구축 동화상 신호와, 예측 신호 및 (양자화)예측 오차 신호의 각각의 사이에 통계적 관계가 존재한다. 대부분의 경우, 재구축 동화상 신호에 대하여 결정된 필터 데이터와, 예측 신호에 대하여 결정된 필터 데이터는 동일하거나 혹은 유사한 값을 가진다. 그 경우, 예를 들면 예측 신호의 필터 데이터를, 재구축 동화상 신호의 필터 데이터의 값에 의해 예측하는 것만으로, 부호화 동화상 신호에 필요한 대역폭을 효율적으로 축소할 수 있다. 예를 들면 예측 신호의 필터 데이터를 이용하는 등으로 하여, (양자화)예측 오차 신호의 필터 데이터도 동일하게 예측해도 된다. 그러나, 1개의 신호의 필터 데이터는 반드시 페어 단위로 (즉 다른 신호의 필터 데이터로부터) 예측되지 않는다. 일반적으로, 1개의 신호의 필터 데이터를 예측하기 위해서는, 복수의 다른 신호에 대하여 결정된 필터 데이터에 있어서의 임의의 함수를 이용한다. 예를 들면, 재구축 동화상 신호의 필터 데이터의 예측에는, (양자화)예측 오차 신호의 필터 데이터 및 예측 신호의 필터 데이터에 있어서의 함수 중 어느 것을 이용해도 된다.

또한, 필터 계수간 및 오프셋간의 선형 통계적 의존 관계는, 변환 부호화에 있어서도 이용 가능하다. 즉, 필터 계수(w₁, …, w_{M ＋N＋O＋1})를, 변환 계수(cw₁, …, cw_{M＋N＋O＋1})로 변환하고, 이를 다시 부호화해도 된다. 통상, 변환 계수(cw₁, …, cw_{M ＋N＋O＋1})의 부호화는, 필터 계수 및 오프셋(w₁, …, w_{M＋N＋O＋1})을 직접 부호화하는 것보다도 효율이 높다. 변환 처리는 이하의 (식 6)과 같이 행한다.

[수식 6]

상기 (식 6)에 있어서, CWt는, 변환 계수(cw₁, …, cw_{M ＋N＋O＋1})를 포함하는 벡터이며, Wt는, 필터 계수(w₁, …, cw_{M ＋N＋O＋1})를 포함하는 벡터이며, Tt는, 시간 인스턴스(t)에 있어서의 변환 행렬이다. 입력되는 정지 화상/동화상의 특성에 따라서는, 각 시간 인스턴스에 있어서 동일하거나 혹은 다른 변환 처리를 행함으로써 효과를 초래하기도 한다. 이산 코사인 변환(DCT), 고속 푸리에 변환(FFT) 또는 고정 계수를 이용한 Karhunen―Loeve 변환(KLT) 등, 적용되는 변환은 고정적이어도 된다. 그러나, 적응적이어도 된다. 적응적 변환의 경우, 변환 정보를 예를 들면 시퀀스 헤더, 프레임 또는 슬라이스 헤더에 삽입하여 디코더로 전송할 수 있다. 변환 정보에는, 변환 행렬 또는 변환 행렬을 취득하기 위한 정보를 포함하고 있어도 된다.

변환 계수(cw₁, …, cw_{M ＋N＋O＋1})를 부호화하기 위해서는, 가변 길이 부호를 적용하는 것이 바람직하다. 그러나, 고정 길이 부호를 적용해도 된다.

또한, 필터 계수간 및 오프셋간의 통계적 의존 관계는, 마르코프 소스를 전제로 한 부호화 방식에 있어서도 이용가능하다. 이에 따라, 필터 계수 또는 오프셋(w_{i , t})을, 이하의 (식 7)에 나타내는 바와 같이, (가능한 모든) 부호화 및 전송 완료 필터 계수 또는 오프셋을 조건으로 하는 부호어를 이용하여 부호화한다.

[수식 7]

부호화 방식이나 입력되는 정지 화상/동화상에 따라서는, 부호화 완료의 필터 계수 또는 오프셋의 서브셋만을 조건으로서 고려함으로써 효과를 발휘할 수 있다.

마르코프 소스를 전제로 한 부호화 방식은, 소스 모델에 관한 지식을 필요로 한다. 이 모델은 고정적이거나 적응적이어도 된다. 이러한 부호화 방식은, 예를 들면 상태 천이도를 이용하여 설명해도 된다. 적응적 모델의 경우, 모델(예를 들면 상태 천이도)을 부호화하고, 예를 들면 시퀀스 헤더, 프레임 또는 슬라이스 헤더에 삽입하여 디코더측으로 전송할 수 있다.

마르코프 소스를 이용하여 필터 계수 및 오프셋을 부호화한 후, 부호화 필터 계수 및 오프셋을 가변 길이 부호 또는 고정 길이 부호를 이용하여 다시 부호화해도 된다.

상기 3개의 부호화 방법은, 부호화 데이터간의 통계적 관계를 이용하는 부호화 방식의 예이다. 그러나, 본 발명은 부호화 대상 데이터간의 통계적 관계를 고려하는 다른 방법을 이용해도 된다. 예를 들면, 런 랭스 부호화, 부호화 완료 데이터의 값에 의거하는 테이블 전환을 이용한 가변 길이 부호화, 다른 신호에 대한 필터 데이터의 조합을 1부호어로서 부호화하는 가변 길이 부호화 등이다.

또한, 본 실시의 형태에서는, 부호화 동화상 신호(비트 스트림)에 부호화 필터 데이터를 삽입한다. 당해 비트 스트림의 신택스 및 시맨틱은, 장래의 동화상 부호화 표준 규격의 주제가 될 수 있다.

이하, 본 발명에 관련된 부호화 방식을 장래의 동화상 부호화 표준 규격에 집어넣은 경우의 예를 설명한다. 이 예에 있어서는, 도 5 및 도 7을 참조하여 상술한 공간 영역의 필터링을 적용하는 것과, 필터 데이터에는, 예측 방식이 적용되는 필터 계수를 포함하는 것을 전제로 한다.

신택스 엘리먼트는, 표준 규격에 의해 지정되는 부호를 이용하여 부호화해도 된다. 예를 들면 고정 길이 부호나 가변 길이 부호 등이다. 가능성의 하나로는, 확률 모델을 특정 신택스 엘리먼트에 적응시킬 수 있는 산술 부호화를 사용한다. 별도의 가능성으로는, 하프만 부호에 의한 부호어를 이용한다. 그러나, 일진 부호(unary code) 또는 골롬 부호, 지수 골롬 부호, 엘리어스 부호 등, (범용)정수 부호를 이용해도 된다.

필터 데이터(예를 들면 필터 계수)를 그에 관련된 데이터(예를 들면 프레임 데이터 전체 또는 슬라이스 데이터 등)의 최후에 삽입하여 전송하는 것이 바람직하다. 이에 따라, 다음과 같은 효과가 얻어진다. 즉, 인코더에 있어서의 필터 데이터는, 일반적으로, 필터 데이터가 결정되는 프레임, 슬라이스 또는 임의의 화상 영역의 부호화 및 복호 후에 추정된다. 필터 데이터가 추정된 데이터를 포함하는 프레임 또는 슬라이스의 헤더에 그 필터 데이터가 포함되어 있는 경우는, 필터 데이터가 산출되어 비트 스트림에 삽입될때 까지, 당해 비트 스트림 전체를 저장해둘 필요가 있다. 전 데이터를 산술 부호화할 경우, 필터 데이터를 부호화한 후, 비트 스트림뿐만 아니라 부호화 대상의 신택스 엘리먼트 전체를 저장 및 부호화할 필요가 있다. 프레임 또는 슬라이스 데이터의 후에, 비트 스트림에 삽입한 필터 데이터를 전송할 경우는, 부호화가 행해지고 있는 동안은 비트 스트림이나 신택스 엘리먼트를 저장하지 않아도 된다. 이에 따라, 메모리 사이즈에 대한 조건을 줄일 수 있다.

따라서, H. 264/MPEG-4 AVC에 준거한 SEI 메시지 등, 별도의 NAL 유닛에 의해 필터 데이터를 전송하는 것이 바람직하다.

필터 데이터를 프레임 또는 슬라이스의 헤더에 삽입하여 전송하는 경우, 산술 부호기(엔트로피 부호화부(590))를 종료하여 재기동시키면 유익하다. 이에 따라, 모든 신택스 엘리먼트가 아니라 비트 스트림만을 인코더에 저장하면 된다는 효과가 얻어진다.

부호화 동화상 신호(비트 스트림) 내에서, 필터 데이터를 어디에 배치할지에 관해서는, 가능성이 더욱 있다. 특히, 부호화 동화상 신호에 있어서 필터 데이터에 관련된 부분의 앞 또는 뒤에 그 필터 데이터를 포함해도 된다.

본 실시의 형태에 있어서 비트 스트림의 구성은, 디코더에 대하여 최적화된다. 특히, 필터 데이터에 관련된 프레임 또는 슬라이스의 프레임 헤더 또는 슬라이스 헤더에, 그 필터 데이터를 포함시킨다. 이 경우, 디코더는, 당해 슬라이스 또는 프레임의 블록을 복호하기 전에 포스트 필터링에 관한 정보 전체를 알게 된다. 이에 따라, 메모리의 삭감이나 메모리 할당의 삭감, 디코더에 있어서의 저장 작업의 삭감 등의 이점이 있다. 따라서, 보다 고속이고 또한 낮은 비용으로 복호 처리를 행할 수 있다.

예를 들면, 포스트 필터링은, 슬라이스 또는 프레임 내의 블록을 어느 일정한 수만큼 복호 및 저장한 후에 행해도 된다. 포스트 필터링을 개시하기 전에 저장해 둘 필요가 있는 블록의 수는, 포스트 필터의 필터 사이즈에 따라 정해진다. 포스트 필터링 개시 전에, 슬라이스 또는 프레임(즉 재구축 동화상 신호 및/또는 양자화 예측 오차 신호 및/또는 예측 신호) 내의 전체 블록을 복호 및 저장할 필요는 없다.

슬라이스 헤더에 있어서, 플래그(post_filter_flag[c])는, 어느 특정한 색 성분이 포스트 필터링에 있어서 고려되는지 여부를 나타내도 된다. 어떤 색 성분에 대하여 포스트 필터링을 행해야 하는 것이 아닌 경우, 디코더는 어떠한 신호나(즉 재구축 동화상 신호 및/또는 양자화 예측 오차 신호 및/또는 예측 신호) 포스트 필터링 목적으로 저장할 필요가 없다.

또한, 필터링 대상의 신호(예를 들면 재구축 동화상 신호, 양자화 예측 오차 신호 및 예측 신호)에 관련된 필터 계수가 모두 제로인 경우, 당해 신호를 포스트 필터링 목적으로 저장할 필요는 없다.

산술 부호화와 조합하면, 인코더는, 헤더와, 필터 데이터와, 나머지의 매크로 블록 데이터에 대하여, 각각의 부호어를 생성하면 더욱 유익하다. 각각의 부호어를 생성한다는 것은, 산술 부호기를, 포괄 헤더 후에 종료시키고, 필터 데이터의 부호화 전에 재기동시켜 그 후 종료시키고, 나머지 매크로 블록 데이터의 부호화 전에 다시 재기동시켜 그 후 종료시킨다는 의미이다. 아키텍처에 따라서는, 산술 부호화의 부호어는, 정수 바이트의 길이를 가지는 것이 바람직하다(예를 들면 바이트 배열을 이용한 아키텍처의 경우). 각각의 부호어를 가짐으로써, 재부호화를 하지 않아도 부호어를 저장 및 재배열할 수 있는 이점이 있다. 배열된 (예를 들면 바이트 배열된) 부호어를 이용함으로써, 인코더에 있어서의 비트 스트림 부분의 저장 및 재배열을 더욱 용이하게 할 수 있다.

도 11a는, 부호화 동화상 신호(비트 스트림)에 있어서의 슬라이스 또는 프레임에 대응하는 부분의 구성의 일예를 도시하는 도면이다. 우선, 헤더(901)가 비트 스트림에 포함되고, 그 후에, 필요하면 배열 데이터가 계속된다. 다음에, 필터 데이터(902)가 비트 스트림에 포함되고, 그 후에, 필요하면 배열 데이터가 계속된다. 마지막에, 매크로 블록의 화상을 나타내는 매크로 블록 데이터(903)가 배열 데이터(필요하면)와 함께 비트 스트림에 포함된다.

즉, 필터 데이터(902)가, 그 필터 데이터(902)가 적용되는 화상 신호(매크로 블록 데이터(903))의 앞에 배치되므로, 비트 스트림에 배열되는 순서에 따라, 그 필터 데이터(902)와 그 화상 신호를 생성하면, 생성된 이들 데이터를 일시적으로 저장해 둘 필요가 없어, 메모리 용량의 삭감을 도모할 수 있다. 이 경우에는, 그 필터 데이터(902)를 이용하여 화상 신호(매크로 블록 데이터(903))를 생성할 수 있으므로, 소위 루프 내 필터를 실현할 수 있다. 즉, 감산기(105)→변환/양자화부(110)→역양자화/역변환부(120)→가산기(125)→디블록킹 필터(130)→메모리(140)→화면내 예측부(170)(보간 필터(150)→움직임 보상 예측부(160))→감산기(105)에 의해 구성되는 루프 내에 있어서, 필터 데이터(903)를 이용한 필터링을 예측 신호에 대하여 실행할 수 있고, 그 필터링된 예측 신호로부터 양자화 계수로 이루어지는 화상 신호(매크로 블록 데이터(903))를 생성할 수 있다.

본 실시의 형태에서는, 비트 스트림의 구성은, 인코더에 대하여 최적화되어도 된다. 특히, 비트 스트림에 있어서, 관련된 매크로 블록 데이터의 후에 필터 데이터를 포함해도 된다. 이 경우, 슬라이스 또는 프레임의 블록을 부호화한 후에, 포스트 필터링에 관한 정보 전체를 생성할 수 있다. 이에 따라, 메모리의 삭감이나 메모리 할당의 삭감, 인코더에 있어서의 저장 동작의 삭감 등의 이점이 있다. 따라서, 보다 고속이고 또한 낮은 비용으로 부호화 처리를 행할 수 있다.

포스트 필터링의 최적 위너 필터 계수를 산출하기 위해서는, 필터링이 기능하기 위한 모든 데이터가 필요하다. 본 실시의 형태의 경우, 재구축 동화상 신호 및/또는 양자화 예측 오차 신호 및/또는 예측 신호의 전체가 필요하다. 인코더에서는, 이 데이터는, 슬라이스 또는 프레임의 부호화 및 복호를 완료한 후에만 이용 가능하다. 부호화를 완료하는 동안, 비트 스트림은 이미 생성 및 저장 및/또는 전송되고 있다. 따라서, 매크로 블록 데이터 전에 필터 데이터를 포함시키기 위해서는, 비트 스트림 전체를 저장할 필요가 있다. 1부호어만을 이용하여 산술 부호화를 행하는 경우는(슬라이스 또는 프레임의 끝에 종료), 전체 신택스 엘리먼트의 저장 및 이들에 대한 재부호화의 완료도 필요해진다. 매크로 블록 데이터 후에 필터 정보를 포함시킬 경우는, 상기와 같은 저장 작업은 불필요하다.

도 11b는, 부호화 동화상 신호(비트 스트림)의 일부분 구성의 다른 예를 나타내는 도면이다.

헤더(911)와, 매크로 블록 데이터(912)와, 필터 데이터(913)는, 산술 부호기(엔트로피 부호화부(590))에 있어서 각각 1부호어로서 부호화된다. 즉, 비트 스트림의 다른 부분을 부호화할 때마다, 부호화 처리는 재개시되지 않고 계속하여 행해진다.

도 11c는, 부호화 동화상 신호(비트 스트림)의 일부분 구성의 다른 예를 나타내는 도면이다.

헤더(921)와, 매크로 블록 데이터(922)와, 필터 데이터(923)는 각각, 산술 부호기(엔트로피 부호화부(590))에 있어서 별도의 부호어로서, 각각에 부호화되어도 된다.

그러나, 본 발명은 산술 부호화의 사용에 한정되는 것은 아니고, 다른 종류의 부호화를 이용하는 것도 가능하다. 시퀀스 헤더 및 프레임에 대한, 비트 스트림 내의 바람직한 정보 엘리먼트 신택스를 이하에 설명한다.

도 12a는, 시퀀스 헤더의 신택스를 나타내는 도면이다.

도 12a 중의 「postfilter」는, 프레임 레벨에서 포스트 필터를 적용할 수 있는지를 나타낸다.

post_filter_initial_probabilities는, 필터 데이터의 부호를 제어하기 위한 초기 확률을 나타낸다.

도 12b는, 프레임의 신택스를 나타내는 도면이다.

post_filter_flag[c]는, 색 성분(c)에 대하여 포스트 필터링을 적용할지를 나타낸다. c＝0은 휘도 성분에 대응하고, c＝1 및 c＝2는 2개의 색차 성분에 대응한다.

신택스 엘리먼트 decode_post_filter(c)는, 복수의 신택스 엘리먼트를 더 포함한다.

도 13a 및 도 13b는, decode_post_filter(c)의 신택스를 나타내는 도면이다.

filter_hint_type[c]는, 색 성분(c)에 대한, 전송된 필터 힌트의 종류를 나타낸다. c＝0은 휘도 성분에 대응하고, c＝1 및 c＝2는 2개의 색차 성분에 대응한다. 취할 수 있는 값은, 도 14에 나타내는 대로 0∼3이다.

도 14는, filter_hint_type[c]의 값과 필터 힌트의 종류의 관계를 나타내는 도면이다.

filter_hint_type[c]의 값이 0일 때는, 그 filter_hint_type[c]은, 필터 힌트의 종류로서, 1개의 2차원 FIR 필터의 계수를 나타낸다. filter_hint_type[c]의 값이 1일 때는, 그 filter_hint_type[c]은, 필터 힌트의 종류로서, 상호 상관 행렬을 나타낸다. filter_hint_type[c]의 값이 2일 때는, 그 filter_hint_type[c]은, 필터 힌트의 종류로서, 2개의 1차원 FIR 필터의 계수를 나타낸다. filter_hint_type[c]의 값이 3일 때는, 그 filter_hint_type[c]은, 필터 힌트의 종류로서, 2개의 상호 상관 벡터를 나타낸다. 즉, filter_hint_type[c]＝0 또는 1일 때에는, 그 filter_hint_type[c]는 필터링의 범위가 2차원 배열(도 13a 또는 도 13b 중의 「2D」)인 것을 나타내고, filter_hint_type[c]＝2 또는 3일 때에는, 그 filter_hint_type[c]는 필터링의 범위가 1차원 배열(도 13a 또는 도 13b 중의 「1D」)인 것을 나타낸다.

도 13a에 도시하는 신택스에 있어서 각 신택스 엘리먼트의 시맨틱은 이하와 같다.

filter_hint_size_rec_x는, 재구축 동화상 신호에 대한 필터 계수 배열 또는 상호 상관 배열의 수평 방향 사이즈(필터 사이즈)를 나타낸다.

filter_hint_size_rec_y는, 재구축 동화상 신호에 대한 필터 계수 배열 또는 상호 상관 배열의 수직 방향 사이즈(필터 사이즈)를 나타낸다.

filter_hint_size_pred_x는, 예측 신호에 대한 필터 계수 배열 또는 상호 상관 배열의 수평 방향 사이즈(필터 사이즈)를 나타낸다.

filter_hint_size_pred_y는, 예측 신호에 대한 필터 계수 배열 또는 상호 상관 배열의 수직 방향 사이즈(필터 사이즈)를 나타낸다.

filter_hint_size_qpe_x는, 양자화 예측 오차 신호에 대한 필터 계수 배열 또는 상호 상관 배열의 수평 방향 사이즈(필터 사이즈)를 나타낸다.

filter_hint_size_qpe_y는, 양자화 예측 오차 신호에 대한 필터 계수 배열 또는 상호 상관 배열의 수직 방향 사이즈(필터 사이즈)를 나타낸다.

filter_hint_rec[c][cy][cx]은, 재구축 동화상 신호에 대한 필터 계수 행렬의 엘리먼트, 또는 원신호(동화상 신호)와 재구축 동화상 신호 사이의 상호 상관 행렬의 엘리먼트를 나타낸다. c＝0은 휘도 성분에 대응하고, c＝1 및 c＝2는 2개의 색차 성분에 대응한다. cy는 수직 방향의 카운터를 나타내고, cx는 수평 방향의 카운터를 나타낸다.

filter_hint_pred[c][cy][cx]는, 예측 신호에 대한 필터 계수 행렬의 엘리먼트, 또는 원신호(동화상 신호)와 예측 신호 사이의 상호 상관 행렬의 엘리먼트를 나타낸다. c＝0은 휘도 성분에 대응하고, c＝1 및 c＝2는 2개의 색차 성분에 대응한다. cy는 수직 방향의 카운터를 나타내고, cx는 수평 방향의 카운터를 나타낸다.

filter_hint_qpe[c][cy][cx]은, 양자화 예측 오차 신호에 대한 필터 계수 행렬의 엘리먼트, 또는 원신호(동화상 신호)와 양자화 예측 오차 신호 사이의 상호 상관 행렬의 엘리먼트를 나타낸다. c＝0은 휘도 성분에 대응하고, c＝1 및 c＝2는 2개의 색차 성분에 대응한다. cy는 수직 방향의 카운터를 나타내고, cx는 수평 방향의 카운터를 나타낸다.

filter_hint_rec_x[c][cx]은, 재구축 동화상 신호에 대한 수평 방향 필터링의 필터 계수 벡터의 엘리먼트, 또는 원신호(동화상 신호)와 재구축 동화상 신호의 사이의 수평 상호 상관 벡터의 엘리먼트를 나타낸다. c＝0은 휘도 성분에 대응하고, c＝1 및 c＝2는 2개의 색차 성분에 대응한다. cx는 수평 방향의 카운터를 나타낸다.

filter_hint_pred_x[c][cx]은, 예측 신호에 대한 수평 방향 필터링의 필터 계수 벡터의 엘리먼트, 또는 원신호(동화상 신호)와 예측 신호 사이의 수평 상호 상관 벡터의 엘리먼트를 나타낸다. c＝0은 휘도 성분에 대응하고, c＝1 및 c＝2은 2개의 색차 성분에 대응한다. cx는 수평방향의 카운터를 나타낸다.

filter_hint_qpe_x[c][cx]은, 양자화 예측 오차 신호에 대한 수평 방향 필터링의 필터 계수 벡터의 엘리먼트, 또는 원신호(동화상 신호)와 양자화 예측 오차 신호 사이의 수평 상호 상관 벡터의 엘리먼트를 나타낸다. c＝0은 휘도 성분에 대응하고, c＝1 및 c＝2는 2개의 색차 성분에 대응한다. cx는 수평 방향의 카운터를 나타낸다.

filter_hint_rec_y[c][cy]은, 재구축 동화상 신호에 대한 수직 방향 필터링의 필터 계수 벡터의 엘리먼트, 또는 원신호(동화상 신호)와 재구축 동화상 신호 사이의 수직 상호 상관 벡터의 엘리먼트를 나타낸다. c＝0은 휘도 성분에 대응하고, c＝1 및 c＝2은 2개의 색차 성분에 대응한다. cy는 수직 방향의 카운터를 나타낸다.

filter_hint_pred_y[c][cy]는, 예측 신호에 대한 수직 방향 필터링의 필터 계수 벡터의 엘리먼트, 또는 원신호(동화상 신호)와 예측 신호 사이의 수직 상호 상관 벡터의 엘리먼트를 나타낸다. c＝0은 휘도 성분에 대응하고, c＝1 및 c＝2는 2개의 색차 성분에 대응한다. cy는 수직 방향의 카운터를 나타낸다.

filter_hint_qpe_y[c][cy]는, 양자화 예측 오차 신호에 대한 수직 방향 필터링의 필터 계수 벡터의 엘리먼트, 또는 원신호(동화상 신호)와 양자화 예측 오차 신호 사이의 수직 상호 상관 벡터의 엘리먼트를 나타낸다. c＝0은 휘도 성분에 대응하고, c＝1 및 c＝2는 2개의 색차 성분에 대응한다. cy는 수직 방향의 카운터를 나타낸다.

filter_hint_offset[c]는 오프셋값을 나타낸다. c＝0은 휘도 성분에 대응하고, c＝1 및 c＝2는 2개의 색차 성분에 대응한다.

상술한 신택스 엘리먼트인 filter_hint_rec, filter_hint_pred, filter_hint_qpe, filter_hint_rec_x, filter_hint_pred_x, filter_hint_qpe_x, filter_hint_rec_y, filter_hint_pred_y, 및 filter_hint_qpe_y는, 각각 필터 계수 또는 차분 필터 계수를 나타내고, 필터 힌트로서 취급된다.

filter_precision[c]는, 필터 데이터(필터 계수)의 양자화의 정밀도를 나타낸다. 각 색 성분(c)에 대하여, 신택스 엘리먼트 filter_precision[c]의 값은, 그 값에 대응하는 정밀도 Wiener_Filter_Precision[c]의 값을 나타낸다.

도 13b에 나타내는 신택스에 있어서, 상기 각 신택스 엘리먼트와 다른 신택스 엘리먼트의 시맨틱은 이하와 같다.

filter_hint_size_rec_idx는, 재구축 동화상 신호에 대한 2차원의 필터 계수 배열 또는 상호 상관 배열의 사이즈(필터 사이즈)를 특정하기 위한 인덱스이며, 0 이상의 정수를 나타낸다. 이 인덱스에 의해 특정되는 필터 사이즈는, 수평 방향 및 수직 방향에 동일한 사이즈이다.

filter_hint_size_pred_idx는, 예측 신호에 대한 2차원의 필터 계수 배열 또는 상호 상관 배열의 사이즈(필터 사이즈)를 특정하기 위한 인덱스이며, 0 이상의 정수를 나타낸다. 이 인덱스에 의해 특정되는 필터 사이즈는, 수평 방향 및 수직 방향에 동일한 사이즈이다.

filter_hint_size_qpe_idx는, 양자화 예측 오차 신호에 대한 2차원의 필터 계수 배열 또는 상호 상관 배열의 사이즈(필터 사이즈)를 특정하기 위한 인덱스이며, 0 이상의 정수를 나타낸다. 이 인덱스에 의해 특정되는 필터 사이즈는, 수평 방향 및 수직 방향에 동일한 사이즈이다.

filter_hint_size_rec는, 재구축 동화상 신호에 대한 2차원의 필터 계수 배열 또는 상호 상관 배열의, 수평 방향 및 수직 방향에 동일한 필터 사이즈를 나타낸다. 이 필터 사이즈는, 인덱스 filter_hint_size_rec_idx에 의해 특정된다. 즉, filter_hint_size_rec는, filter_hint_size_rec＝2×(filter_hint_size_rec_idx)＋1에 의해 표시되는, 1 이상의 홀수이다.

filter_hint_size_pred는, 예측 신호에 대한 2차원의 필터 계수 배열 또는 상호 상관 배열의, 수평 방향 및 수직 방향에 동일한 필터 사이즈를 나타낸다. 이 필터 사이즈는, 인덱스 filter_hint_size_pred_idx에 의해 특정된다. 즉, filter_hint_size_pred는, filter_hint_size_pred＝2×(filter_hint_size_pred_idx)＋1에 의해 표시되는, 1 이상의 홀수이다.

filter_hint_size_qpe는, 양자화 예측 오차 신호에 대한 2차원의 필터 계수 배열 또는 상호 상관 배열의, 수평 방향 및 수직 방법에 동일한 필터 사이즈를 나타낸다. 이 필터 사이즈는, 인덱스 filter_hint_size_qpe_idx에 의해 특정된다. 즉, filter_hint_size_qpe는, filter_hint_size_qpe＝2×(filter_hint_size_qpe_idx)＋1에 의해 표시되는, 1 이상의 홀수이다.

filter_hint_size_rec_x_idx는, 재구축 동화상 신호에 대한 1차원(수평 방향)의 배열인 필터 계수 벡터 또는 상호 상관 벡터의 필터 사이즈(길이)를 특정하기 위한 인덱스이며, 0 이상의 정수를 나타낸다. 이 경우, filter_hint_size_rec_x는, filter_hint_size_rec_x＝2×(filter_hint_size_rec_x_idx)＋1에 의해 표시되는, 1 이상의 홀수이다.

filter_hint_size_rec_y_idx는, 재구축 동화상 신호에 대한 1차원(수직 방향)의 배열인 필터 계수 벡터 또는 상호 상관 벡터의 필터 사이즈(길이)를 특정하기 위한 인덱스이며, 0 이상의 정수를 나타낸다. 이 경우, filter_hint_size_rec_y는, filter_hint_size_rec_y＝2×(filter_hint_size_rec_y_idx)＋1에 의해 표시되는, 1 이상의 홀수이다.

filter_hint_size_pred_x_idx는, 예측 신호에 대한 1차원(수평 방향)의 배열인 필터 계수 벡터 또는 상호 상관 벡터의 필터 사이즈(길이)를 특정하기 위한 인덱스이며, 0 이상의 정수를 나타낸다. 이 경우, filter_hint_size_pred_x는, filter_hint_size_pred_x＝2×(filter_hint_size_pred_x_idx)＋1에 의해 표시되는, 1 이상의 홀수이다.

filter_hint_size_pred_y_idx는, 예측 신호에 대한 1차원(수직 방향)의 배열인 필터 계수 벡터 또는 상호 상관 벡터의 필터 사이즈(길이)를 특정하기 위한 인덱스이며, 0이상의 정수를 나타낸다. 이 경우, filter_hint_size_pred_y는, filter_hint_size_pred_y＝2×(filter_hint_size_pred_y_idx)＋1에 의해 표시되는, 1 이상의 홀수이다.

filter_hint_size_qpe_x_idx는, 양자화 예측 오차 신호에 대한 1차원(수평 방향)의 배열인 필터 계수 벡터 또는 상호 상관 벡터의 필터 사이즈(길이)를 특정하기 위한 인덱스이며, 0 이상의 정수를 나타낸다. 이 경우, filter_hint_size_qpe_x는, filter_hint_size_qpe_x＝2×(filter_hint_size_qpe_x_idx)＋1에 의해 표시되는, 1 이상의 홀수이다.

filter_hint_size_qpe_y_idx는, 양자화 예측 오차 신호에 대한 1차원(수직 방향)의 배열인 필터 계수 벡터 또는 상호 상관 벡터의 필터 사이즈(길이)를 특정하기 위한 인덱스이며, 0 이상의 정수를 나타낸다. 이 경우, filter_hint_size_qpe_y는, filter_hint_size_qpe_y＝2×(filter_hint_size_qpe_y_idx)＋1에 의해 표시되는, 1 이상의 홀수이다.

도 13a에 도시하는 신택스에서는, 필터링의 범위가 1차원 배열인지 2차원 배열인지에 상관없이, 예측 신호, 양자화 예측 오차 신호 및 재구축 동화상 신호의 각각에 대한 수평 방향의 필터 사이즈와 수직 방향의 필터 사이즈가 차분 필터 데이터에 포함되어 디코더에 송신된다.

한편, 도 13b에 도시하는 신택스에서는, 인덱스가 차분 필터 데이터에 포함되어 디코더에 송신된다. 이 경우에는, 디코더는, 그 인덱스와 2의 곱에 1을 가산 함으로써 필터 사이즈를 산출한다. 여기에서, 이 도 13b에 도시하는 신택스에서는, 필터링의 범위가 2차원 배열인 경우에는, 예측 신호, 양자화 예측 오차 신호 및 재구축 동화상 신호의 각각에 대하여, 수평 방향 및 수직 방향으로 공통인 인덱스가 차분 필터 데이터에 포함된다. 또한, 필터링의 범위가 1차원 배열인 경우에는, 예측 신호, 양자화 예측 오차 신호 및 재구축 동화상 신호의 각각에 대하여, 수평 방향의 인덱스와 수직 방향의 인덱스가 차분 필터 데이터에 포함된다.

이와 같이, 도 13b에 도시하는 신택스에서는, 필터 사이즈는 인덱스로서 차분 필터 데이터에 포함되어 디코더에 송신되므로, 필터 사이즈의 송신에 요하는 비트량을 삭감시킬 수 있다. 또한, 필터링의 범위가 2차원 배열인 경우에는, 수평 방향 및 수직 방향에 공통인 인덱스가 차분 필터 데이터에 포함되므로, 필터 사이즈의 송신에 요하는 비트량을 더욱 삭감시킬 수 있다.

또한, 동화상 부호화 장치(500)의 포스트 필터 설계부(540)는, 슬라이스, 프레임 또는 시퀀스마다, 필터 사이즈를 고정으로 하거나 바꾸어도 된다. 필터 사이즈를 가변으로 하는 경우에는, 포스트 필터 설계부(540)는, 변경된 필터 사이즈를 선택하고, 도 13a 및 도 13b의 신택스에 도시하는 바와 같이, 그 변경된 필터 사이즈 또는 그 필터 사이즈에 대응하는 인덱스(신택스 엘리먼트)를 차분 필터 데이터에 포함시킨다.

또한, 상술한 설명에서는, 필터 사이즈를 1 이상의 홀수로 했지만, 0이 될 수 있는 값으로 해도 된다. 필터 사이즈가 0인 경우는, 필터링은 행해지지 않는다. 즉, 필터 계수(차분 필터 계수를 나타내는 필터 힌트)는, 차분 필터 데이터에 포함되지 않고, 디코더에 송신되지 않는다.

이와 같이, 필터 사이즈가 0이 될 수 있는 값인 경우, 필터 사이즈는, 인덱스를 이용하여, max{0, 2×(인덱스－1)＋1}과 같이 산출된다. 여기에서, max{A, B}는, A 및 B 중 최대의 값을 나타낸다. 구체적으로는, 필터링의 범위가 2차원 배열인지 1차원 배열인지에 따라, 각 필터 사이즈는 이하에 나타내는 식에 의해 산출된다.

또한, 재구축 동화상 신호, 예측 신호, 및 양자화 예측 오차 신호의 각각에 대하여, 필터 계수가 0이 되는 것과 같은 필터 힌트를 디코더에 보냄으로써, 각각의 신호가 필터링에 사용되지 않도록 해도 된다. 이 경우, 필터 사이즈＝1이 되는 인덱스를 지정하면 부호량을 억제할 수 있다.

2차원 배열의 필터 사이즈:

·filter_hint_size_rec＝max{0,2×(filter_hint_size_rec_idx－1)＋1}

·filter_hint_size_pred＝max{0,2×(filter_hint_size_pred_idx－1)＋1}

·filter_hint_size_qpe＝max{0,2×(filter_hint_size_qpe_idx－1)＋1}

1차원 배열의 필터 사이즈:

·filter_hint_size_rec_x＝max{0,2×(filter_hint_size_rec_x_idx－1)＋1}

·filter_hint_size_rec_y＝max{0,2×(filter_hint_size_rec_y_idx－1)＋1}

·filter_hint_size_pred_x＝max{0,2×(filter_hint_size_pred_x_idx－1)＋1}

·filter_hint_size_pred_y＝max{0,2×(filter_hint_size_pred_y_idx－1)＋1}

·filter_hint_size_qpe_x＝max{0,2×(filter_hint_size_qpe_x_idx－1)＋1}

·filter_hint_size_qpe_y＝max{0,2×(filter_hint_size_qpe_y_idx－1)＋1}

디코더인 동화상 복호 장치(600)의 포스트 필터(640)는, 상술한 바와 같은 식을 이용하여, 차분 필터 데이터에 포함되어 있는 인덱스로부터 필터 사이즈를 산출하고, 필터 사이즈가 0일 때는, 포스트 필터링을 실행하지 않고, 필터 사이즈가 1이상인 홀수일 때에는, 그 필터 사이즈에 따른 포스트 필터링을 실행한다.

또한, 상술한 설명에서는, 필터 사이즈를, max{0, 2×(인덱스－1)＋1}로서 산출했지만, max{0, 2×인덱스－1}이어도 되고, max{0, 2×(인덱스－1)－1}이어도 된다. 또한, 필터 사이즈가 0 혹은 양의 홀수가 되는 것과 같은, 수식과 인덱스의 조합이면, 어떠한 조합을 이용해도 된다.

이와 같이, 인코더 및 디코더는, 필터 사이즈를 0으로 할지 1이상의 홀수로 할지에 따라, 필터링의 유무를 전환할 수 있다.

또한, 어느 신호에 대한 필터 힌트를 디코더에 보내지 않는 경우에는, 필터 힌트로부터 산출되는 각 신호에 대한 필터 계수 중 어느 하나 또는 전체가 부정이 되지 않도록, 디코더는, 필터 힌트를 0 등의 규정치로 간주하여 각 신호에 대한 필터 계수를 산출해도 된다.

도 15는, filter_precision[c]과 Wiener_Filter_Precision[c]의 대응 관계를 나타내는 도면이다.

Wiener_Filter_Precision[c]은, 필터 계수의 정밀도를 결정하는 필터 데이터 양자화 정보를 나타낸다.

본 발명에 있어서, filter_precision[c] 및 Wiener_Filter_Precision[c]가 취할 수 있는 값의 수는 12개에 한정되는 것은 아니다. 보다 많은, 혹은 보다 적은 수의 값을 취할 수 있는 것으로 하는 것도 가능하다. 신택스 엘리먼트(filter_precision[c])의 값의 할당은, 필터 정밀도(Wiener_Filter_Precision[c])의 값의 할당과 달라도 된다. 예를 들면, 그 신택스 엘리먼트의 값이 낮을수록, 필터 정밀도의 값이 높아지도록 대응되어도 된다. 또한, 신택스 엘리먼트의 값과 필터 정밀도의 값 사이의 특정한 맵핑을 선택함에 의해서도 효과를 발휘하는 경우가 있다. 전체적으로 바람직한 부호화 효율을 달성하기 위해서, 맵핑과, filter_precision[c]의 값을 부호화하기 위해서 이용하는 부호를 맞춰서 설계해도 된다. Wiener_Filter_Precision[c]가 취할 수 있는 값의 수를 신호 송신해도 된다. 예를 들면, 고정 길이 부호 또는 가변 길이 부호를 이용하여 부호화해도 된다.

신택스 엘리먼트(filter_precision[c])와, 필터 정밀도(Wiener_Filter_Precision[c])의 사이의 맵핑을 신호 송신해도 된다. 그러나, 그러한 신호 송신에 필요한 대역폭을 축소하기 위해서는, 예를 들면, Wiener_Filter_Precision[c]의 값은 모두 2의 거듭제곱으로 해도 된다. 이 경우, Wiener_Filter_Precision[c]의 최소치(도 15의 예에서는 8) 및 취할 수 있는 모든 값의 수(도 15의 예에서는 12)를 아는 것만으로, Wiener_Filter_Precision[c]의 값을 인코더측에서나 디코더측에서도 동일하게 산출할 수 있다. 이 경우, 취할 수 있는 모든 값의 수와 Wiener_Filter_Precision[c]의 값의 1개(예를 들면 최소값)만을 부호화하면 된다.

Wiener_Filter_Precision[c]의 값이 낮을수록, 필터 데이터의 정밀도는 낮고, 이를 전송하기 위해서 필요한 레이트도 낮다.

부호화 동화상 신호의 전체 비트 레이트가 낮은 경우, 필터 정밀도(신택스 엘리먼트)의 부호화에 이용하는 비트의 상대량은 많다. 부호화 동화상 신호의 전체 비트 레이트가 높은 경우, 필터 정밀도의 부호화에 이용하는 비트의 상대량은 매우 작다.

따라서, 전체의 비트 레이트가 낮은 경우는, 필터 정밀도(신택스 엘리먼트)의 부호화에는 매우 낮은 비트 레이트가 바람직하다. 전체의 비트 레이트가 높을 경우는, 필터 정밀도의 부호화에는 고비트 레이트에서도 허용가능하다. 이 조건을 만족하기 위해서는, 필터 정밀도(신택스 엘리먼트)의 비트 레이트를 전체의 비트 레이트에 적응시켜서(예를 들면 낮은 전체 비트 레이트로 최적화하여), 부호화 방식을 적용하는 것이 바람직하다. 도 15에 도시하는 filter_precision[c]와 Wiener_Filter_Precision[c]의 맵핑에서는, Wiener_Filter_Precision[c]의 값이 낮으면 필터 데이터(예를 들면 필터 계수)가 대략적으로 양자화된다. 그 결과, 부호화 동화상 신호의 비트 레이트가 낮을수록, 신택스 엘리먼트 filter_precision[c]로서의 부호화 파라미터(필터 정밀도) Wiener_Filter_Precision을 포함하는 부호화 필터 데이터에 필요한 비트 레이트를 저감시킨다.

예를 들면, 낮은 Wiener_Filter_Precision[c]을 신호 송신하기 위해서는 짧은 부호어를 할당하고, 높은 Wiener_Filter_Precision[c]을 신호 송신하기 위해서는 긴 부호어를 할당함으로써, Wiener_Filter_Precision[c]의 낮은 값을 부호화하기 위해서 필요한 비트 레이트를 저감시킬 수 있다. 예를 들면, 도 16에 도시하는 바와 같이, 일진 부호를 이용해도 된다.

도 16은, filter_precision[c](Wiener_Filter_Precision[c])에 할당되는 일진 부호를 나타내는 도면이다.

일진 부호 이외의 가변 길이 부호를 이용해도 되고, 부호화 방식은 적절하게 선택된다. 예를 들면, 도 17에 도시하는 바와 같이 골롬 부호를 이용해도 된다.

도 17은, filter_precision[c](Wiener_Filter_Precision[c])에 할당되는 골롬 부호의 일예를 나타내는 도면이다.

또한, 예를 들면, 도 18에 도시하는 바와 같이 다른 골롬 부호를 이용해도 된다.

도 18은, filter_precision[c](Wiener_Filter_Precision[c])에 할당되는 골롬 부호의 다른 예를 나타내는 도면이다.

당연히, 취할 수 있는 값의 수가 16개 있는 경우 등에는, 고정 부호어 길이를 이용해도 된다.

도 19는, filter_precision[c](Wiener_Filter_Precision[c])에 할당되는 고정 길이 부호를 나타내는 도면이다.

또한, 도 16∼도 19에 나타내는 부호표와는 별도의 부호어표로 전환하는 것도 가능하다. 부호어표의 선택 내용도 인코더에 의해 부호화하여, 디코더에 신호 송신할 수도 있다. 이 경우, 양자화 단계 사이즈를 곧장 복호할 수 있도록 하기 위해서, filter_precision[c]의 앞에 선택 내용을 신호 송신하는 것이 바람직하다.

또한, 고정 규칙에 따라, 복수의 적절한 부호어표로부터 하나를 선택할 수도 있다. 고정 규칙이란, 대상 프레임 또는 슬라이스의 복호에 이미 이용된 비트의 수에 의거하는 것이어도 된다. 또한, 대상 프레임 또는 슬라이스의 복호 개시 시에 이용되는 양자화 파라미터, 또는 대상 프레임 또는 슬라이스의 복호에 평균적으로 이용되는 양자화 파라미터에 의거하는 것이어도 된다. 또한, 양자화 예측 오차 신호, 예를 들면 그 분산에 의거하는 것이어도 된다. 또한, 예측 신호, 예를 들면 그 분산에 의거하는 것, 또는 예측 신호 및/또는 예측 오차 신호를 바탕으로 구해진 다른 기준에 의거하는 것이어도 된다.

신택스 엘리먼트 filter_precision[c]를 나타내는 2치 기호의 부호화에는, 산술 부호화를 이용할 수도 있다. 여기에서, 각 2치 기호의 부호화에는, 동일하거나 또는 각각의 부호를 이용할 수 있다. 또한, 부호는 상황에 따라서 정할 수도 있다. 부호화는 조건부이기 때문에, 부호화 효율은 더욱 높아진다. 가능성의 하나로는, filter_precision[i＋1] 및/또는 filter_precision[i＋2]의 부호화 조건으로서, filter_precision[i]의 값을 이용한다. 또한, 각 성분의 계수에 대하여, 다른 필터 정밀도를 부호화, 전송 및 사용하는 것도 가능하다. 즉, filter_precision의 각각의 값은, 재구축 동화상 신호와, 예측 신호와, 양자화 예측 오차 신호의 각각에 대응하는 필터 데이터에 이용된다고 하는 의미이다. 또한, 이들 신호 각각에 따른 필터 데이터에 다른 필터 정밀도를 이용하는 것도 가능하다. 예를 들면, 필터 데이터에 포함되는 filter_hint_rec_y[c][cy]의 c 및 cy 각각에 개개의 필터 정밀도를 이용한다.

인코더에서는, 전체 비트 레이트의 라그랑지안·코스트, 및 원화상 신호(동화상 신호)와 필터링 후의 화상 신호(복호 동화상 신호)의 사이의 평균 자승 재구축 오차를 최소화함으로써, Wiener_Filter_Precision[c]의 값을 유효하게 결정할 수 있다. Wiener_Filter_Precision[c]의, 어떤 값에 대한 라그랑지안·코스트의 결정은, 예를 들면, 필요한 비트의 부호화 및 측정을 완료함으로써, 그리고 그 결과로부터 얻어지는 평균 자승 재구축 오차의 부호화 및 측정을 완료함으로써, 행해도 된다. 별도의 가능성으로는, 레이트 및 평균 자승 재구축 오차를 추측함으로써 행한다. 평균 자승 재구축 오차의 추측은, 화상 신호의, 어떤 서브셋만을 필터링함으로써, 그리고 당해 서브셋에 대한 평균 자승 재구축 오차는 화상 신호 전체의 평균 자승 재구축 오차에 근사하다고 가정함으로써 행해도 된다. 또한, 예를 들면 프레임 또는 슬라이스의 양자화 파라미터값에 따라, Wiener_Filter_Precision[c]가 취할 수 있는 값의 서브셋만을 테스트하는 것도 가능하다.

인코더측으로부터 디코더측에 제공된 필터 데이터(차분 필터 데이터)는, 동화상 신호의 복호에 이용된다. 특히, 이하에서는, 부호화 필터 데이터의 복호 방법과, 동화상 신호의 복호에 있어서의 필터 데이터의 이용 방법의 예를 나타낸다.

제1 및 제2의 예에서는, 필터 계수 및 오프셋을 사용하여 복호 화상(재구축 동화상 신호)의 색 성분을 포스트 필터링한다. 상호 상관 및 오프셋이 전송되어, 복호되는 경우는, 제3 및 제4의 예에 나타내는 바와 같이, 당해 상호 상관 및 오프셋을 이용하여 필터 조건을 설정하여, 복호 화상의 색 성분을 포스트 필터링해도 된다.

필터 데이터가 예측 부호화되어 있는 경우는, 우선, 예측 데이터(예측 필터 계수)를 추가함으로써 필터 계수와, 오프셋 및/또는 상호 상관 정보를 재구축한다.

제1의 예(filter_hint_type[c]＝0)는, 1개의 2차원 FIR 필터의 계수가 전송되는 경우의 포스트 필터 설계 및 처리에 관련된 것이다.

재구축 동화상 신호, 예측 신호 및 양자화 예측 오차 신호를 포스트 필터링하기 위한 필터 계수는, 도 20a∼도 20c의 (식 8)∼(식 10)에 각각 표시하는 바와 같이, 수신한 차분 필터 데이터로부터 산출된다. 즉, 동화상 복호 장치(600)의 포스트 필터(640)는, (식 8)∼(식 10)에 따라서 필터 계수를 산출한다.

도 20a는, 재구축 동화상 신호에 대한 필터 계수의 산출식을 나타내는 도면이다.

도 20a의 (식 8)에 도시하는 바와 같이, 재구축 동화상 신호에 대한 필터 계수인 재구축 신호 필터 계수 coeff_rec[c][cy][cx]는, 필터 데이터(차분 필터 데이터)에 포함되는 filter_hint_rec[c][cy][cx], filter_hint_size_rec_x 및 filter_hint_size_rec_y와, Wiener_Filter_Precision[c]의 값에 의거하여 산출된다. Wiener_Filter_Precision[c]은 부호화되어 비트 스트림에 포함되지만, Wiener_Filter_Precision[c]＝16384와 같이, 가능하면 색 성분(c)의 값 각각에 대하여, 고정적으로 지정되어도 된다. Wiener_Filter_Precision[c]는, 어떠한 색 성분, 및/또는 예측 신호와, 양자화 예측 오차 신호와, 재구축 동화상 신호 중 어느 하나에 대하여 부호화되어, 비트 스트림에 포함되어도 된다.

도 20b는, 예측 신호에 대한 필터 계수의 산출식을 나타내는 도면이다.

도 20b의 (식 9)에 표시하는 바와 같이, 예측 신호에 대한 필터 계수인 예측 신호 필터 계수 coeff_pred[c][cy][cx]는, 재구축 신호 필터 계수 coeff_rec[c][oy][ox]와, Wiener_Filter_Precision[c]의 값과, 필터 데이터(차분 필터 데이터)에 포함되는 filter_hint_pred[c][cy][cx], filter_hint_size_pred_x, filter_hint_size_pred_y, filter_hint_size_rec_x, 및 filter_hint_size_rec_y에 의거하여 산출된다. 또한, ox는, 재구축 동화상 신호에 대한 필터 계수 배열의 수평 방향 사이즈(수평 방향의 필터링 범위)의 중심 위치를 나타내고, oy는, 재구축 동화상 신호에 대한 필터 계수 배열의 수직 방향 사이즈(수직 방향의 필터링 범위)의 중심 위치를 나타낸다.

도 20c는, 양자화 예측 오차 신호에 대한 필터 계수의 산출식을 나타내는 도면이다.

도 20c의 (식 10)에 도시하는 바와 같이, 양자화 예측 오차 신호에 대한 필터 계수인 예측 오차 신호 필터 계수 coeff_qpe[c][cy][cx]는, 예측 신호 필터 계수coeff_pred[c][oy][ox]과, 필터 데이터(차분 필터 데이터)에 포함되는 filter_hint_qpe[c][cy][cx], filter_hint_size_qpe_x, filter_hint_size_qpe_y, filter_hint_size_pred_x, 및 filter_hint_size_pred_y에 의거하여 산출된다. 또한, ox는, 예측 신호에 대한 필터 계수 배열의 수평 방향 사이즈(수평 방향의 필터링 범위)의 중심 위치를 나타내고, oy는, 예측 신호에 대한 필터 계수 배열의 수직 방향 사이즈(수직 방향의 필터링 범위)의 중심 위치를 나타낸다.

또한, 도 20a∼도 20c에 도시하는 필터 계수의 산출식에서는, 재구축 동화상 신호에 대한 필터 사이즈(필터링 범위)와, 예측 신호에 대한 필터 사이즈와, 양자화 예측 오차 신호에 대한 필터 사이즈가 다른 경우에도, 적절한 필터 계수를 산출할 수 있다. 또한, 도 20a∼도 20c에 도시하는 필터 계수의 산출식에서는, 필터링 범위의 중심 위치의 필터 계수만이 차분 필터 계수로서 부호화되어 있고, 그 차분 필터 계수와 다른 필터 계수의 가산 또는 감산에 의해, 필터 계수가 산출된다. 예를 들면, 중심 위치의 예측 신호 필터 계수 coeff_pred[c][cy][cx]는, 차분 필터 계수인 filter_hint_pred[c][cy][cx]로부터, 다른 필터 계수인 중심 위치의 재구축 신호 필터 계수 coeff_rec[c][oy][ox]를 감산하고, Wiener_Filter_Precision[c]을 가산함으로써 산출된다.

이하에 나타내는 3개의 경향이 있는 경우, 이와 같이 필터링 범위의 중심 위치의 필터 계수만이 차분 필터 계수로서 부호화하면 부호화 효율이 높아질 수 있다. 제1의 경향은, 중심 위치의 재구축 신호 필터 계수 coeff_rec가 항상 거의 같은 값이 되는 것이다. 제2의 경향은, 중심 위치의 재구축 신호 필터 계수 coeff_rec와, 중심 위치의 예측 신호 필터 계수 coeff_pred의 합이 항상 거의 같은 값이 되는 것이다. 제3의 경향은, 중심 위치의 예측 신호 필터 계수 coeff_pred와, 중심 위치의 예측 오차 신호 필터 계수 coeff_qpe가 거의 같은 값이 되는 것이다. 또한, 필터 계수의 전송에 필요한 부호량과 필터의 화질 개선 효과의 트레이드 오프의 관계 등에 따라, 필터 사이즈(필터링 범위)가 동적으로 변경되는 경우가 있는데, 그 결과, 중심 위치 이외의 필터 계수(필터 힌트)가 불필요해질 경우가 있으므로, 필터링 범위의 중심 위치의 필터 계수만이 차분 필터 계수로서 부호화된다. 즉, 필터 사이즈가 1×1인 경우에는, 중심 위치 이외의 필터 계수는 존재하지 않고, 중심 위치 이외의 필터 계수(필터 힌트)를 필터 데이터에 포함하여 디코더에 송신할 필요가 없다. 이러한 필터 사이즈의 동적인 변경에 간단히 대응할 수 있도록, 필터링 범위의 중심 위치의 필터 계수만이 차분 필터 계수로서 부호화된다.

그리고, 포스트 필터(640)는, 도 21의 (식 11)에 표시하는 바와 같이, 산출된 필터 계수를 재구축 동화상 신호, 예측 신호 및 양자화 예측 오차 신호에 각각 적용함으로써, 즉 포스트 필터링을 행함으로써, 복호 동화상 신호를 생성하여 출력한다.

도 21은, 복호 동화상 신호의 산출식을 나타내는 도면이다.

도 21의 (식 11)에 표시하는 바와 같이, 복호 동화상 신호에 의해 표시되는, 색 성분(c)의 위치(x, y)에 있어서의 포스트 필터링 처리 후의 값(filtered_image [c][y][x])은, 필터 계수 coeff_rec[c][j][i], coeff_pred[c][j][i] 및 coeff_qpe [c][j][i]과, rec_image[c], pred_image[c] 및 qpe_image[c]에 의거하여 산출된다. 또한, rec_image[c]는 재구축 동화상 신호의 색 성분(c)에 대응하는 값이며, pred_image는 예측 신호의 색 성분(c)에 대응하는 값이며, qpe_image는 양자화 예측 오차 신호의 색 성분(c)에 대응하는 값이다. c＝0은 휘도 성분에 대응하고, c＝1 및 c＝2는 2개의 색차 성분 각각에 대응한다. YUV 이외의 색 공간을 이용하는 경우, 이 대응 관계는, 이용하는 색 공간에 의거하는 것이어도 된다. 예를 들면 RGB 색 공간의 경우, c＝0은 적색(R)성분에, c＝1은 녹색(G)성분에, c＝2는 청색(B)성분에 대응해도 된다.

다음에, 포스트 필터(640)는, 도 22a의 (식 12)에 나타내는 바와 같이, 복호 동화상 신호인 필터링 완료 신호(filtered_image[c][y][x])에 대하여 표준화 및 클리핑을 행한다.

도 22a는, 표준화 및 클리핑의 산출식을 나타내는 도면이다.

도 22a의 (식 12)에 표시하는 바와 같이, 표준화 및 클리핑된 필터링 완료 신호(filtered_image_clipped[c][y][x])는, filtered_image[c][y][x]에 대하여 역양자화 및 플로어 함수가 적용되어, 0∼255의 값으로 설정된다.

여기에서, Wiener_Filter_Precision[c]에 있어서의 단계 사이즈는, 이하의 (식 14)에 의해 표시되고, 예를 들면 하드웨어 또는 소프트웨어의 실시에 있어서 매우 유익한 것이다.

[수식 8]

왜냐면, 비트 시프트(1비트만큼 우측으로 시프트)에 의해, 이하의 (식 15)의 나눗셈을 매우 효율적으로 실현할 수 있기 때문이다.

[수식 9]

즉, 이하의 (식 16)의 관계가 성립한다.

[수식 10]

또한, 비트 시프트(α비트만큼 우측으로 시프트)에 의해, 2의 α조의 나눗셈을 매우 효율적으로 실현할 수 있기 때문이다.

따라서, 포스트 필터(640)는, 도 22b의 (식 13)에 표시하는 연산을 행함으로써, 필터링 완료 신호(filtered_image[c][y][x])에 대하여 표준화 및 클리핑을 행해도 된다.

도 22b는, 표준화 및 클리핑의 다른 산출식을 나타내는 도면이다.

Wiener_Filter_Precision[c]이 2승의 거듭제곱으로 표시되는 경우에는, (식 13)에 의한 연산은, (식 12)와 동일한 이점이 얻어진다.

여기에서, 예측 신호 필터 계수 coeff_pred[c][cy][cx]을, 도 20b의 (식 9)이외의 식으로부터 구해도 된다.

도 23a는, 예측 신호에 대한 중심 위치에 있어서의 필터 계수의 산출식을 나타내는 도면이다.

도 23a의 (식 17)에 표시하는 바와 같이, 예측 신호에 있어서의 포스트 필터링 범위의 중심 위치에서는, 포스트 필터(640)는, (식 18)에 표시하는 산출식에 의해 예측 신호 필터 계수 coeff_pred[c][cy][cx]을 산출한다.

도 23b는, 예측 신호에 대한 중심 위치 이외의 위치에 있어서의 필터 계수의 산출식을 나타내는 도면이다.

도 23b의 (식 19)에 표시하는 바와 같이, 예측 신호에 있어서의 포스트 필터링 범위의 중심 위치 이외의 위치에서는, 포스트 필터(640)는, (식 20)에 표시하는 산출식에 의해 예측 신호 필터 계수 coeff_pred[c][cy][cx]을 산출한다. (식 20)에 표시하는 바와 같이, 중심 위치 이외의 예측 신호 필터 계수 coeff_pred[c][cy][cx]도, 중심 위치의 예측 신호 필터 계수 coeff_pred[c][cy][cx]과 마찬가지로, 소정의 조건 하에 있어서, 차분 필터 계수로서 부호화되어 있고, 그 차분 필터 계수인 filter_hint_pred[c][cy][cx]과 재구축 신호 필터 계수 coeff_rec[c][oy][ox]의 합에 의해 산출된다.

또한, (식 17)∼(식 20)에 따라서 예측 신호 필터 계수 coeff_pred[c][cy][cx]을 산출한 경우에는, 포스트 필터(640)는, 도 23c의 (식 21)에 따라서 예측 오차 신호 필터 계수 coeff_qpe[c][cy][cx]을 산출한다.

도 23c는, 양자화 예측 오차 신호에 대한 필터 계수의 산출식을 나타내는 도면이다.

도 23c의 (식 21)에 표시하는 바와 같이, 예측 오차 신호 필터 계수 coeff_qpe[c][cy][cx]는, 중심 위치의 필터 계수인지 여부에 상관없이, 소정의 조건 하에 있어서, 차분 필터 계수로서 부호화되어 있고, 그 차분 필터 계수인 filter_hint_qpe[c][cy][cx]와 예측 신호 필터 계수 coeff_pred[c][oy][ox]의 합에 의해 산출된다.

이러한, 도 23a∼도 23c의 (식 17)∼(식 21)에 따라서 필터 계수가 산출되는 경우의 부호화 효율은, 몇개의 경향이 있으면, 도 20b 및 도 20c의 (식 9) 및 (식 10)에 따라서 필터 계수가 산출되는 경우의 부호화 효율보다도 높아질 수 있다. 그 몇개의 경향은, 상술한 제1∼제3의 경향과, 이하에 나타내는 제4의 경향 및 제5의 경향이다. 제4의 경향은, 중심 위치 이외의 재구축 신호 필터 계수 coeff_rec와, 중심 위치 이외의 예측 신호 필터 계수 coeff_pred가 항상 거의 같은 값이 되는 것이다. 제5의 경향은, 중심 위치 이외의 예측 오차 신호 필터 계수 coeff_qpe와, 중심 위치 이외의 예측 신호 필터 계수 coeff_pred가 항상 거의 같은 값이 되는 것이다.

제2의 예(filter_hint_type[c]＝2)는, 2개의 1차원 FIR 필터의 계수가 전송되는 경우의 포스트 필터 설계 및 처리에 관련된 것이다.

재구축 동화상 신호, 예측 신호 및 양자화 예측 오차 신호를 포스트 필터링하기 위한 필터 계수는, 도 24a∼도 24c의 (식 22)∼(식 27)에 각각 표시하는 바와 같이, 수신한 차분 필터 데이터로부터 산출된다. 즉, 동화상 복호 장치(600)의 포스트 필터(640)는, (식 22)∼(식 27)에 따라서 필터 계수를 산출한다.

도 24a는, 재구축 동화상 신호에 대한 필터 계수의 산출식을 나타내는 도면이다.

도 24a의 (식 22)에 표시하는 바와 같이, 재구축 동화상 신호에 대한 필터 계수인 재구축 신호 필터 계수의 x성분(coeff_rec_x[c][cx])은, 차분 필터 데이터에 포함되는 filter_hint_rec_x[c][cx] 및 filter_hint_size_rec_x와, Wiener_Filter_Precision[c]의 값에 의거하여 산출된다.

또한, 도 24a의 (식 23)에 표시하는 바와 같이, 재구축 동화상 신호에 대한 필터 계수인 재구축 신호 필터 계수의 y성분(coeff_rec_y[c][cy])은, 차분 필터 데이터에 포함되는 filter_hint_rec_y[c][cy] 및 filter_hint_size_rec_y와, Wiener_Filter_Precision[c]의 값에 의거하여 산출된다.

도 24b는, 예측 신호에 대한 필터 계수의 산출식을 나타내는 도면이다.

도 24b의 (식 24)에 표시하는 바와 같이, 예측 신호에 대한 필터 계수인 예측 신호 필터 계수의 x성분(coeff_pred_x[c][cx])은, 재구축 신호 필터 계수의 x성분(coeff_rec_x[c][ox])과, Wiener_Filter_Precision[c]의 값과, 차분 필터 데이터에 포함되는 차분 필터 계수 filter_hint_pred_x[c][cx], filter_hint_size_pred_x 및 filter_hint_size_rec_x에 의거하여 산출된다.

또한, 도 24b의 (식 25)에 표시하는 바와 같이, 예측 신호에 대한 필터 계수인 예측 신호 필터 계수의 y성분(coeff_pred_y[c][cy])은, 재구축 신호 필터 계수의 y성분(coeff_rec_y[c][oy])과, Wiener_Filter_Precision[c]의 값과, 차분 필터 데이터에 포함되는 차분 필터 계수 filter_hint_pred_y[c][cy], filter_hint_size_pred_y 및 filter_hint_size_rec_y에 의거하여 산출된다.

도 24c는, 양자화 예측 오차 신호에 대한 필터 계수의 산출식을 나타내는 도면이다.

도 24c의 (식 26)에 표시하는 바와 같이, 양자화 예측 오차 신호에 대한 필터 계수인 예측 오차 신호 필터 계수의 x성분(coeff_qpe_x[c][cx])은, 예측 신호 필터 계수의 x성분(coeff_pred_x[c][ox])과, 차분 필터 데이터에 포함되는 차분 필터 계수 filter_hint_qpe_x[c][cx], filter_hint_size_qpe_x, 및 filter_hint_size_pred_x에 의거하여 산출된다.

도 24c의 (식 27)에 표시하는 바와 같이, 양자화 예측 오차 신호에 대한 필터 계수인 예측 오차 신호 필터 계수의 y성분(coeff_qpe_y[c][cx])은, 예측 신호 필터 계수의 y성분(coeff_pred_y[c][ox])과, 차분 필터 데이터에 포함되는 차분 필터 계수 filter_hint_qpe_y[c][cx], filter_hint_size_qpe_y, 및 filter_hint_size_pred_y에 의거하여 산출된다.

포스트 필터(640)는, 상기의 제1의 예와 마찬가지로, 재구축 동화상 신호(변수명에 있어서의 “rec”)을 필터링하기 위한 필터 계수(변수명에 있어서의 “coeff”)를 먼저 산출하고, 그에 의거하여 예측 신호(변수명에 있어서의 “pred”)를 필터링하기 위한 필터 계수를 산출하고, 후자에 의거하여 양자화 예측 오차 신호(변수명에 있어서의 “qpe”)를 필터링하기 위한 필터 계수를 산출한다. 또한, 포스트 필터(640)는, 각 필터 계수를 산출할 때에는, 수평 방향(변수명에 있어서 “_x”로 표시한다) 필터링의 필터 계수와, 수직 방향(변수명에 있어서 “_y”로 표시한다) 필터링의 필터 계수로, 나누어 산출한다.

다음에, 포스트 필터(640)는, 산출된 필터 계수를 이용하여 포스트 필터링의 수평 필터링을 행한다.

도 25는, 수평 필터링을 나타내는 도면이다.

도 25의 (식 28)에 표시하는 바와 같이, 포스트 필터링의 수평 필터링이 적용된, 색 성분(c)의 위치(x, y)에 있어서의 값(filtered_image_x[c][y][x])은, 필터 계수의 x성분인 coeff_rec_x[c][i], coeff_pred_x[c][i] 및 coeff_qpe_x[c][i]과, rec_image[c], pred_image[c] 및 qpe_image[c]과, filter_hint_size_rec_x, filter_hint_size_pred_x 및 filter_hint_size_qpe_x에 의거하여 산출된다.

다음에, 포스트 필터(640)는, 도 26의 (식 29)에 표시하는 바와 같이, 수평 필터링 완료 신호(filtered_image_x[c][y][x])에 대하여 표준화 및 클리핑을 행한다.

도 26은, 수평 필터링 완료 신호에 대한 표준화 및 클리핑의 산출식을 나타내는 도면이다.

도 26의 (식 29)에 표시하는 바와 같이, 표준화 및 클리핑된 수평 필터링 완료 신호(filtered_image_clipped_x[c][y][x])는, filtered_image_x[c][y][x]에 대하여 역양자화 및 플로어 함수가 적용되어, 0∼255의 값으로 설정된다.

다음에, 포스트 필터(640)는, 포스트 필터링의 수직 필터링을 행한다.

도 27은, 수직 필터링을 나타내는 도면이다.

도 27의 (식 30)에 표시하는 바와 같이, 포스트 필터링의 수직 필터링이 적용된, 색 성분(c)의 위치(x, y)에 있어서의 값(filtered_image_xy[c][y][x])은, 필터 계수의 y성분인 coeff_rec_y[c][j], coeff_pred_y[c][j] 및 coeff_qpe_y[c][j]과, 표준화 및 클리핑된 수평 필터링 완료 신호(filtered_image_clipped_x[c])와, pred_image[c] 및 qpe_image[c]과, filter_hint_size_rec_y, filter_hint_size_pred_y 및 filter_hint_size_qpe_y와, 오프셋(filter_hint_offset[c])에 의거하여 산출된다.

다음에, 포스트 필터(640)는, 도 28의 (식 31)에 표시하는 바와 같이, 수평 및 수직 필터링 완료 신호(filtered_image_xy[c][y][x])에 대하여 표준화 및 클리핑을 행한다.

도 28은, 수평 및 수직 필터링 완료 신호에 대한 표준화 및 클리핑의 산출식을 나타내는 도면이다.

도 28의 (식 31)에 표시하는 바와 같이, 표준화 및 클리핑된 수평 및 수직 필터링 완료 신호(filtered_image_clipped_x[c][y][x])는, filtered_image_xy[c][y][x]에 대하여 역양자화 및 플로어 함수가 적용되어, 0∼255의 값으로 설정된다.

또한, 상기 각 식에 있어서, filtered_image[c]은, 포스트 필터링 처리 후의 색 성분(c)에 대응하는 값이며, rec_image[c]은, 재구축 동화상 신호의 색 성분(c)에 대응하는 값이며, pred_image[c]은, 예측 신호의 색 성분(c)에 대응하는 값이며, qpe_image[c]은, 양자화 예측 오차 신호의 색 성분(c)에 대응하는 값이다. 값 c＝0은 휘도 성분에 대응하고, c＝1 및 c＝2은 2개의 색차 성분 각각에 대응한다.

제3의 예(filter_hint_type[c]＝1)는, 상호 상관 행렬이 전송되는 경우의 포스트 필터 설계 및 처리에 관련된 것이다.

우선, 포스트 필터(640)는, 도 29a의 (식 32)에 나타내는 바와 같이, 원화상(동화상 신호)과 복호 화상(재구축 동화상 신호) 사이의 상호 상관 행렬의 엘리먼트를 산출한다.

도 29a는, 재구축 동화상 신호에 대응하는 상호 상관 행렬의 엘리먼트 산출식을 나타내는 도면이다.

동화상 신호와 재구축 동화상 신호 사이의 상호 상관 행렬(cc_rec)의 엘리먼트는, 도 29a의 (식 32)에 표시하는 바와 같이, 재구축 동화상 신호의 필터링 범위의 중심 위치와, 그 외의 위치에서 상이한 산출식에 의해 산출된다.

다음에, 포스트 필터(640)는, 도 29b의 (식 33)에 나타내는 바와 같이, 원화상(동화상 신호)과 예측 화상(예측 신호) 사이의 상호 상관 행렬의 엘리먼트를 산출한다.

도 29b는, 예측 신호에 대응하는 상호 상관 행렬의 엘리먼트 산출식을 나타내는 도면이다.

동화상 신호와 예측 신호 사이의 상호 상관 행렬(cc_pred)의 엘리먼트는, 도 29b의 (식 33)에 나타내는 바와 같이, 예측 신호 필터링 범위의 중심 위치와,그 외의 위치에서 다른 산출식에 의해 산출된다. 또한, 중심 위치에서는, (식 32)에서 산출된 상호 상관 행렬(cc_rec)의 엘리먼트를 이용하여 상호 상관 행렬(cc_pred)의 엘리먼트가 산출된다.

다음에, 포스트 필터(640)는, 도 29c의 (식 34)에 나타내는 바와 같이, 원화상(동화상 신호)과 양자화 예측 오차 화상(양자화 예측 오차 신호) 사이의 상호 상관 행렬의 엘리먼트를 산출한다.

도 29c는, 양자화 예측 오차 신호에 대응하는 상호 상관 행렬의 엘리먼트 산출식을 나타내는 도면이다.

동화상 신호와 양자화 예측 오차 신호 사이의 상호 상관 행렬(cc_qpe)의 엘리먼트는, 도 29c의 (식 34)에 나타내는 바와 같이, 양자화 예측 오차 신호의 필터링 범위의 중심 위치와, 그 외의 위치에서 상이한 산출식에 의해 산출된다. 또한, 중심 위치에서는, (식 33)으로 산출된 상호 상관 행렬(cc_pred)의 엘리먼트를 이용하여 상호 상관 행렬(cc_qpe)의 엘리먼트가 산출된다.

이와 같이 산출된 각각의 상호 상관 행렬을 이용함으로써, 위너 필터인 포스트 필터의 필터 계수를 구할 수 있고, 구한 필터 계수와 filter_hint_offset[c]을 맞춰서 이용함으로써, 상술한 2차원 FIR 필터에 의한 필터링을 행할 수 있다.

제4의 예(filter_hint_type[c]＝3)는, 2개의 상호 상관 벡터가 전송되는 경우의 포스트 필터 설계 및 처리에 관련된 것이다.

우선, 포스트 필터(640)는, 원화상(동화상 신호)과 복호 화상(재구축 동화상 신호) 사이의 2개의 상호 상관 벡터(수평 상호 상관 벡터 및 수직 상호 상관 벡터)의 엘리먼트를 산출한다.

도 30a는, 재구축 동화상 신호에 대응하는 수평 상호 상관 벡터의 엘리먼트 산출식을 나타내는 도면이다.

동화상 신호와 재구축 동화상 신호 사이의 수평 상호 상관 벡터(cc_rec_x)의 엘리먼트는, 도 30a의 (식 35)에 표시하는 바와 같이, 재구축 동화상 신호의 필터링 범위의 중심 위치와, 그 외의 위치에서 상이한 산출식에 의해 산출된다.

도 30b는, 재구축 동화상 신호에 대응하는 수직 상호 상관 벡터의 엘리먼트 산출식을 나타내는 도면이다.

동화상 신호와 재구축 동화상 신호 사이의 수직 상호 상관 벡터(cc_rec_y)의 엘리먼트는, 도 30b의 (식 36)에 나타내는 바와 같이, 재구축 동화상 신호의 필터링 범위의 중심 위치와, 그 외의 위치에서 상이한 산출식에 의해 산출된다.

다음에, 포스트 필터(640)는, 원화상(동화상 신호)과 예측 화상(예측 신호) 사이의 2개의 상호 상관 벡터(수평 상호 상관 벡터 및 수직 상호 상관 벡터)의 엘리먼트를 산출한다.

도 30c는, 예측 신호에 대응하는 수평 상호 상관 벡터의 엘리먼트 산출식을 나타내는 도면이다.

동화상 신호와 예측 신호 사이의 수평 상호 상관 벡터(cc_pred_x)의 엘리먼트는, 도 30c의 (식 37)에 나타내는 바와 같이, 예측 신호의 필터링 범위의 중심 위치와, 그 외의 위치에서 상이한 산출식에 의해 산출된다. 또한, 중심 위치에서는, (식 35)에서 산출된 수평 상호 상관 벡터(cc_rec_x)의 엘리먼트를 이용하여 수평 상호 상관 벡터(cc_pred_x)의 엘리먼트가 산출된다.

도 30d는, 예측 신호에 대응하는 수직 상호 상관 벡터의 엘리먼트 산출식을 나타내는 도면이다.

동화상 신호와 예측 신호 사이의 수직 상호 상관 벡터(cc_pred_y)의 엘리먼트는, 도 30d의 (식 38)에 나타내는 바와 같이, 예측 신호의 필터링 범위의 중심 위치와, 그 외의 위치에서 상이한 산출식에 의해 산출된다. 또한, 중심 위치에서는, (식 36)에서 산출된 수직 상호 상관 벡터(cc_rec_y)의 엘리먼트를 이용하여 수직 상호 상관 벡터(cc_pred_y)의 엘리먼트가 산출된다.

다음에, 포스트 필터(640)는, 원화상(동화상 신호)과 양자화 예측 오차 화상(양자화 예측 오차 신호) 사이의 2개의 상호 상관 벡터(수평 상호 상관 벡터 및 수직 상호 상관 벡터)의 엘리먼트를 산출한다.

도 30e는, 양자화 예측 오차 신호에 대응하는 수평 상호 상관 벡터의 엘리먼트 산출식을 나타내는 도면이다.

동화상 신호와 양자화 예측 오차 신호 사이의 수평 상호 상관 벡터(cc_qpe_x)의 엘리먼트는, 도 30e의 (식 39)에 나타내는 바와 같이, 양자화 예측 오차 신호의 필터링 범위의 중심 위치와, 그 외의 위치에서 상이한 산출식에 의해 산출된다. 또한, 중심 위치에서는, (식 37)에서 산출된 수평 상호 상관 벡터(cc_pred_x)의 엘리먼트를 이용하여 수평 상호 상관 벡터(cc_qpe_x)의 엘리먼트가 산출된다.

도 30f는, 양자화 예측 오차 신호에 대응하는 수직 상호 상관 벡터의 엘리먼트 산출식을 나타내는 도면이다.

동화상 신호와 양자화 예측 오차 신호 사이의 수직 상호 상관 벡터(cc_qpe_y)의 엘리먼트는, 도 30f의 (식 40)에 나타내는 바와 같이, 양자화 예측 오차 신호의 필터링 범위의 중심 위치와, 그 외의 위치에서 상이한 산출식에 의해 산출된다. 또한, 중심 위치에서는, (식 38)에서 산출된 수직 상호 상관 벡터(cc_pred_y)의 엘리먼트를 이용하여 수직 상호 상관 벡터(cc_qpe_y)의 엘리먼트가 산출된다.

이와 같이 산출된 각각의 상호 상관 벡터를 이용함으로써, 수평 방향의 위너 필터인 포스트 필터의 필터 계수와, 수직 방향의 위너 필터인 포스트 필터의 필터 계수를 구할 수 있고, 구한 필터 계수와 filter_hint_offset[c]을 맞춰서 이용함으로써, 상술한 2개의 1차원 FIR 필터에 의한 필터링을 행할 수 있다.

상기 예에서는, 재구축 동화상 신호의 필터 계수를 우선 산출하고, 그에 의거하여 예측 신호의 필터 계수를 산출하고, 후자에 의거하여 양자화 예측 오차 신호의 필터 계수를 산출했다. 그러나, 다른 순서로 각 필터 계수를 산출해도 된다. 예를 들면, 최초에 양자화 예측 오차 신호의 필터 계수를 산출해도 되고, 또는, 재구축 동화상 신호의 필터 계수에 의거하여 양자화 예측 오차 신호의 필터 계수를 산출해도 된다. 다른 의존 관계나 순서로 필터 계수의 산출 처리를 행하는 것도 가능하다.

인코더에서는, 필터 계수와 상호 상관 데이터를, 부호화 및 전송하기 전에 양자화할 필요가 있다. 인코더가, 예를 들면 필터 계수 또는 상호 상관 데이터 등의 예시적 값(coeff_double)을, 부동 소수점으로 표시할 경우, 양자화를 이하의 (식 41)에 따라서 행한다. 여기에서, 그 필터 계수가 정수가 되도록 양자화해도 된다. 또한, 인코더는, 재구축 동화상 신호, 예측 신호 및 양자화 예측 오차 신호의 각각에 대응하는 모든 필터 계수(필터 힌트)를 양자화하여 송신해도 된다.

[수식 11]

전술한 신택스, 시맨틱, 및 디코더에 있어서의 필터 데이터의 적용은, 일예에 불과하다. 일반적으로, 필터 데이터를 신호 송신하기 위한 신택스 엘리먼트는 본예와 다르다. 특히, 필터 데이터는 프레임마다 제공될 필요는 없다. 몇프레임마다 정기적으로 보내도 되고, 프레임에 있어서의 필터 데이터의 존재를, 신호 전달용 플래그에 의해 부정기적으로 신호 송신해도 된다. 또한, 필터 데이터는, 슬라이스, 이미 정해진 매크로 블록 셋트, 매크로 블록 또는 블록 등, 동화상 프레임이 있는 부분에 대하여 신호 송신해도 된다. 필터 특성을 국소적으로 적응시킴으로써, 품질의 향상이 가능해진다. 특히, 실질적으로 다른 공간적 및/또는 시간적 특성을 가지는 부분이 있는 화상에 있어서, 품질의 향상이 가능해진다.

필터 계수간(또는 오프셋간 혹은 상관 정보간)의 통계적 관계(상호 상관)의 이용은, 단일 색 성분에 대한 필터 계수에 한정되는 것은 아니다. 복수의 다른 색 성분에 대한 필터 계수간의 통계적 의존 관계(상호 상관)도 이용해도 된다. 색 성분의 신호는 통상 서로 상관 관계를 가지고, 상관성이 있는 필터 데이터를 초래할 수 있기 때문이다. 따라서, 복수의 다른 색 성분에 대한 필터 정보(데이터)도 이들 의존 관계를 이용하여, 예를 들면 예측 부호화, 변환 부호화 또는 마르코프 모델에 의거한 부호화에 의해, 부호화해도 된다. 색 성분간의 통계적 관계를 이용한 다른 부호화를 이용해도 된다. 예를 들면, 런랭스 부호화나, 부호어 테이블을 전환하거나, 또는 복수의 필터 데이터 엘리먼트의 조합을 단일 부호어로 부호화하는 엔트로피 부호화 등이다.

또한, 필터 데이터의 부호화에는, 다른 화상 영역의 필터 데이터간에 있어서의 통계적 의존 관계(상호 상관)를 이용해도 된다.

도 31은, 부호화/복호의 대상 블록에 인접하는 주변 블록을 나타내는 도면이다.

블록마다 필터 데이터를 결정할 경우, 대상 블록과, 대상 블록에 인접하여 복호 완료의 주변 블록(블록 m＝2, …, 5 등)에 있어서의 통계적 관계(상호 상관)를 이용하여, 대상 블록의 필터 데이터를 부호화해도 된다. 그러나, 블록 이외의 영역에 대하여 필터 데이터를 결정해도 되고, 이들 영역에 대응하는 필터 데이터간의 의존 관계를 이용하여 상기한 바와 같이, 예를 들면, 예측이나 변환 등을 이용하여, 부호화를 행해도 된다. 또한, 통계적 관계를 이용하여 필터 데이터를 부호화하는 이러한 화상 영역은, 별개의 화상에 위치하고 있어도 된다(예를 들면, 대응하는 위치 또는 움직임 보상을 행하는 위치).

각 신호/모든 신호, 및/또는 색 성분에 대하여, 필터 정밀도(Wiener_Filter_Precision)도 필터 데이터의 양자화 정보로서 부호화하고, Wiener_Filter_Precision[c]로서 디코더에 전송해도 된다. 그러나, 정밀도는 고정적으로 정의되어도 된다. 필터 계수를 예측하기 위한 신호 예측 방식도 또한 신호 송신되어도 된다. 이는, 적응적 예측 방식을 적용하는 경우에 특히 효과적이다.

통상, 필터 데이터는, FIR(유한 임펄스 응답) 필터 또는 IIR(무한 임펄스 응답) 필터를 이용한 필터링에 있어서 사용하기 위해서 결정된다. 필터는 2차원의 비분리 가능 필터 또는 1차원의 분리 가능 필터여도 된다.

복수의 상이한 색 성분 및/또는 신호(예측 신호, 양자화 예측 오차 신호, 재구축 신호)를 필터링하기 위한 필터는, 필터링 순서를 반복 신호 송신하는 것을 피하기 위해서, 동일한 고정 길이를 가져도 된다. 그러나, 색 성분마다, 및 양자화 예측 오차 신호와, 예측 신호와, 재구축 동화상 신호의 각각에 대하여 각각에, 필터 길이를 부호화해도 된다. 필터 길이의 부호화에는, 복수의 다른 신호 및/또는 색 성분을 필터링하기 위한 필터 길이의 통계적 관계(상호 상관)를 이용해도 된다. 따라서, 예측 부호화, 변환 부호화, 마르코프 부호화, 또는 다른 어떠한 부호화도, 필터 길이 정보에 적용할 수 있다.

예측(동화상) 신호 및 양자화 예측 오차 신호에 대한 필터 계수는, 조인트 인코더의 최적화에 의해 동일해도 되고, 이 때문에 전송은 1회만으로 된다. 그 경우, 필터 계수가 같다는 것을 신호 송신해도 된다.

필터링 대상의 복수의 상이한 신호 및/또는 복수의 상이한 색 성분에 대한 필터 데이터의 선택 갈래는, 신호 송신할 필터 데이터의 사이즈를 축소하기 위해서, 제한을 설정해도 된다. 일예를 들면, 적어도 하나의 필터링 대상 신호(재구축 동화상 신호, 예측 신호, 양자화 예측 오차 신호) 및/또는 색 성분 신호에 대하여 대칭 필터를 이용하도록 제한을 설정한다. 다른 예에서는, 3개의 신호(복호 신호, 예측 신호, 양자화 예측 오차 신호) 및/또는 색 성분 중 2개 혹은 3개에 대하여 동등 필터를 이용하도록 제한을 설정한다.

또는, 필터 계수에 따라서는 고정적으로 설정되어도 된다. 고정 필터 계수의 값을 신호 송신하는 빈도는, 예를 들면 시퀀스 헤더에 있어서만 등, 가변 필터 계수를 신호 송신하는 빈도보다 낮아도 된다.

신택스에 관하여, 부호어를 부호화 동화상 신호 및 필터 데이터에 추가함으로써, 3개의 신호(재구축 동화상 신호, 예측 신호, 양자화 예측 오차 신호) 중 어느 하나에 대하여 필터 계수를 부호화 및 전송할지를 신호 송신해도 된다. 예를 들면, 3비트에 의해 부호어를 구성함으로써, 3비트의 각각이 재구축 동화상 신호, 예측 신호 또는 양자화 예측 오차 신호에 대한 필터 데이터의 유무를 신호 송신해도 된다. 이러한 신호 송신은, 예를 들면 시퀀스, 프레임 또는 슬라이스 헤더에 있어서 행해도 된다.

장래의 확장을 위해서, 부호어 “additional_extension_flag”를 포함해도 된다.

도 32는, 본 실시의 형태에 관련된 시스템을 나타내는 도면이다.

이 시스템에서는, 인코더(1501)측으로부터 디코더(1503)측으로 부호화 동화상 신호가 송신된다. 인코더(1501)는, 동화상 부호화 장치(500 또는 700)이며, 디코더(1503)는, 동화상 복호 장치(600 또는 800)이다. 입력 신호인 동화상 신호는, 인코더(1501)에 의해 부호화되어, 채널(1502)에 제공된다. 상술한 바와 같이, 인코더(1501)는, 본 발명의 임의의 실시의 형태에 관련된 인코더이다. 채널(1502)은, 저장 수단이나 전송 채널이다. 저장 수단은, 예를 들면, 임의의 휘발성 또는 불휘발성 메모리나, 임의의 자기 또는 광학 매체나, 대용량 저장 수단 등이다. 무선 혹은 유선, 고정적 혹은 이동가능한, xDSL, ISDN, WLAN, GPRS, UMTS, Internet 등의 임의의 전송 시스템이나, 표준화 또는 특허화된 시스템의 물리적 리소스에 의해, 전송 채널을 형성해도 된다. 인코더측은, 인코더 이외에도, 포맷 변환 등의 동화상 신호에 대한 전처리를 행하는 전처리 수단 및/또는 채널(1502)을 통하여 부호화 동화상 신호를 전송하는 트랜스미터, 또는 부호화 동화상 신호를 저장 수단에 송신하기 위한 어플리케이션 프로그램을 포함해도 된다. 부호화 동화상 신호는, 채널(1502)을 통하여 디코더(1503)에 의해 취득된다. 상술한 바와 같이, 디코더(1503)는, 본 발명의 임의의 실시의 형태에 관련된 디코더이다. 디코더는, 부호화 동화상 신호를 복호한다. 디코더측은, 디코더 이외에도, 전송 채널로부터 부호화 동화상 신호를 수신하기 위한 리시버 또는 저장 수단으로부터의 부호화 동화상 신호를 추출하기 위한 어플리케이션 프로그램, 나아가/또는, 포맷 변환 등 복호 동화상 신호에 대한 후처리를 행하는 후 처리 수단을 더 구비해도 된다.

또한, 본 실시의 형태의 포스트 필터 설계부(540, 730)는, 재구축 동화상 신호, 예측 신호, 및 양자화 예측 오차 신호를 이용하여 필터 데이터 또는 필터 계수를 결정했지만, 이들 신호 중 적어도 2개의 신호를 이용하여 필터 데이터 또는 필터 계수를 결정해도 된다. 또한, 양자화 예측 오차 신호 대신에 예측 오차 신호를 이용해도 된다. 마찬가지로, 본 실시의 형태의 포스트 필터(640, 840)는, 재구축 동화상 신호, 예측 신호, 및 양자화 예측 오차 신호에 대하여 필터 데이터 또는 필터 계수를 적용했지만, 이들 신호 중 적어도 2개의 신호에 대하여 필터 데이터 또는 필터 계수를 적용해도 된다. 또한, 양자화 예측 오차 신호 대신에 예측 오차 신호에 대하여 필터 데이터 또는 필터 계수를 적용해도 된다.

(실시의 형태 2)

상기 실시의 형태에서 나타낸 동화상 부호화 장치, 동화상 복호 장치 또는 이들 방법을 실현하기 위한 프로그램을 기억 미디어에 기록함으로써, 상기 실시의 형태에서 나타낸 처리를 독립된 컴퓨터 시스템에 있어서 간단히 실시하는 것이 가능해진다. 기억 미디어는, 자기 디스크, 광 디스크, 광 자기 디스크, IC 카드, 반도체 메모리 등, 프로그램을 기록할 수 있는 것이면 된다.

또한 여기에서, 상기 실시의 형태에서 나타낸 동화상 부호화 장치, 동화상 복호 장치 또는 이들 방법의 응용예와 이들을 이용한 시스템을 설명한다.

도 33은, 컨텐츠 전송 서비스를 실현하는 컨텐츠 공급 시스템(ex100)의 전체구성을 나타내는 도면이다. 통신 서비스의 제공 에어리어를 원하는 크기로 분할하고, 각 셀 내에 각각 고정 무선국인 기지국(ex106∼ex110)이 설치되어 있다.

이 컨텐츠 공급 시스템(ex100)은, 인터넷(ex101)에 인터넷 서비스 제공자(ex102) 및 전화망(ex104), 및, 기지국(ex106∼ex110)을 통하여, 컴퓨터(ex111), PDA(Personal Digital Assistant)(ex112), 카메라(ex113), 휴대 전화(ex114), 게임기(ex115) 등의 각 기기가 접속된다.

그러나, 컨텐츠 공급 시스템(ex100)은 도 33과 같은 구성에 한정되지 않고, 어느 하나의 요소를 조합하여 접속하도록 해도 된다. 또한, 고정 무선국인 기지국(ex106∼ex110)을 통하지 않고, 각 기기가 전화망(ex104)에 직접 접속되어도 된다. 또한, 각 기기가 근거리 무선 등을 통하여 직접 서로 접속되어 있어도 된다.

카메라(ex113)는 디지털 비디오 카메라 등의 동화상 촬영이 가능한 기기이며, 카메라(ex116)는 디지털 카메라 등의 정지 화상 촬영, 동화상 촬영이 가능한 기기이다. 또한, 휴대 전화(ex114)는, GSM(Global System for Mobile Communications) 방식, CDMA(Code Division Multiple Access) 방식, W-CDMA(Wideband-Code Division Multiple Access) 방식, 혹은 LTE(Long Term Evolution) 방식, HSPA(High Speed Packet Access)의 휴대 전화기, 또는, PHS(Personal Handyphone System) 등이며, 어느 것이라도 상관없다.

컨텐츠 공급 시스템(ex100)에서는, 카메라(ex113) 등이 기지국(ex109), 전화망(ex104)을 통하여 스트리밍 서버(ex103)에 접속됨으로써, 라이브 전송 등이 가능해진다. 라이브 전송에서는, 사용자가 카메라(ex113)를 이용하여 촬영하는 컨텐츠 (예를 들면, 음악 라이브 영상 등)에 대하여 상기 실시의 형태에서 설명한 것처럼 부호화 처리를 행하여, 스트리밍 서버(ex103)에 송신한다. 한편, 스트리밍 서버(ex103)는 요구가 있는 클라이언트에 대하여 송신된 컨텐츠 데이터를 스트림 전송한다. 클라이언트로는, 상기 부호화 처리된 데이터를 복호하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대전화(ex114), 게임기(ex115) 등이 있다. 전송된 데이터를 수신한 각 기기에서는, 수신한 데이터를 복호 처리하여 재생한다.

또한, 촬영한 데이터의 부호화 처리는 카메라(ex113)로 행하거나, 데이터의 송신 처리를 하는 스트리밍 서버(ex103)로 행해도 되고, 서로 분담하여 행해도 된다. 동일하게 전송된 데이터의 복호 처리는 클라이언트에서 행하거나, 스트리밍 서버(ex103)에서 행해도 되고, 서로 분담하여 행해도 된다. 또한, 카메라(ex113)에 한정되지 않고, 카메라(ex116)로 촬영한 정지 화상 및/또는 동화상 데이터를, 컴퓨터(ex111)를 통하여 스트리밍 서버(ex103)에 송신해도 된다. 이 경우의 부호화 처리는 카메라(ex116), 컴퓨터(ex111), 스트리밍 서버(ex103) 중 어느 하나로 행해도 되고, 서로 분담하여 행해도 된다.

또한, 이들 부호화 처리 및 복호 처리는, 일반적으로 컴퓨터(ex111) 및 각 기기가 가지는 LSI(Large Scale Integration)(ex500)에 있어서 처리한다. LSI(ex(500))는, 원 칩이거나 복수 칩으로 이루어지는 구성이어도 된다. 또한, 화상 부호화용 및 화상 복호용의 소프트웨어를 컴퓨터(ex111) 등으로 판독 가능한 어떠한 기록 미디어(CD-ROM, flexible disk, 하드 디스크 등)에 넣고, 그 소프트웨어를 이용하여 부호화 처리 및 복호 처리를 행해도 된다. 또한, 휴대전화(ex114)가 카메라 부착인 경우에는, 그 카메라로 취득한 동화상 데이터를 송신해도 된다. 이 때의 동화상 데이터는 휴대폰(ex114)이 가지는 LSI(ex500)에서 부호화 처리된 데이터이다.

또한, 스트리밍 서버(ex103)는 복수의 서버 또는 복수의 컴퓨터이며, 데이터를 분산하여 처리하거나 기록하거나 전송하는 것이어도 된다.

이상과 같이 하여, 컨텐츠 공급 시스템(ex100)에서는, 부호화된 데이터를 클라이언트가 수신하여 재생할 수 있다. 이와 같이 컨텐츠 공급 시스템(ex100)에서는, 사용자가 송신한 정보를 실시간으로 클라이언트가 수신하여 복호하고, 재생할 수 있어, 특별한 권리 또는 설비를 가지지 않는 사용자라도 개인 방송을 실현할 수 있다.

이 컨텐츠 공급 시스템을 구성하는 각 기기의 부호화, 복호에는 상기 실시의 형태에서 나타낸 동화상 부호화 방법 혹은 동화상 복호 방법을 이용하도록 하면 된다.

그 일예로서 휴대전화(ex114)에 대해서 설명한다.

도 34는, 상기 실시의 형태에서 설명한 동화상 부호화 장치, 동화상 복호 장치 또는 이들 방법을 이용한 휴대전화(ex114)를 도시하는 도면이다. 휴대전화(ex114)는, 기지국(ex110)과의 사이에 전파를 송수신하기 위한 안테나(ex601), CCD 카메라 등의 영상, 정지 화상을 찍는 것이 가능한 카메라부(ex603), 카메라부(ex603)에서 촬영한 영상, 안테나(ex601)에서 수신한 영상 등이 복호된 데이터를 표시하는 액정 디스플레이 등의 표시부(ex602), 조작 키(ex604)군으로 구성되는 본체부, 음성 출력을 하기 위한 스피커 등의 음성 출력부(ex608), 음성 입력을 하기 위한 마이크 등의 음성 입력부(ex605), 촬영한 동화상 혹은 정지 화상 데이터, 수신한 메일 데이터, 동화상 데이터 혹은 정지 화상 데이터 등, 부호화된 데이터 또는 복호된 데이터를 보존하기 위한 기록 미디어(ex607), 휴대전화(ex114)에 기록 미디어(ex607)을 장착 가능하게 하기 위한 슬롯부(ex606)를 가지고 있다. 기록 미디어(ex607)는 SD 카드 등의 플라스틱 케이스 내에 전기적으로 개서 및 소거가 가능한 불휘발성 메모리인 EEPROM의 일종인 플래시 메모리 소자를 저장한 것이다.

또한, 휴대전화(ex114)에 대해서 도 35를 이용하여 설명한다. 휴대전화(ex114)는 표시부(ex602) 및 조작 키(ex604)를 구비한 본체부의 각 부를 통괄적으로 제어하도록 행해진 주 제어부(ex711)에 대하여, 전원 회로부(ex710), 조작 입력 제어부(ex704), 화상 부호화부(ex712), 카메라 인터페이스부(ex703), LCD(Liquid Crystal Display)제어부(ex702), 화상 복호부(ex709), 다중 분리부(ex708), 기록 재생부(ex707), 변복조 회로부(ex706) 및 음성 처리부(ex705)가 동기 버스(ex713)를 통하여 서로 접속되어 있다.

전원 회로부(ex710)는, 사용자의 조작에 의해 통화 종료 및 전원 키가 온 상태로 되면, 배터리 팩으로부터 각 부에 대하여 전력을 공급함으로써 카메라 부착 디지털 휴대전화(ex114)를 동작가능한 상태로 기동한다.

휴대전화(ex114)는, CPU, ROM 및 RAM 등으로 이루어지는 주 제어부(ex711)의 제어에 의거하여, 음성 통화 모드 시에 음성 입력부(ex605)에서 집음한 음성 신호를 음성 처리부(ex705)에 의해 디지털 음성 데이터로 변환하고, 이를 변복조 회로부(ex706)에서 스펙트럼 확산 처리하고, 송수신 회로부(ex701)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex601)를 통하여 송신한다. 또한 휴대전화(ex114)는, 음성 통화 모드 시에 안테나(ex601)로 수신한 수신 데이터를 증폭하여 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시하고, 변복조 회로부(ex706)에서 스펙트럼 역확산 처리하고, 음성 처리부(ex705)에 의해 아날로그 음성 데이터로 변환한 후, 음성 출력부(ex608)를 통하여 이를 출력한다.

또한, 데이터 통신 모드 시에 전자 메일을 송신할 경우, 본체부의 조작 키(ex604)의 조작에 의해 입력된 전자 메일의 텍스트 데이터는 조작 입력 제어부(ex704)를 통하여 주 제어부(ex711)에 송출된다. 주 제어부(ex711)는, 텍스트 데이터를 변복조 회로부(ex706)에서 스펙트럼 확산 처리하고, 송수신 회로부(ex701)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex601)를 통하여 기지국(ex110)에 송신한다.

데이터 통신 모드 시에 화상 데이터를 송신할 경우, 카메라부(ex603)에서 촬상된 화상 데이터를, 카메라 인터페이스부(ex703)를 통하여 화상 부호화부(ex712)에 공급한다. 또한, 화상 데이터를 송신하지 않을 경우에는, 카메라부(ex603)에서 촬상한 화상 데이터를 카메라 인터페이스부(ex703) 및 LCD 제어부(ex702)를 통하여 표시부(ex602)에 직접 표시하는 것도 가능하다.

화상 부호화부(ex712)는, 본원 발명에서 설명한 동화상 부호화 장치를 구비한 구성이며, 카메라부(ex603)로부터 공급된 화상 데이터를 상기 실시의 형태에서 나타낸 동화상 부호화 장치에 이용한 동화상 부호화 방법에 의해 압축 부호화함으로써 부호화 화상 데이터로 변환하고, 이를 다중 분리부(ex708)에 송출한다. 또한, 이 때 동시에 휴대전화(ex114)는, 카메라부(ex603)에서 촬상 중에 음성 입력부(ex605)에서 집음한 음성을, 음성 처리부(ex705)를 통하여 디지털 음성 데이터로서 다중 분리부(ex708)로 송출한다.

다중 분리부(ex708)는, 화상 부호화부(ex712)로부터 공급된 부호화 화상 데이터와 음성 처리부(ex705)로부터 공급된 음성 데이터를 소정의 방식으로 다중화하고, 그 결과 얻어지는 다중화 데이터를 변복조 회로부(ex706)에서 스펙트럼 확산 처리하고, 송수신 회로부(ex701)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex601)를 통하여 송신한다.

데이터 통신 모드 시에 홈페이지 등에 링크된 동화상 파일 데이터를 수신하는 경우, 안테나(ex601)를 통하여 기지국(ex110)으로부터 수신한 수신 데이터를 변복조 회로부(ex706)에서 스펙트럼 역확산 처리하고, 그 결과 얻어지는 다중화 데이터를 다중 분리부(ex708)에 송출한다.

또한, 안테나(ex601)를 통하여 수신된 다중화 데이터를 복호하기 위해서는, 다중 분리부(ex708)는, 다중화 데이터를 분리함으로써 화상 데이터의 비트 스트림과 음성 데이터의 비트 스트림으로 나누고, 동기 버스(ex713)를 통하여 당해 부호화 화상 데이터를 화상 복호부(ex709)에 공급함과 더불어 당해 음성 데이터를 음성 처리부(ex705)에 공급한다.

다음에, 화상 복호부(ex709)는, 본원에서 설명한 동화상 복호 장치를 구비한 구성이며, 화상 데이터의 비트 스트림을 상기 실시의 형태에서 나타낸 동화상 부호화 방법에 대응한 동화상 복호 방법으로 복호함으로써 재생 동화상 데이터를 생성하고, 이를, LCD 제어부(ex702)를 통하여 표시부(ex602)에 공급하고, 이에 따라, 예를 들면 홈페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 표시된다. 이 때 동시에 음성 처리부(ex705)는, 음성 데이터를 아날로그 음성 데이터로 변환한 후, 이를 음성 출력부(ex608)에 공급하고, 이에 따라, 예를 들면 홈페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다.

또한, 상기 시스템의 예에 한정되지 않고, 최근은 위성, 지상파에 의한 디지털 방송이 화제가 되고 있어, 도 36에 도시하는 바와 같이 디지털 방송용 시스템에도 상기 실시 형태의 적어도 동화상 부호화 장치 또는 동화상 복호 장치를 집어넣을 수 있다. 구체적으로는, 방송국(ex201)에서는 음성 데이터, 영상 데이터 또는 이들 데이터가 다중화된 비트 스트림이 전파를 통하여 통신 또는 방송 위성(ex202)에 전송된다. 이를 받은 방송 위성(ex202)은, 방송용 전파를 발신하고, 위성 방송 수신 설비를 가지는 가정의 안테나(ex204)는 이 전파를 수신하고, 텔레비전(수신기)(ex300) 또는 셋탑박스(STB)(ex217) 등의 장치는 비트 스트림을 복호하여 이를 재생한다. 또한, 기록 매체인 CD 및 DVD 등의 기록 미디어(ex215, ex216)에 기록한 화상 데이터와, 음성 데이터가 다중화된 비트 스트림을 읽어내고, 복호하는 리더/레코더(ex218)에도 상기 실시의 형태에서 나타낸 동화상 복호 장치를 실장하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(ex219)에 표시된다. 또한, 케이블 텔레비젼용 케이블(ex203) 또는 위성/지상파 방송의 안테나(ex204)에 접속된 셋탑박스(ex217) 내에 동화상 복호 장치를 실장하고, 이를 텔레비전 모니터(ex219)로 재생하는 구성도 생각할 수 있다. 이 때 셋탑박스가 아니라, 텔레비전 내에 동화상 복호 장치를 집어넣어도 된다. 또한, 안테나(ex205)를 가지는 차(ex210)에서, 위성(ex202) 또는 기지국 등으로부터 신호를 수신하고, 차(ex210)가 가지는 카 네비게이션(ex211) 등의 표시 장치에 동화상을 재생하는 것도 가능하다.

또한, DVD, BD 등의 기록 미디어(ex215)에 기록한 음성 데이터, 영상 데이터 또는 이들 데이터가 다중화된 부호화 비트 스트림을 읽어내 복호하거나, 또는, 기록 미디어(ex215)에, 음성 데이터, 영상 데이터 또는 이들 데이터를 부호화하고, 다중화 데이터로서 기록하는 리더/레코더(ex218)에도 상기 실시의 형태에서 나타낸 동화상 복호 장치 또는 동화상 부호화 장치를 실장하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(ex219)에 표시된다. 또한, 부호화 비트 스트림이 기록된 기록 미디어(ex215)에 의해, 다른 장치 및 시스템 등은, 영상 신호를 재생할 수 있다. 예를 들면, 다른 재생 장치(ex212)는, 부호화 비트 스트림이 복사된 기록 미디어(ex214)를 이용하여, 모니터(ex213)에 영상 신호를 재생할 수 있다.

또한, 케이블 텔레비젼용의 케이블(ex203) 또는 위성/지상파 방송의 안테나(ex204)에 접속된 셋탑박스(ex217) 내에 동화상 복호 장치를 실장하고, 이를 텔레비전 모니터(ex219)로 표시해도 된다. 이 때 셋탑박스가 아니라, 텔레비전 내에 동화상 복호 장치를 집어넣어도 된다.

도 37은, 상기 실시의 형태에서 설명한 동화상 부호화 장치, 동화상 복호 장치 또는 이들 방법을 이용한 텔레비전(수신기)(ex300)을 도시하는 도면이다. 텔레비전(ex300)은, 상기 방송을 수신하는 안테나(ex204) 또는 케이블(ex203) 등을 통하여 영상 정보의 비트 스트림을 취득, 또는, 출력하는 튜너(ex301)와, 수신한 부호화 데이터를 복조하거나, 또는, 생성된 부호화 데이터를 외부에 송신하기 위해서 변조하는 변조/복조부(ex302)와, 복조한 영상 데이터와 음성 데이터를 분리하거나, 또는, 부호화된 영상 데이터와 음성 데이터를 다중화하는 다중/분리부(ex303)를 구비한다. 또한, 텔레비전(ex300)은, 음성 데이터, 영상 데이터의 각각을 복호하거나, 또는, 각각의 정보를 부호화하는 음성 신호 처리부(ex304), 영상 신호 처리부(ex305)를 가지는 신호 처리부(ex306)와, 복호된 음성 신호를 출력하는 스피커(ex307), 복호된 영상 신호를 표시하는 디스플레이 등의 표시부(ex308)를 가지는 출력부(ex309)를 가진다. 또한, 텔레비전(ex300)은, 사용자 조작의 입력을 접수하는 조작 입력부(ex312) 등을 가지는 인터페이스부(ex317)를 가진다. 또한, 텔레비전(ex300)은, 각 부를 통괄적으로 제어하는 제어부(ex310), 각 부에 전력을 공급하는 전원 회로부(ex311)를 가진다. 인터페이스부(ex317)는, 조작 입력부(ex312) 이외에, 리더/레코더(ex218) 등의 외부 기기와 접속되는 브릿지(ex313), SD 카드 등의 기록 미디어(ex216)를 장착 가능하게 하기 위한 슬롯부(ex314), 하드 디스크 등의 외부 기록 미디어와 접속하기 위한 드라이버(ex315), 전화망과 접속하는 모뎀(ex316) 등을 가지고 있어도 된다. 또한 기록 미디어(ex216)는, 저장하는 불휘발성/휘발성의 반도체 메모리 소자에 의해 전기적으로 정보의 기록을 가능하게 한 것이다. 텔레비전(ex300)의 각 부는 동기 버스를 통하여 서로 접속되어 있다.

우선, 텔레비전(ex300)이 안테나(ex204) 등에 의해 외부로부터 취득한 데이터를 복호하고, 재생하는 구성에 대해서 설명한다. 텔레비전(ex300)은, 리모트 컨트롤러(ex220) 등으로부터의 사용자 조작을 받아, CPU 등을 가지는 제어부(ex310)의 제어에 의거하여, 변조/복조부(ex302)에서 복조한 영상 데이터, 음성 데이터를 다중/분리부(ex303)에서 분리한다. 또한 텔레비전(ex300)은, 분리한 음성 데이터를 음성 신호 처리부(ex304)에서 복호하고, 분리한 영상 데이터를 영상 신호 처리부(ex305)에서 상기 실시의 형태에서 설명한 동화상 복호 방법을 이용하여 복호한다. 복호한 음성 신호, 영상 신호는, 각각 출력부(ex309)로부터 외부를 향해서 출력된다. 출력할 때는, 음성 신호와 영상 신호가 동기하여 재생하도록, 버퍼(ex318, ex319) 등에 일단 이들 신호를 축적하면 된다. 또한, 텔레비전(ex300)은, 방송 등으로부터가 아니라, 자기/광 디스크, SD 카드 등의 기록 미디어(ex215, ex216)로부터 부호화된 부호화 비트 스트림을 읽어내도 된다. 다음에, 텔레비전(ex300)이 음성 신호 및 영상 신호를 부호화하고, 외부에 송신 또는 기록 미디어 등에 기입하는 구성에 대해서 설명한다. 텔레비전(ex300)은, 리모트 컨트롤러(ex220) 등으로부터의 사용자 조작을 받아, 제어부(ex310)의 제어에 의거하여, 음성 신호 처리부(ex304)에서 음성 신호를 부호화하고, 영상 신호 처리부(ex305)에서 영상 신호를 상기 실시의 형태에서 설명한 동화상 부호화 방법을 이용하여 부호화한다. 부호화한 음성 신호, 영상 신호는 다중/분리부(ex303)에서 다중화되어 외부로 출력된다. 다중화할 때는, 음성 신호와 영상 신호가 동기하도록, 버퍼(ex320, ex321) 등에 일단 이들 신호를 축적하면 된다. 또한, 버퍼(ex318∼ex321)는 도시하고 있는 바와 같이 복수 구비하고 있어도 되고, 1개 이상의 버퍼를 공유하는 구성이어도 된다. 또한, 도시하고 있는 이외에, 예를 들면 변조/복조부(ex302)와 다중/분리부(ex303)의 사이 등에서도 시스템의 오버플로우 및 언더플로우를 피하는 완충재로서 버퍼에 데이터를 축적하는 것으로 해도 된다.

또한, 텔레비전(ex300)은, 방송 및 기록 미디어 등으로부터 음성 데이터 및 영상 데이터를 취득하는 이외에, 마이크 및 카메라의 AV 입력을 접수하는 구성을 구비하고, 이들로부터 취득한 데이터에 대하여 부호화 처리를 행해도 된다. 또한, 여기서는 텔레비전(ex300)은, 상기의 부호화 처리, 다중화, 및, 외부 출력이 가능한 구성으로서 설명했지만, 이들 모든 처리를 행할 수는 없고, 상기 수신, 복호 처리, 및, 외부 출력 중 어느 하나만이 가능한 구성이어도 된다.

또한, 리더/레코더(ex218)로 기록 미디어로부터 부호화 비트 스트림을 읽어내거나, 또는, 기입하는 경우에는, 상기 복호 처리 또는 부호화 처리는 텔레비전(ex300) 및 리더/레코더(ex218) 중 어느 하나로 행해도 되고, 텔레비전(ex300)과 리더/레코더(ex218)가 서로 분담하여 행해도 된다.

일예로서, 광 디스크로부터 데이터의 읽어들임 또는 기입을 할 경우의 정보 재생/기록부(ex400)의 구성을 도 38에 도시한다. 정보 재생/기록부(ex400)는, 이하에 설명하는 요소(ex401∼ex407)를 구비한다. 광 헤드(ex401)는, 광 디스크인 기록 미디어(ex215)의 기록면에 레이저 스폿을 조사하여 정보를 기입하고, 기록 미디어(ex215)의 기록면으로부터의 반사광을 검출하여 정보를 읽어들인다. 변조 기록부(ex402)는, 광 헤드(ex401)에 내장된 반도체 레이저를 전기적으로 구동하여 기록 데이터에 따라 레이저광의 변조를 행한다. 재생 복조부(ex403)는, 광 헤드(ex401)에 내장된 포토 디텍터에 의해 기록면으로부터의 반사광을 전기적으로 검출한 재생 신호를 증폭하고, 기록 미디어(ex215)에 기록된 신호 성분을 분리하여 복조하여, 필요한 정보를 재생한다. 버퍼(ex404)는, 기록 미디어(ex215)에 기록하기 위한 정보 및 기록 미디어(ex215)로부터 재생한 정보를 일시적으로 보유한다. 디스크 모터(ex405)는 기록 미디어(ex215)를 회전시킨다. 서보 제어부(ex406)는, 디스크 모터(ex405)의 회전 구동을 제어하면서 광 헤드(ex401)를 소정의 정보 트랙으로 이동시키고, 레이저 스폿의 추종 처리를 행한다. 시스템 제어부(ex407)는, 정보 재생/기록부(ex400) 전체의 제어를 행한다. 상기의 판독 및 기입의 처리는, 시스템 제어부(ex407)가, 버퍼(ex404)에 보유된 각종 정보를 이용하고, 또한 필요에 따라 새로운 정보의 생성 및 추가를 행함과 더불어, 변조 기록부(ex402), 재생 복조부(ex403) 및 서보 제어부(ex406)를 협조 동작시키면서, 광 헤드(ex401)를 통하여, 정보의 기록 재생을 행함으로써 실현된다. 시스템 제어부(ex407)는, 예를 들면 마이크로프로세서로 구성되고, 판독 기입의 프로그램을 실행함으로써 이들 처리를 실행한다.

이상에서는, 광 헤드(ex401)는 레이저 스폿을 조사하는 것으로서 설명했지만, 근접장 광을 이용하여 보다 고밀도의 기록을 행하는 구성이어도 된다.

도 39에 광 디스크인 기록 미디어(ex215)의 모식도를 도시한다. 기록 미디어(ex215)의 기록면에는 안내 홈(그루브)이 스파이럴형상으로 형성되고, 정보 트랙(ex230)에는, 미리 그루브 형상의 변화에 따라 디스크 상의 절대 위치를 나타내는 번지 정보가 기록되어 있다. 이 번지 정보는 데이터를 기록하는 단위인 기록 블록(ex231)의 위치를 특정하기 위한 정보를 포함하고, 기록 및 재생을 행하는 장치는, 정보 트랙(ex230)을 재생하여 번지 정보를 읽음으로써 기록 블록을 특정할 수 있다. 또한, 기록 미디어(ex215)는, 데이터 기록 영역(ex233), 내주 영역(ex232), 외주 영역(ex234)을 포함하고 있다. 사용자 데이터를 기록하기 위해서 이용하는 영역이 데이터 기록 영역(ex233)이며, 데이터 기록 영역(ex233)의 내주 또는 외주에 배치되어 있는 내주 영역(ex232)과 외주 영역(ex234)은, 사용자 데이터의 기록 이외의 특정 용도에 이용된다. 정보 재생/기록부(ex400)는, 이러한 기록 미디어(ex215)의 데이터 기록 영역(ex233)에 대하여, 부호화된 음성 데이터, 영상 데이터 또는 이들 데이터를 다중화한 부호화 데이터의 읽고 쓰기를 행한다.

이상에서는, 1층의 DVD, BD 등의 광 디스크를 예로 들어 설명했지만, 이들에 한정된 것은 아니고, 다층 구조이며 표면 이외에도 기록가능한 광 디스크여도 된다. 또한, 디스크의 같은 장소에 다양한 다른 파장의 색의 광을 이용하여 정보를 기록하거나, 다양한 각도로부터 다른 정보의 층을 기록하는 등, 다차원적인 기록/재생을 행하는 구조의 광 디스크여도 된다.

또한, 디지털 방송용 시스템(ex200)에 있어서, 안테나(ex205)를 가지는 차(ex210)에서 위성(ex202) 등으로부터 데이터를 수신하고, 차(ex210)가 가지는 카 네비게이션(ex211) 등의 표시 장치에 동화상을 재생하는 것도 가능하다. 또한, 카 네비게이션(ex211)의 구성은 예를 들면 도 17에 도시하는 구성 중, GPS 수신부를 추가한 구성을 생각할 수 있고, 동일한 것을 컴퓨터(ex111) 및 휴대전화(ex114) 등에서도 생각할 수 있다. 또한, 상기 휴대전화(ex114) 등의 단말은, 텔레비전(ex300)과 마찬가지로, 부호화기 및 복호기의 양쪽을 가지는 송수신형 단말 이외에, 부호화기만의 송신 단말, 복호기만의 수신 단말이라고 하는 3가지의 실장 형식을 생각할 수 있다.

이와 같이, 상기 실시의 형태에서 나타낸 동화상 부호화 방법 혹은 동화상 복호 방법을 상술한 어느 하나의 기기 및 시스템에 이용하는 것이 가능하고, 그렇게 함으로써, 상기 실시의 형태에서 설명한 효과를 얻을 수 있다.

또한, 본 발명은, 상기 실시의 형태에 한정되는 것이 아니라, 본 발명의 범위를 일탈하지 않고 다양한 변형 또는 수정이 가능하다.

(실시의 형태 3)

상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 및 장치, 동화상 복호 방법 및 장치는, 전형적으로는 집적 회로인 LSI로 실현된다. 일예로서, 도 40에 1칩화된 LSI(ex500)의 구성을 나타낸다. LSI(ex500)는, 이하에 설명하는 요소(ex501∼ex509)를 구비하고, 각 요소는 버스(ex510)를 통하여 접속되어 있다. 전원 회로부(ex505)는 전원이 온 상태인 경우에 각 부에 대하여 전력을 공급함으로써 동작 가능한 상태로 기동한다.

예를 들면 부호화 처리를 행할 경우에는, LSI(ex500)는, CPU(ex502), 메모리 컨트롤러(ex503) 및 스트림 컨트롤러(ex504) 등을 가지는 제어부(ex501)의 제어에 의거하여, AV I/O(ex509)에 의해 마이크(ex117) 및 카메라(ex113) 등으로부터 AV 신호의 입력을 접수한다. 입력된 AV 신호는, 일단 SDRAM 등의 외부 메모리(ex511)에 축적된다. 제어부(ex501)의 제어에 의거하여, 축적된 데이터는, 처리량 및 처리 속도에 따라서 적절히 복수회로 나누는 등으로 하여, 신호 처리부(ex507)에 이송된다. 신호 처리부(ex507)는, 음성 신호의 부호화 및/또는 영상 신호의 부호화를 행한다. 여기서 영상 신호의 부호화 처리는, 상기 실시의 형태에서 설명한 부호화 처리이다. 신호 처리부(ex507)에서는 또한, 경우에 따라 부호화된 음성 데이터와 부호화된 영상 데이터를 다중화하는 등의 처리를 행하고, 스트림 I/O(ex506)로부터 외부로 출력한다. 이 출력된 비트 스트림은, 기지국(ex107)을 향하여 송신되거나, 또는, 기록 미디어(ex215)에 기입되기도 한다. 또한, 다중화할 때는 동기하도록, 일단 버퍼(ex508)에 데이터를 축적하면 된다.

또한, 예를 들면 복호 처리를 행하는 경우에는, LSI(ex500)는, 제어부(ex501)의 제어에 의거하여, 스트림 I/O(ex506)에 의해 기지국(ex107)을 통하여 얻은 부호화 데이터, 또는, 기록 미디어(ex215)로부터 읽어내 얻은 부호화 데이터를 일단 메모리(ex511) 등에 축적한다. 제어부(ex501)의 제어에 의거하여, 축적한 데이터는, 처리량 및 처리 속도에 따라서 적절히 복수회로 나누는 등으로 되어 신호 처리부(ex507)에 이송된다. 신호 처리부(ex507)는, 음성 데이터의 복호 및/또는 영상 데이터의 복호를 행한다. 여기서 영상 신호의 복호 처리는, 상기 실시의 형태에서 설명한 복호 처리이다. 또한, 경우에 따라 복호된 음성 신호와 복호된 영상 신호를 동기하여 재생할 수 있도록 각각의 신호를 일단 버퍼(ex508) 등에 축적하면 된다. 복호된 출력 신호는, 메모리(ex511) 등을 적절히 통하면서, 휴대전화(ex114), 게임기(ex115) 및 텔레비전(ex300) 등의 각 출력부로부터 출력된다.

또한, 상기에서는, 메모리(ex511)가 LSI(ex500)의 외부 구성으로서 설명했지만, LSI(ex500)의 내부에 포함되는 구성이어도 된다. 버퍼(ex508)도 하나에 한정된 것은 아니고, 복수의 버퍼를 구비해도 된다. 또한, LSI(ex500)는 1칩화되어도 되고, 복수 칩화되어도 된다.

또한, 여기에서는, LSI로 했지만, 집적도의 차이에 따라, IC, 시스템 LSI, 슈퍼 LSI, 울트라 LSI라고 하기도 한다.

또한, 집적 회로화의 수법은 LSI에 한정되는 것은 아니고, 전용 회로 또는 범용 프로세서로 실현해도 된다. LSI 제조 후에, 프로그램하는 것이 가능한 FPGA,또는, LSI 내부의 회로 셀의 접속 및 설정을 재구성 가능한 리컨피규러블·프로세서를 이용해도 된다.

또한, 반도체 기술의 진보 또는 파생하는 별도 기술에 의해 LSI로 치환하는 집적 회로화의 기술이 등장하면, 당연히, 그 기술을 이용하여 기능 블록의 집적화를 행해도 된다. 바이오 기술의 적응 등이 가능성으로서 있을 수 있다.

이상, 본 발명에 관련된 동화상 부호화 방법, 동화상 부호화 장치, 동화상 복호 방법 및 동화상 복호 장치에 대해서, 실시의 형태에 의거하여 설명했지만, 본 발명은, 이들 실시의 형태에 한정되는 것은 아니다. 본 발명의 취지를 일탈하지 않는 한, 당업자가 생각해내는 각종 변형을 당해 실시의 형태에 실시한 형태, 및, 다른 실시의 형태에 있어서의 구성 요소 및 단계 등을 조합하여 구축되는 별도의 형태도, 본 발명의 범위 내에 포함된다.

H. 264/AVC에 의거하는 동화상 부호화 시스템에 관련되어 상술한 예의 대부분을 개요 설명했다. 용어는, 주로, H. 264/AVC의 용어에 관련된 것이다. 그러나, H. 264/AVC에 의거하는 부호화에 대한 다양한 실시의 형태의 용어 및 기술은, 본 발명의 원리 및 생각을, 당해 시스템에 한정하는 것을 의도하지 않는다. H. 264/AVC 표준 규격에 준거한 부호화 및 복호에 관한 상세한 설명은, 여기에서 설명한 예시적인 실시의 형태에 대한 이해를 깊게 하는 것을 의도하고 있고, 동화상 부호화에 있어서의 프로세스 및 기능을, 설명한 특정한 실시 양태에 본 발명이 한정되도록 이해되어야하는 것은 아니다. 한편, 여기에서 제안한 개량책은, 동화상 부호화에 있어서 용이하게 응용가능할 것이다. 또한, 본 발명의 컨셉은, JVT에 의해 현재 토의되고 있는 H. 264/AVC의 확장 부호화에 있어서도 용이하게 이용가능할 것이다.

요약하면, 본 발명에 관련된 동화상 신호의 복호에서는, 인코더측으로부터 제공되는 필터 데이터에 의거하여, 예측 신호와, 예측 오차 신호와, 재구축 동화상 신호 중 적어도 2개의 신호에 대하여 각각에 필터링하고, 본 발명에 관련된 동화상 신호의 부호화에서는, 필터 데이터를, 예측 신호와, 예측 오차 신호와, 재구축 동화상 신호 중 상기 적어도 2개의 신호간의 통계적 의존 관계를 이용하여 부호화한다.

산업상의 이용 가능성

본 발명에 관련된 동화상 부호화 방법 및 동화상 복호 방법은, 부호화 효율의 저하를 억제하고, 복호되는 동화상의 화질을 향상시킬 수 있다고 하는 효과를 발휘하고, 예를 들면, 비디오 카메라, 휴대전화 또는 퍼스널 컴퓨터 등에 적용할 수 있다.

105 : 감산기 110 : 변환/양자화부
120 : 역양자화/역변환부 125 : 가산기
130 : 디블록킹 필터 140 : 메모리
150 : 보간 필터 160 : 움직임 보상 예측부
170 : 화면내 예측부 175 : 인트라/인터 스위치
220 : 역양자화/역변환부 225 : 가산기
230 : 디블록킹 필터 240 : 메모리
250 : 보간 필터 260 : 움직임 보상 예측부
270 : 화면내 예측부 275 : 인트라/인터 스위치
500 : 동화상 부호화 장치 540 : 포스트 필터 설계부
590 : 엔트로피 부호화부 600 : 동화상 복호 장치
640 : 포스트 필터 690 : 엔트로피 복호부
700 : 동화상 부호화 장치
730 : 주파수 영역 포스트 필터 설계부
800 : 동화상 복호 장치 840 : 주파수 영역 포스트 필터

Claims (20)

1. 적어도 하나의 픽처를 포함하는 동화상 신호를 부호화하는 동화상 부호화 방법으로서,
   공간적 또는 시간적으로 상기 동화상 신호를 예측함으로써 예측 신호를 생성하고,
   상기 동화상 신호와 상기 예측 신호의 차분을 예측 오차 신호로서 산출하고,
   상기 예측 신호 및 상기 예측 오차 신호에 의거하여 상기 동화상 신호를 재구축함으로써 재구축 동화상 신호를 생성하고,
   상기 예측 신호, 상기 예측 오차 신호 및 상기 재구축 동화상 신호 중 적어도 2개의 신호의 각각에 대하여, 당해 신호를 필터링하기 위한 필터 데이터를 결정하고,
   결정된 상기 필터 데이터간의 상호 상관에 의거하여, 결정된 상기 필터 데이터를 부호화하는, 동화상 부호화 방법.
2. 청구항 1에 있어서,
   상기 필터 데이터를 부호화할 때에는,
   결정된 적어도 2개의 필터 데이터 중 제1의 필터 데이터로부터, 상기 제1의 필터 데이터 이외의 제2의 필터 데이터를 예측함으로써, 상기 제2의 필터 데이터의 예측 데이터를 특정하고,
   상기 제2의 필터 데이터와 상기 예측 데이터의 차분을 산출함으로써, 상기 제2의 필터 데이터를 부호화하는, 동화상 부호화 방법.
3. 청구항 2에 있어서,
   상기 필터 데이터를 결정할 때에는,
   상기 재구축 동화상 신호에 대한 상기 제1의 필터 데이터와, 상기 예측 신호에 대한 상기 제2의 필터 데이터를 결정하고,
   상기 필터 데이터를 부호화할 때에는,
   상기 재구축 동화상 신호에 대한 상기 제1의 필터 데이터로부터, 상기 예측 신호에 대한 상기 제2의 필터 데이터를 예측함으로써, 상기 제2의 필터 데이터의 예측 데이터를 특정하고,
   상기 예측 신호에 대한 상기 제2의 필터 데이터와 상기 예측 데이터의 차분을 산출함으로써, 상기 예측 신호에 대한 상기 제2의 필터 데이터를 부호화하는, 동화상 부호화 방법.
4. 청구항 3에 있어서,
   상기 예측 데이터를 특정할 때에는,
   상기 재구축 동화상 신호에 대한 상기 제1의 필터 데이터를 상기 예측 데이터로서 특정하는, 동화상 부호화 방법.
5. 청구항 1 내지 청구항 4 중 어느 한 항에 있어서,
   상기 필터 데이터를 부호화할 때에는,
   상기 필터 데이터를 양자화하고,
   상기 양자화의 정밀도를 나타내는 정밀도 정보를 부호화하는, 동화상 부호화 방법.
6. 청구항 5에 있어서,
   상기 정밀도 정보를 부호화할 때에는,
   상기 정밀도 정보가 나타내는 정밀도가 낮을수록 짧은 부호어가 당해 정밀도 정보에 할당되도록 상기 정밀도 정보를 부호화하는, 동화상 부호화 방법.
7. 청구항 1 내지 청구항 6 중 어느 한 항에 있어서,
   상기 필터 데이터를 결정할 때에는,
   상기 예측 신호, 상기 예측 오차 신호 및 상기 재구축 동화상 신호 중 적어도 2개의 신호의 각각에 대하여 상기 필터 데이터를 적용한 경우에, 상기 2개의 신호가 나타내는 화상보다도, 상기 동화상 신호가 나타내는 화상에 가까운 화상이 얻어지도록 상기 필터 데이터를 결정하는, 동화상 부호화 방법.
8. 청구항 1 내지 청구항 7 중 어느 한 항에 있어서,
   상기 필터 데이터를 결정할 때에는,
   상기 필터 데이터의 각각을 색 성분마다 결정하고,
   상기 필터 데이터를 부호화할 때에는,
   상기 색 성분으로서 제1의 색 성분과 제2의 색 성분이 있는 경우, 상기 제1의 색 성분의 상기 필터 데이터와, 상기 제2의 색 성분의 필터 데이터 사이의 상호 상관에 의거하여, 상기 제1의 색 성분의 상기 필터 데이터를 부호화하는, 동화상 부호화 방법.
9. 청구항 1 내지 청구항 8 중 어느 한 항에 있어서,
   상기 필터 데이터는,
   오프셋값, 필터 계수의 사이즈, 상기 필터 계수의 양자화의 정밀도, 및 상기 필터 계수의 부호화 종별 중 적어도 하나를 나타내는 정보를 포함하는, 동화상 부호화 방법.
10. 청구항 1 내지 청구항 9 중 어느 한 항에 있어서,
    상기 동화상 부호화 방법은, 또한,
    상기 예측 오차 신호에 의거하여 부호화 동화상 신호를 비트 스트림으로서 생성하고,
    부호화된 상기 필터 데이터를 상기 비트 스트림에 포함시키고,
    상기 비트 스트림에 부호화된 상기 필터 데이터를 포함시킬 때에는,
    상기 비트 스트림 내에 있어서, 상기 필터 데이터를 이용한 필터링이 적용되어야할 화상 신호의 전에, 부호화된 상기 필터 데이터를 배치하는, 동화상 부호화 방법.
11. 청구항 1에 있어서,
    상기 동화상 부호화 방법은, 또한,
    상기 예측 오차 신호를 양자화 및 역양자화함으로써 양자화 예측 오차 신호를 생성하고,
    상기 필터 데이터를 결정할 때에는,
    상기 동화상 신호에 의거하여, 상기 예측 신호, 상기 양자화 예측 오차 신호 및 상기 재구축 동화상 신호 중 적어도 2개의 신호의 각각에 대하여 상기 필터 데이터를 결정하는, 동화상 부호화 방법.
12. 청구항 11에 있어서,
    상기 필터 데이터를 결정할 때에는,
    상기 예측 신호, 상기 양자화 예측 오차 신호 및 상기 재구축 동화상 신호의 각각에 대하여 필터 데이터를 결정하고,
    상기 필터 데이터를 부호화할 때에는,
    결정된 3개의 필터 데이터를 부호화하는, 동화상 부호화 방법.
13. 청구항 1 내지 청구항 12 중 어느 한 항에 있어서,
    상기 필터 데이터를 결정할 때에는,
    상기 적어도 2개의 신호의 각각에 대하여, 필터 계수의 사이즈를 선택하고, 선택된 사이즈를 특정하기 위한 신택스 엘리먼트 및 상기 필터 계수를 포함하는 상기 필터 데이터를 결정하는, 동화상 부호화 방법.
14. 적어도 하나의 픽처를 포함하는 동화상 신호가 부호화된 부호화 동화상 신호를 복호하는 동화상 복호 방법으로서,
    상기 부호화 동화상 신호로부터 예측 오차 신호를 생성하고,
    공간적 또는 시간적으로 상기 동화상 신호를 예측함으로써 예측 신호를 생성하고,
    상기 예측 신호 및 상기 예측 오차 신호에 의거하여 상기 동화상 신호를 재구축함으로써 재구축 동화상 신호를 생성하고,
    상기 예측 신호, 상기 예측 오차 신호 및 상기 재구축 동화상 신호 중 적어도 2개의 신호의 각각에 대하여 결정된 필터 데이터가 부호화된 부호화 필터 데이터를 취득하고,
    상기 필터 데이터간의 상호 상관에 의거하여, 상기 적어도 2개의 신호의 각각에 대한 상기 부호화 필터 데이터를 복호함으로써 필터 데이터를 생성하고,
    상기 적어도 2개의 신호의 각각에 대하여, 생성된 상기 필터 데이터를 이용한 필터링을 행하는, 동화상 복호 방법.
15. 청구항 14에 있어서,
    상기 필터 데이터를 생성할 때에는,
    적어도 2개의 부호화 필터 데이터 중 제1의 부호화 필터 데이터로부터, 상기 제1의 부호화 필터 데이터 이외의 제2의 부호화 필터 데이터가 복호된 제2의 필터 데이터를 예측함으로써, 상기 제2의 필터 데이터의 예측 데이터를 특정하고,
    상기 제2의 부호화 필터 데이터에 상기 예측 데이터를 가산함으로써, 상기 제2의 부호화 필터 데이터를 복호하고, 상기 복호에 의해 상기 제2의 필터 데이터를 생성하는, 동화상 복호 방법.
16. 청구항 15에 있어서,
    상기 부호화 필터 데이터를 취득할 때에는,
    상기 재구축 동화상 신호에 대한 상기 제1의 부호화 필터 데이터와, 상기 예측 신호에 대한 상기 제2의 부호화 필터 데이터를 취득하고,
    상기 필터 데이터를 생성할 때에는,
    상기 재구축 동화상 신호에 대한 상기 제1의 부호화 필터 데이터로부터, 상기 예측 신호에 대한 상기 제2의 필터 데이터를 예측함으로써, 상기 제2의 필터 데이터의 예측 데이터를 특정하고,
    상기 예측 신호에 대한 상기 제2의 부호화 필터 데이터에 상기 예측 데이터를 가산함으로써, 상기 예측 신호에 대한 상기 제2의 부호화 필터 데이터를 복호 하고, 상기 복호에 의해 상기 제2의 필터 데이터로 생성하는, 동화상 복호 방법.
17. 청구항 14 내지 청구항 16 중 어느 한 항에 있어서,
    상기 필터 데이터를 생성할 때에는,
    양자화의 정밀도를 나타내는 부호화 정밀도 정보를 복호함으로써 정밀도 정보를 취득하고,
    상기 정밀도 정보가 나타내는 정밀도에 따른 역양자화를 상기 부호화 필터에 대하여 행하는, 동화상 복호 방법.
18. 청구항 14 내지 청구항 17 중 어느 한 항에 있어서,
    상기 필터 데이터는,
    오프셋값, 필터 계수의 사이즈, 상기 필터 계수의 양자화의 정밀도, 및 상기 필터 계수의 부호화 종별 중 적어도 하나를 나타내는 정보를 포함하는, 동화상 복호 방법.
19. 적어도 하나의 픽처를 포함하는 동화상 신호를 부호화하는 동화상 부호화 장치로서,
    공간적 또는 시간적으로 상기 동화상 신호를 예측함으로써 예측 신호를 생성하는 예측부와,
    상기 동화상 신호와 상기 예측 신호의 차분을 예측 오차 신호로서 산출하는 감산부와,
    상기 예측 신호 및 상기 예측 오차 신호에 의거하여 상기 동화상 신호를 재구축함으로써 재구축 동화상 신호를 생성하는 재구축부와,
    상기 예측 신호, 상기 예측 오차 신호 및 상기 재구축 동화상 신호 중 적어도 2개의 신호의 각각에 대하여, 당해 신호를 필터링하기 위한 필터 데이터를 결정하는 결정부와,
    결정된 상기 필터 데이터간의 상호 상관에 의거하여, 결정된 상기 필터 데이터를 부호화하는 부호화부를 구비하는, 동화상 부호화 장치.
20. 적어도 하나의 픽처를 포함하는 동화상 신호가 부호화된 부호화 동화상 신호를 복호하는 동화상 복호 장치로서,
    상기 부호화 동화상 신호로부터 예측 오차 신호를 생성하는 예측 오차 신호 생성부와,
    공간적 또는 시간적으로 상기 동화상 신호를 예측함으로써 예측 신호를 생성하는 예측부와,
    상기 예측 신호 및 상기 예측 오차 신호에 의거하여 상기 동화상 신호를 재구축함으로써 재구축 동화상 신호를 생성하는 재구축부와,
    상기 예측 신호, 상기 예측 오차 신호 및 상기 재구축 동화상 신호 중 적어도 2개의 신호의 각각에 대하여 결정된 필터 데이터가 부호화된 부호화 필터 데이터를 취득하는 취득부와,
    상기 필터 데이터간의 상호 상관에 의거하여, 상기 적어도 2개의 신호의 각각에 대한 상기 부호화 필터 데이터를 복호함으로써 필터 데이터를 생성하는 필터 데이터 복호부와,
    상기 적어도 2개의 신호의 각각에 대하여, 생성된 상기 필터 데이터를 이용한 필터링을 행하는 필터를 구비하는, 동화상 복호 장치.

Images