KR20060113844A

KR20060113844A - 동영상 부호화 방법 및 동영상 복호화 방법

Info

Publication number: KR20060113844A
Application number: KR1020057016139A
Authority: KR
Inventors: 기요후미 아베; 신야 가도노
Original assignee: 마쯔시다덴기산교 가부시키가이샤
Priority date: 2003-08-19
Filing date: 2004-07-28
Publication date: 2006-11-03
Anticipated expiration: 2024-07-28
Also published as: CA2534695A1; CN100493205C; EP1659803A1; BRPI0413624A; US7650032B2; US20060285757A1; KR100995445B1; EP1659803A4; CN1817049A; MXPA06001111A; CA2534695C; AU2004301091B2; AU2004301091A1; WO2005018239A1

Abstract

휘도 성분에 대해서 적용한 디블로킹 필터를 색차 성분으로 참조하여 사용할 때에, 대상으로 하는 색차 성분의 화소 위치를 동일한 필드에 속하는 휘도 성분의 화소 위치에 해당하도록 변환(F7a)하여 참조함으로써 인터레이스로서 표시했을 때에, 휘도 성분과 색차 성분이 동일한 강도로 필터 처리가 실시되게 되어, 보다 자연스러운 화상을 생성하는 것을 가능하게 한다.

Description

동영상 부호화 방법 및 동영상 복호화 방법{METHOD FOR ENCODING MOVING IMAGE AND METHOD FOR DECODING MOVING IMAGE}

본 발명은 휘도 성분과 색차 성분에 의해서 구성되는 동영상 신호를 블록으로 분할하여 부호화하는 동영상 부호화 방법 및 부호화된 부호화 데이터를 복호화하는 동영상 복호화 방법에 관한 것이다.

최근, 음성, 화상, 그 밖의 화소값을 통합적으로 취급하는 멀티미디어 시대를 맞이하여, 종래부터의 정보 미디어, 즉 신문, 잡지, 텔레비전, 라디오, 전화 등의 정보를 사람에게 전달하는 수단이 멀티미디어의 대상으로서 다루어져 왔다. 일반적으로, 멀티미디어란 문자뿐만 아니라, 도형, 음성, 특히 화상 등을 동시에 관련시켜 나타내는 것을 말하지만, 상기 종래의 정보 미디어를 멀티미디어의 대상으로 하려면, 그 정보를 디지털 형식으로 하여 나타내는 것이 필수 조건이 된다.

그런데, 상기 각 정보 미디어가 가지는 정보량을 디지털 정보량으로서 어림잡아 보면, 문자의 경우 1문자 당 정보량은 1∼2바이트인데 대해서, 음성의 경우 1초당 64kbits(전화 품질), 또한 동영상에 대해서는 1초당 100Mbits(현행 TV 수신 품질) 이상의 정보량이 필요해지고, 상기 정보 미디어로 그 방대한 정보를 디지털 형식으로 그대로 취급하는 것은 현실적이지 않다. 예를 들면, 화상 전화는 64kbps ∼1.5Mbps의 전송 속도를 가지는 서비스 종합 디지털망(ISDN : Integrated Services Digital Network)에 의해서 이미 실용화되고 있지만, 텔레비전·카메라의 영상을 그대로 ISDN으로 보내는 것은 불가능하다.

따라서, 필요해지는 것이 정보의 압축 기술이고, 예를 들면, 화상 전화의 경우, ITU-T(국제 전기 통신 연합 전기 통신 표준화 부문)에서 국제 표준화된 H.261이나 H.263 규격의 동영상 압축 기술이 이용되고 있다. 또한, MPEG-1 규격의 정보 압축 기술에 의하면, 통상의 음악용 CD(컴팩트 디스크)에 음성 정보와 함께 화상 정보를 넣는 것도 가능해진다.

여기서, MPEG(Moving Picture Experts Group)란, 동영상 신호의 디지털 압축의 국제 규격으로, MPEG-1은 동영상 신호를 1.5Mbps까지, 즉 텔레비전 신호의 정보를 약 100분의 1까지 압축하는 규격이다. 또한, MPEG-1 규격을 대상으로 하는 전송 속도가 주로 약 1.5Mbps로 제한되고 있기 때문에, 한 층의 고화질화의 요구를 충족시키기 위해서 규격화된 MPEG-2에서는 동영상 신호가 2∼15Mbps로 압축된다.

또한, 현 상황에서는 MPEG-1, MPEG-2로 표준화를 진행시켜 온 작업 그룹(ISO/IEC JTC1/SC29/WG11)에 의해서, 보다 압축율이 높은 MPEG-4가 규격화되었다. MPEG-4에서는 당초, 저비트 레이트로 효율이 높은 부호화가 가능해질 뿐만 아니라, 전송로 오류가 발생해도 주관적인 화질 열화를 작게 할 수 있는 강력한 오류 내성 기술도 도입되어 있다. 또한, 현재는 ISO/IEC와 ITU-T의 공동으로 차세대 화면 부호화 방식으로서 H.264의 표준화 활동이 진행되고 있다.

일반적으로 동영상의 부호화에서는 시간 방향 및 공간 방향의 용장성을 삭감 함으로써 정보량의 압축을 행한다. 따라서, 시간적인 용장성의 삭감을 목적으로 하는 화면간 예측 부호화에서는, 전방 또는 후방의 픽쳐를 참조하여 블록 단위로 움직임의 검출 및 예측 화상의 작성을 행하고, 얻어진 예측 화상과 부호화 대상의 블록의 차분값에 대해서 부호화를 행한다. 또한 공간적인 용장성의 삭감을 목적으로 하는 화면내 예측 부호화에서는, 주변의 부호화가 완료된 블록의 화소 정보로부터 예측 화상의 생성을 행하고, 얻어진 예측 화상과 부호화 대상의 블록의 차분값에 대해서 부호화를 행한다.

여기서, 픽쳐란 1매의 화면을 나타내는 용어로서, 프레임 구조로서 부호화하는 경우는 1매의 프레임을 의미하고, 필드 구조로서 부호화하는 경우는 1매의 필드를 의미한다.

각각의 픽쳐는 매크로 블록이라 불리는, 예를 들면 수평 16×수직 16화소의 블록으로 분할되어 블록 단위로 처리가 행해진다. 필드 구조의 픽쳐는 모든 매크로 블록을 필드 매크로 블록으로 하여 부호화를 행한다. 한편, 프레임 구조의 픽쳐는 모든 매크로 블록을 프레임 매크로 블록으로 하여 부호화를 행할 뿐만 아니라, 상하로 연속하는 2개의 매크로 블록을 1개의 단위(매크로 블록 페어)로서 프레임 또는 필드로 전환하여 부호화를 행하는 것도 가능하다.

도 1은 종래의 동영상 부호화 방법을 실현하는 동영상 부호화 장치의 구성을 도시하는 블록도이다. 이 동영상 부호화 장치는 픽쳐 메모리(101), 예측 잔차 부호화부(102), 부호열 생성부(103), 예측 잔차 복호화부(104), 디블로킹 처리부(105), 픽쳐 메모리(106), 부호화 모드 제어부(107), 화면간 예측 화상 생성부 (108), 화면내 예측 화상 생성부(109)를 구비하고 있다.

부호화 대상이 되는 화상열은 표시를 행하는 순서로 픽쳐 단위로 픽쳐 메모리(101)에 입력되고, 부호화를 행하는 순서로 픽쳐의 재배열을 행할 수 있다. 또한, 각각의 픽쳐는 매크로 블록으로 분할되고 이후의 처리가 적용된다.

부호화 방법은 크게 나누어 화면간 예측 부호화 및 화면내 예측 부호화의 2 종류가 있다. 여기에서는 우선 처음에 화면간 예측 부호화에 대해 설명한다.

픽쳐 메모리(101)로부터 독출된 입력 화상 신호는 차분 연산부(110)에 입력되고, 화면간 예측 화상 생성부(108)의 출력인 예측 화상 신호와의 차분을 취함으로써 얻어지는 차분 화상 신호를 예측 잔차 부호화부(102)에 출력한다. 예측 잔차 부호화부(102)에서는 주파수 변환, 양자화 등의 화상 부호화 처리를 행하여 잔차 신호를 출력한다. 잔차 신호는 예측 잔차 복호화부(104)에 입력되고, 역양자화, 역주파수 변환 등의 화상 복호화 처리를 행하여 잔차 복호화 신호를 출력한다. 가산 연산부(111)에서는 상기 잔차 복호화 신호와 예측 화상 신호의 가산을 행하여 재구성 화상 신호를 생성한다. 재구성 화상 신호는 참조용의 픽쳐로서 픽쳐 메모리(106)에 저장되기 전에, 디블로킹 처리부(105)에서 부호화를 행할 때에 분할된 블록과 블록의 경계에 발생하는 왜곡을 완화시키기 위한 처리가 행해진다.

한편, 픽쳐 메모리(101)로부터 독출된 매크로 블록 단위의 입력 화상 신호는 화면간 예측 화상 생성부(108)에도 입력된다. 여기에서는, 픽쳐 메모리(106)에 저장되어 있는 1매 혹은 복수매의 부호화가 완료된 픽쳐를 탐색 대상으로 하고, 가장 입력 화상 신호에 가까운 화상 영역을 검출하여 그것을 예측 화상으로서 출력한다. 상기 예측 화상은 차분 연산부(110)에서 차분 화상 신호를 생성하기 위해서 및 가산 연산부(111)에서 재구성 화상 신호를 생성하기 위해서 사용된다.

상기의 일련의 처리에 의해서 출력된 각종 부호화 정보에 대해서 부호열 생성부(103)에 있어서 가변길이 부호화를 실시함으로써 부호화 처리에 의해서 출력되는 부호열(동영상 부호화 데이터)이 얻어진다.

이상의 처리의 흐름은 화면간 예측 부호화를 행한 경우의 동작이었지만, 스위치(112)에 의해 화면내 예측 부호화와의 전환이 이루어진다. 이하, 화면내 예측 부호화에 대해 설명한다.

픽쳐 메모리(101)로부터 독출된 입력 화상 신호는 차분 연산부(110)에 입력되고, 화면내 예측 화상 생성부(109)의 출력인 예측 화상 신호와의 차분을 취함으로써 얻어지는 차분 화상 신호를 예측 잔차 부호화부(102)에 출력한다. 예측 잔차 부호화부(102)에서는 주파수 변환, 양자화 등의 화상 부호화 처리를 행하여 잔차 신호를 출력한다. 잔차 신호는 예측 잔차 복호화부(104)에 입력되고, 역양자화, 역주파수 변환 등의 화상 복호화 처리를 행하여 잔차 복호화 신호를 출력한다. 가산 연산부(111)에서는 상기 잔차 복호화 신호와 예측 화상 신호의 가산을 행하여 재구성 화상 신호를 생성한다. 재구성 화상 신호는 참조용의 픽쳐로서 픽쳐 메모리(106)에 저장되기 전에, 디블로킹 처리부(105)에서 부호화를 행할 때에 분할된 블록과 블록의 경계에 발생하는 왜곡을 완화시키기 위한 처리가 행해진다.

한편, 픽쳐 메모리(101)로부터 독출된 매크로 블록 단위의 입력 화상 신호는 화면내 예측 화상 생성부(109)에도 입력된다. 여기에서는, 가산 연산부(111)의 출 력으로서 생성된 동일 픽쳐 내의 주변 블록의 재구성 화상 신호를 참조하여 예측 화상을 생성한다. 상기 예측 화상은 차분 연산부(110)에서 차분 화상 신호를 생성하기 위해서 및 가산 연산부(111)에서 재구성 화상 신호를 생성하기 위해서 사용된다.

상기의 일련의 처리에 의해서 출력된 각종 부호화 정보에 대해서 부호열 생성부(103)에서 가변길이 부호화를 실시함으로써 부호화 처리에 의해 출력되는 부호열이 얻어진다.

한편, 화면간 예측 부호화 및 화면내 예측 부호화의 각 부호화 모드는 부호화 모드 제어부(107)에 의해 제어되고 매크로 블록 단위로 전환된다.

도 2는 종래의 동영상 복호화 방법을 실현하는 동영상 복호화 장치의 구성을도시하는 블록도이다. 이 동영상 복호화 장치는 부호열 해석부(201), 예측 잔차 복호화부(202), 디블로킹 처리부(203), 픽쳐 메모리(204), 복호화 모드 제어부(205), 화면간 예측 화상 생성부(206), 화면내 예측 화상 생성부(207)를 구비하고 있다.

우선 입력된 부호열(동영상 부호화 데이터)로부터 부호열 해석부(201)에 의해서 각종 정보가 추출되고, 복호화 모드에 관한 정보는 복호화 모드 제어부(205)에, 잔차 부호화 신호는 예측 잔차 복호화부(202)에 각각 출력된다.

복호화 방법에는 화면간 예측 복호화 및 화면내 예측 복호화의 2종류가 있다. 여기에서는 우선 처음에 화면간 예측 복호화에 대해 설명한다.

예측 잔차 복호화부(202)에서는 입력된 잔차 부호화 신호에 대해서, 역양자 화, 역주파수 변환 등의 화상 복호화 처리를 실시하여 잔차 복호화 신호를 출력한다. 가산 연산부(208)에서는 상기 잔차 복호화 신호와 화면간 예측 화상 생성부(206)로부터 출력되는 예측 화상 신호의 가산을 행하여 복호화 화상 신호를 생성한다. 복호화 화상 신호는 참조용 및 표시용의 픽쳐로서 픽쳐 메모리(204)에 저장되기 전에, 디블로킹 처리부(203)에서 블록과 블록의 경계에 발생하는 왜곡을 완화시키기 위한 처리가 행해진다.

한편, 화면간 예측 화상 생성부(206)에서는 픽쳐 메모리(204)에 저장되어 있는 1매 혹은 복수 매의 복호화가 완료된 픽쳐로부터 지정된 화상 영역을 취출하여 예측 화상을 생성한다. 상기 예측 화상은 가산 연산부(208)에 있어서 복호화 화상 신호를 생성하기 위해서 사용된다.

상기의 일련의 처리에 의해 생성된 복호화가 완료된 픽쳐는 픽쳐 메모리(204)로부터 표시되는 타이밍에 따라서 표시용 화상 신호로서 출력된다.

이상의 처리의 흐름은 화면간 예측 복호화를 행한 경우의 동작이었지만, 스위치(209)에 의해서 화면내 예측 복호화와의 전환이 이루어진다. 이하, 화면내 예측 부호화에 대해 설명한다.

예측 잔차 복호화부(202)에서는 입력된 잔차 부호화 신호에 대해서, 역양자화, 역주파수 변환 등의 화상 복호화 처리를 실시하여 잔차 복호화 신호를 출력한다. 가산 연산부(208)에서는 상기 잔차 복호화 신호와 화면내 예측 화상 생성부(207)로부터 출력되는 예측 화상 신호와의 가산을 행하여 복호화 화상 신호를 생성한다. 복호화 화상 신호는 표시용의 픽쳐로서 픽쳐 메모리(204)에 저장되기 전에 디블로킹 처리부(203)에서 블록과 블록의 경계에 발생하는 왜곡을 완화시키기 위한 처리가 행해진다.

한편, 화면내 예측 화상 생성부(207)에서는 가산 연산부(208)의 출력으로서 생성된 동일 픽쳐 내의 주변 블록의 복호화 화상 신호를 참조하여 예측 화상을 생성한다. 상기 예측 화상은 가산 연산부(208)에서 복호화 화상 신호를 생성하기 위해서 사용된다.

상기의 일련의 처리에 의해서 생성된 복호화가 완료된 픽쳐는 픽쳐 메모리(204)로부터 표시되는 타이밍에 따라서 표시용 화상 신호로서 출력된다.

한편, 화면간 예측 복호화 및 화면내 예측 복호화의 각 복호화 모드는 복호화 모드 제어부(205)에 의해서 제어되어 매크로 블록 단위로 전환된다.

다음에, 디블로킹 처리부(105 및 203)에서의 처리에 대해서 상세히 설명한다. 한편, 부호화 처리에서의 처리 내용 및 복호화 처리에서의 처리 내용은 완전히 공통이기 때문에 여기에서는 함께 설명한다.

도 3은 디블로킹 처리에 있어서 사용하는 필터의 종류를 결정하는 방법을 설명하기 위한 도면이다. 여기에서는 예로서 5종류의 필터가 있는 것으로 하여, 블록 경계의 특성에 의해 상기 필터를 전환하여 사용한다. 블록 왜곡이 현저하게 발생할 가능성이 높은 부분에는 보다 강한 필터(여기에서는 Filter4)가, 블록 왜곡이 현저하게 발생할 가능성이 낮은 부분에는 약한 필터(여기에서는 Filter0)가 적용되도록 구성되어 있다.

도 3(a)는 필터를 적용하는 블록의 경계를 도시한 것으로, 중앙의 선이 블록 의 경계를, 우측의 Q로 나타나는 화소는 대상 블록 내의 경계에 인접하는 화소를, 좌측의 P로 나타나는 화소는 인접 블록 내의 경계에 인접하는 화소를 나타내고 있다. 도 3(b)는 도 3(a)에서의 화소 P와 화소 Q가 어떠한 조건을 가지고 있는 경우에 어느 필터가 선택되는지를 나타낸 표이다. 예를 들어, 경계가 수직 에지이고 화소 P와 화소 Q 중 어느 쪽이 화면내 예측 부호화된 블록에 속하는 경우는 Filter4가 선택되게 된다. 마찬가지로, 경계가 수평 에지이고 화소 P와 Q 중 어느 쪽이 화면내 예측 부호화된 블록에 속하는 경우는 Filter3이 선택되게 된다. 또한, 화소 P와 Q 중 어느 쪽이 주파수 변환에 의해 변환된 공간 주파수 성분의 계수가 0 이외의 계수를 가지는 블록에 속하는 경우는 Filter2가 선택되게 된다. 또한, 화소 P와 Q가 화면간 예측 부호화된 블록에 속하고, 각각 상이한 픽쳐를 참조하고 있는 경우, 또는 상이한 움직임 벡터를 참조하고 있는 경우는 Filter1이 선택되게 된다. 또한, 상기의 어느 것에도 해당하지 않은 경우는 Filte0이 선택되게 된다.

한편, 도 3(b)에서의 표는 필터의 선택 방법의 일례를 나타낸 것으로, 필터의 개수 및 선택 조건은 이것에 한정되는 것이 아니며, 그 이외의 경우에서도 동일하게 취급하는 것이 가능하다.

다음에, 디블로킹 처리의 흐름을 도 4의 흐름도를 이용하여 설명한다. 대상으로 하는 데이터는 휘도의 데이터와 색차의 데이터로 나뉘어 관리되고 있기 때문에, 디블로킹 처리도 각각의 성분에 대해서 독립적으로 적용된다.

우선, 휘도 성분에 대해서 디블로킹 처리를 실시하기 위해서, 대상으로 하는 블록 경계에 인접하는 휘도 성분의 화소의 개수만큼의 루프를 돌리고(F1 및 F4), 각 루프 중에서 도 3을 이용하여 설명한 필터의 종류의 선택을 행하여(F2) 필터를 적용한다(F3). 이 때 선택된 필터의 종류의 정보는, 대상으로 하는 휘도 성분의 화소에 대해서 필터링 처리를 적용하기 위해서 사용함과 동시에, 후의 처리에서 참조하는 것을 가능하게 하는 기억 영역에 저장해 둔다(F5). 블록마다 좌측의 수직 에지로 이루어지는 경계와 상측의 수평 에지로 이루어지는 경계를 대상으로 하기 때문에, 예를 들면 수평 4×수직 4 화소로 이루어지는 블록인 경우 상기의 처리가 8회 적용되게 된다.

다음에, 색차 성분에 대해 디블로킹 처리를 실시하기 위해서, 대상으로 하는 블록 경계에 인접하는 색차 성분의 화소의 개수만큼의 루프를 돌리고(F6 및 F10), 각 루프 중에서 필터의 종류의 선택을 행하여(F8) 필터를 적용한다(F9). 이 때, 색차 성분에서는 휘도 성분에서 사용한 필터의 종류에 따라서 적용되는 필터가 결정된다. 즉 휘도 성분에서의 처리에 있어서 결정된 필터의 종류의 정보가 저장된 기억 영역으로부터, 대응하는 휘도 성분의 화소 위치에서 적용된 필터의 종류를 그대로 참조해 사용한다. 그 때, 대상으로 하는 색차 성분의 화소 위치로부터 대응하는 휘도 성분의 화소 위치로 변환(F7)하기 위해서 하기의 식을 사용한다. 단, XL은 휘도의 수평 좌표값, XC는 색차의 수평 좌표값, YL은 휘도의 수직 좌표값, YC는 색차의 수직 좌표값을 나타내는 기호로 한다.

XL=2×XC (식 1(a))

YL=2×YC (식1(b))

상기의 처리에 의해서 결정된 필터를 적용함으로써 색차 성분에 대한 디블로킹 처리가 이루어진다.

다음에, 휘도 성분과 색차 성분의 관계에 대해 설명한다. 도 5는, 휘도 성분과 색차 성분의 위치 관계를 설명하기 위한 도면이다. 도면에서의 × 기호는 휘도 성분의 샘플 위치,

기호는 색차 성분의 샘플 위치를 나타내고 있다.

일반적으로 사람의 눈은 색차 성분의 변화에 대해서 둔감하기 때문에, 색차 성분을 솎아내어 사용하는 경우가 많다. 솎아냄의 방법으로서는 여러 가지의 것이 있지만, 도 5(a)는 종횡 방향 모두 1/2로 솎아내는 경우의 위치 관계, 도 5(b)는 횡방향만 1/2로 솎아내는 경우의 위치 관계, 도 5(c)는 솎아냄을 행하지 않는 경우의 위치 관계를 나타내고 있다. 도 5(a)에 나타내는 위치 관계의 경우, 색차 성분의 디블로킹 처리에 있어서 대응하는 휘도 성분의 화소 위치를 산출하는 경우에 식 1(a) 및 식 1(b)가 사용되게 된다.

또한, 도 6에서는 종횡 방향 모두에 1/2로 솎아내는 경우의 프레임 구조와 필드 구조에서의 위치의 관계를 나타내고 있다. 색차 성분을 솎아내여 처리를 행한 경우의 프레임 구조는 도 6(a)와 같이 되고, 그것을 필드 구조로 치환하면 도 6(b)와 같이 된다. 즉, 휘도 성분의 0, 2, 4열째는 톱(Top) 필드에, 1, 3, 5열째는 보텀(Bottom) 필드에 할당되고, 색차 성분의 0, 2열째는 톱 필드에, 1열째는 보텀 필드에 할당되어 있다(ITU-T Rec. H264 │ISO/IEC 14496-10 AVC Draft Text of Final Draft International Standard (FDIS) of Joint Video Specification(2003-3-31) 참조).

그러나 상기 종래의 구성에서는, 식 1(a) 및 식 1(b)를 이용하여 변환한 화소 위치의 휘도 성분에서 사용한 필터의 종류를 색차 성분의 화소에 적용하고 있었기 때문에, 인터레이스로 표시하는 화상에 대해 프레임 구조로 부호화 및 복호화하는 경우에, 보텀 필드의 색차 성분이 톱 필드의 휘도 성분을 참조하여 적용하는 필터를 결정한다는 부정합이 발생한다는 과제를 가지고 있었다. 도 7은 그 때의 참조 관계를 설명하기 위한 도면이다. 도 7(a)는 프레임 구조로 부호화 및 복호화했을 때의 휘도 성분과 색차 성분의 위치의 관계를, 도 7(b)는 상기 화상을 필드 구조로 치환했을 때의 휘도 성분과 색차 성분의 위치의 관계를 나타내고 있다. L_0은 휘도 성분의 0열째의 위치를, C_0은 색차 성분의 0열째의 위치를 나타낸다. C_1의 색차 성분에 대해서 디블로킹 필터를 적용하는 경우, 식 1(b)에서 L_2의 휘도 성분을 참조하는 것이 지시되고 있다. 그러나, 그 때의 화소를 필드 구조로 치환하면, 보텀 필드에 속하는 C_1의 색차 성분이 톱 필드에 속하는 L_2의 휘도 성분을 참조하여 필터의 종류를 결정하고 있는 것을 알 수 있다.

상기에도 설명했지만, 프레임 구조의 픽쳐에서는 모든 매크로 블록을 프레임 매크로 블록으로 하여 부호화를 행할 뿐만 아니라, 매크로 블록 페어 단위로 프레임 구조 또는 필드 구조로 전환하여 부호화를 행하는 것도 가능하다. 또한, 필드 구조로 부호화하는 경우에는, 톱 필드 및 보텀 필드에 있어서 상이한 부호화 모드를 사용하는 것이 가능하다.

따라서, 예를 들면 톱 필드가 화면내 예측 부호화 모드이고, 보텀 필드가 화면간 예측 부호화 모드라는 경우에, 보텀 필드에 속하는 색차 성분에서 화질 열화 가 발생하게 된다. 즉, 기본적으로 화면내 예측 부호화 모드이면 강한 필터가 적용되고, 화면간 예측 부호화 모드이면 약한 필터가 적용되게 되기 때문에, 보텀 필드에 속하는 색차 성분에서 본래 약한 필터가 적용되어야 하는 것이다. 그런데, 상기와 같이 보텀 필드에 속하는 색차 성분에서는 톱 필드에 속하는 휘도 성분을 참조하여 필터의 종류를 결정하게 되기 때문에 강한 필터가 적용되게 된다. 이것에 의해서, 보텀 필드에 속하는 색차 성분에서 화질 열화가 발생하게 되고, 인터레이스로서 표시할 때에 위화감이 있는 화상이 된다.

또한, 대상 매크로 블록의 톱 필드 및 보텀 필드가 동일한 부호화 모드라도, 인접하는 매크로 블록이 필드 구조로 부호화되고, 톱 필드 및 보텀 필드가 상이한 부호화 모드인 경우도 마찬가지이다.

이상과 같이, 인터레이스로 표시하는 화상에 대해서 프레임 구조로 부호화 및 복호화하는 경우에 있어서, 색차 성분에 적용하는 필터의 종류를 상이한 필드에 속하는 휘도 성분을 참조하여 결정하는 경우가 있기 때문에 부적절한 필터의 종류가 적용된다는 과제가 있다.

본 발명은 상기 종래의 과제를 해결하는 것으로, 인터레이스로 표시하는 화상에 대해서 프레임 구조로 부호화 및 복호화하는 경우라도, 디블로킹 처리에 있어서 최적인 필터의 종류를 적용하는 것을 가능하게 하는 동영상 부호화 방법 및 동영상 복호화 방법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위해, 본 발명에 따른 동영상 부호화 방법은 입력되는 휘도 성분과 색차 성분에 의해서 구성되는 동영상을 블록으로 분할하여 부호화하는 동영상 부호화 방법으로서, 동일한 픽쳐의 부호화가 완료된 영역, 혹은 부호화가 완료된 다른 픽쳐를 참조하여 부호화를 행하는 예측 부호화 단계와, 상기 예측 부호화 단계에 의해서 생성된 부호화 데이터를 이용하여 대상의 픽쳐의 재구성을 행하는 재구성 화상 생성 단계와, 상기 재구성 화상 생성 단계에 의해서 생성된 재구성 화상에 대해서, 블록의 경계를 필터링함으로써 왜곡을 완화시키는 디블로킹 처리 단계를 가지고, 상기 디블로킹 처리 단계에서는 휘도 성분과 색차 성분에 대해서 개별적으로 필터를 적용하고, 상기 휘도 성분에 대해서는 적용하는 상기 필터의 종류를 상기 휘도 성분의 부호화 정보에 근거하여 선택 적용하고, 상기 색차 성분에 대해서는 동일한 필드에 속하고 또한 해당 색차 성분에 대응하는 휘도 성분에 있어서 선택된 필터를 적용하는 것을 특징으로 한다.

이것에 의해서, 동일한 필드에 속하는 휘도 성분과 색차 성분에 대해서 동일한 종류의 디블로킹 필터가 적용되기 때문에, 복호화를 행한 후에 인터레이스로서 표시할 때에 위화감이 없는 화상을 생성하는 부호화가 가능해진다. 또한, 종래의 구성에 대한 변경점이 매우 적기 때문에 용이하게 본 발명의 구성을 적용하는 것이 가능하다.

또한, 본 발명에 따른 동영상 복호화 방법은, 휘도 성분과 색차 성분에 의해서 구성되는 동영상이 블록으로 분할되어 부호화된 동영상 부호화 데이터를 복호화하는 동영상 복호화 방법으로서, 동일한 픽쳐의 복호화가 완료된 영역, 혹은 복호화가 완료된 다른 픽쳐를 참조하여 복호화를 행하는 예측 복호화 단계와, 상기 예측 복호화 단계에 의해서 생성된 복호화 화상에 대해서, 블록의 경계를 필터링함으로써 왜곡을 완화시키는 디블로킹 처리 단계를 가지고, 상기 디블로킹 처리 단계에서는 휘도 성분과 색차 성분에 대해서 개별적으로 필터를 적용하고, 상기 휘도 성분에 대해서는 적용하는 상기 필터의 종류를 상기 휘도 성분의 부호화 정보에 근거하여 선택하여 적용하며, 상기 색차 성분에 대해서는 동일한 필드에 속하고 또한 해당 색차 성분에 대응하는 휘도 성분에 있어서 선택된 필터를 적용하는 것을 특징으로 한다.

이것에 의해서, 동일한 필드에 속하는 휘도 성분과 색차 성분에 대해서 동일한 종류의 디블로킹 필터가 적용되기 때문에, 인터레이스로서 표시할 때에 위화감이 없는 화상을 생성하는 것이 가능해진다. 또한, 종래의 구성에 대한 변경점이 매우 적기 때문에 용이하게 본 발명의 구성을 적용하는 것이 가능하다.

한편, 본 발명은, 이러한 동영상 부호화 방법 및 동영상 복호화 방법으로서 실현되는 것이 가능할 뿐만 아니라, 이러한 동영상 부호화 방법 및 동영상 복호화 방법이 포함하는 특징적인 단계를 수단으로서 구비하는 동영상 부호화 장치 및 동영상 복호화 장치로서 실현할 수도 있다. 또한, 그러한 단계를 컴퓨터에 실행시키는 프로그램으로서 실현하거나, 상기 동영상 부호화 방법에 의해 부호화한 동영상 부호화 데이터로서 실현하거나 할 수도 있다. 그리고, 그러한 프로그램 및 동영상 부호화 데이터는 CD-ROM 등의 기록 매체나 인터넷 등의 전송 매체를 통하여 전달할 수도 있다.

본 발명에 의한 동영상 부호화 방법에 의하면, 동일한 필드에 속하는 휘도 성분과 색차 성분에 대해서 동일한 종류의 디블로킹 필터가 적용되기 때문에, 복호화를 행한 후에 인터레이스로서 표시할 때에 위화감이 없는 화상을 생성하는 부호화가 가능해진다. 또한, 종래의 구성에 대한 변경점이 매우 적기 때문에 용이하게 본 발명의 구성을 적용하는 것이 가능하다.

또한, 본 발명에 의한 동영상 복호화 방법에 따르면, 동일한 필드에 속하는 휘도 성분과 색차 성분에 대해 동일한 종류의 디블로킹 필터가 적용되기 때문에, 인터레이스로서 표시할 때에 위화감이 없는 화상을 생성하는 것이 가능해진다. 또한, 종래의 구성에 대한 변경점이 매우 적기 때문에 용이하게 본 발명의 구성을 적용하는 것이 가능하다.

도 1은 종래의 동영상 부호화 장치의 구성을 도시하는 블록도,

도 2는 종래의 동영상 복호화 장치의 구성을 도시하는 블록도,

도 3은 디블로킹 필터의 종류를 결정하는 방법을 도시하기 위한 모식도,

도 4는 종래의 동영상 부호화 장치 및 동영상 복호화 장치에서의 디블로킹 처리의 흐름을 설명하기 위한 흐름도,

도 5는 색차 성분과 휘도 성분의 샘플 위치의 관계를 도시하기 위한 모식도,

도 6은 색차 성분과 휘도 성분의 샘플 위치의 관계를 도시하기 위한 다른 모식도,

도 7은 색차 성분의 화소 위치를 휘도 성분의 화소 위치로 변환했을 때의 관계를 도시하는 모식도,

도 8은 실시형태 1의 동영상 부호화 장치 및 동영상 복호화 장치에서의 디블로킹 처리의 흐름을 설명하기 위한 흐름도,

도 9는 색차 성분의 화소 위치를 휘도 성분의 화소 위치로 변환했을 때의 관계를 도시하는 다른 모식도,

도 10은 실시형태 1의 동영상 부호화 장치 및 동영상 복호화 장치에서의 다른 디블로킹 처리의 흐름을 설명하기 위한 흐름도,

도 11은 색차 성분의 화소 위치를 휘도 성분의 화소 위치로 변환했을 때의 관계를 도시하는 다른 모식도,

도 12는 색차 성분의 화소 위치를 휘도 성분의 화소 위치로 변환했을 때의 관계를 도시하는 다른 모식도,

도 13은 각 실시형태의 동영상 부호화 방법 및 동영상 복호화 방법을 컴퓨터 시스템에 의해 실현하기 위한 프로그램을 저장하기 위한 기록 매체에 대한 설명도로서, (a) 기록 매체 본체인 플렉시블 디스크의 물리 포맷의 예를 도시한 설명도, (b) 플렉시블 디스크의 정면에서 본 외관, 단면 구조 및 플렉시블 디스크를 도시한 설명도, (c) 플렉시블 디스크(FD)에 상기 프로그램의 기록 재생을 행하기 위한 구성을 도시한 설명도.

도 14는 컨텐츠 전달 서비스를 실현하는 컨텐츠 공급 시스템의 전체 구성을 도시하는 블록도,

도 15는 휴대 전화의 일례를 도시하는 개략도,

도 16은 휴대 전화의 내부 구성을 도시하는 블록도,

도 17은 디지털 방송용 시스템의 전체 구성을 도시하는 블록도.

이하, 본 발명의 구체적인 실시형태에 대해서 도면을 참조하면서 설명한다.

(실시형태 1)

본 발명에서의 실시형태 1의 부호화 처리 전체의 흐름에 따른 동영상 부호화 장치의 구성은, 도 1을 이용하여 설명한 종래의 구성과 완전히 동일하기 때문에 여기에서는 설명을 생략한다. 종래의 구성과 상이한 점은, 도 1의 디블로킹 처리부(105)에서의 디블로킹의 처리 방법뿐이다. 또한, 복호화 처리 전체의 흐름에 따른 동영상 복호화 장치의 구성은, 도 2를 이용하여 설명한 종래의 구성과 완전히 동일하기 때문에, 여기에서는 설명을 생략한다. 종래의 구성과 상이한 점은, 도 2의 디블로킹 처리부(203)에서의 디블로킹의 처리 방법뿐이다.

디블로킹 처리부(105 및 203)에서의 처리에 대해서 하기에서 상세하게 설명한다. 한편, 부호화 처리에서의 처리 내용 및 복호화 처리에서의 처리 내용은 완전히 공통이기 때문에 여기에서는 함께 설명한다.

상기 디블로킹의 처리는 입력으로 하는 동영상 데이터의 구성에서의 색차 성분의 솎아냄의 방법에 따라서 상이하지만, 여기에서는 3종류의 솎아냄의 방법에 대해서 각각 설명한다. (1)에서는 도 5(a)에 도시한 바와 같이 색차 성분이 종횡 방향 모두 1/2로 솎아내어져 있는 동영상 데이터를 입력으로 한 경우의 설명을 행하고, (2)에서는 도 5(b)에 도시한 바와 같이 색차 성분이 횡방향만 1/2로 솎아내어져 있는 동영상 데이터를 입력으로 한 경우의 설명을 행하며, (3)에서는 도 5(c)에 도시한 바와 같이 색차 성분이 솎아내지지 않은 동영상 데이터를 입력으로 한 경우의 설명을 행한다. 한편, 이하의 설명에서는 대상으로 하는 블록을 프레임 구조로서 부호화 및 복호화를 행한 것으로 한다.

(1) 종횡 1/2 솎아냄의 경우

도 8은 색차 성분을 종횡 방향 모두 1/2 솎아냄을 행한 동영상을 입력으로 한 경우의 디블로킹 처리의 흐름을 설명하기 위한 흐름도이다. 대상으로 하는 동영상 데이터는 휘도 성분과 색차 성분으로 나누어져 관리되고 있기 때문에, 디블로킹 처리도 각각의 성분에 대해서 독립으로 적용된다.

우선, 휘도 성분에 대해서 디블로킹 처리를 실시하기 위해서, 대상으로 하는 블록 경계에 인접하는 휘도 성분의 화소의 개수만큼의 루프를 돌리고(F1 및 F4), 각 루프 중에서 대상으로 하는 휘도 성분의 화소의 부호화 정보를 이용하여 필터의 종류의 선택을 행하여(F2) 필터를 적용한다(F3). 이 때 선택된 필터의 종류의 정보는, 대상으로 하는 휘도 성분의 화소에 대해 필터링 처리를 적용하기 위해서 사용함과 동시에, 후의 처리에서 참조하는 것을 가능하게 하는 기억 영역에 저장해 둔다(F5). 블록마다 좌측의 수직 에지로 이루어지는 경계와 상측의 수평 에지로 이루어지는 경계를 대상으로 하기 때문에, 예를 들면 수평 4×수직 4화소로 이루어지는 블록인 경우, 상기의 처리가 8회 적용되게 된다.

상기의 필터의 종류를 결정하기 위한 방법을 도 3을 이용해 설명한다. 여기에서는 예로서 5종류의 필터가 있는 것으로 하고, 블록 경계의 특성에 의해 상기 필터를 전환하여 사용한다. 블록 왜곡이 현저하게 발생할 가능성이 높은 부분에는 보다 강한 필터(여기에서는 Filter4)가, 블록 왜곡이 현저하게 발생할 가능성이 낮은 부분에는 약한 필터(여기에서는 Filter0)가 적용되도록 구성되어 있다.

도 3(a)는 필터를 적용하는 블록의 경계를 도시한 것으로, 중앙의 선이 블록의 경계를, 우측의 Q로 나타나는 화소는 대상 블록 내의 경계에 인접하는 화소를, 좌측의 P로 나타나는 화소는 인접 블록 내의 경계에 인접하는 화소를 나타내고 있다. 도 3(b)는 도 3(a)에서의 화소 P와 화소 Q가 어떠한 조건을 가지고 있는 경우에 어느 필터가 선택되는지를 나타낸 표이다. 예를 들어, 경계가 수직 에지이고 화소 P와 화소 Q 중 어느 쪽이 화면내 예측 부호화된 블록에 속하는 경우는 Filter4가 선택되게 된다.

한편, 도 3(b)에서의 표는 필터의 선택 방법의 일례를 나타낸 것으로, 필터의 개수 및 선택 조건은 이것에 한정한 것이 아니고, 그 이외의 경우에서도 동일하게 취급하는 것이 가능하다.

상기 처리에 의해서 결정된 필터의 종류의 정보는, 대상으로 하는 휘도 성분의 화소에 대해서 필터링 처리를 적용하기 위해서 사용함과 동시에, 후의 처리에서 참조하는 것을 가능하게 하는 기억 영역에 저장해 둔다.

다음에, 색차 성분에 대해서 디블로킹 처리를 실시하기 위해서, 대상으로 하는 블록 경계에 인접하는 색차 성분의 화소의 개수만큼의 루프를 돌리고(F6 및 F]0), 각 루프 중에서 필터의 종류의 선택을 행하여(F8) 필터를 적용한다(F9). 이 때, 색차 성분에서는 휘도 성분에서 사용한 필터의 종류에 따라서 적용되는 필터가 결정된다. 즉 휘도 성분에서의 처리에서 결정된 필터의 종류의 정보가 저장된 기 억 영역으로부터, 대응하는 휘도 성분의 화소 위치에서 적용된 필터의 종류를 그대로 참조하여 사용한다. 그 때, 대상으로 하는 색차 성분의 화소 위치로부터 대응하는 휘도 성분의 화소 위치로 변환한다(F7a).

화소의 위치의 정보의 변환은, 대상으로 하는 블록을 필드 구조로 치환했을 때에 대상으로 하는 색차 성분의 화소에 할당되는 필드와 동일한 필드에 할당되는 휘도 성분의 화소의 위치가 되도록 된다. 여기에서는 색차 성분을 종횡 방향 모두 1/2 솎아내고 있기 때문에 하기의 식을 사용함으로써 변환이 이루어진다. 단, XL은 휘도의 수평 좌표값, XC는 색차의 수평 좌표값, YL은 휘도의 수직 좌표값, YC는 색차의 수직 좌표값을 나타내는 기호로 한다. 또한 식 2(b)에서의 %의 기호는 제산을 행했을 때의 나머지의 값을 되돌리는 연산자를 나타내는 것으로 한다.

XL=2×XC (식 2(a))

YL=2×YC+YC%2 (식 2(b))

상기의 처리에 따라 결정된 필터를 적용함으로써 색차 성분에 대한 디블로킹 처리가 이루어진다. 블록마다 좌측의 수직 에지로 이루어지는 경계와 상측의 수평 에지로 이루어지는 경계를 대상으로 하기 때문에, 예를 들면 휘도 성분이 수평 4×수직 4 화소로 이루어지는 블록인 경우, 여기에서는 색차 성분을 종횡 방향 모두 1/2로 솎아낸 경우의 예로 설명하고 있기 때문에, 색차 성분이 수평 2×수직 2 화소가 되기 때문에 상기의 처리가 4회 적용되게 된다.

도 9는 대상으로 하는 색차 성분의 화소의 위치와 식 2(a)와 식 2(b)에 의해 변환된 참조하는 휘도 성분의 화소의 위치의 관계를 설명하기 위한 도면이다. 도 9(a)는 프레임 구조 때의 휘도 성분과 색차 성분의 위치의 관계를, 도 9(b)는 상기 화상을 필드 구조로 치환했을 때의 휘도 성분과 색차 성분의 위치의 관계를 도시하고 있다. L_0은 휘도 성분의 0열째의 위치를, C_0은 색차 성분의 0열째의 위치를 나타낸다. C_1의 색차 성분에 대해서 디블로킹 필터를 적용하는 경우, 식 2(b)에서 L_3의 휘도 성분을 참조하는 것이 지시되고 있다. 그 때의 화소를 필드 구조로 치환하면, 보텀 필드에 속하는 C_1의 색차 성분이 동일한 보텀 필드에 속하는 L_3의 휘도 성분을 참조하여 필터의 종류를 결정하고 있는 것을 알 수 있다.

종래의 방법에서는, 도 7을 이용하여 설명한 바와 같이 C_1의 색차 성분에 대해서 디블로킹 필터를 적용하는 경우, 식 1(b)에서 L_2의 휘도 성분을 참조하게 되어 있었다. 디블로킹의 처리에서는, 대상으로 하는 블록이 프레임 구조라도, 인접하는 블록이 필드 구조인 경우는, 필드마다 적용하는 필터의 종류가 상이할 가능성이 있다. 즉, 색차 성분 C_1에 대해서 적용하는 필터를 톱 필드에 속하는 휘도 성분으로 사용한 것에 따를지, 보텀 필드에 속하는 휘도 성분으로 사용한 것에 따를지에 따라 크게 결과가 상이해진다. 이것에 의해서, 보텀 필드에서의 휘도 성분과 색차 성분에서 사용하는 필터가 상이하여, 화소값의 보정의 정도에 갭이 생기게 된다.

그러나, 본 발명에서의 변환의 방법을 이용함으로써 동일한 필드의 동일한 화소를 구성하는 휘도 성분과 색차 성분에 대해서 동일한 종류의 디블로킹 필터가 적용되게 되기 때문에, 인터레이스로서 표시를 행할 때에 위화감이 없는 화상을 생성하는 부호화 및 복호화가 가능해진다.

한편, 대상으로 하는 색차 성분의 화소 위치로부터 대응하는 휘도 성분의 화소 위치로 변환하기 위해서 식 2(a) 및 식 2(b)를 사용하는 대신에 하기의 식을 이용하는 것도 가능하다. 다만, XL은 휘도의 수평 좌표값, XC는 색차의 수평 좌표값, YL는 휘도의 수직 좌표값, YC는 색차의 수직 좌표값을 나타내는 기호로 한다.

XL=2×XC (식 2(a1))

YL=2×YC (식 2(b1))

YL=2×YC+1 (식 2(b2)

색차 성분이 톱 필드에 속하는 경우에는 식 2(a1)과 식 2(b1)을 사용하고, 색차 성분이 보텀 필드에 속하는 경우에는, 식 2(a2)와 식 2(b2)를 사용함으로써 변환이 이루어진다.

(2) 횡 1/2 솎아냄의 경우

도 10(a)는 색차 성분을 횡방향만 1/2 솎아냄을 행한 화상을 입력으로 한 경우의 디블로킹 처리의 흐름을 설명하기 위한 흐름도이다. 도 8과 상이한 점은 색차 성분에 대한 디블로킹 처리뿐이고, 그 이외의 동일한 처리에 관해서는 설명을 생략한다.

색차 성분에 대해서 디블로킹 처리를 실시하기 위해서, 대상으로 하는 블록 경계에 인접하는 색차의 화소의 개수만큼의 루프를 돌리고(F6 및 F10), 각 루프 중에서 필터의 종류의 선택을 행하며(F8) 필터를 적용한다(F9).

이 때, 색차 성분에서는 휘도 성분에서 사용한 필터의 종류에 따라서 적용되는 필터가 결정된다. 즉 휘도 성분에서의 처리에서 결정된 필터의 종류의 정보가 저장된 기억 영역으로부터, 대응하는 휘도 성분의 화소 위치에서 적용된 필터의 종류를 그대로 참조하여 사용한다. 그 때, 대상으로 하는 색차 성분의 화소 위치로부터 대응하는 휘도 성분의 화소 위치로 변환한다(F7b).

화소의 위치의 정보의 변환은, 대상으로 하는 블록을 필드 구조로 치환했을 때에 대상으로 하는 색차 성분의 화소에 할당되는 필드와 동일한 필드에 할당되는 휘도 성분의 화소의 위치가 되게 된다. 여기에서는 색차 성분을 횡방향만 1/2로 솎아내고 있기 때문에 하기의 식을 사용함으로써 변환이 이루어진다. 단, XL은 휘도의 수평 좌표값, XC는 색차의 수평 좌표값, YL은 휘도의 수직 좌표값, YC는 색차의 수직 좌표값을 나타내는 기호로 한다.

XL=2×XC (식 3(a))

YL=YC (식 3(b))

상기의 처리에 의해 결정된 필터를 적용함으로써 색차 성분에 대한 디블로킹 처리가 이루어진다. 블록마다 좌측의 수직 에지로 이루어지는 경계와 상측의 수평 에지로 이루어지는 경계를 대상으로 하기 때문에, 예를 들면 휘도 성분이 수평 4×수직 4 화소로 이루어지는 블록인 경우, 여기에서는 색차 성분을 횡방향만 1/2으로 솎아낸 경우의 예로 설명하고 있기 때문에, 색차 성분이 수평 2×수직 4 화소가 되기 때문에 상기의 처리가 6회 적용되게 된다.

도 11은 대상으로 하는 색차 성분의 화소의 위치와 식 3(a)과 식 3(b)에 의해 변환된 참조하는 휘도 성분의 화소의 위치의 관계를 설명하기 위한 도면이다. 도 11(a)는 프레임 구조 시의 휘도 성분과 색차 성분의 위치의 관계를, 도 11(b)는 상기 화상을 필드 구조로 치환했을 때의 휘도 성분과 색차 성분의 위치의 관계를 도시하고 있다. L_0은 휘도 성분의 0열째의 위치를, C_0은 색차 성분의 0열째의 위치를 나타낸다. C_1의 색차 성분에 대해 디블로킹 필터를 적용하는 경우, 식3(b)에서 L_1의 휘도 성분을 참조하는 것이 지시되고 있다. 그 때의 화소를 필드 구조로 치환하면, 보텀 필드에 속하는 C_1의 색차 성분이 동일한 보텀 필드에 속하는 L_1의 휘도 성분을 참조해 필터의 종류를 결정하고 있는 것을 알 수 있다.

상기 변환의 방법을 이용함으로써 동일한 필드의 동일한 화소를 구성하는 휘도 성분과 색차 성분에 대해서 동일한 종류의 디블록킹 필드가 적용되게 되기 때문에, 인터레이스로서 표시를 행할 때에 위화감이 없는 화상을 생성하는 부호화 및 복호화가 가능해진다.

(3) 솎아냄 없는 경우

도 10(b)는 색차 성분을 솎아냄을 행하지 않은 화상을 입력으로 한 경우의 디블로킹 처리의 흐름을 설명하기 위한 흐름도이다. 도 8과 상이한 점은 색차 성분에 대한 디블로킹 처리뿐이고, 그 이외의 동일한 처리에 관해서는 설명을 생략한다.

색차 성분에 대해 디블로킹 처리를 실시하기 위해서, 대상으로 하는 블록 경계에 인접하는 색차의 화소의 개수만큼의 루프를 돌리고(F6 및 F10), 각 루프 중에서 필터의 종류의 선택을 행하며(F8) 필터를 적용한다(F9). 이 때, 색차 성분에서는 휘도 성분으로 사용한 필터의 종류에 따라서 적용되는 필터가 결정된다. 즉 휘도 성분에서의 처리에서 결정된 필터의 종류의 정보가 저장된 기억 영역으로부터, 대응하는 휘도 성분의 화소 위치에서 적용된 필터의 종류를 그대로 참조해 사용한다. 그 때, 대상으로 하는 색차 성분의 화소 위치로부터 대응하는 휘도 성분의 화소 위치로 변환한다(F7c).

화소의 위치의 정보의 변환은, 대상으로 하는 블록을 필드 구조로 치환했을 때에 대상으로 하는 색차 성분의 화소에 할당되는 필드와 동일한 필드에 할당되는 휘도 성분의 화소의 위치가 되도록 이루어진다. 여기에서는 색차 성분의 솎아냄을 행하고 있지 않기 때문에, 하기의 식을 사용함으로써 변환이 이루어진다. 단, XL은 휘도의 수평 좌표값, XC는 색차의 수평 좌표값, YL은 휘도의 수직 좌표값, YC는 색차의 수직 좌표값을 나타내는 기호로 한다.

XL=XC (식 4(a))

YL=YC (식 4(b))

상기의 처리에 의해서 결정된 필터를 적용함으로써 색차 성분에 대한 디블로킹 처리가 이루어진다. 블록마다 좌측의 수직 에지로 이루어지는 경계와 상측의 수평 에지로 이루어지는 경계를 대상으로 하기 때문에, 예를 들면 휘도 성분이 수평 4×수직 4 화소로 이루어지는 블록인 경우, 여기에서는 색차 성분의 솎아냄을 행하고 있지 않은 경우의 예로 설명하고 있기 때문에, 색차 성분이 수평 4×수직 4 화소가 되기 때문에 상기의 처리가 8회 적용되게 된다.

도 12는, 대상으로 하는 색차 성분의 화소의 위치와 식 4(a)와 식 4(b)에 의해서 변환된 참조하는 휘도 성분의 화소의 위치의 관계를 설명하기 위한 도면이다. 도 12(a)는 프레임 구조시의 휘도 성분과 색차 성분의 위치의 관계를, 도 12(b)는 상기 화상을 필드 구조에 치환했을 때의 휘도 성분과 색차 성분의 위치의 관계를 도시하고 있다. L_0은 휘도 성분의 0열째의 위치를, C_0은 색차 성분의 0열째의 위치를 나타낸다. C_1의 색차 성분에 대해서 디블로킹 필터를 적용하는 경우, 식 4(b)에서 L_1의 휘도 성분을 참조하는 것이 지시되고 있다. 그 때의 화소를 필드 구조에 치환하면, 보텀 필드에 속하는 C_1의 색차 성분이 동일한 보텀 필드에 속하는 L_1의 휘도 성분을 참조해 필터의 종류를 결정하고 있는 것을 알 수 있다.

상기 변환의 방법을 이용함으로써 동일한 필드의 동일한 화소를 구성하는 휘도 성분과 색차 성분에 대해서 동일한 종류의 디블로킹 필터가 적용되게 되기 때문에, 인터레이스로서 표시를 행할 때에 위화감이 없는 화상을 생성하는 부호화 및 복호화가 가능해진다.

(실시형태 2)

또한, 상기 각 실시형태로 나타낸 동영상 부호화 방법 또는 동영상 복호화 방법의 구성을 실현하기 위한 프로그램을, 플렉시블 디스크 등의 기억 매체에 기록하도록 함으로써, 상기 각 실시형태로 나타낸 처리를 독립한 컴퓨터 시스템에서 간단하게 실시하는 것이 가능해진다.

도 13은, 상기 각 실시형태의 동영상 부호화 방법 및 동영상 복호화 방법을 컴퓨터 시스템에 의해 실현하기 위한 프로그램을 저장하기 위한 기억 매체에 대한 설명도이다.

도 13(b)는, 플렉시블 디스크의 정면에서 본 외관, 단면 구조 및 플렉시블 디스크를 도시하고, 도 13(a)는, 기록 매체 본체인 플렉시블 디스크의 물리 포맷의 예를 도시하고 있다. 플렉시블 디스크(FD)는 케이스(F) 내에 내장되고, 상기 디스크의 표면에는 동심원형으로 외주에서는 내주를 향해 복수의 트랙(Tr)이 형성되며, 각 트랙은 각도 방향으로 16의 섹터(Se)로 분할되어 있다. 따라서, 상기 프로그램을 저장한 플렉시블 디스크에서는 상기 플렉시블 디스크(FD) 상에 할당된 영역에 상기 프로그램으로서의 동영상 부호화 방법이 기록되어 있다.

또한, 도 13(c)는 플렉시블 디스크(FD)에 상기 프로그램의 기록 재생을 행하기 위한 구성을 도시한다. 상기 프로그램을 플렉시블 디스크(FD)에 기록하는 경우에는, 컴퓨터 시스템(Cs)으로부터 상기 프로그램으로서의 동영상 부호화 방법 또는 동영상 복호화 방법을 플렉시블 디스크 드라이브(FDD)를 통해 기록한다. 또한, 플렉시블 디스크 내의 프로그램에 의해 상기 동영상 부호화 방법을 컴퓨터 시스템 내에 구축하는 경우는, 플렉시블 디스크 드라이브에 의해 프로그램을 플렉시블 디스크로부터 독출하고, 컴퓨터 시스템에 전송한다.

한편, 상기 설명에서는 기록 매체로서 플렉시블 디스크를 이용하여 설명을 행하였지만 광디스크를 이용해도 마찬가지로 행할 수 있다. 또한, 기록 매체는 이것에 한정되지 않고, IC 카드, ROM 카세트 등 프로그램을 기록할 수 있는 것이면 마찬가지로 실시할 수 있다.

또한, 여기에서, 상기 실시형태로 나타낸 동영상 부호화 방법이나 동영상 복호화 방법의 응용예와 그것을 이용한 시스템을 설명한다.

도 14는 컨텐츠 전달 서비스를 실현하는 컨텐츠 공급 시스템(ex100)의 전체 구성을 도시하는 블록도이다. 통신 서비스의 제공 에리어를 원하는 크기로 분할하 고, 각 셀 내에 각각 고정 무선국인 기지국(ex107∼ex110)이 설치되어 있다.

이 컨텐츠 공급 시스템(ex100)은, 예를 들면, 인터넷(ex101)에 인터넷 서비스 프로바이더(ex102) 및 전화망(ex104) 및 기지국(ex107∼ex110)을 통하여 컴퓨터(ex111), PDA(personal digital assistant : ex112), 카메라(ex113), 휴대 전화(ex114), 카메라 부착 휴대 전화(ex115) 등의 각 기기가 접속된다.

그러나, 컨텐츠 공급 시스템(ex100)은 도 14과 같은 조합에 한정되지 않고, 어느 하나를 조합하여 접속하도록 해도 된다. 또한, 고정 무선국인 기지국(ex107∼ex110)을 통하지 않고 각 기기가 전화망(ex104)에 직접 접속되어도 된다.

카메라(ex113)는 디지털 비디오 카메라 등의 동영상 촬영이 가능한 기기이다. 또한, 휴대 전화는, PDC(Personal Digital Communications) 방식, CDMA(Code Division Multiple Access) 방식, W-CDMA(Wideband-Code Division Multiple Access)방식, 혹은 GSM(Global System for Mobile Communications) 방식의 휴대 전화기, 또는 PHS(Personal Handyphone System) 등이며 어느 것이라도 상관없다.

또한, 스트리밍 서버(ex103)는 카메라(ex113)로부터 기지국(ex109), 전화망(ex104)을 통해서 접속되어 있고, 카메라(ex113)를 이용해 유저가 송신하는 부호화 처리된 데이터에 근거한 라이브 전달 등이 가능해진다. 촬영한 데이터의 부호화 처리는 카메라(ex113)로 행해도, 데이터의 송신 처리를 하는 서버 등으로 행해도 된다. 또한, 카메라(ex116)로 촬영한 동영상 데이터는 컴퓨터(ex111)를 통하여 스트리밍 서버(ex103)에 송신되어도 된다. 카메라(ex116)는 디지털 카메라 등의 정지 화상, 동영상이 촬영 가능한 기기이다. 이 경우, 동영상 데이터의 부호화는 카 메라(ex116)로 행해도 컴퓨터(ex111)로 행해도 좋다. 또한, 부호화 처리는 컴퓨터(ex111)나 카메라(ex116)가 가지는 LSI(ex117)에서 처리하게 된다. 한편, 동영상 부호화·복호화용 소프트웨어를 컴퓨터(ex111) 등으로 독출 가능한 기록 매체인 어떠한 축적 미디어(CD-ROM, 플렉시블 디스크, 하드 디스크 등)에 내장해도 된다. 또한, 카메라 부착 휴대 전화(ex115)로 동영상 데이터를 송신해도 된다. 이 때의 동영상 데이터는 휴대 전화(ex115)가 가지는 LSI로 부호화 처리된 데이터이다.

이 컨텐츠 공급 시스템(ex100)에서는, 유저가 카메라(ex113), 카메라(ex116) 등으로 촬영하고 있는 컨텐츠(예를 들면, 음악 라이브를 촬영한 영상 등)를 상기 실시형태와 동일하게 부호화 처리하여 스트리밍 서버(ex103)에 송신하는 한편으로, 스트리밍 서버(ex103)는 요구가 있던 클라이언트에 대해 상기 컨텐츠 데이터를 스트림 전달한다. 클라이언트로서는, 상기 부호화 처리된 데이터를 복호화하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대 전화(ex114) 등이 있다. 이렇게 함으로써 컨텐츠 공급 시스템(ex100)은 부호화된 데이터를 클라이언트에서 수신하여 재생할 수 있고, 또한 클라이언트에서 리얼 타임으로 수신하여 복호화하여 재생함으로써 개인 방송도 실현 가능하게 되는 시스템이다.

이 시스템을 구성하는 각 기기의 부호화, 복호화에는 상기 각 실시형태로 나타낸 동영상 부호화 장치 혹은 동영상 복호화 장치를 이용하도록 하면 좋다.

그 일례로서 휴대 전화에 대해 설명한다.

도 15는, 상기 실시형태로 설명한 동영상 부호화 방법과 동영상 복호화 방법을 이용한 휴대 전화(ex115)를 도시하는 도면이다. 휴대 전화(ex115)는 기지국 (ex110)과의 사이에서 전파를 송수신하기 위한 안테나(ex201), CCD 카메라 등의 영상, 정지 화상을 찍는 것이 가능한 카메라부(ex203), 카메라부(ex203)로 촬영한 영상, 안테나(ex201)로 수신한 영상 등이 복호화된 데이터를 표시하는 액정 디스플레이 등의 표시부(ex202), 조작 키(ex204)군으로 구성되는 본체부, 음성 출력을 하기 위한 스피커 등의 음성 출력부(ex208), 음성 입력을 하기 위한 마이크 등의 음성 입력부(ex205), 촬영한 동영상 혹은 정지 화상의 데이터, 수신한 메일의 데이터, 동영상의 데이터 혹은 정지 화상의 데이터 등, 부호화된 데이터 또는 복호화된 데이터를 보존하기 위한 기록 미디어(ex207), 휴대 전화(ex115)에 기록 미디어(ex207)를 장착 가능하게 하기 위한 슬롯부(ex206)를 가지고 있다. 기록 미디어(ex207)는 SD카드 등의 플라스틱 케이스 내에 전기적으로 개서나 소거가 가능한 불휘발성 메모리인 EEPROM(Electrically Erasable and Programmable Read Only Memory)의 일종인 플래시 메모리 소자를 저장한 것이다.

또한, 휴대 전화(ex115)에 대해 도 16을 이용해 설명한다. 휴대 전화(ex115)는 표시부(ex202) 및 조작키(ex204)를 구비한 본체부의 각부를 총괄적으로 제어하도록 이루어진 주제어부(ex311)에 대해서, 전원 회로부(ex310), 조작 입력 제어부(ex304), 화상 부호화부(ex312), 카메라 인터페이스부(ex303), LCD(Liquid Crystal Display) 제어부(ex302), 화상 복호화부(ex309), 다중 분리부(ex308), 기록 재생부(ex307), 변복조 회로부(ex306) 및 음성 처리부(ex305)가 동기 버스(ex313)를 통하여 서로 접속되고 있다.

전원 회로부(ex310)는 유저의 조작에 의해 통화종료 및 전원 키가 온 상태가 되면, 배터리팩으로부터 각부에 대해 전력을 공급함으로써 카메라 부착 디지털 휴대 전화(ex115)를 동작 가능한 상태로 기동한다.

휴대 전화(ex115)는 CPU, ROM 및 RAM 등으로 되는 주제어부(ex311)의 제어에 근거하여 음성 통화 모드 시에 음성 입력부(ex205)에서 집음한 음성 신호를 음성 처리부(ex305)에 의해서 디지털 음성 데이터로 변환하고, 이것을 변복조 회로부(ex306)에서 스펙트럼 확산 처리하며, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통하여 송신한다. 또한 휴대 전화기(ex115)는 음성 통화 모드 시에 안테나(ex201)에서 수신한 수신 데이터를 증폭하여 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시하고, 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하여 음성 처리부(ex305)에 의해 아날로그 음성 데이터로 변환한 후, 이것을 음성 출력부(ex208)를 통하여 출력한다.

또한, 데이터 통신 모드 시에 전자 메일을 송신하는 경우, 본체부의 조작 키(ex204)의 조작에 의해서 입력된 전자 메일의 텍스트 데이터는 조작 입력 제어부(ex304)를 통하여 주제어부(ex311)에 송출된다. 주제어부(ex311)는 텍스트 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하고, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통하여 기지국(ex110)에 송신한다.

데이터 통신 모드 시에 화상 데이터를 송신하는 경우, 카메라부(ex203)에서 촬상된 화상 데이터를 카메라 인터페이스부(ex303)를 통하여 화상 부호화부(ex312) 에 공급한다. 또한, 화상 데이터를 송신하지 않은 경우에는, 카메라부(ex203)에서 촬상한 화상 데이터를 카메라 인터페이스부(ex303) 및 LCD 제어부(ex302)를 통하여 표시부(ex202)에 직접 표시하는 것도 가능하다.

화상 부호화부(ex312)는 본원 발명에서 설명한 동영상 부호화 장치를 구비한 구성이며, 카메라부(ex203)로부터 공급된 화상 데이터를 상기 실시형태로 나타낸 동영상 부호화 장치에 이용한 부호화 방법에 의해 압축 부호화함으로써 부호화 화상 데이터로 변환하며, 이것을 다중 분리부(ex308)에 송출한다. 또한, 이 때 동시에 휴대 전화기(ex115)는 카메라부(ex203)에서 촬상 중에 음성 입력부(ex205)에서 집음한 음성을 음성 처리부(ex305)를 통하여 디지털의 음성 데이터로서 다중 분리부(ex308)에 송출한다.

다중 분리부(ex308)는 화상 부호화부(ex312)로부터 공급된 부호화 화상 데이터와 음성 처리부(ex305)로부터 공급된 음성 데이터를 소정의 방식으로 다중화하고, 그 결과 얻어진 다중화 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하며, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통하여 송신한다.

데이터 통신 모드 시에 홈페이지 등에 링크된 동영상 파일의 데이터를 수신하는 경우, 안테나(ex201)를 통하여 기지국(ex110)으로부터 수신한 수신 데이터를 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하고, 그 결과 얻어진 다중화 데이터를 다중 분리부(ex308)에 송출한다.

또한, 안테나(ex201)를 통하여 수신된 다중화 데이터를 복호화하려면, 다중 분리부(ex308)는 다중화 데이터를 분리함으로써 화상 데이터의 비트 스트림과 음성 데이터의 비트 스트림으로 나누고, 동기 버스(ex313)를 통하여 해당 부호화 화상 데이터를 화상 복호화부(ex309)에 공급함과 동시에 해당 음성 데이터를 음성 처리부(ex305)에 공급한다.

다음에, 화상 복호화부(ex309)는 본원 발명에서 설명한 동영상 복호화 장치를 구비한 구성이며, 화상 데이터의 비트 스트림을 상기 실시형태로 나타낸 부호화 방법에 대응한 복호화 방법으로 복호화함으로써 재생 동영상 데이터를 생성하고, 이것을 LCD 제어부(ex302)를 통하여 표시부(ex202)에 공급하고, 이로써 예를 들면 홈페이지에 링크된 동영상 파일에 포함되는 동영상 데이터가 표시된다. 이 때 동시에 음성 처리부(ex305)는 음성 데이터를 아날로그 음성 데이터로 변환한 후, 이것을 음성 출력부(ex208)에 공급하고, 이것에 의해, 예를 들면 홈페이지에 링크된 동영상 파일에 포함하는 음성 데이터가 재생된다.

한편, 상기 시스템의 예에 한정되지 않고, 최근에는 위성, 지상파에 의한 디지털 방송이 화제가 되고 있고, 도 17에 도시하는 바와 같이, 디지털 방송용 시스템에도 상기 실시형태의 적어도 동영상 부호화 장치 또는 동영상 복호화 장치 중 어느 하나를 적용할 수 있다. 구체적으로는, 방송국(ex409)에서는 영상 정보의 비트 스트림이 전파를 통하여 통신 또는 방송 위성(ex410)에 전송된다. 이것을 받은 방송 위성(ex410)은 방송용의 전파를 발신하고, 이 전파를 위성 방송 수신 설비를 가지는 가정의 안테나(ex406)로 수신하여, 텔레비전(수신기 : ex401) 또는 셋톱 박스(STB : ex407) 등의 장치에 의해 비트 스트림을 복호화하고 이것을 재생한다. 또한, 기록 매체인 CD나 DVD 등의 축적 미디어(ex402)에 기록한 비트 스트림을 판독하여 복호화하는 재생 장치(ex403)에도 상기 실시형태로 나타낸 동영상 복호화 장치를 실장하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(ex404)에 표시된다. 또한, 케이블 텔레비전용 케이블(ex405) 또는 위성/지상파 방송의 안테나(ex406)에 접속된 셋톱 박스(ex407) 내에 동영상 복호화 장치를 실장하고, 이것을 텔레비전의 모니터(ex408)로 재생하는 구성도 생각할 수 있다. 이 때 셋톱 박스가 아니라 텔레비전 내에 동영상 복호화 장치를 내장해도 된다. 또한, 안테나(ex411)를 가지는 차(ex412)에서 위성(ex410)으로부터 또는 기지국(ex107) 등으로부터 신호를 수신하고, 차(ex412)가 가지는 카 네비게이션(ex413) 등의 표시 장치에 동영상을 재생하는 것도 가능하다.

또한, 화상 신호를 상기 실시형태로 나타낸 동영상 부호화 장치로 부호화하여 기록 매체에 기록할 수도 있다. 구체예로서는, DVD 디스크(ex421)에 화상 신호를 기록하는 DVD 레코더나, 하드 디스크에 기록하는 디스크 레코더 등의 레코더(ex420)가 있다. 또한, SD 카드(ex422)에 기록할 수도 있다. 레코더(ex420)가 상기 실시형태에서 나타낸 동영상 복호화 장치를 구비하고 있으면, DVD 디스크(ex421)나 SD 카드(ex422)에 기록한 화상 신호를 재생하여 모니터(ex408)로 표시할 수 있다.

한편, 카 네비게이션(ex413)의 구성은 예를 들면 도 16에 도시하는 구성 중 카메라부(ex203)와 카메라 인터페이스부(ex303), 화상 부호화부(ex312)를 제외한 구성이 고려되고, 동일한 것이 컴퓨터(ex111)나 텔레비전(수신기 : ex401) 등에서 도 고려된다.

또한, 상기 휴대 전화(ex114) 등의 단말은 부호화기·복호화기를 양쪽 모두 가지는 송수신형의 단말의 외에, 부호화기만의 송신 단말, 복호화기만의 수신 단말의 3가지의 실장 형식이 고려된다.

이와 같이, 상기 실시형태로 나타낸 동영상 부호화 방법 혹은 동영상 복호화 방법을 상술한 어느 하나의 기기·시스템에 이용하는 것은 가능하고, 그렇게 함으로써 상기 실시형태에서 설명한 효과를 얻을 수 있다.

또한, 본 발명은 이러한 상기 실시 형태로 한정되는 것이 아니고, 본 발명의 범위를 일탈하는 일없이 여러 가지의 변형 또는 수정이 가능하다.

또한, 도 1 및 도 2에 도시한 블록도의 각 기능 블록은 전형적으로는 집적 회로인 LSI로서 실현된다. 이 LSI는 1칩화되어도 좋고, 복수칩화되어도 좋다(예를 들면 메모리 이외의 기능 블록이 1칩화되고 있어도 됨). 여기에서는, LSI로 했지만, 집적도의 차이에 의해 IC, 시스템 LSI, 슈퍼 LSI, 울트라 LSI라 불리는 것도 있다.

또한, 집적 회로화의 수법은 LSI에 한정하는 것이 아니고, 전용 회로 또는 범용 프로세서로 실현되어도 괜찮다. LSI 제조 후에 프로그램하는 것이 가능한 FPGA(Field Programmable Gate Array)나, LSI 내부의 회로 셀의 접속이나 설정을 재구성 가능한 리컨피규러블·프로세서를 이용해도 좋다.

나아가서는, 반도체 기술의 진보 또는 파생하는 다른 기술에 의해 LSI로 치환되는 집적 회로화의 기술이 등장하면, 당연히 그 기술을 이용하여 기능 블록의 집적화를 행해도 된다. 바이오 기술의 적응 등이 가능성으로서 있을 수 있다.

이상과 같이, 본 발명에 따른 동영상 부호화 방법 및 동영상 복호화 방법은 예를 들면 휴대 전화, DVD 장치 및 퍼스널 컴퓨터 등으로 입력 화상을 구성하는 각 픽쳐를 부호화하고, 동영상 부호화 데이터로서 출력하거나 이 동영상 부호화 데이터를 복호화하거나 하기 위한 방법으로서 유용하다.

Claims

입력되는 휘도 성분과 색차 성분에 의해서 구성되는 화상을 블록으로 분할하여 부호화하는 동영상 부호화 방법으로서,

동일한 픽쳐의 부호화가 완료된 영역, 혹은 부호화가 완료된 다른 픽쳐를 참조하여 부호화를 행하는 예측 부호화 단계와,

상기 예측 부호화 단계에 의해서 생성된 부호화 데이터를 이용하여 대상의 픽쳐의 재구성을 행하는 재구성 화상 생성 단계와,

상기 재구성 화상 생성 단계에 의해 생성된 재구성 화상에 대해서, 블록의 경계를 필터링함으로써 왜곡을 완화시키는 디블로킹 처리 단계를 가지고,

상기 디블로킹 처리 단계에서는 휘도 성분과 색차 성분에 대해서 개별적으로 필터를 적용하고, 상기 휘도 성분에 대해서는 적용하는 상기 필터의 종류를 상기 휘도 성분의 부호화 정보에 근거하여 선택하여 적용하고, 상기 색차 성분에 대해서는 동일한 필드에 속하고 또한 당해 색차 성분에 대응하는 휘도 성분에 있어서 선택된 필터를 적용하는 것을 특징으로 하는 동영상 부호화 방법.
제1항에 있어서, 상기 디블로킹 처리 단계에서는 상기 필터의 종류에 따라 상기 필터의 강도가 상이한 것을 특징으로 하는 동영상 부호화 방법.
제1항에 있어서, 상기 디블로킹 처리 단계에서는 부호화의 대상으로 하는 화 상이 색차 성분을 휘도 성분에 대해 수직 방향으로 절반으로 솎아내고 있는 경우, 색차 성분에 적용하는 필터의 종류를 결정하기 위해서 참조하는 휘도 성분의 화소의 수직 위치를, 프레임 단위로 부호화를 행하는 경우라도, 톱 필드 및 보텀 필드의 각 공간으로 분할했을 때의 화소 구성에 근거하여 결정하는 것을 특징으로 하는 동영상 부호화 방법.
제1항에 있어서, 상기 디블로킹 처리 단계에서는 부호화의 대상으로 하는 화상이 색차 성분을 휘도 성분에 대해서 수직 방향으로 솎아내지 않은 경우, 색차 성분에 적용하는 필터의 종류를 결정하기 위해서 참조하는 휘도 성분의 화소의 수직 위치를 색차 성분의 수직 위치와 동일한 위치로서 결정하는 것을 특징으로 하는 동영상 부호화 방법.
휘도 성분과 색차 성분에 의해서 구성되는 화상이 블록으로 분할되어 부호화된 동영상 부호화 데이터를 복호화하는 동영상 복호화 방법으로서,

동일한 픽쳐의 복호화가 완료된 영역, 혹은 복호화가 완료된 다른 픽쳐를 참조하여 복호화를 행하는 예측 복호화 단계와,

상기 예측 복호화 단계에 의해서 생성된 복호화 화상에 대해서, 블록의 경계를 필터링함으로써 왜곡을 완화시키는 디블로킹 처리 단계를 가지고,

상기 디블로킹 처리 단계에서는 휘도 성분과 색차 성분에 대해서 개별적으로 필터를 적용하고, 상기 휘도 성분에 대해서는 적용하는 필터의 종류를 상기 휘도 성분의 부호화 정보에 근거하여 선택하여 적용하며, 상기 색차 성분에 대해서는 동일한 필드에 속하고 또한 당해 색차 성분에 대응하는 휘도 성분에 있어서 선택된 필터를 적용하는 것을 특징으로 하는 동영상 복호화 방법.
제5항에 있어서, 상기 디블로킹 처리 단계에서는 상기 필터의 종류에 따라 상기 필터의 강도가 상이한 것을 특징으로 하는 동영상 복호화 방법.
제5항에 있어서, 상기 디블로킹 처리 단계에서는 복호화의 대상으로 하는 동영상 부호화 데이터가, 색차 성분을 휘도 성분에 대해서 수직 방향으로 절반으로 솎아낸 화상이 부호화되어 있는 경우, 색차 성분에 적용하는 필터의 종류를 결정하기 위해서 참조하는 휘도 성분의 화소의 수직 위치를 프레임 단위로 복호화를 행하는 경우라도 톱 필드 및 보텀 필드의 각 공간으로 분할했을 때의 화소 구성에 근거하여 결정하는 것을 특징으로 하는 동영상 복호화 방법.
제5항에 있어서, 상기 디블로킹 처리 단계에서는 복호화의 대상으로 하는 동영상 부호화 데이터가, 색차 성분을 휘도 성분에 대해서 수직 방향으로 솎아지지 않은 화상이 부호화되어 있는 경우, 색차 성분에 적용하는 필터의 종류를 결정하기 위해서 참조하는 휘도 성분의 화소의 수직 위치를, 색차 성분의 수직 위치와 동일한 위치로서 결정하는 것을 특징으로 하는 동영상 복호화 방법.
입력되는 휘도 성분과 색차 성분에 의해서 구성되는 화상을 블록으로 분할하여 부호화하는 동영상 부호화 장치로서,

동일한 픽쳐의 부호화가 완료된 영역, 혹은 부호화가 완료된 다른 픽쳐를 참조하여 부호화를 행하는 예측 부호화 수단과,

상기 예측 부호화 수단에 의해서 생성된 부호화 데이터를 이용하여 대상의 픽쳐의 재구성을 행하는 재구성 화상 생성 수단과,

상기 재구성 화상 생성 수단에 의해 생성된 재구성 화상에 대해서, 블록의 경계를 필터링함으로써 왜곡을 완화시키는 디블로킹 처리 수단을 구비하며,

상기 디블로킹 처리 수단은 휘도 성분과 색차 성분에 대해서 개별적으로 필터를 적용하고, 상기 휘도 성분에 대해서는 적용하는 상기 필터의 종류를 상기 휘도 성분의 부호화 정보에 근거하여 선택하여 적용하며, 상기 색차 성분에 대해서는 동일한 필드에 속하고 또한 당해 색차 성분에 대응하는 휘도 성분에 있어서 선택된 필터를 적용하는 것을 특징으로 하는 동영상 부호화 장치.
휘도 성분과 색차 성분에 의해서 구성되는 화상이 블록으로 분할되어 부호화된 동영상 부호화 데이터를 복호화 하는 동영상 복호화 장치로서,

동일한 픽쳐의 복호화가 완료된 영역, 혹은 복호화가 완료된 다른 픽쳐를 참조하여 복호화를 행하는 예측 복호화 수단과,

상기 예측 복호화 수단에 의해서 생성된 복호화 화상에 대해서 블록의 경계 를 필터링함으로써 왜곡을 완화시키는 디블로킹 처리 수단을 구비하고,

상기 디블로킹 처리 수단은 휘도 성분과 색차 성분에 대해서 개별적으로 필터를 적용하고, 상기 휘도 성분에 대해서는 적용하는 상기 필터의 종류를 상기 휘도 성분의 부호화 정보에 근거하여 선택하여 적용하며, 상기 색차 성분에 대해서는 동일한 필드에 속하고 또한 당해 색차 성분에 대응하는 휘도 성분에 있어서 선택된 필터를 적용하는 것을 특징으로 하는 동영상 복호화 장치.
입력되는 휘도 성분과 색차 성분에 의해서 구성되는 화상을 블록으로 분할하여 부호화하기 위한 프로그램으로서,

동일한 픽쳐의 부호화가 완료된 영역, 혹은 부호화가 완료된 다른 픽쳐를 참조하여 부호화를 행하는 예측 부호화 단계와,

상기 예측 부호화 단계에 의해서 생성된 부호화 데이터를 이용하여 대상의 픽쳐의 재구성을 행하는 재구성 화상 생성 단계와,

상기 재구성 화상 생성 단계에 의해서 생성된 재구성 화상에 대해서, 블록의 경계를 필터링함으로써 왜곡을 완화시키는 디블로킹 처리 단계를 컴퓨터에 실행시키고,

상기 디블로킹 처리 단계에서는 휘도 성분과 색차 성분에 대해서 개별적으로 필터를 적용하고, 상기 휘도 성분에 대해서는 적용하는 상기 필터의 종류를 상기 휘도 성분의 부호화 정보에 근거하여 선택하여 적용하며, 상기 색차 성분에 대해서는 동일한 필드에 속하고 또한 당해 색차 성분에 대응하는 휘도 성분에 있어서 선택된 필터를 적용하는 것을 특징으로 하는 프로그램.
휘도 성분과 색차 성분에 의해서 구성되는 화상이 블록으로 분할되어 부호화된 동영상 부호화 데이터를 복호화하기 위한 프로그램으로서,

동일한 픽쳐의 복호화가 완료된 영역, 혹은 복호화가 완료된 다른 픽쳐를 참조하여 복호화를 행하는 예측 복호화 단계와,

상기 예측 복호화 단계에 의해서 생성된 복호화 화상에 대해서, 블록의 경계를 필터링함으로써 왜곡을 완화시키는 디블로킹 처리 단계를 컴퓨터에 실행시키고,

상기 디블로킹 처리 단계에서는 휘도 성분과 색차 성분에 대해서 개별적으로 필터를 적용하고, 상기 휘도 성분에 대해서는 적용하는 필터의 종류를 상기 휘도 성분의 부호화 정보에 근거하여 선택하여 적용하며, 상기 색차 성분에 대해서는 동일한 필드에 속하고 또한 당해 색차 성분에 대응하는 휘도 성분에서 선택된 필터를 적용하는 것을 특징으로 하는 프로그램.
입력되는 휘도 성분과 색차 성분에 의해 구성되는 화상을 블록으로 분할하여 부호화하는 집적 회로로서,

동일한 픽쳐의 부호화가 완료된 영역, 혹은 부호화가 완료된 다른 픽쳐를 참조하여 부호화를 행하는 예측 부호화 수단과,

상기 예측 부호화 수단에 의해 생성된 부호화 데이터를 이용하여 대상의 픽쳐의 재구성을 행하는 재구성 화상 생성 수단과,

상기 재구성 화상 생성 수단에 의해서 생성된 재구성 화상에 대해서 블록의 경계를 필터링함으로써 왜곡을 완화시키는 디블로킹 처리 수단을 구비하고,

상기 디블로킹 처리 수단은 휘도 성분과 색차 성분에 대해서 개별적으로 필터를 적용하고, 상기 휘도 성분에 대해서는 적용하는 상기 필터의 종류를 상기 휘도 성분의 부호화 정보에 근거하여 선택하여 적용하며, 상기 색차 성분에 대해서는 동일한 필드에 속하고 또한 당해 색차 성분에 대응하는 휘도 성분에 있어서 선택된 필터를 적용하는 것을 특징으로 하는 집적 회로.
휘도 성분과 색차 성분에 의해서 구성되는 화상이 블록으로 분할되어 부호화된 동영상 부호화 데이터를 복호화하는 집적 회로로서,

동일한 픽쳐의 복호화가 완료된 영역, 혹은 복호화가 완료된 다른 픽쳐를 참조하여 복호화를 행하는 예측 복호화 수단과,

상기 예측 복호화 수단에 의해서 생성된 복호화 화상에 대해서 블록의 경계를 필터링함으로써 왜곡을 완화시키는 디블로킹 처리 수단을 구비하고,

상기 디블로킹 처리 수단은 휘도 성분과 색차 성분에 대해서 개별로 필터를 적용하고, 상기 휘도 성분에 대해서는 적용하는 상기 필터의 종류를 상기 휘도 성분의 부호화 정보에 근거하여 선택하여 적용하며, 상기 색차 성분에 대해서는 동일한 필드에 속하고 또한 당해 색차 성분에 대응하는 휘도 성분에 있어서 선택된 필터를 적용하는 것을 특징으로 하는 집적 회로.