KR101550283B1

KR101550283B1 - 화상 부호화 방법 및 장치, 화상 복호 방법 및 장치, 및 그 프로그램

Info

Publication number: KR101550283B1
Application number: KR1020137007042A
Authority: KR
Inventors: 신야 시미즈; 노리히코 마츠우라
Original assignee: 니폰덴신뎅와 가부시키가이샤
Priority date: 2010-09-29
Filing date: 2011-09-20
Publication date: 2015-09-04
Also published as: CA2811892A1; KR20130059423A; CN103119941B; EP2624565A1; JP5281624B2; BR112013007464A2; TW201220855A; TWI498006B; JP2012074918A; US9036933B2; CN103119941A; US20130188707A1; EP2624565A4; WO2012043294A1

Abstract

화상 전체를 분할하여 영역마다 다른 방법으로 화상 신호를 예측하면서 화상을 예측 부호화할 경우에, 피사체 존재의 공간적인 연속성을 이용하여 피사체 수나 각 피사체의 대표적인 화소치를, 처리 영역 주변의 이미 처리 종료된 영역의 복호 화소치를 이용하여 예측한다. 이로써 처리 영역내의 각 피사체를 대표하는 화소치와, 처리 영역내의 각 화소의 피사체를 식별하기 위한 정보를 이용한 임의의 피사체 형상에 대응한 고정밀도의 화상 신호 예측을 실시할 때에 필요한 「처리 영역내의 피사체 수」나 「처리 영역내의 각 피사체를 대표하는 화소치」의 부호화에 필요한 부호량을 줄여 효율적인 화상 부호화를 실현할 수 있게 된다. 또한 부호화 측과 복호 측에서 같은 정보가 되는 이미 처리 완료된 주변 영역에서의 화소의 복호 화소치를 이용함으로써 H.264와 같이 영역마다 다수의 화상 신호 예측 모드 중에서 1개를 선택하면서 부호화하는 경우에도 적절히 예측할 수 있다.

Description

화상 부호화 방법 및 장치, 화상 복호 방법 및 장치, 및 그 프로그램{Method and device for encoding images, method and device for decoding images, and programs therefor}

본 발명은 화상의 부호화 및 복호 기술에 관한 것으로서, 특히 거리 화상과 같은 화상의 부호화에 적합한 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치 및 그 프로그램에 관한 것이다.

본원은 2010년 9월 29일에 출원된 일본 특원2010-218037호에 기초하여 우선권을 주장하고 그 내용을 본원에서 원용한다.

거리 화상이란, 카메라에서 피사체에 이르기까지의 거리를 화소치로서 표현한 화상이다. 카메라에서 피사체에 이르기까지의 거리는 씬(scene)의 깊이라고도 볼 수 있기 때문에 거리 화상은 깊이 화상으로 불리기도 한다. 또한 깊이(Depth)라는 점에서 뎁스맵(Depth Map)으로 불리기도 한다. 컴퓨터 그래픽스 분야에서는, 뎁스는 Z버퍼(화면 전체의 심도를 통합 저장하는 메모리 영역)에 축적된 정보가 되기 때문에 Z화상이나 Z맵으로 불리기도 한다. 아울러 카메라에서 피사체에 이르기까지의 거리 외에 표현 대상으로서 공간상으로 연장된 3차원 좌표계의 Z축에 대한 좌표치를 거리(뎁스)로서 이용하기도 한다.

일반적으로, 촬영된 화상에 대해 수평 방향을 X축, 수직 방향을 Y축으로 하기 때문에 Z축은 카메라의 방향과 일치하지만, 복수의 카메라에 대해 공통의 좌표계를 이용하는 경우 등 Z축이 카메라의 방향과 일치하지 않는 경우도 있다.

이하에서는, 거리·깊이·Z치(깊이 정보)를 구별하지 않고 거리 정보라고 부르고, 거리 정보를 화소치로서 표시한 화상을 거리 화상이라고 부른다.

거리 정보를 화소치로서 표시할 때 물리량에 대응하는 값을 그대로 화소치로 하는 방법과, 최소치와 최대치 사이를 소정의 수로 양자화하여 얻어지는 값을 이용하는 방법과, 최소치로부터의 차(差)를 소정의 스텝폭으로 양자화하여 얻어지는 값을 이용하는 방법이 있다. 표현하고자 하는 범위가 한정되어 있는 경우에는 최소치 등의 부가 정보를 이용하는 편이 거리 정보를 고정밀도로 표현할 수 있다.

또한 등간격으로 양자화할 때 물리량을 그대로 양자화하는 방법과 물리량의 역수를 양자화하는 방법이 있다. 일반적으로 거리 정보의 역수는 시차에 비례한 값이 되기 때문에 거리 정보를 고정밀도로 표현할 필요가 있는 경우에는 전자가 사용되고, 시차 정보를 고정밀도로 표현할 필요가 있는 경우에는 후자가 사용되는 경우가 많다.

이하에서는, 거리 정보의 화소치화 방법이나 양자화 방법과 관계없이 거리 정보가 화상으로서 표현된 것을 모두 거리 화상이라고 한다.

거리 화상의 이용 용도 중 하나로서 입체 화상이 있다. 일반적인 입체 화상의 표현으로는, 관측자의 우안(右眼)용 화상과 좌안(左眼)용 화상으로 이루어진 스테레오 화상이 있는데, 소정 카메라에서의 화상과 그 거리 화상을 이용하여 입체 화상을 표현할 수 있다(세부 기술은 비특허문헌 1을 참조함).

이러한 1 시점(視點)에서의 영상과 거리 화상을 이용하여 표현된 입체 영상을 부호화하는 방식에는, MPEG-C Part. 3(IS0/IEC 23002-3)을 사용할 수 있다(세부 내용은 비특허문헌 2를 참조함).

또한 영상과 거리 화상을 복수 시점에 대해 가짐으로써 단시점(單視點)의 경우에 표현 가능한 입체 영상보다 큰 시차를 가진 입체 영상을 표현하는 것이 가능하게 된다(세부 내용은 비특허문헌 3을 참조함).

또 이러한 입체 영상을 표현하는 용도 이외에 거리 화상은, 감상자가 촬영 카메라의 배치를 신경쓰지 않고 자유롭게 시점을 이동할 수 있는 자유 시점 영상을 생성하는 데이터 중 하나로서도 사용된다. 이러한, 촬영 카메라와는 다른 카메라로 씬을 볼 때의 합성 화상을 가상 시점 화상이라고 부르는 경우도 있으며, Image-based Rendering 분야에서 그 생성법이 활발히 검토되고 있다. 다시점(多視點) 영상과 거리 화상에서 가상 시점 영상을 생성하는 대표적인 수법으로서는, 비특허문헌 4에 기재된 수법이 있다.

거리 화상은 1개의 콤포넌트로 구성되어 있기 때문에 그레이 스케일 화상으로 간주할 수 있다. 또한 피사체가 실공간상에서 연속적으로 존재하다가 순간적으로 이격된 위치로 이동할 수 없기 때문에 화상 신호와 동일하게 공간적 상관 및 시간적 상관을 갖는다고 볼 수 있다. 따라서 통상의 화상 신호나 영상 신호를 부호화하기 위해 이용되는 화상 부호화 방식이나 동영상 부호화 방식에 의해 거리 화상이나 거리 동영상은 공간적 리던던시나 시간적 리던던시를 제거하면서 효율적으로 부호화할 수 있다. 실제로 MPEG-C Part. 3에서는 기존의 동영상 부호화 방식을 이용하여 거리 동영상을 부호화하였다.

여기서 종래의 일반적인 영상 신호의 부호화 방식에 대해 설명하기로 한다.

일반적으로 피사체가 실공간상에서 공간적 및 시간적 연속성을 갖기 때문에 그를 보이는 방법은 공간적으로 그리고 시간적으로 높은 상관을 가진다. 영상 신호의 부호화에서는 그러한 상관성을 이용하여 높은 부호화 효율을 달성하였다.

구체적으로는, 부호화 대상 블록의 영상 신호를 이미 부호화 완료된 영상 신호로부터 예측하여 그 예측 잔차만을 부호화함으로써 부호화할 필요가 있는 정보를 줄여 높은 부호화 효율을 달성한다.

대표적인 영상 신호 예상 수법으로는, 인접한 블록으로부터 공간적으로 예측 신호를 생성하는 화면내 예측이나, 다른 시각에 촬영된 부호화 완료된 프레임으로부터 피사체의 움직임을 추정하여 시간적으로 예측 신호를 생성하는 움직임 보상 예측이 있다.

또한 예측 잔차 신호로 불리는 예측의 오차도 공간적인 상관과 인간의 시각 특성을 이용하기 때문에, DCT 등을 이용하여 예측 잔차 신호를 주파수 공간에서의 데이터로 변환하여 저주파 영역에 잔차 신호의 에너지를 집중시킴으로써 효율적으로 부호화한다.

각 수법의 세부 내용은 동영상 부호화 국제 표준규격의 MPEG-2나 H.264/MPEG-4 AVC(비특허문헌 5)를 참조하기 바란다.

비특허문헌 1: C.Fehn, P.Kauff, M.Op de Beeck, F.Emst, W.IJsselsteijn, M.Pollefeys, L.Van Gool, E.Ofek and I.Sexton, "An Evolutionary and Optimised Approach on 3D-TV", Proceedings of International Broadcast Conference, pp.357-365, Amsterdam, The Netherlands, September 2002. 비특허문헌 2: W.H.A.Bruls, C.Varekamp, R.Klein Gunnewiek, B.Barenbrug and A.Bourge, "Enabling Introduction of Stereoscopic(3D) Video: Formats and Compression Standards", Proceedings of IEEE International Conference on Image Processing, pp.I-89-I-92, San Antonio, USA, September 2007. 비특허문헌 3: A.Smolic, K.Mueller, P.Merkle, N.Atzpadin, C.Fehn, M.Mueller, O.Schreer, R.Tanger, P.Kauff and T.Wiegand, "Multi-view video plus depth(MVD) format for advanced 3D video systems", Joint Video Team of IS0/IEC JTC1/SC29/WGll and ITU-T SG16 Q.6, Doc.JVT-W100, San Jose, USA, April 2007. 비특허문헌 4: C.L.Zitnick, S.B.Kang, M.Uyttendaele, S.A.J.Winder, and R.Szeliski, "High-quality Video View Interpolation Using a Layered Representation", ACM Transactions on Graphics, vol.23, no.3, pp.600-608, August 2004. 비특허문헌 5: Recommendation ITU-T H.264, "Advanced video coding for generic audiovisual services", March 2009.

피사체는 실공간상에서 연속되므로 높은 공간 상관을 가짐과 동시에 순간적으로 이격된 위치로 이동할 수 없기 때문에 높은 시간 상관을 가진다. 따라서 공간 상관과 시간 상관을 이용하는 기존의 동영상 부호화 방식을 이용함으로써 그레이 스케일 화상으로서 나타낸 거리 화상을 효율적으로 부호화할 수 있다.

그러나 거리 정보는 피사체 내부에서는 변화가 적고 피사체 사이에는 매우 큰 차이가 있기 때문에 공간적 또는 시간적인 예측 결과, 정확한 예측을 달성할 수 있어 예측 잔차가 매우 작아질 수도 있고 완전히 유효한 예측이 불가능하여 예측 잔차가 매우 커질 수도 있다. 즉, 예측 잔차 신호에 강한 엣지가 생성된다. 그러한 강한 엣지는, DCT 등을 이용하여 주파수 공간에서의 데이터로 변환되면 저주파 영역에 잔차 신호의 에너지를 집중시킬 수 없어 많은 고주파 성분이 생기게 된다. 그 결과, 잔차 신호를 효율적으로 부호화하는 것이 가능하지 않다.

도 30에, 소정 거리 화상의 9×9화소의 블록의 일례를 도시하였다. 이 블록에는 2개의 피사체가 존재하며 한쪽 피사체의 화소치가 50 전후이고, 다른 한쪽 피사체의 화소치가 200 전후이다.

공간적인 예측에서는, 이 블록의 1행째와 1열째 정보를 이용하여 나머지 8×8화소를 예측한다. 예측의 방법에는 여러가지가 있는데, 여기에서는 H.264에 채용되는 대표적인 2가지 예측 방법, 수평 예측과 수직 예측의 2가지 예를 도시하였다.

도면의 우측에 도시된 바와 같이 예측 잔차는 크게 분류하여 -150 전후, 0 전후, 150 전후의 3종류의 값밖에 존재하고 있지 않아서 상당히 큰 엣지가 생긴다.

도 31a 및 도 31b는, 도 30에 도시한 예측 잔차에 8×8의 이차원 DCT를 곱한 결과를 보여주고 있다. 직류(DC) 성분은 도면의 가장 안쪽이 되어 안쪽에서 멀어질수록 고주파를 나타낸다.

도면으로부터 알 수 있듯이 어느 경우에도 대부분의 고주파 영역에 큰 신호가 생겨 잔차 신호의 컴팩트화에 실패하였음을 알 수 있다.

예측을 하지 않고 DCT 등의 변환만을 이용하여 부호화할 수도 있지만, 다른 블록과의 공간적 상관을 제거하지 못하여 부호화 효율이 더욱 악화된다.

또한 DCT 등의 변환을 수행하지 않고 부호화할 수도 있지만, 그 경우에는 블록내의 국소적인 상관을 이용할 수 없어 효율적인 부호화를 달성할 수 없다.

아울러 일반적으로 고주파 영역의 성분은 주관 품질에 큰 영향을 주지 않기 때문에 상기와 같은 신호라도 고주파 영역의 성분에 큰 양자화를 실시하여 부호량을 삭감할 수도 있다. 그러나, 이 예와 같이 강한 엣지가 있는 부분의 고주파 성분을 양자화하면 엣지 주변에 모스키토(mosquito) 노이즈라고 불리는 왜곡이 발생하여 화상의 품질을 현저하게 저하시킨다.

본 발명은 이상과 같은 사정을 감안하여 이루어진 것으로서, 거리 화상과 같은 화소치가 오브젝트에 크게 의존하는 화상을 효율적으로 부호화하는 화상 부호화기술, 및 부호화된 비트 스트림을 복호하는 화상 복호 기술을 제공하는 것을 목적으로 한다.

본 발명은 상기 과제를 해결하기 위해 화상을 전송 또는 축적할 때 화상 프레임을 미리 정해진 크기의 처리 영역(이하, 블록이라고도 한다)으로 분할하고 블록마다 각 화소의 화소치를 예측하면서 부호화하는 화상 부호화에서, 블록내에 고정수의 피사체 또는 블록마다 가변수의 피사체가 존재한다고 가정하고, 각 블록의 화상을 「각 피사체를 대표하는 화소치(이하, 피사체 화소치라고 한다)」, 「각 화소의 피사체 식별 정보」라는 정보로 표현한다.

즉, 블록내의 1개의 화소에 대해 어느 피사체인지를 나타내는 1개의 피사체 식별 정보가 할당되고 1개의 피사체 식별 정보에는 1개의 피사체 화소치가 대응된다.

이 정보에 따라 화소마다 가장 유사한 값을 할당하기 때문에 복잡한 엣지 형상을 유지한 예측 화상을 생성할 수 있다. 아울러 블록내에 포함되는 피사체의 수는 많아도 몇 개로 한정되기 때문에 이 정보의 양은 한정된다.

특히 본 발명에서는, 부호화 대상 블록의 피사체 수 혹은 피사체 화소치, 또는 그 양쪽을 부호화 대상 블록 주변의 이미 부호화 완료된 화소에 대한 화상 신호를 이용하여 예측한다. 이와 같이 이미 부호화 완료된 화소에 대한 화상 신호를 이용하여 예측함으로써 복호측에서 부호화측과 같은 정보를 공유할 수 있어 예측 화상의 생성에 이용하는 부가 정보의 부호량을 삭감할 수 있다.

여기서 말하는 피사체란, 촬영되는 각각의 물체나 인물 그 자체를 의미하는 것이 아니라 정보를 부여하는 대상으로서, 예를 들면 유사한 화상 신호(휘도, 색채, 뎁스 등)를 가진 영역이다. 즉, 단일 물체여도 좋고 장소에 따라 다른 색을 갖는 경우에는 복수의 피사체로 간주한다.

또한 화상 신호를 부호화할 필요가 없는 물체나 물체의 일부분은 피사체로는 간주하지 않는다. 즉, 피사체는 프레임내의 실(實)오브젝트(피사체)와는 관계없이 정보가 부여되지 않는 실오브젝트는 본 발명에서 말하는 "피사체"는 아니다. 또한 1개의 실오브젝트에 대해 2개의 정보가 부여될 경우에는 각각 다른 피사체로 취급된다.

본 발명 및 그 실시형태의 설명에서 사용하는 용어를 설명하기로 한다. 이하에서는, 처리 영역을 대표적으로 블록으로서 설명하기로 한다.

「피사체 수」: 피사체 수는, 블록내에 존재하는 "피사체"의 수로서, 정보를 부여하는 대상의 갯수이다. 피사체 수는 블록내의 화소치를 해석함으로써 생성할 수 있다.

예를 들면, 블록내의 화소를 화소치나 위치 등의 정보를 이용하여 클러스터링하고, 각 클러스터의 평가치(예를 들면, 화소치의 분산)가 일정치 이하가 되는 클러스터수의 최대치를 피사체 수로 할 수 있다. 또한 경험 등에 기초하여 외부에서 주거나 미리 정해진 값을 이용할 수도 있다.

이 피사체 수는, 부가 정보의 하나인 피사체 화소치의 갯수를 표현하기 위해 이용된다. 또한 피사체 맵에 등장하는 피사체 식별자의 최대치를 표현하기 위해서도 이용된다.

「피사체 화소치」: 피사체 화소치는, 각각의 "피사체"에 대해 1개 정의되는 값으로서, 그 "피사체"를 대표하는 화소치이다. 화소치로서는, 휘도치나 색차치, R치 등을 이용할 수 있다. 또한 RGB 값 등 복수의 색컴퍼넌트치의 집합을 이용하는 경우도 있다.

피사체 화소치는 블록내의 화소치를 해석함으로써 생성한다. 구체적으로는, 블록내의 화소를 화소치나 위치 등의 정보를 이용하여 "피사체 수"의 클러스터에 클러스터링하고, 각 클러스터마다 포함되는 화소의 화소치에 대한 평균치나 중앙치를 계산함으로써 얻는다.

블록내의 각 화소에 대해 그 화소의 "피사체"에 대응하는 피사체 화소치를 할당함으로써 그 블록의 예측 화상을 생성하기 위해 이용된다.

「피사체 맵」: 피사체 맵은, 블록내의 각 화소에 어느 "피사체"가 존재하고 있는지를 나타낸 것이다. 구체적으로는 각 화소를 "피사체"(피사체 화소치)에 대응한 피사체 식별자로 표현한 것이다. 가장 단순한 표현은 2차원 정보로서 표현할 수 있는데, 트리 구조를 이용하여 표현할 수도 있다. 피사체 맵은 블록내의 각 화소에 대해 그 화소치에 가장 가까운 피사체 화소치에 대응하는 피사체 식별자를 할당함으로써 생성한다.

아울러 화소치와 피사체 화소치의 유사도뿐 아니라 피사체 맵 자체의 표현에 필요한 비트수도 감안하여 생성하기도 한다. 피사체 맵은 예측 화소를 생성할 때 블록내의 각 화소에 대해 어느 피사체 화소치를 할당할지를 나타내기 위해 이용된다.

「부가 정보」: 본 발명에서 처리 대상 프레임의 화상(영상) 신호를 예측하기 위해 이용하는 정보를 부가 정보라고 부른다. 부가 정보는 처리를 하는 블록 단위로 생성된다. 부가 정보는, 기본적으로는 피사체 수·피사체 화소치·피사체 맵의 3가지 정보로 구성된다.

「예측 부가 정보」: 예측 부가 정보는, 부가 정보의 예측치이다. 구체적으로는 피사체 수의 예측치와 피사체 화소치의 예측치로 구성된다.

피사체 수의 예측치는, 처리 블록 주변의 이미 처리 완료된 화소군에 대한 화소치를 해석함으로써 생성할 수 있다. 예를 들면, 처리 블록 주변의 이미 처리 완료된 화소군의 화소를 화소치나 위치 등의 정보를 이용하여 클러스터링하고 각 클러스터의 평가치(예를 들면, 화소치의 분산)가 일정치 이하가 되는 클러스터 수의 최소치를 피사체 수의 예측치로 할 수 있다.

피사체 화소치의 예측치는, 처리 블록 주변의 이미 처리 완료된 화소군에 대한 화소치를 해석함으로써 생성한다. 구체적으로는, 처리 블록 주변의 이미 처리 완료된 화소군의 화소를 화소치나 위치 등의 정보를 이용하여 「피사체 수」의 클러스터에 클러스터링하고, 클러스터마다 포함되는 화소의 화소치에 대한 평균치나 중앙치를 계산함으로써 얻은 값을 이용할 수 있다.

또한 「피사체 수의 예측치」와 같은 수의 클러스터에 클러스터링하고, 클러스터마다 포함되는 화소의 화소치에 대한 평균치나 중앙치를 계산함으로써 얻은 값을 이용하는 방법도 있다.

또한 상기와 같은 방법으로 나온 값을 순서대로 나열하여 그 순서보다 앞선 번호의 피사체 식별자가 할당된 피사체 화소치의 값과, 상기 방법으로 얻은 값을 이용하여 생성한 값을 이용하는 방법도 있다.

예측 부가 정보는, 부가 정보를 부호화/복호할 때의 예측치로서 이용된다. 즉, 피사체 맵 이외의 부가 정보를 부호화할 때에 부가 정보내의 값과 예측 부가 정보내의 값의 차분을 계산하여 그 차분치를 부호화한다.

피사체 맵 이외의 부가 정보를 복호할 때 부호 데이터로부터 복호하여 얻어진 값에 예측 부가 정보내의 값을 더함으로써 부가 정보의 값을 생성한다.

또한 일부 또는 전부의 차분치를 부호화하지 않고 예측 부가 정보의 값을 그대로 부가 정보의 값으로 하여 이용하는 방법도 있다.

본 발명의 화상 부호화에서는, 전형적으로 이하의 처리를 수행한다.

(1) 처리 대상의 블록내에 존재하는 피사체의 수를 피사체 수로서 설정한다. 이 피사체 수의 설정은, 미리 정해진 피사체 수를 설정하는 경우와, 블록내의 화소치를 해석하여 설정하는 경우와, 블록 주변의 부호화 완료된 화상 정보로부터 예측한 피사체 수를 설정하는 경우가 있다.

(2) 블록내에 피사체 수만큼의 피사체가 존재한다고 가정하여 피사체마다 1개의 화소치를, 피사체를 식별하는 피사체 식별자에 대응시켜 피사체 화소치로서 설정한다. 이 피사체 화소치의 설정으로는, 블록내의 화소치를 해석하여 설정하는 경우와 블록 주변의 부호화 완료된 화상 정보로부터 피사체 화소치를 예측하여 설정하는 경우가 있다.

(3) 블록내의 각 화소의 화소치와 피사체 화소치로부터, 블록내의 각 화소에 어느 피사체가 촬영되어 있는지를 피사체 식별자로 나타내는 피사체 맵을 생성한다.

(4) 피사체 맵에 따라 각 화소에 피사체 화소치의 값을 할당함으로써 블록에 대한 예측 화상을 생성한다.

(5) 피사체 맵을 부호화한다.

(6) 예측 화상을 이용하여 블록에 대한 화상 신호를 예측 부호화한다.

(7) 피사체 수에 대해서는, 부호화하는 경우와 부호화하지 않는 경우가 있다.

상기 (1)의 피사체 수를 설정하는 단계에서, 미리 정해진 피사체 수를 설정한 경우와, 블록 주변의 부호화 완료된 화상 정보로부터 예측한 피사체 수를 설정한 경우에는 복호측에서 복호 완료된 화상 정보로부터 같은 정보를 얻을 수 있기 때문에 부호화는 수행하지 않는다. 피사체 수로서, 블록내의 화소치를 해석하여 설정한 경우에는 피사체 수의 부호량을 줄이기 위해 피사체 수를 예측 부호화한다. 즉, 실제 피사체 수와 블록 주변의 부호화 완료된 화상 정보로부터 예측한 피사체 수와의 차분치를 부호화한다.

(8) 피사체 화소치에 대해서도, 부호화하는 경우와 부호화하지 않는 경우가 있다. 상기 (2)의 피사체 화소치를 설정하는 단계에서, 블록 주변의 부호화 완료된 화상 정보로부터 예측한 피사체 화소치를 설정한 경우에는, 복호측에서 복호 완료된 화상 정보로부터 같은 정보를 얻을 수 있기 때문에 부호화는 수행하지 않는다. 피사체 화소치로서 블록내의 화소치를 해석하여 설정한 경우에는, 피사체 화소치의 부호량을 줄이기 위해 피사체 화소치를 예측 부호화한다. 즉, 예측 화상의 생성에 이용하는 피사체 화소치와 블록 주변의 부호화 완료된 화상 정보로부터 예측한 피사체 화소치와의 차분치를 부호화한다. 또한 예를 들면 피사체 화소치가 오름차순으로 나열되는 경우에 직전의 피사체 화소치로부터의 증가분 정보를 부호화해도 좋다.

(9) 이상의 피사체 맵의 부호 데이터, 화상 신호의 부호 데이터, 나아가 피사체 수를 부호화한 경우에는 그 부호 데이터, 또 피사체 화소치를 부호화한 경우에는 그 부호 데이터를 다중화하여 출력한다.

이상과 같이, 본 발명에서는 예측 화상을 생성하기 위해 피사체의 대표적인 화소치인 피사체 화소치, 및 어느 피사체 화소치를 이용하여 예측 화상을 생성할지를 화소마다 나타내는 피사체 맵의 2가지 부가 정보를 이용한다. 이들은 피사체 수에 따라 정해진다.

예측 화상의 생성에 「예측 방향」이라는 정보를 이용한 종래 기술에 비해, 본 발명은 부가 정보의 부호량이 증가하지만 정확한 예측 화상을 생성함으로써 예측 잔차의 부호화에 필요한 부호량을 대폭 줄여 전체적으로 블록당 필요한 부호량을 삭감할 수 있다.

또한 부가 정보에 대해서도 예측에 의해 부호량을 삭감할 수 있다. 즉, 블록에 의해 찍히는 피사체의 수가 다른 화상에서도 예측 피사체 수를 이용함으로써 피사체 수의 표현에 필요한 부호량을 삭감할 수 있다.

블록에 의해 찍히는 피사체의 수가 다른 경우라는 것은, 다음의 2가지 경우를 생각할 수 있다. 어느 피사체가 인접 영역에는 존재하지만 현재 블록에는 존재하지 않는 경우와, 어느 피사체가 인접 영역에는 존재하지 않지만 현재 블록에는 존재하는 경우이다. 즉, 현재 블록의 피사체 수는 인접 영역의 피사체 수를 기준으로 하여 증가 혹은 감소한다고 볼 수 있다.

따라서 현재 블록의 피사체 수를 부호화할 경우에 피사체 수를 그대로 부호화하는 것이 아니라 「피사체 수의 증감」 정보를 부호화함으로써 필요한 부호량을 삭감할 수 있다.

또한 블록에 의해 찍히는 피사체의 종류(색채 등)가 변화되는 화상에서도, 예측 피사체 화소치를 이용함으로써 각 피사체를 대표하는 피사체 화소치의 표현에 필요한 부호량을 삭감할 수 있다.

블록에 의해 찍히는 피사체의 색채가 다른 경우라는 것은, 다음의 2가지 경우를 생각할 수 있다. (a) 인접 영역과 같은 피사체이지만 조명 효과가 다른 경우, (b) 인접 영역에는 피사체가 존재하지 않는 경우이다.

(a)의 조명 효과의 경우, 같은 피사체의 색채이므로 그 색채의 차이는 인접 영역의 피사체 색채를 기준으로 하여 변화된 것이라고 볼 수 있다. 따라서 현재 블록의 피사체 화소치를 부호화할 경우에는, 피사체 화소치를 그대로 부호화하지 않고 「피사체 화소치의 변화」의 정보를 부호화함으로써 필요한 부호량을 삭감할 수 있다.

(b)의 새로운 피사체의 경우, 인접 영역에는 그 피사체가 존재하지 않기 때문에 「예측 피사체 화소치」는 유효한 예측이라고는 볼 수 없지만, 피사체 화소치를 그 값이 작은 순서대로 부호화할 경우, 피사체 화소치를 그대로 부호화하는 것이 아니라 직전에 부호화된 피사체 화소치로부터의 증가분 정보를 부호화함으로써 필요한 부호량을 삭감할 수 있다.

본 발명의 화상 복호에서는, 전형적으로 이하의 처리를 수행한다.

(1) 처리 대상의 블록내에 존재하는 피사체의 수를 피사체 수로 설정한다. 이 피사체 수의 설정에서는, 미리 정해진 피사체 수를 설정하는 경우와 블록 주변의 복호 완료된 화상 정보로부터 예측한 피사체 수를 설정하는 경우와 부호 데이터를 복호하여 얻어진 피사체 수를 설정하는 경우가 있다. 피사체 수를 부호 데이터로부터 복호하는 경우에는, 블록 주변의 복호 완료된 화상 정보로부터 예측한 피사체 수를 이용하여 복호한다.

(2) 각 피사체 식별자에 대응된 피사체 화소치를 설정한다. 이 피사체 화소치의 설정은, 블록 주변의 복호 완료된 화상 정보로부터 예측한 피사체 화소치를 설정하는 경우와 부호 데이터를 복호하여 얻어진 피사체 화소치를 설정하는 경우가 있다. 피사체 화소치를 부호 데이터로부터 복호하는 경우에는, 블록 주변의 복호 완료된 화상 정보로부터 예측한 피사체 화소치 또는 직전에 복호된 피사체 화소치 등을 이용하여 복호한다.

(3) 부호 데이터로부터 피사체 맵을 복호한다.

(5) 예측 화상을 이용하여 블록에 대한 화상 신호를 부호 데이터로부터 복호한다.

이로써 상기 화상 부호화에 의해 부호화된 화상을 복호할 수 있다.

본 발명에 의하면, 거리 화상과 같은, 화소치가 피사체에 크게 의존하여 국소적으로는 한정된 수의 피사체만 존재하는 화상에 대해 화상 전체를 분할하여 영역마다 다른 방법으로 화상 신호를 예측하면서 화상을 예측 부호화할 경우에 피사체 존재의 공간적인 연속성을 이용하여 피사체 수나 각 피사체의 대표적인 화소치를 예측한다. 이로써 피사체별 대표 화소치와 피사체 식별 정보를 이용한 화상 신호 예측에 필요한 부가 정보의 표현에 필요한 부호량을 삭감하여 효율적인 화상 부호화를 실현할 수 있다.

도 1은, 본 발명의 제1 실시형태에 의한 화상 부호화 장치의 구성예를 도시한 블록도이다.
도 2는, 제1 실시형태에 의한 화상 부호화 장치의 처리 흐름도이다.
도 3a는, 피사체 수 설정 처리의 흐름도이다.
도 3b는, 마찬가지로 피사체 수 설정 처리의 흐름도이다.
도 4a는, 피사체 화소치 설정 처리의 흐름도이다.
도 4b는, 마찬가지로 피사체 화소치 설정 처리의 흐름도이다.
도 5는, 피사체 맵의 예를 도시한 도면이다.
도 6a는, 부호화 대상 화소에 피사체 식별자를 할당하는 예를 설명하는 도면이다.
도 6b는, 마찬가지로 부호화 대상 화소에 피사체 식별자를 할당하는 예를 설명하는 도면이다.
도 7은, 트리 구조 피사체 맵의 예를 도시한 도면이다.
도 8은, 트리 구조 피사체 맵의 다른 예를 도시한 도면이다.
도 9는, 제1 실시형태에 의한 화상 부호화 장치의 다른 구성예를 도시한 블럭도이다.
도 10은, 본 발명의 제2 실시형태에 의한 화상 부호화 장치의 구성예를 도시한 블럭도이다.
도 11은, 제2 실시형태에 의한 화상 부호화 장치의 처리 흐름도이다.
도 12는, 제3 실시형태에 의한 화상 복호 장치의 구성예를 도시한 블럭도이다.
도 13은, 제3 실시형태에 의한 화상 복호 장치의 처리 흐름도이다.
도 14는, 복호된 트리 구조 피사체 맵의 예를 도시한 도면이다.
도 15는, 복호된 피사체 맵의 예를 도시한 도면이다.
도 16은, 제3 실시형태에 의한 화상 복호 장치의 다른 구성예를 도시한 블럭도이다.
도 17은, 제4 실시형태에 의한 화상 복호 장치의 구성예를 도시한 블럭도이다.
도 18은, 제4 실시형태에 의한 화상 복호 장치의 처리 흐름도이다.
도 19는, 부호 데이터의 블록별 신택스의 일례를 도시한 도면이다.
도 20은, 부호 데이터의 블록별 신택스의 다른 예를 도시한 도면이다.
도 21a는, 예측 화상의 생성에 이용하는 부가 정보의 데이터 구조의 예를 도시한 도면이다.
도 21b는, 상기 데이터 구조의 구체예를 도시한 도면이다.
도 22a는, 예측 부가 정보의 데이터 구조의 예를 도시한 도면이다.
도 22b는, 상기 데이터 구조의 구체예를 도시한 도면이다.
도 23a는, 각 블록에서 부호화되는 데이터의 구조의 예 1을 도시한 도면이다.
도 23b는, 상기 데이터의 구조의 예 1의 구체예를 도시한 도면이다.
도 24a는, 각 블록에서 부호화되는 데이터의 구조의 예 2를 도시한 도면이다.
도 24b는, 상기 데이터의 구조의 예 2의 구체예를 도시한 도면이다.
도 25a는, 각 블록에서 부호화되는 데이터의 구조의 예 3을 도시한 도면이다.
도 25b는, 상기 데이터의 구조의 예 3의 구체예를 도시한 도면이다.
도 26a는, 각 블록에서 부호화되는 데이터의 구조의 예 4를 도시한 도면이다.
도 26b는, 상기 데이터의 구조의 예 4의 구체예를 도시한 도면이다.
도 27은, 화상 부호화 장치를 컴퓨터와 소프트웨어 프로그램으로 구성하는 경우의 하드웨어 구성예를 도시한 도면이다.
도 28은, 화상 복호 장치를 컴퓨터와 소프트웨어 프로그램으로 구성하는 경우의 하드웨어 구성예를 도시한 도면이다.
도 29는, 본 수법과 종래 수법을 이용하여 부호화한 경우의 발생 부호량과 화상 품질의 비교를 도시한 도면이다.
도 30은, 본 발명의 과제를 설명하는 도면으로서, 어느 거리 화상에 대한 수평 예측과 수직 예측의 예이다.
도 31a는, 도 30에 도시한 수평 예측 잔차에 8×8의 이차원 DCT를 곱한 결과를 도시한 도면이다.
도 31b는, 도 30에 도시한 수직 예측 잔차에 8×8의 이차원 DCT를 곱한 결과를 도시한 도면이다.

본 발명에서는, 화상 전체를 분할하여 영역마다 다른 방법으로 화상 신호를 예측하면서 화상을 예측 부호화할 경우에, 피사체(오브젝트)의 존재의 공간적인 연속성을 이용하여 피사체 수나 각 피사체의 대표적인 화소치를, 처리 영역 주변의 이미 처리 종료된 영역의 복호 화소치를 이용하여 예측한다.

이로써 처리 영역내의 각 피사체를 대표하는 화소치와, 처리 영역내의 각 화소의 피사체를 식별하기 위한 정보를 이용한 임의의 피사체 형상에 대응한 고정밀도의 화상 신호를 예측할 때에 필요한 「처리 영역내의 피사체 수」나 「처리 영역내의 각 피사체를 대표하는 화소치」의 부호화에 필요한 부호량을 줄여 효율적인 화상 부호화를 실현할 수 있게 된다.

또한 부호화측과 복호측에서 같은 정보가 되는 이미 처리 완료된 주변 영역에서의 화소의 복호 화소치를 이용함으로써 H.264와 같이, 영역마다 다수의 화상 신호 예측 모드 중에서 1개를 선택하여 부호화하는 경우에도 적절히 예측할 수 있다.

이하, 본 발명의 일실시형태를 도면을 참조하여 설명하기로 한다.

〔제1 실시형태: 화상 부호화 장치〕

우선, 제1 실시형태에 대해 설명하기로 한다.

도 1은, 본 발명의 제1 실시형태에 의한 화상 부호화 장치의 구성예를 도시한 블록도이다.

화상 부호화 장치(100)는, 도 1에 도시한 바와 같이 부호화 대상 프레임 입력부(101), 부호화 대상 프레임 메모리(102), 피사체 수 설정부(103), 피사체 화소치 설정부(104), 피사체 맵 생성부(105), 피사체 맵 부호화부(106), 예측 화상 생성부(107), 화상 신호 부호화부(108), 화상 신호 복호부(109), 복호 화상 메모리(110), 및 다중화부(111)를 구비하고 있다.

부호화 대상 프레임 입력부(101)는 부호화 대상이 되는 화상 프레임을 입력한다.

부호화 대상 프레임 메모리(102)는 입력된 부호화 대상 프레임을 축적한다.

피사체 수 설정부(103)는 미리 정해진 크기의 처리 영역에 포함되는 피사체 수를 설정한다.

피사체 화소치 설정부(104)는 처리 영역에 주어진 수의 피사체가 존재한다고 가정하고 처리 영역 주변의 복호 화상을 이용하여 피사체마다 피사체를 대표하는 화소치를 설정한다. 처리 영역의 피사체마다 생성된 피사체를 대표하는 화소치를 피사체 화소치라고 부른다.

피사체 맵 생성부(105)는 처리 영역내의 각 화소에 촬영되어 있는 피사체를 식별하는 정보를 나타내는 피사체 맵을 생성한다.

피사체 맵 부호화부(106)는 피사체 맵을 부호화한다.

예측 화상 생성부(107)는 처리 영역에 대해 생성된 피사체 화소치와 피사체 맵으로부터, 처리 영역에 대한 예측 화상을 생성한다.

화상 신호 부호화부(108)는 처리 영역마다 예측 화상을 이용하여 부호화 대상 프레임의 화상 신호를 부호화한다.

화상 신호 복호부(109)는 처리 영역마다 예측 화상을 이용하여 부호화 대상 프레임의 화상 신호의 부호 데이터를 복호한다.

복호 화상 메모리(110)는 복호된 화상 신호를 축적한다.

다중화부(111)는 피사체 맵의 부호 데이터와 부호화 대상 프레임의 화상 신호의 부호 데이터를 다중화하여 출력한다.

도 2는, 제1 실시형태에 의한 화상 부호화 장치(100)의 동작을 설명하기 위한 흐름도이다. 이 흐름도에 따라 화상 부호화 장치(100)가 실행하는 처리에 대해 상세히 설명하기로 한다.

우선, 부호화 대상 프레임 입력부(101)에 의해 부호화 대상 프레임을 입력하고 부호화 대상 프레임 메모리(102)에 저장한다(단계 S101).

부호화 대상 프레임의 저장이 종료되면 부호화 대상 프레임을 분할하고, 분할한 영역마다 부호화 대상 프레임의 화상 신호를 부호화한다(단계들 S102 ∼ S112).

즉, 부호화 대상 블록 인덱스를 blk, 총부호화 대상 블록수를 numBlks로 나타낸다면 blk를 0으로 초기화하고(단계 S102), 그 후 blk에 1을 가산하면서(단계 S111), blk가 numBlks가 될 때까지(단계 S112) 이하의 처리(단계들 S103 ∼ 단계S110)를 반복한다.

부호화 대상 블록마다 반복되는 처리에서는, 우선 피사체 수 설정부(103)에서, 복호 화상 메모리(110)에 축적되어 있는 블록 blk의 주변 화소군에 대한 화상 신호를 이용하여 블록 blk에 포함되는 피사체의 수 num0bjs를 설정한다(단계 S103).

여기서 복호 화상 메모리(110)에 축적되어 있는 블록 blk 주변 화소의 집합을 제1 참조 화소라고 부른다. 이 제1 참조 화소의 선택 방법이나 제1 참조 화소에 대한 화소치로부터 피사체 수 numObjs를 설정하는 방법에서는, 복호측과 같은 처리라면 어떠한 방법을 이용해도 상관없다.

제1 참조 화소의 선택 방법으로서는, 예를 들면 미리 정해진 위치 관계에 존재하는 화소군으로 해도 상관없고, 프레임이나 블록군 등의 단위마다 선택 방법을 나타내는 정보를 부호화하여 복호측에 전달해도 상관없다.

피사체 수 numObjs의 결정 방법으로는, 예를 들면 참조 화소에 대해 k-means법이나 Affinity Propagation 등의 클러스터링 수법을 적용하여 각 클러스터내의 화소치 분산이 모든 클러스터에서 미리 정해진 값 이하가 되는 클러스터링 결과 중 최소 클러스터 수를 numObjs로서 설정하는 방법이 있다. 아울러 클러스터링에 이용하는 척도로서는, 화소치만 이용해도 상관없고 화소치와 화소 위치로 이루어진 값을 이용해도 좋다.

도 3a 및 도 3b에, 피사체 수를 설정하는 처리(도 2의 단계 S103)의 상세한 흐름도를 도시한다.

피사체 수를 설정하는 처리에서는, 도 3a에 도시한 바와 같이 우선 복호 화상 메모리(110)에 축적되어 있는 블록 blk 주변 화소의 집합인 제1 참조 화소를 설정한다(단계 S1031).

다음으로, 제1 참조 화소에 포함되는 화소의 정보(위치나 화소치)를 해석하여 피사체 수를 결정한다(단계 S1032).

이 단계 S1032의 상세한 흐름의 예를, 도 3b에 도시한다.

우선, 피사체 수 num0bjs를 1로 초기화한 후(단계 S10321), 제1 참조 화소에 포함되는 화소군을 numObjs 개의 클러스터로 분할하고(단계 S10322), 각 클러스터에 대해 클러스터내 화소의 화소치의 분산치 var를 계산하고 그 최대치를 maxVar로 한다(단계들 S10323 ∼ S10328).

maxVar가 미리 정해진 문턱값 th보다 작으면(단계 S10329), 피사체 수로서 현재의 num0bjs를 채용하고 처리를 종료한다.

그렇지 않은 경우에는 num0bjs에 1을 더하고(단계 S10330), 다시 클러스터링하는 처리(단계 S10322)로 되돌아와 똑같이 처리를 반복한다.

아울러 제1 참조 화소를 사용하지 않고 피사체 수로서 항상 같은 값을 설정해도 상관없다.

또한 피사체 수가 많은 경우에는, 후술하는 피사체 맵의 부호량이 많아져서 효율적인 부호화를 실현할 수 없기 때문에 피사체 수에 최대치를 별도로 설정하고 그 최대치를 초과하지 않는 범위에서 설정하도록 해도 좋다.

피사체 수의 설정이 종료되면, 다음으로 피사체 화소치 설정부(104)에서 복호 화상 메모리(110)에 축적되어 있는 블록 blk의 주변 화소군에 대한 화상 신호를 이용하여 블록 blk내의 피사체마다 피사체를 대표하는 화소치를 설정한다(단계 S104).

이하에서는, 이 피사체를 대표하는 화소치를 피사체 화소치라고 칭하고 Value(i)로 나타낸다. 여기서 i는 피사체를 식별하기 위한 피사체 식별자로 하고, 0 이상 numObjs 미만의 정수이다. 피사체 식별자는 미리 정해진 규칙에 따라서 할당한다. 여기에서는, 피사체 화소치가 작은 순서대로 할당되어 있는 것으로 한다.

또한 여기서 사용되는 복호 화상 메모리(110)에 축적되어 있는 블록 blk 주변 화소의 집합을 제2 참조 화소라고 부른다. 제2 참조 화소의 선택 방법이나 제2 참조 화소에 대한 화소치를 이용하여 피사체 화소치를 결정하는 방법에서는, 복호측과 같은 처리라면 어떠한 방법을 이용해도 상관없다.

제2 참조 화소의 선택 방법으로는, 예를 들면 미리 정해진 위치 관계에 존재하는 화소군으로 해도 좋고, 프레임이나 블록군 등의 단위마다 선택 방법을 나타내는 정보를 부호화하여 복호측에 전달해도 상관없다. 또한 제1 참조 화소와 같아도 좋고 달라도 좋다.

각 피사체를 대표하는 피사체 화소치를 설정하는 방법으로는, 예를 들면 제2 참조 화소를 전술한 클러스터링 수법을 이용하여 numObjs 개의 클러스터로 분할하고, 각 클러스터에 포함되는 화소의 화소치의 평균치나 중앙치를 피사체 화소치로서 설정하는 방법이 있다.

아울러 제1 참조 화소와 제2 참조 화소가 동일하고 피사체 수를 설정할 때에 클러스터링을 이용하는 경우에는 피사체 수의 설정과 동시에 피사체 화소치를 설정해도 상관없다.

도 4a 및 도 4b에, 피사체 화소치를 설정하는 처리(도 2의 단계 S104)의 상세한 흐름도를 도시한다.

피사체 화소치를 설정하는 처리에서는, 도 4a에 도시한 바와 같이 우선 복호 화상 메모리(110)에 축적되어 있는 블록 blk 주변 화소의 집합인 제2 참조 화소를 설정한다(단계 S1041).

다음으로, 제2 참조 화소에 포함되는 화소의 정보(위치나 화소치)를 해석하여 numObjs 개의 피사체 화소치 Value(i)를 결정한다(단계 S1042).

이 단계 S1042의 상세한 흐름의 예를 도 4b에 도시한다.

우선, 제2 참조 화소에 포함되는 화소군을 numObjs 개의 클러스터로 분할한다(단계 S10421). 아울러 클러스터링에 이용하는 정보로서는, 화소 위치나 화소치를 사용할 수 있다.

클러스터링이 종료되었으면 클러스터마다 그 클러스터에 포함되는 화소군에 대해 화소치의 평균치 또는 중앙치를 구한다(단계들 S10422 ∼ S10425).

그 후 얻어진 값을 미리 정해진 순서(여기에서는 오름차순)로 소트하여 Value(i)로 한다(단계 S10426).

다른 방법으로는, numObjs 개 이하의 클러스터 수에서, 클러스터내의 화소치 분산치의 최대치가 별도로 정해진 문턱값보다 작아지게 되는 최소 클러스터 수로 분할하여 클러스터별 평균치나 중앙치를 피사체 화소치로 설정하고, numObjs 개에 부족한 만큼은 적절히 피사체 화소치를 설정하는 방법이 있다.

예를 들면, 제1 참조 화소와 제2 참조 화소가 다른 경우에는 제1 참조 화소를 이용하여 구한 num0bjs가 제2 참조 화소를 분할하기에 최적의 클러스터 수가 아닐 가능성이 있다. 따라서 이와 같이 제2 참조 화소에 대해 재차 최적의 클러스터를 구함으로써 더 적절한 피사체 화소치를 설정할 수 있게 된다.

또한, 예를 들면 num0bjs가 2인 경우에서의 계산량이 경량인 피사체 화소치의 결정 방법으로는, 제2 참조 화소의 전체 화소의 화소치의 평균치를 구하고 그 평균치보다 작은 화소치를 가진 제2 참조 화소의 평균치 또는 중앙치와, 그 평균치 이상의 화소치를 가진 제2 참조 화소의 평균치 또는 중앙치를 피사체 화소치로 해도 좋다.

피사체 화소치가 얻어졌으면, 다음으로 피사체 맵 생성부(105)에서 블록 blk에 대해 피사체 맵을 생성한다(단계 S105).

여기서 피사체 맵이란, 블록 blk의 각 화소에 대해 피사체 식별자를 할당한 것으로서, 예를 들면 도 5와 같은 2차원 정보이다.

각 화소에 대해 피사체 식별자를 할당하는 방법으로는, 각 화소에 대해 그 화소치에 가장 가까운 피사체 화소치를 가진 피사체 식별자를 할당하는 방법이 있다.

다른 방법으로는, 블록 blk내의 화소에 대해 전술한 바와 같은 클러스터링을 실시하여 각 클러스터를 대표하는 화소치를 결정하고, 그 값에 가장 가까운 피사체 화소치를 가진 피사체 식별자를 그 클러스터에 속한 모든 화소에 대해 설정하는 방법이 있다. 그때 클러스터 수는 numObjs로 해도 좋고, numObjs 이하로 해도 좋고, 임의의 수에 의해 최적의 클러스터를 구해도 상관없다.

또 다른 방법으로는, 복수의 피사체 맵 후보를 생성하고 피사체 맵 후보별로 그 피사체 맵 후보를 이용하여 부호화했을 때의 부호량과 왜곡량의 가중 합으로 주어지는 레이트 왜곡 코스트를 계산하여 그 값이 최소가 되는 것을 피사체 맵으로서 설정하는 방법이 있다.

가능성이 있는 모든 피사체 맵을 피사체 맵 후보로 해도 좋고, 한정된 몇개의 특징적인 피사체 맵만을 피사체 맵 후보로 해도 좋다.

특징적인 피사체 맵으로서는, 각 화소에 대해 그 화소치에 가장 가까운 피사체 화소치를 가진 피사체 식별자를 할당하여 생성한 피사체 맵이나, 모든 화소가 같은 피사체 식별자가 되는 피사체 맵, 수평이나 수직으로 2 분할된 피사체 맵 등이 있다.

다음으로, 생성된 피사체 맵을 피사체 맵 부호화부(106)에서 부호화한다(단계 S106).

부호화에는 어떠한 방법을 이용해도 상관없다. 예를 들면 피사체 수에 따라 각 피사체 식별자에 고정장(長) 또는 가변장의 부호를 할당하여 래스터 스캔이나 지그재그 스캔 등을 이용하여 2차원의 맵 정보를 1차원의 바이너리 데이터로 변환함으로써 부호화해도 상관없다.

다른 방법으로서는, 미리 정해진 순서로 스캔하면서 블록 blk내의 각 화소에 대한 피사체 식별자를 부호화할 때에 각 화소에 대해 주위의 이미 부호화 완료된 화소군을 제3 참조 화소로 설정하고 그 제3 참조 화소에 대한 피사체 식별자에 따라 확률 테이블을 변화시키면서 산술 부호화하는 방법이 있다.

부호화 대상의 화소와의 위치 관계에서 제3 참조 화소가 되는 화소군을 결정할 경우, 해당 위치의 화소가 화면 밖이거나 피사체 맵을 이용하지 않는 H.264의 인트라 예측 등으로 예측 부호화되어 있다.

그러한 화소에 대해서는 미리 정해진 피사체 식별자를 할당하거나, 불분명한 라벨을 할당하여 확률 테이블을 별도로 정의해도 상관없다.

예를 들면, 피사체 수가 2일 때 도 6a와 같이 부호화 대상 화소 x에 대해 3개의 화소 a, b, c를 제3 참조 화소로서 정의하고, 불분명한 라벨(도 6b 중의 N)도 이용할 경우에는, 도 6b와 같이 전부 27가지의 확률 테이블을 이용하여 부호화하게 된다.

이 확률 테이블은 복호 측에서 같은 것을 얻을 수 있는 한, 고정의 것이어도 좋고, 지금까지의 부호화 이력에 따라 갱신하는 가변의 확률 테이블이어도 상관없다.

일반적으로 같은 피사체는 연속 출현하기 때문에 이와 같이 (주변 화소에 의한) 주변의 상황을 이용함으로써 부호화 대상 심볼의 발생 확률을 보다 고정밀도로 표현할 수 있게 되어 산술 부호화에서의 부호화 효율을 향상시킬 수 있게 된다.

아울러 상기 예에서는 인접한 3개의 화소를 제3 참조 화소로서 설정하였으나, 더 많은 주변 화소의 정보를 이용함으로써 발생 확률을 보다 고정밀도로 예측할 수 있게 된다.

또 다른 방법으로 피사체 맵을 트리 구조의 정보로 변환한 후 부호화하는 방법이 있다. 구체적으로는, 블록 blk를 루트로 하고 각 노드의 자식 노드에는, 부모 노드(루트)의 블록을 분할한 복수의 서브 블록을 대응시킨 트리 구조를 이용한다. 이러한 트리 구조를 이용함으로써 통합되어 존재하는 단일 피사체의 화소 집합을 효율적으로 표현할 수 있게 되어 부호화 효율을 향상시킬 수 있게 된다.

트리 구조로는, 임의로 정의한 것을 이용할 수 있다.

예를 들면, 각 노드에 대해 그 노드에 대응하는 블록내 모든 화소의 피사체 식별자가 같은지 여부를 나타내는 바이너리 정보를 부가하고, 자식 노드로서 피사체 식별자가 모두 같은 경우에는 그 피사체 식별자의 번호를 가진 리프, 피사체 식별자가 모두 같지 않은 경우에는 자신의 블록을 4 분할하여 생성한 서브 블록에 대응하는 4개의 노드를 정의하여 트리 구조의 정보를 생성할 수 있다.

아울러 대응하는 블록이 1 화소가 된 경우에는, 모든 화소의 피사체 식별자가 같은지 여부를 나타내는 바이너리 정보의 노드를 생략할 수 있다.

도 5의 피사체 맵에 대해 이상의 방법에 의해 생성한 트리 구조를 도 7에 도시한다.

도 7에서는, 각 노드에 대해 그 노드에 대응하는 블록내의 모든 화소의 피사체 식별자가 같은 경우에는 바이너리 정보의 「1」, 그렇지 않은 경우는 바이너리 정보의 「0」을 부가하였다.

다른 정의로서는, 각 노드에 대해 그 노드에 대응하는 블록내의 모든 화소의 피사체 식별자가 동일한 경우에는 그 피사체 식별자의 번호에 1을 더한 수, 그렇지 않은 경우에는 0을 정보로서 부여하고, 정보 0이 부여된 노드에 대해서만 그 블록을 4 분할한 서브 블록에 대한 자식 노드를 정의하는 방법도 있다.

도 5의 피사체 맵에 대해, 이 방법으로 생성한 트리 구조가 도 8이다.

생성된 트리를 부호화할 때 트리를 깊이 우선 탐색, 또는 폭 우선 탐색하여 스캔하고, 스캔 순서대로 각 노드가 가진 정보를 부호화한다.

깊이 우선 탐색은, 탐색 대상이 되는 트리의 최초의 노드에서 목적 노드가 발견되거나 자식이 없는 노드에 도착할 때까지 깊게 연장되고, 그 후에는 가장 가까운 탐색이 끝나지 않은 노드까지 되돌아오는 탐색이다.

한편 폭 우선 탐색은, 깊이가 얕은 점(정점에서부터 더듬어 찾는 노드의 수가 적은 점)부터 순서대로인, 또한 좌측에 있는 정점부터 순서대로인 규칙을 가진 탐색이다.

아울러 리프와 리프 이외를 구분하여 부호화할 수도 있다.

도 7을 트리의 깊이 우선 탐색에 의해 스캔한 결과의 수열(數列)은 01001000222110221201011000011111이 된다.

이것을 리프와 기타로 나누면, 리프는 0002221221201000111, 리프 이외는 0101010011011이 된다.

도 8을 트리의 깊이 우선 탐색에 의해 스캔한 결과의 수열은 0101013332033230120111222가 된다.

수열은 그대로 2 치화하여 부호 데이터로 해도 좋고, 인접 화소에서의 피사체 식별자의 상황에 따라 확률 테이블을 절환하면서 산술 부호화해도 상관없다.

예를 들면, 도 7의 리프 이외를 부호화할 경우, 각 노드에 대응하는 블록에 인접한 화소의 피사체 식별자를 조사하여 가장 화소수가 많은 피사체 식별자에 대한 화소수에 따라 확률 테이블을 절환하는 방법이 있다.

또한 도 7의 리프를 부호화할 경우에는, 각 노드에 대응하는 블록에 인접한 화소의 피사체 식별자의 상황에 따라 확률 테이블을 절환하는 방법이 있다.

아울러 확률 테이블은 복호 측에서 같은 것을 얻을 수 있는 한, 고정의 것이어도 좋고 지금까지의 부호화 이력에 따라 갱신하는 가변의 확률 테이블이어도 상관없다.

피사체 맵의 부호화가 종료되면, 다음으로 예측 화상 생성부(107)에서 피사체 맵과 피사체 화소치를 이용하여 블록 blk에 대한 예측 화상을 생성한다(단계 S107).

구체적으로는, 각 화소에 대해 피사체 맵으로부터 얻어지는 피사체 식별자에 대응하는 피사체 화소치를 할당함으로써 예측 화상을 생성한다.

아울러 상기와 같이 만들어진 예측 화상에 대해 디서(dither)를 더 가해도 상관없다.

피사체 맵과 피사체 화소치를 이용한 예측 화상에서는, 피사체 수와 같은 수의 화소치밖에 존재하지 않기 때문에 자연 화상과는 다른 성질을 가진 화상이 된다. 따라서 디서를 가함(존재하는 화소치를 조합하여 전체 화상 중에서 중간의 화소치를 표현함)으로써 자연 화상에 더욱 가까운 변화를 줄 수 있다

디서 생성에는 임의의 방법을 이용할 수 있는데, 복호 측에서 같은 것을 발생시킬 수 있도록 할 필요가 있다. 따라서 부가 정보가 필요한 경우에는 그 부가 정보를 부호화할 필요가 있다.

예측 화상이 얻어졌으면 화상 신호 부호화부(108)에서 블록 blk에 대한 화상 신호를 예측 부호화한다(단계 S108).

부호화에는 어떠한 방법을 이용해도 상관없다. MPEG-2나 H.264/AVC 등의 일반적인 부호화에서는, 블록 blk의 화상 신호와 예측 화상과의 차분 신호에 대해 DCT 등의 주파수 변환, 양자화, 2 치화, 엔트로피 부호화를 순서대로 실시함으로써 부호화한다.

다음으로, 화상 신호 복호부(109)에서 부호화 결과로서 얻어진 부호 데이터와 예측 화상을 이용하여 블록 blk에 대한 화상 신호를 복호하고, 복호 결과를 복호 화상 메모리(110)에 축적한다(단계 S109).

여기에서는, 부호화시에 이용된 수법에 대응하는 수법을 이용하여 부호 데이터를 복호한다. 예를 들면 MPEG-2나 H.264/AVC 등의 일반적인 부호화라면, 부호 데이터에 대해 엔트로피 복호, 역 2 치화, 역양자화, IDCT 등의 주파수 역변환을 순서대로 실시하고, 얻어진 2차원 신호에 대해 예측 신호를 더하고 마지막으로 화소치의 치역에서 클리핑을 실시함으로써 화상 신호를 복호한다.

복호하여 얻어진 화상 신호는, 다른 블록을 부호화할 때에 피사체 수나 피사체 화소치를 생성 또는 예측하기 위해 이용된다.

마지막으로 다중화부(111)에서 피사체 맵의 부호 데이터와 화상 신호의 부호 데이터를 다중화하여 출력한다(단계 S110).

아울러 여기에서는 블록마다 다중화하였으나 프레임 단위로 다중화해도 상관없다. 단, 그 경우에는 복호 측에서 1 프레임 분의 부호 데이터를 버퍼링한 후에 복호할 필요가 생긴다.

아울러 제1 실시형태에서는, 피사체 수와 피사체 화소치의 양쪽 모두를 블록 blk 주변 화소의 화소치를 분석하여 설정하였으나, 어느 한쪽만 블록 blk 주변 화소의 화소치를 분석하여 설정해도 상관없다.

그 경우, 설정되지 않은 쪽 정보는 블록 blk의 화소치를 분석하여 설정하고, 설정된 정보를 부호화하여 그 부호 데이터를 피사체 맵의 부호 데이터와 화상 신호의 부호 데이터와 함께 다중화하여 출력하게 된다.

도 9에, 블록 blk 주변 화소의 화소치를 분석하여 피사체 수만을 설정하고 피사체 화소치를 부호화하는 경우의 화상 부호화 장치의 블록도를 도시한다.

도 9에 도시한 화상 부호화 장치(100')가 도 1에 도시한 화상 부호화 장치(100)와 다른 점은, 피사체 화소치 설정부(104)가 설정한 각 피사체의 피사체 화소치를 부호화하는 피사체 화소치 부호화부(112)를 가지고, 피사체 화소치 부호화부(112)가 부호화한 피사체 화소치의 부호 데이터를 부가 정보로서 다중화부(111)에서 다중화하는 것이다. 다른 구성은 도 1에 도시한 화상 부호화 장치(100)와 같다.

〔제2 실시형태: 화상 부호화 장치〕

다음으로, 본 발명의 제2 실시형태에 대해 설명하기로 한다.

도 10은 본 발명의 제2 실시형태에 의한 화상 부호화 장치의 구성예를 도시한 블록도이다.

화상 부호화 장치(200)는, 도 10에 도시한 바와 같이 부호화 대상 프레임 입력부(201), 부호화 대상 프레임 메모리(202), 피사체 수 설정부(203), 피사체 화소치 설정부(204), 피사체 맵 생성부(205), 피사체 수 예측부(206), 피사체 수 부호화부(207), 피사체 맵 부호화부(208), 피사체 화소치 예측부(209), 피사체 화소치 부호화부(210), 예측 화상 생성부(211), 화상 신호 부호화부(212), 화상 신호 복호부(213), 복호 화상 메모리(214) 및 다중화부(215)를 구비하고 있다.

부호화 대상 프레임 입력부(201)는 부호화 대상이 되는 화상 프레임을 입력한다.

부호화 대상 프레임 메모리(202)는 입력된 부호화 대상 프레임을 축적한다.

피사체 수 설정부(203)는 미리 정해진 크기의 처리 영역에 포함되는 피사체수를 설정한다.

피사체 화소치 설정부(204)는 처리 영역에 주어진 수의 피사체가 존재한다고 가정하고 처리 영역에 대한 입력 프레임의 화소치를 이용하여 피사체마다 피사체를 대표하는 화소치를 설정한다. 이 처리 영역의 피사체마다 생성된 피사체를 대표하는 화소치를 피사체 화소치라고 부른다.

피사체 맵 생성부(205)는 처리 영역내의 각 화소에 촬영되어 있는 피사체를 식별하는 정보를 나타내는 피사체 맵을 생성한다.

피사체 수 예측부(206)는 처리 영역에 포함되는 피사체 수의 예측치를 설정한다. 이 피사체 수의 예측치를 예측 피사체 수라고 부른다.

피사체 수 부호화부(207)는 예측 피사체 수를 이용하여 피사체 수를 부호화한다.

피사체 맵 부호화부(208)는 피사체 맵을 부호화한다.

피사체 화소치 예측부(209)는 처리 영역에 주어진 수의 피사체가 존재한다고 가정하고 처리 영역 주변의 복호 화상을 이용하여 피사체 화소치의 예측치를 설정한다. 이 피사체 화소치의 예측치를 예측 피사체 화소치라고 부른다.

피사체 화소치 부호화부(210)는 예측 피사체 화소치를 이용하여 피사체 화소치를 부호화한다.

예측 화상 생성부(211)는 처리 영역에 대해 생성된 피사체 화소치와 피사체 맵으로부터 처리 영역에 대한 예측 화상을 생성한다.

화상 신호 부호화부(212)는 처리 영역마다 예측 화상을 이용하여 부호화 대상 프레임의 화상 신호를 부호화한다.

화상 신호 복호부(213)는 처리 영역마다 예측 화상을 이용하여 부호화 대상 프레임의 화상 신호의 부호 데이터를 복호한다.

복호 화상 메모리(214)는 복호된 화상 신호를 축적한다.

다중화부(215)는 피사체 수의 부호 데이터와, 피사체 맵의 부호 데이터와, 피사체 화소치의 부호 데이터와, 부호화 대상 프레임의 화상 신호의 부호 데이터를 다중화하여 출력한다.

도 11은, 제2 실시형태에 의한 화상 부호화 장치(200)의 동작을 설명하기 위한 흐름도이다. 이 흐름도에 따라 화상 부호화 장치(200)가 실행하는 처리에 대해 상세히 설명하기로 한다.

우선 부호화 대상 프레임 입력부(201)에 의해 부호화 대상 프레임을 입력하고 부호화 대상 프레임 메모리(202)에 저장한다(단계 S201).

부호화 대상 프레임의 저장이 종료되면 부호화 대상 프레임을 분할하고 그 영역마다 부호화 대상 프레임의 화상 신호를 부호화한다(단계들 S202 ∼ S216).

즉, 부호화 대상 블록 인덱스를 blk, 총 부호화 대상 블록 수를 numBlks로 나타낸다면 blk를 0으로 초기화하고(단계 S202), 그 후 blk에 1을 가산하면서(단계 S215) blk가 numBlks가 될 때까지(단계 S216) 이하의 처리(단계들 S203∼S214)를 반복한다.

부호화 대상 블록마다 반복되는 처리에서는, 우선 피사체 수 설정부(203)에서 블록 blk에 포함되는 피사체의 수 num0bjs를 설정한다(단계 S203). 피사체 수는 어떠한 처리를 이용하여 결정해도 상관없다.

예를 들면, 부호화 대상 블록의 화소치에 따라 피사체 수를 설정하는 방법이 있다.

구체적으로는, 부호화 대상 블록의 화소에 대해 k-means 법이나 Affinity Propagation 등의 클러스터링 수법을 이용하여 각 클러스터내의 화소치 분산이 미리 정해진 값 이하가 되는 클러스터링 결과 중 최소 클러스터 수를 피사체 수로 하는 방법이 있다. 클러스터링에 이용하는 척도로서는, 화소치만 이용해도 좋고 화소치와 화소 위치로 이루어진 값을 이용해도 상관없다.

다른 방법으로는, 피사체 수의 후보별로 그 피사체 수를 설정하여 부호화한 경우의 부호량과 왜곡량과의 가중 합으로 주어지는 레이트 왜곡 코스트를 계산하고 그 코스트가 최소가 되는 피사체 수를 설정하는 방법이 있다.

또한 피사체 수가 많아지게 되면 부호화 효율이 저하되는 경우가 있기 때문에 피사체 수의 최대치를 미리 정해 놓고 피사체 수가 일정치 이상이 되는 것을 방지해도 상관없다.

피사체 수의 설정이 종료되면, 다음으로 피사체 수 예측부(206)에서 복호 화상 메모리(214)에 축적되어 있는 블록 blk의 주변 화소군에 대한 화상 신호를 이용하여 블록 blk의 예측 피사체 수를 생성한다(단계 S204).

여기서 사용되는 복호 화상 메모리(214)에 축적되어 있는 블록 blk 주변 화소의 집합을 제1 참조 화소라고 부른다.

여기에서의 처리는, 구해진 값이 예측 피사체 수가 되는 것 외에는 제1 실시형태에서의 단계 S103에서 피사체 수를 설정하는 처리와 같고, 제1 참조 화소의 선택 방법이나 제1 참조 화소에 대한 화소치로부터 예측 피사체 수를 설정하는 방법에서는, 복호 측과 같은 처리라면 어떠한 방법을 이용해도 상관없다.

예측 피사체 수가 구해지면, 피사체 수 부호화부(207)에서 예측 피사체 수를 이용하여 피사체 수를 예측 부호화한다(단계 S205). 즉, 피사체 수와 예측 피사체 수의 차분치를 부호화한다.

부호화에는 어떠한 수법을 이용해도 상관없다. 예를 들면 부호 테이블을 준비해 놓고 차분치에 해당하는 부호어를 출력하는 형태로 부호화를 실시해도 상관없다.

일반적으로 피사체는 어느 정도의 크기를 가지고 공간적으로 연속하여 존재하고 있다고 생각되므로, 어느 영역에서의 피사체 수는 주변 영역에서의 피사체 수와 높은 상관이 있다고 볼 수 있다. 따라서 주변 영역에서의 피사체 수를 예측치로 하고 어느 영역에서의 피사체 수를 부호화함으로써 피사체 수를 적은 부호량으로 부호화할 수 있게 된다.

아울러 전술한 부호 테이블을 준비할 경우에는 0 부근의 부호장을 짧게 설정함으로써 상관을 이용한 효율적인 부호화를 실현할 수 있다.

다음으로 피사체 화소치 설정부(204)에서 블록 blk내의 피사체별로 피사체를 대표하는 화소치를 설정한다(단계 S206).

이하에서는, 이 피사체를 대표하는 화소치를 피사체 화소치라고 칭하고 Value(i)로 나타낸다. 여기서, i는 피사체를 식별하기 위한 피사체 식별자로 하고 0 이상 numObjs 미만의 정수이다. 또한 피사체 식별자는 미리 정해진 규칙에 따라서 할당한다. 여기에서는, 피사체 화소치가 작은 순서대로 할당되어 있는 것으로 한다.

피사체마다 1개의 화소치를 설정하는 방법으로는 어떠한 방법을 이용해도 상관없다. 예를 들면 블록 blk의 화소를 전술한 클러스터링 수법을 이용하여 numObjs 개의 클러스터로 분할하고 각 클러스터에 포함되는 화소의 화소치의 평균치나 중앙치를 피사체 화소치로 하는 방법이 있다.

아울러 피사체 수를 설정할 때에 블록 blk의 화소를 클러스터링하는 경우에는 피사체 수의 설정과 동시에 피사체 화소치를 설정해도 상관없다.

피사체 화소치가 얻어졌으면, 다음으로 피사체 화소치 예측부(209)에서, 복호 화상 메모리(214)에 축적되어 있는 블록 blk 주변 화소군에 대한 화상 신호를 이용하여 numObjs 개의 예측 피사체 화소치를 생성한다(단계 S207).

이하에서는, 예측 피사체 화소치를 PredValue(j)로 나타낸다. 인덱스치 j는 예측 피사체 화소치에 대해 피사체 식별자를 피사체 화소치에 할당한 규칙과 같은 규칙에 따라 할당되어 있는 것으로 한다. 즉, 피사체 화소치가 작은 순서대로 피사체 식별자가 할당되어 있는 경우, 예측 피사체 화소치가 작은 순서대로 인덱스치가 할당되어 있는 것으로 한다.

또한 여기서 사용되는 복호 화상 메모리(214)에 축적되어 있는 블록 blk 주변 화소의 집합을 제2 참조 화소라고 부른다. 여기에서의 처리는, 구해진 값이 예측 피사체 화소치가 되는 것 외에는 제1 실시형태에서의 단계 S104에서 피사체 화소치를 결정하는 처리와 동일하며, 제2 참조 화소의 선택 방법이나 제2 참조 화소에 대한 화소치로부터 예측 피사체 화소치를 설정하는 방법에서는, 복호 측과 같은 처리라면 어떠한 방법을 이용해도 상관없다.

예측 피사체 화소치가 구해지면, 피사체 화소치 부호화부(210)에서 예측 피사체 화소치를 이용하여 피사체 화소치를 예측 부호화한다(단계 S208).

부호화에는 어떠한 수법을 이용해도 상관없다. 예를 들면, 어느 피사체 식별자에 대응하는 피사체 화소치를 부호화할 경우에, 같은 값을 인덱스치에 가진 예측 피사체 화소치와의 차분치를 부호 테이블을 참조하여 부호화해도 상관없다.

또한 차분치를 그대로 부호화하는 것이 아니라 차분치를 별도로 주어진 양자화 파라미터에 따라 양자화한 결과의 값을 부호화해도 상관없다. 이 경우 양자화 파라미터가 별도로 부호화될 필요가 있는데, 다른 장소에서 이용한 양자화 파라미터를 유용(流用)할 경우에는 여기에서 다시 부호화할 필요는 없다.

다른 방법으로 예측 피사체 화소치뿐 아니라 블록 blk에서 먼저 부호화한 피사체 화소치를 이용하여 예측 부호화하는 방법이 있다. 이하, 피사체 화소치가 작은 순서대로 부호화하는 경우를 예로 들어 설명하기로 한다. 아울러 피사체 식별자 i나 인덱스치 j는 피사체 화소치나 예측 피사체 화소치가 작은 순서대로 부여되어 있는 것으로 한다.

우선, 피사체 식별자가 0인 피사체 화소치를, 예측치가 인덱스치 0의 예측 피사체 화소치로서 예측 부호화한다. 즉, Value(0)-PredValue(0)의 값을 부호화한다.

다음으로, 그것을 복호하여 복호 피사체 화소치 DecValue(0)를 얻는다. 아울러 상기 예측 차분을 양자화하여 부호화하는 등 왜곡 상태로 부호화할 경우에는 DecValue와 Value가 일치하지 않을 수 있지만, 예측 차분을 왜곡되지 않은 상태로 부호화할 경우 DecValue와 Value는 완전히 일치하기 때문에 복호 처리를 실시할 필요는 없다.

다음으로, 피사체 식별자가 k인 피사체 화소치를 k가 작은 순서대로 부호화한다. 아울러 k는 1 이상 numObjs 미만의 정수이다.

피사체 식별자 k의 피사체 화소치의 부호화에서는, 최초로 DecValue (k-1)과의 차이가 미리 정해진 문턱값 이상이 되는 최소의 예측 피사체 화소치의 인덱스치를 구하여 j(k)로 한다. 여기서 j(0) = 0으로 하면, j(k)가 구해질 경우에는 j(k)는 j(k-1) 이상 numObjs 미만의 정수가 된다(단, k는 1 이상 numObjs 미만의 정수임).

j(k)가 구해지면, PredValue (j(k))를 예측치로 하여 Value (k)를 예측 부호화한다.

아울러 j(k)가 구해지지 않은 경우에는, DecValue (k-1)과 PredValue (numObjs-1) 중 큰 쪽을 예측치로 하여 Value(k)를 예측 부호화한다. 이때 DecValue (k-1)와 PredValue (numObjs-1) 중 큰 쪽과 화소치의 최대치(8비트로 표현되는 경우에는 255)와의 중간치에 가장 가까운 정수를 예측치로 하는 방법도 있다.

부호 데이터는, 다음의 피사체 화소치를 부호화하기 전에 복호되어 DecValue (k)가 계산된다.

일반적으로, 피사체는 어느 정도의 크기를 가지고 공간적으로 연속하여 존재하고 있으며, 화소치는 피사체에 크게 의존하기 때문에 어느 영역에서의 피사체 화소치는 주변 영역에서의 피사체 화소치와 높은 상관이 있다고 볼 수 있다. 따라서 주변 영역에서의 피사체 화소치를 예측치로 하고 어느 영역에서의 피사체 화소치를 부호화함으로써 피사체 화소치를 적은 부호량으로 부호화할 수 있게 된다.

피사체 화소치의 부호화가 종료되면, 다음으로 피사체 맵 생성부(205)에서 블록 blk에 대해 피사체 맵을 생성한다(단계 S209). 여기에서의 처리는 제1 실시형태의 단계 S105와 같다.

아울러 피사체 화소치의 부호화시에 양자화 등을 이용한 왜곡 있는 부호화를 수행한 경우에는, 부호화된 피사체 화소치를 복호하여 얻어지는 복호 피사체 화소치를 피사체 화소치 대신에 이용한다. 즉, 왜곡 있는 부호화가 수행된 피사체 화소치를 이용할 경우에는 피사체 화소치 부호화부의 출력을 별도로 설치한 피사체 화소치 복호부 등에 입력하고, 그 출력이 피사체 맵 생성부나 후술하는 예측 화상 생성부에 입력되도록 한다.

생성된 피사체 맵은, 다음으로 피사체 맵 부호화부(208)에서 부호화한다(단계 S210). 여기에서의 처리는 제1 실시형태의 단계 S106과 동일하며 부호화에는 어떠한 방법을 이용해도 상관없다.

다음으로 예측 화상 생성부(211)에서, 피사체 맵과 피사체 화소치를 이용하여 블록 blk에 대한 예측 화상을 생성한다(단계 S211). 여기에서의 처리는 제1 실시형태의 단계 S107와 같다.

아울러 피사체 화소치의 부호화시에 양자화 등을 이용한 왜곡 있는 부호화를 수행한 경우에는, 부호화된 피사체 화소치를 복호하여 얻어지는 복호 피사체 화소치를 피사체 화소치 대신에 이용한다.

예측 화상이 얻어졌으면 화상 신호 부호화부(212)에서 블록 blk에 대한 화상 신호를 예측 부호화한다(단계 S212).

여기에서의 처리는 제1 실시형태의 단계 S108과 동일하며 부호화에는 어떠한 방법을 이용해도 상관없다.

다음으로 화상 신호 복호부(213)에서 부호화 결과로서 얻어진 부호 데이터와 예측 화상을 이용하여 블록 blk에 대한 화상 신호를 복호하고, 복호 결과를 복호 화상 메모리(214)에 축적한다(단계 S213).

복호하여 얻어진 화상 신호는, 다른 블록을 부호화할 때에 피사체 수나 피사체 화소치를 생성 또는 예측하기 위해 이용된다. 여기에서의 처리는 제1 실시형태의 단계 S109와 동일하며, 부호화시에 이용된 수법에 대응하는 수법을 이용하여 부호 데이터를 복호한다.

마지막으로, 다중화부(215)에서 피사체 수의 부호 데이터와 피사체 화소치의 부호 데이터와 피사체 맵의 부호 데이터와 화상 신호의 부호 데이터를 다중화하여 출력한다(단계 S214).

아울러 여기에서는 블록마다 다중화하였는데, 프레임 단위로 다중화해도 상관없다. 단, 그 경우에는 복호 측에서 1 프레임 분의 부호 데이터를 버퍼링한 후에 복호할 필요가 있다.

제2 실시형태에서는, 피사체 화소치를 피사체 맵 생성 전에 부호화하였으나, 피사체 맵에 모든 피사체 식별자가 나타나지 않는 경우에는, 피사체 맵의 생성 후에 피사체 화소치를 부호화하거나, 피사체 맵을 생성할 때마다 피사체 화소치를 재부호화함으로써 부호량을 더욱 삭감할 수 있다.

즉, 피사체 맵에 나타난 피사체 식별자에 대한 피사체 화소치만을 출력하는 부호 데이터에 포함시키도록 함으로써 복호에 불필요한 피사체 화소치의 부호량을 삭감할 수 있게 된다.

아울러 피사체 화소치의 부호화 시에 왜곡 있는 부호화를 한 경우에는, 재부호화 전과 후에 복호하여 얻어지는 피사체 화소치의 값이 동일해지도록 제어하거나, 재부호화한 결과를 이용하여 피사체 맵을 다시 생성해도 상관없다.

이러한 제2 실시형태에서는, 피사체 수와 피사체 화소치 양쪽에 대해 블록 blk 주변 화소의 화소치를 분석하고 예측 피사체 수와 예측 피사체 화소치를 설정하여 예측 부호화하였으나, 어느 한쪽만 예측 부호화하도록 해도 상관없다. 그 경우, 예측 부호화되지 않은 정보는, 제1 실시형태와 같이 부호화가 필요 없는 정보로서 생성하거나, 예측치를 생성하지 않고 그대로 부호화해도 상관없다.

〔제3 실시형태: 화상 복호 장치)

다음으로, 본 발명의 제3 실시형태에 대해 설명하기로 한다.

도 12는, 제3 실시형태에 의한 화상 복호 장치의 구성예를 도시한 블록도이다.

화상 복호 장치(300)는, 도 12에 도시한 바와 같이 부호 데이터 입력부(301), 부호 데이터 메모리(302), 분리부(303), 피사체 수 설정부(304), 피사체 화소치 설정부(305), 피사체 맵 복호부(306), 예측 화상 생성부(307), 화상 신호 복호부(308), 및 복호 화상 메모리(309)를 구비하고 있다.

부호 데이터 입력부(301)는 복호 대상이 되는 화상 프레임의 부호 데이터를 입력한다.

부호 데이터 메모리(302)는 입력된 부호 데이터를 축적한다.

분리부(303)는 다중화된 부호 데이터를 복수의 다른 정보가 부호화되어 있는 부호 데이터로 분리한다.

피사체 수 설정부(304)는 미리 정해진 크기의 처리 영역에 포함되는 피사체 수를 설정한다.

피사체 화소치 설정부(305)는, 처리 영역에 주어진 수의 피사체가 존재한다고 가정하고 처리 영역 주변의 복호 화상을 이용하여 피사체마다 피사체를 대표하는 화소치를 설정한다. 처리 영역의 피사체마다 생성된 피사체를 대표하는 화소치를 피사체 화소치라고 부른다.

피사체 맵 복호부(306)는 부호 데이터로부터 피사체 맵을 복호한다. 피사체 맵이란, 처리 영역의 각 화소에서의 피사체를 식별하기 위한 정보이다.

예측 화상 생성부(307)는 처리 영역에 대해 피사체 화소치와 피사체 맵으로부터 처리 영역에 대한 예측 화상을 생성한다.

화상 신호 복호부(308)는 처리 영역마다 예측 화상을 이용하여 부호 데이터로부터 복호 대상 프레임의 화상 신호를 복호한다.

복호 화상 메모리(309)는 복호된 화상 신호를 축적한다.

도 13은, 제3 실시형태에 의한 화상 복호 장치(300)의 동작을 설명하기 위한 흐름도이다. 이 흐름도에 따라 화상 복호 장치(300)가 실행하는 처리에 대해 상세히 설명하기로 한다.

우선, 부호 데이터 입력부(301)에 의해 복호 대상 프레임에 대한 부호 데이터를 입력하여 부호 데이터 메모리(302)에 저장한다(단계 S301).

부호 데이터의 저장이 종료되면 복호 대상 프레임을 분할하고, 그 영역별로 복호 대상 프레임의 화상 신호를 복호한다(단계들 S302 ∼ S310).

즉, 복호 대상 블록 인덱스를 blk, 총 복호 대상 블록 수를 numBlks로 나타낸다면, blk를 0으로 초기화하고(단계 S302), 그 후 blk에 1을 가산하면서(단계 S309) blk가 numBlks가 될 때까지(단계 S310) 이하의 처리(단계들 S303 ∼ S308)를 반복한다.

복호 대상 블록마다 반복되는 처리에서는, 우선 분리부(303)에서, 입력된 부호 데이터를 복수 정보의 부호 데이터로 분리한다(단계 S303).

제3 실시형태에서는, 복수 정보의 부호 데이터가 블록 단위로 인터리브되어 있는(블록마다 각 정보의 부호 데이터가 차례로 기억되어 있는) 예로 설명하였으나, 프레임 등 다른 단위로 인터리브되어 있는 경우에는 이 부호 데이터의 분리를 블록 단위로 반복할 필요는 없다.

다음으로, 피사체 수 설정부(304)에서 복호 화상 메모리(309)에 축적되어 있는 블록 blk 주변 화소군에 대한 화상 신호를 이용하여 블록 blk에 포함되는 피사체의 수 num0bjs를 설정한다(단계 S304).

여기에서 이용한 복호 화상 메모리(309)에 축적되어 있는 블록 blk 주변 화소의 집합을 제1 참조 화소라고 부른다. 여기에서의 처리는 제1 실시형태의 단계 S103과 동일하고, 이 제1 참조 화소의 선택 방법이나 제1 참조 화소에 대한 화소치로부터 numObjs를 설정하는 방법에서는, 부호화측과 같은 처리라면 어떠한 방법을 이용해도 상관없다.

아울러 제1 참조 화소의 선택 방법으로는, 예를 들면 미리 정해진 위치 관계에 존재하는 화소군으로 해도 좋고, 프레임이나 블록군 등의 단위마다 선택 방법을 나타내는 정보가 부호화되어 다른 부호 데이터와 함께 화상 복호 장치(300)에 입력되어도 상관없다. 그 경우에는 적절한 타이밍으로 분리부(303)에서 분리된 부호 데이터의 일부로부터, 프레임이나 블록군 등의 단위별로 선택 방법을 나타내는 정보를 복호하고, 복호 결과를 피사체 수 설정부(304)에 통지할 필요가 있다.

피사체 수의 설정이 종료되면, 다음으로 피사체 화소치 설정부(305)에서, 복호 화상 메모리(309)에 축적되어 있는 블록 blk 주변 화소군에 대한 화상 신호를 이용하여 블록 blk내의 피사체마다 피사체를 대표하는 화소치를 설정한다(단계 S305).

이하에서는, 이 피사체를 대표하는 화소치를 피사체 화소치라고 칭하고 Value (i)로 나타낸다. 여기서, i는 피사체를 식별하기 위한 피사체 식별자로 하고 0 이상 numObjs 미만의 정수이다. 피사체 식별자는 미리 정해진 규칙에 따라 할당한다. 여기에서는, 피사체 화소치가 작은 순서대로 할당되어 있는 것으로 한다.

또한 여기서 사용되는 복호 화상 메모리(309)에 축적되어 있는 블록 blk 주변 화소의 집합을 제2 참조 화소라고 부른다. 여기에서의 처리는 제1 실시형태의 단계 S104의 처리와 같고, 제2 참조 화소의 선택 방법이나 제2 참조 화소에 대한 화소치를 이용하여 피사체 화소치를 결정하는 방법에서는, 부호화측과 같은 처리라면 어떠한 방법을 이용해도 상관없다.

다음으로 피사체 맵 복호부(306)에서, 분리된 부호 데이터로부터 피사체 맵을 복호한다(단계S306). 피사체 맵의 복호는 부호화시에 이용된 방법에 따라 다르다.

예를 들면, 피사체 수에 따라 각 피사체 식별자에 고정장 또는 가변장의 부호를 할당하고 래스터 스캔이나 지그재그 스캔 등을 이용하여 2차원의 맵 정보를 1차원의 바이너리 데이터로 변환함으로써 부호화하는 경우가 있다.

그 경우에는, 부호 데이터로서 주어진 1차원의 바이너리 데이터를 순서대로 주사하여 대응하는 피사체 식별자가 발견될 때마다 래스터 스캔이나 지그재그 스캔 등 부호화시와 같은 순서로 화소마다 피사체 식별자를 할당함으로써 복호한다.

다른 방법으로 미리 정해진 순서로 스캔하면서 블록 blk내의 각 화소에 대한 피사체 식별자를 부호화할 때 각 화소에 대해 주위의 이미 부호화 완료된 화소를 참조 화소로 설정하고, 그 참조 화소에서의 피사체 식별자에 따라 확률 테이블을 변화시키면서 산술 부호화하는 경우가 있다.

그러한 경우에는 사용된 스캔 순서와 같은 순서대로 화소마다 주위의 이미 복호 완료된 화소를 참조 화소로 설정하고, 그 화소에서의 피사체 식별자에 따라 확률 테이블을 변화시키면서 산술 복호를 한다.

확률 테이블의 수나 초기치, 갱신 방법, 설정 방법은 부호화시와 같은 수법을 이용함으로써 올바르게 복호할 수 있다.

또 다른 방법으로 트리 구조의 데이터를 이용하여 피사체 맵이 부호화되는 경우가 있다. 그 경우에도 부호화시의 방법에 대응한 방법을 이용함으로써 부호 데이터로부터 피사체 맵을 복호할 수 있다.

주어진 부호 데이터로부터 트리 구조의 데이터를 통해 피사체 맵을 복호하는 처리에서는, 우선 부호 데이터의 바이너리 열로부터 트리 구조의 데이터를 나타내는 수열을 복호한다. 바이너리 열로부터 트리 구조 데이터 수열을 복호할 때에는 부호화시에 이용된 방법에 대응한 방법을 이용할 필요가 있다.

예를 들면, 가변 확률 테이블을 이용한 산술 부호화가 이루어지는 경우에는, 부호화시와 같은 방법으로 확률 테이블을 갱신하면서 부호 데이터로부터 비압축의 바이너리 열을 복호한다. 비압축의 바이너리 열은, 부호화시에 이용한 것과 같은 고정장 또는 가변장의 테이블을 참조하여 역변환하여 부호화 전의 수열을 복호한다.

트리 구조 데이터를 나타내는 수열을 복호할 수 있다면, 그 수열을 해독하여 트리 구조의 데이터를 구축한다. 여기에서는 부호화시에 트리 구조로부터 수열을 생성한 것과 반대의 변환을 실시할 필요가 있다.

아울러 트리 구조의 정의도 부호화측과 공유할 필요가 있다. 예를 들면, 블록 blk를 루트로 하여 각 노드는 0 ∼ numObjs의 숫자를 가지고, 0이 할당되어 있는 노드는 4개의 자식 노드를 가진 트리 구조가 정의되어 트리를 깊이 우선 탐색으로 스캔하여 수열을 생성하는 경우, 수열 0100133332O33231020232222가 주어진 경우에는 도 14와 같은 트리가 복원된다.

트리 구조 데이터가 얻어졌으면 그로부터 피사체 맵을 복원한다. 이 복원에는 부호화측과 트리 구조의 정의를 공유할 필요가 있으며, 그 정의를 이용하여 복원한다.

예를 들면, 트리의 루트는 블록 blk 전체를 표현하며, 자식 노드는 부모 노드를 종횡 2 등분하여 생기는 4개의 서브 블록(래스터 스캔 순서)에 대응하고 있으며, 각 노드에 할당된 0 이외의 숫자에서 1을 뺀 수가, 대응하는 블록에 포함되는 모든 화소의 피사체 식별자를 나타내고 있는 경우, 도 14의 트리에서는 도 15의 피사체 맵을 복호할 수 있다.

아울러 여기에서 나타낸 트리 구조나 수열의 정의 등은 일례로서, 부호화측과 정의를 공유할 수 있다면 어떠한 방법을 이용해도 상관없다.

피사체 맵의 복호가 종료되면, 다음으로 예측 화상 생성부(307)에서 블록 blk에 대한 예측 화상을 생성한다(단계 S307). 여기에서의 처리는 제1 실시형태의 단계 S107과 같다.

아울러 상기와 같이 만들어진 예측 화상에 대해 디서를 부가적으로 가해도 상관없다.

피사체 맵과 피사체 화소치를 이용한 예측 화상에서는, 피사체 수와 같은 수의 화소치밖에 존재하지 않기 때문에, 자연 화상과는 다른 성질을 가진 화상이 된다. 따라서 디서를 가함으로써 자연 화상에 더욱 가까운 변화를 줄 수 있다.

디서 생성에는 임의의 방법을 이용할 수 있는데, 디서를 가할지 여부를 포함시켜 부호화측과 같은 수법을 이용할 필요가 있다. 아울러 부호 데이터에 디서 생성 장치의 초기화 등에 필요한 부가 정보가 포함되어 있는 경우에는 그것을 복호하여 이용한다.

예측 화상이 얻어졌으면 화상 신호 복호부(308)에서 블록 blk에 대한 화상 신호를 복호하여 복호 결과의 화상 신호를 출력함과 동시에 복호 화상 메모리(309)에 축적한다(단계 S308).

화상 신호의 복호는 부호화시에 이용된 방법에 따라 다르다. 예를 들면 MPEG-2나 H.264/AVC 등의 일반적인 부호화가 이용되는 경우에는 부호 데이터에 대해 엔트로피 복호, 역 2 치화, 역양자화, IDCT 등의 주파수 역변환을 실시함으로써 예측 잔차를 복호하고 그 결과에 예측 화상을 더함으로써 블록 blk의 화상 신호를 복원한다.

복호하여 얻어진 화상 신호는, 다른 블록을 복호할 때에 피사체 수나 피사체 화소치를 생성 또는 예측하기 위해 이용된다.

아울러 제3 실시형태에서는, 피사체 수와 피사체 화소치 양쪽을 블록 blk 주변 화소의 화소치를 분석하여 설정하였으나, 어느 한쪽만 블록blk 주변 화소의 화소치를 분석하여 설정해도 상관없다. 그 경우 설정되지 않은 쪽 정보는 부호 데이터의 일부로서 부호화되어 입력되는 것으로 한다. 즉, 분리부(303)에 의해 설정되지 않은 쪽 데이터에 대한 부호 데이터를 분리하여 그것을 복호함으로써 필요한 정보를 설정한다.

도 16에, 블록 blk 주변 화소의 화소치를 분석하여 피사체 수만을 설정하고, 피사체 화소치를 부호 데이터로부터 복호하여 설정하는 경우의 화상 복호 장치의 블록도를 도시한다.

도 16에 도시한 화상 복호 장치(300')가, 도 12에 도시한 화상 복호 장치(300)와 다른 점은, 피사체 화소치 설정부(305) 대신에 피사체 화소치 복호부(310)를 가지고, 피사체 화소치 복호부(310)는 분리부(303)에서 분리한 피사체 화소치의 부호 데이터로부터 각 피사체의 피사체 화소치를 복호하는 것이다. 다른 구성은, 도 12에 도시한 화상 복호 장치(300)와 동일하다.

〔제4 실시형태: 화상 복호 장치〕

다음으로, 본 발명의 제4 실시형태에 대해 설명하기로 한다.

도 17은, 제4 실시형태에 의한 화상 복호 장치의 구성예를 도시한 블록도이다.

화상 복호 장치(400)는, 도 17에 도시한 바와 같이 부호 데이터 입력부(401), 부호 데이터 메모리(402), 분리부(403), 피사체 수 예측부(404), 피사체 수 복호부(405), 피사체 맵 복호부(406), 피사체 화소치 예측부(407), 피사체 화소치 복호부(408), 예측 화상 생성부(409), 화상 신호 복호부(410) 및 복호 화상 메모리(411)를 구비하고 있다.

부호 데이터 입력부(401)는 복호 대상이 되는 화상 프레임의 부호 데이터를 입력한다.

부호 데이터 메모리(402)는 입력된 부호 데이터를 축적한다.

분리부(403)는 다중화된 부호 데이터를 복수의 다른 정보가 부호화되는 부호 데이터로 분리한다.

피사체 수 예측부(404)는 미리 정해진 크기의 처리 영역에 포함되는 피사체 수의 예측치를 설정한다. 이 피사체 수의 예측치를 예측 피사체 수라고 부른다.

피사체 수 복호부(405)는 처리 영역마다 예측 피사체 수를 이용하여 부호 데이터로부터 처리 영역에 포함되는 피사체 수를 복호한다.

피사체 맵 복호부(406)는 부호 데이터로부터 피사체 맵을 복호한다. 피사체 맵이란, 처리 영역의 각 화소에서의 피사체를 식별하기 위한 정보이다.

피사체 화소치 예측부(407)는 처리 영역에 주어진 수의 피사체가 존재한다고 가정하고, 처리 영역 주변의 복호 화상을 이용하여 피사체 화소치의 예측치를 설정한다. 이 피사체 화소치의 예측치를 예측 피사체 화소치라고 부른다.

피사체 화소치 복호부(408)는 처리 영역마다 예측 피사체 화소치를 이용하여 부호 데이터로부터 피사체 화소치를 복호한다.

예측 화상 생성부(409)는 처리 영역에 대해 피사체 화소치와 피사체 맵으로부터 처리 영역에 대한 예측 화상을 생성한다.

화상 신호 복호부(410)는 처리 영역마다 예측 화상을 이용하여 부호 데이터로부터 복호 대상 프레임의 화상 신호를 복호한다.

복호 화상 메모리(411)는 복호된 화상 신호를 축적한다.

도 18은, 제4 실시형태에 의한 화상 복호 장치(400)의 동작을 설명하기 위한 흐름도이다. 이 흐름도에 따라 화상 복호 장치(400)가 실행하는 처리에 대해 상세히 설명하기로 한다.

우선 부호 데이터 입력부(401)에 의해 복호 대상 프레임에 대한 부호 데이터를 입력하고 부호 데이터 메모리(402)에 저장한다(단계 S401).

부호 데이터의 저장이 종료되면 복호 대상 프레임을 분할하고, 그 영역마다 복호 대상 프레임의 화상 신호를 복호한다(단계들 S402 ∼ S412).

즉, 복호 대상 블록 인덱스를 blk, 총 복호 대상 블록 수를 numBlks로 나타낸다면, blk를 0으로 초기화하고(단계 S402), 그 후 blk에 1을 가산하면서(단계 S411) blk가 numBlks가 될 때까지(단계 S412) 이하의 처리(단계들 S403 ∼ S410)를 반복한다.

복호 대상 블록마다 반복되는 처리에서는, 우선 분리부(403)에서, 입력된 부호 데이터를 복수 정보의 부호 데이터로 분리한다(단계 S403).

제4 실시형태에서는, 복수 정보의 부호 데이터가 블록 단위로 인터리브되어 있는 예로 설명하였으나, 프레임 등 다른 단위로 인터리브되어 있는 경우에는 이 부호 데이터의 분리를 블록 단위로 반복할 필요는 없다.

다음으로, 피사체 수 예측부(404)에서 복호 화상 메모리(411)에 축적되어 있는 블록 blk의 주변 화소군에 대한 화상 신호를 이용하여 블록 blk에 대한 예측 피사체 수를 생성한다(단계 S404).

여기에서 이용한 복호 화상 메모리(411)에 축적되어 있는 블록 blk 주변 화소의 집합을 제1 참조 화소라고 부른다. 여기에서의 처리는 제2 실시형태의 단계 S204와 같고, 이러한 제1 참조 화소의 선택 방법이나 제1 참조 화소에 대한 화소치로부터 예측 피사체 수를 설정하는 방법에서는, 부호화 측과 같은 처리라면 어떠한 방법을 이용해도 상관없다.

예측 피사체 수의 생성이 종료되면, 다음으로 피사체 수 복호부(405)에서 부호 데이터로부터 예측 피사체 수를 이용하여 피사체 수를 복호한다(단계 S405).

여기에서 이용하는 복호 방법은 부호화시에 이용된 방법에 따라 다르다. 예를 들면, 부호 데이터가 피사체 수와 예측 피사체 수의 차분치의 값에 대한 어느 부호 테이블 상의 부호어인 경우, 같은 부호 테이블을 사용하여 부호 데이터에 해당하는 부호어를 가진 차분치를 찾아내고 그 값에 예측 피사체 수를 더함으로써 피사체 수를 복호한다.

다음으로, 피사체 맵 복호부(406)에서, 분리된 부호 데이터로부터 피사체 맵을 복호한다(단계 S406).

피사체 맵의 복호는 부호화시에 이용된 방법에 따라 다르다. 아울러 여기에서의 처리는 제3 실시형태의 단계 S306의 처리와 같다.

다음으로, 피사체 화소치 예측부(407)에서, 복호 화상 메모리(411)에 축적되어 있는 블록 blk의 주변 화소군에 대한 화상 신호를 이용하여 피사체 수와 같은 수의 예측 피사체 화소치를 생성한다(단계 S407). 또한 여기에서 사용되는 복호 화상 메모리(411)에 축적되어 있는 블록 blk 주변 화소의 집합을 제2 참조 화소라고 부른다.

여기에서의 처리는, 제2 실시형태에서의 단계 S207의 처리와 같고, 제2 참조 화소의 선택 방법이나 제2 참조 화소에 대한 화소치로부터 예측 피사체 화소치를 설정하는 방법에서는, 부호화 측과 같은 처리라면 어떠한 방법을 이용해도 상관없다.

예측 피사체 화소치의 생성이 종료되면, 다음으로 피사체 화소치 복호부(408)에서 부호 데이터로부터 예측 피사체 화소치를 이용하여 피사체 화소치를 복호한다(단계 S408).

여기에서 이용하는 복호 방법은 부호화시에 이용된 방법에 따라 다르다. 이하, 몇 가지 예를 들긴 하는데, 어느 수법을 이용하여 부호화되는지는 복호 측에서는 기지(旣知)의 것이거나, 또는 소정의 부가 정보를 이용하여 통지된다.

예를 들면, 피사체 화소치와 예측 피사체 화소치를 각각 작은 순서대로 나열하여 쌍을 만들고 각각의 쌍에 대해 피사체 화소치로부터 예측 피사체 화소치를 뺀 차분치를 계산하고, 그 차분치에 대응하는 어느 부호 테이블 상의 부호어를 이용하여 부호 데이터가 만들어진 경우에는, 같은 부호 테이블을 이용하여 부호 데이터에 해당하는 부호어를 가진 차분치를 찾아내고 그 차분치에 예측 피사체 화소치를 더함으로써 피사체 화소치를 순서대로 복호한다.

또한 차분치가 그대로 부호화되지 않고 차분치가 양자화하여 부호화된 경우에는, 역양자화한 후에 예측 피사체 화소치를 더해 복호 처리를 수행한다.

아울러 양자화 파라미터가 부호화되는 경우에는, 그것을 먼저 복호해 둘 필요가 있다. 다른 장소에서 이용한 양자화 파라미터를 유용할 경우에는, 그 파라미터 치를 먼저 피사체 화소치 복호부(408)에 통지해 둘 필요가 있다.

또한, 다른 방법으로 예측 피사체 화소치뿐 아니라 블록 blk에서 먼저 부호화한 피사체 화소치를 이용하여 예측 부호화되는 방법이 이용되는 경우가 있다. 그 경우에는 부호화 측에서 실시한 순서와 같은 방법으로 예측 부호화할 때의 예측치를 생성하여 부호 데이터로부터 얻어지는 차분치에 더함으로써 피사체 화소치를 복호할 필요가 있다.

또 다른 예로서 피사체 맵에 한 번도 나타나지 않은 피사체 식별자에 대한 피사체 화소치를 부호화하지 않는 경우도 있다. 그때에는 피사체 화소치를 순서대로 복호할 때 피사체 맵에 한 번도 나타나지 않은 피사체 식별자에 대한 피사체 화소치를 복호할 차례가 되었을 때에 적당한 값을 할당하여 복호를 스킵할 필요가 있다.

피사체 화소치의 복호가 종료되면, 다음으로 예측 화상 생성부(409)에서 블록 blk에 대한 예측 화상을 생성한다(단계 S409). 여기에서의 처리는 제2 실시형태의 단계 S211과 같다.

아울러 상기와 같이 만들어진 예측 화상에 대해 디서를 부가적으로 가해도 상관없다. 피사체 맵과 피사체 화소치를 이용한 예측 화상에서는 피사체 수와 같은 수의 화소치밖에 존재하지 않기 때문에 자연 화상과는 다른 성질을 가진 화상이 된다. 따라서 디서를 가함으로써 자연 화상에 더욱 가까운 변화를 줄 수 있다. 디서 생성에는 임의의 방법을 이용할 수 있는데, 디서를 가하는지 여부를 포함시켜 부호화 측과 같은 수법을 이용할 필요가 있다. 아울러 부호 데이터에 디서 생성 장치의 초기화 등에 필요한 부가 정보가 포함되어 있는 경우에는 그것을 복호하여 이용한다.

예측 화상이 얻어졌으면 화상 신호 복호부(410)에서, 블록 blk에 대한 화상 신호를 복호하여 복호 결과의 화상 신호를 출력함과 동시에 복호 화상 메모리(411)에 축적한다(단계 S410).

화상 신호의 복호는 부호화시에 이용된 방법에 따라 다르다. 예를 들면 MPEG-2나 H.264/AVC 등의 일반적인 부호화가 이용되는 경우에는, 부호 데이터에 대해 엔트로피 복호, 역 2 치화, 역양자화, IDCT 등의 주파수 역변환을 실시함으로써 예측 잔차를 복호하고 그 결과에 예측 화상을 더함으로써 블록 blk의 화상 신호를 복원한다.

제4 실시형태에서는, 피사체 수와 피사체 화소치의 양쪽에 대해 블록 blk 주변 화소의 화소치를 분석하고 예측 피사체 수와 예측 피사체 화소치를 설정하여 복호하였으나, 어느 한쪽만 블록 blk 주변 화소의 화소치를 분석하여 설정한 예측치를 이용하여 복호하고, 예측치가 설정되지 않은 쪽의 정보는, 예측치를 이용하지 않고 부호 데이터로부터 직접 그 정보를 복호하도록 해도 상관없다.

도 19에, 상술한 제1 실시형태에서 생성되는 부호 데이터 및 제3 실시형태에서 입력되는 부호 데이터의 블록별 신택스의 일례를 도시한다.

여기에서 mb_type는 예측 모드를 나타내는 정보로서, H.264/AVC 등의 인트라 예측 등이 혼재되는 경우에 본 발명에 의해 부호화된 블록인지 여부를 판별하기 위한 정보이다.

이 예에서는, mb_type가 MAP_BASED_PRED와 동일한 경우에 본 발명에 의해 부호화된 블록인 것을 나타낸다. 아울러 만약 모든 블록에서 본 발명을 적용할 경우 신택스 mb_type와 그 다음의 조건 분기도 필요없다.

또한 map_object는 피사체 맵, residuals는 화상 신호의 예측 잔차를 나타내고 있다.

이 예에서는, residuals를 if 블록 안에 넣었는데, 예측 모드에 의하지 않고 잔차 신호를 부호화할 경우에는 if 블록 밖으로 내보내도 상관없다.

도 20에, 상술한 제2 실시형태에서 생성되는 부호 데이터 및 제4 실시형태에서 입력되는 부호 데이터의 블록별 신택스의 일례를 도시한다.

여기에서 diff_num_objects는 피사체 수의 예측 잔차, num_objects는 피사체 수, exist(i,j)는 피사체 맵 j내에 피사체 식별자 i가 존재할 경우에 TRUE, 그렇지 않은 경우에 FALSE를 되돌려주는 함수, residual_value_object [i]는 피사체 식별자가 i인 피사체 화소치의 예측 잔차를 나타내고 있다

이 예에서는, residuals를 if 블록 밖으로 내보냈으나 예측 모드에 따라서는 잔차 신호를 부호화하지 않는 경우에는 if 블록 안에 넣을 필요가 있다.

다음으로, 본 실시형태에서 피사체 수, 피사체 맵, 피사체 화소치를 관리하기 위한 데이터 구조의 예를 설명하기로 한다.

도 21a 및 도 21b는, 예측 화상의 생성에 이용하는 부가 정보의 데이터 구조의 예를 도시한 도면이다. 피사체 화소치를 이용한 예측 부호화에서는, 예를 들면 도 21a에 도시한 것처럼 부가 정보를 메모리 내에서 관리한다.

이러한 부가 정보로서 피사체 수와 피사체 맵과 각 피사체 식별자의 피사체 화소치가 설정된다.

피사체 수 N는 정수이다. 피사체 맵은, 블록 내의 화소 수와 같은 길이의 0 ∼ N-1의 정수 열이다. 피사체 화소치는, 예측 없는 경우에 부호 없는 정수이며, 예측 있는 경우에 부호 있는 정수(음의 수를 고려함)이다.

도 21b는, 부가 정보의 구체예를 도시하였다. 피사체 수는 3이고, 모든 피사체 식별자가 피사체 맵에 나타나기 때문에, 모든 피사체 식별자에 대해 피사체 화소치가 존재한다.

아울러 피사체 맵을 트리 구조로 표현한 트리 구조 피사체 맵으로서 유지해도 좋다. 트리 구조 피사체 맵은 가변장의 정수 열이며, 예를 들면, 도 8의 트리 구조 피사체 맵의 경우 0101013332033230120111222의 정수 열이 된다.

또한 피사체 맵을 블록 분할 정보와 블록내 피사체 식별자 정보로 나누어 관리해도 좋다. 블록 분할 정보는, 트리 구조 피사체 맵을 이용했을 때의 리프 이외의 노드를 스캔한 결과를 나타내며, 블록내 피사체 식별자 정보는, 트리 구조 피사체 맵을 이용했을 때의 리프를 스캔한 결과를 나타낸다.

예를 들면 도 7의 트리 구조 피사체 맵의 경우, 블록 분할 정보는 0101010011011이 되고, 블록내 피사체 식별자 정보는 0002221221201000111이 된다

도 22a 및 도 22b는, 예측 부가 정보의 데이터 구조의 예를 도시한 도면이다. 본 실시형태에서는 피사체 수 또는 피사체 화소치를 예측치를 이용하여 부호화하기 때문에 도 22a에 도시한 예측 부가 정보를 생성한다.

피사체 수 예측치는 정수이며, 피사체 화소치 예측치는 입력 화상과 같은 비트 심도의 부호 없는 정수이다.

도 22b는, 그 구체예를 도시하고 있으며 피사체 수 예측치는 2이고, 피사체 식별자 0, 1, 2의 피사체 화소치 예측치는 각각 25, 123, 191로 되어 있다.

이상의 정보를 토대로 각 부호화 대상 블록에 대해 부호화한다. 이하, 각 블록에서 부호화되는 데이터 구조의 예에 대해 설명하기로 한다.

[부호화되는 데이터 구조의 예 1]

도 23a 및 도 23b는, 각 블록에서 부호화되는 데이터의 구조의 예 1을 도시한 도면이다. 이 예는 제1 실시형태, 제3 실시형태에서 이용되는 예이다.

부호 데이터로의 부가 정보로서, 도 23a에 도시한 바와 같이 예측 모드를 나타내는 정보 mb_type와 피사체 맵과 예측 잔차 신호가 설정된다.

도 23b에 그 구체예를 도시한다. 본 발명을 이용한 화상 예측을 수행할 경우 예측 모드를 나타내는 정보 mb_type는 MAP_BASED_PRED가 된다.

[부호화되는 데이터의 구조의 예 2]

도 24a 및 도 24b는, 각 블록에서 부호화되는 데이터의 구조의 예 2를 도시한 도면이다. 이 예는, 피사체 수의 데이터만 부호화하지 않는 경우의 예이다.

부호 데이터로의 부가 정보로서, 도 24a에 도시한 바와 같이 예측 모드를 나타내는 정보 mb_type와 피사체 맵과 각 피사체의 피사체 화소치 예측 차분치와 예측 잔차 신호가 설정된다. 피사체 화소치 예측 차분치는 부호 있는 정수이며, 입력 화상의 비트 심도에 1 비트 더한 비트 심도가 된다.

도 24b에 그 구체예를 도시한다. 각 피사체 식별자 0, 1, 2에 대해 -2, +3, +10의 피사체 화소치 예측 차분치가 설정되어 있다.

[부호화되는 데이터의 구조의 예 3]

도 25a 및 도 25b는, 각 블록에서 부호화되는 데이터의 구조의 예 3을 도시한 도면이다. 이 예는 제2 실시형태, 제4 실시형태에서 이용되는 예이다.

부호 데이터로의 부가 정보로서 도 25a에 도시한 바와 같이, 예측 모드를 나타내는 정보 mb_type와 피사체 수 예측 차분치와 트리 구조 피사체 맵과 각 피사체의 피사체 화소치 예측 차분치와 예측 잔차 신호가 설정된다.

도 25b에 그 구체예를 도시한다. 이 예에서는, 피사체 맵이 트리 구조로 표현되어 있다.

[부호화되는 데이터의 구조의 예 4]

도 26a 및 도 26b는, 각 블록에서 부호화되는 데이터의 구조의 예 4를 도시한 도면이다. 이 예는, 피사체 수의 데이터가 부호화되지 않고 또한 사용되지 않는 피사체 식별자가 있는 경우의 예이다.

부호 데이터로의 부가 정보로서, 도 26a에 도시한 바와 같이 예측 모드를 나타내는 정보 mb_type과 블록 분할 정보 및 블록내 피사체 식별자 정보로 표현되는 피사체 맵과 각 피사체의 피사체 화소치 예측 차분치와 예측 잔차 신호가 설정된다.

도 26b에 그 구체예를 도시한다. 이 예에서는, 피사체 식별자 2가 사용되지 않기 때문에 그 피사체 화소치 예측치가 부호화되는 데이터에서 생략되었다.

상술한 제1 ∼ 제4 실시형태에서는, 1 프레임 중의 모든 블록을 본 발명에 의해 부호화 및 복호하는 처리를 설명하였으나, 일부 블록에만 적용하고 나머지 블록에서는 H.264/AVC 등에서 이용되는 화면내 예측 부호화나 움직임 보상 예측 부호화 등을 이용하여 부호화해도 좋다.

그 경우에는 블록마다 어느 방법을 이용하여 부호화했는지를 나타내는 정보를 부호화 및 복호할 필요가 있다.

상술한 제1 ∼ 제4 실시형태에서는, 1 프레임을 부호화 및 복호하는 처리를 설명하였으나, 복수 프레임을 반복함으로써 동영상 부호화에도 적용할 수 있다. 또한 동영상의 일부 프레임이나 일부 블록에만 적용할 수도 있다.

그 경우, 피사체의 존재에는 공간적뿐 아니라 시간적인 연속성이 있기 때문에 주변 화소를 공간 방향뿐 아니라 시간 방향으로도 확장하여 이용하는 것은 용이하게 유추 가능하다.

이상 설명한 화상 부호화 및 화상 복호의 처리는 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있으며 그 프로그램을 컴퓨터로 읽을 수 있는 기록매체에 기록하여 제공할 수도 있고, 네트워크를 통해 제공할 수도 있다.

도 27에, 화상 부호화 장치를 컴퓨터와 소프트웨어 프로그램으로 구성하는 경우의 하드웨어 구성예를 도시한다. 본 시스템은,

·프로그램을 실행하는 CPU(50)

·CPU(50)가 액세스하는 프로그램이나 데이터가 저장되는 RAM 등의 메모리(51)

·카메라 등으로부터의 부호화 대상의 화상 신호를 입력하는 부호화 대상 프레임 입력부(52)(디스크 장치 등에 의한 화상 신호를 기억하는 기억부이여도 좋다)

·도 1 및 도 2 등에서 설명한 처리를 CPU(50)에 실행시키는 소프트웨어 프로그램인 화상 부호화 프로그램(531)이 저장된 프로그램 기억장치(53)

·CPU(50)가 메모리(51)에 로드된 화상 부호화 프로그램(531)을 실행함으로써 생성된 다중화 부호 데이터를, 예를 들면 네트워크를 통해 출력하는 다중화 부호 데이터 출력부(54)(디스크 장치 등에 의한 다중화 부호 데이터를 기억하는 기억부이여도 좋다)

가 버스로 접속된 구성으로 되어 있다.

도시는 생략되었으나, 기타 피사체 수 기억부, 피사체 맵 기억부, 피사체 화소치 기억부, 예측 화상 기억부, 피사체 맵 부호 데이터 기억부, 화상 정보 부호 데이터 기억부, 복호 화상 기억부 등의 하드웨어가 설치되어 본 수법의 실시에 이용된다.

또한 피사체 화소치 부호 데이터 기억부가 이용되기도 하고 또한 피사체 수 부호 데이터 기억부, 피사체 수 예측치 기억부, 피사체 화소치 예측치 기억부가 이용되기도 한다.

도 28에, 화상 복호 장치를 컴퓨터와 소프트웨어 프로그램으로 구성하는 경우의 하드웨어 구성예를 도시한다. 본 시스템은,

·프로그램을 실행하는 CPU(60)

·CPU(60)가 액세스하는 프로그램이나 데이터가 저장되는 RAM 등의 메모리(61)

·화상 부호화 장치가 상술한 수법에 의해 부호화된 다중화 부호 데이터를 입력하는 다중화 부호 데이터 입력부(62)(디스크 장치 등에 의한 다중화 부호 데이터를 기억하는 기억부이여도 좋다)

·도 10 및 도 11 등에서 설명한 처리를 CPU(60)에 실행시키는 소프트웨어 프로그램인 화상 복호 프로그램(631)이 저장된 프로그램 기억장치(63)

·CPU(60)가 메모리(61)에 로드된 화상 복호 프로그램(631)을 실행함으로써 다중화 부호 데이터를 복호하여 얻어진 복호 화상 데이터를 재생장치 등에 출력하는 복호 화상 데이터 출력부(64)

가 버스로 접속된 구성으로 되어 있다.

도시는 생략되었으나, 그 밖에 피사체 수 기억부, 피사체 맵 기억부, 피사체 화소치 기억부, 예측 화상 기억부, 피사체 맵 부호 데이터 기억부, 화상 정보 부호 데이터 기억부 등의 하드웨어가 설치되어 본 수법의 실시에 이용된다.

〔효과의 검증〕

종래 수법(예를 들면, H.264/AVC)과 본 발명을 이용한 수법(본 수법이라고 한다)의 부호량을 비교한다.

1.개념적인 부호량의 비교

1.1.부가 정보의 부호량

부가 정보는, 종래 수법에서는 엣지의 방향을 나타내는 정보로서, 2차원 벡터이다. 이에 반해 본 수법에 의한 부가 정보는, 피사체 맵(이차원 정보)으로서, 조건에 따라 다르지만 처리 블록을 16×16, 피사체 수를 4로 한 경우, 비트량은 약 64배가 된다(단, 엔트로피 부호화함으로써 약 4배 정도로 할 수 있다).

1.2.예측 잔차의 부호량

엣지가 강한 화상에서는, 예측 화상과 입력 화상에서 물체 형상이 크게 다르면 그 예측 잔차를 주파수 영역으로 변환해도 정보를 효율적으로 저역에 집중시킬 수 없어 예측 잔차의 부호량이 매우 많아진다.

즉, 직선적인 표현밖에 할 수 없는 종래 수법보다 임의의 형상을 표현할 수 있는 본 수법이 예측 잔차의 부호량을 줄일 수 있다. 대상 화상이나 부호화 조건에 따라 다르지만 예측 잔차의 부호량은 약 3분의 1로 할 수 있다.

1.3.전체 부호량

일반적인 부호화 레이트에서 종래 수법의 예측 잔차의 부호량은 부호량 전체의 약 9할을 차지한다. 즉, 전체의 부호량을 100으로 하면 부가 정보가 10이고 예측 잔차가 90이 된다.

본 수법에 의해 부가 정보가 4배, 예측 잔차가 1/3이 된다면 본 수법에 따라 전체 부호량은 70으로 할 수 있다.

2.실험예

도 29에, 어느 샘플 화상에 대해 본 수법과 종래 수법을 이용하여 부호화한 경우의 발생 부호량 및 화상 품질의 비교를 도시한다.

도 29에 도시한 그래프에서 세로축의 Y-PSNR은 화상의 품질(단위는 dB임), 횡축의 bitrate는 부호량(단위는 bps/view임)을 나타내고 있다. Y-PSNR의 값은 클수록 깨끗한 화상임을 나타낸다.

도 29에서, A의 곡선이 본 수법에 의한 부호량과 화상의 품질 관계를 도시하고 있으며, B의 곡선이 종래 수법에 의한 부호량과 화상의 품질 관계를 도시하고 있다.

2.1.부호량 삭감 효과로서의 해석(굵은 화살표)

도 29의 그래프로부터, Y-PSNR이 43dB이 될 때 종래 수법(H.264/AVC)에서는 약 650kbps의 부호량이 필요하며, 본 수법에서는 약 325kbps의 부호량이 필요함을 알 수 있다. 이로부터 같은 품질로 부호화할 경우 본 수법에 따라 부호량을 반으로 할 수 있다는 것을 알 수 있다.

2.2.품질 개선 효과로서의 해석(가는 화살표)

도 29의 그래프로부터, bitrate가 400kbps가 될 때 종래 수법(H.264/AVC)에서는 약 39dB의 품질이며, 본 수법에서는 약 44.5dB의 품질이라는 것을 알 수 있다. 이로부터, 같은 부호량으로 부호화할 경우 본 수법에 따라 5.5dB 화질을 개선(왜곡량을 약72% 삭감함)할 수 있음을 알 수 있다.

이상, 도면을 참조하여 본 발명의 실시형태를 설명하였으나, 상기 실시형태는 본 발명의 예시에 불과하며 본 발명이 상기 실시형태로 한정되지 않는다는 것은 분명하다. 따라서 본 발명의 정신 및 기술적 범위를 벗어나지 않는 범위에서 구성요소의 추가, 생략, 치환, 기타 변경을 실시해도 좋다.

<산업상 이용 가능성>

본 발명에 의하면, 거리 화상과 같은 화소치가 피사체에 크게 의존하고 국소적으로는 한정된 수의 피사체밖에 존재하지 않는 화상에 대해 화상 전체를 분할하여 영역마다 다른 방법으로 화상 신호를 예측하면서 화상을 예측 부호화할 경우에 피사체 존재의 공간적인 연속성을 이용하여 피사체 수나 각 피사체의 대표적인 화소치를 예측한다. 이로써 피사체별 대표 화소치와 피사체 식별 정보를 이용한 화상 신호 예측에 필요한 부가 정보의 표현에 필요한 부호량을 삭감하여 효율적인 화상 부호화를 실현할 수 있다.

100, 200 화상 부호화 장치
101, 201 부호화 대상 프레임 입력부
102, 202 부호화 대상 프레임 메모리
103, 203, 304 피사체 수 설정부
104, 204, 305 피사체 화소치 설정부
105, 205 피사체 맵 생성부
106, 208 피사체 맵 부호화부
107, 211 예측 화상 생성부
108, 212 화상 신호 부호화부
109, 213 화상 신호 복호부
110, 214 복호 화상 메모리
111, 215 다중화부
112, 210 피사체 화소치 부호화부
206, 404 피사체 수 예측부
207 피사체 수 부호화부
209, 407 피사체 화소치 예측부
300, 400 화상 복호 장치
301, 401 부호 데이터 입력부
302, 402 부호 데이터 메모리
303, 403 분리부
306, 406 피사체 맵 복호부
307, 409 예측 화상 생성부
308, 410 화상 신호 복호부
309, 411 복호 화상 메모리
310, 408 피사체 화소치 복호부
405 피사체 수 복호부

Claims

화상을 전송 또는 축적할 때 화상 프레임을 미리 정해진 크기의 처리 영역으로 분할하여 처리 영역마다 각 화소의 화소치를 예측하면서 부호화하는 화상 부호화 방법으로서,
처리 영역 주변의 이미 부호화 완료된 화소에 대한 화상 신호를 이용하여 처리 영역내에 존재하는 피사체의 수인 피사체 수를 예측하는 피사체 수 예측 단계,
상기 예측한 피사체 수에 기초하여 처리 영역내에 존재하는 피사체마다 각 피사체를 대표하는 1개의 화소치를 해당 피사체를 식별하는 피사체 식별자에 대응시켜 피사체 화소치로서 설정하는 피사체 화소치 설정 단계,
처리 영역내의 각 화소의 화소치와 각 피사체의 피사체 화소치의 근사성으로부터, 처리 영역내의 각 화소에 어느 피사체가 촬영되어 있는지를 피사체 식별자로 나타내는 피사체 맵을 생성하는 피사체 맵 생성 단계,
상기 피사체 맵에 따라 각 화소에 상기 피사체 화소치의 값을 할당함으로써 처리 영역에 대한 예측 화상을 생성하는 예측 화상 생성 단계,
상기 피사체 맵을 부호화하는 피사체 맵 부호화 단계,
상기 피사체 화소치를 부호화하는 피사체 화소치 부호화 단계,
상기 예측 화상을 이용하여 처리 영역에 대한 화상 신호를 예측 부호화하는 화상 신호 부호화 단계를 갖는
것을 특징으로 하는 화상 부호화 방법.
화상을 전송 또는 축적할 때 화상 프레임을 미리 정해진 크기의 처리 영역으로 분할하여 처리 영역마다 각 화소의 화소치를 예측하면서 부호화하는 화상 부호화 방법으로서,
처리 영역내에 존재하는 피사체의 수를 피사체 수로 설정하는 피사체 수 설정 단계,
처리 영역내에 상기 설정한 피사체 수와 같은 수의 피사체가 존재한다고 가정하고 처리 영역 주변의 이미 부호화 완료된 화소에 대한 화상 신호를 이용하여 피사체별로 대표적인 화소치인 피사체 화소치를 예측하는 피사체 화소치 예측 단계,
처리 영역내의 각 화소의 화소치와 각 피사체의 상기 피사체 화소치의 근사성으로부터, 처리 영역내의 각 화소에 어느 피사체가 촬영되어 있는지를, 각 피사체를 식별하는 피사체 식별자로 나타내는 피사체 맵을 생성하는 피사체 맵 생성 단계,
상기 피사체 맵에 따라 각 화소에 상기 피사체 화소치의 값을 할당함으로써 처리 영역에 대한 예측 화상을 생성하는 예측 화상 생성 단계,
상기 피사체 맵을 부호화하는 피사체 맵 부호화 단계,
상기 예측 화상을 이용하여 처리 영역에 대한 화상 신호를 예측 부호화하는 화상 신호 부호화 단계를 갖는
것을 특징으로 하는 화상 부호화 방법.
화상을 전송 또는 축적할 때 화상 프레임을 미리 정해진 크기의 처리 영역으로 분할하여 처리 영역마다 각 화소의 화소치를 예측하면서 부호화하는 화상 부호화 방법으로서,
처리 영역 주변의 이미 부호화 완료된 화소에 대한 화상 신호를 이용하여 처리 영역내에 존재하는 피사체의 수인 피사체 수를 예측하는 피사체 수 예측 단계,
상기 예측한 피사체 수에 기초하여 처리 영역 주변의 이미 부호화 완료된 화소에 대한 화상 신호를 이용하여 피사체별로 대표적인 화소치인 피사체 화소치를 예측하는 피사체 화소치 예측 단계,
처리 영역내의 각 화소의 화소치와 각 피사체의 상기 피사체 화소치의 근사성으로부터, 처리 영역내의 각 화소에 어느 피사체가 촬영되어 있는지를, 각 피사체를 식별하는 피사체 식별자로 나타내는 피사체 맵을 생성하는 피사체 맵 생성 단계,
상기 피사체 맵에 따라 각 화소에 상기 피사체 화소치의 값을 할당함으로써 처리 영역에 대한 예측 화상을 생성하는 예측 화상 생성 단계,
상기 피사체 맵을 부호화하는 피사체 맵 부호화 단계,
상기 예측 화상을 이용하여 처리 영역에 대한 화상 신호를 예측 부호화하는 화상 신호 부호화 단계를 갖는
것을 특징으로 하는 화상 부호화 방법.
청구항 1에 있어서, 상기 예측된 피사체 수와 처리 영역내의 화소에 대한 화상 신호를 이용하여 설정되는 피사체 수 중 어느 하나를 피사체 수로서 설정하는 피사체 수 설정 단계,
상기 피사체 수 설정 단계에서 상기 처리 영역내의 화소에 대한 화상 신호를 이용하여 설정되는 피사체 수가 설정되는 경우, 해당 피사체 수를, 상기 예측된 피사체 수 또는 부호화 완료된 피사체 수를 이용하여 예측 부호화하는 피사체 수 부호화 단계를 더 가지고,
상기 피사체 화소치 설정 단계에서는, 상기 피사체 수 설정 단계에서 설정한 피사체 수와 같은 수의 피사체가 존재한다고 가정하고 상기 피사체 화소치를 설정하는
것을 특징으로 하는 화상 부호화 방법.
청구항 3에 있어서, 상기 예측된 피사체 수와 처리 영역내의 화소에 대한 화상 신호를 이용하여 설정되는 피사체 수 중 어느 하나를 피사체 수로서 설정하는 피사체 수 설정 단계,
상기 피사체 수 설정 단계에서 상기 처리 영역내의 화소에 대한 화상 신호를 이용하여 설정되는 피사체 수가 설정되는 경우, 해당 피사체 수를, 상기 예측된 피사체 수 또는 부호화 완료된 피사체 수를 이용하여 예측 부호화하는 피사체 수 부호화 단계,를 더 가지고,
상기 피사체 화소치 예측 단계에서는, 처리 영역내에 상기 설정한 피사체 수와 같은 수의 피사체가 존재한다고 가정하여 상기 피사체 화소치를 예측하는
것을 특징으로 하는 화상 부호화 방법.
청구항 2 또는 3에 있어서, 상기 예측된 피사체 화소치와 처리 영역내의 화소에 대한 화상 신호를 이용하여 설정되는 피사체 화소치 중 어느 하나를, 피사체를 식별하는 피사체 식별자에 대응시켜 설정하는 피사체 화소치 설정 단계,
상기 피사체 화소치 설정 단계에서 상기 처리 영역내의 화소에 대한 화상 신호를 이용하여 설정되는 피사체 화소치가 설정될 경우, 해당 피사체 화소치를, 상기 예측된 피사체 화소치 또는 부호화 완료된 피사체 화소치를 이용하여 예측 부호화하는 피사체 화소치 부호화 단계를 더 가지고,
상기 피사체 맵 생성 단계에서는, 처리 영역내의 각 화소의 화소치와 상기 피사체 화소치 설정 단계에서 설정한 피사체 화소치로부터 상기 피사체 맵을 생성하는,
것을 특징으로 하는 화상 부호화 방법.
화상의 부호 데이터를 복호할 때 화상 프레임을 미리 정해진 크기의 처리 영역으로 분할하여 처리 영역마다 각 화소의 화소치를 예측하면서 복호하는 화상 복호 방법으로서,
처리 영역 주변의 이미 복호 완료된 화소에 대한 화상 신호를 이용하여 처리 영역내에 존재하는 피사체의 수인 피사체 수를 예측하는 피사체 수 예측 단계,
피사체 맵을 상기 부호 데이터로부터 복호하는 피사체 맵 복호 단계로서, 상기 피사체 맵은 처리 영역내의 각 화소에 촬영되어 있는 피사체를, 각 피사체를 식별하는 피사체 식별자를 각 화소에 할당하여 나타낸 것인, 단계,
상기 피사체 식별자마다 1개 설정된 피사체 화소치를 상기 부호 데이터로부터 복호하는 피사체 화소치 복호 단계,
상기 피사체 맵에 따라, 상기 피사체 맵 상의 각 화소에, 해당 화소에 할당된 상기 피사체 식별자에 대응하는 상기 피사체 화소치의 값을 할당함으로써 처리 영역에 대한 예측 화상을 생성하는 예측 화상 생성 단계,
상기 예측 화상을 이용하여 처리 영역에 대한 화상 신호를 복호하는 화상 신호 복호 단계를 갖는
것을 특징으로 하는 화상 복호 방법.
화상의 부호 데이터를 복호할 때 화상 프레임을 미리 정해진 크기의 처리 영역으로 분할하여 처리 영역마다 각 화소의 화소치를 예측하면서 복호하는 화상 복호 방법으로서,
처리 영역내에 존재하는 피사체의 수를 피사체 수로 설정하는 피사체 수 설정 단계,
피사체 맵을 상기 부호 데이터로부터 복호하는 피사체 맵 복호 단계로서, 상기 피사체 맵은 처리 영역내의 각 화소에 촬영되어 있는 피사체를, 각 피사체를 식별하는 피사체 식별자를 각 화소에 할당하여 나타낸 것인, 단계,
처리 영역내에 상기 설정한 피사체 수와 같은 수의 피사체가 존재한다고 가정하고 처리 영역 주변의 이미 복호 완료된 화소에 대한 화상 신호를 이용하여 피사체별로 대표적인 화소치인 피사체 화소치를 예측하는 피사체 화소치 예측 단계,
상기 예측된 피사체 화소치에 기초하여 상기 피사체 맵에 따라, 상기 피사체 맵 상의 각 화소에, 해당 화소에 할당된 상기 피사체 식별자에 대응하는 상기 피사체 화소치의 값을 할당함으로써 처리 영역에 대한 예측 화상을 생성하는 예측 화상 생성 단계,
상기 예측 화상을 이용하여 처리 영역에 대한 화상 신호를 복호하는 화상 신호 복호 단계를 갖는
것을 특징으로 하는 화상 복호 방법.
화상의 부호 데이터를 복호할 때 화상 프레임을 미리 정해진 크기의 처리 영역으로 분할하여 처리 영역마다 각 화소의 화소치를 예측하면서 복호하는 화상 복호 방법으로서,
처리 영역 주변의 이미 복호 완료된 화소에 대한 화상 신호를 이용하여 처리 영역내에 존재하는 피사체의 수인 피사체 수를 예측하는 피사체 수 예측 단계,
피사체 맵을 상기 부호 데이터로부터 복호하는 피사체 맵 복호 단계로서, 상기 피사체 맵은 처리 영역내의 각 화소에 촬영되어 있는 피사체를, 각 피사체를 식별하는 피사체 식별자를 각 화소에 할당하여 나타낸 것인, 단계,
상기 예측한 피사체 수에 기초하여 처리 영역 주변의 이미 복호 완료된 화소에 대한 화상 신호를 이용하여 피사체별로 대표적인 화소치인 피사체 화소치를 예측하는 피사체 화소치 예측 단계,
상기 예측된 피사체 화소치에 기초하여 상기 피사체 맵에 따라, 상기 피사체 맵 상의 각 화소에, 해당 화소에 할당된 상기 피사체 식별자에 대응하는 상기 피사체 화소치의 값을 할당함으로써 처리 영역에 대한 예측 화상을 생성하는 예측 화상 생성 단계,
상기 예측 화상을 이용하여 처리 영역에 대한 화상 신호를 복호하는 화상 신호 복호 단계를 갖는
것을 특징으로 하는 화상 복호 방법.
청구항 7에 있어서, 상기 예측된 피사체 수와 해당 예측된 피사체 수 또는 복호 완료된 피사체 수를 이용하여 상기 부호 데이터로부터 복호된 피사체 수 중 어느 하나를 피사체 수로서 설정하는 피사체 수 설정 단계를 더 갖는
것을 특징으로 하는 화상 복호 방법.
청구항 9에 있어서, 상기 예측된 피사체 수와, 해당 예측된 피사체 수 또는 복호 완료된 피사체 수를 이용하여 상기 부호 데이터로부터 복호된 피사체 수 중 어느 하나를 피사체 수로서 설정하는 피사체 수 설정 단계를 더 가지고,
상기 피사체 화소치 예측 단계에서는, 처리 영역내에 상기 설정한 피사체 수와 같은 수의 피사체가 존재한다고 가정하고 상기 피사체 화소치를 예측하는
것을 특징으로 하는 화상 복호 방법.
청구항 8 또는 9에 있어서, 상기 예측된 피사체 화소치와, 해당 예측된 피사체 화소치 또는 복호 완료된 피사체 화소치를 이용하여 상기 부호 데이터로부터 복호된 피사체 화소치 중 어느 하나를 피사체 화소치로서 설정하는 피사체 화소치 설정 단계,를 더 가지고,
상기 예측 화상 생성 단계에서는, 상기 피사체 화소치 설정 단계에서 설정한 피사체 화소치의 값을 각 화소에 할당하는
것을 특징으로 하는 화상 복호 방법.
화상을 전송 또는 축적할 때 화상 프레임을 미리 정해진 크기의 처리 영역으로 분할하여 처리 영역마다 각 화소의 화소치를 예측하면서 부호화하는 화상 부호화 장치로서,
처리 영역 주변의 이미 부호화 완료된 화소에 대한 화상 신호를 이용하여 처리 영역내에 존재하는 피사체의 수인 피사체 수를 예측하는 피사체 수 예측 수단,
상기 예측한 피사체 수에 기초하여 처리 영역내에 존재하는 피사체별로, 각 피사체를 대표하는 1개의 화소치를 해당 피사체를 식별하는 피사체 식별자에 대응시켜 피사체 화소치로서 설정하는 피사체 화소치 설정 수단,
처리 영역내의 각 화소의 화소치와 각 피사체의 피사체 화소치의 근사성으로부터, 처리 영역내의 각 화소에 어느 피사체가 촬영되어 있는지를 피사체 식별자로 나타내는 피사체 맵을 생성하는 피사체 맵 생성 수단,
상기 피사체 맵에 따라 각 화소에 상기 피사체 화소치의 값을 할당함으로써 처리 영역에 대한 예측 화상을 생성하는 예측 화상 생성 수단,
상기 피사체 맵을 부호화하는 피사체 맵 부호화 수단,
상기 피사체 화소치를 부호화하는 피사체 화소치 부호화 수단,
상기 예측 화상을 이용하여 처리 영역에 대한 화상 신호를 예측 부호화하는 화상 신호 부호화 수단을 구비하는
것을 특징으로 하는 화상 부호화 장치.
화상을 전송 또는 축적할 때 화상 프레임을 미리 정해진 크기의 처리 영역으로 분할하여 처리 영역마다 각 화소의 화소치를 예측하면서 부호화하는 화상 부호화 장치로서,
처리 영역내에 존재하는 피사체의 수를 피사체 수로 설정하는 피사체 수 설정 수단,
처리 영역내에 상기 설정한 피사체 수와 같은 수의 피사체가 존재한다고 가정하고 처리 영역 주변의 이미 부호화 완료된 화소에 대한 화상 신호를 이용하여 피사체별로 대표적인 화소치인 피사체 화소치를 예측하는 피사체 화소치 예측 수단,
처리 영역내의 각 화소의 화소치와 각 피사체의 상기 피사체 화소치의 근사성으로부터, 처리 영역내의 각 화소에 어느 피사체가 촬영되어 있는지를, 각 피사체를 식별하는 피사체 식별자로 나타내는 피사체 맵을 생성하는 피사체 맵 생성 수단,
상기 피사체 맵을 따라 각 화소에 상기 피사체 화소치의 값을 할당함으로써 처리 영역에 대한 예측 화상을 생성하는 예측 화상 생성 수단,
상기 피사체 맵을 부호화하는 피사체 맵 부호화 수단,
상기 예측 화상을 이용하여 처리 영역에 대한 화상 신호를 예측 부호화하는 화상 신호 부호화 수단을 구비하는
것을 특징으로 하는 화상 부호화 장치.
화상을 전송 또는 축적할 때 화상 프레임을 미리 정해진 크기의 처리 영역으로 분할하여 처리 영역마다 각 화소의 화소치를 예측하면서 부호화하는 화상 부호화 장치로서,
처리 영역 주변의 이미 부호화 완료된 화소에 대한 화상 신호를 이용하여 처리 영역내에 존재하는 피사체의 수인 피사체 수를 예측하는 피사체 수 예측 수단,
상기 예측한 피사체 수에 기초하여 처리 영역 주변의 이미 부호화 완료된 화소에 대한 화상 신호를 이용하여 피사체별로 대표적인 화소치인 피사체 화소치를 예측하는 피사체 화소 예측 수단,
처리 영역내의 각 화소의 화소치와 각 피사체의 상기 피사체 화소치의 근사성으로부터, 처리 영역내의 각 화소에 어느 피사체가 촬영되어 있는지를, 각 피사체를 식별하는 피사체 식별자로 나타내는 피사체 맵을 생성하는 피사체 맵 생성 수단,
상기 피사체 맵에 따라 각 화소에 상기 피사체 화소치의 값을 할당함으로써 처리영역에 대한 예측 화상을 생성하는 예측 화상 생성 수단,
상기 피사체 맵을 부호화하는 피사체 맵 부호화 수단,
상기 예측 화상을 이용하여 처리 영역에 대한 화상 신호를 예측 부호화하는 화상 신호 부호화 수단을 구비하는
것을 특징으로 하는 화상 부호화 장치.
청구항 13에 있어서, 상기 예측된 피사체 수와 처리 영역내의 화소에 대한 화상 신호를 이용하여 설정되는 피사체 수 중 어느 하나를 피사체 수로서 설정하는 피사체 수 설정 수단,
상기 피사체 수 설정 수단에서 상기 처리 영역내의 화소에 대한 화상 신호를 이용하여 설정되는 피사체 수가 설정되는 경우, 해당 피사체 수를, 상기 예측된 피사체 수 또는 부호화 완료된 피사체 수를 이용하여 예측 부호화하는 피사체 수 부호화 수단을 더 가지고,
상기 피사체 화소치 설정 수단에서는, 상기 피사체 수 설정 수단에서 설정한 피사체 수와 같은 수의 피사체가 존재한다고 가정하고 상기 피사체 화소치를 설정하는
것을 특징으로 하는 화상 부호화 장치.
청구항 15에 있어서, 상기 예측된 피사체 수와, 처리 영역내의 화소에 대한 화상 신호를 이용하여 설정되는 피사체 수 중 어느 하나를 피사체 수로서 설정하는 피사체 수 설정 수단,
상기 피사체 수 설정 수단에서 상기 처리 영역내의 화소에 대한 화상 신호를 이용하여 설정되는 피사체 수가 설정될 경우, 해당 피사체 수를, 상기 예측된 피사체 수 또는 부호화 완료된 피사체 수를 이용하여 예측 부호화하는 피사체 수 부호화 수단을 더 가지고,
상기 피사체 화소치 예측 수단에서는, 처리 영역내에 상기 설정한 피사체 수와 같은 수의 피사체가 존재한다고 가정하고 상기 피사체 화소치를 예측하는
것을 특징으로 하는 화상 부호화 장치.
청구항 14 또는 15에 있어서, 상기 예측된 피사체 화소치와 처리 영역내의 화소에 대한 화상 신호를 이용하여 설정되는 피사체 화소치 중 어느 하나를, 피사체를 식별하는 피사체 식별자에 대응시켜 설정하는 피사체 화소치 설정 수단,
상기 피사체 화소치 설정 수단에서 상기 처리 영역내의 화소에 대한 화상 신호를 이용하여 설정되는 피사체 화소치가 설정되는 경우, 해당 피사체 화소치를, 상기 예측된 피사체 화소치 또는 부호화 완료된 피사체 화소치를 이용하여 예측 부호화하는 피사체 화소치 부호화 수단을 더 가지고,
상기 피사체 맵 생성 수단에서는, 처리 영역내의 각 화소의 화소치와 상기 피사체 화소치 설정 수단에서 설정한 피사체 화소치로부터 상기 피사체 맵을 생성하는
것을 특징으로 하는 화상 부호화 장치.
화상의 부호 데이터를 복호할 때 화상 프레임을 미리 정해진 크기의 처리 영역으로 분할하여 처리 영역마다 각 화소의 화소치를 예측하면서 복호하는 화상 복호 장치로서,
처리 영역 주변의 이미 복호 완료된 화소에 대한 화상 신호를 이용하여 처리 영역내에 존재하는 피사체의 수인 피사체 수를 예측하는 피사체 수 예측 수단,
피사체 맵을 상기 부호 데이터로부터 복호하는 피사체 맵 복호 수단으로서, 상기 피사체 맵은 처리 영역내의 각 화소에 촬영되어 있는 피사체를, 각 피사체를 식별하는 피사체 식별자를 각 화소에 할당하여 나타낸 것인, 수단,
상기 피사체 식별자마다 1개 설정된 피사체 화소치를 상기 부호 데이터로부터 복호하는 피사체 화소치 복호 수단,
상기 피사체 맵에 따라, 상기 피사체 맵 상의 각 화소에, 해당 화소에 할당된 상기 피사체 식별자에 대응하는 상기 피사체 화소치의 값을 할당함으로써 처리 영역에 대한 예측 화상을 생성하는 예측 화상 생성 수단,
상기 예측 화상을 이용하여 처리 영역에 대한 화상 신호를 복호하는 화상 신호 복호 수단을 구비하는
것을 특징으로 하는 화상 복호 장치.
화상의 부호 데이터를 복호할 때 화상 프레임을 미리 정해진 크기의 처리 영역으로 분할하여 처리 영역마다 각 화소의 화소치를 예측하면서 복호하는 화상 복호 장치로서,
처리 영역내에 존재하는 피사체의 수를 피사체 수로 설정하는 피사체 수 설정 수단,
피사체 맵을 상기 부호 데이터로부터 복호하는 피사체 맵 복호 수단으로서, 상기 피사체 맵은 처리 영역내의 각 화소에 촬영되어 있는 피사체를, 각 피사체를 식별하는 피사체 식별자를 각 화소에 할당하여 나타낸 것인, 수단,
처리 영역내에 상기 설정한 피사체 수와 같은 수의 피사체가 존재한다고 가정하고 처리 영역 주변의 이미 복호 완료된 화소에 대한 화상 신호를 이용하여 피사체별로 대표적인 화소치인 피사체 화소치를 예측하는 피사체 화소치 예측 수단,
상기 예측된 피사체 화소치에 기초하여 상기 피사체 맵에 따라, 상기 피사체 맵 상의 각 화소에, 해당 화소에 할당된 상기 피사체 식별자에 대응하는 상기 피사체 화소치의 값을 할당함으로써 처리 영역에 대한 예측 화상을 생성하는 예측 화상 생성 수단,
상기 예측 화상을 이용하여 처리 영역에 대한 화상 신호를 복호하는 화상 신호 복호 수단을 구비하는
것을 특징으로 하는 화상 복호 장치.
화상의 부호 데이터를 복호할 때 화상 프레임을 미리 정해진 크기의 처리 영역으로 분할하여 처리 영역마다 각 화소의 화소치를 예측하면서 복호하는 화상 복호 장치로서,
처리 영역 주변의 이미 복호 완료된 화소에 대한 화상 신호를 이용하여 처리 영역내에 존재하는 피사체의 수인 피사체 수를 예측하는 피사체 수 예측 수단,
피사체 맵을 상기 부호 데이터로부터 복호하는 피사체 맵 복호 수단으로서, 상기 피사체 맵은 처리 영역내의 각 화소에 촬영되어 있는 피사체를, 각 피사체를 식별하는 피사체 식별자를 각 화소에 할당하여 나타낸 것인, 수단,
상기 예측한 피사체 수에 기초하여 처리 영역 주변의 이미 복호 완료된 화소에 대한 화상 신호를 이용하여 피사체별로 대표적인 화소치인 피사체 화소치를 예측하는 피사체 화소치 예측 수단,
상기 예측된 피사체 화소치에 기초하여 상기 피사체 맵에 따라, 상기 피사체 맵 상의 각 화소에, 해당 화소에 할당된 상기 피사체 식별자에 대응하는 상기 피사체 화소치의 값을 할당함으로써 처리 영역에 대한 예측 화상을 생성하는 예측 화상 생성 수단,
상기 예측 화상을 이용하여 처리 영역에 대한 화상 신호를 복호하는 화상 신호 복호 수단을 구비하는
것을 특징으로 하는 화상 복호 장치.
청구항 19에 있어서, 상기 예측된 피사체 수와 해당 예측된 피사체 수 또는 복호 완료된 피사체 수를 이용하여 상기 부호 데이터로부터 복호된 피사체 수 중 어느 하나를 피사체 수로서 설정하는 피사체 수 설정 수단을 더 갖는
것을 특징으로 하는 화상 복호 장치.
청구항 21에 있어서, 상기 예측된 피사체 수와, 해당 예측된 피사체 수 또는 복호 완료된 피사체 수를 이용하여 상기 부호 데이터로부터 복호된 피사체 수 중 어느 하나를 피사체 수로서 설정하는 피사체 수 설정 수단을 더 가지고,
상기 피사체 화소치 예측 수단에서는, 처리 영역내에 상기 설정한 피사체 수와 같은 수의 피사체가 존재한다고 가정하고 상기 피사체 화소치를 예측하는
것을 특징으로 하는 화상 복호 장치.
청구항 20 또는 21에 있어서, 상기 예측된 피사체 화소치와, 해당 예측된 피사체 화소치 또는 복호 완료된 피사체 화소치를 이용하여 상기 부호 데이터로부터 복호된 피사체 화소치 중 어느 하나를 피사체 화소치로서 설정하는 피사체 화소치 설정 수단을 더 가지고,
상기 예측 화상 생성 수단에서는, 상기 피사체 화소치 설정 수단으로 설정한 피사체 화소치의 값을 각 화소에 할당하는
것을 특징으로 하는 화상 복호 장치.
삭제
삭제
청구항 1 내지 청구항 3 중 어느 한 항에 기재된 화상 부호화 방법을 컴퓨터에 실행시키기 위한 화상 부호화 프로그램을 기록한, 컴퓨터로 읽을 수 있는 기록매체.
청구항 7 내지 청구항 9 중 어느 한 항에 기재된 화상 복호 방법을 컴퓨터에 실행시키기 위한 화상 복호 프로그램을 기록한, 컴퓨터로 읽을 수 있는 기록매체.