KR20010075465A

KR20010075465A - 이미지 포인트로 디지털 이미지를 처리하는 방법 및 장치

Info

Publication number: KR20010075465A
Application number: KR1020017004032A
Authority: KR
Inventors: 위르겐 판델; 게로 배제; 노르베르트 외르텔
Original assignee: 칼 하인쯔 호르닝어; 지멘스 악티엔게젤샤프트
Priority date: 1998-09-29
Filing date: 1999-09-01
Publication date: 2001-08-09
Also published as: CN1320250A; EP1116184A1; EP1116184B1; CN1145908C; WO2000019373A1; KR100716319B1; RU2001111754A; BR9914105A; JP2010104063A; US7039107B1; BR9914105B1; JP2002526950A; DE59904186D1; CA2345544A1; JP4950381B2; CA2345544C

Abstract

이미지의 이미지 포인트는 이미지 블록으로 그룹화된다. 이 이미지는 적어도 제 1 이미지 오브젝트 및 제 2 이미지 오브젝트로 세그멘트되며, 적어도 제 1 이미지 블록은 제 1 이미지 오브젝트의 에지의 적어도 일부에 할당된다. 이미지 오브젝트의 정보는 적어도 일 이미지 블록에 할당된다.

Description

이미지 포인트로 디지털 이미지를 처리하는 방법 및 장치 {METHOD AND ARRAY FOR PROCESSING A DIGITIZED IMAGE WITH IMAGE POINTS}

상기의 장치 및 방법은 [1]에 개시되어 있다.

[1]에 개시된 장치 및 방법에서, 처리된 디지털 영상은 코딩 정보가 각각 할당된 픽셀을 가진다.

코딩 정보가 각각의 픽셀에 할당된 크로미넌스 정보(컬러값) 및/또는 휘도 정보(휘도값)를 평균화하는 것은 하기에서 설명된다.

이 픽셀은 영상 블록으로 그룹화되며, 각각의 영상 블록은 일반적으로 8*8 또는 16*16 픽셀을 가진다.

영상 블록은 매크로블록으로 그룹화되며, 각각의 매크로 블록은 휘도 정보(휘도 영상 블록)의 형태인 코딩 정보를 포함하는 네개의 영상 블록 및 크로미넌스 정보(크로미넌스 영상 블록)를 포함하는 두개의 영상 블록을 가진다.

청구항 1항에 개시되며 H.26E/V.2 표준에 따라 구성된 영상 코딩 방법에서, 디지털 영상을 코딩하기 위해 소위 영상차 코딩(difference-picture coding)을 사용하기 위한 규칙이 제정된다.

신(scene)을 기록하는 무비 카메라의 경우에 또는 변화하게 되는 기록된 신의 경우에 영상차 코딩이 사용되는 경우에 상기의 영상차 코딩이 사용되면 기록된 백그라운드가 고정적이지 않은 문제가 발생한다.

이 문제는 이동 통신 장치의 환경에서 예를 들면 비디오 이동 전화기의 환경에서 영상 코딩을 위한 방법을 사용하는 경우에 특히 중요하다.

비디오 이동 전화기는 장치에 통합된 전화기 및 영상의 시퀀스를 기록하기 위한 카메라의 장치로서 이해되어야 하며, 이 전화기는 무선 전화기이다.

통상적인 영상차 코딩의 경우, 예를 들면 크게 변화하는 백그라운드의 경우에 있어, 통신을 위한 이용가능 데이터율의 높은 비례관계는 크게 변화하는 백그라운드를 위한 코딩에 요구되며, 그 결과 이용가능 데이터율의 작은 비례관계는 영상의 포그라운드에서 보여질 수 있는 흥미있는 오브젝트 및 백그라운드와 근소하게 비교된 작은 변화를 위해 존재하고, 따라서 개별적으로 코딩된 영상의 품질은 매우 저조하다.

그러나 포그라운드에 위치한 오브젝트가 충분한 품질을 가지도록 하는 것은 바람직하며, 저해상도로 코딩된 영상의 저하된 품질은 백그라운드에 대해 전체적으로 용인될 수 있다.

[1]은 선택적인 코딩 모드에서(슬라이스 구조 모드), 디지털 영상은 직사각형, 소위 슬라이스로 세분되며, 코딩 파라미터는 각각의 직사각형에 분리되어 할당된다.

코딩 파라미터는 특히 개별 직사각형에 포함된 오브젝트가 코딩되는 양자화를 지정한다.

[1]에 개시된 절차는 전체 영상이 개별 직사각형으로 분해되는 단점을 가진다. 이는 디지털 영상을 코딩하는 환경에서 상당한 불요성을 초래한다. [1]에 개시된 절차의 다른 단점은 단지 균일한 공간 해상도만이 모든 슬라이스에 사용될 수 있다는 사실에서 나타난다.

[2]는 MPEG-4 영상 코딩 방법으로서 참조된 오브젝트 기반의 영상 코딩 방법을 개시한다. 이 방법에서, 디지털 영상내의 서로 다른 오브젝트는 서로 개별적으로 코딩된다. 개별 영상 오브젝트의 코딩으로부터 발생된 비디오 데이터 스트림은 멀티플렉서를 사용하여 결합된다. MPEG-4 표준을 따르는 방법은 특히 개별 비디오 데이터 스트림을 코딩하는 매우 복잡한 방법으로 인해 다양한 영상 오브젝트가 코딩되는 경우에 있어서, 상당한 계산 능력이 실시간으로 코딩하는데 필요하며 그리고 디지털 영상내의 개별 영상 오브젝트의 상호 작용을 나타내는 신 설명의 자동 생성 - 비디오 데이터 스트림의 코딩된 양으로부터 초래된 - 시에 필요하다는 단점을 가진다. 필수 계산 능력은 예를 들면 비디오 이동 전화기와 같은 이동 통신 장치의 경우에 특히 유용하지 않다.

[3]은 영상 오브젝트로 영상을 세그멘팅하는 방법을 개시하며, 이 방법은 모션 오브젝트 세그멘트를 참조한다.

[4]는 블록 에지 필터를 사용함으로써 블록 기반의 영상 코딩의 환경에서 생성된 감소된 블록 인공물을 개시한다.

본 발명은 픽셀로 디지털 영상을 처리하는 장치 및 방법에 관한 것이다.

도 1은 전형적인 실시예에 따라 처리된 영상의 도면이다.

도 2는 영상 데이터가 코딩, 전송, 디코딩 및 디스플레이될 수 있는 카메라, 스크린 및 두개의 컴퓨터를 포함하는 장치를 도시한다.

도 3은 디지털 영상을 코딩하는 것을 기초로하는 블록을 위한 장치의 도면이다.

도 4는 디지털 영상의 코딩, 전송 및 디코딩을 위한 방법 단계를 도시한 흐름도이다.

결과적으로 본 발명은 영상 코딩에 대하여 증가된 가요성을 가지며 공지된 방법과 비교하여 감소된 계산능력을 필요로 하는, 디지털 영상을 픽셀로 처리하기 위한 방법 및 장치를 설명하는 문제를 기초로 한다.

이 문제는 독립항을 따르는 특징을 가지는 방법 및 장치에 의해 해결된다.

픽셀로 디지털 영상을 처리하는 방법은 다음 단계를 가진다:

a) 픽셀은 영상 블록으로 그룹화된다.

b) 영상은 적어도 제 1 영상 오브젝트 및 제 2 영상 오브젝트로 세그멘트되고, 적어도 하나의 영상 블록은 제 1 영상 오브젝트의 에지의 적어도 일부에 할당되며, 그리고

c) 영상 오브젝트에 대한 정보는 적어도 하나의 영상 블록에 할당된다.

픽셀로 디지털 영상을 처리하는 장치는 다음과 같이 세팅된 처리기를 포함한다:

a) 픽셀은 영상 블록으로 그룹화된다.

본 발명은 서로 다른 영상 오브젝트를 코딩하기 위한 이용가능 데이터의 유연한 분할을 가능하게 하는 영상 오브젝트를 코딩하는 단순한 방법을 가능하게 한다.

본 발명의 바람직한 개선점은 종속항에 나타나 있다.

바람직하게, 다수의 영상 블록은 각각의 경우에 매크로블록을 형성하기 위해 그룹화된다. 매크로블록은 에지의 적어도 일부에 할당된다.

다른 개선점은 제 1 영상 오브젝트의 에지의 적어도 일부에 할당된 매크로블록의 적어도 하나의 휘도 블록을 제공하는 것이다.

게다가 적어도 하나의 영상 블록은 바람직하게 제 1 영상 오브젝트의 전체 에지에 할당된다.

게다가, 다른 개선점은 제 1 영상의 에지가 포함되는 모든 매크로블록에 할당된 영상 블록에 대한 정보를 제공하는 것이다.

또 다른 개선점은 제 1 영상 오브젝트가 매크로블록에 각각 할당된 매크로블록 어드레스를 이용하여 어드레싱된다는 것이다.

또 다른 개선점은 매크로블록에 각각 할당된 매크로블록 어드레스를 이용하여 어드레싱된 제 2 영상 오브젝트를 제공하는 것이다.

바람직하게, 영상 오브젝트는 서로 다른 품질로 코딩되며, 이 경우 영상 오브젝트가 코딩되는 품질을 나타내는 품질 스펙이 해당 영상 오브젝트에 포함된 적어도 하나의 매크로블록에 할당된다.

본 발명의 장치 및 방법은 디지털 영상을 코딩하기 위해 또는 디지털 영상을 디코딩하기 위해 사용될 수 있다.

본 발명의 장치 및 방법은 예를 들면 비디오 이동 전화기와 같은 이동 통신 장치에 사용하기에 적당하다.

본 발명은 도면을 참조로 이하에서 상세하게 설명된다.

도 2는 영상 코딩, 영상 데이터 전송 및 영상 디코딩을 도시한 두개의 컴퓨터(202,208) 및 카메라(201)를 포함하는 장치를 도시한다.

카메라(201)는 라인(219)를 통하여 제 1 컴퓨터(202)에 접속된다. 카메라(201)는 제 1 컴퓨터(202)에 기록된 영상(204)를 전달한다. 제 1 컴퓨터(202)는 버스(218)를 통하여 프레임 스토어에 접속된 제 1 프로세서(203)를 가진다. 영상을 코딩하는 방법은 제 1 컴퓨터(202)의 제 1 프로세서(203)를 사용하여 실행된다. 이 방식으로 코딩된 영상 데이터(206)는 제 1 컴퓨터(202)로부터 통신 링크(207), 바람직하게 라인 또는 무선 링크를 통하여 제 2 컴퓨터(208)로 전송된다. 제 2 컴퓨터(208)는 버스(201)를 통하여 프레임 스토어(211)로 접속된 제 2 프로세서(209)를 포함한다. 영상 디코딩을 위한 방법은 제 2 프로세서(209)를사용하여 실행된다.

제 1 컴퓨터(202) 및 제 2 컴퓨터(208)는 영상 데이터(204)가 디스플레이되는 각각의 스크린(212,213)을 가지며, 제 1 컴퓨터(202)의 스크린(212)상의 디스프레이는 모니터링 목적만을 위한 것이다. 입력 유니트, 바람직하게 키보드(214, 215) 및 컴퓨터 마우스(216,217)는 각각 제 1 컴퓨터(202) 및 제 2 컴퓨터(208)를 모두 제어하기 위해 제공된다.

카메라(201)로부터 라인(219)을 통하여 제 1 컴퓨터(202)로 전송되는 영상 데이터(204)는 시간 영역의 데이터이며, 제 1 컴퓨터(202)로부터 통신 링크(207)를 통하여 제 2 컴퓨터(208)로 전송된 데이터(206)는 공간 영역의 영상 데이터이다.

디코딩된 영상 데이터는 스크린(213)상에 디스플레이된다.

도 3은 H.263 표준을 따라는 블록 기반 영상 코딩 방법을 실행하기 위한 장치의 도면이다([1] 참조).

코딩될 비디오 데이터 스트림과 함께 연대순으로 연속된 디지털 영상은 영상 코딩 유니트(301)에 제공된다. 디지털 영상은 16×16 픽셀을 포함하는 각각의 매크로 블록으로 세분화된다. 매크로블록(302)은 휘도값(선명도값)이 할당된 8×8 픽셀을 포함하는 영상 블록을 가지는 네개의 영상 블록(303,304,305)을 포함한다. 게다가, 각각의 매크로블록(302)은 픽셀에 할당된 휘도값(컬러차값)을 가지는 두개의 휘도 블록(307,308)을 포함한다.

영상 블록은 전송 코딩 유니트(309)에 공급된다. 영상차 코딩의 경우 영상 블록에 대해 연대순으로 이전 영상에서 코딩된 값은 이 시간에 코딩되는 영상 블록으로부터 제거되며, 단지 차이 형성 정보(310)만이 전송 코딩 유니트(이상 코사인 전송;DCT;309)에 공급된다. 이를 위해, 현재의 매크로브록(302)은 링크(334)를 통하여 모션 추정 유니트(329)에 보고된다. 스펙트럼 계수(311)는 코딩될 영상차 블록 및 영상 블록을 위한 전송 코딩 유니트(309)에서 형성되며 양자화 유니트(312)에 제공된다.

양자화된 스펙트럼 계수(313)는 스캐닝 유니트(314) 및 역양자화 유니트(315)에 모두 백워드 경로로 제공된다. 스캐닝 방법, 예를 들면 지그자그 스캐닝 방법 이후에, 엔트로피 코딩은 이 목적을 위해 제공된 엔트로피 코딩 유니트(316)에서 스캐닝된 스펙트럼 계수(332)에 따라 실행된다. 엔트로피-코디오딘 스펙트럼 계수는 채널, 바람직하게 라인 또는 무선 링크를 통하여 영상 데이터(317)가 코딩될 때 디코더에 전송된다.

양자화 스펙트럼 계수(313)의 역양자화는 역양자화 유니트(315)에서 실행된다. 이 방식으로 획득된 스펙트럼 계수(318)는 역전송 코딩 유니트(319; 역이산 코상인 전송;IDCT)에 제공된다. 재구성된 코딩값(또한 코딩차 값;320)은 영상차 영상 모드에서 가산기(321)에 제공된다. 가산기(321)는 모션 보상이 이미 실행되었으면 연대순으로 선행하는 영상으로부터 초래된 영상 블록을 위한 코딩값을 수신한다. 가산기(321)는 프레임 스토어(323)에 저장된 재구성 영상 블록(322)을 형성하는데 사용된다.

재구성 영상 블록(322)을 위한 휘도값(324)은 프레임 스토어(323)로부터 모션 보상 유니트(325)에 제공된다. 휘도값(326)의 경우, 보간법은 이 목적을 위해제공된 보간 유니트(327)에서 실행된다. 보간법은 바람직하게 각각의 영상 블록에 포함된 휘도값의 수를 4배로 하는데 사용된다. 모든 휘도값(328)은 모션 보상 유니트(325) 및 모션 추정 유니트(329)에 모두 제공된다. 모션 추정 유니트(329)는 또한 링크(334)를 통하여 코딩되는 각각의 매크로블록(16×16픽셀)의 영상 블록을 수신한다. 모션 추정은 보간된 휘도값("1/2 픽셀을 기초로하는 모션 추정")을 고려하면서 모션 추정 유니트(329)에서 실행된다.

모션 추정의 결과는 연대순으로 선행하는 영상로부터 코딩될 매크로블록(302)으로 선택된 매크로블록의 국부 교환을 나타내는 모션 벡터(330)이다.

모션 추정 유니트(329)에 의해 결정된 매크로블록과 연관된 크로미넌스 정보 및 휘도 정보는 모션 벡터(330)를 통하여 쉬프트되며 매크로블록(302)의 코딩값으로부터 감산된다(데이터 경로(331) 참조).

따라서 모션 추정은 두개의 모션 벡터 성분, 즉 제 1 방향 x 및 제 2 방향 y를 따르는 제 1 모션 벡터 성분 BVx 및 제 2 모션 벡터 성분 BVy를 가지는 모션 벡터(330)가 된다.

모션 벡터(330)는 영상 블록에 할당된다.

도 3에 도시된 영상 코딩 유니트는 모든 영상 블록 및 매크로 영상 블록에 모션 벡터(330)를 제공한다.

도 1은 픽셀을 가지면 카메라(201)에 의해 기록된 영상(100)를 도시하며, 픽셀은 영상 블록(101)으로 그룹화된다. 8×8 픽셀이 각각의 경우 영상 블록(101)을 형성하기 위해 그룹화된다.

휘도 정보는 픽셀에 할당된다. 네개의 휘도 영상 블록(101)은 매크로블록(102)을 형성하기 위해 그룹화된다.

도 1은 사람을 나타내는 제 1 영상 오브젝트(104), 테이블 표면을 나타내는 제 2 영상 오브젝트(105) 및 영상 백그라운드를 나타내는 제 3 오브젝트(103)를 도시한다.

제 1 영상 오브젝트(104) 및 제 2 영상 오브젝트(105)는 영상 포그라운드를 형성한다.

제 1 단계(단계 401, 도 4와 비교)에서, 영상은 다수의 영상 오브젝트로 세그멘트된다. 영상은 [3]에 개시된 방법을 따라 세그멘트된다. 이 방법은 무빙 오브젝트 세그멘테이션으로 참조된다. 세그멘트는 제 2 영상 오브젝트(105) 및 제 1 영상 오브젝트(104)의 에지(107,106)가 각각 매크로블록에서 적어도 휘도 영상 블록의 블록 경계 또는 매크로블록의 블록 경계에 해당하는 방식으로 실시된다.

제 2 단계(단계 402)에서, 일 세트의 코딩 파라미터는 각각의 영상 오브젝트(103,104,105)에 할당된다.

코딩 파라미터는 특히 개별 영상 오브젝트, 모션 벡터, 코딩 타입(인트라 프레임 코딩 또는 인터 프레임 코딩), 양자화등을 코딩하기 위해 사용되는 공간 해상도를 지정한다.

게다가, 각각의 영상 오브젝트(103,104,105)의 경우, 다음 단계(단계 403)에서, 품질 스펙은 코딩 파라미터로서 각각의 영상 오브젝트(103,104,105)에 선택 및 할당된다. 품질 스펙은 영상 오브젝트가 각각의 경우에 코딩되는 품질을 나타낸다.

이 예에서, 품질 스펙은 선택된 양자화의 스펙에 의해 주어진다.

코딩 파라미터는 영상차 정보 및/또는 영상 블록, 코딩되는 나머지 영상 정보와 함께 코딩 및 전송되는 개별 영상 오브젝트(103,104,105)에 할당된 영상 오브젝트 헤더 필드(오브젝트 헤더)에 저장된다.

도 3의 방식을 따르면, 다음 단계(단계 404)에서 각각의 영상 오브젝트(103,104,105)는 품질 스펙에 개시된 개별 품질과 함께 코딩된 파라미터에 따라 코딩된다.

이 경우, 포그라운드 오브젝트, 즉 제 1 영상 오브젝트(104) 또는 제 2 영상 오브젝트(105)는 더 나은 영상 품질로 코딩된다. 즉, 더 많은 데이터율이 백그라운드 영상 오브젝트인 제 3 영상 오브젝트(103)의 코딩을 위한 것보다 제 1 영상 오브젝트(104) 및 제 2 영상 오브젝트(105)의 코딩에 이용될 수 있다. 개별 영상 오브젝트가 해체되는 것이 꼭 필요한 것은 아니지만, 제 1 영상 오브젝트(104) 및 제 2 영상 오브젝트(105) 및 제 3 영상 오브젝트(103)의 모든 픽셀의 세트 조합은 영상(100)의 모든 픽셀을 포함한다.

영상(100) 코딩의 경우, 영상 헤더 필드는 각각 전체 영상을 위해 제공되며, 전체 영상 코딩과 동일한 여러 코딩 파라미터는 영상 헤더 필드에 개시되어 있다.

그러므로, 영상(100)가 영상 오브젝트(103,104,105)로 세그멘트되는 방식을 기술한 세그멘트 스펙은 영상 헤더 필드에 설명되어 있다.

세그멘트 코딩의 경우, 두개 비트는 영상 헤더 필드에 제공된다. 네개의 서로 다른 타입의 세그멘트는 다음과 같이 구별된다:

- 제 1 세그멘트 타입(코드 00)

이 방법은 영상(100)를 코딩하는데 사용되지 않는다.

- 제 2 세그멘트 타입(코드 01)

백그라운드 영상 오브젝트를 포함하는 모든 영상 오브젝트는 헤체되며 정확하게 미리 결정된 영상 포맷의 영상(100)를 채운다.

- 제 3 세그멘트 타입(코드 10)

영상 오브젝트는 오버랩되고 통상적인 영상 프레임의 외부에 놓인다. 그러나 통상적인 영상 프레임보다 크며 초과하지 않는 미리 결정된 프레임내에 놓인다.

- 제 4 세그멘트 타입(코드 11)

백그라운드 영상 오브젝트를 제외하고, 모든 영상 오브젝트가 해체된다. 제 4 세그멘트 타입은 이미 코딩된 백그라운드가 메모리, 즉 백그라운드 메모리에 저장될 수 있기 때문에 백그라운드 정보의 효과적인 코딩을 위한 것이다. 무빙 영상 오브젝트에 의해 다시 노출된 영상 백그라운드는 새롭게 다시 코딩되지 않는다. 카메라(201)의 이동이 영상(100)를 기록하는 경우에 이미 코딩된 정보에 재현될 수 있도록 백그라운드는 영상(100)의 미리 결정된 영상 프레임을 넘어 프로젝트된다. 또한 지시된 프레임은 어떤 것이 영상(100)의 통상적인 영상 프레임보다 큰지를 결정한다. 지시된 프레임은 초과되지 않는다.

다음 단계(단계 405)에서, 영상의 코딩된 정보는 제 1 컴퓨터(202)로부터 제 2 컴퓨터(208)로 코딩된 영상로서 전송된다.

다음 단계(단계 406)에서 코딩된 영상은 제 2 컴퓨터(208)에 의해 수신된다.

마지막 단계(단계 407)에서, 수신되어 코딩된 영상 정보는 디코딩되며 디지털 영상은 부수적으로 전송된 코딩 파라미터 및 품질 스펙을 이용하여 재구성된다.

서로 다른 타입의 영상 오브젝트가 생성될 수 있으며, 각 타입의 영상 오브젝트는 개별 영상 오브젝트의 헤더 필드에서 코드에 의해 코딩된다.

제 1 타입의 영상 오브젝트는 폭 w 및 높이 h를 가지는 직사각형 영상 오브젝트이다. 각각의 매크로블록의 에지에 오브젝트 경계(영상 오브젝트의 에지)를 일치시켜야 하기 때문에, 직사각형 오브젝트는 직사각형 영상 오브젝트에서 좌상의 매크로블록의 절대 매크로블록 어드레스에 의해 어드레싱된다.

매크로블록 어드레스는 개별 매크로블록에 할당된 어드레스이며 영상 코딩시에 각각의 매크로블록을 독특하게 식별한다.

직사각형 영상 오브젝트의 폭 w는 가변 길이 코딩을 사용하여 코딩된다.

매크로블록은 영상(100)에서 좌측으로부터 우측으로의 라인에 의해 정렬하도록 어드레싱되며, 매크로블록을 나타내는 각각의 값은 매크로블록으로부터 매크로블록으로 증가된다. 개별 영상 오브젝트를 코딩하는 경우, 다음 데이터가 영상 오브젝트의 코딩과 연관되는 것을 나타내는 영상 오브젝트 시작 코드가 제공된다. 결과적으로, 영상 오브젝트의 마지막 매크로블록의코딩은 각각 새로운 영상 오브젝트 시작 코드 또는 새로운 영상의 데이터가 순차적으로 코딩되는 것을 지정하는 새로운 영상 시작 코드중 하나에 의해 가능하다.

만일 직사각형 영상 오브젝트의 경계가 매크로블록 래스터와 일치하지 않지만, 휘도 영상 블록의 블록 경계와 일치하지 않는다면, 매크로블록 경계에 대한 각각의 휘도 영상 블록의 상대적인 위치는 영상 오브젝트 헤더 필드의 추가 비트에 의해 코딩된다.

직사각형 구조를 가지지 않는 영상 오브젝트는 각각의 영상 오브젝트이 에지가 매크로블록의 블록 경계 또는 적어도 휘도 영상 블록의 블록 경계와 일치하도록 세그멘트된다.

이 경우, 영상 오브젝트의 제 1 매크로블록은 상기의 어드레싱안에 따라 절대 매크로블록 어드레스에 의해 어드레싱된다.

각각의 영상 오브젝트에 해당하는 순차적인 매크로블록은 H.261 표준을 따르는 방법으로 공지된 런랭스 코딩을 이용하여 어드레싱된다.

영상 오브젝트의 마지막 매크로블록의 코딩은 유사하게 새로운 영상 오브젝트 시작 코드 또는 새로운 영상 시작 코드중 하나에 의해 가능하다.

제 3 타입의 영상 오브젝트는 백그라운드 영상 오브젝트이다. 이 경우, 제 3 영상 오브젝트(103)는 백그라운드 영상 오브젝트를 나타낸다. 백그라운드 영상 오브젝트는 백그라운드를 설명하며, 백그라운드에 나타난 정보는 포그라운드 영상 오브젝트에 개시된 정보보다 관찰자에게 덜 중요하다.

[1]에 개시된 슬라이스 구조 모드와는 반대로, 백그라운드 영상 오브젝트는심지어 직사각형 영상 오브젝트 즉 직사각형 오브젝트의 경우에도 필연적으로 직사각형인 것은 아니다.

백그라운드 영상 오브젝트 코딩의 경우, 이 과정은 영상 오브젝트 시작 코드로 시작한다. 백그라운드 영상 오브젝트의 매크로블록의 어드레싱은 선택된 세그멘트 타입을 따른다.

제 2 세그멘트 타입(코드 01)의 경우, 모든 백그라운드, 즉 백그라운드 영상 오브젝트에 포함된 매크로블록의 위치는 마지막 영상 오브젝트의 코딩 이후에 분명하게 결정되며, 이들은 매크로블록의 어드레싱에 따라 상술한 방법으로 연속적으로 어드레싱될 수 있다. 영상 백그라운드에 포함되지 않은 매크로블록은 런랭스 코딩에 의해 스킵될 필요가 없다.

제 2 세그멘트 타입 및 제 3 세그멘트 타입(코드 10 및 코드 11)의 경우에, 이 어드레싱은 직사각형이 아닌 구조를 가지는 영상 오브젝트의 경우와 마찬가지로 실시된다.

상술한 전형적인 실시예에 대한 다수의 대안이 이하에서 설명된다.

가변 길이 코딩에 대한 대안으로서, 고정 길이 코딩은 직사각형 영상 오브젝트의 폭 w를 코딩하기 위하여 사용될 수 있다.

영상(100)의 전임 영상에서 직사각형 영상 오브젝트의 크기 및 위치로부터 차별 코딩하는 것은 이 방법에서 사용될 수 있다.

직사각형 구조를 가지지 않는 영상 오브젝트의 매크로블록의 코딩시에 런랭스 코딩에 대안은 [2[에 개시된 바와 같은 쉐이프 코딩이다. 전임 영상에서 영상오브젝트의 위치로부터의 차별 코딩은 매크로블록을 코딩하기 위해 사용될 수 있다.

상술한 방법을 사용하는 환경에서 또한 단지 직사각형 영상 오브젝트를 사용하는 방법이 제공될 수 있다. 이는 직사각형 영상 오브젝트에 포함된 매크로블록을 스킵할 때 w 매크로블록만큼 매크로블록 어드레스를 증가할 필요가 있기 때문에 코딩시에 단순함을 가져온다. 이는 코딩시에 필요한 계산 동작을 감소시킨다.

영상(100)의 관찰자에게 특별히 흥미있는 영상 오브젝트는 영상(100)의 관찰자에게 덜 흥미있는 영상 오브젝트, 특히 백그라운드 영상 오브젝트보다 나은 품질로 코딩된다. 블록 기반의 영상 코딩 방법이 이용되기 때문에, 소위 블록 인공물, 즉 가시 블록 에지는 저품질로 코딩된 영상 영역에서 증가된 부분을 발생시킨다.

선택적인 실시예에서, 상기의 인공물은 블록 에지 필터를 사용하여 감소된다. 상기의 블록 에지 필터링은 [4]에 개시되어 있다. 블록 에지 필터링은 소위 "루트내의 필터"와 마찬가지로 도 3에서 설명한 바와 같이 코더의 피드백 루프 및 디코딩 환경 모두에서 사용될 수 있다.

블록 에지 필터링은 바람직하게 거친 양자화, 즉 저품질로 코딩된 영상 오브젝트에만 사용된다.

영상 시퀀스내에서 높은 각도의 운동이 발생하는 경우에, 심지어 증가된 품질로 코딩된 영상 오브젝트의 경우에도 상대적으로 거친 양자화가 제한된 데이터율로 인해 짧은 시간동안 사용된다. 이 경우, 블록 에지 필터링은 일시적으로 이 시간동안의 증가된 모션을 위해 사용되며, 영상 오브젝트를 위해 결정된 모션 벡터의평가에 의해 선택적으로 결정된다.

블록 에지 필터링에 사용된 필터의 필터 파라미터는 [4]에 개시된 방법에 따라 코딩된 개별 영상에 다이나믹하게 적용될 수 있다.

게다가, 전송 에러 보호는 예를 들면 CRC 코드(순환 중복 체크) 또는 소위 펑처링된 코드와 같은 코딩된 영상의 전송을 위해 제공될 수 있다. 이 경우, 증가된 품질로 코딩된 영상 오브젝트는 낮은 품질로 코딩된 영상 오브젝트의 경우에 사용된 에러 보호 메카니즘보다 "더욱 강력한" 에러 보호 메카니즘에 의해 전송 에러에 대해 보호된다.

용어 "더욱 강력한"은 증가된 전송 에러수가 각각의 에러 보호 방법에 의해 검출 및 보정될 수 있는 사실로 이해되어야 한다.

다른 실시예에서, 품질 스펙은 선택되는 공간 해상도의 스펙에 의해 주어질 수 있다. 이 경우, 포그라운드 오브젝트, 즉 제 1 영상 오브젝트(104) 또는 제 2 영상 오브젝트(105)는 백그라운드 영상 오브젝트, 즉 제 3 영상 오브젝트(103)보다 나은 영상 품질, 즉 높은 공간 해상도로 코딩된다.

다음의 공개 문서가 상기 명세서에 예시되어 있다.

[1] ITU-T 초안 권고 H.263, Video coding for Low Bitrate Communication, September, 1997

[2] ISO/IEC JTC1/SC29/WG11, MPEG-4 Systems, Working Draft 4.0 of ISO/IEC 11196-1, A, Eleftheriadia, C.Herpel, L. Ward(ed.), April 16, 1997

[3] K.-P. Karmann et al, Moving object segmentation based on adaptivereferevence images, Proceedings of EUSIPCO-90, pp.951-954, Barcelona, September 1990

[4] DE 196 54 983 B

Claims

디지털 영상을 픽셀로 처리하기 위한 방법으로서,

a) 상기 픽셀은 영상 블록으로 그룹화되며,

b) 상기 영상은 적어도 제 1 영상 오브젝트 및 제 2 영상 오브젝트로 세그멘트되고, 적어도 일 영상 블록은 제 1 영상 오브젝트의 에지 중 적어도 일부에 할당되며, 그리고

c) 상기 영상 오브젝트에 대한 정보는 적어도 일 영상 블록에 할당되는 방법.
제 1 항에 있어서,

a) 상기 다수의 영상 블록은 각각 매크로블록을 형성하기 위해 그룹화되며, 그리고

b) 일 매크로블록은 에지의 적어도 일부에 할당되는 것을 특징으로 하는 방법.
제 2 항에 있어서, 상기 매크로블록의 적어도 일 휘도 블록은 제 1 영상 오브젝트의 에지의 적어도 일부에 할당되는 것을 특징으로 하는 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기의 적어도 일 영상 블록은 제 1 영상 오브젝트의 전체 에지에 할당되는 것을 특징으로 하는 방법.
제 2 항 내지 제 4 항 중 어느 한 항에 있어서, 영상 오브젝트에 대한 정보는 각각 에지가포함되는 모든 매크로블록에 할당되는 것을 특징으로 하는 방법.
제 2 항 내지 제 5 항 중 어느 한 항에 있어서, 제 1 영상 오브젝트는 매크로블록에 개별적으로 할당된 매크로블록 어드레스를 이용하여 어드레싱되는 것을 특징으로 하는 방법.
제 2 항 내지 제 6 항 중 어느 한 항에 있어서, 제 2 영상 오브젝트는 매크로블록에 개별적으로 할당된 매크로블록 어드레스를 이용하여 어드레싱되는 것을 특징으로 하는 방법.
제 1 항 내지 제 7 항 중 어느 한 항에 있어서, 상기 영상 오브젝트는 서로 다른 품질로 코딩되는 것을 특징으로 하는 방법.
제 8 항에 있어서, 영상 오브젝트가 코딩된 품질을 나타내는 품질 스펙은 해당 영상 오브젝트에 포함된 적어도 하나의 매크로블록에 할당되는 것을 특징으로 하는 방법.
제 1 항 내지 제 9 항 중 어느 한 항에 있어서, 상기 품질은 품질 파라미터에 의해 결정되는 것을 특징으로 하는 방법.
제 1 항 내지 제 10 항 중 어느 한 항에 있어서, 상기 품질은 공간 해상도에 의해 결정되는 것을 특징으로 하는 방법.
제 1 항 내지 제 11 항 중 어느 한 항에 있어서, 디지털 영상을 코딩하기 위해 사용되는 것을 특징으로 하는 방법.
제 1 항 내지 제 11 항 중 어느 한 항에 있어서, 디지털 영상을 디코딩하기 위해 사용되는 것을 특징으로 하는 방법.
제 1 항 내지 제 13 항 중 어느 한 항에 있어서, 이동 통신 장치에서 사용되는 것을 특징으로 하는 방법.
디지털 영상을 픽셀로 처리하기 위한 장치로서,

a) 상기 픽셀은 영상 블록으로 그룹화되며,

b) 상기 영상은 적어도 제 1 영상 오브젝트 및 제 2 영상 오브젝트로 세그멘트되고, 적어도 일 영상 블록은 제 1 영상 오브젝트의 에지 중 적어도 일부에 할당되며, 그리고

c) 상기 영상 오브젝트에 대한 정보는 적어도 일 영상 블록에 할당되는 장치.
제 15 항에 있어서,

a) 상기 다수의 영상 블록은 각각 매크로블록을 형성하기 위해 그룹화되며, 그리고

b) 일 매크로블록은 에지의 적어도 일부에 할당되는 것을 특징으로 하는 장치.
제 15 항 또는 제 16 항에 있어서, 디지털 영상을 코딩하기 위해 사용되는 것을 특징으로 하는 장치.
제 15 항 또는 제 16 항에 있어서, 디지털 영상을 디코딩하기 위해 사용되는 것을 특징으로 하는 장치.
제 15 항 내지 제 18 항 중 어느 한 항에 있어서, 이동 통신 장치에서 사용되는 것을 특징으로 하는 장치.