KR100716319B1 - 이미지 포인트들을 가진 디지털 이미지를 처리하는 방법 및 장치 - Google Patents

Abstract

이미지의 이미지 포인트들은 이미지 블록으로 그룹화된다. 이 이미지는 적어도 제 1 이미지 오브젝트 및 제 2 이미지 오브젝트로 세그멘트화되며, 적어도 하나의 제 1 이미지 블록은 제 1 이미지 오브젝트의 에지의 적어도 일부에 할당된다. 이미지 오브젝트의 정보는 적어도 하나의 이미지 블록에 할당된다.

Description

이미지 포인트들을 가진 디지털 이미지를 처리하는 방법 및 장치 {METHOD AND ARRAY FOR PROCESSING A DIGITIZED IMAGE WITH IMAGE POINTS}

본 발명은 픽셀들을 가진 디지털 영상을 처리하는 장치 및 방법에 관한 것이다.

상기의 장치 및 방법은 [1]에 개시되어 있다.

[1]에 개시된 장치 및 방법에서, 처리될 디지털 영상은 코딩 정보가 각각의 경우에 할당되는 픽셀을 가진다.

코딩 정보가 각각의 픽셀에 할당된 크로미넌스(chrominance) 정보(컬러값) 및/또는 광도(brightness) 정보(휘도(luminance)값)를 평균화하는 것으로 하기에서 이해되어야 한다.

이 픽셀은 영상 블록들로 그룹화되며, 각각의 영상 블록은 일반적으로 8*8 또는 16*16 픽셀을 가진다.

영상 블록들은 매크로블록들로 그룹화되며, 각각의 매크로블록은 광도 정보(휘도 영상 블록)의 형태로 코딩 정보를 포함하는 네 개의 영상 블록 및 크로미넌스 정보(크로미넌스 영상 블록)를 포함하는 두 개의 영상 블록을 가진다.

[1]에 개시되며 H.26E/V.2 표준에 따라 구성된 영상 코딩 방법에서는, 디지털 영상을 코딩하기 위해 소위 영상차 코딩(difference-picture coding)을 사용하는 것이 제공된다.

영상차 코딩이 사용되는 경우에는, 이동하는 카메라가 신(scene)을 기록하는 경우 또는 기록된 신이 변화하는 경우에, 기록된 백그라운드가 고정적이지 않은 문제가 발생한다.

이 문제는 이동 통신 장치의 환경, 예를 들면 비디오 이동 전화기의 환경에서 영상 코딩을 위한 방법을 사용하는 경우에 특히 중요하다.

비디오 이동 전화기는 일련의 영상을 기록하기 위한 카메라와 전화기가 통합된 장치로서 이해되어야 하며, 이 전화기는 무선 전화기이다.

통상적인 영상차 코딩의 경우, 백그라운드가 크게 변화한다면 통신을 위해 이용가능한 데이터율 중 많은 부분이 크게 변화하는 백그라운드에 대한 코딩에 요구되며, 그 결과 이용가능한 데이터율 중 적은 부분이 영상의 포그라운드에서 관찰될 수 있는 관심 오브젝트에 대해 유지되며 백그라운드에 비해 약간 변하고, 따라서 개별적으로 코딩된 영상의 품질은 매우 저조하다.

그러나 백그라운드에 대해서는 저해상도로 코딩된 영상의 저하된 품질이 완전히 용인될 수 있는 반면, 포그라운드에 위치한 오브젝트는 충분한 품질을 가지도록 하는 것이 바람직하다.

[1]은 선택적인 코딩 모드에서(슬라이스 구조 모드), 디지털 영상이 직사각형, 소위 슬라이스로 세분되며, 코딩 파라미터가 각각의 직사각형에 개별적으로 할당되는 것을 설명한다.

코딩 파라미터는 특히 개별 직사각형에 포함된 오브젝트가 코딩되는 양자화 를 지정한다.

[1]에 개시된 절차는 전체 영상이 개별 직사각형으로 분해되는 단점을 가진다. 이는 디지털 영상을 코딩하는 환경에서 상당한 불요성을 초래한다. [1]에 개시된 절차의 다른 단점은 단지 균일한 공간 해상도만이 모든 슬라이스에 사용될 수 있다는 사실에서 나타난다.

[2]는 MPEG-4 영상 코딩 방법으로 지칭되는 오브젝트-기반 영상 코딩 방법을 개시한다. 이 방법에서, 디지털 영상내의 서로 다른 오브젝트는 서로 개별적으로 코딩된다. 개별 영상 오브젝트의 코딩으로부터 발생된 비디오 데이터 스트림은 멀티플렉서를 사용하여 결합된다. MPEG-4 표준을 따르는 방법은 특히 개별 비디오 데이터 스트림을 코딩하는 매우 복잡한 방법으로 인해, 다양한 영상 오브젝트가 코딩되는 경우에 있어서 상당한 계산 능력이 실시간 코딩을 위해 필요하며 그리고 디지털 영상내의 개별 영상 오브젝트의 상호 작용을 나타내는 신 설명(scene description)의 자동 생성 - 비디오 데이터 스트림의 코딩된 양으로부터 초래된 - 시에 필요하다는 단점을 가진다. 필수적인 계산 능력은 예를 들면 비디오 이동 전화기와 같은 이동 통신 장치의 경우에 특히 유용하지 않다.

[3]은 영상 오브젝트로 영상을 세그멘트화하는 방법을 개시하며, 이 방법은 모션 오브젝트 세그멘트로 지칭된다.

[4]는 블록 에지 필터를 사용함으로써 블록-기반 영상 코딩의 환경에서 생성된 감소된 블록 결함을 개시한다.
[5]는 픽셀들을 가진 디지털 영상을 처리하는 방법을 개시하며, 여기서 픽셀들은 픽셀 블록들로 그룹화되고, 영상은 적어도 하나의 제 1 영상 오브젝트 및 제 2 영상 오브젝트로 세그멘트화되며, 적어도 하나의 영상 블록은 제 1 영상 오브젝트의 에지의 적어도 일부에 할당되며, 영상 오브젝트에 대한 정보는 적어도 하나의 영상 블록에 할당된다. [5]는 비디오 정보의 필드 또는 프레임에 대응하는 깊이 정보 내에서 하나 이상의 개별적인 오브젝트들을 식별하는 장치 및 방법을 개시한다. 그러한 장치는 비디오 정보의 프레임 내의 각각의 픽셀을 하나 이상의 영역에 연관시키는 오브젝트 맵을 포함한다.
[5]는 이동 통신 장치에서 사용되는 방법에 대하여는 개시하지 않는다. 그러나, 이러한 특징은 [6]에 개시되어 있으며, 여기에는 이동 전화기 사이에서 영상을 전송하는 방법이 개시되어 있다. [6]은 소스 코딩된 영상 데이터의 여러 클래스가 다양한 클래스 코딩율로 채널 코딩되고 전달되게 하는 영상 전송 프로세스를 개시한다. 전송될 소스 코딩된 영상 데이터는 전송 에러에 대하여 상이한 민감도를 가진 클래스로 분할된다.

결과적으로 본 발명은 영상 코딩에 대하여 증가된 유연성을 가지며 공지된 방법과 비교하여 계산 성능을 덜 필요로 하는, 픽셀들을 가진 디지털 영상을 처리하기 위한 방법 및 장치를 특정하는 문제를 기초로 한다.

이 문제는 독립항을 따르는 특징을 가지는 방법 및 장치에 의해 해결된다.

픽셀들을 가진 디지털 영상을 처리하는 방법은 다음 단계를 가진다:

a) 픽셀들이 영상 블록들로 그룹화된다.

b) 영상은 적어도 제 1 영상 오브젝트 및 제 2 영상 오브젝트로 세그멘트화되고, 적어도 하나의 영상 블록은 제 1 영상 오브젝트의 에지의 적어도 일부에 할당되며, 그리고

c) 영상 오브젝트에 대한 정보가 적어도 하나의 영상 블록에 할당된다.

픽셀들을 가진 디지털 영상을 처리하는 장치는 다음과 같이 셋업된 프로세서를 포함한다:

a) 픽셀들이 영상 블록들로 그룹화된다.

b) 영상은 적어도 제 1 영상 오브젝트 및 제 2 영상 오브젝트로 세그멘트화되고, 적어도 하나의 영상 블록은 제 1 영상 오브젝트의 에지의 적어도 일부에 할당되며, 그리고

c) 영상 오브젝트에 대한 정보가 적어도 하나의 영상 블록에 할당된다.

본 발명은 서로 다른 영상 오브젝트를 코딩하기 위해, 이용가능한 데이터의 유연한 분할을 가능하게 하는 영상 오브젝트를 코딩하는 단순한 방법을 달성한다.

본 발명의 바람직한 개선점은 종속항에 나타나 있다.

바람직하게, 다수의 영상 블록은 각각의 경우에 매크로블록을 형성하기 위해 그룹화된다. 매크로블록은 에지의 적어도 일부에 할당된다.

다른 개선점은 제 1 영상 오브젝트의 에지의 적어도 일부에 할당된 매크로블록의 적어도 하나의 휘도 블록을 제공하는 것이다.

게다가 적어도 하나의 영상 블록이 바람직하게 제 1 영상 오브젝트의 전체 에지에 할당된다.

게다가, 다른 개선점은 제 1 영상 오브젝트의 에지가 포함되는 모든 매크로블록에 할당된 영상 블록에 대한 정보를 제공하는 것이다.

또 다른 개선점은 제 1 영상 오브젝트가 매크로블록에 각각 할당된 매크로블록 어드레스를 이용하여 어드레싱된다는 것이다.

또 다른 개선점은 매크로블록에 각각 할당된 매크로블록 어드레스를 이용하여 어드레싱된 제 2 영상 오브젝트를 제공하는 것이다.

바람직하게, 영상 오브젝트는 서로 다른 품질로 코딩되며, 이 경우, 바람직하게 영상 오브젝트가 코딩되는 품질을 나타내는 품질 스펙이 해당 영상 오브젝트에 포함된 적어도 하나의 매크로블록에 할당된다.

본 발명의 장치 및 방법은 디지털 영상을 코딩하기 위해 또는 디지털 영상을 디코딩하기 위해 사용될 수 있다.

본 발명의 장치 및 방법은 예를 들면 비디오 이동 전화기와 같은 이동 통신 장치에 사용하기에 적당하다.

본 발명은 도면을 참조로 이하에서 상세하게 설명된다.

도 1은 전형적인 실시예에 따라 처리된 영상의 도면이다.

도 2는 영상 데이터가 코딩, 전송, 디코딩 및 디스플레이될 수 있는 카메라, 스크린 및 두 개의 컴퓨터를 포함하는 장치를 도시한다.

도 3은 디지털 영상의 블록-기반 코딩을 위한 장치의 도면이다.

도 4는 디지털 영상의 코딩, 전송 및 디코딩을 위한 방법 단계를 도시한 흐름도이다.

도 2는 영상 코딩, 영상 데이터 전송 및 영상 디코딩을 도시하는, 두 개의 컴퓨터(202,208) 및 카메라(201)를 포함하는 장치를 도시한다.

카메라(201)는 라인(219)를 통하여 제 1 컴퓨터(202)에 접속된다. 카메라(201)는 기록된 영상(204)를 제 1 컴퓨터(202)에 전달한다. 제 1 컴퓨터(202)는 버스(218)를 통하여 프레임 스토어(205)에 접속된 제 1 프로세서(203)를 가진다. 영상을 코딩하는 방법은 제 1 컴퓨터(202)의 제 1 프로세서(203)를 사용하여 실행된다. 이 방식으로 코딩된 영상 데이터(206)는 제 1 컴퓨터(202)로부터 통신 링크(207), 바람직하게 라인 또는 무선 링크를 통하여 제 2 컴퓨터(208)로 전송된다. 제 2 컴퓨터(208)는 버스(210)를 통하여 프레임 스토어(211)로 접속된 제 2 프로세서(209)를 포함한다. 영상 디코딩을 위한 방법은 제 2 프로세서(209)를 사용하여 실행된다.

제 1 컴퓨터(202) 및 제 2 컴퓨터(208)는 영상 데이터(204)가 디스플레이되는 각각의 스크린(212,213)을 가지며, 제 1 컴퓨터(202)의 스크린(212)상의 디스플레이는 모니터링 목적만을 위한 것이다. 입력 유니트, 바람직하게 키보드(214, 215) 및 컴퓨터 마우스(216,217)는 각각 제 1 컴퓨터(202) 및 제 2 컴퓨터(208)를 제어하도록 제공된다.

카메라(201)로부터 라인(219)을 통하여 제 1 컴퓨터(202)로 전송되는 영상 데이터(204)는 시간 영역의 데이터이며, 제 1 컴퓨터(202)로부터 통신 링크(207)를 통하여 제 2 컴퓨터(208)로 전송된 데이터(206)는 스펙트럼 영역의 영상 데이터이다.

디코딩된 영상 데이터는 스크린(213)상에 디스플레이된다.

도 3은 H.263 표준을 따라 블록 기반 영상 코딩 방법을 실행하기 위한 장치의 도면이다([1] 참조).

시간적으로 연속된 디지털 영상으로 코딩될 비디오 데이터 스트림은 영상 코딩 유니트(301)에 제공된다. 디지털 영상은 각각 16×16 픽셀들을 포함하는 매크로블록들(302)로 세분화된다. 매크로블록(302)은 네 개의 영상 블록(303,304,305,306)을 포함하며, 상기 각 영상 블록은 휘도값(광도값)이 할당된 8×8 픽셀을 포함한다. 게다가, 각각의 매크로블록(302)은 픽셀에 할당된 크로미넌스 값(색차값)을 가지는 두 개의 크로미넌스 블록(307,308)을 포함한다.

영상 블록은 변환 코딩 유니트(309)에 공급된다. 영상차 코딩의 경우, 시간적으로 이전 영상에서 영상 블록에 대해 코딩된 값은 이 시간에 코딩되는 영상 블록으로부터 제거되며, 단지 차이 형성 정보(310)만이 변환 코딩 유니트(이산 코사인 변환;DCT;309)에 공급된다. 이를 위해, 현재의 매크로블록(302)은 링크(334)를 통하여 모션 추정 유니트(329)에 보고된다. 스펙트럼 계수(311)는 영상차 블록 및 영상 블록이 코딩되도록 하기 위한 변환 코딩 유니트(309)에서 형성되며 양자화 유니트(312)에 제공된다.

양자화된 스펙트럼 계수(313)는 스캐닝 유니트(314) 및 역양자화 유니트(315)에 모두 백워드 경로로 제공된다. 스캐닝 방법, 예를 들면 지그재그 스캐닝 방법 이후에, 엔트로피 코딩은 이 목적을 위해 제공된 엔트로피 코딩 유니트(316)에서 스캐닝된 스펙트럼 계수(332)에 따라 실행된다. 엔트로피-코딩된 스펙트럼 계수는 채널, 바람직하게 라인 또는 무선 링크를 통하여 코딩된 영상 데이터(317)로서 디코더에 전송된다.

양자화 스펙트럼 계수(313)의 역양자화는 역양자화 유니트(315)에서 실행된다. 이 방식으로 획득된 스펙트럼 계수(318)는 역변환 코딩 유니트(319; 역이산 코사인 변환;IDCT)에 제공된다. 재구성된 코딩값(또한 코딩차 값;320)은 영상차 모드에서 가산기(321)에 제공된다. 가산기(321)는 모션 보상이 이미 실행되었으면 시간적으로 선행하는 영상으로부터 초래된 영상 블록을 위한 코딩값을 수신한다. 가산기(321)는 프레임 스토어(323)에 저장된 재구성 영상 블록(322)을 형성하는데 사용된다.

재구성 영상 블록(322)을 위한 크로미넌스 값(324)은 프레임 스토어(323)로부터 모션 보상 유니트(325)에 제공된다. 광도값(326)의 경우, 보간법은 이 목적을 위해 제공된 보간 유니트(327)에서 실행된다. 보간법은 바람직하게 각각의 영상 블록에 포함된 광도값의 수를 4배로 하는데 사용된다. 모든 광도값(328)은 모션 보상 유니트(325) 및 모션 추정 유니트(329)에 모두 제공된다. 모션 추정 유니트(329)는 또한 링크(334)를 통하여 각각의 코딩될 매크로블록(16×16픽셀)의 영상 블록을 수신한다. 모션 추정은 보간된 광도값("1/2 픽셀을 기초로하는 모션 추정")을 고려하면서 모션 추정 유니트(329)에서 실행된다.

모션 추정의 결과는 시간적으로 선행하는 영상의 선택된 매크로블록과 코딩될 매크로블록(302)의 국부적인 변위를 나타내는 모션 벡터(330)이다.

모션 추정 유니트(329)에 의해 결정된 매크로블록과 연관된 크로미넌스 정보 및 광도 정보는 모션 벡터(330)를 통하여 쉬프트되며 매크로블록(302)의 코딩값으로부터 감산된다(데이터 경로(331) 참조).

따라서 모션 추정은 두 개의 모션 벡터 성분, 즉 제 1 방향 x 및 제 2 방향 y를 따르는 제 1 모션 벡터 성분 BVx 및 제 2 모션 벡터 성분 BVy를 가지는 모션 벡터(330)가 된다:

.

모션 벡터(330)는 영상 블록에 할당된다.

도 3에 도시된 영상 코딩 유니트는 모든 영상 블록 및 매크로 영상 블록에 모션 벡터(330)를 제공한다.

도 1은 카메라(201)에 의해 기록되는 픽셀을 가진 영상(100)을 도시하며, 픽셀들은 영상 블록들(101)로 그룹화된다. 8×8 픽셀이 각각의 경우 영상 블록(101)을 형성하기 위해 그룹화된다.

휘도 정보는 픽셀에 할당된다. 네 개의 휘도 영상 블록(101)은 매크로블록(102)을 형성하기 위해 그룹화된다.

도 1은 사람을 나타내는 제 1 영상 오브젝트(104), 테이블 표면을 나타내는 제 2 영상 오브젝트(105) 및 영상 백그라운드를 나타내는 제 3 영상 오브젝트(103)를 도시한다.

제 1 영상 오브젝트(104) 및 제 2 영상 오브젝트(105)는 영상 포그라운드를 형성한다.

제 1 단계(단계 401, 도 4 참조)에서, 영상은 다수의 영상 오브젝트로 세그멘트화된다. 영상은 [3]에 개시된 방법을 따라 세그멘트화되며, 이 방법은 이동 오브젝트 세그멘트화로 지칭된다. 세그멘트는 제 2 영상 오브젝트(105) 및 제 1 영상 오브젝트(104)의 에지(107,106)가 각각 매크로블록에서 적어도 휘도 영상 블록의 블록 경계 또는 매크로블록의 블록 경계에 대응하는 방식으로 실시된다.

제 2 단계(단계 402)에서, 일 세트의 코딩 파라미터가 각각의 영상 오브젝트(103,104,105)에 할당된다.

코딩 파라미터는 특히 개별 영상 오브젝트를 코딩하기 위해 사용되는 공간 해상도, 모션 벡터, 코딩 타입(인트라 프레임 코딩 또는 인터 프레임 코딩), 양자화 등을 지정한다.

게다가, 각각의 영상 오브젝트(103,104,105)의 경우, 다음 단계(단계 403)에서, 품질 스펙이 선택되고 각각의 영상 오브젝트(103,104,105)에 코딩 파라미터로서 할당된다. 품질 스펙은 영상 오브젝트가 각각의 경우에 코딩되는 품질을 나타낸다.

이 예에서, 품질 스펙은 선택된 양자화의 스펙에 의해 주어진다.

코딩 파라미터는 개별 영상 오브젝트(103,104,105)에 할당되는 영상 오브젝트 헤더 필드(오브젝트 헤더)에 저장되고 코딩될 나머지 영상 정보, 영상차 정보, 및/또는 영상 블록과 함께 코딩되어 전송된다.

도 3의 방식을 따르면, 향후 단계(단계 404)에서 각각의 영상 오브젝트(103,104,105)는 품질 스펙에 지시된 개별 품질을 갖는 코딩 파라미터에 따라 코딩된다.

이 경우, 포그라운드 오브젝트, 즉 제 1 영상 오브젝트(104) 또는 제 2 영상 오브젝트(105)는 더 나은 영상 품질로 코딩된다. 즉, 더 큰 데이터율이 백그라운드 영상 오브젝트인 제 3 영상 오브젝트(103)의 코딩보다 제 1 영상 오브젝트(104) 및 제 2 영상 오브젝트(105)의 코딩에 이용될 수 있다.
개별 영상 오브젝트가 분리되는 것이 꼭 필요한 것은 아니지만, 제 1 영상 오브젝트(104), 제 2 영상 오브젝트(105), 및 제 3 영상 오브젝트(103)의 모든 픽셀의 세트 조합은 영상(100)의 모든 픽셀을 포함한다.

영상(100) 코딩의 경우, 영상 헤더 필드가 각각의 경우에 전체 영상을 위해 제공되며, 전체 영상 코딩을 위해 동일한 여러 코딩 파라미터들이 영상 헤더 필드에 명시되어 있다.

그러므로, 영상(100)이 영상 오브젝트들(103,104,105)로 세그멘트화되는 방식을 기술한 세그멘트 스펙이 영상 헤더 필드에 명시되어 있다.

세그멘트 스펙의 코딩의 경우, 두 개 비트가 영상 헤더 필드에 제공된다. 네 개의 서로 다른 타입의 세그멘트는 다음과 같이 구별된다:

- 제 1 세그멘트 타입(코드 00):

설명된 방법은 영상(100)를 코딩하는데 사용되지 않는다.

- 제 2 세그멘트 타입(코드 01):

백그라운드 영상 오브젝트를 포함한 모든 영상 오브젝트가 분리되며 영상(100)의 미리 결정된 영상 포맷을 정확하게 채운다.

- 제 3 세그멘트 타입(코드 10):

영상 오브젝트는 오버랩되고 통상적인 영상 프레임의 외부에 놓인다. 그러나 통상적인 영상 프레임보다 크며 이를 초과하지 않는 미리 결정된 프레임내에 놓인다.

- 제 4 세그멘트 타입(코드 11):

백그라운드 영상 오브젝트를 제외한 모든 영상 오브젝트가 분리된다. 제 4 세그멘트 타입은 이미 코딩된 백그라운드가 메모리, 즉 백그라운드 메모리에 저장될 수 있기 때문에 백그라운드 정보의 효과적인 코딩을 제공한다. 이동 영상 오브젝트에 의해 다시 노출된 영상 백그라운드는 다시 새롭게 코딩되지 않아야 한다. 영상(100)을 기록하는 카메라(201)가 이동하는 경우에, 이미 코딩된 정보를 사용할 수 있도록 백그라운드는 영상(100)의 미리 결정된 영상 프레임을 넘어 투영된다. 또한 통상적인 영상 프레임보다 큰 규정된 프레임이 결정된다. 규정된 프레임은 초과되지 않는다.

다음 단계(단계 405)에서, 영상의 코딩된 정보는 제 1 컴퓨터(202)로부터 제 2 컴퓨터(208)로 코딩된 영상으로서 전송된다.

다음 단계(단계 406)에서 코딩된 영상은 제 2 컴퓨터(208)에 의해 수신된다.

마지막 단계(단계 407)에서, 수신되어 코딩된 영상 정보는 디코딩되며 디지털 영상은 부수적으로 전송된 코딩 파라미터 및 품질 스펙을 이용하여 재구성된다.

헤더 필드의 코드에 의해 각각 코딩되는 서로 다른 타입의 영상 오브젝트가 생성될 수 있다. 상기 타입의 영상 오브젝트들은 세 가지 그룹으로 분류된다.

제 1 타입의 영상 오브젝트는 폭 w 및 높이 h를 가지는 직사각형 영상 오브젝트이다. 각각의 매크로블록의 에지에 오브젝트 경계(영상 오브젝트의 에지)를 일치시켜야 하기 때문에, 직사각형 오브젝트는 직사각형 영상 오브젝트에서 좌상의 매크로블록의 절대 매크로블록 어드레스에 의해 어드레싱된다.

상기 절대 매크로블록 어드레스는 각각의 매크로블록에 할당된 어드레스이며 영상 코딩시에 각각의 매크로블록을 고유하게 식별한다.

직사각형 영상 오브젝트의 폭 w는 가변 길이 코딩을 사용하여 코딩된다.

매크로블록의 절대 어드레싱은 영상(100)에서 좌측으로부터 우측으로 라인마다 정렬하도록 이루어지며, 매크로블록을 나타내는 각각의 값이 매크로블록마다 증가된다. 개별 영상 오브젝트를 코딩하는 경우, 추가 데이터가 영상 오브젝트의 코딩과 연관되는 것을 나타내는 영상 오브젝트 시작 코드가 제공된다. 결과적으로, 영상 오브젝트의 마지막 매크로블록의 코딩은 각각 새로운 영상 오브젝트 시작 코드 또는 새로운 영상의 데이터가 순차적으로 코딩되는 것을 지정하는 새로운 영상 시작 코드중 하나에 의해 가능하다.

만일 직사각형 영상 오브젝트의 경계가 매크로블록 래스터와 일치하지 않고 휘도 영상 블록의 블록 경계와 일치한다면, 매크로블록 경계에 대한 각각의 휘도 영상 블록의 상대적인 위치는 영상 오브젝트 헤더 필드의 추가 비트에 의해 코딩된다.

직사각형 구조를 가지지 않는 제 2 타입의 영상 오브젝트는 각 영상 오브젝트의 에지가 매크로블록의 블록 경계 또는 적어도 휘도 영상 블록의 블록 경계와 일치하도록 세그멘트화된다.

이 경우, 영상 오브젝트의 제 1 매크로블록은 상기의 어드레싱안에 따라 절대 매크로블록 어드레스에 의해 어드레싱된다.

각각의 영상 오브젝트에 해당하는 후속하는 매크로블록은 H.261 표준을 따르는 방법으로 공지된 런렝스(run length) 코딩을 이용하여 어드레싱된다.

영상 오브젝트의 마지막 매크로블록의 코딩은 유사하게 새로운 영상 오브젝트 시작 코드 또는 새로운 영상 시작 코드 중 하나에 의해 가능하다.

제 3 타입의 영상 오브젝트는 백그라운드 영상 오브젝트이며, 이 경우, 제 3 영상 오브젝트(103)가 백그라운드 영상 오브젝트를 나타낸다. 백그라운드 영상 오브젝트는 백그라운드를 나타내며, 백그라운드에 나타난 정보는 포그라운드 영상 오브젝트에 개시된 정보보다 관찰자에게 덜 중요하다.

[1]에 개시된 슬라이스 구조 모드와는 반대로, 백그라운드 영상 오브젝트는 심지어 직사각형 영상 오브젝트, 즉 직사각형 오브젝트의 경우에도 필연적으로 직사각형인 것은 아니다.

백그라운드 영상 오브젝트 코딩의 경우, 이 과정은 영상 오브젝트 시작 코드로 시작한다. 백그라운드 영상 오브젝트의 매크로블록의 어드레싱은 선택된 세그멘트 타입을 따른다.

제 2 세그멘트 타입(코드 01)의 경우, 모든 백그라운드 매크로블록, 즉 백그라운드 영상 오브젝트에 포함된 모든 매크로블록의 위치는 마지막 영상 오브젝트의 코딩 이후에 분명하게 결정되며, 이들은 매크로블록의 어드레싱에 따라 상술한 방법으로 연속적으로 어드레싱될 수 있다. 영상 백그라운드에 포함되지 않은 매크로블록은 런랭스 코딩에 의해 스킵될(skipped) 필요가 없다.

제 3 세그멘트 타입 및 제 4 세그멘트 타입(코드 10 및 코드 11)의 경우에, 이 어드레싱은 직사각형이 아닌 구조를 가지는 영상 오브젝트의 경우와 마찬가지로 실시된다.

상술한 전형적인 실시예에 대한 다수의 대안이 이하에서 설명된다.

가변 길이 코딩에 대한 대안으로서, 고정 길이 코딩은 직사각형 영상 오브젝트의 폭 w을 코딩하기 위하여 사용될 수 있다.

영상(100)의 선행하는 영상에서 직사각형 영상 오브젝트의 크기 및 위치로부터 차동 코딩하는 것은 이 방법에서 사용될 수 있다.

직사각형 구조를 가지지 않는 영상 오브젝트의 매크로블록의 코딩시에 런랭스 코딩에 대안은 [2]에 개시된 바와 같은 쉐이프(shape) 코딩이다. 선행하는 영상에서 영상 오브젝트의 위치로부터의 차동 코딩은 매크로블록을 코딩하기 위해 사용될 수 있다.

상술한 방법을 사용하는 환경에서 또한 단지 직사각형 영상 오브젝트를 사용하는 방법이 제공될 수 있다. 이는 직사각형 영상 오브젝트에 포함된 매크로블록을 스킵할 때 w 매크로블록만큼 매크로블록 어드레스를 증가할 필요가 있기 때문에 코딩시에 단순함을 가져온다. 이는 코딩시에 필요한 계산 동작을 감소시킨다.

영상(100)의 관찰자에게 특별히 흥미있는 영상 오브젝트는 영상(100)의 관찰자에게 덜 흥미있는 영상 오브젝트, 특히 백그라운드 영상 오브젝트보다 나은 품질로 코딩된다. 블록 기반의 영상 코딩 방법이 이용되기 때문에, 소위 블록 인공물, 즉 가시 블록 에지는 저품질로 코딩된 영상 영역에서 증가된 부분을 발생시킨다.

선택적인 실시예에서, 상기의 인공물은 블록 에지 필터를 사용하여 감소된다. 상기의 블록 에지 필터링은 [4]에 개시되어 있다. 블록 에지 필터링은 소위 "루프내의 필터"와 마찬가지로 도 3에서 설명한 바와 같이 코더의 피드백 루프 및 디코딩 환경 모두에서 사용될 수 있다.

블록 에지 필터링은 바람직하게 거친(coarse) 양자화, 즉 저품질로 코딩된 영상 오브젝트에만 사용된다.

그러나 영상 시퀀스내에서 높은 각도의 운동이 발생하는 경우에, 심지어 증가된 품질로 코딩된 영상 오브젝트의 경우에도 상대적으로 거친 양자화가 제한된 데이터율을 고려하여 짧은 시간동안 사용된다. 이 경우, 블록 에지 필터링은 일시적으로 이 시간동안의 증가된 모션을 위해 사용되며, 영상 오브젝트를 위해 결정된 모션 벡터의 평가에 의해 선택적으로 결정된다.

블록 에지 필터링에 사용된 필터의 필터 파라미터는 [4]에 개시된 방법에 따라 코딩된 개별 영상에 다이나믹하게 적용될 수 있다.

게다가, 전송 에러 보호는 예를 들면 CRC 코드(순환 중복 체크) 또는 소위 펑처링된 코드와 같은 코딩된 영상의 전송을 위해 제공될 수 있다. 이 경우, 증가된 품질로 코딩된 영상 오브젝트는 낮은 품질로 코딩된 영상 오브젝트의 경우에 사용된 에러 보호 메카니즘보다 "더욱 강력한" 에러 보호 메카니즘에 의해 전송 에러에 대해 보호된다.

용어 "더욱 강력한"은 증가된 전송 에러수가 각각의 에러 보호 방법에 의해 검출 및 보정될 수 있는 사실로 이해되어야 한다.

다른 실시예에서, 품질 스펙은 선택되는 공간 해상도의 스펙에 의해 주어질 수 있다. 이 경우, 포그라운드 오브젝트, 즉 제 1 영상 오브젝트(104) 또는 제 2 영상 오브젝트(105)는 백그라운드 영상 오브젝트, 즉 제 3 영상 오브젝트(103)보다 나은 영상 품질, 즉 높은 공간 해상도로 코딩된다.

다음의 공개 문서가 상기 명세서에 예시되어 있다.

[1] ITU-T 초안 권고 H.263, Video coding for Low Bitrate Communication, September, 1997

[2] ISO/IEC JTC1/SC29/WG11, MPEG-4 Systems, Working Draft 4.0 of ISO/IEC 11196-1, A, Eleftheriadia, C.Herpel, L. Ward(ed.), April 16, 1997

[3] K.-P. Karmann et al, Moving object segmentation based on adaptive reference images, Proceedings of EUSIPCO-90, pp.951-954, Barcelona, September 1990

[4] DE 196 54 983 B
[5] WO 98 15915 A(univ. Columbia) April 16, 1998
[6] US-A-5 771 102(Pelz Rodolfo Mann et al) June 23, 1998

Claims (23)

1. 픽셀들을 가진 디지털 영상을 처리하기 위한 방법으로서,

   a) 상기 픽셀들은 영상 블록들로 그룹화되고,

   b) 상기 영상은 적어도 제 1 영상 오브젝트 및 제 2 영상 오브젝트로 세그멘트화되고, 적어도 하나의 영상 블록은 제 1 영상 오브젝트의 에지 중 적어도 일부에 할당되며,

   c) 상기 영상 오브젝트에 대한 정보는 적어도 하나의 영상 블록에 할당되며,

   d) 상기 영상 오브젝트는 서로 다른 품질로 코딩되며,

   e) 영상 오브젝트가 코딩되는 품질을 나타내는 품질 스펙은 해당 영상 오브젝트에 포함된 적어도 하나의 매크로블록에 할당되며,

   f) 상기 품질은 공간 해상도에 의해 결정되는,

   디지털 영상 처리 방법.
2. 제 1 항에 있어서,

   a) 상기 다수의 영상 블록들은 각각 매크로블록을 형성하기 위해 그룹화되며, 그리고

   b) 하나의 매크로블록은 에지의 적어도 일부에 할당되는 것을 특징으로 하는,

   디지털 영상 처리 방법.
3. 제 2 항에 있어서, 상기 매크로블록의 적어도 하나의 휘도 블록은 제 1 영상 오브젝트의 에지의 적어도 일부에 할당되는 것을 특징으로 하는,

   디지털 영상 처리 방법.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 적어도 하나의 영상 블록은 상기 제 1 영상 오브젝트의 전체 에지에 할당되는 것을 특징으로 하는,

   디지털 영상 처리 방법.
5. 제 2 항에 있어서, 상기 영상 오브젝트에 대한 정보는 각각 에지가 포함되는 모든 매크로블록들에 할당되는 것을 특징으로 하는,

   디지털 영상 처리 방법.
6. 제 2 항에 있어서, 상기 제 1 영상 오브젝트는 매크로블록에 개별적으로 할당된 매크로블록 어드레스를 이용하여 어드레싱되는 것을 특징으로 하는,

   디지털 영상 처리 방법.
7. 제 2 항에 있어서, 상기 제 2 영상 오브젝트는 매크로블록에 개별적으로 할당된 매크로블록 어드레스를 이용하여 어드레싱되는 것을 특징으로 하는,

   디지털 영상 처리 방법.
8. 삭제
9. 삭제
10. 제 1 항에 있어서, 상기 품질은 양자화 파라미터에 의해 결정되는 것을 특징으로 하는,

    디지털 영상 처리 방법.
11. 삭제
12. 제 1 항, 제 2 항, 제 3 항, 제 5 항, 제 6 항, 제 7 항, 또는 제 10 항 중 어느 한 항에 있어서, 상기 디지털 영상 처리 방법은 디지털 영상을 코딩하기 위해 사용되는 것을 특징으로 하는,

    디지털 영상 처리 방법.
13. 제 1 항, 제 2 항, 제 3 항, 제 5 항, 제 6 항, 제 7 항, 또는 제 10 항 중 어느 한 항에 있어서, 상기 디지털 영상 처리 방법은 디지털 영상을 디코딩하기 위해 사용되는 것을 특징으로 하는,

    디지털 영상 처리 방법.
14. 제 1 항, 제 2 항, 제 3 항, 제 5 항, 제 6 항, 제 7 항, 또는 제 10 항 중 어느 한 항에 있어서, 상기 디지털 영상 처리 방법은 이동 통신 장치에서 사용되는 것을 특징으로 하는,

    디지털 영상 처리 방법.
15. 픽셀들을 가진 디지털 영상을 처리하기 위한 장치로서,

    프로세서를 포함하고,

    상기 프로세서는,

    a) 상기 픽셀들은 영상 블록들로 그룹화되며,

    b) 상기 영상은 적어도 제 1 영상 오브젝트 및 제 2 영상 오브젝트로 세그멘트화되고, 적어도 하나의 영상 블록은 제 1 영상 오브젝트의 에지 중 적어도 일부에 할당되며,

    c) 상기 영상 오브젝트에 대한 정보는 적어도 하나의 영상 블록에 할당되며,

    d) 상기 영상 오브젝트는 서로 다른 품질로 코딩되며,

    e) 영상 오브젝트가 코딩되는 품질을 나타내는 품질 스펙은 해당 영상 오브젝트에 포함된 적어도 하나의 매크로블록에 할당되며,

    f) 상기 품질은 공간 해상도에 의해 결정되도록,

    셋업되는,

    디지털 영상 처리 장치.
16. 제 15 항에 있어서, 상기 프로세서는,

    a) 상기 다수의 영상 블록은 각각 매크로블록을 형성하기 위해 그룹화되며, 그리고

    b) 하나의 매크로블록은 에지의 적어도 일부에 할당되도록,

    셋업되는 것을 특징으로 하는,

    디지털 영상 처리 장치.
17. 삭제
18. 삭제
19. 제 15 항에 있어서, 상기 품질은 양자화 파라미터에 의해 결정되는 것을 특징으로 하는,

    디지털 영상 처리 장치.
20. 삭제
21. 제 15 항, 제 16 항 또는 제 19 항 중 어느 한 항에 있어서, 상기 디지털 영상 처리 장치는 디지털 영상을 코딩하기 위해 사용되는 것을 특징으로 하는,

    디지털 영상 처리 장치.
22. 제 15 항, 제 16 항 또는 제 19 항 중 어느 한 항에 있어서, 상기 디지털 영상 처리 장치는 디지털 영상을 디코딩하기 위해 사용되는 것을 특징으로 하는,

    디지털 영상 처리 장치.
23. 제 15 항, 제 16 항 또는 제 19 항 중 어느 한 항에 있어서, 상기 디지털 영상 처리 장치는 이동 통신 장치에서 사용되는 것을 특징으로 하는,

    디지털 영상 처리 장치.

Images