KR980013412A

KR980013412A - 양 방향 예측-비오피(b-vop)간의 동기화 방법

Info

Publication number: KR980013412A
Application number: KR1019960027498A
Authority: KR
Inventors: 천승문; 박광훈; 문주희
Original assignee: 김주용; 현대전자산업 주식회사
Priority date: 1996-07-08
Filing date: 1996-07-08
Publication date: 1998-04-30
Also published as: KR100399044B1

Abstract

본 발명은 한정된 수의 VOP간 동기화된 영상 형성 장치에 관한 것으로. 특히, 국제 표준화가 진행중인 MPEG-4에 도입된 B-VOP의 동기화시 최소의 코딩 블록개수를 얻기 위해 모양 적응 영역 분할을 행하며 동기화된 매크로 블록의 데이터를 압축한 후, 전송시 3D 형태의 코딩 알고리즘을 사용하여 코딩 효율의 극대화를 이룰 수 있도록 한 B-VOP의 영상 형성 방법에 관한 것이다.

본 발명은 kn개의 B-VOP내의 관련있는 매크로 블록의 절대 위치를 Bkn-VOP Image Size 통합 방법으로 일치시켜 주면서 최소의 코딩 블럭을 갖도록 일치시켜 줌으로써 B-VOP간에 3D-DCT등과 같은 보다 효율적인 코딩 방법을 적용할 수 있게 하여 코딩 효율을 극대화 시킬 수 있도록 한다.

Description

양 방향 예측-비오피(B-VOP)간의 동기화 방법

본 발명은 한정된 수의 VOP간을 동기화하는 영상 형성 방법에 관한 것으로, 특히 국제 표준화가 진행중인 MPEG-4에 도입된 B-VOP의 동기화시 최소의 코딩 블록 개수를 얻기 위해 모양적응 영역 분할을 행하며 동기화된 매크로 블록의 데이터를 압축한 후, 전송시 3D 형태의 코딩 알고리즘을 사용하여 코딩 효율의 극대화를 이를 수 있도록 한 B-VOP의 영상 형성 방법에 관한 것이다.

일반적으로, 현재 표준화가 진행 중인 MPEG-4에는 비오피(VOP: Video Object Plane) 개념을 기초로 하고 있다.

상기 비오피는 코딩하고자 하는 영상 화면에서 어떤 물체가 존재할때 그 물체를 따로 분리하여 각각을 영상의 특성에 맞는 알고리즘을 사용하여 부호화 하는 것을 기본 골격으로 하고 있다.

이때, 물체의 영상을 포함하는 최소 영상 크기로 비오피를 형성하여 그 비오피의 시작 위치 (비오피의 upper-left point), 비오피의 영상 크기 (가로, 세로 크기) 와 함께 비오피내의 영상 정보를 부호화 하여 전송하게 된다.

상기 표준화가 진행중인 MPEG-4 Verification Model version 2.1에는 양 방향 예측 비오피(Bidirectional-VOP)의 개념이 새로 추가 되었다.

이는 이전에 MPEG1/2 표준화나 H.263표준화에서 그 성능이 입증된 것을 도입한 것으로, MPEG1/2와 같이 B-picture macroblock coding을 할 수 있게 하거나, H.263과 같이 B-block coding을 가능케 해준다.

이러한 B-VOP 코딩을 도입한 것은 크게 2가지 이유로, 그 첫번째는 B-VOP에서 시간축상에서 과거의 Predictive-VOP(P-VOP)와 미래의 P-VOP를 이용하여 양 방향 움직임 추정을 함으로써 보다 양질의 움직임 추정을 가능케 하여 Texture 코딩시 현재 보내야 할 데이터에서 움직임 추정으로 추정된 값을 뺀 값을 코딩하여 전송할 때 데이터 압축 효과가 나오기 때문이다.

두번째로, B-VOP 코딩시 단지 양 P-VOP에서 B-VOP의 영상 데이터를 추정하여 코딩하기 때문에 코딩한 결과가 시간축 상에서 파급되지 않는다.

하지만 P-VOP의 영상 코딩 결과는 시간축 상에 파급된다. 그러므로 P-VOP간의 코딩은 보다 정교히 하여 시간축상의 화질을 향상시키고, B-VOP 코딩시 양자화 단계를 P-VOP의 양자화 단계 보다 크게 설정하여(예를 들어, MPEG-4 VM : (5/4)Q,(6/4)Q,(7/4)Q,(8/4)Q, Q : P-VOP 코딩시 양자화 단계) 전송해야 할 데이터의 양을 줄인다.

이때, 상기와 같이 보다 양질의 P-VOP의 코딩 결과를 이용하였으므로 비록 양자화 단계는 크다 하더라도 B-VOP에서 양질의 화질을 구할 수 있다.

하지만 B-VOP를 도입하므로써 B-VOP를 코딩하기 위해서 미래의 P-VOP를 먼저 코딩해야 하는 시간상의 지연이 존재하게 된다.

예를 들면, 전송시 영상의 시간축상의 배열은 P1B1B2P2B3B4P3...순으로 입력되지만, 코딩시에는 P1P2B1B2P3B3B4...순으로 코딩을 해야 하므로 B-VOP를 코딩하기 위해 미래의 P-VOP를 먼저 코딩해야 하므로 해당 영상이 입력 될때까지 기다려야 함에 따라 지연이 필연적으로 발생한다.

표-1＞

상기 표-1>과 같이, P-VOP사이에 B-VOP의 수가 늘면 늘수록 처리 시간의 지연이 늘어나게 된다. 즉 비디오 폰(Video Phone)과 같이 실시간 처리가 필요한 스킴(Scheme)에서는 B-VOP를 사용하지 않거나 그 수를 줄이고, 미리 저장된 영상 매체는 코딩 목적에 따라 B-VOP의 수를 가감할 수 있다.

제1도는 종래의 MPEG 1/2에서의 양 방향성 코딩 모드를 보여주는 도면으로서, 양 방향성 코딩 모드(Bidhectional Coding Mode)는 MPEG1/2과 H.263표준의 핵심이 되는 내용으로 간단히 살펴보면, MPEG1/2에는 제1도에 도시된 바와 같이, P-frame (Predictive frame) 사이에 n개의 B-frame(Bidirectional frame)이 존재할 수 있고 P-frame과 B-frame은 같은 신택스(Syntax)구조를 가지며, B-frame에서 전방 예측 (Forward Prediction), 후방 예측 (Backward Prediction), 그리고 양 방향 예측 (Bidirectional Prediction : (Forward prediction + backward prediction) / 2)을 적용하여 움직임 추정을 향상시킨다.

H.263 표준에서는 PB-Frames Mode라 하여 P-Frame과 P-Frame사이에 실시간 처리를 위해 지연(Delay)을 줄이고 코딩 효율을 높히기 위해 단 1개의 B-frame만을 허용한다.

여기서는 MPEG과 같이 Frame단위로 코딩하는 것이 아니라, 매크로 블럭(MacroblocK)단위로 P-MacroblocK과 B-MacroblocK을 한데 묶어 전송하므로써, 각각을 코딩할 때 필수적으로 필요한 부가 정보(Overhead)의 양을 줄일 수 있다.

한편, MPEG-4 Verification _Model version 2.1을 살펴보면, 상기에서 설명한 것과 같이 B-VOP에서 전방 예측, 후방 예측, 그리고 양 방향 예측과 같이 MPEG1/2 Scheme에서 쓰이는 방법과 Direct Bidirectional Prediction 과 같이 H.263에서 사용되는 스킴(Scheme)을 혼용한다.

그러나, 상기와 같은 방법은 시간적으로 각각의 VOP가 해당 물체(Object)를 둘러싸는 최소 크기의 사각형으로 결정되고 코딩시 Bounding rectangle을 16×16의 매크로블록(Macroblock)의 멀티플(Multiple)단위로 확장하여 코딩할 때에는 시간축 상에서 동일 물체를 표현하는 VOP의 크기가 각각 다른 경우가 형성되기 때문에, 보다 B-VOP의 코딩 효율을 높히기 위한 방법을 적용할 수 없다.

즉, 시간축 상에서 B-VOP의 크기가 서로 다르므로 B-VOP의 매크로블륵(Macroblock)코딩시 B-VOP의 매크로 블록의 위치가 서로 다르기 때문에 고딩효율을 극대화 할수 있는 방법들(예를 들어,3D-DCT등)을 적용할수 없으므로 코딩 효율의 극대화에 한계가 따르는 문제점이 있었다.

따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 그 목적은 kn개의 B-VOP내의 관련있는 매크로블륵의 절대 위치를 BKn-VOP Image Size 통합(Merging) 방법으로 일치시켜 주면서 최소의 코딩 블럭을 갖도록 일치시켜 줌으로써 B-VOP간에 3D-DCT등과 같은 보다 효율적인 코딩 방법을 적용할 수 있게 하여 코딩 효율을 극대화 시킬 수 있도록 한 B-VOP의 영상 형성 방법을 제공하는 데에 있다.

이하, 첨부된 도면을 참조하면 본 발명의 B-VOP의 영상 형성 방법을 상세히 설명한다.

제2도는 본 발명에 따른 B-VOP의 영상 형성 방법을 보여주는 도면으로 서, 본 발명은 영상 프레임(Frame) 내에서 n개의 13-VOP의 매크로블록이 똑같은 절대 위치를 갖게 해주는 방법으로 보다 자세히 설명하기 위해 Bkn-VOP Image Size 통합(Merging) 방법을 제안한다.

여기서 n은 P-VOP간에 삽입되는 B-VOP의 숫자이고, 제2도에 도시된 바와 같이, P-VOP간에 n개의 B-VOP가 코딩될때, n개의 B-VOP를 통함해서 n개의 VOP에 존재하는 물체들의 크기를 모두 포함하는 통합 VOP Image Size를 제2도 최종 그림같이 구한다.

또한, 발전 예로써 영화와 같은 대다수의 Application을 코딩하여 전송하는 것과 같이, 초기 지연이 커다란 문제가 되지 않을때 보다 코딩 효율을 높히기 위하여 3개의 P-VOP사이에 존재하는 2n개의 B-VOP를 동기화 하는 방법도 생각해 낼 수 있다.

물론 일반화 하여 (K+l)개의 P-VOP사이에 존재하는 Kn개의 B-VOP를 동기화 하여 코딩 효율을 높힐 수도 있다.

여기서 K는 양의 정수로서, 이때 각각의 VOP의 크기와 위치는 영상 프레임 내의 절대 위치로 산출한 후 그 절대 위치와 VOP Size를 전부 포함하는 가장 작은 통합 VOP의 시작 위치(VOP의 upper-left point)와 VOP의 영상크기(가로, 세로 크기)를 결정하면 된다.

B-VOP간에 공통적인 VOP 영상 크기를 구하여 그것을 해당되는 VOP의 위치와 크기로 확정하여 코딩하기 때문에 VOP의 시작 위치와 VOP 영상 크기는 각각의 VOP를 코딩시 전송할 필요가 없으며 kn개의 B-VOP 전송시 최초에 1번만 전송하면 된다.

이제부터 같은 VOP의 크기를 갖는 kn개의 B-VOP의 Group를 Group of B-VOPs (GOBVOP)라 호칭한다.

각각의 GOBVOP에 맞는 통합 VOP를 구할때, 각각의 B-VOP에서 코딩할 블럭의 숫자가 통합적으로(Globally) 최소가 되도록 모양 적응 영역 분할 방법(Shape Adaptive Region partitioning Method : SARP)을 통하여 구할 수 있다.

모양 적응 영역 분할(SARP)를 이용하여 통합적으로 최적인 최소의 B-Rectangle은 다음과 같이 구할수 있다.

제2도의 BKn-VOP Size(i)를 구할 경우, 모양 적응 영역 분할을 이용한 동기화 방법은,

1. Image Sequence의 Frame내에서 kn개의 B-VOP에 해당되는 물체의 모양 정보를 읽고 버퍼에 저장한다. 여기서 k는 양의 정수,

2. Image Frame내에서 kn개의 물체에 해당되는 모양 정보를 Frame내의 절대 위치에서 통합한다. 그리고 통합된 모양 정보를 통합 모양 정보라 칭하자,

3. Image Frame내에서 통합 모양 정보를 모두 포함할 수 있는 최소의 사각형(Smallest Rectangle)을 구한다.

4. 통합 모양 정보를 모두 포함하는 최소의 사각형을 이용하여 kn 개의 B-VOP내의 모양 정보에 맞게 모양적응 영역분할을 행한다. 이때 각각의 kn개의 B-VOP에서 코딩할 블럭의 수나 가장자리 코딩 블럭의 수를 센 후 그 합인 총 코딩 블럭의 숫자를 줄이는 방향으로 혹은 총 가장자리 블럭의 숫자를 줄이는 방향으로 모양적응 영역 분할을 수행한다.

따라서, 총 코딩 블럭의 숫자를 구할때 각각의 VOP에 적응되는 비례상수를 곱하여 비례 값을 구한다.

이상, 상기 상세한 설명에서와 같이 본 발명은 kn개의 B-VOP내의 관련있는 매크로블록의 절대 위치를Bkn-VOP Image Size Merging 방법으로 일치시켜 주면서 최소의 코딩 블럭을 갖도록 일치시켜 줌으로써 B-VOP간에 3D-DCT등과 같은 보다 효율적인 코딩 방법을 적용할 수 있게 하여 코딩 효율을 극대화 시킬 수 있다.

또한, 본 발명은 표준화 이후 화상 전화, 화상 회의, PCS용 PDA (패턴인식 기술과 함께), Mobile용 전화 및 멀티미디어 분야에 응용한 제품에 이용할 수 있다.

내용없음

제1도는 종래의 MPEG 1/2측서의 양 방향성 코딩 모드를 보여주는 도면.

제2도는 본 발명에 따른 B-VOP의 영상 형성 방법을 보여주는 도면.

내용없음

Claims

영상 프레임내에서, VOP단위로 코딩하여 전송할 때, 각각의 물체를 표현하는 VOP의 프레임내의 시작 위치와 그 영상의 크기가 서로 다른 경우, (k+1)개의 P-VOP사이에 존재하는 kn개의 B-VOP의 시작 위치와 영상 크기를 동기화 하도록하는 것을 특징으로 하는 B-VOP의 영상 형성 방법.
제1항에 있어서, 상기 P-VOP간에 n개의 B-VOP가 코딩될때,(k+1)개의 P-VOP사이에 존재하는 Kn개의 B-VOP를 통합하여 kn개의 B-VOP에 존재하는 각각의 물체들을 모두 포함하는 통합 VOP를 구하는 것을 특징으로 하는 B-VOP의 영상 형성 방법.
제1항에 있어서, 각각의 VOP 크기와 VOP 시작 위치는 영상 프레임내의 절대 위치로 산출한 후 각각의 시작점의 절대 위치와 VOP 영상 크기를 전부 포함하는 가장 작은 통합 VOP의 시작 위치와 가로 세로의 영상 크기를 구하는 것을 특징으로 하는 B-VOP의 영상 형성 방법.
제1항에 있어서, B-VOP의 영상 형성이 동기화 되어 있으므로 통합 B-VOP의 시작 위치와 영상 크기는 각각의 B-VOP를 코딩할 때 전송할 필요가 없으며 최초의 B-VOP전송시 1번만 전송함을 특징으로 하는 B-VOP의 영상 형성 방법.
제1항에 있어서, 각각의 Group of B-VOPs (GOBVOP)에 맞는 통합 VOP를 구할때, 각각의

B-VOP에서 코딩할 블럭의 숫자가 통합적으로 최소화 되도록 모양적응 영역분할 방법을 통하여 동기화 함을 특징으로 하는 B-VOP의 영상 형성 방법.
제5항 있어서, 프레임내에서 시간축상 Kn개의 B-VOP에 해당되는 물체의 모양 정보를 읽고 버퍼에 저장하고, Image Frame내에서 kn개의 물체에 해당되는 모양 정보를 프레임내의 절대 위치에서 통합하며, 프레임 내에서 통합 모양 정보를 모두 포함할 수 있는 최소의 사각형을 구한 후, 그 사각형을 이용하여 kn개의 B-VOP내의 모양 정보예에 맞게 모양적응 영역분할을 행하여 동기화 하는 것을 특징으로 하는 B-VOP의 영상 형성 방법.
제5항에 있어서, Kn개의 B-VOP에서 코딩할 블럭의 숫자를 센후 그 합인 총 코딩할 블럭의 숫자를 줄이는 방향으로 모양 적응 영역 분할을 행하는 것을 특징으로 하는 B-VOP의 영상 형성 방법.
제5항에 있어서, kn개의 B-VOP에서 가장자리 코딩 블럭의 수를 센 후 그 합인 총 가장자리 코딩 블록의 숫자를 줄이는 방향으로 모양 적응 영역 분할을 행하는 것을 특징으로 하는 B-VOP의 영상 형성 방법.
제7항에 있어서, 총 코딩 블럭의 숫자는 kn개의 B-VOP에서 발생하는 코딩 블럭의 수에 각각 서로 다른 가중치인 비례 상수를 곱하여 그 총합의 숫자를 줄이는 방향으로 모양적응 영역분할을 수행함을 특징으로 하는 B-VOP의 영상 형성 방법.
제8항에 있어서, 총 가장자리 코딩 블럭의 숫자는 kn개의 B-VOP에서 발생하는 가장자리 코딩 블럭의 수에 각각 서로 다른 가중치인 비례 상수를 곱하여 그 총합의 숫자를 줄이는 방향으로 모양 적응 영역 분할을 수행함을 특징으로 하는 B-VOP의 영상 형성 방법.
제5항에 있어서, 구해진 코딩 블럭의 수가 줄도륵 하는 최적의 동기화된 통합 VOP의 작위치와 영상 크기는 동기화 전송을 요하는 kn개의 B-VOP중에서 최초의 B-VOP전송시 1번만 전송함을 특징으로 하는 B-VOP의 영상 형성 방법.
제1항에 있어서, 동기화된 B-VOP에서 3D-DCT를 수행하여 코딩 효율을 극대화 함을 특징으로 하는 B-VOP의 영상 형성 방법.

※ 참고사항 : 최초출원 내용에 의하여 공개하는 것임.