KR100466592B1

KR100466592B1 - 물체경계블록영상정보부호화방법

Info

Publication number: KR100466592B1
Application number: KR1019970004739A
Authority: KR
Inventors: 권지헌; 문주희
Original assignee: 주식회사 팬택앤큐리텔
Priority date: 1997-02-17
Filing date: 1997-02-17
Publication date: 2005-04-28
Also published as: KR19980068228A

Abstract

본 발명은 블럭내 및 블럭간에 존재하는 영상정보 및 예측 오차 정보의 공간잉여성을 이용하여 수평, 수직, 대각선방향 모드중의 한 모드로 합병한 후 부호화하고, 복원영상의 재구성 및 디스플레이를 위한 물체블럭분할 기술을 수평, 수직, 대각선 방향 분할의 세 모드중 합병모드와 같은 모드로 분할하는 영상 정보 부호화시 물체경계 블럭 합병(BBM: Boundary Block Merge)/블럭분할(BBS: Boundauy Block Split)을 이용한 영상정보 부호화방법에 관한 것으로, 영역기반의 영상 정보 부호화(Content-based Texture Coding)시 영역신호 및 오차신호를 부호화할 때 물체경계 블럭을 합병하여 DCT기반 기술로 부호화할 수 있는 것이다.

Description

물체경계 블록 영상 정보 부호화 방법{Boundary Block Video Data Coding Method}

본 발명은 블럭내 및 블럭간에 존재하는 영상정보 및 예측 오차 정보의 공간잉여성을 이용하여 수평, 수직, 대각선방향 모드중의 한 모드로 합병한 후 부호화하고, 복원영상의 재구성 및 디스플레이를 위한 물체블럭분할 기술을 수평, 수직, 대각선 방향 분할의 세 모드중 합병모드와 같은 모드로 분할하는 모양 정보 부호화시 물체경계 블럭 합병/분할을 이용한 물체경계 블럭 영상정보 부호화 방법에 관한 것이다.

최근 영상 및 음향 부호화 기술 및 시스템 구성에 관한 국제 표준안 MPEG-1, MPEG-2를 개발하고 의결한 MPEG 그룹이 현재는 98년 11월에 국제 표준으로 채택할 예정의 차세대 영상 및 음향 부호화 기술 및 시스템 구성에 관한 국제표준안-MPEG-4- 을 연구, 개발중에 있다.

MPEG-4의 개발은 기존의 알려진 표준안으로는 지원할 수 없는 차세대 영상 및 음향 응용물들을 지원할 필요성에서 출발했다.

MPEG-4는 영상 및 음향 데이터의 통신과 접속, 그리고 조작을 위한 새로운 방법들-예를 들자면, 특성이 다른 네트워크를 통한 물체 중심 대화형 기능 및 접속등-을 제공한다.

또한 에러가 쉽게 발생되는 통신환경과 저전송율의 통신환경에서도 유용하게 동작하는 특성하는 특성을 제공한다.

더욱이 컴퓨터 그래픽 기술을 통하여 자연영상 및 음향과 인공영상 및 음향들을 함께 부호화하고 조작할 수 있는 기능들을 제공한다.

요컨대, MPEG-4는 여러 응용분야에서 요구되고 예상되는 모든 기능들을 지원해야 한다.

따라서, 멀티미디어 정보의 급팽창과 기술 향상에 의해 새롭게 개발됐거나 개발될 저가, 고기능의 모든 가능한 응용 분야들에 요구되는 기능들을 지원할 수 있도록 확장가능하고 개방될 저가, 고기능의 모든 가능한 응용 분야들에 요구되는 기능들을 지원할 수 있도록 확장가능하고 개방적인 구조를 가지게 된다.

그중에는 전송 및 저장 기능과 비용 절감에 필요한 부호화 효과의 향상기능(Improved Compression Efficiency)이 있다.

현재 MPEG-4의 기술이 응용될 것으로 기대되는 응용물로는 인터넷 멀티미디어(IMM: Internet Multimedia), 대화형 비디오 게임(IVG: Interactive Video Games), 영상회의 및 영상전화 등의 상호 통신(IPC: Interpersonal Commumications), 쌍방향 저장매체(ISM: Interactive Storage Media), 멀티미디어 전자우편(MMM: Multimedia Mailing), 무선 멀티미디어(WMM: Wireless Multimedia), ATM망 등을 이용한 네트웍 데이터베이스 서비스(NDB: Networked Database Service), 원격 응급 시스템(RES: Remote Emergency System), 원격 영상 감시(RVS: Remote Video Surveillance)등이 있다.

기존의 응용물이나 앞으로 기대되는 응용물들을 지원하기 위해서는 유저들이 영상내의 원하는 객체만을 통신할 수 있고, 찾고 읽을 수 있도록 접근할 수 있고, 자르고 붙일 수 있도록 편집할 수 있는 영상 부호화기술이 필요하다.

98년 11월 완성을 위해 현재 세계표준화 작업이 진행중인 새로운 영상 및 음향 부호화 기술인 MPEG-4는 이러한 필요를 충족시키기 위한 것이다.

도 1 은 MPEG-4의 영상 부호화기의 구조를 나타낸다. 이는 기존의 영상부호화 세계표준인 H.261, H.263, MPEG-1, MPEG-2의 영상부호화기 구조와는 다른 구조를 지닌다.

즉, 이와 같은 MPEG-4의 영상 부호화기는 VOP(Video Object Plane) 형성부(10)에서 형성된 각각의 대상물 영상에 대한 VOP가 움직임 추정부(Motion Estimation)(11)에 입력되어 매크로블럭의 단위로 움직임이 추정된다.

그리고 상기 움직임 추정부(11)에서 추정된 움직임 정보는 움직임 보상부(Motion Compensation)(12)에 입력되어 움직임이 보상된다.

또한, 상기 움직임 보상부(12)에서 움직임이 보상된 VOP는 VOP 형성부(10)에서 형성된 VOP와 함께 감산기(13)에 입력되어 차이 값이 검출되고, 상기 감산기(13)에서 검출된 차이 값은 영상신호 부호화부(14)에 입력되어 매크로블럭의 서브 블럭 단위로 대상물의 영상신호가 부호화된다.

예를 들면, 영상신호 부호화부(14)는, 매크로블럭의 X축 및 Y축을 각기 8개의 화소를 가지는 8×8의 서브 블럭으로 세분화한 후 대상물의 영상신호를 부호화한다.

그리고 상기 움직임 보상부(12)에서 움직임이 보상된 VOP와 영상신호 부호화부(14)에서 부호화된 대상물의 내부 정보가 가산기(15)에 입력되어 가산되고, 상기 가산기(15)의 출력신호는 이전 VOP 검출부(Previous Reconstructed VOP)(16)에 입력되어 이전 화면의 VOP가 검출된다.

이전 VOP 검출부(16)에서 검출된 상기 이전 화면의 VOP는 움직임 추정부(11) 및 움직임 보상부(12)에 입력되어 움직임 추정 및 움직임 보상에 사용하도록 하고 있다.

그리고 VOP 형성부(10)에서 형성된 VOP는 모양 정보 부호화부(Shape Coding)(17)에 입력되어 모양 정보가 부호화된다.

여기서, 모양 정보 부호화부(17)의 출력신호는 VOP 부호화부가 적용되는 분야에 따라 사용 여부가 결정되는 것으로, 모양 정보 부호화부(17)의 출력신호는 점선으로 표시된 바와 같이 움직임 추정부(11)와 움직임 보상부(12) 및 영상신호부호화부(14)에 입력되어 움직임 추정, 움직임 보상 및 대상물의 내부 정보를 부호화하는데 사용할 수 있다.

또한, 상기 움직임 추정부(11)에서 추정된 움직임 정보, 영상신호부호화부(14)에서 부호화된 대상물의 내부 정보 및 모양 정보 부호화부(17)에서 부호화된 모양정보는 멀티플렉서(18)에서 다중화되고, 버퍼(19)를 통해 비트 스트림으로 전송된다.

이와같이 구성되어 동작되는 MPEG-4의 영상 부호화기에 있어서는, 특히 모양정보 부호화부(Shape Coder)와 VOP(Video Object Plane)라는 개념의 도입이 가장 두르러진 차이를 보이고 있다.

VOP는 사용자가 접근 및 편집할 수 있는 임의 모양의 내용물의 시간축상의 한 시점이 객체를 의미하고, 내용물 기반의 기능성(content-based functionality)을 지원하기 위해서는 VOP별로 부호화되어야 한다.

도 2 는 임의 모양을 가진 VOP의 한 예를 보인 것으로, VOP는 영상 부호화를 위해 16×16 필셀들로 구성된 매크로블럭들로 재구성된다.

이때 재구성된 VOP내에는 도 3 과 같이 세가지 종류의 매크로블럭이 존재하게 되는데, 객체내의 정보만으로 구성되는 객체내 매크로블럭과 객체내의 정보를 하나도 갖지 않는 객체밖 매크로블럭과 객체내의 정보를 부분적으로 갖는 물체경계매크로블럭이 그것이다.

각 매크로블럭내의 휘도블럭과 색차블럭의 배열은 도 4 와 같다. 물체내 매크로블럭은 물체내블럭들로만 구성되고, 물체밖 매크로블럭은 물체밖 블럭으로만 구성된다.

그러나, 물체경계매크로블럭내에는 도 5 와 같이 매크로블럭종류와 동일한 특성을 지닌 8×8 픽셀들로 구성된 세가지 종류의 블럭이 존재할 수 있는데, 물체내 서브블럭, 물체밖 서브블럭, 물체경계 서브블럭이 그것이다.

물체경계 블럭의 영상 정보 및 예측오차정보를 부호화하기 위해서는 물체밖 영역에 있는 픽셀들의 픽셀값이 먼저 결정되어야 한다.

최근까지 고려된 기술로는 블럭내의 객체내 영상정보의 평균값을 채우는 평균값 대체(Mean Replacement)기술, 제로(zero)값을 채우는 제로패딩(Zero Padding)기술, 객체 경계 정보를 이용한 반복패딩(Repetitive Padding)기술, 객체밖 정보에 대해서 돈 캐이(Don't Care)한 모양 적용형 DCT(Shape Adaptitve DCT)기술 등이 있다.

그러나, 영상정보 및 예측오차정보는 공간내에서 상관도가 높은 공간잉여성을 지니고 있는데, 최근까지 제기된 기술들은 블럭내의 공간잉여성을 DCT와 양자화(Quantization)를 통해 적절히 이용하고는 있으나, 블럭간에 존재하는 공간잉여성은 이용하고 있지 않다.

만일 블럭간의 존재하는 공간잉여성을 이용하게 된다면 부호화효율을 향상시킬 수 있을 것이며, 이를 위하여 종래에는 물체경계 블럭내의 영상정보 및 예측오차 정보를 합병하여 부호화하는 물체경계 블럭 합병기술(BBM: Boundary Blockk Merging Technique)이 연구되어졌다.

도 6 은 상기 도 1 에서 영상신호 부호화부(14)(VM5.0)의 종래 구성을 나타낸 것으로, 움직임 보상부(12)와 VOP형성부(10)로부터의 예측오차정보 그리고 모양정보 부호화부(17)로부터의 원영상 모양정보를 입력받아 물체밖 영역을 패딩하는 물체밖 영역 패딩부(14a)와, 상기 물체밖 영역 패딩부(14a)의 신호를 DCT 및 부호화시켜 텍스쳐 신호정보를 출력시키는 DCT 및 부호화부(14b)와, 상기 DCT 및 부호화부(14b)의 신호를 IDCT 및 복호화시켜 복호화된 정보를 이전 VOP 검출부(16)로 출력시키는 IDCT 및 복호화부(14c)를 포함하여 구성되었다.

이하, 이와같은 종래 영상신호 부호화부(14)(VM5.0)를 참고로 하여 상술한 종래기술의 몇가지 예를 설명하면 다음과 같다.

먼저 평균값 대체기술(Mean Replacement Technique)은 물체경계매크로블럭내의 물체경계 블럭내에서 영상정보 및 예측오차정보를 부호화하기 위해서, 물체바깥 픽셀값을 그 블럭내의 물체내 픽셀값들의 평균값으로 채운 후 DCT(Discrete Cosine Transform)를 이용하여 부호화하는 기술이다.

평균값 대체 기술은 도 7(a)와 같이 수행되는데 도면에서 20은 분리기(separator), 21은 평균값 계간기(mean calculator), 22는 선택기(selector)를 나타내며, 회색 픽셀은 객체내의 픽셀임을 나타낸다.

물체경계 블럭내의 객체내 픽셀들인 회색픽셀들의 평균값 'a' 를 구하고, 객체밖 픽셀값을 'a' 로 대체한 후 DCT를 이용하여 부호화한다.

다음에 제로패딩 기술(Zero Padding Technique)은, 물체경계 매크로블럭내의 물체경계 블럭에서 영상정보 및 예측오차정보를 부호화하기 위해서, 물체바깥 픽셀값을 제로(zero)값으로 채운 후 DCT를 이용하여 부호화하는 기술이다.

제로패딩 기술은 도 7(a)에서 물체경계 블럭내의 물체밖 픽셀인 흰색 픽셀에 제로(zero) 값으로 대체한 후 DCT를 이용하여 부호화하는 기술로, MPEG-4 VM 비전2.0~5.0까지 영상간 부호화시에 적용되고 있다.

한편, 반복패딩 기술(Repetitive Padding Technique)은 재생된 모양정보를 이용하고, 5단계로 구성된 것으로 도 7(b)를 통해 각 단계를 설명하면 다음과 같다.

(1) 물체경계 블럭내의 객체밖의 픽셀값을 제로(0)로 본다.

(2) 물체경계 블럭을 수평방향으로 스캔한다. 이때, 각 수평라인에 두 종류의 선이 존재할 수 있게 된다.

제로값으로 구성된 선인 제로 세그멘트(zero Segment)와 제로가 아닌 값으로 구성된 선인 난-제로 세그멘트(non-zero segment)가 그것이다.

만약 스캔되는 수평라인에 난 세그멘트만 있거나, 난-제로 세그멘트만 있으면, 어떤 수행도 하지 않고, 다음 수평라인을 스캔하고, 제로 세그멘트가 블럭과 난-제로 세그멘트 사이에 있으면, 제로 세그멘트와 맞닿은 난-제로 세그멘트의 끝 픽셀값으로 제로 세그멘트내에 픽셀들을 채우고, 제로 세그멘트가 난-제로 세그멘트 사이에 놓인 경우엔, 그 제로 세그멘트와 맞닿은 난 세그멘트의 끝 픽셀값의 평균값으로 채운다.

(3) 수직방향으로 물체경계 블럭을 수캔하고, (2)에서 설명한 과정을 수행한다.

(4) 만약 객체밖의 픽셀이 (2)와 (3)에서 모두 채워진다면, 두 값의 평균값으로 채운다.

(5) (1)~(4)까지 수행한 후에도 채워지지 않은 객체밖 픽셀들은 수평방향으로 스캔하여 제로(0)가 아닌 가장 가까운 픽셀을 찾고, 만약 거리가 같으면, 왼쪽에 있는 제로(0)가 아닌 픽셀값으로 정해두고, 수직방향으로 동일하게 수행하되, 거리가 같으면, 윗쪽에 있는 제로(0)가 아닌 픽셀값으로 정해서, 그 정해진 두 값의 평균값으로 대체한다.

위에서 설명된 각 단계들의 결과를 도시 도면 7(b)와 같고, MPEG-4 VM1.0에서는 영상내 및 영상간 부호화에, VM2.0~4.0까지 영상내 부호화에 적용되고 있다.

또한, 모양적응형 DCT기술(SADCT: Shape Adaptive Discrete Cosine Transform Technique)은 임의 모양의 VOP의 물체경계 블럭에 적용된다.

임의 모양의 VOP기반의 영상 부호화시, 물체밖에 픽셀에 대해 정의되지 않은 픽셀값들을 적절한 값들로 대체하는 방법과는 달리 물체내의 정보만을 이용하여 부호화하고 양자화하여 부호화한다.

DCT한 후 DCT계수는 객체내의 픽셀수와 동일한 특성이 있다. 도면 7(c)에서 (A)와 같은 객체내 정보가 존재할 때, (B)와 같이 먼저 위쪽으로 영상정보 및 예측오차정보를 이동시킨 후 수직방향의 1차원 DCT를 수행하고, (C)와 같이 형성된 DCT계수를 다시 (D)와 같이 왼쪽으로 이동시킨 후 (E)와 한이 수평방향의 1차원 DCT를 수행한다.

그리고 (E)의 수행 후 (F)와 같이 SADCT계수들이 형성되며, SADCT후의 DCT계수는 양자화가 수행되고, 지그재그 스캔이 적용되는데, 계수가 존재하지 않는 영역에 대해서는 스킵하는 적응형 스캔(adaptive scan)이 실행된다.

적응형 스캔에 따라 스캔된 계수값들은 기존의 VLC테이블을 이용해 부호화된다. MPEG-4 VM5.0에 영상내 및 영상간 부호화의 선택기술로 적용되고 있다.

종래 영상정보 및 예측오차정보는 공간내에서 상관도가 높은 공간잉여성(spatial redundancy)을 지니고 있는데, 최근까지 제기된 기술들은 블럭내의 공간잉여성을 DCT와 양자화(Quantization)를 통해 적절히 이용하고는 있으나, 블럭간에 존재하는 공간잉여성은 이용하고 있지 않아 부호화효율이 저하되고 있다.

또한, 현재까지 제안된 물체경계 블럭 합병기술(특허 제96-27766호, 제96-27767호, 제96-38406호)은 시스템을 구성하기에 다소 복잡한 결점이 있었다.

본 발명은 이와같은 종래의 문제점을 해결하기 위하여 안출한 것으로, 동일한 물체경계 매크로블럭내의 물체경계 블럭을 BBM을 통해 합병시켜 부호화함으로써 블럭내 뿐아니라 근접한 블럭간에 존재하는 영상정보 및 예측오차정보의 공간잉여성을 이용하여 부호화효율을 향상시킬 수 있는 모양 정보 부호화시 물체경계 블럭합병/분할을 이용한 물체경계 블럭 영상정보 부호화 방법을 제공하는데 그 목적이 있다.

또한, 본 발명의 목적은 부호화를 위해 세가지 모드로 결정하여 부호화하는 기술을 적용하고, 합병과정과 동일한 과정을 통해 합병된 물체경계 블럭을 분할함으로써 시스템구성시 복잡도를 높이지 않고도 부호화효율을 향상시킬 수 있는 모양정보 부호화시 물체경계 블럭 합병/분할을 이용한 물체경계 블럭 영상정보 부호화방법을 제공하는 데 있다.

이하, 본 발명의 실시예를 첨부된 도면을 첨고로 하여 상세히 설명하면 다음과 같다.

먼저, 도 8 은 본 발명에 따른 영상정보 부호화부(30)의 구성도로, 도 1 에서의 움직임 보상부(12)와 VOP 형성부(10)로부터 예측오차정보 또는 원영상정보를 입력받고, 모양정보 부호화부(17)로부터 원영상 모양정보 또는 복원된 모양정보를 입력받아 물체밖 영역을 패딩하는 물체밖 영역 패딩부(31)와, 상기 물체밖 영역 패딩부(31)의 신호와 복원된 모양정보로부터 물체경계 블럭을 합병하는 물체경계 블럭 합병부(32)와, 상기 물체경계 블럭 합병부(32)의 신호를 DCT 및 부호화시켜 텍스쳐 신호정보를 멀티플렉서로 출력시키는 DCT 및 부호화부(33)와, 상기 DCT 및 부호화부(33)의 신호를 IDCT 및 복호화시키는 IDCT 및 복호화부(34)와, 상기 복원된 모양정보와 IDCT 및 복호화부(34)의 신호로부터 합병된 블럭을 분리시켜 복호화된 정보를 이전 VOP 검출부로 출력시키는 합병된 블럭 분리부(35)를 포함하여 구성된다.

이와 같이 구성된 본 발명에서 물체경계 블럭 합병(BBM: Boundary Block Merge)기술과 물체경계 블럭분할(BBS: Boundauy Block Split)기술은 도 1 의 VOP부호화기의 구조에서 영상신호 부호화부(14)에 응용되며, 영상정보 및 예측오차정보의 블럭내 및 근접한 블럭간의 공간 잉여성을 이용한다.

특히 물체경계 블럭 분할 기술은 복호화후 재구성된 영상이 올바르게 구성 및 디스플레이되도록 하기 위한 기술로, 이때 두기술 모드 모양정보의 복호화후 재구성된 모양 정보를 이용하고 휘도정보에만 적용된다.

이러한 물체경계 블럭 합병기술(BBM: Boundary Blockk Merging Technique)에는 도 9에 도시된 바와 같이 수평합병기술(a), 수직합병기술(b), 대각선 방향 합병기술(c)이 있으며, 도 10(a)은 그 흐름을 나타낸 것이고, 도 11 은 BBM의 한예를 보인 것이다.

먼저, 도 10(a)를 통하여 그 흐름을 살펴보면, 수평합병을 수행(S1)한 후 매크로블럭안에 적어도 하나의 합병 블럭이 있는가를 판단(S2)하여 없는 경우 수직합병을 수행(S3)한 후 다시 매크로블럭안에 적어도 하나의 합병 블럭이 있는가를 판단(S4)하여 없는 경우 대각선 합병을 수행(S5)하는 것으로, 여기서는 수평합병→수직합병→대각선 합병순으로 합병과정을 수행하였으나, 본 발명은 이에 국한되지 않고 수평→대각선→수직, 수직→수평→대각선, 수직→대각선→수평, 대각선→수직→수평, 대각선→수평→수직으로 합병과정을 수행할 수 있다.

이와 같은 수직, 수평, 대각선 합병중에서 먼저, 도 9(a)를 참고로 하여 수평 합병(Horizontal Merge)에 대하여 설명하면 다음과 같다.

제 1 단계로, 블럭1과 블럭2가 물체경계 블럭이고, 블럭2를 180도 회전한 것과 블럭1간에 중첩된 물체픽셀이 없다면, 블럭2를 180도 회전시킨 물체 및 모양 정보를 블럭1에 합병하고, 블럭2를 물체밖 블럭으로 변화시킨다.

제 2 단계로, 블럭3과 블럭4가 물체경계 블럭이고, 블럭4를 180도 회전한 것과 블럭3간에 중첩된 물체픽셀이 없다면, 블럭4를 180도 회전시킨 물체 및 모양 정보를 블럭3에 합병하고, 블럭4를 물체밖 블럭으로 변화시킨다.

수평합병에서 합병된 물체경계 블럭이 하나이상이면, 수직합병과 대각선방향합병은 스킵하고, 수평합병에서 합병된 물체경계 블럭이 하나도 없으면, 수직합병을 수행한다.

다음에 도 9(b)를 참고로 하여 수직 합병(Vertical Merge)에 대하여 설명하면 다음과 같다.

제 1 단계로, 블럭1과 블럭2가 물체경계 블럭이고, 블럭3을 180도 회전한 것과 블럭1간에 중첩된 물체픽셀이 없다면, 블럭3를 180도 회전시킨 물체 및 모양 정보를 블럭1에 합병하고, 블럭3을 물체밖 블럭으로 변화시킨다.

제 2 단계로, 블럭2와 블럭4가 물체경계 블럭이고, 블럭4를 180도 회전한 것과 블럭2간에 중첩된 물체픽셀이 없다면, 블럭4를 180도 회전시킨 물체 및 모양 정보를 블럭2에 합병하고, 블럭4를 물체밖 블럭으로 변화시킨다.

수평합병에서 합병된 물체경계 블럭이 하나이상이면, 대각선방향 합병은 스킵하고, 수평합병에서 합병된 물체경계 블럭이 하나도 없으면, 대각선방향 합병을 수행한다.

한편, 도 9(c)를 참고로 하여 대각선 합병(Diagonal Merge)에 대하여 설명하면 다음과 같다.

제 1 단계로, 블럭1과 블럭4가 물체경계 블럭이고, 블럭4를 180도 회전한 것과 블럭2간에 중첩된 물체픽셀이 없다면, 블럭4를 180도 회전시킨 물체 및 모양 정보를 블럭1에 합병하고, 블럭4를 물체밖 블럭으로 변화시킨다.

제 2 단계로, 블럭2와 블럭3가 물체경계 블럭이고, 블럭3이 180도 회전한 것과 블럭2간에 중첩된 물체픽셀이 없다면, 블럭3를 180도 회전시킨 물체 및 모양 정보를 블럭2에 합병하고, 블럭3을 물체밖 블럭으로 정의한다.

물체경계 블럭분할기술(Boundary Blockk Split Technique)에는 도 9에 도시된 바와 같이 수평분할기술(a), 수직분할기술(b), 대각선 분할기술(c)이 있으며, 도 10(b)는 그 동작흐름을 나타낸 것이고, 도 11 은 BBS의 한예를 보인 것으로, 각 분할과정을 설명하면 다음과 같다.

단, BBS는 BBM과 같은 모양정보, 즉 모양정보 복호화이후 재구성된 모양정보를 이용한다.

먼저, 도 10(b)를 참고로 하여 그 동작을 살펴보면, 수평분할을 수행(S6)한 후 매크로블럭안에 적어도 하나의 합병 블럭이 있는가를 판단(S7)하여 없을 경우 수직 분할을 수행(S8)한 후 다시 매크로블럭안에 적어도 하나의 분할 블럭이 있는가를 판단(S9)하여 없는 경우 대각선 분할을 수행(S10)하는 것으로, 여기서는 수평분할→수직분할→대각선 분할순으로 분할과정을 수행하였으나, 본 발명은 이에 국한되지 않고 수평→대각선→수직, 수직→수평→대각선, 수직→대각선→수평, 대각선→수직→수평, 대각선→수평→수직으로 분할과정을 수행할 수 있다.

이와 같은 수직, 수평, 대각선 분할중에서 먼저, 도 9(a)를 참고로 하여 수평 분할(Horizontal Split)에 대하여 설명하면 다음과 같다.

즉, 수평 분할(Horizontal Split)은 제 1 단계로, 블럭1과 블럭2가 물체경계블럭이고, 블럭2를 180도 회전한 것과 블럭1간에 중첩된 물체픽셀이 없다면, 블럭1에서 180도 회전시킨 블럭2의 영상 및 예측오차정보를 분할하고, 그 분할한 정보를 다시 180도 회전시켜 블럭2를 구성한다.

제 2 단계로, 블럭3과 블럭4가 물체경계 블럭이고, 블럭4를 180도 회전한 것과 블럭1간에 중첩된 물체픽셀이 없다면, 블럭3에서 180도 회전시킨 블럭4의 영상 및 예측오차정보를 분할하고, 그 분할한 정보를 다시 180도 회전시켜 블럭4를 구성한다.

수평분할에서 분할된 물체경계 블럭이 하나이상이면, 수직분할과 대각선방향분할은 스킵하고, 수평분할에서 분할된 물체경계 블럭이 하나도 없으면, 수직분할을 수행한다.

또한, 수직분할(Vertical Split)은 도 9(b)에 도시된 바와 같이, 제 1 단계로 블럭1과 블럭3가 물체경계 블럭이고, 블럭3을 180도 회전한 것과 블럭1간에 중첩된 물체픽셀이 없다면, 블럭1에서 180도 회전시킨 블럭3의 영상 및 예측오차정보를 분할하고, 그 분할한 정보를 다시 180도 회전시켜 블럭3을 구성한다.

제 2 단계로, 블럭2과 블럭4가 물체경계 블럭이고, 블럭4를 180도 회전한 것과 블럭2간에 중첩된 물체픽셀이 없다면, 블럭2에서 180도 회전시킨 블럭4의 영상 및 예측오차정보를 분할하고 그 분할한 정보를 다시 180도 회전시켜 블럭4를 구성한다.

수직분할에서 분할된 물체경계 블럭이 하나이상이면, 대각산방향 분할은 스킵하고, 수직분할에서 분할된 물체경계 블럭이 하나도 없으면, 대각선방향 분할을 수행한다.

그리고, 대각선 분할(Diagonal-Split)은 도 9(c)에 도시된 바와 같이, 제 1 단계로 블럭1과 블럭4가 물체경계 블럭이고, 블럭4를 180도 회전한 것과 블럭1간에 중첩된 물체픽셀이 없다면, 블럭1에서 180도 회전시킨 블럭4의 영상 및 예측오차정보를 분할하고, 그 분할한 정보를 다시 180도 회전시켜 블럭4를 구성한다.

제 2 단계로, 블럭2와 블럭3이 물체경계 블럭이고, 블럭3을 180도 회전한 것과 블럭2간에 중첩된 물체픽셀이 없다면, 블럭2에서 180도 회전시킨 블럭3의 영상 및 예측오차정보를 분할하고, 그 분할한 정보를 다시 180도 회전시켜 블럭3을 구성한다.

본 발명은 다른 실시예로서, 결합 움직임-영상정보(Combined Motion-Texture)부호화과정이외에 분리 움직임-영상정보(Separte Motion-Texture) 부호화과정에도 적용할 수 있다.

이때는 매크로블럭내에서 뿐만 아니라, 매크로블럭에 제한받지 않고, 주위의 물체경계 블럭에 놓인 부호화단위(M×N영역, 예 8×8블럭)들에 대해서도 적용할 수 있다.

이상, 상기 설명에서와 같이 본 발명은 블럭내 및 블럭간에 존재하는 영상정보 및 예측오차정보의 공간잉여성을 이용하여 영상품질을 유지하면서도 부호화 비트는 감소시킬 수 있는 물체경계 블럭을 합병하는 기술을 수행하고, 선행과정에 따라 불필요한 후행과정을 스킵하여 소요시간을 줄일 수 있다.

또한, 복원영상의 재구성 및 디스플레이를 위한 물체경계 블럭 분할기술이 간단하여 적용될 수 있으므로, 시스템의 복잡도를 크게 높이지 않으면서 부호화효율과 시간지연면에서 향상된 특성을 얻을 수 있어 시스템구축시에 개선된 성능을 기대할 수 있는 효과가 있다.

도 1 은 MPEG-4 VOP부호화기의 구성을 나타낸 블럭도

도 2 는 임의의 부호화하고자 하는 VOP를 나타낸 도면

도 3 은 VOP영상내의 매크로블럭의 종류를 나타낸 도면

도 4 는 매크로블럭내의 블럭의 배열도

도 5 는 VOP영상내의 블럭의 종류를 나타낸 도면

도 6 은 종래 영상정보 부호화기의 구성도

도 7 (a)는 평균값 대체 방법에 대한 블럭도, (b)는 반복 패딩기법의 단계별 결과를 나타낸 도면, (c)는 임의 모양의 VOP에 대한 SADCT수행단계를 설명하기 위한 도면

도 8 은 본 발명 영상정보 부호화기의 구성도

도 9 는 본 발명에 따른 매크로블럭내의 휘도블럭의 배열과 BBM/BBS의 세가지 모델을 설명하기 위한 도면

도 10 은 본 발명에 따른 동작 흐름도로 (a)는 BBM의 동작 흐름도, (b)는 BBS의 동작 흐름도

도 11은 본 발명의 BBM/BBS의 실시예시도

*도면의 주요 부분에 대한 부호의 설명*

10:VOP형성부 11:움직임 추정부

12:움직임 보상부 13:감산기

14, 30:영상신호 부호화부 15:가산기

16:이전 VOP검출부 17:모양정보 부호화부

18:멀티플렉서 19:버퍼

31:물체밖 영역 패딩부 32:물체경계 블럭 합병부

33:DCT 및 부호화부 34:IDCT 및 복호화부

35:합병된 블럭 분리부

Claims

영역기반의 영상 정보 부호화(Content-based Texture Coding)시 영역신호 및 오차신호를 부호화할 때 물체경계 블럭을 합병하여 DCT기반 기술로 부호화하는 것을 특징으로 하는 물체경계 블럭 영상정보 부호화 방법.
제 1 항에 있어서, 합병된 블럭들을 복원영상 재구성 및 디스플레이를 위해 물체경계 블럭 분할을 수행하는 것을 특징으로 하는 물체경계 블럭 영상정보 부호화 방법.
제 2 항에 있어서, 상기 블럭 분할 수행시, 수평분할을 수행(S6)한 후 매크로블럭안에 적어도 하나의 분할 블럭이 있는가를 판단(S7)하여 없는 경우 수직 분할을 수행(S8)하고, 다시 매크로블럭안에 적어도 하나의 분할 블럭이 있는가를 판단(S9)하여 없는 경우 대각선 분할을 수행(S10)하는 것을 특징으로 하는 물체경계 블럭 영상정보 부호화 방법.
제 3 항에 있어서, 상기 수평분할→수직분할→대각선분할 과정을, 수평분할→대각선분할→수직분할로 수행하는 것을 특징으로 하는 물체경계 블럭 영상정보 부호화 방법.
제 3 항에 있어서, 상기 수평분할→수직분할→대각선분할 과정을, 수직분할→수평분할→대각선분할로 수행하는 것을 특징으로 하는 물체경계 블럭 영상정보 부호화 방법.
제 3 항에 있어서, 상기 수평분할→수직분할→대각선분할 과정을, 수직분할→대각선분할→수평분할로 수행하는 것을 특징으로 하는 물체경계 블럭 영상정보 부호화 방법.
제 3 항에 있어서, 상기 수평분할→수직분할→대각선분할 과정을, 대각선분할→수직분할→수평분할로 수행하는 것을 특징으로 하는 물체경계 블럭 영상정보 부호화 방법.
제 3 항에 있어서, 상기 수평분할→수직분할→대각선분할 과정을, 대각선분할→수평분할→수직분할로 수행하는 것을 특징으로 하는 물체경계 블럭 영상정보 부호화 방법.
제 2 항에 있어서, 모양정보 복호화 이후의 재현된 모양정보를 이용하는 것을 특징으로 하는 물체경계 블럭 영상정보 부호화 방법.
제 2 항에 있어서, 한 블럭은 그대로 두고, 다른 한 블럭에 대해 180도 회전, 시계방향으로 90도 회전, 반시계 방향으로 90도 회전, 좌로 대칭, 우로 대칭, 아래로 대칭, 대각선 방향으로 아래로 대칭, 대각선 방향으로 위로 대칭을 하나 혹은 그의 조합을 적용하여 합병된 블럭을 분할하는 것을 특징으로 하는 물체경계 블럭 영상정보 부호화 방법.
제 1 항에 있어서, 상기 블럭 합병 수행시, 수평합병을 수행(S1)한 후 매크로블럭안에 적어도 하나의 합병 블럭이 있는가를 판단(S2)하여 없을 경우 수직 합병을 수행(S3)하고, 다시 매크로블럭안에 적어도 하나의 합병 블럭이 있는가를 판단(S4)하여 없는 경우 대각선 합병을 수행(S5)하는 것을 특징으로 하는 물체경계 블럭 영상정보 부호화 방법.
제 11 항에 있어서, 상기 수평합병→수직합병→대각선합병 과정을, 수평합병→대각선합병→수직합병으로 수행하는 것을 특징으로 하는 물체경계 블럭 영상정보 부호화 방법.
제 11 항에 있어서, 상기 수평합병→수직합병→대각선합병 과정을, 수직합병→수평합병→대각선합병으로 수행하는 것을 특징으로 하는 물체경계 블럭 영상정보 부호화 방법.
제 11 항에 있어서, 상기 수평합병→수직합병→대각선합병 과정을, 수직합병→대각선합병→수평합병으로 수행하는 것을 특징으로 하는 물체경계 블럭 영상정보 부호화 방법.
제 11 항에 있어서, 상기 수평합병→수직합병→대각선합병 과정을, 대각선합병→수직합병→수평하병으로 수행하는 것을 특징으로 하는 물체경계 블럭 영상정보 부호화 방법.
제 11 항에 있어서, 상기 수평합병→수직합병→대각선합병 과정을, 대각선합병→수평합병→수직합병으로 수행하는 것을 특징으로 하는 물체경계 블럭 영상정보 부호화 방법.
제 1 항에 있어서, 모양정보 복호 이후의 재현된 모정보를 이용하는 것을 특징으로 하는 물체경계 블럭 영상정보 부호화 방법.
제 1 항 또는 제 11 항 내지 제 16항 중 어느 하나의 항에 있어서,

합병이후 물체밖 필셀의 픽셀값을, 모양 적응형 부호화 기술, 제로 패딩 기술, 평균값 패딩 기술, 반복 부호화 기술의 영역기반의 영상정보 부호화기법을 이용하여 임의의 값으로 채운 후 DCT기반 기술을 적용하는 것을 특징으로 하는 물체경계 블럭 영상정보 부호화 방법.
제 1 항에 있어서, 두 블럭간의 합병과정을 수행할 때, 한 블럭은 그대로 두고, 다른 한 블럭에 대해 180도 회전, 시계 방향으로 90도 회전, 반시계 방향으로 90도 회전, 좌로 대칭, 우로 대칭, 아래로 대칭, 대각선 방향으로 아래로 대칭, 대각선 방향으로 위로 대칭을 하나 혹은 그의 조합을 적용하여 블럭을 합병하는 것을 특징으로 하는 물체경계 블럭 영상정보 부호화 방법.