KR100235354B1 - 샘플링된 이진 형상 신호를 복원하기 위한 인터폴레이션 방법 - Google Patents

샘플링된 이진 형상 신호를 복원하기 위한 인터폴레이션 방법 Download PDF

Info

Publication number
KR100235354B1
KR100235354B1 KR1019970031655A KR19970031655A KR100235354B1 KR 100235354 B1 KR100235354 B1 KR 100235354B1 KR 1019970031655 A KR1019970031655 A KR 1019970031655A KR 19970031655 A KR19970031655 A KR 19970031655A KR 100235354 B1 KR100235354 B1 KR 100235354B1
Authority
KR
South Korea
Prior art keywords
interpolation
pixel
line
vertical
lines
Prior art date
Application number
KR1019970031655A
Other languages
English (en)
Other versions
KR19990009289A (ko
Inventor
한석원
Original Assignee
전주범
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전주범, 대우전자주식회사 filed Critical 전주범
Priority to KR1019970031655A priority Critical patent/KR100235354B1/ko
Priority to US08/919,960 priority patent/US6144409A/en
Priority to EP19970306621 priority patent/EP0891092B1/en
Priority to JP23711797A priority patent/JP3924052B2/ja
Priority to CN97117949A priority patent/CN1123977C/zh
Publication of KR19990009289A publication Critical patent/KR19990009289A/ko
Application granted granted Critical
Publication of KR100235354B1 publication Critical patent/KR100235354B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

본 발명은 비트 맵 구조의 프레임 또는 VOP를 서브샘플링(subsampling) 또는 다운샘플링(downsampling)을 통해 압축하여 생성한 다수개의 샘플링블록을 원래의 상태로 복원하기 위한 방법에 관한 것으로, 우선 압축된 샘플링블록을 수직분할하여 다수개의 기준 수직화소라인을 검출하고 이를 기반으로 하여 기준 수직화소라인 사이에 삽입될 수직 인터폴레이션(interpolation) 화소라인을 생성한 다음, 상기 기준 수직화소라인과 수직 인터폴레이션 화소라인을 하나씩 교대로 결합시켜 수직 인터폴레이션된 블록을 형성한다. 이어서, 본 방법은 수직 인터폴레이션된 블록을 수평분할하여 다수개의 기준 수평화소라인을 검출한 다음, 상기 수직 인터폴레이션과 유사한 방법을 통해 수평 인터폴레이션 화소라인을 생성하며, 생성된 각각의 수평 인터폴레이션 화소라인은 상기 각각의 기준 수평화소라인과 한 라인씩 교대로 결합되어 비트 맵 구조의 프레임이나 VOP를 구성하는 블록단위로 복원된다.

Description

샘플링된 이진 형상 신호를 복원하기 위한 인터폴레이션 방법
본 발명은 샘플링(sampling) 등의 방법을 통해 압축부호화된 이진 형상 신호(Binary Shape Signal)를 인터폴레이션(Interpolation) 기법을 이용하여 복원하는 방법에 관한 것이다.
일반적으로 영상전화, 원격회의(teleconference) 및 고선명 텔레비전 시스템과 같은 디지탈 텔레비전 시스템에 있어서, 영상 프레임 신호의 영상 라인 신호는 화소값이라 불리는 디지탈 데이터의 시퀀스(sequence)를 포함하므로써, 각 영상 프레임 신호를 규정하기 위해 상당한 양의 디지탈 데이터가 필요하다.
그러나, 통상의 전송 채널에서 이용 가능한 주파수 대역폭은 제한되어 있으므로, 특히 영상전화와 원격회의 시스템과 같은 저전송 영상신호 부호화기(low bit-rate video signal encoder)에서는 다양한 데이터 압축기법을 통해 전송되는 데이터의 양을 줄여야 한다.
이미 널리 알려진 바와 같이, 저전송 부호화 시스템의 영상신호를 부호화하기 위한 기법 중에는 소위 ＂객체지향 해석 및 합성 부호화 기법＂(object-oriented analysis-synthesis coding technique)이 있으며, 상기 기법에서 입력 영상신호는 다수의 객체로 분할되고, 각 객체의 움직임, 윤곽선 및 화소 데이터를 정의하기 위한 변수들은 각기 다른 부호화 채널을 통해 처리된다.
상기 객체 지향 해석 및 합성 부호화 기법의 일 실시예는 소위 동영상 전문가 그룹 4(MPEG-4)로서, MPEG-4는 저전송률 통신, 쌍방향 멀티미디어(interactive multimedia) 및 감시기와 같은 응용 분야에서 주제 단위 쌍방향성(content-based interactivity), 개량 부호화 효율 및/또는 범용성을 만족시켜 주기 위한 오디오-비디오 부호화 표준을 제시하기 위해 마련되었다. (참조: MPEG-4 Video Verification Model Version 2.0, International Organization for Standardization, ISO/IEC JTC1/SC29/WG11 N1260, March 1996)
MPEG-4에 따르면 입력 영상은 다수개의 객체 평면(VOP: Video Object Plane)으로 나뉘는데, VOP는 사용자가 접근할 수 있고 다룰 수 있는 비트 스트림으로 된 실체에 해당한다. VOP는 그 폭과 높이가 각각 객체를 둘러싸는 16 화소의 정수배인 사각형중에서 최소 크기인 경계 사각형(bounding rectangle)으로 표현되므로 부호화기가 입력 영상을 VOP 단위, 즉 객체 단위로 처리할 수 있다.
저전송률 부호화 시스템에 이용되는 영상 신호를 부호화함에 있어서 프레임 또는 VOP내의 객체의 위치 및 모양은 이진 화소값으로서 표현되는 것이 일반적이다. 예를 들면, 프레임 또는 VOP내의 객체 화소값은 1로 배경 화소값은 0으로 표시할 수 있다. 이와같이 표시된 객체의 모양 및 위치를 나타내는 이진 형상 신호를 부호화하는 데는 종래의 여러 가지 비트 맵 기반 형상 부호화(Bit-map based shape coding)기법이 이용된다.
비트 맵 기반 형상 부호화 기법의 하나로는 도 1에 예시적으로 도시된 바와 같이 다수개의 매크로블록(macroblock)을 포함하는 프레임 또는 VOP를 예를들어 매크로블록 단위로 서브샘플링(subsampling) 또는 다운샘플링(downsampling)을 실시하여 도 2에 도시된 바와 같이 샘플링된 블록(100)을 생성하여 부호화하여 전송하는 방법이 있다. 여기서, 각 매크로 블록은 N×N 개의 화소(N은 양의 정수), 예를들어, 16×16개의 화소를 포함하고 있으며, 샘플링 과정을 통해 도 2에 도시된 바와 같이 1/4로 축소된 8×8 화소를 갖는 샘플링블록(100)으로 변환된다. 상기와 같이 샘플링되어 전송되는 프레임 또는 VOP는 부호화기 또는 복호화기에서 원래의 비트 맵 구조로 재생되어야 하며, 샘플링된 프레임 또는 VOP를 효과적으로 복원할 수 있는 방법이 요구된다.
따라서 본 발명의 목적은 샘플링된 프레임 또는 VOP를 원래의 프레임 또는 VOP로 복원하기 위한 인터폴레이션 방법을 제공하는 데 있다.
상기 목적을 달성하기 위해, 본 발명에서는 샘플링(sampling)에 의해 압축된 비트 맵 구조의 영상신호에 포함된 다수개의 M×M 화소(M은 짝수인 양의 정수)의 샘플링 블록을 2M×2M 화소의 매크로블록으로 복원할 수 있도록, (a) 상기 샘플링 블록을 수직분할하여 M개의 1×M 화소의 기준 수직화소라인을 생성하는 과정; (b) 상기 M 개의 기준 수직화소라인에 기초하여 M개의 수직 인터폴레이션(interpolation) 화소라인을 생성하는 과정; (c) 상기 기준 수직화소라인과 수직 인터폴레이션 화소라인을 하나씩 교대로 결합하여 2M×M 화소의 수직 인터폴레이션 블록을 생성하는 과정; (d) 상기 수직 인터폴레이션 블록을 수평분할하여 M개의 2M×1 화소의 기준 수평화소라인을 생성하는 과정; (e) 상기 M개의 기준 수평화소라인에 기초하여 M개의 수평 인터폴레이션 화소라인을 생성하는 과정; 및 (f) 상기 기준 수평화소라인과 수평 인터폴레이션 화소라인을 하나씩 교대로 결합하여 2M×2M 화소의 매크로블록을 복원하는 과정을 포함하는 샘플링된 블록의 복원방법을 제공한다.
도 1은 다수개의 매크로블록을 도시한 예시도,
도 2는 샘플링된 블록을 도시한 예시도,
도 3a 내지 d는 본 발명에 의한 인터폴레이션 과정을 설명하기 위한 도면,
도 4a 내지 f는 본 발명에 의한 인터폴레이션 과정의 제 1 실시예도,
도 5a 내지 f는 본 발명에 의한 인터폴레이션 과정의 제 2 실시예도.
＜도면의 주요부분에 대한 부호의 설명＞
10, 15, 20, 25, 40, 50, 70, 80 : 기준라인
30, 35, 60, 90 : 인터폴레이션 라인
100 : 샘플링블록
200, 500 : 수직 인터폴레이션 블록
300, 700 : 복원된 매크로블록
400 : 수직화소라인 그룹
600 : 수평화소라인 그룹
도 2에는 CR(Conversion Ratio)이 1/2인 경우에서 16×16 화소의 매크로블록을 샘플링하여 생성한 8×8 화소의 샘플링블록(100)이 예시적으로 도시되어 있으며, 검게 표시된 부분은 객체를 나타내는 이진화소 (이하 ＂객체화소((object pixel)＂로 약칭함)를 나타내고 흰 부분은 배경을 나타내는 이진 화소 (이하 ＂배경화소(background pixel)＂로 약칭함)를 나타낸다.
도 2에 도시된 8×8 화소의 샘플링블록(100)을 원래의 16×16 화소의 매크로블록으로 복원하기 위한 인터폴레이션은 수직 및 수평적으로 이루어지게 되는데, 이는 우선, 샘플링블록(100)을 수직 또는 수평으로 8개의 기준라인으로 분할하고 분할된 각 기준라인 내에 포함된 객체화소의 세그먼트(segment)를 검출하여 인접하는 두 기준라인 사이의 세그먼트의 개수를 비교하고, 그 결과를 이용하여 기결정된 규칙에 따라 인접하는 두 기준라인 사이에 삽입될 인터폴레이션 라인을 결정한다. 상기 세그먼트는 배경화소 또는 블록의 경계에 의해 구분되는 객체화소 세트를 나타내고, 객체화소 세트는 하나 또는 그 이상의 객체화소를 포함한다. 상기 수직 인터폴레이션과 수평 인터폴레이션의 실행순서는 임의로 정할 수 있으며, 먼저 실행된 인터폴레이션의 결과로 생성된 블록을 이용하여 나머지 인터폴레이션 과정을 구현하게 된다. 상기 두 기준라인 내에 존재하는 세그먼트의 개수에 따라 삽입될 인터폴레이션 라인을 생성하는 규칙은 다음과 같으며, 수직 및 수평 인터폴레이션 모두에 공통적으로 적용된다.
* 규칙 1. 연속하는 두개의 수직 또는 수평 기준라인의 세그먼트의 수가 동일할 경우.
(a) 두 기준라인의 대응하는 세그먼트가 서로 겹쳐지는 경우에서는, 기준라인 사이에 삽입될 인터폴레이션 라인 내의 세그먼트의 시작점과 끝점은 두 기준라인 내의 대응하는 세그먼트들의 시작점의 평균값과 끝점의 평균값에 의해 그 위치가 결정된다. 이때, 평균값이 소수점이하의 값을 가질 경우는 소수점 이하를 버린 정수에 의해 생성될 세그먼트의 위치가 결정된다. 따라서, 도 3 a에 예시적으로 도시된 바와 같이, 기준라인(10과 20) 사이에 삽입될 인터폴레이션 라인(30)은 세그먼트 10A와 20A 각각의 시작점 2와 1의 평균인 1.5에 의해 생성된 시작점 1로 정해지고 각각의 끝점 4와 4에 의해 끝점이 4로 정해진 세그먼트 30A와 세그먼트 10B와 20B 각각의 시작점 7과 6에 의한 시작점 6과 각각의 끝점 8과 9에 의한 끝점 8을 갖는 세그먼트 30B를 포함하여 생성된다.
(b) 두 기준라인의 대응하는 세그먼트가 서로 겹쳐지지 않고 각각의 세그먼트가 블록의 경계에 접하는 경우에는, 경계에서부터 각 기준라인의 세그먼트 내에 포함된 객체화소 개수의 반값에서 버림한 정수개 만큼의 연속하는 화소를 객체화소로 갖는 세그먼트를 포함하는 인터폴레이션 라인을 생성한다. 도 3 b에 예시적으로 도시된 바와 같이, 기준라인(40과 50)에 포함된 각 세그먼트는 서로 전혀 겹치지 않으면서 각각 상단 경계와 하단 경계에 접해있다. 그러므로 기준라인(40)내의 세그먼트 40A에 포함된 4개의 객체화소의 반값 즉, 2개의 화소를 상단 경계로부터 선택하여 결정한 세그먼트 60A와 기준라인(50)의 세그먼트 50A 내에 속한 3개의 객체화소의 반값 1.5개에 의해 설정된 하나의 화소를 하단 경계에 접하도록 하여 생성한 세그먼트 60B로 구성된 인터폴레이션 라인(60)을 구성한다.
(c) 두 기준라인의 대응하는 세그먼트가 서로 겹쳐지지 않고 각각의 세그먼트가 블록의 경계에도 접하지 않는 경우에는, 각 기준라인내의 세그먼트의 시작점과 끝점을 각각 3:1로 내분하여 인터폴레이션 라인에 포함될 세그먼트의 시작점과 끝점을 결정한다. 즉, 기준라인의 세그먼트의 시작점과 끝점이 각각 P와 Q인 경우에서 생성될 세그먼트의 시작점에 대응하는 SP와 끝점에 대응하는 EP는 다음의 수학식과 같이 계산된다.
SP = (3×P + 1×Q)/4
EP = (1×P + 3×Q)/4
여기서, 상기 수학식 1과 수학식 2의 결과 SP와 EP가 소수점 이하의 값을 가질 경우는 이를 버리고 정수를 취한다. 따라서, 도 3c에 도시된 기준라인(70과 80)의 경우에는, 세그먼트 70A의 시작점 2와 끝점 7을 상기 수학식 1과 수학식 2에 대응함으로써 시작점 3과 끝점 5를 갖는 세그먼트 90A를 검출하고, 세그먼트 80A의 시작점 7과 끝점 8을 상기 수학식 1과 수학식 2에 대응시켜 시작점 7과 끝점 8을 갖는 세그먼트 90B를 검출하여 상기 세그먼트 90A와 90B를 포함하는 인터폴레이션 라인(90)을 생성한다.
* 규칙 2. 연속하는 두개의 수직 또는 수평 기준라인의 세그먼트의 수가 다를 경우는 두 기준라인 내에 포함된 세그먼트들의 공통부분을 선택하여 인터폴레이션 라인을 생성한다. 도 3d의 경우에서와 같이, 기준라인(15)는 1개의 세그먼트를 갖고, 인접한 기준라인(25)는 3개의 세그먼트를 갖을 때에는 두 기준라인에서 동일한 위치에 존재하는 객체화소들만으로 구성된 인터폴레이션 라인(35)를 생성한다. 도 3d에서는 기준라인(15)이 연속하는 8개의 객체화소로 이루어진 단일 세그먼트 구조이므로 우연히도 인터폴레이션(35)가 기준라인(25)와 동일한 세그먼트 구조를 갖게 되었다.
* 규칙 3. 샘플링블록의 최좌측이나 최상단에 위치한 기준라인을 이용하여 인터폴레이션 라인을 생성할 경우에는 기준라인이 단지 한개만 존재하므로 이 경우에는 기준라인의 세그먼트를 그대로 복사하여 인터폴레이션 라인을 구성한다. 그러므로, 이때에 생성된 인터폴레이션 라인은 기준라인과 동일한 세그먼트 구조로 형성된다.
본 발명에 의한 상기 규칙에 따라 이루어지는 인터폴레이션 방법은 하나의 매크로블록에 한정되어 이루어지거나, 복원될 매크로블록과 그 주위의 기복원된 매크로블록 사이의 연관관계를 고려하여 진행된다.
우선, 하나의 매크로블록에 한정되어 실행되는 인터폴레이션 방법을 도 4a 내지 f를 참조하여 설명하기로 한다.
８×８ 화소단위로 샘플링된 매크로블록을 원래 상태인 16×16 화소단위로 복원하기 위해서는 수직 및 수평 인터폴레이션 과정을 거치게 되는데, 여기서는 도 2의 샘플링블록(100)을 1×8 화소를 포함하는 8개의 수직화소라인으로 분할하여 수직 인터폴레이션 과정을 우선적으로 실행한다.
분할된 수직화소라인 각각에는 가장 좌측에 위치한 수직화소라인 부터 짝수번째 라인을 표시하는 인덱스 예를들어, V2, V4, V6, V8, V10, V12, V14, V16가 도 4a에 도시된 바와 같이 할당되고, 각각의 수직화소라인 내에 위치한 세그먼트의 개수는 세그먼트 결정방법에 따라, 도 4a에 도시된 각각의 수직화소라인에 대해서 각각 2, 1, 1, 1, 3, 1, 2, 2 개로 검출된다. 상기와 같이 각 수직화소라인에 대한 세그먼트의 개수가 계산되면 상기 각각의 짝수번째 수직화소라인 사이에 삽입될 홀수번째 수직화소라인을 결정하는 수직 인터폴레이션이 상술한 규칙에 따라 상기 수직화소라인 V2 부터 순차적으로 이루어진다.
우선, 제 1 짝수번째 수직화소라인 V2에 앞서는 제 1 홀수번째 수직화소라인 V1은 기준이 될 짝수번째 수직화소라인이 단지 V2밖에 존재하지 않으므로, 이 경우에 적용되는 상기 규칙 3에 따라 기준이 되는 하나의 짝수번째 수직화소라인의 세그먼트를 그대로 복사한다. 따라서, 도 4b에 보여지는 바와 같이 제 1 홀수번째 수직화소라인 V1은 짝수번째 수직화소라인 V2와 동일한 세그먼트 패턴을 갖는다. 제 2 홀수번째 수직화소라인 V3는 기준이 되는 제 2 및 제 3 짝수번째 수직화소라인 V2와 V4를 이용하여 생성하게 되는데 이때에는 각각의 세그먼트 개수가 2와 1로서 상이하므로 규칙 2에 의해 결정된다. 마찬가지 방법으로 나머지 홀수번째 수직화소라인 V5, V7, V9, V11, V13, V15가 짝수번째 수직화소라인 V4, V6, V8, V10, V12, V14, V16에 기초해서 도 4b에 도시된 바와 같이 형성된다.
상기 수직 인터폴레이션 과정을 통해 수직 인터폴레이션 화소라인 즉, 홀수번째 수직화소라인 V1 내지 V15가 결정되면 도 4B에 도시된 각각의 수직 인터폴레이션 화소라인을 인덱스의 순서에 맞게 도 4A의 수직화소라인 사이에 삽입함으로써 도 4c에 도시된 수직 인터폴레이션된 16×8 화소의 블록을 생성한다.
상기 16×8 화소의 수직 인터폴레이션된 블록이 결정되면 이에 기초하여 수평 인터폴레이션 과정이 실행되는데, 그 과정은 수직 인터폴레이션 과정과 유사하게 진행되며, 상기한 인터폴레이션 규칙 1 내지 3도 그대로 적용된다.
즉, 도 4c의 수직 인터폴레이션된 16×8 화소블록(200)은 도 4d에 도시된 바와 같이 16×1 화소단위의 수평화소라인으로 분할되고 인덱스 H2 내지 H16를 할당받게 된다. 인덱스에 따라 짝수번째 수평화소라인 H2 내지 H16가 결정되면 이를 이용하여 각각의 수평화소라인 사이에 삽입될 홀수번째 수평화소라인 H1 내지 H15를 도 4e에 나타내어진 바와 같이 검출한다. 이때 적용되는 규칙은 수직 인터폴레이션 과정에서와 동일하며, 좌측화소가 우측화소에 우선한다. 따라서, 제 1 홀수번째 수평화소라인 H1은 제 1 짝수번째 수평화소라인 H2와 동일한 세그먼트 패턴을 갖는 수평화소라인이 되고, 나머지 홀수번째 수평화소라인 H3 내지 H15도 짝수번째 수평화소라인 H2 내지 H16의 세그먼트 개수에 기초해서 결정된다.
도 4e에 보여지는 바와같이, 짝수번째 수평화소라인 H2 내지 H16 사이에 삽입될 수평 인터폴레이션 화소라인 즉, 홀수번째 수평화소라인 H1 내지 H15가 검출되면 도 4d와 4e를 인덱스 순서에 따라 조합하여 인터폴레이션에 의해 복원된 16×16 화소의 매크로블록(300)을 제공한다.
한편, 복원될 매크로블록 주위의 기복원된 매크로블록과의 연관관계를 고려하여 인터폴레이션하는 방법은 도 1과 도 5a 내지 5f를 통해 설명되는데, 그 과정 및 적용규칙은 첫번째 방법과 거의 유사하게 이루어지므로 상이한 부분에 대해서만 간단히 언급하고자 한다.
도 1에 예시적으로 도시된 블록은 다수개의 매크로블록으로 구성된 프레임 또는 VOP의 일부분을 도시한 것으로, 중심에 위치한 매크로블록 MB0 주위로 8개의 매크로블록 MB1 내지 MB8이 존재한다. 각각의 매크로블록은 각기 샘플링 과정을 거쳐 부호화되고 전송된 후에 다시 복호화 과정을 거쳐 재생되는데, 여기서는 편의상 부호화/복호화 과정이 MB1 - MB2 - MB3 - MB4 - MB0 - MB5 - MB6 - MB7 - MB8 순으로 진행된다고 가정한다.
도 5a 내지 5f를 통해 인터폴레이션되어 복원되는 매크로블록은 상기 도 1에 도시된 블록의 중심에 위치한 MB0로서, 그 인터폴레이션 과정은 도 4a에서와 마찬가지로 우선 도 2의 샘플링블록(100)이 8×1 화소단위로 수직분할되어 인덱스 V2' 내지 V16'를 갖는 8개의 수직화소라인이 도 5A에서와 같이 형성된다.
8개의 수직화소라인 V2' 내지 V16' 이 검출되면 규칙 1 내지 3을 적용해 수직 인터폴레이션을 수행하는데, 이때, 도 4a와 4b를 통해 설명한 방법과는 달리, 본 방법에서는 제 1 홀수번째 수직화소라인 V1'을 생성하는 단계에서 기복원된 매크로블록 중에서 MB0 블록의 좌측에 위치한 MB4 블록에 대응하는 샘플링블록에서 가장 우측에 위치한 수직화소라인 V16A를 가져다가 수직화소라인 V16A와 V2'을 기준으로 한 인터폴레이션을 실시한다. 따라서, 첫번째 인터폴레이션 방법에서 매크로블록 MB0에 대응하는 수직화소라인 그룹(400)의 짝수번째 수직화소라인 V2' 내지 V16'에 한정해서 홀수번째 수직화소라인 V1' 내지 V15'을 검출하던 것과는 달리 이전 블록으로부터 검출한 수직화소라인 V16A을 포함한 화소라인 그룹에 규칙 1과 2을 적용시켜 인터폴레이션 과정을 진행하게 된다. 그러므로, 도 4b와 도 5b에 도시된 제 1 홀수번째 수직화소라인 V1과 V1'의 결과가 도시된 바와같이 다소 상이하게 나타날 수 있다. 그러나, 제 1 홀수번째 수직화소라인을 제외한 나머지 홀수번째 수직화소라인에 있어서는 기준라인이 전술한 첫번째 인터폴레이션 방법과 동일하므로 그 결과 또한 동일하다. 상기한 방법으로 도 5a에 도시된 각 수직화소라인에 대한 수직 인터폴레이션을 통해 도 5b와 같은 수직 인터폴레이션 화소라인 즉 홀수번째 수직화소라인 V1' 내지 V15'이 결정되면 도 5a와 5b의 수직화소라인들을 각각 그 인덱스 순서에 맞추어 조합함으로써 도 5c에 도시된 바와같은 수직 인터폴레이션 블록(500)을 생성한다.
도 5c에 도시된 16×8 호소의 수직 인터폴레이션 블록(500)이 형성되면 이를 수평분할하여 도 5d에 보여지는 바와 같이 인덱스 H2' 내지 H16'을 갖는 수평화소라인 그룹(600)을 검출하고, 매크로블록 MB0의 상단에 접하는 매크로블록 MB2에 대응하는 수직 인터폴레이션 블록으로부터 최하단의 수평화소라인 H16B를 수평 인터폴레이션 과정의 기준라인으로 인용하여, 도 5e에 도시된 바와 같은 홀수번째 수평화소라인 H1' 내지 H15'을 생성한다. 여기서도 수직 인터폴레이션의 경우와 마찬가지로 제 1 홀수번째 수평화소라인 H1'을 생성하는데 있어서는 인접 매크로블록의 수평화소라인 H16B와 제 1 짝수번째 수평화소라인 H2'을 기준라인으로 하여 인터폴레이션을 진행한다. 나머지 홀수번째 수평화소라인 H3' 내지 H15'의 경우는 삽입될 부분의 양쪽에 위치한 짝수번째 수평화소라인을 기준라인으로하여 생성된다.
상기 과정을 통해 도 5d와 5e와 같이 결정된 수평화소라인을 인덱스 순서에 맞추어 결합하면 도 5f에 나타내어진 것과 같이 인터폴레이션에 의해 복원된 16×16 화소의 매크로블록(700)이 만들어진다.
도 4f와 도 5f에 도시된 16×16 화소의 매크로블록(300과 700)은 매크로블록의 복원에 주변블록들의 화소패턴이 고려되었는 지에 따라 도면에서와 같이 다소 상이하게 나타난다.
본 발명에 의한 인터폴레이션 방법을 이용하여 샘플링된 매크로블록을 복원하는 과정은 부호화기 및 복호화기에 공히 적용될 수 있으며, 압축된 영상신호를 전송하는 과정에서는 원래의 매크로블록과 인터폴레이션에 의해 복원된 매크로블록 간의 차분을 나타내는 에러값을 부호화하여 전송함으로써 복호화기에서 원래의 매크로블록을 완벽하게 복원하는데 사용하기도 한다.
상기 본 발명에 의한 인터폴레이션 방법을 이용하면 전송될 데이터의 양을 줄이기 위해 서브 샘플링 또는 다운 샘플링 기법에 의해 압축된 이진 형상신호를 효과적으로 복원할 수 있는 이점이 있다.
또한, 본 발명이 바람직한 실시예에 따라 구체적으로 설명되었지만, 본 발명은 상기 실시예에 한정되는 것은 아니며, 그 사상 및 범주를 이탈하지 않는 범위내에서 여러 가지로 변경가능하다.

Claims (12)

  1. 샘플링(sampling)에 의해 압축된 비트 맵 구조의 영상신호에 포함된 다수개의 M×M 화소(M은 짝수인 양의 정수)의 샘플링 블록을 2M×2M 화소의 매크로블록으로 복원하는 방법에 있어서,
    (a) 상기 샘플링 블록을 수직분할하여 M개의 1×M 화소의 기준 수직화소라인을 생성하는 과정;
    (b) 상기 M 개의 기준 수직화소라인에 기초하여 M개의 수직 인터폴레이션(interpolation) 화소라인을 생성하는 과정;
    (c) 상기 기준 수직화소라인과 수직 인터폴레이션 화소라인을 하나씩 교대로 결합하여 2M×M 화소의 수직 인터폴레이션 블록을 생성하는 과정;
    (d) 상기 수직 인터폴레이션 블록을 수평분할하여 M개의 2M×1 화소의 기준 수평화소라인을 생성하는 과정;
    (e) 상기 M개의 기준 수평화소라인에 기초하여 M개의 수평 인터폴레이션 화소라인을 생성하는 과정; 및
    (f) 상기 기준 수평화소라인과 수평 인터폴레이션 화소라인을 하나씩 교대로 결합하여 2M×2M 화소의 매크로블록을 복원하는 과정을 포함하는 것을 특징으로 하는 샘플링된 블록의 복원 방법.
  2. 제 1 항에 있어서, 수직 인터폴레이션 화소라인을 생성하는 수직 인터폴레이션 과정과, 수평 인터폴레이션 화소라인을 생성하는 수평 인터폴레이션 과정은, 샘플링블록에 기초한 순서를 바꾸어서 실행될 수 있는 것을 특징으로 하는 샘플링된 블록의 복원 방법.
  3. 제 1 항에 있어서, 상기 (b) 과정은:
    (b1) 각각의 기준 수직화소라인 내에 포함된 하나 또는 둘 이상 연속하는 객체화소를 나타내는 세그먼트(segment)를 검출하는 과정; 및
    (b2) 각각의 기준 수직화소라인에 포함된 세그먼트의 위치와 수를 비교하여 상기 기준 수직화소라인에 대응하는 수직 인터폴레이션 화소라인을 생성하는 과정을 포함하는 것을 특징으로 하는 샘플링된 블록의 복원방법.
  4. 제 3 항에 있어서, 상기 (b2) 과정에서 수직 인터폴레이션 화소라인은 다음과 같은 인터폴레이션 규칙에 의해 결정되는데,
    (b21) 연속하는 두개의 기준 수직화소라인의 세그먼트의 수가 동일한 경우는,
    (b211) 두 기준 수직화소라인의 대응하는 세그먼트가 서로 겹쳐지는 경우에서는, 기준라인 사이에 삽입될 인터폴레이션 라인 내의 세그먼트의 시작점과 끝점은 두 기준라인 내의 대응하는 세그먼트들의 시작점의 평균값과 끝점의 평균값에 의해 그 위치가 결정되고,
    (b212) 두 기준라인의 대응하는 세그먼트가 서로 겹쳐지지 않고 각각의 세그먼트가 블록의 경계에 접하는 경우에는, 경계에서부터 각 기준라인의 세그먼트 내에 포함된 객체화소 개수의 반값에서 버림한 정수개 만큼의 연속하는 화소를 객체화소 로 갖는 세그먼트를 포함하는 인터폴레이션 라인을 생성하고,
    (b213) 두 기준라인의 대응하는 세그먼트가 서로 겹쳐지지 않고 각각의 세그먼트가 블록의 경계에도 접하지 않는 경우에는, 각 기준라인내의 세그먼트의 시작점과 끝점을 각각 3:1로 내분하여 인터폴레이션 라인에 포함될 세그먼트의 시작점과 끝 점을 결정하는데, 기준라인의 세그먼트의 시작점과 끝점이 각각 P와 Q인 경우에서 생성될 세그먼트의 시작점에 대응하는 SP와 끝점에 대응하는 EP는 다음과 같이 결정되며,
    SP = (3×P + 1×Q)/4
    EP = (1×P + 3×Q)/4
    상기에서 SP와 EP가 소수점 이하의 값을 가질 경우는 이를 버리고 정수를 취하고,
    (b22) 연속하는 두개의 기준 수직화소라인의 세그먼트의 수가 다를 경우는 두 기준라인 내에 포함된 세그먼트들의 공통부분을 선택하여 인터폴레이션 라인을 생성하는 것을 특징으로 하는 샘플링된 블록의 복원 방법.
  5. 제 4 항에 있어서, 상기 (c) 과정에서, 수직 인터폴레이션 화소라인은 수직 인터폴레이션 블록의 홀수번째 화소라인을 구성하고, 기준 수직화소라인은 짝수번째 화소라인을 구성하는 것을 특징으로 하는 샘플링된 블록의 복원 방법.
  6. 제 5 항에 있어서, 상기 (b2) 과정이 하나의 샘플링블록에 한정되어 실행될 경우에는, 샘플링블록의 최좌측에 위치한 기준 수직화소라인에 대응하는 첫번째 수직 인터폴레이션 화소라인은 기준 수직화소라인의 세그먼트와 동일한 세그먼트 구조를 갖도록 생성되는 것을 특징으로 하는 샘플링된 블록의 복원 방법.
  7. 제 6 항에 있어서, 상기 (b2) 과정이 인접하는 샘플링블록과의 상관관계를 고려하여 실행될 경우에서의 첫번째 수직 인터폴레이션 화소라인은 샘플링블록의 좌측에 위치한 샘플링블록의 우측 마지막 기준 수직화소라인과 샘플링블록의 최좌측에 위치한 기준 수직화소라인의 대응하는 세그먼트의 위치와 수를 비교하여 인터폴레이션 규칙 (b21)과 (b22)에 따라 생성되는 것을 특징으로 하는 샘플링된 블록의 복원 방법.
  8. 제 1 항에 있어서, 상기 (e) 과정은:
    (e1) 각각의 기준 수평화소라인 내에 포함된 하나 또는 둘 이상 연속하는 객체화소를 나타내는 세그먼트를 검출하는 과정; 및
    (e2) 각각의 기준 수평화소라인에 포함된 세그먼트의 위치와 수를 비교하여 상기 기준 수평화소라인에 대응하는 수평 인터폴레이션 화소라인을 생성하는 과정을 포함하는 것을 특징으로 하는 샘플링된 블록의 복원 방법.
  9. 제 8 항에 있어서, 상기 (e2) 과정에서 수평 인터폴레이션 화소라인은 다음과 같은 인터폴레이션 규칙에 의해 결정되는데,
    (e21) 연속하는 두개의 기준 수평화소라인의 세그먼트의 수가 동일한 경우는,
    (e211) 두 기준 수평화소라인의 대응하는 세그먼트가 서로 겹쳐지는 경우에서는, 기준라인 사이에 삽입될 인터폴레이션 라인 내의 세그먼트의 시작점과 끝점은 두 기준라인 내의 대응하는 세그먼트들의 시작점의 평균값과 끝점의 평균값에 의해 그 위치가 결정되고,
    (e212) 두 기준라인의 대응하는 세그먼트가 서로 겹쳐지지 않고 각각의 세그먼트가 블록의 경계에 접하는 경우에는, 경계에서부터 각 기준라인의 세그먼트 내에 포함된 객체화소 개수의 반값에서 버림한 정수개 만큼의 연속하는 화소를 객체화소로 갖는 세그먼트를 포함하는 인터폴레이션 라인을 생성하고,
    (e213) 두 기준라인의 대응하는 세그먼트가 서로 겹쳐지지 않고 각각의 세그먼트가 블록의 경계에도 접하지 않는 경우에는, 각 기준라인내의 세그먼트의 시작점과 끝점을 각각 3:1로 내분하여 인터폴레이션 라인에 포함될 세그먼트의 시작점과 끝점을 결정하는데, 기준라인의 세그먼트의 시작점과 끝점이 각각 P와 Q인 경우에서 생성될 세그먼트의 시작점에 대응하는 SP와 끝점에 대응하는 EP는 다음과 같이 결정되며,
    SP = (3×P + 1×Q)/4
    EP = (1×P + 3×Q)/4
    상기에서 SP와 EP가 소수점 이하의 값을 가질 경우는 이를 버리고 정수를 취하고,
    (e22) 연속하는 두개의 기준 수평화소라인의 세그먼트의 수가 다를 경우는 두 기준라인 내에 포함된 세그먼트들의 공통부분을 선택하여 인터폴레이션 라인을 생성하는 것을 특징으로 하는 샘플링된 블록의 복원 방법.
  10. 제 9 항에 있어서, 상기 (f) 과정에서, 수평 인터폴레이션 화소라인은 수평 인터폴레이션 블록의 홀수번째 화소라인을 구성하고, 기준 수평화소라인은 짝수번째 화소라인을 구성하는 것을 특징으로 하는 샘플링된 블록의 복원 방법.
  11. 제 10 항에 있어서, 상기 (e2) 과정이 하나의 샘플링블록에 한정되어 실행될 경우에는, 샘플링블록의 최상단에 위치한 기준 수평화소라인에 대응하는 첫번째 수평 인터폴레이션 화소라인은 기준 수평화소라인의 세그먼트와 동일한 세그먼트 구조를 갖도록 생성되는 것을 특징으로 하는 샘플링된 블록의 복원 방법.
  12. 제 11 항에 있어서, 상기 (e2) 과정이 인접하는 샘플링블록과의 상관관계를 고려하여 실행될 경우에서의 첫번째 수평 인터폴레이션 화소라인은 샘플링블록의 상단에 위치한 샘플링블록의 최하단에 위치한 기준 수평화소라인과 샘플링블록의 최상단에 위치한 기준 수평화소라인의 대응하는 세그먼트의 위치와 수를 비교하여 인터폴레이션 규칙 (e21)과 (e22)에 따라 생성되는 것을 특징으로 하는 샘플링된 블록의 복원 방법.
KR1019970031655A 1997-07-09 1997-07-09 샘플링된 이진 형상 신호를 복원하기 위한 인터폴레이션 방법 KR100235354B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1019970031655A KR100235354B1 (ko) 1997-07-09 1997-07-09 샘플링된 이진 형상 신호를 복원하기 위한 인터폴레이션 방법
US08/919,960 US6144409A (en) 1997-07-09 1997-08-29 Method for producing a restored binary shape signal based on an interpolation technique
EP19970306621 EP0891092B1 (en) 1997-07-09 1997-08-29 Method for restoring a binary shape signal
JP23711797A JP3924052B2 (ja) 1997-07-09 1997-09-02 二進形状信号復元方法
CN97117949A CN1123977C (zh) 1997-07-09 1997-09-03 根据内插法技术产生恢复的二进制形状信号的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970031655A KR100235354B1 (ko) 1997-07-09 1997-07-09 샘플링된 이진 형상 신호를 복원하기 위한 인터폴레이션 방법

Publications (2)

Publication Number Publication Date
KR19990009289A KR19990009289A (ko) 1999-02-05
KR100235354B1 true KR100235354B1 (ko) 1999-12-15

Family

ID=19513777

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970031655A KR100235354B1 (ko) 1997-07-09 1997-07-09 샘플링된 이진 형상 신호를 복원하기 위한 인터폴레이션 방법

Country Status (5)

Country Link
US (1) US6144409A (ko)
EP (1) EP0891092B1 (ko)
JP (1) JP3924052B2 (ko)
KR (1) KR100235354B1 (ko)
CN (1) CN1123977C (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3349957B2 (ja) * 1997-07-09 2002-11-25 株式会社ハイニックスセミコンダクター コンテキスト確率表を利用した二進映像情報の内挿装置および方法
US7142729B2 (en) * 2001-09-10 2006-11-28 Jaldi Semiconductor Corp. System and method of scaling images using adaptive nearest neighbor
JP2006115078A (ja) * 2004-10-13 2006-04-27 Matsushita Electric Ind Co Ltd 画像データの信号処理装置及びその方法
US7899667B2 (en) 2006-06-19 2011-03-01 Electronics And Telecommunications Research Institute Waveform interpolation speech coding apparatus and method for reducing complexity thereof
US9717440B2 (en) * 2013-05-03 2017-08-01 The Florida International University Board Of Trustees Systems and methods for decoding intended motor commands from recorded neural signals for the control of external devices or to interact in virtual environments
US11087469B2 (en) * 2018-07-12 2021-08-10 Here Global B.V. Method, apparatus, and system for constructing a polyline from line segments

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5414527A (en) * 1991-08-14 1995-05-09 Fuji Xerox Co., Ltd. Image encoding apparatus sensitive to tone variations
WO1993014600A1 (en) * 1992-01-21 1993-07-22 Supermac Technology Method and apparatus for compression and decompression of color image data
US5288986A (en) * 1992-09-17 1994-02-22 Motorola, Inc. Binary code matrix having data and parity bits
EP0609980B1 (en) * 1993-01-11 1999-07-14 Canon Kabushiki Kaisha Motion detection method and apparatus
EP0679017B1 (en) * 1994-04-22 1999-10-20 Victor Company Of Japan, Ltd. Multidimensional multi-valued color image compression and decompression method
US5519436A (en) * 1994-06-21 1996-05-21 Intel Corporation Static image background reference for video teleconferencing applications
US5691769A (en) * 1995-09-07 1997-11-25 Daewoo Electronics Co, Ltd. Apparatus for encoding a contour of an object
US5883678A (en) * 1995-09-29 1999-03-16 Kabushiki Kaisha Toshiba Video coding and video decoding apparatus for reducing an alpha-map signal at a controlled reduction ratio
KR100203656B1 (ko) * 1996-04-09 1999-06-15 전주범 윤곽 영상신호 부호화 장치
KR100209412B1 (ko) * 1996-05-10 1999-07-15 전주범 비디오 신호의 유호 색차 성분 부호화 방법

Also Published As

Publication number Publication date
CN1123977C (zh) 2003-10-08
US6144409A (en) 2000-11-07
CN1204896A (zh) 1999-01-13
EP0891092B1 (en) 2012-09-19
EP0891092A2 (en) 1999-01-13
JPH1141597A (ja) 1999-02-12
JP3924052B2 (ja) 2007-06-06
EP0891092A3 (en) 2001-05-16
KR19990009289A (ko) 1999-02-05

Similar Documents

Publication Publication Date Title
KR100209412B1 (ko) 비디오 신호의 유호 색차 성분 부호화 방법
KR100501902B1 (ko) 영상정보부호화/복호화장치및방법
CN1058596C (zh) 对编码图象信号译码时实行半象素移动补偿的方法
US6304605B1 (en) Video compressing method wherein the direction and location of contours within image blocks are defined using a binary picture of the block
KR19990076276A (ko) 격행 부호화에서 이진 형상 신호의 움직임 벡터 부호화 방법
KR19990074806A (ko) 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치 및그 패딩 방법
KR100281329B1 (ko) 이진 형상 신호의 모드 신호 부호화 방법 및 그 복원 방법
US6133955A (en) Method for encoding a binary shape signal
KR100235354B1 (ko) 샘플링된 이진 형상 신호를 복원하기 위한 인터폴레이션 방법
EP0457976B1 (en) Video signal compression apparatus
JPH09311941A (ja) 適応輪郭符号化方法
JPH10290465A (ja) 輪郭線映像データ符号化装置
KR100281322B1 (ko) 이진 형상 신호 부호화 및 복호화 장치와 그 방법
US6049567A (en) Mode coding method in a binary shape encoding
EP0871330B1 (en) Method and apparatus for reconstructing contours in an image decoder
KR100239309B1 (ko) 변형된 정점 부호화를 이용한 윤곽선 부호화 방법 및 그 장치
KR100535630B1 (ko) 디지털 그레이 모양정보/색상정보의 부호화/복호화 방법
KR100463001B1 (ko) 발생위치가무작위인점들의위치정보부호화방법
KR100620715B1 (ko) 디지털 그레이 모양정보/색상정보의 부호화/복호화 방법
KR100242885B1 (ko) 이진 형상신호 부호화 방법 및 장치
KR100462999B1 (ko) 대상물영상의정점위치다중부호화방법및이를이용한mpeg-4vop의정점위치다중부호화방법
Bartkowiak et al. High-compression of chrominance data by use of segmentation of luminance
KR100209801B1 (ko) 윤곽선 정보를 이용한 영상신호 부호화 방법 및 장치
MXPA00008676A (en) Method and apparatus for padding interlaced macroblock texture information
KR980013421A (ko) 패딩 기법 및 윤곽선 정보를 이용한 영상신호 부호화 방법(Method for cording image signals using padding techique and contour information)

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120907

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20130906

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20140901

Year of fee payment: 16

FPAY Annual fee payment

Payment date: 20150819

Year of fee payment: 17

LAPS Lapse due to unpaid annual fee