KR960007206B1 - 영상디코더와 결합된 순차주사식 변환장치 - Google Patents

Abstract

내용 없음.

Description

영상디코더와 결합된 순차주사식 변환장치

제1도는 본 발명이 적용되는 영상디코더의 구성도.

제2도는 코딩을 위한 영상신호의 단위구조도.

제3도는 본 발명에 의한 순차 주사식 변환장치의 구성도.

제4도는 제3도의 순차 주사식 변환부의 세부구성도.

제5도는 제4도의 각 부분의 신호파형도.

제6도은 멀티플렉서 선택 판정기준표시도.

제7도는 제4도의 보간과정을 나타낸 흐름도.

* 도면의 주요부분에 대한 부호의 설명

10 : 입력단 VLD 및 멀티플렉싱부

12 : 역양자화부 13 : IDCT부

14, 17, 20 : 래치 15 : 가산부

16 : 합산부 18, 24, 25 : 프레임 메모리

19 : 움직임 보상부 21 : 디멀티플렉서

22, 23 : 순차주사식 변환부 26 : 멀티플렉서

본 발명은 비월주사식 포멧의 영상을 순차 주사식 포멧의 영상으로 변환하는 순차주사식 변환장치에 관한 것으로, 특히 영상디코더와 결합된 순차주사식 변환장치에 관한 것이다.

일반적으로 영상을 디지탈로 전송하기 위해서는 높은 압축을 필요로 한다.

예를들어 화상회의(Teleconferencing)를 위한 H.261, 멀티미디오(multimedia)를 위한 MPEG I, 디지탈 TV 등 다목적용인 MPEG II, 그외에 HDTV 압축방법들이 있는데 이들 모두 높은 압축을 위해 즉 시간축으로 존재하는 중복성을 없애기 위해 움직임 보상을 통한 압축 방식을 적용한다.

위에서 설명한 압축방식들은 모두 이같은 방식을 채용하고 있다.

미국에서는 HDTV 압축방식을 MPEG II와 호환성을 갖게끔 연구를 해가고 있고 특히 영상소스(Source)는 다양한 포맷을 수용할 수 있도록 설계하고 있다.

영상포맷은 크게 두가지 분류로 나누어지는데 하나는 비월주사식(Interlaced) 다른 하나는 순차주사식(Progressive)으로 나뉠수 있다.

특히 순차주사식의 영상에 중요성을 두고 앞으로 주 포맷은 순차주사식으로 될 것이 확실해졌다.

특히, 디스플레이, 즉 모니터에 디스플레이되는 규격은 순차 주사식이 될 것이기 때문에 비월주사식의 영상을 압축하여 전송할 경우 이를 디스플레이 규격인 순차주사식으로 효율적으로 변환해주는 문제는 매우 중요하고 필수적이라 할 수 있다.

종래의 비월주사식 포멧을 순차주사식 포맷으로 변환하는 방법은 크게 세가지로 구분할 수 있다.

첫째는 '인트라-필드(Intra-Field)기법으로서 현 필드내에서 스캔닝(scanning)된 라인(Line)을 이용하여 스캔닝이 되지 않은 라인을 보간하는 방법인데 가장 간단한 방법은 스캔닝된 위, 아래라인의 평균값으로 보간하는 방법으로 해상도가 떨어지는 문제점이 있다.

두번째로는 움직임 보상을 하지 않는 단순한 인터-필드(Inter-Field)기법인데 이러한 기법은 정지부위에서는 고해상도의 영상을 복원할 수 있으나 움직임이 있는 부위에서는 심한 아트팩트(Artefact)가 나타난다.

상기 문제점들을 보완한 방법이 마지막으로 움직임 보상을 통한 보간기법인데 정확한 움직임 정보를 찾을수 있다면 거의 완벽한 순차 주사식 영상을 복원할 수가 있다.

이를 보다 보완한 방법은 정지부위, 움직임부위등으로 화면을 분할하여 그에 따라 적응적으로 보간을 해주는 방법이다.

예를 들어 정지부위일 경우 양 프레임간의 평균값으로 대치하고 움직임이 있는 경우는 움직임 보상을 해주고 장면변화(Scene charge)등이 있을 경우에는 인트라-필드(Intra-Field)기법을 적용함으로써 효율성을 극대화 할 수 있다.

하지만 상기 기법을 하드웨어로 구현하는데는 많은 어려움이 따른다.

특히 움직임 검출이 대부분의 어려움을 차지하고 정지부 검출 및 적응적으로 선택하는 하드웨어의 구현에 많은 어려움이 따른다.

따라서, 본 발명은 영상 디코더와 결합하여 전송되어진 움직임 정보, 계수, 및 매크로블럭타입을 이용하여 순차주사식 포맷으로 변환하기 위한 순차주사식 변환장치를 제공함에 그 목적이 있다.

상기 목적을 달성하기 위해 본 발명은 입력되는 비트스트림으로부터 VLD를 통해 움직임정보, 매크로블럭타입 신호를 복원하고, 역양자화 및 IDCT를 거쳐 에러신호를 출력하고, 상기 VLD로부터 출력되는 움직임 정보 신호를 이용하여 움직임 보정 신호를 이용하여 움직임 보상을 수행하는 영상 디코딩 수단과, 상기 영상 디코딩 수단으로부터 출력되는 움직임 정보, 매크로블럭 타입 및 에러신호를 이용하여 홀수 및 짝수 필드로 나누는 디멀티플레싱수단; 상기 디멀티플레싱수단(21)에서 출력되는 각 필드 신호를 병렬로 동시에 순차주사식 포맷으로 변환하는 제1 및제2순차주사식 변환수단, 상기 제1 및 제2순차주사식 변환수단으로부터 출력되는 신호를 각각 저장하는 제2 및 제3 프레임 메모리수단, 상기 제2및 제3프레임 메모리수단으로부터 출력되는 신호를 번갈아가며 2배의 속도로 읽어 출력하는 제1멀티플렉싱 수단으로 구성되는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 상세히 설명한다.

제1도는 본 발명에 적용되는 영상 디코더의 구성도, 제2도는 코딩을 위한 영상신호의 단위구조도로, 1은 입력단, 2는 VLD(Variable Length Decoding) 및 디멀티플렉싱부, 3은 역양자화부, 4는 IDCT(Inverse Discrete Cosine Transform)부, 5는 가산기, 6은 프레임 메모리, 7은 움직임 보상부, 8은 프레임, 9는 슬라이스, 10은 매크로블럭을 각각 나타낸다.

상기 영상 디코더는 제1도에 도시한 바와같이 입력단(1)을 통해 들어오는 압축된 비트스트림이 입력되는 VLD 및 디멀티플렉싱부(2)에 역양자화부(3)를 연결하고, 상기 역양자화부(3)에 IDCT부(4)를 연결하고, 상기 VLD 및 디멀티플렉싱부(2)에 움직임 보상부(7)을 연결하고, 상기 움직임 보상부(7)에 프레임 메모리(6)를 연결하고, 상기 프레임 메모리(6)와 IDCT부(4)에 가산기(5)를 연결하고, 상기 가산기(5)의 출력단에 상기 프레임 메모리(5)를 연결하여 구성한다.

상기 영상디코더는 압축된 비트스트림을 받아들여 VLD(Variable Length Decoding) 및 디멀티플렉싱부(2)에서 의미있는 신호로 복원하고 여러신호로 분류하고 역양자화부 및 IDCT(Inverse Diecrete Cosine Transform)부(4)를 거친후 움직임 정보신호를 받아들여 움직임 보상을 한 신호와 합쳐져서 다음 프레임의 움직임 보상을 위해 프레임 메모리(6)에 저장된다.

상기 VLD 및 디멀티플렉싱부(2)에서 출력되는 신호는 움직임 정보, 매크로블럭타입, 양자화 레벨 및 계수신호등을 들수 있다.

코딩(Coding)을 위한 기본단위는 제2도에 도시한 바와 같이 매크로블럭(10)이며 움직임 정보, 매크로 블럭타입 신호등은 매크로블럭(10) 단위로 보내지게 되고 전송된 계수는 프레임간의 차, 즉 에러신호가 될 것이다.

상기 매크로 블럭(10)들이 모여서 슬라이스(9)가 되고, 상기 슬라이스(9)가 모여서 프레임이 되는데, 본 발명에서는 매크로 블럭(10)의 한 수평전체에 해당하는 것을 슬라이스로 정의한다.

제3도는 본 발명에 의한 영상디코더와 결합된 순차주사식 변환장치의 구성도로, 10은 입력단, 11은 VLD 및 디멀티플렉싱부, 12는 역양자화부, 13은 IDCT부, 14, 17, 20은 래치, 15는 가산부, 16은 합산부, 18. 24, 25는 프레임 메모리, 19는 움직임보상부, 21은 디멀티플렉서, 22, 23은 순차주사식 변환부, 26은 멀티플렉서를 각각 나타낸다.

본 발명에 의한 영상디코더와 결합한 순차주사식 변환장치는 제3도에 도시한 바와 같이 압축된 비트스트림이 입력되는 VLD 및 디멀티플렉싱부(11)에 역양자화부(12)를 연결하고, 상기 역양자화부(12)에 IDCT부(13)를 연결하고, 상기 VLD 및 디멀티플렉싱부(11)에 움직임 보상부(19)를 연결하고, 상기 움직임 보상부(19)에 프레임 메모리(18)를 연결하고, 상기 IDCT부(13)와 프레임 메모리(18)에 가산기(15)를 연결하고, 상기 가산기(15)의 출력단(15)에 상기 프레임 메모리(18)와 디멀티플렉서(21)를 연결하고, 상기 IDCT부(13)에 합산부(16)를 연결하고, 상기 합산부(16)에 래치(17)를 연결하고, 상기 VLD 및 디멀티플렉싱부(10)에 래치(14, 20)를 연결하고, 상기 래치(14, 17, 20)와 디멀티플렉싱부(21)에 홀수 필드 및 짝수 필드를 처리하는 순차주사식 변환부(22, 23)를 각각 연결하고, 상기 순차주사식 변환부(22, 23)에 프레임 메모리(24, 25)를 각각 연결하고, 상기 프레임 메모리(24, 25)에 멀티플렉서(26)를 연결하고, 상기 프레임 메모리(24, 25)의 출력단에 순차주사식 변환부(22, 23)의 입력단을 각각 연결하여 구성한다.

상기 리코더의 VLD 및 디멀티플렉싱부(11)는 압축된 비트스트림을 입력단(10)으로부터 받아들여 의미있는 신호로 복원하고 여러신호, 즉 양자와 레벨, 매크로블럭타입, 움직임 정보, 계수 및 에러신호를 분류하여 상기역양자화부(12), 래치(14, 20) 및 움직임 보상부(19)로 출력한다.

상기 역양자화부(12)는 상기 VLD 및 디멀티플렉싱부(11)로부터 출력되는 신호를 역양자화하고, 사기 IDCT부(13)는 상기 역양자화된 신호를 IDCT(Inverse Discrete Cosine Transform) 처리하고, 상기 움직임 보상부(19)는 상기 VLD 및 디멀티플렉싱부(11)로부터 움직임 정보신호를 받아 프레임 메모리(18)를 통해 움직임 보상을 하게 된다.

또한 상기 가산부(15)에서는 상기 IDCT부(13)에서 출력된 신호와 움직임 보상된 신호를 합쳐서 다음 프레임의 움직임 보상을 위해 상기 프레임 메모리(18)에 저장하고 상기 디멀티플렉서(21)로 출력한다.

상기 합산부(16)는 계수, 즉 에러를 매크로블럭단위로 합해서 상기 래치(17)로 보내고, 상기 래치(14)는 매크로블럭타입신호를 입력으로 하고, 상기 래치(20)는 움직임 정보를 입력으로 하며 상기 래치(14, 17, 20)는 상기 입력되는 에러, 매크로블럭타입, 및 움직임 정보신호를 동기를 맞추기 위해 매크로 블럭단위로 래칭한다.

비월주사식 포맷으로 영상신호를 압축할때 프레임 단위로 이루어지는 것으로 가정한다.

즉, 상기 디코더에서 출력되는 신호를 매크로 블럭단위로 이루어지는데 이러한 매크로블럭은 홀수 및 짝수필드에 해당하는 것이다.

상기 디코더를 통해 복원된 프레임은 상기 디멀티플렉서(21)에서 홀수 및 짝수 필드로 나누어져 상기 순차주사식 변환부(22, 23)로 출력되어 각 필드마다 병렬로 동시에 순차주사식 포맷으로 변환된 후 상기 프레임 메모리(24, 25)로 각각 저장되어 2배의 속도로 읽혀져 출력속도로 상기 멀티플렉서(26)를 통해 최종 출력된다.

상기 디멀티플렉서(21)를 사용하지 않고 곧바로 상기 디코더의 출력을 상기 두개의 순차주사식 변환부(22, 23)로 입력해 주어도 각 필드를 구분하여 처리할 수도 있다.

제4도는 제3도의 순차주사식 변환부(22, 23)의 세부구성도, 제5도는 제4도의 각 부분의 신호파형도, 29, 30, 31, 37, 38은 입력단, 32, 33은 라인 지연부, 34는 가산기, 35는 1/2 분주기, 36은 움직임 보상기, 39, 41은 멀티플렉서, 40은 멀티플렉서 선택조절부, 42은 슬라이스 버퍼, 43은 비교기를 각각 나타낸다.

상기 순차주사식 변환부(22, 23)는 제4도에 도시한 바와 같이 상기 디멀티플렉서(21)로부터 홀수 및 짝수 프레임이 입력되는 슬라이스 버퍼(42)에 라인지연부(32)를 연결하고, 상기 라인지연부(32)에 라인지연부(33)를 연결하고, 상기 라인지연부(33)와 슬라이스버퍼(42)에 가산기(34)를 연결하고, 상기 가산기(34)에 1/2분주기(35)를 연결하고, 상기 래치(20)로부터 움직임 정보가 입력되는 입력단(31)에 움직임 보상기(36)를 연결하고, 상기 래치(17)로부터 출력되는 에러신호 및 설정된 임계치가 입력되는 비교기(43)에 상기 래치(14)로부터 출력되는 매크로 블럭 타입신호를 입력으로 하는 멀티플렉서 선택조절부(40)를 연결하고, 상기 1/2 분주기(35), 프레임 메모리(24, 25)로부터 신호가 입력되는 입력단(30), 움직임 보상기(36), 및 멀티플렉서 선택조절부(40)에 멀티플렉서(39)를 연결하고, 상기 멀티플렉서(39)와 라인지연부(32)에 멀티플렉서(41)를 연결하여 구성한다.

매크로블럭 단위로 들어오는 신호는 위 및 아래 라인의 평균등으로 보간해야 하기 때문에 매 라인단위로 포맷을 변환하기 위해 상기 슬라이스 버퍼(42)를 이용하여 매크로블럭단위로 쓴 다음 한 라인씩 순서대로 읽어낸다.

따라서 상기 슬라이스 버퍼(42)의 출력에서 한 라인은 해당 필드에 속하는 라인이고, 다른 필드에 속하는 라인이 된다. 상기 슬라이스 버퍼(42)로부터 출력되는 해당하는 필드에 속하는 라인은 상기 라인지연부(32, 33)에서 지연되고, 상기 가산기(34) 및 1/2분주기(35)를 통해 평균을 구하여 상기 멀티플렉서(39)로 출력한다.

상기 움직임 보상기(36)는 상기 래치(20)로부터 출력되는 움직임 보상을 통해 보간하여 상기 멀티플렉서(39)로 출력한다.

상기 프레임 메모리(24, 25)에서 읽어온 신호, 즉 전 필드신호를 정지부의 경우를 고려하여 상기 멀티플렉서(39)로 출력한다.

상기 멀피틀렉서(39)는 상기 멀티플렉서 선택조절부(40)에서 출력되는 제어신호에 따라 상기 1/2 분주기(35), 프레임 메모리(24, 30)의 출력신호 및 움직임 보상기(36)의 출력신호 중 하나를 선택하여 상기 멀티플렉서(41)로 출력한다.

상기 멀티플렉서 선택조절부(40)는 상기 래치(14)로부터 출력되는 매크로 블럭 타입신호와 상기 비교기(43)로부터 출력되는 에러신호 합산치의 비교치에 따라 제어신호를 출력한다.

상기 멀티플렉서(41)는 상기 라인지연부(32)의 출력, 즉 원래 해당하는 필드에 속하는 라인과 상기 멀티플렉서(39)의 출력을 번갈아 가며 선택하여 출력한다.

상기와 같이 구성되는 순차주사식 변환부(22, 23)의 동작과정을 나타낸 신호파형은 제5도에 도시한 바와같다.

제6도는 제4도의 멀티플렉서 선택조절부(40)의 멀티플렉서 선택 판정기준 표시도로, 제6도를 참조하여 상기 멀티플렉서(39)의 출력을 선택하는 기준을 살펴보면 다음과 같다.

상기 래치(17)로부터 출력되는 에러가 설정 임계치보다 적고 매크로블럭 타입이 인트라 프레임(Intra Frame)모드이면 라인간 평균으로 보간한 신호, 즉 상기 1/2 분주기(35)의 출력을 선택하고, 상기 에러가 설정 임계치보다 적고 매크로블럭타입모션 컴펜세이티드(Motion Compensated) 모드이면 움직임 보상을 통해 보간된 신호, 즉 상기 움직임 보상기(36)의 출력을 선택하고, 상기 에러가 설정임계치보다 작고 매크로블럭타입이논 모션 컴펜세이티드 인터 프레임(Non Motion Compensated Inter Frame)모드이면 정지부로 판단하여 상기 프레임 메모리(24, 25)의 출력을 선택하고, 상기 에러가 설정임계치보다 크면 라인간 평균으로 보간한 신호, 즉 상기 1/2 분주기(35)의 출력을 선택하도록 상기 멀티플렉서 선택조절부(40)는 상기 멀티플렉서(39)를 제어하는 신호를 출력한다.

상기와 같이 동작하는 멀티플렉서 선택조절부(40)는 간단한 논리회로를 이용하여 구현할 수 있다.

제7도는 제4도의 순차주사식 변환부의 보간관정을 나타낸 흐름도로, 보간과정을 제7도를 참조하여 설명하면 다음과 같다.

먼저 에러가 설정된 임계치 이상인지 검색하여(100), 설정된 임계치 이상이면 라인간 평균에 의해 보간하고(104), 에러가 임계치 이하이면 매크로 블럭 타입이 인트라프레임 모드인지 검색하여(101), 인트라 프레임 모드이면 라인 평균에 의한 보간을 수행한다(104).

다시 매크로 블럭타입이 모션 컴펜세이티드 모드인지 검색하여(102), 모션 캠펜세테이티드 모드이면 움직임 보상을 통한 보간을 수행하고(105), 아니면 정지부위로 판단하여 전프레임에서의 신호를 반복한다(103).

상기와 같이 구성되어 동작하는 본 발명은 영상디코더와 결합되어 하드웨어 구현이 용이한 효화가 있으며 HDTV 수상기, 디지탈 TV 등에 적용시킬 수 있다.

Claims (6)

1. 입력되는 비트스트림으로부터 VLD를 통해 움직임정보, 매크로블럭 타입 신호를 복원하고, 역양자화 및 IDCT를 거쳐 에러신호를 출력하고, 상기 VLD로부터 출력되는 움직임 정보 신호를 이용하여 움직임 보정 신호를 이용하여 움직임 보상을 수행하는 영상 디코딩 수단과; 상기 영상 디코딩 수단으로부터 출력되는 움직임 정보, 매크로블럭 타입 및 에러신호를 이용하여 홀수 및 짝수필드로 나누는 디멀티플레싱 수단과; 상기 디멀티플레싱수단에서 출력되는 각 필드 신호를 병렬로 동시에 순차주사식 포멧으로 변환하는 제1 및 제2 순차주사식 변환수단과; 상기 제1 및 제2순차주사식 변환수단으로부터 출력되는 신호를 각각 저항하는 제2 및 제3프레임 메모리수단으로부터 출력되는 신호를 번갈아 가며 2배의 속도로 읽어 출력하는 제1멀티플렉싱수단으로 구성되는 것을 특징으로 하는 영상디코더와 결합된 순차주사식 변환장치.
2. 제1항에 있어서, 상기 제1 및 제2순차주사식 변환수단은 매크로 블럭단위로 입력되는 신호를 라인단위로 출력하는 슬라이스 버퍼수단과; 사기 슬라이스 버퍼수단으로부터 출력되는 신호를 지연시키는 제1라인 지연수단과; 상기 제1라인지역수단에 연결된 제2라인지연수단과; 상기 슬라이스버퍼수단 및 제2라인지역수단으로부터 출력되는 신호의 평균신호를 출력하는 제2가산수단 및 1/2 분주수단과; 움직임 정보를 입력으로 움직임 보상을 통해 보간하는 제2움직임보상수단; 에러신호 합산치와 설정된 임계치를 입력으로 비교하는 비교수단과; 상기 비교수단의 출력과 매크로블럭 타입의 신호를 입력으로 세가지 경우로 분류하여 제어신호를 출력하는 멀티플렉서 선택조절수단과; 상기 1/2 분주수단 및 제2움직임 보상수단의 출력과 제2 및 제3프레임 메모리의 신호를 상기 멀티플렉서 선택조절수단의 제어신호에 따라 선택하여 출력하는 제2멀티플렉싱수단과; 상기 제2멀티플렉싱수단과 제1라인지연수단의 출력을 번갈아 선택하여 출력하는 제3멀티플렉싱수단으로 구성되는 것을 특징으로 하는 영상디코더와 결합된 순차주사식 변환장치.
3. 제2항에 있어서, 상기 멀티플렉서 선택조절수단은 에러신호 합산치가 설정된 임계치보다 작고 매크로블럭타입이 인트와 프레임 모드이거나 상기 에러신호 합산치가 설정된 임계치보다 큰 경우, 상기 에러신호 합산치가 설정임계치보다 작고 상기 매크로블럭 타입이 모션 컴펜세이티드모드인 경구, 및 상기 에러신호 합산치가 설정 임계치보다 작고 매크로블럭 타입이 논 모션 컴펜세이티드 인터프레임인 경우로 나누는 제어신호를 출력하는 것을 특징으로 하는 영상디코더와 결합된 순차주사식 변환장치.
4. 제3항에 있어서, 상기 멀티플렉서 선택조절수단은 상기 에러 신호 합산치가 설정된 임계치보다 작고 매크로블럭타입이 인트라 프레임 모드이거나 상기 에러신호 합산치가 설정된 임계치보다 큰 경우에는 상기 제2멀티플렉싱수단이 상기 1/2분주수다의 출력을 선택하도록 하는 것을 특징으로 하는 영상디코더와 결합된 순차주사식 변환장치.
5. 제3항에 있어서, 상기 멀티플렉서 선택조절수단은 상기 에러 신호 합산치가 설정된 임계치보다 작고 매크로블럭타입이 모션 컴펜센이티드 모드인 경우 상기 제2멀티플렉싱수단이 상기 움직임 보상수단의 출력을 선택하도록 하는 것을 특징으로 하는 영상디코더와 결합된 순차주사식 변환장치.
6. 제3항에 있어서, 상기 멀티플렉서 선택조절수단은 상기 에러 신호 합산치가 설정된 임계치보다 작고 매크로블럭타입이 논 모션 컴펜세이티드 인터 프레임모드인 경우 상기 전 필드의 신호를 선택하도록 하는 것을 특징으로 하는 영상디코더와 결합된 순차주사식 변환장치.