KR20080022878A

KR20080022878A - Ｊｐｅｇ2000 인코더를 설계하는 방법

Info

Publication number: KR20080022878A
Application number: KR1020060086658A
Authority: KR
Inventors: 남현재
Original assignee: 동부일렉트로닉스 주식회사
Priority date: 2006-09-08
Filing date: 2006-09-08
Publication date: 2008-03-12

Abstract

본 발명은 JPEG2000 인코더를 설계하는 방법에 관한 것으로서, (a) UTF(Un-Timed Functional) 레벨에서 JPEG2000 인코더를 모델링하는 단계; (b) 각 모듈에서 처리되는 시간을 비교하는 단계; (c) 처리 시간이 가장 긴 모듈을 하드웨어적으로 구현하기 위해 상기 DWT 모듈과 상기 Tier-1 모듈을 분리하는 단계; (d) SystemC의 마스터/슬레이브 라이브러리(Master/Slave Library)를 사용하여 제어 신호와 데이터 신호를 모델링하는 단계; (e) 시스템의 동작이 클럭에 동기화되어 동작하는 BCA(Bus Cycle Accurate) 레벨로 재설계하여 시간 정보를 추가하는 단계; (f) 상기 DWT 모듈을 사용하여 이질적 IP(Intellectual Property)와의 통합 설계를 보이는 단계; 및 (g) 소프트웨어 모듈과 하드웨어 모듈의 연관성을 높이기 위해 상기 Tier-1 모듈에 MQ 코더를 생성하는 단계를 포함한다.

본 발명에 의하면, JPEG2000을 지원하는 인코더를 모델링하고, 소프트웨어적인 부분과 하드웨어적인 부분으로 분할하여 설계하는 방법을 제공함으로써, 하드웨어 개발자는 RTL 설계를 보다 높은 레벨에서 수행하고 설계 초기부터 소프트웨어와 연동하여 동작을 검증할 수 있으며, 소프트웨어 개발자는 하드웨어로 구현하거나 하드웨어 동작과 밀접한 관련이 있는 모듈의 개발을 보다 빠르고 구체적으로 구현할 수 있기 때문에 전체적인 시스템 설계 시간을 단축할 수 있다.

JPEG, IP, 소프트웨어, 하드웨어, 인코더

Description

ＪＰＥＧ2000 인코더를 설계하는 방법{Method for Designing JPEG2000 Encoder}

도 1은 JPEG2000의 구성 요소를 나타낸 블럭도,

도 2는 본 발명의 실시예에 따른 JPEG2000 인코더의 설계 방법을 나타낸 흐름도,

도 3은 본 발명에 따른 소프트웨어 모듈과 하드웨어 모듈 간에 연동 검증을 나타낸 블럭도이다.

< 도면의 주요 부분에 대한 부호의 설명 >

110: 전처리기 120: DWT 모듈

130: 양자화기 140: Tier-1 모듈

150: Tier-2 모듈 310: PC 플랫폼

320: FPGA 플랫폼

본 발명은 JPEG2000 인코더를 설계하는 방법에 관한 것으로, 더욱 상세하게는 JPEG2000을 지원하는 인코더를 모델링하고, 소프트웨어적인 부분과 하드웨어적 인 부분으로 분할하여 설계하는 방법에 관한 것이다.

시스템 설계가 복잡해지고 대형화됨에 따라 설계 및 검증 시간을 단축하는 방법이 요구되고 있다. 특히, 많은 IP(Intellectual Property)들의 집합으로 이루어지는 SoC(System on a Chip)를 설계하기 위해서는 기존의 논리 회로 합성과 시뮬레이션, 그리고 반복적인 검증 방법을 필요로 하여 많은 시간을 필요로 하기 때문에 이전에 설계되어 기능이 검증된 IP를 재사용하거나 소프트웨어 기반으로 설계하는 방법이 제안되고 있다.

SystemC는 이러한 필요성에 의해 최근에 제안된 시스템 모델링 및 설계 언어로 C/C++로 기술된 알고리즘 수준의 빠른 검증에서부터 HDL(High-Level Description Language)과 같은 RTL(Register Transfer Language)수준의 하드웨어 모델링까지 지원한다.

하지만, 종래의 시스템 설계에 있어서 알고리즘 및 소프트웨어 개발자와 하드웨어 설계자가 서로 다른 언어를 가지고 설계를 하기 때문에 서로 다른 수준의 테스트벤치(Testbench)를 가지고 검증을 하게 되며, 개발 도중의 상호 시뮬레이션(Co-Simulation)이 어렵다. 따라서, 하드웨어 개발이 끝난 이후에 상호 시뮬레이션 과정을 거치게 되며, 이 과정에서 오류가 발생하면 설계자는 하드웨어 설계를 다시 수정하고 검토해야 하므로 개발 기간이 길어지게 되는 문제점이 발생하게 된다.

본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로서, JPEG2000을 지원하는 인코더를 모델링하고, 소프트웨어적인 부분과 하드웨어적인 부분으로 분할하여 설계하는 방법을 제공한다.

본 발명의 다른 목적은 알고리즘 설계를 하드웨어 구조에 적합하게 모델링하고, 합성 가능한 수준의 설계에 이르기까지 동일한 테스트 벡터를 사용함으로써, 일관적인 시스템 설계와 검증을 수행하는 방법을 제공한다.

본 발명의 또 다른 목적은 SystemC를 이용하여 짧은 시간에 하드웨어 모델링을 하고, FPGA를 이용하여 검증하는 과정을 확립하며, 기존에 설계된 IP를 재활용함으로써, 시스템의 설계와 검증 시간을 단축시키기 위한 방법을 제공한다.

이와 같은 목적을 달성하기 위한 본 발명은, 전처리기, DWT 모듈, 양자화기, Tier-1 모듈 및 Tier-2 모듈을 포함하는 JPEG2000 인코더를 설계하는 방법에 있어서, (a) UTF(Un-Timed Functional) 레벨에서 JPEG2000 인코더를 모델링하는 단계; (b) 각 모듈에서 처리되는 시간을 비교하는 단계; (c) 처리 시간이 가장 긴 모듈을 하드웨어적으로 구현하기 위해 상기 DWT 모듈과 상기 Tier-1 모듈을 분리하는 단계; (d) SystemC의 마스터/슬레이브 라이브러리(Master/Slave Library)를 사용하여 제어 신호와 데이터 신호를 모델링하는 단계; (e) 시스템의 동작이 클럭에 동기화되어 동작하는 BCA(Bus Cycle Accurate) 레벨로 재설계하여 시간 정보를 추가하는 단계; (f) 상기 DWT 모듈을 사용하여 이질적 IP(Intellectual Property)와의 통합 설계를 보이는 단계; 및 (g) 소프트웨어 모듈과 하드웨어 모듈의 연관성을 높이기 위해 상기 Tier-1 모듈에 MQ 코더를 생성하는 단계를 포함한다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

도 1은 JPEG2000의 구성 요소를 나타낸 블럭도이다.

도 1에 도시된 바와 같이, JPEG2000의 구성 요소는 전처리기(Pre-process)(110), DWT(Discrete Wavelet Transform) 모듈(120), 양자화기(130), Tier-1 모듈(140) 및 Tier-2 모듈(150) 등을 포함한다.

전처리기(110)는 입력 영상을 타일(Tile)이라고 하는 서로 겹치지 않는 직사각형의 조각들로 나눈다.

DWT 모듈(120)은 전체 프레임에 대해 주파수 도메인(Domain)으로 변환하여 압축을 수행한다.

양자화기(130)는 통상적인 양자화 기능을 수행한다.

Tier-1 모듈(140)은 코드 블록에 대해 비트 플레인을 수행하고, 그 비트 플레인에 대한 코딩 패스별로 컨텍스트(Context)를 추출하여 그 값을 코딩 패스별로 묶어 산술 부호화를 수행한다.

Tier-2 모듈(150)은 각 코드 블록에서 끝을 잘라낸 점들을 비율 왜곡 최적화를 사용하여 할당한다.

도 2는 본 발명의 실시예에 따른 JPEG2000 인코더의 설계 방법을 나타낸 흐름도이다.

도 2를 참조하면, JPEG2000 인코더를 설계하기 위해 먼저 UTF(Un-Timed Functional) 레벨에서 도 1과 같이 JPEG2000 인코더를 모델링하고(S210), 각 모듈에서 처리되는 시간을 비교한다(S220).

그 결과 처리 시간이 가장 긴 모듈을 하드웨어적으로 구현하기 위해 DWT 모듈(120)과 Tier-1 모듈(140)(즉, Tier-1 모듈(140)의 MQC 모듈)을 분리한다(S230).

단계 S230에서 분리된 DWT 모듈(120)과 Tier-1 모듈(140)을 하드웨어적으로 설계하거나 대체하기 위해서는 각 모듈 사이의 인터페이스와 주고받는 신호에 제어 신호와 시간 정보가 추가되어야 한다.

따라서, SystemC의 마스터/슬레이브 라이브러리(Master/Slave Library)를 사용하여 제어 신호와 데이터 신호를 모델링하고(S240), 시스템의 동작이 클럭에 동기화되어 동작하는 BCA(Bus Cycle Accurate) 레벨로 재설계하여 시간 정보를 추가한다(S250).

이후, HDL(High-Level Description Language)로 설계된 DWT 모듈(120)을 사용하여 이질적 IP(Intellectual Property)와의 통합 설계를 보인다(S260). 여기서, DWT 모듈(120)은 JPEG2000에서 사용되는 두 가지 필터 중의 하나이며 무손실 압축에 적합한 올림 정수 필터(Lifted Integer(5,3) Filter)를 기반으로 성능이 향상된 2D, 3 레벨의 DWT 연산을 수행하도록 구현된다. 필터의 구현시 가장 큰 전달 지연 시간을 갖는 곱셈기를 사용하지 않음으로써, 매우 빠른 연산 속도와 높은 클럭(Clock)에서의 동작이 가능하다. 그리고 기존의 올림 정수 필터 구조에서 딜레이 레지스터를 제거함으로써, 필터 자체의 전달 지연 시간과 면적을 줄였다. 또한, 내 부 메모리 3 개를 이용하여 파이프 라인 형태로 동작할 수 있도록 함으로써, 연속적인 이미지 연산시 더욱 빠른 처리를 할 수 있도록 하였다.

설계된 DWT 모듈(120)은 8 비트의 64 * 64 데이터를 입력받아 처리하며, 0.25 ㎛ 표준 셀 라이브러리를 이용한 ASIC 공정에서 합성된 게이트 수는 2290 게이트이다. 또한, Xilinx사의 FPGA(Field Programmable Gate Array)에 임베디드 메모리를 사용하는 DWT 모듈(120)을 맵핑하여 회로 기능의 검증을 완료하였으며, 512 *512 픽셀, 8 비트의 영상 이미지를 처리할 경우 초당 약 120 프레임을 처리하게 된다.

하드웨어적으로 구현된 DWT 모듈(120)은 매 클럭마다 고정된 비트 수와 정확한 방향성을 갖는 데이터 신호와 제어 신호를 필요로 하는 반면에, 소프트웨어적으로 구현된 DWT 모듈(120)은 포인터나 클래스(Class) 등의 메모리를 통해 데이터를 주고 받는다. 따라서, DWT 모듈(120)은 다른 모듈과 소프트웨어적인 형태로 데이터를 주고 받기 때문에 하드웨어적으로 구현하기 위해서 추가적인 인터페이스를 필요로 한다.

이질적 IP의 통합 설계를 보인 후, 소프트웨어 모듈(SystemC 모듈)과 하드웨어 모듈의 연관성을 높이기 위해 C-to-HW 방법을 이용하여 Tier-1 모듈(140)에 MQ 코더(Coder)를 생성한다(S270). 여기서, C-to-HW 방법은 구조 정련(Structure Refinement), 데이터 정련(Data Refinement) 및 제어 정련(Control Refinement) 과정을 거치게 된다. 자세하게는, 구조 정련이란 알고리즘 레벨의 설계에 대해 소프트웨어 및 하드웨어적으로 설계될 부분을 결정하고 모듈화하고, 소프트웨어 및 하 드웨어적으로 나누어진 부분의 함수 호출 관계를 수정하는 과정이다. 이를 위해 소프트웨어 모델 내부의 하위 C 함수들은 독립적인 모듈이 되고, 전역 변수는 메모리로 모델링한다. 함수 간의 데이터 전달에 사용되는 변수는 입출력 포트를 생성하여 전달하고, 전역 변수를 사용하는 경우 메모리 입출력을 통해 데이터 전달이 이루어지도록 한다.

데이터 정련이란 모듈 내에 기술된 변수들의 변수 형태를 합성 가능한 형태로 바꾸어주는 과정이다. 이를 위해 구조체 데이터를 데이터 너비가 명확한 기본 데이터형으로 분할하고, 구조 정련에서 전역 변수가 메모리 모듈로 대체되었으므로 *, & 등의 C 자료형을 메모리에 대한 입출력으로 하고, 동적 메모리는 정적 메모리로 변경한다.

제어 정련이란 코드 내의 동작과 신호의 입출력을 하드웨어 개념에 맞추어주는 과정이다. 이를 위해 통신 채널을 통해 받던 요청/응답 신호에 대해 각각의 포트를 생성하고, 요청 신호를 전송하고 응답 신호를 수신하여 확인한 후 다음 동작을 수행하도록 한다. 또한, 메모리 입출력으로 변환된 전역 변수 처리를 위해 메모리를 제어하기 위한 신호를 추가한다.

도 3에 도시된 바와 같이, 시스템 설계에 있어 알고리즘 레벨에서 시스템의 동작이 클럭에 동기화되어 동작하는 BCA 레벨까지 PC 플랫폼(310) 및 FPGA 플랫폼(320)을 이용하여 검증하였다. 이를 위하여 소프트웨어 모듈은 C/C++ 언어와 SystemC로 모델링되어 Visual C++에서 컴파일한 후, 동작을 확인하였다. 또한, 하드웨어 모듈은 시뮬레이션을 위한 C/C++ 모델과 합성 가능한 수준의 SystemC 모듈을 설계하였고, HDL을 통해 구현되어 Xilinx사의 FPGA 상에서 동작을 확인하였다.

PC 플랫폼(310)에서 동작하는 소프트웨어 모듈과 FPGA 플랫폼(320)에서 동작하는 하드웨어 모듈의 연동 검증을 위하여 PC 플랫폼(310)과 FPGA 플랫폼(320)을 PCI(Peripheral Component Interconnect) 인터페이스를 통해 연결하는 Dynalith사의 iPROVE 플랫폼을 사용하였다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

이상에서 설명한 바와 같이 본 발명에 의하면, JPEG2000을 지원하는 인코더를 모델링하고, 소프트웨어적인 부분과 하드웨어적인 부분으로 분할하여 설계하는 방법을 제공함으로써, 하드웨어 개발자는 RTL 설계를 보다 높은 레벨에서 수행하고 설계 초기부터 소프트웨어와 연동하여 동작을 검증할 수 있으며, 소프트웨어 개발 자는 하드웨어로 구현하거나 하드웨어 동작과 밀접한 관련이 있는 모듈의 개발을 보다 빠르고 구체적으로 구현할 수 있기 때문에 전체적인 시스템 설계 시간을 단축할 수 있다.

Claims

전처리기, DWT 모듈, 양자화기, Tier-1 모듈 및 Tier-2 모듈을 포함하는 JPEG2000 인코더를 설계하는 방법에 있어서,

(a) UTF(Un-Timed Functional) 레벨에서 JPEG2000 인코더를 모델링하는 단계;

(b) 각 모듈에서 처리되는 시간을 비교하는 단계;

(c) 처리 시간이 가장 긴 모듈을 하드웨어적으로 구현하기 위해 상기 DWT 모듈과 상기 Tier-1 모듈을 분리하는 단계;

(d) SystemC의 마스터/슬레이브 라이브러리(Master/Slave Library)를 사용하여 제어 신호와 데이터 신호를 모델링하는 단계;

(e) 시스템의 동작이 클럭에 동기화되어 동작하는 BCA(Bus Cycle Accurate) 레벨로 재설계하여 시간 정보를 추가하는 단계;

(f) 상기 DWT 모듈을 사용하여 이질적 IP(Intellectual Property)와의 통합 설계를 보이는 단계; 및

(g) 소프트웨어 모듈과 하드웨어 모듈의 연관성을 높이기 위해 상기 Tier-1 모듈에 MQ 코더를 생성하는 단계

를 포함하는 것을 특징으로 하는 JPEG2000 인코더를 설계하는 방법.
제1항에서,

상기 DWT 모듈은 올림 정수 필터(Lifted Integer(5,3) Filter)를 기반으로 성능이 향상된 2D, 3 레벨의 DWT 연산을 수행하도록 구현되는 것을 특징으로 하는 JPEG2000 인코더를 설계하는 방법.
제1항에서, 상기 단계 (g)는,

C-to-HW 방법을 이용하여 상기 Tier-1 모듈에 MQ 코더를 생성하는 것을 특징으로 하는 JPEG2000 인코더를 설계하는 방법.
제3항에서,

상기 C-to-HW 방법은,

(g1) 알고리즘 레벨의 설계에 대해 소프트웨어 및 하드웨어적으로 설계될 부분을 결정하고 모듈화하고, 소프트웨어 및 하드웨어적으로 나누어진 부분의 함수 호출 관계를 수정하는 구조 정련(Structure Refinement) 과정;

(g2) 모듈 내에 기술된 변수들의 변수 형태를 합성 가능한 형태로 바꾸어주는 데이터 정련(Data Refinement) 과정; 및

(g3) 코드 내의 동작과 신호의 입출력을 하드웨어 개념에 맞추어주는 제어 정련(Control Refinement) 과정

을 포함하는 것을 특징으로 하는 JPEG2000 인코더를 설계하는 방법.
제1항에서,

상기 소프트웨어 모듈은 PC 플랫폼을 이용하여 검증하고, 상기 하드웨어 모듈은 FPGA(Field Programmable Gate Array) 플랫폼을 이용하여 검증하는 것을 특징으로 하는 JPEG2000 인코더를 설계하는 방법.
제5항에서,

상기 PC 플랫폼 및 상기 FPGA 플랫폼은 PCI(Peripheral Component Interconnect) 인터페이스를 통하여 연결되는 것을 특징으로 하는 JPEG2000 인코더를 설계하는 방법.