KR100267095B1

KR100267095B1 - 멀티태스킹환경을위한루스한idct

Info

Publication number: KR100267095B1
Application number: KR1019970029389A
Authority: KR
Inventors: 이윤영
Original assignee: 윤종용; 삼성전자주식회사
Priority date: 1996-11-18
Filing date: 1997-06-30
Publication date: 2000-11-01
Also published as: US5986709A; KR19980041775A

Abstract

멀티태스킹 운영체제의 환경에서 보다 많은 작업을 동시에 실행할 수 있도록 현재 프로세서의 전체 부하에 따라 적응적으로 비디오의 출력 품질을 품위 있게 떨어뜨려 프로세서의 과부하를 경감시키는 프로세서가 개시된다.

프로세서는 2차원 역 이산 코사인 변환에서 두 개의 매트릭스 곱셈 각각의 커널 매트릭스에 곱해진 매트릭스의 하나 또는 그 이상의 바닥 행의 엘리멘트를 제로 값으로 대체함으로써 비디오 데이터 해제를 위한 연산을 감소시킨다. 한 실시예에서, 상기 프로세스는 실시간 멀티태스킹 운영체제를 실행시키는 멀티미디어 신호 프로세서 집적회로에 내장된 라이브러리 모듈의 일부로서 MPEG 펌웨어로 일체화된다. 만일 부가적인 비디오 해제 작업을 실행시키는 것이 프로세서에 과부하를 가한다면, 운영체제는 작업의 실행을 거절한다. 거절될 때, 적응적으로 프로세서에 과부하를 가하지 않는 본래의 품질이 강등된 다른 해제 작업이 제시된다.

Description

멀티태스킹 환경을 위한 루스한 IDCT

본 발명은 집적회로 장치에 관한 것으로 특히 집적회로 장치 조작 이미지 데이터에 관한 것이다.

강력한 VLSI 칩의 도래로 다수의 작업이 단일 칩 상에서 수행되는 것이 가능하게 되었다. 멀티미디어 신호 프로세서(Multimedia Signal Processor: 이하, 'MSP'라고 약칭함) 칩은 다수의 작업을 단일 칩 상에서 수행할 수 있는 강력한 VLSI칩의 예로서, 통상적으로 비디오 및 오디오 압축/해제 프로세싱, 모뎀 동작, 및 팩시밀리 동작과 같이 다수의 디지털 신호 프로세싱(Digital Signal Processing : 이하, 'DSP'라고 약칭함) 작업을 가상적으로 동시에 처리할 수 있는 멀티태스킹 운영체제가 구비되어 있다.

전형적인 멀티미디어 컴퓨터 시스템 구성(110)이 도 1에 도시되어 있다. 멀티태스킹 운영체제는 편리성을 제공하고, 생산성을 향상시키며, 또한 보다 나은 MSP의 이용도를 달성한다. 그러나 몇몇 연산적으로 힘든 DSP 작업을 실행하는 것은 MSP에 과부하를 인가할 수 있다. 비디오 압축 및 해제는 MSP 상에서 흔히 수행되는 이와 같은 연산적으로 힘든 작업의 두가지에 속한다.

전형적인 디지털 비디오 이미지는 광범위한 양의 기억용량 또는 채널 폭을 필요로 한다. 동화상 전문가 그룹(MPEG)은 이미지 압축과 해제 장치간의 호환성을 달성하기 위한 표준을 제공할 의무를 띠고 있는 국제적인 위원회이다. 처음에는 두가지 표준(이하, "MPEG-1"과 "MPEG-2"라고 칭한다.) 이 MPEG에 의해 제안되었다.

이들 각각의 표준은 기억 매체를 위한 비디오 신호의 코드화된 디지털 표현과, 디코딩을 위한 프로세스 모두를 명시한다. 이미지 데이터에 대해 MPEG-1 또는 MPEG-2 엔코딩을 이용하는 것은 비디오 데이터에 대한 기억 공간을 절약하는데, 이와 같은 엔코딩은 데이터 압축을 달성한다. 그러나, MPEG-1과 MPEG-2의 압축은 몇가지 단계가 관련되어 있어 연산적으로 집중을 요하는데, 그중 하나가 다수의 매트릭스 곱셈을 수행하는 2차원 이산 코사인 변환(2-D DCT)이다. 기억 장치 상에 엔코드(즉, 압축된)되고, 저장된 비디오 파일은 실제 사용하기 이전에 디코드(즉, 해제)되어야 한다. (지금부터, "엔코딩"과 "압축"이라는 용어는 상호 교환적으로 사용될 것이며, 또한 "디코딩"과 "해제"라는 용어도 마찬가지로 상호 교환적으로 사용될 것이다.) 또한 해제는 2-D IDCT(역 이산 코사인 변환) 또는 간단히 IDCT라고 하는 2-D DCT의 단계를 반전시키는 것을 포함한다.

2-D DCT의 과중한 연산 문제로 인하여, 하나 이상의 해제 작업(이들 각각은 IDCT를 수행한다)이 관련되어 있을 경우에, 단일 프로세서 상에서 적절히 실행될 수 있는 작업 수는 상대적으로 적어, 멀티태스킹 운영체제의 장점을 감소시키고 있다.

예를 들면, 각각의 해제 작업이 MSP의 연산용량의 38%를 차지할 수 있다. 두개의 해제 작업이 MSP에 의해 이미 동시에 수행되고 있는 상태에서 만일 제3의 해제 작업이 제시되면, 일부 운영체제에서, 그것을 실행하는 것은 MSP에 과부하를 줄 것이기 때문에, 운영체제는 제3의 작업을 거절할 것이다.

비딩도 데이터 조작에 대한 과부하 문제를 다루는 이전의 접근 방법 중에서 하나는 비디오 출력의 프레임 속도를 감소시키는 것이다. 그러나, 이 방법은 영구적으로 극히 부자연스럽고 두드러지게 품질이 저하되는 비디오의 출력을 발생하게 된다.

필요한 것은 비교적 보다 많은 작업이 프로세서 상에서 실행되는 것을 가능하게 하는 저렴하고 효율적인 접근 방법이다.

본 발명은 프로세서의 현재 과부하 상태에 따라 결과로 나타나는 비디오 출력 품질을 품위 있게 떨어뜨림으로써 해제 작업으로 인한 프로세서 과부하를 적응적으로 처리하는 연산적으로 줄어든 IDCT 모델을 제공한다.

IDCT, MPEG-1 또는 MPEG-2 디코딩(즉, 해제)에서 수행된 단계는 CMC^t를 연산하기 위한 세 개의 nxn매트릭스, C, M 및 C^t의 곱셈을 필요로 한다.(여기서, C^t는 커널 매트릭스 C의 전치(transpose)이고, M은 DCT 변환된 데이터 매트릭스임) 사실, 곱셈은 CMC^t와 등가인 C[CE^t]^t형식으로 수행된다. C[CE^t]^t의 연산은 먼저 CE^t를 연산하고 다음에 X가 중간 결과 CE^t인 CX^t를 연산함으로써, 매트릭스 Z가 최초의 E^t이고 다음에 X^t인 CZ 형식의 두개의 매트릭스 곱셈을 수행하게 된다.

본 발명은 매트릭스 Z의 바닥 행 j의 엘리먼트를 제로(0)로 교체함으로써 연산을 감소시킨다.(여기서, j는 1 내지 (n-1)범위의 정수이다.) 바닥을 두번 "제로화"한 결과, 결과로 나타나는 매트릭스의 엘리먼트는 그 좌측 상부 구석을 제외하고는 모두 제로이다. Z 매트릭스의 이와 같은 "제로화된"엘리먼트는 흔히 보다 덜한 시각적인 정보를 저주파수 성분으로 운반하는 비디오 프레임의 고주파수 성분을 표현하여, 일부 바닥 행 및 최우측 열의 엘리먼트를 제로로 대체하는 것은 비디오 출력 품질을 크게 떨어뜨리지 않는다. 프레임 속도가 손상되지 않기 때문에, 프레임 속도를 감소시킴으로써 연산을 감소시키는 종래 기술의 해결 방법과는 달리 움직임은 여전히 유연하게 보인다.

이와 같은 프로세스는 그 비디오 데이터 조작의 일부로서 IDCT를 수행하는 임의의 VLSI 소자와 함께 사용되기에 충분하다.

본 발명에 따르면, 2차원 역이산 코사인 변환(2-D IDCT 또는 간단히 IDCT)으로 인하여 프로세서에 가해지는 과중한 연산 부담을 현재의 전체 부하에 따라 적응적으로 경감시키는 프로세스가 제시된다. 이 프로셋는 비디오 출력 품질을 우아하게 떨어뜨린다.

도 1은 오디오 및 통신 주변장치(105)는, 비디오 주변장치(103, 104), 외부 메모리(102) 및 PCI 버스(101)에 연결된 코프로세서로서 멀티미디어 신호 프로세서(100)(전형적인 멀티미디어 컴퓨터 시스템 구성(110)에서)를 보인 도면이고,

도 2는 본 발명에 따라 IDCT-강등된 해제 작업이 어떻게 생성되고 다시 제출(spawned and resubmitted)되는지를 설명하는 순서도(210)이며,

도 3a는 해제 작업(315)를 불러들여 그것을 MSP 상에서 실행될 운영체제(316)로 제출하는 종래 기술의 사용자 응용 프로그램(30))의 개념적인 구조 및 제어 순서도(2)이며,

도 3b는 본 발명의 개념적인 구조와 제어를 도시하는 도면이다.

＜도면의 주요부분에 대한 부호의 설명＞

100 : MSP 101 : PCI 버스

102 : 외부 메모리 103, 104 : 비디오 변환기

105 : 오디오 및 통신 주변 장치 110 : 멀티미디어 컴퓨터 시스템 구성

300 : 사용자 응용 프로그램 301 : 운영체제

301 : 라이브러리 모듈 311 : MPEG 펌웨어

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

도 1은 외부 메모리(102), 비디오 변환기(103 및 104), 오디오 통신 주변 장치(105), 및 PCI 버스(101)에 접속된 코프로세서로서 MSP(100)를 구비한 전형적인 멀티미디어 컴퓨터 시스템 구성(110)을 도시한다. 상기 MSP 코프로세서는 주 프로세서 즉, 도시되지 않은 컴퓨터 시스템의 펜티엄 프로세서를 갖는 PCI버스(101)를 통해 통신한다. 다른 실시 예에서, 시스템의 구성은 MSP(100)가 주이고 멀티미디어 시스템의 유일한 VLSI 칩일 수 있다.

도 3a에 도시된 한 실시 예에서, 본 발명은 실시간 멀티태스킹 운영체제(OS)(301)를 실행시키는 멀티미디어 신호 프로세서(MSP) 집적회로 칩(100) 상의 ROM(판독 전용 메모리)에 내장된 라이브러리 모듈(310)(즉, 모듈(311)에서 모듈(314)까지)의 일부로서 MPEG 펌웨어(311)에 일체화되어 있다. 본 발명은 만일 OS(301)가 IDCT를 수행하는 해제 작업으로 인한 과부하의 조짐이 존재한다는 것을 결정하기만 하면 MPEG 해제에서 IDCT 단계를 수행하는 연산 구빚건을 적응적으로 감소시킨다. IDCT를 수행하는 것이 해제 작업에서 대부분의 연산을 필요로 함에 따라, 수행하는 IDCT에서 연산을 양을 감소시키는 것을 해제 작업의 연산 필요성을 감소시키는 것으로 직접 변환한다.

정상적으로, 도 3a의 종래의 프로세스(320)에서, 단계316)에서 부수적인 해제 작업을 받아들이는 것(사용자 응용 프로그램(300)에 의해 호출된)이 MSP(100)에 과부하를 초래할 경우에, OS(301)는 예상된 전체 연산 부하에 근거하여 단계(317)에서 작업을 거절한다.

도 3b에 도시된 프로세스(330)하에서, MSP에 과부하를 초래할 해제 작업은 단계(316)에서 MSP(100) 상에서 실행될 OS(301)에 제출되어 있고, OS는 여전히 단계(317)에서 작업을 실행하는 것을 거절할 것이다. 그러나, 단계(316)에서OS(301)는 예를 들어 선정된 이진 플래그 변수를 0으로 설정함으로써 선정된 신호를 거쳐 상기 거절의 거절된 작업을 통지한다. 거절 신호를 통지함으로써, 거절된 작업은 IDCT-강등된 해제 작업을 생성하고 단계(318)에서 OS(301)로 다시 제출한다. IDCT-강등된 해제 작업이 보다 적은 연산을 필요로 하기 때문에, 새로이 제출된 작업은 단계(319)에서 MSP(100)가 살행할 가능성이 커지게 된다. OS(301)로 하여금 들어오는 해제 작업을 실행하는 지를 결정하게 하는 프로세스(330)의 상세한 예와 IDCT-강등된 해제 작업을 OS(301)로 제출하는 단계가 도 2의 순서도에 도시되어 있다.

MSP(100)의 현재 부하에 따라, OS(301)는 새로 제출된 작업을 고려하여 단계(301)의 예상된 전체 부하를 추정한다. 새로 제출된 작업은 도 3b의 단계(318)에서 IDCT-강등된 작업에서 도 3b의 단계(316)에서 제출된 작업이다. 심지어 IDCT-강등된 해제 작업이 거절될 지라도, 칩에 여전히 부하를 가함에 따라 허용 가능한 최대 연산에 부하를 가한다. 이때, 즉 단계(202)에서, 두 번째로 강등된 작업 제출도 역시 거절될 때에도, 두 번째 거절을 처리하는 한 가지 이상의 방법이 존재한다. 펌웨어(311)는 그 지점에서 시작하여 후속하는 모든 해제 작업에서 IDCT-강등된 해제 작업만을 제시하는 것을 결정할 수 있다. 이와 같은 구성(scheme)에서 IDCT에 의해 유도된 연산 부하는 확실히 감소된다. 다른 방법은 작업의 연산 요구가 MSP(100)에 부하를 가하지 않을 때까지 IDCT-강등된 해제 작업을 점진적으로 다시 제출하는 것이다. 또 다른 방법은 전체적인 부하가 감소하고 고정된 비율(%)로 IDCT-강등된 적어도 해제 작업이 MSP(100)에 부하를 가하지 않고 수행될 때까지 비디오 프레임(가장 최근에 해제된 프레임을 디스플레이하는 것)을 계속 스킵(skip)하는 것이다. 또 다른 방법은 제로 행 j의 수를 MSP(100)에 부하를 가하지 않는 최소 정수 값으로 설정함으로써 MSP(100)의 현재 전체 부하에 따라 강등 레벨(%)을 주문하여 감소시키는 것이다. 상기 네 번째 방법은 IDCT-강등된 작업이 두 번째 방법에서와 같이 여러 회 보다는 단지 한번만 제출된다는 것이다. 제1, 제2, 제3 및/또는 제4 방법의 다양한 변형이 본 발명의 영역 내에서 구현될 수 있다.

본 발명에 적용할 수 있는 감소율의 하나는 약 0.5(0.5에 근사하게 설정된 실제 감소율은 제로로 설정된 행의 수의 매트릭스 행의 수에 따른다)이다. 즉, IDCT-강등된 해제 작업의 연산 요구는 수준 이하의 버전의 그것의 절반일 것이다. 예를 들어, 각각의 수준 이하로 강등된 해제 작업은 MSP(100) 의 최대 연산 능력(100%)의 약 3%를 점유할 것이다. 만일 이와 같은 두 개의 해제 작업이 MSP상에서 이미 실행되고 있으면, 현재의 부하는 76%에 있을 것이다. 이 지점에서 세 번째 해제작업을 실행하는 것을 시도하는 것은 MSP(100)의 최대 연산 능력(100%)을 확실히 초과할 것이다. 과부하를 방지하기 위해, OS는 세 번째 작업을 거절한다. 이 거절된 거절된 작업에 통보(signal)되고, 초기 작업의 절반인 연산 요구를 갖는 다른 해제 작업이 제출된다. 기존의 76%에 부하의 19%를 더 하는 것은 100%를 초과하지 않기 때문에, 강등된 작업이 OS에 의해 실행되는 것이 허용된다. 새로운 프로세스를 일체화함으로써, 두개의 작업 대신에 세 개의 작업은 이제 동시에 수행될 수 있다.

오늘날 MSP 칩은 그 ROM에 라이브러리 모듈(310)(도 3a)로서 내장된 MPEG-1 및 MPEG-2 디코딩 및/또는 엔코딩 루틴을 갖는다. MPEG-1 또는 MPEG-2중 어느 하나의 표준하에서, 엔코딩은 프레임간 정보 및 프레임내 정보 모두에 대해 실행된다. 프레임간 정보에서 매크로 블럭은 인트라, 예측, 또는 보간된이라는 세 가지 포맷으로엔코드된다. 이때 프레임간 정보는 2-D DCT, 양자화 및 가변 길이 엔코딩이라는 세 가지 단계로 압축된다. 본 발명은 엔코딩에 초점을 두고 있다.

전형적으로 IDCT는 매트릭스 C^t가 커널 매트릭스 C의 전치이고 M이 DCT변환된 데이터 매트릭스인 CMC^t를 연사하기 위해 세 개의 nxn 매트릭스 C, M 및 C^t를 곱함으로써 수행된다. 사실, 곱셈은 CMC^t과 등가인 C[CE^t]^T형태로 수행된다. C[CE^t]^t의 연산은 먼저 CE^t를 연산하고 다음에ㅐ X가 중간 결과 CE^t인 CX^t를 연산으로써, 매트릭스 Z가 최초의 E^t이고 다음에 X^t인 형태 CZ의 두개의 매트릭스 곱셈을 수행하게 된다. 본 발명은 매트릭스 Z의 바닥 행 j의 엘리먼트를 제로(0)로 교체함으로써 연산을 감소시킨다. 여기서, j는 1 내지(n-1) 범위의 정수이다.)바닥을 두번 "제로화"한 결과, 결과로 나타나는 매트릭스의 엘리먼트는 그 좌측 상부 구석을 제외하고는 모두 제로이다. M 매트릭스의 이와 같은 "제로화된"엘리먼ㅌ는 흔히 보다 덜한 시각적인 정보를 저주파수 성분으로 운반하는 비디오 프레임의 고주파수 성분을 표현하여, 일부 바닥 행 및 최우측 열의 엘리먼트를 제로로 대체하는 것은 비디오 출력 품질을 크게 떨어뜨리지 않는다. 프레임 속도가 손상되지 않기 때문에, 프레임 속도를 감소시킴으로써 연산을 감소시키는 종래 기술의 해결 방법과는 달리 모션이 여전히 유연하게 보인다.

각각의 8x8 매트릭스 곱셈이 64 스카라곱셈과 누산 연산을 필요로 하기 때문에, 매트릭스 D를 구하기 위해 상기에서 두개의 매트릭스 곱셈을 수행하는 것은 128 스칼라 곱셈과 128 누산을 필요로 한다.

매트릭스 E의 바닥 j행(여기서, j는 매트릭스들의 크기가 nxn으로 일반화되어 있는 경우 1 내지 7 또는 1 내지 n-1범위의 정수임)의 엘리먼트가 제로로 교체된다면 연산의 양은 감소될 수 있다. 본 발명을 사용함으로써 nxn 매트릭스들에 대해, 연산은 2j(2n-j) 승산들 및 2j(2n-j) 누산들이 감소된다는 것을 알 수 있다. n=8일 때, 제로 행들의 수 j=2이면(즉, 단지 두 개의 바닥 행들이 제로들로 채워지면), 128개의 승산들 및 누산들 중 56개가 제거되어 44%의 연산 절약을 달성하게 되고; j=3이면, 78개의 승산들 및 누산들이 제거되어 61%의 연산절약을 달성하게 된다. 그러므로, 매트릭스 C가 제로로 세트되도록 상기 매트릭스 C내의 바닥 행들의 수를 적당히 조절함으로써 예정된 레벨의 열화(해제 태스크의 일부로서)의 IDCT 서브태스크를 달성할 수 있게 된다.

상기 실시 예에서는 MPEG 비디오 데이터 해제에 연루되는 연산을 감소시키기 위한 경위에 관하여 설명하였지만, IDCT에 연루되는 특ㅈ넝의 태스크에도 본 발명의 프로세스가 적용될 수 있다.

본 발명을 특정의 바람직할 실시예에 관련하여 도시하고 설명하였지만, 본 발명이 그에 한정되는 것은 아니고 이하의 특허청구의 범위에 의해 마련되는 본 발명의 정신이나 분야를 이탈하지 않는 한도 내에서 본 발명이 다양하게 개조 및 변화될 수 있다는 것을 당 업계에서 통상의 지식을 가진 자는 용이하게 알 수 있다.

Claims

비디오 신호 처리를 위해 집적회로 장치에 내장된 프로세스에서, 상기 장치는 멀티태스킹 운영체제(OS)를 실행하고, 상기 프로세스는 역이산 코사인 변환(IDCT)을 사용하는 작업을 OS에 제출하는 것을 포함하고, 상기 IDCT는 두 개의 매트릭스 승스 CE^t와 CX^t(여기서, 위 첨자 t는 매트릭스 전치를 나타내고, 매트릭스 C는 이산 코사인 변환(DCT)의 커널 매트릭스이고, 매트릭스 E는 DCT변환된 정보이며, 매트릭스 X는 CE^t와 같음)를 포함하고, 상기 매트릭스 E와 X의 바닥 j행의 각 엔트리는 제로로 교체되며, 상기 j는 1 내지(r-1)범위의 정수이며, r은 상기 매트릭스 E와 X에서 행의 수인 것을 특징으로 하는 프로세스.
제1항에 있어서, 상기 프로세스는 비디오 이미지 해제인 것을 특징으로 하는 프로세스.
제1항에 있어서, 사익 프로세스는 멀티태스킹 OS에 사용되는 것을 특징으로 하는 프로세스.
제1항에 있어서, 상기 데이터 매트릭스는 8개의 행과 9개의 열을 갖는 것을 특징으로 하는 프로세스.
제1항에 있어서, 상기 멀티태스킹 운영체제는 실시간 OS인 것을 특징으로 하는 프로세스.
비디오 신호 처리를 위해 집적회로 장치에 내장된 프로세스에서, 상기 장치는 멀티태스킹 운영체제(OS)를 실행하고, 상기 프로세스는 역이산 코사인 변환(IDCT)을 사용하는 작업을 OS에 제출하는 것을 포함하고, 상기 IDCT는 두 개의 승수 CE^t와 CX^t(여기서, 위첨자 t는 매트릭스 전치를 나타내고, C는 이산 코사인 변환(DCT)의 커널 매트릭스이고, 매트릭스 E는 DCT변환된 정보이며, 매트릭스 X는 CE^t와 같음)를 포함하고,

(a) 상기 작업은 상기 장치에 의해 수행될 OS에 제출되며;

(b) 만일 상기 작업을 실행하는 것이 상기 장치에 과부하를 가하지 않을 것이라면, 상기 장치 상에서 OS에 의해 상기 작업의 실행이 허용되고; 만일 상기 작업이 상기 장치에 과부하를 가할 것이라면, OS는 상기 작업을 실행하는 것을 거절하고 상기 거절을 통보하며;

(c) 만일 OS가 (b)에서 상기 작업을 실행하는 것을 거절하였다면, 다음 차이를 제외하고 상기 작업과 동일한 다른 작업이 상기 장치 상에서 실행될 OS에 제출되는 단계에 따라 상기 작업과 상기 OS는 인터렉트하며,

상기 다른 작업의 매트릭스 E와 X의 바닥 j행의 각 엔트리는 제로로 교체되며, 상기 j는 1 내지(r-1)범위의 정수이며, r은 상기 매트릭스 E와 X에서 행의 수인 것을 특징으로 하는 프로세스.
제6항에 있어서, 상기 작업은 비디오 이미지 해제인 것을 특징으로 하는 프로세스.
제6항에 있어서, 상기 데이터 매트릭스는 8개의 행과 열을 갖는 것을 특징으로 하는 프레세스.
제6항에 있어서, 상기 멀티태스킹 OS는 실시간 OS인 것을 특징으로 하는 프로세스.