KR100726695B1 - 디지털 신호 처리 장치 및 방법과 제공 매체 - Google Patents

Abstract

본 발명은 소프트웨어 처리에 의해서 디코드를 행하는 경우, 처리 1에서는 그 시점에 있어서 출력 FIF0(4)의 선두에 기억되어 있는 관리 ID에 대응하는, 디코드가 완료된 프레임의 화상 데이터가 판독되어 출력된다. 처리 2에 있어서는 오디오 데이터가 디코드된다. 처리 3에 있어서는, 화상 데이터가 디코드된다. 디코드된 화상 데이터는 비디오 프레임 버퍼에 기억됨과 동시에, 그 관리 ID가 출력 FIF0(4)에 출력하는 순서로 기억된다. 처리 3을 종료시킬 수 없는 경우, 처리 3을 도중에서 중단하고, 출력 FIF0(4)의 선두에 기억되어 있는 프레임의 화상이 출력된다. 그 후, 처리 2가 종료한 후, 일단 중단한 처리 3의 디코드 처리가 재개된다. 소프트웨어 처리에 의한 인코드를 행하는 경우, 인코드의 처리 대상인 화상 데이터의 인코드량을 예측한다. 다음에, 코드 버퍼에 예측된 인코드량을 기억하는 만큼의 용량이 비어있는지의 여부가 판단되고, 비어있다고 판단된 경우, 인코드가 개시되며, 인코드가 종료된 비디오 데이터는 비디오 프레임 버퍼로부터 삭제된다. 인코드는 비디오 데이터의 판독 등의 처리가 행해질 때에 일단 중단된다.

비디오 프레임 버퍼, 프로그램 메모리, 디스플레이 컨트롤러, 코드 버퍼

Description

디지털 신호 처리 장치 및 방법과 제공 매체{Digital signal processing device and method, and providing medium}

본 발명은 디지털 신호 처리 장치 및 방법 및 제공 매체에 관한 것이며, 특히, 소프트웨어 처리에 의해, 비디오 데이터나 오디오 데이터를 부호화 또는 복호화하는 디지털 신호 처리 장치 및 방법 및 제공 매체에 관한 것이다.

최근, 위성을 통하여, TV 프로그램의 디지털 비디오 데이터나 디지털 오디오 데이터를 전송하는 시스템이 보급되고 있다. 이러한 시스템에 있어서는, 데이터량을 압축하기 위해, 디지털 비디오 데이터나 디지털 오디오 데이터는 예를 들면, MPEG(Moving Picture Experts Group) 방식에 의해 부호화(인코드)되어 전송된다.

소프트웨어 처리에 의한 부호화 장치에서는, 비디오 데이터의 입력 주기에 동기하여 부호화가 행해진다. 입력 주기는 각종 규격에 의해 정해져 있으며, 예를 들면, NTSC(National Television System Committee) 방식에서는, 33.36msec로 정해져 있다. 1화상에 대해 할당되어 있는 최대 처리 시간(부호화 시간)은 이 규격에 의해 정해져 있는 비디오 데이터의 입력 주기에 속박된다. 환언하면, 입력 주기 내에, 입력된 비디오 데이터를 부호화하여 끝내야만 한다. 이렇게 하여 부호화된 비디오 데이터는 소정의 기록 매체 등에 기록되거나, 위성을 통하여 전송된다.

또한, 위성을 통하여 전송되어 오는 디지털 데이터를 수신하는 수신 장치는 수신한 데이터를 MPEG 방식으로 디코드한다. 디지털 비디오 데이터를 소프트웨어 처리에 의해 디코드(복호)할 경우, 디코드에 필요한 복수의 처리를 차차 실행해 갈 필요가 있다. 또, 출력을 리얼 타임으로 행하는 데에는, 디코드에 필요한 모든 처리를 출력에서 요구되는 주기에 맞는 시간 내에 완료할 필요가 있다. 예를 들면, NTSC 방식의 경우, 프레임 레이트는 30프레임/초이기 때문에, 그 1주기는 33.36msec가 된다. 따라서, 1프레임분의 디지털 비디오 데이터는 33.36msec 내에 디코드 처리할 필요가 있다.

그런데, 입력되는 스트림 상황이나, 디코드하는 비디오 화상의 상황에 의해, 그들 처리를 실행하기 위해 필요한 시간이 변동한다. 예를 들면, MPEG 방식의 비디오 화상의 경우, 비트 스트림의 비트 레이트에 의해, 가변 길이 부호의 복호 처리에 필요한 시간이 변화하여, I픽처, B픽처 또는 P픽처와 같은 픽처 코딩 타이프의 종류나, 하프 펠 또는 풀 펠과 같은 동작 보상 정밀도의 차이에 따라서도, 동작 보상의 처리 시간이 변화한다. 더욱이, 비디오 화상뿐만 아니라, 디지털 오디오 데이터 복호 혹은 디멀티플렉스와 같은 처리에도 시간이 걸린다. 그 밖에, 그들 처리 전체를 관리하는 0S가 소비하는 시간도 변동한다.

그래서, 퍼스널 컴퓨터를 사용하여, 소프트웨어 처리에 의해 디코드를 행할 경우, 디코드가 출력 주기에 맞지 않으면, 일부 데이터 처리를 스킵하여, 출력을 줄이도록 하여, 실시간성을 유지하도록 하고 있다.

상술한 바와 같이, 종래의 부호화 장치는 비디오 데이터의 입력 주기와 동기 하여 부호화가 행해지기 때문에, 각 화상에 대해, 그 주기 내에서 최대한의 정밀도로 부호화가 완료하도록 해야 한다. 여기서, 부호화에 있어서의 정밀도란 부호화 전의 화상과, 상기 부호화된 화상을 복호한 화상이 어느 정도 닮았는지에 의한 것으로, 그 정밀도의 좋고 나쁨은 부호화의 처리 시간이나 부호화의 수법등과 연관된다.

시간 축에서, 부호화 처리가 교대될 경우(예를 들면, MPEG(2))나, 각각의 화상을 가능한 한 같은 정밀도로 부호화해야만 할 경우(시간 축에서 부호화의 정밀도가 다르면, 복호된 화상은 반짝반짝하여 보기 안좋아지는 것을 막기 위해), 부호화 장치의 설계는 부호화의 정밀도를 높게 하기 위해, 그 부호화 처리에 걸리는 시간에 여유가 있도록 설정하여 설계해야만 한다.

또, 소프트웨어 처리에 의한 부호화 장치는 부호화 처리 외에, 비디오 데이터의 입력 제어나 출력 제어 등을 해야만 하며, 그들 처리를 내장되어 있는 프로세스에서 동시에 행할 필요가 있었다. 그 때문에, 부호화 처리 이외의 처리와의 관계에 의해, 부호화 처리에 할당되는 최대 처리 시간을 산출하는 것이 곤란하다는 과제가 있었다. 그 때문에, 프로세스가 처리를 행하지 않는 쓸데 없는 시간이 발생한다는 과제도 있었다. 또한, 이렇게, 복수의 처리를 1개의 프로세스에 의해 행하게 할 경우, 그 프로세스는 높은 처리 능력을 가질 필요가 있어, 코스트 업이 된다는 과제가 있었다.

본 발명은 이러한 상황을 감안하여 이루어진 것으로, 1 화상의 부호화 처리를 다른 처리를 우선하면서 행하도록 함으로써, 처리 능력이 낮은 프로세스에 있어 서도 고정밀도의 부호화를 행할 수 있도록 하는 것을 목적으로 한다.

또, 예를 들면, 위성 방송을 수신하는 전용 수신 장치에 있어서, 소프트웨어 처리에 의해 수신 신호를 디코드할 경우에 있어서도, 실시간성을 유지하기 위해, 일부 데이터 처리를 스킵하여, 출력을 줄이는 것은 그 장치가 본래 위성을 통하여 송신되어 오는 디지털 비디오 신호를 디코드하는 전용 장치인 것을 고려하면, 허용되는 것은 아니다.

그래서, 소프트웨어 처리에 의해 디코드를 단시간에 완료할 수 있도록 하는 데에는, 대단히 높은 처리 능력을 갖는 프로세스가 필요해져, 코스트 업이 되는 과제가 있었다.

본 발명은 이러한 상황을 감안하여 이루어진 것으로, 통상의 처리 능력을 갖는 프로세스를 사용하여, 소프트웨어 처리에 의해 저코스트로 디코드 처리를 할수 있도록 하는 것이다.

청구항 1에 기재된 디지털 신호 처리 장치는 인코드되어 있는 디지털 신호를 입력하는 입력 수단과, 입력 수단에 의해 입력된 디지털 신호를 디코드하는 소프트웨어 의해 이루어지는 디코드 수단과, 디코드 수단에 의해 디코드된 디지털 신호를 복수의 액세스 단위분만큼 기억하는 제 1 기억 수단과, 제 1 기억 수단에 기억되어 있는 액세스 단위의 디지털 신호의 출력 순서를 FIF0 형식으로 관리하는 관리 수단을 포함하는 것을 특징으로 한다.

청구항 3에 기재된 디지털 신호 처리 방법은 인코드되어 있는 디지털 신호를 입력하는 입력 스텝과, 입력 스텝 처리에 의해 입력된 디지털 신호를 소프트웨어로 디코드하는 디코드 스텝과, 디코드 스텝 처리에 의해 디코드된 디지털 신호를 복수의 액세스 단위분만큼 기억하는 제 1 기억 스텝과, 제 1 기억 스텝 처리에서 기억되어 있는 액세스 단위의 디지털 신호의 출력 순서를 FIF0 형식으로 관리하는 관리 스텝을 포함하는 것을 특징으로 한다.

청구항 4에 기재된 제공 매체는 인코드되어 있는 디지털 신호를 입력하는 입력 스텝과, 입력 스텝 처리에 의해 입력된 디지털 신호를 소프트웨어로 디코드하는 디코드 스텝과, 디코드 스텝 처리에 의해 디코드된 디지털 신호를 복수의 액세스 단위분만큼 기억하는 제 1 기억 스텝과, 제 1 기억 스텝 처리에서 기억되어 있는 액세스 단위의 디지털 신호의 출력 순서를 FIF0 형식으로 관리하는 관리 스텝을 포함하는 처리를 디지털 신호 처리 장치에 실행시키는 컴퓨터가 판독 가능한 프로그램을 제공하는 것을 특징으로 한다.

청구항 5에 기재된 디지털 신호 처리 장치는 비디오 데이터를 입력하는 입력 수단과, 입력 수단에 의해 입력한 비디오 데이터를 기억하는 제 1 기억 수단과, 제 1 기억 수단에 기억되어 있는 비디오 데이터를 부호화했을 때의 데이터량을 예측하는 예측 수단과, 제 1 기억 수단에 의해 기억된 비디오 데이터를 부호화하는 부호화 수단과, 부호화 수단에 의해 부호화된 비디오 데이터를 기억하는 제 2 기억 수단을 포함하며, 부호화 수단에 의한 부호화는 제 2 기억 수단으로, 예측 수단에 의해 예측된 데이터량을 기억할 수 있다고 판단된 경우에 행해지며, 입력 수단에 의한 비디오 데이터가 입력되고, 처리되어 있는 동안은 중단되는 것을 특징으로 한 다.

청구항 6에 기재된 디지털 신호 처리 방법은 비디오 데이터를 입력하는 입력 스텝과, 입력 스텝에서 입력된 비디오 데이터를 기억하는 제 1 기억 스텝과, 제 1 기억 스텝에서 기억된 비디오 데이터를 부호화했을 때의 데이터량을 예측하는 예측 스텝과, 제 1 기억 스텝에서 기억된 비디오 데이터를 부호화하는 부호화 스텝과, 부호화 스텝에서 부호화된 비디오 데이터를 기억하는 제 2 기억 스텝을 포함하며, 부호화 스텝에서의 부호화는 제 2 기억 스텝 처리에서, 예측 스텝에서 예측된 데이터량을 기억할 수 있다고 판단된 경우에 행해지며, 입력 스텝에서 비디오 데이터가 입력되고, 처리되어 있는 동안은 중단되는 것을 특징으로 한다.

청구항 7에 기재된 매체의 프로그램은 비디오 데이터를 입력하는 입력 스텝과, 입력 스텝에서 입력된 비디오 데이터를 기억하는 제 1 기억 스텝과, 제 1 기억 스텝에서 기억된 비디오 데이터를 부호화했을 때의 데이터량을 예측하는 예측 스텝과, 제 1 기억 스텝에서 기억된 비디오 데이터를 부호화하는 부호화 스텝과, 부호화 스텝에서 부호화된 비디오 데이터를 기억하는 제 2 기억 스텝으로 이루어지며, 부호화 스텝에서의 부호화는 제 2 기억 스텝 처리에서, 예측 스텝에서 예측된 데이터량을 기억할 수 있다고 판단된 경우에 행해지며, 입력 스텝에서 비디오 데이터가 입력되고, 처리되고 있는 동안은 중단되는 것을 특징으로 한다.

청구항 1에 기재된 디지털 신호 처리 장치, 청구항 3에 기재된 디지털 신호 처리 방법 및 청구항 4에 기재된 제공 매체에 있어서는, 기억되어 있는 액세스 단위의 디지털 신호의 출력 순서가 FIF0 형식으로 관리된다.

청구항 5에 기재된 디지털 신호 처리 장치, 청구항 6에 기재된 디지털 신호 처리 방법 및 청구항 7에 기재된 매체에 있어서는, 입력된 비디오 데이터를 부호화했을 때의 데이터량이 예측되고, 비디오 데이터가 부호화되며, 그 부호화된 비디오 데이터가 기억되며, 그 부호화는 예측된 데이터량을 기억할 수 있다고 판단된 경우에 행해지며, 화상 데이터가 입력되고, 처리되어 있는 동안은 중단된다.

도 1은 본 발명을 적용한 디지털 신호 처리 장치(디코더)의 구성예를 도시하는 블록도.

도 2는 도 1의 비디오 프레임 버퍼(3)의 구성을 도시하는 도면.

도 3은 도 1의 출력 FIF0(4)의 구성을 도시하는 도면.

도 4는 도 1의 장치 동작을 설명하는 타이밍 챠트.

도 5는 도 4의 처리 1의 동작을 설명하는 플로우챠트.

도 6은 도 4의 처리 3의 동작을 설명하는 플로우챠트.

도 7은 본 발명을 적용한 디지털 신호 처리 장치(인코더)의 구성예를 도시하는 블록도.

도 8은 비디오 프레임 버퍼(13)를 설명하는 도면.

도 9는 비디오 프레임 버퍼(13)로의 비디오 데이터의 기록 처리에 대해서 설명하는 플로우챠트.

도 10은 인코드에 대해서 설명하는 플로우챠트.

도 11은 비디오 데이터의 입력으로부터 출력되기까지의 처리를 설명하는 도 면.

도 12는 도 11의 연속을 도시하는 도면.

도 13a 내지 도 13c는 매체를 설명하는 도면.

우선, 소프트웨어 처리에 의한 디코드를 행하는 디지털 신호 처리 장치에 대해서 설명한다. 도 1은 본 발명을 적용한 디지털 신호 처리 장치의 구성예를 도시하고 있다. 프로그램 메모리(2)에는 입력된 스트림의 디코드(복호) 처리를 행하는 디코드 프로그램 및 각 부를 제어하는 처리 프로그램 등이 기억되어 있다. CPU(1)는 프로그램 메모리(2)에 기억되어 있는 프로그램을 버스(7)를 통하여 적당히 판독하여 실행한다. 비디오 프레임 버퍼(3)는 디코드된 화상 데이터를 일시적으로 기억하는 기억 장치로, 복수 프레임분의 화상 데이터를 보존하는 용량을 갖고 있다.

출력 FIF0(First In First 0ut; 4)는 출력하는 프레임의 화상이 기억되어 있는 버퍼(1 내지 N)의 관리 ID를 출력하는 순서로 기억한다. 스트림 입력 인터페이스(I/F; 5)는 위성 등을 통하여 전송되어 오는, 예를 들면, MPEG 방식으로 인코드되어 있는 트랜스포트 스트림을 입력하기 위한 인터페이스 처리를 실행한다. 디스플레이 컨트롤러(6)는 디코드된 화상 데이터를 도시하지 않는 디스플레이에 출력하여, 표시시키기 위한 처리를 행한다.

비디오 프레임 버퍼(3)는 도 2에 도시하는 바와 같이, N프레임분의 화상 데이터를 기억하기 위한 영역으로서, 버퍼(1 내지 N)를 갖고 있다. 이들 버퍼는 반드시 연속된 어드레스 영역에 정의할 필요는 없다. 또, 각 버퍼는 각각 디코드 출 력용으로서의 할당, 디코드 결과의 보존 및 데이터의 출력 순서로 사용되며, 출력이 종료한 버퍼는 다시 디코드 출력용으로서 재이용된다. 더욱이, 각 버퍼는 모두 등가적으로 사용되며, 특정 버퍼가 한정된 용도에 사용되는 경우는 없다.

또한, 출력 FIF0(4)는 비디오 프레임 버퍼(3)내에 형성해도 된다.

도 3은 출력 FIF0(4)의 원리적인 구성을 도시하고 있다. 상기 출력 FIF0(4)는 디코드 결과를 출력하는 버퍼 순서와, 출력하기까지의 지연을 관리하는 것이다. 출력 FIF0(4)에는, 도 2에 도시한 비디오 프레임 버퍼(3)의 버퍼(1 내지 N)의 관리 ID 또는 포인터가 출력하는 순서로 입력되고, 기억된다.

다음으로, 도 4의 타이밍 챠트를 참조하여, 도 1에 도시하는 장치 동작에 대해서 설명한다. 도 4에 있어서, 시간(t 내지 t4)은 각각 디코드한 화상 데이터를 출력하는 타이밍을 나타내고 있다. 즉, 각 시간(t1 내지 t4)의 간격은, 1 프레임분의 주기(33.36msec)로 된다. CPU(1)는 프로그램 메모리(2)로부터 판독된 프로그램에 따라서, 시간(t1)의 타이밍으로 처리 1을 실행하고, 그의 처리 1의 처리가 종료하였을 때, 다음에, 처리 2를 실행한다. 그리고, 처리 2의 처리가 완료하였을 때, 처리 3을 실행한다. 이와 같이, 처리의 우선 순위는 처리 1이 가장 높고, 다음에 처리 2가 이어지고, 처리 3은 가장 우선 순위가 낮다.

다음에, 도 5의 플로우챠트를 참조하여, 처리 1에 대해서 설명한다. 스텝(S 11)에 있어서, CPU(1)는 다음에 출력하는 버퍼의 ID를 출력 FIF0(4)로부터 취득한다. 그리고, 스텝(S12)에 있어서, CPU(1)는 스텝(S11)에서 취득한 ID에 대응하는 비디오 데이터를 비디오 프레임 버퍼(3)로부터 판독하고, 버스(7)를 통해, 디스플 레이 컨트롤러(6)에 출력한다. 디스플레이 컨트롤러(6), 입력된 데이터를 도시하지 않는 디스플레이에 출력하여 표시시킨다.

예를 들면, 도 4에 도시한 시간(t1)에 있어서, 출력 FIFO(4)에는 그 선두에 관리 ID로서 A가 유지되고 있다. 그래서, CPU(1)는 스텝(S11)에 있어서, 출력 FIF0(4)로부터 관리 ID로서 A를 판독하고, 비디오 프레임 버퍼(3)의 버퍼(1 내지 버퍼 N)중, A의 관리 ID에 대응하는 버퍼의 비디오 데이터를 판독하여 출력한다.

다음에, CPU(1)는 처리 2를 실행한다. 상기 처리 2는 예를 들면, 오디오데이터의 디코드 처리이다. 처리된 오디오 데이터는 디스플레이 컨트롤러(6)로부터 출력되는 소정의 타이밍 신호에 동기하여, 도시하지 않은 스피커에 출력된다.

처리 2가 종료하였을 때, 다음에, CPU(1)는 처리 3를 실행한다. 다음에

도 6의 플로우챠트를 참조하여, 상기 처리 3의 상세에 관해서 설명한다.

최초에, 스텝(S21)에 있어서, CPU(1)는 다음의 디코드 출력용 버퍼의 할당처리를 실행한다. 즉, 도 2에 도시한 비디오 프레임 버퍼(3)의 버퍼(1 내지 버퍼 N)중, 비어있은(이미 판독) 버퍼를 디코드한 비디오 데이터를 기억시키는 버퍼로서 할당한다. 다음에, 스텝(S22)에 있어서, CPU(1)는 스트림 입력 인터페이스(5)로부터 입력되어 온 1 프레임분의 비디오 데이터를 프로그램 메모리(2)로부터 판독된 디코드 프로그램에 의해 MPEG 방식으로 디코드한다. 디코드된 데이터는 스텝(S21)에서 할당된 버퍼에 기억된다. 또한, 스텝(S23)에 있어서, CPU(1)는 다음에 출력해야 할(판독된다) 버퍼의 ID를 출력 FIF0(4)에 등록한다.

도 4의 시간(t1)에서, 시간(t2) 사이의 타이밍에 있어서는 이러한 처리 3에 의해 관리 ID가 D인 프레임의 디코드 처리가 행해졌기 때문에, CPU(1)는 출력 FIF0(4)에 관리 ID로서 D를 등록한다. 도 4의 예에서는, 시간(t1) 내지 시간(t2)까지의 시간에, 처리 3은 완료하는 것이 가능하였다.

이에 반해, 시간(t2)에서 시간(t3)까지의 시간에 있어서는 처리 1로서 관리 ID가 B인 프레임의 비디오 데이터가 출력된 후, 처리 2로서 오디오 데이터 등의 처리가 행하해진다. 그 후, 처리 3이 개시되어 있는 것이지만, 처리 3은 시간(t4)까지의 동안에, 완료할 수 없다.

이러한 경우, 종래에 있어서는, 시간(t3)에 있어서, 직전의 시간(t2)에 있어서 출력한 관리 ID가 B인 프레임의 화상을 다시 출력하도록 하고 있다. 그렇지만, 본 발명에 있어서는 시간(t3)에 있어서, 처리 3의 처리를 일단 중단한 후, 처리 1로서 출력 FIFO(4)에 기억되어 있는 관리 ID가 C인 프레임의 화상을 출력한다. 그 후, 또한, 처리 2를 실행한 후, 그것이 종료하였을 때, 처리 3으로서 일단 중단한 처리를 재개한다. 그리고, 계속해서, 다음 프레임의 비디오 데이터의 처리를 실행한다. 도 4의 예에서는, 이와 같이 하여, 시간(t3)에서 시간(t4)까지의 사이에, 관리 ID가 E와 F인 2개의 프레임의 비디오 데이터를 처리할 수 있고, 그들 프레임의 관리 ID인 E와 F가 출력 FIF0(4)에 기억되어 있다.

이와 같이, 출력 FIF0(4)에 의해 버퍼(1 내지 버퍼 N)의 관리를 행하도록 함으로써, 처리 3의 실행 시간이, 출력 주기를 일시적으로 초과하게 된 경우나, 각 처리의 실행 시간의 신축에 의해서, 처리 1과 처리 3의 실행 타이밍이 비동기로 되어 버린 경우에도, 처리 1에 있어서는, 일정 주기로 출력하는 버퍼를 항상 확보하 는 것이 가능하게 된다.

이렇게 하여, CPU(1)에 요구되는 소프트웨어의 처리 능력을 1 프레임의 디코드에 요하는 처리 시간이 최장이 되는 경우에 대응시킬 필요없이 수 프레임의 디코드에 요하는 평균적 처리 시간에 대응하면 되기 때문에, CPU(1)로서 보다 염가의 프로세서를 사용하는 것이 가능해진다.

다음에 소프트웨어 처리에 의한 인코드를 행하는 디지털 신호 처리 장치에 관해서 설명한다. 도 7은, 본 발명을 적용한 디지털 신호 처리 장치의 내부 구성을 도시한 블록도이다. CPU(Central Processing Unit)(11)는, R0M(Read 0nly Memory)나 RAM(Random Access Memory) 등으로 구성되는 메모리(12)에 기억되어 있는 프로그램에 따라서 소정의 처리를 행한다. 비디오 프레임 버퍼(13)는 입출력 인터페이스(14)를 통해 입력된 비디오 데이터를 일단 기억한다. 인코더(15)는 비디오 프레임 버퍼(13)에 기억되어 있는 비디오 데이터를 인코드하고, 코드 버퍼(16)에 출력한다. 코드 버퍼(16)는 인코드된 비디오 데이터를 일단 기억한다. 코드 버퍼(16)에 기억되어 있는 비디오 데이터는 입출력 인터페이스(14)를 통해 다른 장치, 예를 들면, 도시되어 있지 않는 기록 장치에 출력된다. 이들의 각부는 버스(17)에 의해 서로 접속되어 있다.

비디오 프레임 버퍼(13)는 복수의 프레임의 비디오 데이터를 기억할 수 있는 용량을 갖고, 도 8에 도시한 바와 같이, 복수의 버퍼가 정의되어 있다. 즉, 비디오 프레임 버퍼(13)내에는 N개의 버퍼(13-1 내지 13-N)가 정의되어 있고, 비디오 데이터(1)는 버퍼(13-1)에, 비디오 데이터(2)는 버퍼(13-2)에, 비디오 데이터 N은 버퍼(13-N)에, 각각 기억되도록 되어 있다. 버퍼(13-1 내지 13-N)는 그들을 일의적으로 규정하는 ID 또는 포인터로 관리되어 있다. 여기서는, ID에서 관리되어 있는 것으로 하여 이하의 설명을 한다. 또한, 각 버퍼(1 내지 N)는 반드시 연속한 어드레스 영역으로 정의될 필요는 없다.

CPU(11)에 의해 행하여진, 비디오 프레임 버퍼(13)에의 비디오 데이터의 기록 처리에 관해서, 도 9의 플로우챠트를 참조하여 설명한다. 스텝(S31)에 있어서, 입출력 인터페이스(14)를 통해 비디오 데이터가 부호화 장치(1O)에 입력되면, 스텝(S32)에 있어서, CPU(11)는 비디오 프레임 버퍼(13)내의 빈 버퍼를 조사한다. 비디오 프레임 버퍼(13)내의 각 버퍼는 일의적으로 규정할 수 있는 ID에 의해 관리되어 있고, CPU(11)는 그 ID를 참조함으로써, 빈 버퍼를 조사한다.

즉, 예를 들면, FIFO(First In First 0ut)를 사용하여 비디오 데이터가 기억된 버퍼의 ID를 순차 기록하고, 그 FIFO에 기록되어 있지 않은 ID를 조사함으로써, 빈 버퍼를 조사할 수 있도록한다. 이와 같이, FIF0를 사용하여, 비디오 프레임 버퍼(13)내의 각 버퍼가 관리되어 있는 경우, 후술하는 판독 처리는 기록된 순서로 출력되어지게 된다. FIF0에는 동일 ID는 기록되는 것이 아니므로, 출력된 ID(따라서, FlF0에는 기록되어 있지 않은 ID), 빈 버퍼를 나타내는 ID가 된다.

스텝(S33)에 있어서, 스텝(S32)에 의해 빈 버퍼인 것으로 조사된 버퍼에, 스텝(S31)에 있어서 입력된 비디오 데이터가 기록된다. 이렇게하여 기록된 비디오 데이터(10)는, 인코더(15)에 의한 인코드가 행해질 때에 판독된다. 그 판독 처리에 관해서, 도 10의 플로우챠트를 참조하여 설명한다. 비디오 프레임 버퍼(13)에 비디오 데이터가 기억되어 있고, 또한, CPU(11)가 다른 처리를 행하고 있지 않을 때, 스텝(S41)에 있어서, 비디오 프레임 버퍼(13)에 기억되어 있는 1 프레임분의 화상을 인코드한 경우의 인코드량이 예측된다. 인코드의 대상이 되는 비디오 데이터는 그 시점에서, 상술한 FIF0에 가장 처음에 기록된 ID에 대응하는 버퍼에 기억되어 있는 비디오 데이터이다.

스텝(S41)에 있어서, 인코드량이 예측되면, 스텝(S42)에 있어서, 그 인코드량을 기억할 만큼의 빈 용량이 코드 버퍼(16)에 있는지의 여부가 판단된다. 코드 버퍼(16)에, 예측된 인코드량을 기억하는 빈 용량이 없는 것으로 판단된 경우, 인코드한 비디오 데이터를 기억할 수 없으므로 상기 플로우챠트의 처리는 종료된다.

한편, 스텝(S42)에 있어서, 코드 버퍼(16)에 예측된 인코드량을 기억하는 용량이 있는 것으로 판단된 경우, 스텝(S43)으로 진행하고, 스텝(S41)에 있어서 인코드량이 예측된 비디오 데이터가, 비디오 프레임 버퍼(13)로부터 판독되고, 인코더(15)에 의해 인코드된다. 인코더(15)에 의해 인코드된 비디오 데이터는 코드 버퍼(16)에 기억된다. 코드 버퍼(16)에 비디오 데이터가 기억되면, 스텝(S44)에 있어서, 스텝(S43)에 있어서 인코드된 비디오 데이터가 비디오 프레임 버퍼(13)로부터 삭제된다. 동시에 인코드된 비디오 데이터가 기억되어 있던 비디오 프레임 버퍼(13)내의 버퍼의 ID가 FIF0로부터 파기(출력)된다.

이와 같이, 인코더(15)에 의한 인코드는 CPU(11)가 다른 처리를 행하고 있지 않을 때, 비디오 프레임 버퍼(13)에 비디오 데이터가 기억되어 있을 때, 또한, 코드 버퍼(16)에 인코드된 비디오 데이터를 기억할 만큼의 빈 용량이 있을 때에 행하 여진다.

이러한 부호화 장치(10)의 일련의 처리를 도 11과 도 12를 참조하여 또한 설명한다. 시간(t)에 있어서, 비디오 데이터(a)가 부호화 장치(10)에 입력되면, 도 9의 플로우챠트를 참조하여 설명한 처리가 행하여지고, 입력된 비디오 데이터(a)는, 비디오 프레임 버퍼(13)내의 할당된 버퍼에 기억된다. 시간(t+1)에 있어서, 비디오 데이터(b)가 입력되면, 비디오 데이터(a)가 입력된 경우와 같은 처리에 의해, 비디오 프레임 버퍼(13)내의 할당된 버퍼에 입력된 비디오 데이터(b)가 기억된다. 또한, 시간(t+1)에 있어서는 비디오 프레임 버퍼(13)에 기억되어 있는 비디오 데이터(a)에 대하여, 도 4의 플로우챠트의 스텝(S41)의 처리 즉, 비디오 데이터(a)를 인코드했을 때의 인코드량이 예측된다. 시간(t)과 시간(t+1)의 시간 간격은, 예를 들면, NTSC 방식의 경우, 33.36msec 이다. 다른 시간 간격도 동일하다.

스텝(S42)에 있어서의 처리에 의해, 코드 버퍼(16)에 비디오 데이터(a)를 인코드하였을 때의 인코드량을 기억할 수 있는 것으로 판단된 경우, 인코더(15)에 의한 인코드가 개시된다. 현재의 경우, 코드 버퍼(16)에는 아무것도 기억되어 있지 않으므로, 인코드한 비디오 데이터(a)가 기억할 만큼의 빈 용량이 있는 것으로 판단된다. 시간(t+2)에 있어서, 비디오 데이터(c)가 입력되어, 비디오 프레임 버퍼(13)에 기억되면, CPU(1)는 인코더(5)에 비디오 데이터(a)를 인코드시킨다. 스텝(S43)의 처리로서, 비디오 데이터(a)가 비디오 프레임 버퍼(13)로부터 판독되고, 인코더(15)에 의해 인코드되고, 코드 버퍼(16)에 기억되면, 스텝(S44)의 처리로서, 비디오 프레임 버퍼(13)에 기억되어 있던 비디오 데이터(a)(비디오 데이터(a)가 기억되어 있던 버퍼에 대응하는 ID)가 삭제된다.

또한, 시간(t+2)에 있어서는 비디오 데이터(c)의 기억과 비디오 데이터(a)의 인코드가 종료된 시점에서, 아직 다음 시간(t+3)까지 시간이 있어, 인코드한 비디오 데이터(b)를 기억할 만큼의 빈 용량이 코드 버퍼(16)에 있으므로, 화상 데이터(a)의 인코드뿐만 아니라, 비디오 데이터(b)의 인코드도 개시된다. 그러나, 비디오 데이터(b)의 인코드의 도중에, 비디오 데이터(d)의 입력 시간(t+3)이 되어, 비디오 데이터(d)의 입력이 행하여지면,그 비디오 데이터(d)가 입력(기억)되어 있는 동안은 비디오 데이터(b)의 인코드는 중단된다. 그리고, 비디오 데이터(d)의 입력이 종료되면, 다시, 비디오 데이터(b)의 인코드가 재개된다. 시간(t+4)까지에, 비디오 데이터(b)의 인코드가 종료됨과 동시에, 비디오 데이터(c)의 인코드도 완료된다. 그러므로, 시간(t+4) 직전에서는 비디오 프레임 버퍼(13)에는 새롭게 입력된 비디오 데이터(d)만이 기억되어 있는 상태가 되고, 코드 버퍼(16)에는 이미 인코드된 비디오 데이터(a), 비디오 데이터(b) 및 비디오 데이터(c)가 기억되어 있는 상태가 된다.

이와 같이, 비디오 프레임 버퍼(13)에 기억되어 있는 비디오 데이터를 인코드하였을 때, 그 인코드량이 비디오 데이터마다 다르므로, 인코드에 걸리는 시간도 다르게 한 경우일지라도, 소정의 처리 시간내(비디오 데이터가 입력되는 입력 주기내)에 처리를 끝낼 필요가 없기 때문에, 인코드의 정밀도를 높이는 것이 가능해진다.

시간(t+4)에 있어서, 비디오 데이터(e)가 입력되고, 비디오 프레임 버퍼(13) 에 기억된다. 이 시점에서는 이미 비디오 프레임 버퍼(13)에 비디오 데이터(d)가 기억되어 있고, CPU(1)는 다른 처리를 기동하고 있지 않으므로, 인코드 처리를 행할 수 있지만, 코드 버퍼(16)의 빈 용량이 충분하지 않기 때문에, 인코드는 행해지지 않는다. 시간(t+5)(도 12)에 있어서, 비디오 데이터(f)가 입력됨과 동시에 다른 장치 예를 들면, 기록 장치 등에 코드 버퍼(16)에 기억되어 있는 비디오 데이터가 일정량으로 계속 출력된다. 상기 출력 처리는 DMAC(Direct Memory Access Controller) 등을 구비하여, DMA 전송시키도록 함으로써, CPU(11)는 판독의 처리의 개시만 지시하면 되므로, CPU(1) 자체에 부담을 주지 않고 비디오 데이터의 출력을 행할 수 있다.

코드 버퍼(16)에 기억되어 있는 비디오 데이터가 출력됨으로써, 코드 버퍼(16) 자체에 빈 용량이 된다. 그래서, 시간(t+6)에 있어서, 다시 인코드가 개시된다. 이후, 마찬가지로, 도 9와 도 10의 플로우챠트를 참조하여 설명한 바와 같이, 비디오 프레임 버퍼(13)에의 기억 처리와 인코드 처리가 행하여진다.

이와 같이, 1개의 비디오 데이터에 대한 인코드 처리를 코드 버퍼(6)의 빈 용량이나 CPU(11)의 빈 시간을 고려하여 행하도록 하는 것에 의해, 화상 데이터의 입력 주기내에 처리를 종료시키지 않아서는 안된다는 조건에 구속되지 않고서, 인코드 처리를 행하는 것이 가능해진다. 그 결과, 부호화 장치(10)에 처리 능력이 낮은 프로세서(CPU(11))를 사용하였다고 하여도, 정밀도가 높은 인코드를 행하는 것이 가능해짐과 동시에 비디오 데이터의 입력과 동시에 인코드를 행하는 것이 가능해진다.

다음에, 도 13을 참조하여, 상술한 일련의 인코드 또는 디코드 처리를 실행하는 프로그램을 컴퓨터에 인스톨하고, 컴퓨터에 의해서 실행 가능한 상태로 하기 위해서 사용되는 매체에 대하여 설명한다.

프로그램은 도 13a에 도시하는 바와 같이, 퍼스널 컴퓨터(21)에 내장되어 있는 기록매체로서의 하드 디스크(22)나 반도체 메모리(23; 메모리(2)에 상당한다)에 미리 인스톨한 상태에서 사용자에게 제공할 수 있다.

그리고 또한, 프로그램은 도 13b에 도시하는 바와 같이, 플로피 디스크(31), CD-R0M(32), MO 디스크(33), DVD(34), 자기 디스크(35), 반도체 메모리(36) 등의 기록매체에 일시적 또는 영속적으로 격납하여, 패키지 소프트 웨어로서 제공할 수 있다.

더욱이, 프로그램은 도 13c에 도시하는 바와 같이, 다운로드 사이트(41)로부터 무선으로 위성(42)을 통하여, 퍼스널 컴퓨터(43)에 전송하거나, 로컬 에어리어 네트워크, 인터넷과 같은 네트워크(51)를 통하여, 유선 또는 무선으로 퍼스널 컴퓨터(43)에 전송하고, 퍼스널 컴퓨터(43)에 있어서, 내장하는 하드디스크 등에 다운로드시키도록 할 수 있다

본 명세서에 있어서의 매체란 상기 모든 매체를 포함하는 광의의 개념을 의미하는 것이다.

이상에 있어서는 액세스 단위를 프레임으로 하였지만, 필드이여도 좋다. 또한, MPEG 방식으로 인코드되어 있는 디지털 신호를 디코드하는 경우를 예로 하였지만, 부호화(압축)와 그 복호(신장) 처리는 다른 방식이라도 좋은 것은 물론이다.

이상과 같이, 청구항 1에 기재된 디지털 신호 처리 장치, 청구항 3에 기재된 디지털 신호 처리 방법 및 청구항 4에 기재된 제공매체에 의하면, 기억되어 있는 액세스 단위의 디지털 신호의 출력 순서를 FIFO 형식으로 관리하도록 하였기 때문에, 염가의 장치로, 소프트웨어에 의해 실시간성을 확보하면서, 디코드 처리하는 것이 가능해진다.

또한, 청구항 5에 기재된 디지털 신호 처리 장치, 청구항 6에 기재된 디지털 신호 처리 방법 및 청구항 7에 기재된 매체에 의하면 입력된 비디오 데이터를 부호화하였을 때의 데이터량을 예측하고, 비디오 데이터를 부호화하며, 상기 부호화된 비디오 데이터를 기억하고, 그 부호화는 예측된 데이터량을 기억할 수 있다고 판단된 경우에 행해지며, 비디오 데이터가 입력되고, 처리되어 있는 동안은 중단되도록 하였기 때문에, 처리 능력이 낮은 프로세서를 사용한 경우에 있어서도 고정밀도의 부호화를 행하는 것이 가능해진다.

본 발명은 상술한 실시예 등에 한정되지 않으며, 본 발명의 요지를 일탈하지않는 범위내에서 여러가지 변형이나 응용이 가능하다.

Claims (9)

1. 디지털 비디오 신호를 처리하는 방법에 있어서,

   인코드된 디지털 비디오 신호 및 인코드된 디지털 오디오 신호를 입력하는 수단;

   상기 인코드된 디지털 비디오 신호 및 상기 인코드된 디지털 오디오 신호를 디코딩기 위한 디코딩 프로그램을 기억하는 수단;

   상기 입력 수단으로부터 공급된 상기 인코드된 디지털 비디오 신호 및 상기 인코드된 디지털 오디오 신호를 디코딩하고, 디코딩 동작에서 복수의 프레임들로서 디코딩된 디지털 비디오 신호 및 디코딩된 디지털 오디오 신호를 생성하기 위해 상기 기억된 디코딩 프로그램을 실행할 수 있는 처리 수단;

   상기 복수의 프레임들에 대응하는 데이터로서 상기 디코딩된 디지털 비디오 신호를 기억하는 버퍼 수단;

   상기 복수의 프레임들의 출력 순서를 나타내는 관리 데이터를 기억하는 FIFO 수단; 및

   FIFO 수단에 기억된 상기 복수의 프레임들의 출력 순서에 기초하여 상기 처리 수단의 디코딩 동작을 제어하는 관리 수단을 포함하고,

   상기 인코드된 디지털 오디오 신호에 대한 디코딩 처리는 상기 인코딩된 디지털 비디오 신호에 대한 디코딩 처리보다 우선하도록 설정되고,

   상기 인코드된 디지털 비디오 신호에 대한 상기 디코딩 동작이 1 프레임 기간 내에 완료되지 않으면, 상기 디코딩 동작은 후속 프레임 기간에서 계속되는, 디지털 비디오 신호 처리 장치.
2. 제 1 항에 있어서,

   상기 디코딩 프로그램은 MPEG 처리에 따라 상기 디지털 비디오 신호에 대해 동작하는, 디지털 비디오 신호 처리 장치.
3. 디지털 신호 처리 방법에 있어서,

   인코드된 디지털 비디오 신호 및 인코드된 디지털 오디오 신호를 입력하는 단계;

   프로그램 메모리로부터 상기 인코드된 디지털 비디오 신호 및 상기 인코드된 디지털 오디오 신호를 디코딩하기 위한 디코딩 프로그램을 액세스하는 단계;

   디코딩 동작에서 상기 인코드된 디지털 비디오 신호 및 상기 인코드된 디지털 오디오 신호를 디코딩하여, 디코딩된 디지털 비디오 신호 및 디코딩된 디지털 오디오 신호를 복수의 프레임들로서 생성하기 위해 상기 디코딩 프로그램을 실행하는 단계;

   상기 복수의 프레임들에 대응하는 데이터로서 상기 디코딩된 디지털 비디오 신호를 버퍼에 기억하는 단계;

   FIFO 형식으로 관리 데이터를 기억하는 단계로서, 상기 관리 데이터는 상기 복수의 프레임들의 출력 순서를 나타내는, 상기 관리 데이터 기억 단계; 및

   상기 복수의 프레임들의 출력 순서에 기초하여 상기 디코딩 동작을 제어하는 단계를 포함하고,

   상기 인코드된 디지털 오디오 신호의 디코딩은 상기 인코드된 디지털 비디오 신호의 디코딩보다 우선하도록 설정되고;

   상기 인코드된 디지털 비디오 신호에 대한 상기 디코딩 동작이 1 프레임 기간 내에 완료되지 않으면, 상기 디코딩 동작은 후속 프레임 기간에서 계속되는, 디지털 신호 처리 방법.
4. 디지털 비디오 신호 처리 장치가 디코딩 동작을 실행하게 하는 컴퓨터 프로그램을 기억하는 컴퓨터 판독가능 기억 매체에 있어서,

   상기 컴퓨터 프로그램은:

   인코드된 디지털 비디오 신호 및 인코드된 디지털 오디오 신호를 입력하고,

   프로그램 메모리로부터 상기 인코드된 디지털 비디오 신호 및 상기 인코드된 디지털 오디오 신호를 디코딩하기 위한 디코딩 프로그램을 액세스하고;

   상기 디코딩 동작에서 상기 인코드된 디지털 비디오 신호 및 상기 인코드된 디지털 오디오 신호를 디코딩하여, 상기 복수의 프레임들로서 디코딩된 디지털 비디오 신호 및 디코딩된 디지털 오디오 신호를 생성하기 위해 상기 디코딩 프로그램을 실행하고;

   복수의 프로그램들에 대응하는 데이터로서 상기 디코딩된 디지털 비디오 신호를 버퍼에 기억하고;

   복수의 프레임들의 출력 순서를 나타내는 관리 데이터를 FIFO 형식으로 기억하고;

   상기 복수의 프레임들의 출력 순서에 기초하여 상기 디코딩 동작을 제어하고,

   상기 인코드된 디지털 오디오 신호의 디코딩은 상기 인코드된 디지털 비디오 신호의 디코딩보다 우선하도록 설정되고,

   상기 인코드된 디지털 비디오 신호에 대한 상기 디코딩 동작이 1 프레임 기간 내에 완료되지 않으면, 상기 디코딩 동작은 후속 프레임 기간에서 계속되는, 컴퓨터 판독가능 기억 매체.
5. 삭제
6. 삭제
7. 삭제
8. 제 1 항에 있어서,

   상기 버퍼 수단은 복수의 버퍼 영역들을 포함하고, 상기 복수의 프레임들의 출력 순서를 나타내는 상기 관리 데이터는 상기 복수의 버퍼 영역들의 관리 ID들을 포함하는, 디지털 비디오 신호 처리 장치.
9. 제 8 항에 있어서,

   상기 관리 데이터는 상기 복수의 프레임들의 출력 순서로 상기 FIFO 수단에 기억하는, 디지털 비디오 신호 처리 장치.

Images