KR100548891B1 - 음성 부호화 장치 및 음성 부호화 방법 - Google Patents

Abstract

본 발명은 디지털 오디오 신호를 복수의 주파수 대역으로 분할하여, 각 대역마다 부호화를 행하는 방식에 있어서, 퍼스널 컴퓨터의 CPU 처리 능력, 및 다른 어플리케이션의 CPU 점유율에 좌우되지 않고, 실시간으로 소리 끊김이 없는 고음질(高音質)의 부호화 데이터의 작성을 실현할 수 있는 음성 부호화 방식을 제공하는 것이다.

복수의 주파수 대역으로 분할된 디지털 오디오 신호의 각 대역에 대한 비트 할당 정보를 생성하는 비트 할당 수단으로서, 소정의 청각 심리 모델에 근거하는 신호 대 마스크비값과의 관계를 사용하여 고효율로 비트 할당을 행하는 방법, 및 저부하로 비트 할당을 행하는 방법을 가지며, 부호화 수단에 대하여 점유할 수 있는 CPU의 처리량 정보로부터 비트 할당 수단을 전환 부호화를 실행한다.

Description

음성 부호화 장치 및 음성 부호화 방법{AUDIO CODING APPARATUS AND METHOD}

도 1은 본 발명의 실시예 1에 의한 음성 부호화 방식을 이용한 음성 부호화 장치를 실현하기 위해, 퍼스널 컴퓨터를 이용한 전체적인 시스템으로서의 구성을 나타내는 블럭도,

도 2는 상기 실시예 1에 의한 음성 부호화 장치를 구성하는 부호화기의 구성을 나타내는 블럭도,

도 3은 상기 부호화기를 구성하는 고대역 부호화 처리 수단의 상세한 구성을 나타내는 블럭도,

도 4는 상기 실시예 1에 의한 음성 부호화 장치를 구성하는 부호화기의 보다 상세한 구성을 나타내는 블럭도,

도 5는 상기 실시예 1에 의한 음성 부호화 방식에서 사용하는, 각 그룹에 대한 비트 할당 처리의 일례를 나타낸 모식도,

도 6은 상기 실시예 1에 의한 음성 부호화 방식에서 사용하는, 각 그룹에 대한 비트 할당 처리의 다른 일례를 나타낸 모식도,

도 7의 (a) 및 (b)는 상기 실시예 1에 의한 음성 부호화 장치를 구성하는 부 호화기의 부호화 동작을 설명하기 위한 흐름을 나타내는 도면,

도 8은 상기 실시예 1에 의한 음성 부호화 방식에서 사용하는, 각 그룹에 대한 비트 할당 처리의, 임계값을 이용하여 처리를 행하는 예를 나타낸 모식도,

도 9는 본 발명의 상기 실시예 1에 의한 음성 부호화 장치를 구성하는 부호화기의 변형예의 상세한 구성을 나타내는 블럭도,

도 10의 (a) 내지 (c)는 본 발명의 실시예 2에 의한 데이터 기억 매체 및 해당 기억 매체를 이용하여 음성 부호화 장치를 구성하는 경우의 구성을 나타내는 블럭도,

도 11은 종래의 음성 부호화 장치를 구성하는 부호화기의 구성을 나타내는 블럭도,

도 12는 본 발명의 실시예 3에 의한 음성 부호화 장치를 구성하는 저대역 부호화 처리 수단의 상세한 구성을 나타내는 도면,

도 13은 상기 실시예 3에 의한 음성 부호화 장치에 의한 저대역 부호화시의 각 프레임에 있어서의 청각 심리 모델의 상태를 설명하기 위한 도면,

도 14는 본 발명의 실시예 4에 의한 음성 부호화 장치를 구성하는 저대역 부호화 처리 수단의 상세한 구성을 나타내는 도면,

도 15는 상기 실시예 4에 의한 음성 부호화 장치를 이용한 비트 할당 처리의 일례를 나타내는 도면,

도 16은 본 발명의 실시예 5에 의한 음성 부호화 장치를 구성하는 부호화기의 구성을 나타내는 블럭도,

도 17은 음성 신호와 동시에 영상 신호를 취급하는 경우의 부호화기의 구성을 나타내는 블럭도,

도 18은 시간/주파수 변환 방식의 코딩을 행하는 부호화 처리 장치에 있어서의 부호화 처리에 있어서 본 발명을 적용한 경우의 구성을 나타내는 블럭도.

도면의 주요 부분에 대한 부호의 설명

1 : 퍼스널 컴퓨터(음성 부호화 장치) 11 : HDD

12a : PDD 12b : FDD

13 : 메모리 14 : CPU(중앙 연산 처리 장치)

15 : 데이터 버스 16 : 비디오 캡춰 카드

17 : 카메라 18 : 사운드 카드

19 : 마이크 20 : 부호화기

21 : CPU 부하 감시 정보 22 : 부호화 수단 제어 수단

23 : 저대역 부호화 처리 수단 24 : 고대역 부호화 처리 수단

25 : 비트 스트림 형성 처리 수단 26 : 부호화 모드 지정 신호

101 : 부호화기 102 : 서브 밴드 분석 수단

103 : 배율 인자 추출 수단 104 : FFT 수단

105 : 청각 심리 분석 수단 106 : 양자화/부호화 수단

107 : 보조 정보 부호화 수단 108 : 비트 스트림 형성 수단

109 : 대역 출력 적응 비트 할당 수단

110 : 청각 심리 모델 비트 할당 수단

111 : 그룹 분리 수단 112 : 비트 할당 처리 제어 수단

121 : 처리량 제어 정보

160∼162 : 부호화 처리 수단 A∼C 163 : 처리 부하값 저장 버퍼

164 : 샘플 데이터 버퍼 170 : 영상 부호화 처리 수단

171 : 음성 부호화 처리 수단

172 : 시스템 스트림 형성 처리 수단

180 : 양자화 수단 제어 수단

181 : 제 1 양자화 정보 산출 수단

182 : 제 2 양자화 정보 산출 수단

FC : 플로피 디스크 케이스 FD : 플로피 디스크

D : 플로피 디스크 본체 Se : 섹터

Tr : 트랙 Cs : 컴퓨터 시스템

FDD : 플로피 디스크 드라이브

본 발명은, 음성 부호화 방식, 및 음성 부호화 장치, 및 데이터 기억 매체에 관한 것으로, 특히 MPEG(Motion Picture Experts Group) 방식에서 이용되고 있는 서브 밴드 부호화 방식을 이용하는 음성 부호화 방식, 및 음성 부호화 장치, 및 상기 음성 부호화 방식을 행하기 위한 프로그램을 저장한 데이터 기억 매체에 관한 것이다.

최근, 퍼스널 컴퓨터의 멀티미디어화나 인터넷의 보급에 의해, 퍼스널 컴퓨터(이하, PC라고도 칭함) 등의 상에서, 소프트웨어에 의해 MPEG 등의 동화상이나 음성을 재생할 수 있는 환경이 갖춰져 오고 있어, MPEG 등의 부호화 데이터의 이용 범위가 넓어지고 있다.

그러나, 부호화 데이터를 만드는 인코더에 관해서는, 아직까지도 고가인 하드웨어를 이용하는 것이 주류이다. 또한, 소프트웨어로 부호화 데이터를 만드는 것도 있지만, 부호화 대상으로 되는 동화상나 음성 재생 시간의 실시간의 몇배쯤의 처리 시간을 들여 부호화를 행하는 것이기 때문에, 막대한 시간, 및 수고를 필요로 하여, 널리 보급되는 데까지는 이르지 못하고 있다.

이 때문에, 특히 일반 퍼스널 컴퓨터 사용자가 염가로 간단히 부호화 데이터를 작성할 수 있도록 되기 위해서는, 소프트웨어 처리에 의해 실시간에서의 부호화 데이터의 작성을 실현하고 싶다고 하는 요망이 있다.

이하에 종래의 음성 부호화 방식의 일례에 대하여 설명한다. 도 11은 음성에 관한 부호화 데이터 포맷으로서, ISO/IEC11172-3에 의해 규격화되어 있는 MPEG 오디오 인코더의 블럭도이다.

도 11에 있어서, 입력 디지털 오디오 신호는, 서브 밴드 분석 수단(202)에 있어서 32개의 주파수 성분으로 분할되고, 각 서브 밴드 신호에 대하여, 배율 인자(scale factor) 추출 수단(203)에서 배율 인자를 계산하여, 다이나믹 범위를 갖춘다. 또한, 입력 디지털 오디오 신호는, FFT 수단(204)에 있어서, 고속 퓨리에 변환(FFT:Fast Fourier Transform)되고, 이 결과를 이용하여, 청각 심리 분석 수단(205)에 의해 인간의 청각의 특성을 이용한 청각 심리 모델에 근거하는 신호 대 마스크비(SMR)값의 관계 모델을 이용하며, 비트 할당 수단(206)에 의해 각 서브 밴드 신호에 대한 비트 할당수를 결정한다. 각 서브 밴드 신호로의 비트 할당수에 따라서, 각 서브 밴드 신호를 양자화/부호화 수단(207)에 의해 양자화/부호화한다. 그리고, 비트 스트림 형성 수단(209)에 의해, 보조 정보 부호화 수단(208)에 의해 부호화된 헤더 정보와 보조 정보를 함께 해서 비트 스트림을 형성하여 출력한다.

이 종래의 음성 부호화 방식은, 각 대역 전력의 편재를 이용하여 각 대역(서브 밴드)마다 부호화를 실행하는 부호화 방식이기 때문에, 청각 심리 모델을 이용한 각 서브 밴드 신호에 대한 비트 배분이 음질을 좌우하게 된다. 또한, 축적 매체를 이용 목적으로 하여 규격화되었기 때문에, 부호화 데이터의 고음질화에는 적절하지만, 실시간에서의 부호화에는 적절하지 않아, 음질을 좌우하는 청각 심리 모델은 대단히 연산량이 많은 것으로 되어 있다.

종래의 음성 부호화 방식, 및 음성 부호화 장치는 이상과 같이 구성되어 있어, 축적 매체를 대상으로 하는 고음질인 부호화 데이터를 작성하는데는 적절하지만, 청각 심리 모델의 이용은 많은 처리 능력을 필요로 하기 때문에, 소프트웨어로 처리하는데는 현재의 CPU 능력으로는 PC 상에서 실시간 처리하기에는 부적당하다. 또한, 실시간 처리 가능한 고성능인 CPU를 탑재한 PC 상에서 동작시킨 경우에 있어서도, 다른 어플리케이션의 CPU 점유율이 커졌을 때 등에서는, 실시간에서의 처리가 불가능해질 우려가 있어, 그 결과, 소리 끊김이 발생할 가능성이 있다고 하는 문제점이 있다.

본 발명은, 이상과 같은 문제점을 해결하기 위해 이루어진 것으로, 퍼스널 컴퓨터의 CPU 처리 능력, 및 다른 어플리케이션의 CPU 점유율에 좌우되지 않고, 실시간으로 소리 끊김이 없는 고음질의 부호화 데이터의 작성을 소프트웨어 처리에 의해 실현할 수 있는 음성 부호화 방식, 음성 부호화 장치, 및 상기 부호화를 실행하기 위한 프로그램을 저장한 데이터 기억 매체를 제공하는 것을 목적으로 한다.

본 발명의 청구항 1에 따른 음성 부호화 방식은, 디지털 오디오 신호를 복수의 주파수 대역으로 분할하여, 각 대역마다 부호화를 실행하는 음성 부호화 방식에 있어서, 상기 분할된 각 대역에 대한 비트 할당 정보를 생성하고, 각각 처리량이 상이한 비트 할당 수단을 복수개 가지며, 외부로부터의 제어 정보에 근거하여, 상기 복수의 비트 할당 수단중에서, 소정의 비트 할당 수단을 이용하여 처리가 이루어지도록, 사용하는 비트 할당 수단을 전환해서 비트 할당을 실행하여, 부호화를 실행하는 것이다.

또한, 본 발명의 청구항 2에 따른 음성 부호화 방식은, 상기 청구항 1에 기재된 음성 부호화 방식에 있어서, 상기 외부로부터의 제어 정보로서, 부호화 처리를 실행하기 위해 점유할 수 있는 중앙 연산 처리 장치의 처리량을 나타내는 부하값을 이용하고, 해당 부하값에 근거하여, 상기 중앙 연산 처리 장치에서 부호화 처리에 있어서 각 비트 할당 수단을 이용하여 부호화 동작을 실행하였을 때의 각 처리량을 사전에 기억한 데이터 테이블를 참조하여, 상기 부호화 처리가 점유할 수 있는 중앙 연산 처리 장치의 처리량을 초과하지 않도록 상기 비트 할당 수단의 선택을 실행하는 것이다.

또한, 본 발명의 청구항 3에 따른 음성 부호화 방식은, 상기 청구항 2에 기재된 음성 부호화 방식에 있어서, 상기 부하값으로서, 부호화 처리를 실행하기 위해 점유 가능한 상기 중앙 연산 처리 장치의 처리량을 감시하는 감시 수단으로부터의 처리량 제어 정보를 이용하는 것이다.

또한, 본 발명의 청구항 4에 따른 음성 부호화 방식은, 상기 청구항 1에 기재된 음성 부호화 방식에 있어서, 상기 비트 할당 수단에 의한 비트 할당 처리로서, 부호화 데이터의 고음질화를 실현 가능한 고효율로 비트 할당을 실행하는 고효율 비트 할당 방법을 이용한 처리와, 상기 고효율 비트 할당 방법을 이용한 처리와 비교하여 처리량이 적은 저부하에 의해 비트 할당을 실행하는 저부하 비트 할당 방법을 이용한 처리가 실행되는 것이다.

또한, 본 발명의 청구항 5에 따른 음성 부호화 방식은, 상기 청구항 1에 기재된 음성 부호화 방식에 있어서, 상기 부호화시에 사용되는 비트 할당 수단의 전 환을, 오디오 신호에 복호 가능한 최소 단위인 프레임 단위로 실행하는 것이다.

또한, 본 발명의 청구항 6에 따른 음성 부호화 방식은, 상기 청구항 1에 기재된 음성 부호화 방식에 있어서, 복수의 주파수 대역으로 분할된 각 대역의 서브 밴드 신호를, 각각 사전에 정해진 소정 개수의 서브 밴드 신호로 이루어지는 그룹으로 되도록 그룹 분리를 실행하고, 각 그룹에 대하여 독립된 비트 할당 처리를 실행하여, 각 대역에 대한 비트 할당 정보를 생성하는 것이다.

또한, 본 발명의 청구항 7에 따른 음성 부호화 방식은, 상기 청구항 6에 기재된 음성 부호화 방식에 있어서, 상기 그룹 분리는, 그룹의 수, 또는 그룹내의 주파수 축 방향으로 연속된 서브 밴드 신호의 수를, 상기 외부로부터의 제어 정보에 의해 지정된 수, 또는 상기 감시 수단으로부터의 처리량 제어 정보에 근거하여 지정된 수로 되도록, 가변적으로 실행되는 것이다.

또한, 본 발명의 청구항 8에 따른 음성 부호화 방식은, 상기 청구항 7에 기재된 음성 부호화 방식에 있어서, 상기 서브 밴드 신호의 수의 변경 처리를, 오디오 신호에 복호 가능한 최소 단위인 프레임 단위로 실행하는 것이다.

또한, 본 발명의 청구항 9에 따른 음성 부호화 방식은, 상기 청구항 8에 기재된 음성 부호화 방식에 있어서, 상기 그룹 분리시에, 비트 할당을 실행하지 않은 그룹을 적어도 1개 마련하는 것이다.

또한, 본 발명의 청구항 10에 따른 음성 부호화 방식은, 상기 청구항 6에 기재된 음성 부호화 방식에 있어서, 상기 서브 밴드 신호의 그룹 분리에 의해, 저대역에 속하는 그룹으로 그룹 분리된 서브 밴드 신호에 대하여, 부호화 데이터의 고음질화를 실현 가능한 고효율 비트 할당 방법을 이용하여, 그룹내의 서브 밴드 신호에 비트 할당을 실행하고, 그룹 내의 서브 밴드 신호에 비트 할당을 실행하는 한편 고대역에 속하는 그룹으로 그룹 분리된 고대역에 속하는 그룹으로 그룹 분리된 서브 밴드 신호에 대하여, 고효율 비트 할당 방법과 비교하여 처리량이 적은 저부하 비트 할당 처리를 이용하여, 그룹내의 서브 밴드 신호에 비트 할당을 실행하는 것이다.

또한, 본 발명의 청구항 11에 따른 음성 부호화 방식은, 상기 청구항 6에 기재된 음성 부호화 방식에 있어서, 각 그룹마다 독립된 비트 할당 수단에 대한 할당 가능 비트수를 결정하는 할당 가능 비트 연산 수단을 마련하고, 각 그룹의 그룹 전체에 대한 비율에, 각 그룹에 속하는 각 대역마다의 특성에 근거한 가중을 가미한 것을 이용하여, 그룹 전체에 대한 할당 가능 비트수를, 각 그룹마다 독립된 비트 할당 수단에 대하여 할당하는 것이다.

또한, 본 발명의 청구항 12에 따른 음성 부호화 방식은, 상기 청구항 11에 기재된 음성 부호화 방식에 있어서, 각 그룹에 속하는 각 대역마다의 특성에 근거한 가중을, 각 대역마다의 소정의 최소 가청 한계값에 근거한 가중으로 하는 것이다.

또한, 본 발명의 청구항 13에 따른 음성 부호화 방식은, 상기 청구항 11에 기재된 음성 부호화 방식에 있어서, 각 그룹에 속하는 각 대역마다의 특성에 근거한 가중을, 입력 디지털 오디오 신호에 서브 밴드 분석을 실시하여 얻어지는, 각 그룹에 속하는 각 주파수 대역의 서브 밴드 신호 레벨에 근거한 가중으로 하는 것이다.

또한, 본 발명의 청구항 14에 따른 음성 부호화 방식은, 상기 청구항 11에 기재된 음성 부호화 방식에 있어서, 각 그룹에 속하는 각 대역마다의 특성에 근거한 가중을, 입력 디지털 오디오 신호에 선형 변환을 실시하여 얻어지는, 각 그룹에 속하는 스펙트럼 신호 레벨에 근거한 가중으로 하는 것이다.

또한, 본 발명의 청구항 15에 따른 음성 부호화 방식은, 상기 청구항 6에 기재된 음성 부호화 방식에 있어서, 각 그룹에 속하는 신호 레벨이, 소정의 임계값 이상의 고레벨인 신호에 대해서는, 부호화 데이터의 고음질화를 실현 가능한 고효율 비트 할당 방법을 이용하여 비트 할당을 실행하고, 각 그룹에 속하는 신호 레벨이, 소정의 임계값 이하의 저레벨인 신호에 대해서는, 상기 고효율 비트 할당 방법과 비교하여 처리량이 적은 저부하 비트 할당 방법을 이용하여 비트 할당을 실행하는 것이다.

또한, 본 발명의 청구항 16에 따른 음성 부호화 방식은, 상기 청구항 15에 기재된 음성 부호화 방식에 있어서, 상기 각 그룹에 속하는 신호 레벨을, 입력 디지털 오디오 신호에 서브 밴드 분석을 실시하여 얻어지는 서브 밴드 신호 레벨로 하는 것이다.

또한, 본 발명의 청구항 17에 따른 음성 부호화 방식은, 상기 청구항 15에 기재된 음성 부호화 방식에 있어서, 상기 각 그룹에 속하는 신호 레벨이, 입력 디지털 오디오 신호에 선형 변환을 실시하여 얻어지는 스펙트럼 신호 레벨인 것이다.

또한, 본 발명의 청구항 18에 따른 음성 부호화 방식은, 상기 청구항 15에 기재된 음성 부호화 방식에 있어서, 상기 각 그룹에 속하는 신호 레벨을, 소정의 각 대역마다의 최소 가청 한계값으로 하는 것이다.

또한, 본 발명의 청구항 19에 따른 음성 부호화 방식은, 상기 청구항 4, 10, 15 중 어느 한 항에 기재된 음성 부호화 방식에 있어서, 상기 부호화 데이터의 고음질화를 실현 가능한 고효율 비트 할당 처리는, 소정의 청각 심리 모델에 근거하는 신호 대 마스크비값과의 관계를 사용하여 실행되는 비트 할당 처리이고, 상기 고효율 비트 할당 처리와 비교하여 처리량이 적은 저부하 비트 할당 처리는, 복수의 주파수 대역으로 분할된 신호 레벨에 각 대역마다의 소정의 최소 가청 한계값을 가미하여 실행되는 비트 할당 처리인 것이다.

또한, 본 발명의 청구항 20에 따른 음성 부호화 방식은, 상기 청구항 19에 기재된 음성 부호화 방식에 있어서, 상기 청각 심리 모델이, MPEG(Motion Picture Experts Group)에 의해 지정된 청각 심리 모델인 것이다.

또한, 본 발명의 청구항 21에 따른 음성 부호화 방식은, 상기 청구항 5 또는 청구항 8에 기재된 음성 부호화 방식에 있어서, 상기 오디오 신호에 복호 가능한 최소 단위인 프레임이, MPEG(Motion Picture Experts Group)에 의해 지정된 프레임인 것이다.

또한, 본 발명의 청구항 22에 따른 음성 부호화 방식은, 상기 청구항 1에 기재된 음성 부호화 방식에 있어서, 상기 비트 할당 수단은, 분할화된 각 대역에 대하여, 소정의 청각 심리 모델로부터 출력되는 정보에 근거하여 비트 할당 정보를 생성하는 것으로, N(N=1, 2, 3…) 프레임에 한번, 상기 소정의 청각 심리 모델로부터 출력되는 정보에 근거하여 비트 할당 정보를 생성하고, 상기 비트 할당 정보를 생성하지 않은 프레임에 대해서는, 상기 청각 심리 모델로부터 출력된 정보와 상기 분할된 각 대역의 신호 정보에 근거하여 비트 할당 정보를 생성하여, 부호화를 실행하는 것이다.

또한, 본 발명의 청구항 23에 따른 음성 부호화 방식은, 상기 청구항 1에 기재된 음성 부호화 방식에 있어서, 단계적으로 처리량의 제어 가능한 청각 심리 모델을 갖고, 외부로부터의 제어 정보에 근거하여, 상기 청각 심리 모델의 처리량 제어를 실행하고, 소정의 처리량의 청각 심리 모델을 이용하여 처리가 이루어지도록, 각 대역에 대한 비트 할당 정보를 생성하는 것이다.

또한, 본 발명의 청구항 24에 따른 음성 부호화 방식은, 상기 청구항 1에 기재된 음성 부호화 방식에 있어서, 각각 처리량이 상이한 청각 심리 모델을 복수개 갖고, 외부로부터의 제어 정보에 근거하여, 상기 복수의 청각 심리 모델중에서, 소정의 청각 심리 모델을 이용하여 처리가 이루어지도록, 사용하는 청각 심리 모델을 전환하여, 각 대역에 대한 비트 할당 정보를 생성하는 것이다.

또한, 본 발명의 청구항 25에 따른 음성 부호화 방식은, 디지털 오디오 신호를 복수의 주파수 대역으로 분할하여, 상기 분할된 각 대역에 대한 비트 할당 정보를 생성하고, 소정 비트 레이트에서의 전송을 목적으로 하여 각 대역마다 부호화를 실행하는 음성 부호화 방식에 있어서, 부호화 데이터 스트림중에 데이터를 삽입하는 프레임에 있어서의 비트 할당 범위를 제어하여, 부호화 오디오 데이터량을 가변으로 제어하는 것이다.

또한, 본 발명의 청구항 26에 따른 음성 부호화 방식은, 상기 청구항 25에 기재된 음성 부호화 방식에 있어서, 외부로부터의 제어 정보에 근거하여, 프레임 단위로 비트 할당 범위를 제어하고, 부호화 오디오 데이터량을 가변으로 제어하는 것이다.

또한, 본 발명의 청구항 27에 따른 음성 부호화 방식은, 상기 청구항 26에 기재된 음성 부호화 방식에 있어서, 상기 외부로부터의 제어 정보로서, 부가 데이터의 버퍼를 감시하는 감시 수단으로부터의 데이터량 제어 정보를 이용하는 것이다.

또한, 본 발명의 청구항 28에 따른 음성 부호화 방식은, 상기 청구항 1에 기재된 음성 부호화 방식에 있어서, 부호화 처리가 실행되는 중앙 연산 처리 장치의 성능에 따라서, 부호화 처리 동작전의 초기화시에 복수의 비트 할당 수단, 또는 복수의 청각 심리 모델의 각 처리 부하값 정보를 외부로 출력하는 것이다.

또한, 본 발명의 청구항 29에 따른 음성 부호화 방식은, 상기 청구항 28에 기재된 음성 부호화 방식에 있어서, 외부로의 정보로서 출력되는 복수의 비트 할당 수단, 또는 복수의 청각 심리 모델의 각 처리 부하값 정보가, 내림차순, 혹은 올림차순으로 출력되는 것이다.

또한, 본 발명의 청구항 30에 따른 음성 부호화 방식은, 영상 신호, 음성 신호의 부호화 처리가 동일한 중앙 연산 처리 장치에 의해 처리가 이루어지는 음성 부호화 방식에 있어서, 상이한 복수의 연산량에 의해 부호화를 실행하는 것으로, 상기 음성 신호 또는 영상 신호의 부호화의 연산량을 변경함으로써, 상기 중앙 연산 처리 장치상에서의 처리의 전체적인 연산량을 제어하는 것이다.

또한, 본 발명의 청구항 31에 따른 음성 부호화 방식은, 영상 신호, 음성 신호의 부호화 처리가 동일한 중앙 연산 처리 장치에 의해 처리가 이루어지는 음성 부호화 방식에 있어서, 연산량이 상이한 복수의 부호화 방식을 이용하여 부호화를 실행하는 것으로, 상기 음성 신호의 부호화의 부호화 방식을 변경함으로써, 상기 중앙 연산 처리 장치상에서의 처리의 전체적인 연산량을 제어하는 것이다.

또한, 본 발명의 청구항 32에 따른 음성 부호화 방식은, 상기 청구항 30에 기재된 음성 부호화 방식에 있어서, 상기 중앙 연산 처리 장치상에서의 처리의 제어를, 외부로부터의 제어 정보에 근거하여 실행하는 것이다.

또한, 본 발명의 청구항 33에 따른 음성 부호화 방식은, 상기 청구항 31에 기재된 음성 부호화 방식에 있어서, 상기 중앙 연산 처리 장치상에서의 처리의 제어를, 외부로부터의 제어 정보에 근거하여 실행하는 것이다.

또한, 본 발명의 청구항 34에 따른 음성 부호화 방식은, 디지털 오디오 신호에 대하여, 시간/주파수 변환을 실시하여, 양자화 정보를 생성함으로써 부호화를 실행하는 음성 부호화 방식에 있어서, 각각 연산량이 상이한 복수의 양자화 정보 산출 수단을 갖고, 외부로부터의 제어 정보에 근거하여, 상기 복수의 양자화 정보 산출 수단중에서, 소정의 양자화 정보 산출 수단을 선택하여 처리가 실행되도록, 사용하는 양자화 정보 산출 수단을 전환해서 양자화 정보를 산출하여 부호화를 실행하는 것이다.

또한, 본 발명의 청구항 35에 따른 음성 부호화 장치는, 상기 청구항 1에 기재된 음성 부호화 방식을 이용하여 음성 부호화를 실행하는 것이다.

또한, 본 발명의 청구항 36에 따른 기록 매체는, 상기 청구항 1에 기재된 음성 부호화 방식의 단계가 기록되어 있는 것이다.

본 발명의 상기 및 그 밖의 목적, 특징, 국면 및 이익 등은 첨부 도면을 참조로 하여 설명하는 이하의 상세한 실시예로부터 더욱 명백해질 것이다.

발명의 실시예

이하, 본 발명의 실시예에 의한 음성 부호화 방식, 음성 부호화 장치에 대하여, 도면을 참조하면서 설명한다.

(실시예 1)

여기서는, 예를 들어, 입력 신호를 복수의 주파수 성분으로 분할하고, 각 대역 전력의 편재를 이용하여 각 대역(서브 밴드)마다 부호화를 행하는 부호화 방식의 경우에 대하여 설명한다. 도 1은 예를 들어, 상기 부호화 방식에 의한 음성 부호화 장치로서 퍼스널 컴퓨터(이하, PC라고도 칭함)가 이용된 경우의 시스템 전체의 개념도로서, 도면에 있어서, (1)은 카메라(17)와 마이크(19) 등의 외부기기로부터의 데이터 입력이 가능한, 소위 멀티미디어형의 PC이고, 각종 데이터 및 프로그램을 저장하는 기억 용량이 큰 고정식의 기록 매체인 하드 디스크 드라이브(HDD)(11)와, HDD(11)와 프로그램이나 데이터 등의 입출력을 실행하기 위한 비교적 기억 용량이 작은 착탈 자유자재의 기억 매체인 PDD 드라이브(12a), FDD 드라이브(12b)를 갖고, 상기 HDD에 저장된 프로그램이 중앙 연산 처리 장치(CPU)(14)로부터의 명령에 의해 적절히 랜덤 액세스 메모리(RAM) 등으로 구성된 메모리(13) 상에 판독되어 실행되도록 구성되어 있다. 또한, 외부기기인 카메라(17), 마이크(19)의 영상, 음성을 취입하기 위해, 각각 비디오 캡춰 카드(16), 사운드 카드(18)가 내장되어 있다. 그리고 이상과 같은 구성을 갖는 PC(1)는 내부의 데이터 버스(15)에 의해 각 요소가 접속되어 있다.

도 2는 도 1에 도시한 PC(1)에 의해 실행되는 음성 부호화 처리를 실현하기 위한 음성 부호화 장치의 부호화기(20)의 블럭 구성도로서, 실제로는 HDD(11)로부터 메모리(13)에 판독된 프로그램에 의해 실현되어 있는 것이다. 도 2에 있어서, (21)은 CPU(14)의 부하 상태를 감시하기 위한 CPU 부하 감시 정보이고, (22)는 CPU 부하 감시 정보(21)에 근거하여, 저대역 부호화 처리 수단(23)과 고대역 부호화 처리 수단(24)의 동작을 제어하는 부호화 수단 제어 수단이다. 또한, (25)는 상기 2개의 부호화 처리 수단(23, 24)의 출력을 각각 스트림 신호로 하기 위한 비트 스트림 형성 처리 수단이다. 또한, (26)은 사용자가 지정하는 것에 의해 상기 부호화 수단 제어 수단(22)에 입력되는 부호화 모드 지정 신호이다.

도 2에 있어서의 저대역 부호화 처리 수단(23)의 구성으로서는, 예를 들어, 도 11의 종래 예에 나타내었던 바와 같은 구성을 이용한다. 또한, 고대역 부호화 처리 수단(24)의 구성으로서는, 예를 들어, 도 3에 도시하는 바와 같이 도 11의 예와 마찬가지로, 각 대역 전력의 편재를 이용하여 각 대역(서브 밴드)마다 부호화를 행하는 부호화 방식을 이용하고 있지만, 청각 심리 모델을 이용한 각 서브 밴드 신호에 대한 비트 배분은 실행하지 않고, 그 대체 수단으로서, 대역 출력 적응 비트 할당 수단(304)을 마련하여, 서브 밴드 신호마다 배율 인자에 인간의 청각 특성에 근거한 가중을 행하고, 고음질화보다도 저부하 처리를 제 1 목적으로 하여, 연산량이 적은 구성으로 한다.

또한, 특정 대역으로의 과도한 비트 할당 집중을 배제하기 위해, 비트의 할 당마다 각 대역에 따른 가중의 조정을 실행하는 것으로 하고 있다.

도 4는 도 2에 도시한 부호화기(20)의 상세한 구성을 나타내는 블럭도로서, (101)은 부호화기이고, 후술하는 서브 밴드 분석 수단(102), 배율 인자 추출 수단(103), FFT 수단(104), 청각 심리 분석 수단(105), 양자화/부호화 수단(106), 보조 정보 부호화 수단(107), 비트 스트림 형성 수단(108), 대역 출력 적응 비트 할당 수단(109), 청각 심리 모델 비트 할당 수단(110), 그룹 분리 수단(111), 비트 할당 처리 제어 수단(112), 할당 가능 비트 연산 수단(113)으로 구성되어 있다.

상기 서브 밴드 분석 수단(102)은, 입력된 디지털 오디오 신호를 32개의 주파수 성분으로 분할한다. 배율 인자 추출 수단(103)은 각 서브 밴드 신호에 대한 배율 인자를 계산하여, 각 서브 밴드 다이나믹 범위를 갖춘다. 그룹 분리 수단(111)은 상기 분할된 32개의 주파수 성분을, 외부로부터의 제어 정보인 처리량 제어 정보(121)에 의해 지정된 그룹수로 분할한다. 본 실시예 1에서는, 도 5에 도시하는 바와 같이 그룹수를 3으로 하여, 각 그룹을 주파수축 방향에 연속한 서브 밴드 신호로서, 0∼15 서브 밴드의 저대역 그룹 A, 16∼29 서브 밴드의 고대역 그룹 B, 및 비트 할당을 행하지 않은 30∼31 서브 밴드의 무효 그룹 C로 그룹 분리를 실행한다. 또, 상기 처리량 제어 정보(121)에는 CPU 부하 감시 정보(21)와 부호화 모드 지정 신호(26)의 정보가 포함되어 있는 것으로 한다. 또한, 본 실시예 1에서는, 상기 각 서브 밴드 그룹에 비트를 할당하는 비트 할당 수단으로서, 인간의 귀에 대하여 감도가 좋은 저대역에, MPEG에 의해 지정된 청각 심리 모델에 근거하는 신호 대 마스크비값과의 관계를 사용하고, 고효율로 비트 할당을 행하는 청각 심리 모델 비트 할당 수단(110)을 사용하며, 인간의 귀에 대하여 비교적 감도가 낮은 고대역에, 배율 인자 추출 수단(103)으로부터의 배율 인자 정보에 사전에 설정된 각 대역마다 최소 가청 한계값을 가한 것을 사용하고, 청각 심리 모델 비트 할당 방법과 비교하여 저부하로 비트 할당을 행하는 대역 출력 적응 비트 할당 수단(109)을 사용하도록 구성하고 있다.

또한, 비트 할당 처리 제어 수단(112)은, 입력된 디지털 오디오 신호를, 청각 심리 모델 비트 할당을 행하는 0∼15 서브 밴드의 저대역 그룹 A에 대하여, 필요로 하는 청각 심리 분석을 실행하기 위해, FFT(고속 퓨리에 변환) 수단(104)에 의해 고속 퓨리에 변환을 실시하도록 FFT 수단(104)을 제어한다. 그리고 이 변환 결과를 이용하여, 청각 심리 분석 수단(105)은 인간의 청각의 특성을 이용한 청각 심리 모델에 근거하는 신호 대 마스크비(SMR)값의 관계 모델을 도출한다.

또한, 할당 가능 비트 연산 수단(113)은, 샘플링 주파수나 부호화의 비트 레이트값으로부터, 확정하는 그룹 전체에 대한 할당 가능 비트수를, 비트 할당의 대상으로 되는 각 그룹의 그룹 전체에 대한 비율로, 각 그룹에 속하는 각 대역마다의 특성에 근거한 가중을 가한 것을 이용하여, 각 그룹마다 독립된 비트 할당 수단에 대한 할당 가능 비트수를 연산한다. 본 실시예 1에서는, 청각 심리 모델 비트 할당 수단(110), 및 대역 출력 적응 비트 할당 수단(113)에 대하여, 배율·인자·인덱스값, 및 저대역/고대역의 영역의 비를 고려하여, 전체의 할당 가능 비트수로부터, 양 수단(110, 113)으로의 각 할당 가능 비트수를 결정한다. 즉, 실제로는, 배율 인자 추출 수단(103)에 의해 요청된 각 배율·인자·인덱스값 scf_index[i]로부터, 하기의 수학식 1, 수학식 2에 나타내는 바와 같이 양 영역내의 scf_index[i]의 가산치 Vpsy, Vnon을 산출한다.

여기서,

psy_end=16 : 청각 심리 모델 비트 할당을 행하는 서브 밴드수

subband_end=30 : 전(全) 비트 할당 서브 밴드수

이다.

이어서, 인간의 귀에 감도가 좋은 저대역에, 보다 비트를 많이 배분하기 위해, Vpsy에 대하여 가중을 행하고,

Vpsy=Vpsy×0.75

청각 심리 모델 비트 할당 가능수 psy_num, 및 대역 출력 적응 비트 할당 가능수 non_num을 하기의 수학식에 근거하여 구한다.

Vnon=Vnon×psy-ratio

psy_num=all_alloc_num×Vnon/(Vpsy+Vnon)

non_num=all_alloc_num-psy_num

여기서,

all_alloc_num : 전체의 할당 가능 비트수

psy_ratio : psy_end/(subband_end-psy_end)

이다.

그룹마다 할당 가능 비트수의 범위내(psy_num, non_num)에서, 청각 심리 모델 비트 할당 수단(110)은, 청각 심리 분석 수단(105)으로부터의 SMR 값의 관계 모델을 이용하여, 저대역 그룹 A인 0∼15 서브 밴드에 대하여 비트 할당을 행한다. 한편, 대역 출력 적응 비트 할당 수단(109)에 있어서는, 고대역 그룹 B인 16∼29 서브 밴드에 대하여 비트 할당을 행한다. 또한, 무효 그룹 C인 30∼31 서브 밴드에 대해서는, 무효인 서브 밴드로 하였기 때문에, 비트 할당은 실행되지 않는다.

이들 비트 할당 수단에 의해 결정된 각 서브 밴드 신호로의 비트 할당수에 따라서, 각 서브 밴드 신호를 양자화/부호화 수단(106)에 있어서 양자화/부호화하고, 보조 정보 부호화 수단(107)에 의해 부호화된 헤더 정보와 보조 정보를 덧붙여, 비트 스트림 형성 수단(108)에 있어서 비트 스트림을 형성하여 출력한다.

처리량 제어 정보(121)로부터의 정보가, 예를 들어, 부호화 처리량을 감소시키기 위한 정보이었던 경우에는, 도 6에 도시하는 바와 같이, 처리량이 많은 청각 심리 모델 비트 할당 수단(110)의 비트 할당의 대상으로 되는 0∼15 서브 밴드 저대역 그룹 A의 대역폭을, 0∼7 서브 밴드 저대역 그룹 A'으로 감소시키고, 반대로 처리량이 작은 대역 출력 적응 비트 할당 수단(109)의 비트 할당의 대상으로 되는 대역폭을, 8∼29 서브 밴드 저대역 그룹 B'로 되도록 증가시킨다. 또한, 부호화 처리량의 감소를 고려하였을 때의 최종적인 형태는, 대역 출력 적응 비트 할당 수단(109)의 비트 할당의 대상을 0∼29 서브 밴드 그룹으로 함으로써 처리량을 제어한다. 이 경우에 있어서는, 실질적으로 청각 심리 모델 비트 할당 수단(110)은 동작하지 않기 때문에, FFT 수단(104), 및 청각 심리 분석 수단(105)도 동작하지 않는 것으로 된다.

한편, 처리량 제어 정보(121)로부터의 정보가, 예를 들어, 부호화 데이터의 고음질화를 도모하기 위한 정보이었던 경우에는, 고효율(고음질)인 비트 배분이 가능한 청각 심리 모델 비트 할당 수단(110)의 비트 할당의 대상으로 되는 대역폭을 증가시킨다. 또한, 고음질을 고려하였을 때의 최종적인 형태는, 청각 심리 모델 비트 할당 수단(110)의 비트 할당의 대상을 0∼29 서브 밴드 그룹으로 하는 것이다.

본 실시예에서는 이상과 같이 서브 밴드 그룹의 증감이나 비트 할당 수단의 전환을, 오디오 신호로 복호 가능한 최소 단위인 프레임 단위로 실행하는 것으로, 실시간으로 부호화 처리량을 제어 가능하게 하고 있다.

다음에 본 실시예 1에 의한 음성 부호화 장치의 전체적인 동작의 흐름에 대 하여 도 7을 참조하면서 설명한다. 우선, 도 7의 (a)에 도시하는 바와 같은 구성을 이용하여, 각 인코더(23, 24)의 처리 부하를 인식하기 위해, 각 인코더의 각 모드(비트 할당의 대상으로 되는 대역폭의 변화)에 있어서, 소정 시간분의 더미 데이터를 부호화함으로써, CPU 부하 감시부(700)는 각 모드에서의 CPU 부하값을 데이터 테이블(701)에 저장한다.

그리고, 샘플(데이터)이 입력되면, 도 7의 (b)의 단계 S70에 있어서, 서브 밴드 분석이 행해져 32의 주파수 성분으로 분할되며, 계속해서 단계 S71에 있어서 각 서브 밴드 신호의 배율 인자가 계산된다.

이어서, 단계 S72에 있어서, CPU 부하의 검출 데이터가 있는지 여부의 판정이 행해지고, 여기서는, 동작 개시 직후이기 때문에 CPU 부하 검출 데이터는 없으며, 따라서 단계 S74로 진행하여 가장 고음질인 음성 재생을 행할 수 있는 통상의 그룹 분리를 행하고, 단계 S75로 진행하여 청각 심리 모델 비트 할당 처리가 행해진다. 그리고, 단계 S76으로 진행하여 양자화/부호화 처리가 행해지고, 또한 단계 S79에 있어서 비트 스트림 형성이 행해지며 일련의 처리가 종료함과 동시에, 처리 종료시에, 입력된 소정수의 샘플의 부호화에 필요로 하는 시간을 CPU 부하 감시부(700)에 통지하여, 현재의 CPU의 부하가 검출된다.

그러면, 다음 번부터의 처리에 있어서는, 단계 S72에 있어서, CPU 부하 검출이 「유(有)」라고 판정되도록 되고, 단계 S73에 있어서, 검출된 CPU 부하가 실시간에서의 부호화가 불가능이라고 판정된 경우에는, 단계 S77로 진행하여, 데이터 테이블(701)을 참조하여 최적의 모드(그룹 분리)를 선택하며, 단계 S78에 있어서의 대역 비트 할당 처리를 병용하여 단계 S75에 있어서의 청각 심리 모델 비트 할당 처리를 각각, 소정의 비율로 실행하고, 단계 S76으로 진행하여 양자화/부호화 처리가 행해지며, 단계 S79에 있어서, 이들 부호화된 데이터를 이용한 비트 스트림이 형성되는 것으로 된다.

또, 본 실시예 1에 있어서의 할당 가능 비트 연산 수단(113)의 연산을, 배율·인자·인덱스값, 및 저대역, 고대역의 영역의 비를 고려하여, 각 그룹마다 독립된 비트 할당 수단에 대한 할당 가능 비트수를 연산하는 것으로 하였지만, 배율·인자·인덱스값 대신에 FFT 수단(104)으로부터의 각 그룹에 속하는 스펙트럼 신호 레벨로서도 좋고, 각 대역마다 사전에 설정한 최소 가청 한계값으로서도 좋다.

또한, 실시예 1에 있어서의 부호화기(101)의 처리량을 제어하기 위한 정보를, 부호화기(101)의 내부에, CPU의 처리량을 감시하는 CPU 부하 감시 수단(700)을 마련하여, CPU의 처리 능력을 초과하지 않도록 부호화기(101)를 동작시키도록 구성하였지만, 사용자 입력 등에 의한 외부로부터의 제어 정보로서도 좋다. 사용자 입력을 실행하는 것에 의해, 음질, 화질을 사용자의 기호에 따라 우선된 인코딩 처리를 실행하는 것이 가능해진다.

또한, 실시예 1에 있어서의 부호화기(101)의 비트 할당 수단으로서, 인간의 귀에 대하여 감도가 좋은 저대역에, 고효율로 비트 할당을 행하는 청각 심리 모델 비트 할당 수단(110)을 이용하고, 고대역에, 저부하로 비트 할당을 행하는 대역 출력 적응 비트 할당 수단(109)을 고정적으로 이용하도록 하였지만, 배율 인자 추출 수단(103)으로부터의 신호에 의해, 각 그룹에 속하는 서브 밴드 신호 레벨이, 사전 에 설정한 각 대역의 경계치 이하의 경우에는, 즉, 도 8에 도시하는 바와 같이, 저대역에 부호화 데이터로서 의미가 있는 신호가 고대역에 비해 적은 경우 등에는, 비트 할당 수단을 대역에 따라 고정적으로 이용할 필요는 없고, 고대역에 청각 심리 모델 비트 할당 수단(110)을 이용하도록 하더라도 좋다.

또한, 도 9에 도시하는 바와 같이, 배율 인자 추출 수단(103)으로부터의 신호에 의해, 각 그룹에 속하는 서브 밴드 신호 레벨과 임계값을 비교 판단하는 것은 아니라, 배율 인자 추출 수단(103)으로부터의 신호보다도 분해능(주파수의)이 높은, FFT 수단(104)으로부터의 신호를 비트 할당 처리 제어 수단(112)으로 입력하여, 각 그룹에 속하는 서브 밴드 신호의 레벨과, 사전에 설정한 각 대역의 임계값과의 비교 판단을 행하도록 구성하더라도 좋다.

(실시예 2)

다음에 본 발명의 실시예 2에 의한 데이터 기록 매체에 대하여 설명한다.

상기 실시예 1에서 나타낸 음성 부호화 장치 또는 부호화 방법의 구성을 실현하기 위한 부호화 프로그램을, 플로피 디스크 등의 데이터 기억 매체에 기록하도록 함으로써, 본 발명의 각 실시예에서 나타낸 처리를, 독립된 컴퓨터 시스템에 있어서 간단히 실시하는 것이 가능해진다.

즉, 도 10은, 상기 실시예 1의 부호화 처리를, 상기 부호화 프로그램을 저장한 플로피 디스크를 이용하여, 컴퓨터 시스템에 의해 실시하는 경우를 설명하기 위한 도면이다.

도 10의 (a)는, 플로피 디스크의 정면으로부터 본 외관, 단면 구조, 및 플로피 디스크 본체를 나타내고, 도 10의 (b)는, 해당 플로피 디스크 본체의 물리 포맷의 예를 나타내고 있다.

상기 플로피 디스크 FD는, 상기 플로피 디스크 본체 D를 플로피 디스크 케이스 FC 내에 수용한 구조로 되어 있고, 해당 플로피 디스크 본체 D의 표면에는, 동심원 형상으로 외주로부터 내주를 향해 복수의 트랙 Tr이 형성되며, 각 트랙 Tr은 각도 방향으로 16개의 섹터 Se로 분할되어 있다. 따라서, 상기 프로그램을 저장한 플로피 디스크 FD에서는, 상기 플로피 디스크 본체 D는, 그 위에 할당된 영역(섹터) Se에, 상기 프로그램으로서의 데이터가 기록된 것으로 되어 있다.

또한, 도 10의 (c)는, 플로피 디스크 FD에 대한 상기 프로그램의 기록, 및 플로피 디스크 FD에 저장한 프로그램을 이용한 음성 부호화 처리를 행하기 위한 구성을 나타내고 있다.

상기 프로그램을 플로피 디스크 FD에 기록하는 경우에는, 컴퓨터 시스템 Cs로부터 상기 프로그램으로서의 데이터를, 플로피 디스크 드라이브 FDD를 거쳐 플로피 디스크 FD에 기입한다. 또한, 플로피 디스크 FD에 기록된 프로그램에 의해, 상기 음성 부호화 장치를 컴퓨터 시스템 Cs 중에 구축하는 경우에는, 플로피 디스크 드라이브 FDD에 의해 프로그램을 플로피 디스크 FD로부터 판독하여, 컴퓨터 시스템 Cs로 로드한다.

또, 상기 설명에서는, 데이터 기록 매체로서 플로피 디스크를 이용하여 설명을 행하였지만, 광디스크를 이용하더라도 상기 플로피 디스크의 경우와 마찬가지로 소프트웨어에 의한 음성 부호화 처리를 행할 수 있다. 또한, 기록 매체는 상기 광디스크나 플로피 디스크에 한하는 것이 아니라, IC 카드, ROM 카셋트 등, 프로그램을 기록할 수 있는 것이면 좋고, 이들 기록 매체를 이용하는 경우라도, 상기 플로피 디스크 등을 이용하는 경우와 마찬가지로 소프트웨어에 의한 음성 부호화 처리를 실시할 수 있다.

(실시예 3)

다음에 본 발명의 실시예 3에 의한 음성 부호화 방식, 음성 부호화 장치에 대하여, 도면을 참조하면서 설명한다. 도 2에 도시한 고대역 부호화 처리 수단(24)의 구성으로서는, 예를 들어, 도 3에 도시한 바와 같은 구성을 이용한다. 또한, 저대역 부호화 처리 수단(23)의 구성으로서는, 예를 들어, 도 12에 도시하는 바와 같이, 도 11에 도시한 것과 마찬가지로, 각 대역 전력의 편재를 이용하여 각 대역(서브 밴드)마다 부호화를 행하는 부호화 방식을 이용하지만, 소정의 청각 심리 모델 분석 수단만을 이용한 각 서브 밴드 신호에 대한 비트 배분은 실행하지 않고, 새롭게 처리량이 적은 간이 청각 심리 모델부(4062)를 마련하여, 전 프레임에 출력된 청각 심리 모델부(4061)의 마스킹 임계값과 해당 프레임의 대역 분할 신호에 근거하여 생성된 비트 할당 정보로부터 비트 배분을 실행하는 것을 가능하게 하고 있다.

즉, 도 12는 도 2에 도시한 저대역 부호화 처리 수단(23)의 상세한 구성을 나타내는 블럭도로서, (401)은 부호화기이고, 후술하는 서브 밴드 분석 수단(402), 배율 인자 추출 수단(403), 비트 할당 처리 제어 수단(404), FFT 처리 수단(405), 청각 심리 분석 수단(406), 청각 심리 모델 비트 할당 수단(407), 양자화/부호화 수단(408), 보조 정보 부호화 수단(409), 비트 스트림 형성 수단(410)으로 구성되어 있다.

이하, 동작에 대하여 설명한다.

상기 서브 밴드 분석 수단(402)은 입력된 디지털 오디오 신호를 32개의 주파수 성분으로 분할한다. 배율 인자 추출 수단(403)은, 각 서브 밴드 신호에 대한 배율 인자를 계산하여, 각 서브 밴드 다이나믹 범위를 갖춘다. FFT 처리 수단(405)은 입력된 디지털 오디오 신호에 대하여, 고속 퓨리에 변환을 실시한다. 청각 심리 분석 수단(406)은, 예를 들어, MPEG에 의해 지정된 통상 청각 심리 모델부(4061) 및 상기 통상 청각 심리 모델부(4061)에 비해 처리량이 적은 상기 간이 청각 심리 모델부(4062)로 이루어지고, 각 모델은 신호 대 마스크비를 산출한다.

또, 상기 통상 청각 심리 모델부(4061)는 하기의 수학식 3에 근거하여 각 서브 밴드 신호의 신호 대 마스크비를 산출하는 것에 대하여, 상기 간이 청각 심리 모델부(4062)는 하기의 수학식 4에 나타내는 바와 같이 해당 프레임에 있어서는, 각 서브 밴드의 최소 마스킹·레벨의 산출은 행하지 않고, 상기 통상 청각 심리 모델부(4061)에 의해 산출된 최근의 전 프레임에서의 최소 마스킹·레벨을 이용하여, 음압(音壓)(압력)은 해당 프레임의 배율 인자 추출 수단(403)에 의해 추출된 배율 인자값을 이용하여 신호 대 마스크비를 산출한다.

SMRsb(n)=Lsb(n)-LTmin(n) db

여기서,

L_sb(n) : 각 서브 밴드의 음압

LT_min(n) : 각 서브 밴드의 최소 마스킹·레벨

이다.

SMRsb(n)=Lsb(n)-LTmin(n) db

여기서,

L_sb(n)=20·log(scf_max(n)·32768-10) db

scf_max(n) : 해당 프레임의 각 서브 밴드에 대한 배율·인자값

LT_min(n) : 최근의 상기 통상 청각 심리 모델부(4061)에 의해 산출된 각 서브 밴드의 최소 마스킹·레벨

비트 할당 처리 제어 수단(404)은, 처리량 제어 정보(121)의 정보를 기초로, 본 실시예 3에서는, 도 13에 도시하는 바와 같이 N을 3으로 하고, 저부하 처리가 실현 가능한 상기 간이 청각 심리 모델부(4062)와 고음질화를 실현할 수 있는 최적의 비트 배분 정보를 출력하는 것이 가능한 상기 통상 청각 심리 모델부(4061)를, 몇 프레임에 한번 행할까의 제어, 및 FFT 처리 수단(405)에 있어서의 고속 퓨리에 변환을 실행하는지 여부의 제어를 실행한다. 예를 들어, 도 13의 상태에 있어서, 처리량 제어 정보(121)의 정보로서, 부호화 처리에 할당하는 CPU 점유율을 낮춘다고 하는 정보가, 상기 비트 할당 처리 제어 수단(404)에 알려지면, 처리량이 작은 상기 간이 청각 심리 모델부(4062)의 사용을 많게 하기 위해, N의 값을 크게 한다. 반대로, 부호화 처리에 할당하는 CPU 점유율을 더 사용하더라도 좋다고 하는 정보가, 상기 비트 할당 처리 제어 수단(404)에 알려지면, 고음질화가 실현 가능한 상기 통상 청각 심리 모델부(4061)의 사용을 많게 하기 위해 N의 값을 작게 한다. 이에 따라, 처리량의 제어를 가능하게 할 수 있다.

청각 심리 모델 비트 할당 수단(407)은, 상기 비트 할당 처리 제어 수단(404)으로부터의 정보인 신호 대 마스크비의 관계로부터 상기 서브 밴드 분석 수단(402)에 의해 분할된 각 서브 밴드 신호에 대하여, 비트의 할당을 실행한다. 양자화/부호화 수단(408)에 의해, 각 서브 밴드 신호의 양자화, 및 부호화를 행하여, 보조 정보 부호화 수단(409)으로부터의 보조 데이터와 동시에 비트 스트림 형성 수단(410)에 의해 비트 스트림이 형성되어 출력된다.

이와 같이 본 실시예 3에 의하면, 비트 할당을 N 프레임에 한번의 비율로 실행하도록 하였기 때문에, 시간축 방향에서의 CPU 부하를 저감할 수 있게 된다.

또, 여기서는 가령 부호화기(401)를, 도 2에 도시한 저대역 부호화 처리 수단(23)으로 하였지만, 저대역 신호에 대해서만 적용되는 것은 아니라, 전(全) 대역 신호에 대하여 적용하도록 하더라도 좋다.

(실시예 4)

다음에 본 발명의 실시예 4에 의한 음성 부호화 방식, 음성 부호화 장치에 대하여, 도면을 참조하면서 설명한다. 도 14는, 도 11에 도시한 것과 마찬가지로, 각 대역 전력의 편재를 이용하여 각 대역(서브 밴드)마다 부호화를 행하는 부호화 방식을 이용하고 있지만, 출력 비트 스트림중에, 오디오 데이터 이외의 외부 데이터를 부가하는 기능을 구비하고 있는 점이 상이하다. 상기 외부 데이터로서는, 화상 데이터나 텍스트 데이터 등이 상정된다.

즉, 도 14에 도시하는 부호화기(501)는 후술하는 서브 밴드 분석 수단(502), 배율 인자 추출 수단(503), FFT 처리 수단(504), 청각 심리 분석 수단(505), 비트 할당 수단(506), 양자화/부호화 수단(507), 보조 정보 부호화 수단(508), 비트 스트림 형성 수단(509), 비트 할당 처리 제어 수단(510), 부가 데이터 부호화 수단(511)으로 구성되어 있다.

이하, 동작에 대하여 설명한다.

상기 서브 밴드 분석 수단(502)은, 입력된 디지털 오디오 신호를 32개의 주파수 성분으로 분할한다. 배율 인자 추출 수단(503)은, 각 서브 밴드 신호에 대한 배율 인자를 계산하여, 각 서브 밴드 다이나믹 범위를 갖춘다. FFT 처리 수단(504)은 입력된 디지털 오디오 신호에 대하여, 고속 퓨리에 변환을 실시한다. 청각 심리 분석 수단(505)는 예를 들어, MPEG에 의해 지정된 청각 심리 모델에 의해, 신호 대 마스크비를 산출한다.

비트 할당 처리 제어 수단(510)은, 출력 비트 스트림중에 부가하는 데이터를 일시적으로 저장해 놓은 부가 데이터 버퍼(512)를 감시하여, 부가 데이터가 있는지 여부의 판단, 또는 부가 데이터가 오버플로우하는지 여부의 판단으로부터 생성된 할당 범위 제어 정보(513)를 기초로, 비트 할당 수단(506)에 대하여, 비트 할당을 실행하는 범위를 지정한다.

예를 들어, 부가 데이터 버퍼(512)에 데이터가 존재하지 않는 경우에는, 도 15에 도시하는 바와 같이 서브 밴드 0∼29에 대하여 비트 할당이 행해진다. 이 경우, 전체의 할당 가능 비트수를 100으로 하고, 서브 밴드 0∼15에 80 비트, 서브 밴드 16∼29에 20 비트가 할당되어 있다.

그리고, 부가 데이터 버퍼(512)에 외부로부터 데이터가 기입되어, 부가 데이터가 존재하는 상태로 된 경우에는, 즉, 할당 범위 제어 정보(513)로서, 부가 데이터를 삽입한다고 하는 지시가, 비트 할당 처리 제어 수단(510)에 대하여 알려지고, 본 실시예 4에서는, 예를 들어, 서브 밴드 0∼15에 80 비트를 할당하며, 본래 할당되어야 할 서브 밴드 16∼29에 대해서는 비트 할당을 실행하지 않고, 남은 20 비트를 데이터의 부가 비트수로서 할당된다. 또한, 비트 할당이 행해지지 않은 서브 밴드(16) 이후의 서브 밴드에 대해서는, 처리량을 삭감하기 위해, 해당 범위의 FFT 처리, 및 청각 심리 분석을 실행하지 않도록 하더라도 좋다.

그리고, 상기 비트 할당이 행해진 서브 밴드에 대하여, 양자화/부호화 수단(507)에 의해, 양자화, 및 부호화를 실행하고, 보조 정보 부호화 수단(508)으로부터의 보조 데이터와, 예를 들어, MPEG의 비실시간 데이터로서 부호화된 부가 데이터와 동시에, 비트 스트림 형성 수단(509)에 의해 비트 스트림이 형성되어 출 력된다.

이와 같이 본 실시예 4에 의하면, 정(定) 비트 레이트에서의 전송을 실행할 때에, 오디오 데이터 이외의 부가 데이터의 양에 따라서, 부호화시의 비트 할당 범위를 제어하여 부호화하는 오디오 데이터의 양을 가변으로 하여 부호화 데이터 스트림중에 부가 데이터를 삽입하도록 하였기 때문에, 잉여 대역에 여러가지 데이터를 중첩하여 대역을 효율적으로 이용할 수 있다.

또, 비트 할당 처리 제어 수단(510)에 의해 실행되는 비트 할당 범위의 제어는, 프레임 단위로 실행하여, 그 비트 할당 범위도 부가 데이터 버퍼(512)의 데이터량에 따라서, 가변 가능하게 하고 있다.

이들 처리에 의해, 부가 데이터 삽입시에 있어서도 비트 할당 범위내의 음질을 손상하는 일 없이, 실시간으로 데이터 삽입량의 제어를 가능하게 할 수 있다.

(실시예 5)

다음에 본 발명의 실시예 5에 의한 음성 부호화 방식, 음성 부호화 장치에 대하여, 도면을 참조하면서 설명한다. 도 16은 본 실시예 5에 의한 음성 부호화 방식을 이용한 음성 부호화 장치의 부호화기의 구성을 나타내는 블럭도로서, 도면에 있어서, 도 2와 동일 부호는 동일 또는 상당 부분을 나타내고, (160∼162)는 각각 독립적으로 동작 가능한 부호화 처리 수단 A∼C, (163)은 각 부호화 처리 수단 A∼C의 처리 부하값 정보를 저장하기 위한 처리 부하값 저장 버퍼, (164)는 상기 각 부호화 처리 수단 A∼C에 샘플로 되는 데이터를 공급하기 위한 샘플 데이터 버 퍼이다.

다음에 동작에 대하여 설명한다. 부호화 처리를 실행하기 전의 초기화시에, 우선, 샘플 데이터 버퍼(164)에 저장되어 있는 소정의 샘플 데이터를 각 부호화 처리 수단 A∼C에 공급하고, 이것에 의해 발생하는 부호화 처리 수단 A∼C, 또는 청각 심리 모델의 처리 부하값을 처리 부하값 저장 버퍼(163)에 저장한다.

그리고, 상기 처리 부하값을 올림차순, 또는 내림차순에 의해 출력하는 것에 의해, 장치에서 사용되는 CPU의 성능에 적당한 부호화 처리 수단을 신속히 선택하여, 해당 부호화 처리 수단에 의해 부호화 처리를 실행한다.

부호화 처리의 내용에 대해서는, 실시예 1에서 나타낸 것과 동일하기 때문에 개개에 대해서는 생략한다.

이와 같이 본 실시예에 의하면, 부호화 처리전의 초기화시에, 샘플 데이터를 이용하여 각 부호화 처리 수단을 동작시켜, 그 때의 부하값을 취득하고, 사용하는 CPU의 처리 능력에 적절한 부호화 처리 수단을 선택하여 이용하도록 하였기 때문에, CPU의 부하가 감소하여, 최적의 부호화 처리를 실행할 수 있게 된다.

또, 이상의 각 실시예에서는, 음성 부호화 장치로서, PC를 이용하여 실현하는 구성을 예로 들어 설명하였지만, 예를 들어 VTR 카메라나 DVD 인코더 등의 기기에 내장하여 이용하는 것 같은 경우에도 적용할 수 있다.

또한, 상기 각 실시예에서는, 음성만을 취급하도록 하였지만, 음성과 동시에 영상을 처리하는 경우에는, 도 17에 도시하는 바와 같이, 도 2의 구성에 있어서, 음성 신호와는 별도로 영상 신호를 입력하여, 저대역 부호화 처리 수단과 고대역 부호화 처리 수단 대신에, 영상 부호화 처리 수단(170)과 음성 부호화 처리 수단(171)을 마련하고, 또한, 비트 스트림 형성 처리 수단 대신에 시스템 스트림 형성 처리 수단(172)을 마련한 구성으로 하는 것에 의해, 대응할 수 있다. 이상과 같은 구성을 이용하여, 외부로부터의 제어 정보에 근거하여, 상기 각 실시예에서 설명하였던 것 같은 방법으로, 음성 부호화의 연산량을 변경하거나, 연산량이 상이한 복수의 음성 부호화 방식을 전환하거나 함으로써, CPU로서의 전체의 연산량을 제어하는 것이 가능해진다. 또한, 또는, 부호화해야 할 음성 신호의 량에 따라서, 부호화하는 영상 신호의 처리량을 변화시키도록 구성하더라도 좋다.

또한, 서브 밴드 방식의 코딩을 실행하는 MPEG1 이외에, 시간/주파수 변환을 행하는 MPEG2, AAC, Dolby AC-3, ATRAC(MD) 등의 코딩 방식을 실행하는 경우에 대해서도, 부호화 처리에 관계하는 각 수단을, 도 18에 도시하는 바와 같이 연산량이 다른 제 1 양자화 정보 산출 수단(181)과 제 2 양자화 정보 산출 수단(182)으로 치환함과 동시에, 이들을 양자화 수단 제어 수단(180)에 의해 선택하여 사용하고, 부호화 정보 대신에 양자화 정보를 취급하는 구성으로 함으로써, 마찬가지로 대응하는 것이 가능하다.

이상과 같이, 본 발명의 청구항 1에 관한 음성 부호화 방식에 따르면, 디지털 오디오 신호를 복수의 주파수 대역으로 분할하여, 각 대역마다 부호화를 실행하는 음성 부호화 방식에 있어서, 상기 분할된 각 대역에 대한 비트 할당 정보를 생 성하고, 각각 처리량이 상이한 비트 할당 수단을 복수개 가지며, 외부로부터의 제어 정보에 근거하여, 상기 복수의 비트 할당 수단중에서, 소정의 비트 할당 수단을 이용하여 처리가 이루어지도록, 사용하는 비트 할당 수단을 전환해서 비트 할당을 실행하여, 부호화를 실행하도록 하였기 하도록 하였기 때문에, 항상 최적의 처리량의 비트 할당 수단을 선택하여 사용할 수 있고, 가동 상태에 있어서 점유할 수 있는 CPU의 처리량을 초과하지 않도록 부호화가 가능해지며, 실시간 인코딩시에 처리가 입력 신호에 대하여 일치한다고 하는, 즉 재생음에 소리 끊김이 없는 부호화를 실행할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 2에 관한 음성 부호화 방식에 따르면, 상기 외부로부터의 제어 정보로서, 부호화 처리를 실행하기 위해 점유할 수 있는 중앙 연산 처리 장치의 처리량을 나타내는 부하값을 이용하고, 상기 부하값에 근거하여 상기 중앙 연산 처리 장치상에서 부호화 처리에 있어서 각 비트 할당 수단을 이용하고, 부호화 동작을 실행하였을 때의 각 처리량을 사전에 기억한 데이터 테이블를 참조하여, 상기 부호화 처리가 점유할 수 있는 중앙 연산 처리 장치의 처리량을 초과하지 않도록 상기 비트 할당 수단의 선택을 실행하도록 하였기 때문에, 중앙 연산 처리 장치는 항상 가동 능력을 초과하는 요구를 받지 않게 되어, 시스템 전체의 제어를 원활하게 실행할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 3에 관한 음성 부호화 방식에 따르면, 상기 청구항 2에 기재된 음성 부호화 방식에 있어서, 상기 부하값으로서, 부호화 처리를 실행하기 위해 점유 가능한 상기 중앙 연산 처리 장치의 처리량을 감시하는 감시 수단으 로부터의 처리량 제어 정보를 이용하였기 때문에, 점유 가능한 중앙 연산 처리 장치의 최고 퍼포먼스의 범위내에서, 최적의 처리량의 비트 할당 수단을 선택할 수 있어, 실시간 인코딩시에 처리가 입력 신호에 대하여 일치하는, 즉 재생음에 소리 끊김이 없는 부호화를 실행할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 4에 관한 음성 부호화 방식에 따르면, 상기 청구항 1에 기재된 음성 부호화 방식에 있어서, 상기 비트 할당 수단에 의한 비트 할당 처리로서, 부호화 데이터의 고음질화를 실현 가능한 고효율로 비트 할당을 실행하는 고효율 비트 할당 방법을 이용한 처리와, 상기 고효율 비트 할당 방법을 이용한 처리와 비교하여 처리량이 적은 저부하에 의해 비트 할당을 실행하는 저부하 비트 할당 방법을 이용한 처리를 실행하도록 하였기 때문에, 부호화기가 부호화 데이터의 고음질화를 우선으로 하던가, 또는 음질보다도 부호화 처리의 저부하성을 우선으로 하던가의 처리를 적절히 전환하여 실행할 수 있는 부호화를 실현할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 5에 관한 음성 부호화 방식에 따르면, 상기 청구항 1에 기재된 음성 부호화 방식에 있어서, 상기 부호화시에 사용되는 비트 할당 수단의 전환을, 오디오 신호에 복호 가능한 최소 단위인 프레임 단위로 실행하도록 하였기 때문에, 실시간 인코딩시에, 동작 CPU상에서 해당 CPU를 공유하는 다른 어플리케이션 등의 CPU 점유율이 갑자기 커진 경우 등에 있어서도, 프레임 단위 시간으로 부호화 처리가 점유할 수 있는 CPU의 처리량에 추종 가능해지고, 또한 실시간으로 음질이나 처리량을 제어 가능하게 할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 6에 관한 음성 부호화 방식에 따르면, 상기 청구항 1에 기재된 음성 부호화 방식에 있어서, 복수의 주파수 대역으로 분할된 각 대역의 서브 밴드 신호를, 각각 사전에 정해진 소정 개수의 서브 밴드 신호로 이루어지는 그룹으로 되도록 그룹 분리를 실행하고, 각 그룹에 대하여 독립된 비트 할당 처리를 실행하며, 각 대역에 대한 비트 할당 정보를 생성하도록 하였기 때문에, 각 대역마다의 특성에 따른 비트 할당 처리를 선택하여 부호화를 실행할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 7에 관한 음성 부호화 방식에 따르면, 상기 청구항 6에 기재된 음성 부호화 방식에 있어서, 상기 그룹 분리는, 그룹의 수, 또는 그룹내의 주파수 축 방향으로 연속된 서브 밴드 신호의 수를, 상기 외부로부터의 제어 정보에 의해 지정된 수, 또는 상기 감시 수단으로부터의 처리량 제어 정보에 근거하여 지정된 수로 되도록, 가변적으로 실행되도록 하였기 때문에, CPU의 사용 상황에 따라 다이나믹으로 그룹 분리를 실행할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 8에 관한 음성 부호화 방식에 따르면, 상기 청구항 7에 기재된 음성 부호화 방식에 있어서, 상기 서브 밴드 신호의 수의 변경 처리를, 오디오 신호에 복호 가능한 최소 단위인 프레임 단위로 실행하도록 하였기 때문에, 비트 할당 방식의 변경을 섬세하고 치밀하게 실행할 수 있어, 고정밀도의 부호화기를 실현할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 9에 관한 음성 부호화 방식에 따르면, 상기 청구항 8에 기재된 음성 부호화 방식에 있어서, 상기 그룹 분리시에, 비트 할당을 실행하 지 않은 그룹을 적어도 1개 마련하도록 하였기 때문에, 오디오 신호에 복호 가능한 최소 단위인 프레임 단위로, 그룹의 수, 또는 그룹내의 주파수 축 방향으로 연속한 서브 밴드 신호의 수를, 외부로부터의 제어 정보에 의해 지정된 수, 또는 감시 수단으로부터의 처리량 제어 정보에 의해 지정된 수로 전환함으로써, 비트 할당이 실행되지 않은 그룹에 속하는 대역의 신호를 부호화 처리할 필요가 없어지고, 또한 비트 할당이 실행되지 않은 그룹에 속하는 대역에 할당되어야 하는 비트를, 비트 할당이 실행되는 다른 그룹의 대역에 분배할 수 있어, 그 결과 부호화 처리가 점유하는 CPU의 처리량을 제어 가능하게 됨과 동시에, 비트 할당이 실행되는 다른 그룹의 대역의 음질을 향상시킬 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 10에 관한 음성 부호화 방식에 따르면, 상기 청구항 6에 기재된 음성 부호화 방식에 있어서, 상기 서브 밴드 신호의 그룹 분리에 의해, 저대역에 속하는 그룹으로 그룹 분리된 서브 밴드 신호에 대하여, 부호화 데이터의 고음질화를 실현 가능한 고효율 비트 할당 방법을 이용하여, 그룹내의 서브 밴드 신호에 비트 할당을 실행하는 한편, 고대역에 속하는 그룹으로 그룹 분리된 서브 밴드 신호에 대하여, 상기 고효율 비트 할당 방법과 비교하여 처리량이 적은 저부하 비트 할당 처리를 이용하여, 그룹내의 서브 밴드 신호에 비트 할당을 실행하도록 하였기 때문에, 인간의 귀에 대하여 감도가 우수한 저대역에 대해서는 부호화 데이터의 고음질화를 도모할 수 있는 한편, 사람의 귀에 대하여 감도가 불량한 고대역에 대해서는 처리량 우선의 저부하 비트 할당을 이용할 수 있도록 되어, 전체로서 처리량을 삭감한 부호화를 실행할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 11에 관한 음성 부호화 방식에 따르면, 상기 청구항 6에 기재된 음성 부호화 방식에 있어서, 각 그룹마다 독립된 비트 할당 수단에 대한 할당 가능 비트수를 결정하는 할당 가능 비트 연산 수단을 마련하고, 각 그룹의 그룹 전체에 대한 비율에, 각 그룹에 속하는 각 대역마다의 특성에 근거한 가중을 가미한 것을 이용하여, 그룹 전체에 대한 할당 가능 비트수를, 각 그룹마다 독립된 비트 할당 수단에 대하여 할당하도록 하였기 때문에, 입력 신호, 또는 각 대역의 특성에 대하여, 청각 특성을 고려한 부호화 데이터의 고음질을 실현함에 있어서 최적인 각 그룹의 비트 할당 수단에 대한 비트 배분이 가능한 부호화를 실행할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 12에 관한 음성 부호화 방식에 따르면, 상기 청구항 11에 기재된 음성 부호화 방식에 있어서, 각 그룹에 속하는 각 대역마다의 특성에 근거한 가중을, 각 대역마다의 소정의 최소 가청 한계값에 근거한 가중으로 함에 의해, 상기 인간이 들을 때에 의미 있는 효과적인 비트 할당 처리를 실행할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 13에 관한 음성 부호화 방식에 따르면, 상기 청구항 11에 기재된 음성 부호화 방식에 있어서, 각 그룹에 속하는 각 대역마다의 특성에 근거한 가중을, 입력 디지털 오디오 신호에 서브 밴드 분석을 실시하여 얻어지는, 각 그룹에 속하는 각 주파수 대역의 서브 밴드 신호 레벨에 근거한 가중으로 함에 의해, 효과적인 비트 할당 처리를 실행할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 14에 관한 음성 부호화 방식에 따르면, 상기 청구항 11에 기재된 음성 부호화 방식에 있어서, 각 그룹에 속하는 각 대역마다의 특성에 근거한 가중을, 입력 디지털 오디오 신호에 선형 변환을 실시하여 얻어지는, 각 그룹에 속하는 스펙트럼 신호 레벨에 근거한 가중으로 함에 의해, 효과적인 비트 할당 처리를 실행할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 15에 관한 음성 부호화 방식에 따르면, 상기 청구항 6에 기재된 음성 부호화 방식에 있어서, 각 그룹에 속하는 신호 레벨이, 소정의 임계값 이상의 고레벨인 신호에 대해서는, 부호화 데이터의 고음질화를 실현 가능한 고효율 비트 할당 방법을 이용하여 비트 할당을 실행하고, 각 그룹에 속하는 신호 레벨이, 소정의 임계값 이하의 저레벨인 신호에 대해서는, 상기 고효율 비트 할당 방법과 비교하여 처리량이 적은 저부하 비트 할당 방법을 이용하여 비트 할당을 실행하도록 하였기 때문에, 다른 대역에 비교하여 부호화 데이터로서 그 만큼 중요하지 않은 신호에 대하여, 처리 부하를 할당하지 않고서, 부호화 데이터의 고음질화를 도모할 수 있는 부호화를 실행할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 16에 관한 음성 부호화 방식에 따르면, 상기 청구항 15에 기재된 음성 부호화 방식에 있어서, 상기 각 그룹에 속하는 신호 레벨을, 입력 디지털 오디오 신호에 서브 밴드 분석을 실시하여 얻어지는 서브 밴드 신호 레벨로 함에 의해, 효과적인 비트 할당 처리를 실행할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 17에 관한 음성 부호화 방식에 따르면, 상기 청구항 15에 기재된 음성 부호화 방식에 있어서, 상기 각 그룹에 속하는 신호 레벨을, 입력 디지털 오디오 신호로 선형 변환을 실시하여 얻어지는 스펙트럼 신호 레벨로 하였기 때문에, 효과적인 비트 할당 처리를 실행할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 18에 관한 음성 부호화 방식에 따르면, 상기 청구항 15에 기재된 음성 부호화 방식에 있어서, 상기 각 그룹에 속하는 신호 레벨을, 소정의 각 대역마다의 최소 가청 한계값으로 하였기 때문에, 상기 인간이 들을 때에 의미 있는 효과적인 비트 할당 처리를 실행할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 19에 관한 음성 부호화 방식에 따르면, 상기 청구항 4, 10, 15 중 어느 한 항에 기재된 음성 부호화 방식에 있어서, 상기 부호화 데이터의 고음질화를 실현 가능한 고효율 비트 할당 처리는, 소정의 청각 심리 모델에 근거하는 신호 대 마스크비값과의 관계를 사용하여 실행되는 비트 할당 처리이고, 상기 고효율 비트 할당 처리와 비교하여 처리량이 적은 저부하 비트 할당 처리는, 복수의 주파수 대역으로 분할된 신호 레벨에 각 대역마다의 소정의 최소 가청 한계값을 가미하여 실행되는 비트 할당을 실행하였기 때문에, 전체로서 인간의 귀로 들은 한은 음질을 손상하지 않고서, 시스템의 처리량을 경감할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 20에 관한 음성 부호화 방식은, 상기 청구항 19에 기재된 음성 부호화 방식에 있어서, 상기 청각 심리 모델이 MPEG에 의해 지정된 청각 심리 모델로 함에 의해, MPEG(Motion Picture Experts Group)을 이용한 음성 부호화 처리에 있어서도 상기와 마찬가지의 효과를 얻을 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 21에 관한 음성 부호화 방식은, 상기 청구항 5 또는 청구항 8에 기재된 음성 부호화 방식에 있어서, 상기 오디오 신호에 복호 가능한 최소 단위인 프레임이, MPEG(Motion Picture Experts Group)에 의해 지정된 프레임으로 함에 의해, MPEG를 이용한 음성 부호화 처리에 있어서도 상기 마찬가지의 효과를 얻을 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 22에 관한 음성 부호화 방식에 따르면, 상기 청구항 1에 기재된 음성 부호화 방식에 있어서, 상기 비트 할당 수단은, 분할화된 각 대역에 대하여, 소정의 청각 심리 모델로부터 출력되는 정보에 근거하여 비트 할당 정보를 생성하는 것이며, N(N=1, 2, 3…) 프레임에 한번, 상기 소정의 청각 심리 모델로부터 출력되는 정보에 근거하여 비트 할당 정보를 생성하고, 상기 비트 할당 정보를 생성하지 않은 프레임에 대해서는, 상기 청각 심리 모델로부터 출력된 정보와 상기 분할된 각 대역의 신호 정보에 근거하여 비트 할당 정보를 생성하여, 부호화를 실행하도록 하였기 때문에, 시간축 방향에서의 CPU 부하를 저감할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 23에 관한 음성 부호화 방식에 따르면, 상기 청구항 1에 기재된 음성 부호화 방식에 있어서, 단계적으로 처리량의 제어 가능한 청각 심리 모델을 갖고, 외부로부터의 제어 정보에 근거하여, 상기 청각 심리 모델의 처리량 제어를 실행하며, 소정의 처리량의 청각 심리 모델을 이용하여 처리가 이루어지도록, 각 대역에 대해 비트 할당 정보를 생성하였기 때문에, 청각적인 효과를 가미한 CPU 부하 제어를 실행할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 24에 관한 음성 부호화 방식에 따르면, 상기 청구항 1에 기재된 음성 부호화 방식에 있어서, 각각 처리량이 상이한 청각 심리 모델을 복수개 갖고, 외부로부터의 제어 정보에 근거하여, 상기 복수의 청각 심리 모델중에서, 소정의 청각 심리 모델을 이용하여 처리가 이루어지도록, 사용하는 청각 심리 모델을 전환하여, 각 대역에 대한 비트 할당 정보를 생성하도록 하였기 때문에, 보다 간단히 청각적인 효과를 가미한 CPU 부하 제어를 실행할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 25에 관한 음성 부호화 방식에 따르면, 디지털 오디오 신호를 복수의 주파수 대역으로 분할하여, 상기 분할된 각 대역에 대한 비트 할당 정보를 생성하고, 소정 비트 레이트에서의 전송을 목적으로 하여 각 대역마다 부호화를 실행하는 음성 부호화 방식에 있어서, 부호화 데이터 스트림중에 데이터를 삽입하는 프레임에 있어서의 비트 할당 범위를 제어하여, 부호화 오디오 데이터량을 가변으로 제어하도록 하였기 때문에, CPU 처리의 부하가 일정하게 됨과 동시에, 잉여 대역에 여러가지의 데이터를 중첩하여 대역을 효율적으로 이용할 수 있다고 하는 효과를 얻을 수 있다.

또한, 본 발명의 청구항 26에 관한 음성 부호화 방식에 따르면, 상기 청구항 25에 기재된 음성 부호화 방식에 있어서, 외부로부터의 제어 정보에 근거하여, 프레임 단위로 비트 할당 범위를 제어하여, 부호화 오디오 데이터량을 가변으로 제어하였기 때문에, CPU의 처리 부하를 효율적으로 저감할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 27에 관한 음성 부호화 방식에 따르면, 상기 청구항 26에 기재된 음성 부호화 방식에 있어서, 상기 외부로부터의 제어 정보로서, 부가 데이터의 버퍼를 감시하는 감시 수단으로부터의 데이터량 제어 정보를 이용하도록 하였기 때문에, 부하 데이터를 우선적으로 중첩할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 28에 관한 음성 부호화 방식에 따르면, 상기 청구항 1에 기재된 음성 부호화 방식에 있어서, 부호화 처리가 실행되는 중앙 연산 처리 장치의 성능에 따라서, 부호화 처리 동작전의 초기화시에 복수의 비트 할당 수단, 또는 복수의 청각 심리 모델의 각 처리 부하값 정보를 외부로 출력하도록 하였기 때문에, 실제로 부호화를 실행하기 전에, 사용되는 CPU의 성능에 관한 정보를 취득할 수 있어, CPU의 처리 부하를 효율적으로 저감할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 29에 관한 음성 부호화 방식에 따르면, 상기 청구항 28에 기재된 음성 부호화 방식에 있어서, 외부로의 정보로서 출력되는 복수의 비트 할당 수단, 또는 복수의 청각 심리 모델의 각 처리 부하값 정보가, 내림차순, 혹은 올림차순으로 출력되도록 하였기 때문에, 부호화 처리 수단의 선택을 신속히 실행할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 30에 관한 음성 부호화 방식에 따르면, 영상 신호, 음성 신호의 부호화 처리가 동일한 중앙 연산 처리 장치에 의해 처리가 이루어지는 음성 부호화 방식에 있어서, 상이한 복수의 연산량에 의해 부호화를 실행하는 것으로, 상기 음성 신호 또는 영상 신호의 부호화의 연산량을 변경함으로써, 상기 중앙 연산 처리 장치상에서의 처리의 전체적인 연산량을 제어하도록 하였기 때문에, 음성과 더불어 영상 신호를 부호화하는 처리에 있어서도, CPU의 부하 처리를 실행할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 31에 관한 음성 부호화 방식에 따르면, 영상 신호, 음성 신호의 부호화 처리가 동일한 중앙 연산 처리 장치에 의해 처리가 이루어지는 음성 부호화 방식에 있어서, 연산량이 상이한 복수의 부호화 방식을 이용하여 부호화를 실행하는 것으로, 상기 음성 신호의 부호화의 부호화 방식을 변경함으로써, 상기 중앙 연산 처리 장치상에서의 처리의 전체적인 연산량을 제어하도록 하였기 때문에, 음성과 더불어 영상 신호를 부호화하는 처리에 있어서도, CPU의 부하 처리를 실행할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 32에 관한 음성 부호화 방식에 따르면, 상기 청구항 30에 기재된 음성 부호화 방식에 있어서, 상기 중앙 연산 처리 장치상에서의 처리의 제어를, 외부로부터의 제어 정보에 근거하여 실행하도록 하였기 때문에, CPU의 처리 부하를 효율적으로 저감할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 33에 관한 음성 부호화 방식에 따르면, 상기 청구항 31에 기재된 음성 부호화 방식에 있어서, 상기 중앙 연산 처리 장치상에서의 처리의 제어를, 외부로부터의 제어 정보에 근거하여 실행하도록 하였기 때문에, CPU의 처리 부하를 효율적으로 저감할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 34에 관한 음성 부호화 방식에 따르면, 디지털 오디오 신호에 대하여, 시간/주파수 변환을 실시하여, 양자화 정보를 생성함으로써 부호화를 실행하는 음성 부호화 방식에 있어서, 각각 연산량이 상이한 복수의 양자화 정보 산출 수단을 갖고, 외부로부터의 제어 정보에 근거하여, 상기 복수의 양자화 정보 산출 수단중에서, 소정의 양자화 정보 산출 수단을 선택하여 처리가 실행되도록, 사용하는 양자화 정보 산출 수단을 전환하여 양자화 정보를 산출하여 부호화를 실행하도록 하였기 때문에, 시간/주파수 변환 방식의 코딩을 실행하는 부호화 처리 장치에 있어서도, CPU의 처리 부하를 저감할 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 35에 관한 음성 부호화 장치에 따르면, 상기 청구항 1에 기재된 음성 부호화 방식을 이용하여 음성 부호화를 실행하도록 하였기 때문에, 해당 음성 부호화 방식을 내장한 VTR 카메라 등의 기기에 있어서도 상기 마찬가지의 효과를 얻을 수 있다고 하는 효과가 있다.

또한, 본 발명의 청구항 36에 관한 데이터 기억 매체는, 상기 청구항 1에 기재된 음성 부호화 방식의 단계가 기록되어 있기 때문에, 해당 기억 매체를 이용하여 상기 음성 부호화 방식을 장치에 내장함에 의해, 상기 마찬가지의 효과를 얻을 수 있다고 하는 효과가 있다.

이상 본 발명자에 의해서 이루어진 발명을 상기 실시예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시예에 한정되는 것이 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

Claims (36)

1. 입력 디지털 음성 신호를 복수의 주파수 서브 밴드로 분할하고, 개개의 서브 밴드에 대하여 부호화 처리를 실행하는 음성 부호화 장치에 있어서,

   상기 개개의 분할된 서브 밴드에 할당되는 비트의 수를 산출하는 처리로서, 상이한 처리량 및 알고리즘을 사용하는 복수 타입의 산출 처리를 갖는 비트 할당 수단과,

   개개의 서브 밴드에 대하여, 상기 비트 할당 수단에 의하여 실행될 산출 처리를, 사용자에 의해 외부로부터 입력되는 제어 정보에 따라 상기 복수 타입의 산출 처리로부터 선택하는 선택 수단과,

   상기 비트 할당 수단에 의하여 산출된, 개개의 서브 밴드에 할당되는 비트 수의 범위 내에서 개개의 서브 밴드에 대한 양자화 및 부호화를 수행하는 부호화 수단

   을 구비하는 음성 부호화 장치.
2. 제 1 항에 있어서,

   상기 디지털 음성 신호는 시간 축 방향으로 복수의 음성 프레임을 포함하며,

   상기 선택 수단은 개개의 음성 프레임에 대한 산출 처리를 선택하는

   음성 부호화 장치.
3. 제 1 항에 있어서,

   상기 선택 수단은 고 주파수 서브 밴드 그룹의 부분을 형성하는 서브 밴드와 저 주파수 서브 밴드 그룹의 부분을 형성하는 서브 밴드에 대한 산출 처리를 선택하는 음성 부호화 장치.
4. 제 1 항에 있어서,

   상기 디지털 음성 신호를 퓨리에 변환하여 얻어지는 특징 및 청각 특징에 근거하여 디지털 음성 신호 대 마스크 비의 관계 모델을 동적으로 산출하는 분석 수단을 더 구비하며,

   상기 비트 할당 수단의 산출 처리 중의 적어도 하나는 상기 동적으로 산출된 관계 모델에 근거하여 개개의 서브 밴드에 할당되는 비트 수를 산출하는 산출 처리인 음성 부호화 장치.
5. 제 4 항에 있어서,

   상기 동적으로 산출된 관계 모델은 산출 후에 상기 장치에 정적으로 저장되며, 상기 비트 할당 수단의 산출 처리 중 적어도 하나는 상기 저장된 정적 관계 모델에 근거하여 개개의 서브 밴드에 할당되는 비트의 수를 산출하는 산출 처리인 음성 부호화 장치.
6. 제 5 항에 있어서,

   상기 비트 할당 수단의 적어도 하나의 산출 처리는, 개개의 서브 밴드의 신호 레벨 및 상기 저장된 정적 관계 모델에 근거하여 개개의 서브 밴드에 할당되는 비트의 수를 산출하는 산출 처리인 음성 부호화 장치.
7. 제 5 항에 있어서,

   상기 디지털 음성 신호는 시간축 방향으로 복수의 음성 프레임을 포함하며,

   상기 선택 수단은 동적 관계 모델에 근거하는 산출 처리 및 기설정된 음성 프레임 주기를 갖는 정적 관계 모델에 근거하는 산출 처리 중의 하나를 선택하는 음성 부호화 장치.
8. 입력 디지털 음성 신호가 복수의 주파수 서브 밴드로 분할되고 개개의 서브 밴드에 대하여 부호화 처리가 실행되는 음성 부호화 방법에 있어서,

   상기 개개의 분할된 서브 밴드에 할당되는 비트의 수를 산출하는 처리로서, 상이한 처리량 및 알고리즘을 갖는 복수 타입의 산출 처리를 갖는 비트 할당 단계와,

   상기 비트 할당 단계 동안 실행될 산출 처리를 외부 제어 정보에 따라 상기 복수 타입의 산출 처리 중에서 선택하는 선택 단계와,

   상기 비트 할당 단계에 의하여 산출된, 개개의 서브 밴드에 대해 할당되는 비트 수의 범위 내에서 개개의 서브 밴드에 대한 양자화 및 부호화를 수행하는 부호화 단계

   를 포함하는 음성 부호화 방법.
9. 제 1 항에 있어서,

   상기 외부 제어 정보는 상기 부호화 처리에 의해 점유될 수 있는 중앙 연산 처리 장치의 처리량을 나타내는 부하값인 음성 부호화 장치.
10. 제 9 항에 있어서,

    상기 부하값은 상기 부호화 처리에 의해 점유될 수 있는 상기 중앙 연산 처리 장치의 처리량을 감시하는 감시 수단으로부터의 처리량 제어 정보인 음성 부호화 장치.
11. 제 8 항에 있어서,

    상기 부호화 처리에 의해 점유될 수 있는 중앙 연산 처리 장치의 처리량을 나타내는 부하값이 외부 제어 정보로서 사용되는 음성 부호화 방법.
12. 제 11 항에 있어서,

    상기 부호화 처리에 의해 점유될 수 있는 상기 중앙 연산 처리 장치의 처리량을 감시하는 감시 수단으로부터의 처리량 제어 정보가 상기 부하값으로서 사용되는 음성 부호화 방법.
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제
36. 삭제

Images