JPWO2006025332A1 - サンプリングレート変換演算装置 - Google Patents

サンプリングレート変換演算装置 Download PDF

Info

Publication number
JPWO2006025332A1
JPWO2006025332A1 JP2006532678A JP2006532678A JPWO2006025332A1 JP WO2006025332 A1 JPWO2006025332 A1 JP WO2006025332A1 JP 2006532678 A JP2006532678 A JP 2006532678A JP 2006532678 A JP2006532678 A JP 2006532678A JP WO2006025332 A1 JPWO2006025332 A1 JP WO2006025332A1
Authority
JP
Japan
Prior art keywords
digital signal
signal sequence
sampling frequency
processing unit
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006532678A
Other languages
English (en)
Inventor
和氣 裕之
裕之 和氣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2006025332A1 publication Critical patent/JPWO2006025332A1/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03HIMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00Networks using digital techniques
    • H03H17/02Frequency selective networks
    • H03H17/06Non-recursive filters
    • H03H17/0621Non-recursive filters with input-sampling frequency and output-delivery frequency which differ, e.g. extrapolation; Anti-aliasing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/173Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

会話音声データに要求される低遅延性と、オーディオデータに要求される高音質とを同時に満足する、安価で高性能なサンプリングレート変換演算装置を提供すること。 第1のデジタル信号処理部は、低遅延性が要求される会話音声データを、出力端子(111)の標本化周波数に合わせて出力する。第2のデジタル信号処理部は、低遅延性よりも高品質が要求されるオーディオデータを、出力端子(111)の標本化周波数に合わせて出力する。加算部(107)は、第1のデジタル信号処理部が出力した会話音声データと、第2のデジタル信号処理部が出力したオーディオデータとを加算して、出力端子(111)から出力する。

Description

本発明は、サンプリングレート変換演算装置に関し、より特定的には、複数のデジタル信号系列のサンプリングレートを変換するサンプリングレート変換演算装置に関する。
近年のデジタルデバイスの発達を背景として、従来アナログ回路で実現していた様々な信号処理回路が、デジタル信号処理により実現されるようになった。
デジタル信号処理では、入力信号を離散時点で標本化し、これをデジタル数値で量子化したデジタル信号系列を使って各種の処理を実現する。一般的によく利用されている線形時不変システム(linear time invariant system)では、標本化の時間間隔が常に一定であるものとみなしているため、標本化の時間間隔が異なるデジタル信号系列同士を同時に扱うことはできない。
サンプリングレート変換演算装置(もしくは、リサンプリングシステム)とは、デジタル信号系列の標本化の時間間隔を変換するための装置である。従来のサンプリングレート変換演算装置は、標本化間隔(逆数を「サンプリング周波数」、もしくは「標本化周波数」ともいう)を整数分の1に狭めるインタポレーション処理部と、標本化間隔を整数倍に延ばすデシメーション処理部からなっていた(例えば、特許文献1参照)。図15は、従来のサンプリングレート変換演算装置の構成を示すブロック図である。図15において、従来のサンプリング変換演算装置は、入力端子301、インタポレーション処理部302、信号線303、デシメーション処理部304、及び出力端子305を備える。
インタポレーション処理部302に入力されたデジタル信号系列は、インタポレーション処理によって、標本化間隔を整数分の1に狭められた信号として、信号線303から出力される。インタポレーション処理が施されたデジタル信号系列は、標本化間隔を狭められた倍数分だけ標本点のデータ量が増える。この増えたデータ量を間引きするため、デシメーション処理部304は、デジタル信号系列の標本化間隔を整数倍に延ばして、データ量を調整している。
これらの一連の処理により、従来のサンプリングレート変換演算装置は、入力端子301から入力されたデジタル信号系列に対して、有理数比で標本化間隔の変換を行い、変換後のデジタル信号系列を出力端子305から出力していた。
特開平8−46484号公報
しかしながら、従来のサンプリングレート変換演算装置においては、高音質であることが要求されるオーディオデータと、高音質であることよりも低遅延性が求められる会話音声データとを、同時に処理して合成するような場合、それぞれの標本化間隔の基準となる周波数の最小公倍数に相当する周波数が非常に高くなるため、会話音声データに対する処理負荷が著しく増大するという課題を有していた。
例えば、従来のサンプリングレート変換演算装置が、標本化周波数が異なる3つのデジタル信号系列F11〜F13を、同時に処理して合成して、デジタル信号系列F15を出力する場合を考える。デジタル信号系列F11〜F13は、図16に一例を示したように、一般的に利用されている会話音声やオーディオなどのデジタル信号系列である。ここでは、デジタル信号系列F11として、移動体通信で利用される384kHz基準の8kHzで標本化されたAMRのデコードデータが入力されるものとする。デジタル信号系列F12として、放送系で利用される27MHz基準の44.1kHzで標本化されたAACのデコードデータが入力されるものとする。デジタル信号系列F13として、移動体通信で利用される384kHz基準の16kHzで標本化されたAACのデコードデータが入力されるものとする。
また、出力端子305から出力されるデジタル信号系列F15の標本化周波数は、MIDI機器などの内部クロックを利用する装置との親和性を考慮して、12MHz基準の32kHzであるものとする。図16を参照して、デジタル信号系列F1の標本化周波数と、デジタル信号系列F15の標本化周波数とは、整数比(すなわち、F1:F5=1:4)の関係になっている。
このような場合、インタポレーション処理部302は、入力信号であるデジタル信号系列F11〜F13を標本化周波数が12MHzの信号(すなわち、F14に示す内部処理用のデジタル信号系列)に揃えなければ、互いに加算して合成できない。また、デシメーション処理部304は、標本化周波数が12MHzであるデジタル信号系列F14を、標本化周波数が32kHzであるデジタル信号系列F15にデシメーション処理しなければならない。
デジタル信号系列F11は、標本化間隔が125usecであるため、標本化周波数を12MHzに合わせて標本化間隔を狭めると、データ量が1500倍に増えることになる。加えて、デジタル信号系列F11は、会話音声データであるため、遅延時間を一定の時間以内にする必要があり、高頻度に処理しなければ、相づちなどのノンバーバルな音声信号が話し手と聞き手とでかみ合わなくなり、会話の品質が大幅に損なわれてしまう。
そのため、従来のサンプリングレート変換演算装置において、インタポレーション処理部302及びデシメーション処理部304は、高負荷でありながら常に高頻度で動作しなければならず、システムに多大な負荷をかけ、ハードウエアコストの増加や、電力消費の増大の要因となっていた。
それ故に、本発明の目的は、会話音声データが要求する低遅延性と、オーディオデータが要求する音質とを同時に満足する、安価で高性能なサンプリングレート変換演算装置を提供することである。
本発明は、少なくとも第1及び第2のデジタル信号系列を含む複数のデジタル信号系列のサンプリングレートを変換するサンプリングレート変換演算装置に向けられている。そして、上記目的を達成させるために、本発明のサンプリングレート変換演算装置は、第1のデジタル信号処理部と、第2のデジタル信号処理部と、加算部と、出力端子とを備える。
第1のデジタル信号処理部は、第1のデジタル信号系列の標本化周波数を所定の整数倍に増加させる。第2のデジタル信号処理部は、第2のデジタル信号系列の標本化周波数を所定の有理数倍に変倍させる。加算部は、第1のデジタル信号処理部から出力されるデジタル信号系列と、第2のデジタル信号処理部から出力されるデジタル信号系列とを加算する。出力端子は、加算部によって加算されたデジタル信号系列を出力する。第1のデジタル信号処理部は、出力端子の標本化周波数に合わせて、第1のデジタル信号系列の標本化周波数を増加させる倍数を決定する。第2のデジタル信号処理部は、出力端子の標本化周波数に合わせて、第2のデジタル信号系列の標本化周波数を変倍させる有理数を決定する。
第1のデジタル信号系列は、会話音声データである。この場合、第1のデジタル信号処理部は、会話音声データの標本化周波数を所定の整数倍に増加させる。また、第2のデジタル信号系列は、オーディオデータである。この場合、第2のデジタル信号処理部は、オーディオデータの標本化周波数を所定の有理数倍に変倍させる。
好ましくは、サンプリングレート変換演算装置は、加算部と第2のデジタル信号処理部との間に、第2のデジタル信号処理部が出力したデジタル信号系列を一時的に蓄えるためのバッファをさらに備える。
好ましくは、第1のデジタル信号処理部は、第1のデジタル信号系列が入力される入力端子と、第1のデジタル信号系列の標本化周波数を、所定の整数倍に増加させるインタポレーション処理部とを含む構成である。
好ましくは、第2のデジタル信号処理部は、第2のデジタル信号系列が入力される入力端子と、第2のデジタル信号系列の標本化周波数を、所定の整数倍に増加させるインタポレーション処理部と、インタポレーション処理部が出力したデジタル信号系列の標本化周波数を、出力端子の標本化周波数に合わせて整数分の1に減少させるデシメーション処理部とを含む構成である。
また、第2のデジタル信号処理部は、第2のデジタル信号系列を含む複数のデジタル信号系列が入力される複数の入力端子と、複数のデジタル信号系列の標本化周波数をそれぞれ整数倍に増加させて、互いに一致させる複数のインタポレーション処理部と、複数のインタポレーション処理部が出力したデジタル信号系列を加算する第2の加算部と、第2の加算部が出力したデジタル信号系列の標本化周波数を、出力端子の標本化周波数に合わせて整数分の1に減少させるデシメーション処理部とを含む構成であってもよい。
また、第1のデジタル信号処理部は、第1のデジタル信号系列が入力される入力端子と、第1のデジタル信号系列の標本化周波数を、所定の整数倍に増加させる直線近似部とを含む構成であってもよい。
また、第2のデジタル信号処理部は、第2のデジタル信号系列が入力される入力端子と、第2のデジタル信号系列の標本化周波数を、所定の整数倍に増加させる直線近似部と、インタポレーション処理部が出力したデジタル信号系列の標本化周波数を、出力端子の標本化周波数に合わせて整数分の1に減少させるデシメーション処理部とを含む構成であってもよい。
また、第2のデジタル信号処理部は、第2のデジタル信号系列を含む複数のデジタル信号系列が入力される複数の入力端子と、複数のデジタル信号系列の標本化周波数をそれぞれ整数倍に増加させて、互いに一致させる複数の直線近似部と、複数のインタポレーション処理部が出力したデジタル信号系列を加算する第2の加算部と、第2の加算部が出力したデジタル信号系列の標本化周波数を、出力端子の標本化周波数に合わせて整数分の1に減少させるデシメーション処理部とを含む構成であってもよい。
好ましくは、出力端子の標本化周波数は、会話音声データの標本化周波数の倍数である。また、第2のデジタル信号処理部に入力されるデジタル信号系列の標本化周波数は、27MHz、382kHz、又は12MHzのいずれかを基準周波数とする。
また、本発明は、少なくとも第1及び第2のデジタル信号系列を含む複数のデジタル信号系列のサンプリングレートを変換する変換方法にも向けれている。そして上記目的を達成するために、本発明の変換方法は、第1のデジタル信号処理ステップと、第2のデジタル信号処理ステップと、加算ステップと、出力ステップとを備える。第1のデジタル信号処理ステップは、第1のデジタル信号系列の標本化周波数を所定の整数倍に増加させる。第2のデジタル信号処理ステップは、第2のデジタル信号系列の標本化周波数を所定の有理数倍に変倍させる。加算ステップは、第1のデジタル信号処理ステップで出力されるデジタル信号系列と、第2のデジタル信号処理ステップで出力されるデジタル信号系列とを加算する。出力ステップは、加算ステップによって加算されたデジタル信号系列を出力端子から出力する。また、第1のデジタル信号処理ステップは、出力端子の標本化周波数に合わせて、第1のデジタル信号系列の標本化周波数を増加させる倍数を決定する。第2のデジタル信号処理ステップは、出力端子の標本化周波数に合わせて、第2のデジタル信号系列の標本化周波数を変倍させる有理数を決定する。
また、本発明は、少なくとも第1及び第2のデジタル信号系列を含む複数のデジタル信号系列のサンプリングレートを変換する集積回路にも向けれている。そして上記目的を達成するために、本発明の集積回路は、第1のデジタル信号処理ステップと、第2のデジタル信号処理ステップと、加算ステップと、出力ステップとを備える。第1のデジタル信号処理ステップは、第1のデジタル信号系列の標本化周波数を所定の整数倍に増加させる。第2のデジタル信号処理ステップは、第2のデジタル信号系列の標本化周波数を所定の有理数倍に変倍させる。加算ステップは、第1のデジタル信号処理ステップで出力されるデジタル信号系列と、第2のデジタル信号処理ステップで出力されるデジタル信号系列とを加算する。出力ステップは、加算ステップによって加算されたデジタル信号系列を、出力端子から出力する。また、第1のデジタル信号処理ステップは、出力端子の標本化周波数に合わせて、第1のデジタル信号系列の標本化周波数を増加させる倍数を決定する。第2のデジタル信号処理ステップは、出力端子の標本化周波数に合わせて、第2のデジタル信号系列の標本化周波数を変倍させる有理数を決定する。
本発明のサンプリングレート変換演算装置によれば、低遅延性が求められる会話音声データに関しては、第1のデジタル信号処理部でインタポレーション処理だけを行うことで、速やかに出力端子の標本化周波数に合わせることができる。一方、低遅延性よりも処理の精度が要求されるオーディオデータに関しては、第2のデジタル信号処理部を用いて、インタポレーション処理及びデシメーション処理を行うことで、高精度に出力端子の標本化周波数に合わせることができる。このように、会話音声データとオーディオデータとを別々に処理できるため、システムにかかる負荷を減少させ、処理効率を向上させることができる。また、システムの負荷が減少することで、ハードウエアのコストや電力消費量を大幅に抑制することができる。
図1は、本発明の一実施形態に係るサンプリングレート変換演算装置の構成を示すブロック図である。 図2は、サンプリングレート変換演算装置が各部で扱う信号を説明する図である。 図3は、インタポレーション処理部104の詳細な構成例を示すブロック図である。 図4は、インタポレーション処理部104に入力されるデジタル信号系列F1と源信号との関係を表す図である。 図5は、インタポレータ1041で0を挿入された後のデジタル信号系列F1を示す図である。 図6は、0を挿入する前のデジタル信号系列F1に含まれる周波数成分を示す図である。 図7は、インタポレータ1041を通過した後のデジタル信号系列F1に含まれる周波数成分を示す図である。 図8は、インタポレーションフィルタ1042を通過した後のデジタル信号系列に含まれる周波数成分を示す図である。 図9は、インタポレーションフィルタ1042を通過した後のデジタル信号系列F1の値を示す図である。 図10は、デシメーション処理部110の詳細な構成例を示すブロック図である。 図11は、サンプリングレート変換演算装置を備えるデジタルデータ処理機器のハードウェア構成を示すブロック図である。 図12は、2チャネルのデジタル信号系列を合成するサンプリングレート変換演算装置の構成を示す図である。 図13は、直線近似によって標本化間隔の減少させる方法を説明する図である。 図14は、直線近似によって標本化間隔を減少させるサンプリングレート変換演算装置の構成を示すブロック図である。 図15は、従来のサンプリングレート変換演算装置の構成を示すブロック図である。 図16は、従来のサンプリングレート変換演算装置が各部で扱う信号を説明する図である。
符号の説明
101〜103、301 入力端子
111、305 出力端子
104〜106、304 インタポレーション処理部
1041 インタポレータ
1042 インタポレーションフィルタ
107、108 加算部
109 バッファ部
110、304 デシメーション処理部
1101 デシメーションフィルタ
1102 デシメータ
303 信号線
以下、本発明の実施形態について、図面を参照しながら説明する。
図1は、本発明の一実施形態に係るサンプリングレート変換演算装置の構成を示すブロック図である。図1では、3チャネルの異なるサンプリング周波数のデジタル信号系列を合成する場合のサンプリングレート変換演算装置について説明する。図1に示すサンプリングレート変換演算装置において、1つのチャネルから入力されるデジタル信号系列は、会話音声データであり、残りのチャネルから入力されるデジタル信号系列は、オーディオデータであるものとする。
図1において、サンプリングレート変換演算装置は、入力端子101〜103、インタポレーション処理部104〜106、第1の加算部107、第2の加算部108、バッファ部109、デシメーション処理部110、及び出力端子111を備える。また、入力端子101、及び第1のインタポレーション処理部104を合わせて、第1のデジタル信号処理部と記す。また、入力端子102〜103、インタポレーション処理部105〜106、第2の加算部108、及びデシメーション処理部110を合わせて、第2のデジタル信号処理部と記す。
入力端子101〜103には、デジタル信号系列F1〜F3が入力される。インタポレーション処理部104〜106は、インタポレーション処理によって、入力端子101〜103から入力されるデジタル信号系列F1〜F3の標本化間隔を狭めデータ数を増大させる。ここでは、入力端子101から入力されるデジタル信号系列F1は、会話音声データであり、入力端子102、103から入力されるデジタル信号系列F2、F3は、オーディオデータであるものとする。そのため、インタポレーション処理部104は、会話音声データを扱うことになり、インタポレーション処理部105、106は、オーディオデータを扱うことになる。
図2は、サンプリングレート変換演算装置が各部で扱う信号を説明する図である。図2を参照して、入力端子101には、デジタル信号系列F1として、移動体通信で利用される384kHz基準の8kHzで標本化されたAMRのデコードデータが入力されるものとする。入力端子102には、デジタル信号系列F2として、放送系で利用される27MHz基準の44.1kHzで標本化されたAACのデコードデータが入力されるものとする。入力端子103には、デジタル信号系列F3として、移動体通信で利用される384kHz基準の16kHzで標本化されたAACのデコードデータが入力されるものとする。また、出力端子111から出力されるデジタル信号系列Foutの標本化周波数は、MIDI機器などの内部クロックを利用する装置との親和性を考慮して、12MHz基準の32kHzであるものとする。
なお、サンプリングレート変換演算装置には、デジタル信号系列F1〜F3として、これら以外の周波数で標本化されたデコードデータが入力されてもよい。例えば、デジタル信号系列F2又はF3として、48kHzで標本化されたAACのデコーダデータが入力される場合もある。
デジタル信号系列F1として入力されたAMRのデコーダデータ、及びデジタル信号系列F3として入力されたAACのデコーダデータの詳細については、3GPP(3rd Generation Partnership Project)によるWCDMA伝送規格書であるTS25.133、TS25.211、及びAMRのコーデック規格であるTS26.090等に記載されている。また、デジタル信号系列F2として入力されたAACのデコーダデータの詳細については、ARIB規格書等に記載されている。
入力端子101から入力されたデジタル信号系列F1は、インタポレーション処理部104に入力される。インタポレーション処理部101は、インタポレーション処理によって、会話音声データであるデジタル信号系列F1を出力端子111の標本化周波数に合わせて出力する。この例では、インタポレーション処理部104は、デジタル信号系列F1の標本化周波数を4倍に増加させる。
また、入力端子102、103から入力されるデジタル信号系列F2、F3は、インタポレーション処理部105、106に入力される。インタポレーション処理部105及び106は、インタポレーション処理によって、オーディオデータであるデジタル信号系列F2及びF3を同じ標本化間隔に揃えて出力する。この例では、インタポレーション処理部105は、デジタル信号系列F2の標本化周波数を272倍に増加させる。インタポレーション処理部106は、デジタル信号系列F2の標本化周波数を750倍に増加させる。
第2の加算部108は、インタポレーション処理部105から出力されたデジタル信号系列と、インタポレーション処理部106から出力されたデジタル信号系列とを加算する。デシメーション処理部110は、デシメーション処理によって、第2の加算部108から出力されたデジタル信号系列を出力端子111の標本化周波数に合わせて出力する。第1の加算部107は、デシメーション処理部110でデシメーション処理されたオーディオデータと、インタポレーション処理部104でインタポレーション処理された会話音声データとを加算する。バッファ部109は、デシメーションされたオーディオデータを蓄積するためのバッファである。
すなわち、第1のデジタル信号処理部(インタポレーション処理部104)は、デジタル信号系列F1の標本化周波数を、出力端子101の標本化周波数に合わせて所定の整数倍(この例では4倍)に増加させている。第2のデジタル信号処理部(インタポレーション処理部105、106、第2の加算部108、及びデシメーション処理部110)は、デジタル信号系列F2及びF3の標本化周波数を、出力端子101の標本化周波数に合わせて所定の有理数倍(この例では、デジタル信号系列F2を272/375倍に、デジタル信号系列F3を750/375倍)に変倍にさせている。
上述した構成によれば、サンプリングレート変換演算装置は、入力端子101から入力された会話音声データ(デジタル信号系列F1)に関して、出力端子111に合わせたインタポレーション処理だけを行えばよく、従来のサンプリングレート変換演算装置で必要であったデシメーション処理を行う必要がない。すなわち、デシメーション処理部110は、会話音声データ(デジタル信号系列F1)をデジメーション処理する必要がないため、高頻度で動作する必要がなくなる。また、インタポレーション処理の倍数も出力端子111に合わせた倍数だけになるので、上述した例では、会話音声データのデータ量も4倍までしか増えない。また、データ量が減っている分、第1の加算部107にかかる負荷も少なくなる。
オーディオ等のストリームデータは、1秒から数秒程度の処理遅延が発生しても実用上ほとんど問題にならない。そのため、第1の加算部107のオーディオデータ用の入力ポートに、バッファ部109を接続することにより、計算量が多い第2のデジタル信号処理部(すなわち、インタポレーション処理部105、106、第2の加算部108、及びデシメーション処理部110)を、低ビットレートかつ高頻度の会話音声データの処理タイミングから切り離すことができる。これにより、サンプリングレート変換演算装置は、第2のデジタル信号処理部で行われる一連の処理をシステムの空き時間等を利用して、効率的に実施できるようになる。なお、バッファ部109は、サンプリングレート変換演算装置にとって必須の構成ではない。
次に、インタポレーション処理部104及びデシメーション処理部110の詳細について、図3〜10を用いて説明する。図3は、インタポレーション処理部104の詳細な構成例を示すブロック図である。図3において、インタポレーション処理部104は、インタポレータ1041及びインタポレーションフィルタ1042を含む。なお、インタポレーション処理部105及びインタポレーション処理部106も、図3と同様の構成である。
図4は、インタポレーション処理部104に入力されるデジタル信号系列F1と源信号との関係を表す図である。図4において、縦軸はデジタル信号系列F1の値(強さ)を、横軸は時間を表している。図4に示すように、実線で示した源信号(参照符号A)は、菱形の点(参照符号B)で示したデジタル信号系列F1として、インタポレーション処理部104に入力される。
インタポレータ1041は、入力端子101から入力されたデジタル信号系列F1に必要な倍数分の0を挿入する。図5は、インタポレータ1041で0を挿入された後のデジタル信号系列F1を示す図である。ここでは、インタポレータ1041は、デジタル信号系列F1の標本化間隔を1/4に狭めている。図5において、菱形の点(参照符号C)は、挿入された0点を示す。インタポレータ1041を通過して0が挿入されたデジタル信号系列F1は、周波数成分で見ると源信号以外に高周波の信号成分を含む。図6は、0を挿入する前のデジタル信号系列F1に含まれる周波数成分を示す図である。
図7は、インタポレータ1041を通過した後のデジタル信号系列F1に含まれる周波数成分を示す図である。図7において、0〜π/4(参照符号X)で示される範囲が源信号から含まれている成分であり、π/4〜π(参照符号Y)で示される範囲が0挿入で雑音として含まれてしまった成分である。すなわち、インタポレータ1041を通過したデジタル信号系列F1は、0を3つ挿入されたことにより、3つの成分(イメージ)を含んでいることが判る。
図7において、π以上の成分はπ以下の成分の折り返しであって、π/4からπまでの成分は、0挿入で紛れ込んでしまった雑音成分である。そのため、インタポレータ1041を通過したデジタル信号系列F1は、0からπ/4までの成分だけを通過させるローパスフィルタ(イメージ除去フィルタ)を用いれば、図8で示す周波数成分を含む信号となる。すなわち、雑音成分を含む信号から元の信号成分を復元することができる。このフィルタ処理を行うのがインタポレーションフィルタ1042である。デジタル信号処理におけるローパスフィルタとして代表的なものに、FIRフィルタなどがあるが、本発明の骨子とは無関係であるため説明を割愛する。
図9は、インタポレーションフィルタ1042を通過した後のデジタル信号系列F1の値を示す図である。図9に示したデジタル信号系列F1は、雑音成分が除去され、元の信号成分のみを含むため、三角の点(参照符号D)に示されるように滑らかなカーブを描いていることがわかる。
図10は、デシメーション処理部110の詳細な構成例を示すブロック図である。図10において、デシメーション処理部110は、デシメーションフィルタ1101及びデシメータ1102を含む。デシメーション処理部110に入力されたデジタル信号系列は、デシメーションフィルタ1101に入力される。デシメーションフィルタ1101は、ローパスフィルタであり、デシメータ1102で間引きされた後の標本化間隔に合わせて、入力されたデジタル信号系列の高周波成分を除去する。デシメータ1102は、出力端子111の標本化周波数に合わせて、入力されたデジタル信号系列の標本化間隔を整数倍に増加させる。
本発明のサンプリングレート変換演算装置は、例えば、図11に示すデジタルデータ処理機器で動作するものとする。デジタルデータ処理機器は、例えば、オーディオ機器、ビデオ機器、パーソナルコンピュータ、及び携帯情報端末などである。図11において、デジタルデータ処理機器は、CPU201、DSP202、A/D−D/Aコンバータ203、I/Oコントローラ204、バス205、フラッシュROM206、及びDRAM207を備える。フラッシュROM206は、CPUやDSPで動作するプログラムを格納する。DRAM207は、各種処理における中間データ等を格納する。
以上のように、本発明の一実施形態に係るサンプリングレート変換演算装置によれば、低遅延性が求められる会話音声データに関しては、第1のデジタル信号処理部でインタポレーション処理だけを行うことで、速やかに出力端子111の標本化周波数に合わせることができる。一方、低遅延性よりも処理の精度が要求されるオーディオデータに関しては、第2のデジタル信号処理部を用いて、インタポレーション処理及びデシメーション処理を行うことで、高精度に出力端子111の標本化周波数に合わせることができる。このように、会話音声データとオーディオデータとを別々に処理できるため、システムにかかる負荷を減少させ、処理効率を向上させることができる。また、システムの負荷が減少することで、ハードウエアのコストや電力消費量を大幅に抑制することができる。
なお、上述した説明では、サンプリングレート変換演算装置は、3チャネルの異なるサンプリング周波数のデジタル信号系列を合成する例を示したが、合成するチャネル数は、3チャネルに限定されるものではない。例えば、サンプリングレート変換演算装置は、2チャネルのデジタル信号系列を合成してもよいし(図12参照)、4チャネル以上のデジタル信号系列を合成してもよいものとする。図12は、2チャネルのデジタル信号系列を合成するサンプリングレート変換演算装置の構成を示す図である。
図12に示すサンプリングレート変換演算装置においても、低遅延性が求められる会話音声データ(あるいは、標本化周波数が出力端子111と整数倍の関係にあるデジタル信号系列)に関しては、第1のデジタル信号処理部でインタポレーション処理だけを行うことで、速やかに出力端子111の標本化周波数に合わせることができる。一方、低遅延性よりも処理の精度が要求されるオーディオデータ(あるいは、標本化周波数が出力端子111と整数倍の関係にないデジタル信号系列)に関しては、第2のデジタル信号処理部を用いて、インタポレーション処理及びデシメーション処理を行うことで、高精度に出力端子111の標本化周波数に合わせることができる。このように、デジタル信号系列F1とデジタル信号系列F2を別々に処理できるため、システムにかかる負荷を減少させ、処理効率を向上させることができる。
また、本発明のサンプリングレート変換演算装置は、インタポレーション処理によってデジタル信号系列の標本化間隔を減少させていたが、減少させる倍数が少ない場合には、図13に示すような直線近似によって、デジタル信号系列の標本化間隔を減少させる方法も考えられる。図14は、直線近似によって標本化間隔を減少させるサンプリングレート変換演算装置の構成を示すブロック図である。この場合、サンプリングレート変換演算装置は、インタポレーション処理部104〜106の代わりに、直線近似によって標本化間隔を減少させる直線近似部104a〜106aを備えるものとする。
また、上述した説明では、主にデジタル信号系列の加算処理について述べたが、線形時不変システムの成立条件に照らし合わせれば、デジタル信号系列の減算処理、及び各種のフィルタ処理等についても、会話音声データとオーディオデータとを別々に処理することで、同様の効果を得ることができる。
また、サンプリングデータ変換演算装置において、インタポレーション処理部104〜106、第1の加算部107、第2の加算部108、及びデジメーション処理部110などの機能ブロックは、プログラムとして動作しても良い。このプログラムは、1つのCPU上で動作しても良いし、各機能ブロックの処理を分けて複数のCPU上で動作しても良い。
また、インタポレーション処理部104〜106、第1の加算部107、第2の加算部108、及びデジメーション処理部110などの機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されても良いし、一部又は全てを含むように1チップ化されても良い。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギャラブル・プロセッサを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。例えば、バイオ技術の適応などが可能性としてありえる。
本発明のサンプリングレート変換演算装置は、高性能オーディオミキサ等を実現する技術として有用である。
本発明は、サンプリングレート変換演算装置に関し、より特定的には、複数のデジタル信号系列のサンプリングレートを変換するサンプリングレート変換演算装置に関する。
近年のデジタルデバイスの発達を背景として、従来アナログ回路で実現していた様々な信号処理回路が、デジタル信号処理により実現されるようになった。
デジタル信号処理では、入力信号を離散時点で標本化し、これをデジタル数値で量子化したデジタル信号系列を使って各種の処理を実現する。一般的によく利用されている線形時不変システム(linear time invariant system)では、標本化の時間間隔が常に一定であるものとみなしているため、標本化の時間間隔が異なるデジタル信号系列同士を同時に扱うことはできない。
サンプリングレート変換演算装置(もしくは、リサンプリングシステム)とは、デジタル信号系列の標本化の時間間隔を変換するための装置である。従来のサンプリングレート変換演算装置は、標本化間隔(逆数を「サンプリング周波数」、もしくは「標本化周波数」ともいう)を整数分の1に狭めるインタポレーション処理部と、標本化間隔を整数倍に延ばすデシメーション処理部からなっていた(例えば、特許文献1参照)。図15は、従来のサンプリングレート変換演算装置の構成を示すブロック図である。図15において、従来のサンプリング変換演算装置は、入力端子301、インタポレーション処理部302、信号線303、デシメーション処理部304、及び出力端子305を備える。
インタポレーション処理部302に入力されたデジタル信号系列は、インタポレーション処理によって、標本化間隔を整数分の1に狭められた信号として、信号線303から出力される。インタポレーション処理が施されたデジタル信号系列は、標本化間隔を狭められた倍数分だけ標本点のデータ量が増える。この増えたデータ量を間引きするため、デシメーション処理部304は、デジタル信号系列の標本化間隔を整数倍に延ばして、データ量を調整している。
これらの一連の処理により、従来のサンプリングレート変換演算装置は、入力端子301から入力されたデジタル信号系列に対して、有理数比で標本化間隔の変換を行い、変換後のデジタル信号系列を出力端子305から出力していた。
特開平8−46484号公報
しかしながら、従来のサンプリングレート変換演算装置においては、高音質であることが要求されるオーディオデータと、高音質であることよりも低遅延性が求められる会話音声データとを、同時に処理して合成するような場合、それぞれの標本化間隔の基準となる周波数の最小公倍数に相当する周波数が非常に高くなるため、会話音声データに対する処理負荷が著しく増大するという課題を有していた。
例えば、従来のサンプリングレート変換演算装置が、標本化周波数が異なる3つのデジタル信号系列F11〜F13を、同時に処理して合成して、デジタル信号系列F15を出力する場合を考える。デジタル信号系列F11〜F13は、図16に一例を示したように、一般的に利用されている会話音声やオーディオなどのデジタル信号系列である。ここでは、デジタル信号系列F11として、移動体通信で利用される384kHz基準の8kHzで標本化されたAMRのデコードデータが入力されるものとする。デジタル信号系列F12として、放送系で利用される27MHz基準の44.1kHzで標本化されたAACのデコードデータが入力されるものとする。デジタル信号系列F13として、移動体通信で利用される384kHz基準の16kHzで標本化されたAACのデコードデータが入力されるものとする。
また、出力端子305から出力されるデジタル信号系列F15の標本化周波数は、MIDI機器などの内部クロックを利用する装置との親和性を考慮して、12MHz基準の32kHzであるものとする。図16を参照して、デジタル信号系列F1の標本化周波数と、デジタル信号系列F15の標本化周波数とは、整数比(すなわち、F1:F5=1:4)の関係になっている。
このような場合、インタポレーション処理部302は、入力信号であるデジタル信号系列F11〜F13を標本化周波数が12MHzの信号(すなわち、F14に示す内部処理用のデジタル信号系列)に揃えなければ、互いに加算して合成できない。また、デシメーション処理部304は、標本化周波数が12MHzであるデジタル信号系列F14を、標本化周波数が32kHzであるデジタル信号系列F15にデシメーション処理しなければならない。
デジタル信号系列F11は、標本化間隔が125μsecであるため、標本化周波数を12MHzに合わせて標本化間隔を狭めると、データ量が1500倍に増えることになる。加えて、デジタル信号系列F11は、会話音声データであるため、遅延時間を一定の時間以内にする必要があり、高頻度に処理しなければ、相づちなどのノンバーバルな音声信号が話し手と聞き手とでかみ合わなくなり、会話の品質が大幅に損なわれてしまう。
そのため、従来のサンプリングレート変換演算装置において、インタポレーション処理部302及びデシメーション処理部304は、高負荷でありながら常に高頻度で動作しなければならず、システムに多大な負荷をかけ、ハードウエアコストの増加や、電力消費の増大の要因となっていた。
それ故に、本発明の目的は、会話音声データが要求する低遅延性と、オーディオデータが要求する音質とを同時に満足する、安価で高性能なサンプリングレート変換演算装置を提供することである。
本発明は、少なくとも第1及び第2のデジタル信号系列を含む複数のデジタル信号系列のサンプリングレートを変換するサンプリングレート変換演算装置に向けられている。そして、上記目的を達成させるために、本発明のサンプリングレート変換演算装置は、第1のデジタル信号処理部と、第2のデジタル信号処理部と、加算部と、出力端子とを備える。
第1のデジタル信号処理部は、第1のデジタル信号系列の標本化周波数を所定の整数倍に増加させる。第2のデジタル信号処理部は、第2のデジタル信号系列の標本化周波数を所定の有理数倍に変倍させる。加算部は、第1のデジタル信号処理部から出力されるデジタル信号系列と、第2のデジタル信号処理部から出力されるデジタル信号系列とを加算する。出力端子は、加算部によって加算されたデジタル信号系列を出力する。第1のデジタル信号処理部は、出力端子の標本化周波数に合わせて、第1のデジタル信号系列の標本化周波数を増加させる倍数を決定する。第2のデジタル信号処理部は、出力端子の標本化周波数に合わせて、第2のデジタル信号系列の標本化周波数を変倍させる有理数を決定する。
第1のデジタル信号系列は、会話音声データである。この場合、第1のデジタル信号処理部は、会話音声データの標本化周波数を所定の整数倍に増加させる。また、第2のデジタル信号系列は、オーディオデータである。この場合、第2のデジタル信号処理部は、オーディオデータの標本化周波数を所定の有理数倍に変倍させる。
好ましくは、サンプリングレート変換演算装置は、加算部と第2のデジタル信号処理部との間に、第2のデジタル信号処理部が出力したデジタル信号系列を一時的に蓄えるためのバッファをさらに備える。
好ましくは、第1のデジタル信号処理部は、第1のデジタル信号系列が入力される入力端子と、第1のデジタル信号系列の標本化周波数を、所定の整数倍に増加させるインタポレーション処理部とを含む構成である。
好ましくは、第2のデジタル信号処理部は、第2のデジタル信号系列が入力される入力端子と、第2のデジタル信号系列の標本化周波数を、所定の整数倍に増加させるインタポレーション処理部と、インタポレーション処理部が出力したデジタル信号系列の標本化周波数を、出力端子の標本化周波数に合わせて整数分の1に減少させるデシメーション処理部とを含む構成である。
また、第2のデジタル信号処理部は、第2のデジタル信号系列を含む複数のデジタル信号系列が入力される複数の入力端子と、複数のデジタル信号系列の標本化周波数をそれぞれ整数倍に増加させて、互いに一致させる複数のインタポレーション処理部と、複数のインタポレーション処理部が出力したデジタル信号系列を加算する第2の加算部と、第2の加算部が出力したデジタル信号系列の標本化周波数を、出力端子の標本化周波数に合わせて整数分の1に減少させるデシメーション処理部とを含む構成であってもよい。
また、第1のデジタル信号処理部は、第1のデジタル信号系列が入力される入力端子と、第1のデジタル信号系列の標本化周波数を、所定の整数倍に増加させる直線近似部とを含む構成であってもよい。
また、第2のデジタル信号処理部は、第2のデジタル信号系列が入力される入力端子と、第2のデジタル信号系列の標本化周波数を、所定の整数倍に増加させる直線近似部と、直線近似部が出力したデジタル信号系列の標本化周波数を、出力端子の標本化周波数に合わせて整数分の1に減少させるデシメーション処理部とを含む構成であってもよい。
また、第2のデジタル信号処理部は、第2のデジタル信号系列を含む複数のデジタル信号系列が入力される複数の入力端子と、複数のデジタル信号系列の標本化周波数をそれぞれ整数倍に増加させて、互いに一致させる複数の直線近似部と、複数の直線近似部が出力したデジタル信号系列を加算する第2の加算部と、第2の加算部が出力したデジタル信号系列の標本化周波数を、出力端子の標本化周波数に合わせて整数分の1に減少させるデシメーション処理部とを含む構成であってもよい。
好ましくは、出力端子の標本化周波数は、会話音声データの標本化周波数の倍数である。また、第2のデジタル信号処理部に入力されるデジタル信号系列の標本化周波数は、27MHz、382kHz、又は12MHzのいずれかを基準周波数とする。
また、本発明は、少なくとも第1及び第2のデジタル信号系列を含む複数のデジタル信号系列のサンプリングレートを変換する変換方法にも向けれている。そして上記目的を達成するために、本発明の変換方法は、第1のデジタル信号処理ステップと、第2のデジタル信号処理ステップと、加算ステップと、出力ステップとを備える。第1のデジタル信号処理ステップは、第1のデジタル信号系列の標本化周波数を所定の整数倍に増加させる。第2のデジタル信号処理ステップは、第2のデジタル信号系列の標本化周波数を所定の有理数倍に変倍させる。加算ステップは、第1のデジタル信号処理ステップで出力されるデジタル信号系列と、第2のデジタル信号処理ステップで出力されるデジタル信号系列とを加算する。出力ステップは、加算ステップによって加算されたデジタル信号系列を出力端子から出力する。また、第1のデジタル信号処理ステップは、出力端子の標本化周波数に合わせて、第1のデジタル信号系列の標本化周波数を増加させる倍数を決定する。第2のデジタル信号処理ステップは、出力端子の標本化周波数に合わせて、第2のデジタル信号系列の標本化周波数を変倍させる有理数を決定する。
また、本発明は、少なくとも第1及び第2のデジタル信号系列を含む複数のデジタル信号系列のサンプリングレートを変換する集積回路にも向けれている。そして上記目的を達成するために、本発明の集積回路は、第1のデジタル信号処理ステップと、第2のデジタル信号処理ステップと、加算ステップと、出力ステップとを備える。第1のデジタル信号処理ステップは、第1のデジタル信号系列の標本化周波数を所定の整数倍に増加させる。第2のデジタル信号処理ステップは、第2のデジタル信号系列の標本化周波数を所定の有理数倍に変倍させる。加算ステップは、第1のデジタル信号処理ステップで出力されるデジタル信号系列と、第2のデジタル信号処理ステップで出力されるデジタル信号系列とを加算する。出力ステップは、加算ステップによって加算されたデジタル信号系列を、出力端子から出力する。また、第1のデジタル信号処理ステップは、出力端子の標本化周波数に合わせて、第1のデジタル信号系列の標本化周波数を増加させる倍数を決定する。第2のデジタル信号処理ステップは、出力端子の標本化周波数に合わせて、第2のデジタル信号系列の標本化周波数を変倍させる有理数を決定する。
本発明のサンプリングレート変換演算装置によれば、低遅延性が求められる会話音声データに関しては、第1のデジタル信号処理部でインタポレーション処理だけを行うことで、速やかに出力端子の標本化周波数に合わせることができる。一方、低遅延性よりも処理の精度が要求されるオーディオデータに関しては、第2のデジタル信号処理部を用いて、インタポレーション処理及びデシメーション処理を行うことで、高精度に出力端子の標本化周波数に合わせることができる。このように、会話音声データとオーディオデータとを別々に処理できるため、システムにかかる負荷を減少させ、処理効率を向上させることができる。また、システムの負荷が減少することで、ハードウエアのコストや電力消費量を大幅に抑制することができる。
以下、本発明の実施形態について、図面を参照しながら説明する。
図1は、本発明の一実施形態に係るサンプリングレート変換演算装置の構成を示すブロック図である。図1では、3チャネルの異なるサンプリング周波数のデジタル信号系列を合成する場合のサンプリングレート変換演算装置について説明する。図1に示すサンプリングレート変換演算装置において、1つのチャネルから入力されるデジタル信号系列は、会話音声データであり、残りのチャネルから入力されるデジタル信号系列は、オーディオデータであるものとする。
図1において、サンプリングレート変換演算装置は、入力端子101〜103、インタポレーション処理部104〜106、第1の加算部107、第2の加算部108、バッファ部109、デシメーション処理部110、及び出力端子111を備える。また、入力端子101、及び第1のインタポレーション処理部104を合わせて、第1のデジタル信号処理部と記す。また、入力端子102〜103、インタポレーション処理部105〜106、第2の加算部108、及びデシメーション処理部110を合わせて、第2のデジタル信号処理部と記す。
入力端子101〜103には、デジタル信号系列F1〜F3が入力される。インタポレーション処理部104〜106は、インタポレーション処理によって、入力端子101〜103から入力されるデジタル信号系列F1〜F3の標本化間隔を狭めデータ数を増大させる。ここでは、入力端子101から入力されるデジタル信号系列F1は、会話音声データであり、入力端子102、103から入力されるデジタル信号系列F2、F3は、オーディオデータであるものとする。そのため、インタポレーション処理部104は、会話音声データを扱うことになり、インタポレーション処理部105、106は、オーディオデータを扱うことになる。
図2は、サンプリングレート変換演算装置が各部で扱う信号を説明する図である。図2を参照して、入力端子101には、デジタル信号系列F1として、移動体通信で利用される384kHz基準の8kHzで標本化されたAMRのデコードデータが入力されるものとする。入力端子102には、デジタル信号系列F2として、放送系で利用される27MHz基準の44.1kHzで標本化されたAACのデコードデータが入力されるものとする。入力端子103には、デジタル信号系列F3として、移動体通信で利用される384kHz基準の16kHzで標本化されたAACのデコードデータが入力されるものとする。また、出力端子111から出力されるデジタル信号系列Foutの標本化周波数は、MIDI機器などの内部クロックを利用する装置との親和性を考慮して、12MHz基準の32kHzであるものとする。
なお、サンプリングレート変換演算装置には、デジタル信号系列F1〜F3として、これら以外の周波数で標本化されたデコードデータが入力されてもよい。例えば、デジタル信号系列F2又はF3として、48kHzで標本化されたAACのデコーデータが入力される場合もある。
デジタル信号系列F1として入力されたAMRのデコーデータ、及びデジタル信号系列F3として入力されたAACのデコーデータの詳細については、3GPP(3rd Generation Partnership Project)によるWCDMA伝送規格書であるTS25.133、TS25.211、及びAMRのコーデック規格であるTS26.090等に記載されている。また、デジタル信号系列F2として入力されたAACのデコーデータの詳細については、ARIB規格書等に記載されている。
入力端子101から入力されたデジタル信号系列F1は、インタポレーション処理部104に入力される。インタポレーション処理部101は、インタポレーション処理によって、会話音声データであるデジタル信号系列F1を出力端子111の標本化周波数に合わせて出力する。この例では、インタポレーション処理部104は、デジタル信号系列F1の標本化周波数を4倍に増加させる。
また、入力端子102、103から入力されるデジタル信号系列F2、F3は、インタポレーション処理部105、106に入力される。インタポレーション処理部105及び106は、インタポレーション処理によって、オーディオデータであるデジタル信号系列F2及びF3を同じ標本化間隔に揃えて出力する。この例では、インタポレーション処理部105は、デジタル信号系列F2の標本化周波数を272倍に増加させる。インタポレーション処理部106は、デジタル信号系列Fの標本化周波数を750倍に増加させる。
第2の加算部108は、インタポレーション処理部105から出力されたデジタル信号系列と、インタポレーション処理部106から出力されたデジタル信号系列とを加算する。デシメーション処理部110は、デシメーション処理によって、第2の加算部108から出力されたデジタル信号系列を出力端子111の標本化周波数に合わせて出力する。第1の加算部107は、デシメーション処理部110でデシメーション処理されたオーディオデータと、インタポレーション処理部104でインタポレーション処理された会話音声データとを加算する。バッファ部109は、デシメーションされたオーディオデータを蓄積するためのバッファである。
すなわち、第1のデジタル信号処理部(インタポレーション処理部104)は、デジタル信号系列F1の標本化周波数を、出力端子101の標本化周波数に合わせて所定の整数倍(この例では4倍)に増加させている。第2のデジタル信号処理部(インタポレーション処理部105、106、第2の加算部108、及びデシメーション処理部110)は、デジタル信号系列F2及びF3の標本化周波数を、出力端子101の標本化周波数に合わせて所定の有理数倍(この例では、デジタル信号系列F2を272/375倍に、デジタル信号系列F3を750/375倍)に変倍にさせている。
上述した構成によれば、サンプリングレート変換演算装置は、入力端子101から入力された会話音声データ(デジタル信号系列F1)に関して、出力端子111に合わせたインタポレーション処理だけを行えばよく、従来のサンプリングレート変換演算装置で必要であったデシメーション処理を行う必要がない。すなわち、デシメーション処理部110は、会話音声データ(デジタル信号系列F1)をデジメーション処理する必要がないため、高頻度で動作する必要がなくなる。また、インタポレーション処理の倍数も出力端子111に合わせた倍数だけになるので、上述した例では、会話音声データのデータ量も4倍までしか増えない。また、データ量が減っている分、第1の加算部107にかかる負荷も少なくなる。
オーディオ等のストリームデータは、1秒から数秒程度の処理遅延が発生しても実用上ほとんど問題にならない。そのため、第1の加算部107のオーディオデータ用の入力ポートに、バッファ部109を接続することにより、計算量が多い第2のデジタル信号処理部(すなわち、インタポレーション処理部105、106、第2の加算部108、及びデシメーション処理部110)を、低ビットレートかつ高頻度の会話音声データの処理タイミングから切り離すことができる。これにより、サンプリングレート変換演算装置は、第2のデジタル信号処理部で行われる一連の処理をシステムの空き時間等を利用して、効率的に実施できるようになる。なお、バッファ部109は、サンプリングレート変換演算装置にとって必須の構成ではない。
次に、インタポレーション処理部104及びデシメーション処理部110の詳細について、図3〜10を用いて説明する。図3は、インタポレーション処理部104の詳細な構成例を示すブロック図である。図3において、インタポレーション処理部104は、インタポレータ1041及びインタポレーションフィルタ1042を含む。なお、インタポレーション処理部105及びインタポレーション処理部106も、図3と同様の構成である。
図4は、インタポレーション処理部104に入力されるデジタル信号系列F1と源信号との関係を表す図である。図4において、縦軸はデジタル信号系列F1の値(強さ)を、横軸は時間を表している。図4に示すように、実線で示した源信号(参照符号A)は、菱形の点(参照符号B)で示したデジタル信号系列F1として、インタポレーション処理部104に入力される。
インタポレータ1041は、入力端子101から入力されたデジタル信号系列F1に必要な倍数分の0を挿入する。図5は、インタポレータ1041で0を挿入された後のデジタル信号系列F1を示す図である。ここでは、インタポレータ1041は、デジタル信号系列F1の標本化間隔を1/4に狭めている。図5において、菱形の点(参照符号C)は、挿入された0点を示す。インタポレータ1041を通過して0が挿入されたデジタル信号系列F1は、周波数成分で見ると源信号以外に高周波の信号成分を含む。図6は、0を挿入する前のデジタル信号系列F1に含まれる周波数成分を示す図である。
図7は、インタポレータ1041を通過した後のデジタル信号系列F1に含まれる周波数成分を示す図である。図7において、0〜π/4(参照符号X)で示される範囲が源信号から含まれている成分であり、π/4〜π(参照符号Y)で示される範囲が0挿入で雑音として含まれてしまった成分である。すなわち、インタポレータ1041を通過したデジタル信号系列F1は、0を3つ挿入されたことにより、3つの成分(イメージ)を含んでいることが判る。
図7において、π以上の成分はπ以下の成分の折り返しであって、π/4からπまでの成分は、0挿入で紛れ込んでしまった雑音成分である。そのため、インタポレータ1041を通過したデジタル信号系列F1は、0からπ/4までの成分だけを通過させるローパスフィルタ(イメージ除去フィルタ)を用いれば、図8で示す周波数成分を含む信号となる。すなわち、雑音成分を含む信号から元の信号成分を復元することができる。このフィルタ処理を行うのがインタポレーションフィルタ1042である。デジタル信号処理におけるローパスフィルタとして代表的なものに、FIRフィルタなどがあるが、本発明の骨子とは無関係であるため説明を割愛する。
図9は、インタポレーションフィルタ1042を通過した後のデジタル信号系列F1の値を示す図である。図9に示したデジタル信号系列F1は、雑音成分が除去され、元の信号成分のみを含むため、三角の点(参照符号D)に示されるように滑らかなカーブを描いていることがわかる。
図10は、デシメーション処理部110の詳細な構成例を示すブロック図である。図10において、デシメーション処理部110は、デシメーションフィルタ1101及びデシメータ1102を含む。デシメーション処理部110に入力されたデジタル信号系列は、デシメーションフィルタ1101に入力される。デシメーションフィルタ1101は、ローパスフィルタであり、デシメータ1102で間引きされた後の標本化間隔に合わせて、入力されたデジタル信号系列の高周波成分を除去する。デシメータ1102は、出力端子111の標本化周波数に合わせて、入力されたデジタル信号系列の標本化間隔を整数倍に増加させる。
本発明のサンプリングレート変換演算装置は、例えば、図11に示すデジタルデータ処理機器で動作するものとする。デジタルデータ処理機器は、例えば、オーディオ機器、ビデオ機器、パーソナルコンピュータ、及び携帯情報端末などである。図11において、デジタルデータ処理機器は、CPU201、DSP202、A/D−D/Aコンバータ203、I/Oコントローラ204、バス205、フラッシュROM206、及びDRAM207を備える。フラッシュROM206は、CPUやDSPで動作するプログラムを格納する。DRAM207は、各種処理における中間データ等を格納する。
以上のように、本発明の一実施形態に係るサンプリングレート変換演算装置によれば、低遅延性が求められる会話音声データに関しては、第1のデジタル信号処理部でインタポレーション処理だけを行うことで、速やかに出力端子111の標本化周波数に合わせることができる。一方、低遅延性よりも処理の精度が要求されるオーディオデータに関しては、第2のデジタル信号処理部を用いて、インタポレーション処理及びデシメーション処理を行うことで、高精度に出力端子111の標本化周波数に合わせることができる。このように、会話音声データとオーディオデータとを別々に処理できるため、システムにかかる負荷を減少させ、処理効率を向上させることができる。また、システムの負荷が減少することで、ハードウエアのコストや電力消費量を大幅に抑制することができる。
なお、上述した説明では、サンプリングレート変換演算装置は、3チャネルの異なるサンプリング周波数のデジタル信号系列を合成する例を示したが、合成するチャネル数は、3チャネルに限定されるものではない。例えば、サンプリングレート変換演算装置は、2チャネルのデジタル信号系列を合成してもよいし(図12参照)、4チャネル以上のデジタル信号系列を合成してもよいものとする。図12は、2チャネルのデジタル信号系列を合成するサンプリングレート変換演算装置の構成を示す図である。
図12に示すサンプリングレート変換演算装置においても、低遅延性が求められる会話音声データ(あるいは、標本化周波数が出力端子111と整数倍の関係にあるデジタル信号系列)に関しては、第1のデジタル信号処理部でインタポレーション処理だけを行うことで、速やかに出力端子111の標本化周波数に合わせることができる。一方、低遅延性よりも処理の精度が要求されるオーディオデータ(あるいは、標本化周波数が出力端子111と整数倍の関係にないデジタル信号系列)に関しては、第2のデジタル信号処理部を用いて、インタポレーション処理及びデシメーション処理を行うことで、高精度に出力端子111の標本化周波数に合わせることができる。このように、デジタル信号系列F1とデジタル信号系列F2を別々に処理できるため、システムにかかる負荷を減少させ、処理効率を向上させることができる。
また、本発明のサンプリングレート変換演算装置は、インタポレーション処理によってデジタル信号系列の標本化間隔を減少させていたが、減少させる倍数が少ない場合には、図13に示すような直線近似によって、デジタル信号系列の標本化間隔を減少させる方法も考えられる。図14は、直線近似によって標本化間隔を減少させるサンプリングレート変換演算装置の構成を示すブロック図である。この場合、サンプリングレート変換演算装置は、インタポレーション処理部104〜106の代わりに、直線近似によって標本化間隔を減少させる直線近似部104a〜106aを備えるものとする。
また、上述した説明では、主にデジタル信号系列の加算処理について述べたが、線形時不変システムの成立条件に照らし合わせれば、デジタル信号系列の減算処理、及び各種のフィルタ処理等についても、会話音声データとオーディオデータとを別々に処理することで、同様の効果を得ることができる。
また、サンプリングレート変換演算装置において、インタポレーション処理部104〜106、第1の加算部107、第2の加算部108、及びデジメーション処理部110などの機能ブロックは、プログラムとして動作しても良い。このプログラムは、1つのCPU上で動作しても良いし、各機能ブロックの処理を分けて複数のCPU上で動作しても良い。
また、インタポレーション処理部104〜106、第1の加算部107、第2の加算部108、及びデジメーション処理部110などの機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されても良いし、一部又は全てを含むように1チップ化されても良い。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギャラブル・プロセッサを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。例えば、バイオ技術の適応などが可能性としてありえる。
本発明のサンプリングレート変換演算装置は、高性能オーディオミキサ等を実現する技術として有用である。
本発明の一実施形態に係るサンプリングレート変換演算装置の構成を示すブロック図 サンプリングレート変換演算装置が各部で扱う信号を説明する図 インタポレーション処理部104の詳細な構成例を示すブロック図 インタポレーション処理部104に入力されるデジタル信号系列F1と源信号との関係を表す図 インタポレータ1041で0を挿入された後のデジタル信号系列F1を示す図 0を挿入する前のデジタル信号系列F1に含まれる周波数成分を示す図 インタポレータ1041を通過した後のデジタル信号系列F1に含まれる周波数成分を示す図 インタポレーションフィルタ1042を通過した後のデジタル信号系列F1に含まれる周波数成分を示す図 インタポレーションフィルタ1042を通過した後のデジタル信号系列F1の値を示す図 デシメーション処理部110の詳細な構成例を示すブロック図 サンプリングレート変換演算装置を備えるデジタルデータ処理機器のハードウェア構成を示すブロック図 2チャネルのデジタル信号系列を合成するサンプリングレート変換演算装置の構成を示す図 直線近似によって標本化間隔の減少させる方法を説明する図 直線近似によって標本化間隔を減少させるサンプリングレート変換演算装置の構成を示すブロック図 従来のサンプリングレート変換演算装置の構成を示すブロック図 従来のサンプリングレート変換演算装置が各部で扱う信号を説明する図
符号の説明
101〜103、301 入力端子
111、305 出力端子
104〜106、304 インタポレーション処理部
1041 インタポレータ
1042 インタポレーションフィルタ
107、108 加算部
109 バッファ部
110、304 デシメーション処理部
1101 デシメーションフィルタ
1102 デシメータ
303 信号線

Claims (14)

  1. 少なくとも第1及び第2のデジタル信号系列を含む複数のデジタル信号系列のサンプリングレートを変換するサンプリングレート変換演算装置であって、
    前記第1のデジタル信号系列の標本化周波数を所定の整数倍に増加させる第1のデジタル信号処理部と、
    前記第2のデジタル信号系列の標本化周波数を所定の有理数倍に変倍させる第2のデジタル信号処理部と、
    前記第1のデジタル信号処理部から出力されるデジタル信号系列と、前記第2のデジタル信号処理部から出力されるデジタル信号系列とを加算する加算部と、
    前記加算部によって加算されたデジタル信号系列を出力する出力端子とを備え、
    前記第1のデジタル信号処理部は、前記出力端子の標本化周波数に合わせて、前記第1のデジタル信号系列の標本化周波数を増加させる倍数を決定し、
    前記第2のデジタル信号処理部は、前記出力端子の標本化周波数に合わせて、前記第2のデジタル信号系列の標本化周波数を変倍させる有理数を決定することを特徴とする、請求項1に記載のサンプリングレート変換演算装置。
  2. 前記第1のデジタル信号系列は、会話音声データであり、
    前記第1のデジタル信号処理部は、前記会話音声データの標本化周波数を所定の整数倍に増加させることを特徴とする、請求項1に記載のサンプリングレート変換演算装置。
  3. 前記第2のデジタル信号系列は、オーディオデータであり、
    前記第2のデジタル信号処理部は、前記オーディオデータの標本化周波数を所定の有理数倍に変倍させることを特徴とする、請求項1に記載のサンプリングレート変換演算装置。
  4. 前記加算部と前記第2のデジタル信号処理部との間に、前記第2のデジタル信号処理部が出力したデジタル信号系列を一時的に蓄えるためのバッファをさらに備えることを特徴とする、請求項1に記載のサンプリングレート変換演算装置。
  5. 前記第1のデジタル信号処理部は、
    前記第1のデジタル信号系列が入力される入力端子と、
    前記第1のデジタル信号系列の標本化周波数を、所定の整数倍に増加させるインタポレーション処理部とを含むことを特徴とする、請求項1に記載のサンプリングレート変換演算装置。
  6. 前記第2のデジタル信号処理部は、
    前記第2のデジタル信号系列が入力される入力端子と、
    前記第2のデジタル信号系列の標本化周波数を、所定の整数倍に増加させるインタポレーション処理部と、
    前記インタポレーション処理部が出力したデジタル信号系列の標本化周波数を、前記出力端子の標本化周波数に合わせて整数分の1に減少させるデシメーション処理部とを含むことを特徴とする、請求項1に記載のサンプリングレート変換演算装置。
  7. 前記第2のデジタル信号処理部は、
    前記第2のデジタル信号系列を含む複数のデジタル信号系列が入力される複数の入力端子と、
    前記複数のデジタル信号系列の標本化周波数をそれぞれ整数倍に増加させて、互いに一致させる複数のインタポレーション処理部と、
    前記複数のインタポレーション処理部が出力したデジタル信号系列を加算する第2の加算部と、
    前記第2の加算部が出力したデジタル信号系列の標本化周波数を、前記出力端子の標本化周波数に合わせて整数分の1に減少させるデシメーション処理部とを含むことを特徴とする、請求項1に記載のサンプリングレート変換演算装置。
  8. 前記第1のデジタル信号処理部は、
    前記第1のデジタル信号系列が入力される入力端子と、
    前記第1のデジタル信号系列の標本化周波数を、所定の整数倍に増加させる直線近似部とを含むことを特徴とする、請求項1に記載のサンプリングレート変換演算装置。
  9. 前記第2のデジタル信号処理部は、
    前記第2のデジタル信号系列が入力される入力端子と、
    前記第2のデジタル信号系列の標本化周波数を、所定の整数倍に増加させる直線近似部と、
    前記インタポレーション処理部が出力したデジタル信号系列の標本化周波数を、前記出力端子の標本化周波数に合わせて整数分の1に減少させるデシメーション処理部とを含むことを特徴とする、請求項1に記載のサンプリングレート変換演算装置。
  10. 前記第2のデジタル信号処理部は、
    前記第2のデジタル信号系列を含む複数のデジタル信号系列が入力される複数の入力端子と、
    前記複数のデジタル信号系列の標本化周波数をそれぞれ整数倍に増加させて、互いに一致させる複数の直線近似部と、
    前記複数のインタポレーション処理部が出力したデジタル信号系列を加算する第2の加算部と、
    前記第2の加算部が出力したデジタル信号系列の標本化周波数を、前記出力端子の標本化周波数に合わせて整数分の1に減少させるデシメーション処理部とを含むことを特徴とする、請求項1に記載のサンプリングレート変換演算装置。
  11. 前記出力端子の標本化周波数は、会話音声データの標本化周波数の倍数であることを特徴とする、請求項1に記載のサンプリングレート変換演算装置。
  12. 前記第2のデジタル信号処理部に入力されるデジタル信号系列の標本化周波数は、27MHz、382kHz、又は12MHzのいずれかを基準周波数とすることを特徴とする、請求項1に記載のサンプリングレート変換演算装置。
  13. 少なくとも第1及び第2のデジタル信号系列を含む複数のデジタル信号系列のサンプリングレートを変換する変換方法であって、
    前記第1のデジタル信号系列の標本化周波数を所定の整数倍に増加させる第1のデジタル信号処理ステップと、
    前記第2のデジタル信号系列の標本化周波数を所定の有理数倍に変倍させる第2のデジタル信号処理ステップと、
    前記第1のデジタル信号処理ステップで出力されるデジタル信号系列と、前記第2のデジタル信号処理ステップで出力されるデジタル信号系列とを加算する加算ステップと、
    前記加算ステップによって加算されたデジタル信号系列を出力端子から出力する出力ステップとを備え、
    前記第1のデジタル信号処理ステップは、前記出力端子の標本化周波数に合わせて、前記第1のデジタル信号系列の標本化周波数を増加させる倍数を決定し、
    前記第2のデジタル信号処理ステップは、前記出力端子の標本化周波数に合わせて、前記第2のデジタル信号系列の標本化周波数を変倍させる有理数を決定することを特徴とする、変換方法。
  14. 少なくとも第1及び第2のデジタル信号系列を含む複数のデジタル信号系列のサンプリングレートを変換する集積回路であって、
    前記第1のデジタル信号系列の標本化周波数を所定の整数倍に増加させる第1のデジタル信号処理ステップと、
    前記第2のデジタル信号系列の標本化周波数を所定の有理数倍に変倍させる第2のデジタル信号処理ステップと、
    前記第1のデジタル信号処理ステップで出力されるデジタル信号系列と、前記第2のデジタル信号処理ステップで出力されるデジタル信号系列とを加算する加算ステップと、
    前記加算ステップによって加算されたデジタル信号系列を、出力端子から出力する出力ステップとを備え、
    前記第1のデジタル信号処理ステップは、前記出力端子の標本化周波数に合わせて、前記第1のデジタル信号系列の標本化周波数を増加させる倍数を決定し、
    前記第2のデジタル信号処理ステップは、前記出力端子の標本化周波数に合わせて、前記第2のデジタル信号系列の標本化周波数を変倍させる有理数を決定することを特徴とする、集積回路。
JP2006532678A 2004-08-30 2005-08-29 サンプリングレート変換演算装置 Withdrawn JPWO2006025332A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004249765 2004-08-30
JP2004249765 2004-08-30
PCT/JP2005/015668 WO2006025332A1 (ja) 2004-08-30 2005-08-29 サンプリングレート変換演算装置

Publications (1)

Publication Number Publication Date
JPWO2006025332A1 true JPWO2006025332A1 (ja) 2008-05-08

Family

ID=35999986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006532678A Withdrawn JPWO2006025332A1 (ja) 2004-08-30 2005-08-29 サンプリングレート変換演算装置

Country Status (4)

Country Link
US (1) US7378996B2 (ja)
JP (1) JPWO2006025332A1 (ja)
CN (1) CN101006641A (ja)
WO (1) WO2006025332A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102130664B (zh) * 2010-01-18 2014-02-12 澜起科技(上海)有限公司 数据率转换装置及方法
CN104123943B (zh) * 2013-04-28 2017-05-31 安凯(广州)微电子技术有限公司 一种音频信号重采样的方法和装置
CN114255788B (zh) * 2020-09-21 2024-04-09 炬芯科技股份有限公司 一种异步采样的转换方法及其转换装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63296511A (ja) * 1987-05-28 1988-12-02 Sony Corp サンプリング周波数変換装置
EP0695032B1 (en) 1994-07-25 2001-11-07 Matsushita Electric Industrial Co., Ltd. Digital-to-digital sample rate converter
JPH08321745A (ja) * 1995-03-20 1996-12-03 Fujitsu Ltd オーディオデータ処理装置
US5729225A (en) * 1996-09-23 1998-03-17 Motorola, Inc. Method and apparatus for asynchronous digital mixing
US5963153A (en) * 1997-10-31 1999-10-05 Ati Technologies, Inc. Multi-stream audio sampling rate conversion system and method using variable converter rate control data
JP3468677B2 (ja) * 1997-12-25 2003-11-17 シャープ株式会社 周波数変換装置
JPH11213558A (ja) * 1998-01-27 1999-08-06 Toshiba Corp 音声データ処理装置およびコンピュータシステム並びに音声データ処理方法
US6057789A (en) * 1998-10-29 2000-05-02 Neomagic Corp. Re-synchronization of independently-clocked audio streams by dynamically switching among 3 ratios for sampling-rate-conversion
JP2001256730A (ja) 2000-03-10 2001-09-21 Yamaha Corp デジタルミキシング回路

Also Published As

Publication number Publication date
WO2006025332A1 (ja) 2006-03-09
US20070257711A1 (en) 2007-11-08
US7378996B2 (en) 2008-05-27
CN101006641A (zh) 2007-07-25

Similar Documents

Publication Publication Date Title
US7936288B2 (en) Method and system for audio CODEC voice ADC processing
US20080133224A1 (en) Method and system for utilizing rate conversion filters to reduce mixing complexity during multipath multi-rate audio processing
EP1639703B1 (en) Rational sample rate conversion
EP1927982A2 (en) Method and system for processing multi-rate audio from a plurality of audio processing sources
US20110182444A1 (en) Method and System for Handling the Processing of Bluetooth Data During Multi-Path Multi-Rate Audio Processing
US8438036B2 (en) Asynchronous sampling rate converter for audio applications
KR100804640B1 (ko) 서브밴드 합성 필터링 방법 및 장치
EP2273495A1 (en) Digital audio signal processing system
US7358884B1 (en) Methods and systems for implementing a Digital-to-Analog Converter
KR20200123395A (ko) 오디오 데이터를 처리하기 위한 방법 및 장치
US20050128110A1 (en) A/D converter apparatus and D/A converter apparatus
US20100263519A1 (en) Set top box
JPWO2006025332A1 (ja) サンプリングレート変換演算装置
US9075697B2 (en) Parallel digital filtering of an audio channel
JP2007235502A (ja) オーディオ通信システム
US8565907B2 (en) Audio mixing device and method
Mehra et al. Area Efficient Interpolator Using Half-Band Symmetric Structure
US7205914B1 (en) System and method for efficient upsampled signal processing
Mar et al. A high-quality, energy optimized, real-time sampling rate conversion library for the StrongARM microprocessor
JP2008028574A (ja) オーディオ処理装置、オーディオ処理方法、プログラム、および集積回路
JP2006033448A (ja) マルチサンプリングレートσδdacシステム、及び音響機器
JP2007279581A (ja) オーディオ信号処理装置,オーディオ信号処理方法,プログラムおよび記憶媒体
WO2010146874A1 (ja) ディジタルミキシング回路およびそれを備えた携帯端末
Saito et al. A speech speed control using Fourier composite approach
Borgh et al. Efficient asynchronous re-sampling implementation on a low-power fixed-point DSP

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080620

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20090602