JP3675361B2 - Communication terminal - Google Patents

Communication terminal Download PDF

Info

Publication number
JP3675361B2
JP3675361B2 JP2001156640A JP2001156640A JP3675361B2 JP 3675361 B2 JP3675361 B2 JP 3675361B2 JP 2001156640 A JP2001156640 A JP 2001156640A JP 2001156640 A JP2001156640 A JP 2001156640A JP 3675361 B2 JP3675361 B2 JP 3675361B2
Authority
JP
Japan
Prior art keywords
data
stereo
timbre
unit
waveform data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001156640A
Other languages
Japanese (ja)
Other versions
JP2002351470A (en
Inventor
清志 山木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2001156640A priority Critical patent/JP3675361B2/en
Priority to TW91110030A priority patent/TWI223536B/en
Priority to KR1020020027509A priority patent/KR100862126B1/en
Publication of JP2002351470A publication Critical patent/JP2002351470A/en
Application granted granted Critical
Publication of JP3675361B2 publication Critical patent/JP3675361B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Telephone Function (AREA)
  • Stereophonic Arrangements (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、ステレオサンプリング機能およびステレオの楽曲を再生する機能を有する携帯電話機などの通信端末に関する。
【0002】
【従来の技術】
従来より、携帯電話やPHSなどの携帯通信端末において、予め機器にプリセットされた楽曲ファイルやユーザが作成した楽曲ファイルあるいは配信センタなどのサーバから取得した楽曲ファイル(SMF(Standard MIDI File)、SMAF(Synthetic music Mobile Application Format)、MFiなどのシーケンスデータファイル)に基づき、音源を駆動して着信メロディを発生することが知られている。
また、予め録音し登録した音声(録音される音は人の声に限られることはないが、本明細書ではまとめて「音声」と呼ぶこととする。)を、再生して着信メロディとすることも知られている(特開平2−78349号公報、特開平10−178679号公報、特開平10−313351号公報、特開平11−88211号公報などを参照されたい)。
【0003】
【発明が解決しようとする課題】
楽曲ファイルに基づき着信メロディなどを再生する場合には、最新のヒットチャートから選曲される場合が多く、楽曲の人気に偏りが生じやすい。従って、個性がなく、携帯通信端末所有者がたくさん集まっている場所では自分への着信であるかどうかを識別できない場合がある。
また、録音(サンプリング)した音声を再生して着信メロディとするタイプのものは、サンプリングした音声を単にそのまま再生するだけのものが大部分であり、サンプリングした音声に対しエンベロープの付与、ピッチの変更などの処理を行うことができず、サンプリングした音声を音色データとして使用することもできなかった。
さらにまた、ステレオサンプリングした拡がり感を有する楽音を再生する機能を有する携帯通信機器は知られていない。
【0004】
そこで本発明は、ステレオサンプリングした音声を音色データの素材として使用できるようにすることにより、独自の音色を有するとともに拡がり感のある楽曲を再生することができる通信端末を提供することを目的としている。
【0005】
【課題を解決するための手段】
上記目的を達成するために、本発明の通信端末は、制御部と、記憶部と、通信部と、音声処理部と、表示部と、操作部と、楽曲再生部を有する通信端末であって、前記楽曲再生部は、波形データを記憶する記憶手段と、指定されたノートナンバに対応したレートで変化するアドレス信号を発生するアドレス発生器と、該アドレス発生器から発生されたアドレス信号により前記記憶手段から読み出された波形データにエンベロープを付与するエンベロープ付与部とを有し、前記音声処理部は2個のマイクを介して入力される音声信号をステレオサンプリングする機能を有し、前記制御部は、前記ステレオサンプリングした音声波形データを前記記憶手段に記憶することにより、前記楽曲再生部から前記ステレオサンプリングした音声波形データを用いたステレオの楽音を生成することができるように構成されているものである。
また、前記2個のマイクのうちの1個は、送話マイクとされているものである。
さらに、前記アドレス発生器は、所定のスタートアドレスからエンドアドレスまでを繰り返し読み出すアドレス信号を発生し、前記制御部は、前記ステレオサンプリングした音声波形データを素材とするロングストリームの波形データを前記記憶手段における既に読み出されたアドレス領域に逐次供給して書き込むことにより、前記楽曲再生部からロングストリームのステレオの波形データを再生することができるように構成されているものである。
さらにまた、前記ステレオサンプリングした音声波形データを素材としてステレオの音色データを作成する手段を有し、該作成したステレオの音色データを使用して楽曲を再生するようになされているものである。
【0006】
【発明の実施の形態】
本発明は、携帯電話やPHSなどの携帯通信端末に限らず、固定電話機などにも適用することができるが、以下では、携帯電話やPHSなどの携帯通信端末に適用した場合を例にとって説明する。
図1は、本発明の一実施の形態である携帯通信端末の全体構成の一例を示すブロック図である。
この図において、1はこの装置全体の制御を行う中央処理装置(システムCPU)、2は各種通信制御プログラムや楽曲再生のためのプログラムなどの制御プログラムおよびプリセットされている楽曲ファイルや各種定数データなどが格納されているシステムROM、3はワークエリアとして使用されるとともに楽曲ファイルや音色データなど各種のデータを記憶するシステムRAM、4は液晶表示装置(LCD)などからなる表示部、5は複数の操作ボタンなどを有する操作部、6は変復調部などからなりアンテナ7に接続される通信部である。ここで、前記システムRAM3における楽曲ファイル記憶領域および音色データ記憶領域は、フラッシュメモリを使用したり、バッテリバックアップをすることなどにより不揮発性とされているのが望ましい。
また、8は、送話マイク9、マイク10および受話スピーカ11に接続され、通話のための音声信号の符号化および復号を行うとともにマイク9およびマイク10から入力された音声信号を同時にサンプリングして取り込む機能を有する音声処理部(音声CODEC)、12は、音源を有し、前記システムRAM3などに記憶された楽曲ファイルに基づいて楽曲を再生する楽曲再生部、13は着信通知などに用いられるスピーカ、14はヘッドホン、15はパーソナルコンピュータや他の携帯通信端末などの外部機器との間で各種データを授受するための外部インターフェース回路、16は前記各構成要素間のデータ転送を行うためのバスである。
【0007】
図2に、前記音声処理部8の内部構成の一例を示す。この図において、21は前記送話マイク9からの入力音声を所定周波数のサンプリングクロックによりサンプリングしてデジタルデータに変換するA/D変換器、22は前記マイク10から入力される音声を所定周波数のサンプリングクロックでサンプリングしてデジタルデータに変換するA/D変換器、23、24、25はバッファ、26は前記A/D変換器21からの音声データを例えばCELP、VSELP、ADPCM方式などシステムにより定められた音声符号化方式で符号化し前記通信部6に出力する音声符号化部である。
また、27は前記通信部6により復調されベースバンド信号とされた音声データを復号する音声復号部、28は音声復号部27からの復号された音声データをアナログ信号に変換するD/A変換器、29、30はバッファ、31は前記バッファ29を介して供給される前記D/A変換器28の出力音声信号と前記バッファ30を介して入力される前記楽曲再生部12からの楽曲信号を重みを付加して加算し、受話スピーカ11に出力する加算器である。
【0008】
通話時においては、前記送話マイク9から入力された送話音声は、A/D変換器21でサンプリングされてデジタルデータに変換され、バッファ23を介して音声符号化部26で所定の符号化方式(例えば、CELP方式)で符号化され、前記通信部6に出力される。また、前記通信部6からの受信データは音声復号部27に入力され、ここで復号された後、D/A変換器28でアナログ信号に変換されて、バッファ29および加算器31を介して受話スピーカ11から出力される。このとき、前記加算器31における重みは、例えば、バッファ29側が1、バッファ30側が0とされている。なお、保留音を再生するときには、前記加算器31の重みは、バッファ29側、バッファ30側ともに0.5とされ、後述するようにステレオで着信メロディを再生するときには、バッファ29側が0、バッファ30側が1とされる。
【0009】
ここで、本発明の携帯通信端末においては、マイク9およびマイク10の2つのマイクからの入力音声をステレオサンプリングして取り込むことができるようになされている。すなわち、例えばステレオの一方のチャンネル(例えば、左チャンネル(L−ch))に対応する前記送話マイク9から入力された音声信号については、前記A/D変換器21で所定のサンプリング周期でサンプリングし、デジタルデータに変換する。また、同時に、他方のチャンネル(例えば、右チャンネル(R−ch))に対応する前記マイク10からの入力信号は、A/D変換器22でサンプリングし、デジタルデータに変換する。A/D変換器21および22からの各デジタルデータは、それぞれ対応するバッファ24あるいは25を介して前記システムRAM3の所定の領域にステレオの音声波形データのR−ch、L−chのデータとして記憶される。なお、このときの前記A/D変換器21および前記A/D変換器22のサンプリングクロックの周波数は、前記通話時におけるサンプリング周波数と異なる周波数としてもよい。
このようにして取り込まれたステレオの音声波形データは、後述するように、新規な音色データを作成するための素材として、あるいは、必要に応じて加工された後ロングストリームの波形データとして使用されることとなる。
【0010】
図3は、前記楽曲再生部12の内部構成の一例を示すブロック図である。この楽曲再生部12を用いて楽曲ファイルをステレオで再生し、着信メロディや保留音とすることができる。また、非通話時などに楽曲ファイルをステレオで再生して楽曲の鑑賞をすることもできる。
図3において、41は前記バス16に接続されたインターフェース部、42は複数チャンネルの楽音を生成することのできるFM方式の音源(ポリフォニックFM音源)、43は複数チャンネルの楽音を生成することのできる波形メモリ方式の音源(ポリフォニックWT音源)、44はこの携帯通信機器に予め設定されているプリセット音色の音色データを記憶している音色ROM、45はプリセット音色以外の音色の音色データを記憶することのできる音色RAMである。ここで、前記WT音源43としては、PCM方式あるいはADPCM方式のいずれであってもよい。また、前記音色ROM44には、プリセット音色の音色データとして、例えば、GM128音色の音色データとドラムセットの音色データが格納されている。
前記FM音源42およびWT音源43は、音色ROM44あるいは音色RAM45に格納されている音色データに基づき、複数の発音チャンネルで指定された音色の楽音波形データを生成する。
【0011】
音色データは、各音色ごとに特有のものであり、波形パラメータとその他のデータとからなっている。波形パラメータは、楽音波形を指示するものであり、FM音源の場合にはFM演算のアルゴリズムを指示するパラメータ、WT音源の場合には音色波形データ、該音色波形データのスタートアドレス、ループスタートアドレス、エンドアドレスなどである。また、その他のデータとしては、アタックレート、ディケイレート、サスティンレベル、リリースレートなどを指定するエンベロープパラメータ、ビブラートやトレモロの深さや速さを指定する変調パラメータ、リバーブ、コーラス、バリエーションなどのエフェクトを指定するエフェクトパラメータおよびこの音色がステレオ音色のRチャンネルであるかLチャンネルであるかあるいはモノラル音色であるかを示す識別子などが含まれている。
【0012】
さらに、46は前記FM音源42あるいは前記WT音源43により生成された楽音波形データのうちのLチャンネルの楽音波形データをミキシングするLチャンネルミキサであり、このLチャンネルミキサ46の出力はD/A変換器47でアナログ信号に変換された後、ヘッドホン14にLチャンネルの出力として供給されるとともに、前記音声処理部8に入力され、前記加算器31に供給され、前述のように受話スピーカ11から放音されることとなる。
48は、前記FM音源42あるいは前記WT音源43により生成された楽音波形データのうちのRチャンネルの楽音波形データをミキシングするRチャンネルミキサであり、このRチャンネルミキサ48の出力は、D/A変換器49でアナログ信号に変換された後、前記ヘッドホン14にRチャンネルの出力として供給されるとともに、スピーカ13から放音されることとなる。
このように、この実施の形態では、前記ヘッドホン14あるいは前記受話スピーカ12およびスピーカ13を用いてステレオで楽曲を再生することができるように構成されている。
【0013】
本発明においては、上述のように、マイク9と10の2つのマイクを用いて、入力音声をステレオサンプリングしている。このようにステレオサンプリングされた波形データをWT音源の音色波形データとして使用することにより、定位感や拡がり感を自然に有する楽音波形を再生あるいは生成することが可能となる。同時に録音されたRチャンネルとLチャンネルの波形データを素材として作成された音色データには、同一の音色名(音色番号)とそれがRチャンネルであるかLチャンネルであるかを識別する識別子(R,L)が付される。楽曲を再生するときに、このステレオ音色データを用いる場合には、その音色名を有するRチャンネルとLチャンネルの音色波形データを用い、音源の2つの発音チャンネルを使用して楽音が生成されることとなる。
なお、以上においては、送話マイク9をステレオの1チャンネル(例えば、Lチャンネル)の入力用として兼用していたが、別途専用のマイクを設けるようにしてもよい。ただし、送話マイク9を兼用させることにより、コストを削減することができる。
【0014】
図4は、本発明の通信端末において再生することが可能な楽曲データのファイルフォーマットを示す図である。この図に示すように、本発明の通信端末においては、(1)単純シーケンスファイル、(2)音色データ付きシーケンスファイル、および、(3)ストリームファイルの3通りの楽曲ファイルの再生を行うことができる。
前述のように、これらの楽曲ファイルは、予めプリセットメロディとして前記システムROM2中に格納されていたり、あるいは、前記システムRAM3中の楽曲ファイル記憶領域に記憶されている。例えば、配信サーバなどからダウンロードした楽曲ファイル、前記外部インターフェース回路15を介して外部機器から読み込んだ楽曲ファイル、前記操作部6を用いて作成した新規な楽曲ファイル、あるいは、既存の楽曲ファイルを前記操作部6を用いて変更、編集した楽曲ファイルなどは前記システムRAM3中の楽曲ファイル記憶領域に記憶することができる。
【0015】
(1)単純シーケンスファイルは、ヘッダ部とシーケンスデータ部とからなっている。ヘッダ部にはこの楽曲ファイルに含まれるトラック数やこの楽曲の再生時のタイムベースなどの情報が含まれており、シーケンスデータ部には、イベント情報(MIDIイベント)と各イベント間の時間間隔を表わす情報(デュレーションデータ、デルタタイム)の組がイベントの発生順に含まれている。また、この楽曲の曲名やコメント情報、楽器名、歌詞情報なども含ませることができる。この単純シーケンスファイルとしては、例えば、SMF形式の楽曲ファイルがある。
【0016】
(2)音色データ付きシーケンスファイルは、図示するように、ヘッダ部、音色データ部およびシーケンスデータ部を含んでいる。音色データ部にはこの楽曲の再生に使用する音色の音色データと、各パートに割り当てる音色を指定する音色割当て情報が含まれている。シーケンスデータ部は前記単純シーケンスファイルの場合と同様である。この音色データ付きシーケンスファイルとしては、例えば、SMAF形式の楽曲ファイルがある。
【0017】
(3)ロングストリームデータは、ヘッダ部とロングストリームデータ部とシーケンスデータ部からなっている。ここで、ロングストリームデータは長時間にわたりサンプリングした波形データであり、大きなサイズとなっている。また、シーケンスデータ部は、再生の開始、終了、ピッチシフト、エフェクトなどに関するイベントとデュレーションデータの組が含まれているのみであり、前記(1)や(2)の場合と比較して非常にシンプルなデータとなっている。このロングストリームファイルの例としては、SMAF形式の楽曲ファイルがある。
【0018】
以下、これら3通りの楽曲ファイルの再生の様子について説明する。本実施の形態においては、前記システムCPU1がシーケンサとして動作し、演奏すべき楽曲ファイルに含まれるシーケンスデータを解釈して、前記FM音源42あるいはWT音源43にシーケンスデータにより規定されたタイミングで音源制御データを供給するようにしているが、シーケンサ機能は、楽曲再生部12が持っていてもよいし、システムCPU1と楽曲再生部12が協調してシーケンサ機能を実現するようにしてもよい。なお、本発明の特徴的な部分であるステレオサンプリングした波形データを用いる再生はWT音源43を用いることとなるため、以下では音源として前記WT音源43を用いるものとして説明する。
【0019】
図5は、前記(1)単純シーケンスファイルの再生の様子を示す図である。この場合は、通常、プリセット音色を使用した再生が行われる。
図示するように、再生すべきものとして選択された単純シーケンスファイル(例えば、SMFデータ)のシーケンスデータが、前記システムRAM3から前記シーケンサとして動作するシステムCPU1により順次読み出される。前述のように、シーケンスデータ中には、各イベント間の時間間隔を表わすデュレーションデータとイベントデータの組が含まれており、前記システムCPU1は、デュレーションデータで指定されたタイミングでそのイベントに対応する音源制御データを前記WT音源43に出力する。
【0020】
例えば、読み出したイベントがプログラムチェンジメッセージであるときは、該メッセージに含まれるMIDIチャンネル番号とプログラム番号(音色番号)に基づき、MIDIチャンネルとそのチャンネルに割り当てられた音色の音色データの音色ROM44(あるいは音色RAM45)中のアドレスとの対応関係を記憶する音色テーブルに、そのMIDIチャンネルに対応する音色データのアドレスをセットする。
また、読み出したイベントがノートオンメッセージである場合には、該メッセージに含まれるMIDIチャンネルに対して前記WT音源43の発音チャンネルを割り当て、前記音色テーブルを参照して音色ROM44(あるいは音色RAM45)から対応する音色データを読み出し、その音色波形データのスタートアドレスを前記アドレス発生器52に、エンドアドレスとループスタートアドレスを前記位相発生器51に、エンベロープデータをエンベロープ発生器54に、エフェクトデータを図示しないエフェクタに、それぞれ設定する。そのMIDIチャンネルに対応する音色がステレオ音色であるときには、そのRチャンネルの音色とLチャンネルの音色に異なる発音チャンネルが割り当てられる。
【0021】
そして、メモリインターフェース回路53を介してアドレス発生器52から出力される読み出しアドレスで音色ROM44(あるいは音色RAM45)から音色波形データを読み出す。この読み出しアドレスは、位相発生器51の出力により、ノートオンメッセージに含まれているノートナンバから変換された位相増分値(Fナンバ)により更新され、前記エンドアドレスに達した後は、前記ループスタートアドレスを初期値として設定するように制御される。
これにより、ノートナンバに対応した音高の楽音波形サンプルを読み出すことができ、読み出された楽音波形サンプルデータは乗算器55において、エンベロープ発生器54からのエンベロープデータと乗算され、さらに、必要に応じて図示しないエフェクタでエフェクトを付与されて、前記図3に示すL−chミキサ46あるいはR−chミキサ48に入力される。
【0022】
次に、前記(2)の音色データ付きシーケンスファイルの再生について、図6を参照して説明する。
前述のように、この場合には、シーケンスファイル中に音色データとパートに割り当てる音色を指定する音色割当て情報が含まれており、システムCPU1は、まず、この音色データを波形メモリ音源43のメモリインターフェース回路53を介して前記音色RAM45に書き込む。複数の音色の音色データが含まれているときには、前記音色RAM45に該複数の音色データを書き込む。ステレオ音色の場合には、そのRチャンネルの音色データとLチャンネルの音色データをそれぞれ前記音色RAMに書き込む。また、前記音色割当て情報に基づいて、前記音色テーブルにパートとそれに対応する音色データの音色RAM45中のアドレスをセットする。ステレオ音色の場合には、Rチャンネル、Lチャンネルそれぞれの音色波形データのアドレスをセットする。
【0023】
そして、このシーケンスファイルに含まれているシーケンスデータの再生を行う。この処理は、前記(1)単純シーケンスファイルの再生処理と同様に行われる。すなわち、ノートオンメッセージに基づいてWT音源の発音チャンネルを割り当てた後、そのパートに対応する音色データを読み出し、音源の各部に設定して、音色波形データの読出しを開始する。また、プログラムチェンジメッセージのときには、前記音色テーブルを書き換える。ステレオ音色の場合には、RチャンネルとLチャンネルの音色波形データがそれぞれ読み出され、Rチャンネルの楽音波形データについては前記R−chミキサ48に、Lチャンネルの楽音波形データについては前記L−chミキサ46に入力されることとなる。
【0024】
次に、前記(3)ストリームファイルの再生について、図7を参照して説明する。図7の(a)は、ストリームファイル再生の様子を示す図であり、(b)は、前記音色RAM45を用いてロングストリームデータの再生を行う様子を説明するための図である。
前述のように(3)ストリームファイルは、サイズの大きいロングストリームデータと該ロングスストリームデータの再生の開始、終了、ピッチシフト、エフェクトなどを指示するイベントを含むシーケンスデータを含んでいる。
【0025】
前記システムCPU1は、ストリームファイルの再生に先立って、まず、前記ロングストリームデータの先頭部分を前記音色RAM45のこのロングストリームデータの発音のために割り当てられた領域(この領域のスタートアドレスをAs、エンドアドレスをAeとする)に前記メモリインターフェース回路53を介して書き込む。ステレオでサンプリングされたロングストリームデータの場合には、RチャンネルとLチャンネルとでそれぞれ異なる領域が割り当てられ、同期して読み出されることとなる。
そして、前記シーケンスデータに従い、それぞれのメッセージに対応する処理を行う。例えば、ピッチの変化を指示するピッチベンドメッセージが含まれているときには該メッセージに含まれているパラメータを前記位相発生器51に供給する。また、ノートオンメッセージが読出されたときには、該音色RAM45から前記ロングストリームデータの読み出しを開始する。すなわち、前記アドレス発生器52の読出しポインタPrを前記スタートアドレスAsにセットして、位相発生器51からの位相データに基づいて該読出しポインタを更新しつつ、ロングストリームデータの読出しを開始する。読出されたロングストリームの波形データはメモリインターフェース回路53、乗算器55を介して出力される。
【0026】
前記音色RAM45からのロングストリームデータの読出しが進行し、前記音色RAM45の読出しポインタPrの値がこのロングストリームデータの発音のために割り当てられた領域の中央位置(アドレスAc)を越えたとき(Pr>Ac)、これを前記アドレス発生器52が検出し、例えば割込を発生するなどして前記システムCPU1に通知する。前述のように、アドレス発生器52は、波形メモリの読出しアドレスがエンドアドレスに達したときにこれを検出してループアドレスから読出しを行う機構を備えており、この機構を用いて、Pr>Acを検出することができる。
前記システムCPU1は、この割込に応じて、前記スタートアドレスAsから後続するロングストリームデータの書込みを開始する。すなわち、書込みポインタPwを前記スタートアドレスAsとして、前記中央アドレスAcまでの領域(バッファエリア1)に後続するロングストリームデータを書き込む。なお、この書込みは前記ロングストリームデータの読み出しと並行して行われる。
【0027】
さらにロングストリームデータの読み出しが進行して、前記読出しポインタPrの値が前記エンドアドレスAeに達したとき、前記アドレス発生器52は前記読出しポインタPrの値を前記スタートアドレスAsに設定し、後続するストリームデータを読出す。また、このときに、前記アドレス発生器52は読出しアドレスがエンドアドレスに到達したことを前述の場合と同様に前記システムCPU1に通知する。これにより、前記システムCPU1は、後続するデータをアドレスAc〜エンドアドレスAeのバッファエリア2に書き込む。
以下、同様にして、音色RAM45の領域を2分割して交互にロングストリームデータを書き込むとともに、逐次読み出しを行うことにより、音色RAM45を用いてロングストリームデータの再生を行うことができる。
なお、ここでは、割込ポイントとして音色データを記憶する領域の中央部のアドレスを設定していたが、これに限られることはなく、例えば、再生されたサンプル数を計数し、所定量のサンプルが再生されたときに、後続するサンプルの転送を行うための割込を開始させるようにしてもよい。
【0028】
このように構成された本発明の通信端末において、前記音声処理部8を用いてサンプリングした波形データを用いて楽曲を再生するための処理について、図8のフローチャートを用いて説明する。すなわち、本実施の形態の携帯通信端末において再生可能な楽曲ファイルは前述した3通りのものとされているため、前記音声処理部8でステレオサンプリングした音声波形データを再生に用いるために、次のような処理を行う。
【0029】
まず、前記音声処理部8を用いて、前述のように音声データをサンプリングする(ステップS1)。なお、このときに、前記マイク9と10の両者を用いてステレオサンプリングするか、あるいは、いずれか一方のマイクを用いてモノラルサンプリングするかを選択することができるが、ここでは、ステレオサンプリングが選択されている。ステレオサンプリングした音声データは、前述のようにシステムRAM3に記憶される。
次に、このステレオサンプリングされた波形データを素材として音色データを作成し、該音色データを使用する場合にはステップS2に進み、また、長時間にわたりステレオサンプリングした波形データを再生するロングストリーム再生を行う場合にはステップS6に進む。
【0030】
まず、ステレオサンプリングされた波形データを素材として作成された音色データを楽曲ファイルの再生に使用する場合について説明する。この場合には、ステップS2において、該ステレオサンプリングした音声データを材料として音色波形データを作成する処理を行い、該作成した音色波形データにその音色を識別する識別番号などを付して、音色データとして登録する。すなわち、前記音声処理部8によりステレオサンプリングした音声データについて、そのエンベロープやピッチの変動を前記表示部4に表示し、該表示されている音声データのうちの音色波形データとして使用する部分の切出し処理、長く発音する場合におけるループの開始および終了位置であるループスタートポイントおよびエンドポイントの設定処理、および、所望のエンベロープを付与する処理などを行う。このときに、ステレオでサンプリングした左右両チャンネルの波形データを同時に前記表示部4に表示し、切出し処理、ループスタートポイントおよびエンドポイントの設定処理は左右両チャンネルの波形データについて共通に行う。
そして、このような処理が終了し切り出されたステレオの音声データに同一の音色番号を付けて音色データとして前記システムRAM3中の音色データ記憶領域に記憶する。このとき、ステレオの左右いずれの音色であるかを示す識別子(R、L)を付加する。
【0031】
次に、ステップS3に進み、前記ステップS2でステレオサンプリングして登録した音色データを用いて再生する楽曲のシーケンスデータを入手する。このシーケンスデータは、前述した(1)単純シーケンスファイルあるいは(2)音色データ付きシーケンスファイルに含まれるシーケンスデータであり、前記システムRAM3の楽曲ファイル格納領域に記憶されている楽曲ファイルの中から選択することにより、あるいは、外部の配信サーバからダウンロードしたり、外部機器からインターフェース回路15を介して入力することにより入手することができる。
【0032】
前記(1)単純シーケンスファイル(例えば、SMFファイル)を入手したときは、ステップS4に進み、その単純シーケンスファイルに含まれるシーケンスデータを、前記ステレオサンプリングして新たに登録した音色データを使用するように変更する。すなわち、そのシーケンスデータに含まれるプログラムチェンジメッセージを前記新たに登録した音色データの音色番号を指定するように変更して、新たな単純シーケンスファイルを作成し、前記システムRAM3中の楽曲ファイル格納領域に記憶する。この単純シーケンスファイルを前述のように再生することにより、ステレオサンプリングして新たに登録した音色データを使用した楽曲の再生を行うことができる。
【0033】
一方、前記(2)音色データ付きシーケンスファイルを入手したときは、ステップS5に進む。ここでは、入手した音色データ付きシーケンスファイルの音色データを前記新たに登録した音色データに変更して、新たな音色データ付きシーケンスデータを作成し、前記システムRAM3中に記憶する。すなわち、入手した音色データ付きシーケンスファイルの音色データ部を、前記ステップS2において作成し登録した音色データに置き換え、音色割当て情報をその音色データ番号を使用するように編集して、新たな音色データ付きシーケンスデータを作成し、前記システムRAM3中の楽曲ファイル領域に記憶する。この音色データ付きシーケンスデータを前述のようにして再生することにより、ステレオサンプリングして新たに登録した音色データを使用した楽曲の再生を行うことができる。
【0034】
また、ストリームファイルの作成をする場合には、前記ステップS1の後にステップS6に進み、前記(3)ストリームファイルを作成する。すなわち、前記ステップS1でステレオサンプリングした音声データに対し、ロングストリームデータとする部分を切り出したり、あるいは、エンベロープの付加やレベルの調整などの処理を行い、ロングストリームデータを作成する。そして、その再生の開始および終了、ピッチシフト、あるいは、エフェクトなどを付加するメッセージとその時間間隔を表わす情報を作成してシーケンスデータを作成する。次に、作成したロングストリームデータとシーケンスデータを結合し、ヘッダを付加して、ストリームファイルを作成し、前記システムRAM3に記憶する。このストリームファイルを前述のように再生することにより、この携帯通信端末でステレオサンプリングした音声データストリームを再生することができる。
【0035】
以上のように、本発明によれば、ステレオサンプリングした音声波形データをWT音源の波形メモリで使用することにより、拡がり感があり、かつ、個性豊かな着信メロディや保留音を再生することが可能となる。
例えば、ステレオサンプリングした音声波形データを素材として作成した音色データを用いる場合には、複数の発音チャンネルにその音色データを割り当てることにより、同時に複数再生可能となり、異なる動物の鳴き声による合唱や、一人の声によるゴスペルコーラスなど、様々なコンテンツを制作することが可能となる。
【0036】
なお、上記においては、携帯通信端末において、ステレオサンプリングした音声データを再生するための楽曲ファイルを作成していたが、携帯通信端末以外のところでステレオサンプリングした音声データを使用する楽曲ファイルを作成するようにしてもよい。
例えば、携帯通信端末でステレオサンプリングした音声データを、ネットワーク上に設けられたサーバに送信し、該サーバ上で前記図8に示した楽曲ファイルを作成あるいは変換する処理を実行し、該新たな楽曲ファイルを前記携帯通信端末に送り返すようにしてもよい。あるいは、携帯通信端末の前記外部インターフェース回路15を介して接続されたパーソナルコンピュータなどの外部機器にステレオサンプリングした音声データを送信し、該外部機器において前記楽曲ファイルの変換あるいは作成処理を行わせ、変換あるいは作成された楽曲ファイルを携帯通信端末に戻すようにしてもよい。
また、上記においては、携帯通信端末を例にとって説明したが、固定型の通信端末などの場合にも全く同様に適用することが可能である。
【0037】
【発明の効果】
以上説明したように、本発明の通信端末によれば、ステレオサンプリングした音声を加工して再生することが可能となり、拡がり感があるとともに、個性的な楽音を再生することができる。
また、シーケンスデータファイルに基づく着信メロディの発生とステレオサンプリングした音声に基づく着信メロディの発生の両方を、ハードウエアの共用により低コストで実現できる。
さらに、ステレオサンプリングした音声を、シーケンスデータから指定可能な音色素材として利用することができる本発明によれば、既存のシーケンスデータを使用した場合であっても、オリジナルの音色に変更して再生することが可能となる。
さらにまた、波形メモリ音源の複数チャンネル同時発音機構と組み合わせて利用する場合には、場所・時間を変えてステレオサンプリングした複数の音声を重ね合わせて再生することができ、例えば、動物大合唱といった個性的な楽曲の再生を行うことが可能となる。
さらにまた、波形メモリ音源の複数チャンネル同時発音機構と組み合わせて利用する場合には、1つのステレオサンプリング音声を使って和音を発生することができ、例えばゴスペルコーラス的な再生が可能となる。
このように、本発明によれば、様々なコンテンツを作成することができ、個性豊かで他者との識別性の高い着信メロディを再生可能な通信端末を提供することができる。
【図面の簡単な説明】
【図1】 本発明の通信端末の一実施の形態である携帯通信端末の構成例を示すブロック図である。
【図2】 図1に示した携帯通信端末における音声処理部の構成例を示すブロック図である。
【図3】 図1に示した携帯通信端末における楽曲再生部の構成例を示すブロック図である。
【図4】 楽曲ファイルの構成を説明するための図である。
【図5】 単純シーケンスファイルの再生の様子を説明するための図である。
【図6】 音色データ付きシーケンスファイルの再生の様子を説明するための図である。
【図7】 ストリームファイルの再生について説明するための図であり、(a)はストリームファイルの再生の様子を示す図、(b)は音色RAM45を用いてロングストリームデータの再生を行う様子を説明するための図である。
【図8】 サンプリングした音声データを用いる楽曲ファイルの作成処理の流れを説明するための図である。
【符号の説明】
1 システムCPU、2 システムROM、3 システムRAM、8 音声処理部(音声CODEC)、9,10 マイク、11,13 スピーカ、12 楽曲再生部、14 ヘッドフォン、21,22 A/D変換器、23,24,25,29,30 バッファ、28 D/A変換器、42 FM音源、43 波形メモリ音源(WT音源)、44 音色ROM、45 音色RAM、46 L−chミキサ、47,49 D/A変換器、48 R−chミキサ、51 位相発生器、52 アドレス発生器、53 メモリインターフェース回路、54 エンベロープ発生器、55 乗算器
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a communication terminal such as a mobile phone having a stereo sampling function and a function of reproducing stereo music.
[0002]
[Prior art]
Conventionally, in a mobile communication terminal such as a mobile phone or a PHS, a music file preset in a device, a music file created by a user, or a music file acquired from a server such as a distribution center (SMF (Standard MIDI File), SMAF ( Synthetic music Mobile Application Format) and sequence data files such as MFi) are known to generate ringtones by driving a sound source.
In addition, a sound that has been recorded and registered in advance (the sound to be recorded is not limited to a human voice, but is collectively referred to as “speech” in this specification) is played back as a ringing melody. This is also known (see JP-A-2-78349, JP-A-10-178679, JP-A-10-313351, JP-A-11-88211, etc.).
[0003]
[Problems to be solved by the invention]
When playing a ring melody or the like based on a music file, the music is often selected from the latest hit chart, and the popularity of the music tends to be biased. Therefore, there is a case where it is not possible to identify whether or not the call is received at a place where there is no individuality and many mobile communication terminal owners gather.
In addition, most of the types that play recorded (sampled) voices and use them as incoming ring melodies simply play back the sampled voices as they are. Adding envelopes to the sampled voices and changing the pitch Such processing cannot be performed, and the sampled voice cannot be used as timbre data.
Furthermore, there is no known portable communication device having a function of reproducing stereo-sampled musical tones having a sense of spread.
[0004]
Therefore, an object of the present invention is to provide a communication terminal capable of playing a music having a unique tone and a sense of breadth by making it possible to use stereo-sampled audio as a material of tone color data. .
[0005]
[Means for Solving the Problems]
In order to achieve the above object, a communication terminal of the present invention is a communication terminal having a control unit, a storage unit, a communication unit, a voice processing unit, a display unit, an operation unit, and a music playback unit. The music playback unit includes a storage means for storing waveform data, an address generator for generating an address signal that changes at a rate corresponding to a specified note number, and an address signal generated from the address generator. An envelope applying unit that adds an envelope to the waveform data read from the storage means , and the audio processing unit has a function of stereo-sampling an audio signal input via two microphones, and the control parts are by storing the voice waveform data the stereo sampling in the storage means, the speech waveform data the stereo sampled from the musical piece reproducing unit Those that are configured to be able to generate a stereo musical sound using.
One of the two microphones is a transmission microphone.
Further, the address generator generates an address signal for repeatedly reading from a predetermined start address to an end address, and the control unit stores the long stream waveform data using the stereo sampled audio waveform data as the material. By sequentially supplying and writing to the already read address area, long stream stereo waveform data can be reproduced from the music reproducing unit .
Still further, there is provided means for generating stereo tone color data using the stereo sampled audio waveform data as a material, and a music piece is reproduced using the generated stereo tone color data.
[0006]
DETAILED DESCRIPTION OF THE INVENTION
The present invention can be applied not only to a mobile communication terminal such as a mobile phone or a PHS but also to a fixed phone, etc. In the following, a case where the present invention is applied to a mobile communication terminal such as a mobile phone or a PHS will be described as an example. .
FIG. 1 is a block diagram showing an example of the overall configuration of a mobile communication terminal according to an embodiment of the present invention.
In this figure, 1 is a central processing unit (system CPU) that controls the entire apparatus, 2 is a control program such as various communication control programs and programs for music playback, preset music files and various constant data, etc. Is stored as a system ROM, 3 is used as a work area and stores various data such as music files and timbre data, 4 is a display unit including a liquid crystal display (LCD), and 5 is a plurality of An operation unit having operation buttons and the like, and a communication unit 6 including a modem unit and the like are connected to the antenna 7. Here, it is desirable that the music file storage area and the timbre data storage area in the system RAM 3 be made non-volatile by using a flash memory or performing battery backup.
Reference numeral 8 is connected to the transmission microphone 9, the microphone 10, and the reception speaker 11, and encodes and decodes an audio signal for a call and simultaneously samples the audio signal input from the microphone 9 and the microphone 10. An audio processing unit (audio CODEC) having a function of capturing, 12 has a sound source, and reproduces music based on a music file stored in the system RAM 3 or the like, and 13 is a speaker used for notification of incoming calls. , 14 is a headphone, 15 is an external interface circuit for exchanging various data with an external device such as a personal computer or another portable communication terminal, and 16 is a bus for transferring data between the components. is there.
[0007]
FIG. 2 shows an example of the internal configuration of the voice processing unit 8. In this figure, 21 is an A / D converter that samples the input voice from the transmission microphone 9 with a sampling clock of a predetermined frequency and converts it into digital data, and 22 is a voice of a predetermined frequency that is input from the microphone 10. An A / D converter that samples by a sampling clock and converts it into digital data, 23, 24, and 25 are buffers, and 26 is audio data from the A / D converter 21 determined by a system such as CELP, VSELP, or ADPCM system. This is a speech encoding unit that encodes the received speech encoding method and outputs it to the communication unit 6.
Reference numeral 27 denotes a voice decoding unit that decodes the voice data demodulated by the communication unit 6 into a baseband signal, and 28 denotes a D / A converter that converts the decoded voice data from the voice decoding unit 27 into an analog signal. , 29 and 30 are buffers, and 31 is a weight for the output audio signal of the D / A converter 28 supplied via the buffer 29 and the music signal from the music playback unit 12 input via the buffer 30. Is an adder that adds and adds to the reception speaker 11.
[0008]
During a call, the transmission voice input from the transmission microphone 9 is sampled by the A / D converter 21 and converted into digital data, and a predetermined encoding is performed by the voice encoding unit 26 via the buffer 23. It is encoded by a method (for example, CELP method) and output to the communication unit 6. The received data from the communication unit 6 is input to the voice decoding unit 27, decoded there, and then converted into an analog signal by the D / A converter 28, and received by the buffer 29 and the adder 31. Output from the speaker 11. At this time, the weight in the adder 31 is, for example, 1 on the buffer 29 side and 0 on the buffer 30 side. The weight of the adder 31 is set to 0.5 for both the buffer 29 side and the buffer 30 side when playing a hold tone, and when the ringing melody is played back in stereo as described later, the buffer 29 side is set to 0. The 30 side is set to 1.
[0009]
Here, in the mobile communication terminal of the present invention, the input sound from the two microphones of the microphone 9 and the microphone 10 can be captured by stereo sampling. That is, for example, an audio signal input from the transmission microphone 9 corresponding to one stereo channel (for example, the left channel (L-ch)) is sampled by the A / D converter 21 at a predetermined sampling period. And convert it to digital data. At the same time, the input signal from the microphone 10 corresponding to the other channel (for example, the right channel (R-ch)) is sampled by the A / D converter 22 and converted into digital data. Each digital data from the A / D converters 21 and 22 is stored as R-ch and L-ch data of stereo audio waveform data in a predetermined area of the system RAM 3 via the corresponding buffer 24 or 25, respectively. Is done. Note that the frequency of the sampling clock of the A / D converter 21 and the A / D converter 22 at this time may be a frequency different from the sampling frequency during the call.
The stereo audio waveform data thus captured is used as a material for creating new timbre data, or as long-stream waveform data after being processed as necessary, as will be described later. It will be.
[0010]
FIG. 3 is a block diagram showing an example of the internal configuration of the music playback unit 12. A music file can be reproduced in stereo using the music reproduction unit 12 to be a ringing melody or a hold sound. It is also possible to listen to music by playing music files in stereo during non-calling.
In FIG. 3, reference numeral 41 denotes an interface unit connected to the bus 16, 42 denotes an FM sound source (polyphonic FM sound source) capable of generating a plurality of channels of musical sounds, and 43 denotes a plurality of channels of musical sounds. Waveform memory type sound source (polyphonic WT sound source), 44 is a timbre ROM that stores timbre data of preset timbres preset in the portable communication device, and 45 is a timbre data of timbres other than preset timbres. This is a tone color RAM that can be used. Here, the WT sound source 43 may be either a PCM system or an ADPCM system. The timbre ROM 44 stores, for example, GM128 tone color data and drum set tone data as preset tone color data.
The FM sound source 42 and the WT sound source 43 generate musical tone waveform data of a timbre designated by a plurality of tone generation channels based on the timbre data stored in the timbre ROM 44 or the timbre RAM 45.
[0011]
The timbre data is unique to each timbre, and includes waveform parameters and other data. The waveform parameter indicates a musical sound waveform. In the case of an FM sound source, the parameter indicates an FM calculation algorithm. In the case of a WT sound source, the tone color waveform data, the start address of the tone color waveform data, the loop start address, For example, an end address. Other data includes envelope parameters that specify attack rate, decay rate, sustain level, release rate, etc., modulation parameters that specify the depth and speed of vibrato and tremolo, effects such as reverb, chorus, and variation. And an identifier indicating whether the tone color is an R channel, an L channel, or a monaural tone color of a stereo tone color.
[0012]
Further, 46 is an L channel mixer that mixes L channel musical sound waveform data among the musical sound waveform data generated by the FM sound source 42 or the WT sound source 43, and the output of the L channel mixer 46 is D / A converted. After being converted to an analog signal by the device 47, it is supplied to the headphone 14 as an L channel output, input to the audio processing unit 8, supplied to the adder 31, and released from the receiving speaker 11 as described above. It will be sounded.
Reference numeral 48 denotes an R channel mixer that mixes R channel musical sound waveform data among the musical sound waveform data generated by the FM sound source 42 or the WT sound source 43, and the output of the R channel mixer 48 is D / A converted. After being converted to an analog signal by the device 49, it is supplied to the headphone 14 as an R channel output and emitted from the speaker 13.
Thus, in this embodiment, the music can be reproduced in stereo using the headphones 14 or the reception speaker 12 and the speaker 13.
[0013]
In the present invention, as described above, the input sound is stereo-sampled using the two microphones 9 and 10. By using the stereo-sampled waveform data in this way as the timbre waveform data of the WT sound source, it is possible to reproduce or generate a musical sound waveform that naturally has a sense of localization and a sense of spread. The tone data created using the R channel and L channel waveform data recorded at the same time as the material includes the same tone name (timbre number) and an identifier (R) identifying whether it is the R channel or the L channel. , L). When using this stereo tone data when playing a musical piece, the tone sound data of the R channel and the L channel having the tone name is used, and the tone is generated using the two tone generation channels of the sound source. It becomes.
In the above description, the transmission microphone 9 is also used for inputting one stereo channel (for example, L channel), but a dedicated microphone may be provided separately. However, the cost can be reduced by using the transmission microphone 9 in common.
[0014]
FIG. 4 is a diagram showing a file format of music data that can be reproduced in the communication terminal of the present invention. As shown in this figure, in the communication terminal of the present invention, three types of music files can be played: (1) a simple sequence file, (2) a sequence file with timbre data, and (3) a stream file. it can.
As described above, these music files are stored in advance in the system ROM 2 as preset melodies or stored in a music file storage area in the system RAM 3. For example, a music file downloaded from a distribution server, a music file read from an external device via the external interface circuit 15, a new music file created using the operation unit 6, or an existing music file is operated. The music file changed or edited using the unit 6 can be stored in a music file storage area in the system RAM 3.
[0015]
(1) The simple sequence file is composed of a header part and a sequence data part. The header part contains information such as the number of tracks contained in this music file and the time base during playback of this music, and the sequence data part contains event information (MIDI events) and the time interval between each event. A set of information (duration data, delta time) to be expressed is included in the order of event occurrence. Also, the song title, comment information, instrument name, lyrics information, etc. of this song can be included. As this simple sequence file, for example, there is a music file in the SMF format.
[0016]
(2) The sequence file with timbre data includes a header portion, a timbre data portion and a sequence data portion as shown in the figure. The timbre data portion includes timbre data used for reproduction of the music and timbre assignment information for designating the timbre to be assigned to each part. The sequence data part is the same as that of the simple sequence file. As the sequence file with tone color data, for example, there is a music file in the SMAF format.
[0017]
(3) Long stream data includes a header part, a long stream data part, and a sequence data part. Here, the long stream data is waveform data sampled for a long time and has a large size. The sequence data section only includes a set of events and duration data relating to the start, end, pitch shift, effect, etc. of the reproduction, which is much higher than in the cases (1) and (2). It is simple data. An example of the long stream file is a SMAF format music file.
[0018]
The following describes how these three music files are played back. In the present embodiment, the system CPU 1 operates as a sequencer, interprets sequence data contained in a music file to be played, and controls the FM sound source 42 or the WT sound source 43 at a timing defined by the sequence data. Although the data is supplied, the sequencer function may be provided by the music playback unit 12, or the system CPU 1 and the music playback unit 12 may cooperate to implement the sequencer function. Since reproduction using stereo-sampled waveform data, which is a characteristic part of the present invention, uses the WT sound source 43, the following description will be made assuming that the WT sound source 43 is used as a sound source.
[0019]
FIG. 5 is a diagram showing how the (1) simple sequence file is reproduced. In this case, playback using a preset tone color is usually performed.
As shown in the figure, sequence data of a simple sequence file (for example, SMF data) selected to be reproduced is sequentially read from the system RAM 3 by the system CPU 1 operating as the sequencer. As described above, the sequence data includes a set of duration data and event data representing the time interval between each event, and the system CPU 1 responds to the event at the timing specified by the duration data. The sound source control data is output to the WT sound source 43.
[0020]
For example, when the read event is a program change message, based on the MIDI channel number and program number (tone number) included in the message, the tone color ROM 44 (or the tone color data of the tone color assigned to the MIDI channel and that channel) (or The address of the timbre data corresponding to the MIDI channel is set in the timbre table storing the correspondence with the address in the timbre RAM 45).
If the read event is a note-on message, the tone generation channel of the WT sound source 43 is assigned to the MIDI channel included in the message, and the tone color ROM 44 (or tone color RAM 45) is referred to the tone color table. The corresponding timbre data is read, the start address of the timbre waveform data is sent to the address generator 52, the end address and loop start address are sent to the phase generator 51, the envelope data is sent to the envelope generator 54, and the effect data is not shown. Set each effector. When the timbre corresponding to the MIDI channel is a stereo timbre, different tone generation channels are assigned to the timbre of the R channel and the timbre of the L channel.
[0021]
The timbre waveform data is read out from the timbre ROM 44 (or timbre RAM 45) at the read address output from the address generator 52 via the memory interface circuit 53. This read address is updated with the phase increment value (F number) converted from the note number included in the note-on message by the output of the phase generator 51, and after reaching the end address, the loop start is performed. It is controlled to set the address as an initial value.
Thereby, a musical tone waveform sample corresponding to the note number can be read out, and the read musical tone waveform sample data is multiplied by the envelope data from the envelope generator 54 in the multiplier 55, and further, if necessary. In response, an effect is applied by an effector (not shown) and input to the L-ch mixer 46 or the R-ch mixer 48 shown in FIG.
[0022]
Next, the reproduction of the sequence file with tone color data (2) will be described with reference to FIG.
As described above, in this case, the timbre assignment information for designating the timbre data and the timbre to be assigned to the part is included in the sequence file. The timbre RAM 45 is written through the circuit 53. When a plurality of tone color data are included, the plurality of tone color data are written in the tone color RAM 45. In the case of a stereo tone color, the R channel tone color data and the L channel tone color data are respectively written in the tone color RAM. Also, based on the timbre assignment information, an address in the timbre RAM 45 of the part and the corresponding timbre data is set in the timbre table. In the case of a stereo tone color, the address of tone color waveform data for each of the R channel and the L channel is set.
[0023]
Then, the sequence data included in this sequence file is reproduced. This process is performed in the same manner as the above (1) simple sequence file reproduction process. That is, after assigning the sound generation channel of the WT sound source based on the note-on message, the timbre data corresponding to the part is read out, set in each part of the sound source, and reading out the timbre waveform data is started. In the case of a program change message, the timbre table is rewritten. In the case of a stereo tone, the R-channel and L-channel tone waveform data are read out respectively, the R-channel musical sound waveform data are sent to the R-ch mixer 48, and the L-channel musical sound waveform data are called the L-ch. It is input to the mixer 46.
[0024]
Next, (3) reproduction of a stream file will be described with reference to FIG. (A) of FIG. 7 is a diagram showing how a stream file is reproduced, and (b) is a diagram for explaining how long stream data is reproduced using the timbre RAM 45.
As described above, (3) a stream file includes long stream data having a large size and sequence data including events that indicate the start, end, pitch shift, and effect of the reproduction of the long stream data.
[0025]
Prior to playback of the stream file, the system CPU 1 first assigns the head portion of the long stream data to an area allocated for the sound generation of the long stream data in the timbre RAM 45 (the start address of this area is As, end The address is set to Ae) through the memory interface circuit 53. In the case of long stream data sampled in stereo, different areas are assigned to the R channel and the L channel, respectively, and read out in synchronization.
Then, processing corresponding to each message is performed according to the sequence data. For example, when a pitch bend message instructing a change in pitch is included, the parameters included in the message are supplied to the phase generator 51. When the note-on message is read, reading of the long stream data from the timbre RAM 45 is started. That is, the read pointer Pr of the address generator 52 is set to the start address As, and reading of long stream data is started while updating the read pointer based on the phase data from the phase generator 51. The read long stream waveform data is output via the memory interface circuit 53 and the multiplier 55.
[0026]
When reading of the long stream data from the timbre RAM 45 proceeds and the value of the read pointer Pr of the timbre RAM 45 exceeds the center position (address Ac) of the area allocated for the sound generation of the long stream data (Pr) > Ac), the address generator 52 detects this and notifies the system CPU 1 by, for example, generating an interrupt. As described above, the address generator 52 has a mechanism for detecting when the read address of the waveform memory reaches the end address and reading from the loop address, and using this mechanism, Pr> Ac Can be detected.
In response to this interrupt, the system CPU 1 starts writing the long stream data that follows the start address As. That is, using the write pointer Pw as the start address As, the subsequent long stream data is written in the area (buffer area 1) up to the central address Ac. This writing is performed in parallel with the reading of the long stream data.
[0027]
When the reading of the long stream data further proceeds and the value of the read pointer Pr reaches the end address Ae, the address generator 52 sets the value of the read pointer Pr to the start address As and follows. Read stream data. At this time, the address generator 52 notifies the system CPU 1 that the read address has reached the end address in the same manner as described above. As a result, the system CPU 1 writes subsequent data into the buffer area 2 of the address Ac to the end address Ae.
In the same manner, long stream data can be reproduced using the timbre RAM 45 by similarly dividing the area of the timbre RAM 45 into two and writing the long stream data alternately and sequentially reading them.
Here, the address of the central part of the area where the timbre data is stored is set as the interrupt point. However, the present invention is not limited to this. For example, the number of reproduced samples is counted, and a predetermined amount of samples is set. May be started, an interrupt for transferring the subsequent sample may be started.
[0028]
In the communication terminal of the present invention configured as described above, a process for reproducing music using the waveform data sampled using the audio processing unit 8 will be described with reference to the flowchart of FIG. That is, since the music file that can be played back in the mobile communication terminal of the present embodiment is the above-mentioned three kinds of music files, in order to use the voice waveform data stereo-sampled by the voice processing unit 8 for playback, Perform the following process.
[0029]
First, the audio data is sampled using the audio processing unit 8 as described above (step S1). At this time, it is possible to select either stereo sampling using both the microphones 9 and 10 or monaural sampling using either one of the microphones. Here, stereo sampling is selected. Has been. The stereo sampled audio data is stored in the system RAM 3 as described above.
Next, timbre data is created using the stereo sampled waveform data as a material, and when the timbre data is used, the process proceeds to step S2, and long stream reproduction is performed for reproducing the stereo sampled waveform data for a long time. If so, the process proceeds to step S6.
[0030]
First, a case where tone color data created using stereo-sampled waveform data as a material is used for reproduction of a music file will be described. In this case, in step S2, a process for creating timbre waveform data using the stereo-sampled audio data as a material is performed, and an identification number for identifying the timbre is attached to the created timbre waveform data. Register as That is, with respect to the audio data stereo-sampled by the audio processing unit 8, the variation of the envelope and pitch is displayed on the display unit 4, and the portion of the displayed audio data used as timbre waveform data is cut out In addition, a loop start point and end point setting process that is the start and end positions of a loop when sounding for a long time, a process of giving a desired envelope, and the like are performed. At this time, the waveform data of both the left and right channels sampled in stereo are displayed on the display unit 4 at the same time, and the cut-out process and the loop start point and end point setting processes are performed in common for the waveform data of both the left and right channels.
Then, the same timbre number is attached to the stereo audio data cut out after such processing and stored as timbre data in the timbre data storage area in the system RAM 3. At this time, identifiers (R, L) indicating whether the timbre is left or right of the stereo are added.
[0031]
Next, proceeding to step S3, the sequence data of the music to be reproduced is obtained using the tone color data registered by stereo sampling in step S2. This sequence data is the sequence data included in the above-mentioned (1) simple sequence file or (2) sequence file with timbre data, and is selected from the music files stored in the music file storage area of the system RAM 3. Or downloaded from an external distribution server or input from an external device via the interface circuit 15.
[0032]
When (1) a simple sequence file (for example, an SMF file) is obtained, the process proceeds to step S4, and the sequence data included in the simple sequence file is used for the tone data newly registered by the stereo sampling. Change to That is, the program change message included in the sequence data is changed so as to specify the tone number of the newly registered tone color data, a new simple sequence file is created, and the music file storage area in the system RAM 3 is created. Remember. By reproducing this simple sequence file as described above, it is possible to reproduce music using the tone color data newly registered by stereo sampling.
[0033]
On the other hand, when (2) the sequence file with timbre data is obtained, the process proceeds to step S5. Here, the timbre data of the obtained sequence file with timbre data is changed to the newly registered timbre data, and new sequence data with timbre data is created and stored in the system RAM 3. That is, the timbre data part of the obtained sequence file with timbre data is replaced with the timbre data created and registered in step S2, and the timbre assignment information is edited to use the timbre data number, and new timbre data is added. Sequence data is created and stored in the music file area in the system RAM 3. By reproducing the sequence data with timbre data as described above, it is possible to reproduce the music using the timbre data newly registered by stereo sampling.
[0034]
When creating a stream file, the process proceeds to step S6 after step S1, and (3) the stream file is created. That is, long stream data is created by cutting out a portion to be long stream data from the audio data stereo-sampled in step S1, or by performing processing such as adding an envelope and adjusting the level. Then, sequence data is created by creating a message for adding the start and end of playback, pitch shift, or an effect, and information indicating the time interval. Next, the created long stream data and sequence data are combined, a header is added, a stream file is created, and stored in the system RAM 3. By reproducing the stream file as described above, it is possible to reproduce the audio data stream that is stereo-sampled by the portable communication terminal.
[0035]
As described above, according to the present invention, by using stereo-sampled audio waveform data in the waveform memory of the WT sound source, it is possible to reproduce a ringing melody or hold tone that has a sense of breadth and is unique. It becomes.
For example, when using timbre data created using stereo-sampled audio waveform data as a material, by assigning the timbre data to a plurality of sound generation channels, a plurality of sounds can be reproduced simultaneously. Various contents such as gospel chorus by voice can be produced.
[0036]
In the above, a music file for playing back stereo-sampled audio data was created in the mobile communication terminal. However, a music file that uses the stereo-sampled audio data is created outside the mobile communication terminal. It may be.
For example, the audio data stereo-sampled by the mobile communication terminal is transmitted to a server provided on the network, and the process of creating or converting the music file shown in FIG. The file may be sent back to the mobile communication terminal. Alternatively, stereo-sampled audio data is transmitted to an external device such as a personal computer connected via the external interface circuit 15 of the mobile communication terminal, and the external device performs conversion or creation processing of the music file. Alternatively, the created music file may be returned to the mobile communication terminal.
In the above description, the portable communication terminal has been described as an example. However, the present invention can be applied in the same manner to a fixed communication terminal.
[0037]
【The invention's effect】
As described above, according to the communication terminal of the present invention, it is possible to process and reproduce stereo-sampled sound, and it is possible to reproduce a unique musical sound while having a sense of breadth.
Moreover, both the generation of a ringing melody based on a sequence data file and the generation of a ringing melody based on stereo-sampled voice can be realized at low cost by sharing hardware.
Furthermore, according to the present invention, stereo-sampled audio can be used as timbre material that can be specified from sequence data. Even when existing sequence data is used, the original timbre is reproduced. It becomes possible.
Furthermore, when used in combination with the multi-channel simultaneous sound generation mechanism of the waveform memory sound source, it is possible to superimpose and reproduce a plurality of stereo-sampled sounds at different locations and times. It is possible to play a simple music.
Furthermore, when used in combination with the multi-channel simultaneous sound generation mechanism of the waveform memory sound source, it is possible to generate chords using one stereo sampled sound, and for example, gospel chorus-like reproduction is possible.
As described above, according to the present invention, it is possible to provide a communication terminal capable of creating various contents and reproducing an incoming melody rich in individuality and highly distinguishable from others.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration example of a mobile communication terminal which is an embodiment of a communication terminal of the present invention.
2 is a block diagram showing a configuration example of an audio processing unit in the mobile communication terminal shown in FIG.
3 is a block diagram showing a configuration example of a music playback unit in the mobile communication terminal shown in FIG. 1;
FIG. 4 is a diagram for explaining the configuration of a music file.
FIG. 5 is a diagram for explaining how a simple sequence file is reproduced.
FIG. 6 is a diagram for explaining how a sequence file with timbre data is reproduced.
7A and 7B are diagrams for explaining the reproduction of a stream file, where FIG. 7A is a diagram showing how the stream file is reproduced, and FIG. 7B is a diagram showing how long stream data is reproduced using the timbre RAM 45. It is a figure for doing.
FIG. 8 is a diagram for explaining the flow of a music file creation process using sampled audio data.
[Explanation of symbols]
1 system CPU, 2 system ROM, 3 system RAM, 8 audio processing unit (audio CODEC), 9,10 microphone, 11,13 speaker, 12 music reproducing unit, 14 headphones, 21,22 A / D converter, 23, 24, 25, 29, 30 Buffer, 28 D / A converter, 42 FM sound source, 43 Waveform memory sound source (WT sound source), 44 tone ROM, 45 tone RAM, 46 L-ch mixer, 47, 49 D / A conversion , 48 R-ch mixer, 51 phase generator, 52 address generator, 53 memory interface circuit, 54 envelope generator, 55 multiplier

Claims (4)

制御部と、記憶部と、通信部と、音声処理部と、表示部と、操作部と、楽曲再生部を有する通信端末であって、
前記楽曲再生部は、波形データを記憶する記憶手段と、指定されたノートナンバに対応したレートで変化するアドレス信号を発生するアドレス発生器と、該アドレス発生器から発生されたアドレス信号により前記記憶手段から読み出された波形データにエンベロープを付与するエンベロープ付与部とを有し、
前記音声処理部は2個のマイクを介して入力される音声信号をステレオサンプリングする機能を有し、
前記制御部は、前記ステレオサンプリングした音声波形データを前記記憶手段に記憶することにより、前記楽曲再生部から前記ステレオサンプリングした音声波形データを用いたステレオの楽音を生成することができるように構成されていることを特徴とする通信端末。
A communication terminal having a control unit, a storage unit, a communication unit, a voice processing unit, a display unit, an operation unit, and a music playback unit,
The music playback unit includes a storage means for storing waveform data, an address generator for generating an address signal that changes at a rate corresponding to a specified note number, and the storage by the address signal generated from the address generator. An envelope applying unit for applying an envelope to the waveform data read from the means ,
The audio processing unit has a function of stereo-sampling an audio signal input via two microphones,
The control unit is configured to generate stereo musical sounds using the stereo sampled audio waveform data from the music playback unit by storing the stereo sampled audio waveform data in the storage unit. A communication terminal.
前記2個のマイクのうちの1個は、送話マイクであることを特徴とする請求項1記載の通信端末。  The communication terminal according to claim 1, wherein one of the two microphones is a transmission microphone. 前記アドレス発生器は、所定のスタートアドレスからエンドアドレスまでを繰り返し読み出すアドレス信号を発生し、
前記制御部は、前記ステレオサンプリングした音声波形データを素材とするロングストリームの波形データを前記記憶手段における既に読み出されたアドレス領域に逐次供給して書き込むことにより、前記楽曲再生部からロングストリームのステレオの波形データを再生することができるように構成されていることを特徴とする請求項1あるいは2記載の通信端末。
The address generator generates an address signal that repeatedly reads from a predetermined start address to an end address,
Wherein, by writing by sequentially supplying the waveform data of a long stream of a material speech waveform data the stereo sampled already read address area in the memory means, a long stream from the musical piece reproducing unit 3. The communication terminal according to claim 1, wherein the communication terminal is configured to be able to reproduce stereo waveform data.
前記ステレオサンプリングした音声波形データを素材としてステレオの音色データを作成する手段を有し、該作成したステレオの音色データを使用して楽曲を再生することを特徴とする請求項1あるいは2記載の通信端末。  3. The communication according to claim 1, further comprising means for creating stereo timbre data using the stereo sampled audio waveform data as a material, and reproducing the music using the created stereo timbre data. Terminal.
JP2001156640A 2001-05-18 2001-05-25 Communication terminal Expired - Fee Related JP3675361B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2001156640A JP3675361B2 (en) 2001-05-25 2001-05-25 Communication terminal
TW91110030A TWI223536B (en) 2001-05-18 2002-05-14 Portable communication terminal
KR1020020027509A KR100862126B1 (en) 2001-05-18 2002-05-17 Portable communication terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001156640A JP3675361B2 (en) 2001-05-25 2001-05-25 Communication terminal

Publications (2)

Publication Number Publication Date
JP2002351470A JP2002351470A (en) 2002-12-06
JP3675361B2 true JP3675361B2 (en) 2005-07-27

Family

ID=19000629

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001156640A Expired - Fee Related JP3675361B2 (en) 2001-05-18 2001-05-25 Communication terminal

Country Status (1)

Country Link
JP (1) JP3675361B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8762561B2 (en) 2008-07-23 2014-06-24 Qualcomm Incorporated System, method or apparatus for combining multiple streams of media data

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0863154A (en) * 1994-08-26 1996-03-08 Kawai Musical Instr Mfg Co Ltd Electronic musical instrument having localized movement feeling reproducing function
JPH0863155A (en) * 1994-08-26 1996-03-08 Kawai Musical Instr Mfg Co Ltd Musical tone controller of electronic musical instrument having expansion feeling reproducing function
JPH09187060A (en) * 1995-12-28 1997-07-15 Nec Corp Portable telephone set with wireless earphone
JPH10149089A (en) * 1996-09-20 1998-06-02 Hitachi Software Eng Co Ltd Multiamusement system
JPH1188211A (en) * 1997-09-05 1999-03-30 Matsushita Electric Ind Co Ltd Portable radio equipment and its incoming call tone generating method
JP2000153076A (en) * 1998-09-14 2000-06-06 Namco Ltd Communication game system
JP2000122667A (en) * 1998-10-12 2000-04-28 Rohm Co Ltd Sound source ic
JP3589122B2 (en) * 1999-11-01 2004-11-17 ヤマハ株式会社 Portable terminal device
JP3719057B2 (en) * 1999-08-24 2005-11-24 ヤマハ株式会社 Telephone terminal device and communication method
JP3525825B2 (en) * 1999-09-28 2004-05-10 ヤマハ株式会社 Mobile radio terminal with remote control function for electronic musical instruments
JP2002152329A (en) * 2000-11-08 2002-05-24 Tu-Ka Cellular Tokyo Inc Portable terminal system
JP2002314676A (en) * 2001-04-17 2002-10-25 Toshiba Corp Sound recording and reproducing device
JP3620467B2 (en) * 2001-05-18 2005-02-16 ヤマハ株式会社 Communication terminal

Also Published As

Publication number Publication date
JP2002351470A (en) 2002-12-06

Similar Documents

Publication Publication Date Title
US7514624B2 (en) Portable telephony apparatus with music tone generator
US7069058B2 (en) Musical composition reproducing apparatus portable terminal musical composition reproducing method and storage medium
JP4012682B2 (en) Sound source system
JP3722015B2 (en) Music generator
KR100619826B1 (en) Music and audio synthesize apparatus and method for mobile communication device
JP3666366B2 (en) Portable terminal device
TW529018B (en) Terminal apparatus, guide voice reproducing method, and storage medium
JP3620467B2 (en) Communication terminal
JP3675361B2 (en) Communication terminal
JP3788280B2 (en) Mobile communication terminal
KR100731232B1 (en) Musical data editing and reproduction apparatus, and portable information terminal therefor
JP3975698B2 (en) Mobile communication terminal
KR100862126B1 (en) Portable communication terminal
KR100555092B1 (en) Portable communication terminal
JP3637196B2 (en) Music player
JP3589122B2 (en) Portable terminal device
JP3900330B2 (en) Portable terminal device
JP3933147B2 (en) Pronunciation control device
JP2008209826A (en) Mobile terminal device
JP2007079413A (en) Audio reproduction device, audio distribution system, audio reproduction program and authoring program
JP2009145382A (en) Portable terminal, and program
JP2004166290A (en) Mobile terminal equipment
KR20030083655A (en) Composition and Conversion method of Ring tone file and Music file of Mobile Handset
JP2007189705A (en) Sounding control apparatus

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050125

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050425

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090513

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100513

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110513

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130513

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees