JP3900580B2 - カラオケ装置 - Google Patents
カラオケ装置 Download PDFInfo
- Publication number
- JP3900580B2 JP3900580B2 JP07008197A JP7008197A JP3900580B2 JP 3900580 B2 JP3900580 B2 JP 3900580B2 JP 07008197 A JP07008197 A JP 07008197A JP 7008197 A JP7008197 A JP 7008197A JP 3900580 B2 JP3900580 B2 JP 3900580B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- conversion
- pitch
- input
- voice conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 claims description 112
- 230000001755 vocal effect Effects 0.000 claims description 13
- 230000007423 decrease Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 16
- 238000012937 correction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 238000000034 method Methods 0.000 description 5
- 241001342895 Chorus Species 0.000 description 4
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 230000020509 sex determination Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000005215 recombination Methods 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
- G10H1/366—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems with means for modifying or correcting the external signal, e.g. pitch correction, reverberation, changing a singer's voice
Description
【発明の属する技術分野】
この発明は、入力音声を変換処理して出力するカラオケ装置に関する。
【0002】
【従来の技術】
近年、カラオケの分野においては、入力音声に周波数変換等の処理を施して様々な効果を得る音声変換機能を備えたカラオケ装置が各種開発されている。例えば、入力音声の音程やフォルマント(声道の共振周波数)をシフトさせて、男性の声を女性の声に、女性の声を男性の声にそれぞれ変換する、いわゆる男女間の音声変換を行うカラオケ装置が知られている。
【0003】
【発明が解決しようとする課題】
ところで、従来のカラオケ装置における男女変換は、その変換方向を利用者がマニュアルで指定するようになっている。例えば、女性ボーカルの楽曲を男性の利用者が歌唱する場合には、男から女への変換モードを指定し、女性の利用者が歌唱する場合には変換モードを解除する必要がある。このような操作を演奏曲が変わる度に、あるいは歌唱者が変わる度に行うことは、利用者にとって極めて面倒な作業であった。また、操作が煩雑なために指定を誤る場合も多く、例えば男性の声であるにもかかわらず女から男への変換モードを指定した場合には低い声がより一層低い声となるため利用者に聴き苦しい思いをさせることもあった。さらに、従来の音声変換では、入力音声の声質を考慮することなくピッチシフトやフォルマントシフトを施すため、声質によっては変換後の音声がかえって不自然になる場合も多かった。
【0004】
この発明は、このような背景の下になされたもので、男女間の音声変換を行なう場合に、曲種と歌唱者の性別に基づいて変換モードを自動的に切り換えることができるカラオケ装置を提供することを目的としている。
また、この発明の他の目的は、入力音声の声質を考慮して適切な音声変換を行うことができるカラオケ装置を提供することにある。
【0005】
【課題を解決するための手段】
上述した課題を解決するために、請求項1記載の発明は、歌唱者の入力音声を高音側へシフトする男から女への音声変換と該入力音声を低音側へシフトする女から男への音声変換の二方向の音声変換を選択的に行う音声変換手段と、前記入力音声を分析して当該歌唱者の性別を判別する音声分析手段と、前記音声分析手段の判別結果と楽曲のボーカルの性別とを比較し、前記音声分析手段の判別結果が男、前記ボーカルの性別が女である場合には、男から女への音声変換の方向を前記音声変換手段に指定する一方、逆の場合には、女から男への音声変換の方向を前記音声変換手段に指定する変換方向指定手段とを具備することを特徴としている。
【0006】
また、請求項2記載の発明は、請求項1に記載の発明において、
カラオケの楽曲データに識別情報を含めておき、
この識別情報に基づき楽曲のボーカルの性別を判別する判別手段を具備することを特徴としている。
【0007】
また、請求項3記載の発明は、歌唱者の入力音声を高音側へシフトする男から女への音声変換と該入力音声を低音側へシフトする女から男への音声変換の二方向の音声変換を選択的に行う音声変換手段と、前記入力音声を分析してその音高を検出する音声分析手段と、前記音声分析手段によって検出される音高と楽曲のメロディの音高とを比較し、前記音声分析手段によって検出される音高が前記楽曲のメロディの音高より所定量以上高い場合には、女から男への音声変換の方向を前記音声変換手段に指定する一方、前記音声分析手段によって検出される音高が前記楽曲のメロディの音高より所定量以上低い場合には、男から女への音声変換の方向を前記音声変換手段に指定する変換方向指定手段とを具備することを特徴としている。
【0008】
また、請求項4記載の発明は、請求項1ないし3のいずれかに記載の発明において、
前記音声変換手段による音声変換は、音高のシフトのみならず、フォルマントのシフトを伴うことを特徴としている。
【0009】
また、請求項5記載の発明は、請求項4記載の発明において、前記音声分析手段は、入力音声のフォルマント特性をも分析するとともに、前記音声変換手段は、前記音声分析手段の分析結果に応じて、男から女への音声変換を行う場合には、第1および第2フォルマントの間隔が広いほどシフト量が少なくなるように入力音声のフォルマントをシフトさせる一方、女から男への音声変換を行う場合には、第1および第2フォルマントの間隔が広いほどシフト量が大きくなるように入力音声のフォルマントをシフトさせることを特徴としている。
【0010】
【発明の実施の形態】
以下、図面を参照して、この発明の実施形態について説明する。なお、以下の実施形態は、本発明を通信カラオケ装置に適用したものであるが、本発明はかかるカラオケ装置への適用に限らず、その他のカラオケ装置にも適用可能である。
【0011】
A:第1実施形態
(1)実施形態の構成
▲1▼全体構成
図1はこの発明の一実施形態の全体構成を示すブロック図である。同図において、1はセンタ局に設置されたホストコンピュータであり、カラオケの楽曲データを蓄積したデータベースを有している。このホストコンピュータ1には、通信回線(電話回線またはISDN)を介し、各カラオケ店舗に設置された複数のカラオケ端末2が接続されており、定期的に楽曲データを各カラオケ端末2に配信するようになっている。以下、このカラオケ端末2を構成する各部を説明する。
【0012】
21はCPU(中央処理装置)であり、バスBUSを介し接続される端末各部を制御する。また、22はROM(Read Only Memory)であり、CPU21が実行する制御プログラムおよび楽曲データに含まれる歌詞コードに対応したフォントデータを記憶する。さらに、23はRAM(Random Access Memory)であり、CPU21のワークエリアとして用いられる。
【0013】
また、24はハードディスクであり、ホストコンピュータ1から配信される楽曲データを記憶する。すなわち、カラオケ端末2においては、ホストコンピュータ1から供給される楽曲データを一旦ハードディスク24に蓄積し、これを読み出して用いるようになっている。25は通信コントローラであり、ホストコンピュータ1から送信される楽曲データを受信しこれをハードディスク24へ転送する。この通信コントローラ25は、通信回線が電話回線の場合モデムであり、ISDNの場合ターミナルアダブタである。
【0014】
ここで、楽曲データの内容について説明する。1曲についての楽曲データは、図2に示すように、ヘッダ、楽音トラック、表示トラック、音声トラック、効果制御トラック、および音声データ領域からなっている。ヘッダは、その曲に関する種々のデータが書き込まれる部分であって、「曲名」、曲の識別情報である「曲コード」、その曲を歌っている歌手またはアーティストを示す「歌手コード」、音楽ジャンルや季節等の曲の属性を示す「ジャンルコード」、曲の長さを示す「演奏時間」等のデータが記述されている。
【0015】
楽音トラックには、楽音合成を制御するシーケンスデータが記述されており、発音、消音等を制御するイベントデータとタイミングを制御するデュレーションデータからなっている。表示トラックには、曲の進行と同期して表示すべきカラオケの歌詞に対応したコード情報が記述されている。音声トラックには、曲の進行と同期して音声データ領域からバックコーラス等の効果音のADPCMデータを読み出すためのアドレス情報等が記述されている。さらに、効果制御トラックには、エコー、リバーブ等の楽音に付与すべき効果を制御する制御データが記述されている。
【0016】
さて、図1において、26はパネルスイッチであり、カラオケ装置本体の操作パネル(図示略)に設けられ、例えば演奏の開始または中止を指示する操作の他、ボリューム、テンポ、キーコントロールあるいは後述する音声変換のためのピッチシフトおよび声質等の設定操作がなされる。パネルスイッチ26は、こうした指示操作や設定状態に対応した入力値あるいは設定値をCPU21へ出力する。また、27はリモコン受信部であり、リモコン端末RMCから入力される曲コードや演奏の開始または中止などの指示操作に対応した信号を受信し、これを入力値としてCPU21へ出力する。さらに、28はLCD(Liquid Crystal Display)等で構成された表示パネルであり、リクエスト中の曲コードや各種設定状態等のメッセージを表示する。
【0017】
次に、29は音源であり、CPU21により供給される楽音制御データ(楽曲データに含まれる。)に対応した楽音信号を合成しこれを効果用DSP(Digital Signal Processor)30へ出力する。31は音声デコーダであり、CPU21により供給されるADPCMデータ(楽曲データに含まれるバックコーラス等の音声データ)に対応した音声信号を生成しこれを効果用DSP30へ出力する。
【0018】
また、32は音声変換部であり、マイクアンプ33によって増幅されA/D変換器34を介しディジタル信号に変換されたマイクMからの入力音声に対して所定の音声変換処理を施す。この変換後の音声信号は、効果用DSP30および採点機35へ各々供給される。なお、音声変換部32の詳細については後述する。
【0019】
効果用DSP30は、CPU21により供給される効果制御データ(楽曲データに含まれる。)に基づき、音源29から供給される楽音信号、音声デコーダ31から供給されるバックコーラス等の音声信号、および音声変換部32によって変換処理を施されたマイク入力に対し、エコー、リバーブ、ディレイ等の各種効果を付与する。こうして効果付与された楽音は、D/A変換器37によってアナログ信号に変換された後、サウンドシステム36に送られ、スピーカより放音される。
【0020】
一方、採点機35は、音声変換部32におけるマイク入力の分析結果(後述する)に基づき歌唱者の歌唱力を評価し、その採点結果を数値データとして出力する。
【0021】
次に、38は表示制御部であり、モニタ39の表示制御を行う。この表示制御部38は、カラオケの演奏中、動画CD等の映像記憶装置40から供給されるカラオケの背景映像を表示するための映像データに、ROM22から読み出される歌詞のフォントデータをスーパーインポーズし、その合成画像をモニタ39に表示させる。また、表示制御部38は、カラオケの演奏終了後、採点機35の採点結果をモニタ39に表示させる。
【0022】
▲2▼音声変換部32の構成
次に、音声変換部32の構成について説明する。図3は、音声変換部32の構成を示すブロック図である。同図において、321は、マイクMからの入力音声を分析する音声分析部である。この音声分析部321は、入力音声のピッチ抽出およびフォルマント分析を行い、歌唱者の性別判定と声質パラメータの抽出を行う。
【0023】
ここで、音声分析部321は、入力音声のピッチが第1のしきい値PH以上であれば歌唱者が女性であると判定し、第2のしきい値PL(PL<PH)以下であれば歌唱者が男性であると判定する。また、入力音声のピッチがPL以上PH以下のボーダ領域にある場合には、ピッチのみでは判定できないことから、入力音声のフォルマントを基に判定を行う。例えば、女性の声は、第1フォルマントと第2フォルマントの間隔が男性の声より広いという傾向があることから、当該間隔に基づいて性別を判定する。また、低音の女性の声は、高音域においてノイズ成分が少ないという特性を有することから、一定の場合、高音域におけるノイズ成分の量に基づいて性別を判定する。
【0024】
また、声質パラメータとは、入力音声の周波数軸上における包絡形状の特徴を示すパラメータをいい、具体的には、第1フォルマントおよび第2フォルマントの位置(周波数軸上の位置)と大きさ(レベル)が含むものである。特に、第2フォルマントの位置と大きさは入力音声の特徴に大きく関わるため、重要な声質パラメータとなる。
【0025】
また、図示を略しているが、音声分析部321は、入力音声の音量をも抽出し、該音量と前述のピッチ抽出結果(すなわち音程)を採点機35へ出力する。採点機35は、入力音声の音量および音程と楽曲データとに基づき、歌唱力を採点する。
【0026】
次に、322は、カラオケの歌手またはアーティストの性別を判定する性別判定部である。この性別判定部322は、歌手コードと性別との対応関係を示す性別判定テーブルを保持しており、楽曲データのヘッダから読み取った歌手コードをキーとして当該テーブルを参照しその性別を取得する。
【0027】
次に、323は、音声変換制御用のパラメータを生成するパラメータ生成部である。このパラメータ生成部323は、まず音声変換部321と性別判定部322双方の性別判定結果を比較し、この比較結果に基づき性別変換モードを指定するパラメータを生成する。すなわち、音声変換部321の性別判定結果が「男」、性別判定部322の性別判定結果が「女」である場合、男から女への変換モードを指定し、逆の場合、女から男への変換モードを指定する。また、両者の性別判定結果が一致した場合、性別変換を行う必要がないことから無変換モードを指定する。
【0028】
また、パラメータ生成部323は、歌唱者の声質に応じて適切な音声変換を施すべく、音声変換部321によって抽出された声質パラメータに基づき声質補正パラメータを生成する。すなわち、入力音声の声質によっては、男女変換(いわゆるオクターブシフト)を行うと、変換後の音声が不自然になる場合がある(ロボット声等と呼ばれるもの)。そこで、パラメータ生成部323は、標準的あるいは典型的な男女の声の声質パラメータを記憶しており、音声変換にあたって、入力音声から抽出した声質パラメータを当該記憶している声質パラメータに近づけるような補正をすべく、声質補正パラメータを生成する。なお、声質補正の具体的な態様については、後述する。
【0029】
次に、324はボイスチェンジ部であり、パラメータ生成部323から供給されるパラメータに基づき入力音声に対して変換処理を施す。このボイスチェンジ部324は、図4に示すように、ピッチシフト部3241とフォルマントシフト部3242からなっている。
【0030】
ピッチシフト部3241は、例えばレント法と呼ばれるピッチ変換手法によって入力音声をピッチシフトさせる。このレント法とは、入力音声信号の繰り返し波形に着目し、その繰り返し波形をハニングウィンドウと呼ばれる繰り返し波形に対応した周期の切り出し窓によって切り出し、これをさらに切り出し時とは異なる周期で再合成するものである。すなわち、レント法においては、再合成の周期を伸長または短縮することにより入力音声のフォルマントをある程度保存しつつピッチ変換することが可能である。
【0031】
例えば、男から女への変換では、再合成の周期を切り出し時の2分の1に短縮することによりピッチが2倍となり、これによって音程が1オクターブ上がる。一方、女から男への変換では、再合成の周期を切り出し時の2倍に伸長することによりピッチが2分の1となり、これによって音程が1オクターブ下がる。
【0032】
また、フォルマントシフト部3242は、入力音声のフォルマントに対応する周波数成分を入力サンプルクロックとは異なる読み出しサンプルクロックで読み出すことによりフォルマントをシフトさせる。また、ピッチシフト部3241およびフォルマントシフト部3242の各々のシフト量は、いずれもパラメータ生成部323から供給されるパラメータによって制御される。
【0033】
なお、ボイスチェンジ部324は、パネルスイッチ24からの手動入力に応じて手動モードによる音声変換を行うことも可能である。この場合、ピッチシフト量とフォルマントシフト量は手動で指定される。
【0034】
(2)実施形態の動作
次に、上記構成からなる実施形態の動作を説明する。
▲1▼全体動作
はじめに、本実施形態にかかるカラオケ装置の全体動作を説明する。ただし、楽曲データは、既にホストコンピュータ1からカラオケ端末2へ配信されており、ハードディスク24に格納されているものとする。
【0035】
まずカラオケ端末2に電源が投入され、リモコン端末RMCより曲コードが入力されると、この曲コードを示す光信号が発信され、これがリモコン受信部27によって受信される。これによりCPU21は指定された曲コードを識別し、この曲コードに対応する楽曲データをハードディスク24から読み出し、再生を開始する。
【0036】
そして、楽曲データの楽音トラックから読み出される楽音制御情報(イベントデータに含まれる)がデュレーションデータによって指定されたタイミングで音源29に供給され、これによってカラオケの演奏が行われる。一方、楽曲データのヘッダで指定されたジャンルコードに対応する背景映像が映像記憶装置40より再生される。これにより、その曲の音楽ジャンルや季節等に合った背景映像が選択される。また、再生された背景映像には、楽曲データの表示トラックから読み出される歌詞コードに対応するフォント画像がスーパーインポーズされ、モニタ39に表示される。
【0037】
一方、マイクMから入力される利用者の歌唱音声は、効果用DSP30において、音源29から出力されるカラオケの楽音および音声デコーダ31から出力されるバックコーラス音とともにエコー、リバーブ等の各種効果が付与された後、サウンドシステム36へ送られ、スピーカより放音される。
【0038】
▲2▼音声変換の動作
次に、上述したカラオケ演奏において、利用者がパネルスイッチ26より自動による音声変換モードを指示した場合の動作を説明する。
以下、女性ボーカルの楽曲を男性が歌唱する場合を例として説明する。この場合、楽曲データのヘッダで指定された歌手コードが性別判定部322によって読み取られ、性別判定テーブルの参照によって当該曲が女性ボーカルの楽曲であると判定される。この判定結果は、パラメータ生成部323へ供給される。
【0039】
一方、男性の歌唱者による入力音声は、音声分析部321によって分析され、その音程が第1および第2のしきい値PH,PLと比較される。ここで、入力音声が男性に典型的な低音の音声であれば、その音程は第2のしきい値PLより低くなるので男性であると判定される。また、入力音声の音程が男性としては高く、第1のしきい値PHより低いものの第2のしきい値PLを超えるような場合には、音程のみでは性別判定ができない。そこで、この場合の判定基準としてフォルマント分析の結果も考慮される。すなわち、男性の場合、検出される第1フォルマントと第2フォルマントの間隔が狭いことから、その間隔が所定のしきい値より小さければ男性であると判定される。また、上記フォルマントの間隔によっても判定が困難な場合には、さらに高音域におけるノイズ成分の量を調べ、多い場合には男性であると判定される。
こうして得られる判定結果は、フォルマント分析によって得られる声質パラメータとともにパラメータ生成部323へ供給される。
【0040】
そして、パラメータ生成部323においては、性別判定部322と音声分析部321双方の性別判定結果が比較され、この比較結果から女性ボーカルの楽曲が男性によって歌唱されていることが認識される。これにより、ボイスチェンジ部324に対し、男から女への性別変換モードが指定される。
【0041】
また、パラメータ生成部323においては、歌唱者の声質に対応した音声変換を行うべく、音声分析部321から供給される声質パラメータに基づき、変換後の音声のフォルマントを補正する声質補正パラメータが生成され、これがボイスチェンジ部324へ出力される。ボイスチェンジ部324は、男声から女声へのピッチ変換を行うべく、ピッチシフト部3241において入力音声のピッチを1オクターブ高音側にシフトさせた後、フォルマントシフト部3242においてパラメータ生成部323から供給される声質補正パラメータに応じてフォルマントの位置をシフトさせる。
【0042】
ここで、男声から女声への変換においては、以下の態様で声質補正を行う。すなわち、一般に男声より女声の方が第1および第2フォルマントの間隔が広いため、男声から女声への変換を行う場合、第2フォルマントを高域側にシフトさせて上記フォルマントの間隔を広げる必要がある。このとき、入力音声の第1および第2フォルマントの間隔が元々広い男声を女声に変換する場合には、第2フォルマントの高域側へのシフト量を少なくする。一方、入力音声の第1および第2フォルマントの間隔が元々狭い男声を女声に変換する場合には、第2フォルマントの高域側へのシフト量を大きくする。
【0043】
また、上述したカラオケの演奏中に歌唱者が男性から女性に変更された場合、性別判定部322と音声分析部321双方の判定結果が一致することから、パラメータ生成部323よりボイスチェンジ部324に対し性別変換の停止が指示される。これにより、ボイスチェンジ部324は、入力音声に対して何も処理を施さずに出力する。
【0044】
一方、男性ボーカルの楽曲を女性が歌唱する場合においては、上記と逆に女声から男声への音声変換が行われる。この場合、音程については高音側へオクターブシフトされる。また、声質補正については、上述した男声から女声への変換とは逆の観点で、第2フォルマントのシフト(この場合、低域側へのシフト)が行われる。
【0045】
B:第2実施形態
次に、この発明の第2実施形態について説明する。図5は、この発明の第2実施形態による音声変換部32′の構成を示すブロック図である。この図に示す音声変換部32′が、図3に示す音声変換部32と異なる点は、性別判定に基づいて音声変換の方向(男から女あるいは女から男)を決定するのではなく、楽曲のメロディと入力音声とを音程比較して上記音声変換の方向を決定するところにある。したがって、音声変換部32′は、性別判定部322を有さず、また、音声分析部321′が性別判定をすることはない。
【0046】
この場合、音声分析部321′は、性別判定に代えてピッチ検出によって得られる入力音声の音程情報をパラメータ生成部323′へ出力する。パラメータ生成部323′には入力音声の音程情報と楽曲のメロディ情報とが入力される。これによってパラメータ生成部323′は、楽曲のメロディと入力音声とを音程比較し、例えば以下の基準によって音声変換の方向を決定する。すなわち、入力音声とメロディとの音程のずれが半オクターブ以内である場合、パラメータ生成部323′は、ボイスチェンジ部324に対して音声変換を指示しない。また、入力音声の音程がメロディより半オクターブ以上高い場合、パラメータ生成部323′は、ボイスチェンジ部324に対して女から男への音声変換を指示する。一方、入力音声の音程がメロディより半オクターブ以上低い場合、パラメータ生成部323′は、ボイスチェンジ部324に対して男から女への音声変換を指示する。その他の構成および動作は、前述の第1実施形態と同様である。
【0047】
C:その他の変形例
なお、本発明は、既述した実施形態に限らず、例えば以下のような種々の変形が可能である。
(1)第1実施形態においては、歌手コードと性別との対応関係に基づいて楽曲の性別判定を行ったが、本発明は、これに限らず、曲コードと性別との対応関係に基づいて性別判定を行ってもよい。あるいは、歌手コードを曲コードから独立した情報として構成するのではなく、曲コードの一部の桁を歌手コードに割り当て、この歌手コードと性別との対応関係に基づいて性別判定を行ってもよい。
また、これらに代えて性別コードを楽曲データのヘッダに含め、性別を直接指定してもよい。
【0048】
(2)また、例えばデュエット曲の場合、男性パートと女性パートがあり、男性のみが歌う部分と、女性のみが歌う部分と、男性と女性が同時に歌う部分とがある。この場合、曲の途中で楽曲の性別が変わるため、第1実施形態のように歌手コードに基づく性別判定では対応することができない。そこで、このような場合、例えば楽曲データのボーカルの性別が切り替わるタイミングで性別コードを含ませておき、この性別コードに基づいて性別判定部322がパートの性別を判定するよう構成すれば対応可能である。
一方、第2実施形態では、カラオケのメロディと歌唱音声との音程のずれに基づいて男女変換モードを決定するので、上記のようなデュエット曲にも対応可能である。
【0049】
(3)また、実施形態では、音声変換手段としてピッチシフトとフォルマントシフトを併用する構成を採用したが、本発明は、このような形態に限らず、構成の簡単化を図るためピッチシフトのみに対応した構成を採用してもよい。ただし、この場合、実施形態のような声質補正は行われない。
【0050】
【発明の効果】
以上説明したように、この発明によれば、男女間の音声変換を行うな場合に、曲種と歌唱者の性別に基づいて変換モードを自動的に切り換えることができる(請求項1ないし5)。
【0051】
さらに、請求項5記載の発明によれば、入力音声の声質を考慮して適切な音声変換を行うことができる。
【図面の簡単な説明】
【図1】 この発明の第1実施形態の全体構成を示すブロック図である。
【図2】 同実施形態における楽曲データの内容を示すデータフォーマット図である。
【図3】 同実施形態における音声変換部の構成を示すブロック図である。
【図4】 同音声変換部におけるボイスチェンジ部の構成を示すブロック図である。
【図5】 この発明の第2実施形態における音声変換部の構成を示すブロック図である。
【符号の説明】
1…ホストコンピュータ、2…カラオケ端末、21…CPU、22…ROM、23…RAM、24…ハードディスク、25…通信コントローラ、26…パネルスイッチ、27…リモコン受信部、28…表示パネル、29…音源、30…効果用DSP、31…音声デコーダ、32…音声変換部、33…マイクアンプ、34…A/D変換器、35…採点機、36…サウンドシステム、37…D/A変換器、38…表示制御部、39…モニタ、40…映像記憶装置、321,321′…音声分析部(音声分析手段)、322…性別判定部(判別手段)、323,323′…パラメータ生成部(変換方向指定手段)、324…ボイスチェンジ部(音声変換手段)、3241…ピッチシフト部、3242…フォルマントシフト部。
Claims (5)
- 歌唱者の入力音声を高音側へシフトする男から女への音声変換と該入力音声を低音側へシフトする女から男への音声変換の二方向の音声変換を選択的に行う音声変換手段と、
前記入力音声を分析して当該歌唱者の性別を判別する音声分析手段と、
前記音声分析手段の判別結果と楽曲のボーカルの性別とを比較し、前記音声分析手段の判別結果が男、前記ボーカルの性別が女である場合には、男から女への音声変換の方向を前記音声変換手段に指定する一方、逆の場合には、女から男への音声変換の方向を前記音声変換手段に指定する変換方向指定手段と
を具備することを特徴とするカラオケ装置。 - カラオケの楽曲データに識別情報を含めておき、
この識別情報に基づき楽曲のボーカルの性別を判別する判別手段を具備することを特徴とする請求項1に記載のカラオケ装置。 - 歌唱者の入力音声を高音側へシフトする男から女への音声変換と該入力音声を低音側へシフトする女から男への音声変換の二方向の音声変換を選択的に行う音声変換手段と、
前記入力音声を分析してその音高を検出する音声分析手段と、
前記音声分析手段によって検出される音高と楽曲のメロディの音高とを比較し、前記音声分析手段によって検出される音高が前記楽曲のメロディの音高より所定量以上高い場合には、女から男への音声変換の方向を前記音声変換手段に指定する一方、前記音声分析手段によって検出される音高が前記楽曲のメロディの音高より所定量以上低い場合には、男から女への音声変換の方向を前記音声変換手段に指定する変換方向指定手段と
を具備することを特徴とするカラオケ装置。 - 前記音声変換手段による音声変換は、音高のシフトのみならず、フォルマントのシフトを伴うことを特徴とする請求項1ないし3のいずれかに記載のカラオケ装置。
- 前記音声分析手段は、入力音声のフォルマント特性をも分析するとともに、
前記音声変換手段は、前記音声分析手段の分析結果に応じて、男から女への音声変換を行う場合には、第1および第2フォルマントの間隔が広いほどシフト量が少なくなるように入力音声のフォルマントをシフトさせる一方、女から男への音声変換を行う場合には、第1および第2フォルマントの間隔が広いほどシフト量が大きくなるように入力音声のフォルマントをシフトさせることを特徴とする請求項4記載のカラオケ装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP07008197A JP3900580B2 (ja) | 1997-03-24 | 1997-03-24 | カラオケ装置 |
US09/046,065 US5889223A (en) | 1997-03-24 | 1998-03-23 | Karaoke apparatus converting gender of singing voice to match octave of song |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP07008197A JP3900580B2 (ja) | 1997-03-24 | 1997-03-24 | カラオケ装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10268875A JPH10268875A (ja) | 1998-10-09 |
JP3900580B2 true JP3900580B2 (ja) | 2007-04-04 |
Family
ID=13421246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP07008197A Expired - Fee Related JP3900580B2 (ja) | 1997-03-24 | 1997-03-24 | カラオケ装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5889223A (ja) |
JP (1) | JP3900580B2 (ja) |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10319947A (ja) * | 1997-05-15 | 1998-12-04 | Kawai Musical Instr Mfg Co Ltd | 音域制御装置 |
JP2000029462A (ja) * | 1998-05-18 | 2000-01-28 | Sony Corp | 情報処理装置および情報処理方法、並びに提供媒体 |
JP3365354B2 (ja) * | 1999-06-30 | 2003-01-08 | ヤマハ株式会社 | 音声信号または楽音信号の処理装置 |
JP2001093226A (ja) * | 1999-09-21 | 2001-04-06 | Sony Corp | 情報通信システムおよび方法、ならびに、情報通信装置および方法 |
GB9925297D0 (en) * | 1999-10-27 | 1999-12-29 | Ibm | Voice processing system |
JP4531916B2 (ja) * | 2000-03-31 | 2010-08-25 | クラリオン株式会社 | 情報提供システム及び発声人形 |
US8108509B2 (en) * | 2001-04-30 | 2012-01-31 | Sony Computer Entertainment America Llc | Altering network transmitted content data based upon user specified characteristics |
KR20030006308A (ko) * | 2001-07-12 | 2003-01-23 | 엘지전자 주식회사 | 이동통신 단말기의 음성 변조 장치 및 방법 |
US7027983B2 (en) * | 2001-12-31 | 2006-04-11 | Nellymoser, Inc. | System and method for generating an identification signal for electronic devices |
JP4487632B2 (ja) * | 2004-05-21 | 2010-06-23 | ヤマハ株式会社 | 演奏練習装置および演奏練習用コンピュータプログラム |
JP4404782B2 (ja) * | 2005-01-31 | 2010-01-27 | 株式会社第一興商 | カラオケシステム |
US20060257827A1 (en) * | 2005-05-12 | 2006-11-16 | Blinktwice, Llc | Method and apparatus to individualize content in an augmentative and alternative communication device |
US7563975B2 (en) * | 2005-09-14 | 2009-07-21 | Mattel, Inc. | Music production system |
JP2008099220A (ja) * | 2006-10-06 | 2008-04-24 | Atsushi Nakanishi | 自ら発する音声の自らの知覚の低減を伴う音響機器 |
JP4840082B2 (ja) * | 2006-11-01 | 2011-12-21 | ヤマハ株式会社 | 音声通信装置 |
US7974838B1 (en) * | 2007-03-01 | 2011-07-05 | iZotope, Inc. | System and method for pitch adjusting vocals |
US7772480B2 (en) * | 2007-08-10 | 2010-08-10 | Sonicjam, Inc. | Interactive music training and entertainment system and multimedia role playing game platform |
JP4977066B2 (ja) * | 2008-03-17 | 2012-07-18 | 本田技研工業株式会社 | 車両用音声案内装置 |
US9529423B2 (en) * | 2008-12-10 | 2016-12-27 | International Business Machines Corporation | System and method to modify audio components in an online environment |
US9058797B2 (en) | 2009-12-15 | 2015-06-16 | Smule, Inc. | Continuous pitch-corrected vocal capture device cooperative with content server for backing track mix |
EP2518723A4 (en) * | 2009-12-21 | 2012-11-28 | Fujitsu Ltd | VOICE CONTROL DEVICE AND VOICE CONTROL METHOD |
JP5782677B2 (ja) | 2010-03-31 | 2015-09-24 | ヤマハ株式会社 | コンテンツ再生装置および音声処理システム |
GB2546687B (en) | 2010-04-12 | 2018-03-07 | Smule Inc | Continuous score-coded pitch correction and harmony generation techniques for geographically distributed glee club |
US10930256B2 (en) | 2010-04-12 | 2021-02-23 | Smule, Inc. | Social music system and method with continuous, real-time pitch correction of vocal performance and dry vocal capture for subsequent re-rendering based on selectively applicable vocal effect(s) schedule(s) |
US9601127B2 (en) | 2010-04-12 | 2017-03-21 | Smule, Inc. | Social music system and method with continuous, real-time pitch correction of vocal performance and dry vocal capture for subsequent re-rendering based on selectively applicable vocal effect(s) schedule(s) |
US8584198B2 (en) * | 2010-11-12 | 2013-11-12 | Google Inc. | Syndication including melody recognition and opt out |
US9866731B2 (en) | 2011-04-12 | 2018-01-09 | Smule, Inc. | Coordinating and mixing audiovisual content captured from geographically distributed performers |
US8729374B2 (en) * | 2011-07-22 | 2014-05-20 | Howling Technology | Method and apparatus for converting a spoken voice to a singing voice sung in the manner of a target singer |
EP2573761B1 (en) * | 2011-09-25 | 2018-02-14 | Yamaha Corporation | Displaying content in relation to music reproduction by means of information processing apparatus independent of music reproduction apparatus |
JP5494677B2 (ja) | 2012-01-06 | 2014-05-21 | ヤマハ株式会社 | 演奏装置及び演奏プログラム |
JP6371283B2 (ja) * | 2012-08-07 | 2018-08-08 | スミュール,インク.Smule,Inc. | 選択的に適用可能な(複数の)ボーカルエフェクトスケジュールに基づいて、その後で再演奏するために、ボーカル演奏の連続的リアルタイムピッチ補正およびドライボーカル取込を用いるソーシャル音楽システムおよび方法 |
CN103730117A (zh) * | 2012-10-12 | 2014-04-16 | 中兴通讯股份有限公司 | 一种自适应智能语音装置及方法 |
US11146901B2 (en) | 2013-03-15 | 2021-10-12 | Smule, Inc. | Crowd-sourced device latency estimation for synchronization of recordings in vocal capture applications |
CN103680518A (zh) * | 2013-12-20 | 2014-03-26 | 上海电机学院 | 基于虚拟仪器技术的语音性别识别方法及系统 |
US10192533B2 (en) * | 2014-06-17 | 2019-01-29 | Yamaha Corporation | Controller and system for voice generation based on characters |
KR102179431B1 (ko) * | 2014-12-26 | 2020-11-16 | 삼성전자주식회사 | 음향 출력 장치 및 그 제어 방법 |
US11488569B2 (en) | 2015-06-03 | 2022-11-01 | Smule, Inc. | Audio-visual effects system for augmentation of captured performance based on content thereof |
US10008193B1 (en) * | 2016-08-19 | 2018-06-26 | Oben, Inc. | Method and system for speech-to-singing voice conversion |
CN106340288A (zh) * | 2016-10-12 | 2017-01-18 | 刘冬来 | 多功能迷你便携k歌设备 |
US10134374B2 (en) * | 2016-11-02 | 2018-11-20 | Yamaha Corporation | Signal processing method and signal processing apparatus |
US11310538B2 (en) | 2017-04-03 | 2022-04-19 | Smule, Inc. | Audiovisual collaboration system and method with latency management for wide-area broadcast and social media-type user interface mechanics |
DE112018001871T5 (de) | 2017-04-03 | 2020-02-27 | Smule, Inc. | Audiovisuelles Kollaborationsverfahren mit Latenzverwaltung für großflächige Übertragung |
US10845956B2 (en) * | 2017-05-31 | 2020-11-24 | Snap Inc. | Methods and systems for voice driven dynamic menus |
JP7000782B2 (ja) * | 2017-09-29 | 2022-01-19 | ヤマハ株式会社 | 歌唱音声の編集支援方法、および歌唱音声の編集支援装置 |
JP6610714B1 (ja) * | 2018-06-21 | 2019-11-27 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP6547878B1 (ja) * | 2018-06-21 | 2019-07-24 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP6610715B1 (ja) * | 2018-06-21 | 2019-11-27 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
CN109087623A (zh) * | 2018-08-14 | 2018-12-25 | 无锡冰河计算机科技发展有限公司 | 异性演唱伴奏调整方法、装置及ktv点唱机 |
US11423920B2 (en) | 2018-09-28 | 2022-08-23 | Rovi Guides, Inc. | Methods and systems for suppressing vocal tracks |
CN109712635B (zh) * | 2018-12-28 | 2020-10-09 | 深圳创维-Rgb电子有限公司 | 一种声音数据处理方法、智能终端及存储介质 |
JP7059972B2 (ja) | 2019-03-14 | 2022-04-26 | カシオ計算機株式会社 | 電子楽器、鍵盤楽器、方法、プログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3602824A (en) * | 1968-08-19 | 1971-08-31 | Sanders Associates Inc | Frequency changing apparatus and methods |
US5428708A (en) * | 1991-06-21 | 1995-06-27 | Ivl Technologies Ltd. | Musical entertainment system |
US5231671A (en) * | 1991-06-21 | 1993-07-27 | Ivl Technologies, Ltd. | Method and apparatus for generating vocal harmonies |
US5248845A (en) * | 1992-03-20 | 1993-09-28 | E-Mu Systems, Inc. | Digital sampling instrument |
US5296643A (en) * | 1992-09-24 | 1994-03-22 | Kuo Jen Wei | Automatic musical key adjustment system for karaoke equipment |
JP2897552B2 (ja) * | 1992-10-14 | 1999-05-31 | 松下電器産業株式会社 | カラオケ装置 |
US5477003A (en) * | 1993-06-17 | 1995-12-19 | Matsushita Electric Industrial Co., Ltd. | Karaoke sound processor for automatically adjusting the pitch of the accompaniment signal |
US5641927A (en) * | 1995-04-18 | 1997-06-24 | Texas Instruments Incorporated | Autokeying for musical accompaniment playing apparatus |
-
1997
- 1997-03-24 JP JP07008197A patent/JP3900580B2/ja not_active Expired - Fee Related
-
1998
- 1998-03-23 US US09/046,065 patent/US5889223A/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US5889223A (en) | 1999-03-30 |
JPH10268875A (ja) | 1998-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3900580B2 (ja) | カラオケ装置 | |
JP3598598B2 (ja) | カラオケ装置 | |
JP3709631B2 (ja) | カラオケ装置 | |
JP2838977B2 (ja) | カラオケ装置 | |
JPH10105169A (ja) | ハーモニーデータ生成装置およびカラオケ装置 | |
JP2001215979A (ja) | カラオケ装置 | |
JP4802857B2 (ja) | 楽音合成装置及びプログラム | |
JP3484719B2 (ja) | 音声入力機能付き演奏ガイド装置および演奏ガイド方法 | |
JP2000122674A (ja) | カラオケ装置 | |
JP3659138B2 (ja) | カラオケ装置 | |
JP3562068B2 (ja) | カラオケ装置 | |
JPH08286689A (ja) | 音声信号処理装置 | |
JPH10268895A (ja) | 音声信号処理装置 | |
JPH0417000A (ja) | カラオケ装置 | |
JP2000047677A (ja) | カラオケ装置 | |
US6201177B1 (en) | Music apparatus with automatic pitch arrangement for performance mode | |
JP2005037846A (ja) | 音楽再生装置の情報設定装置及び情報設定方法 | |
JPH11338480A (ja) | カラオケ装置 | |
JPH1026992A (ja) | カラオケ装置 | |
JP3178694B2 (ja) | カラオケ装置 | |
JP2005037848A (ja) | 楽音発生装置及びそのプログラム | |
JP2005107335A (ja) | カラオケ装置 | |
JP3166621B2 (ja) | カラオケ用プロセッサおよび楽器練習用プロセッサ | |
JPH0651790A (ja) | カラオケ用ディスクプレーヤ | |
JP4296767B2 (ja) | ブレス音合成方法、ブレス音合成装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20031209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060915 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060926 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061225 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110112 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120112 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130112 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140112 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |