JP5193654B2 - デュエットパート歌唱生成システム - Google Patents

Description

本発明は、カラオケ装置において任意の利用者がデュエット曲を歌唱する場合、相手方のデュエットパート歌唱を音声合成にて生成できるシステムに関する。

現在の通信カラオケシステムにおいて、一般的に、カラオケ装置により演奏されるカラオケ楽曲の多くは単独の歌唱者により歌唱されるものであるが、所謂「デュエット」と言われる男女二人で交互に歌唱するデュエット曲も含まれている。このようなデュエット曲を歌唱する場合には、男女二人の歌唱者が必要となるが、パートナーとなる相手歌唱者が得られない場合がある。

このような場合においては、従来、伴奏トラックの他に、男性歌唱の音声（歌声）信号トラックと女性歌唱の音声（歌声）信号データのトラックをそれぞれ別個に設け、男性が歌唱する場合には女性歌唱トラックを、女性が歌唱する場合には男性歌唱トラックが選択され、パートナーとなる相手歌唱者の歌唱音声が得られるようにしたシステムが提案されている（特許文献１参照）。

また、カラオケ利用者に対し、その利用者が所望するデュエットパートナーが同席していない場合であっても、そのデュエットパートナーが予め録音した歌唱音声をもって、好みのデュエット曲を歌唱できることを、その利用者に紹介することができるカラオケシステムを本出願人が提案している（特許文献２参照）。
特開平５−１０９１８７号公報 特開２００６−２０８９６１号公報

上記特許文献１に開示された技術による場合は、複数のチャンネルに男性および女性の音声信号を記録して連続的に再生できるようにしたものである。したがって、デュエット曲を男性が歌唱する場合には、女性のパートナーを指定することにより男性のデュエットパートはキャンセルされて再生されず、女性のデュエットパートに至ると女性の歌唱が再生されるようにしてある。

このように構成されたシステムの場合は、デュエット曲を男性が歌唱する場合と女性が歌唱する場合のいずれにも対応できるようにしておくことを要するため、伴奏トラックとともに男性歌唱トラックおよび女性歌唱トラックのいずれも必要であり、音声信号のデータ量が多くなることから大きな記憶容量の記憶媒体が必要となる問題があった。そして、この技術では、デュエットパートナーはプロ歌手の歌唱を予め取得した音声を出力するもので、確かに、デュエットパートナーがいない場合でも仮想デュエット（一人デュエット）ができるものの、相手は「プロ歌手」に限定される。したがって、任意の利用者が所望する利用者、例えば、身近な友人や知人とは仮想デュエットができる訳ではない。

この点、特許文献２に開示された技術は、任意の利用者が所望する利用者と仮想デュエットができる仕組みになっている。本技術とは、カラオケ楽曲の演奏中にマイク入力からの歌唱音声信号を取得し、ハードディスク装置に歌唱音声データとして記録するものである。このようにして記録された歌唱音声データはデュエットパートナー管理テーブルにより管理され、利用者がリモコン装置に表示されるアイコンによる指定により所望のデュエットパートナーの歌唱音声を指定することができる。
ただし、この技術であっては、当然のことながら、任意の利用者が所望するデュエット曲を、所望するデュエットパートナーが必ず歌えなくてはならない。すなわち、所望するデュエットパートナーが歌えないデュエット曲では、その所望するデュエットパートナーとは仮想デュエットができないことになり、デュエット曲が限定されてしまう。
さらに、従来技術では、記録される歌唱音声データは実際に歌唱された音声に基づくもので、任意の利用者のキー、テンポや歌唱力の巧拙もそのまま記録されてしまうことになり、再生されるデュエットパートナーの歌唱音声が任意の利用者自身の歌唱に調和させることを殆ど要求できないものであった。

ところで、最近、音声合成の技術が進歩し、本来、歌唱していないにも拘わらず、個人の発声をサンプリングして、歌唱を再現できる歌唱合成装置が高性能となっている。具体的には、例えば、特開２００７−２４０５６４号公報では、音声素片（音素）データベースに各種の音声素片を示す音声素片データをサンプリングして記憶しておき、ユーザから入力される音符データ及び歌詞データを含む曲データに基づいて、歌唱音声合成に用いる複数の音声素片、発生タイミング、ピッチを指定する情報を曲の進行の時系列化した歌唱合成スコア（スコアデータ）を生成し、当該歌唱合成スコアで指定される音声素片に対応する音声素片データを上記音声素片データベースから読み出し、所定のピッチ変換、素片連結を行うことで歌唱音声を合成することが開示されている。

そこで、本発明は、この進歩した音声合成技術を活用し、カラオケのデュエット曲において、任意の利用者が所望するデュエットパートナー、例えば、身近な友人や知人と、これらの利用者が不在であっても、あるいは歌唱できるか否かは関係なく、如何なるデュエット曲（但し対象曲）でも仮想デュエットができ、また、歌唱時に利用者が選定したキーやテンポに調和させることも可能であり、さらに、プロ歌手のように音程やタイミングが狂わない理想的なデュエット歌唱を生成できるシステムの提供を課題とする。
この課題に鑑み、本発明者らは、以下に述べる各手段により解決するようにした。すなわち、本発明の請求項１記載のデュエットパート歌唱生成システムとは、複数のデュエットパートに対応する音符データと歌詞データとを備え、演奏シーケンスに基づき演奏されるデュエット曲のデュエットパート歌唱を音声合成するシステムであって、任意のカラオケ装置にてログインした利用者ＩＤを取得して利用者を特定し、この利用者が任意の楽曲を歌唱した際、所定の録音手段により取得された歌唱音声から音素データを抽出し、当該利用者の利用者ＩＤを紐付けて利用者別音素データ管理テーブルにて管理する。そして、任意の利用者が所定のデュエット曲を選曲する際、当該利用者によるデュエットパートナーの指定を受け付け可能とし、この指定を受け付けた場合、当該デュエットパートナーの利用者ＩＤに基づき、利用者別音素データ管理テーブルから、その音素データを取り出すと共に、これと当該デュエット曲の音符データと歌詞データから作成された音声合成用のスコアデータとにより歌唱音声を合成し、当該デュエットパート歌唱を音声出力可能に生成するものである。

また、本発明の請求項２記載のデュエットパート歌唱生成システムとは、請求項１記載の発明において、所定の録音手段により採取された前記歌唱音声から音素データに加え表情データも抽出し、当該利用者の利用者ＩＤを紐付けて利用者別音素データ管理テーブルにて管理するものであり、さらに、この利用者ＩＤに基づき、利用者別音素データ管理テーブルから、その音素データに加え表情データを取り出すと共に、これと当該デュエット曲の音符データと歌詞データから作成された音声合成用のスコアデータとにより歌唱音声を合成し、当該デュエットパート歌唱を音声出力可能に生成するものである。

本発明の請求項１記載の発明によれば、利用者が任意の楽曲を歌唱した際、所定の録音手段により取得された歌唱音声から音素データを抽出して利用者毎に管理し、任意の利用者が指定したデュエットパートナーの音素データを取り出すと共に、これと選曲したデュエット曲の音符データと歌詞データから作成された音声合成用のスコアデータとにより歌唱音声を合成し、当該デュエットパート歌唱を音声出力可能に生成するようにしたので、デュエットパートナーが当該デュエット曲を歌唱できるか否かは関係なく、任意の利用者が所望するデュエットパートナー、例えば、身近な友人や知人による任意の楽曲の歌唱により抽出された音素データから、これらの人々と如何なるデュエット曲でも仮想デュエットができる。また、従来のように、データ容量の大きい男性パートまたは女性パートの歌唱音声自体を保持する必要がなく、比較的容量の小さい音素データを利用するため、デュエット曲の音声出力時などのデータ記憶量を削減することができ、さらに、シンセサイザイー規格、例えばＭＩＤＩ（登録商標）規格と、その音源により音声出力されるため、キーやテンポの設定変更（調和）が可能となり、そして、音程やタイミングも狂うことがないことから、理想的なデュエット歌唱を生成できるなどといった効果を奏する。

しかも、本発明の請求項１記載の発明によれば、上述の効果に加え、表情データを付加するようにしたので、再生される歌唱音声に個性を付与することができ、パートナーの歌唱音声を歌唱者が望むものとすることができ、カラオケ装置のアミューズメント性を向上することができる。

以下、本発明の実施の形態を、通信カラオケ装置を前提とする実施例に基づいて説明するが、本発明はこれに限らず、スタンドアローンタイプのカラオケ装置にも実施して同等の効果を得ることができる。

図１に示すように、本発明を実施したカラオケ装置１は、主に装置全体の動作を制御する中央制御手段２と、これに接続された各種機器にて構成されている。すなわち、この中央制御手段２には、カラオケホスト装置との通信を制御するための通信制御手段１３や、リモコン装置Ｒからカラオケ装置１への操作信号を処理するための操作制御手段１６の他、利用者の歌唱音声を採取するための歌唱音声録音手段１７、デュエットパートナーを指定するためのパートナー指定手段１８、および楽曲に関する情報を選曲可能に表示するための楽曲表示手段１９などが内蔵されて、これらを統括的に制御すると共に、ハードディスク装置４、ＲＡＭ５、演奏音源６、ミキサ７、サウンドシステム８、ＰＣＭデコーダ８、ＭＰＥＧデコーダ１１、合成回路１２、利用者ＩＤ取得手段として、ＩＤカード読み取り／書き込み装置３なる機構が組み込まれている。

前記演奏音源６は、中央制御手段２が実行するシーケンサ１５における楽曲シーケンサの処理によって入力された演奏データに応じて楽音信号を形成する。形成された楽音信号はミキサ７に入力され、このミキサ７は、演奏音源６が発生した複数の楽音信号やカラオケマイクＭと、Ａ／Ｄコンバータ９を介して入力された利用者の歌唱音声信号を適当なバランスでミキシングする。ミキシングされたデジタル音声信号はサウンドシステム８に入力される。このサウンドシステム８はパワーアンプを備え、入力されたデジタル信号をアナログ信号に変換して増幅し、スピーカＳから歌唱音声を放音する。
このＡ／Ｄコンバータ９は、選曲時に付帯された利用者ＩＤを付帯して選曲された楽曲（勿論、デュエット曲でなくても如何なる曲でも構わない）が演奏された際、カラオケマイクＭから入力される歌唱時の歌唱音声をデジタル変換して歌唱音声録音手段１７に送出する電子回路である。この歌唱音声録音手段１７にて採取された歌唱音声データは、その選曲時に付帯された利用者ＩＤに関連付けてＨＤＤ４の利用者別歌唱音声管理テーブルＴ１にて管理される歌唱音声データ２３として記憶される。そして、利用者別音素データ抽出管理手段２４は、この歌唱音声データ２３より、少なくとも音素データ２５、さらに好ましくは適宜表情データ（図示省略）を抽出し、利用者ＩＤに関連付けて、所定の利用者別音素データ管理テーブルＴ２にて管理される。

ハードディスク装置４には、楽曲データベース１９と、これをもって管理されている演奏データ２０、映像データ（図示省略）などが記録されており、例えば、この映像データの各映像データはＭＰＥＧ形式にエンコードされ、中央制御手段２が実行する背景映像再生手段（図示省略）により再生処理を行い、これを読み出してＭＰＥＧデコーダ１１に入力する。このＭＰＥＧデコーダ１１は、入力されたＭＰＥＧデータをＮＴＳＣ信号に変換して合成回路１２に入力し、この合成回路１２は、この背景映像の映像信号上に歌詞テロップや採点表示などのＯＳＤを合成し、合成された映像信号は表示手段に表示される。そして、所定の楽曲（所定のデュエット曲に限らない）の演奏データ２０は、それぞれ音符データ、歌詞データ（図示省略）を格納し、適宜当該楽曲について、ビブラートや抑揚等といった歌唱技術を周波数などでデータ化した楽曲唱法データを格納する。具体的には、楽曲ＩＤ、曲名及びアーチストＩＤ（アーチスト名）が関連付けられた楽曲テーブルを有し、楽曲毎に楽曲ＩＤで管理される所定データ形式のカラオケ楽曲の音符データ（例えば、ＭＩＤＩ（登録商標）形式の音符データ）及び歌詞データ（歌詞テロップデータ）が同期されて構成される楽曲データ（ファイル）について楽曲コードをファイル名としてそれぞれ格納したデータベースである。そして、所定のデュエット曲については、その音符データ及び歌詞データに基づいて歌唱音声合成用のスコアデータ２１が作成され、当該スコアデータは楽曲別に記憶される。当該スコアデータ作成のタイミングは種々あるが、本実施形態では、予め作成され楽曲データに組み込まれているが、本発明はこれに限らず、例えば、任意のデュエット曲が予約待ち行列に登録された際に、当該楽曲のスコアデータが作成されるものとしても構わない。

シーケンサ１５は、楽曲コードで識別される演奏データをハードディスク装置４の演奏データ２０から読み出す。これは主に楽曲シーケンサおよび歌詞シーケンサからなっており、楽曲シーケンサは演奏データ中の演奏データトラック、ガイドメロディトラックなどのトラックデータを読み出し、このデータで演奏音源６を制御することでカラオケ楽曲の演奏を行い、一方、歌詞シーケンサは文字パターン作成手段を備えており、演奏データ中の歌詞トラックのデータを読み出し、このデータに基づいて歌詞テロップ画像パターンを作成し、これを合成回路１２に出力する。

そして、このカラオケ装置１には、楽曲検索機能を備えた多機能カラオケリモコン装置Ｒが付帯されており、このリモコン装置Ｒをもって、利用者は赤外線信号によりカラオケ装置１に所望の演奏予約コマンドを送信する。操作制御手段１６は、この操作信号を検出すると対応する処理を行う。例えば、リモコン装置Ｒにて楽曲コードが入力されると、カラオケ楽曲のリクエストであるとしてＲＡＭ５の予約待ち行列に楽曲コードを演奏予約する。

図２に本実施例における前記リモコン装置Ｒの外観の正面斜視図を示す。リモコン装置Ｒには、非接触のＩＣモジュールを搭載したＩＤカードの読み取り／書き込み装置が備えられ、利用者ＩＤ取得手段３として構成されている。なお、ＩＤカードの読み取り／書き込み装置は、厳密には利用者ＩＤ取得手段のインタフェイスであり、リモコン装置の背面の下方所定部にはＬＡＮポートが設けられ、ＬＡＮ接続ケーブルを介して各種のデータが送信される仕組みになっており、当該読み取り情報は、充電器を兼ねた通信用の専用架台（図示省略）を介して利用者データベース（図示省略）にて対照され、実際はここでＩＤの認証が行われて初めて利用者ＩＤが取得されたことになる。また、利用者ＩＤ取得手段としては、本発明はこれに限らず、例えば、ＩＣモジュールを携帯電話に内蔵させたＩＣ機能付き携帯電話の読み取り／書き込み装置やパスワードの入力装置や指紋、音声などの生体識別機能を有する装置などであってもよい。

リモコン装置Ｒの正面には、タッチセンサを積層した液晶ディスプレイによる表示画面Ｄ２を主体とした利用者インタフェイスが備えられ、ＧＵＩ（ Graphical User Interface ）環境を提供し、このＧＵＩ環境による対話を通じて楽曲索引データベース（図示省略）を検索し、その結果を表示出力させることで検索機能を実現している。そして、本発明に必要な、デュエット曲の選曲やデュエットパートナーの指定もこのＧＵＩを用いて行う。

図３は、前記リモコン装置Ｒが付帯するＬＣＤによる利用者インタフェイスを利用した利用者別ログイン・ログアウト指示の表示画面Ｄ２である。この表示画面Ｄ２には、利用者別顔写真付きアイコン列３０やカラオケシステムへのログインをするための「ログイン」アイコン３１、ログアウトをするための「ログアウト」アイコン３２などが表示されている。このリモコン装置Ｒを前述した専用架台に装着した状態で、先ず、「ログイン」アイコン３１を選択した後、ＩＤカードの読み取り／書き込み装置に自らのＩＤカードを装填することにより、これに紐付けされた利用者ＩＤが識別されると同時にシステムへのログインが認識される。

ログインが認識されると、カラオケホスト装置に予め登録された利用者の顔写真、あるいは予め登録されていない場合、デジタルカメラ機能を使って撮影した利用者の顔写真を新たに登録して、順次、利用者別顔写真付きアイコンが利用者毎に掲載された利用者別インタフェイスが作成される。この利用者別顔写真付きアイコン列３０に利用者別顔写真付きアイコン３０が形成された場合、それぞれを現在ログインしている利用者と見なし、例えば、図１において、楽曲情報表示手段１９は、現在ログインしている利用者に対して、デュエット曲に関する情報を選曲可能に表示できる。そして、任意の利用者が所定のデュエット曲のデュエットパートナーを指定する際には、パートナー指定手段１８は、下記の如く、その所望する利用者の利用者別写真付きアイコン３０ａを選択することで、当該パートナーを特定することができる。

つぎに、図４に示すデュエットパートナー指定用のインタフェイス表示画面Ｄ２について以下に説明する。利用者は、図３における利用者別顔写真付きアイコン３０ａを選択した後、所定の操作によりこの表示画面Ｄ２にアクセスできる。この表示が画面Ｄ２には、任意の利用者が選択したデュエット曲について当該利用者ＩＤを紐付けし、その所望するデュエットパートナーを指定するための各種のアイコンが設けられている。図３における利用者別顔写真付きアイコン３０ａを選択すると、例えば、利用者欄３３には、その利用者を特定するための顔写真３３ａと共に予め登録されている利用者の氏名やニックネームなどが表示される。

このようにして特定された利用者は、図４に示す如く、先ず、所望するデュエット曲の指定欄３４の楽曲コード入力部へ楽曲コード入力により選択し、さらに、そのデュエット曲において、デュエットパートナーに歌唱してもらいたいデュエットパート（男性パートまたは女声パート）をデュエットパート種別欄３４ｂの選択により指定する。なお、本実施例では、特定された利用者の属性データの性別から、その利用者に対する異性のデュエットパートが自動的にデフォルト設定される。

そして、デュエットパートナーの指定は、デュエットパートナー指定欄３５への入力によって行われるが、本実施例では、デュエットパートナーのＩＤカードなどに記載された所定のＩＤ番号を入力すると、対応するＩＤの顔写真３５ａと共にその氏名やニックネーム３５ｂが表示され、ＧＵＩ機能によりアイコンを指定することで、利用者がデュエットパートナーを決めた状態で「指定」アイコン３６を選択すると、図１におけるパートナー指定手段１８は、ＲＡＭ５内にてデュエットパートナーデータ５ａとして、当該利用者ＩＤと楽曲ＩＤとを紐付けして記憶される。

つぎに、利用者別音素データ管理テーブルＴ２について説明する。図５に示すように、この利用者別音素データ管理テーブルＴ２は、利用者別歌唱音声管理テーブルＴ１に対応しており、共通に各レコードを特定するための「番号」フィールドｆ１、利用者を特定するための「利用者ＩＤ」フィールドｆ２、当該利用者が歌唱した楽曲曲を特定するための「楽曲ＩＤ」フィールドｆ３、歌唱音声データ自体ないし歌唱音声データを特定するための「歌唱音声データ」フィールドｆ４と、当該歌唱音声データから抽出された音素データ自体ないし音素データを特定するための「音素データ」フィールドｆ５、これと同様に、当該歌唱音声データから抽出された表情データ自体ないし表情データを特定するための「表情データ」フィールドｆ６として、それぞれのデータが管理されている。

以下、利用者別音素データ抽出管理手段につき、さらに詳述する。音素データは歌唱音声データから抽出され、利用者ＩＤ毎に生成される。音素データとは、現在の音声合成に必要な要素であって、個人の発声音を、母音、先頭子音、末尾子音、子音から母音への変化、母音から子音への変化の五つの音声素片に区分してデータ化したものである。本発明では、例えば、歌唱音声処理装置を備えており、図６にその具体的構成を示す。この歌唱音声処理装置４０には、音素データベース４１と共に表情データベース４２を備え、音素データベース４１は、前記歌唱音声データの音声信号をＳＭＳ分析手段やＬＰＣ分析手段などの分析手法を用いて分析し、音声ごとに切り分けられた音声素片が利用者ＩＤ毎に記憶されている。

表情データベース４２は、歌唱表情に重要な要素となるビブラート情報などを記憶している。この表情データとは、ビブラートや抑揚などの歌に特徴を付ける歌唱技術を周波数情報などによりデータ化したものであり、歌唱音声に歌唱技術を反映させることができるものである。特にビブラート情報は再生される歌唱音の個性を決定するための重要な要素であり、パラメーターを調整することにより、例えば、歌手の情報（性別／子供／若者／中高年など）、あるいは楽曲のジャンル（ポップス調、演歌調など）を任意に指定することができる。したがって、この表情データに任意のパラメーターを与えて様々な歌唱表情を生成することが可能となる。

つぎに、音声素片選択部４３は、演奏データ（例えば、音符、歌詞、ピッチベンド、ダイナミックスなどの情報を含んだＭＩＤＩ情報）をフレーム単位（フレームデータ）で受けるとともに、入力されたフレームデータ中の歌詞データに対応する音声素片データを音素データベース４１から選択して読み出す機能を有する。この場合、利用者ＩＤが指定されると、当該利用者ＩＤに相当する音声素片データが得られることになる。

表情テンプレート選択部４４は、設定部４５からの利用者による種々の指定（例えば、女性／演歌など）により、これに対応する特定のビブラートデータを表情データベース４２から読み出す。前記設定部４５には演奏データ（ＭＩＤＩ）とリモコン装置Ｒなどからの設定データを入力する。これにより、設定データに基づいて表情テンプレート選択部４４においてビブラート情報が選択され、音声素片選択部４３において音声素片が選択されることになる。この音声音素選択部４３における音声素片の選択は、演奏データにＭＩＤＩデータを採用する場合は、ＭＩＤＩ規格のノートデータに予め設定されている音節を割り当てた歌詞情報に対応する音声素片を音素データベース４１から読み出すようにする。

このようにして決定される音声素片とビブラート情報は、演奏シーケンスに従って制御部４６に入力する。この制御部４６に制御される歌唱音声音源４７は、ＭＩＤＩデータから音声信号を生成するための人の声の音色情報などを保持しており、制御部４５の制御に従って歌唱音の音声信号を生成する。また、音声処理部４８は、音声信号を音声処理（リバーブ／コーラス／バリエーションなど）するための各種情報を保持しており、制御部４６の制御により音声信号の各種の音声処理を行う。

歌唱音声処理装置４０はこのように構成されていることから、演奏シーケンスに従って演奏データが入力すると、その歌詞情報に基づいて音声素片が順次読み出され、設定されたビブラート情報に基づいて音声処理された所望の合成歌唱音声ＣＶを得ることができる。また、設定部４５の設定内容は容易に変更できるので、出力される合成歌唱音声ＣＶのキーやテンポを自由に変更することができる。そして、出力された合成歌唱音声ＣＶは演奏音源６からの出力とミキサ７において更に合成され、合成歌唱音声ＣＶとカラオケ楽曲の演奏音が得られる。

歌唱音声処理装置４０をこのように機能させた場合は、演奏音とともに合成歌唱音声ＣＶも同時に再生されることになる。したがって、本来のカラオケ装置として機能させる場合は、歌唱音声処理装置４０の機能を停止する設定データを設定部４５に与えることにより、合成歌唱音声ＣＶが出力されず、演奏音源６からの演奏音のみを出力してカラオケ演奏が可能となる。

本発明は、かかる機能を有効に利用するもので、リモコン装置Ｒによる指示に基づき、設定部４５への設定データに男性または女性のデュエットパートを指定するデータを与えることにより、カラオケ楽曲のデュエット曲において男性が歌唱する場合には女性デュエットパートを合成歌唱音声ＣＶで出力し、女性が歌唱する場合には男性デュエットパートを合成歌唱音声ＣＶで出力することが可能となる。

このように本発明によれば、デュエット曲におけるデュエットパートナーの歌唱音声を合成歌唱音声で得られるようにしたことから、実際に歌唱する歌唱者のキーやピッチに整合させることが可能であり、表情テンプレートを任意に選択して合成歌唱音声の音色を自在に選定することもできる。そして、デュエットパートナーが当該デュエット曲を歌唱できるか否かは関係なく、任意の利用者が所望するデュエットパートナー、例えば、身近な友人や知人による任意の楽曲の歌唱により抽出された音素データから、これらの人々と如何なるデュエット曲でも仮想デュエットが可能となるなどの娯楽性を向上することができる。

そして、本発明によれば、歌唱音声データから合成歌唱音声を生成できるようにしたので、デュエット曲ごとに膨大な歌唱データを記録して記憶しておく必要がなく、ソフトウエア処理により多様なアレンジが可能となるので、カラオケ装置における機能性を格段に向上することができるなど本発明特有の効果を奏する。

本発明の概要を説明するブロック図。 リモコン装置の正面斜視図 利用者別ログイン・ログアウト指示のインタフェイス表示画面。 デュエットパートナー指定用のインタフェイス表示画面。 利用者別音素データ管理テーブルの概念的構成図。 歌唱音声処理装置の構成を示すブロック図。

符号の説明

１・・・・・・カラオケ装置
２・・・・・・制御手段
３・・・・・・ＩＤカード読み取り／書き込み装置（利用者ＩＤ取得手段）
４・・・・・・ハードディスク装置
５・・・・・・ＲＡＭ
５ａ・・・・・指定パートナーデータ
１７・・・・・歌唱音声録音手段
１８・・・・・パートナー指定手段
２１・・・・・スコアデータ
２４・・・・・歌唱者別音素データ抽出管理手段
４０・・・・・歌唱音声処理装置
４１・・・・・音素データベース
４２・・・・・表情データベース
４３・・・・・音声素片選択部
４４・・・・・表情テンプレート選択部
４５・・・・・設定部
４６・・・・・制御部
４７・・・・・歌唱音声音源
４８・・・・・音声処理部
Ｍ・・・・・・カラオケマイク
ＣＶ・・・・・合成歌唱音声
Ｔ１・・・・・利用者別歌唱音声管理テーブル
Ｔ２・・・・・利用者別音素データ管理テーブル

Claims (1)

1. 複数のデュエットパートに対応する音符データと歌詞データとを備え、演奏シーケンスに基づき演奏されるデュエット曲を保有してなるカラオケ装置において、予め取得された利用者の歌唱音声を基に、デュエットパート歌唱を音声合成するシステムであって、利用者ＩＤ取得手段と、利用者別音素データ抽出管理手段と、パートナー指定手段と、デュエットパート歌唱生成手段とを有し、
   （ア）利用者ＩＤ取得手段とは、任意のカラオケ装置にてログインした利用者ＩＤを取得して利用者を特定するものであり、
   （イ）利用者別音素データ抽出管理手段とは、前記特定された利用者が任意の楽曲を歌唱した際、所定の録音手段により取得された歌唱音声から音素データ及び表情データを抽出し、当該利用者の利用者ＩＤを紐付けて利用者別音素データ管理テーブルにて管理するものであり、
   （ウ）パートナー指定手段とは、任意の利用者が所定のデュエット曲を選曲する際、当該利用者によるデュエットパートナーの指定を受け付け可能とし、
   （エ）デュエットパート歌唱生成手段とは、前記デュエットパートナーの指定を受け付けた場合、当該デュエットパートナーの利用者ＩＤに基づき、前記利用者別音素データ管理テーブルから、その音素データ及び表情データを取り出すと共に、当該音素データ及び表情データと、当該デュエット曲の音符データと歌詞データから作成された音声合成用のスコアデータとにより歌唱音声を合成し、当該デュエットパート歌唱を音声出力可能に生成するものである、
   ことを特徴とするデュエットパート歌唱生成システム。

Images