JP6634897B2 - 歌詞生成装置および歌詞生成方法 - Google Patents

Description

本発明は、歌詞データを生成する歌詞生成装置および歌詞生成方法に関する。

音声合成技術により歌唱音を合成する装置およびアプリケーションソフトウェアが広く用いられている。非特許文献１のポケットミク（登録商標）においては、模擬的に設けられた鍵盤にスタイラスを接触させることによって音高を指定することができる。また、ボタンの操作によって歌詞を構成する文字を指定することができる。指定された音高および文字に基づいて歌唱音が合成され、その歌唱音が出力される。

"歌うキーボードポケット・ミク｜大人の科学.net"、［online］、株式会社学研プラス、［平成２８年２月２３日検索］、インターネット＜ＵＲＬ：http://otonanokagaku.net/nsx39/＞

しかしながら、上記のポケットミクでは、指定可能な文字が、「あ」、「い」、「う」、「え」および「お」の５つに限定されており、本格的な歌詞を生成することはできない。一方、指定可能な文字数が増やされると、文字を指定するための操作が煩雑になる。

本発明の目的は、煩雑な操作を要することなく、本格的な歌詞を生成することが可能な歌詞生成装置および歌詞生成方法を提供することである。

本発明に係る歌詞生成装置は、接触面に接触したユーザの手の形を認識する形認識手段と、歌詞を構成する歌唱文字のうち認識された手の形に対応する歌唱文字を特定する特定手段と、接触面に接触した手の位置に基づいて、音高を指定する音高指定手段と、特定された歌唱文字および指定された音高に対応する声音を合成する合成手段とを備える。この歌詞生成装置においては、対象物の形に基づいて歌唱文字が特定されるので、歌詞を生成するために煩雑な操作を行う必要がない。また、対象物の形を変化させることによって種々の歌唱文字を使用することができるため、本格的な歌詞を生成することができる。

接触面は、２次元状に配置された複数の操作子を含み、形認識手段は、ユーザの手により操作された操作子の位置および数に基づいて手の形を認識してもよい。この場合、接触面に接触するユーザの手の形によって操作される操作子の位置および数が異なる。そのため、操作される操作子の位置および数に基づいてユーザの手の形を容易に認識することができる。

本発明に係る歌詞生成方法は、接触面に接触したユーザの手の形を認識するステップと、歌詞を構成する歌唱文字のうち認識された手の形に対応する歌唱文字を特定するステップと、接触面に接触した手の位置に基づいて、音高を指定するステップと、特定された歌唱文字および指定された音高に対応する声音を合成するステップとを備える。接触面は、２次元状に配置された複数の操作子を含み、形状を認識するステップは、ユーザの手により操作された操作子の位置および数に基づいて手の形を認識することを含んでもよい。歌詞生成プログラムは、対象物の形を検出するステップと、検出された形に基づいて、歌詞を構成する歌唱文字を特定するステップとを、コンピュータに実行させる。この歌詞生成方法および歌詞生成プログラムによれば、煩雑な操作を要することなく、本格的な歌詞を生成することができる。

本発明によれば、煩雑な操作を要することなく、本格的な歌詞を生成することが可能となる。

本発明の実施の形態に係る歌詞生成装置を含む電子音楽装置の構成を示すブロック図である。 入力部の一例を示す図である。 歌詞生成装置の機能的な構成を示すブロック図である。 スイッチの操作例を示す図である。 歌唱文字の特定の例について説明するための図である。 歌唱文字の対応付けについて説明するための図である。 歌唱文字の対応付けについて説明するための図である。 操作されるスイッチの数と歌唱文字との対応関係の例を示す図である。 手の位置と音高との関係について説明するための図である。 補助スイッチの操作例について説明するための図である。 入力部の変形例を示す図である。 検出圧の一例を示す図である。 感圧センサを用いた場合のスイッチのオンオフの判定条件について説明するための図である。 歌詞生成処理の一例を示すフローチャートである。 入力部の他の操作例について説明するための図である。

以下、本発明の実施の形態に係る歌詞生成装置および歌詞生成方法について図面を用いて詳細に説明する。

（１）電子音楽装置の構成
図１は本発明の実施の形態に係る歌詞生成装置を含む電子音楽装置の構成を示すブロック図である。図１の電子音楽装置１は、入力部２、設定操作子４および表示部６を備える。入力部２、設定操作子４および表示部６はバス１９に接続される。

入力部２は、例えばキーパッドからなる。ユーザが入力部２を操作することにより、歌詞を構成する文字（以下、歌唱文字と呼ぶ。）が入力される。入力部２の詳細については後述する。設定操作子４は、例えばオンオフ操作されるスイッチからなり、各種設定を行うために用いられる。表示部６は、例えば液晶ディスプレイを含み、入力または設定等に関する各種情報を表示する。表示部６がタッチパネルディスプレイにより構成されてもよい。

電子音楽装置１は、ＲＡＭ（ランダムアクセスメモリ）９、ＲＯＭ（リードオンリメモリ）１０、ＣＰＵ（中央演算処理装置）１１、タイマ１２、記憶装置１３、通信Ｉ／Ｆ（インタフェース）１４および音声出力部１６をさらに備える。ＲＡＭ９、ＲＯＭ１０、ＣＰＵ１１、記憶装置１３および音声出力部１６はバス１９に接続され、タイマ１２はＣＰＵ１１に接続される。外部記憶装置１５等の外部機器が通信Ｉ／Ｆ１４を介してバス１９に接続されてもよい。ＲＡＭ９、ＲＯＭ１０、ＣＰＵ１１およびタイマ１２がコンピュータを構成する。

ＲＡＭ９は、例えば揮発性メモリからなり、ＣＰＵ１１の作業領域として用いられるとともに、各種データを一時的に記憶する。ＲＯＭ１０は、例えば不揮発性メモリからなり、システムプログラム、歌詞生成プログラム等のコンピュータプログラムを記憶する。ＣＰＵ１１は、ＲＯＭ１０に記憶された歌詞生成プログラムをＲＡＭ９上で実行することにより後述する歌詞生成処理を行う。また、ＣＰＵ１１は、音声合成技術により声音データを合成する。タイマ１２は、時間情報をＣＰＵ１１に与える。

記憶装置１３は、ハードディスク、光学ディスク、磁気ディスクまたはメモリカード等の記憶媒体を含む。記憶装置１３には、声音データの合成に用いられる音声素片データ群が記憶される。音声素片データ群は、種々の音声素片のサンプリング波形を表す複数の音声素片データを含む。上記の歌詞生成プログラムが記憶装置１３に記憶されてもよい。外部記憶装置１５は、記憶装置１３と同様に、ハードディスク、光学ディスク、磁気ディスクまたはメモリカード等の記憶媒体を含む。音声素片データ群および歌詞生成プログラムが外部記憶装置１５に記憶されてもよい。

歌詞生成プログラムは、コンピュータが読み取り可能な記録媒体に格納された形態で提供され、ＲＯＭ１０または記憶装置１３にインストールされてもよい。また、通信Ｉ／Ｆ１４が通信網に接続されている場合、通信網に接続されたサーバから配信された歌詞生成プログラムがＲＯＭ１０または記憶装置１３にインストールされてもよい。同様に、音声素片データ群が記憶媒体から取得されてもよく、通信網に接続されたサーバから取得されてもよい。

音声出力部１６は、デジタルアナログ（Ｄ／Ａ）変換回路、増幅器およびスピーカを含み、合成された声音データに基づく声音を出力する。電子音楽装置１において、主として入力部２、ＲＡＭ９、ＲＯＭ１０およびＣＰＵ１１が歌詞生成装置１００を構成する。

図２は、図１の入力部２の一例を示す図である。図２の入力部２は、ユーザの手（手のひらおよび指）が接触可能な接触面２ａを有する。接触面２ａには、押下式の複数のスイッチＳＷがマトリクス状に配置されるとともに、それらの複数のスイッチＳＷと隣り合うように複数の補助スイッチＳＷａが配置される。以下の説明においては、複数のスイッチＳＷの横の並びを行と呼び、縦の並びを列と呼ぶ。図２の例では、複数のスイッチＳＷが９つの行および９つの列を構成する。また、上の行から下の行へ順に第１行、第２行、・・・、第９行と呼び、左の列から右の列へ順に第１列、第２列、・・・、第９列と呼ぶ。上、下、右および左とは、ユーザが入力部２を平面視した場合の上、下、左および右を意味する。

（２）電子音楽装置の機能的な構成
図３は、歌詞生成装置１００の機能的な構成を示すブロック図である。図３に示すように、歌詞生成装置１００は、検出部３１、特定部３２、音高指定部３３、合成部３４、出力制御部３５および補助操作検出部３６を含む。検出部３１は、操作検出部３１ａおよび形認識部３１ｂを含む。操作検出部３１ａは、ユーザによる図２の入力部２のスイッチＳＷの操作を検出する。形認識部３１ｂは、操作検出部３１ａにより検出された操作に基づいて、ユーザの手の形を認識する。特定部３２は、認識された手の形に対応する歌唱文字を特定する。音高指定部３３は、検出された操作に基づいてユーザの手の位置を推定し、推定された位置に基づいて音高を指定する。

合成部３４は、特定された歌唱文字および指定された音高に基づいて、音声合成技術により声音データを合成する。具体的には、音声素片データ群から歌唱文字に対応する１または複数の音声素片データが抽出され、指定された音高に対応するように各音声素片データの音高が調整される。その１または複数の音声素片データから声音データが合成される。出力制御部３５は、合成された声音データに基づく声音の出力を制御する。補助操作検出部３６は、ユーザによる図２の補助スイッチＳＷａの操作を検出する。後述のように、特定部３２、合成部３４および出力制御部３５は、補助スイッチＳＷａの操作に応じた処理を行う。

図１のＣＰＵ１１がＲＯＭ１０または記憶装置１３に記憶された歌詞生成プログラムを実行することにより、検出部３１、特定部３２、音高指定部３３、合成部３４、出力制御部３５および補助操作検出部３６が実現される。これらの機能部は、電子回路等のハードウエアにより実現されてもよい。

（３）歌唱文字の特定
ユーザは、図２の入力部２の接触面２ａに手を接触させることにより、一部のスイッチＳＷを操作（押下）する。図４は、スイッチＳＷの操作例を示す図である。図４の例では、全ての指が伸ばされた状態の手が接触面２ａに接触しており、手と重なる位置にある複数のスイッチＳＷが操作される。図４では、操作されるスイッチＳＷにハッチングが付される。本例においては、各スイッチＳＷに、２桁の識別番号が割り当てられる。各識別番号の十の位は行を表し、一の位は列を表す。例えば、“３４”は、第３行第４列のスイッチＳＷを表す。

操作されたスイッチＳＷの位置および数に基づいてユーザの手の形が認識され、認識された形に対応する歌唱文字が特定される。図５は、歌唱文字の特定の例について説明するための図である。図５（ａ）の例では、図４の例と同じ状態の手が接触面２ａに接触している。この場合、歌唱文字が例えば「ぱ」に特定される。図５（ｂ）の例では、全ての指が折り畳まれた状態の手が接触面２ａに接触している。この場合、歌唱文字が例えば「う」に特定される。図５（ｃ）の例では、人差指が伸ばされ、他の指が折り畳まれた状態の手が接触面２ａに接触している。この場合、歌唱文字が例えば「ち」に特定される。図５（ｄ）の例では、親指、人差指および中指が伸ばされ、薬指および小指が折り畳まれた状態の手が接触面２ａに接触している。この場合、歌唱文字が例えば「ちゃ」に特定される。

接触面２ａに接触する手の形と、特定される歌唱文字との間には、相関があることが好ましい。図５の例では、手の広がりの程度が、特定される歌唱文字を発声するときの口の開きの程度と対応している。図５（ａ）の例のように手の広がりが大きい場合には、口の開きを大きくして発声される歌唱文字「ぱ」が特定され、図５（ｂ）の例のように手の広がりが小さい場合には、口の開きを小さくして発声される歌唱文字「う」が特定される。図５（ｃ）および図５（ｄ）の例では、手の広がりの程度が、図５（ａ）の例より小さく図５（ｂ）の例より大きい。そのため、口の開きを中程度にして発声される歌唱文字「ち」または「ちゃ」が特定される。

歌唱文字の特定方法について説明する。第１の例として、操作されたスイッチＳＷの組み合わせに基づいて、歌唱文字が特定される。本例において、入力部２は８１個のスイッチＷを有するので、操作されるスイッチＳＷの組み合わせは、理論上では２^８１通り存在する。その全ての組み合わせについて、歌唱文字を対応付けることができる。図６および図７は、歌唱文字の対応付けについて説明するための図である。例えば、図６（ａ）および図６（ｂ）では、手の形が互いに同じであるが、手の位置が異なる。このように手の位置が異なっても、特定されるべき歌唱文字は同じである。手の形が同じである場合には、操作される複数のスイッチＳＷの相対位置が同じである。そのため、複数のスイッチＳＷの相対位置が同じである場合には、スイッチＳＷの組み合わせが異なっても、共通の歌唱文字が対応付けられる。また、図７（ａ）の例と図７（ｂ）の例とでは、手の大きさおよび指の位置に微小な差異がある。このような場合でも、特定されるべき歌唱文字は同じである。そのため、複数のスイッチＳＷの相対位置に微小な差異がある複数の組み合わせにも、共通の歌唱文字が対応付けられる。

複数のスイッチＳＷの組み合わせと歌唱文字との対応関係が、データベースとして例えば図１の記憶装置１３に記憶される。このデータベースを参照することにより、接触面２ａに接触する手の形に対応する歌唱文字を特定することができる。

第２の例として、操作されたスイッチＳＷの特徴量に基づいて、歌唱文字が特定される。特徴量として、例えば、操作されたスイッチＳＷの数が用いられる。手の広がりが大きいほど、操作されるスイッチＳＷの数が多い。そのため、操作されたスイッチＳＷの数に基づいて、手の広がりの程度を推定することができる。図８は、操作されるスイッチＳＷの数と、特定される歌唱文字との対応関係の例を示す図である。図８の例においても、手の広がりの程度が、特定される歌唱文字を発音するときの口の開きの程度と対応している。例えば、操作されたスイッチＳＷの数が２９以上と多い場合には、口の開きを大きくして発声される「ぱ」が特定され、操作されたスイッチＳＷの数が１以上７以下と少ない場合には、口の開きを小さくして発声される「ち」が特定される。また、操作されたスイッチＳＷの数と、破裂音および鼻音等の音の種類とが対応付けられてもよい。例えば、操作されたスイッチＳＷの数が多い場合には、破裂音を表す歌唱文字が特定され、操作されたスイッチＳＷの数が少ない場合には、破擦音を表す歌唱文字が特定される。

特徴量として、操作された複数のスイッチＳＷに割り当てられた識別番号の最小値（図４の例では“３３”）、最大値（図４の例では“９６”）または平均値が用いられてもよい。あるいは、特徴量として、各列において操作されたスイッチＳＷの数、または各行において操作されたスイッチＳＷの数等が用いられてもよい。

（４）音高の指定
本例では、上下方向における接触面２ａ上での手の位置に基づいて、音高が指定される。図９は、手の位置と指定される音高との関係について説明するための図である。図９（ａ）〜図９（ｃ）の例において、手の形は互いに同じである。一方、図９（ａ）の例と比べて、図９（ｂ）の例では手が上方に位置し、図９（ｃ）の例では手が下方に位置する。そのため、図９（ａ）の例では、音高が例えば“Ｃ３”に指定され、図９（ｂ）の例では、音高が例えば“Ｇ３”に指定され、図９（ｃ）の例では、音高が例えば“Ａ２”に指定される。“Ｃ”、“Ｇ”および“Ａ”は音名を表し、“２”および“３”はオクタープの高さを表す。この場合、手の位置の上下が音高の高低に対応する。

例えば、操作された複数のスイッチＳＷに割り当てられた識別番号の平均値が算出され、識別番号の平均値が大きいほど音高が低くなるように、算出された平均値に基づいて音高が指定される。ただし、手の形によって、操作されるスイッチＳＷの位置に偏りが生じる。例えば、図５（ｃ）の例では、操作されるスイッチＳＷが接触面２ａの下部に集中しやすいため、識別番号の平均値が大きくなりやすい。そのため、例えば手の形に応じた補正係数が、識別番号の平均値に乗算されることが好ましい。また、識別番号の平均値の代わりに、または識別番号の平均値に加えて、識別番号の最大値および最小値等が用いられてもよい。

このようにして、ユーザによるスイッチＳＷの操作に基づいて、歌唱文字が特定されるとともに音高が指定される。これらの歌唱文字および音高に基づいて声音データが合成される。合成された声音データに基づいて、特定された歌唱文字が指定された音高で声音として出力（発音）される。

（５）補助スイッチの操作
入力部２の補助スイッチＳＷａ（図２）の操作例について説明する。例えば、手の形と歌唱文字との対応関係が異なる複数の歌詞モードが用意され、その複数の歌詞モードが複数の補助スイッチＳＷａにそれぞれ割り当てられる。いずれかの補助スイッチＳＷａが操作されると、その補助スイッチＳＷａに割り当てられた歌詞モードで歌唱文字が特定される。歌詞モードが異なると、手の形が同じであっても、特定される歌唱文字が異なる。補助スイッチＳＷａが操作されない場合には、デフォルトの歌詞モードで歌唱文字が特定される。

図１０は、補助スイッチＳＷａの操作例について説明するための図である。図１０においては、５つの補助スイッチＳＷａにそれぞれ符号ＳＷａ１，ＳＷａ２，ＳＷａ３，ＳＷａ４，ＳＷａ５が付される。図１０（ａ）〜図１０（ｃ）の例では、接触面２ａに接触する手の形が共通である。図１０（ａ）の例では、補助スイッチＳＷａ１〜ＳＷａ５が操作されていないため、デフォルトの歌詞モードで歌唱文字が特定される。特定される歌唱文字は例えば「ぱ」である。図１０（ｂ）の例では、親指により補助スイッチＳＷａ２が操作される。そのため、補助スイッチＳＷａ２に割り当てられた歌詞モードで歌唱文字が特定される。特定される歌唱文字は例えば「た」である。図１０（ｃ）の例では、親指により補助スイッチＳＷａ３が操作される。そのため、補助スイッチＳＷａ３に割り当てられた歌詞モードで歌唱文字が特定される。特定される歌唱文字は例えば「だ」である。このように、複数の歌詞モードが用意されることにより、歌唱文字の選択の幅が広がる。それにより、高い自由度で歌詞を生成することができる。

補助スイッチＳＷａ１〜ＳＷａ５の操作によって、清音が濁音または半濁音に変換されてもよい。例えば、図１０（ａ）の例のように、補助スイッチＳＷａ１〜ＳＷａ５が操作されていない場合に、清音の歌唱文字（例えば「は」）が特定される。図１０（ｂ）の例のように、補助スイッチＳＷａ２が操作されると、歌唱文字が濁音（例えば「ば」）に変換される。また、図１０（ｃ）の例のように、補助スイッチＳＷａ３が操作されると、歌唱文字が半濁音（例えば「ぱ」）に変換される。

補助スイッチＳＷａ１〜ＳＷａ５の操作によって声音の出力にエフェクトが付与されてもよい。例えば、補助スイッチＳＷａ１〜ＳＷａ５のいずれかが操作されることにより、「ぱ−」という声音が「ぅぱ−」という声音に変換されてもよい。また、補助スイッチＳＷａ１〜ＳＷａ５の操作によって音の長さ（音価）が調整されてもよい。例えば、補助スイッチＳＷａ５にピアノのサステインペダルの機能が割り当てられる。この場合、補助スイッチＳＷａ５が押下されている期間は声音の出力が継続される。図１０の例では、共通の手（左手）によりスイッチＳＷおよび補助スイッチＳＷａ１〜ＳＷａ５がそれぞれ操作されるが、一方の手（例えば左手）によりスイッチＳＷが操作され、他方の手（例えば右手）により補助スイッチＳＷａ１〜ＳＷａ５が操作されてもよい。

（６）感圧センサ
図１１は、図２の入力部２の変形例を示す図である。図１１の入力部２が図２の例と異なる点は、各スイッチＳＷに感圧センサＰＳが設けられる点である。感圧センサＰＳは、ユーザの手から各スイッチＳＷに加わる圧力を検出する。感圧センサＰＳにより検出される圧力（以下、検出圧と呼ぶ。）を用いて、発音の強度（音量）および音色等を調整することができる。図１２は、検出圧の一例を示す図である。図１２においては、図４の操作例における各スイッチＳＷの検出圧が、各スイッチＳＷに重ねて示される。検出圧は、０以上１００以下の相対値で表される。

例えば、操作されたスイッチＳＷにおける検出圧の平均値が算出される。検出圧の平均値が大きいほど発音の強度が高くなるように、算出された平均値に基づいて発音の強度が調整される。例えば、検出圧が５０である場合に発音の強度が標準値に調整される。図１２の例では、検出圧の平均値が約３５．９であるので、発音の強度が標準値よりも低く調整される。また、操作された複数のスイッチＳＷにおける検出圧の偏りに基づいて、音色が調整されてもよい。例えば、最も大きな圧力が検出されたスイッチＳＷが特定され、そのスイッチＳＷの識別番号が小さいほど音色が明るくなるように、音色が調整される。図１２の例では、操作された複数のスイッチＳＷのうち、“７８”のスイッチＳＷにおける検出圧が８０であり、最も大きい。この場合、音色がやや暗く調整される。また、上下方向における検出圧の偏りおよび左右方向における検出圧の偏りに基づいて、２つの音色パラメータが調整してもよい。例えば、上下方向における検出圧の偏りに基づいて音色の明るさが調整され、左右方向における検出圧の偏りに基づいて歪みの大きさが調整されてもよい。また、検出圧の変化に応じて発音の強度および音色等が変化されてもよい。

スイッチＳＷが操作されているか否かの判定（オンオフ判定）は、感圧センサＰＳによる検出圧の積算値に基づいて行われることが好ましい。図１３は、スイッチＳＷのオンオフ判定について説明するための図である。図１３において、横軸は時間を表し、縦軸は検出圧を表す。図１３には、１つの感圧センサＰＳによる検出値の経時変化が示される。実線は、検出圧の瞬時値を表し、一点鎖線は、検出圧の積算値を表す。図１３の例では、検出圧の瞬時値が、時点ｔ１から時点ｔ２までの期間に徐々に上昇し、時点ｔ２から時点ｔ３までの期間に微小な上下変化を繰り返し、時点ｔ３から徐々に下降する。

検出圧の積算値に基づいてオンオフ判定が行われることが好ましい理由は次の通りである。例えば、瞬時値がしきい値より大きいか否かによってオンオフ判定が行われる場合、時点ｔ２から時点ｔ３までの期間のように、一定の範囲内で瞬時値が微小な上下変化を繰り返すことがある。このような瞬時値の微小な変化がしきい値付近で生じると、スイッチＳＷが断続的に操作されていると判定される可能性がある。声音の出力は、例えば、スイッチＳＷが操作されていると判定された時点で開始される。そのため、スイッチＳＷが断続的に操作されていると判定されると、声音が断続的に出力されることとなる。

一方、検出圧の積算値は、下降することなく継続的に上昇する。そこで、図１３の例では、検出圧の積算値のしきい値ＴＨが設定され、検出圧の積算値がしきい値ＴＨを超えると、スイッチＳＷが操作されていると判定される。これにより、スイッチＳＷのオンオフ判定を適切に行うことができる。したがって、声音の出力が適切に行われる。検出圧の積算値は、例えば瞬時値が予め定められた下限値よりも低くなると、リセットされる。

なお、ＬＰＦ（低域通過フィルタ）等によって高周波数成分が除去された瞬時値に基づいて、オンオフ判定が行われてもよい。この場合、瞬時値の微小変化によるオンオフ判定の不安定化を防止することができる。

（７）歌詞生成処理
図１４は、図３の各機能部による歌詞生成処理の一例を示すフローチャートである。図１４の歌詞生成処理は、図１のＣＰＵ１１がＲＯＭ１０または記憶装置１３に記憶された歌詞生成プログラムを実行することに行われる。

まず、検出部３１が、操作検出部３１ａによりスイッチＳＷの操作が検出されたか否かを判定する（ステップＳ１）。スイッチＳＷの操作が検出されるまで、検出部３１がステップＳ１を繰り返す。スイッチＳＷの操作が検出されると、検出部３１の形認識部３１ｂが、検出されたスイッチＳＷの操作に基づいて、接触面２ａに接触する手の形を認識する（ステップＳ２）。次に、特定部３２が、補助操作検出部３６により補助スイッチＳＷａの操作が検出されたか否かを判定する（ステップＳ３）。図１４の例では、補助スイッチＳＷａの操作によって歌詞モードが選択される。

補助スイッチＳＷａの操作が検出された場合、特定部３２は、操作された補助スイッチＳＷａに割り当てられた歌詞モードで、認識された手の形に対応する歌唱文字を特定する（ステップＳ４）。一方、補助スイッチＳＷａの操作が検出されない場合、特定部３２は、デフォルトの歌詞モードで、認識された手の形に対応する歌唱文字を特定する（ステップＳ５）。

次に、音高指定部３３が、ステップＳ１で検出されたスイッチＳＷの操作に基づいて、音高を指定する（ステップＳ６）。次に、合成部３４が、ステップＳ４またはステップＳ５で特定された歌唱文字、およびステップＳ６で指定された音高に基づいて、声音データを合成する（ステップＳ７）。合成部３４は、補助スイッチＳＷａの操作に基づいて、声音データにおける音価を調整してもよい。次に、出力制御部３５が、生成された声音データに基づく声音を出力する（ステップＳ８）。出力制御部３５は、補助スイッチＳＷａの操作に基づいて、出力される声音にエフェクトを付与してもよい。このようなステップＳ１〜Ｓ８の処理が繰り返される。

（８）実施の形態の効果
本実施の形態に係る歌詞生成装置１００においては、操作されたスイッチＳＷの位置および数に基づいてユーザの手の形が認識され、認識された手の形に対応する歌唱文字が特定される。そのため、ユーザは、操作する手の形を変化させることによって種々の歌唱文字を入力することができる。したがって、煩雑な操作を要することなく、本格的な歌詞を生成することが可能となる。

また、本実施の形態では、入力部２の接触面２ａに接触する手の位置に基づいて音高が指定される。これにより、ユーザは、接触面２ａに接触する手の位置を調整することにより、出力される声音の音高を容易に調整することができる。したがって、ユーザは、手の形および位置を連続的に変化させることにより、即興的に歌唱音を奏することが可能となる。

（９）他の操作例
（ａ）接触面２ａに接触する手の移動が検出されてもよい。図１５は、入力部２の他の操作例について説明するための図である。図１５の例では、ユーザの手が接触面２ａに接触しつつ左から右に移動する。この場合、ユーザの手が接触面２ａに接触した時点で操作されたスイッチＳＷの位置および数に基づいて、上記実施の形態と同様にして、歌唱文字の特定および音高の指定が行われる。ユーザの手が移動すると、操作されるスイッチＳＷが連続的に変化する。操作されるスイッチＳＷの変化に基づいて、ユーザの手の移動が検出される。例えば、上記の識別番号の平均値を連続的に算出し、算出された平均値の変化に基づいて、ユーザの手の移動を検出することができる。

手の移動の検出に基づいて、声音の出力が制御される。例えば、手の移動中には、特定された歌唱文字の子音のみが出力され、手の移動が停止されると、特定された歌唱文字の母音が出力される。「さ」等の摩擦音は、子音の出力時間が長くても違和感が生じにくく、このような制御に適している。

また、接触面２ａに接触するユーザの手の移動方向が検出されてもよい。この場合も、識別番号の平均値を用いることができる。検出された移動方向に基づいて、例えば音高が変化される。具体的には、ユーザの手が上に移動されると、音高が上昇され、ユーザの手が下に移動されると、音高が下降される。あるいは、ユーザの手の形およびユーザの手の移動方向に基づいて、歌唱文字が特定されてもよい。例えば、歌唱文字が日本語の五十音である場合、手の形に基づいて、「あ」行および「か」行等の行が特定され、手の移動方向に基づいて、「あ」段および「い」段等の段が特定されてもよい。

（ｂ）入力部２に近接センサが設けられ、ユーザの手に被検出体（例えば、指輪）が取り付けられてもよい。この場合、近接センサによる被検出体の検出に基づいて、声音の出力を制御することができる。例えば、スイッチＳＷの操作に基づいてユーザの手の形および位置が認識され、近接センサによる被検出体の検出に基づいて、ユーザの手における被検出体の相対位置が特定される。特定された被検出体の相対位置に基づいて、出力される声音の音色が制御される。被検出体が指輪である場合、近接センサによる指輪の検出に基づいて、指輪が嵌められた指を特定することができる。例えば、指毎に音色の明るさが対応付けられ、出力される声音の音色が、特定された指に対応付けられた明るさに調整される。近接センサによってユーザの手と入力部２の接触面２ａとの間の距離が検出され、検出された距離に基づいて、出力される声音にエフェクト（例えばビブラート）等が付与されてもよい。

（ｃ）入力部２の接触面２ａに右手が接触される場合と左手が接触される場合とで、異なる処理が行われてもよい。例えば、いずれの手が接触面２ａに接触されるかによって、手の形と特定される歌唱文字との対応関係が異なってもよく、出力される声音の音色が異なってもよい。右手が接触面２ａに接触される場合と、左手が接触面２ａに接触される場合とで、操作される複数のスイッチＳＷの相対位置は、略左右対称となる。そのため、操作されたスイッチＳＷの数および位置に基づいて、右手が接触面２ａに接触しているかあるいは左手が接触面２ａに接触しているかを判定することができる。

（１０）他の実施の形態
（ａ）上記実施の形態では、ユーザの手の形に基づいて歌唱文字が特定されるが、他の対象物の形に基づいて歌唱文字が特定されてもよい。他の対象物は、人体の他の部分（例えば口）であってもよく、または人体以外の他の物体であってもよい。

（ｂ）上記実施の形態では、複数のスイッチＳＷの操作に基づいてユーザの手の形が検出されるが、光学センサ等を用いてユーザの手の形が非接触で検出されてもよく、撮像装置を用いてユーザの手が撮像され、画像解析によってユーザの手の形が検出されてもよい。あるいは、入力部２の接触面２ａに、例えば静電容量方式のタッチパネルが用いられ、タッチパネルに接触するユーザの手の形が検出されてもよい。

（ｃ）上記実施の形態では、接触面２ａに接触する手の位置に基づいて各歌唱文字に対応する音高が指定されるが、ユーザが設定操作子４等を操作することにより音高が指定されてもよい。また、電子楽器等を用いて音高が指定されてもよい。あるいは、既存の楽曲の旋律データが用いられ、特定された歌唱文字が既存の楽曲の旋律に合わせて出力されてもよい。

（ｄ）図１の音声出力部１６は、歌詞生成装置１００に搭載されてもよく、歌詞生成装置１００の外部装置として設けられてもよい。歌詞生成装置１００は、電子音楽装置１に限らず、パーソナルコンピュータ、スマートデバイス（smart device）、ゲーム機器等の電子機器に適用されてもよい。

（１１）請求項の各構成要素と実施の形態の各部との対応
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることができる。

上記実施の形態では、歌詞生成装置１００が歌詞生成装置の例であり、検出部３１が検出手段の例であり、特定部３２が特定手段の例であり、形認識部３１ｂが形認識手段の例であり、音高指定部３３が音高指定手段の例であり、合成部３４が合成手段の例であり、スイッチＳＷが操作子の例である。

本発明は、歌詞の生成に用いられる種々の装置に有効に利用可能である。

１…電子音楽装置，２…入力部，２ａ…接触面，４…設定操作子，６…表示部，９…ＲＡＭ，１０…ＲＯＭ，１１…ＣＰＵ，１２…タイマ，１３…記憶装置，１６…音声出力部，１９…バス，３１…検出部，３１ａ…操作検出部，３１ｂ…形認識部，３２…特定部，３３…音高指定部，３４…合成部，３５…出力制御部，３６…補助操作検出部，１００…歌詞生成装置，ＳＷ…スイッチ，ＳＷａ…補助スイッチ

Claims (4)

1. 接触面に接触したユーザの手の形を認識する形認識手段と、
   歌詞を構成する歌唱文字のうち認識された手の形に対応する歌唱文字を特定する特定手段と、
   前記接触面に接触した手の位置に基づいて、音高を指定する音高指定手段と、
   特定された歌唱文字および指定された音高に対応する声音を合成する合成手段とを備える、歌詞生成装置。
2. 前記接触面は、２次元状に配置された複数の操作子を含み、
   前記形認識手段は、ユーザの手により操作された操作子の位置および数に基づいて手の形を認識する、請求項１記載の歌詞生成装置。
3. 接触面に接触したユーザの手の形を認識するステップと、
   歌詞を構成する歌唱文字のうち認識された手の形に対応する歌唱文字を特定するステップと、
   前記接触面に接触した手の位置に基づいて、音高を指定するステップと、
   特定された歌唱文字および指定された音高に対応する声音を合成するステップとを備える、歌詞生成方法。
4. 前記接触面は、２次元状に配置された複数の操作子を含み、
   前記形状を認識するステップは、ユーザの手により操作された操作子の位置および数に基づいて手の形を認識することを含む、請求項３記載の歌詞生成方法。

Images