WO2020045398A1 - 楽曲再生システム、楽曲再生システムの制御方法およびプログラム - Google Patents
楽曲再生システム、楽曲再生システムの制御方法およびプログラム Download PDFInfo
- Publication number
- WO2020045398A1 WO2020045398A1 PCT/JP2019/033447 JP2019033447W WO2020045398A1 WO 2020045398 A1 WO2020045398 A1 WO 2020045398A1 JP 2019033447 W JP2019033447 W JP 2019033447W WO 2020045398 A1 WO2020045398 A1 WO 2020045398A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- voice
- music
- input
- control unit
- reproduction
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/04—Sound-producing devices
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
楽曲再生システムは、入力音声が歌唱音声であるか歌唱音声以外の指示音声であるかを判別する判別部と、入力音声が歌唱音声であると判別された場合に、当該入力音声に対応する楽曲の再生に関する第1動作を、楽曲の再生を制御する再生制御部に対して指示し、入力音声が指示音声であると判別された場合に、当該入力音声が表す第2動作を再生制御部に対して指示する動作制御部とを具備する。
Description
本開示は、楽曲を再生する技術に関する。
利用者からの入力に応じて楽曲を再生する技術が従来から提案されている。例えば、特許文献1には、利用者がマイクに対して入力する音声に応じて動作するカラオケ装置が開示されている。利用者は、動作の内容を表す音声(例えば「エンソウオンヲオオキク」または「オンカイヲアゲル」等)をマイクに対して発話する。
特許文献1の技術では、利用者がカラオケ装置に動作を指示するための音声は、その動作を直接的に表す音声に限定される。以上の事情を考慮して、本開示は、音声入力の方法を多様化することを目的とする。
以上の課題を解決するために、本開示の好適な態様に係る楽曲再生システムは、入力音声が歌唱音声であるか歌唱音声以外の指示音声であるかを判別する判別部と、前記入力音声が歌唱音声であると判別された場合に、当該入力音声に対応する楽曲の再生に関する第1動作を、楽曲の再生を制御する再生制御部に対して指示し、前記入力音声が指示音声であると判別された場合に、当該入力音声が表す第2動作を前記再生制御部に対して指示する動作制御部とを具備する。
本開示の好適な態様に係る楽曲再生システムの制御方法は、入力音声が歌唱音声であるか歌唱音声以外の指示音声であるかを判別し、前記入力音声が歌唱音声であると判別された場合に、当該入力音声に対応する楽曲の再生に関する第1動作を、楽曲の再生を制御する再生制御部に対して指示し、前記入力音声が指示音声であると判別された場合に、当該入力音声が表す第2動作を前記再生制御部に対して指示する。
本開示の他の態様に係る楽曲再生の制御方法は、楽曲の再生を指示する第1入力音声に対応する楽曲名の提示の指示を再生制御部に付与し、当該提示された楽曲名の楽曲が所望の楽曲であることを表す第2入力音声を受け付けた場合に、前記第1入力音声に対応する楽曲を再生する動作を前記再生制御部に対して指示する。
本開示の他の態様に係る楽曲再生の制御方法は、入力音声が、楽曲の再生を制御する再生制御部による再生中の楽曲の歌唱音声であるか、当該再生制御部による再生中の楽曲以外の楽曲の歌唱音声であるかを判別し、前記入力音声が前記再生制御部による再生中の楽曲の歌唱音声であると判別された場合には、当該入力音声を評価する動作を歌唱評価部に対して指示し、前記入力音声が前記再生制御部による再生中の楽曲以外の楽曲の歌唱音声であると判別された場合には、当該入力音声に対応する楽曲を再生する動作を前記再生制御部に対して指示する。
本開示の好適な態様に係る楽曲再生システムの制御方法は、入力音声が歌唱音声であるか歌唱音声以外の指示音声であるかを判別し、前記入力音声が歌唱音声であると判別された場合に、当該入力音声に対応する楽曲の再生に関する第1動作を、楽曲の再生を制御する再生制御部に対して指示し、前記入力音声が指示音声であると判別された場合に、当該入力音声が表す第2動作を前記再生制御部に対して指示する。
本開示の他の態様に係る楽曲再生の制御方法は、楽曲の再生を指示する第1入力音声に対応する楽曲名の提示の指示を再生制御部に付与し、当該提示された楽曲名の楽曲が所望の楽曲であることを表す第2入力音声を受け付けた場合に、前記第1入力音声に対応する楽曲を再生する動作を前記再生制御部に対して指示する。
本開示の他の態様に係る楽曲再生の制御方法は、入力音声が、楽曲の再生を制御する再生制御部による再生中の楽曲の歌唱音声であるか、当該再生制御部による再生中の楽曲以外の楽曲の歌唱音声であるかを判別し、前記入力音声が前記再生制御部による再生中の楽曲の歌唱音声であると判別された場合には、当該入力音声を評価する動作を歌唱評価部に対して指示し、前記入力音声が前記再生制御部による再生中の楽曲以外の楽曲の歌唱音声であると判別された場合には、当該入力音声に対応する楽曲を再生する動作を前記再生制御部に対して指示する。
<第1実施形態>
図1は、第1実施形態に係る楽曲再生システム10の構成を例示するブロック図である。第1実施形態に係る楽曲再生システム10は、利用者Uの操作に応じて楽曲を再生するコンピュータシステムである。伴奏音を含む楽曲(すなわちカラオケ曲)が楽曲再生システム10により再生され、利用者Uが当該楽曲に合わせて歌唱する。例えば利用者Uが運転する自動車の車内に楽曲再生システム10が設置される。したがって、複数の操作子を利用した手入力により利用者Uが楽曲再生システム10に各種の動作を指示することが困難である。そこで、楽曲再生システム10は、利用者Uによる音声入力により動作の指示を受け付ける。すなわち、車の運転を妨げずに楽曲再生システム10の操作が可能になる。例えば携帯電話機およびスマートフォン等の情報端末が楽曲再生システム10として利用される。
図1は、第1実施形態に係る楽曲再生システム10の構成を例示するブロック図である。第1実施形態に係る楽曲再生システム10は、利用者Uの操作に応じて楽曲を再生するコンピュータシステムである。伴奏音を含む楽曲(すなわちカラオケ曲)が楽曲再生システム10により再生され、利用者Uが当該楽曲に合わせて歌唱する。例えば利用者Uが運転する自動車の車内に楽曲再生システム10が設置される。したがって、複数の操作子を利用した手入力により利用者Uが楽曲再生システム10に各種の動作を指示することが困難である。そこで、楽曲再生システム10は、利用者Uによる音声入力により動作の指示を受け付ける。すなわち、車の運転を妨げずに楽曲再生システム10の操作が可能になる。例えば携帯電話機およびスマートフォン等の情報端末が楽曲再生システム10として利用される。
図1に例示される通り、楽曲再生システム10は、収音装置11と制御装置12と記憶装置13と再生装置14とを具備する。収音装置11は、周囲の音を収音する音響機器(マイクロホン)である。第1実施形態の収音装置11は、利用者Uが発音する音声(すなわち入力音声V)を受け付ける。収音装置11が受け付けた入力音声Vにより楽曲再生システム10が動作する。具体的には、歌唱音声と歌唱音声以外の指示音声とが入力音声Vとして例示される。歌唱音声は、利用者Uが任意の楽曲を歌唱する音声である。複数の音符で構成される旋律を伴う音声が歌唱音声である。他方、指示音声は、旋律を伴わない音声である。具体的には、指示音声は、楽曲再生システム10に各種の動作を指示する音声である。例えば、楽曲の再生、停止、キーの変更、または、音量の変更等の動作を指示する指示音声が想定される。収音装置11は、利用者Uからの入力音声Vを受け付けて、当該入力音声Vの波形を表す音響信号Xを生成する。すなわち、歌唱音声または指示音声を表す音響信号Xが生成される。なお、実際には、歌唱音声および指示音声とは異なる音声(以下「発話音声」という)も収音装置11により収音される。発話音声は、例えば会話による音声などである。
制御装置12(コンピュータの例示)は、例えばCPU(Central Processing Unit)等の処理回路で構成され、楽曲再生システム10の各要素を統括的に制御する。制御装置12は、記憶装置13に記憶されたプログラムを実行することで複数の機能(判別部121、動作制御部123および再生制御部125)を実現する。なお、制御装置12の一部の機能を専用の電子回路で実現してもよい。また、制御装置12の機能を複数の装置に搭載してもよい。
記憶装置13は、制御装置12が実行するプログラムと、制御装置12が使用する各種のデータとを記憶する。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せが、記憶装置13として任意に採用される。図1に例示される通り、相異なる複数の楽曲をそれぞれ表す複数の楽曲データMと、動作テーブルとが記憶装置13に記憶される。例えばMIDI(Musical Instrument Digital Interface)規格に準拠した形式のファイル(SMF:Standard MIDI File)が楽曲データMとして好適である。なお、楽曲の演奏音の波形を表わすオーディオファイルを楽曲データMとして利用してもよい。第1実施形態の楽曲データMは、楽曲名と演奏データと参照データとを含む。演奏データは、複数の演奏パートの各々について音符列(演奏内容)を指定する時系列データである。参照データは、歌唱パートの音符列(ガイドメロディ)を指定する時系列データである。演奏データと参照データとは、同一の楽曲データM内の相異なるチャンネルのデータである。なお、楽曲再生システム10と通信可能なウェブサーバに複数の楽曲データMを記憶してもよい。
再生装置14は、制御装置12(再生制御部125)による制御のもとで、各種の楽曲を再生する再生機器である。具体的には、再生装置14は、記憶装置13に記憶される楽曲データMが表す楽曲を放音する放音装置(スピーカ)を含む。なお、再生装置14が表示装置を含んでもよい。
図2は、動作テーブルの模式図である。動作テーブルは、楽曲再生システム10の複数の相異なる動作が登録されたデータテーブルである。図2に例示される通り、各動作には、当該動作を表す文字列(以下「登録文字列」という)が対応付けられる。具体的には、利用者Uによる発音が想定される指示音声を表す文字列に対応(例えば類似または一致)する登録文字列が登録される。例えば楽曲の再生の停止を指示する指示音声(例えば文字列「停止して」を発音する指示音声)に対応する登録文字列「停止」が例示される。
図1の判別部121は、収音装置11が生成した音響信号Xから、利用者Uによる入力音声Vが歌唱音声であるか指示音声であるかを判別する。動作制御部123は、楽曲の再生に関する各種の動作(例えば楽曲の再生、停止またはキーの変更)を再生制御部125に対して指示する。第1実施形態の動作制御部123は、判別部121による判別結果に応じた動作を再生制御部125に指示する。
再生制御部125は、楽曲の再生を制御する。具体的には、再生制御部125は、動作制御部123からの指示を実行することで、楽曲を再生する再生装置14を制御する。第1実施形態の再生制御部125は、データ処理部と音源部とを具備する。データ処理部は、楽曲データMに含まれる演奏データに基づいて楽曲の各音符の発音または消音を指示する。音源部は、データ処理部からの指示に応じて楽曲の演奏音を表す音響信号を生成して再生装置14に供給する。再生装置14は、再生制御部125から供給される音響信号を再生する。
図3は、制御装置12が実行する処理を例示するフローチャートである。以下の説明では、楽曲が再生されていない状態(以下「待機状態」という)を前提として、音声入力により楽曲再生システム10に動作を指示する場合を想定する。第1実施形態では、利用者Uが所望する楽曲の再生を楽曲再生システム10に指示する。利用者Uは、所望する楽曲の歌唱音声、または、当該楽曲の再生を指示する指示音声を発音することで、楽曲の再生を指示することが可能である。楽曲名または楽曲を識別する識別情報(例えば番号)を含む文字列を発話する音声が指示音声として好適である。例えば楽曲「ABC」の再生を指示する場合には、当該楽曲「ABC」を歌唱する歌唱音声、または、例えば文字列「[ABC]を再生」を発音した指示音声が入力音声Vとして例示される。すなわち、第1実施形態では、歌唱音声および指示音声の各々は、利用者Uが所望する楽曲「ABC」を指定する音声であるとも換言できる。
例えば収音装置11が入力音声Vを受け付けると、図3の処理が実行される。図3の処理を開始すると、判別部121は、入力音声Vが歌唱音声であるか歌唱音声以外の音声(すなわち指示音声または発話音声)であるかを判別する(Sa1)。
図4は、ステップSa1の処理を例示するフローチャートである。判別部121は、記憶装置13に記憶された複数の参照データの各々について、当該参照データと音響信号Xとの類似の度合を表す指標(以下「類似指標」という)を算出する(Sa11)。例えば参照データが音符毎に指定するピッチと音響信号Xから検出される各ピッチとの類似の度合を表す指標が類似指標として利用される。例えば、参照データと音響信号Xとの音符毎のピッチの差分を音符列について合算した値が類似指標として利用される。音響信号Xのピッチの検出には、公知のピッチ検出技術が採用される。判別部121は、複数の参照データのそれぞれについて算出された複数の類似指標のうちの最大値が、所定の閾値を上回るか否かを判定する(Sa12)。判別部121は、当該最大値が所定の閾値を上回る場合(Sa12:YES)、入力音声Vが、当該最大値に対応する参照データが表す楽曲の歌唱音声であると判別する(Sa13)。すなわち、ステップSa13により、利用者Uが歌唱する楽曲の参照データが特定される。類似指標の算出には、動的時間伸縮法(DTW:Dynamic Time Warping)、鼻歌検索(Query by Singing/Humming)等の公知の技術が任意に採用される。なお、動的時間伸縮法により類似指標を算出する構成によれば、音響信号Xと参照データとのテンポおよびキーの相違も推定することが可能になる。
他方、判別部121は、当該最大値が所定の閾値を下回る場合(Sa12:NO)、入力音声Vが歌唱音声以外の音声であると判別する(Sa14)。以上の説明から理解される通り、ステップSa1では、入力音声Vが歌唱音声であるか否かが判別されるとともに、入力音声Vが歌唱音声であると判別された場合には当該入力音声Vに対応する楽曲(つまり利用者Uが歌唱している楽曲)が特定される。
動作制御部123は、入力音声Vが歌唱音声であると判別された場合(Sa1:YES)、再生制御部125に対して第1動作を指示する(Sa2)。第1動作は、入力音声V(歌唱音声)に対応する楽曲の再生に関する動作である。第1実施形態では、入力音声Vに対応する楽曲を再生する動作が第1動作として再生制御部125に指示される。具体的には、判別部121は、ステップSa13により特定された参照データが表す楽曲(すなわち入力音声Vが表す楽曲)を再生する第1動作を再生制御部125に指示する。第1実施形態の第1動作は、入力音声Vに対応する楽曲を当該入力音声Vに対応する位置から再生する動作である。例えば、楽曲のうち利用者Uが歌唱した部分の直後から当該楽曲を再生する第1動作が指示される。すなわち、利用者Uは、楽曲の再生を指示するための歌唱音声に連続して当該楽曲を歌唱することができる。
再生制御部125は、第1動作を実行する(Sa3)。具体的には、再生制御部125は、入力音声Vに対応する楽曲を再生装置14に再生させる。具体的には、再生制御部125は、入力音声Vに対応する楽曲を当該入力音声Vに対応する位置から再生装置14に再生させる。具体的には、再生制御部125は、入力音声Vに対応する楽曲の演奏データに応じた音響信号を、当該入力音声Vに対応する部分から時系列に再生装置14に供給する。以上の説明から理解される通り、利用者Uが歌唱音声を発音した場合には、入力音声Vに対応する楽曲が特定され、当該楽曲が再生される。なお、前述の通り、動的時間伸縮法により入力音声Vに対応する楽曲を特定する構成によれば、音響信号Xと参照データとのテンポおよびキーの相違の推定が可能であるので、入力音声Vに応じたテンポおよびキーで楽曲を再生することが可能になる。
他方、判別部121は、入力音声Vが歌唱音声以外の音声であると判別された場合(Sa1:NO)、入力音声Vが指示音声であるか指示音声以外の音声(すなわち発話音声)であるかを判別する(Sa4)。具体的には、判別部121は、入力音声Vを表す文字列(以下「入力文字列」という)に類似する登録文字列が動作テーブルに登録されている場合には、入力音声Vが指示音声であると判別し、入力文字列に類似する登録文字列が動作テーブルに登録されていない場合には、入力音声Vが指示音声以外の音声であると判別する。入力文字列と登録文字列との対比には、例えば編集距離等の公知の技術が任意に採用される。入力文字列は、例えば音響信号Xに対する音声認識により特定される。例えば、入力文字列「[ABC]を再生」が特定された場合には、図2の動作テーブルの登録文字列「[楽曲名]を再生」が特定される。また、入力文字列の[楽曲名]に対応する参照データが特定される。例えば形態素解析等の自然言語処理を入力文字列に対して実行することで固有名詞(例えば[ABC])を抽出し、当該固有名詞と楽曲データMの楽曲名との対比により、再生対象の楽曲が特定される。具体的には、複数の楽曲データMの楽曲名のうち、入力文字列から抽出された固有名詞に類似する楽曲名がある場合には、当該楽曲名に対応する演奏データが特定される。なお、入力文字列の[楽曲名]に対応する演奏データが存在しない場合には、例えば[楽曲名]に対応する演奏データが存在しないことを利用者Uに知らせてもよい。例えば文字列「[楽曲名]はありません。」を表す音声または画像が再生される。以上の説明から理解される通り、ステップSa4では、入力音声Vが指示音声であると判別された場合には、当該入力音声Vが表す楽曲の演奏データも特定される。なお、動作テーブルは、楽曲再生システム10と通信可能なサーバ装置に記憶してもよい。以上の構成では、楽曲再生システム10が入力音声Vまたは入力文字列をサーバ装置に送信し、サーバ装置で入力音声Vが指示音声であるか否かの判別がされる。
動作制御部123は、入力音声Vが指示音声であると判定された場合(Sa4:YES)、当該入力音声Vが表す第2動作を再生制御部125に対して指示する(Sa5)。動作テーブルの複数の動作のうち、入力文字列に類似する登録文字列に対応する動作が第2動作として指示される。すなわち、入力音声V(指示音声)で指定された楽曲「ABC」を再生する第2動作が指示される。第1実施形態の第2動作は、指示音声で指定された楽曲を先頭から再生する動作である。すなわち、第1動作は、歌唱音声による指示に基づく動作であるのに対して、第2動作は指示音声に基づく動作である。第1実施形態では、第1動作と第2動作とは相異なる動作である。再生制御部125は、第2動作を実行する(Sa6)。第1実施形態の再生制御部125は、指示音声で指定された楽曲を再生装置14に再生させる。具体的には、再生制御部125は、指示音声で指定された楽曲に対応する演奏データに応じた音響信号を先頭から再生装置14に供給する。具体的には、ステップSa4で特定された演奏データが表わす楽曲が再生される。なお、再生制御部125は、演奏データおよび参照データに応じた音響信号を再生装置14に供給してもよい。以上の説明から理解される通り、利用者Uが指示音声を発音した場合には、当該指示音声が指定する楽曲が特定され、当該楽曲が再生される。
他方、動作制御部123は、入力音声Vが指示音声以外の音声(すなわち会話音等の発話音声)であると判定された場合(Sa4:NO)、再生制御部125に対して何も指示しない(Sa7)。以上の説明から理解される通り、ステップSa1とステップSa4とで、入力音声Vが歌唱音声であるか指示音声であるかが判別される。また、ステップSa1-Sa3の処理と、ステップSa4-Sa6の処理との順番は逆でもよいし、双方の処理が並行して実行されてもよい。
以上の説明から理解される通り、第1実施形態では、入力音声Vが歌唱音声であると判別された場合には、入力音声Vに対応する楽曲の再生に関する第1動作が再生制御部125に指示される。一方で、入力音声Vが指示音声であると判別された場合には、当該入力音声Vが表す第2動作が再生制御部125に指示される。すなわち、歌唱音声および指示音声による多様な音声入力が可能である。また、第1実施形態では、第1動作と第2動作とが相異なる動作であるから、入力音声Vの種類(歌唱音声/指示音声)を適宜に変更することで、所望する動作を再生制御部125に指示することが可能である。具体的には、歌唱音声が入力された場合には、当該歌唱音声(入力音声V)に対応する楽曲を当該歌唱音声に対応する位置から再生する第1動作が指示され、楽曲の再生を指示する指示音声が入力された場合には、当該指示音声(入力音声V)に対応する楽曲を先頭から再生する第2動作が指示される。
<第2実施形態>
本開示の第2実施形態を説明する。なお、以下の各例示において機能が第1実施形態と同様である要素については、第1実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
本開示の第2実施形態を説明する。なお、以下の各例示において機能が第1実施形態と同様である要素については、第1実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
第1実施形態では、楽曲が再生されていない待機状態を前提としたが、第2実施形態では、既に楽曲が再生されている状態(以下「再生状態」という)を前提として、音声入力により楽曲再生システム10に動作を指示する場面を想定する。
図5は、第2実施形態に係る楽曲再生システム10の構成図である。図5に例示される通り、第2実施形態の楽曲再生システム10は、第1実施形態の楽曲再生システム10に、歌唱評価部127を追加した構成である。収音装置11は、第1実施形態と同様に、利用者Uからの入力音声Vを受け付ける。判別部121は、第1実施形態と同様に、利用者Uによる入力音声Vが歌唱音声であるか指示音声であるかを判別する。
また、第2実施形態の判別部121は、入力音声Vが、再生制御部125による再生中の楽曲の歌唱音声であるか、再生制御部125による再生中の楽曲以外の歌唱音声であるかを判別する。歌唱評価部127は、利用者Uの歌唱音声を評価する。具体的には、歌唱評価部127は、利用者Uの歌唱音声と、当該歌唱音声(入力音声V)に対応する楽曲の参照データとを比較することで、歌唱音声に対する評価を表す評価値(例えば得点)を生成する。評価値の生成には、公知の任意の技術が採用される。歌唱評価部127より生成された評価値は、例えば再生装置14により再生(放音または表示)される。
図6は、第2実施形態に係る制御装置12が実行する処理を例示するフローチャートである。例えば収音装置11が入力音声Vを受け付けると、図6の処理が実行される。図6のフローチャートは、図3で例示したステップSa1-Sa7の処理に加えて、ステップSa8-Sa10の処理を実行する。
図6の処理が開始されると、判別部121は、入力音声Vが歌唱音声であるか歌唱音声以外の音声であるかを判別する(Sa1)。第1実施形態と同様に、複数の参照データについて算定された類似指標の最大値と閾値との対比により、入力音声Vが歌唱音声であるか否かが判別される。
判別部121は、入力音声Vが歌唱音声であると判別された場合(Sa1:YES)、当該入力音声Vが、再生制御部125による再生中の楽曲の歌唱音声であるか、再生制御部125による再生中の楽曲以外の楽曲の歌唱音声であるかを判別する(Sa8)。具体的には、図4のステップSa13で特定された参照データ(すなわち、類似指標が最大値であり、かつ、当該最大値が閾値を超える参照データ)の楽曲が再生されている場合には、入力音声Vが再生中の楽曲の歌唱音声であると判別される。他方、図4のステップSa13で特定された参照データの楽曲が再生されていない場合には、入力音声Vが再生中の楽曲以外の楽曲の歌唱音声であると判別される。
動作制御部123は、入力音声Vが再生中の楽曲の歌唱音声であると判別された場合(Sa8:YES)、当該入力音声Vを評価する第3動作を歌唱評価部127に対して指示する(Sa9)。歌唱評価部127は、第3動作を実行する(Sa10)。具体的には、歌唱音声の評価値が生成される。他方、動作制御部123は、入力音声Vが再生中の楽曲以外の歌唱音声であると判別された場合(Sa8:NO)、第1動作を再生制御部125に対して指示する(Sa2)。第1動作は、第1実施形態と同様に、入力音声Vに対応する楽曲を再生する動作である。ただし、第2実施形態では、入力音声Vに対応する楽曲を再生中の楽曲の後に再生(すなわち予約再生)する動作を第1動作として例示する。なお、再生中の楽曲を停止して当該入力音声Vに対応する楽曲を再生(すなわち即時再生)する第1動作を指示してもよい。再生制御部125は、第1動作を実行する(Sa3)。第2実施形態の再生制御部125は、入力音声Vに対応する楽曲を再生中の楽曲の後に再生装置14に再生させる。
他方、判別部121は、第1実施形態と同様に、入力音声Vが歌唱音声以外の音声であると判別された場合(Sa1:NO)、入力音声Vが指示音声であるか指示音声以外の音声であるかを判別する(Sa4)。動作制御部123は、第1実施形態と同様に、入力音声Vが指示音声であると判定された場合(Sa4:YES)、当該入力音声Vが表す第2動作を再生制御部125に対して指示する(Sa5)。図2に例示される通り、例えば、再生中の楽曲を停止する動作、キーを変更する動作、または、音量を大きくする動作等の各種の動作が第2動作として例示される。なお、所望の楽曲の再生を指示する指示音声を利用者Uが発音した場合には、当該指示音声が指定する楽曲を再生(予約再生または即時再生)する第2動作が指示される。
再生制御部125は、第1実施形態と同様に、第2動作を実行する(Sa6)。例えば、楽曲の再生を停止する第2動作が指示された場合には、楽曲の再生を停止させる。他方、動作制御部123は、入力音声Vが指示音声以外の音声であると判定された場合(Sa4:NO)、再生制御部125に対して指示しない(Sa7)。
第2実施形態においても第1実施形態と同様の効果が実現される。第2実施形態では、入力音声Vが再生中の楽曲の歌唱音声である場合には、当該入力音声を評価する第3動作が歌唱評価部127に指示され、入力音声Vが再生中の楽曲以外の歌唱音声である場合には、当該入力音声Vに対応する楽曲を再生する第1動作が再生制御部125に指示される。したがって、入力音声Vが再生中の楽曲の歌唱音声であるか否かに応じて、第1動作と第3動作との指示を変更することができる。なお、第2実施形態においても、待機状態では、第1実施形態で例示した処理が実行される。
第1実施形態および第2実施形態で説明した通り、入力音声V(歌唱音声)に対応する楽曲の再生に関する第1動作は、例えば入力音声Vに対応する楽曲を再生(即時再生/予約再生)する動作である。また、入力音声V(指示音声)が表す第2動作は、例えば、当該入力音声Vで指定される楽曲を再生(即時再生/予約再生)する動作、または、再生中の楽曲を制御(例えばキー、音量または再生速度の変更)する動作である。ただし、第1動作と第2動作との内容は、以上の例示に限定されない。また、待機状態と再生状態とで共通の楽曲を歌唱する歌唱音声を受け付けた場合に、待機状態と再生状態とで相異なる第1動作を指示する構成が好適である。待機状態では、入力音声Vに対応する楽曲を再生する第1動作が指示され、再生状態では、入力音声Vを評価する第3動作が指示される。ただし、待機状態と再生状態とで、共通の動作(例えば楽曲を再生する第1動作)が共通に指示されてもよい。
<第3実施形態>
第1実施形態では、楽曲再生システム10の機能を単体の端末装置で実現したが、第3実施形態では、楽曲再生システム10の機能を複数の装置で実現する。図7は、第3実施形態に係る楽曲再生システム10の構成を例示するブロック図である。図7に例示される通り、第3実施形態の楽曲再生システム10は、端末装置20と端末装置30と処理装置40とを具備する。
第1実施形態では、楽曲再生システム10の機能を単体の端末装置で実現したが、第3実施形態では、楽曲再生システム10の機能を複数の装置で実現する。図7は、第3実施形態に係る楽曲再生システム10の構成を例示するブロック図である。図7に例示される通り、第3実施形態の楽曲再生システム10は、端末装置20と端末装置30と処理装置40とを具備する。
処理装置40は、利用者Uが所望する楽曲を再生する再生機器である。例えば車内に搭載されるカーナビゲーション機器またはカーオーディオ機器等が処理装置40として好適である。利用者Uは、端末装置20および端末装置30に対する音声入力により処理装置40に対して動作の指示が可能である。端末装置20および端末装置30は、利用者Uからの入力音声Vを共通に受け付けて、当該入力音声Vに応じた指示を処理装置40に送信する情報端末である。処理装置40が搭載された車内に、端末装置20および端末装置30が設置される。端末装置20は、歌唱音声を受け付けて第1動作の指示P1を処理装置40に送信する。例えば携帯電話機およびスマートフォン等の情報端末が端末装置20として好適である。他方、端末装置30は、指示音声を受け付けて第2動作の指示P2を処理装置40に送信する。例えば、スマートスピーカ等の音声対話装置が端末装置30として好適である。端末装置20および端末装置30の各々は、処理装置40と有線または無線により通信可能である。
図8は、端末装置20の構成を例示するブロック図である。図8に例示される通り、端末装置20は、収音装置21と通信装置22と制御装置23と記憶装置24とを具備する。収音装置21は、周囲の音を収音する音響機器(マイクロホン)である。具体的には、収音装置21は、利用者Uからの入力音声Vを受け付けて、当該入力音声Vを表す音響信号Xを生成する。
制御装置23(コンピュータの例示)は、例えばCPU等の処理回路で構成され、楽曲再生システム10の各要素を統括的に制御する。制御装置23は、記憶装置24に記憶されたプログラムを実行することで複数の機能(第1処理部231および第1動作制御部233)を実現する。なお、制御装置23の一部の機能を専用の電子回路で実現してもよい。また、制御装置23の機能を複数の装置に搭載してもよい。
記憶装置24は、制御装置23が実行するプログラムと、制御装置23が使用する各種のデータとを記憶する。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せが、記憶装置24として任意に採用され得る。図8に例示される通り、第3実施形態の記憶装置24は、相異なる複数の楽曲にそれぞれ対応する複数の参照データを記憶する。
第1処理部231は、収音装置21が生成した音響信号Xから、利用者Uによる入力音声Vが歌唱音声であるか歌唱音声以外の音声(すなわち指示音声または発話音声)であるかを判別する。図3で例示したステップSa1(図4のSa11-Sa14)と同様の処理で、入力音声Vが歌唱音声であるか否かが判別される。具体的には、記憶装置24に記憶された複数の参照データの各々と音響信号Xとの間で算出された類似指標が、入力音声Vが歌唱音声であるか否かの判別に利用される。
第1動作制御部233は、入力音声Vが歌唱音声であると判別された場合に、第1動作の指示P1を通信装置22から処理装置40に対して送信させる。第1動作の指示P1は、例えば、第1実施形態と同様に、入力音声Vに対応する楽曲を再生する動作である。通信装置22は、第1動作制御部233の制御のもとで、第1動作の指示P1を処理装置40に送信する。なお、入力音声Vが歌唱音声でないと判別(つまり歌唱音声以外の音声であると判別)された場合には、第1動作の指示P1は送信されない。処理装置40は、端末装置20から送信された指示P1を受信する。
図9は、端末装置30の構成を例示するブロック図である。図9に例示される通り、端末装置30は、収音装置31と通信装置32と制御装置33と記憶装置34とを具備する。収音装置31は、周囲の音を収音する音響機器(マイクロホン)である。具体的には、収音装置31は、端末装置20の収音装置21と同様に、利用者Uからの入力音声Vを受け付けて、当該入力音声Vを表す音響信号Xを生成する。
制御装置33(コンピュータの例示)は、例えばCPU等の処理回路で構成され、楽曲再生システム10の各要素を統括的に制御する。制御装置33は、記憶装置34に記憶されたプログラムを実行することで複数の機能(第2処理部331および第2動作制御部333)を実現する。なお、制御装置33の一部の機能を専用の電子回路で実現してもよい。また、制御装置33の機能を複数の装置に搭載してもよい。
記憶装置34は、制御装置33が実行するプログラムと、制御装置33が使用する各種のデータとを記憶する。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せが、記憶装置34として任意に採用され得る。図9に例示される通り、第3実施形態の記憶装置34は、第1実施形態と同様の動作テーブルと、複数の楽曲データMにそれぞれ対応する複数の楽曲名とを記憶する。
第2処理部331は、収音装置31が生成した音響信号Xから、利用者Uによる入力音声Vが指示音声であるか指示音声以外の音声(すなわち歌唱音声または発話音声)であるかを判別する。入力音声Vが指示音声であるか否かの判別には、第1実施形態と同様に、動作テーブルが利用される。また、指示音声が楽曲の再生を指示する場合には、記憶装置34に記憶された複数の楽曲名のうち、指示音声が指定する楽曲名が特定される。楽曲名の特定には、第1実施形態と同様に、入力文字列に対する形態素解析等の自然言語処理が利用される。なお、第2処理部331での処理と第1処理部231での処理は、並行して実行される。
第2動作制御部333は、入力音声Vが指示音声であると判別された場合に、第2動作の指示P2を通信装置32から処理装置40に対して送信させる。第2動作は、例えば、第1実施形態と同様に、指示音声が指定する楽曲を再生する動作である。具体的には、第2処理部331が特定した楽曲名に対応する演奏データを再生する第2動作の指示P2が送信される。通信装置32は、第2動作制御部333の制御のもとで、第2動作の指示P2を処理装置40に送信する。なお、入力音声Vが指示音声でないと判別(つまり指示音声以外の音声であると判別)された場合には、第2動作の指示P2は送信されない。処理装置40は、端末装置30から送信された第2動作の指示P2を受信する。
図10は、処理装置40の構成を例示するブロック図である。図10に例示される通り、処理装置40は、再生装置41と通信装置42と制御装置43と記憶装置44とを具備する。制御装置43(コンピュータの例示)は、例えばCPU等の処理回路で構成され、楽曲再生システム10の各要素を統括的に制御する。制御装置43は、記憶装置44に記憶されたプログラムを実行することで再生制御部431を実現する。なお、制御装置43の一部の機能を専用の電子回路で実現してもよい。また、制御装置43の機能を複数の装置に搭載してもよい。
記憶装置44は、制御装置43が実行するプログラムと、制御装置43が使用する各種のデータとを記憶する。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せが、記憶装置44として任意に採用され得る。図10に例示される通り、第3実施形態の記憶装置44は、第1実施形態と同様に、複数の楽曲データMを記憶する。
再生装置41は、制御装置43の指示のもとで楽曲を再生する再生機器である。通信装置42は、端末装置20から第1動作の指示P1を受信する。また、端末装置30から第2動作の指示P2を受信する。
再生制御部431は、通信装置42が受信した指示P1または指示P2を実行することで、再生装置41を制御する。すなわち、再生制御部431は、端末装置20の第1動作制御部233から指示された第1動作、または、端末装置30の第2動作制御部333から指示された第2動作を実行する。第3実施形態の再生制御部431は、第1実施形態と同様のデータ処理部と音源部とを含み、第1動作制御部233または第2動作制御部333の指示に応じて演奏データから生成した音響信号を、再生装置41に供給する。再生装置41は、再生制御部431から供給された音響信号に応じた楽曲を再生する。
以上の説明から理解される通り、端末装置20の第1処理部231と端末装置30の第2処理部331とで、入力音声Vが歌唱音声であるか歌唱音声以外の指示音声であるかを判別する判別部として機能する。すなわち、判別部の機能を複数の装置で実現してもよい。また、端末装置20の第1動作制御部233と端末装置30の第2動作制御部333とは、入力音声Vが歌唱音声であると判別された場合に、当該入力音声Vに対応する楽曲の再生に関する第1動作を再生制御部431に対して指示し、入力音声Vが指示音声であると判別された場合に、当該入力音声Vが表す第2動作を再生制御部431に対して指示する動作制御部として機能する。すなわち、動作制御部の機能を複数の装置で実現してもよい。
以上の説明から理解される通り、楽曲再生システム10の機能を単一の装置で実現するか、複数の装置で実現するかは任意である。なお、複数の装置で実現する構成は、第3実施形態で例示した構成に限定されない。例えば、端末装置20の第1処理部231および第1動作制御部233を、端末装置20と通信可能なサーバ装置に搭載してもよい。具体的には、端末装置20は、収音装置21が生成した音響信号Xをサーバ装置に送信する。サーバ装置は、端末装置20から受信した音響信号Xから第1動作を特定して、当該第1動作の指示P1を端末装置20に送信する。そして、端末装置20は、サーバ装置から送信された第1動作の指示P1を処理装置40に送信する。また、端末装置30の第2処理部331および第2動作制御部333の何れか一方をサーバ装置に搭載してもよい。なお、第3実施形態の構成を第2実施形態に適用してもよい。
<変形例>
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された複数の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された複数の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
(1)前述の各形態では、楽曲再生システム10の収音装置が入力音声Vを受け付けたが、楽曲再生システム10とは別個の収音装置を入力音声Vの受け付けに利用してもよい。例えば、車内に設置された収音装置、または、着脱可能な収音装置が入力音声Vの受け付けに利用される。以上の説明から理解される通り、楽曲再生システム10と収音装置との一体/別体は任意である。
(2)前述の各形態では、演奏データおよび参照データを含む楽曲データMを例示したが、楽曲名、演奏データおよび参照データとは異なるデータを楽曲データMが含んでもよい。例えば、歌詞を表す歌詞データを楽曲データMが含んでもよい。例えば歌詞の提示に歌詞データが利用される。例えば表示により歌詞を提示してもよいし、歌詞を表す音響を放音することで歌詞を提示してもよい。
(3)前述の各形態において、入力音声Vが歌唱音声であるか指示音声であるかを判別する具体的な処理の方法は任意である。例えば、歌詞データが楽曲データMに含まれる場合には、入力音声Vが表す文字列を音声認識により特定して、当該文字列と各楽曲データMの歌詞データとを比較することで入力音声Vが歌唱音声であるか否かを判別してもよい。また、入力音声Vに対する音声認識、または、機械学習により得られたニューラルネットワーク等の学習済モデル(人工知能)等の公知の技術を利用して入力音声Vが指示音声であるか否かを判別してもよい。以上の構成では、指示音声が表す指示の内容も特定される。以上の説明から理解される通り、入力音声Vが指示音声であるか否かの判別に動作テーブルは必須ではない。
(4)前述の各形態において、楽曲を再生する第1動作または第2動作の指示により楽曲を再生する前に、当該楽曲を利用者Uに提示する処理(以下「楽曲提示処理」という)を楽曲再生システム100が実行してもよい。楽曲提示処理では、例えば楽曲名を利用者Uに提示する。図11は、楽曲提示処理のフローチャートである。楽曲の再生を指示する入力音声V(以下「第1入力音声」という)を収音装置11が受け付けると、図11の処理が開始される。第1入力音声は、歌唱音声でも指示音声でもよい。例えば楽曲「ABC」の再生を指示する場合には、当該楽曲「ABC」を歌唱する歌唱音声、または、例えば文字列「[ABC]を再生」を発音した指示音声が第1入力音声として例示される。
制御装置12は、第1入力音声に対応する楽曲名を特定する(Sb1)。すなわち第1入力音声により再生の指示がされた楽曲の楽曲名が特定される。動作制御部123は、第1入力音声に対応する楽曲名の提示の指示を再生制御部125に付与する(Sb2)。再生装置14は、再生制御部125の指示により楽曲名を提示する。例えば、楽曲名を表す音(例えば「[楽曲名]ですか?」を表す音)が再生装置14により放音される。なお、楽曲名を表す文字列を再生装置14により表示してもよい。
利用者Uは、再生装置14により再生された楽曲名の楽曲が所望の楽曲である場合には、当該楽曲名の楽曲が所望の楽曲であることを表す入力音声V(以下「第2入力音声」という)を発音する。第2入力音声は、例えば「はい」を発話した音声である。なお、利用者Uは、再生装置14により再生された楽曲名の楽曲が所望の楽曲でない場合には、当該楽曲名の楽曲が所望の楽曲でないことを表す音声(例えば「いいえ」を発話した音声)を発音する。
制御装置12は、収音装置11が第2入力音声を受け付けたか否かを判定する(Sb3)。第2入力音声を受け付けたと判定された場合(Sb3:YES)、動作制御部123は、第1入力音声に対応する楽曲を再生する動作を再生制御部125に対して指示する(Sb4)。すなわち、再生装置14により再生された楽曲名の楽曲が再生される。
他方、第2入力音声以外の入力音声Vを受け付けたと判定された場合(Sb3:NO)、第1入力音声に対応する楽曲は再生されない。なお、楽曲再生システム10は、所望しない楽曲であることを表す入力V音声を受け付けた場合、再生する楽曲を特定しなおしてもよい。以上の説明から理解される通り、楽曲提示処理では、第1入力音声により特定された楽曲が所望する楽曲であるか否かを、楽曲の再生の前に利用者Uが確認できるという利点がある。
(5)前述の各形態では、楽曲再生システム10を車内で利用したが、楽曲再生システム10を利用する場所は任意である。
(6)前述の各形態では、楽曲再生システム10はカラオケ曲を再生したが、楽曲再生システム10が再生する楽曲は以上の例示に限定されない。例えば、歌唱者による歌声を含む楽曲を再生してもよい。
(7)前述の各形態の楽曲再生システム10は、複数の利用者Uでも利用される。複数の利用者Uにより利用される場合、収音装置は、複数の利用者Uのそれぞれが発音する複数の音声を含む入力音声Vを受け付ける。楽曲再生システム10は、当該入力音声Vから各利用者Uの音声を分離し、当該分離後の各音声について歌唱音声であるか指示音声であるか判別する。すなわち、複数の利用者Uが同時に発音する場合でも、各利用者Uが発話した音声に対応する動作を楽曲再生システム10に指示することが可能である。
(8)第1実施形態では、第1動作と第1動作とは異なる第2動作と例示したが、第1動作と第2動作とが同じ動作であってもよい。ただし、第1動作と第2動作とが相異なる動作である構成によれば、利用者Uは入力音声Vの種類(歌唱音声/指示音声)を適宜に変更することで、所望する動作を再生制御部125に指示することが可能である。
(9)前述の各形態では、入力音声Vに対応する楽曲を再生する動作を第1動作として例示したが、第1動作の内容は以上の例示に限定されない。例えば、入力音声V(歌唱音声)に応じて再生態様を変更する動作を第1動作としてもよい。例えば入力音声Vのテンポに応じて、再生中の楽曲または再生を開始させる楽曲のテンポを変更する第1動作、または、入力音声Vのキーに応じて、再生中の楽曲または再生を開始させる楽曲のキーを変更する第1動作が好適である。
(10)第1実施形態では、楽曲のうち利用者Uが歌唱した部分の直後から当該楽曲を再生する動作を、入力音声Vに対応する位置から再生する第1動作として例示したが、入力音声Vに対応する位置から再生する第1動作は以上の例示に限定されない。例えば、入力音声Vに対応する楽曲を区分した複数の区間(以下「単位区間」という)のうち、当該入力音声Vが表す部分を含む単位区間の先頭から、当該楽曲を再生する動作を第1動作とする構成も採用される。以上の構成において、楽曲データMは、単位区間を画定するための区間データを含む。区間データは、各単位区間の始点および終点を規定する。単位区間は、例えば、音楽的な表情のまとまりであるフレーズ、または、Aメロ、Bメロおよびサビ等の構造区間である。なお、単位区間は以上の例示に限定されない。複数の単位区間のうち入力音声Vが表す部分を含む単位区間は、公知の楽曲解析技術により特定される。以上の構成では、複数の単位区間のうち入力音声Vが表す部分を含む単位区間の先頭から、当該楽曲が再生されるから、利用者は、楽曲のうち入力音声Vに対応する部分から当該楽曲を歌唱することができる。
また、入力音声Vに対応する楽曲を区分した複数の単位区間のうち、当該入力音声Vが表す部分を含む単位区間の直前または直後の単位区間の先頭から、当該楽曲を再生する動作を第1動作としてもよい。なお、楽曲の先頭から再生させる第1動作も好適である。以上の説明から理解される通り、第1動作では、入力音声V(歌唱音声)に対応する楽曲を再生させる位置は可変に設定される。
(11)第2実施形態では、入力音声Vが歌唱音声であるか指示音声であるかを判別する構成を前提として、入力音声Vが歌唱音声である場合に、当該入力音声Vが再生中の楽曲の歌唱音声であるか否かを判別した。ただし、第2実施形態において、入力音声Vが歌唱音声であるか指示音声であるかを判別する構成を前提せずに、入力音声Vが再生中の楽曲の歌唱音声であるか否かを判別してもよい。すなわち、入力音声Vが、再生制御部125による再生中の楽曲の歌唱音声であるか、再生制御部125による再生中の楽曲以外の楽曲の歌唱音声であるかを判別し、当該入力音声Vが再生制御部125による再生中の楽曲の歌唱音声であると判別された場合には、第3動作を歌唱評価部127に対して指示し、当該入力音声Vが再生制御部125による再生中の楽曲以外の楽曲の歌唱音声であると判別された場合には、第1動作を再生制御部125に対して指示する構成は、入力音声Vが歌唱音声であるか指示音声であるかを判別する構成とは独立して成立する。
(12)第3実施形態では、端末装置20と端末装置30とが独立して処理を実行したが、端末装置20と端末装置30とが連動して処理を実行してもよい。例えば端末装置30は、利用者Uによる入力音声Vが指示音声以外の音声であると判別した場合に、端末装置20に対して入力音声Vが歌唱音声であるか否かを判別する指示を送信してもよい。端末装置20は、端末装置30からの指示を受信すると、入力音声Vが歌唱音声であるか否かの判別をする。
(13)前述の各形態において、例えば歌唱音声または指示音声を受け付けた場合に、楽曲再生システム10を起動する構成も好適である。
(14)前述の各形態に係る楽曲再生システム10の機能は、各形態での例示の通り、CPU等の処理回路とプログラムとの協働により実現される。前述の各形態に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性(non-transitory)の記録媒体であり、CD-ROM等の光学式記録媒体(光ディスク)が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号(transitory, propagating signal)を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、通信網を介した配信の形態でプログラムをコンピュータに提供してもよい。
<付記>
以上に例示した形態から、例えば以下の構成が把握される。
以上に例示した形態から、例えば以下の構成が把握される。
本開示の好適な態様(第1態様)に係る楽曲再生システムの制御方法は、入力音声が歌唱音声であるか歌唱音声以外の指示音声であるかを判別し、前記入力音声が歌唱音声であると判別された場合に、当該入力音声に対応する楽曲の再生に関する第1動作を、楽曲の再生を制御する再生制御部に対して指示し、前記入力音声が指示音声であると判別された場合に、当該入力音声が表す第2動作を前記再生制御部に対して指示する。以上の態様では、入力音声が歌唱音声であると判別された場合には、当該入力音声に対応する楽曲の再生に関する第1動作が再生制御部に指示され、入力音声が指示音声であると判別された場合には、当該入力音声が表す第2動作が再生制御部に指示される。すなわち、歌唱音声および指示音声による多様な音声入力が可能である。例えば、前記第1動作と前記第2動作とは、相異なる動作である。以上の態様では、入力音声の種類(歌唱音声/指示音声)を適宜に変更することで、所望する動作を再生制御部に指示することが可能である。
第1態様の好適例(第2態様)では、前記第1動作は、前記入力音声に対応する楽曲を当該歌唱音声に対応する位置から再生する動作であり、前記第2動作は、前記入力音声に対応する楽曲を先頭から再生する動作である。以上の態様では、入力音声に対応する楽曲を当該入力音声に対応する位置から再生する動作が第1動作であり、入力音声に対応する楽曲を先頭から再生する動作が第2動作である。したがって、利用者は、入力音声の種類(歌唱音声/指示音声)を適宜に変更することで、所望する再生方法により楽曲を再生させることが可能である。
第2態様の好適例(第3態様)では、前記第1動作は、前記入力音声に対応する楽曲を区分した複数の区間のうち、当該入力音声が表す部分を含む区間の先頭から、当該楽曲を再生する動作である。以上の態様では、入力音声が歌唱音声である場合には、当該入力音声に対応する楽曲を区分した複数の区間のうち、当該入力音声が表す部分を含む区間の先頭から、当該楽曲が再生される。したがって、利用者は、楽曲のうち歌唱音声に対応する部分から当該楽曲を歌唱することができる。
第1態様から第3態様の何れかの好適例(第4態様)では、前記入力音声が、前記再生制御部による再生中の楽曲の歌唱音声であるか、前記再生制御部による再生中の楽曲以外の楽曲の歌唱音声であるかを判別し、前記入力音声が前記再生制御部による再生中の楽曲の歌唱音声であると判別された場合には、当該入力音声を評価する第3動作を歌唱評価部に対して指示し、前記入力音声が前記再生制御部による再生中の楽曲以外の楽曲の歌唱音声であると判別された場合には、当該入力音声に対応する楽曲を再生する動作を前記第1動作として前記再生制御部に対して指示する。以上の態様では、入力音声が再生中の楽曲の歌唱音声である場合には、当該入力音声を評価する第3動作が歌唱評価部に指示され、入力音声が再生中の楽曲以外の楽曲の歌唱音声である場合には、当該入力音声に対応する楽曲を再生する第1動作が再生制御部に指示される。したがって、入力音声が再生中の楽曲の歌唱音声であるか否かに応じて、第1動作と第3動作との指示を変更することができる。
本開示の他の態様(第5態様)に係る楽曲再生システムの制御方法は、楽曲の再生を指示する第1入力音声に対応する楽曲名の提示の指示を再生制御部に付与し、前記提示された楽曲名の楽曲が所望の楽曲であることを表す第2入力音声を受け付けた場合に、前記第1入力音声に対応する楽曲を再生する動作を前記再生制御部に対して指示する。以上の態様では、楽曲の再生を指示する第1入力音声に対応する楽曲名の提示の指示を再生制御部に付与し、当該提示された楽曲名の楽曲が所望の楽曲であることを表す第2入力音声を受け付けた場合に、第1入力音声に対応する楽曲を再生する動作が再生制御部に対して指示される。すなわち、楽曲が再生される前に、当該楽曲が所望の楽曲であるか否かを楽曲名の提示により確認することができる。
本開示の他の態様(第6態様)に係る楽曲再生システムの制御方法は、入力音声が、楽曲の再生を制御する再生制御部による再生中の楽曲の歌唱音声であるか、当該再生制御部による再生中の楽曲以外の楽曲の歌唱音声であるかを判別し、前記入力音声が前記再生制御部による再生中の楽曲の歌唱音声であると判別された場合には、当該入力音声を評価する動作を歌唱評価部に対して指示し、前記入力音声が前記再生制御部による再生中の楽曲以外の楽曲の歌唱音声であると判別された場合には、当該入力音声に対応する楽曲を再生する動作を前記再生制御部に対して指示する。以上の態様では、入力音声が再生中の楽曲の歌唱音声である場合には、当該入力音声を評価する動作が歌唱評価部に指示され、入力音声が再生中の楽曲以外の楽曲の歌唱音声である場合には、当該入力音声に対応する楽曲を再生する動作が再生制御部に指示される。したがって、入力音声が再生中の楽曲の歌唱音声であるか否かに応じて、楽曲再生システムに異なる動作を指示することが可能になる。
本開示の好適な態様(第7態様)に係る楽曲再生システムは、入力音声が歌唱音声であるか歌唱音声以外の指示音声であるかを判別する判別部と、前記入力音声が歌唱音声であると判別された場合に、当該入力音声に対応する楽曲の再生に関する第1動作を、楽曲の再生を制御する再生制御部に対して指示し、前記入力音声が指示音声であると判別された場合に、当該入力音声が表す第2動作を前記再生制御部に対して指示する動作制御部とを具備する。以上の態様では、入力音声が歌唱音声であると判別された場合には、当該入力音声に対応する楽曲の再生に関する第1動作が再生制御部に指示され、入力音声が指示音声であると判別された場合には、当該入力音声が表す第2動作が再生制御部に指示される。すなわち、歌唱音声および指示音声による多様な音声入力が可能である。
第7態様の好適例(第8態様)において、前記第1動作は、前記入力音声に対応する楽曲を当該入力音声に対応する位置から再生する動作であり、前記第2動作は、前記入力音声に対応する楽曲を先頭から再生する動作である。以上の態様では、入力音声に対応する楽曲を当該入力音声に対応する位置から再生する動作が第1動作であり、入力音声に対応する楽曲を先頭から再生する動作が第2動作である。したがって、利用者は、入力音声の種類(歌唱音声/指示音声)を適宜に変更することで、所望する再生方法により楽曲を再生させることが可能である。
第8態様の好適例(第9態様)において、前記第1動作は、前記入力音声に対応する楽曲を区分した複数の区間のうち、当該入力音声が表す部分を含む区間の先頭から、当該楽曲を再生する動作である。以上の態様では、入力音声が歌唱音声である場合には、当該入力音声に対応する楽曲を区分した複数の区間のうち、当該入力音声が表す部分を含む区間の先頭から、当該楽曲が再生される。したがって、利用者は、歌唱音声に連続して当該楽曲を歌唱することができる。
第7態様から第9態様の何れかの好適例(第10態様)において、前記判別部は、前記入力音声が、前記再生制御部による再生中の楽曲の歌唱音声であるか、前記再生制御部による再生中の楽曲以外の楽曲の歌唱音声であるかを判別し、前記動作制御部は、前記入力音声が前記再生制御部による再生中の楽曲の歌唱音声であると判別された場合には、当該入力音声を評価する第3動作を歌唱評価部に対して指示し、前記入力音声が前記再生制御部による再生中の楽曲以外の楽曲の歌唱音声であると判別された場合には、当該入力音声に対応する楽曲を再生する動作を前記第1動作として前記再生制御部に対して指示する。以上の態様では、入力音声が再生中の楽曲の歌唱音声である場合には、当該入力音声を評価する第3動作が歌唱評価部に指示され、入力音声が再生中の楽曲以外の楽曲の歌唱音声である場合には、当該入力音声に対応する楽曲を再生する第1動作が再生制御部に指示される。したがって、入力音声が再生中の楽曲の歌唱音声であるか否かに応じて、第1動作と第3動作との指示を変更することができる。
本開示の好適な態様(第11態様)に係るプログラムは、1または複数のプロセッサを、入力音声が歌唱音声であるか歌唱音声以外の指示音声であるかを判別する判別部、および、前記入力音声が歌唱音声であると判別された場合に、当該入力音声に対応する楽曲の再生に関する第1動作を、楽曲の再生を制御する再生制御部に対して指示し、前記入力音声が指示音声であると判別された場合に、当該入力音声が表す第2動作を前記再生制御部に対して指示する動作制御部として機能させる。以上の態様では、入力音声が歌唱音声であると判別された場合には、当該入力音声に対応する楽曲の再生に関する第1動作が再生制御部に指示され、入力音声が指示音声であると判別された場合には、当該入力音声が表す第2動作が再生制御部に指示される。すなわち、歌唱音声および指示音声による多様な音声入力が可能である。
10…楽曲再生システム、11…収音装置、12…制御装置、121…判別部、123…動作制御部、125…再生制御部、127…歌唱評価部、13…記憶装置、14…再生装置、20…端末装置、21…収音装置、22…通信装置、23…制御装置、24…記憶装置、27…動作制御部、231…第1処理部、233…第1制御部、30…端末装置、31…収音装置、32…通信装置、33…制御装置、331…第2処理部、333…第2動作制御部、34…記憶装置、40…処理装置、41…再生装置、42…通信装置、43…制御装置、431…再生制御部、44…記憶装置。
Claims (11)
- 入力音声が歌唱音声であるか歌唱音声以外の指示音声であるかを判別し、
前記入力音声が歌唱音声であると判別された場合に、当該入力音声に対応する楽曲の再生に関する第1動作を、楽曲の再生を制御する再生制御部に対して指示し、前記入力音声が指示音声であると判別された場合に、当該入力音声が表す第2動作を前記再生制御部に対して指示する
コンピュータにより実現される楽曲再生システムの制御方法。 - 前記第1動作は、前記入力音声に対応する楽曲を当該入力音声に対応する位置から再生する動作であり、
前記第2動作は、前記入力音声に対応する楽曲を先頭から再生する動作である
請求項1の楽曲再生システムの制御方法。 - 前記第1動作は、前記入力音声に対応する楽曲を区分した複数の区間のうち、当該入力音声が表す部分を含む区間の先頭から、当該楽曲を再生する動作である
請求項2の楽曲再生システムの制御方法。 - 前記入力音声が、前記再生制御部による再生中の楽曲の歌唱音声であるか、前記再生制御部による再生中の楽曲以外の楽曲の歌唱音声であるかを判別し、
前記入力音声が前記再生制御部による再生中の楽曲の歌唱音声であると判別された場合には、当該入力音声を評価する第3動作を歌唱評価部に対して指示し、前記入力音声が前記再生制御部による再生中の楽曲以外の楽曲の歌唱音声であると判別された場合には、当該入力音声に対応する楽曲を再生する動作を前記第1動作として前記再生制御部に対して指示する
請求項1から請求項3の何れかの楽曲再生システムの制御方法。 - 入力音声が歌唱音声であるか歌唱音声以外の指示音声であるかを判別する判別部と、
前記入力音声が歌唱音声であると判別された場合に、当該入力音声に対応する楽曲の再生に関する第1動作を、楽曲の再生を制御する再生制御部に対して指示し、前記入力音声が指示音声であると判別された場合に、当該入力音声が表す第2動作を前記再生制御部に対して指示する動作制御部と
を具備する楽曲再生システム。 - 楽曲の再生を指示する第1入力音声に対応する楽曲名の提示の指示を再生制御部に付与し、
前記指示に応じて提示された楽曲名の楽曲が所望の楽曲であることを表す第2入力音声を受け付けた場合に、前記第1入力音声に対応する楽曲を再生する動作を前記再生制御部に対して指示する
楽曲再生システムの制御方法。 - 入力音声が、楽曲の再生を制御する再生制御部による再生中の楽曲の歌唱音声であるか、当該再生制御部による再生中の楽曲以外の楽曲の歌唱音声であるかを判別し、
前記入力音声が前記再生制御部による再生中の楽曲の歌唱音声であると判別された場合には、当該入力音声を評価する動作を歌唱評価部に対して指示し、前記入力音声が前記再生制御部による再生中の楽曲以外の楽曲の歌唱音声であると判別された場合には、当該入力音声に対応する楽曲を再生する動作を前記再生制御部に対して指示する
楽曲再生システムの制御方法。 - 前記第1動作は、前記入力音声に対応する楽曲を当該入力音声に対応する位置から再生する動作であり、
前記第2動作は、前記入力音声に対応する楽曲を先頭から再生する動作である
請求項7の楽曲再生システム。 - 前記第1動作は、前記入力音声に対応する楽曲を区分した複数の区間のうち、当該入力音声が表す部分を含む区間の先頭から、当該楽曲を再生する動作である
請求項8の楽曲再生システム。 - 前記判別部は、前記入力音声が、前記再生制御部による再生中の楽曲の歌唱音声であるか、前記再生制御部による再生中の楽曲以外の楽曲の歌唱音声であるかを判別し、
前記動作制御部は、前記入力音声が前記再生制御部による再生中の楽曲の歌唱音声であると判別された場合には、当該入力音声を評価する第3動作を歌唱評価部に対して指示し、前記入力音声が前記再生制御部による再生中の楽曲以外の楽曲の歌唱音声であると判別された場合には、当該入力音声に対応する楽曲を再生する動作を前記第1動作として前記再生制御部に対して指示する
請求項7から請求項9の何れかの楽曲再生システム。 - 1または複数のプロセッサを、
入力音声が歌唱音声であるか歌唱音声以外の指示音声であるかを判別する判別部、および、
前記入力音声が歌唱音声であると判別された場合に、当該入力音声に対応する楽曲の再生に関する第1動作を、楽曲の再生を制御する再生制御部に対して指示し、前記入力音声が指示音声であると判別された場合に、当該入力音声が表す第2動作を前記再生制御部に対して指示する動作制御部
として機能させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020539475A JP7095742B2 (ja) | 2018-08-28 | 2019-08-27 | 楽曲再生システム、楽曲再生システムの制御方法およびプログラム |
JP2022098691A JP7355165B2 (ja) | 2018-08-28 | 2022-06-20 | 楽曲再生システム、楽曲再生システムの制御方法およびプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018159451 | 2018-08-28 | ||
JP2018-159451 | 2018-08-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020045398A1 true WO2020045398A1 (ja) | 2020-03-05 |
Family
ID=69645159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/033447 WO2020045398A1 (ja) | 2018-08-28 | 2019-08-27 | 楽曲再生システム、楽曲再生システムの制御方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP7095742B2 (ja) |
WO (1) | WO2020045398A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021089148A1 (en) * | 2019-11-07 | 2021-05-14 | Ask Industries Gmbh | Apparatus for outputting an audio signal in a vehicle cabin |
WO2023127486A1 (ja) * | 2021-12-27 | 2023-07-06 | Line株式会社 | プログラム及び情報処理装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11265190A (ja) * | 1998-03-18 | 1999-09-28 | Ricoh Co Ltd | 音楽演奏装置 |
JP2006276560A (ja) * | 2005-03-30 | 2006-10-12 | Kenwood Corp | 音楽再生装置および音楽再生方法 |
JP2008216402A (ja) * | 2007-02-28 | 2008-09-18 | Daiichikosho Co Ltd | カラオケシステム |
JP2011180271A (ja) * | 2010-02-26 | 2011-09-15 | Daiichikosho Co Ltd | クレイドルを介してホストシステムに接続されるカラオケ選曲予約装置 |
US20160353173A1 (en) * | 2014-01-23 | 2016-12-01 | Alibaba Group Holding Limited | Voice processing method and system for smart tvs |
-
2019
- 2019-08-27 WO PCT/JP2019/033447 patent/WO2020045398A1/ja active Application Filing
- 2019-08-27 JP JP2020539475A patent/JP7095742B2/ja active Active
-
2022
- 2022-06-20 JP JP2022098691A patent/JP7355165B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11265190A (ja) * | 1998-03-18 | 1999-09-28 | Ricoh Co Ltd | 音楽演奏装置 |
JP2006276560A (ja) * | 2005-03-30 | 2006-10-12 | Kenwood Corp | 音楽再生装置および音楽再生方法 |
JP2008216402A (ja) * | 2007-02-28 | 2008-09-18 | Daiichikosho Co Ltd | カラオケシステム |
JP2011180271A (ja) * | 2010-02-26 | 2011-09-15 | Daiichikosho Co Ltd | クレイドルを介してホストシステムに接続されるカラオケ選曲予約装置 |
US20160353173A1 (en) * | 2014-01-23 | 2016-12-01 | Alibaba Group Holding Limited | Voice processing method and system for smart tvs |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021089148A1 (en) * | 2019-11-07 | 2021-05-14 | Ask Industries Gmbh | Apparatus for outputting an audio signal in a vehicle cabin |
WO2023127486A1 (ja) * | 2021-12-27 | 2023-07-06 | Line株式会社 | プログラム及び情報処理装置 |
JP7335316B2 (ja) | 2021-12-27 | 2023-08-29 | Line株式会社 | プログラム及び情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2022120188A (ja) | 2022-08-17 |
JP7095742B2 (ja) | 2022-07-05 |
JP7355165B2 (ja) | 2023-10-03 |
JPWO2020045398A1 (ja) | 2021-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7355165B2 (ja) | 楽曲再生システム、楽曲再生システムの制御方法およびプログラム | |
US9355634B2 (en) | Voice synthesis device, voice synthesis method, and recording medium having a voice synthesis program stored thereon | |
WO2008004641A1 (fr) | Dispositif d'entraînement au chant | |
JP5598516B2 (ja) | カラオケ用音声合成システム,及びパラメータ抽出装置 | |
WO2014142200A1 (ja) | 音声処理装置 | |
JP6809177B2 (ja) | 情報処理システムおよび情報処理方法 | |
WO2023058173A1 (ja) | 音制御装置およびその制御方法、電子楽器、プログラム | |
JP6252420B2 (ja) | 音声合成装置、及び音声合成システム | |
JP6399715B1 (ja) | 歌唱支援装置および、カラオケ装置 | |
JP7227788B2 (ja) | カラオケシステム | |
JP2022065554A (ja) | 音声合成方法およびプログラム | |
JP4048249B2 (ja) | カラオケ装置 | |
JP6406182B2 (ja) | カラオケ装置、及びカラオケシステム | |
JP6365483B2 (ja) | カラオケ装置,カラオケシステム,及びプログラム | |
JP2016183998A (ja) | 音声合成装置、及びプログラム | |
JP5193654B2 (ja) | デュエットパート歌唱生成システム | |
JP2001013976A (ja) | カラオケ装置 | |
JP6380305B2 (ja) | データ生成装置、カラオケシステム、及びプログラム | |
JP6252517B2 (ja) | 音声合成装置、及びプログラム | |
JP7158331B2 (ja) | カラオケ装置 | |
JP2007233078A (ja) | 評価装置、制御方法及びプログラム | |
JP6365561B2 (ja) | カラオケシステム、カラオケ装置、及びプログラム | |
WO2017056885A1 (ja) | 楽曲処理方法および楽曲処理装置 | |
JP2023033877A (ja) | カラオケ装置 | |
JP2023033753A (ja) | カラオケ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19855794 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2020539475 Country of ref document: JP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19855794 Country of ref document: EP Kind code of ref document: A1 |