WO2022190502A1 - 音生成装置およびその制御方法、プログラム、電子楽器 - Google Patents
音生成装置およびその制御方法、プログラム、電子楽器 Download PDFInfo
- Publication number
- WO2022190502A1 WO2022190502A1 PCT/JP2021/046585 JP2021046585W WO2022190502A1 WO 2022190502 A1 WO2022190502 A1 WO 2022190502A1 JP 2021046585 W JP2021046585 W JP 2021046585W WO 2022190502 A1 WO2022190502 A1 WO 2022190502A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- utterance
- instruction
- character
- time
- audio signal
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 38
- 230000005236 sound signal Effects 0.000 claims abstract description 95
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 230000015572 biosynthetic process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 7
- 230000001755 vocal effect Effects 0.000 description 6
- 241001342895 Chorus Species 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000007664 blowing Methods 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
- G10L13/0335—Pitch control
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/04—Sound-producing devices
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/005—Musical accompaniment, i.e. complete instrumental rhythm synthesis added to a performed melody, e.g. as output by drum machines
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/051—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction or detection of onsets of musical sounds or notes, i.e. note attack timings
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/325—Musical pitch modification
- G10H2210/331—Note pitch correction, i.e. modifying a note pitch or replacing it by the closest one in a given scale
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/361—Mouth control in general, i.e. breath, mouth, teeth, tongue or lip-controlled input devices or sensors detecting, e.g. lip position, lip vibration, air pressure, air velocity, air flow or air jet angle
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/315—Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
- G10H2250/455—Gensound singing voices, i.e. generation of human voices for musical applications, vocal singing sounds or intelligible words at a desired pitch or with desired vocal effects, e.g. by phoneme synthesis
Abstract
Description
<実施形態>
[全体構成]
本発明の一実施形態におけるカラオケシステムは、合成歌唱音を生成することができる電子楽器を用いてカラオケをする場合に、対象となる楽曲を指定することによって、リアルタイム演奏で歌唱音を発声させる際に、自然な合成歌唱音を生成する機能を有している。
[電子楽器のハードウェア構成]
電子楽器3は、演奏操作部321(図2)の操作に応じて、指示内容に従って合成歌唱音を示すオーディオ信号を生成する装置である。本実施形態では、電子楽器3は、電子鍵盤装置である。演奏操作部321は、複数の鍵を含む鍵盤および各鍵に対する操作(以下、演奏操作という場合がある)を検出するセンサを含む。本実施形態では、合成歌唱音は、電子楽器3からオーディオ信号がカラオケ装置1の入力端子に供給されることによってカラオケ装置1のスピーカから出力されてもよいし、電子楽器3に接続されたスピーカから出力されてもよい。
[音生成処理]
次に、本発明の一実施形態に係る音生成処理について、図4~図8を参照して説明する。音生成処理は、演奏操作部321への演奏操作に基づいて、各文字の発声に対応するオーディオ信号を生成する指示又は停止する指示を出力する。
[音生成機能]
図9は、本発明の一実施形態における音生成機能を示す機能ブロック図である。なお、以下に説明する各機能を実現する構成の一部または全部は、ハードウェアによって実現されてもよい。
(第2実施形態)
本実施形態では、第1実施形態において説明した音生成処理とは一部異なる音生成処理について、図4、図10、および図11を参照して説明する。本実施形態では、オーディオ信号を生成するための指示処理について、第1実施形態と異なっている。そのため、第1実施形態とは異なる部分を詳細に説明し、それ以外の部分は第1実施形態の説明を援用する。また、本実施形態では、ベロシティを、音量情報として扱うものとする。
(変形例)
以上、本発明の一実施形態について説明したが、本発明の一実施形態は、以下のように様々な形態に変形することもできる。また、上述した実施形態および以下に説明する変形例は、それぞれ互いに組み合わせて適用することもできる。
31 歌詞データ取得部
32 発声制御部
34 発声開始指示取得部
301 制御部
321 演奏操作部
Claims (16)
- 発声すべき複数の文字が時系列に並べられ、第1文字および当該第1文字の後の第2文字を少なくとも含む第1歌詞データを取得する第1の取得部と、
発声の開始指示を取得する第2の取得部と、
前記第2の取得部により前記発声の開始指示が取得された場合において、前記発声の開始指示が第1条件を満たす場合には、前記第1歌詞データにおける前記第1文字に対応する第1発声に基づくオーディオ信号を生成する指示を出力し、前記発声の開始指示が前記第1条件を満たさない場合には、前記第1歌詞データにおける前記第2文字に対応する第2発声に基づくオーディオ信号を生成する指示を出力する制御部と、を有する、音生成装置。 - 前記第1歌詞データにおいて、所定の時間軸により、各文字の発声の開始時刻および停止時刻が規定され、
前記発声の開始指示の取得時刻が、前記所定の時間軸における、前記第1発声を停止する第1時刻と前記第2発声を開始する第2時刻との間に位置する第3時刻より前である場合に、前記発声の開始指示が前記第1条件を満たす、請求項1に記載の音生成装置。 - 前記第3時刻は、前記第1時刻と前記第2時刻との中心時刻である、請求項2に記載の音生成装置。
- 前記第1発声および前記第2発声は、一つの文字に対応する発声である、請求項2または3に記載の音生成装置。
- 前記第1発声は、前記第1文字を含む複数の文字に対応する発声を含み、
前記第2発声は、前記第2文字を含む複数の文字に対応する発声を含み、
前記第1時刻は、前記第1発声に対応する前記複数の文字のうち最後の文字の発声を停止する時刻に対応し、
前記第2時刻は、前記第2発声に対応する前記複数の文字のうち最初の文字の発声を開始する時刻に対応する、請求項2または3に記載の音生成装置。 - 前記制御部は、前記第1発声に対応する前記最後の文字の発声の後において前記第2発声の最初の文字から当該文字に対応する発声に基づいてオーディオ信号を生成する指示を出力し、
前記制御部は、前記第2発声に基づくオーディオ信号を生成する指示を出力する際、前記発声の開始指示がさらに第2条件を満たしている場合に、前記第2発声に対応する文字のうち未発声の文字から当該文字に対応する発声に基づいてオーディオ信号を生成する指示を出力する、請求項5に記載の音生成装置。 - 前記発声の開始指示の取得時刻が、前記第1歌詞データにおいて規定されている前記第2発声の開始時刻よりも後である場合に、前記第2条件は満たされる、請求項6に記載の音生成装置。
- 前記第1歌詞データにおける前記文字の各々には、所定の時間軸により、発音の開始時刻および停止時刻からなる設定期間が対応付けられており、
前記制御部は、前記所定の時間軸における、前記発声の開始指示の取得時刻が属する設定期間または前記取得時刻に最も近い設定期間を特定し、特定した設定期間に対応する文字に対応する発声に基づくオーディオ信号を、前記第1発声に基づくオーディオ信号または前記第2発声に基づくオーディオ信号として生成する指示を出力する、請求項1に記載の音生成装置。 - 前記第1の取得部は、発声すべき複数の文字が時系列に並べられ、前記所定の時間軸により、前記各文字の開始時刻および停止時刻が規定された第2歌詞データを取得し、
前記第2歌詞データにおける前記文字の各々には、前記所定の時間軸により、発音の開始時刻および停止時刻からなる設定期間が対応付けられており、
前記制御部は、前記特定した設定期間と時間的に一致する設定期間が前記第2歌詞データに存在する場合は、前記第1発声または前記第2発声に基づくオーディオ信号に代えて、前記第2歌詞データにおける前記時間的に一致する設定期間に対応する文字に対応する発声に基づくオーディオ信号を生成する指示を出力する、請求項8に記載の音生成装置。 - 前記第1歌詞データにおいて、前記複数の文字の発声順序が決められており、
前記第2の取得部により前記第1発声の開始指示の後の前記第2発声の開始指示が取得された場合において、前記第1発声の開始指示から前記第2発声の開始指示までの第1期間が所定の期間未満であるときは、前記制御部は、前記第2発声の開始指示が前記第1条件を満たすと判定し且つ、前記第1発声の開始指示に対応する前記第1発声を継続するようにオーディオ信号を生成する指示を出力する、請求項1に記載の音生成装置。 - 前記制御部は、前記第2発声の開始指示の取得時刻に対応して演奏操作部から取得される音量情報が所定値未満である場合には、前記第1期間が前記所定の期間以上であっても、前記第2発声ではなく前記第1発声を継続するようにオーディオ信号を生成する指示を出力する、請求項10に記載の音生成装置。
- 前記演奏操作部は、圧力変化を検出するブレスセンサを含み、
前記ブレスセンサに入力された圧力変化に基づいて、前記第1発声の開始指示および前記第2発声の開始指示が取得される、請求項11に記載の音生成装置。 - 前記制御部は、前記オーディオ信号を生成する際、前記オーディオ信号に含まれる発声を演奏操作部からの音高指示に応じた音高に制御する、請求項1乃至10のいずれか1項に記載の音生成装置。
- 請求項1乃至13のいずれか1項に記載の音生成装置と、
前記発声の開始指示をユーザが入力するための演奏操作部と、を有する、電子楽器。 - コンピュータにより実現される音生成装置の制御方法であって、
発声すべき複数の文字が時系列に並べられ、第1文字および当該第1文字の後の第2文字を少なくとも含む第1歌詞データを取得し、
発声の開始指示を取得し、
前記発声の開始指示が取得された場合において、前記発声の開始指示が第1条件を満たす場合には、前記第1歌詞データにおける前記第1文字に対応する第1発声に基づくオーディオ信号を生成する指示を出力し、前記発声の開始指示が前記第1条件を満たさない場合には、前記第1歌詞データにおける前記第2文字に対応する第2発声に基づくオーディオ信号を生成する指示を出力する、音生成装置の制御方法。 - 音生成装置の制御方法をコンピュータに実行させるプログラムであって、
前記音生成装置の制御方法は、
発声すべき複数の文字が時系列に並べられ、第1文字および当該第1文字の後の第2文字を少なくとも含む第1歌詞データを取得し、
発声の開始指示を取得し、
前記発声の開始指示が取得された場合において、前記発声の開始指示が第1条件を満たす場合には、前記第1歌詞データにおける前記第1文字に対応する第1発声に基づくオーディオ信号を生成する指示を出力し、前記発声の開始指示が前記第1条件を満たさない場合には、前記第1歌詞データにおける前記第2文字に対応する第2発声に基づくオーディオ信号を生成する指示を出力する、プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202180095312.3A CN117043853A (zh) | 2021-03-09 | 2021-12-16 | 音生成装置及其控制方法、程序、电子乐器 |
JP2023505112A JPWO2022190502A1 (ja) | 2021-03-09 | 2021-12-16 | |
US18/463,470 US20230419946A1 (en) | 2021-03-09 | 2023-09-08 | Sound generation device and control method thereof, program, and electronic musical instrument |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-037651 | 2021-03-09 | ||
JP2021037651 | 2021-03-09 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US18/463,470 Continuation US20230419946A1 (en) | 2021-03-09 | 2023-09-08 | Sound generation device and control method thereof, program, and electronic musical instrument |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022190502A1 true WO2022190502A1 (ja) | 2022-09-15 |
Family
ID=83227880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/046585 WO2022190502A1 (ja) | 2021-03-09 | 2021-12-16 | 音生成装置およびその制御方法、プログラム、電子楽器 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230419946A1 (ja) |
JP (1) | JPWO2022190502A1 (ja) |
CN (1) | CN117043853A (ja) |
WO (1) | WO2022190502A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004287099A (ja) * | 2003-03-20 | 2004-10-14 | Sony Corp | 歌声合成方法、歌声合成装置、プログラム及び記録媒体並びにロボット装置 |
JP2014062969A (ja) * | 2012-09-20 | 2014-04-10 | Yamaha Corp | 歌唱合成装置および歌唱合成プログラム |
JP2014098801A (ja) * | 2012-11-14 | 2014-05-29 | Yamaha Corp | 音声合成装置 |
JP2016206496A (ja) * | 2015-04-24 | 2016-12-08 | ヤマハ株式会社 | 制御装置、合成歌唱音生成装置およびプログラム |
JP2019184936A (ja) * | 2018-04-16 | 2019-10-24 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP2019219570A (ja) * | 2018-06-21 | 2019-12-26 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
-
2021
- 2021-12-16 WO PCT/JP2021/046585 patent/WO2022190502A1/ja active Application Filing
- 2021-12-16 JP JP2023505112A patent/JPWO2022190502A1/ja active Pending
- 2021-12-16 CN CN202180095312.3A patent/CN117043853A/zh active Pending
-
2023
- 2023-09-08 US US18/463,470 patent/US20230419946A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004287099A (ja) * | 2003-03-20 | 2004-10-14 | Sony Corp | 歌声合成方法、歌声合成装置、プログラム及び記録媒体並びにロボット装置 |
JP2014062969A (ja) * | 2012-09-20 | 2014-04-10 | Yamaha Corp | 歌唱合成装置および歌唱合成プログラム |
JP2014098801A (ja) * | 2012-11-14 | 2014-05-29 | Yamaha Corp | 音声合成装置 |
JP2016206496A (ja) * | 2015-04-24 | 2016-12-08 | ヤマハ株式会社 | 制御装置、合成歌唱音生成装置およびプログラム |
JP2019184936A (ja) * | 2018-04-16 | 2019-10-24 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP2019219570A (ja) * | 2018-06-21 | 2019-12-26 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20230419946A1 (en) | 2023-12-28 |
JPWO2022190502A1 (ja) | 2022-09-15 |
CN117043853A (zh) | 2023-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110390923B (zh) | 电子乐器、电子乐器的控制方法以及存储介质 | |
CN110390922B (zh) | 电子乐器、电子乐器的控制方法以及存储介质 | |
CN110634460A (zh) | 电子乐器、电子乐器的控制方法以及存储介质 | |
CN110634464A (zh) | 电子乐器、电子乐器的控制方法以及存储介质 | |
US20210193114A1 (en) | Electronic musical instruments, method and storage media | |
CN110634461A (zh) | 电子乐器、电子乐器的控制方法以及存储介质 | |
US20210295819A1 (en) | Electronic musical instrument and control method for electronic musical instrument | |
US20220076658A1 (en) | Electronic musical instrument, method, and storage medium | |
US20220076651A1 (en) | Electronic musical instrument, method, and storage medium | |
US11854521B2 (en) | Electronic musical instruments, method and storage media | |
CN111696498A (zh) | 键盘乐器以及键盘乐器的计算机执行的方法 | |
JP6760457B2 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
WO2023058173A1 (ja) | 音制御装置およびその制御方法、電子楽器、プログラム | |
JP6044284B2 (ja) | 音声合成装置 | |
WO2022190502A1 (ja) | 音生成装置およびその制御方法、プログラム、電子楽器 | |
JP6766935B2 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP2001042879A (ja) | カラオケ装置 | |
JPWO2022190502A5 (ja) | ||
JP5106437B2 (ja) | カラオケ装置及びその制御方法並びにその制御プログラム | |
JPH04146473A (ja) | 電子音声楽器 | |
JP7276292B2 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
WO2023058172A1 (ja) | 音制御装置およびその制御方法、電子楽器、プログラム | |
JP2002221978A (ja) | ボーカルデータ生成装置、ボーカルデータ生成方法および歌唱音合成装置 | |
JP7158331B2 (ja) | カラオケ装置 | |
WO2023120121A1 (ja) | 子音長変更装置、電子楽器、楽器システム、方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21930347 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 202180095312.3 Country of ref document: CN |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2023505112 Country of ref document: JP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21930347 Country of ref document: EP Kind code of ref document: A1 |