JP7380008B2 - 発音制御方法および発音制御装置 - Google Patents
発音制御方法および発音制御装置 Download PDFInfo
- Publication number
- JP7380008B2 JP7380008B2 JP2019175253A JP2019175253A JP7380008B2 JP 7380008 B2 JP7380008 B2 JP 7380008B2 JP 2019175253 A JP2019175253 A JP 2019175253A JP 2019175253 A JP2019175253 A JP 2019175253A JP 7380008 B2 JP7380008 B2 JP 7380008B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- hand
- phoneme
- specific
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 37
- 238000001514 detection method Methods 0.000 claims description 63
- 238000004519 manufacturing process Methods 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 13
- 230000005236 sound signal Effects 0.000 claims description 13
- 238000000195 production control method Methods 0.000 claims 2
- 230000008569 process Effects 0.000 description 19
- 239000002131 composite material Substances 0.000 description 14
- 239000011295 pitch Substances 0.000 description 14
- 238000003860 storage Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/18—Selecting circuits
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Electrophonic Musical Instruments (AREA)
Description
図1は、本開示の実施形態に係る発音制御システム100の構成を例示するブロック図である。発音制御システム100は、特定の歌唱者が楽曲を歌唱した仮想的な音声を合成する。合成される音声を構成する各音韻は、利用者から指示された時点で発音される。
以上に例示した態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
例えば、手Hの移動速度に応じて音韻の種類(すなわち発音内容)を設定してもよい。具体的には、第1検出部31は、画像データD1から手Hの移動速度を検出する。画像データD1から特定された距離Pの時間変化から移動速度が検出される。なお、第1検出部31は、例えば、速度を検知する速度センサからの出力を利用して手Hの移動速度を検出してもよい。そして、音韻特定部212は、移動速度に応じて特定音韻の種類を設定する。音韻特定部212は、手Hが特定状態になる前に特定音韻の種類を設定する。図5は、手Hの移動速度と特定音韻の種類との関係を表す模式図である。図5には、手H1の移動速度が速い場合に設定される特定音韻と、手H2の移動速度が遅い場合に設定される特定音韻とが図示されている。例えば、手H1の移動速度が速い場合には、継続長が短い子音(例えば[t])を含む特定音韻(例えば「た」)に設定され、手H2の移動速度が遅い場合には、継続長が長い子音(例えば[s])を含む特定音韻(例えば「さ」)に設定される。移動速度に関わらず、距離Pが特定距離Pzになる到達時点t1に子音の発音が開始され、打撃時点t2に母音の発音が開始される。手H1の移動速度が速い場合には、手H2の移動速度が遅い場合と比較して、到達時点t1から打撃時点t2にいたるまでの時間長が短いから、子音の継続長が短い特定音韻が設定される。また、手Hの移動速度に応じて音符の継続長または音高を設定してもよい。なお、以上の例示にでは特定音韻の種類を設定する場合を例示したが、特定音韻以外の音韻の種類を移動速度に応じて制御してもよい。
例えば、手Hの移動方向に応じて音韻の種類を設定してもよい。利用者は、所望する音韻に応じて相異なる方向から手Hを移動させて打撃面Fを打撃する。利用者は、打撃面Fに対して多様な方向から手Hを移動させて打撃面Fを打撃することが可能である。例えば、利用者からみて右方向または左方向から手Hを移動させて打撃面Fを打撃する場合、または、利用者から離れる方向または近づく方向に手Hを移動させて打撃面Fを打撃する場合等が想定される。具体的には、第1検出部31は、画像データD1から手Hの移動方向を検出し、音韻特定部212は、当該移動方向に応じて音韻の種類を設定する。音韻特定部212は、手Hが特定状態になる前に音韻の種類を設定する。なお、手Hの移動方向に応じて音符の継続長または音高を設定してもよい。
例えば、手Hの形状に応じて音韻の種類を設定してもよい。利用者は、例えば指を動かすことで手Hを任意の形状にした状態で、打撃面Fを打撃する。例えば、グー、チョキまたはパーの形状になるように手Hを動かす。図6は、手Hの形状と音韻との関係とを表す表である。図6に例示される通り、手Hの形状に加えて、手Hが右手および左手の何れあるかを加味して音韻の種類を設定してもよい。手Hの状態には、利用者の手Hが右手および左手の何れであるかも含まれる。第1検出部31は、手Hが右手および左手の何れであるかと、手Hの形状とを画像データD1から検出する。手Hが右手および左手の何れであるかと、手Hの形状との検出には、公知の画像解析技術が任意に採用される。なお、音韻特定部212は、手Hが特定状態になる前に音韻の種類を設定する。音韻特定部212は、右手/左手および手Hの形状に応じて、音韻を特定する。図6に例示される通り、例えば左手によりグーの形状をした状態で打撃面Fを打撃すると、音韻「ta」が発音される。なお、手Hの形状に応じて音符の継続長または音高を設定してもよい。
以上に例示した形態から、例えば以下の構成が把握される。
Claims (10)
- 物体が面に向けて移動している過程において前記物体の移動速度と前記物体および前記面の間の距離とを検出し、
前記移動速度に応じて閾値を設定し、
前記距離が前記閾値に到達した時点において第1音を発音させ、
前記物体の移動により当該物体が前記面を打撃したことを検出し、
前記打撃が検出された時点において第2音を発音させる
コンピュータにより実現される発音制御方法。 - さらに前記第1音に応じて前記閾値を設定する
請求項1の発音制御方法。 - 前記第1音の継続長に応じて前記閾値を設定する
請求項2の発音制御方法。 - 前記第1音の音韻の種類に応じて前記閾値を設定する
請求項2の発音制御方法。 - 前記第1音は、第1音素であり、
前記第2音は、前記第1音素とは異なる第2音素である
請求項1から請求項4の何れかの発音制御方法。 - 前記第1音素は、子音であり、
前記第2音素は、母音である
請求項5の発音制御方法。 - 前記第1音は、発音の準備動作に関する音であり、
前記第2音は、前記準備動作に後続する音である
請求項1から請求項3の何れかの発音制御方法。 - 前記物体の打撃の検出においては、収音装置が収音により生成した音信号を解析することで前記打撃を検出する
請求項1から請求項7の何れかの発音制御方法。 - 前記物体の移動方向、および、前記物体の形状の少なくとも1つを検出し、
前記検出の内容に応じて、前記第1音および前記第2音の少なくとも一方における発音を制御する
請求項1から請求項8の何れかの発音制御方法。 - 物体が面に向けて移動している過程において前記物体の移動速度と前記物体および前記面の間の距離とを検出し、前記距離が、前記移動速度に応じて設定した閾値に到達したことを検出する第1検出部と、
前記物体の移動により当該物体が前記面を打撃したことを検出する第2検出部と、
前記距離が前記閾値に到達した時点において第1音を発音させ、前記打撃が検出された時点において第2音を発音させる発音制御部と
を具備する発音制御装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019175253A JP7380008B2 (ja) | 2019-09-26 | 2019-09-26 | 発音制御方法および発音制御装置 |
PCT/JP2020/035785 WO2021060273A1 (ja) | 2019-09-26 | 2020-09-23 | 発音制御方法および発音制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019175253A JP7380008B2 (ja) | 2019-09-26 | 2019-09-26 | 発音制御方法および発音制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021051249A JP2021051249A (ja) | 2021-04-01 |
JP7380008B2 true JP7380008B2 (ja) | 2023-11-15 |
Family
ID=75157779
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019175253A Active JP7380008B2 (ja) | 2019-09-26 | 2019-09-26 | 発音制御方法および発音制御装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7380008B2 (ja) |
WO (1) | WO2021060273A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022255052A1 (ja) * | 2021-06-03 | 2022-12-08 | ヤマハ株式会社 | 打楽器システム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004061753A (ja) | 2002-07-26 | 2004-02-26 | Yamaha Corp | 歌唱音声を合成する方法および装置 |
JP2014098801A (ja) | 2012-11-14 | 2014-05-29 | Yamaha Corp | 音声合成装置 |
JP2014186307A (ja) | 2013-02-22 | 2014-10-02 | Yamaha Corp | 音声合成装置 |
JP2017146555A (ja) | 2016-02-19 | 2017-08-24 | ヤマハ株式会社 | 演奏支援のための装置および方法 |
-
2019
- 2019-09-26 JP JP2019175253A patent/JP7380008B2/ja active Active
-
2020
- 2020-09-23 WO PCT/JP2020/035785 patent/WO2021060273A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004061753A (ja) | 2002-07-26 | 2004-02-26 | Yamaha Corp | 歌唱音声を合成する方法および装置 |
JP2014098801A (ja) | 2012-11-14 | 2014-05-29 | Yamaha Corp | 音声合成装置 |
JP2014186307A (ja) | 2013-02-22 | 2014-10-02 | Yamaha Corp | 音声合成装置 |
JP2017146555A (ja) | 2016-02-19 | 2017-08-24 | ヤマハ株式会社 | 演奏支援のための装置および方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021051249A (ja) | 2021-04-01 |
WO2021060273A1 (ja) | 2021-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10490181B2 (en) | Technology for responding to remarks using speech synthesis | |
JP5821824B2 (ja) | 音声合成装置 | |
JP6140579B2 (ja) | 音響処理装置、音響処理方法、及び音響処理プログラム | |
JP4457983B2 (ja) | 演奏操作援助装置及びプログラム | |
US20050188821A1 (en) | Control system, method, and program using rhythm pattern | |
JP2002268699A (ja) | 音声合成装置及び音声合成方法、並びにプログラムおよび記録媒体 | |
JP5162938B2 (ja) | 楽音発生装置及び鍵盤楽器 | |
KR20010062767A (ko) | 정보 처리 장치, 정보 처리 방법 및 저장 매체 | |
JP6708035B2 (ja) | 発話内容認識装置 | |
JP7383943B2 (ja) | 制御システム、制御方法、及びプログラム | |
JP2010501955A (ja) | デジタル装置のリアルタイム制御のための音声のリアルタイム解析方法ならびに付帯する装置 | |
JP5040778B2 (ja) | 音声合成装置、方法及びプログラム | |
JP7380008B2 (ja) | 発音制御方法および発音制御装置 | |
JP2007256412A (ja) | 楽音制御装置 | |
JP4765705B2 (ja) | 楽音制御装置 | |
JP2017146555A (ja) | 演奏支援のための装置および方法 | |
JP2002258886A (ja) | 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体 | |
JP6090043B2 (ja) | 情報処理装置、及びプログラム | |
JP3854593B2 (ja) | 音声合成装置及びそのためのコスト計算装置、並びにコンピュータプログラム | |
JP2017146557A (ja) | 演奏支援のための装置および方法 | |
JP2002304187A (ja) | 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体 | |
WO2017159083A1 (ja) | 音声合成方法および音声合成制御装置 | |
JP2004294659A (ja) | 音声認識装置 | |
JP3731638B2 (ja) | 鍵盤装置 | |
JP2010175921A (ja) | 音声認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230908 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231016 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7380008 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |