JP7432124B2 - 情報処理方法、情報処理装置およびプログラム - Google Patents
情報処理方法、情報処理装置およびプログラム Download PDFInfo
- Publication number
- JP7432124B2 JP7432124B2 JP2022075889A JP2022075889A JP7432124B2 JP 7432124 B2 JP7432124 B2 JP 7432124B2 JP 2022075889 A JP2022075889 A JP 2022075889A JP 2022075889 A JP2022075889 A JP 2022075889A JP 7432124 B2 JP7432124 B2 JP 7432124B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- performance
- analysis
- period
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 22
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000004458 analytical method Methods 0.000 claims description 87
- 230000033001 locomotion Effects 0.000 claims description 34
- 239000011295 pitch Substances 0.000 claims description 29
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 238000013179 statistical model Methods 0.000 description 20
- 239000011159 matrix material Substances 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 238000000034 method Methods 0.000 description 12
- 230000007246 mechanism Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
- G10G1/00—Means for the representation of music
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/205—3D [Three Dimensional] animation driven by audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/453—Help systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Electrophonic Musical Instruments (AREA)
- Processing Or Creating Images (AREA)
- Auxiliary Devices For Music (AREA)
Description
図1は、本発明の好適な形態に係る演奏システム100の構成を例示するブロック図である。演奏システム100は、演奏者Pが所在する音響ホール等の空間に設置されたコンピュータシステムである。演奏者Pは、例えば楽器の演奏者または楽曲の歌唱者である。演奏システム100は、演奏者Pによる楽曲の演奏に並行して当該楽曲の自動演奏を実行する。
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
以上に例示した形態から、例えば以下の構成が把握される。
Claims (7)
- 楽曲のうち時間軸上の可変の時点における音符の発音を表す演奏データを順次に取得し、複数の単位期間の各々について、当該単位期間を含む解析期間内の音符の時系列を表す解析データを、前記演奏データの取得に並行して順次に生成し、
前記楽曲を演奏する演奏者を表すオブジェクトの動作を制御するための制御データを、前記演奏データの取得に並行して前記解析データから順次に生成し、
前記解析データは、相異なる音高に対応する複数の要素を前記解析期間内の各単位期間について含み、前記各単位期間に対応する前記複数の要素のうち、当該単位期間において発音される音高に対応する要素と、当該単位期間において発音されない音高に対応する要素とは、相異なる数値に設定され、
前記制御データの生成においては、
解析データと制御データとの関係を学習した学習済モデルに、前記生成した解析データを入力することで、前記制御データを生成する
コンピュータにより実現される情報処理方法。 - 前記各単位期間に対応する前記複数の要素のうち、当該単位期間において発音される音高に対応する要素は、当該音高の演奏強度を表す数値に設定される
請求項1の情報処理方法。 - 前記演奏データを演奏装置に順次に供給することで自動演奏を実行させる
請求項1または請求項2の情報処理方法。 - 楽曲のうち時間軸上の可変の時点における音符の発音を表す演奏データを順次に取得し、複数の単位期間の各々について、当該単位期間を含む解析期間内の音符の時系列を表す解析データを、前記演奏データの取得に並行して順次に生成する解析データ生成部と、
前記楽曲を演奏する演奏者を表すオブジェクトの動作を制御するための制御データを、前記演奏データの取得に並行して前記解析データから順次に生成する制御データ生成部とを具備し、
前記解析データは、相異なる音高に対応する複数の要素を前記解析期間内の各単位期間について含み、前記各単位期間に対応する前記複数の要素のうち、当該単位期間において発音される音高に対応する要素と、当該単位期間において発音されない音高に対応する要素とは、相異なる数値に設定され、
前記制御データ生成部は、
解析データと制御データとの関係を学習した学習済モデルに、前記生成した解析データを入力することで、前記制御データを生成する
情報処理装置。 - 楽曲のうち時間軸上の可変の時点における音符の発音を表す演奏データを順次に取得し、複数の単位期間の各々について、当該単位期間を含む解析期間内の音符の時系列を表す解析データを、前記演奏データの取得に並行して順次に生成する解析データ生成部、および、
前記楽曲を演奏する演奏者を表すオブジェクトの動作を制御するための制御データを、前記演奏データの取得に並行して前記解析データから順次に生成する制御データ生成部、
としてコンピュータを機能させるプログラムであって、
前記解析データは、相異なる音高に対応する複数の要素を前記解析期間内の各単位期間について含み、前記各単位期間に対応する前記複数の要素のうち、当該単位期間において発音される音高に対応する要素と、当該単位期間において発音されない音高に対応する要素とは、相異なる数値に設定され、
前記解析データ生成部は、前記解析期間のうち前記単位期間の後方の期間に対応する音符の時系列を、当該解析期間のうち前記単位期間以前の音符の時系列と、前記演奏データが時系列に配列された楽曲データとから予測する
プログラム。 - 楽曲のうち時間軸上の可変の時点における音符の発音を表す演奏データを順次に取得し、複数の単位期間の各々について、当該単位期間を含む解析期間内の音符の時系列を表す解析データを、前記演奏データの取得に並行して順次に生成する解析データ生成部、および、
前記楽曲を演奏する演奏者を表すオブジェクトの動作を制御するための制御データを、前記演奏データの取得に並行して前記解析データから順次に生成する制御データ生成部、
としてコンピュータを機能させるプログラムであって、
前記解析データは、相異なる音高に対応する複数の要素を前記解析期間内の各単位期間について含み、前記各単位期間に対応する前記複数の要素のうち、当該単位期間において発音される音高に対応する要素と、当該単位期間において発音されない音高に対応する要素とは、相異なる数値に設定され、
前記制御データ生成部は、解析データと制御データとの関係を学習した学習済モデルに、前記生成した解析データを入力することで、前記制御データを生成し、
前記学習済モデルは、
前記解析データの特徴を表す特徴ベクトルを当該解析データから生成する畳込みニューラルネットワークと、
前記特徴ベクトルに応じた前記制御データを生成する再帰型ニューラルネットワークとを含む
プログラム。 - 前記複数の単位期間の各々について生成される前記解析データは、当該単位期間と、当該単位期間の前方および後方の期間とを含む解析期間内の音符の時系列を表す
請求項5または請求項6のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022075889A JP7432124B2 (ja) | 2018-02-06 | 2022-05-02 | 情報処理方法、情報処理装置およびプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018019140A JP7069768B2 (ja) | 2018-02-06 | 2018-02-06 | 情報処理方法、情報処理装置およびプログラム |
JP2022075889A JP7432124B2 (ja) | 2018-02-06 | 2022-05-02 | 情報処理方法、情報処理装置およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018019140A Division JP7069768B2 (ja) | 2018-02-06 | 2018-02-06 | 情報処理方法、情報処理装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022115956A JP2022115956A (ja) | 2022-08-09 |
JP7432124B2 true JP7432124B2 (ja) | 2024-02-16 |
Family
ID=67549361
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018019140A Active JP7069768B2 (ja) | 2018-02-06 | 2018-02-06 | 情報処理方法、情報処理装置およびプログラム |
JP2022075889A Active JP7432124B2 (ja) | 2018-02-06 | 2022-05-02 | 情報処理方法、情報処理装置およびプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018019140A Active JP7069768B2 (ja) | 2018-02-06 | 2018-02-06 | 情報処理方法、情報処理装置およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200365123A1 (ja) |
JP (2) | JP7069768B2 (ja) |
WO (1) | WO2019156091A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6699677B2 (ja) * | 2018-02-06 | 2020-05-27 | ヤマハ株式会社 | 情報処理方法、情報処理装置およびプログラム |
JP6724938B2 (ja) * | 2018-03-01 | 2020-07-15 | ヤマハ株式会社 | 情報処理方法、情報処理装置およびプログラム |
WO2021251364A1 (ja) * | 2020-06-09 | 2021-12-16 | ヤマハ株式会社 | 音響処理方法、音響処理システムおよびプログラム |
JP7152535B2 (ja) * | 2021-01-15 | 2022-10-12 | ソフトバンク株式会社 | 情報処理プログラム及び情報処理装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016041142A (ja) | 2014-08-15 | 2016-03-31 | 国立研究開発法人産業技術総合研究所 | ダンス動作データ作成システム及びダンス動作データ作成方法 |
JP2016050994A (ja) | 2014-08-29 | 2016-04-11 | ヤマハ株式会社 | 音響処理装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08195070A (ja) * | 1995-01-20 | 1996-07-30 | Toyota Motor Corp | 車載選曲装置 |
JP3384314B2 (ja) | 1997-12-02 | 2003-03-10 | ヤマハ株式会社 | 楽音応答画像生成システム、方法、装置、及び、そのための記録媒体 |
JP2002086378A (ja) * | 2000-09-08 | 2002-03-26 | Sony Corp | 脚式ロボットに対する動作教示システム及び動作教示方法 |
US8358311B1 (en) * | 2007-10-23 | 2013-01-22 | Pixar | Interpolation between model poses using inverse kinematics |
JP6019858B2 (ja) * | 2011-07-27 | 2016-11-02 | ヤマハ株式会社 | 楽曲解析装置および楽曲解析方法 |
JP2015004973A (ja) | 2013-05-23 | 2015-01-08 | ヤマハ株式会社 | 演奏解析方法及び演奏解析装置 |
JP6295597B2 (ja) * | 2013-10-22 | 2018-03-20 | ヤマハ株式会社 | 複数人による協調演奏を実現する装置およびシステム |
US10140745B2 (en) * | 2015-01-09 | 2018-11-27 | Vital Mechanics Research Inc. | Methods and systems for computer-based animation of musculoskeletal systems |
KR20170086317A (ko) * | 2016-01-18 | 2017-07-26 | 한국전자통신연구원 | 타이밍 변환을 이용한 3차원 캐릭터 동작 생성 장치 및 방법 |
JP6805422B2 (ja) * | 2016-03-08 | 2020-12-23 | 株式会社電通 | 装置、プログラム及び情報処理方法 |
US10535174B1 (en) * | 2017-09-14 | 2020-01-14 | Electronic Arts Inc. | Particle-based inverse kinematic rendering system |
-
2018
- 2018-02-06 JP JP2018019140A patent/JP7069768B2/ja active Active
-
2019
- 2019-02-05 WO PCT/JP2019/004114 patent/WO2019156091A1/ja active Application Filing
-
2020
- 2020-08-05 US US16/985,434 patent/US20200365123A1/en not_active Abandoned
-
2022
- 2022-05-02 JP JP2022075889A patent/JP7432124B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016041142A (ja) | 2014-08-15 | 2016-03-31 | 国立研究開発法人産業技術総合研究所 | ダンス動作データ作成システム及びダンス動作データ作成方法 |
JP2016050994A (ja) | 2014-08-29 | 2016-04-11 | ヤマハ株式会社 | 音響処理装置 |
Non-Patent Citations (1)
Title |
---|
釘本 望美 他,モーションキャプチャを用いたピアノ演奏動作のCG表現と音楽演奏インタフェースへの応用,情報処理学会研究報告2007-MUS-72 ,日本,社団法人情報処理学会,2007年10月11日,第2007巻第102号,p.79~84 |
Also Published As
Publication number | Publication date |
---|---|
JP2022115956A (ja) | 2022-08-09 |
JP2019139294A (ja) | 2019-08-22 |
JP7069768B2 (ja) | 2022-05-18 |
US20200365123A1 (en) | 2020-11-19 |
WO2019156091A1 (ja) | 2019-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7432124B2 (ja) | 情報処理方法、情報処理装置およびプログラム | |
JP6699677B2 (ja) | 情報処理方法、情報処理装置およびプログラム | |
US10878789B1 (en) | Prediction-based communication latency elimination in a distributed virtualized orchestra | |
US10748515B2 (en) | Enhanced real-time audio generation via cloud-based virtualized orchestra | |
US11749246B2 (en) | Systems and methods for music simulation via motion sensing | |
JP6776788B2 (ja) | 演奏制御方法、演奏制御装置およびプログラム | |
US11967302B2 (en) | Information processing device for musical score data | |
US11869465B2 (en) | Musical performance analysis method and musical performance analysis apparatus | |
CN111602193B (zh) | 用于处理乐曲的演奏的信息处理方法和装置 | |
Solis et al. | Musical robots and interactive multimodal systems: An introduction | |
CN115437598A (zh) | 虚拟乐器的互动处理方法、装置及电子设备 | |
KR102490769B1 (ko) | 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치 | |
Carthen et al. | MUSE: A Music Conducting Recognition System | |
JP2018063315A (ja) | 演奏システムおよび自動演奏方法 | |
JP7528971B2 (ja) | 情報処理方法、情報処理システムおよびプログラム | |
JP6838357B2 (ja) | 音響解析方法および音響解析装置 | |
CN112912951A (zh) | 表示动作的数据的信息处理装置 | |
JP6977813B2 (ja) | 自動演奏システムおよび自動演奏方法 | |
WO2023170757A1 (ja) | 再生制御方法、情報処理方法、再生制御システムおよびプログラム | |
WO2023182005A1 (ja) | データ出力方法、プログラム、データ出力装置および電子楽器 | |
Luo et al. | Learning to Play Guitar with Robotic Hands | |
Aydın et al. | Improvisation Based on Relaxation of Imitation Parameters by a Robotic Acoustic Musical Device. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220502 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230502 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230814 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230905 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240117 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7432124 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |