JP6077492B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6077492B2 JP6077492B2 JP2014097857A JP2014097857A JP6077492B2 JP 6077492 B2 JP6077492 B2 JP 6077492B2 JP 2014097857 A JP2014097857 A JP 2014097857A JP 2014097857 A JP2014097857 A JP 2014097857A JP 6077492 B2 JP6077492 B2 JP 6077492B2
- Authority
- JP
- Japan
- Prior art keywords
- note
- time
- performance
- notes
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Auxiliary Devices For Music (AREA)
Description
前記記憶部は、楽曲を構成する複数の楽譜音符を記憶する。
前記入力部は、前記楽曲の演奏により生成される複数の演奏音符を入力する。
前記設定部は、前記入力された複数の演奏音符の中から、対応する楽譜音符を検出する対象となる検出対象音符を設定する。
前記第1の選択部は、前記設定された検出対象音符に対応する楽譜音符である最適対応音符の複数の候補として、前記複数の楽譜音符の中から複数の候補対応音符を選択する。
前記第1の算出部は、前記選択された複数の候補対応音符の中の1つを前記最適対応音符と仮定した場合の、前記検出対象音符の周辺で演奏された複数の周辺演奏音符の各々と、前記複数の楽譜音符の各々との一致度である個別音符一致度を算出する。
前記判定部は、前記複数の周辺演奏音符の各々について、前記複数の楽譜音符の各々との間で算出された複数の個別音符一致度の中から最大個別音符一致度を判定する。
前記第2の算出部は、前記検出対象音符と前記候補対応音符との一致度である音符一致度を、当該候補対応音符を前記最適対応音符と仮定した場合の、前記複数の周辺演奏音符の各々について判定された前記最大個別音符一致度をもとに算出する。
前記第2の選択部は、前記複数の候補対応音符の中から、前記音符一致度が最大となるものを前記最適対応音符として選択する。
このように時刻一致度が用いられることで、個別一致度を高い精度で算出することができる。その結果、演奏位置を高い精度で検出することが可能となる。
このように第1の変換時刻が用いられることで、高い精度で時刻一致度を算出することができる。この結果、高精度の位置検出が実現される。
テンポの情報をもとに時刻の変換が行われることで高精度の位置検出が可能となる。
ビート楽譜時刻及びビート演奏時刻が用いられることで、高い精度で演奏テンポを算出することが可能となる。
このようにビート楽譜時刻及びビート演奏時刻を用いて第1の変換時刻が算出されてもよい。この結果、高い精度で時刻一致度を算出することが可能となる。
これにより複数の候補対応音符を効率よく選択することが可能となる。
このようにビート楽譜時刻及びビート演奏時刻を用いて第2の変換時刻が算出されてもよい。
確率分布関数を用いることで高い精度で時刻一致度を算出することができる。
これにより時刻一致度の算出精度を向上させることができる。
このように時刻一致度と音高一致度とが用いられることで、個別一致度を高い精度で算出することができる。その結果、演奏位置を高い精度で検出することが可能となる。
確率分布関数を用いることで高い精度で音高一致度を算出することができる。
前記楽曲の演奏により生成される複数の演奏音符が入力される。
前記入力された複数の演奏音符の中から、対応する楽譜音符を検出する対象となる検出対象音符が設定される。
前記設定された検出対象音符に対応する楽譜音符である最適対応音符の複数の候補として、前記複数の楽譜音符の中から複数の候補対応音符が選択される。
前記選択された複数の候補対応音符の中の1つを前記最適対応音符と仮定した場合の、前記検出対象音符の周辺で演奏された複数の周辺演奏音符の各々と、前記複数の楽譜音符の各々との一致度である個別音符一致度が算出される。
前記複数の周辺演奏音符の各々について、前記複数の楽譜音符の各々との間で算出された複数の個別音符一致度の中から最大個別音符一致度が判定される。
前記検出対象音符と前記候補対応音符との一致度である音符一致度が、当該候補対応音符を前記最適対応音符と仮定した場合の、前記複数の周辺演奏音符の各々について判定された前記最大個別音符一致度をもとに算出される。
前記複数の候補対応音符の中から、前記音符一致度が最大となるものが前記最適対応音符として選択される。
楽曲を構成する複数の楽譜音符を記憶するステップ。
前記楽曲の演奏により生成される複数の演奏音符を入力するステップ。
前記入力された複数の演奏音符の中から、対応する楽譜音符を検出する対象となる検出対象音符を設定するステップ。
前記設定された検出対象音符に対応する楽譜音符である最適対応音符の複数の候補として、前記複数の楽譜音符の中から複数の候補対応音符を選択するステップ。
前記選択された複数の候補対応音符の中の1つを前記最適対応音符と仮定した場合の、前記検出対象音符の周辺で演奏された複数の周辺演奏音符の各々と、前記複数の楽譜音符の各々との一致度である個別音符一致度を算出すステップ。
前記複数の周辺演奏音符の各々について、前記複数の楽譜音符の各々との間で算出された複数の個別音符一致度の中から最大個別音符一致度を判定するステップ。
前記検出対象音符と前記候補対応音符との一致度である音符一致度を、当該候補対応音符を前記最適対応音符と仮定した場合の、前記複数の周辺演奏音符の各々について判定された前記最大個別音符一致度をもとに算出するステップ。
前記複数の候補対応音符の中から、前記音符一致度が最大となるものを前記最適対応音符として選択するステップ。
図1は、本発明の一実施形態に係る情報処理装置として機能する演奏認識装置のハードウェア構成例を示すブロック図である。演奏認識装置としては、例えばPC(Personal Computer)等のコンピュータが用いられる。
図5は、演奏認識装置100の動作例を示すフローチャートである。まず演奏データが入力されたか否かが判定される(ステップ101)。入力があった場合(YES)、新しく入力された演奏データ内の演奏音符15が取得され、演奏データ記録部121に記録される(ステップ102)。
Torg …検出対象音符20の演奏時刻
Tbeat …直前のビート演奏時刻
Rbeat …直前のビート楽譜時刻
TempoS…演奏テンポ
TempoR…楽譜テンポ
T…周辺演奏音符35の演奏時刻
Torg …検出対象音符20の演奏時刻
Rorg …候補対応音符25の楽譜時刻
TempoS…演奏テンポ
TempoR…楽譜テンポ
dn …音高の差
σn …音高一致度算出のために設定された標準偏差
dt …時刻の差(第1の変換時刻R1と楽譜時刻との差)
σt …時刻一致度算出のために設定された標準偏差
本発明は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
T…周辺演奏音符35の演奏時刻
Torg …検出対象音符20の演奏時刻
Rorg …候補対応音符25の楽譜時刻
Tbeat …最も近いビート演奏時刻(T1)
Rbeat …最も近いビート楽譜時刻
A2…演奏時間軸
10…楽譜音符
15…演奏音符
20…検出対象音符
25…候補対応音符
30…個別対応音符
35…周辺演奏音符
40…ビート演奏音符
45…ビート楽譜音符
100…演奏認識装置
130…検出対象音符設定部(設定部)
131…候補対応音符選択部(第1の選択部)
132…個別音符一致度算出部(第1の算出部)
133…最大個別音符一致度判定部(判定部)
134…音符一致度算出部(第2の算出部)
135…最適対応音符選択部(第2の選択部)
136…時刻変換部(第1の変換部、第2の変換部)
137…確率分布発生部
138…ビート判定部(ビート時刻算出部)
139…ビート履歴記録部
140…テンポ算出部
Claims (14)
- 楽曲を構成する複数の楽譜音符を記憶する記憶部と、
前記楽曲の演奏により生成される複数の演奏音符を入力する入力部と、
前記入力された複数の演奏音符の中から、対応する楽譜音符を検出する対象となる検出対象音符を設定する設定部と、
前記設定された検出対象音符に対応する楽譜音符である最適対応音符の複数の候補として、前記複数の楽譜音符の中から複数の候補対応音符を選択する第1の選択部と、
前記選択された複数の候補対応音符の中の1つを前記最適対応音符と仮定した場合の、前記検出対象音符の周辺で演奏された複数の周辺演奏音符の各々と、前記複数の楽譜音符の各々との一致度である個別音符一致度を算出する第1の算出部と、
前記複数の周辺演奏音符の各々について、前記複数の楽譜音符の各々との間で算出された複数の個別音符一致度の中から最大個別音符一致度を判定する判定部と、
前記検出対象音符と前記候補対応音符との一致度である音符一致度を、当該候補対応音符を前記最適対応音符と仮定した場合の、前記複数の周辺演奏音符の各々について判定された前記最大個別音符一致度をもとに算出する第2の算出部と、
前記複数の候補対応音符の中から、前記音符一致度が最大となるものを前記最適対応音符として選択する第2の選択部と
を具備する情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記複数の楽譜音符の各々は、所定の時点を基準とした時間軸である楽譜時間軸上において、前記楽譜音符に対する演奏のタイミングを示す時刻である楽譜時刻を有し、
前記複数の演奏音符の各々は、前記所定の時点に対応する時点を基準とした、前記演奏音符を生成する演奏が行われた時刻である演奏時刻を有し、
前記第1の算出部は、前記最適対応音符であると仮定された前記候補対応音符の前記楽譜時刻を基準として、前記周辺演奏音符の演奏時刻と前記楽譜音符の楽譜時刻との一致度である時刻一致度を算出し、その算出された時刻一致度をもとに前記個別音符一致度を算出する
情報処理装置。 - 請求項2に記載の情報処理装置であって、さらに、
前記複数の周辺演奏音符の各々が有する前記演奏時刻を、前記検出対象音符の前記演奏時刻と前記最適対応音符であると仮定された前記候補対応音符の前記楽譜時刻とをもとに、前記楽譜時間軸上の時刻である第1の変換時刻にそれぞれ変換する第1の変換部を具備し、
前記第1の算出部は、前記第1の変換時刻をもとに前記時刻一致度を算出する
情報処理装置。 - 請求項3に記載の情報処理装置であって、
前記記憶部は、前記複数の楽譜音符に対する演奏のテンポを表す楽譜テンポを記憶し、
前記第1の変換部は、前記検出対象音符に応じた演奏テンポを算出するテンポ算出部を有し、前記検出対象音符の前記演奏時刻及び前記周辺演奏音符の前記演奏時刻の差と、前記最適対応音符であると仮定された前記候補対応音符の前記楽譜時刻と、前記楽譜テンポ及び前記演奏テンポの比とをもとに、前記第1の変換時刻を算出する
情報処理装置。 - 請求項4に記載の情報処理装置であって、さらに、
前記楽譜時間軸上のビートの時刻であるビート楽譜時刻と、前記ビート楽譜時刻に対応するビート演奏時刻とを算出するビート時刻算出部を具備し、
前記テンポ算出部は、前記検出対象音符の前記演奏時刻の直前のビート演奏時刻を含む複数のビート演奏時刻をもとに、前記演奏テンポを算出する
情報処理装置。 - 請求項5に記載の情報処理装置であって、
前記第1の変換部は、前記周辺演奏音符の前記演奏時刻に最も近い前記ビート演奏時刻及び前記検出対象音符の前記演奏時刻の差と、前記最も近いビート演奏時刻に対応する前記ビート楽譜時刻及び前記最適対応音符であると仮定された前記候補対応音符の前記楽譜時刻の差との比を用いて、前記第1の変換時刻を算出する
情報処理装置。 - 請求項2から6のうちいずれか1項に記載の情報処理装置であって、さらに、
前記検出対象音符の前記演奏時刻を、前記楽譜時間軸上の時刻である第2の変換時刻に変換する第2の変換部を具備し、
前記第1の選択部は、前記第2の変換時刻を基準とする所定時間の範囲内に含まれる複数の楽譜音符を、前記複数の候補対応音符として選択する
情報処理装置。 - 請求項7に記載の情報処理装置であって、さらに、
前記楽譜時間軸上のビートの時刻であるビート楽譜時刻と、前記ビート楽譜時刻に対応するビート演奏時刻とを算出するビート時刻算出部を具備し、
前記第2の変換部は、前記検出対象音符の前記演奏時刻の直前のビート演奏時刻と前記直前のビート演奏時刻に対応する前記ビート楽譜時刻とをもとに、前記第2の変換時刻を算出する
情報処理装置。 - 請求項2から8のうちいずれか1項に記載の情報処理装置であって、
前記第1の算出部は、確率分布関数を用いて前記時刻一致度を算出する
情報処理装置。 - 請求項9に記載の情報処理装置であって、
前記確率分布関数は、前記周辺演奏音符の前記演奏時刻及び前記検出対象音符の前記演奏時刻の差をもとに生成される
情報処理装置。 - 請求項2から10のうちいずれか1項に記載の情報処理装置であって、
前記複数の楽譜音符の各々は、楽譜音高を有し、
前記複数の演奏音符の各々は、演奏音高を有し、
前記第1の算出部は、前記周辺演奏音符の演奏音高と前記楽譜音符の楽譜音高との一致度である音高一致度を算出し、その算出された音高一致度と前記時刻一致度とをもとに、前記個別音符一致度を算出する
情報処理装置。 - 請求項11に記載の情報処理装置であって、
前記第1の算出部は、確率分布関数を用いて前記音高一致度を算出する
情報処理装置。 - 楽曲を構成する複数の楽譜音符を記憶し、
前記楽曲の演奏により生成される複数の演奏音符を入力し、
前記入力された複数の演奏音符の中から、対応する楽譜音符を検出する対象となる検出対象音符を設定し、
前記設定された検出対象音符に対応する楽譜音符である最適対応音符の複数の候補として、前記複数の楽譜音符の中から複数の候補対応音符を選択し、
前記選択された複数の候補対応音符の中の1つを前記最適対応音符と仮定した場合の、前記検出対象音符の周辺で演奏された複数の周辺演奏音符の各々と、前記複数の楽譜音符の各々との一致度である個別音符一致度を算出し、
前記複数の周辺演奏音符の各々について、前記複数の楽譜音符の各々との間で算出された複数の個別音符一致度の中から最大個別音符一致度を判定し、
前記検出対象音符と前記候補対応音符との一致度である音符一致度を、当該候補対応音符を前記最適対応音符と仮定した場合の、前記複数の周辺演奏音符の各々について判定された前記最大個別音符一致度をもとに算出し、
前記複数の候補対応音符の中から、前記音符一致度が最大となるものを前記最適対応音符として選択する
ことをコンピュータが実行する情報処理方法。 - 楽曲を構成する複数の楽譜音符を記憶するステップと、
前記楽曲の演奏により生成される複数の演奏音符を入力するステップと、
前記入力された複数の演奏音符の中から、対応する楽譜音符を検出する対象となる検出対象音符を設定するステップと、
前記設定された検出対象音符に対応する楽譜音符である最適対応音符の複数の候補として、前記複数の楽譜音符の中から複数の候補対応音符を選択するステップと、
前記選択された複数の候補対応音符の中の1つを前記最適対応音符と仮定した場合の、前記検出対象音符の周辺で演奏された複数の周辺演奏音符の各々と、前記複数の楽譜音符の各々との一致度である個別音符一致度を算出するステップと、
前記複数の周辺演奏音符の各々について、前記複数の楽譜音符の各々との間で算出された複数の個別音符一致度の中から最大個別音符一致度を判定するステップと、
前記検出対象音符と前記候補対応音符との一致度である音符一致度を、当該候補対応音符を前記最適対応音符と仮定した場合の、前記複数の周辺演奏音符の各々について判定された前記最大個別音符一致度をもとに算出するステップと、
前記複数の候補対応音符の中から、前記音符一致度が最大となるものを前記最適対応音符として選択するステップと、
をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014097857A JP6077492B2 (ja) | 2014-05-09 | 2014-05-09 | 情報処理装置、情報処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014097857A JP6077492B2 (ja) | 2014-05-09 | 2014-05-09 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015215455A JP2015215455A (ja) | 2015-12-03 |
JP6077492B2 true JP6077492B2 (ja) | 2017-02-08 |
Family
ID=54752403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014097857A Active JP6077492B2 (ja) | 2014-05-09 | 2014-05-09 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6077492B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7232011B2 (ja) * | 2018-10-17 | 2023-03-02 | 株式会社Nttドコモ | 情報処理装置及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4360000B2 (ja) * | 2000-03-22 | 2009-11-11 | ヤマハ株式会社 | 演奏データ及び楽譜データの処理装置、方法及び記録媒体 |
JP5582915B2 (ja) * | 2009-08-14 | 2014-09-03 | 本田技研工業株式会社 | 楽譜位置推定装置、楽譜位置推定方法および楽譜位置推定ロボット |
JP5808711B2 (ja) * | 2012-05-14 | 2015-11-10 | 株式会社ファン・タップ | 演奏位置検出装置 |
-
2014
- 2014-05-09 JP JP2014097857A patent/JP6077492B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015215455A (ja) | 2015-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109478399B (zh) | 演奏分析方法、自动演奏方法及自动演奏系统 | |
JP6019858B2 (ja) | 楽曲解析装置および楽曲解析方法 | |
US20190051275A1 (en) | Method for providing accompaniment based on user humming melody and apparatus for the same | |
US10504498B2 (en) | Real-time jamming assistance for groups of musicians | |
US10013963B1 (en) | Method for providing a melody recording based on user humming melody and apparatus for the same | |
JP2007241181A (ja) | 自動伴奏システム及び楽譜追跡システム | |
JP2017519255A (ja) | 楽譜の追従方法及びそれに関連したモデル化方法 | |
CN103680486B (zh) | 演奏信息处理装置、演奏信息处理方法 | |
US20130205975A1 (en) | Method for Giving Feedback on a Musical Performance | |
JP5447540B2 (ja) | 演奏教習装置及びそのプログラム | |
US8766078B2 (en) | Music piece order determination device, music piece order determination method, and music piece order determination program | |
JP3528654B2 (ja) | メロディ生成装置及びリズム生成装置と記録媒体 | |
EP3979241A1 (en) | Audio clip matching method and apparatus, computer-readable medium and electronic device | |
JP5196550B2 (ja) | コード検出装置およびコード検出プログラム | |
JP2015031738A (ja) | コード進行推定検出装置及びコード進行推定検出プログラム | |
JP6565528B2 (ja) | 自動アレンジ装置及びプログラム | |
CN110867174A (zh) | 自动混音装置 | |
JP4334096B2 (ja) | 電子楽器の演奏位置検索装置 | |
JP6077492B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2008065153A (ja) | 楽曲構造解析方法、プログラムおよび装置 | |
JP7318253B2 (ja) | 楽曲解析方法、楽曲解析装置およびプログラム | |
JP6597048B2 (ja) | アライメント装置およびプログラム | |
JP6606844B2 (ja) | ジャンル選択装置、ジャンル選択方法、プログラムおよび電子楽器 | |
US20230351988A1 (en) | Method for identifying a song | |
EP4270374A1 (en) | Method for tempo adaptive backing track |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161021 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6077492 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |