WO2017057531A1 - 音響処理装置 - Google Patents
音響処理装置 Download PDFInfo
- Publication number
- WO2017057531A1 WO2017057531A1 PCT/JP2016/078753 JP2016078753W WO2017057531A1 WO 2017057531 A1 WO2017057531 A1 WO 2017057531A1 JP 2016078753 W JP2016078753 W JP 2016078753W WO 2017057531 A1 WO2017057531 A1 WO 2017057531A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- sound
- performance
- sound source
- harmonic
- signal
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G3/00—Gain control in amplifiers or frequency changers without distortion of the input signal
- H03G3/20—Automatic control
- H03G3/30—Automatic control in amplifiers having semiconductor devices
- H03G3/32—Automatic control in amplifiers having semiconductor devices the control being dependent upon ambient noise level or sound level
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
- G10H1/04—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
- G10H1/053—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only
- G10H1/057—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only by envelope-forming circuits
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
- G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
- G10H1/08—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by combining tones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/46—Volume control
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G3/00—Gain control in amplifiers or frequency changers without distortion of the input signal
- H03G3/02—Manually-operated control
- H03G3/04—Manually-operated control in untuned amplifiers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
- H04H60/04—Studio equipment; Interconnection of studios
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/325—Synchronizing two or more audio tracks or files according to musical features or musical timings
Abstract
音響処理装置は、発音源が発音した収録音を表す収録信号を再生する再生制御部と、演奏信号が表す演奏音の発音源の種類を特定する音源識別部とを具備し、前記再生制御部は、前記音源識別部が特定した発音源の種類に前記収録信号の発音源が対応する場合に当該収録信号の音量を低下させる。
Description
本発明は、音響信号の再生を制御する技術に関する。
歌唱音や楽器の演奏音等の各種の音響から発音源の種類を特定する技術が従来から提案されている。例えば特開2013-15601号公報には、収録音の解析で生成された特徴データを、音源データベースに発音源の種類毎に登録された登録特徴データと順次に照合することで、収録音の発音源の種類を特定する技術が開示されている。
ところで、収録済の音響の再生に並行して利用者が楽器を演奏(セッション)する場面が想定される。しかし、利用者による楽器の演奏音と収録済の音響との間で発音内容(例えば旋律)が共通する場合など、演奏音と収録音とが併存すると音楽的に不自然な印象となる場合がある。また、利用者による楽器の演奏に収録音が邪魔になる可能性もある。以上の事情を考慮して、本発明は、収録信号の再生に並行した演奏を容易化することを目的とする。
本発明の音響処理装置は、発音源が発音した収録音を表す収録信号を再生する再生制御部と、演奏信号が表す演奏音の発音源の種類を特定する音源識別部とを具備し、前記再生制御部は、前記音源識別部が特定した発音源の種類に前記収録信号の発音源が対応する場合に当該収録信号の音量を低下させることを特徴とする。
本発明の音響処理方法は、再生制御部により、発音源が発音した収録音を表す収録信号を再生し、音源識別部により、演奏信号が表す演奏音の発音源の種類を特定し、前記再生制御部は、前記音源識別部が特定した発音源の種類に前記収録信号の発音源が対応する場合に当該収録信号の音量を低下させることを特徴とする。
<第1実施形態>
図1は、本発明の第1実施形態の音響処理装置12の構成図である。図1に例示される通り、音響処理装置12には演奏装置13と放音装置16とが接続される。なお、図1では演奏装置13と放音装置16とを音響処理装置12とは別個の要素として図示したが、演奏装置13と放音装置16とを音響処理装置12に搭載することも可能である。
図1は、本発明の第1実施形態の音響処理装置12の構成図である。図1に例示される通り、音響処理装置12には演奏装置13と放音装置16とが接続される。なお、図1では演奏装置13と放音装置16とを音響処理装置12とは別個の要素として図示したが、演奏装置13と放音装置16とを音響処理装置12に搭載することも可能である。
演奏装置13は、利用者による演奏動作に応じた音響(以下「演奏音」という)を表す音響信号(以下「演奏信号」という)Yを生成する。具体的には、利用者が演奏した楽音の演奏信号Yを生成する電子楽器や、利用者が歌唱により発音した歌唱音声の演奏信号Yを生成する収音機器が演奏装置13として利用され得る。なお、演奏装置13が生成した演奏信号Yをアナログからデジタルに変換するA/D変換器の図示は便宜的に省略した。
演奏信号Yで表現される演奏音は、調波音または非調波音である。調波音は、基本周波数の基音成分と複数の倍音成分とを周波数軸上に配列した調波構造が明瞭に観測される調波性の音響である。例えば弦楽器または管楽器等の調波楽器の楽音や歌唱音声等の人間の発声音が調波音の典型例である。他方、非調波音は、調波構造が明瞭に観測されない非調波性の音響である。例えばドラムやシンバル等の打楽器の楽音が非調波音の典型例である。
なお、調波音は、調波性の音響成分を非調波性の音響成分と比較して優勢に含有する音響を意味する。したがって、調波性の音響成分のみで構成される音響のほか、調波性の音響成分と非調波性の音響成分との双方を含有するが全体としては調波性が優勢である音響も、調波音の概念に包含される。同様に、非調波音は、非調波性の音響成分を調波性の音響成分と比較して優勢に含有する音響を意味する。したがって、非調波性の音響成分のみで構成される音響のほか、調波性の音響成分と非調波性の音響成分との双方を含有するが全体としては非調波性が優勢である音響も、非調波音の概念に包含される。以下の説明では、調波音に関連する要素の符号に添字H(H:Harmonic)を付加し、非調波音に関連する要素の符号に添字P(P:Percussive)を付加する場合がある。
音響処理装置12は、制御装置122と記憶装置124とを具備するコンピュータシステムで実現される。記憶装置124は、例えば磁気記録媒体や半導体記録媒体等の公知の記録媒体または複数種の記録媒体の組合せであり、制御装置122が実行するプログラムや制御装置122が使用する各種のデータを記憶する。
第1実施形態の記憶装置124は、相異なる発音源が発音した音響(以下「収録音」という)を表す複数の音響信号(以下「収録信号」という)XAを記憶する。複数の収録信号XAの各々の収録音は、相異なる発音源(例えば演奏により楽音を発音する楽器や歌唱音声を発音する歌唱者)の近傍に配置された収音機器で収録された音響である。具体的には、収録スタジオ等の音響空間の内部で任意の楽曲の各演奏パートの楽器の音響を複数の収録機器により収録することで複数の収録信号XAが生成される。複数の収録信号XAの各々には、当該収録信号XAが表す収録音の発音源の種類を示す音源識別情報DXが付加される。音源識別情報DXは、例えば発音源の名称(具体的には楽器名や演奏パート名)である。なお、収録信号XAと音源識別情報DXとを音響処理装置12の外部の記憶装置(例えばクラウドストレージ)に記憶することも可能である。すなわち、収録信号XAや音源識別情報DXを記憶する機能は音響処理装置12から省略され得る。
制御装置122は、記憶装置124が記憶するプログラムを実行することで、音響解析部20と再生制御部30とを実現する。なお、制御装置122の機能の一部または全部を専用の電子回路で実現する構成や、制御装置122の機能を複数の装置に分散した構成も採用され得る。
音響解析部20は、演奏装置13から供給される演奏信号Yが表す演奏音の発音源の種類を特定する。具体的には、音響解析部20は、演奏音の発音源の種類を示す音源識別情報DYを生成する。音源識別情報DYは、音源識別情報DXと同様に、例えば発音源の名称である。他方、再生制御部30は、記憶装置124に記憶された複数の収録信号XAを放音装置16から再生する。複数の収録信号XAの再生に並行して、利用者は、楽曲の所望の演奏パートを演奏装置13により演奏(すなわちセッション)する。第1実施形態の再生制御部30は、複数の収録信号XAと演奏信号Yとから音響信号XBを生成する。放音装置16(例えばスピーカやヘッドホン)は、音響処理装置12(再生制御部30)が生成した音響信号XBに応じた音響を放音する。なお、音響処理装置12が生成した音響信号XBをデジタルからアナログに変換するD/A変換器の図示は便宜的に省略した。音響解析部20および再生制御部30の具体例を以下に詳述する。
<音響解析部20>
図2は、音響解析部20の構成図である。図2に例示される通り、第1実施形態の音響解析部20は、発音区間検出部40と特徴量抽出部50と音源識別部60とを具備する。
図2は、音響解析部20の構成図である。図2に例示される通り、第1実施形態の音響解析部20は、発音区間検出部40と特徴量抽出部50と音源識別部60とを具備する。
図2の発音区間検出部40は、演奏信号Yについて複数の発音区間Pを検出する。図3には、演奏信号Yの波形と発音区間Pとの関係が図示されている。図3から理解される通り、各発音区間Pは、演奏信号Yが表す演奏音が発音される時間軸上の区間であり、演奏音の発音が開始する時点(以下「発音始点」という)TSから終点(以下「発音終点」という)TEまでの区間である。
具体的には、第1実施形態の発音区間検出部40は、演奏信号Yの強度が閾値ATHを上回る時点を発音始点TSとして特定し、発音始点TSから所定の時間が経過した時点を発音終点TEとして特定する。閾値ATHの選定方法は任意であるが、演奏信号Yの強度の最大値Amaxに対して1未満の正数(例えば0.5)を乗算した数値が閾値ATHとして好適である。なお、発音始点TSの経過後に演奏信号Yの強度が所定の閾値(例えば最大値Amaxに応じた数値)まで減衰した時点を発音終点TEとして特定することも可能である。
図2の特徴量抽出部50は、演奏信号Yの特徴量Fを抽出する。第1実施形態の特徴量抽出部50は、発音区間検出部40が検出した発音区間P毎に特徴量Fを順次に抽出する。特徴量Fは、発音区間P内の演奏信号Yの音響的な特徴を表す指標である。第1実施形態の特徴量Fは、相異なる複数種の特性値f(f1,f2,……)を包含するベクトルで表現される。具体的には、演奏信号Yの音色を表すMFCC(Mel-frequency cepstral coefficients),発音区間P内の音響の立上がりの急峻度,基音成分に対する倍音成分の強度比,演奏信号Yの強度の符号が反転する回数または頻度である零交差数等の複数種の特性値fが特徴量Fに包含される。
各発音源が発音する音響の特徴は、発音始点TSの直後に特に顕著となる。第1実施形態では、演奏信号Yの発音始点TS毎(発音区間P毎)に演奏信号Yの特徴量Fが抽出されるから、発音の有無や時点とは無関係に演奏信号Yを区分した区間毎に特徴量Fを抽出する構成と比較して、発音源の種類毎に固有の特徴が顕著に反映された特徴量Fを抽出できるという利点がある。もっとも、発音源による発音の有無や時点とは無関係に演奏信号Yを時間軸上で区分した区間毎に特徴量Fを抽出する(したがって発音区間検出部40は省略される)ことも可能である。
音源識別部60は、特徴量抽出部50が抽出した特徴量Fを利用して演奏信号Yの発音源の種類を識別することで音源識別情報DYを生成する。図4は、第1実施形態の音源識別部60の構成図である。図4に例示される通り、第1実施形態の音源識別部60は、調波性解析部62と第1解析部64と第2解析部66と音源特定部68とを具備する。
調波性解析部62は、演奏信号Yが表す演奏音が調波音および非調波音の何れに該当するかを演奏信号Yの特徴量Fから解析する。第1実施形態の調波性解析部62は、演奏音が調波音に該当する確度WH(第1確度)と演奏音が非調波音に該当する確度WP(第2確度)とを算定する。
具体的には、特徴量Fの解析で調波音と非調波音とを判別する公知のパターン認識器が調波性解析部62として任意に利用される。第1実施形態では、教師あり学習を利用した統計モデルの代表例であるサポートベクターマシーン(SVM:Support Vector Machine)を調波性解析部62として例示する。すなわち、調波性解析部62は、調波音と非調波音とを含む多数の音響の学習データを適用した機械学習で事前に決定された超平面を利用して、特徴量Fの演奏音が調波音および非調波音の何れに該当するかを特徴量F毎(発音区間P毎)に順次に判別する。そして、調波性解析部62は、例えば所定の期間内に演奏音が調波音であると判別した回数の比率(調波音と判別した回数/当該期間内の判別の総回数)を調波音の確度WHとして算定する一方、演奏音が非調波音であると判別した回数の比率を非調波音の確度WPとして算定する(WH+WP=1)。以上の説明から理解される通り、演奏信号Yの演奏音が調波音である可能性(尤度)が高いほど確度WHは大きい数値となり、演奏音が非調波音である可能性が高いほど確度WPは大きい数値となる。
第1解析部64は、演奏信号Yの演奏音の発音源が複数種の調波音源の何れに該当するかを演奏信号Yの特徴量Fから解析する。調波音源は、調波音を発音する発音源(例えば調波楽器)を意味する。図4では、ベース(Bass),ギター(Guitar),男性歌唱者(male Vo.),女性歌唱者(female Vo.)の4種類が、演奏音の発音源の候補となる調波音源として例示されている。具体的には、第1実施形態の第1解析部64は、N種類(Nは2以上の自然数)の調波音源の各々について、演奏音の発音源が当該調波音源に該当する確度に応じた評価値EH(n)(EH(1)~EH(N))を設定する。
図5は、第1解析部64が評価値EH(1)~EH(N)を設定する処理(以下「調波解析処理」という)のフローチャートである。特徴量抽出部50による特徴量Fの抽出毎(したがって発音区間P毎)に図5の調波解析処理が実行される。
調波解析処理を開始すると、第1解析部64は、事前に選定されたN種類の調波音源から任意の2種類の調波音源を選択する全通り(NC2通り)の組合せの各々について、演奏音の発音源が当該組合せの2種類の調波音源の何れに該当するかを、特徴量Fを利用して判別する(SA1)。以上の判別には、2種類の調波音源を判別候補とするサポートベクターマシーンが好適に利用される。すなわち、調波音源の組合せに相当するNC2通りのサポートベクターマシーンに特徴量Fを適用することで、当該組合せ毎に演奏音の発音源が2種類の調波音源から選択される。
第1解析部64は、N種類の調波音源の各々について、演奏音の発音源が当該調波音源に該当する確度CH(n)(CH(1)~CH(N))を算定する(SA2)。任意の1個(第n番目)の調波音源の確度CH(n)は、例えば、合計NC2回にわたる判別のうち演奏音の発音源が第n番目の調波音源に該当すると判別された回数の比率(調波音源に該当すると判別された回数/NC2)である。以上の説明から理解される通り、演奏信号Yの演奏音の発音源がN種類のうち第n番目の調波音源に該当する可能性(尤度)が高いほど確度CH(n)は大きい数値となる。
第1解析部64は、調波音源毎に算定された確度CH(n)の順位に対応した数値(得点)を評価値EH(n)としてN種類の調波音源の各々について設定する(SA3)。具体的には、確度CH(n)が大きいほど評価値EH(n)が大きい数値となるように確度CH(n)の順位に応じた数値が各調波音源の評価値EH(n)に付与される。例えば、確度CH(n)の降順で最上位に位置する調波音源の評価値EH(n)は数値ε1(例えばε1=100)に設定され、確度CH(n)が第2位に位置する調波音源の評価値EH(n)は数値ε1を下回る数値ε2(例えばε2=80)に設定され、確度CH(n)が第3位に位置する調波音源の評価値EH(n)は数値ε2を下回る数値ε3(例えばε3=60)に設定され、所定の順位を下回る残余の調波音源の評価値EH(n)は最小値(例えば0)に設定される、という具合である。以上の説明から理解される通り、演奏信号Yの演奏音の発音源がN種類のうち第n番目の調波音源に該当する可能性が高いほど評価値EH(n)は大きい数値となる。以上が調波解析処理の好適例である。
図4の第2解析部66は、演奏信号Yの演奏音の発音源が複数種の非調波音源の何れに該当するかを演奏信号Yの特徴量Fから解析する。非調波音源は、非調波音を発音する発音源(例えば打楽器等の非調波楽器)を意味する。図4では、バスドラム(Kick),スネアドラム(Snare),ハイハット(Hi-Hat),フロアタム(F-Tom),シンバル(Cymbal)の5種類が、演奏音の発音源の候補となる非調波音源として例示されている。具体的には、第1実施形態の第2解析部66は、M種類(Mは2以上の自然数)の非調波音源の各々について、演奏音の発音源が当該非調波音源に該当する確度に応じた評価値EP(m)(EP(1)~EP(M))を設定する。なお、調波音源の種類数Nと非調波音源の種類数Mとの異同は不問である。
第2解析部66によるM個の評価値EP(1)~EP(M)の設定(非調波解析処理)は、図5に例示した調波解析処理(第1解析部64による評価値EH(n)の設定)と同様である。具体的には、第2解析部66は、M種類の非調波音源から2種類を選択する全通り(MC2通り)の組合せの各々について、演奏音の発音源が当該組合せの2種類の非調波音源の何れに該当するかを判別し、演奏音の発音源が第m番目の非調波音源に該当する確度CP(m)を非調波音源毎に算定する。非調波音源の判別には、調波解析処理での調波音源の判別と同様にサポートベクターマシーンが好適に利用される。
そして、第2解析部66は、M種類の非調波音源の各々について、確度CP(m)の順位に対応した数値を評価値EP(m)として設定する。確度CP(m)の任意の順位に位置する非調波音源の評価値EP(m)には、確度CH(n)の順番で同順位に位置する調波音源の評価値EH(n)と同等の数値が付与される。具体的には、確度CP(m)の降順で最上位に位置する非調波音源の評価値EP(m)は数値ε1に設定され、確度CP(m)が第2位に位置する非調波音源の評価値EP(m)は数値ε2に設定され、確度CP(m)が第3位に位置する非調波音源の評価値EP(m)は数値ε3に設定され、所定の順位を下回る残余の調波音源の評価値EP(m)は最小値(例えば0)に設定される。したがって、演奏信号Yの演奏音の発音源がM種類のうち第m番目の非調波音源に該当する可能性(尤度)が高いほど評価値EP(m)は大きい数値となる。
特徴量抽出部50が演奏信号Yから抽出する任意の1個の特徴量Fは、前述の通り、相異なる特性値f1(第1特性値)および特性値f2(第2特性値)を含む複数の特性値fで構成される。第1実施形態の第1解析部64は、特徴量Fの特性値f1を利用して、演奏音の発音源がN種類の調波音源の各々に該当する確度CH(n)を解析する。他方、第2解析部66は、特徴量Fの特性値f2を利用して、演奏音の発音源がM種類の非調波音源の各々に該当する確度CP(m)を解析する。すなわち、第1解析部64が調波音源の確度CH(n)の算定に利用する特徴量F(特性値f1)と第2解析部66が非調波音源の確度CP(m)の算定に適用する特徴量F(特性値f2)とは相違する。
具体的には、第1解析部64による確度CH(n)の算定には、調波音源の種類毎に相違が顕著となる特性値f1が利用される。例えば、音色を表すMFCCや、基音成分に対する倍音成分の強度比等の特性値f1が、調波音の確度CH(n)の算定に好適に利用される。他方、第2解析部66による確度CP(m)の算定には、非調波音源の種類毎に相違が顕著となる特性値f2が利用される。例えば、音響の立上がりの急峻度や零交差数等の特性値f2が、非調波音の確度CP(m)の算定に好適に利用される。なお、第1解析部64が利用する特性値f1と第2解析部66が利用する特性値f2とを部分的に共通させることも可能である。
図4の音源特定部68は、調波性解析部62と第1解析部64と第2解析部66とによる以上の解析の結果に応じて演奏信号Yの発音源の種類を特定する。発音源の種類の特定は発音区間P毎に実行される。図4に例示される通り、第1実施形態の音源特定部68は、乗算部682と乗算部684と選択処理部686とを包含する。
乗算部682は、第1解析部64がN種類の調波音源について設定したN個の評価値EH(1)~EH(N)の各々に、調波性解析部62が解析した調波音の確度WHを乗算することでN個の識別指標R(R=EH(n)×WH)を算定する。他方、乗算部684は、第2解析部66がM種類の非調波音源について設定したM個の評価値EP(1)~EP(M)の各々に、調波性解析部62が解析した非調波音の確度WPを乗算することでM個の識別指標R(R=EP(m)×WP)を算定する。乗算部682および乗算部684の処理により、N種類の調波音源とM種類の非調波音源とを含むK種類(K=N+M)の候補音源の各々について識別指標Rが算定される。以上の説明から理解される通り、確度WHは、調波音の各評価値EH(n)に対する加重値に相当し、確度WPは、非調波音の各評価値EP(m)に対する加重値に相当する。演奏音が調波音に該当する確度WHが大きいほど調波音源の識別指標Rが相対的に優勢となり、演奏音が非調波音に該当する確度WPが大きいほど非調波音源の識別指標Rが相対的に優勢となる。
選択処理部686は、乗算部682および乗算部684が算定したK個の識別指標Rに応じて演奏信号Yの演奏音の発音源の種類を特定し、当該発音源の種類を示す音源識別情報DY(例えば楽器名)を生成する。具体的には、選択処理部686は、K種類の候補音源のうち識別指標Rが最大となる1種類の候補音源を演奏音の発音源として選択し、当該候補音源を指定する音源識別情報DYを生成する。すなわち、演奏信号Yの演奏音の発音源の種類が識別される。
図6は、第1実施形態の音源識別部60が任意の1系統の演奏信号Yについて演奏音の発音源の種類を特定する処理(以下「音源識別処理」という)のフローチャートである。複数の演奏信号Yの各々について、特徴量抽出部50による特徴量Fの抽出毎(発音区間P毎)に図6の音源識別処理が実行される。
音源識別処理を開始すると、調波性解析部62は、演奏信号Yが表す演奏音が調波音および非調波音の何れに該当するかを演奏信号Yの特徴量Fから解析する(SB1)。他方、第1解析部64は、図5を参照して説明した調波解析処理によりN種類の調波音源の各々について評価値EH(n)(EH(1)~EH(N))を算定し(SB2)、第2解析部66は、調波解析処理と同様の非調波解析処理によりM種類の非調波音源の各々について評価値EP(m)(EP(1)~EP(M))を算定する(SB3)。そして、音源特定部68は、調波性解析部62と第1解析部64と第2解析部66とによる以上の解析の結果に応じて演奏信号Yの発音源の種類を特定する(SB4)。なお、調波性解析部62による調波性の解析と、第1解析部64による調波解析処理と、第2解析部66による非調波解析処理との順序は任意である。例えば調波解析処理(SB2)および非調波解析処理(SB3)の実行後に調波性解析部62が調波性を解析することも可能である。音響解析部20の構成および動作の具体例は以上の通りである。
以上に説明した通り、第1実施形態では、調波音と非調波音とを相互に区別して演奏音の発音源の種類が特定される。具体的には、演奏音が調波音および非調波音の各々に該当する確度(WH,WP)を調波性解析部62が解析した結果と、演奏音の発音源がN種類の調波音源の各々に該当する確度CH(n)を第1解析部64が解析した結果と、演奏音の発音源がM種類の非調波音源の各々に該当する確度CP(m)を第2解析部66が解析した結果とを利用して、演奏音の発音源の種類が特定される。したがって、調波音と非調波音とを区別せずに発音源の種類を特定する構成と比較して演奏音の発音源の種類を高精度に特定することが可能である。第1解析部64や第2解析部66の未学習の発音源についても再生制御部30による調波音/非調波音の識別は可能であるという利点もある。
また、第1実施形態では、演奏音が調波音に該当する確度WHと各調波音源の評価値EH(n)との乗算、および、演奏音が非調波音に該当する確度WPと各非調波音源の評価値EP(m)との乗算により、K種類の候補楽器(N種類の調波音源およびM種類の非調波音源)の各々について識別指標Rが算定され、各識別指標Rに応じて演奏音の発音源の種類が特定される。すなわち、演奏音が調波音に該当する確度WHが大きいほど調波音源の識別指標Rが相対的に優勢となり、演奏音が非調波音に該当する確度WPが大きいほど非調波音源の識別指標Rが相対的に優勢となる。したがって、K個の識別指標Rの比較により演奏音の発音源の種類を簡便かつ高精度に特定できるという利点がある。
ところで、例えば演奏音の発音源が調波音源に該当する確度CH(n)を評価値EH(n)として利用するとともに演奏音の発音源が非調波音源に該当する確度CP(m)を評価値EP(m)として利用する構成(以下「比較例」という)では、評価値EH(n)の数値が調波音源の種類数Nに依存するとともに評価値EP(m)の数値が非調波音源の種類数Mに依存する。例えば、調波音源の種類数Nが多いほど確度CH(n)は小さい数値となる。したがって、調波音源の種類数Nと非調波音源の種類数Mとが相違する場合には、評価値EH(n)と評価値EP(m)とを適切に比較できないという問題がある。第1実施形態では、演奏音の発音源が調波音源に該当する確度CH(n)の順位に応じた数値が評価値EH(n)として調波音源毎に設定され、演奏音の発音源が非調波音源に該当する確度CP(m)の順位に応じた数値が評価値EP(m)として非調波音源毎に設定される。すなわち、評価値EH(n)は調波音源の種類数Nに依存しない数値に設定され、評価値EP(m)は非調波音源の種類数Mに依存しない数値に設定される。したがって、第1実施形態によれば、例えば調波音源の種類数Nと非調波音源の種類数Mとが相違する場合でも評価値EH(n)と評価値EP(m)とを適切に比較できるという利点がある。調波音源の種類数Nおよび非調波音源の種類数Mの制約が緩和されると換言することも可能である。ただし、前述の比較例も本発明の範囲には包含される。
また、第1実施形態では、第1解析部64が調波音源の確度CH(n)の算定に利用する特徴量F(特性値f1)と第2解析部66が非調波音源の確度CP(m)の算定に適用する特徴量F(特性値f2)とが相違する。具体的には、例えば第1解析部64による確度CH(n)の算定には調波音の識別に好適な特性値f1が利用され、第2解析部66による確度CP(m)の算定には非調波音の識別に好適な特性値f2が利用される。したがって、調波音源の確度CH(n)の算定と非調波音源の確度CP(m)の算定とに同種の特徴量を利用する構成と比較して、演奏音の発音源を高精度に特定できるという利点がある。ただし、第1解析部64と第2解析部66とが共通の特徴量Fを利用することも可能である。
<再生制御部30>
図1の再生制御部30は、以上に説明した音響解析部20による解析結果(音源識別部60が生成した音源識別情報DY)に応じて複数の収録信号XAと演奏信号Yとを混合することで音響信号XBを生成する。図7は、再生制御部30の構成図である。図7に例示される通り、第1実施形態の再生制御部30は、音響処理部32と音量調整部34と混合処理部36とを具備する。なお、音響処理部32と音量調整部34との前後は逆転され得る。
図1の再生制御部30は、以上に説明した音響解析部20による解析結果(音源識別部60が生成した音源識別情報DY)に応じて複数の収録信号XAと演奏信号Yとを混合することで音響信号XBを生成する。図7は、再生制御部30の構成図である。図7に例示される通り、第1実施形態の再生制御部30は、音響処理部32と音量調整部34と混合処理部36とを具備する。なお、音響処理部32と音量調整部34との前後は逆転され得る。
音響処理部32は、記憶装置124に記憶された各収録信号XAと演奏装置13から供給される演奏信号Yとに対して各種の音響処理を実行する。例えば残響効果や歪効果等の各種の音響効果を付与する効果付与処理(エフェクタ),周波数帯域毎の音量を調整する特性調整処理(イコライザ),音像が定位する位置を調整する定位調整処理(パン)等の各種の音響処理が、音響処理部32により各収録信号XAおよび演奏信号Yに実行される。
音量調整部34は、音響処理部32による処理後の各収録信号XAおよび演奏信号Yの音量(混合比)を調整する。例えば利用者からの指示に応じて音量を調整するほか、第1実施形態の音量調整部34は、複数の収録信号XAのうち音響解析部20(音源識別部60)が特定した演奏音の発音源の種類に対応する収録信号(以下「対象信号」という)XAの音量を低下させる。第1実施形態の音量調整部34は、対象信号XAの音量をゼロ(消音)に変更する。
音量調整部34による対象信号XAの選択には図8の関係情報Gが使用される。関係情報Gは、収録音の発音源と演奏音の発音源との対応を指定する情報であり、事前に用意されて記憶装置124に格納される。具体的には、関係情報Gは、図8に例示される通り、収録信号XAに付加され得る各音源識別情報DX(DX1,DX2,……)と演奏信号Yから特定され得る各音源識別情報DY(DY1,DY2,……)とを相互に対応付けるデータテーブルである。
音量調整部34は、記憶装置124に記憶された関係情報Gを参照し、音源識別部60が特定した演奏音の発音源に関係情報Gで対応付けられた発音源の収録信号XAを対象信号XAとして選択する。具体的には、音量調整部34は、音源識別部60が生成した音源識別情報DYに対応する音源識別情報DXを関係情報Gから探索し、当該音源識別情報DXが付加された収録信号XAを対象信号XAとして音量を低下させる。例えば「歌唱音声」の音源識別情報DXと「サックス」の音源識別情報DYとの対応を指定する関係情報Gを想定すると、演奏装置13の一例である「サックス」を利用者が演奏した場合、複数の収録信号XAのうち「歌唱音声」の収録信号XAが対象信号XAとして選択されて音量が低減(例えば消音)される。なお、上記音量の低下は、徐々に音量を低下させるように構成してもよい。
音量調整部34による対象信号XAの選択と当該対象信号XAの音量の調整とは、例えば所定の周期で反復的に実行される。したがって、利用者が演奏装置13の演奏を開始していない期間では全部の収録信号XAが適度な音量で再生され、利用者が演奏装置13の演奏を開始した場合に対象信号XAの音量が低下する。また、利用者が演奏装置13の演奏を終了した場合には対象信号XAの音量が再び増加する。
関係情報Gでは、例えば音楽的に両立し難い発音源間の対応が指定される。例えば、音響特性が相互に近似するため再生音と収録音とが並列に再生されると受聴者が違和感を知覚する2種類の発音源の組合せや、音楽的な表情や印象が極端に相違するため再生音と収録音とが並列に再生されると受聴者が違和感を知覚する2種類の発音源の組合せが、関係情報Gで指定される。したがって、演奏信号Yの演奏音の発音源と並列に再生された場合に受聴者に違和感を付与し得る傾向がある発音源の対象信号XAについて音量が低減される。
図7の混合処理部36は、音響処理部32および音量調整部34による処理後の複数の収録信号XAと演奏信号Yとを混合(ミキシング)することで音響信号XBを生成する。以上の処理の結果、楽曲の複数の演奏パートの一部(対象信号XAに対応する収録音)を利用者が演奏した演奏音に置換した再生音が放音装置16から再生される。すなわち、第1実施形態の再生制御部30は、音源識別部60による発音源の識別結果を反映した自動ミキシングを実現する。
以上に説明した通り、第1実施形態では、複数の収録信号XAのうち演奏信号Yが表す演奏音の発音源の種類に対応する収録信号XAの音量が低下する。したがって、演奏音の発音源の種類に応じた収録信号XAの音量の制御を実行しない構成と比較して、複数の収録信号XAの再生に並行した演奏を容易化する(収録音の再生に邪魔されずに演奏する)ことが可能である。第1実施形態では特に、複数の収録信号XAのうち関係情報Gにて演奏音の発音源に対応付けられた発音源の収録信号XA(対象信号XA)の音量が低下するから、例えば音楽的に両立し難い発音源間の対応を関係情報Gにて事前に指定することで、複数の収録信号XAの再生に並行した演奏を容易化することが可能である。
<第2実施形態>
本発明の第2実施形態を説明する。なお、以下に例示する各形態において作用や機能が第1実施形態と同様である要素については、第1実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
本発明の第2実施形態を説明する。なお、以下に例示する各形態において作用や機能が第1実施形態と同様である要素については、第1実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
図9は、第2実施形態の音響処理装置12の構成図である。図9に例示される通り、第2実施形態の音響処理装置12は、第1実施形態と同様の要素(音響解析部20および再生制御部30)に類否解析部72を追加した構成である。類否解析部72は、音響解析部20および再生制御部30と同様に、記憶装置124に記憶されたプログラムを制御装置122が実行することで実現される。
図9の類否解析部72は、記憶装置124に記憶された複数の収録信号XAの各々と演奏装置13から供給される演奏信号Yとの間の発音内容の類否を解析する。類否解析部72による解析対象となる発音内容は、例えば複数の音高の配列である旋律(メロディ)や音響の時間的な変動(例えば拍点の時系列)を意味するリズム等の音楽的な要素である。類否解析部72は、複数の収録信号XAの各々について、当該収録信号XAと演奏信号Yとの発音内容の類似度(例えば距離や相関)Lを算定する。発音内容の類否の解析には公知の技術が任意に採用され得る。例えば、収録信号XAと演奏信号Yとの間において時間的に近い発音区間Pでの音高が類似する度合(すなわち収録音と演奏音とで旋律が類似する度合)や、収録信号XAと演奏信号Yとの間において発音区間Pの時間軸上の位置や個数が類似する度合(すなわち収録音と演奏音とでリズムが類似する度合)に応じて類似度Lを算定することが可能である。なお、収録信号XAと演奏信号Yとの間で時間軸上の対応を解析する公知の同期解析を類否解析部72による解析に利用することも可能である。
第2実施形態の音量調整部34(再生制御部30)は、音響処理部32による処理後の複数の収録信号XAのうち演奏信号Yとの間で発音内容が類似すると類否解析部72が判断した収録信号XAを対象信号XAに選択して音量を低下(例えば消音)させる。具体的には、音量調整部34は、複数の収録信号XAのうち類似度Lが最大値である収録信号XA(すなわち、発音内容が演奏信号Yに最も類似する収録信号XA)を対象信号XAとして選択する。類否解析部72による類似度Lの算定と音量調整部34による対象信号XAの音量の調整とは、例えば所定の周期で反復的に実行される。したがって、利用者が演奏装置13の演奏を開始していない期間では全部の収録信号XAが適度な音量で再生され、利用者が演奏装置13の演奏を開始した場合に、当該演奏装置13の演奏音に類似する対象信号XAの音量が低下する。また、利用者が演奏装置13の演奏を終了した場合には対象信号XAの音量が再び増加する。なお、音響処理部32および音量調整部34による処理後の複数の収録信号XAおよび演奏信号Yから混合処理部36が音響信号XBを生成する動作は第1実施形態と同様である。
第2実施形態では、複数の収録信号XAのうち演奏信号Yとの間で発音内容が類似する収録信号(対象信号)XAの音量が低減される。したがって、楽曲内の同じ演奏パートの収録音のように発音内容が演奏音に類似する収録音に邪魔されずに、利用者は所望の演奏パートを演奏することが可能である。また、収録音の発音源と演奏音の発音源との対応を関係情報Gで事前に指定する第1実施形態と比較して、発音源間の対応を事前に登録する必要がないという利点や、未登録の発音源の収録信号XAについても演奏信号Yとの関係を加味して適切に音量を低減できるという利点がある。
<第3実施形態>
図10は、第3実施形態の音響処理装置12の構成図である。図10に例示される通り、第3実施形態の音響処理装置12は、第1実施形態と同様の要素(音響解析部20および再生制御部30)に演奏解析部74を追加した構成である。演奏解析部74は、音響解析部20および再生制御部30と同様に、記憶装置124に記憶されたプログラムを制御装置122が実行することで実現される。
図10は、第3実施形態の音響処理装置12の構成図である。図10に例示される通り、第3実施形態の音響処理装置12は、第1実施形態と同様の要素(音響解析部20および再生制御部30)に演奏解析部74を追加した構成である。演奏解析部74は、音響解析部20および再生制御部30と同様に、記憶装置124に記憶されたプログラムを制御装置122が実行することで実現される。
図10の演奏解析部74は、演奏信号Yが表す演奏音が旋律音および伴奏音の何れに該当するかを解析する。例えば、旋律音は単音(単独の音高)で演奏される場合が多く、伴奏音は和音で演奏される場合が多いという概略的な傾向がある。以上の傾向を考慮して、演奏解析部74は、演奏信号Yにて単音の頻度が高い場合には演奏音を旋律音と推定し、演奏信号Yにて和音の頻度が高い場合には演奏音を伴奏音と推定する。演奏音の単音/和音は、例えば周波数スペクトルのピークの総数を計数することで判別可能である。すなわち、演奏解析部74は、周波数スペクトルのピークの総数が閾値を下回る場合には演奏音を単音と判断し、ピークの総数が閾値を上回る場合には演奏音を和音と判断する。また、演奏解析部74が、12種類の音階音の各々における演奏信号Yの強度を複数のオクターブにわたって加算した12次元のクロマベクトルを算定し、クロマベクトルの12個の要素のうち閾値を上回る要素の個数が少ない場合に演奏音を単音と判断し、個数が多い場合に演奏音を和音と判断することも可能である。
第3実施形態の音量調整部34(再生制御部30)は、第1実施形態と同様の方法で複数の収録信号XAから対象信号XAを選択し、当該対象信号XAの音量を低下させるか否かを演奏解析部74による解析結果に応じて決定する。旋律音を演奏する場合には他の演奏パートの再生音が利用者にとって特に邪魔になり易いが、伴奏音については、他の演奏パートの再生音が存在しても利用者が比較的に容易に演奏できるという概略的な傾向がある。以上の傾向を想定して、第3実施形態の音量調整部34は、演奏信号Yの演奏音が旋律音であると演奏解析部74が判断した場合には対象信号XAの音量を低下させる一方、演奏信号Yの演奏音が伴奏音であると演奏解析部74が判断した場合には対象信号XAの音量を低下させない。なお、音響処理部32および音量調整部34による処理後の複数の収録信号XAおよび演奏信号Yから混合処理部36が音響信号XBを生成する動作は第1実施形態と同様である。
第3実施形態では、演奏音が旋律音および伴奏音の何れに該当するかに応じて収録信号(対象信号)XAの音量を低下させるか否かが決定される。したがって、演奏音および収録音の一方が旋律音であり他方が伴奏音である場合のように両者が相互に両立し得る場合にまで必要以上に収録信号XAの音量が低下する可能性を低減できるという利点がある。
<変形例>
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
(1)前述の各形態では、調波性解析部62がサポートベクターマシンにより調波音と非調波音とを判別したが、調波性解析部62による調波音/非調波音の判別方法は以上の例示に限定されない。例えば、調波音および非調波音の各々の特徴量Fの分布傾向を表現する混合正規分布を利用して演奏音を調波音と非調波音とに判別する方法や、K-meansアルゴリズムを利用したクラスタリングで演奏音を調波音と非調波音とに判別する方法も採用され得る。第1解析部64および第2解析部66の各々が演奏音の発音源の種類を推定する方法についても同様に、前述の各形態で例示したサポートベクターマシンには限定されず、公知のパターン認識技術を任意に採用することが可能である。
(2)前述の各形態では、調波性解析部62が解析した調波音の確度WHをN個の評価値EH(1)~EH(N)に乗算するとともに非調波音の確度WPをM個の評価値EP(1)~EP(M)に乗算したが、調波音の確度WHおよび非調波音の確度WPを収録信号XAの発音源の種類に反映させる方法は以上の例示に限定されない。例えば、収録信号XAの演奏音が調波音および非調波音の何れに該当するかを確度WHおよび確度WPに応じて判別し、N個の評価値EH(1)~EH(N)およびM個の評価値EP(1)~EP(M)の何れかを調波性の判別結果に応じて選択的に利用して、音源特定部68が発音源の種類を特定することも可能である。
具体的には、調波性解析部62は、確度WHが確度WPを上回る場合には演奏音を調波音と判別し、確度WPが確度WHを上回る場合には演奏音を非調波音と判別する。音源特定部68は、演奏音が調波音であると判別された場合には、第1解析部64が算定したN個の評価値EH(1)~EH(N)のなかの最大値に対応する調波音源を発音源の種類として特定する一方、演奏音が非調波音であると判別された場合には、第2解析部66が算定したM個の評価値EP(1)~EP(M)のなかの最大値に対応する非調波音源を発音源の種類として特定する。以上に例示した構成は、前述の各形態において、確度WHおよび確度WPの一方を1に設定するとともに他方を0に設定した構成とも換言される。なお、演奏音が調波音であると調波性解析部62が判別した場合に第2解析部66による非調波解析処理(M個の評価値EP(1)~EP(M)の算定)を省略する構成や、演奏音が非調波音であると調波性解析部62が解析した場合に第1解析部64による調波解析処理(N個の評価値EH(1)~EH(N)の算定)を省略する構成も採用され得る。
以上の例示から理解される通り、音源特定部68は、調波性解析部62と第1解析部64と第2解析部66とによる解析結果に応じて演奏音の発音源の種類を特定する要素として包括的に表現され、第1解析部64および第2解析部66の双方の解析結果を利用するか一方の解析結果のみを利用するかは、本発明において不問である。
(3)前述の各形態では、記憶装置124に記憶された複数の収録信号XAの各々に音源識別情報DXが事前に付加された構成を例示したが、各収録信号XAが表す収録音の発音源の特定(音源識別情報DXの生成)には、第1実施形態で例示した音響解析部20(音源識別部60)が利用され得る。具体的には、利用者による演奏装置13の演奏前に(例えば収録音の収録に並行して)、図11に例示される通り、複数の収録信号XAの各々が音響解析部20に供給される。音響解析部20は、第1実施形態において演奏信号Yに実行した処理と同様の処理を複数の収録信号XAの各々について実行することで収録信号XA毎の音源識別情報DXを生成する。音響解析部20(音源識別部60)が各収録信号XAについて生成した音源識別情報DXが当該収録信号XAに付加されて記憶装置124に格納される。
(4)前述の各形態では、複数の収録信号XAのうちひとつの収録信号XAの音量を音量調整部34が選択的に低下させたが、音響解析部20による解析の結果に応じて2以上の収録信号XAの音量を低下させることも可能である。例えば、第1実施形態の関係情報Gにおいて任意の1個の音源識別情報DYに対して対象音の複数の音源識別情報DXを対応付けた構成や、第2実施形態の構成において類似度Lの降順で上位に位置する2以上の収録信号XAの音量を低下させる構成が採用され得る。
(5)前述の各形態では、複数の収録信号XAを再生する場合を例示したが、1系統の収録信号XAを再生する場合にも、音響解析部20(音源識別部60)が特定した演奏音の発音源の種類に対応する収録信号XAの音量を低下させる構成は採用され得る。具体的には、再生制御部30は、音源識別部60が特定した発音源の種類に収録信号XAの発音源が対応する場合に当該収録信号XAの音量を低下させる。例えば、事前に収録された歌唱音声の収録信号XAを再生する一方で演奏装置13(収音機器)が利用者の歌唱音声の演奏信号Yを生成する場面では、演奏信号Yの発音源(利用者)が特定された場合に再生制御部30が収録信号XAの音量を低下させることで、収録信号XAをガイドボーカルとして利用して利用者が歌唱できる。また、例えば鍵盤ハーモニカ等の楽器の模範的な演奏音(例えば教師による演奏音)を収録した収録信号XAを再生する一方で演奏装置13(例えば鍵盤ハーモニカ等の楽器)が利用者による演奏音の演奏信号Yを生成する場面では、演奏信号Yの発音源が特定された場合に再生制御部30が収録信号XAの音量を低下させる。したがって、収録信号XAの演奏音を随時に確認しながら効果的に楽器演奏を練習することが可能である。以上の説明から理解される通り、再生制御部30は、音源識別部60が特定した発音源の種類に収録信号XAの発音源が対応する場合に当該収録信号XAの音量を低下させる要素として包括的に表現され、収録信号XAの総数(単数/複数)は本発明において任意である。
(6)移動体通信網やインターネット等の通信網を介して端末装置(例えば携帯電話機やスマートフォン)と通信するサーバ装置で音響処理装置12を実現することも可能である。具体的には、音響処理装置12は、端末装置から通信網を介して受信した複数の収録信号XAから前述の各形態と同様の処理で音響信号XBを生成して端末装置に送信する。なお、収録信号XAの発音区間P毎の特徴量Fが端末装置から音響処理装置12に送信される構成(例えば端末装置が発音区間検出部40および特徴量抽出部50を具備する構成)では、音響処理装置12の音響解析部20から発音区間検出部40と特徴量抽出部50とが省略される。
(7)前述の各形態で例示した音響処理装置12は、前述の通り制御装置122とプログラムとの協働で実現される。プログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性(non-transitory)の記録媒体であり、CD-ROM等の光学式記録媒体(光ディスク)が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、以上に例示したプログラムは、通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。
(8)本発明は、前述の各形態に係る音響処理装置12の動作方法としても特定される。例えば、相異なる発音源が発音した収録音を表す複数の収録信号XAを再生する方法(音響再生方法)においては、コンピュータ(単体の装置のほか、相互に別体の複数の装置で構成されたコンピュータシステムも含む)が、演奏信号Yが表す演奏音の発音源の種類を特定する一方(図6の音源識別処理)、複数の収録信号XAのうち当該特定した発音源の種類に対応する収録信号XAの音量を低下させる。
なお、本発明の音響処理装置は、発音源が発音した収録音を表す収録信号を再生する再生制御部と、演奏信号が表す演奏音の発音源の種類を特定する音源識別部とを具備し、再生制御部は、音源識別部が特定した発音源の種類に収録信号の発音源が対応する場合に当該収録信号の音量を低下させる。以上の構成では、演奏信号が表す演奏音の発音源の種類に対応する収録信号の音量が低下する。したがって、演奏音の発音源の種類に応じた収録信号の音量の制御が実行されない構成と比較して、収録信号の再生に並行した演奏を容易化する(収録音の再生に邪魔されずに演奏する)ことが可能である。なお、演奏音は、例えば各種の楽器が発音する楽音や歌唱者が発声した歌唱音声である。
本発明の好適な態様において、再生制御部は、相異なる発音源が発音した収録音を表す複数の収録信号を再生し、複数の収録信号のうち音源識別部が特定した発音源の種類に対応する収録信号の音量を低下させる。以上の構成では、複数の収録信号のうち演奏信号が表す演奏音の発音源の種類に対応する収録信号の音量が低下する。したがって、演奏音の発音源の種類に応じた収録信号の音量の制御が実行されない構成と比較して、複数の収録信号の再生に並行した演奏を容易化する(収録音の再生に邪魔されずに演奏する)ことが可能である。なお、演奏音は、例えば各種の楽器が発音する楽音や歌唱者が発声した歌唱音声である。
本発明の第1態様において、再生制御部は、収録音の発音源と演奏音の発音源との対応を指定する関係情報を参照して、複数の収録信号のうち、音源識別部が特定した発音源に関係情報で対応付けられた発音源の収録信号の音量を低下させる。第1態様では、複数の収録信号のうち関係情報にて演奏音の発音源に対応付けられた発音源の収録信号の音量が低下する。したがって、例えば音楽的に両立し難い発音源間の対応を関係情報にて事前に指定することで、複数の収録信号の再生に並行した演奏を容易化することが可能である。
本発明の第2態様に係る音響処理装置は、複数の収録信号の各々と演奏信号との間の発音内容の類否を解析する類否解析部を具備し、再生制御部は、複数の収録信号のうち、演奏信号との間で発音内容が類似すると類否解析部が判断した収録信号の音量を低下させる。第2態様では、複数の収録信号のうち演奏信号との間で発音内容が類似すると判断された収録信号の音量が低下する。したがって、発音内容が演奏音に類似する収録音(例えば楽曲内の同じパートの収録音)に邪魔されずに演奏することが可能である。また、収録音の発音源と演奏音の発音源との対応を関係情報で事前に指定する前述の態様と比較して、発音源間の対応を事前に登録する必要がないという利点や、未登録の発音源の収録信号についても演奏信号との関係を加味して適切に音量を低下させることができるという利点がある。
本発明の第3態様に係る音響処理装置は、演奏信号が表す演奏音が旋律音および伴奏音の何れに該当するかを解析する演奏解析部を具備し、再生制御部は、収録信号の音量を低下させるか否かを、演奏解析部による解析結果に応じて決定する。第3態様では、演奏音が旋律音および伴奏音の何れに該当するかに応じて収録信号の音量を低下させるか否かが決定される。したがって、演奏音および収録音の一方が旋律音であり他方が伴奏音である場合のように両者が相互に両立し得る場合にまで必要以上に収録信号の音量が低下する可能性を低減できるという利点がある。
前述の各態様の好適例において、音源識別部は、演奏信号が表す演奏音が調波音および非調波音の各々に該当する確度を演奏信号の特徴量から解析する調波性解析部と、調波音を発音する複数種の調波音源の各々に演奏音の発音源が該当する確度を演奏信号の特徴量から解析する第1解析部と、非調波音を発音する複数種の非調波音源の各々に演奏音の発音源が該当する確度を演奏信号の特徴量から解析する第2解析部と、調波性解析部と第1解析部と第2解析部とによる解析の結果に応じて演奏音の発音源の種類を特定する音源特定部とを含む。以上の態様では、調波音と非調波音とを相互に区別して演奏音の発音源の種類が特定される。具体的には、演奏音が調波音および非調波音の各々に該当する確度を調波性解析部が解析した結果と、演奏音の発音源が複数種の調波音源の各々に該当する確度を第1解析部が解析した結果と、演奏音の発音源が複数種の非調波音源の各々に該当する確度を第2解析部が解析した結果とを利用して、演奏音の発音源の種類が特定される。したがって、調波音と非調波音とを区別せずに発音源の種類を特定する構成と比較して演奏音の発音源の種類を高精度に特定することが可能である。
なお、再生制御部30が「音量を低下させる」とは、音量調整部が対象信号XAの音量を低下させて(0にする場合を含む)再生する場合の他、対象信号XAの混合処理部36への入力をしないで再生する場合も含む。
Claims (9)
- 発音源が発音した収録音を表す収録信号を再生する再生制御部と、
演奏信号が表す演奏音の発音源の種類を特定する音源識別部とを具備し、
前記再生制御部は、前記音源識別部が特定した発音源の種類に前記収録信号の発音源が対応する場合に当該収録信号の音量を低下させる
音響処理装置。 - 前記再生制御部は、相異なる発音源が発音した収録音を表す複数の収録信号を再生し、前記複数の収録信号のうち前記音源識別部が特定した発音源の種類に対応する収録信号の音量を低下させる
請求項1の音響処理装置。 - 前記再生制御部は、前記複数の収録信号に応じた複数の信号と前記演奏信号を混合して再生する
請求項2の音響処理装置。 - 前記再生制御部は、収録音の発音源と演奏音の発音源との対応を指定する関係情報を参照して、前記複数の収録信号のうち、前記音源識別部が特定した発音源に前記関係情報で対応付けられた発音源の収録信号の音量を低下させる
請求項2又は3の音響処理装置。 - 前記複数の収録信号の各々と前記演奏信号との間の発音内容の類否を解析する類否解析部を具備し、
前記再生制御部は、前記複数の収録信号のうち、前記演奏信号との間で発音内容が類似すると前記類否解析部が判断した収録信号の音量を低下させる
請求項2乃至4のいずれかの音響処理装置。 - 前記演奏信号が表す演奏音が旋律音および伴奏音の何れに該当するかを解析する演奏解析部を具備し、
前記再生制御部は、前記収録信号の音量を低下させるか否かを、前記演奏解析部による解析結果に応じて決定する
請求項2乃至5のいずれかの音響処理装置。 - 前記再生制御部は、利用者の演奏中に、前記収録信号の音量を低下させ、演奏終了後に前記収録信号の音量の低下を解除する
請求項1乃至6のいずれかの音響処理装置。 - 前記音源識別部は、
前記演奏信号が表す演奏音が調波音および非調波音の各々に該当する確度を前記演奏信号の特徴量から解析する調波性解析部と、
調波音を発音する複数種の調波音源の各々に前記演奏音の発音源が該当する確度を前記演奏信号の特徴量から解析する第1解析部と、
非調波音を発音する複数種の非調波音源の各々に前記演奏音の発音源が該当する確度を前記演奏信号の特徴量から解析する第2解析部と、
前記調波性解析部と前記第1解析部と前記第2解析部とによる解析の結果に応じて前記演奏音の発音源の種類を特定する音源特定部とを含む
請求項1乃至7のいずれかの音響処理装置。 - 再生制御部により、発音源が発音した収録音を表す収録信号を再生し、
音源識別部により、演奏信号が表す演奏音の発音源の種類を特定し、
前記再生制御部は、前記音源識別部が特定した発音源の種類に前記収録信号の発音源が対応する場合に当該収録信号の音量を低下させる
音響処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201680056960.7A CN108369800B (zh) | 2015-09-29 | 2016-09-29 | 声处理装置 |
US15/938,448 US10298192B2 (en) | 2015-09-29 | 2018-03-28 | Sound processing device and sound processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-191027 | 2015-09-29 | ||
JP2015191027A JP6657713B2 (ja) | 2015-09-29 | 2015-09-29 | 音響処理装置および音響処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/938,448 Continuation US10298192B2 (en) | 2015-09-29 | 2018-03-28 | Sound processing device and sound processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017057531A1 true WO2017057531A1 (ja) | 2017-04-06 |
Family
ID=58427590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/078753 WO2017057531A1 (ja) | 2015-09-29 | 2016-09-29 | 音響処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10298192B2 (ja) |
JP (1) | JP6657713B2 (ja) |
CN (1) | CN108369800B (ja) |
WO (1) | WO2017057531A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6939922B2 (ja) * | 2019-03-25 | 2021-09-22 | カシオ計算機株式会社 | 伴奏制御装置、伴奏制御方法、電子楽器及びプログラム |
JP7404737B2 (ja) | 2019-09-24 | 2023-12-26 | カシオ計算機株式会社 | 自動演奏装置、電子楽器、方法およびプログラム |
JP7230870B2 (ja) * | 2020-03-17 | 2023-03-01 | カシオ計算機株式会社 | 電子楽器、電子鍵盤楽器、楽音発生方法およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH086553A (ja) * | 1994-06-24 | 1996-01-12 | Yamaha Corp | 自動演奏装置 |
JP2008309928A (ja) * | 2007-06-13 | 2008-12-25 | Yamaha Corp | カラオケシステム、楽曲配信装置およびプログラム |
JP2011237600A (ja) * | 2010-05-11 | 2011-11-24 | Brother Ind Ltd | 楽曲演奏装置 |
JP2014066922A (ja) * | 2012-09-26 | 2014-04-17 | Xing Inc | 楽曲演奏装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04199096A (ja) * | 1990-11-29 | 1992-07-20 | Pioneer Electron Corp | カラオケ演奏装置 |
JPH0519777A (ja) * | 1991-07-12 | 1993-01-29 | Pioneer Electron Corp | カラオケ装置 |
US5478967A (en) * | 1993-03-30 | 1995-12-26 | Kabushiki Kaisha Kawai Gakki Seisakusho | Automatic performing system for repeating and performing an accompaniment pattern |
JP3013796B2 (ja) * | 1996-11-29 | 2000-02-28 | ヤマハ株式会社 | リズム演奏装置 |
JP3858694B2 (ja) * | 2001-12-28 | 2006-12-20 | ヤマハ株式会社 | 電子鍵盤楽器の楽音再生方法および電子鍵盤楽器 |
JP2005257832A (ja) * | 2004-03-10 | 2005-09-22 | Yamaha Corp | 演奏再生装置 |
US8450592B2 (en) * | 2006-09-18 | 2013-05-28 | Circle Consult Aps | Method and a system for providing sound generation instructions |
WO2010013754A1 (ja) | 2008-07-30 | 2010-02-04 | ヤマハ株式会社 | オーディオ信号処理装置、オーディオ信号処理システム、およびオーディオ信号処理方法 |
JP5463634B2 (ja) * | 2008-07-30 | 2014-04-09 | ヤマハ株式会社 | オーディオ信号処理装置、オーディオ信号処理システムおよびオーディオ信号処理方法 |
JP5838563B2 (ja) * | 2010-02-25 | 2016-01-06 | ヤマハ株式会社 | 電子楽器及びプログラム |
JP2013015601A (ja) | 2011-07-01 | 2013-01-24 | Dainippon Printing Co Ltd | 音源の識別装置および音源に連動する情報処理装置 |
JP6201460B2 (ja) | 2013-07-02 | 2017-09-27 | ヤマハ株式会社 | ミキシング管理装置 |
JP6939922B2 (ja) * | 2019-03-25 | 2021-09-22 | カシオ計算機株式会社 | 伴奏制御装置、伴奏制御方法、電子楽器及びプログラム |
-
2015
- 2015-09-29 JP JP2015191027A patent/JP6657713B2/ja active Active
-
2016
- 2016-09-29 WO PCT/JP2016/078753 patent/WO2017057531A1/ja active Application Filing
- 2016-09-29 CN CN201680056960.7A patent/CN108369800B/zh active Active
-
2018
- 2018-03-28 US US15/938,448 patent/US10298192B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH086553A (ja) * | 1994-06-24 | 1996-01-12 | Yamaha Corp | 自動演奏装置 |
JP2008309928A (ja) * | 2007-06-13 | 2008-12-25 | Yamaha Corp | カラオケシステム、楽曲配信装置およびプログラム |
JP2011237600A (ja) * | 2010-05-11 | 2011-11-24 | Brother Ind Ltd | 楽曲演奏装置 |
JP2014066922A (ja) * | 2012-09-26 | 2014-04-17 | Xing Inc | 楽曲演奏装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6657713B2 (ja) | 2020-03-04 |
CN108369800B (zh) | 2022-04-05 |
JP2017067902A (ja) | 2017-04-06 |
US10298192B2 (en) | 2019-05-21 |
US20180219521A1 (en) | 2018-08-02 |
CN108369800A (zh) | 2018-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2115732B1 (en) | Music transcription | |
JP5642296B2 (ja) | 音響ジェスチャにより制御信号を発生するための入力インタフェース | |
EP3428911B1 (en) | Device configurations and methods for generating drum patterns | |
WO2017057531A1 (ja) | 音響処理装置 | |
Lerch | Software-based extraction of objective parameters from music performances | |
JP6565548B2 (ja) | 音響解析装置 | |
Holzapfel et al. | Similarity methods for computational ethnomusicology | |
JP5292702B2 (ja) | 楽音信号生成装置及びカラオケ装置 | |
WO2022153875A1 (ja) | 情報処理システム、電子楽器、情報処理方法およびプログラム | |
Dittmar et al. | A toolbox for automatic transcription of polyphonic music | |
Otsuka et al. | Incremental polyphonic audio to score alignment using beat tracking for singer robots | |
JP6565549B2 (ja) | 音響解析装置 | |
JP2015191177A (ja) | プログラム、情報処理装置、及びデータ生成方法 | |
US20230290325A1 (en) | Sound processing method, sound processing system, electronic musical instrument, and recording medium | |
JP2012118234A (ja) | 信号処理装置,及びプログラム | |
JP5569307B2 (ja) | プログラム、及び編集装置 | |
Müller et al. | Music signal processing | |
JPH1173199A (ja) | 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体 | |
JP5034471B2 (ja) | 楽音信号発生装置及びカラオケ装置 | |
JP2016071188A (ja) | 採譜装置、及び採譜システム | |
Chaisri | Extraction of sound by instrument type and voice from music files | |
Cao | Automatic accompaniment of vocal melodies in the context of popular music | |
Hall et al. | Instrument timbre chroma contours and psycho-visual human analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16851702 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16851702 Country of ref document: EP Kind code of ref document: A1 |