JPWO2013038459A1 - 音声処理装置、再生装置、音声処理方法およびプログラム - Google Patents

Abstract

楽曲の再生に伴って、当該楽曲に含まれる特定の楽器音をリアルタイムに抽出することを目的とする。本発明の音声処理部１２は、音声信号からバスドラム音のアタック位置を判定するアタック判定部４２と、音声信号からバスドラムの発音区間を判定するバスドラム音判定部４３と、アタック位置に対して時間変化型フィルタを用いると共に、発音区間に対して適応型フィルタを用いることで、バスドラム音を抽出するバスドラム音抽出部４４と、を備えたことを特徴とする。

Description

音声信号から、特定の打楽器による特定音を抽出する音声処理装置、再生装置、音声処理方法およびプログラムに関するものである。

従来、楽曲中の各楽器の音を制御する方法として、アイソレータ１１０（バンド分割フィルタを用いたイコライザの一種）を用いた方法が知られている（図１１参照）。ところが、当該アイソレータ１１０を用いて低域のレベルを下げると、ベース音とバスドラム音が同時に削れてしまう。つまり、ベース音だけの減衰、またはバスドラム音だけの減衰など、楽器別の制御はできない。

そこで、楽器別に音を制御する方法として、例えば特許文献１が知られている。特許文献１では、楽曲解析部により、楽曲データの波形を解析し、その楽曲データに含まれる個々の楽器音を抽出する。具体的には、時系列にラベル付けされたログスペクトルを予め用意し、当該ログスペクトルを所定時間単位で切り出した部分ログスペクトルを用いて楽器音毎に存在確率の時系列分布を求め、当該時系列分布に基づいて音素材を切り出す。

特開２０１０−１３４２３１号公報（段落［００７９］、［０２１６］〜［０２１８］、図２、７３等参照）

ところが、特許文献１の方法では、楽曲データの事前解析が必要であり、楽曲を再生しながらリアルタイムに楽器音を抽出することができない。一方、アイソレータを用いた方法では、リアルタイムに音を制御することができるものの、楽器別の制御ができない。

本発明は、上記の問題点に鑑み、楽曲の再生に伴って、当該楽曲に含まれる特定の楽器音をリアルタイムに抽出可能な音声処理装置、再生装置、音声処理方法およびプログラムを提供することを目的とする。

本発明の音声処理装置は、入力された音声信号から、特定の打楽器による発音区間を判定する発音区間判定部と、発音区間に対し、音声信号の音量変化に連動して抽出率が異なる適応型フィルタを用いることで、特定の打楽器による特定音を抽出する特定音抽出部と、を備えたことを特徴とする。

本発明の音声処理方法は、入力された音声信号から、特定の打楽器による発音区間を判定する発音区間判定工程と、発音区間に対し、音声信号の音量変化に連動して抽出率が異なる適応型フィルタを用いることで、特定の打楽器による特定音を抽出する特定音抽出工程と、を実行することを特徴とする。

これらの構成によれば、特定の打楽器による発音区間を判定し、当該発音区間に対して適応型フィルタを用いるだけの簡易な処理で、特定の打楽器による特定音を抽出できる。これにより、楽曲データの事前解析を必要とすることなく、楽曲を再生しながら特定の楽器音を抽出できる。
なお、打楽器とは、バスドラム、スネア、ティンパニなどの膜鳴楽器だけでなく、カスタネットやシンバルなどの体鳴楽器も含む概念である。

上記の音声処理装置において、音声信号から、特定音のアタック位置を判定するアタック判定部をさらに備え、特定音抽出部は、アタック位置に対し、時間変化型フィルタを用いることで、特定の打楽器による特定音を抽出することを特徴とする。

この構成によれば、アタック位置に対して時間変化型フィルタを用いるだけの簡易な処理で、特定の打楽器による特定音を抽出できる。また、適応型フィルタを用いた処理と組み合わせることで、より正確に特定音を抽出できる。
なお、時間変化型フィルタと適応型フィルタを個別に用いるのではなく、これらを組み合わせた１のフィルタを用いて、同一の打楽器による特定音を抽出しても良い。

上記の音声処理装置において、特定の打楽器はバスドラムであり、音声信号の低域振幅レベルを検出する低域振幅検出部をさらに備え、アタック判定部は、低域振幅レベルに基づいてアタック位置を判定することを特徴とする。

この構成によれば、音声信号から、バスドラム音だけを抽出することができる。また、低域振幅レベルに基づいてアタック位置を判定することで、バスドラムのアタック位置をより正確に判定できる。

上記の音声処理装置において、発音区間判定部は、アタック判定部の判定結果および音声信号のベース音量に基づいて、発音区間を判定することを特徴とする。

この構成によれば、低域帯の楽器であるベースの音量を考慮して発音区間を判定することで、より正確にバスドラム音だけを抽出することができる。
なお、発音区間判定部は、ベース音量が高い場合、ベース音量が低い場合よりも発音区間が短くなるように判定を行うことが好ましい。この構成によれば、音声信号からバスドラム音を減衰させたい場合、ベース音を残しつつ、バスドラム音だけを効率的に抽出することができる。
また、発音区間判定部は、アタック判定部の判定結果および音声信号のベース音量に加え、低域振幅検出部により検出された低域振幅レベルに基づいて、発音区間を判定しても良い。例えば、アタック位置に基づいて抽出ポイントを決定し、ベース音量と低域振幅レベルに基づいて、抽出ポイントを含む発音区間の開始点および終了点を決定しても良い。

上記の音声処理装置において、低域振幅検出部は、高速フーリエ変換により生成された複素データを用いて、音声信号の低域振幅レベルを検出することを特徴とする。

この構成によれば、ローパスフィルタを用いて音声信号の低域振幅レベルを検出する場合と比較して、より正確に低域振幅レベルを検出することができる。

上記の音声処理装置において、特定の打楽器はバスドラムであり、ローパスフィルタを用いて、音声信号の低域振幅レベルを検出する低域振幅検出部をさらに備え、発音区間判定部は、低域振幅レベルに基づいて、発音区間を判定することを特徴とする。

この構成によれば、高速フーリエ変換を用いて音声信号の低域振幅レベルを検出する場合と比較して、より簡易な処理で低域振幅レベルを検出することができる。これにより処理遅延が少なくなり、楽曲を再生しながら特定音を抽出する場合のリアルタイム性を向上できる。

上記の音声処理装置において、特定音として抽出したバスドラム音と、ハイパスフィルタを用いて、ベース音を抽出するベース音抽出部をさらに備えたことを特徴とする。

この構成によれば、音声信号から、ベース音だけを抽出することができる。

上記の音声処理装置において、抽出したバスドラム音およびベース音の少なくとも一方に対し加工処理を行う加工処理部をさらに備えたことを特徴とする。

上記の音声処理装置において、加工処理部は、音の反転、音の増幅、音の減衰、エフェクト付与、のうち少なくとも２以上の加工処理を行うことを特徴とする。

上記の音声処理装置において、２以上の加工処理の中から、いずれかの加工処理を選択的に実行させるための操作部をさらに備えたことを特徴とする。

上記の音声処理装置において、操作部は、各加工処理について、加工処理量を調節可能であることを特徴とする。

これらの構成によれば、抽出したバスドラム音および／またはベース音に対し、複数種類の加工処理の中から、ユーザーの所望する加工処理を行うことができる。また、音の増幅量、音の減衰量、エフェクトのレベルなど、ユーザーの好みに応じて調節することができる。
なお、「音の減衰」とは、「音の除去（減衰率を最大にする）」を含む概念である。
また、「エフェクト付与」としては、ディレイをかける、リバーブをかける、などＤＪ機器等で用いられる各種エフェクト処理を適用可能である。

本発明の再生装置は、上記の音声処理装置における各部と、音声信号を入力する音声入力部と、音声処理装置による音声処理後の音声信号を出力する音声出力部と、を備えたことを特徴とする。

この構成によれば、楽曲を再生しながら、当該楽曲に含まれる特定の楽器音をリアルタイムに抽出可能な再生装置を実現できる。

本発明のプログラムは、コンピューターを、上記の音声処理装置における各部として機能させることを特徴とする。

このプログラムを用いることにより、楽曲の再生に伴って、当該楽曲に含まれる特定の楽器音をリアルタイムに抽出可能な音声処理装置を実現できる。

本発明の一実施形態に係る再生装置の全体ブロック図である。 操作部の説明図である。 第１実施形態に係る音声処理部の詳細ブロック図である。 音声処理部内におけるアタック判定部の詳細ブロック図である。 アタック検出処理を示すフローチャートである。 音声処理部内におけるバスドラム音判定部の詳細ブロック図である。 時変フィルタの一例を示す図である。 第１実施形態に係るバスドラム音除去処理（ａ）およびベース音除去処理（ｂ）を示す工程図である。 第２実施形態に係る音声処理部の詳細ブロック図である。 第２実施形態に係るバスドラム音除去処理（ａ）およびベース音除去処理（ｂ）を示す工程図である。 従来のアイソレータの機能を示す説明図である。

以下、添付の図面を参照し、本発明の一実施形態に係る音声処理装置、再生装置、音声処理方法およびプログラムについて説明する。本発明は、楽曲の再生に伴って、楽曲中の特定の打楽器による特定音を抽出することを特徴とする。そこで、特定の打楽器として「バスドラム」を例に挙げ、特定音として「バスドラム音」を抽出する場合について説明する。

［第１実施形態］
図１は、再生装置１の全体ブロック図である。再生装置１は、音声信号（オーディオ信号）を入力する音声入力部１１と、音声信号に対して各種音声処理を行う音声処理部１２と、音声処理後の音声信号を出力する音声出力部１３と、ユーザーが各種操作を行う操作部１４と、を備えている。なお、再生装置１としては、ＤＪ機器（ＤＪプレーヤー、ＤＪミキサーなど）、オーディオ機器（ＣＤプレーヤー、ＤＶＤプレーヤーなど）、携帯型オーディオプレーヤー、スマートフォン、録音機器、放送機器、などを採用可能である。また、請求項における「音声処理装置」は、音声処理部１２および操作部１４から成る。

音声入力部１１は、再生装置１が光ディスクを再生する装置である場合、光ディスクドライブから出力された音声信号を入力する。また、ＵＳＢメモリ等の記憶媒体から音声信号の読み出しが可能である場合、当該記憶媒体から音声信号を入力する。さらに、ネットワークを介して音声信号を入力しても良い。また、音声出力部１３は、再生装置１がスピーカー内蔵の場合、アンプおよびスピーカーを指し、スピーカー内蔵ではない場合は、音声信号の出力インターフェースを指す。

音声処理部１２は、Ａ／Ｄコンバーター２１、ＤＳＰ２２（Digital Signal Processor）およびＤ／Ａコンバーター２３を含む。但し、音声入力部１１がデジタル信号を取得する場合、Ａ／Ｄコンバーター２１およびＤ／Ａコンバーター２３は不要である。

操作部１４は、図２に示すように、ロータリー型操作子３１，３２，３３と、スライドスイッチ３６を含む。スライドスイッチ３６は、ロータリー型操作子３１，３２，３３を、「アイソレータ機能」として用いるか、「バスドラム音分離機能」として用いるかを切り替えるための操作子である。例えば、移動操作子３６ａを左側（「アイソレータ機能」側）に移動させた場合、ロータリー型操作子３１，３２，３３は、アイソレータとして機能する。つまり、低域調整用つまみ３１、中域調整用つまみ３２および高域調整用つまみ３３として機能する。

一方、移動操作子３６ａを右側（「バスドラム音分離機能」側）に移動させた場合、ロータリー型操作子３１，３２は、バスドラム音調整用つまみ３１およびベース音調整用つまみ３２として機能する。例えば、バスドラム音調整用つまみ３１を左側に回転させると、その回転量に伴って、再生されている楽曲の中からバスドラム音だけを徐々に減衰させる。図示の状態では、減衰率０％であり、左側限界位置まで回転させると減衰率１００％、すなわちバスドラム音が除去された状態となる。逆に、バスドラム音調整用つまみ３１を右側に回転させると、バスドラムの音の数を徐々に増加させる（ディレイをかけて足していく）。同様に、ベース音調整用つまみ３２を左側に回転させると、再生されている楽曲の中からベース音だけを徐々に減衰させ、右側に回転させると、ベースの音の数を徐々に増加させる。

なお、操作子の形態は、図２に示したものに限らず、例えばロータリー型操作子３１，３２，３３に代えてフェーダー型操作子を用いても良い。また、スライドスイッチ３６に代えて、トグルスイッチや押下ごとに機能が切り替わるボタン型スイッチを用いても良い。

次に、図３ないし図７を参照し、音声処理部１２の詳細な機能について説明する。図３は、第１実施形態に係る音声処理部１２の詳細ブロック図である。音声処理部１２は、低域振幅検出部４１、アタック判定部４２、バスドラム音判定部４３（発音区間判定部）、バスドラム音抽出部４４（特定音抽出部）、ベース音抽出部４５および加工処理部４６を有している。なお、これら音声処理部１２内の各部は、ＤＳＰ２２（図１参照）を主要部とする。

低域振幅検出部４１は、入力された音声信号の低域振幅レベルを検出する。つまり、図４（ａ）に示すように、時間軸に対する振幅値の変化を示す波形を検出する。なお、本実施形態の場合、バスドラム音の抽出を目的としているため、「低域」とは、数百Ｈｚ以下を指す。

アタック判定部４２は、入力された音声信号から、バスドラム音のアタック位置を判定する。バスドラム音判定部４３は、バスドラムによる低域ピーク区間（発音区間）を判定する。バスドラム音抽出部４４は、時変フィルタ５０を用いて、入力された音声信号からバスドラム音を抽出する。時変フィルタ５０は、バスドラムのスペクトル時間変化に対応したフィルタである（図７参照）。なお、以下の説明では、アタック判定部４２の判定結果と時変フィルタ５０を用いてバスドラム音を抽出する制御を「アタック音制御」、バスドラム音判定部４３の判定結果と時変フィルタ５０を用いてバスドラム音を抽出する制御を「低域レベル制御」と称する。

ベース音抽出部４５は、抽出されたバスドラム音と、ハイパスフィルタを用いて、入力された音声信号からベース音を抽出する（図８（ｂ）参照）。加工処理部４６は、抽出されたバスドラム音および／またはベース音に対し、各種加工処理（エフェクト処理を含む）を行う。例えば、操作部１４（バスドラム音調整用つまみ３１，ベース音調整用つまみ３２）の操作にしたがって、音の減衰やエフェクト付与を行う。

図４は、アタック判定部４２の詳細ブロック図である。アタック判定部４２は、振幅値変化量算出部４２ａ、判定レベル算出部４２ｂおよび判定部４２ｃを有している。振幅値変化量算出部４２ａは、バスドラム音の帯域（解析対象周波数帯域）における振幅値の変化量を算出する（図４（ｂ）参照）。つまり、低域振幅値の立ち上がりを検出することで、バスドラム音と他のアタック音（例えば、スネア音やハイハット音）を識別している。

図５は、バスドラム音のアタック位置を検出するアタック検出処理を示すフローチャートである。振幅値変化量算出部４２ａは、同図に示すように、バスドラム音アタック検出フラグが「０」であるか否かを判別し（Ｓ１１）、バスドラム音アタック検出フラグが「０」でない場合は（Ｓ１１：Ｎｏ）、アタック検出処理を終了する。

また、バスドラム音アタック検出フラグが「０」である場合は（Ｓ１１：Ｙｅｓ）、時刻Ｔにおける解析対象周波数帯域の振幅値がアタック判定用しきい値より大きいか否かを判別する（Ｓ１２）。アタック判定用しきい値より大きい場合は（Ｓ１２：Ｙｅｓ）、時刻Ｔにおける解析対象周波数帯域の振幅値が時刻（Ｔ−１）のときよりも大きいか否かを判別し（Ｓ１３）、時刻（Ｔ−１）のときよりも大きい場合は（Ｓ１３：Ｙｅｓ）、バスドラム音アタック検出フラグを「１」にする（Ｓ１４）。

一方、Ｓ１２において、時刻Ｔにおける解析対象周波数帯域の振幅値がアタック判定用しきい値よりも大きくない場合、並びにＳ１３において、時刻Ｔにおける解析対象周波数帯域の振幅値が時刻（Ｔ−１）のときよりも大きくない場合は、バスドラム音アタック検出フラグを「０」にする（Ｓ１５）。以上の処理により、バスドラム音アタック検出フラグが「１」の場合（Ｓ１４）、アタック位置を検出したものと看做し、時変フィルタ５０（時間変化型フィルタ５２，図７参照）を適用する。なお、時変フィルタ５０を用いたバスドラム音の抽出処理を終えると、バスドラム音アタック検出フラグを「０」にする。

図４の説明に戻る。判定レベル算出部４２ｂは、再生中の楽曲の低域振幅レベル（低域の音量）に応じて、判定レベルを算出する。低域振幅レベルが高い場合、低い場合と比較して、判定レベルは高くなる。判定部４２ｃは、振幅値変化量算出部４２ａにより算出された振幅値の変化量と、判定レベル算出部４２ｂにより算出された判定レベルに基づいて、バスドラム音のアタック位置を判定する。具体的には、図４（ｃ）に示すように、振幅値の立ち上がり部分の判定レベルを超えた位置をアタック位置として判定する。

図６は、バスドラム音判定部４３の詳細ブロック図である。バスドラム音判定部４３は、ベース音量検出部４３ａおよび判定部４３ｂを有している。ベース音量検出部４３ａは、楽曲に含まれるベース音量（図６（ａ）の領域Ｅ１）を、移動平均値を用いて検出する。なお、移動平均値に代えて、ローパスフィルタを用いても良い。ベース音量は、図６（ａ）の点線で示す判定しきい値を算出するために検出される。判定しきい値は、検出されたベース音量の大きさに応じて高くなる。つまり、ベース音が存在する場合、存在しない場合よりも高くなる。

判定部４３ｂは、低域振幅検出部４１により検出された振幅値が、ベース音量検出部４３ａにより検出されたベース音量に基づく判定しきい値を超え、且つアタック判定部４２により判定されたバスドラム音のアタック位置を含む範囲を、低域ピーク区間として判定する。図６（ｂ）に示す例の場合、２本の点線間に挟まれた２つの範囲が、低域ピーク区間である。このように、ベース音量が含まれる部分は、含まれない場合と比較して判定しきい値が高くなるため、結果的に低域ピーク区間が短くなる。これにより、判定部４３ｂは、楽曲中にベース音とバスドラム音の両方が含まれる場合でも、バスドラム音の発音区間だけを正確に判定することができる。

図７は、時変フィルタ５０の一例を示す図である。時変フィルタ５０は、バスドラムの発音区間中、特性が変化していくフィルタであり、低域レベル制御の処理範囲となる適応型フィルタ５１と、アタック音制御の処理範囲となる時間変化型フィルタ５２と、を組み合わせたものである。つまり、バスドラム音判定部４３で判定した低域ピーク区間（図６（ｂ）参照）に対して適応型フィルタ５１を適用し、アタック判定部４２で判定したアタック位置に対して時間変化型フィルタ５２を適用する。

このうち、適応型フィルタ５１は、低域振幅レベルの変化に連動して減衰率を可変する制御を行う。つまり、適応型フィルタ５１は、入力された音声信号に応じて特性を変えるフィルタである。これに対し、時間変化型フィルタ５２は、入力された音声信号に関わらずアタック位置から固定の特性変化をするフィルタである。また、時間変化型フィルタ５２は、中域および高域に対応した第１の時間変化型フィルタ５２ａと、中低域に対応した第２の時間変化型フィルタ５２ｂから成る。例えば、入力された音声信号からバスドラム音を除去したい場合、第１の時間変化型フィルタ５２ａではマイナス１０ｄＢし、第２の時間変化型フィルタ５２ｂではマイナス１５ｄＢする、といった使い分けを行う。なお、時間変化型フィルタ５２についても、適応型フィルタ５１と同様に、振幅レベルの変化に連動して減衰率を可変する制御を行っても良い。

次に、図８を参照し、バスドラム音除去処理およびベース音除去処理について説明する。図８（ａ）は、バスドラム音除去処理を示す工程図である。音声処理部１２は、入力された音声信号に対して高速フーリエ変換を行うことで解析用の複素データを生成し（Ｓ２１）、当該複素データを用いて解析を行う（Ｓ２２）。解析後、時変フィルタ５０によるフィルタリングを行い（Ｓ２３）、逆高速フーリエ変換を行って時間波形に変換する（Ｓ２４）。以上、Ｓ２１〜Ｓ２４によりバスドラム音抽出処理が行われる。

その後、反転処理を行うことで（Ｓ２５）、バスドラム音が除去される。一方、バスドラム音抽出処理と並行し、入力された音声信号に対してディレイ処理を行う（Ｓ２６）。当該ディレイ処理は、バスドラム音抽出処理による処理遅延を補うための処理である。また、ディレイ処理後の音声信号と、Ｓ２５による反転処理後の信号との合成処理を行うことで（Ｓ２７）、入力された音声信号からバスドラム音のみを除去した音声信号を出力する。

なお、Ｓ２２の解析は、図３のブロック図における低域振幅検出部４１、アタック判定部４２およびバスドラム音判定部４３に相当する。また、Ｓ２３のフィルタリングは、バスドラム音抽出部４４に相当する。さらに、Ｓ２５の反転処理は、加工処理部４６に相当する。

図８（ｂ）は、ベース音除去処理を示す工程図である。音声処理部１２は、入力された音声信号に対して、図８（ａ）に示したバスドラム音抽出処理（Ｓ２１〜Ｓ２４）と同様の処理を行う（Ｓ３１〜Ｓ３４）。一方、バスドラム音抽出処理と並行し、入力された音声信号に対してディレイ処理を行い（Ｓ３５）、さらにハイパスフィルタによるフィルタリングを行う（Ｓ３６）。その後、バスドラム音（バスドラム音抽出処理後の音声信号）と、フィルタリングした音声信号の合成処理を行うことで（Ｓ３７）、入力された音声信号からベース音のみを除去した音声信号を出力する。

なお、Ｓ３６のハイパスフィルタによるフィルタリングは、図３のブロック図におけるベース音抽出部４５の一部に相当する。つまり、ハイパスフィルタを通すことで低域が削れ、バスドラム音とベース音が除去された状態となるが、そこにバスドラム音抽出処理で抽出したバスドラム音を足し込むことにより、結果的にベース音だけを除去できる。

以上説明したとおり、第１実施形態によれば、時変フィルタ５０を用いた単純なフィルタリング処理により、既成楽曲からリアルタイムにバスドラム音を抽出することができる。これにより、事前解析情報を必要とすることなく、バスドラム音のみの制御および加工処理を実現できる。また、バスドラム音抽出処理とハイパスフィルタの組み合わせにより、既成楽曲からリアルタイムにベース音を抽出することができる。つまり、バスドラム音抽出処理の応用により、ベース音のみの制御および加工処理も実現できる。

また、バスドラム音判定部４３で判定した定域ピーク区間に対して適応型フィルタ５１を適用し、アタック判定部４２で判定したアタック位置に対して時間変化型フィルタ５２を適用するため（２種類のフィルタの組み合わせた時変フィルタ５０を用いるため）、より正確にバスドラム音を抽出することができる。

また、高速フーリエ変換により生成された複素データを用いて、音声信号の低域振幅レベルを検出するため、より正確にアタック位置や低域ピーク区間を判定でき、ひいてはより正確にバスドラム音を抽出することができる。

［第２実施形態］
次に、図９および図１０を参照し、本発明の第２実施形態について説明する。本実施形態は、ローパスフィルタ６０を用いて、音声信号の低域振幅レベルを検出することを特徴とする。以下、第１実施形態と異なる点のみ説明する。なお、本実施形態において、第１実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、第１実施形態と同様の構成、部分について適用される変形例は、本実施形態についても同様に適用される。

図９は、第２実施形態に係る音声処理部１２の詳細ブロック図である。本実施形態の音声処理部１２は、第１実施形態（図３参照）と比較して、アタック判定部４２を省略した構成となっている。したがって、第２実施形態のバスドラム音抽出部４４で用いるフィルタは、第１実施形態（図７参照）の時変フィルタ５０から時間変化型フィルタ５２を省略した適応型フィルタ５１である。また、低域振幅検出部４１´は、ローパスフィルタ６０を用いて、音声信号の低域振幅レベルを検出する。

図１０は、第２実施形態に係るバスドラム音除去処理およびベース音除去処理を示す工程図である。図１０（ａ）は、バスドラム音除去処理を示す工程図である。音声処理部１２は、入力された音声信号に対し、ローパスフィルタ６０（例えば、Ｆｃ＝２００Ｈｚ）によるフィルタリングを行うことで、低域振幅レベルを検出し（Ｓ４１）、その後、解析およびレベル制御を行う（Ｓ４２，Ｓ４３）。以上、Ｓ４２，Ｓ４３によりバスドラム音除去処理が行われる。

一方、バスドラム音除去処理と並行し、入力された音声信号に対してハイパスフィルタ（例えば、Ｆｃ＝２００Ｈｚ）によるフィルタリングを行い、フィルタリング後の音声信号と、バスドラム音除去処理後の音声信号との合成処理を行うことで（Ｓ４５）、入力された音声信号からバスドラム音のみを除去した音声信号を出力する。

なお、Ｓ４１のローパスフィルタ６０によるフィルタリングは、図９のブロック図における低域振幅検出部４１´の一部に相当する。また、Ｓ４２の解析は、低域振幅検出部４１´およびバスドラム音判定部４３に相当する。また、Ｓ４３のレベル制御は、バスドラム音抽出部４４に相当する。

図１０（ｂ）は、ベース音除去処理を示す工程図である。音声処理部１２は、入力された音声信号に対して、ローパスフィルタ６０（例えば、Ｆｃ＝２００Ｈｚ）によるフィルタリングを行うことで、低域振幅レベルを検出し（Ｓ５１）、その後、解析およびレベル制御を行う（Ｓ５２，Ｓ５３）。なお、Ｓ５３のレベル制御は、図１０（ａ）におけるレベル制御（Ｓ４３）とは異なり、バスドラム音をプラスにする制御である。つまり、Ｓ５２，Ｓ５３によりバスドラム音抽出処理が行われる。

一方、バスドラム音抽出処理と並行し、入力された音声信号に対し、ハイパスフィルタ（例えば、Ｆｃ＝４００Ｈｚ）によるフィルタリングを行う（Ｓ５４）。但し、Ｓ５４のカットオフ周波数は、図１０（ａ）のＳ４４とは異なる。その後、抽出されたバスドラム音と、フィルタリングした音声信号の合成処理を行うことで（Ｓ５５）、入力された音声信号からベース音のみを除去した音声信号が出力される。

なお、Ｓ５４のハイパスフィルタによるフィルタリングは、図９のブロック図におけるベース音抽出部４５の一部に相当する。つまり、図１０（ｂ）のベース音除去処理では、ローパスフィルタ６０とＳ５４のハイパスフィルタにより帯域を分け、ローパスフィルタ６０のレベル制御をバスドラム音抽出処理にて行っている。このため、ローパスフィルタ６０の出力を常に「０」にすることで、ベース音とバスドラム音の低音部の両方が除去された状態となるが、そこにバスドラム音抽出処理で抽出したバスドラム音があるところだけ音を出すことで、結果的にベース音を除去できる。

以上説明したとおり、第２実施形態によれば、ローパスフィルタ６０を用いることで、より簡易な処理で低域振幅レベルを検出することができる。これにより処理遅延が少なくなり、楽曲を再生しながら特定音を抽出する場合のリアルタイム性を向上できる。

以上、２つの実施形態を示したが、各実施形態において以下の変形例を採用可能である。例えば、上記の実施形態では、特定の打楽器として「バスドラム」を例示したが、その他、「スネア」、「ティンパニ」、「カスタネット」、「シンバル」など、種々の打楽器による特定音の抽出に本発明を適用可能である。但し、打楽器の種類によって、音の成分が集中する帯域が異なるため、抽出したい打楽器に応じて、振幅を検出する帯域を使い分ける必要がある。

また、上記の実施形態において、アタック判定部４２は、低域振幅値の立ち上がりを検出することで、バスドラムのアタック音と他のアタック音とを識別したが（図５参照）、解析対象の周波数ビンについて、それぞれ振幅値が増加した場合はその差分を積み立てし、減少した場合はクリアにする処理を行い、当該処理後のデータ同士を乗算することで、各周波数ビンが揃って立ち上がる場所のみ、低域振幅値の立ち上がりを検出したものと看做しても良い。この構成によれば、より精度良くバスドラムのアタック位置を判定することができる。

また、上記の実施形態では、バスドラム音調整用つまみ３１を右側に回転させると、バスドラム音にディレイをかけて、バスドラム音の数を徐々に増加させるものとしたが（図２参照）、他のエフェクトを付与しても良い。例えば、ＤＪエフェクトとして一般的に用いられる各種エフェクト（リバーブ、エコー、オートパンなど）のパラメーター（加工処理量）を調整可能としても良い。ベース音調整用つまみ３２についても同様である。

また、上記の実施形態では、バスドラム音調整用つまみ３１を左側に回転させると、バスドラム音を徐々に減衰させるものとしたが、逆に右側に回転させると、バスドラム音を徐々に増幅（強調）させても良い。また、加工処理として、音を反転させても良い。さらに、ロータリー型操作子３１，３２，３３に割り当てる加工処理の種類や、ロータリー型操作子３１，３２，３３の回転量に対する加工処理量の割合など、ユーザーが任意に設定可能としても良い。

また、上記の各実施形態に示した再生装置１における各部および各機能をプログラムとして提供することが可能である。また、そのプログラムを各種記録媒体（ＣＤ−ＲＯＭ、フラッシュメモリ等）に格納して提供することも可能である。すなわち、コンピューターを、再生装置１の各部として機能させるためのプログラム、およびそれを記録した記録媒体も、本発明の権利範囲に含まれるものである。

また、上記の実施形態では、本発明の音声処理装置（音声処理部１２）を再生装置１に適用した場合を例示したが、ネットワーク上のサーバーで本発明の音声処理装置を実現しても良い。この場合、サーバーと、当該サーバーとネットワークを介して接続されたユーザー端末と、によって、本発明を実現するための通信システムが構築され、サーバーが、上記の実施形態における音声処理部１２を実現し、ユーザー端末が、操作部１４を実現する。また、クラウドコンピューティングにも、本発明を適用可能である。つまり、サーバー上のアプリケーションを利用した仮想端末により、本発明の再生装置１または音声処理部１２を実現しても良い。

また、ＰＣアプリケーションやスマートフォンアプリケーションで本発明の音声処理装置を実現しても良い。この場合、当該ＰＣアプリケーションをインストールしたコンピューター、またはスマートフォンアプリケーションをインストールしたスマートフォンだけで再生装置１を実現可能である。その他、再生装置１の装置構成や処理工程など、本発明の要旨を逸脱しない範囲で適宜変更が可能である。

１…再生装置 １１…音声入力部 １２…音声処理部 １３…音声出力部 １４…操作部 ３１…ロータリー型操作子 ３６…スライドスイッチ ３６ａ…移動操作子 ４１…低域振幅検出部 ４２…アタック判定部 ４３…バスドラム音判定部 ４４…バスドラム音抽出部 ４５…ベース音抽出部 ４６…加工処理部 ５０…時変フィルタ ５１…適応型フィルタ ５２…時間変化型フィルタ ５２ａ…第１の時間変化型フィルタ ５２ｂ…第２の時間変化型フィルタ ６０…ローパスフィルタ

【０００２】
、アイソレータを用いた方法では、リアルタイムに音を制御することができるものの、楽器別の制御ができない。
［０００６］
本発明は、上記の問題点に鑑み、楽曲の再生に伴って、当該楽曲に含まれる特定の楽器音をリアルタイムに抽出可能な音声処理装置、再生装置、音声処理方法およびプログラムを提供することを目的とする。
課題を解決するための手段
［０００７］
本発明の音声処理装置は、入力された音声信号から、特定の打楽器による特定音をリアルタイムに抽出する音声処理装置であって、特定の打楽器による発音区間を判定する発音区間判定部と、音声信号から、特定音のアタック位置を判定するアタック判定部と、音声信号の音量変化に連動して抽出率が異なる適応型フィルタと、音声信号の音量変化に関わらずアタック位置から固定の特性変化をする時間変化型フィルタとを組み合わせた時変フィルタを用いて、特定音を抽出する特定音抽出部と、を備え、特定音抽出部は、発音区間に対して適応型フィルタを適用し、アタック位置に対して時間変化型フィルタを適用することを特徴とする。
上記の音声処理装置において、特定の打楽器はバスドラムであり、発音区間判定部は、音声信号の低域振幅レベルが判定しきい値を超え、且つアタック判定部により判定されたバスドラム音のアタック位置を含む範囲を、発音区間として判定し、判定しきい値は、音声信号のベース音量の大きさに応じて高くなるように設定されることを特徴とする。
上記の音声処理装置において、時間変化型フィルタは、中域および高域に対応した第１の時間変化型フィルタと、中低域に対応し、第１の時間変化型フィルタよりも適応区間が長い第２の時間変化型フィルタと、から成ることを特徴とする。
上記の音声処理装置において、発音区間判定部は、アタック判定部の判定結果および音声信号のベース音量に基づいて、発音区間を判定することを特徴とする。
上記の音声処理装置において、高速フーリエ変換により生成された複素データを用いて、音声信号の低域振幅レベルを検出する低域振幅検出部をさらに備え、アタック判定部は低域振幅レベルに基づいてアタック位置を判定することを特徴とする。
上記の音声処理装置において、特定の打楽器はバスドラムであり、ローパスフィルタを用いて、音声信号の低域振幅レベルを検出する低域振幅検出部をさらに備え、発音区間判定部は、低域振幅レベルに基づいて、発音区間を判定することを特徴とする。
上記の音声処理装置において、特定音として抽出したバスドラム音と、ハイパスフィルタを用いて、ベース音を抽出するベース音抽出部をさらに備えたことを特徴とする。
上記の音声処理装置において、抽出したバスドラム音およびベース音の少なくとも一方に対し加工処理を行う加工処理部をさらに備えたことを特徴とする。
上記の音声処理装置において、加工処理部は、音の反転、音の増幅、音の減衰、エフェクト付与、のうち少なくとも２以上の加工処理を行うことを特徴とする。
上記の音声処理装置において、２以上の加工処理の中から、いずれかの加工処理を選択的に実行させるための操作部をさらに備えたことを特徴とする。
上記の音声処理装置において、操作部は、各加工処理について、加工処理量を調節可能であることを特徴とする。
本発明の再生装置は、上記に記載の音声処理装置における各部と、音声信号を入力する音声入力部と、音声処理装置による音声処理後の音声信号を出力する音声出力部と、を備えたことを特徴とする。
本発明の音声処理方法は、入力された音声信号から、特定の打楽器による特定音をリアルタイムに抽出する音声処理方法であって、特定の打楽器による発音区間を判定する発音区間判定工程と、音声信号から、特定音のアタック位置を判定するアタック判定工程と、音声信号の音量変化に連動して抽出率が異なる適応型フィルタと、音声信号の音量変化に関わらずアタック位置から固定の特性変化をする時間変化型フィルタとを組み合わせた時変フィルタを用いて、特定音を抽出する特定音抽出工程と、を実行し、特定音抽出工程では、発音区間に対して適応型フィルタを適用し、アタック位置に対して時間変化型フィルタを適用することを特徴とする。
本発明のプログラムは、コンピューターを、上記に記載の音声処理装置における各部として機能させるためのものであることを特徴とする。
なお、以下の構成としても良い。
本発明の音声処理装置は、入力された音声信号から、特定の打楽器による発音区間を判定する発音区間判定部と、発音区間に対し、音声信号の音量変化に連動して抽出率が異なる適応型フィルタを用いることで、特定の打楽器による特定音を抽出する特定音抽出部と、を備えたことを特徴とする。
［０００８］
本発明の音声処理方法は、入力された音声信号から、特定の打楽器による発音区間を判定する発音区間判定工程と、発音区間に対し、音声信号の音量変化に連動して抽出率が異なる適応型フィルタを用いることで、特定の打楽器による特定音を抽出する特定音抽出工程と、を実行することを特徴とする。
［０００９］
これらの構成によれば、特定の打楽器による発音区間を判定し、当該発音区間に対して適応型フィルタを用いるだけの簡易な処理で、特定の打楽器による特定音を抽出できる。これにより、楽曲データの事前解析を必要とすることなく、楽曲を再生しながら特定の楽器音を抽出できる。
なお、打楽器とは、バスドラム、スネア、ティンパニなどの膜鳴楽器だけでなく、カスタネットやシンバルなどの体鳴楽器も含む概念である。
［００１０］
上記の音声処理装置において、音声信号から、特定音のアタック位置を判定するアタック判定部をさらに備え、特定音抽出部は、アタック位置に対し、時間変化型フィルタを用いることで、特定の打楽器による特定音を抽出することを特徴とする。
［００１１］
この構成によれば、アタック位置に対して時間変化型フィルタを用いるだけの簡易な処理で、特定の打楽器による特定音を抽出できる。また、適応型フィルタを用いた処理と組み合わせることで、より正確に特定音を抽出でき

Claims (14)

1. 入力された音声信号から、特定の打楽器による発音区間を判定する発音区間判定部と、
   前記発音区間に対し、前記音声信号の音量変化に連動して抽出率が異なる適応型フィルタを用いることで、前記特定の打楽器による特定音を抽出する特定音抽出部と、を備えたことを特徴とする音声処理装置。
2. 前記音声信号から、前記特定音のアタック位置を判定するアタック判定部をさらに備え、
   前記特定音抽出部は、前記アタック位置に対し、時間変化型フィルタを用いることで、前記特定の打楽器による特定音を抽出することを特徴とする請求項１に記載の音声処理装置。
3. 前記特定の打楽器はバスドラムであり、
   前記音声信号の低域振幅レベルを検出する低域振幅検出部をさらに備え、
   前記アタック判定部は、前記低域振幅レベルに基づいて前記アタック位置を判定することを特徴とする請求項２に記載の音声処理装置。
4. 前記発音区間判定部は、前記アタック判定部の判定結果および前記音声信号のベース音量に基づいて、前記発音区間を判定することを特徴とする請求項３に記載の音声処理装置。
5. 前記低域振幅検出部は、高速フーリエ変換により生成された複素データを用いて、前記音声信号の低域振幅レベルを検出することを特徴とする請求項３に記載の音声処理装置。
6. 前記特定の打楽器はバスドラムであり、
   ローパスフィルタを用いて、前記音声信号の低域振幅レベルを検出する低域振幅検出部をさらに備え、
   前記発音区間判定部は、前記低域振幅レベルに基づいて、前記発音区間を判定することを特徴とする請求項１に記載の音声処理装置。
7. 前記特定音として抽出したバスドラム音と、ハイパスフィルタを用いて、ベース音を抽出するベース音抽出部をさらに備えたことを特徴とする請求項３または６に記載の音声処理装置。
8. 抽出した前記バスドラム音および前記ベース音の少なくとも一方に対し加工処理を行う加工処理部をさらに備えたことを特徴とする請求項７に記載の音声処理装置。
9. 前記加工処理部は、音の反転、音の増幅、音の減衰、エフェクト付与、のうち少なくとも２以上の加工処理を行うことを特徴とする請求項８に記載の音声処理装置。
10. 前記２以上の加工処理の中から、いずれかの加工処理を選択的に実行させるための操作部をさらに備えたことを特徴とする請求項９に記載の音声処理装置。
11. 前記操作部は、各加工処理について、加工処理量を調節可能であることを特徴とする請求項１０に記載の音声処理装置。
12. 請求項１ないし１１のいずれか１項に記載の音声処理装置における各部と、
    前記音声信号を入力する音声入力部と、
    前記音声処理装置による音声処理後の音声信号を出力する音声出力部と、を備えたことを特徴とする再生装置。
13. 入力された音声信号から、特定の打楽器による発音区間を判定する発音区間判定工程と、
    前記発音区間に対し、前記音声信号の音量変化に連動して抽出率が異なる適応型フィルタを用いることで、前記特定の打楽器による特定音を抽出する特定音抽出工程と、を実行することを特徴とする音声処理方法。
14. コンピューターを、請求項１ないし１１のいずれか１項に記載の音声処理装置における各部として機能させるためのプログラム。

Images