JP7446653B1 - 調整装置、およびプログラム - Google Patents

Abstract

【課題】ユーザによる手動調整の労力を軽減するために有利な、信号レベルの自動調整の技術を提供する。【解決手段】ファイルに記録された複数フレームからなるオーディオ信号の信号レベルを、前記オーディオ信号のエンベロープに対応した離散的な調整ポイントにおいて調整する調整装置が提供される。調整装置は、前記オーディオ信号のエンベロープを取得する取得手段と、前記エンベロープを調整する調整手段とを有する。前記調整手段は、フレーム毎の前記エンベロープのピーク値を検出し、前記複数フレームにおける前記検出されたピーク値の平均値である第１平均値を算出し、前記第１平均値よりも高いピーク値の平均値である第２平均値を算出し、前記第２平均値よりも高いピーク値のうちの少なくとも一部が抑制されるように前記エンベロープを調整する。【選択図】図４

Description

本発明は、調整装置、およびプログラムに関する。

オーディオ信号のダイナミックレンジが、スピーカ等の出力デバイスのダイナミックレンジよりも広い場合がある。この場合、オーディオ信号の信号レベルが低いところは聞き取ることができず、逆に信号レベルが高いところはクリップされてしまう可能性がある。そのため、オーディオ信号のダイナミックレンジを適切に圧縮する必要がある。そのようなダイナミックレンジの圧縮を行う処理はダイナミックレンジ・コンプレッション（あるいは単にコンプレッション）と呼ばれ、コンプレッションを行う調整装置はコンプレッサと呼ばれる。

特許文献１には、オーディオ信号の信号レベルの平均パワーレベルおよび最大パワーレベルを用いて、信号レベルを自動調整する技術が開示されている。

特開２００１－１０３５９３号公報

現状において、信号レベルの自動調整はトラック単位で一律に行われ、波形単位で自動調整が行われるわけではない。そのため、信号レベルの自動調整の結果は必ずしも満足のいくものではなく、最終的には、ユーザによる波形単位の手動調整が必須であり、手動調整に多大な労力を要していた。信号レベルの自動調整の改善が望まれている。

本発明は、ユーザによる手動調整の労力を軽減するために有利な、信号レベルの自動調整の技術を提供することを目的とする。

本発明の一側面によれば、ファイルに記録された複数フレームからなるオーディオ信号の信号レベルを、前記オーディオ信号のエンベロープに対応した離散的な調整ポイントにおいて調整する調整装置であって、前記オーディオ信号のエンベロープを取得する取得手段と、前記エンベロープを調整する調整手段と、を有し、前記調整手段は、フレーム毎の前記エンベロープのピーク値を検出し、前記複数フレームにおける前記検出されたピーク値の平均値である第１平均値を算出し、前記第１平均値よりも高いピーク値の平均値である第２平均値を算出し、前記第２平均値よりも高いピーク値のうちの少なくとも一部が抑制されるように前記エンベロープを調整する、ことを特徴とする調整装置が提供される。

本発明によれば、ユーザによる手動調整の労力を軽減するために有利な、信号レベルの自動調整の技術を提供することができる。

実施形態に係る調整装置の構成を示すブロック図。 オーディオ信号の波形を例示する図。 オーディオ信号の波形および調整ポイントを例示する図。 オーディオ信号の信号レベルの調整処理のフローチャート。 オーディオ信号の信号レベルの調整処理のフローチャート。 オーディオ信号の信号レベルの調整処理のフローチャート。 信号レベルの自動調整が行われた後の波形および調整ポイントを例示する図。 複数のファイルのオーディオ信号の波形および調整ポイントを例示する図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴は任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

図１には、実施形態に係る調整装置Ｃの構成を示すブロック図が示されている。調整装置Ｃは、ファイルに記録された複数フレームからなるオーディオ信号の信号レベルを、オーディオ信号のエンベロープに対応した離散的な調整ポイントにおいて調整する装置である。

調整装置Ｃは、パーソナルコンピュータやワークステーション等のコンピュータ装置でありうる。調整装置Ｃは、装置全体の制御を司るＣＰＵ（中央処理装置）１０１、主記憶装置として機能すると共にＣＰＵ１０１のワークエリアを提供するＲＡＭ１０２、固定的なデータ及びプログラムを記憶するＲＯＭ１０３を備える。また、調整装置Ｃは、オーディオインタフェース（Ｉ／Ｆ）１０４を備える。オーディオインタフェース１０４には、マイクロホンＭ、スピーカＳが接続されうる。調整装置Ｃには、インタフェース（Ｉ／Ｆ）１０５を介して外部記憶装置１１０が接続される。外部記憶装置１１０は、例えば、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、またはそれらの組み合わせでありうる。なお、外部記憶装置１１０は、二次記憶装置として調整装置Ｃの内部に構成されてもよい。ネットワークインタフェース１０６は、ネットワークＮと接続して通信を行う。調整装置Ｃは、例えば、ネットワークＮを介して、サーバＡと通信可能に接続されうる。

調整装置Ｃには、インタフェース１０７を介して、キーボード、マウス等の入力装置が接続されうる。また、調整装置Ｃには、インタフェース１０８を介して、ＣＤ－ＲＯＭドライブ、ＤＶＤドライブ等の外部メディア装置Ｆが接続されうる。さらに、調整装置Ｃは、ビデオコントローラ１０９を備える。ビデオコントローラ１０９は、表示装置Ｄによる画像表示を制御する。

調整装置Ｃを起動するためのブートプログラムはＲＯＭ１０３に記憶されている。また、図１に示すように、外部記憶装置１１０には、オペレーティングシステム（ＯＳ）１１１をはじめ、オーディオ信号処理を行うための信号処理プログラム１１２、１つ以上のオーディオファイル１１３がインストールされうる。オーディオファイル１１３は、ネットワークＮを介してサーバＡ等の外部装置から供給されてもよいし、外部メディア装置Ｆに収容されたメディアから供給されてもよい。あるいは、オーディオファイル１１３は、マイクロホンＭにより収音された音響から作成されたものであってもよい。

一例において、オーディオファイル１１３のファイル形式は、パーソナルコンピュータにおいて一般的に利用されるＷＡＶＥファイル形式でありうる。ＷＡＶＥファイルは、モノラル／ステレオの種別、サンプリング周波数、量子化ビット数等を情報を含むヘッダと、オーディオ信号のデータとを含みうる。なお、オーディオファイル１１３のファイル形式はＷＡＶＥファイル形式に限定されない。オーディオファイル１１３のファイル形式は、ＷＡＶＥファイル形式以外の形式、例えば、ＡＩＦＦ、ＭＰ３、ＡＡＣ等の形式であってもよい。

図２には、ＣＰＵ１０１によって信号処理プログラム１１２が実行され、処理対象のオーディオファイル１１３が読み込まれたときに表示装置Ｄに表示されるオーディオ信号の全区間の波形Ｗの例が示されている。表示される波形Ｗは時間領域波形であり、横軸は時間、縦軸は信号レベルである。

一例において、オーディオ信号のコンプレッションを行うにあたり、オーディオ信号の波形Ｗの概形を示すエンベロープが取得されうる。調整装置としての調整装置Ｃは、エンベロープに対応した離散的な複数の位置に調整ポイントを設定しうる。

図３には、波形Ｗとそのエンベロープに対する調整ポイントＰの例が示されている。ユーザがエンベロープボタン３２をマウスでクリックすることにより、波形Ｗに対するエンベロープ生成処理が実行される。エンベロープは、波形の概形を示すもので、波形の各ピークを結ぶことにより得られる。オーディオ信号を全波整流し、全波整流されたオーディオ信号のエンベロープを取得するようにしてもよい。その後、エンベロープ生成処理により生成されたエンベロープを表すエンベロープカーブが表示される。ユーザは、エンベロープカーブに対応した調整ポイントＰを追加または移動してエンベロープカーブを調整することができる。例えば、ユーザは任意の調整ポイントＰをマウスでドラッグすることにより当該位置の信号レベルを調整することができる。調整後の信号レベルに従い、波形Ｗの再レンダリングが行われてもよい。また、ユーザがオートコンプボタン３３をクリックすることにより、信号レベルの自動調整（オートコンプ）が行われる（自動調整モード）。なお、図３の例では、エンベロープボタン３２およびオートコンプボタン３３を有するＧＵＩが提供されたが、それにかえて、プルダウンメニューが提供され、その中からエンベロープまたはオートコンプのファンクションが選択されうるようなＧＵＩが提供されてもよい。

図４には、調整装置Ｃによる、オーディオ信号の信号レベルを調整する調整処理のフローチャートが示されている。このフローチャートに対応するプログラムは信号処理プログラム１１２に含まれ、ＣＰＵ１０１によって実行される。

ステップＳ１００で、ＣＰＵ１０１は、処理対象として読み込んだオーディオファイルに含まれる複数フレームからなるオーディオ信号の、全体（全区間）のエンベロープを取得する。この処理は、オートコンプボタン３３がクリックされたことに応じて自動的に行われてもよいし、エンベロープボタン３２がクリックされたことに応じて行われるようにしてもよい。本実施形態において、以降の処理はこの取得されたエンベロープに対して行われる。

ステップＳ２００で、ＣＰＵ１０１は、フレーム毎のエンベロープのピーク値を検出する。ここで、フレームとは、オーディオ信号（エンベロープ）の波形を所定時間長のセグメントに分割して得られる波形単位をいう。１フレームの時間長は、例えば１０ｍｓでありうる。その後、ＣＰＵ１０１は、オーディオ信号の全体（すなわち全フレーム）における検出されたピーク値の平均値（第１平均値）を算出する。次に、ＣＰＵ１０１は、第１平均値より高いピーク値の平均値（第２平均値）を算出する。

ステップＳ３００で、ＣＰＵ１０１は、第２平均値より高いピーク値のうちの少なくとも一部が抑制されるようにエンベロープを調整する。

図５および図６を参照して、ステップＳ２００およびＳ３００の詳細フローを説明する。

ステップＳ２００は、以下のステップＳ２０１～Ｓ２０３を含む。ステップＳ２０１で、ＣＰＵ１０１は、フレーム毎にエンベロープのピーク値を検出する。フレームは、上記したように、オーディオ信号（エンベロープ）の波形を所定時間長のセグメントに分割して得られる波形単位であり、１フレームの長さは、例えば１０ｍｓでありうる。一例において、１フレームを更に所定時間長（例えば１ｍｓ）のサブフレームに分割し、サブフレーム毎にピーク値を検出し、１フレーム内のピーク値の最大値を求めることにより、１フレームのピーク値を検出してもよい。

ステップＳ２０２で、ＣＰＵ１０１は、オーディオ信号（エンベロープ）の全体（すなわち全フレーム）における検出されたピーク値の平均値（第１平均値）を算出する。この第１平均値は、オーディオ信号における支配的な音量を表しうる。この第１平均値を超えるピークは、ダイナミックレンジを広げる方向に働いている。第１平均値を超えるピークには、不要にダイナミックレンジを広げる突発的なピークも含まれている可能性がある。以下の処理ではそのような突発的なピークを検出してその信号レベルを抑制する。ステップＳ２０３で、ＣＰＵ１０１は、第１平均値より高いピーク値を検出し、それらの平均値（第２平均値）を算出する。

ステップＳ３００は、以下のステップＳ２０４～Ｓ２０５を含む。ステップＳ２０４では、ＣＰＵ１０１は、第２平均値より高いピーク値を検出し、それらの平均値（第３平均値）を算出する。ここで、第３平均値を超えるピークは、ダイナミックレンジを過大にする突発的なピークであると判断される。そこで、ステップＳ２０５で、ＣＰＵ１０１は、第３平均値より高いピーク値を、第３平均値に近づくように調整する。一例において、ＣＰＵ１０１は、第３平均値より高いピーク値を、第３平均値に調整する。別の例において、ＣＰＵ１０１は、第３平均値より高いピーク値を、ユーザにより事前に設定された調整値に調整することもできる。例えば、ＣＰＵ１０１は、第３平均値より高いピーク値を検出し、それらの平均値（第４平均値）を算出する。そして、調整値を、第３平均値と第４平均値との間の値に設定するようにしてもよい。その場合、ユーザにより事前に設定される調整値は、例えば、第３平均値を０％、第４平均値を１００％とするパーセント表示で示されてもよい。

以下では、信号レベルの小さい部分を聞き取りやすくするための処理を行う。特に、オーディオ信号の開始直後の区間では聴感上の音が小さい傾向が強い。そこで、ステップＳ２０６で、ＣＰＵ１０１は、オーディオ信号の開始から第１期間（例えば、０．１秒）において、第１平均値より低く、かつ第１しきい値より高いエンベロープのピーク値の存在をサーチする。ここで、第１しきい値は、例えばノイズレベルに相当するものとして予め定められた値である。そのようなピーク値がある場合、ステップＳ２０７で、ＣＰＵ１０１は、当該ピーク値の信号レベルを最大で第１調整量（例えば７ｄＢ）まで増加させる。なお、第１しきい値および第１調整量は、ユーザが事前に任意に設定することができる。

次に、ステップＳ２０８で、ＣＰＵ１０１は、オーディオ信号の開始から、第１期間より長い第２期間（例えば、０．２秒）において、第１平均値より低く、かつ第１しきい値より高い第２しきい値より高いエンベロープのピーク値の存在をサーチする。そのようなピーク値がある場合、ステップＳ２０９で、ＣＰＵ１０１は、当該ピーク値の信号レベルを最大で第１調整量より小さい第２調整量（例えば４ｄＢ）まで増加させる。なお、第２しきい値および第２調整量は、ユーザが事前に任意に設定することができる。

次に、ステップＳ２１０で、ＣＰＵ１０１は、第２期間の後において、第１平均値より低く、かつ第２しきい値より高い第３しきい値より高いエンベロープのピーク値の存在をサーチする。そのようなピーク値がある場合、ステップＳ２１１で、ＣＰＵ１０１は、当該ピーク値の信号レベルを最大で第２調整量より小さい第３調整量（例えば２ｄＢ）まで増加させる。なお、第３しきい値および第３調整量は、ユーザが事前に任意に設定することができる。

以上の処理により、聴感上優れた適切なダイナミックレンジ・コンプレッションが実現される。

以上の処理により、ＣＰＵ１０１は、オーディオ信号の信号レベルの調整を行うことができる。ＣＰＵ１０１は、調整後の信号レベルに従い、オーディオ信号の波形の再レンダリングを行う。ステップＳ２１２では、ＣＰＵ１０１は、信号レベルが調整されたオーディオ信号のエンベロープに対応した音量カーブを設定し、その音量カーブにおける各フレームの所定位置を調整ポイントに設定する。フレームの所定位置は、例えば、フレームの中央に設定されうる。あるいは、フレームの所定位置は、フレームの始端または終端に設定されてもよい。

調整ポイントは、ユーザがマウスでドラッグして任意に手動調整を行うことができる位置である。ほとんどレベル差のない互いに隣り合う調整ポイントが提示されるのはあまり意味がない。また、自動調整後の出力音声をユーザが聴取することにより確認して微調整を行う場合、調整ポイントの数が多すぎると微調整がしにくくなる。そこで、ステップＳ２１３で、ＣＰＵ１０１は、生成されたパラメータに基づいて信号レベルが調整された後のオーディオ信号の音量カーブに設定された複数の調整ポイントのうち、信号レベル差が所定のしきい値以下（例えば、０．５ｄＢ以下）である互いに隣り合う調整ポイントのペアがあるかをサーチする。そのようなペアがある場合、ステップＳ２１４で、ＣＰＵ１０１は、当該ペアのうちの１つを削除する。

図７には、信号レベルの自動調整が行われた後の波形Ｗおよび調整ポイントＰの例が示されている。本実施形態による信号レベルの適切な自動調整により、ユーザによる手動調整の労力が軽減される。

なお、図３、図７の例では、処理対象として読み込んだ１つのファイルに記録されたオーディオ信号が表示されているが、処理対象として事前に複数のファイルが読み込まれてもよい。図８には、事前に読み込んだ複数のファイルのオーディオ信号Ｔ１、Ｔ２、Ｔ３の波形および調整ポイントの例が示されている。ユーザは、オーディオ信号Ｔ１、Ｔ２、Ｔ３のいずれかを指定して、調整装置Ｃに上述した信号レベルの調整処理を実行させることができる。

本発明は、上述の実施形態で説明した調整装置の機能を実現するためのプログラムを、コンピュータに実行させることによっても実施されうる。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

Ａ：サーバ、Ｃ：調整装置、Ｄ：表示装置、Ｋ：入力装置、１０１：ＣＰＵ、１１２：信号処理プログラム

Claims (15)

1. ファイルに記録された複数フレームからなるオーディオ信号の信号レベルを、前記オーディオ信号のエンベロープに対応した離散的な調整ポイントにおいて調整する調整装置であって、
   前記オーディオ信号のエンベロープを取得する取得手段と、
   前記エンベロープを調整する調整手段と、
   を有し、
   前記調整手段は、
   フレーム毎の前記エンベロープのピーク値を検出し、
   前記複数フレームにおける前記検出されたピーク値の平均値である第１平均値を算出し、
   前記第１平均値よりも高いピーク値の平均値である第２平均値を算出し、
   前記検出されたピーク値のうち前記第２平均値よりも高いピーク値の平均値である第３平均値を算出し、
   前記第３平均値よりも高いピーク値の信号レベルが前記第３平均値に近づくように前記エンベロープを調整する、
   ことを特徴とする調整装置。
2. ファイルに記録された複数フレームからなるオーディオ信号の信号レベルを、前記オーディオ信号のエンベロープに対応した離散的な調整ポイントにおいて調整する調整装置であって、
   前記オーディオ信号のエンベロープを取得する取得手段と、
   前記エンベロープを調整する調整手段と、
   を有し、
   前記調整手段は、
   フレーム毎の前記エンベロープのピーク値を検出し、
   前記複数フレームにおける前記検出されたピーク値の平均値である第１平均値を算出し、
   前記第１平均値よりも高いピーク値の平均値である第２平均値を算出し、
   前記検出されたピーク値のうち前記第２平均値よりも高いピーク値の平均値である第３平均値を算出し、
   前記第３平均値よりも高いピーク値の平均値である第４平均値を算出し、
   前記第３平均値よりも高いピーク値の信号レベルが前記第３平均値と前記第４平均値との間の値になるように前記エンベロープを調整する、
   ことを特徴とする調整装置。
3. 前記調整手段は、更に、
   前記オーディオ信号の開始から第１期間において、前記第１平均値より低く、かつ第１しきい値より高い前記エンベロープのピーク値が存在する場合、当該ピーク値の信号レベルを最大で第１調整量まで増加させる、
   ことを特徴とする請求項１に記載の調整装置。
4. 前記第１しきい値は、ノイズレベルに相当するものとして予め定められた値である、ことを特徴とする請求項３に記載の調整装置。
5. 前記調整手段は、更に、
   前記オーディオ信号の開始から前記第１期間より長い第２期間において、前記第１平均値より低く、かつ前記第１しきい値より高い第２しきい値より高い前記エンベロープのピーク値が存在する場合、当該ピーク値の信号レベルを最大で前記第１調整量より小さい第２調整量まで増加させる、
   ことを特徴とする請求項３に記載の調整装置。
6. 前記調整手段は、更に、
   前記第２期間の後において、前記第１平均値より低く、かつ前記第２しきい値より高い第３しきい値より高い前記エンベロープのピーク値が存在する場合、当該ピーク値の信号レベルを最大で前記第２調整量より小さい第３調整量まで増加させる、
   ことを特徴とする請求項５に記載の調整装置。
7. 前記調整手段は、更に、各フレームの所定位置を調整ポイントとして設定する、ことを特徴とする請求項１に記載の調整装置。
8. 前記調整手段は、前記調整手段により信号レベルが調整された後の前記オーディオ信号の、互いに隣り合う２つの調整ポイントにおける信号レベル差が所定のしきい値以下である場合、前記２つの調整ポイントのうちの１つを削除する、ことを特徴とする請求項７に記載の調整装置。
9. 前記調整手段は、更に、
   前記オーディオ信号の開始から第１期間において、前記第１平均値より低く、かつ第１しきい値より高い前記エンベロープのピーク値が存在する場合、当該ピーク値の信号レベルを最大で第１調整量まで増加させる、
   ことを特徴とする請求項２に記載の調整装置。
10. 前記第１しきい値は、ノイズレベルに相当するものとして予め定められた値である、ことを特徴とする請求項９に記載の調整装置。
11. 前記調整手段は、更に、
    前記オーディオ信号の開始から前記第１期間より長い第２期間において、前記第１平均値より低く、かつ前記第１しきい値より高い第２しきい値より高い前記エンベロープのピーク値が存在する場合、当該ピーク値の信号レベルを最大で前記第１調整量より小さい第２調整量まで増加させる、
    ことを特徴とする請求項９に記載の調整装置。
12. 前記調整手段は、更に、
    前記第２期間の後において、前記第１平均値より低く、かつ前記第２しきい値より高い第３しきい値より高い前記エンベロープのピーク値が存在する場合、当該ピーク値の信号レベルを最大で前記第２調整量より小さい第３調整量まで増加させる、
    ことを特徴とする請求項１１に記載の調整装置。
13. 前記調整手段は、更に、各フレームの所定位置を調整ポイントとして設定する、ことを特徴とする請求項２に記載の調整装置。
14. 前記調整手段は、前記調整手段により信号レベルが調整された後の前記オーディオ信号の、互いに隣り合う２つの調整ポイントにおける信号レベル差が所定のしきい値以下である場合、前記２つの調整ポイントのうちの１つを削除する、ことを特徴とする請求項１３に記載の調整装置。
15. コンピュータを、請求項１から１４のいずれか１項に記載の調整装置の各手段として機能させる、ことを特徴とするプログラム。

Images