JP6313641B2

JP6313641B2 - チャンネル数変換装置

Info

Publication number: JP6313641B2
Application number: JP2014085529A
Authority: JP
Inventors: 岳大杉本; 健介入江; 靖茂中山; 大出　訓史; 訓史大出; 渡辺　馨; 馨渡辺
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2014-03-25
Filing date: 2014-04-17
Publication date: 2018-04-18
Anticipated expiration: 2034-04-17
Also published as: JP2017163555A; JP6228701B2; JP2017163556A; JP6228700B2; JP2015195545A; JP2017085619A; JP6123016B1

Description

本発明は、チャンネル数変換装置に関するものである。より詳細には、本発明は、例えば５．１ｃｈを超えるようなマルチチャンネルの音声信号（音響信号）のチャンネル数を変換する装置に関するものである。

近年、多数の音声チャンネルを用いることにより、三次元音響のような高い臨場感の音響再生を実現する音響システムが提案されている（特許文献１および非特許文献１参照）。例えば、５．１ｃｈサラウンドのような音響システムによるホームシアターシステムが、家庭用として登場している。また、例えばスーパーハイビジョン（ＳＨＶ）放送においては、２２．２ｃｈというマルチチャンネルの音響が採用される。

しかしながら、家庭における使用を想定した場合、各家庭に設置されるスピーカの数は、２２．２ｃｈのマルチチャンネル音響システムを構成するチャンネル数よりも少ないことがほとんどであると想定される。

このため、２２．２ｃｈのようなマルチチャンネルの音響を家庭で再現するには、ダウンミックスのような、チャンネル数を少なく変換する手法が必要になる。従来、５．１ｃｈサラウンドを２ｃｈのステレオに変換する手法は既に提案されている（例えば非特許文献２参照）。しかしながら、５．１ｃｈを超えるようなマルチチャンネルの音響システムのチャンネル数を変換する方法については、その実用化が依然として望まれている。

一般的に、各家庭に設置されているスピーカの数は決まっていない。また、上述したように、各家庭に設置されるスピーカの数は、２２．２ｃｈのマルチチャンネル音響システムに対応していないことが通常である。このため、例えば５．１ｃｈを超えるようなマルチチャンネルの音声信号に基づく音声（音響）を再生する場合、設置されているスピーカの数に合わせて、音声信号のチャンネル数を変換する必要がある。

特開２００９−７７３７９号公報

IEICE Fundamentals Review Vol.3，No.4 (2010)，pp.33-46「高臨場感音響技術とその理論」安藤彰男 ARIB STD-B21「デジタル放送用受信装置（望ましい仕様）」

しかしながら、提供するコンテンツに依存せずに一意にチャンネル数の変換を行うと、種々の不都合が想定される。

したがって、本発明の目的は、例えば５．１ｃｈを超えるような複数の音声チャンネルの音声信号のチャンネル数を変換する際の不都合を改善するチャンネル数変換装置を提供することにある。

上記目的を達成する第１の観点に係る発明は、
第１のチャンネル数の音声信号のチャンネル数を第２のチャンネル数に変換するチャンネル数変換装置であって、
前記第１のチャンネル数の音声信号は、ＦＣ、ＦＬｃ、ＦＲｃ、ＦＬ、ＦＲ、ＳｉＬ、ＳｉＲ、ＢＬ、ＢＲ、ＢＣ、ＬＦＥ１、ＬＦＥ２、ＴｐＦＣ、ＴｐＦＬ、ＴｐＦＲ、ＴｐＳｉＬ、ＴｐＳｉＲ、ＴｐＣ、ＴｐＢＬ、ＴｐＢＲ、ＴｐＢＣ、ＢｔＦＣ、ＢｔＦＬ、およびＢｔＦＲの各チャンネルを含み、
前記第２のチャンネル数の音声信号は、Ｃ、Ｌ、Ｒ、ＬＳ、ＲＳ、およびＬＦＥの各チャンネルを含み、
ｇ _１、ｇ _２、ｇ _３、ｇ _４、ｇ _５、およびｇ _６をそれぞれ所定の係数として、

に従ってチャンネル数を変換するチャンネル数変換部と、
前記第１のチャンネル数の音声信号および前記第２のチャンネル数の音声信号のラウドネスに基づいて、前記第２のチャンネル数の音声信号のラウドネスを調整するラウドネス調整部と、を備えるものである。

また、前記ラウドネス調整部は、前記第２のチャンネル数の音声信号のラウドネスを、前記第１のチャンネル数の音声信号のラウドネスに近づけるように調整してもよい。

また、前記ラウドネス調整部は、前記第１のチャンネル数の音声信号のラウドネス、および前記第２のチャンネル数の音声信号のラウドネスの少なくとも一方を測定するように構成してもよい。

また、前記ラウドネス調整部は、前記第１のチャンネル数の音声信号のラウドネスの情報、および前記第２のチャンネル数の音声信号のラウドネスの情報の少なくとも一方を、前記チャンネル数変換装置の外部から供給されるようにしてもよい。

本発明によれば、例えば５．１ｃｈを超えるような複数の音声チャンネルの音声信号のチャンネル数を変換する際の不都合を改善するチャンネル数変換装置を提供することができる。

本発明の実施形態に係るチャンネル数変換装置の概略構成を説明する機能ブロック図である。本発明の実施形態におけるチャンネル数の変換を説明する図である。

以下、本発明の実施形態について、図面を参照して説明する。

上述したように、例えば５．１ｃｈを超えるような複数の音声チャンネルの音声信号のチャンネル数を、提供するコンテンツに依存せずに一意に変換すると、種々の不都合が想定される。

例えば、このようなチャンネル数の変換を行うと、音声信号におけるラウドネスに変化が生じるため、ラウドネスを調整しなければならない。特に、上述のようなチャンネル数の変換を行うと、音声信号を加算する際にレベルがオーバするという問題が生じる。このため、ダウンミックス等のチャンネル数変換の処理においては、信号レベルがオーバフローしないように、チャンネル数変換前の音声信号に１より小さい係数を乗じてからダウンミックスを行うのが一般的である。

しかしながら、このようにすると、ラウドネスが大幅に低下してしまい、チャンネル数を変換することでラウドネスが変化してしまうという問題が発生する。

そこで、本実施形態においては、複数の音声チャンネルを有する音響システムのチャンネル数を変換する際に、変換前の音声信号におけるラウドネスが、変換後も維持されるようにする。

図１は、本発明の一実施形態に係るチャンネル数変換装置の概略構成を説明する機能ブロック図である。

図１に示すように、本実施形態に係るチャンネル数変換装置１は、制御部１０、および記憶部２０を備えている。制御部１０は、複数のチャンネルの音声信号が入力されると、当該音声信号のチャンネル数を変換したものを出力する。図１においては、チャンネル数変換装置１の左側から２２．２ｃｈの音声信号が入力され、チャンネル数変換装置１の左側から、例えば５．１ｃｈのような、チャンネル数が変換された音声信号が出力される様子を示してある。

以下、制御部１０および記憶部２０を含んで本発明に係るチャンネル数変換装置１を構成するものとして説明する。しかしながら、本発明はこのような実施形態に限定されるものではない。例えば、制御部１０が記憶部２０を内蔵するような構成としたり、チャンネル数変換装置１を制御部１０および記憶部２０の機能を有するシステムオンチップ（ＳｏＣ）として構成するなど、種々の構成態様を想定することができる。

制御部１０は、例えばプロセッサまたはマイコンなどの任意の処理装置を含んで構成することができる。本実施形態において、制御部１０は、音声信号を含む各種のデータの入力に基づいて、当該データを解析したり、各種の演算処理を施したりする。また、制御部１０は、必要に応じて各種の解析結果を記憶部２０に記憶させたり、必要に応じて記憶部２０に記憶された各種情報を読み出したりすることができる。特に、本実施形態において、制御部１０は、複数のチャンネルの音声信号が入力されると、当該音声信号のチャンネル数を変換する処理を行う。また、本実施形態において、制御部１０は、このようなチャンネル数の変換に関連する各種の処理も行う。本実施形態において制御部１０が行う処理については、さらに後述する。

記憶部２０は、任意のメモリ装置を含んで構成することができる。記憶部２０は、制御部１０が上述したようなデータ解析および各種の演算処理などを行う際のアルゴリズム、およびルックアップテーブル（ＬＵＴ）のような各種の参照テーブルなども記憶する。

上述したように、本実施形態に係るチャンネル数変換装置１は、複数のチャンネルの音声信号の入力に基づいて、当該音声信号のチャンネル数を変換してから出力する。ここで、チャンネル数変換装置１が扱う音声信号の複数のチャンネル数は特に限定されるものではなく、任意の複数のチャンネルとすることができる。しかしながら、本実施形態に係るチャンネル数変換装置１は、５．１ｃｈを超えるようなマルチチャンネルの音声信号を扱うのに特に好適である。以下の説明においては、チャンネル数変換装置１に入力される音声信号は、例として、ＳＨＶにおいて採用される２２．２ｃｈサラウンドの音声信号である場合について述べる。ここで、チャンネル数変換装置に入力する２２．２ｃｈの音声信号は、例えばＰＣＭ信号または圧縮符号化した信号など、種々の形式の信号とすることができる。

すなわち、本実施形態で２２．２ｃｈの音声信号に基づく音声の再生を行う音響システムにおいてスピーカが配置される位置は、規格ＳＭＰＴＥＳＴ２０３６−２−２００８に規定されている。ＳＨＶの音響システムでは、聴取位置を中心とする三次元空間において、ｃｈ１〜１２の中層には１０個のスピーカを配置し、ｃｈ１３〜２１の上層（Ｔｏｐ）に９個のスピーカを配置し、ｃｈ２２〜２４の下層（Ｂｏｔｔｏｍ）に３個のスピーカを配置する。なお、ｃｈ４および１０は、低域効果音（ＬＦＥ）用のチャンネルである。このように、２２．２ｃｈの音響システムにおいては、合計２４ｃｈのチャンネルの音声信号に基づく音声を再生する。

次に、本実施形態に係るチャンネル数変換装置１において、複数のチャンネルの音声信号の入力に基づいて、チャンネル数を変換する際の処理について説明する。

図２は、本発明の一実施形態におけるチャンネル数の変換を説明する図である。図２は、チャンネル数変換装置１が、複数の音声チャンネルの音声信号を入力されて、当該音声信号のチャンネル数を変換してから出力する際の処理の流れを、左から右の方向に示している。

チャンネル数変換装置１に２２．２ｃｈの音声信号が入力されると、制御部１０は、入力された２２．２ｃｈ音声信号のラウドネス値を測定する（ステップＳ１１）。

ここで、複数の音声チャンネルを有する音響システムのラウドネスの測定方法は、現状の５．１ｃｈ用の測定方法または方向別のラウドネスを考慮した方法など、任意の手法とすることができる。従来の５．１ｃｈの音声信号からラウドネス値を算出する方法については、ＡＲＩＢ技術資料ＴＲ−Ｂ３２（社団法人電波産業会「デジタルテレビ放送番組におけるラウドネス運用規定」）に規定されている。

また、５．１ｃｈを超えるようなマルチチャンネルの音声信号のラウドネスを測定する際には、上述のＡＲＩＢ技術資料ＴＲ−Ｂ３２に規定された方法を単純に拡張することもできるが、各チャンネルからの音の到来方向を考慮したラウドネス値を算出してもよい。このように音の到来方向を考慮したラウドネス測定は、本出願人による先の特許出願（特願２０１４−３２１９０）の明細書に開示したため、ここではその詳細な説明は省略する。

なお、ステップＳ１１において、制御部１０が２２．２ｃｈ音響信号のラウドネス値を測定するのではなく、チャンネル数変換装置１の外部からラウドネスの情報が供給されるようにしてもよい。

ステップＳ１１において音声信号のラウドネスが測定されたら、制御部１０は、２２．２ｃｈの音声信号のチャンネル数を変換する（ステップＳ１２）。本実施形態では、ステップＳ１２において、予め定められたチャンネル数変換手法に基づいて、２２．２ｃｈのチャンネル数を、５．１ｃｈに変換する。

ステップＳ１２において、２２．２ｃｈの音声信号は、例えば以下の式（１）〜（６）を用いることにより、５．１ｃｈにダウンミックスすることができる。特に、チャンネル数変換装置１が、ラウドネスを逐次的に制御する機能を有さない場、または、ラウドネス制御の信号を外部などから取得できない場合などは、以下の固定ダウンミックス係数を用いてチャンネル数変換を行うのが有利である。

この係数を用いることで、２２．２ｃｈ信号時の音声バランスを大幅に損なうことなく、また大幅なラウドネスの変化を生じることなく、チャンネル数を５．１ｃｈに変換することができる。なお、以下の変換式中の係数をｄＢに変換すると、１／２^１／２は−３ｄＢに、１／２^３／４は−４．５ｄＢに、１／２は−６ｄＢに対応する。この関係は、真数表示において完全には一致しないが、例えば±０．０１程度の範囲のような、ある程度の数値のズレは、本式に規定する関係に含まれるものとする。また、このようなチャンネル数変換において、各チャンネル間の係数比を維持したまま、全チャンネルのレベルをシフトさせることにより、全体のレベルを上げ下げしてもよい。

また、上述のようにして２２．２ｃｈの音声信号を５．１ｃｈにダウンミックスする際は、上記の式（１）〜（６）に代えて、以下の式（７）〜（１２）を用いてもよい。これらの式に示す固定ダウンミックス係数を用いることで、２２．２ｃｈ信号時の音声バランスを損なうことなく、さらに好適にチャンネル数を５．１ｃｈに変換することができる。

さらに、上述のようにして２２．２ｃｈの音声信号を５．１ｃｈにダウンミックスする際は、上記の式（１）〜（６）または式（７）〜（１２）に代えて、以下の式（１３）〜（１８）を用いてもよい。これらの式に示した係数ｇ_１〜ｇ_５およびｇ_ＬＦＥの関係を維持してダウンミックスをおこなうことで、２２．２ｃｈ信号時の音声バランスを大きく損なうことなく、５．１ｃｈ信号のレベルやラウドネスの調整幅を拡大することができる。このため、さらに好適にチャンネル数を５．１ｃｈに変換することができる。なお、各係数はそれぞれ等しい値とすることも可能である。

なお、ステップＳ１２におけるチャンネル数変換は、５．１ｃｈと同様の固定されたダウンミックス係数によるチャンネル数変換の他、三次元的なチャンネル配置を所望のチャンネル配置・数にレンダリングする方法（例えば、A. Ando and K. Hamasaki, “Sound intensity based three-dimensional panning,” AES Convention, Convention Paper 7675 (2009)など参照）などを用いることができる。

ステップＳ１２においてチャンネル数が変換されたら、制御部１０は、チャンネル数変換後の音声信号のラウドネスを再び測定する（ステップＳ１３）。なお、ステップＳ１３において、チャンネル数変換方式が既知の場合には、制御部１０が２２．２ｃｈ音響信号のラウドネス値を測定するのではなく、チャンネル数変換装置１の外部からラウドネスの情報が供給されるようにしてもよい。この場合、これらの情報は、チャンネル数変換装置１の外部から供給されるコンテンツ情報に付随する情報として供給されるようにしてもよい。

ステップＳ１３において音声信号のラウドネスが測定されたら、制御部１０は、ステップＳ１１およびステップＳ１３で測定したラウドネスに基づいて、音声信号のラウドネスを調整する（ステップＳ１４）。具体的には、ステップＳ１４では、制御部１０は、ステップＳ１４において測定されるラウドネス値が、ステップＳ１１において測定されたラウドネス値に近づくように、信号レベルの調整をおこなう。

ステップＳ１４における信号レベル調整の精度は、例えば、モメンタリ値の精度に追随させたり、または、信号レベル差が１ＬＫＦＳを超えた場合に調整を行ったりするなど、コンテンツの要求精度に合わせた種々の指標を採用することができる。また、ステップＳ１４におけるレベル調整は、例えば、コンプレッサ、リミッタ、メイクアップ（ゲイン調整）を用いる手法のみならず、ＥＱまたは位相シフトを用いる手法などを適宜用いることもできる。

ステップＳ１４において音声信号のラウドネスが調整されたら、チャンネル数変換装置１は、チャンネル数を変換した音声信号を出力することができる。

このように、本実施形態において、チャンネル数変換装置１は、複数の音声チャンネル（例えば２２．２ｃｈ）の音声信号のチャンネル数を（例えば５．１ｃｈなどの少ないチャンネル数に）変換する。ここで、制御部１０は、複数の音声チャンネルの音声信号のチャンネル数を変換する前後のラウドネスに基づいて、当該音声信号のチャンネル数を変換した後のラウドネスを調整する。また、制御部１０は、音声信号のチャンネル数を変換した後のラウドネスを、当該音声信号のチャンネル数を変換する前のラウドネスに近づけるように調整するようにするのが好適である。

また、上述したように、本実施形態において、制御部１０は、複数の音声チャンネルの音声信号のチャンネル数を変換する前のラウドネス、および当該音声信号のチャンネル数を変換した後のラウドネスの少なくとも一方を測定するように構成してもよい。また、制御部１０は、複数の音声チャンネルの音声信号のチャンネル数を変換する前のラウドネスの情報、および当該音声信号のチャンネル数を変換した後のラウドネスの情報の少なくとも一方を、チャンネル数変換装置１の外部から供給されるようにしてもよい。

このように、本実施形態においては、チャンネル数を変換する前のラウドネス値を測定し、チャンネル数変換時に利用することにより、ラウドネスを調整する。

したがって、本実施形態に係るチャンネル数変換装置によれば、複数の音声チャンネルを有する音響システムのチャンネル数を変換する際に、変換前の音声信号のラウドネスを、変換後も維持することができる。

本発明を諸図面および実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形および修正は本発明の範囲に含まれることに留意されたい。例えば、各機能部、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の機能部やステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。また、上述した本発明の実施形態は、それぞれ説明した実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。

また、上述した実施形態においては、ＳＨＶに採用される２２．２ｃｈのマルチチャンネルの音声信号を少ないチャンネル数に変換する装置を説明したが、本発明は、このような実施形態に限定されない。本発明は、ＳＨＶに採用される２２．２ｃｈのマルチチャンネルのみならず、その他のチャンネルベースの立体音響フォーマットにおいても実施することができる。また、本発明は、上述した２２．２ｃｈなどのチャンネルベース方式以外にも、Dolby ATMOSなどのオブジェクトベース方式、または高次アンビソニックスなどのシーンベース方式に適用することもできる。

また、上述した実施形態では、ステップＳ１１およびステップＳ１３の信号レベルの測定は、ラウドネス値を指標として用いてラウドネスを測定する態様を説明した。しかしながら、本発明におけるステップＳ１１およびステップＳ１３の信号レベル測定は、ラウドネス測定に限定されるものではない。例えば、ダイアログにとって重要であるホルマント成分の帯域に限定した信号レベル比、または聴覚心理上敏感な４ｋＨｚ付近のみに着目した信号レベル比など、使用の目的によって、基準とする指標を適宜変更することができる。

また、上述した実施形態では、制御部１０が、ステップＳ１１およびステップＳ１３においてラウドネスの測定を行う態様について説明した。しかしながら、本発明はこのような態様に限定されるものではなく、各種の情報を適宜外部から供給されるように構成してもよい。例えば、分配した音声信号のチャンネル数を変換する前の信号レベル、および当該分配した音声信号のチャンネル数を変換した後の信号レベルの少なくとも一方は、制御部１０が測定するのではなく、これらの信号レベル（ラウドネス）の情報をチャンネル数変換装置１の外部から供給されるようにしてもよい。

１チャンネル数変換装置
１０制御部
２０記憶部

Claims

第１のチャンネル数の音声信号のチャンネル数を第２のチャンネル数に変換するチャンネル数変換装置であって、
前記第１のチャンネル数の音声信号は、ＦＣ、ＦＬｃ、ＦＲｃ、ＦＬ、ＦＲ、ＳｉＬ、ＳｉＲ、ＢＬ、ＢＲ、ＢＣ、ＬＦＥ１、ＬＦＥ２、ＴｐＦＣ、ＴｐＦＬ、ＴｐＦＲ、ＴｐＳｉＬ、ＴｐＳｉＲ、ＴｐＣ、ＴｐＢＬ、ＴｐＢＲ、ＴｐＢＣ、ＢｔＦＣ、ＢｔＦＬ、およびＢｔＦＲの各チャンネルを含み、
前記第２のチャンネル数の音声信号は、Ｃ、Ｌ、Ｒ、ＬＳ、ＲＳ、およびＬＦＥの各チャンネルを含み、
ｇ _１、ｇ _２、ｇ _３、ｇ _４、ｇ _５、およびｇ _６をそれぞれ所定の係数として、

に従ってチャンネル数を変換するチャンネル数変換部と、
前記第１のチャンネル数の音声信号および前記第２のチャンネル数の音声信号のラウドネスに基づいて、前記第２のチャンネル数の音声信号のラウドネスを調整するラウドネス調整部と、
を備える、チャンネル数変換装置。
前記ラウドネス調整部は、前記第２のチャンネル数の音声信号のラウドネスを、前記第１のチャンネル数の音声信号のラウドネスに近づけるように調整する、請求項１に記載のチャンネル数変換装置。
前記ラウドネス調整部は、前記第１のチャンネル数の音声信号のラウドネス、および前記第２のチャンネル数の音声信号のラウドネスの少なくとも一方を測定するように構成した、請求項１または２に記載のチャンネル数変換装置。
前記ラウドネス調整部は、前記第１のチャンネル数の音声信号のラウドネスの情報、および前記第２のチャンネル数の音声信号のラウドネスの情報の少なくとも一方を、前記チャンネル数変換装置の外部から供給される、請求項１または２に記載のチャンネル数変換装置。