JP6243770B2

JP6243770B2 - チャンネル数変換装置

Info

Publication number: JP6243770B2
Application number: JP2014062585A
Authority: JP
Inventors: 岳大杉本; 靖茂中山; 大出　訓史; 訓史大出
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2014-03-25
Filing date: 2014-03-25
Publication date: 2017-12-06
Anticipated expiration: 2034-03-25
Also published as: JP2015186143A

Description

本発明は、チャンネル数変換装置に関するものである。より詳細には、本発明は、例えば５．１ｃｈを超えるようなマルチチャンネルの音声信号（音響信号）のチャンネル数を変換する装置に関するものである。

近年、多数の音声チャンネルを用いることにより、三次元音響のような高い臨場感の音響再生を実現する音響システムが提案されている（特許文献１および非特許文献１参照）。例えば、５．１ｃｈサラウンドのような音響システムによるホームシアターシステムが、家庭用として登場している。また、例えばスーパーハイビジョン（ＳＨＶ）放送においては、２２．２ｃｈというマルチチャンネルの音響が採用される。

しかしながら、家庭における使用を想定した場合、各家庭に設置されるスピーカの数は、２２．２ｃｈのマルチチャンネル音響システムを構成するチャンネル数よりも少ないことがほとんどであると想定される。

このため、２２．２ｃｈのようなマルチチャンネルの音響を家庭で再現するには、ダウンミックスのような、チャンネル数を少なく変換する手法が必要になる。従来、５．１ｃｈサラウンドを２ｃｈのステレオに変換する手法は既に提案されている（例えば非特許文献２参照）。しかしながら、５．１ｃｈを超えるようなマルチチャンネルの音響システムのチャンネル数を変換する方法については、その実用化が依然として望まれている。

一般的に、各家庭に設置されているスピーカの数は決まっていない。また、上述したように、各家庭に設置されるスピーカの数は、２２．２ｃｈのマルチチャンネル音響システムに対応していないことが通常である。このため、例えば５．１ｃｈを超えるようなマルチチャンネルの音声信号に基づく音声（音響）を再生する場合、設置されているスピーカの数に合わせて、音声信号のチャンネル数を変換する必要がある。

特開２００９−７７３７９号公報

IEICE Fundamentals Review Vol.3，No.4 (2010)，pp.33-46「高臨場感音響技術とその理論」安藤彰男 ARIB STD-B21「デジタル放送用受信装置（望ましい仕様）」

しかしながら、提供するコンテンツに依存せずに一意にチャンネル数の変換を行うと、種々の不都合が想定される。

したがって、本発明の目的は、例えば５．１ｃｈを超えるような複数の音声チャンネルの音声信号のチャンネル数を変換する際の不都合を改善するチャンネル数変換装置を提供することにある。

上記目的を達成する第１の観点に係る発明は、
複数の音声チャンネルの音声信号のチャンネル数を変換するチャンネル数変換装置であって、
前記複数の音声チャンネルの音声信号のチャンネル数を変換する際に、
当該複数の音声チャンネルのうち少なくとも１つの所定のチャンネルの音声信号に基づく音声の周波数マスキング効果により、当該複数の音声チャンネルのうち前記所定のチャンネル以外のチャンネルの音声信号においてマスキングされる周波数成分を除去する制御部を備えるものである。

また、前記制御部は、前記所定のチャンネル、および前記所定のチャンネル以外のチャンネルを、前記複数の音声チャンネルのうち前記音声信号を出力するチャンネルの配置される位置または方向が当該音声信号のチャンネル数を変換する前後で変更されるチャンネルとしてもよい。

また、前記制御部は、前記所定のチャンネル、および前記所定のチャンネル以外のチャンネルを特定する情報を保持するように構成されるようにしてもよい。

また、前記制御部は、前記チャンネル数変換装置の外部から供給される情報に基づいて、前記所定のチャンネル、および前記所定のチャンネル以外のチャンネルを特定してもよい。

また、前記制御部は、前記所定のチャンネル、および前記所定のチャンネル以外のチャンネルを、各チャンネルの音声信号に基づく音声の周波数帯域に基づいて決定してもよい。

上記目的を達成する第２の観点に係る発明は、
複数の音声チャンネルの音声信号のチャンネル数を変換するチャンネル数変換装置であって、
前記複数の音声チャンネルの音声信号のチャンネル数を変換する際に、
当該複数の音声チャンネルのうち少なくとも１つの所定のチャンネルの音声信号に基づく音声の周波数マスキング効果により、当該複数の音声チャンネルのうち前記所定のチャンネル以外のチャンネルの音声信号においてマスキングされる周波数成分が除去された音声信号のチャンネル数を変換する制御部を備えるものである。

本発明によれば、例えば５．１ｃｈを超えるような複数の音声チャンネルの音声信号のチャンネル数を変換する際の不都合を改善するチャンネル数変換装置を提供することができる。

本発明の実施形態に係るチャンネル数変換装置の概略構成を説明する機能ブロック図である。本発明の実施形態におけるチャンネル数の変換を説明する図である。

以下、本発明の実施形態について、図面を参照して説明する。

上述したように、例えば５．１ｃｈを超えるような複数の音声チャンネルの音声信号のチャンネル数を、提供するコンテンツに依存せずに一意に変換すると、種々の不都合が想定される。

例えば、このようなチャンネル数の変換を行うと、音声信号を加算する際にレベルがオーバするという問題が生じる。このため、ダウンミックス等のチャンネル数変換の処理においては、信号レベルがオーバフローしないように、チャンネル数変換前の音声信号に１より小さい係数を乗じてからダウンミックスを行うのが一般的である。

しかしながら、このようにすると、ラウドネスが大幅に低下してしまい、チャンネル数を変換することでラウドネスが変化してしまうという問題が発生する。

そこで、本発明においては、方向別のマスキング効果を利用して、チャンネル数変換時の信号レベルのオーバフローを防ぎつつ、チャンネル数変換前のラウドネスが変換後も維持されるようにする。

図１は、本発明の一実施形態に係るチャンネル数変換装置の概略構成を説明する機能ブロック図である。

図１に示すように、本実施形態に係るチャンネル数変換装置１は、制御部１０、および記憶部２０を備えている。制御部１０は、複数のチャンネルの音声信号が入力されると、当該音声信号のチャンネル数を変換したものを出力する。図１においては、チャンネル数変換装置１の左側から２２．２ｃｈの音声信号が入力され、チャンネル数変換装置１の左側から、例えば５．１ｃｈのような、チャンネル数が変換された音声信号が出力される様子を示してある。

以下、制御部１０および記憶部２０を含んで本発明に係るチャンネル数変換装置１を構成するものとして説明する。しかしながら、本発明はこのような実施形態に限定されるものではない。例えば、制御部１０が記憶部２０を内蔵するような構成としたり、チャンネル数変換装置１を制御部１０および記憶部２０の機能を有するシステムオンチップ（ＳｏＣ）として構成するなど、種々の構成態様を想定することができる。

制御部１０は、例えばプロセッサまたはマイコンなどの任意の処理装置を含んで構成することができる。本実施形態において、制御部１０は、音声信号を含む各種のデータの入力に基づいて、当該データを解析したり、各種の演算処理を施したりする。また、制御部１０は、必要に応じて各種の解析結果を記憶部２０に記憶させたり、必要に応じて記憶部２０に記憶された各種情報を読み出したりすることができる。特に、本実施形態において、制御部１０は、複数のチャンネルの音声信号が入力されると、当該音声信号のチャンネル数を変換する処理を行う。また、本実施形態において、制御部１０は、このようなチャンネル数の変換に関連する各種の処理も行う。本実施形態において制御部１０が行う処理については、さらに後述する。

本実施形態に係るチャンネル数変換装置１は、チャンネル数の変換を行う際に、音声信号のマスカーチャンネルの情報に基づいて、複数の音声チャンネルの音声信号を分配する。このため、図１に示すように、制御部１０は、音声信号のマスカーチャンネルの情報を供給される。

記憶部２０は、任意のメモリ装置を含んで構成することができる。記憶部２０は、制御部１０が上述したようなデータ解析および各種の演算処理などを行う際のアルゴリズム、およびルックアップテーブル（ＬＵＴ）のような各種の参照テーブルなども記憶する。

上述したように、本実施形態に係るチャンネル数変換装置１は、複数のチャンネルの音声信号の入力に基づいて、当該音声信号のチャンネル数を変換してから出力する。ここで、チャンネル数変換装置１が扱う音声信号の複数のチャンネル数は特に限定されるものではなく、任意の複数のチャンネルとすることができる。しかしながら、本実施形態に係るチャンネル数変換装置１は、５．１ｃｈを超えるようなマルチチャンネルの音声信号を扱うのに特に好適である。以下の説明においては、チャンネル数変換装置１に入力される音声信号は、例として、ＳＨＶにおいて採用される２２．２ｃｈサラウンドの音声信号である場合について述べる。ここで、チャンネル数変換装置に入力する２２．２ｃｈの音声信号は、例えばＰＣＭ信号または圧縮符号化した信号など、種々の形式の信号とすることができる。

すなわち、本実施形態で２２．２ｃｈの音声信号に基づく音声の再生を行う音響システムにおいてスピーカが配置される位置は、規格ＳＭＰＴＥＳＴ２０３６−２−２００８に規定されている。ＳＨＶの音響システムでは、聴取位置を中心とする三次元空間において、ｃｈ１〜１２の中層には１０個のスピーカを配置し、ｃｈ１３〜２１の上層（Ｔｏｐ）に９個のスピーカを配置し、ｃｈ２２〜２４の下層（Ｂｏｔｔｏｍ）に３個のスピーカを配置する。なお、ｃｈ４および１０は、低域効果音（ＬＦＥ）用のチャンネルである。このように、２２．２ｃｈの音響システムにおいては、合計２４ｃｈのチャンネルの音声信号に基づく音声を再生する。

次に、本実施形態に係るチャンネル数変換装置１において、複数のチャンネルの音声信号の入力に基づいて、チャンネル数を変換する際の処理について説明する。以下の説明においては、例として、チャンネル数変換装置１は、２２．２ｃｈサラウンドの音声信号を、５．１ｃｈにチャンネル数変換（ダウンミックス）する場合について述べる。

図２は、本発明の一実施形態におけるチャンネル数の変換を説明する図である。図２は、チャンネル数変換装置１が、複数の音声チャンネルの音声信号を入力されて、当該音声信号のチャンネル数を変換してから出力する際の処理の流れを、左から右の方向に示している。

チャンネル数変換装置１に２２．２ｃｈの音声信号が入力されると、制御部１０は、入力された２２．２ｃｈ音声信号を、少なくとも１つの所定のチャンネルと、当該所定のチャンネル以外のチャンネルと、に分配する（ステップＳ１１）。

本実施形態においては、所定のチャンネルによる他のチャンネルに対するマスキング効果を利用して、マスキングされる周波数成分、すなわち各チャンネルにおいて聴覚上不要な部分を除外してダウンミックスする。以下、マスキングする側の所定のチャンネルを「マスカーチャンネル」と記し、マスキングされる側の他のチャンネルを「マスキーチャンネル」と記す。すなわち、ステップＳ１１においては、制御部１０は、２２．２ｃｈの音声信号を、少なくとも１つのマスカーチャンネルと、少なくとも１つのマスキーチャンネルと、に分配する。

本実施形態において、チャンネルの音声信号に基づく音声の周波数マスキング効果を計算する際に、マスカーチャンネルの選定が重要となる。以下、ステップＳ１１において、規格ＳＭＰＴＥＳＴ２０３６−２−２００８に規定される中層（ｃｈ１〜１２）の１０．２ｃｈのうち、ＦＬ，ＦＣ，ＦＲ，ＢＬ，ＢＲの５ｃｈをマスカーチャンネルとする例について説明する。

また、以下の説明においては、２２．２ｃｈのうちいずれのチャンネルをマスカーチャンネルとするかを決定するための情報は、制御部１０の外部から供給される構成を例として説明する。しかしながら、チャンネル数変換装置１が、例えば記憶部２０においてマスカーチャンネルの情報を保持する構成などとすることもできる。

ステップＳ１１において、チャンネルが分配されたら、制御部１０は、分配されたチャンネルのうちマスカーチャンネルについて、チャンネル数の変換を行う（ステップＳ１２）。

ステップＳ１２におけるチャンネル数変換は、５．１ｃｈと同様の固定されたダウンミックス係数によるチャンネル数変換の他、三次元的なチャンネル配置を所望のチャンネル配置・数にレンダリングする方法（例えば、A. Ando and K. Hamasaki, “Sound intensity based three-dimensional panning,” AES Convention, Convention Paper 7675 (2009)など参照）などを用いることができる。

また、ステップＳ１１において、チャンネルが分配されたら、制御部１０は、分配されたチャンネルのうちマスキーチャンネルについて、不必要な周波数成分を除去する第１の処理を行う（ステップＳ１３）。ステップＳ１３では、制御部１０は、２２．２ｃｈ音響のチャンネル配置において、マスカーチャンネルが、それ以外のマスキーチャンネルに及ぼすマスキング効果（方向別マスキング効果）に応じて、聴覚心理的に不必要な周波数成分を除去する。

従来のマスキング効果は、同じ方向から到来した複数の音声における相互作用について考慮したものであった。しかしながら、異なる方向からの到来音の場合、聴覚心理的に相互作用の顕れ方が変化するため、方向別マスキング効果においては、このような場合について考慮したものである。

ステップＳ１３においては、全てのマスカーチャンネルによるマスキング効果を考慮することは必須ではない。例えば、最も近傍のマスカーチャンネルの影響のみを考慮する等、各種の処理とすることもできる。また、マスキングによる不必要な周波数成分を除去する際には、例えば圧縮符号化された信号である場合には、ＭＤＣＴ（変形コサイン変換）符号化による帯域成分ごとに処理を行うのが効果的である。

ステップＳ１３において不必要な周波数成分が除去されたら、制御部１０は、マスキーチャンネルについて、不必要な周波数成分を除去する第２の処理を行う（ステップＳ１４）。ステップＳ１４では、制御部１０は、チャンネル数変換後（５．１ｃｈ）のチャンネル配置において、マスカーチャンネルが、それ以外のマスキーチャンネルに及ぼすマスキング効果（方向別マスキング効果）に応じて、聴覚心理的に不必要な周波数成分を除去する。ステップＳ１４においても、いずれのマスカーチャンネルによるマスキング効果を考慮するかは、適宜選択することができる。

ステップＳ１４では、２２．２ｃｈにおいて予め決められたマスカーチャンネルが変換された後の位置または方向において、改めて方向別マスキングを考慮する。したがって、例えば中層のチャンネルＦＣ（Front center）のようにマスカーチャンネルの場所がチャンネル数変換の前後で変わらない場合、同じ方向からの音として処理を行う。一方、例えば上層のチャンネルＴｐＦＣ（Top front center）のようにマスカーチャンネルの場所がチャンネル数変換の前後で変わる場合、変換された後の場所の情報で処理を行う。

ステップＳ１４において不必要な周波数成分が除去されたら、制御部１０は、分配されたチャンネルのうちマスキーチャンネルについて、チャンネル数の変換を行う（ステップＳ１５）。ステップＳ１５においては、ステップＳ１２におけるチャンネル数変換と同様の処理を行うことができる。

ステップＳ１２およびステップＳ１５において、マスカーチャンネルおよびマスキーチャンネルについてチャンネル数が変換されたら、制御部１０は、それぞれの音声信号を加算する（ステップＳ１６）。ステップＳ１６の後、チャンネル数変換装置１は、２２．２ｃｈから５．１ｃｈにチャンネル数を変換した音声信号を出力することができる。

このように、本実施形態において、チャンネル数変換装置１は、複数の音声チャンネル（例えば２２．２ｃｈ）の音声信号のチャンネル数を（例えば５．１ｃｈなどの少ないチャンネル数に）変換する。ここで、制御部１０は、制御部１０は、複数の音声チャンネルの音声信号のチャンネル数を変換する際に、当該複数の音声チャンネルのうち少なくとも１つの所定のチャンネルの音声信号に基づく音声の周波数マスキング効果により、当該複数の音声チャンネルのうち前記所定のチャンネル以外のチャンネルの音声信号においてマスキングされる周波数成分を除去する。また、複数の音声チャンネルのうち少なくとも１つの所定のチャンネルとは、上述したマスカーチャンネルとすることができ、複数の音声チャンネルのうち前記所定のチャンネル以外のチャンネルとは、上述したマスキーチャンネルとすることができる。さらに、本実施形態において、上述したマスカーチャンネルとは、例えばダイアログ信号の含まれたチャンネルまたはオブジェクトのチャンネルとすることができる。

また、本実施形態において、マスカーチャンネルおよびマスキーチャンネルは、複数の音声チャンネルのうち音声信号を出力するチャンネルの配置される位置または方向が当該音声信号のチャンネル数を変換する前後で変更されるチャンネルとすることができる。

また、本実施形態において、制御部１０は、マスカーチャンネルおよびマスキーチャンネルを特定する情報を、例えば記憶部２０などに保持するように構成してもよい。さらに、本実施形態において、制御部１０は、チャンネル数変換装置１の外部から供給される情報に基づいて、マスカーチャンネルおよびマスキーチャンネルを特定してもよい。また、本実施形態において、制御部１０は、マスカーチャンネルおよびマスキーチャンネルを、各チャンネルの音声信号に基づく音声の周波数帯域に基づいて決定してもよい。

このように、本実施形態においては、ダウンミックスを行う際に、予め定めた主要なチャンネル（例えばマスカーチャンネル）が、その他のチャンネル（例えばマスキーチャンネル）に及ぼすマスキング効果を利用して、マスキー成分（各チャンネル内の聴覚上不必要な成分）を除外する。

したがって、本実施形態に係るチャンネル数変換装置によれば、複数の音声チャンネルを有する音響システムのチャンネル数を変換する際に、信号レベルのオーバフローを防ぎつつ、変換前のラウドネスを変換後も維持することができる。

本発明を諸図面および実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形および修正は本発明の範囲に含まれることに留意されたい。例えば、各機能部、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の機能部やステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。また、上述した本発明の実施形態は、それぞれ説明した実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。

また、上述した実施形態においては、ＳＨＶに採用される２２．２ｃｈのマルチチャンネルの音声信号を少ないチャンネル数に変換する装置を説明したが、本発明は、このような実施形態に限定されない。本発明は、ＳＨＶに採用される２２．２ｃｈのマルチチャンネルのみならず、その他のチャンネルベースの立体音響フォーマットにおいても実施することができる。また、本発明は、上述した２２．２ｃｈなどのチャンネルベース方式以外にも、Dolby ATMOSなどのオブジェクトベース方式、または高次アンビソニックスなどのシーンベース方式に適用することもできる。

上述した実施形態においては、ステップＳ１３において周波数成分を除去する第１の処理を行い、ステップＳ１４において周波数成分を除去する第２の処理を行った。しかしながら、本発明はこのような態様に限定されるものではなく、ステップＳ１３またはステップＳ１４のいずれか一方のみの処理を行うようにしてもよい。

また、上述した実施形態においては、ステップＳ１３の周波数成分除去処理およびステップＳ１４の周波数成分除去処理ともに、チャンネル数変換装置１において行う構成について説明した。しかしながら、本発明に係るチャンネル数変換装置１は、ステップＳ１３およびステップＳ１４の周波数成分除去処理の少なくとも一方を、例えばＳＨＶの放送局における送信機側で行うようにしてもよい。この場合、ＳＨＶの放送局における送信機は、ステップＳ１３およびステップＳ１４の周波数成分除去処理の少なくとも一方を行った音声信号を圧縮符号化した放送波を送信する。そして、この場合、本発明に係るチャンネル数変換装置１は、当該放送波を受信した後は、直ちにステップＳ１２およびステップＳ１５のチャンネル数変換を行うことができる。

したがって、本発明に係るチャンネル数変換装置１の制御部１０は、複数の音声チャンネルの音声信号のチャンネル数を変換する際に、当該複数の音声チャンネルのうち少なくとも１つの所定のチャンネルの音声信号に基づく音声の周波数マスキング効果により、当該複数の音声チャンネルのうち前記所定のチャンネル以外のチャンネルの音声信号においてマスキングされる周波数成分が除去された音声信号のチャンネル数を変換してもよい。

このように、不要周波数成分除去の処理を送信機側で行うことにより、例えばチャンネル数変換装置を備えるＳＨＶの受信機は、計算量を要する周波数除去処理を行う必要がなくなる。したがって、このような構成においては、受信機の構成を簡単にすることができ、受信機の低コスト化に有利である。

また、上述した実施形態においては、説明の便宜上、マスカーチャンネルおよびマスキーチャンネルを予め設定してから、マスキング効果による不要周波数成分の除去を行う態様について記載した。しかしながら、実際には、マスカーチャンネルとマスキーチャンネルとの間には、双方向的な関係がある。また、周波数帯域別に考えると、マスカーチャンネルとマスキーチャンネルとの関係が入れ替わるようなチャンネル関係もあり得る。このため、本発明は、あらゆるチャンネル間のマスキング効果を、周波数帯域別に考慮した上で各種処理を行うような構成とすることもできる。

１チャンネル数変換装置
１０制御部
２０記憶部

Claims

複数の音声チャンネルの音声信号のチャンネル数を変換するチャンネル数変換装置であって、
前記複数の音声チャンネルの音声信号のチャンネル数を変換する際に、
当該複数の音声チャンネルのうち少なくとも１つの所定のチャンネルの音声信号に基づく音声の周波数マスキング効果により、当該複数の音声チャンネルのうち前記所定のチャンネル以外のチャンネルの音声信号においてマスキングされる周波数成分を除去する制御部を備える、チャンネル数変換装置。
前記制御部は、前記所定のチャンネル、および前記所定のチャンネル以外のチャンネルを、前記複数の音声チャンネルのうち前記音声信号を出力するチャンネルの配置される位置または方向が当該音声信号のチャンネル数を変換する前後で変更されるチャンネルとする、請求項１に記載のチャンネル数変換装置。
前記制御部は、前記所定のチャンネル、および前記所定のチャンネル以外のチャンネルを特定する情報を保持するように構成される、請求項１または２に記載のチャンネル数変換装置。
前記制御部は、前記チャンネル数変換装置の外部から供給される情報に基づいて、前記所定のチャンネル、および前記所定のチャンネル以外のチャンネルを特定する、請求項１または２に記載のチャンネル数変換装置。
前記制御部は、前記所定のチャンネル、および前記所定のチャンネル以外のチャンネルを、各チャンネルの音声信号に基づく音声の周波数帯域に基づいて決定する、請求項１に記載のチャンネル数変換装置。
複数の音声チャンネルの音声信号のチャンネル数を変換するチャンネル数変換装置であって、
前記複数の音声チャンネルの音声信号のチャンネル数を変換する際に、
当該複数の音声チャンネルのうち少なくとも１つの所定のチャンネルの音声信号に基づく音声の周波数マスキング効果により、当該複数の音声チャンネルのうち前記所定のチャンネル以外のチャンネルの音声信号においてマスキングされる周波数成分が除去された音声信号のチャンネル数を変換する制御部を備える、チャンネル数変換装置。