JP6170791B2

JP6170791B2 - 残響付加装置

Info

Publication number: JP6170791B2
Application number: JP2013195611A
Authority: JP
Inventors: 郁子澤谷; 敏行西口
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2013-09-20
Filing date: 2013-09-20
Publication date: 2017-07-26
Anticipated expiration: 2033-09-20
Also published as: JP2015060181A

Description

この発明は、残響付加装置に関し、特に、マルチチャンネル音響方式の音響信号のうち、映像を表示する表示部の内部及び周囲以外に配置される画面外チャンネルの直接音に対し残響を付加する残響付加装置に関する。

映画やテレビの音響方式には、従来の２ｃｈステレオシステムや、５．１ｃｈ、７．１ｃｈ、８．２ｃｈ、１０．２ｃｈなどのサラウンドシステム、次世代のテレビ方式として提案されている２２．２マルチチャンネル音響方式などがあり、チャンネル数は多様である。マルチチャンネル音響のコンテンツ制作は一般に、チャンネル数の増加に伴い作業が煩雑化し、制作の所要時間が長くなる傾向にある。さらに、２２．２マルチチャンネル音響に見られるような、３次元音響再生方式では、２次元音響再生と比べてその制御はより複雑化する。そこで、直感的かつ簡便に制作できる環境を構築することが望まれている。

実空間で音を聴取する場合、あらゆる方向からの到来音を両耳で知覚する。そこでは、音源からの直接音や、それが空間に響いて直接音より遅れて耳に到達する残響音を知覚する。残響音生成装置については、仮想音源分布生成装置を用いた自然な残響生成のための装置の開発が進んでいる（例えば特許文献１参照）。またコンサートホールにおける残響制御を目的とし、音の明瞭度と音の拡がり感を制御することができる音響発生装置の開発も進んでいる（例えば特許文献２参照）。

特開平７−３３４１７６号公報特許第４８９４４２２号公報

従来の２次元音響システムでは、隣り合う２つのスピーカ間の音像移動や残響付加などの制作作業が比較的容易であった。しかし、２２．２マルチチャンネル音響のような３次元音響のコンテンツ制作においては、チャンネル数の増加に伴い、空間的印象の制御が煩雑になる。そこで、特に３次元音響システムのようなマルチチャンネル音響において、効率的かつ効果的な空間的印象制御手法を考案する必要がある。特に、テレビや映画のように映像・音響から構成されるコンテンツの制作において、映像を手掛かりとしたマルチチャンネル音響の残響生成や、画像から残響空間を推定して生成する装置は存在しない。

したがって、かかる点に鑑みてなされた本発明の目的は、映像に基づきマルチチャンネル音響方式の音響信号に残響を付加することが可能な残響付加装置を提供することにある。

上述した諸課題を解決すべく、本発明に係る残響付加装置は、マルチチャンネル音響方式の音響信号のうち、映像を表示する表示部の内部及び周囲以外に配置される画面外チャンネルの直接音に対し残響を付加する残響付加装置であって、前記映像から残響付加の基準となるシーン画像を選択するシーン選択部と、前記シーン画像に前記表示部の画面外画像を外挿する画面外画像外挿部と、前記画面外画像の各領域の反射率を選択する反射率選択部と、前記画面外チャンネルの構成と、前記各領域の反射率に基づく特徴量とに基づき、前記画面外チャンネルに対するインパルス応答を選択するインパルス応答選択部と、前記画面外チャンネルの前記直接音に前記インパルス応答を畳み込む畳み込み処理部と、を備える。

また、前記画面外画像の前記各領域の境界及び種類を解析する画像解析部を備え、前記反射率選択部は、前記各領域の種類に基づき、前記各領域の反射率を選択する、ことが好ましい。

また、前記反射率選択部は、前記各領域の種類に対応する素材に基づいて前記反射率を選択する、ことが好ましい。

また、前記シーン選択部は、ユーザーから入力された画像を前記シーン画像として選択する、ことが好ましい。

本発明に係る残響付加装置によれば、映像に基づきマルチチャンネル音響方式の音響信号に残響を付加することが可能となる。

本発明の一実施形態に係る残響付加装置の構成を示す図である。残響付加装置の処理を示すフローチャートである。画面外画像の外挿の一例を示す図である。画面外画像の外挿の他の例を示す図である。

以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。ここで、以下の説明においては、マルチチャンネル音響方式として、スーパーハイビジョン音響である２２．２チャンネル音響を例に説明を行うが、本発明は２２．２チャンネル音響のみに限定されるものではない点に留意されたい。本発明が対応可能なマルチチャンネル音響方式は、従来の２次元音響方式のように各チャンネルが平面的に配置されるものだけではなく、各チャンネルが３次元的に配置され表現される任意の音響方式を含むものである。

図１は、本発明の一実施形態に係る残響付加装置の構成を示す図である。残響付加装置１は、シーン選択部１０１、空間種選択部１０２、空間容積判定部１０３、画面外画像外挿部１０４、画像解析部１０５、空間表面積判定部１０６、反射率選択部１０７、残響時間算出部１０８、インパルス応答選択部１０９、及び畳み込み処理部１１０を含む制御部１０と、空間種データベース２０１、空間容積データベース２０２、領域種データベース２０３、空間表面積データベース２０４、反射率データベース２０５、残響時間データベース２０６、インパルス応答データベース２０７、及び音響信号データベース２０８を含む記憶部２０とを備え、表示部３０、操作部４０、及びスピーカ５０と接続されている。残響付加装置１は、マルチチャンネル音響方式の音響信号のうち、映像を表示する表示部３０の内部及び周囲以外に配置される画面外チャンネルの直接音に対し残響を付加するものである。画面外チャンネルとは、視聴者の前方以外のチャンネルで有って視聴者の上方、側方、及び後方に配置されるチャンネルである。例えば、２２．２チャンネル音響の場合、残響付加装置１は、画面外チャンネルである上層６チャンネル（TpSiL,TpC,TpSiR,TpBL,TpBC,TpBR）、及び中層５チャンネル（SiL,SiR,BL,BC,BR）の計１１チャンネルの直接音に対して残響付加を行う。

制御部１０の各処理部１０１〜１１０は好適なプロセッサにより構成され、各処理部１０１〜１１０を共通のプロセッサで実装したり、個別のプロセッサとして実装したりすることができる。記憶部２０は好適な記憶装置であって、残響付加装置１に内蔵されるものだけではなく、通信インタフェースを介した外部記憶装置を用いてもよい。表示部３０は好適なディスプレイであって、残響付加装置１のユーザーは表示部３０に表示される映像を確認しながら、好適な操作インタフェースである操作部４０により残響付加装置１への操作を行うことができる。スピーカ５０は、マルチチャンネル音響方式に対応したスピーカ群であって、残響付加装置１により残響が付加された音響信号は、チャンネルごとに対応するスピーカ５０より再生される。

以下、フローチャートに沿って残響付加装置１の各機能部の説明を行う。図２は、残響付加装置１の処理を示すフローチャートである。ある番組の音響コンテンツを制作する場合、シーン選択部１０１は、映像から残響付加の基準となるシーン画像を選択する（ステップＳ１０１）。残響付加の基準となるシーン画像とは、映像中の音響空間の特徴を表す画像であって、例えば、コンサートホール、体育館、オフィスなどの屋内空間や、市街地、公園、森の中などの屋外空間といった映像中の音響空間を表す画像である。シーン選択部１０１が適切なシーン画像を選択することにより、後述の残響付加処理により聴覚的に映像中の音響空間を再現し、視聴者により高い臨場感を与えることが可能となる。選択されたシーン画像は、映像中で同様の音響空間が継続する間はそのまま用いることができ、好適には、番組映像中の音響空間が切り替わる際に新たなシーン画像を選択することができる。なお、シーン画像の選択は、音響空間が切り替わる際の先頭の画像や、同じ音響空間が継続する期間における任意の時点の画像など、設計に応じて種々の画像を選択できるものである。

また、ユーザーは、表示部３０の映像をコマ送りなどにより確認し、操作部４０を用いて音響空間を再現したいシーン画像を手動で選択することも可能である。さらに、シーン選択部１０１は、番組映像中の画像だけでなく、ユーザーから入力された任意の写真等の画像をシーン画像として選択することができる。例えば、ユーザーは、過去に同様の音響空間に対して適切な残響が付加された静止画をシーン画像として入力することにより、過去の残響パターンを現在の番組に対して簡易に付与することが可能になる。また、番組作成者の経験等により、番組映像中の音響空間より、他の音響空間の画像をシーン画像として残響を付加した方がより高い臨場感が得られる場合もあり、本発明はこのような柔軟な残響付加にも対応可能である。

空間種選択部１０２は、シーン画像内の各領域の境界及び種類を解析して音響空間の空間種を判定する（ステップＳ１０２）。空間種とは、例えば小コンサートホール、中コンサートホール、大コンサートホール、雑踏、町並み、山間部、家庭内のリビングルーム、小スタジオ、中スタジオ、大スタジオといった音響空間の特性を示すものである。空間種に関する情報は、各領域の色、密度、形状、面積、座標、ＦＦＴ後の周波数特性などと関連付けて空間種データベース２０１に記憶されている。例えば、空間種選択部１０２は、空間種として「風景、城下町、小道」を選択する。なお、各領域の境界及び種類の解析については後述の画像解析部１０５の処理を適用することができる。また、空間種選択部１０２により空間種が正確に解析されていない場合、ユーザーは、表示部３０の映像を確認しながら、操作部４０により手動で所望の空間種に修正することができる。

空間容積判定部１０３は、空間種に基づきシーン画像に映し出された空間の容積（空間容積）を判定する（ステップＳ１０３）。空間容積に関する情報は、空間種と関連付けて空間容積データベース２０２に記憶されている。例えば、空間容積判定部１０３は、空間種が「風景、城下町、小道」である場合、空は開放であるが、城壁部分は吸音率１．０の壁とみなし、予め空間容積データベース２０２に記憶されている空間容積の値を取得する。

画面外画像外挿部１０４は、シーン画像、空間種、及び空間容積に基づき、表示部３０の画面外の画像（画面外画像）を外挿する（ステップＳ１０４）。画面外画像とは、視聴者を取り囲む側方、後方、及び上下方向の画像である。図３は、画面外画像の外挿の一例を示す図である。図３（ａ）のようなシーン画像が選択されると、空間種選択部１０２は、空間種データベース２１を参照して、シーン画像の空間種を「風景、城下町、小道」などと判定する。画面外画像外挿部１０４は、「風景、城下町、小道」の空間種であるシーン画像を、例えば図３（ｂ）のように画面の中心を対称軸として画像内容を鏡面反射させて画面外画像を生成する。ここでは、道路、石垣、木壁、木、空の各領域が画面外で鏡面反射を繰り返して聴取者を取り囲むように画面外画像が外挿される。画面外画像の範囲（大きさ）については、空間容積判定部１０３が判定した空間容積に基づき定めることができる。図４は、画面外画像の外挿の他の例を示す図である。図４では、画面外画像外挿部１０４は、シーン画像を格子状に分割し、シーン画像内の各領域の画面外での発生確率から画面外画像を順次推定して画面外画像を生成している。画面外での発生確率は、例えばシーン画像中央を起点とする各領域の連続性及び方向性や、空間種の種類に基づき決定することができる。なお、画面外画像外挿部１０４による画面外画像の外挿方法は、鏡面反射及び発生確率に基づく方法に限定されず、他の任意の公知技術を用いることができる。また、画面外画像外挿部１０４により画面外画像が正確に外挿されていない場合、ユーザーは、表示部３０の映像を確認しながら、操作部４０により手動で画面外画像を修正することができる。

画像解析部１０５は、画面外画像の各領域の境界及び種類を解析する（ステップＳ１０５）。まず、画像解析部１０５は、画面外画像の各領域の境界を抽出する。次に、画像解析部１０５は、各領域の色、密度、形状、面積、座標、ＦＦＴ後の周波数特性などに基づき、各領域の種類（テクスチャ）を判別する。領域の種類に関する情報は、各領域の色、密度、形状、面積、座標、ＦＦＴ後の周波数特性などと関連付けて領域種データベース２０３に記憶されている。例えば、画像解析部１０５は、領域種データベース２０３を参照して、画面外画像の各領域を「道路、石垣、木壁、木、空」などと判別する。なお、画面外画像の各領域の境界抽出や種類判別は任意の公知技術を用いるものとして、本稿での詳述は行わない。また、画像解析部１０５により各領域の境界や種類が正確に解析されていない場合、ユーザーは、表示部３０の映像を確認しながら、操作部４０により手動で所望の境界や種類に修正することができる。

空間表面積判定部１０６は、空間種と、各領域の境界及び種類とに基づいて、画面外画像を外挿したシーン画像に最適な空間表面積を判定する（ステップＳ１０６）。空間表面積は、空間種と、各領域の境界及び種類とに関連付けて空間表面積データベース２０４に記憶されている。例えば、空間法面積は、空間種（空間容積）と、各領域の境界（面積）及び種類（反射率）に基づくSabineの残響計算式により算出できるものである。

反射率選択部１０７は、画面外画像の各領域の反射率を選択する（ステップＳ１０７）。反射率とは、各領域の音の響き度合いを数値化したものであり、好適には周波数毎に異なる数値が設定されるものである。当該反射率は、反射率データベース２０５に記憶されており、各反射率は各領域の種類と関連付けて記憶されている。例えば、反射率選択部１０７は、画像解析部１０５が解析した各領域の種類に基づき、各領域の反射率を選択する。なお、反射率は、「道路、石垣、木壁、木、空」などの領域の種類と関連付けるだけではなく、各領域の種類に対応する素材と関連付けて記憶することができる。例えば、図３（ｂ）のように、反射率選択部１０７は「道路、石垣、木壁、木、空」各領域の素材が「コンクリート、石、木板、木、抜け」であると判定する。反射率データベース２０５は、各素材の反射率を下記の通り周波数毎に記憶することができる。例えば、同じ「道路」でも「コンクリート」の道路と「土」の道路とは反射率が異なるため、各領域の種類に対応する素材に基づき反射率を選択することにより、より適切な残響付加が可能となる。
｛コンクリート、石、木板、木、抜け｝＝
｛・・・・・,
500Hz: 0.6, 0.28, 0.75, 0.7, 0,
1kHz: 0.59, 0.28, 0.70, 0.65, 0,
・・・・・｝

なお、反射率選択部１０７により各領域の反射率が正確に選択されていない場合や、素材の判定が正しくない場合、ユーザーは、表示部３０の映像を確認しながら、操作部４０により手動で所望の反射率や素材に修正することができる。

残響時間算出部１０８は、空間表面積と、空間容積と、各領域の反射率とに基づいて、音響空間の残響時間を判定する（ステップＳ１０８）。当該残響時間は、空間表面積、空間容積、及び各領域の反射率と関連付けて残響時間データベース２０６に記憶されている。残響時間データベース２０６は、音響空間の残響時間を下記の通り周波数毎に記憶することができる。
｛・・・・・, 500Hz:0.3s, 1kHz:0.35s, 2kHz:0.28s, ・・・・・｝

インパルス応答選択部１０９は、表示部３０の画面外に配置される画面外チャンネルの構成と、残響時間及び各領域の反射率に基づく特徴量とに基づき、画面外チャンネルに対するインパルス応答を選択する（ステップＳ１０９）。インパルス応答とは、音響信号の残響特性を示すものである。当該インパルス応答は、インパルス応答データベース２０７に記憶されており、各インパルス応答は画面外チャンネルの構成と、残響時間及び各領域の反射率に基づく特徴量と関連付けて記憶されている。まず、インパルス応答選択部１０９は、インパルス応答データベース２０７を参照し、画面外チャンネルの構成に対応するインパルス応答の有無を確認する。上述の通り、２２．２チャンネル音響の場合、画面外チャンネルは上層６チャンネル、及び中層５チャンネルの計１１チャンネルである。インパルス応答データベース２０７に画面外チャンネルの構成に対応するインパルス応答が存在する場合、インパルス応答選択部１０９は、残響時間及び各領域の反射率より特徴量を算出し、当該特徴量に最も近いインパルス応答を取得する。なお、残響時間及び各領域の反射率に基づく特徴量は当業者が適宜設計できるものであり、本稿では詳述は行わない。また、インパルス応答選択部１０９は、スピーカ５０の構成（物理的な配置）が音響信号の各チャンネルの論理的な配置と異なる場合、当該配置の差に基づき選択した各チャンネルのインパルス応答を適宜修正できるものである。また、特徴量は各領域の反射率のみに基づくものとしても良い。

また、インパルス応答選択部１０９は、インパルス応答データベース２０７に対応するインパルス応答が存在しない場合、インパルス応答データベース２０７に記憶されたインパルス応答を組み合わせて新たなインパルス応答生成したり、ＩＩＲ（Infinite Impulse Response）により新規のインパルス応答を生成することが可能である。これにより、画面外画像を外挿したシーン画像に適した残響空間を生成することができる。

畳み込み処理部１１０は、画面外チャンネルの直接音に、チャンネル毎に選択されたインパルス応答を畳み込む（ステップＳ１１０）。本実施形態において、マルチチャンネル音響の直接音は、音響信号データベース２０８に記憶されているが、畳み込み処理部１１０は、例えば内蔵する記憶部２０以外に、音響信号入力インタフェースにより他の装置から直接音の入力を受けてもよい。畳み込み処理部１１０は、例えば歩行音、ざわめき、鳥の声などの直接音に対し、チャンネル毎にインパルス応答を畳み込み、対応するスピーカ５０への出力信号を生成する（ステップＳ１１１）。本実施形態における残響付加装置１はリアルタイム処理に対応可能であり、この場合、音響信号入力インタフェースに直接音が入力され続ける限り、畳み込み処理部１１０はインパルス応答の畳み込み処理を行い、対応するスピーカ５０による再生が継続される。

このように、本実施形態によれば、シーン選択部１０１は、映像から残響付加の基準となるシーン画像を選択し、画面外画像外挿部１０４はシーン画像に表示部３０の画面外画像を外挿し、反射率選択部１０７は、画面外画像の各領域の反射率を選択し、インパルス応答選択部１０９は、画面外チャンネルの構成と、各領域の反射率に基づく特徴量とに基づき、画面外チャンネルに対するインパルス応答を選択し、畳み込み処理部１１０は、画面外チャンネルの直接音にインパルス応答を畳み込む。これにより、映像に基づきマルチチャンネル音響方式の音響信号に残響を付加することが可能となる。また、前方二次元でしか存在しない映像画面の情報を手掛かりとして映像外の音響空間を生成することは、各々のシーンに最適な３次元の残響空間で音源を聴取することを可能とする。さらに、制作者の技量により映像に合わせて画面外の空間の響きの特徴を再現する作業を、生成したい残響空間を映像のコマのうち代表的な静止画を選択するだけで自動的に再現することが可能となる。これによって、制作者の技能の高低によらず、一定以上の臨場感のある残響空間を生成することができる。また、従来のように１チャンネルごとに手動で調整する手間を減らして残響付加に対するユーザーの作業を簡略化し、コンテンツ制作の所要時間を大幅に短縮することが可能となる。なお、自動的に生成された残響空間を、制作者の意図に合わせて調整したい場合には、手作業、手入力によって意図する残響空間に変化させていくことができるため、映像と合致する残響空間の生成に対する作業時間の短縮と、さらに臨場感や演出効果を向上させるためのクリエイティブ性の確保の両者を実現できる。

また、画像解析部１０５は、画面外画像の各領域の境界及び種類を解析し、反射率選択部１０７は、各領域の種類に基づき各領域の反射率を選択する。これにより、ユーザーにとって直感的に理解しやすい領域の種類（道路、空等）に基づく反射率の設定が可能となるため、例えば各領域の画素値やＦＦＴ処理結果（数字列）などから直接反射率を求める場合に比べ、反射率の設定、管理が容易になるとともに、自動処理結果をユーザーが修正することが容易になるという利点がある。

また、反射率選択部１０７は、各領域の種類に対応する素材に基づいて反射率を選択することができる。これにより、例えば「道路」のように「コンクリート」や「土」など素材が異なり得る領域について、より適切な反射率を選択し正しい残響付加を行うことが可能となる。

また、シーン選択部１０１は、ユーザーから入力された画像をシーン画像として選択することができる。例えば、ユーザーは、過去に同様の音響空間に対して適切な残響が付加された静止画をシーン画像として入力することにより、過去の残響パターンを現在の番組に対して簡易に付与することが可能になる。また、番組作成者の経験等により、番組映像中の音響空間より、他の音響空間の画像をシーン画像として残響を付加した方がより高い臨場感が得られる場合もあり、本発明はこのような柔軟な残響付加にも対応可能である。このように、映像に類似した残響空間を任意の画像データを基に生成することは、各々のシーンに最適な残響空間で音源を聴取することを可能とする。また、ユーザーの意図する所望の音響空間に適宜調整する余地を与えるものであるため、音源制作に伴うユーザーの作業の効率化とクリエイティビティの確保という両面を実現させることが可能となる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各機能部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の機能部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

例えば、本発明に係る残響付加装置は、表示部の内部及び周囲以外に配置される画面外チャンネルの直接音に対し残響を付加するものであるが、これに加え、表示部の内部及び周囲に配置される視聴者の前方チャンネルの直接音に対し残響を付加することができる。インパルス応答の時間構造にはいくつかの特徴量があり、例えば、残響時間、初期反射音エネルギー、後部残響音エネルギー、時間密度、エンベロープなどが挙げられる。精度のよいインパルス応答を選択するには、画面内の各領域（反射面）の材質（反射率の周波数特性）の他に、主に空間の大きさ（例えば方向別壁面までの距離）が重要となるが、本発明に係る残響付加装置は、画面外画像を外挿することにより、空間の大きさや残響時間を推定することができる。そのため、本発明に係る残響付加装置は、推定した画面外の情報を、画面内である前方チャンネルの直接音に対するインパルス応答の選択に用いることにより、より精度の高いインパルス応答を選択することが可能になる。

１残響付加装置
１０制御部
１０１シーン選択部
１０２空間種選択部
１０３空間容積判定部
１０４画面外画像外挿部
１０５画像解析部
１０６空間表面積判定部
１０７反射率選択部
１０８残響時間算出部
１０９インパルス応答選択部
１１０畳み込み処理部
２０記憶部
２０１空間種データベース
２０２空間容積データベース
２０３領域種データベース
２０４空間表面積データベース
２０５反射率データベース
２０６残響時間データベース
２０７インパルス応答データベース
２０８音響信号データベース
３０表示部
４０操作部
５０スピーカ

Claims

マルチチャンネル音響方式の音響信号のうち、映像を表示する表示部の内部及び周囲以外に配置される画面外チャンネルの直接音に対し残響を付加する残響付加装置であって、
前記映像から残響付加の基準となるシーン画像を選択するシーン選択部と、
前記シーン画像に前記表示部の画面外画像を外挿する画面外画像外挿部と、
前記画面外画像の各領域の反射率を選択する反射率選択部と、
前記画面外チャンネルの構成と、前記各領域の反射率に基づく特徴量とに基づき、前記画面外チャンネルに対するインパルス応答を選択するインパルス応答選択部と、
前記画面外チャンネルの前記直接音に前記インパルス応答を畳み込む畳み込み処理部と、
を備える残響付加装置。
前記画面外画像の前記各領域の境界及び種類を解析する画像解析部を備え、
前記反射率選択部は、前記各領域の種類に基づき、前記各領域の反射率を選択する、請求項１に記載の残響付加装置。
前記反射率選択部は、前記各領域の種類に対応する素材に基づいて前記反射率を選択する、請求項２に記載の残響付加装置。
前記シーン選択部は、ユーザーから入力された画像を前記シーン画像として選択する、請求項１乃至３のいずれか一項に記載の残響付加装置。