JP6826945B2 - 音響処理装置、音響処理方法およびプログラム - Google Patents
音響処理装置、音響処理方法およびプログラム Download PDFInfo
- Publication number
- JP6826945B2 JP6826945B2 JP2017097433A JP2017097433A JP6826945B2 JP 6826945 B2 JP6826945 B2 JP 6826945B2 JP 2017097433 A JP2017097433 A JP 2017097433A JP 2017097433 A JP2017097433 A JP 2017097433A JP 6826945 B2 JP6826945 B2 JP 6826945B2
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- channel
- virtual
- acoustic signal
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 45
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 83
- 238000004519 manufacturing process Methods 0.000 claims description 71
- 238000000034 method Methods 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 description 38
- 238000013507 mapping Methods 0.000 description 34
- 239000011159 matrix material Substances 0.000 description 12
- 238000009826 distribution Methods 0.000 description 6
- 238000005192 partition Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000012814 acoustic material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Landscapes
- Stereophonic System (AREA)
Description
[1]の構成によれば、再生環境における音源配置が制作時の音源配置と異なっていても、再生環境において目標点を基準に全てのチャンネル位置を連動して再配置することができる。そのため、個々の音のつながりを保持した制作者が意図した空間的印象が再現される。
[2]の構成によれば、前記仮想音源方向に位置するチャンネルの音響信号がその近傍に位置する前記再生音源を用いて再生される。受聴者に対して、仮想音源方向に近接した再生音源の方向に、複数の再生音源を用いる場合よりも再生される音を確実に知覚させることができる。
[3]の構成によれば、複数の仮想音源方向間の間隔が大きい場合において、その間に位置する再生音源からそれぞれの仮想音源方向に係る音が再生される。大きく離れた仮想音源の間にも音が知覚されるために、制作者が意図した方向に音が知覚されない現象が回避される。
[4]の構成によれば、制作時の各チャンネルの音源配置に基づいて仮想音源方向が球面上に設定される。そのため、制作時のマルチチャンネル音響信号の各チャンネルの音源方向が方位角と仰角で表されている場合、仮想空間への音源のマッピングが容易である。また、仮想空間として球面が用いられることで3次元空間内のあらゆる音源方向に配置された音源に適用される。
[5]の構成によれば、制作時の各チャンネルの音源配置に基づいて仮想音源方向が円柱面上に配置される。そのため、制作時のマルチチャンネル音響信号の各チャンネルの音源方向が方位角と高さで表されている場合、仮想空間への音源のマッピングが容易である。また、仮想空間として円柱面が用いられることで、高さがそれぞれ異なる音源について、マッピング処理を行わないため、マッピング処理を容易に行うことができる。
[6]の構成によれば、制作時の各チャンネルの音源配置に基づいて仮想音源方向が立方体の面上に配置される。そのため、制作時のマルチチャンネル音響信号の各チャンネルの音源方向が直交座標系で表されている場合、仮想空間への音源のマッピングが容易である。また、仮想空間として立方体の面が用いられることで、制作時および再生環境における音源配置の設定が容易になる。
[7]の構成によれば、制作時の各チャンネルから変換される仮想音源方向として方位角の成分と仰角もしくは高さの成分とが独立に得られる。そのため、方位角の成分と仰角もしくは高さの成分とで、変換の要否または変換の度合いが調整可能になる。
[8]の構成によれば、再生環境における音源配置が制作時の音源配置と異なっていても、再生環境において目標点を基準に全てのチャンネル位置を連動して再配置することができる。そのため、個々の音のつながりを保持した制作者が意図した空間的印象が再現される。
[9]の構成によれば、再生環境における音源配置が制作時の音源配置と異なっていても、再生環境において目標点を基準に全てのチャンネル位置を連動して再配置することができる。そのため、個々の音のつながりを保持した制作者が意図した空間的印象が再現される。
図1は、本実施形態に係る音響処理装置1の構成例を示すブロック図である。
音響処理装置1は、再生環境を構成する画面サイズ、再生音源の数ならびに配置に応じて、入力される音響信号を変換する。音響処理装置1は、各種の放送受信機、パッケージメディアの再生装置などに組み込まれてもよい。放送受信機は、例えば、テレビジョン受信機である。再生装置は、例えば、ホームシアターセットである。音響信号の変換に際して、音響信号のチャンネル数が制作時のN個から再生時のM個に変換される。N、Mは、それぞれ2以上の整数である。但し、MとNが互いに等しくてもよいし、MとNが異なっていてもよい。通例、Mは、Nよりも少ない。また、音響信号の制作時における音源配置は、再生時における音源配置とは異なる。以下の説明では、主に変換前後でチャンネル数が変更され、制作時の音源配置と再生時の音源配置とが異なる場合を例にする。
データ入力部11には、変換前のマルチチャンネル音響信号110、マルチチャンネル音源配置情報111および視野角情報112が入力される。マルチチャンネル音響信号110は、Nチャンネルの音響信号から構成される。マルチチャンネル音源配置情報111は、マルチチャンネル音響信号110の制作時に用いられた各チャンネルの音源配置、つまり各チャンネルの音源の所定の基準点からの方向を示す情報である。マルチチャンネル音源配置情報111には、各チャンネルの音源方向の他、距離の情報が含まれてもよいし、その方向または位置は、いかなる座標系で表されてもよい。視野角情報112は、マルチチャンネル音響信号110の制作時における指標となる聴取位置からの所定の開き角に関する情報である。所定の開き角として、制作時において聴取位置からの画像表示部(図示せず)の画面の左右両端、もしくは前方の主要な左右のスピーカのなす角である開き角が用いられ、画像として表示されるオブジェクトの表示位置の方向に音が知覚されるようにマルチチャンネル音響信号110が制作されることがある。オブジェクトは、例えば、人物、動物、その他、音を生じることが期待される被写体の像である。以下の説明では、この開き角を視野角と呼ぶ。
データ入力部11は、マルチチャンネル音響信号110、マルチチャンネル音源配置情報111および視野角情報112を、それぞれ音響信号変換部14、仮想音響空間マッピング部13および仮想空間サイズ算出部12に出力する。
再生スピーカ配置情報130は、再生環境における各チャンネルの再生スピーカの位置を示す情報である。再生スピーカの個数はM個であり、音響処理装置1から出力されるマルチチャンネル音響信号140のチャンネル数と等しい。再生スピーカは、所定の基準点(聴取位置)からの所定の半径の再生空間上にそれぞれ異なる方向に配置される。再生スピーカ配置情報130は、例えば、チャンネル毎の再生スピーカの聴取位置からの方向を示す。仮想音響空間マッピング部13は、その再生空間に仮想空間の中心点から制作時の各チャンネルの音源方向と同一の方向に各チャンネルの音源を射影した位置を仮想音源位置として定める。仮想音響空間マッピング部13は、チャンネル毎に定めた仮想音源位置の前記基準点からの方向を仮想音源方向として定める。仮想音響空間マッピング部13は、制作時のチャンネル毎の仮想音源方向と再生スピーカの方向に基づいて変換情報を生成し、生成した変換情報を音響信号変換部14に出力する。
次に、本実施形態に係る仮想空間サイズ算出処理の一例について説明する。図2は、本実施形態に係る仮想空間サイズ算出処理の一例の説明図である。
仮想空間サイズ算出部12は、視野角情報112に基づいて制作時の画像表示部の画面サイズ211と、聴取位置212と、サラウンド半径213を取得する。図2(A)には、視聴距離をサラウンド半径213とするサラウンドサークル210が示されている。仮想空間サイズ算出部12は、視野角情報120に基づいて再生環境における画像表示部の画面サイズ221と、聴取位置222と、サラウンド半径223を取得する。図2(B)には、視聴距離をサラウンド半径223とするサラウンドサークル220が示されている。サラウンドサークル220は、再生環境において再生スピーカが配置される再生空間の一例である。聴取位置は、再生環境における基準点である。図2に示す例では、音源配置の目標とする2つの目標点を再生環境における画面サイズ221の両端とする。
次に、本実施形態に係る仮想音響空間マッピング処理の一例について説明する。図3は、本実施形態に係る仮想音響空間マッピング処理の説明図である。
仮想音響空間マッピング部13は、中心位置311からの方向が、マルチチャンネル音源配置情報が示す各チャンネルの音源方向と同一の方向にある仮想空間のサラウンドサークル310上の位置をチャンネル位置312として定める。サラウンドサークル310、中心位置311は、上述のサラウンドサークル230、中心位置232に相当する。仮想音響空間マッピング部13は、中心位置311から各チャンネルのチャンネル位置312を通過する直線と再生環境のサラウンドサークル320の交点を再生環境における仮想音源位置322として定める。サラウンドサークル320は、上述のサラウンドサークル220に相当する。仮想音源位置322は、聴取位置321からの所定の半径となる再生空間に、中心位置311から制作時のチャンネル毎の音源方向と同一の方向に射影される位置に相当する。
次に、本実施形態に係る音響処理について説明する。図4は、本実施形態に係る音響処理の一例を示すフローチャートである。
(ステップS101)仮想空間サイズ算出部12は、データ入力部11から入力される制作時の視野角情報112が示す視野角と予め設定された再生環境における視野角情報120が示す視野角の差異に基づいて仮想空間サイズとして仮想サラウンド半径を算出する。その後、ステップS102の処理に進む。
(ステップS102)仮想音響空間マッピング部13は、仮想サラウンドサークル上のデータ入力部11から入力されるマルチチャンネル音源配置情報111が示すチャンネル毎の音源方向の位置を仮想音源位置として設定する。その後、ステップS103の処理に進む。
(ステップS104)音響信号変換部14は、データ入力部11から入力されるマルチチャンネル音響信号110に変換マトリックスを作用して再生信号としてマルチチャンネル音響信号140に変換する。音響信号変換部14は、変換により得られたマルチチャンネル音響信号140を構成する各チャンネルの音響信号をそれぞれ対応する再生スピーカに出力する。その後、図4に示す処理を終了する。
上述した仮想空間サイズ算出処理では、仮想空間サイズ算出部12は、図5(C)に示すように番組制作時の画面中心を固定した状態で、制作時の画面501aのサイズが再生環境の画面502aのサイズと一致するようにサラウンド半径503を算出する。以下の説明では、この例を例1と呼ぶ。例1では、画面501aのサイズの指標として、中心位置501bからの画面中心までの距離に対する画面の水平方向の幅の比が用いられ、再生環境の画面502aのサイズの指標として、中心位置502bからの画面中心までの距離に対する画面の水平方向の幅の比が用いられる(図5(A)、(B))。なお、図5(C)−(G)に示す太い矢印は、音源配置の目標となる2つの目標点のうち左方の目標点を示す。図5(C)に示す太い矢印は、左方の目標点として画面502aの左端が用いられることを示す。
例1によれば、変換後の仮想音源方向θは、式(2)に示す変換式を用いて与えられる。
この変換式では、目標点が再生環境のサラウンドサークル上にあるため、視野角を120度から60度に変換する場合に、変換前の画面両端の角度である60度が30度に変換される。
式(4)は、式(3)と一見して表現が異なるが、実質的に式(3)と等価である。従って、図8(D)に示す仮想音源方向は、図7(D)に示す仮想音源方向と同様である。表現の違いは、仮想空間のサラウンドサークルと再生空間のサラウンドサークルとが弧の1点で接するのではなく、目標点の2点で交差することに起因して、式(4)の右式に示すサラウンドサークルの半径rtの定義が、式(3)の右式に示す定義とは異なることによる。
上記の説明では、視野角120度を視野角60度に変換した場合に、変換後の仮想音源方向として10.53度(図6(D))、13.22度(図7(D)、図8(D))、15.52度(図9(D))など正確な数値を算出している場合を例示したが、これには限られない。実装に当たっては、音響信号変換部14は、変換後の仮想音源方向として、11度、13度、16度の1度単位、10度、15度、15度の5度単位など、きりのよい数字に近似した数値を用いてもよい。また、音響信号変換部14は、変換後の仮想音源方向に合わせてチャンネル毎の音源の再生信号レベルを決める場合においても、1dB単位で近似するなど、簡略化した再生信号レベルを用いてもよい。
上記の説明では、マルチチャンネル音源配置情報111が示す制作時における音源配置ならびに再生スピーカ配置情報130が示す再生環境における音源配置として主に1つの2次元の水平面内に各チャンネルのスピーカが配置される場合を例にした。また、上記の説明では、視野角情報112、120が水平方向の視野角である場合を例にした。しかし、音源配置ならびに視野角はこれには限られない。3次元空間内に各チャンネルのスピーカが分布する音源配置が適用されてもよいし、さらに垂直方向の視野角が適用されてもよい。
また、上述した実施形態における音響処理装置1の一部、または全部をLSI(Large Scale Integration)等の集積回路として実現してもよい。音響処理装置1の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
Claims (9)
- 再生空間の所定の基準点と2つの目標点の中点を結ぶ直線上に、仮想空間における所定の中心点から前記目標点間の開き角がマルチチャンネル音響信号の制作時における所定の開き角に等しくなる前記中心点の位置と再生空間に対する仮想空間の大きさの割合を定める仮想空間設定部と、
前記再生空間に、前記仮想空間における前記制作時の各チャンネル位置を前記中心点から前記制作時の各チャンネルの音源方向に射影した位置を仮想音源の位置として前記基準点からの方向を仮想音源方向に定める音源方向決定部と、
前記仮想音源方向と前記再生空間に配置される再生音源の前記基準点からの再生音源方向に基づいて前記マルチチャンネル音響信号を前記再生音源への音響信号に変換する音響信号変換部と、
を備える音響処理装置。 - 前記音響信号変換部は、
前記仮想音源方向と前記再生音源の前記基準点からの再生音源方向との角度が所定の角度の閾値以下であるとき、前記仮想音源方向に係るチャンネルの音響信号を前記再生音源方向の再生音源に出力する
ことを特徴とする請求項1に記載の音響処理装置。 - 前記音響信号変換部は、
音響信号が分配されない再生音源が存在するとき、前記再生音源方向から所定範囲内の仮想音源方向に係るチャンネルの音響信号の少なくとも一部を前記少なくとも1つの再生音源に出力する
ことを特徴とする請求項1または請求項2に記載の音響処理装置。 - 前記音源方向決定部は、前記制作時のチャンネル毎の音源または再生環境における再生音源が3次元空間に分布するとき、前記仮想空間として半径が一定である面を用いる
ことを特徴とする請求項1から請求項3のいずれか一項に記載の音響処理装置。 - 前記音源方向決定部は、前記制作時のチャンネル毎の音源または再生環境における再生音源が3次元空間に分布するとき、前記仮想空間として水平方向の半径が一定である面を用いる
ことを特徴とする請求項1から請求項3のいずれか一項に記載の音響処理装置。 - 前記音源方向決定部は、前記制作時のチャンネル毎の音源または再生環境における再生音源が3次元空間に分布するとき、前記仮想空間として立方体の面を用いる
ことを特徴とする請求項1から請求項3のいずれか一項に記載の音響処理装置。 - 前記音源方向決定部は、
前記制作時のチャンネル毎の音源方向が3次元空間に分布するとき、当該音源方向の水平面内の方位角と水平面からの仰角もしくは高さとを独立に処理する
ことを特徴とする請求項1から請求項6のいずれか一項に記載の音響処理装置。 - 音響処理装置における音響処理方法であって、
再生空間の所定の基準点と2つの目標点の中点を結ぶ直線上に、仮想空間における所定の中心点からの前記目標点間の開き角がマルチチャンネル音響信号の制作時における所定の開き角に等しくなる前記中心点の位置と再生空間に対する仮想空間の大きさの割合を定める仮想空間設定過程と、
前記再生空間に、前記仮想空間における前記制作時の各チャンネル位置を前記中心点から前記制作時の各チャンネルの音源方向に射影した位置を仮想音源の位置として前記基準点からの方向を仮想音源方向に定める音源方向決定過程と、
前記仮想音源方向と前記再生空間に配置される再生音源の前記基準点からの再生音源方向に基づいて前記マルチチャンネル音響信号を前記再生音源への音響信号に変換する音響信号変換過程と、
を有する音響処理方法。 - コンピュータに、
再生空間の所定の基準点と2つの目標点の中点を結ぶ直線上に、仮想空間における所定の中心点からの前記目標点間の開き角がマルチチャンネル音響信号の制作時における所定の開き角に等しくなる前記中心点の位置と再生空間に対する仮想空間の大きさの割合を定める仮想空間設定部と、
前記再生空間に、前記仮想空間における前記制作時の各チャンネル位置を前記中心点から前記制作時の各チャンネルの音源方向に射影した位置を仮想音源の位置として前記基準点からの方向を仮想音源方向に定める音源方向決定部と、
前記仮想音源方向と前記再生空間に配置される再生音源の前記基準点からの再生音源方向に基づいて前記マルチチャンネル音響信号を前記再生音源への音響信号に変換する音響信号変換部と、
を備える音響処理装置として機能させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016103763 | 2016-05-24 | ||
JP2016103763 | 2016-05-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017212731A JP2017212731A (ja) | 2017-11-30 |
JP6826945B2 true JP6826945B2 (ja) | 2021-02-10 |
Family
ID=60474950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017097433A Active JP6826945B2 (ja) | 2016-05-24 | 2017-05-16 | 音響処理装置、音響処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6826945B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3576417B1 (en) * | 2018-05-28 | 2021-05-26 | Honda Research Institute Europe GmbH | Method and system for reproducing visual and/or audio content synchronously by a group of devices |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5174527B2 (ja) * | 2008-05-14 | 2013-04-03 | 日本放送協会 | 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置 |
JP2011259097A (ja) * | 2010-06-07 | 2011-12-22 | Sony Corp | 音声信号処理装置及び音声信号処理方法 |
EP2637427A1 (en) * | 2012-03-06 | 2013-09-11 | Thomson Licensing | Method and apparatus for playback of a higher-order ambisonics audio signal |
JP6228389B2 (ja) * | 2013-05-14 | 2017-11-08 | 日本放送協会 | 音響信号再生装置 |
-
2017
- 2017-05-16 JP JP2017097433A patent/JP6826945B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017212731A (ja) | 2017-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102568140B1 (ko) | 고차 앰비소닉 오디오 신호의 재생 방법 및 장치 | |
US11653168B2 (en) | Music collection navigation device and method | |
JP7367785B2 (ja) | 音声処理装置および方法、並びにプログラム | |
US9299353B2 (en) | Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction | |
CN106961647B (zh) | 音频再生装置以及方法 | |
US20200162833A1 (en) | Audio playback method and audio playback apparatus in six degrees of freedom environment | |
US11445317B2 (en) | Method and apparatus for localizing multichannel sound signal | |
Bates | The composition and performance of spatial music | |
TWI453451B (zh) | 擷取與播放源於多音源的聲音之方法 | |
US20190394596A1 (en) | Transaural synthesis method for sound spatialization | |
Pike et al. | An assessment of virtual surround sound systems for headphone listening of 5.1 multichannel audio | |
JP2018110366A (ja) | 3dサウンド映像音響機器 | |
JP2023164970A (ja) | 情報処理装置および方法、並びにプログラム | |
Shirley et al. | Platform independent audio | |
JP6826945B2 (ja) | 音響処理装置、音響処理方法およびプログラム | |
JP2019146086A (ja) | 音響処理装置及びプログラム | |
Grond et al. | Spaced AB placements of higher-order Ambisonics microphone arrays: Techniques for recording and balancing direct and ambient sound | |
US20240196150A1 (en) | Adaptive loudspeaker and listener positioning compensation | |
JP6914009B2 (ja) | 音声処理装置、音声処理方法およびプログラム | |
Tarzan et al. | Assessment of sound spatialisation algorithms for sonic rendering with headphones | |
US10966041B2 (en) | Audio triangular system based on the structure of the stereophonic panning | |
US20220007128A1 (en) | Method, system and computer program product for recording and interpolation of ambisonic sound fields | |
US20240163629A1 (en) | Adaptive sound scene rotation | |
WO2022234698A1 (ja) | 情報処理装置および方法、並びにプログラム | |
Kamekawa et al. | The effect of head tilt on the perception of the top layer of three-dimensional audio |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181026 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6826945 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |