JP6125457B2 - 収音システム及び放音システム - Google Patents

収音システム及び放音システム Download PDF

Info

Publication number
JP6125457B2
JP6125457B2 JP2014076663A JP2014076663A JP6125457B2 JP 6125457 B2 JP6125457 B2 JP 6125457B2 JP 2014076663 A JP2014076663 A JP 2014076663A JP 2014076663 A JP2014076663 A JP 2014076663A JP 6125457 B2 JP6125457 B2 JP 6125457B2
Authority
JP
Japan
Prior art keywords
range
sound
real space
designated
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014076663A
Other languages
English (en)
Other versions
JP2015198413A (ja
Inventor
健太 丹羽
健太 丹羽
小林 和則
和則 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2014076663A priority Critical patent/JP6125457B2/ja
Publication of JP2015198413A publication Critical patent/JP2015198413A/ja
Application granted granted Critical
Publication of JP6125457B2 publication Critical patent/JP6125457B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

本発明は、収音システム及び放音システムに関する。特に、所定の範囲に存在する音を強調や抑圧等して収音する収音システム、及び、所定の範囲において(音がよく聞こえるように)強調や(音が聞こえないように)抑圧等して放音する放音システムに関する。
非特許文献1及び2が、マイクロホンアレイを用いた拡散センシングに基づく音声強調技術の従来技術として知られている。非特許文献1及び2では、反射構造体により擬似的な拡散音場を生成し、その中にマイクロホンアレイを設置して、拡散センシングを実現している。
K. Niwa, S. Sakauchi, K. Furuya, M. Okamoto, and Y. Haneda, "Diffused sensing for sharp directivity microphone array", ICASSP 2012, 2012, pp. 225 - 228 K. Niwa, Y. Hioka, K. Furuya, and Y. Haneda, "Telescopic microphone array using reflector for segregating target source from noises in same direction", ICASSP 2012, 2012, pp. 5457-5460
従来技術は、音声強調の対象となる範囲を特定する方法について開示されていない。実験条件を考慮すると、マイクロホンアレイの正面に対する角度や、マイクロホンアレイからの距離等をパラメータとして与えることで、範囲を特定していたと考えられる。または、各測定点(範囲)に対して、インデックスを付与し、インデックスを特定することで、範囲を特定していたと考えられる。しかしながら、そのような特定方法では、直感的な操作はできず、利用者は、利用するために、ある程度、説明書を読んだり、説明を受ける必要がある。また、直感的な操作ができないため、素早く収音範囲を特定することが難しい。例えば、競技場等にマイクロホンアレイを設置し、素早く動く選手に合わせて、パラメータやインデックスを入力して、収音範囲を変更するのは非常に難しいと考えられる。
本発明は、従来よりも直感的な操作を可能とした収音システム及び放音システムを提供することを目的とする。
上記の課題を解決するために、本発明の一態様によれば、収音システムは、実空間に対応する画像である実空間対応画像を表示する表示手段と、実空間対応画像に、操作者の操作により指定される少なくとも1つの指定範囲を指定可能とする第一の入力手段と、指定範囲について、少なくとも、強調及び抑圧の何れか一方を指定可能とする第二の入力手段と、実空間で収音された音のうち、指定範囲に対応する実空間上の範囲に存在する音のみを、それ以外の範囲に存在する音と比べ第二の入力手段の指定に応じて強調若しくは抑圧して受聴可能とする音響信号処理手段とを含む。
上記の課題を解決するために、本発明の他の態様によれば、収音システムは、操作者の操作により指定される指定範囲の存在しうるエリアであり、実空間対応画像ではない指定範囲存在エリアを表示する表示手段と、指定範囲存在エリアに、少なくとも1つの指定範囲を指定可能とする第一の入力手段と、指定範囲について、少なくとも、強調及び抑圧の何れか一方を指定可能とする第二の入力手段と、実空間で収音された音のうち、指定範囲に対応する実空間上の範囲に存在する音のみを、それ以外の範囲に存在する音と比べ第二の入力手段の指定に応じて強調若しくは抑圧して受聴可能とする音響信号処理手段と、を含む。
上記の課題を解決するために、本発明の他の態様によれば、収音システムは、実空間に対応する画像である実空間対応画像を表示する表示手段と、実空間対応画像の表示範囲を、操作者の操作により変更可能とする第一の入力手段と、表示範囲について、少なくとも、強調及び抑圧の何れか一方を指定可能とする第二の入力手段と、実空間で収音された音のうち、表示範囲に対応する実空間上の範囲に存在する音のみを、それ以外の範囲に存在する音と比べ第二の入力手段の指定に応じて強調若しくは抑圧して受聴可能とする音響信号処理手段とを含む。
上記の課題を解決するために、本発明の他の態様によれば、収音システムは、実空間で発せられた音を収音可能なように配置された、複数のマイクロホンと少なくとも1つの波進行方向変更手段を含んで構成された収音手段と、複数のマイクロホンそれぞれで収音された複数チャネルの音を記憶する記憶手段と、実空間上の所望の範囲について、少なくとも、強調及び抑圧の何れか一方を指定可能とする第二の入力手段と、記憶手段に記憶された音であって、実空間で収音された音のうち、実空間上の所望の範囲に存在する音のみを、それ以外の範囲に存在する音と比べ第二の入力手段の指定に応じて強調若しくは抑圧して受聴可能とする音響信号処理手段とを含む。波進行方向変更手段は、音波の進行方向を変更する。
上記の課題を解決するために、本発明の他の態様によれば、放音システムは、実空間に対応する画像である実空間対応画像を表示する表示手段と、実空間対応画像に、操作者の操作により指定される少なくとも1つの指定範囲を指定可能とする第一の入力手段と、指定範囲について、少なくとも、強調及び抑圧の何れか一方を指定可能とする第二の入力手段と、所定の音を、指定範囲に対応する実空間上の範囲において、それ以外の範囲と比べ第二の入力手段の指定に応じて強調若しくは抑圧して、受聴可能とする音響信号処理手段とを含む。
上記の課題を解決するために、本発明の他の態様によれば、放音システムは、操作者の操作により指定される指定範囲の存在しうるエリアであり、実空間対応画像ではない指定範囲存在エリアを表示する表示手段と、指定範囲存在エリアに、少なくとも1つの指定範囲を指定可能とする第一の入力手段と、指定範囲について、少なくとも、強調及び抑圧の何れか一方を指定可能とする第二の入力手段と、所定の音を、指定範囲に対応する実空間上の範囲において、それ以外の範囲と比べ第二の入力手段の指定に応じて強調若しくは抑圧して、受聴可能とする音響信号処理手段とを含む。
上記の課題を解決するために、本発明の他の態様によれば、放音システムは、実空間に対応する画像である実空間対応画像を表示する表示手段と、実空間対応画像の表示範囲を、操作者の操作により変更可能とする第一の入力手段と、表示範囲について、少なくとも、強調及び抑圧の何れか一方を指定可能とする第二の入力手段と、所定の音を、表示範囲に対応する実空間上の範囲において、それ以外の範囲と比べ第二の入力手段の指定に応じて強調若しくは抑圧して、受聴可能とする音響信号処理手段とを含む。
上記の課題を解決するために、本発明の他の態様によれば、放音システムは、実空間に音を放音可能なように配置された、複数のスピーカと少なくとも1つの波進行方向変更手段を含んで構成された放音手段と、Mを2以上の整数とし、Mチャネルの音を記憶する記憶手段と、実空間上の所望の範囲について、少なくとも、強調及び抑圧の何れか一方を指定可能とする第二の入力手段と、を2以上M以下の整数とし、記憶手段に記憶されたMチャネルの音のうちの、Mチャネルの音それぞれを、実空間上の所望の範囲において、それ以外の範囲と比べ第二の入力手段の指定に応じて強調若しくは抑圧して、受聴可能とする音響信号処理手段とを含む。Pを1以上(M−1)以下の整数とし、Qを1以上(M−P)以下の整数とし、音響信号処理手段は、MチャネルのうちのPチャネルの音を受聴可能とする実空間上の所望の範囲と、MチャネルのうちのPチャネルとは別のQチャネルの音を受聴可能とする実空間上の所望の範囲とを異ならせる。波進行方向変更手段は、音波の進行方向を変更する、
本発明によれば、利用者は従来よりも収音システム及び放音システムを直感的に操作できるという効果を奏する。
第一実施形態に係る収音システムの機能構成を示す図。 第一実施形態に係る収音システムの処理フローを示す図。 図3A及び図3Bは実空間対応画像の例(実空間を撮影した画像)を示す図。 図4A及び図4Bは入力手段による指定範囲の指定方法を説明するための図。 図5A及び図5Bは入力手段による指定範囲の指定方法を説明するための図。 図6A及び図6Bは入力手段による指定範囲の指定方法を説明するための図。 図7A及び図7Bは入力手段による指定範囲の指定方法を説明するための図。 指定範囲特定図形を表示する範囲である指定範囲特定図形表示範囲を説明するための図。 指定範囲特定図形を表示する範囲である指定範囲特定図形表示範囲を説明するための図。 複数個の指定範囲特定図形を実空間対応画像に追加した場合の例を示す図。 指定範囲特定図形の例を示す図。 指定範囲に距離を表す目盛りと矢印を付与した場合の例を示す図。 図13A及び図13Bは入力手段による指定範囲の指定方法を説明するための図。 指定範囲の、時間的に連続した移動、回転、拡大、縮小、形状変更を説明するための図。 反射器に対するマイクロホンの配置を説明するための図。 所定の図形が指定範囲を表す例を示す図。 第一実施形態の変形例の構成を示す図。 実空間対応画像の例を示す図。 表示範囲の例を示す図。 第三実施形態に係る放音システムの機能構成を示す図。 第三実施形態に係る放音システムの処理フローを示す図。 第三実施形態の変形例を説明するための図。
以下、本発明の実施形態について説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
<第一実施形態>
本実施形態では、従来よりも直感的な操作を可能とした収音システムについて説明する。まず、操作の対象となる収音システムの一例を説明する。ここでは、収音システムは、実空間で発せられた音を収音可能なように配置された、複数のマイクロホンと少なくとも1つの反射器とを含んで構成された収音手段を含む。収音手段の配置、収音手段の方向、並びに、収音手段に含まれるマイクロホン及び反射器の配置の何れも変えることなく、実空間で収音された収音信号を用いて、所定の範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とすることができる。例えば、非特許文献1の収音システムにより実現することができる。まず、非特許文献1で説明されているこれまでの拡散センシングに基づく収音処理について説明する。
[観測信号のモデル化]
M(≧2)本のマイクロホンを用いて一つのターゲット音とK(≧1)個の雑音を受音する状況を考える。多くの雑音が存在する中で任意の位置にあるターゲット音を強調する指向制御を目的にする。目的は、K個の雑音源を抑圧し、ターゲット音を強調することで達成される。m(m=1,2,…,M)番目のマイクロホンとターゲット音、k(k=1,2,…,K)番目の雑音との間のインパルス応答をそれぞれam(i)、bk,m(i)とする。ただし、インパルス応答長をLとし、i=0,1,…,L-1とする。なお、インパルス応答長Lは、装置の規模や構造、設置された部屋の状況によって定まる残響時間により、実験的に定めればよい。ターゲット音、k番目の雑音の音源信号をそれぞれs(t)、nk(t)とするとき、m番目のマイクロホンで観測した観測信号xm(t)は、次式でモデル化される。
ここで、tは時間のインデックスを表わす。
xm(t)を短時間フーリエ変換することで、式(1)の畳み込み混合は、次式のような周波数領域における瞬時混合として近似される。
ここで、ω、τはそれぞれ周波数、フレームのインデックスを表わす。また、Xm(ω,τ)、S(ω,τ)、Nk(ω,τ)は、それぞれ観測信号xm(t)、ターゲット音の音源信号s(t)、k番目の雑音の音源信号nk(t)の時間周波数表現を表わす。am(ω)、bk,m(ω)は、それぞれターゲット音、k番目の雑音とm番目のマイクロホンとの間の周波数特性を表し、以後これらを伝達特性と呼ぶ。式(2)を行列形式で表記すると、次式のようになる。
であり、Tは転置を表わす。
[ビームフォーミング]
ビームフォーミング後の出力信号y(t)は、次式のように観測信号xm(t)と、ターゲット音を強調するように設計されたフィルタwm(t)とを畳み込むことで得られる。
ここで、Jはフィルタ長を表わし、インパルス応答長Lと同程度とすればよい。y(t)の時間周波数表現であるY(ω,τ)は、次式で近似的に求められる。
ここで、Hは共役転置を表し、W m(ω)の複素共役がwm(j)の周波数応答に対応する。
出力信号Y(ω,τ)に含まれる雑音成分をYN(ω,τ)と書くとき、次式のパワーpN(ω)は雑音成分のパワーとして定義される。
ここで、ETは時間的な期待値演算を表わす。音源信号が互いに無相関であると仮定すると、パワーpN(ω)は伝達特性b k(ω)とフィルタW(ω)だけで計算できる。
アレイ信号処理の分野では、pN(ω)を最小化するために、様々なフィルタ設計法が説明されてきた。代表例として、遅延和法と最尤法を説明する(参考文献1参照)。
[参考文献1]浅野太,「音のアレイ信号処理-音源の定位・追跡と分離」,コロナ社,2011年
遅延和法において、フィルタW DSは、次式により、ターゲット音の直接音を強調するように設計される。
は、ターゲット音の直接音のアレイ・マニフォールド・ベクトルを表わす。要素hm(ω)は、ターゲット音からm番目のマイクロホンまでの直接音の経路の伝達特性を表し、ターゲット音とm番目のマイクロホン間の距離をdm、音速をc、虚数単位をjとすると、例えば次式により計算できる。
また、最尤法において、フィルタW MLは、次式により、ターゲット音の直接音を強調し、パワーpN(ω)を最小化するように設計される。
ここで、R(ω)は雑音の空間相関行列を表わす。例えば、音源信号間が無相関であると仮定すると、雑音の空間相関行列R(ω)は次式のように、伝達特性b k(ω)のみを用いて計算される。
参考文献1に載っているような古典的なアレイ信号処理において、マイクロホン間の間隔をどのようにアレンジするのかといったことが考えられてきた。しかし、特定の周波数を除いてマイクロホン間の相関が高くなることが多かった。代表的な問題として知られているのは以下の二つである。一つ目は波長の長い低周波帯域では、伝達特性間の相関が高くなりやすいので、狭指向制御しづらいことである。二つ目は波長の短い高周波帯域では、波長の半波長以下の間隔でマイクロホンを並べない限り、特定のターゲット音以外の音を強調してしまう空間エリアジングが生じることである。以上の2点から、広帯域に渡ってパワーpN(ω)を小さくすることは困難とされてきた。
[拡散センシング]
非特許文献2では、広帯域に渡ってパワーpN(ω)を小さくするために、伝達特性の性質がどういう性質であるべきかが検討され、拡散センシングとして纏められている。
拡散センシングでは、アレイ構造を工夫することにより、次式で表すように伝達特性そのものが互いに無相関化するように物理的に変える。
ここで、伝達特性の性質そのものを変えるためのあらゆる物理的手段を用いることができ、例えばマイクロホンの近傍に反射構造体を設置することで、伝達特性そのものが変化する。非特許文献2で提案されている方式は、多数回反射を繰り返し、等方位的に反射音が到来する音場(疑似拡散音場)を生成し、その中にマイクロホンアレイを設置する方式である。例えば、マイクロホンアレイを包囲するような形状の反射構造体を作り、一面だけ開けておけば、反射構造体内に到来した音が自ずと反射を繰り返し、疑似的な拡散音場を生成することになる。
何故、拡散音場にマイクロホンアレイを設置すると、伝達特性間が無相関化されるのかを簡単に説明する。伝達特性間の相関をγ(ω)とすると、拡散音場における相関γ(ω)は次式により計算されることが知られている。
ここで、ES,pはそれぞれ空間的な期待値演算、マイクロホン間の位置ベクトルを表わす。マイクロホン間の距離||p||が十分に広いとすると、拡散音場における伝達特性間の相関γ(ω)の期待値は0に漸近する。
だから、従来技術において反射構造体により疑似的な拡散音場を物理的に生成し、その中にマイクロホンアレイを設置してきた(非特許文献2、3参照)。
また、パワーpN(ω)を小さくするために、事前のシミュレーションや測定により用意した伝達特性を用いたフィルタ設計方式を検討してきた。簡単に言えば、ターゲット音のみを強調するようにしてきたが、拡散センシングに基づく制御では、伝達特性そのものを強調するように設計される。
遅延和法をベースとする場合、次式のように、アレイ・マニフォールド・ベクトルh(ω)をターゲット音の伝達特性a(ω)に置き換えることで、フィルタW DS1(ω)を設計できる。

この場合、a(ω)をシミュレーションや実測により事前に用意する必要がある。
また、最尤法をベースとする場合、次式によりフィルタW DS2(ω)を設計できる。
この場合も同様に、a(ω)やR(ω)をシミュレーションや実測により事前に用意する必要がある。先に挙げたような手段を用いて、疑似的な拡散音場を生成し、音を収音する場合、伝達特性が自ずと無相関化されていることが期待されるので、パワーpN(ω)を広帯域に渡って小さくすることができた。
<第一実施形態のポイント>
特定の方向や範囲に存在する音を収音しようとした場合、式(16)や(17)による、特定の方向や範囲に対応するフィルタを選択する必要がある(式(5)等参照)。本実施形態では、この特定の方向や範囲に対応するフィルタを直感的な操作により特定することができる。例えば、ピンチイン/ピンチアウト、フリック、スワイプといったスマートフォン上で写真の拡大/縮小、中心位置を操作するように、音のズームイン/ズームアウト、追従といった操作ができるようになれば、これまで録れなかったような音(特定の選手やボール等を追従し、その位置にいるかのような音)の収録が可能となり、臨場感のある再生が可能となる。なお、ピンチインとは、ピンチクローズともいい、スマートフォン等のタッチパネル上で2本の指で画面上の操作対象をつまむように動かすことであり、写真等の画像を縮小するときなどによく使われる。また、ピンチアウトとは、ピンチオープンともいい、タッチパネル上で2本の指を広げることであり、写真等の画像を拡大するときなどによく使われる。フリックとはタッチパネル上で画面を軽く払うように指を動かすことであり、スワイプとはタッチパネル上で指が画面に触れた状態で指を滑らせることであり、画面の移動や拡大された画像の表示部分の移動(言い換えると、中心位置の移動)等によく使われる。
よって、本実施形態では、以前よりも直感的な収音操作インタフェースを実現し、ピンチイン/アウト、フリック、スワイプといった手の動きに応じて、音が強調や抑圧等される範囲が変わるような収音システムを実現したい。
以下、第一実施形態に係る収音システム10について説明する。
<第一実施形態に係る収音システム10>
第一実施形態に係る収音システム10の機能構成および処理フローを図1と図2に示す。この第一実施形態の収音システム10は、M個のマイクロホン211−m、音響信号処理手段110、AD変換部120、入力手段181、表示手段182、反射器190を含む。なお、音響信号処理手段110は、周波数領域変換部130、フィルタリング部160、時間領域変換部170、フィルタ計算部150、伝達特性記憶部140を含む。m=1,2,…,Mであり、M≧2である。
<表示手段181及び入力手段182>
表示手段181は、実空間に対応する画像である実空間対応画像を表示する。表示手段としては、ディスプレイやタッチパネル等が考えられる。
実空間対応画像としては、実空間を撮影した画像(図3A参照)や実空間に対応するイラストの画像(図3B参照)等が考えられる。撮影した画像を用いる場合、操作者は、自身が収音したいと思っている実空間上の範囲を簡単な操作で直感的に指定することができる。一方、実空間を撮影した画像が不鮮明な場合や人や物が無秩序にたくさんあって雑然としているような場合(つまり、操作者自身が収音したいと思っている実空間上の範囲を実空間を撮影した画像から指定しづらい状況)には、実空間対応画像として、イラストの画像を用いたほうが、操作者は、自身が収音したいと思っている範囲を正しく指定することができる。画像は静止画でも動画であってもよい。特に、音源が移動する場合には、その音源を撮影した動画を実空間対応画像として用いることで、容易に音源を追従して収音することができる。例えば、競技場で特定の選手を追従しようと思った場合には、競技場を撮影した動画を用いることで、容易に音源を追従することができる。
また、実空間対応画像の視点は、収音対象となる実空間を含めばどのようなものであってもよい。例えば、実空間対応画像として、表示手段181が配置された場所から収音対象となる実空間を見たときの画像(図3A参照)を用いてもよいし、収音対象となる実空間を上空から斜めに見下ろしたような画像(鳥瞰図、図3B参照)であってもよい。また、表示手段181の一部に、表示手段181が配置された場所から収音対象となる実空間を見たときの実空間を撮影した画像を表示しつつ、表示手段181の他部に、収音対象となる実空間を上空から斜めに見下ろしたようなイラストの画像を表示してもよい。
画像データは、図1のように外部から入力されてもよいし、図示しない記憶部内に記憶されているものを用いてもよいし、収音システム10が図示しない画像取得手段(カメラやビデオカメラ等)を備え、実空間を撮影することにより画像データを取得してもよい。
入力手段182は、実空間対応画像に、少なくとも1つの指定範囲を指定可能とする。なお、指定範囲とは、操作者の操作により指定される範囲である。入力手段としては、タッチパネル、キーボード、マウス、カメラ等が考えられる。なお、カメラを入力手段として用いる場合、例えば、表情やジェスチャーにより、操作を行う。例えば、両手を挙げることで指定範囲を拡大させ、右手を右方向に伸ばすことで、指定範囲を右に移動させる等、要は、ある入力画像と操作内容とを対応付けておけば、カメラを入力手段として用いることができる。例えば、スマートフォンのアウトカメラで実空間を撮影した画像を実空間対応画像として用い、インカメラで操作者自身を映して、表情やジェスチャーにより操作を行う。例えば、入力手段は、図示しない記憶部、カメラ及び操作特定部を含む。記憶部には、予め表情やジェスチャーと操作内容とが対応付けられたものが記憶される。カメラで、操作者を撮影し、その表情やジェスチャーをキャプチャする。操作特定部は、記憶部を参照して、キャプチャした表情やジェスチャーを対応する操作内容に変換することで、操作を行う。このような構成により、記憶部、カメラ及び操作特定部を含む入力手段は、実空間対応画像に、少なくとも1つの指定範囲を指定可能とする。
(指定方法)
以下に、指定方法を例示する。なお、表示手段181、入力手段182としてタッチパネルを用いた例について説明しているが、他の表示手段181(例えば、タッチパネルではないディスプレイ)及び入力手段182(マウスやキーボード)により実現してもよい。
(1)タッチパネル上でタップした部分やドラッグした部分を指定範囲とする。例えば、図4Aのようにタッチパネルのほぼ中央をタップした場合、図4Bのようにタップした部分が指定範囲となる。例えば、図5Aのようにタッチパネルのほぼ中央から左下へドラッグした場合、図5Bのようにドラッグした部分が指定範囲となる。
(2)タッチパネル上でドラッグにより囲んだ部分を指定範囲とする(図6A及び図6B参照)。
(3)タッチパネル上でドラッグしたときの始点と終点とをそれぞれ対角とする四角形(図7A及び図7B参照)やその四角形に内接する楕円等の図形により囲まれる部分を指定範囲とする。
(4)表示手段181は、指定範囲特定図形を表示する範囲である指定範囲特定図形表示範囲を含む(図8、図9参照)。なお、指定範囲特定図形とは、指定範囲を特定するための図形である。図8では、指定範囲特定図形表示範囲は、表示手段181内の実空間対応画像とは別領域に表示されており、表示手段181内の特定の場所に固定されている。図9では、指定範囲特定図形表示範囲は、表示手段181内の実空間対応画像上に表示されており、表示手段181内を、ドラッグ等により移動させることができる。
入力手段182で、指定範囲特定図形表示範囲に表示される指定範囲特定図形を、実空間対応画像に追加することにより、指定範囲を指定とすることができる。なお、図8や図9のように、指定範囲特定図形表示範囲には、複数の感度特性のそれぞれに対応する複数の指定範囲特定図形(この例では、「強調」に対応する実線の長方形と「抑圧」に対応する破線の長方形)を表示してもよい。この場合、入力手段182は、指定範囲特定図形表示範囲に表示される複数の指定範囲特定図形の内の何れかを、実空間対応画像に追加することにより、指定範囲と感度特性とを指定することができる。なお、複数個の指定範囲特定図形を実空間対応画像に追加してもよい(図10参照)。
図8のように感度特性の度合いを調整するための調整部、例えば、感度特性の度合いを示す目盛りを設けてもよい。
例えば、指定範囲特定図形表示範囲内の指定範囲特定図形をドラッグし、実空間対応画像にドロップすることで追加してもよい(図10参照)。また、指定範囲特定図形表示範囲内の指定範囲特定図形をタップすることで、指定範囲特定図形を選択し、次に、実空間対応画像をタップすることで、タップした場所に先に選択した指定範囲特定図形を追加してもよい。
なお、予め指定範囲特定図形とその感度特性とを決めておき、指定範囲特定図形表示範囲を設けずに、表示手段182の実空間対応画像をタップすることで、指定範囲特定図形を表示してもよい。指定範囲特定図形として何らかの照準のような図形(図11参照)を用いてもよい。この照準の中心方向の音を収音する。照準を移動したり、拡大や縮小することで指定範囲を変更することができる。
(5)入力手段181は、操作者の操作により、指定範囲についての距離に対応する情報である距離情報を指定できる。この場合、指定範囲に対応する実空間上の範囲は、距離情報にも対応する範囲である。例えば、図12のように各指定範囲に距離を表す目盛りと矢印(赤丸や黒丸等、その他の指し示す場所がわかるような図形であればどのようなものであってもよい。)とを付与し、操作者の操作により、矢印を動かすことで距離を変更することができるようにする。
指定範囲についてより詳しく説明する。
前述の(1)〜(4)の指定方法では、奥行きに関する情報を得ることができない。そのため、指定範囲は、実際には、(1)〜(4)の指定方法で特定された指定範囲(以下「第一指定範囲」ともいう)の方向に、マイクロホンアレイが配置された場所からビーム状に指定範囲(以下「第二指定範囲」ともいう)が形成される。例えば、(1)の指定方法では、マイクロホンアレイがタッチパネルの画面外(中央下部あたり)に配置されている場合に、図13A図のようにタッチパネルのほぼ中央をタップすると、図13Bのようにタップした部分と画面外(中央下部あたり)のマイクロホンアレイが配置された場所を結ぶビーム状に第二指定範囲が形成される。この(5)の指定方法により、ビーム状の指定範囲の距離を限定することができる。
なお、実空間対応画像により、奥行き(距離)に関する情報の重要性が異なる。例えば、実空間対応画像を図3Bのような鳥瞰図とした場合、実空間対応画像の奥行きは地面からの高さに相当する。通常、地面から2メートル程度の高さで競技が行われるため、予め地面から2メートル程度までの高さ音を収音するように設定しておけばよく、この場合、距離に関する情報の重要度は低く、取得する必要はない。よって、距離に関する情報を取得する構成とするか否かは、扱う実空間対応画像に応じて適宜設定すればよい。
(6)入力手段181は、(1)〜(5)の指定方法で指定した指定範囲を、時間的に連続した移動、回転、拡大、縮小、形状変更の少なくとも何れかの変更を行うことができる(図14参照)。既存の図形描画ソフト等で使われている機能を用いて実現することができる。例えば、指定範囲をドラック&ドロップすることで、移動させることができる。例えば、移動する音源を撮影した動画を実空間対応画像として用いた場合、指定範囲を移動させることで容易に音源を追従して収音することができる。また、指定範囲をタップにより選択し、選択された指定範囲に対して回転を表す記号等を表示し、回転を表す記号をドラック&ドロップすることで指定範囲を回転させてもよい。選択した指定範囲の縁をドラック&ドロップすることで、拡大、縮小、形状変更させてもよい。
このような構成により、直感的に指定範囲を指定することができる。
入力手段181は、指定範囲の中心位置の座標と、その座標を中心として収音したい範囲を表すレンジを出力する。さらに、必要に応じて、距離情報や、指定範囲に対する感度特性を出力する。
<反射器190及びマイクロホン211−m>
反射器190及びM個のマイクロホン211−mは、上述の拡散センシングに基づく収音処理を可能とするものであればよい。
例えば、非特許文献1と同様の構成とすればよい。図15は反射器190に対するマイクロホン211−mの配置を説明するための図である。反射器190は、剛体からなる切頂8面体であり、M個のマイクロホン211−mは、切頂8面体内部の頂点に配置される。このような構成により、疑似的な拡散音場を生成し、伝達特性間を無相関化する。ただし、反射器190及びM個のマイクロホン211−mの構成は、このような構成に限定されず、拡散センシングに基づく収音処理を可能とするものであれば、どのような構成であってもよい。
このような、M個のマイクロホン211−mを用いて収音し(s1(図2参照))、アナログ信号(収音信号)をAD変換部120に出力する。
<AD変換部120>
AD変換部120が、M個のマイクロホン211−mで収音されたM個のアナログ信号をディジタル信号x(t)=[x1(t),…,xM(t)]Tへ変換し、(s2)、周波数領域変換部130に出力する。tは離散時間のインデックスを表す。
<音響信号処理手段110>
音響信号処理手段110は、実空間で収音された音のうち、指定範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とする。言い換えると、指定範囲に対応する実空間上の範囲に存在する音に対する感度特性と、それ以外の範囲に存在する音に対する感度特性とを、所定の聴者(例えば、操作者)に対して受聴可能とする。また、別の言い方をすると、音響信号処理手段110は、指定範囲に対応する実空間上の範囲から発せられる音と、それ以外の範囲から発せられる音とに、異なる感度特性を与えて出力するといってもよい。なお、「感度特性を異ならせる」とは、例えば、特定の位置で発せられた音響信号を局所収音して他の位置で発せられた音響信号を極力収音しないようにしたり、逆に特定の位置で発せられた音響信号を抑圧(消音)して他の位置で発せられた音響信号のみを収音したり、特定の位置で発せられた音響信号に対してだけ特定の周波数によるフィルタリングを行うこと等を意味する。
なお、入力手段182において、指定範囲に対して、時間的に連続した移動、回転、拡大、縮小、形状変更の少なくとも何れかの変更を行った場合、音響信号処理手段110は、時間的に変更した指定範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とする。
音響信号処理手段110内の各部の処理内容について説明する。
<周波数領域変換部130>
周波数領域変換部130は、まず、AD変換部120が出力したディジタル信号x(t)=[x1(t),…,xM(t)]Tを入力とし、チャネルごとに所定数のサンプルをバッファに貯めてフレーム単位のディジタル信号x(τ)=[x 1(τ),…,x M(τ)]Tを生成する。τはフレーム番号のインデックスである。x m(τ)=[xm((τ-1)N+1),…,xm(τN)](1≦m≦M)である。所定数のサンプルはサンプリング周波数にもよるが、48kHzサンプリングの場合には2048点あたりが妥当である。次に、周波数領域変換部130は、各フレームのディジタル信号x(τ)を周波数領域の信号X(ω,τ)=[X1(ω,τ),…,XM(ω,τ)]Tに変換し(s3)、出力する。ωは離散周波数のインデックスである。時間領域信号を周波数領域信号に変換する方法の一つに高速離散フーリエ変換があるが、これに限定されず、周波数領域信号に変換する他の方法を用いてもよい。周波数領域信号X(ω,τ)は、各周波数ω、フレームτごとに出力される。
<伝達特性記憶部140>
伝達特性記憶部140は、予め収音システム10を使って測定された伝達特性A(ω)=[a(ω),b 1(ω),…,b K(ω)]を記憶しておく。a(ω)=[a1(ω),…,aM(ω)]Tを、ターゲット音とM本のマイクロホンとの間の周波数ωでの伝達特性、換言すれば、a(ω)=[a1(ω),…,aM(ω)]Tは、マイクロホンアレイに含まれる各マイクロホンへのターゲット音の周波数ωでの伝達特性とする。k=1,2,…,Kであり、Kは雑音の個数であり、bk (ω)=[bk1(ω),…,bkM(ω)]Tを、雑音kとM本のマイクロホンとの間の周波数ωでの伝達特性、換言すれば、bk (ω)=[bk1(ω),…,bkM(ω)]Tは、マイクロホンアレイに含まれる各マイクロホンへの雑音kの周波数ωでの伝達特性とする。なお、伝達特性A(ω)は、事前測定によらず、理論式やシミュレーションにより事前に用意してもよい。
<フィルタ計算部150>
フィルタ計算部150は、伝達特性記憶部140から伝達特性A(ω)を取り出し、フィルタW(ω)を計算し、フィルタリング部160に出力する。例えば、特定の位置または方向からの音響信号を抑圧する信号処理に用いるフィルタW(ω)を計算する。
なお、従来技術と同様の方法により、フィルタW(ω)を設計することができる。例えば、参考文献2に記載されている<1>SN比最大化規準によるフィルタ設計法、<2>パワーインバージョン(Power Inversion)に基づくフィルタ設計法、<3>一つ以上の死角(雑音のゲインが抑圧される方向)を拘束条件に持つ最小分散無歪応答法によるフィルタ設計法、<4>遅延合成(Delay-and-Sum Beam Forming)法によるフィルタ設計法、<5>最尤法によるフィルタ設計法、<6>AMNOR(Adaptive Microphone-array for noise reduction)法等によって、フィルタW(ω)を設計することができる。
[参考文献2]国際公開第WO2012/086834号パンフレット
例えば、遅延和法をベースとする場合、式(16)により、フィルタW DS1(ω)を計算する。
また例えば、最尤法をベースとする場合、式(17)により、フィルタW DS2(ω)を計算する。
また例えば、一つ以上の死角を拘束条件に持つ最小分散無歪応答法によるフィルタ設計法の場合、次式により、フィルタW DS3(ω)を計算する。
ただし、fS(ω),fk(ω)はそれぞれターゲット音、雑音k(k=1,2,…,K)に関する周波数ωでの通過特性を表す。例えば、式(18)において、伝達特性a(ω)が方向θに依存する伝達特性a(ω,θ)として事前に用意できる場合には、伝達特性a(ω,θ)を用いて、フィルタW(ω,θ)を計算し、フィルタリング部160において、特定の方向θsの信号処理が行える。また、伝達特性a(ω)が方向θ、距離Dに依存する伝達特性a(ω,θ,D)として事前に用意できる場合には、伝達特性a(ω,θ,D)を用いて、フィルタW(ω,θ,D)を計算し、フィルタリング部160において、特定の位置(特定の方向θsと距離DHにより特定される位置)の信号処理が行える。
<フィルタリング部160>
フィルタリング部160は、予めフィルタ計算部150からフィルタW(ω)を受け取っておき、入力手段182から座標及びレンジ(必要に応じて距離情報及び感度特性)を受け取り、周波数領域変換部130から周波数領域信号X(ω,τ)を受け取る。予め受け取っておいたフィルタW(ω)から受け取った座標及びレンジ(必要に応じて距離情報及び感度特性)に応じたフィルタを選択し、フレームτごとに、各周波数ω∈Ωについて、周波数領域信号X(ω,τ)=[X1(ω,τ),…,XM(ω,τ)]Tに、選択したフィルタW(ω)を適用して(式(5)参照、s4)、出力信号Y(ω,τ)を出力する。
例えば、フィルタリング部160はM個のマイクロホン211−mによる収音信号に基づき、空間上の少なくとも1つの位置または方向から発せられた音響信号の感度特性を異ならせるものであればよい。なお、複数個の指定範囲が、入力手段182を介して、指定されているときには、複数個の指定範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とすればよい。なお、指定範囲ごとに感度特性が異なる場合(例えば、ある指定範囲は「強調」するように指定されており、別の指定範囲は「抑圧」するように指定されている場合)、指定範囲に対応する実空間上の範囲に存在する音のそれぞれを、入力手段182で指定した感度特性で受聴可能とすればよい。なお、予め、指定範囲、及び、感度特性に応じたフィルタをフィルタ計算部150で計算しておき、フィルタリング部160はそれを受け取り、入力手段182を介して、指定された座標、レンジ及び距離並びに感度特性に応じて、適宜対応するフィルタを選択すればよい。
<時間領域変換部170>
時間領域変換部170は、第τフレームの各周波数ω∈Ωの出力信号Y(ω,τ)を時間領域に変換して(s5)、第τフレームのフレーム単位時間領域信号y(τ)を得て、さらに、得られたフレーム単位時間領域信号y(τ)をフレーム番号のインデックスの順番に連結して時間領域信号y(t)を出力する。周波数領域信号を時間領域信号に変換する方法は、s3の処理で用いた変換方法に対応する逆変換であり、例えば高速離散逆フーリエ変換である。
<効果>
このような構成により、利用者は従来よりも収音システムを直感的に操作できる。例えば、タッチパネルやマウス、キーボードを操作する手の動きに応じて、簡単に指定範囲を拡大、縮小、移動等することができ、収音範囲を変えることができる。
<変形例>
なお、表示手段181は、必ずしも実空間に対応する画像である実空間対応画像を表示しなくともよい。実空間対応画像に代えて、座標、レンジ、距離等を示す図形Sを表示するだけでもよい。操作者は、この図形Sにより指定範囲を指定する。例えば、図16のように図形Sを扇状にし、扇の要とマイクロホンアレイの中心とを一致させ、扇の湾曲部分の先端Pを座標、扇の広さW(例えば角度で表す)をレンジ、扇面の放射方向の長さとその位置を距離Dに対応付けて出力する構成としてもよい。図形Sを回転させたり、移動させたり、拡大、縮小、形状変形させることで指定範囲を変えることできる。さらには、図形も何もなく、ディスプレイやタッチパネル等からなる表示手段181だけでもよい。第一実施形態で説明した指定方法(1)〜(5)と同様の方法により、指定範囲を指定すればよい。なお、表示手段181の中の指定範囲が存在しうるエリアを指定範囲存在エリアという。表示手段181は、実空間対応画像に代えて、指定範囲存在エリアを表示するといってもよい。このような方法では、操作者は、実空間上のどの位置の音を聴いているのか詳細に把握することはできないが、実空間上を見ながら、収音された音を聴くことで大体どの辺の音が収音されているかを把握することができる。よって、このような構成であっても、利用者は従来よりも収音システムを直感的に操作できる。
さらに、表示手段181は、ディスプレイやタッチパネル等ではなく、実空間に対応する絵がかかれた面であり、例えば、紙面であってもよいし、ペイントが施された操作端末の筐体の一つの面であってもよい。よって、実空間対応画像は、ディスプレイやタッチパネル等にうつる像だけを意味するのではなく、紙等に描かれた絵をも意味する。この場合も、表示手段181は、実空間対応画像に代えて、指定範囲存在エリアを表示してもよい。実空間対応画像または指定範囲存在エリアとタッチセンサ等を組合せることで同様の効果を得ることができる。
本実施形態では、反射器190及びM個のマイクロホン211−mは、拡散センシングに基づく収音処理を可能としているが、他の構成であってもよい。要は、入力手段182の入力(座標、レンジ、距離、感度特性等)に応じて、音響信号処理手段110において、実空間で収音された音のうち、指定範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とすることができればよい。ただし、本実施形態のように、少なくとも1つの反射器190とM個のマイクロホン211−mを含んで構成された収音手段を用い、拡散センシングに基づく収音処理を行うことで、収音手段の配置、収音手段の方向、並びに、収音手段に含まれるマイクロホン及び反射器の配置の何れも変えることなく、収音することができ、指定範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせることができる。
本実施形態では、実空間で収音された音は、M個のマイクロホン211−mを用いてリアルタイムで収音された音であるが、M個のマイクロホン211−mそれぞれで収音されたMチャネルの音が記憶手段に記憶されたものであってもよい。その場合、図17のような構成が考えられる。収音システム10は、第一実施形態の構成に加え、符号化部121、記憶媒体書込み部122、記憶媒体読取り部123及び復号部124を含む。
符号化部121は、AD変換部120が出力したディジタル信号x(t)=[x1(t),…,xM(t)]Tを受け取り、符号化する。なお、符号化部121の入力と復号部124の出力とが同一となる符号化(例えば、ロスレス符号化)が好ましい。ロッシー符号化でもよいが、その場合には、再生側でNチャネルの信号を再生可能なように符号化部121に入力されたNチャネルのディジタル信号のチャネル間の振幅差、及び、位相差と、復号部124から出力されたNチャネルの信号のチャネル間の振幅差、及び、位相差との差分が小さくなる方が好ましい。ただし、符号化部121及び復号部124は、記憶量を減らしたい場合等に必要に応じて設ければよく、必ずしも必要ではない。
記憶媒体書込み部122は、AD変換部120から出力されたNチャネルのデジタル信号、または、符号化部121から出力された符号を記憶媒体に記憶する。なお、記憶媒体は、図17の収音システム10の内部に備えられたもの(ハードディスク、メモリ)などでもよいし、着脱可能なもの(SDカードやCD-ROM等)で収音システムから取り出せるものであってもよい。なお、記憶媒体は、記憶されたデータを、100年等、長期保存可能であってもよい。
記憶媒体読取り部123は、記憶媒体から、Nチャネルのディジタル信号x(t)(または、Nチャネルのディジタル信号のうちのより多くの複数信号)、または、符号(または、符号のうち、復号するとN未満の複数チャネルとなる部分)を読み出す。なお、読み出される信号はNチャネルでなくてもよい。指定範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせるためには、2チャネル以上のディジタル信号が読み出せればよいが、処理(例えば雑音抑圧)の精度を上げるため、できるだけ多くのチャネル数であることが望ましい。音響信号処理手段110に入力するために読み出すため、「いつ」の信号を読み出すのかを時間指定することが望ましい。
復号部124は、記憶媒体から読み出される(符号化されている)信号を復号し、Nチャネルの信号を得、音響信号処理手段110に出力する。音響信号処理手段110における処理は第一実施形態と同様である。
このような構成とすることで、収音時には、どこを強調したいかということは気にせずに、N本のマイクロホンで収音した信号になるべく近い信号を音響信号処理手段の入力にできるように媒体に記憶することができる。後になって(例えば100年経って後)「あのとき」の「あの場所の音」を強調したいという情報をもとに、媒体に記憶された信号の中から、「あのとき」収音した信号に対応するファイルを読み取り、音響信号処理手段110で「あの場所」の音を強調するフィルタを乗算する。例えば、サッカースタジアムで試合中のフィールドの音を収音しておき、とある選手の一言で選手間の言い争いが起こった場合に、「とある選手の一言」を試合後にズームして再生することができる。また例えば、セキュリティ分野で、ある場所で異常が発生していたことが後になって判明した場合に、異常が発生した時刻、場所の音をズームして再生することができる。なおこのような利用方法は、少なくとも1つの反射器190とM個のマイクロホン211−mを含んで構成された収音手段を用いて、記憶手段に記憶することで可能であり、必ずしも表示手段181や入力部182を必要としない。
なお、反射器190、M個のマイクロホン211−m、AD変換部120、符号化部121及び記憶媒体書込み部122と、記憶媒体読取り部123、復号部124、表示手段181、入力手段182及び音響信号処理手段110とを一つの装置内で実現してもよいし、別装置として実現してもよい。その場合であっても、全体として一つの収音システムとして機能する。
なお、本実施形態では、予めフィルタ計算部150において、全ての指定範囲と感度特性に対応するフィルタW(ω)を全て計算しておき、フィルタリング部160はそれ予め受け取っておく構成としたが、フィルタリング部160が入力手段182から指定範囲と感度特性を受け取った時点で、フィルタ計算部150において、その指定範囲と感度特性に応じたフィルタW(ω)のみを計算し、フィルタリング部160に出力する構成としてもよい。
なお、距離情報は、操作者の操作以外の方法で入力されてもよい。例えば、カメラ等のオートフォーカス機能により、対象物までの距離を取得することができる。外部から距離情報を受信してもよいし、収音システム10がカメラ等の画像取得手段とともにオートフォーカス機能を備え、距離情報を取得してもよい。
本実施形態では、実空間で収音された音(音波)を対象としているが、電波や光波、他の帯域の電磁波を対象としてもよい。その場合、マイクロホンに代えて、受信アンテナや受光素子等を用いることができる。要は、対象とする、同じ種類の波を信号に変換可能な複数の変換部であればよい。なお、ここでいう信号とは、情報を伝達するために記号化、符号化したものであって、その媒体としては、電気、音、光、電波等が考えられる。波を信号に変換する変換技術の例として、以下の技術が挙げられる。(1)音波を電気信号に変換する技術や、(2)電磁波を電気信号に変換する技術がある。ただし、これに限るものではなく、(3)音波を光信号に変換する技術等であってもよい。(1)を実現するデバイスとしてはマイクロホンがある。(2)を実現するデバイスとしては受信アンテナがある。また、(3)を直接実現できるハードウェアがあればそれを用いてもよい。なお、変換部のことを、波を受信できるという意味から受信部と呼んでもよい。また、波源(音源)から伝わる波を入力とするという意味で波源入力部と呼んでもよい。
前述の通り、波として、電波や光波、他の帯域の電磁波を対象としてもよい。例えば、波として、電波を用いる場合、反射器190は、所定の方向の電波を反射する構造体である。電波の波長で扱う波長幅は0.01〜1mである(参考文献3参照)。
[参考文献3]「周波数帯ごとの主な用途と電波の特徴」、[online]、総務省、[平成26年2月28日検索]、インターネット<http://www.tele.soumu.go.jp/j/adm/freq/search/myuse/summary/>
ただし、電波の場合、特定の波長を利用することが多いため、その特定の波長に合わせて、扱う波長幅の中で最大の波長幅の半波長程度以上であることが望ましい。反射器190の材質は、電波を反射しやすいものが望ましい。そこで、固くて面積のある剛体を反射器190として用いればよい。また、例えば、鉄筋やビル等により反射器190を実現してもよい。
なお、本実施形態では、反射器190を用いているが、これは一例である。要は、波(例えば本実施形態のように音波)の進行方向を変えるもの(構造物)であれば、他の構成を用いてもよい。なお、このような構成を波の進行方向を変更するものという意味で波進行方向変更手段ともいう。例えば、波進行方向変更手段として、波がM個のマイクロホンに集まるように波の進行方向を変えるものを用いてもよい。言い換えると、波進行方向変更手段として、M個のマイクロホン211−mのSN比を高めるものを用いてもよい。そのような構成とすることで、M個のマイクロホン211−mのSN比を高め、拡散センシングに基づく収音処理をしやすくすることができる。なお、このような構成を、高SNゾーンを形成するという意味で高SNゾーン形成器ともいう。高SNゾーン形成器は、反射以外の方法で、高SNゾーンを形成してもよい。例えば、音のフレネルレンズ(参考文献4参照)等を高SNゾーン形成器として用いてもよい。
[参考文献4]「音のフレネルレンズ」、[online]、名古屋市科学館、[平成26年2月28日検索]、インターネット<http://www.ncsm.city.nagoya.jp/cgi-bin/visit/exhibition_guide/exhibit.cgi?id=S406&key=%E3%81%B5&keyword=%E3%83%95%E3%83%AC%E3%83%8D%E3%83%AB%E3%83%AC%E3%83%B3%E3%82%BA>
この場合、音のフレネルレンズの焦点が高SNゾーンに相当する。なお、高SNゾーンとは、高SNゾーン形成器によって特にSN比が高められる範囲である。例えば、高SNゾーン形成器が剛体からなる切頂8面体である場合には、切頂8面体の形成する焦点が高SNゾーンであり、高SNゾーン形成器が音のフレネルレンズの焦点が高SNゾーンに相当する。
なお、M個のマイクロホン211−mは、必ずしも高SNゾーンに配置する必要はなく、高SNゾーン付近に配置すればよい。なお、高SNゾーン付近とは、高SNゾーン形成器がない場合に比べ、ある場合に、SN比が高くなる範囲を意味している。高SNゾーン形成器をM個のマイクロホン211−mの付近に配置すればよい。別の言い方をすると、高SNゾーン形成器が形成する高SNゾーンの付近にM個のマイクロホン211−mを配置すればよい。なお、波として、電磁波を用いる場合には、それぞれ波長に対応するレンズを用いればよい。例えば、波として光波を用いる場合には通常のレンズを、波として電波を用いる場合には電波レンズを用いればよい。
<第二実施形態>
第一実施形態と異なる部分を中心に説明する。
本実施形態では、入力手段182は、実空間対応画像の表示範囲を、操作者の操作により変更可能とする。
そして、音響信号処理手段110は、指定範囲ではなく、表示範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とする。
第一実施形態とは異なり、本実施形態では、実空間対応画像全体が表示手段181に表示されるとは限らない。つまり、図18に示すような実空間対応画像があったとき、実空間対応画像全体が表示手段181に表示されることもあるが、実空間対応画像の一部(図18の破線で囲まれた範囲)が拡大されて表示手段181に表示されることもある(図19参照)。なお、実空間対応画像自体は、第一実施形態と同様である。表示手段181に表示される部分が表示範囲であり、操作者は、入力手段を操作することにより、表示範囲を変更することができる。
例えば、ピンチイン/ピンチアウト、フリック、スワイプといったスマートフォン上で実空間対応画像の拡大/縮小、中心位置を操作することができ、表示範囲を変更することができる。また、表示範囲の変更方法としては、他の既存の画像に対する表示範囲の変更方法と同様の方法を用いることができる。
なお、入力手段182において、表示範囲に対して、時間的に連続した移動、回転、拡大、縮小、形状変更の少なくとも何れかの変更を行った場合、音響信号処理手段110は、時間的に変更した表示範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とする。
第一実施形態同様、表示手段としてはディスプレイやタッチパネル等が、入力手段としてはタッチパネルやキーボード、マウス、カメラ等が考えられる。
表示範囲の中心に対応する座標、表示範囲に対応するレンジが音響信号処理手段110に出力される。なお、操作者が表示範囲の中心を常に認識できるように、図11の照準のような図形を表示範囲の中心に常に表示してもよい。
音響信号処理手段110は、指定範囲に代えて、表示範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とする。なお、どのように感度特性を異ならせてもよいが、特に、表示範囲に対応する実空間上の範囲に存在する音が、それ以外の範囲に存在する音よりも、強調されて受聴可能とすると、表示範囲に表示されている画像に対応する音が強調されるため、受聴者には、画像と音声とが連動しているように聞こえる。
なお、音響信号処理手段110は、表示範囲が実空間上の範囲である第1範囲に対応する場合と、表示範囲が第1範囲よりも狭い実空間上の範囲である第2範囲に対応する場合とでは、表示範囲が第1範囲に対応する場合のほうが、表示範囲が第2範囲に対応する場合よりも、実空間上の広い範囲の音が強調されて受聴可能としてもよい。このような構成により、表示範囲に表示されている画像が拡大されているほど、対応する狭い実空間上の音が強調されることになり、受聴者にとってはより、画像と音声の連動がより分かりやすくなる。
入力手段は、実空間対応画像の表示範囲を時間的に連続して拡大または縮小、移動可能とする。例えば、入力手段がタッチパネルの場合には、前述のように、ピンチイン/ピンチアウト等の操作により、実空間対応画像の表示範囲を時間的に連続して拡大または縮小することができる。また、フリック、スワイプ等の操作により、中心位置を操作することができる。また、例えば、表示手段181の表示範囲とは別の範囲に、表示範囲の倍率を示す目盛りを設け、マウスやキーボードを操作することにより目盛りを変更し、表示範囲を拡大、縮小してもよい。また、マウスをドラッグ&ドロップすることにより、表示範囲を移動してもよい。要は、入力手段に対する所定の操作と、表示範囲の拡大、縮小、移動等の変更が対応付けられていればよい。
なお、本実施形態と、第一実施形態の第二変形例とを組合せてもよい。
なお、入力手段181は、操作者の操作により、表示範囲についての距離に対応する情報である距離情報を指定できる構成としてもよい。このとき、第一実施形態と同様に、表示範囲に対応する実空間上の範囲は、距離情報にも対応する範囲となる。例えば、表示手段181の表示範囲上に、または表示範囲とは別の範囲に、距離を表す目盛りと矢印等を表示し、操作者の操作により、矢印を動かすことで距離を変更することができるようにすればよい。
このような構成により、第一実施形態と同様の効果を得ることができる。
<第三実施形態>
第一実施形態と異なる部分を中心に説明する。
本発明は、スピーカを用いた放音システムとして扱ってもよい。
M(≧2)個のスピーカを用いて制御点Dで強調されるような指向制御を行うことを考える。
第三実施形態に係る放音システム30の機能構成および処理フローを図20と図21に示す。この第三実施形態の放音システム30は、M個のスピーカ311−m、音響信号処理手段310、反射器390、表示手段381及び入力手段382を含む。m=1,2,…,Mであり、M≧2である。なお、周波数領域変換部300、フィルタリング部330、時間領域変換部340、フィルタ計算部320、伝達特性記憶部310を含む。
<表示手段381及び入力手段382>
表示手段381及び入力手段382は、第一実施形態や第二実施形態、またはその変形例の表示手段181及び入力手段182と同様の構成とすればよい。ただし、指定範囲、または、表示範囲が、収音する範囲ではなく、放音する範囲を表す。なお、「放音」とは、スピーカから音を出力すること、または、スピーカからの出力により音を再生することを意味する。
そのため、例えば、第一実施形態で説明した指定方法(4)で指定するのは、収音特性ではなく、放音特性であり、入力手段381は、指定範囲に対する感度特性ではなく、放音特性を出力する。
[放音システム30の信号処理]
信号源200がN個の音源信号sn(t)を出力する。n=1,2,…,Nであり、N≧1である。この実施形態では、信号源200からの音源信号sn(t)はディジタル信号であるとする。ただし、音源信号としてアナログ信号を用いる場合には、アナログ信号をディジタル信号sn(t)へAD変換するAD変換部を設ければよい。例えば、信号源200はN個のマイクロホンであってもよいし、N個の音源信号sn(t)が記憶された記憶媒体であってもよく、音源信号を所定の音ともいう。
<音響信号処理手段310>
音響信号処理手段310は、所定の音を、指定範囲または表示範囲に対応する実空間上の範囲と、それ以外の範囲とで放音特性を異ならせて、所定の聴者(例えば観客)に対して受聴可能とする。なお、音源信号sn(t)毎に放音特性を異ならせてもよい。言い換えると、指定範囲に対応する実空間上の範囲から発せられる音に対する放音特性と、それ以外の範囲から発せられる音に対する放音特性とを、所定の聴者(例えば、観客)に対して受聴可能とする。また、別の言い方をすると、音響信号処理手段310は、指定範囲に対応する実空間上の範囲から発せられる音と、それ以外の範囲から発せられる音とに、異なる放音特性を与えて出力するといってもよい。なお、「放音特性を異ならせる」とは、例えば、特定の位置で音響信号を局所放音して他の位置で音響信号を極力放音しないようにしたり、逆に特定の位置で音響信号を放音しないようにして他の位置でのみ音響信号を放音したり、特定の位置で放音される音響信号に対してだけ特定の周波数によるフィルタリングを行うこと等を意味する。
なお、入力手段382において、指定範囲または表示範囲に対して、時間的に連続した移動、回転、拡大、縮小、形状変更の少なくとも何れかの変更を行った場合、音響信号処理手段310は、時間的に変更した指定範囲または表示範囲に対応する実空間上の範囲と、それ以外の範囲とで放音特性を異ならせて受聴可能とする。
なお、音響信号処理手段310は、どのように放音特性を異ならせてもよいが、特に、表示範囲に対応する実空間上の範囲から発せられる音が、それ以外の範囲から発せられる音よりも、強調されて受聴可能とすると、表示範囲に表示されている画像に対応する音が強調されるため、受聴者には、画像と音声とが連動しているように聞こえる。
なお、音響信号処理手段310は、表示範囲が実空間上の範囲である第1範囲に対応する場合と、表示範囲が第1範囲よりも狭い実空間上の範囲である第2範囲に対応する場合とでは、表示範囲が第1範囲に対応する場合のほうが、表示範囲が第2範囲に対応する場合よりも、実空間上の広い範囲で音が強調されて所定の聴者(例えば観客)に対して受聴可能としてもよい。このような構成により、表示範囲に表示されている画像が拡大されているほど、対応する狭い実空間上の狭い範囲で放音が強調されることになり、受聴者にとってはより、画像と音声の連動がより分かりやすくなる。
音響信号処理手段310内の各部の処理内容について説明する。
<周波数領域変換部300>
まず、周波数領域変換部300は、N個のディジタル信号sn(t)を受け取り、所定数のサンプルをバッファに貯めてフレーム単位のディジタル信号sn(τ)を出力する。次に、周波数領域変換部300は、各フレームのディジタル信号sn(τ)を周波数領域の信号Sn(ω,τ)に変換して(s31)出力する。
<伝達特性記憶部310及びフィルタ計算部320>
伝達特性記憶部310及びフィルタ計算部320の機能構成は、第一実施形態と同様である。例えば、フィルタ計算部320は、伝達特性記憶部310から、k番目の位置とM個のスピーカ間の伝達特性をak(ω)=[A1,k(ω),…,AM,k(ω)]Tを取り出し、参考文献5記載の方法により、フィルタwk(ω)を計算し、フィルタリング部330に出力する。
[参考文献5]羽田陽一、片岡章俊、「自由空間伝達関数を用いた多点制御に基づく小型スピーカアレーの実空間性能」、日本音響学会研究発表会講演論文集、2008、pp.631-632
例えば、n番目の音源信号をσ(n)番目の位置に対して強調して放音したいとする。その場合、最小分散法を用いて上記の性質を実現するための線形フィルタwk(ω)=[W1,k(ω),…,WM,k(ω)]Tを次式により計算する。
ここで、空間相関行列R(ω)は、伝達特性のみを用いて、近似計算できる。
ここで、κは、位置を表すインデックス群である。
<フィルタリング部330>
フィルタリング部330は、空間上の少なくとも複数の位置へ、M個のスピーカ311−mから発する音響信号の放音特性を異ならせるものであればよい。
例えば、フィルタリング部330は、予めフィルタ計算部320からフィルタwk(ω)を受け取っておき、入力手段から座標及びレンジ(必要に応じて距離情報)を受け取り、N個の周波数領域信号Sn(ω,τ)を受け取る。予め受け取っておいたフィルタwk(ω)の中から受け取った座標及びレンジ(必要に応じて距離情報)に応じたフィルタを選択し、フレームτごとに、各周波数ω∈Ωについて、周波数領域信号Sn(ω,τ)に、フィルタwk(ω)を適用して(次式参照、s32)、Mチャネルの出力信号Y1,n(ω,τ),…,YM,n(ω,τ)を算出する。
最後に、次式のように、N個の音源信号に対応する出力信号を各チャネルごとに加算してまとめ、出力信号Z(ω,τ)=[Z1(ω,τ),…,ZM(ω,τ)]を出力する。
例えば、フィルタリング部330はM個のスピーカ311−mによる放音信号の放音特性を、空間上の少なくとも1つの位置または方向により異ならせるものであればよい。なお、複数個の指定範囲が、入力手段182を介して、指定されているときには、複数個の指定範囲に対応する実空間上の範囲と、それ以外の範囲とで、放音特性を異ならせて所定の音を受聴可能とすればよい。なお、指定範囲ごとに放音特性が異なる場合(例えば、ある指定範囲は「強調」するように指定されており、別の指定範囲は「抑圧」するように指定されている場合)、指定範囲に対応する実空間上の範囲のそれぞれを、入力手段382で指定した放音特性で所定の聴者に対して受聴可能とすればよい。なお、予め、指定範囲、及び、感度特性に応じたフィルタをフィルタ計算部320で計算しておき、フィルタリング部330はそれを受け取り、入力手段382を介して、指定された座標、レンジ及び距離並びに放音特性に応じて、適宜対応するフィルタを選択すればよい。
<時間領域変換部340>
時間領域変換部340は、第τフレームの各周波数ω∈Ωの放音信号Z(ω,τ)=[Z1(ω,τ),…,ZM(ω,τ)]を時間領域に変換して(s33)、第τフレームのフレーム単位時間領域信号z(τ)=[z1(τ),…,zM(τ)]を得て、さらに、得られたフレーム単位時間領域信号z(τ)=[z1(τ),…,zM(τ)]をフレーム番号のインデックスの順番に連結して、時間領域信号z(t)=[z1(t),…,zM(t)]を出力する。周波数領域信号を時間領域信号に変換する方法は、s31の処理で用いた変換方法に対応する逆変換であり、例えば高速離散逆フーリエ変換である。
<スピーカ311−m及び反射器390>
Mチャネルの時間領域信号z1(t),…,zM(t)はそれぞれ、スピーカアレイを構成するM個のスピーカ311のうち、チャネルに対応するスピーカで放音される(s34)。
反射器390は第一実施形態と同様の反射器190と同様の構成である。なお、反射器390に対するM個のスピーカ311−mの位置関係は、第一実施形態の反射成器190及びM個のマイクロホン211−mを、反射器390及びM個のスピーカ311−mにそれぞれ置き換えればよい。
<効果>
このような構成により、利用者は従来よりも放音システムを直感的に操作できる。例えば、タッチパネルやマウス、キーボードを操作する手の動きに応じて、簡単に指定範囲や表示範囲を拡大、縮小、移動等することができ、放音範囲を変えることができる。
<変形例>
本実施形態では、反射器390及びM個のスピーカ311−mは、拡散センシングに基づく放音処理を可能としているが、他の構成であってもよい。要は、入力手段382の入力(座標、レンジ、距離、感度特性等)に応じて、音響信号処理手段310において、実空間で放音された音のうち、指定範囲に対応する実空間上の範囲と、それ以外の範囲とで放音特性を異ならせて受聴可能とすることができればよい。ただし、本実施形態のように、少なくとも1つの反射器390とM個のスピーカ311−mを含んで構成された放音手段を用い、拡散センシングに基づく放音処理を行うことで、放音手段の配置、放音手段の方向、並びに、放音手段に含まれるマイクロホン及び反射器の配置の何れも変えることなく、放音することができ、指定範囲に対応する実空間上の範囲と、それ以外の範囲とで放音特性を異ならせることができる。
なお、本実施形態では、図17の符号化部121、記憶媒体書込み部122、記憶媒体読取り部123及び復号部124を含んでいないが同様の構成を含んでもよい。その場合、符号化部121、記憶媒体書込み部122、記憶媒体読取り部123及び復号部124は、信号源200と周波数領域変換部300との間に設ければよい。
また、放音システム30は、以下のような構成としてもよい。少なくとも1つの反射器390とM個のスピーカ311−mを含んで構成された放音手段と、信号源である記憶手段と、音響信号処理手段310とを含む。なお、この放音手段として、拡散センシングに基づく放音処理を可能とするものを用いる。記憶手段には、Mチャネルの音(M個の音源信号sm1(t)といってもよい)が記憶されている。ただし、Mは2以上の整数とする。
音響信号処理手段310は、記憶手段に記憶されたMチャネルの音のうちの、Mチャネルの音それぞれを、実空間上の所望の範囲(図22参照)と、それ以外の範囲とで放音特性を異ならせて、受聴可能とする。Mを2以上M以下の整数とする。つまり、図22では、所望の範囲をH、Hの2つとしている。
さらに、音響信号処理手段310は、MチャネルのうちのPチャネルの音を受聴可能とする実空間上の所望の範囲と、MチャネルのうちのPチャネルとは別のQチャネルの音を受聴可能とする実空間上の所望の範囲とを異ならせる。Pを1以上(M−1)以下の整数とし、Qを1以上(M−P)以下の整数とする。例えば、記憶手段には、5チャネルの音が記憶されており(M=5)、このうち、3チャネル(M=3)の音がそれぞれ実空間上の所望の範囲と、それ以外の範囲とで放音特性を異ならせて、受聴可能とする。例えば、所望の範囲で強調して放音する。このとき、所望の範囲は1つではなく、2つ以上となるようにする。そして、3チャネル(M=3)のうちの1チャネルを(P=1)を所望の範囲をHで受聴可能とし、3チャネル(M=3)のうちの1チャネルのうち2チャネル(Q=2)を所望の範囲をHで受聴可能とする。このとき、M個のスピーカ311−mからは、それぞれ3チャネル分の音が混ざり合った音を放音する。所望の範囲Hでは、1チャネル分の音のみが聞こえ、所望の範囲Hでは、2チャネル分の音のみが聞こえる。具体的には、フィルタリング部で以下のような処理を行うことで、実現する。
例えば、フィルタリング部330は、予めフィルタ計算部320からフィルタwk(ω)を受け取っておき、入力手段から座標及びレンジ(必要に応じて距離情報)を受け取り、M個の周波数領域信号Sm1(ω,τ)を受け取る。このうち、M2個の周波数領域信号Sm2(ω,τ)を選択する。さらに、M2個の周波数領域信号Sm2(ω,τ)のうち、所望の範囲H1で放音したいPチャネルの信号に対して、所望の範囲Hに対応するフィルタを適用し、Pチャネルの出力信号を算出する。また、M2個の周波数領域信号Sm2(ω,τ)のうち、所望の範囲Hで放音したいQチャネルの信号に対して、所望の範囲Hに対応するフィルタを適用し、Qチャネルの出力信号を算出する。Pチャネル及びQチャネルの出力信号をそれぞれチャネルmごとに加算してまとめ、出力信号Z(ω,τ)=[Z1(ω,τ),…,ZM(ω,τ)]を出力する。
例えば、従来技術であっても、指向性のスピーカを2つ以上用意すれば、2つ以上の所望の範囲と、それ以外の範囲とで放音特性を異ならせて、受聴可能とすることはできたが、所望の範囲を変更するたびに、放音手段の配置、放音手段の方向、並びに、放音手段に含まれるマイクロホン及び反射器の配置等を変える必要があった。上述の構成であれば、所望の範囲を変更しても、放音手段の配置、放音手段の方向、並びに、放音手段に含まれるマイクロホン及び反射器の配置の何れも変える必要がない。2チャネル以上の音を異なる所望範囲でそれぞれ放音することができる。
第一実施形態同様、波として、音波を用いているが、電波や光波を用いてもよいし、他の帯域の電磁波を用いてもよい。その場合、スピーカに代えて、送信アンテナや発光素子等を用いることができる。要は、対象とする信号を同種の波に変換可能な複数の変換部であればよい。
信号を波に変換する変換技術の例として、以下の技術が挙げられる。(i)電気信号を音波に変換する技術や、(ii)電気信号を電磁波に変換する技術がある。ただし、これに限るものではなく、(iii)光信号を音波に変換する技術等であってもよい。(i)を実現するデバイスとしてはスピーカがある。(ii)を実現するデバイスとしては送信アンテナがある。また、(iii)を直接実現できるハードウェアがあればそれを用いてもよい。なお、変換部のことを、波を送信できるという意味から送信部と呼んでもよい。なお、第一実施形態の変形例で説明した受信部と送信部とを合わせて送受信部と呼んでもよい。また、変換部は、波源となり、波を出力するという意味で波源出力部と呼んでもよい。なお、第一実施形態の変形例で説明した波源入力部と合わせて波源入出力部と呼んでもよい。
なお、本実施形態では、反射器390を用いているが、これは一例である。要は、波(例えば本実施形態のように音波)の進行方向を変えるもの(構造物)であれば、第一実施形態の場合と同様、他の構成を用いてもよい。なお、第一実施形態の場合と同様に、このような構成を波の進行方向を変更するものという意味で波進行方向変更手段ともいう。波進行方向変更手段として、第一実施形態の変形例で説明した高SNゾーン形成器を用いてもよい。高SNゾーン形成器は、M個のスピーカ311−mのSN比を高めることができ、拡散センシングに基づく放音処理をしやすくすることができる。
<その他の変形例>
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
<プログラム及び記録媒体>
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (1)

  1. マイクロホンアレイが1つの位置に設置された実空間の一部であって、前記マイクロホンアレイを含まない実空間に対応する画像である実空間対応画像を表示する表示手段と、
    前記実空間対応画像に、操作者の操作により指定される少なくとも1つの指定範囲を指定可能とする第一の入力手段と、
    前記指定範囲について、少なくとも、強調及び抑圧の何れか一方を指定可能とする第二の入力手段を有し
    距離情報は距離に対応する情報であり、
    前記指定範囲についての距離情報も前記第一の入力手段で指定可能であり、
    前記第一の入力手段において、指定範囲を指定され、
    前記第一の入力手段において、距離情報を指定されず、
    前記第二の入力手段において、強調及び抑圧の何れか一方を指定された場合、
    前記マイクロホンアレイが設置された位置と、指定された指定範囲に対応する前記実空間上の範囲と、を結ぶ範囲に存在する音を、
    それ以外の範囲に存在する音と比べ前記第二の入力手段の指定に応じて受聴可能とし、
    前記第一の入力手段において、指定範囲を指定され、
    前記第一の入力手段において、前記指定された指定範囲に対応する距離情報も指定され、
    前記第二の入力手段において、強調及び抑圧の何れか一方を指定された場合、
    前記マイクロホンアレイが設置された位置と、指定された指定範囲に対応する前記実空間上の範囲と、を結ぶ範囲に存在する音のうち、
    前記指定された距離情報に対応する距離に存在する音のみを、
    それ以外の全ての範囲に存在する音と比べ前記第二の入力手段の指定に応じて受聴可能とする音響信号処理手段とを含み、
    前記音響信号処理手段は前記マイクロホンアレイを形成するマイクロホン間で観測される観測信号に基づく伝達特性のマイクロホン間の相関が小さくなることを利用する
    収音システム
JP2014076663A 2014-04-03 2014-04-03 収音システム及び放音システム Active JP6125457B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014076663A JP6125457B2 (ja) 2014-04-03 2014-04-03 収音システム及び放音システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014076663A JP6125457B2 (ja) 2014-04-03 2014-04-03 収音システム及び放音システム

Publications (2)

Publication Number Publication Date
JP2015198413A JP2015198413A (ja) 2015-11-09
JP6125457B2 true JP6125457B2 (ja) 2017-05-10

Family

ID=54547859

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014076663A Active JP6125457B2 (ja) 2014-04-03 2014-04-03 収音システム及び放音システム

Country Status (1)

Country Link
JP (1) JP6125457B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10805557B2 (en) 2017-09-27 2020-10-13 Casio Computer Co., Ltd. Image processing device, image processing method and storage medium correcting distortion in wide angle imaging

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6657978B2 (ja) * 2016-01-14 2020-03-04 株式会社リコー 音声処理装置、音声処理方法及び音声処理プログラム
US11445305B2 (en) 2016-02-04 2022-09-13 Magic Leap, Inc. Technique for directing audio in augmented reality system
CN114189793B (zh) * 2016-02-04 2024-03-19 奇跃公司 增强现实系统中定向音频的技术
JP6865371B2 (ja) * 2016-03-24 2021-04-28 パナソニックIpマネジメント株式会社 モニタリングシステム及びモニタリング方法
JP6758956B2 (ja) 2016-06-30 2020-09-23 キヤノン株式会社 制御装置、制御方法およびプログラム
KR102308937B1 (ko) 2017-02-28 2021-10-05 매직 립, 인코포레이티드 혼합 현실 디바이스에서의 가상 및 실제 객체 레코딩
WO2020079957A1 (ja) * 2018-10-15 2020-04-23 ソニー株式会社 音声信号処理装置、雑音抑圧方法
US10679602B2 (en) 2018-10-26 2020-06-09 Facebook Technologies, Llc Adaptive ANC based on environmental triggers
GB2584837A (en) * 2019-06-11 2020-12-23 Nokia Technologies Oy Sound field related rendering
GB2584838A (en) * 2019-06-11 2020-12-23 Nokia Technologies Oy Sound field related rendering

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209689A (ja) * 1999-01-12 2000-07-28 Canon Inc サウンド処理装置およびその制御方法、並びに、記録媒体
JP4934968B2 (ja) * 2005-02-09 2012-05-23 カシオ計算機株式会社 カメラ装置、カメラ制御プログラム及び記録音声制御方法
JP4539385B2 (ja) * 2005-03-16 2010-09-08 カシオ計算機株式会社 撮像装置、撮像制御プログラム
JP4686402B2 (ja) * 2006-04-27 2011-05-25 オリンパスイメージング株式会社 カメラ、再生装置、再生制御方法
JP2008131168A (ja) * 2006-11-17 2008-06-05 Casio Comput Co Ltd 音声データ編集装置、音声データ編集方法、音声データ編集プログラム
JP5123595B2 (ja) * 2007-07-31 2013-01-23 独立行政法人情報通信研究機構 近傍場音源分離プログラム、及びこのプログラムを記録したコンピュータ読取可能な記録媒体、並びに近傍場音源分離方法
JP5246790B2 (ja) * 2009-04-13 2013-07-24 Necカシオモバイルコミュニケーションズ株式会社 音データ処理装置、及び、プログラム
JP5801026B2 (ja) * 2009-05-28 2015-10-28 株式会社ザクティ 画像音響処理装置及び撮像装置
JP2010282259A (ja) * 2009-06-02 2010-12-16 Panasonic Corp 収音機器および映像表示機器
JP2011061461A (ja) * 2009-09-09 2011-03-24 Sony Corp 撮像装置、指向性制御方法及びそのプログラム
WO2011054366A1 (de) * 2009-11-07 2011-05-12 Institut für Rundfunktechnik GmbH Anordnung zur verbesserten tondarstellung der sportartspezifischen geräusche insbesondere von feldsportarten
JP2011114769A (ja) * 2009-11-30 2011-06-09 Nikon Corp 撮像装置
EP2642768B1 (en) * 2010-12-21 2018-03-14 Nippon Telegraph And Telephone Corporation Sound enhancement method, device, program, and recording medium
JP2013168878A (ja) * 2012-02-16 2013-08-29 Olympus Imaging Corp 録音機器
EP2680616A1 (en) * 2012-06-25 2014-01-01 LG Electronics Inc. Mobile terminal and audio zooming method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10805557B2 (en) 2017-09-27 2020-10-13 Casio Computer Co., Ltd. Image processing device, image processing method and storage medium correcting distortion in wide angle imaging

Also Published As

Publication number Publication date
JP2015198413A (ja) 2015-11-09

Similar Documents

Publication Publication Date Title
JP6125457B2 (ja) 収音システム及び放音システム
US11617050B2 (en) Systems and methods for sound source virtualization
CN112106385B (zh) 一种用于声音建模和呈现的系统
CN106157986B (zh) 一种信息处理方法及装置、电子设备
KR102507476B1 (ko) 헤드셋을 통한 공간 오디오 렌더링을 위한 룸 특성 수정 시스템 및 방법
EP2891955B1 (en) In-vehicle gesture interactive spatial audio system
US10798518B2 (en) Apparatus and associated methods
US20190139312A1 (en) An apparatus and associated methods
US11412340B2 (en) Bidirectional propagation of sound
CN106659936A (zh) 用于确定增强现实应用中音频上下文的系统和方法
EP2508011A1 (en) Audio zooming process within an audio scene
Yang et al. Audio augmented reality: A systematic review of technologies, applications, and future research directions
US11595773B2 (en) Bidirectional propagation of sound
JP7439131B2 (ja) 空間オーディオをキャプチャする装置および関連する方法
Chaitanya et al. Directional sources and listeners in interactive sound propagation using reciprocal wave field coding
Siltanen et al. Acoustic visualizations using surface mapping
Vorländer et al. Virtual room acoustics
KR101111734B1 (ko) 복수 개의 음원을 구분하여 음향을 출력하는 방법 및 장치
JP2021132261A (ja) 複数のマイクロフォンの収音信号をミキシングする装置、プログラム及び方法
CN114449341B (zh) 音频处理方法、装置、可读介质及电子设备
Gasparini et al. Kinect application for a wave field synthesis-based reproduction system
Pfreundtner Real-time impulse response measurement: Swept-sine technique with minimum latency for reflection and position sensing
JP2022034267A (ja) バイノーラル再生装置およびプログラム
GB2589340A (en) Augmented reality system
NZ795232A (en) Distributed audio capturing techniques for virtual reality (1vr), augmented reality (ar), and mixed reality (mr) systems

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160708

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170314

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170405

R150 Certificate of patent or registration of utility model

Ref document number: 6125457

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150