JP5912294B2 - テレビ会議装置 - Google Patents
テレビ会議装置 Download PDFInfo
- Publication number
- JP5912294B2 JP5912294B2 JP2011117747A JP2011117747A JP5912294B2 JP 5912294 B2 JP5912294 B2 JP 5912294B2 JP 2011117747 A JP2011117747 A JP 2011117747A JP 2011117747 A JP2011117747 A JP 2011117747A JP 5912294 B2 JP5912294 B2 JP 5912294B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- sound
- video conference
- microphones
- audio signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
- H04R2201/403—Linear arrays of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
- H04R2430/21—Direction finding using differential microphone array [DMA]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/13—Application of wave-field synthesis in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
- Stereophonic System (AREA)
Description
図1は、本発明に係るテレビ会議装置を用いたテレビ会議システムの構成例を示す図である。以下、テレビ会議システムを構成する発話側(符号化側)の装置10と受話側(復号化側)の装置30とに分けて説明するが、本発明に係るテレビ会議装置は双方の装置10,30の機能を持っている。
x′R(m)=w(m)xR(m) (2)
と計算される。このHann窓を用いると、例えば標本点m0(ただし、M/2≦m0<M)の入力信号xL(m0)にはsin2((m0/M)π)が乗算される。そして、その次の回の読み込みではその同じ標本点がm0−M/2として読み込まれるので、
XL(k)=DFT(x′L(n)) 、
XR(k)=DFT(x′R(n)) (3)
I=floor(21.4log10(0.00437fmax+1)) (4)
ただし、floor(a)はフロア関数で、実数aを越えない整数の最大値を表す。
b(i)=24.7(0.00437Fc (i)+1) (6)
よって、その中心周波数から低域側と高域側にそれぞれERB/2の周波数幅だけシフトすることによりi番目の小帯域の両側の境界周波数FL (i)、FU (i)を求めることができる。したがって、i番目の小帯域には、KL (i)番目の線スペクトルからKU (i)番目の線スペクトルが含まれる。ここで、KL (i)、KU (i)はそれぞれ次の数式(7)、(8)で表される。
KL (i)=ceil(21.4log10(0.00437FL (i)+1)) (7)
KU (i)=floor(21.4log10(0.00437FU (i)+1)) (8)
ただし、ceil(a)は天井関数で、実数aより小さくならない整数の最小値を表す。また、離散フーリエ変換した後の線スペクトルは、直流成分すなわち例えばXL(0)を除いて、M/2(ただし、Mは偶数)を境に対称となっている。すなわち、XL(k)とXL(M−k)は0<k<M/2の範囲で複素共役の関係になる。したがって、以下ではKU (i)≦M/2の範囲を分析の対象として考え、k>M/2の範囲については複素共役の関係にある対称の線スペクトルと同じ扱いとする。
xL(m)= s(m)+nL(m)、
xR(m)=αs(m)+nR(m) (13)
と表される。ここで、s(m)は左右の相関信号、nL(m)は左チャネルの音声信号から相関信号s(m)を減算したものであって(左チャネルの)無相関信号として定義できるもの、nR(m)は右チャネルの音声信号から相関信号s(m)を減算したものであって(右チャネルの)無相関信号として定義できるものである。また、αは相関信号の左右音圧バランスの程度を表す正の実数である。
x′L(m)=w(m){ s(m)+nL(m)}= s′(m)+n′L(m)、
x′R(m)=w(m){αs(m)+nR(m)}=αs′(m)+n′R(m)
(14)
XL(k)= S(k)+NL(k)、
XR(k)=αS(k)+NR(k) (15)
XL (i)(k)= S(i)(k)+NL (i)(k)、
XR (i)(k)=α(i)S(i)(k)+NR (i)(k)
ただし、KL (i)≦k≦KU (i) (16)
と表現される。ここで、α(i)はi番目の小帯域におけるαを表す。以後、i番目の小帯域における相関信号S(i)(k)、無相関信号NL (i)(k)、NR (i)(k)をそれぞれ、
S(i)(k)=S(k)、
NL (i)(k)=NL(k)、
NR (i)(k)=NR(k)
ただし、KL (i)≦k≦KU (i) (17)
とおくこととする。
PL (i)=PS (i)+PN (i)、
PR (i)=[α(i)]2PS (i)+PN (i) (18)
と表される。ここで、PS (i)、PN (i)はi番目の小帯域におけるそれぞれ相関信号、無相関信号の電力であり、
est(S(i)(k))=μ1XL (i)(k)+μ2XR (i)(k) (23)
とおくと、推定誤差εは、
ε=est(S(i)(k))−S(i)(k) (24)
と表される。ここで、est(A)はAの推定値を表すものとする。そして二乗誤差ε2が最少になるとき、εとXL (i)(k)、XR (i)(k)はそれぞれ直交するという性質を利用すると、
E[ε・XL (i)(k)]=0 、 E[ε・XR (i)(k)]=0 (25)
という関係が成り立つ。数式(16)、(19)、(21)〜(24)を利用すると、数式(25)から次の連立方程式が導出できる。
(1−μ1−μ2α(i))PS (i)−μ1PN (i)=0
α(i)(1−μ1−μ2α(i))PS (i)−μ2PN (i)=0
(26)
Pest(S) (i)=(μ1+α(i)μ2)2PS (i)+(μ1 2+μ2 2)PN (i) (28)
を満たす必要があるため、この式から推定値を次式のようにスケーリングする。なお、est′(A)はAの推定値をスケーリングしたものを表す。
est(NL (i)(k))=μ3XL (i)(k)+μ4XR (i)(k) (30)
est(NR (i)(k))=μ5XL (i)(k)+μ6XR (i)(k) (31)
とおくことにより、上述の求め方と同様にして、媒介変数μ3〜μ6は、
具体的には後処理部27が、l番目のセグメントの最後の2点による傾きが維持されるような(l+1)番目のセグメントの先頭の値となるよう、(l+1)番目のセグメントの波形に直流成分(バイアス)を加える。その結果、処理後の出力音声信号y″j(m)は、処理前の出力音声信号をy′j(m)として、
y″j(m)=y′j(m)+B (36)
となる。Bはバイアスを表す定数であり、1回前の出力音声信号と今回の処理の出力音声信号が出力バッファで加算された後、図6のグラフ60のように波形が連続するように決定される。
したがって、次式のように、加算するバイアス成分(直流成分)の振幅の大きさを時間的に減少させることにより収束させることが好ましい。なお、「時間的に減少させる」とは、加算時点からの経過時間、例えば処理セグメント毎の開始点や不連続点の開始点からの経過時間に比例して減少させることを意味する。
y″j(m)=y′j(m)+B×((M−mσ)/M) (37)
ただし、σはその減少の程度を調整するパラメータであり、例えば0.5などとする。なお、減少のためにはB,σはいずれも正とする。さらに、加算用に求めたバイアスの値の絶対値がある一定以上となった場合には、その値に応じてσを動的に増減させるなどしてもよい。増減させるタイミングは次の処理セグメントでよい。これに限らず、減少させるための比例定数に相当するσを、バイアス値の絶対値(直流成分の振幅の大きさ)に応じて変更する(変化させる)ようにしておけば、フィードバック機能が働き、同様の効果が得られる。ただ、これらの方法では音声波形の振幅がオーバフローしないことを保障するものではない。
α′(i)=(α(i)−1)/(α(i)+1) (38)
再生する方式に関して、図9で模式的に図示したように2つのスピーカ91L,91Rを用いたステレオ(2ch)再生方式では、スイートスポット92の領域の視聴者に対してのみ、音像方向が正しく聞こえることはよく知られている。この方式では、会議の複数の各参加者に対し、映像と音像方向を一致させることは困難である。
θ′=(θ′0/θ0)θ (42)
これにより、仮想音源の配置による見開き角の差異が考慮され、変換されることになる。ただし、θ′0とθ0の値は、音声データ再生装置のシステム実装時に調整すればよく、またθ′0とθ0の値を等しくしなくても特に問題は生じないため、この例では、θ0=π/6[rad]、θ′0=π/4[rad]として説明する。
g1 2+g2 2=1+[α(i)]2 (44)
となる。ただし、α(i)は、受信したα′(i)を用い、数式(38)の逆の演算を行うことにより求めることができる。
y′j(m)=DFT−1(Yj(k)) (1≦j≦J) (46)
ここで、数式(3)で説明したように、離散フーリエ変換した信号は、窓関数乗算後の信号であったため、逆変換して得られた信号y′j(m)も窓関数が乗算された状態となっている。窓関数は数式(1)に示すような関数であり、読み込みは半セグメント長ずつずらしながら行ったため、前述した通り、1つ前に処理したセグメントの先頭から半セグメント長ずつずらしながら出力バッファに加算していくことにより変換後のデータを得る。
Claims (5)
- 左右の2つのマイクと、該2つのマイクによって収音する対象の空間を撮影するカメラとを発話用に備えるとともに、3つ以上のスピーカが水平方向に並べられたスピーカアレイと、ディスプレイとを受話用に備え、ネットワークを介して他のテレビ会議装置と通信するテレビ会議装置であって、
前記他のテレビ会議装置において2つのマイクで収音された左右2つの音声信号から生成・送信された、モノラル音声信号及び該モノラル音声信号の音像方向を示す音像方向情報を処理する受話側の音声信号処理部を備え、
該受話側の音声信号処理部は、前記音像方向情報が示す音像方向を、前記スピーカアレイを前記他のテレビ会議装置の前記2つのマイクの位置を結ぶ線分と見做したときの音像方向に変換し、前記モノラル音声信号が変換後の音像方向に定位するように、該変換後の音像方向に対応する1つあるいは複数の前記スピーカから前記モノラル音声信号が示す音声を出力させる処理を行い、
前記テレビ会議装置は、前記2つのマイクから入力された左右2つの音声信号を処理して前記音声信号から相関信号を分離し、該相関信号の左右音圧バランスの程度を表す前記音像方向情報を生成・送信する発話側の音声信号処理部を更に備える
ことを特徴とするテレビ会議装置。 - 前記発話側の音声信号処理部は、前記音声信号を前記相関信号と無相関信号とに分離し、前記相関信号及び前記無相関信号にゲインを増加または減少させるスケーリング処理を施し、スケーリング後の前記相関信号及び前記無相関信号を1つの信号となるように足し合わせ、該1つの信号を離散フーリエ逆変換することによって、モノラル音声信号を更に生成する
ことを特徴とする請求項1に記載のテレビ会議装置。 - 前記2つのマイクは、前記ディスプレイの両端に離して設置された無指向性マイクであることを特徴とする請求項1または2に記載のテレビ会議装置。
- 前記2つのマイクは、前記ディスプレイの両端に離して設置された指向性マイクであることを特徴とする請求項1または2に記載のテレビ会議装置。
- 前記2つのマイクは、前記ディスプレイの上部あるいは下部に隣接して設置された指向性マイクであることを特徴とする請求項1または2に記載のテレビ会議装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011117747A JP5912294B2 (ja) | 2011-05-26 | 2011-05-26 | テレビ会議装置 |
PCT/JP2012/062665 WO2012161089A1 (ja) | 2011-05-26 | 2012-05-17 | テレビ会議装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011117747A JP5912294B2 (ja) | 2011-05-26 | 2011-05-26 | テレビ会議装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012248986A JP2012248986A (ja) | 2012-12-13 |
JP5912294B2 true JP5912294B2 (ja) | 2016-04-27 |
Family
ID=47217167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011117747A Expired - Fee Related JP5912294B2 (ja) | 2011-05-26 | 2011-05-26 | テレビ会議装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5912294B2 (ja) |
WO (1) | WO2012161089A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9191516B2 (en) * | 2013-02-20 | 2015-11-17 | Qualcomm Incorporated | Teleconferencing using steganographically-embedded audio data |
JP5780259B2 (ja) * | 2013-03-26 | 2015-09-16 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム |
CN104133654B (zh) * | 2014-07-21 | 2017-12-29 | 联想(北京)有限公司 | 一种电子设备及信息处理方法 |
CN107211192B (zh) * | 2015-01-30 | 2020-11-06 | 夏普株式会社 | 上报信息的方法 |
JP7052792B2 (ja) | 2017-04-26 | 2022-04-12 | ソニーグループ株式会社 | コミュニケーション装置、コミュニケーション方法、プログラム、およびテレプレゼンスシステム |
CN111147792A (zh) * | 2019-12-05 | 2020-05-12 | 商客通尚景科技(上海)股份有限公司 | 补全视频会议记录的方法及设备 |
WO2021243633A1 (en) * | 2020-06-04 | 2021-12-09 | Plantronics, Inc. | Optimal view selection in a teleconferencing system with cascaded cameras |
US20220101855A1 (en) * | 2020-09-30 | 2022-03-31 | Hewlett-Packard Development Company, L.P. | Speech and audio devices |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06189304A (ja) * | 1991-10-07 | 1994-07-08 | Noobasu:Kk | テレビ会議用装置 |
JP2005094271A (ja) * | 2003-09-16 | 2005-04-07 | Nippon Hoso Kyokai <Nhk> | 仮想空間音響再生プログラムおよび仮想空間音響再生装置 |
JP2005341015A (ja) * | 2004-05-25 | 2005-12-08 | Hitachi Hybrid Network Co Ltd | 議事録作成支援機能を有するテレビ会議システム |
JP2009027246A (ja) * | 2007-07-17 | 2009-02-05 | Yamaha Corp | テレビ会議装置 |
US20100284549A1 (en) * | 2008-01-01 | 2010-11-11 | Hyen-O Oh | method and an apparatus for processing an audio signal |
WO2010036059A2 (en) * | 2008-09-25 | 2010-04-01 | Lg Electronics Inc. | A method and an apparatus for processing a signal |
US8718285B2 (en) * | 2009-03-26 | 2014-05-06 | Panasonic Corporation | Decoding device, coding and decoding device, and decoding method |
-
2011
- 2011-05-26 JP JP2011117747A patent/JP5912294B2/ja not_active Expired - Fee Related
-
2012
- 2012-05-17 WO PCT/JP2012/062665 patent/WO2012161089A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2012248986A (ja) | 2012-12-13 |
WO2012161089A1 (ja) | 2012-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5912294B2 (ja) | テレビ会議装置 | |
US9313599B2 (en) | Apparatus and method for multi-channel signal playback | |
CN111316354B (zh) | 目标空间音频参数和相关联的空间音频播放的确定 | |
US9219972B2 (en) | Efficient audio coding having reduced bit rate for ambient signals and decoding using same | |
KR20080078882A (ko) | 입체 오디오 신호 디코딩 | |
KR20130133242A (ko) | 다운믹스기를 이용한 입력 신호 분해 장치 및 방법 | |
Pulkki et al. | First‐Order Directional Audio Coding (DirAC) | |
WO2014046923A1 (en) | Audio coding with gain profile extraction and transmission for speech enhancement at the decoder | |
JP5906312B2 (ja) | スペクトル重みジェネレータを使用する周波数領域処理を用いてステレオ録音を分解するための方法および装置 | |
CN105284133B (zh) | 基于信号下混比进行中心信号缩放和立体声增强的设备和方法 | |
US11838743B2 (en) | Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to DirAC based spatial audio coding using diffuse compensation | |
WO2010125228A1 (en) | Encoding of multiview audio signals | |
JP2015528925A (ja) | オーディオ信号処理装置および方法 | |
WO2009125046A1 (en) | Processing of signals | |
Khaddour et al. | A novel combined system of direction estimation and sound zooming of multiple speakers | |
US9311925B2 (en) | Method, apparatus and computer program for processing multi-channel signals | |
Alexandridis et al. | Directional coding of audio using a circular microphone array | |
RU2782511C1 (ru) | Устройство, способ и компьютерная программа для кодирования, декодирования, обработки сцены и других процедур, связанных с пространственным аудиокодированием на основе dirac с использованием компенсации прямых компонент | |
RU2772423C1 (ru) | Устройство, способ и компьютерная программа для кодирования, декодирования, обработки сцены и других процедур, связанных с пространственным аудиокодированием на основе dirac с использованием генераторов компонент низкого порядка, среднего порядка и высокого порядка |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140319 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150825 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20150909 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150911 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151023 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160401 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5912294 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |