JP5538425B2 - スピーチ取り込み及びスピーチレンダリング - Google Patents

スピーチ取り込み及びスピーチレンダリング Download PDF

Info

Publication number
JP5538425B2
JP5538425B2 JP2011541699A JP2011541699A JP5538425B2 JP 5538425 B2 JP5538425 B2 JP 5538425B2 JP 2011541699 A JP2011541699 A JP 2011541699A JP 2011541699 A JP2011541699 A JP 2011541699A JP 5538425 B2 JP5538425 B2 JP 5538425B2
Authority
JP
Japan
Prior art keywords
speech
signals
circuit
signal
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011541699A
Other languages
English (en)
Other versions
JP2012513701A (ja
Inventor
コルネリス ピー ヤンセ
スタイフェンベルフ レオン シー エイ ファン
ハルム ジェイ ダブリュ ベルト
バハア イー サローク
マーディ トリキ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2012513701A publication Critical patent/JP2012513701A/ja
Application granted granted Critical
Publication of JP5538425B2 publication Critical patent/JP5538425B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、例えばハンズフリーのオーディオ又はオーディオビジュアル会議端末において使用されるスピーチ取り込み方法及び装置に関する。本発明は更に、例えばハンズフリーのオーディオ又はオーディオビジュアル会議端末において使用されるスピーチレンダリング方法及び装置に関する。更に、本発明は、通信システム、及びハンズフリーのオーディオ又はオーディオビジュアル会議端末に関する。
今日の(ハンズフリーの)1対1通信システムにおいて、スピーチの送信は、特に帯域幅制限のため、モノラルの送信チャネルによって実現される。その結果、再生側では、すべてのサウンドが、同じ方向(又は複数のスピーカが使用される場合は同じ複数の方向)から到来し、それゆえ、両耳聴に基づいて音源を区別する人間の能力が、使用されることができない。
結果として、雑音及び/又は競合する話者により汚染されたスピーチを聞くことは、困難であり、低減されたスピーチ了解度及び聴取者の疲労につながる。ハンズフリー電話システムに関するこの理由のため、送信される所望のスピーチ信号は、可能な限り「クリーン」であり、すなわち、それは、所望の直接のスピーチのみを含む。定常雑音の抑制は、ハンズフリー通信においてどうしても必要なものである。付加の処理を有するマイクロフォンアレイビームフォーミングが、スピーチを更に改善するために使用されることができる。しかしながら、既知のシステムは、特にスピーチ(メッセージ)だけでなく一緒にいる感覚も重要である非公式の場面において、通信中の対面感覚を提供しない。
本発明の目的は、一緒にいる感覚を伴う、真に迫った通信を提供することである。
本発明は、独立請求項によって規定される。従属請求項は、有利な実施形態を規定する。
本発明によるスピーチ取り込み装置は、
−複数のサウンド信号を取り込むための複数のマイクロフォンを有する取り込み回路と、
−複数のサウンド信号から、個々の話者に対応する個々のスピーチ信号を各々が導き出す1又は複数の抽出回路と、
−1又は複数の抽出回路によって導き出された1又は複数のスピーチ信号を各々減じられた複数のサウンド信号から、1又は複数のアンビエント信号を導き出す残余抽出回路と、
−1又は複数のスピーチ信号及び1又は複数のアンビエント信号を送信する送信回路と、を有する。
このようにして、1又は複数のスピーチ信号が、取り込み回路によって取り込まれたサウンド信号から抽出されることができる。抽出回路は、話者に対応するスピーチ信号を提供する。このスピーチ信号は、所望の話者の前にある1又は複数のクロストークマイクロフォンによって供給される信号とみなされることができる。残余抽出回路は、アンビエント情報(すなわち、所望の話者がいない状況でサウンド信号に含まれる情報)を含むアンビエント信号を導き出す。これらのスピーチ及びアンビエント信号を別々に送信する場合、レンダリング側は、スピーチ及びアンビエント信号を、空間的にそれぞれ異なるやり方で再生することが可能である。アンビエント信号を再生することによって、「一緒にいる」感覚が生成される。更に、一実施形態において、本発明は、2又はそれ以上のスピーチ信号を、互いに及びアンビエント信号と空間的に異なるように再生することを可能にし、それにより、アンビエント信号の存在にもかかわらず、スピーチ了解度が増大され、リスナーの疲労が低減される。
一実施形態において、スピーチ取り込み装置は更に、話者の1又は複数のロケーションを判定するオーディオビジュアルロケータを有し、各々の抽出回路は、話者の一人一人のロケーションに方向付けられる。オーディオビジュアルロケータを使用する利点は、抽出回路のロバストネスを改善する。話者が、移動していて話していない場合でも、抽出回路は、同じ一人の話者にフォーカスされたままでありうる。このようにして、話者が(再び)話し始めると、抽出回路は、すでにフォーカスされており、第1の語が、高い品質を伴って取り込まれる。そうでない場合、抽出回路は、第1の語の間に、再フォーカスされなければならず、これは、第1の語に関してより低い品質をもたらす。
他の実施形態において、送信回路は更に、話者のロケーションを含む空間的な情報を送信する。(複数の)話者のロケーションに関するこのような空間的な情報は、取り込み側の聴覚的情景を表す。このような空間的な情報により、取り込み側と同じ聴覚的情景をレンダリング側で再現することが可能である。この特性は、特にオーディオがビデオに対応しなければならないオーディオビジュアル会議にとって重要である。例えば、視覚的情景が、左、中央及び右の位置に位置する3人の話者を含む場合、位置情報は、(ほぼ)これらの3つの位置において話者を再生するために、レンダリング側で使用されることができる。
他の実施形態において、各々の抽出回路は、スピーチ信号を導き出すための一般化サイドローブキャンセラを有する。一般化サイドローブキャンセラは、特に適応的なビームフォーミングに適しているビームフォーミングの実現例である。このようなキャンセラにおいて、ビームは、所望の話者にフォーカスされる。
他の実施形態において、各々の抽出回路は更に、スピーチ信号における更なるノイズ低減のためのポストプロセッサ回路を有する。ポストプロセッサは更に雑音を除去し、それにより、送信回路によって送信されるスピーチ信号における雑音はより少なくなる。これは、所望の話者がよりよく区別されることができ、レンダリング側で任意の所望のロケーションに所望の話者を位置付けるために生成されるより多くの自由度がある、という利点をもつ。
他の実施形態において、残余抽出回路は更に、1又は複数の抽出回路によって導き出されたスピーチ信号を各々減じられた複数のサウンド信号から、1又は複数のアンビエント信号を導き出すマルチチャネル適応フィルタを有する。マルチチャネル適応フィルタは、サウンド信号に含まれるスピーチ信号を評価する。これらのスピーチ信号は、サウンド信号から減算され、こうしてアンビエント信号を提供する。
他の実施形態において、マルチチャネル適応フィルタは、参照信号として、マイクロフォンのうちの1つによって取り込まれたサウンド信号を入力するように結合される。このようにして、1つのアンビエント信号は、相対的に低い複雑さで生成される。
本発明の別の見地により、スピーチレンダリング装置は、
−1又は複数のスピーチ信号及び1又は複数のアンビエント信号を受信する受信回路であって、各スピーチ信号はそれぞれ異なる話者に対応する、受信回路と、
−スピーチ信号がアンビエント信号と異なる方向から来るように知覚されるように、1又は複数のスピーチ信号及び1又は複数のアンビエント信号を空間的に再生するレンダリング回路と、
を有する。レンダリング側でアンビエント信号を再生することによって、「一緒にいる」感覚が生成される。2又はそれ以上のスピーチ信号が、互いに及びアンビエント信号と空間的に異なって再生される実施形態において、スピーチ了解度は、アンビエント信号の存在にもかかわらず維持され又は増大されさえする。
一実施形態において、レンダリング回路は、スピーチ信号の2又はそれ以上を、それらスピーチ信号が相互に異なる方向から来るように知覚されるように、空間的に再生する。スピーチ信号を空間的に異なって再生することによって、レンダリング側の聴取者がそれぞれ異なる話者を区別すること、及び話者が同時に話す場合に話者の一人に集中することが、一層容易になる。これは、聴取者のより少ない疲労及び改善されたスピーチ了解度につながる。
他の実施形態において、受信回路は更に、話者のロケーションに関する空間的な情報を受信し、レンダリング回路は、スピーチ信号が空間的な情報によって表されるロケーションから来るように知覚されるように、スピーチ信号を空間的に再生する。このようにして、レンダリング側において、取り込み側と同じ聴覚的情景が生成されることができ、これは、特にサウンド及びビデオが揃えられるべきであるオーディオビジュアル通信システムにとって重要である。
他の実施形態において、スピーチ信号が知覚される方向は、話者を視覚化したものにおける話者のロケーションに揃えられる。この実施形態において、同じ話者に対応するオーディオ対象及びビデオ対象は、1つのオーディオビジュアル対象として知覚され、これは、聴取者にとって自然に知覚され、スピーチがビデオ対象の方向と別の方向から来る場合に生じる疲労を低減する。
他の実施形態において、1又は複数のアンビエント信号の振幅が低減される。このようにして、聴取者は、自分の環境においてレンダリングを制御することができ、レンダリングを、自分の環境に生じている他のアンビエント信号に適応させることができる。
本発明の別の見地により、スピーチ信号を通信する通信システム、及びハンズフリーのオーディオ又はオーディオビジュアル会議端末が提供される。
本発明のこれらの及び他の見地、特徴及び利点は、以下に記述される(複数の)実施形態から明らかであり、それらを参照して説明される。
本発明によるスピーチ取り込み装置の実施形態を示す図。 オーディオビジュアルロケータを有するスピーチ取り込み装置の実施形態を示す図。 ポストプロセッサ回路を有する抽出回路の実施形態を示す図。 抽出回路がポストプロセッサ回路を有するスピーチ取り込み装置の実施形態を示す図。 アンビエント信号を導き出すためのマルチチャネル適応フィルタを有する残余抽出回路の実施形態を示す図。 本発明によるスピーチレンダリング装置の実施形態を示す図。 本発明によるスピーチ取り込み装置及びスピーチレンダリング装置を有する、スピーチ信号を通信する通信システムの例を示す図。
図1は、本発明によるスピーチ取り込み装置100の一実施形態を示す。スピーチ取り込み装置100は、ハンズフリーのオーディオ又はオーディオビジュアル会議端末において使用されることができる。ハンズフリーのオーディオ又はオーディオビジュアル会議端末は、2つの異なるロケーション、例えば部屋、に位置する話者が互いに通信する1対1の通信アプリケーションを実現するために使用される。ロケーションにおける話者の数は、1人から複数の話者までさまざまでありうる。部屋の中の話者のロケーションもまた変化しうる。
装置100は、複数のサウンド信号111、112...116を取り込むための取り込み回路110を有する。取り込み回路110は、複数のマイクロフォン101、102...106を有する。これらのマイクロフォンは、好適には、マイクロフォンのアレイの形で構成される。6つのマイクロフォンのみがこの例において示されているが、マイクロフォンの数はこの数に限定されない。
スピーチ取り込み装置100は更に、1又は複数の抽出回路121、122...124を有する。抽出回路の各々は、話者のうちの一人に対応する。この例において、抽出回路121は、第1の話者に対応し、抽出回路122は、第2の話者に対応する等である。抽出回路の各々は、それぞれ異なる話者に対応する。抽出回路の各々は、当該話者に対応するスピーチ信号を導き出し、例において、それは信号151、152又は154の1つである。信号151は、例において、第1の話者に対応し、信号152は、第2の話者に対応する等である。スピーチ信号151乃至154の各々は、取り込み回路110によって取り込まれるような複数のサウンド信号101、102...106から導き出される。スピーチ取り込み装置100は更に、複数のサウンド信号から1又は複数のアンビエント信号131を導き出すための残余抽出回路130を有する。アンビエント信号は、サウンド信号から導き出される信号束160として示される、スピーチ信号を補完するものを表す。言い換えると、アンビエント信号は、1又は複数の抽出回路によって導き出されたスピーチ信号151、152...154を減じられたサウンド信号から導き出される(スピーチ信号が、サウンド信号から減算される)。
スピーチ取り込み装置100は、1又は複数のスピーチ信号151、152...154及び1又は複数のアンビエント信号131を送信する送信回路150を更に有する。送信回路150は、スピーチ信号及びアンビエント信号を単一の出力信号181にマージし、出力信号181は、スピーチレンダリング装置500に送信される。当業者であれば、マージが、例えば連結又は多重化の知られている方法によって行われることができることが明らかである。
図2は、オーディオビジュアルロケータ140を有するスピーチ取り込み装置100の一実施形態を示す。オーディオビジュアルロケータ140は、1又は複数の話者のロケーションを検出する。話者のロケーションに関する情報は、抽出回路を特定の話者のロケーションに方向付けるために、抽出回路に供給される。オーディオビジュアルロケータは、さまざまなやり方で実現されることができる。オーディオビジュアルロケータの知られている例は、例えば米国特許第6850265B1号公報又はN. Strobel, S. Spors, and R. Rabenstein, Joint audio-video object localization and tracking, IEEE Signal Processing Magazine, vol. 18, no. 1, pp. 22-31, Jan. 2001である。空間的な情報は、米国特許第6850265B1号公報に記載されるような角度、又はN. Strobel, S. Spors, and R. Rabenstein, Joint audio-video object localization and tracking, IEEE Signal Processing Magazine, vol. 18, no. 1, pp. 22-31, Jan. 2001に記載されるような位置を含むことができる。
図2に表されるスピーチ取り込み装置100は、オーディオビジュアルロケータ140によって拡張された図1の装置である。例において、第1の話者141のロケーションに関する情報は、抽出回路121に供給され、第2の話者142のロケーションに関する情報は、抽出回路122に供給される。2人の話者のみがいるように、2つの抽出回路のみが図2に示されているが、より多くの抽出回路が使用されることができる。抽出回路の数は、話者の数と一致する。送信回路150は、話者のロケーションに関する情報をも送信するように変更される。これは、スピーチレンダリング装置500が、スピーチ信号151、152をレンダリングする際に話者141、142のロケーションに関する情報を使用することを可能にする。
一実施形態において、抽出回路121又は122は、ビームフォーマ回路を含む。ビームフォーマ回路の例の1つは、国際公開第2005/050618号又は国際公開第2005/106841号パンフレットに記載されるような一般化サイドローブキャンセラである。一般化サイドローブキャンセラは、米国特許第7146012号に開示されるように、例えばフィルタードサムビームフォーマを含むことができ、その後に、例えば米国特許第7058185号明細書に開示されるようなマルチチャネルノイズキャンセラが続く。
図3は、例えば米国特許第6546099号明細書に記述されるようなポストプロセッサ回路220を有する抽出回路121の実施形態を示す。サウンド信号111乃至116は、一般化サイドローブキャンセラ210に供給され、一般化サイドローブキャンセラ210は、その出力部にスピーチ信号151を供給する。このスピーチ信号151は、残余抽出回路130への入力として提供される。スピーチ信号151は、ポストプロセッサ220にも供給され、ポストプロセッサ220は、スピーチ信号151の更なるノイズ低減を実施する。それゆえ、ポストプロセッサ220は、その出力部に、スピーチ信号151よりクリーンである他のスピーチ信号161を生成する。ポストプロセッサ回路220は、送信回線150による送信のために他のスピーチ信号161を供給し、他のスピーチ信号161は、図1及び図2に示されるようなスピーチ信号151と置き換わる。
図4は、スピーチ取り込み装置100の一実施形態を示し、抽出回路121、122乃至124は、ポストプロセッサ回路220を有する。抽出回路121乃至124の各々は、2つの出力部を有し、第1の出力部には、例えば回路121に関するスピーチ信号151であるスピーチ信号が供給され、第2の出力部には、例えば回路121に関するスピーチ信号161である他のスピーチ信号が供給される。信号161、162...164は、信号151、152...154に代わって、送信回路に供給される。
図1及び図2と比較して、残余抽出回路130は、ただ1つの出力信号131Aをもつ。残余抽出回路は2つのステージを有する。第1のステージでは、入力サウンド信号(信号11、112...116の1つ)の各々について、スピーチ信号151、152...154が減算される。その結果、抽出回路によって抽出されたスピーチ信号に関連するスピーチ成分のいずれも含まない変更されたサウンド信号が、取得される。どんな信号が、残余抽出回路130の出力部に供給されるべきかについてさまざまなオプションがある。例えば、変更されたサウンド信号が、回路130の出力部にそのまま供給されることができる。別の例は、すべての変更されたサウンド信号にわたる平均信号が、回路130の出力部に供給されることができるものである。別の代替例は、回路130の出力部に供給される変更されたサウンド信号のうちの1つを選択することである。更に他の代替例が、図5に記述されている。
図5は、アンビエント信号131Aを導き出すための、米国特許第7058185号明細書に記載されるようなマルチチャネル適応フィルタを有する残余抽出回路130の実施形態を示す。この特定の実施形態において、マルチチャネル適応フィルタは、簡潔さの目的で、2チャネルである。しかしながら、マルチチャネル適応フィルタは、4チャネルであってもよく、その場合、各チャネルは、抽出回路121乃至124の1つに対応する。
図5の実施形態において、マイクロフォン101によって取り込まれるサウンド信号111が、参照信号として選ばれる。スピーチ信号151及び152は、それぞれ2つの適応フィルタ310及び320に供給される。適応フィルタ310及び320フィルタは、入力信号151及び152をそれぞれフィルタし、ここで、適応フィルタ310及び320は、残余信号131Aによって制御される。残余信号131Aは、サウンド信号111と適応フィルタ310及び320の出力信号との間の差を計算する減算回路400によって供給される。適応フィルタ310及び320は、残余信号131Aのエネルギーが最小にされるようなやり方で、それらの係数を調整する。フィルタの適応化のために、S. Haykin, Adaptive Filter Theory, Englewood Cliffs (NJ, USA): Prentice-Hall, 1986, ISBN 0-13-004052-5 025に記載されるような正規化最小二乗平均(NLM)フィルタが使用されることができる。代替の形態は、米国特許第7058185号明細書に記載されるような周波数ドメイン適応フィルタを使用することである。残余信号131Aは、回路130の出力信号でもある。
図6は、本発明によるスピーチレンダリング装置500の実施形態を示す。スピーチレンダリング装置500は、
−1又は複数のスピーチ信号151乃至154及び1又は複数のアンビエント信号(信号束)131を受信する受信回路510であって、各スピーチ信号はそれぞれ異なる話者に対応する、受信回路510と、
−1又は複数のスピーチ信号が1又は複数のアンビエント信号と異なる方向から来るように知覚されるように、1又は複数のスピーチ信号151乃至154及び1又は複数のアンビエント信号(信号束)131を空間的に再生するレンダリング回路520と、
を有する。
受信回路510は、入力信号181から、スピーチ信号151乃至154及びアンビエント信号131を抽出する。受信回路510は、送信回路150において実施される動作を逆にするよく知られた動作を機能的に実施する。受信回路510は、スピーチ信号及びアンビエント信号を入力信号181から抽出する。当業者であれば、抽出が、例えば連結解除又は逆多重化の知られている方法によって行われることができることが明らかである。
任意には、話者の位置に関する空間的な情報171が、入力信号181中に存在する場合、それは、受信回路510によって抽出され、レンダリング回路520に供給される。
レンダリング回路520は、再生回路530にスピーチ信号及びアンビエント信号をマップする。再生回路は、スピーカを含みうる。例において、再生回路530は、5.1構造の5つのスピーカ531乃至535を有する。スピーカ532は、中央チャネル信号を再生し、スピーカ533は、右前方チャネル信号を再生し、スピーカ531は、左前方チャネル信号を再生し、スピーカ535は、右後方チャネル信号を再生し、スピーカ534は、左後方チャネル信号を再生する。2人の話者のみが存在する場合、第1の話者のスピーチ信号151は、スピーカ531によって再生されることができ、第2の話者のスピーチ信号152は、スピーカ532によって再生されることができる。アンビエント信号は、スピーカ535及び534によって再生されることができる。複数のスピーチ信号の場合、これらの信号は、スピーチ信号がそれぞれ異なる方向から来るように知覚される錯覚を与えるために、前方スピーカ531、532及び533によって再生されることができる。この知覚効果は、振幅パニング、時間遅延パニング及び波動場合成技法のようなさまざまなやり方で達成されることができる。
代替として、スピーカに代わって、ヘッドホンが使用されることができる。そのような場合、HRTF(Chapter 13 "3D Audio and Virtual Acoustical Environment Synthesis" by Jiashu Chen in the book Acoustical Signal Processing For Telecommunication by Steven L. Gay and Jakob Benesty (Editors) Kluwer Academic Publishers: 2000 ISBN 0-7923-7814-8)が、仮想空間でスピーチ信号及びアンビエント信号を再生するために使用されることができる。
他の実施形態において、受信回路510は更に、話者のロケーションに関する空間的な情報171を受信し、レンダリング回路520は、スピーチ信号151乃至154が空間的な情報171によって表されるロケーションから来るように知覚されるように、スピーチ信号を空間的に再生する。これは、例えば振幅パニングを使用して行われる。振幅パニングによって、話者が2つのスピーカ位置の間に位置するように知覚されるように、スピーチ信号を仮想的に位置付けることが可能である。
他の実施形態において、スピーチ信号が知覚される方向は、話者を視覚化したものにおける話者のロケーションに揃えられる。
他の実施形態において、1又は複数のアンビエント信号の振幅が低減される。
図7は、本発明によるスピーチ取り込み装置100及びスピーチレンダリング装置500を有する、スピーチ信号を通信する通信システムの例を示す。
通信は、2つの端末700及び800を有する。これらの端末の各々は、スピーチ取り込み装置100及びスピーチレンダリング装置500を有する。これらの端末は、2つの異なるロケーション、例えば部屋、に位置する話者が互いに通信する1対1の通信アプリケーションを有する。端末800に含まれるスピーチ取り込み装置100は、端末700に含まれるレンダリング装置500に送信されるスピーチ信号及びアンビエント信号を含む出力信号181Aを生成する。それぞれ、端末700に含まれるスピーチ取り込み装置100は、端末800に含まれるレンダリング装置500に送信されるスピーチ信号及びアンビエント信号を含む出力信号181Bを生成する。
本発明は、幾つかの実施形態に関連して記述されているが、本明細書に記述される特定の形態に限定されることは意図されない。むしろ、本発明の範囲は、添付の請求項によってのみ制限される。更に、特徴は、特定の実施形態に関して記述されているようにみえうるが、当業者であれば、記述された実施形態のさまざまな特徴が、本発明に従って組み合わせられることができることが分かるであろう。請求項において、有する、含む、という語は、他の構成要素又はステップの存在を除外しない。
更に、複数の回路、構成要素又は方法ステップは、個別に列挙されているが、例えば単一のユニット又はプロセッサによって実現されることができる。更に、個別の特徴が、それぞれ異なる請求項に含まれることができるが、これらは、有利に組み合わせられることが可能であり、それぞれ異なる請求項における包含は、特徴の組み合わせが実現可能でなく及び/又は有利でないことを示さない。更に、請求項の1つのカテゴリにおける特徴の包含は、このカテゴリへの限定を意味するものではなく、特徴が他の請求項のカテゴリに等しく適用可能であることを示す。更に、単数形の言及は、複数性を除外しない。「a」、「an」、「first」、「second」等の語は、複数性を除外しない。請求項における参照符号は、単に例示を明確にするものとして与えられており、いかなる形であれ請求項の範囲を制限するものとして解釈されるべきでない。本発明は、幾つかの個別の構成要素を含むハードウェアの回路によって、及び適切にプログラムされたコンピュータ又は他のプログラム可能な装置の回路によって、実現されることができる。

Claims (8)

  1. 1又は複数のサウンド信号からそれぞれ抽出された1又は複数のスピーチ信号と前記1又は複数のサウンド信号からそれぞれ抽出された1又は複数のアンビエント信号を受信する受信回路であって、各スピーチ信号がそれぞれ異なる話者に対応する、受信回路と、
    前記1又は複数のスピーチ信号が前記1又は複数のアンビエント信号と異なる方向から来るように知覚されるように、前記1又は複数のスピーチ信号及び前記1又は複数のアンビエント信号を空間的に再生するレンダリング回路と、
    を有するスピーチレンダリング装置。
  2. 前記レンダリング回路は、スピーチ信号の2又はそれ以上が互いに異なる方向から来るように知覚されるように、該スピーチ信号を空間的に再生する、請求項に記載のスピーチレンダリング装置。
  3. 前記受信回路は、前記話者のロケーションに関する空間的な情報を更に受信し、前記レンダリング回路は、前記スピーチ信号が空間的な情報によって表されるロケーションから来るように知覚されるように、前記スピーチ信号を空間的に再生する、請求項に記載のスピーチレンダリング装置。
  4. 前記スピーチレンダリング装置は、前記スピーチ信号が知覚される方向を、前記話者を視覚化したものにおける前記話者のロケーションに揃えるように構成される、請求項に記載のスピーチレンダリング装置。
  5. 前記スピーチレンダリング装置は、前記1又は複数のアンビエント信号の振幅を低下させる、請求項に記載のスピーチレンダリング装置。
  6. スピーチ信号を通信する通信システムであって、
    ピーチ取り込み装置と、
    請求項乃至のいずれか1項に記載のスピーチレンダリング装置とを有し
    前記スピーチ取り込み装置は、
    複数のサウンド信号を取り込むための複数のマイクロフォンを有する取り込み回路と、
    前記複数のサウンド信号から、個々の話者に対応する個々のスピーチ信号を各々が導き出す1又は複数の抽出回路と、
    前記1又は複数の抽出回路によって導き出された前記1又は複数のスピーチ信号を各々減じられた前記複数のサウンド信号から、1又は複数のアンビエント信号を導き出す残余抽出回路と、
    前記1又は複数のスピーチ信号及び前記1又は複数のアンビエント信号を送信する送信回路と、
    を有する通信システム。
  7. ハンズフリーのオーディオ又はオーディオビジュアル会議端末であって、
    ピーチ取り込み装置と、
    請求項乃至のいずれか1項に記載のスピーチレンダリング装置とを有し
    前記スピーチ取り込み装置は、
    複数のサウンド信号を取り込むための複数のマイクロフォンを有する取り込み回路と、
    前記複数のサウンド信号から、個々の話者に対応する個々のスピーチ信号を各々が導き出す1又は複数の抽出回路と、
    前記1又は複数の抽出回路によって導き出された前記1又は複数のスピーチ信号を各々減じられた前記複数のサウンド信号から、1又は複数のアンビエント信号を導き出す残余抽出回路と、
    前記1又は複数のスピーチ信号及び前記1又は複数のアンビエント信号を送信する送信回路と、
    を有する端末。
  8. 装置により、1又は複数のサウンド信号からそれぞれ抽出された1又は複数のスピーチ信号と前記1又は複数のサウンド信号からそれぞれ抽出された1又は複数のアンビエント信号を受信するステップであって、各スピーチ信号はそれぞれ異なる話者に対応する、ステップと、
    装置により、前記1又は複数のスピーチ信号が前記1又は複数のアンビエント信号と異なる方向から来るように知覚されるように、前記1又は複数のスピーチ信号及び前記1又は複数のアンビエント信号を空間的に再生するステップと、
    を含む、スピーチレンダリング方法。
JP2011541699A 2008-12-23 2009-12-17 スピーチ取り込み及びスピーチレンダリング Active JP5538425B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP08172683.8 2008-12-23
EP08172683 2008-12-23
PCT/IB2009/055803 WO2010073193A1 (en) 2008-12-23 2009-12-17 Speech capturing and speech rendering

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014092257A Division JP5859600B2 (ja) 2008-12-23 2014-04-28 スピーチ取り込み及びスピーチレンダリング

Publications (2)

Publication Number Publication Date
JP2012513701A JP2012513701A (ja) 2012-06-14
JP5538425B2 true JP5538425B2 (ja) 2014-07-02

Family

ID=41728204

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2011541699A Active JP5538425B2 (ja) 2008-12-23 2009-12-17 スピーチ取り込み及びスピーチレンダリング
JP2014092257A Active JP5859600B2 (ja) 2008-12-23 2014-04-28 スピーチ取り込み及びスピーチレンダリング

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2014092257A Active JP5859600B2 (ja) 2008-12-23 2014-04-28 スピーチ取り込み及びスピーチレンダリング

Country Status (6)

Country Link
US (1) US8781818B2 (ja)
EP (1) EP2382799A1 (ja)
JP (2) JP5538425B2 (ja)
KR (1) KR101648203B1 (ja)
CN (1) CN102265643B (ja)
WO (1) WO2010073193A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140278380A1 (en) * 2013-03-14 2014-09-18 Dolby Laboratories Licensing Corporation Spectral and Spatial Modification of Noise Captured During Teleconferencing
CA2908654C (en) 2013-04-10 2019-08-13 Nokia Technologies Oy Audio recording and playback apparatus
CN108235192B (zh) * 2013-04-10 2021-10-15 诺基亚技术有限公司 音频记录和回放装置
EP3251116A4 (en) * 2015-01-30 2018-07-25 DTS, Inc. System and method for capturing, encoding, distributing, and decoding immersive audio
GB2540175A (en) * 2015-07-08 2017-01-11 Nokia Technologies Oy Spatial audio processing apparatus
EP3534596B1 (en) * 2018-03-02 2022-10-26 Nokia Technologies Oy An apparatus and associated methods for telecommunications
EP3870991A4 (en) 2018-10-24 2022-08-17 Otto Engineering Inc. DIRECTIONAL AUDIO COMMUNICATION SYSTEM
GB201818959D0 (en) 2018-11-21 2019-01-09 Nokia Technologies Oy Ambience audio representation and associated rendering
GB2586126A (en) * 2019-08-02 2021-02-10 Nokia Technologies Oy MASA with embedded near-far stereo for mobile devices
US11750745B2 (en) 2020-11-18 2023-09-05 Kelly Properties, Llc Processing and distribution of audio signals in a multi-party conferencing environment
GB2622386A (en) * 2022-09-14 2024-03-20 Nokia Technologies Oy Apparatus, methods and computer programs for spatial processing audio scenes
EP4443901A1 (en) * 2023-04-06 2024-10-09 Koninklijke Philips N.V. Generation of an audio stereo signal

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69738288T2 (de) 1996-05-31 2008-09-25 Koninklijke Philips Electronics N.V. Einrichtung zur unterdrückung einer störenden komponente eines eingangssignals
US5991385A (en) * 1997-07-16 1999-11-23 International Business Machines Corporation Enhanced audio teleconferencing with sound field effect
JP4216364B2 (ja) * 1997-08-29 2009-01-28 株式会社東芝 音声符号化/復号化方法および音声信号の成分分離方法
US7146012B1 (en) 1997-11-22 2006-12-05 Koninklijke Philips Electronics N.V. Audio processing arrangement with multiple sources
JPH11308591A (ja) * 1998-04-21 1999-11-05 Fujitsu Ltd 情報通信システム
US6122611A (en) 1998-05-11 2000-09-19 Conexant Systems, Inc. Adding noise during LPC coded voice activity periods to improve the quality of coded speech coexisting with background noise
US6327567B1 (en) * 1999-02-10 2001-12-04 Telefonaktiebolaget L M Ericsson (Publ) Method and system for providing spatialized audio in conference calls
US6782361B1 (en) 1999-06-18 2004-08-24 Mcgill University Method and apparatus for providing background acoustic noise during a discontinued/reduced rate transmission mode of a voice transmission system
JP2001069597A (ja) * 1999-06-22 2001-03-16 Yamaha Corp 音声処理方法及び装置
WO2001001571A1 (en) 1999-06-24 2001-01-04 Koninklijke Philips Electronics N.V. Acoustic echo and noise cancellation
EP1139337A1 (en) 2000-03-31 2001-10-04 Telefonaktiebolaget L M Ericsson (Publ) A method of transmitting voice information and an electronic communications device for transmission of voice information
US6850265B1 (en) 2000-04-13 2005-02-01 Koninklijke Philips Electronics N.V. Method and apparatus for tracking moving objects using combined video and audio information in video conferencing and other applications
US6850496B1 (en) * 2000-06-09 2005-02-01 Cisco Technology, Inc. Virtual conference room for voice conferencing
US7206421B1 (en) 2000-07-14 2007-04-17 Gn Resound North America Corporation Hearing system beamformer
US6937295B2 (en) 2001-05-07 2005-08-30 Junaid Islam Realistic replication of a live performance at remote locations
US7668317B2 (en) 2001-05-30 2010-02-23 Sony Corporation Audio post processing in DVD, DTV and other audio visual products
AUPR647501A0 (en) * 2001-07-19 2001-08-09 Vast Audio Pty Ltd Recording a three dimensional auditory scene and reproducing it for the individual listener
FI114129B (fi) 2001-09-28 2004-08-13 Nokia Corp Konferenssipuhelujärjestely
FI112016B (fi) 2001-12-20 2003-10-15 Nokia Corp Konferenssipuhelujärjestely
US6812956B2 (en) * 2001-12-21 2004-11-02 Applied Minds, Inc. Method and apparatus for selection of signals in a teleconference
US7391877B1 (en) * 2003-03-31 2008-06-24 United States Of America As Represented By The Secretary Of The Air Force Spatial processor for enhanced performance in multi-talker speech displays
US7343289B2 (en) * 2003-06-25 2008-03-11 Microsoft Corp. System and method for audio/video speaker detection
US7190775B2 (en) * 2003-10-29 2007-03-13 Broadcom Corporation High quality audio conferencing with adaptive beamforming
KR20060113714A (ko) * 2003-11-24 2006-11-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 비상관된 잡음에 대해 내성을 갖는 적응형 빔포머
JP5313496B2 (ja) 2004-04-28 2013-10-09 コーニンクレッカ フィリップス エヌ ヴェ 適応ビームフォーマ、サイドローブキャンセラ、ハンズフリー通話装置
US7464029B2 (en) * 2005-07-22 2008-12-09 Qualcomm Incorporated Robust separation of speech signals in a noisy environment
WO2007028250A2 (en) * 2005-09-09 2007-03-15 Mcmaster University Method and device for binaural signal enhancement
US20070109977A1 (en) * 2005-11-14 2007-05-17 Udar Mittal Method and apparatus for improving listener differentiation of talkers during a conference call
WO2007058130A1 (ja) * 2005-11-15 2007-05-24 Yamaha Corporation 遠隔会議装置及び放収音装置
US8180067B2 (en) * 2006-04-28 2012-05-15 Harman International Industries, Incorporated System for selectively extracting components of an audio input signal
US9088855B2 (en) * 2006-05-17 2015-07-21 Creative Technology Ltd Vector-space methods for primary-ambient decomposition of stereo audio signals
DE102006048295B4 (de) * 2006-10-12 2008-06-12 Andreas Max Pavel Verfahren und Vorrichtung zur Aufnahme, Übertragung und Wiedergabe von Schallereignissen für Kommunikationsanwendungen
DE102006050068B4 (de) * 2006-10-24 2010-11-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Umgebungssignals aus einem Audiosignal, Vorrichtung und Verfahren zum Ableiten eines Mehrkanal-Audiosignals aus einem Audiosignal und Computerprogramm
US8559646B2 (en) 2006-12-14 2013-10-15 William G. Gardner Spatial audio teleconferencing
US7792674B2 (en) * 2007-03-30 2010-09-07 Smith Micro Software, Inc. System and method for providing virtual spatial sound with an audio visual player
JP2010538571A (ja) * 2007-09-06 2010-12-09 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
US8175291B2 (en) * 2007-12-19 2012-05-08 Qualcomm Incorporated Systems, methods, and apparatus for multi-microphone based speech enhancement
WO2010040408A1 (en) * 2008-10-09 2010-04-15 Telefonaktiebolaget L M Ericsson (Publ) A common scene based conference system

Also Published As

Publication number Publication date
US20110264450A1 (en) 2011-10-27
WO2010073193A1 (en) 2010-07-01
KR101648203B1 (ko) 2016-08-12
CN102265643A (zh) 2011-11-30
KR20110099750A (ko) 2011-09-08
US8781818B2 (en) 2014-07-15
JP2012513701A (ja) 2012-06-14
JP5859600B2 (ja) 2016-02-10
JP2014180008A (ja) 2014-09-25
EP2382799A1 (en) 2011-11-02
CN102265643B (zh) 2014-11-19

Similar Documents

Publication Publication Date Title
JP5859600B2 (ja) スピーチ取り込み及びスピーチレンダリング
US6931123B1 (en) Echo cancellation
CA2153171C (en) Sound localization system for teleconferencing using self-steering microphone arrays
US8073125B2 (en) Spatial audio conferencing
US9113034B2 (en) Method and apparatus for processing audio in video communication
JP5177820B2 (ja) 強調された主観的ステレオオーディオのためのシステムと方法
JP6092151B2 (ja) 空間的に信号を強調する補聴器
US20100215164A1 (en) Methods and arrangements for group sound telecommunication
KR20170100582A (ko) 카메라 선택에 기초한 오디오 처리
KR101885718B1 (ko) 가상 서라운드 렌더링을 위한 스피커 어레이
JP2005223713A (ja) 音響再生装置、音響再生方法
US20220345845A1 (en) Method, Systems and Apparatus for Hybrid Near/Far Virtualization for Enhanced Consumer Surround Sound
EA013670B1 (ru) Способ и устройство для приема, передачи и воспроизведения звуковых событий для приложений связи
WO2019156891A1 (en) Virtual localization of sound
JP6972858B2 (ja) 音響処理装置、プログラム及び方法
WO2017211448A1 (en) Method for generating a two-channel signal from a single-channel signal of a sound source
Beracoechea et al. On building immersive audio applications using robust adaptive beamforming and joint audio-video source localization
Aoki et al. Audio teleconferencing system with sound localization effect
Chen et al. Enhancing stereophonic teleconferencing with microphone arrays through sound field warping
KR20060081966A (ko) 원격회의를 위한 음상 정위 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140401

R150 Certificate of patent or registration of utility model

Ref document number: 5538425

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140428

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250