JP5559282B2 - 超音波式ビーコンを用いた、複数装置間での異なる音声クロックの補償 - Google Patents

超音波式ビーコンを用いた、複数装置間での異なる音声クロックの補償 Download PDF

Info

Publication number
JP5559282B2
JP5559282B2 JP2012236885A JP2012236885A JP5559282B2 JP 5559282 B2 JP5559282 B2 JP 5559282B2 JP 2012236885 A JP2012236885 A JP 2012236885A JP 2012236885 A JP2012236885 A JP 2012236885A JP 5559282 B2 JP5559282 B2 JP 5559282B2
Authority
JP
Japan
Prior art keywords
frequency
microphone
audio
unit
speaker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012236885A
Other languages
English (en)
Other versions
JP2013102428A (ja
Inventor
エル.チュー ピーター
リウ イボ
Original Assignee
ポリコム,インク.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ポリコム,インク. filed Critical ポリコム,インク.
Publication of JP2013102428A publication Critical patent/JP2013102428A/ja
Application granted granted Critical
Publication of JP5559282B2 publication Critical patent/JP5559282B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

この発明は、超音波式ビーコンを用いた、複数の機器の間の異なる音声クロックの補償に関する
ビデオ会議ユニットは複雑な装置であり、複雑な操作機能を要する。従って、ビデオ会議の供給者(vendor)は、複数のユニットを操作するための専用の遠隔制御とメニューとを作成するが、それら専用の遠隔制御とメニューは、覚えることも使用することも難しかった。このことは、ユニットが多数の機能的能力を持つ場合に、とりわけ当て嵌まる。
また、ビデオ会議における良質なマイク(マイクロフォン)のピックアップは、マイクからわずか3フィートの位置に居るよう、参加者に要求する。従って、ビデオ会議の供給者は、或る会議室内で複数の参加者に接近して卓上に配置される用途に専用の複数のマイクを提供する。マイクが有線の場合には、大抵その線が障害物となる。解決策としては、ビデオ会議のために無線マイク(ワイヤレスマイク)を利用できる。しかし、無線マイクは、頻繁に使用される場合には、繰り返し再充電せねばならず、不便だった。
本開示の発明は、上述した1以上の問題を解決、又は、少なくとも上述した1以上の問題の影響を軽減することに関する。
会議システムにおいて、参加者は、携帯機器を、会議(conferencing)ユニットの周辺機器として使用する。会議の間、例えば、携帯機器は無線接続において会議ユニットに音声(audio:オーディオ、音響)を通信する一方、その会議ユニットは、会議接続において遠端と通信する。これらの接続の中に配置された前記システムにより、各参加者は、彼又は彼女の携帯機器上のマイクを、個人用のマイクとして使用できる。このマイクは典型的には参加者の3フィート以内の位置にあるだろう。また、参加者は、会議ユニットの態様(aspect;アスペクト)を制御するために、会議中、彼らの携帯機器上で動作するアプリケーションを使用できる。
前述の通り、或る会議に携帯機器を使用できる、その会議は単に音声会議(audio conference)であり得る。別の例として、その会議は、ビデオと音声を伴うビデオ会議であり得る。ビデオを伴う場合、携帯機器は、音声に加えて又は音声の替わりに、ビデオを随意に通信できる。その場合には、会議ユニットは、ビデオと音声の両方を扱うことができるビデオ会議ユニットであり得る。従って、本開示の教示は、正しく理解されれば、音声会議及びビデオ会議に適用できる。開示された内容は音声会議にも同様に適用するものと理解されるべきであるが、しかし、本開示中では、ビデオ会議について言及される。
ビデオ会議を行うために、例えば、ビデオ会議ユニットは、携帯機器のマイクを用いて取得した近端音声を、無線接続経由で受信する。ビデオ会議ユニットは、また、例えば卓上設置型マイク、ポッド(pod)など、そのユニット自身のマイクから音声を受信する。それと同時に、ビデオ会議ユニットは、1以上のカメラから、近端ビデオを受信する。実施形態に拠っては前記1以上のカメラはビデオ会議ユニットにのみ属するが、携帯機器上のカメラからのビデオもまた使用できる。その場合、ビデオ会議ユニットは、近端音声及びビデオを、ビデオ会議接続経由で遠端に通信する。
ビデオ会議が行われているとき、多数の参加者が発言し、そして、ユニットは、どの近端音声源(更に任意で近端ビデオ源)が遠端に出力するものであるかを切り替える。例えば、携帯機器を持っている参加者が発言する場合、ユニットは、その携帯機器のマイクを用いて取得した近端音声を出力できる。前記携帯機器からの音声を選択しているとき、ユニットは、その携帯機器のカメラを用いて取得したビデオも出力できる。
様々なマイクがユニットに音声を送信しているであろうから、該ユニットは、好ましくは、最も大きい音量レベルを持つマイクに関連付けられた近端の音声を選択する。そのマイクは、携帯機器のマイクでもよいしユニットのマイクでもよい。音声が最も大きい音量レベルを持っているのであるから、その音声は会議中の現在の話者に関係しているものと期待できる。
ビデオ会議ユニットが遠端と通信するより前に、1人の参加者は、前記ユニットからは独立した(ユニットに依存しない)彼又は彼女の携帯機器を使用して前記遠端とのビデオ会議接続を確立することにより、ビデオ会議を開始できる。この初期処理配列(initial arrangement)において、携帯機器は、当該携帯機器のディスプレイとスピーカを用いて出力するために、遠端ビデオ及び音声を遠端から受信する。また、携帯機器は、同様に、当該携帯機器のカメラ及びマイクで取得した近端ビデオ及び音声を遠端に送信できる。
その後、携帯機器の参加者は、遠端とのビデオ会議接続を、当該携帯機器からビデオ会議ユニットに転送できる。その転送の後に、前記ビデオ会議ユニットは、遠端ビデオ及び音声を遠端から受信すること、該遠端ビデオを当該ユニットのディスプレイに送信すること、並びに、該遠端音声を当該ユニットのスピーカに送信することを、引き継ぐことができる。更に、ビデオ会議ユニットは、依然として、状況に応じて、近端において音声を取り込むために携帯機器のマイクを使用でき、且つ、ビデオを取り込むために携帯機器のカメラを使用できる。
携帯機器は、ビデオ会議を開始するのではなく、ユニットによって行われている既存のビデオ会議に参加することもできる。好ましくは、前記携帯機器は、ユニットのスピーカにより出力される音波(acoustic)又は超音波(ultrasonic)ビーコンを用いて符号化されたIPアドレスを取得することにより、ユニットと自動的にペアリングする。携帯機器は、復号(デコード)されたIPアドレスを使用して、ビデオ会議用の音声及びビデオを送信するためのユニットの周辺機器として無線接続を確立する。
ユニット、遠端音声を遠端から受信して、それをスピーカに出力するとき、出力した音声は、携帯機器のマイクロフォンと音響結合するであろう。これに対処するために、ユニットのエコーキャンセラ(反響除去器)は、携帯機器のマイクロフォンで取得された近端の音声に存在するスピーカからの出力音声を除去する。
内部的には、携帯機器のマイクは、第1クロックで作動するアナログ‐デジタル変換器を使用する一方、ユニットのスピーカは、第2クロックで作動するデジタル‐アナログ変換器を使用する。従って、これら2つのクロックは異なる周波数で作動しているかもしれず、それはエコーキャンセラの効力を減少する。これらクロックのミスマッチを処理するために、ユニット及び/又は携帯機器のクロック補償部は、それらクロックの間の周波数差を補償する。
上述の概要は、可能性のある各実施例又は本発明のすべての態様をまとめることを意図するものではない。
本発明に従うビデオ会議システムを説明する図。
本発明のシステムで使用する携帯機器を説明する図。
携帯機器用のビデオ会議インタフェースを示す図。
携帯機器がビデオ会議を開始する場合に、図1のシステムを用いてビデオ会議を行う手順を説明するフローチャート。
携帯機器が進行中のビデオ会議に参加する場合に、図1のシステムを用いてビデオ会議を行う手順を説明するフローチャート。
ビデオ会議ユニットのためのエコーキャンセラと、前記システムのビデオ会議ユニット及びシステム用のクロックとを模式的に説明する図。
A.ビデオ会議システム
図1に示された本発明に従うビデオ会議システム10は、音声(audio)インタフェース120に結合されたスピーカ122を持つビデオ会議ユニット100を有する。典型的には、ビデオ会議ユニット100は、1以上のマイク124、1つのマイクロフォンポッド(microphone pod)、複数の天井マイク(ceiling microphones)、1つのマイクロフォンアレイ(microphone array)、又は、音声を取り込むために音声インタフェース122に結合されたその他の音響装置を使用できるが、本システム10においては、かかる音響装置は任意であってよい。ビデオ会議システム10はまた、ビデオインタフェース142に結合された1つのディスプレイ142及び1以上のカメラ144を有する。例えば、システム10は2つのカメラ144を有し得る。それらカメラ144の1つはビデオ会議環境の広角像を取り込むためのもの、もう1つは参加者の狭角像を取り込むためのものである。
本明細書では、ビデオ会議で使用されるシステム10について言及しているが、本開示の教示は、ビデオの無い音声会議にも同様に適用できる。それにもかかわらず、説明の都合上、ビデオ会議について言及を続ける。
内部的には、ユニット100は、音声コーデック112(codec;符号器/復号器)及びビデオコーデック114を持つ処理ユニット110を有する。音声コーデック112及びビデオコーデック114はそれぞれ音声インタフェース120ビデオインタフェース140に結合され、ビデオ会議用の音声及びビデオを符号化及び復号するためのものである。また、ユニット100は、近端ユニット100と遠端ユニット30との間で音声及びビデオを通信するために、コーデック112及び114に結合されたネットワークインタフェース130を有する。
携帯機器50は一般的な器具になっているため、或るビデオ会議の最中に、参加者の多くは、彼ら自身の使用可能な携帯機器50を持っているだろう。ユーザは携帯機器50を使用することで快適であるし、ビデオ会議ユニット100は、本明細書で開示される通り、その携帯機器50をビデオ会議の周辺機器として使用できる。
一般に、携帯機器50は、例示に限定されないが、周辺機器、携帯電話、スマートフォン、タブレット型PC、タッチスクリーン式PC、PDA(携帯情報端末)、ハンドヘルド式コンピュータ、ネットブックコンピュータ、ラップトップコンピュータなどを含む利用可能な多数の装置のいずれも含み得る。加えて、後述する通り、携帯機器50は、カメラ、ディスプレイ及びマイクを作動し、且つ、Wi−Fiネットワークやインターネットなどのネットワークに接続する処理能力及び機能を有し得る。
一般に、ネットワークインタフェース130は、イーサネット(登録商標)接続、無線接続、インターネット接続、POTS接続(Plain Old Telephone Service;アナログ電話回線サービス)、若しくは、その他のビデオ会議に適宜した接続、又は、それらの組み合わせ経由で、遠端ユニット30に接続できる。ネットワークインタフェース130の一部として又はそれとは分離して、ユニット100は、周辺機器インタフェース150を具備する。この周辺機器インタフェース150は、ビデオ会議ユニット100が例えば携帯機器50などローカル周辺機器と通信できるようにするものである。この例では、ネットワークインタフェース130は、ユニット100を、ローカルエリアネットワーク(LAN)132のローカルイントラネットに接続する。このLAN132は、例えばインターネットなどワイドエリアネットワーク(WAN)136に接続する。LAN132は、無線ローカルエリアネットワーク(WLAN)、ワイファイ(Wi−Fi;Wireless Fidelity)ネットワーク、パーソナルエリアネットワーク(PAN)(例えばBluetooth;ブルートゥース(登録商標))、又は、携帯機器50に接続するための同種の無線ネットワーク134を有してよい。従って、複数の参加者は、彼らの携帯機器50を無線ネットワーク134を用いてLAN132に接続でき、携帯機器50とビデオ会議ユニット100との間での転送は、無線ネットワーク134及びLAN132を使用できる。
多くの実例(instances)において、携帯機器50は、高品質のマイクロフォン74を有し得、ユニット100は、機器のマイク74を、ビデオ会議のマイクとして使用できる。このように、個々の参加者は、個人用ビデオ会議マイクとして、彼ら自身の携帯機器のマイク74を使用できる。そして、各参加者に対する各マイク74の距離の近さが、高品質な音声収録をビデオ会議に提供するだろう。加えて、携帯機器50は、高品質のカメラ84を備えており、ユニット100は、携帯機器のカメラ84を、参加者の近接位置にある個人用ビデオ会議のカメラとして使用できる。
B.携帯機器
携帯機器50をより詳細に説明する。図2は、本発明に係るシステム10で使用する携帯機器50の一例を模式的に説明する図である。携帯機器50は、音声に関しては、音声インタフェース70に結合されたスピーカ72及びマイクロフォン74を有しており、一方、ビデオに関しては、携帯機器50は、ビデオ用ビデオインタフェース80に結合されたディスプレイ82及びカメラ84を有する。内部的には、携帯機器50は、音声コーデック62及びビデオコーデック64を持つ処理ユニット60を有する。この音声コーデック62及びビデオコーデック64はそれぞれ音声インタフェース70及びビデオインタフェース80に結合され、音声及びビデオを符号化及び復号するものである。更に、携帯機器50は、近端ユニット(100)及び遠端ユニット(30)と音声及びビデオ通信するために、コーデック70及び80に結合されたネットワークインタフェース90を有する。
接続の1種類において、例えば、携帯機器50が携帯電話通信に利用できる場合、ネットワークインタフェース90は典型的な携帯電話ネットワーク92に接続できる。別の種類の接続において、ネットワークインタフェース90は、無線ネットワーク134経由でLAN132に接続でき、それゆえ携帯機器がビデオ会議ユニット(100)又は遠端(30)と通信できる。当業者にとっては、携帯機器50とビデオ会議ユニット(100)の間で通信するために、その他のどのような種類の接続も使用し得ることが理解できるだろう。また、携帯機器50とビデオ会議ユニット(100)と遠端(30)との間で通信を確立することには、個々のプロトコル、アプリケーション、アカウント、及び、接続を可能にするために予め準備されるその他の詳細を必要とするということを、当業者は理解するだろうから、ここではそれらの詳細の説明を省略する。
C.ユーザインタフェース
ビデオ会議ユニット(100)、及び、そのユニットの機能を随意に制御すること、と関連(合同・連絡)して動作するために、携帯機器の処理ユニット60は、ユーザインタフェースを持つビデオ会議アプリケーション66を有する。ビデオ会議アプリケーション66は、動作したとき、ユーザが携帯機器50をビデオ会議システム(10)の周辺機器として使用できるようにするものである。図3は、携帯機器のアプリケーション(66)用のビデオ会議インタフェースの一例を示す。参加者は、携帯機器のインタフェース67を、ビデオ会議システム(10)内で操作するために使用できる。
図3の例に示す通り、ユーザインタフェース67は、アプリケーション(66)で利用可能な多数のユーザインタフェースアイテムを有する。これらアイテムはユーザにより個別に設定できるが、それらのいくつかは初期設定により自動的に動作してよい。これらアイテムは、以下の例示に限定されないが、ビデオ会議を始めること、ビデオ会議を終えること、ビデオ会議に参加すること、ビデオ会議にコンテンツを送信すること、ビデオ会議のためにマイクロフォン74及び/又はカメラ84を使用すること、携帯機器50からユニット100にビデオ会議を転送すること、並びに、追加的機能を実行することを含む。追加的機能の1つにおいて、例えば、参加者は、会議内で質問をするために待機し、そして、それが許可されたときにスピーカをアクティブにする要望を示すことができる。その他のいくつかの追加的機能は、例えば、スピーカの音量を制御すること、カメラを動かすこと、ディスプレイオプションを変更することなど、従来のビデオ会議ユニットのリモート制御で利用可能な典型的機能と同様である。
ユーザインタフェースのいくつかの一般的説明を以下に述べる。例えば、「ビデオ会議を始めること」を選択することにより、本明細書で開示される通り、ビデオ会議を開始するために携帯機器50を使用し得る。「現在のビデオ会議に参加すること」を選択することにより、携帯機器50は、現在ビデオ会議を行っているビデオ会議ユニット100の周辺機器になることができる。「携帯機器のマイクロフォン、カメラ又はディスプレイを使用すること」を選択することにより、ユーザは、携帯機器50がビデオ会議ユニット100の周辺機器としてどのように使用されるかを設定できる。
また、「コンテンツを送信すること」を選択することにより、ユーザインタフェースは、ビデオ会議に取り込むために、参加者がコンテンツを携帯機器50からビデオ会議ユニット100に送信できるようにする。コンテンツは、携帯機器50に存在するビデオ、画像、ドキュメント、プレゼンテーションなどを含み得る。従って、この処理配列(arrangement)において、携帯機器50は、ユニット100に対するコンテンツ又はプレゼンテーション装置としてふるまうことができ、且つ、コンテンツを生成するためのビデオプレーヤー、画像アプリケーション、ドキュメントアプリケーション、プレゼンテーションアプリケーションなどを有し、機器50がネットワーク接続を通じてコンテンツをユニット100に送信できるようになっている。
D.ビデオ会議処理
ビデオ会議システム10、ビデオ会議ユニット100及び携帯機器50の理解を得るために、次に、ビデオ会議の間に、どのように携帯機器50がビデオ会議ユニット100で使用されるかについて説明する。上記に短く示唆したとおり、参加者は携帯機器50を用いて或るビデオ会議を開始でき、その後、そのビデオ会議をビデオ会議ユニット100に転送できる。図4Aは、携帯機器50がビデオ会議を始めた場合に、図1のシステム10(言及が同時になされているもの)を用いてビデオ会議を行うための処理200を説明する。
ビデオ会議を開始するために、或る参加者は、携帯機器50及びビデオ会議アプリケーション66を使って遠端30に接続する(ブロック202)。種々のネットワークのどれでも、ビデオ会議を確立するために使用され得る。例えば、携帯機器50は、Wi−Fiネットワーク134経由でLAN132に接続し、それからWAN(すなわちインターネット)136に接続できる。携帯機器50が携帯電話機能を持つ場合には、ビデオ会議は、従来から知られるように携帯電話接続を用いて確立され得る。
遠端30に接続されると(ブロック204)、携帯機器50は、自身のディスプレイ82及びスピーカ72とを用いて当該携帯機器50上で出力するために、遠端ビデオ及び音声を受信し且つ提示する(ブロック206)。この時点で、携帯機器に備わるカメラ84及びマイク74は、ビデオ会議の一部として、ビデオ及び音声を遠端30に転送できる(ブロック208)。
参加者は、所望したとき、ビデオ会議を近端ビデオ会議ユニット100に転送することを選択する(ブロック210)。ビデオ会議を転送するために、例えば、参加者は携帯機器の会議アプリケーション(66)上のインタフェースアイテムを選択することにより転送を開始する。携帯機器50は、ビデオ会議接続詳細をビデオ会議ユニット100に転送し、それに応じて、ビデオ会議ユニット100は、遠端30とのユニット自身のビデオ会議接続を確立する。
例えば、携帯機器50の会議アプリケーション66は、ユーザインタフェース(67)上で参加者に選択せるために、「転送」ボタンを有し得る(図3参照)。転送が選択されたとき、ユーザインタフェース(67)は、IPアドレス又はその他の遠端30の識別子を参加者に入力させる多数の入力画面を有し、ビデオ会議ユニット100が接続を確立できるようになっている。例えば、パスワード、接続情報、参加者タグなどといった、その他の詳細事項もまた、ユーザインタフェース(67)に入力され得る。
転送が完了し且つ認証されると、携帯機器50は、自身と遠端30との接続を無効にし、ビデオ会議ユニット100とのローカル接続のみをビデオ会議に使用するようになる。この時点で、ユニット100は、当該ユニット100で可能となるより高品質な処理を用いた遠端ビデオ及び音声の提示を始める(ブロック212)。
会議が進行すると、近端ビデオ処理は、携帯機器のカメラ84からユニットのより高品質な1以上のカメラ144に切り替わり、音声処理もまた、携帯機器のマイク74からユニットのマイク124に切り替わる(ブロック214)。ユニットの1以上のカメラ144は、ビデオ会議中に音声源にカメラを向けるための周知技術を用いて発言中の参加者の位置を決定するために、ユニットのマイク124(より具体的にはマイクロフォンアレイ(図示外))を使用できる。なお、依然として、携帯機器50は、ネットワーク(例えばWi−Fi及びLAN)経由でビデオ会議ユニット100と通信可能にペアリングされたままであり、したがって、携帯機器50は、指定された場合には、ビデオ及び音声処理に使用され得る。言い換えれば、携帯機器のマイク74は依然としてビデオ会議音声を取得するために使用でき、また、携帯機器のカメラ72は依然としてビデオ会議のビデオを取得するために使用できる。
しかしながら、ビデオ会議の始まりにおいては、音声及びビデオ処理は、図4Aに示す通り、ビデオ会議ユニット100により行われる。ユニット100が音声を処理しているとき、携帯機器のスピーカ72はビデオ会議中に音声を出力しないようにミュートされるか、或いは、単に、携帯機器50は、ローカルネットワーク接続経由でユニット100から出力用の音声を受信しない。
会議中のどこかの時点で、ペアリングされた携帯機器50を持つ参加者が発言し、そして、ユニット100及び/又は携帯機器50は、携帯機器50のマイク74からの音声が取得されているかどうかをモニタする(判断216)。一実施形態において、ペアリングされた携帯機器50は、自身のマイク74を用いて音声を取得して、ペアリングされた携帯機器50を持つ当該参加者が発言しているかどうかに関係なく、自身にペアリングされたネットワーク接続内のこの音声をビデオ会議ユニット100に転送する。そして、ビデオ会議100は、マイク74が参加者による有効な発声を取り込んでいるかどうかを判断する。別の例としては、ペアリングされた機器50は、自身のマイク74を用いて音声を取得するが、当該携帯機器50が有効な発声があるものと判断しない限り、ユニット100に音声を送信しない。
どのイベントにおいても、機器の音声がない場合(どの機器50も音声用に自身のマイク74を使用していない場合、又は、どの有効な機器のマイク74も音声を取り込んでいない場合のいずれでも)(NOの判断216)、ユニット100は、音声取り込み用に自身のマイク124の使用を継続する(ブロック226)。これに続いて、ユニット100は、参加者が発言していない場合は携帯機器50からのビデオ取り込みに切り替える必要がないであろうから、ビデオ取り込み用に自身のカメラ122の使用を継続する(ブロック228)。
自身のマイク74を音声取り込みに使用している携帯機器50の1つは、しかしながら会議中のどこかの時点で、参加者からの音声を取得する。そして、ユニット100は、以下に詳細に述べる通り、この音声をビデオ会議に使用する(YESの判断216)。音声の使用において、ビデオ会議ユニットの音声コーデック112は、マイクの音声を会議音声として符号化し、そして、その携帯機器50からの会議音声を遠端30に送信する。複数の携帯機器のマイク74(及びことによればユニットのマイク124)が同時に音声を取り込んでいる場合、ユニット100は、最も音量の大きい入力を有するマイク74又は124を選択し(ブロック218)、そして、その機器の音声をビデオ会議音声用に使用する(ブロック220)。この比較は、ユニット100が音声入力源を誤って選択することを、予防するだろう。多数ある技術のいずれでも、入力音声の音響エネルギーを決定し、且つ、最も強い入力音声を見つけるためにそれらを比較することのために、使用できる。
参加者の幾人かが携帯機器50を持っていない場合、ユニット100は、そのユニットに存在するマイク124(利用できるならば)から、又は、最も近在の携帯機器のマイクロフォン74(最も音量が大きいと推定されるもの)から会議音声を取得できる。結局のところ、ユニット100は、何人の参加者が存在しているのか、及び、幾人が音声を取り込んでいる携帯機器50を持っているのかについて知る必要があるとは限らないが、このことは役に立ち得るだろうし、手動又は自動で決定し得る。ユニット100は、最も大きな音量で取り込まれた入力用音声を持つマイク(携帯機器のマイク74の1つにせよ、或るいは、ユニットに備わるマイク124にせよ)を単に選択するだけでよい。
音声を使用されている携帯機器50は、ビデオ会議用のビデオを取り込むために利用可能なカメラ84もまた有しているだろう。そして、ユニット100は、その携帯機器50のカメラ84が、当該ビデオ会議用に発言している参加者のビデオを取り込めるかどうかを判断する(判断222)。利用できない場合(カメラ84がない場合、又は、カメラが有効になっていない場合のいずれでも)、ユニット100は、会議ビデオ用に、自身のカメラ122の使用を継続する(ブロック228)。そうでない場合には、ユニット100は、ビデオ会議用に、携帯機器50のカメラ84からのビデオを使用する(ブロック224)。
処理200のいずれの時点でも、参加者は、ビデオ会議に組み込むために、携帯機器50からビデオ会議ユニット100にコンテンツを送信することを選択できる(ブロック225)。上述した通り、コンテンツは、携帯機器50上に存在するビデオ、画像、ドキュメント、プレゼンテーションなどを含み、携帯機器50は、コンテンツを、ネットワーク接続(例えば無線ネットワーク134からLAN132)を通じてユニット100に送信できる。そして、ユニット100は、ビデオ会議の一部として、コンテンツを遠端に送信されるデータに組み込むことができる。
携帯機器50の能力及び関係するコンテンツの種類に応じて、コンテンツは、データストリームとして、又は、データファイルとして、ユニット100に送信され得る。また、コンテンツ又はプレゼンテーション機器として動作する携帯機器50は、周辺機器として動作(すなわち、音声及び/又はビデオを取り込み、機器50からユニットに送信すること)できてもよいし、又は、できなくてもよく、このことも、上記と同様に機器50の処理能力に応じるだろう。それでも、携帯機器50は、ビデオ会議中の任意の時点において、参加者によって設定された通りに、1以上の音声、ビデオ及びコンテンツをユニットに送信できるように構成され得る。
現在の処理配列(処理ループ)は状況が同じである限り継続する(判断230)。どこかの時点で、音声(及び随意でビデオ)を配信している携帯機器50を持つ参加者が発言を止めるか、その参加者がユニット100との50のペア接続を無効にするか、その参加者が機器50とともに部屋を退出するか、又は、その他何らかの変化が行われてよい。そうすると、ユニット100は、その処理配列(処理ループ)を止めて、携帯機器50からの又はビデオ会議ユニット100からの音声及びビデオを使用するかどうかを判断すること(判断216)に戻る。
上述のシナリオは、どのようにして携帯機器50が遠端30とのビデオ会議を開始し、そして、そのビデオ会議をビデオ会議ユニット100に転送するかを説明した。別のシナリオにおいては、ビデオ会議ユニット100は、ビデオ会議を開始でき、そして、従来通りのマイク124及びユニットのカメラ144を用いて取得した音声及びビデオを提示し始め得る。その場合、ビデオ会議の間に、携帯機器50を持つ参加者は、ビデオ会議に参加するために、ビデオ会議ユニット100に接続又はペアリングできる。
携帯機器50がユニット100とペアリングすると、参加者は、例えば、携帯機器のディスプレイ82を用いたビデオ会議の表示、スピーカ72又はヘッドフォン出力を用いたビデオ会議音声の再生、ビデオ会議の開始及び停止など、種々の機能のいずれかを実行するために、ユーザインタフェースアプリケーション66を使用できる。より具体的には、ペアリングされた携帯機器50は、本明細書で詳細に説明される通り、ビデオ会議の間、マイク及び任意のビデオ周辺機器として使用され得る。
そのため、図4Bは、携帯機器50が或るビデオ会議の最中にビデオ会議ユニット100の周辺機器としてビデオ会議に参加するための処理250を示す。ビデオ会議ユニット100がビデオ会議を行っているので、図4Bの処理250においてはじめに、ビデオ会議ユニット100は、周囲環境(すなわち会議室、講義ホールなど)に、自身のIPアドレスを符号化した音波又は超音波ビーコンを繰り返し送信する(ブロック252)。会議アプリケーション(66)を動作している携帯機器50を持つ、室内の或る参加者は、ユニット100により行われているビデオ会議に参加することを選択でき、該携帯機器のアプリケーション(66)は、前記音波又は超音波ビーコンに基づいてIPアドレスを復号する(ブロック2554)。復号されたIPアドレスと無線ネットワーク(134)とLAN(132)とを用いて、携帯機器50は、ユニット100にビデオ会議に参加するための応答を送信する(ブロック256)。そして、携帯機器50とユニット100とは、それらの間で通信を開始するためにハンドシェイク(handshake;接続)を交わし、携帯機器50がユニット100とペアリングされ得る(ブロック258)。
ビデオ会議が継続しているとき、近端ユニット100は、遠端音声及びビデオを提示し(ブロック260)、且つ、ユニットのカメラ144からの近端ビデオ及びユニットのマイク124からの音声を取得する(ブロック262)。なお、適切な場合には、音声を取り込んでいる携帯機器のマイク74を、ビデオ会議用に使用でき、また、ビデオを取り込んでいる携帯機器のカメラ84を、ビデオ会議用に使用できる。
この先は、処理は、前述の図4Aの処理配列と同様に継続できる。携帯機器50のいずれも最も大きい音量レベルを持つ音声を取り込まない限り、ユニット100は、遠端30への送信用に自身のマイク124とカメラ144とを使用し続ける(ブロック276‐278)。
どこかの時点で、例えば、音声取り込みに自身のマイク74を使用している機器50の1つは、参加者からの音声を取得し、そして、ユニット100は、以下に詳細に述べる通り、この音声をビデオ会議用に使用する(YESの判断266)。複数の機器のマイク74及び124が音声を取得している場合は、ユニット100は、最も音量の大きい入力を持つマイク74及び124を選択し(ブロック268)、そして、その音声を遠端30に送信することにより、その機器の音声をビデオ会議に使用する(ブロック270)。
音声用に使用された携帯機器50がビデオ会議用のビデオの取り込みに利用可能なカメラを具備している場合は、ユニット100は、機器のカメラ82がビデオ会議用のビデオを取り込めるかどうかを、判断する(判断278)。利用できない場合、ユニット100は、自身のカメラ122の使用を継続する(ブロック278)。利用できる場合、ユニット100は、ビデオ会議用に、その機器のカメラ82から送られたビデオを受け入れる(ブロック274)。また、処理250中のいずれの時点においても、参加者は、前述と同様なやり方で、ビデオ会議に組み込むために、ビデオ会議ユニット100に携帯機器50からコンテンツを送信することを決定できる。
現在の処理配列(処理ループ)は状況が同じである限り継続する(判断280)。どこかの時点で、音声(及び任意でビデオも)を配信している携帯機器50の参加者は発言を止める。そして、ユニット100は、ユニット100は、別の携帯機器50又はビデオ会議ユニット100を用いて音声及びビデオが取り込まれるべきかどうかを判断すること(判断266)に戻る。
前述の処理220、250において、携帯機器50からのビデオを出力するかどうかの選択は、ビデオ会議用の入力音声を取得するために使用されているかどうかに依存していた。言い換えれば、携帯機器50が音声用に選択されていない場合は、その携帯機器50は、前述の処理220、250においては、ビデオ取得用に使用されることはなかった。ビデオのみ取得し音声を取得していない携帯機器50が音声取得無しでビデオ会議用のビデオ取得のために使用できるように、更に別の処理配列が利用され得る。
E.自動ペアリング
前述の通り、携帯機器50は、音波又は超音波ペアリングを用いて、自動的にビデオ会議ユニット100と接続又はペアリングでき、それにより携帯機器50とビデオ会議ユニット100とはネットワーク接続を通じて互いに通信できる。ペアリングを開始するために、ビデオ会議ユニット100は、自身のスピーカ122を用いて、自身のIPアドレスを符号化した音波又は超音波ビーコンを伝送し、そして、このIPアドレスはローカルイントラネットにおける当該ユニットのアドレスになり得る。
音波又は超音波ビーコンは、好ましくは可聴帯域を越える周波数であるが、通常のスピーカ及びマイク部品が有効な信号応答を持ちうる程度には低い周波数であることが好ましい。従って、前記周波数は20kHzよりも高いのが好ましい。容認できる周波数の1例は、21kHzである。この周波数は、人間の可聴範囲よりも上であるため、ビデオ会議内には聞こえてこない。加えて、ビーコンは、出力に際して故意に低音量にされる。なお、ビーコンは、その他のどのような周波数でもよく、且つ、超音波帯域である必要はない。
ビーコンによるIPアドレス及びその他任意の関連する情報の転送は、好ましくは、約21kHzの搬送信号を用いた周波数変調の音声周波数偏移変調(AFSK:Audio Frequency Shift Keying)形式を用いる、上述の通り、マイク74を有し、且つ、周辺機器会議アプリケーション(66)を実行している携帯機器50は、ビーコンを検出し、AFSK変調に基づいてIPアドレスを復号し、ネットワーク接続経由でビデオ会議ユニット100に応答を送信し、そして、携帯機器50とユニット100との2つの装置は、ハンドシェイク(handshake;接続)を共有して、携帯機器50がビデオ会議において使用できるようになる。
携帯機器50が部屋を離れたとき又は参加者によって能動的に切断されたとき、ペアリングは自動的に切断され得る。携帯機器50は、別の部屋に入出したとき、別のビデオ会議に自動的に接続され得る。ブルートゥース(Bluetooth)(登録商標)技術と異なり、音波又は超音波ビーコンは、ビデオ会議ユニット100の環境(部屋)により制限されるので、携帯機器50とユニット100との誤ったペアリングに起因する、或るビルディング内における別々のビデオ会議ユニット間の交差干渉の見込みが少なくなる。従って、超音波ペアリングにより、ユニット100は、携帯機器50が或るビルディング中のどこかに存在しているということではなく、当該ユニット100と同じ環境にあるということを明確に特定できるようになる。
ユニット100が自身のIPアドレスを符号化した音波又は超音波ビーコンを送信するとして説明したが、携帯機器50のそれぞれが、それと同じことをできる。従って、ペアリングを前述とは逆向きにする処理配列では、ユニット100は、携帯機器50から送信された音波又は超音波ビーコンを検出し、該携帯機器50のIPアドレスを復号し、該復号されたIPアドレスに基づいて携帯機器50とのネットワーク接続を確立する。更に、複数の携帯機器50は、超音波ビーコン内に符号化された、それら自身のIPアドレスを用いて、互いにペアリングできる。
更に、前述の通り、携帯機器50が音波又は超音波ビーコンを送信したとき、ビデオ会議ユニット100は、ビデオ会議環境における携帯機器50の位置を特定するために、自身のマイク124(具体的にはマイクアレイ)を使用できる。これにより、ユニットの1以上のカメラ144は、参加者が発言したときに、その声を発している携帯機器50を持つ参加者に対して、その視界を、より容易に向けることができる。このことは、発言している参加者がユニットのマイク124又はアレイから離れており、音声源の位置を確認するための従来の技術が制限されてしまう場合に、特に有用である。結、携帯機器50が、音波又は超音波ビーコン送信機として動作できるので、ビデオ会議システム10は、"超音波カメラ追跡システム及び関連する方法"と題された米国特許出願公開US2008/0095401 A1号に開示されたシステムと同様な方法で動作でき
F.エコー除去(エコーキャンセレーション)
上述の通り、携帯機器のマイク74は、音声を取り込んで、それを、遠端30に送信するために、ネットワークインタフェース90、無線ネットワーク134及びLAN132を通じてビデオ会議ユニット100に転送できる。それと同時に、ビデオ会議の間、ビデオ会議ユニットのスピーカ122は、ビデオ会議環境用に、近端にて音声を出力する。携帯機器のマイク74とユニットのスピーカ122とが同じ環境下にあるため、携帯機器のマイク74がスピーカ122により出力された音声を直接取り込むと、音響結合が生じてしまう。周知の通り、この音響結合は、ユニット100により遠端30に転送される“エコー”を引き起こし、遠端30では、遅れて戻ってきた自身の音声が聞こえるだろう。従って、ビデオ会議システム10は、好ましくは、ビデオ会議中に現れるどんな音響結合による有害な影響も減少するよう試みる。
そのため、説明は図5に進む。図示し且つ前述したとおり、ビデオ会議ユニット100は、ネットワークインタフェース130経由で遠端30から出力音声を受信し、そして、音声コーデックのデコーダ112aは、ユニットのスピーカ122から出力するために、該出力音声を復号する。音声を出力するために、デジタル‐アナログ変換器119は、クロック118に基づくサンプリングレート変換を使用し、そして、デジタル出力をアナログ出力に変換し、それをスピーカ122が環境中に出力する。
それに続いて、携帯機器のマイク74は、前記環境中の音声を取り込む。音声の取り込みにおいて、携帯機器のアナログ‐デジタル変換器69は、クロック68に基づくサンプリングレート変換を使用し、そして、アナログ入力をデジタル入力に変換する。マイク74により取り込まれた音声のいくつかは、スピーカ122により音響的に結合されているだろう。それにもかかわらず、携帯機器50は、ネットワーク接続(例えばWi−Fiネットワーク、LANなど)経由で、ビデオ会議ユニット100に、取り込まれた音声を通信する。そして、ユニットの音声コーダ(符号化器)122bは、遠端30に送信するために、入力音声を符号化する。仮に音声がそのまま残されるならば、スピーカ122からマイク74への何れの音響結合された音声も、ネットワークインタフェース130経由で遠端30に"エコー"として送信されてしまうだろう。

音響結合と、その結果生じる“エコー”とに対処するために、ビデオ会議ユニット100は、エコーキャンセラ(反響除去器)115を有する。周知のエコー除去技術のいずれかを用いて、エコーキャンセラ115は、マイク74からの入力音声をスピーカ122への出力音声と比較し、そして、取り込まれた入力音声にスピーカ122とマイク74との間の音響結合経由で含まれていたスピーカ122からの出力音声を取り除くことを試みる。エコーキャンセラ115は、適切に機能しているときには、遠端30が“エコー”を検出する見込みを減少できる。
たいていの実例において、携帯機器のマイク74用のアナログ‐デジタル(A/D)変換クロック68は、ユニットのスピーカ122のデジタル‐アナログ(D/A)変換クロック118と周波数においてマッチ(match;一致)しない。ミスマッチな(mismatched;不一致な)クロック68とクロック118は、音響エコー除去の不十分な性能という結果をもたらす。適切なエコー除去を行うために、例えば、スピーカのD/A変換クロック118とマイクのA/D変換クロック68は、小さなバラツキ内(例えば百万分の1(PPM)より少ないなど)の同等の周波数である必要がある。しかし、個別の装置にあって、スピーカとマイクとのクロック68,118は、物理的に別個の水晶振動子により制御されており、それらの周波数は100PPM又はそれ以上離れているだろう。
G.クロック補償
ミスマッチなクロック68及びクロック118に対処するために、システム10は、ユニット100のクロック補償器160及び/又は携帯機器50のクロック補償器170を使用して、ユニット100のエコーキャンセラ115が、ユニットのスピーカ122と携帯機器のマイク74の間の音響結合により引き起こされたエコーをより効果的に除去できるようにする。これを行うために、クロック補償器160,170は、クロック差を補償して、ユニット100のエコーキャンセラ115の性能を向上する。
一実施形態において、ビデオ会議ユニット100上のクロック補償器160は、エコー除去を援助する。特に、クロック補償器160は、遠端音声(ユニットのスピーカ122から出力されるもの)の推定エコーと近端音声(携帯機器のマイク74から入力されるもの)とを相互に関連付ける。相互関連付けした結果を用いて、クロック補償器160は、遠端30に送信されるべき音声のエコー除去分析に使用されるサンプリングレート変換係数を調整する。この処理配列において、推定エコーを用いるクロック補償器160は、携帯機器50に影響を及ぼすことなく、クロック68とクロック118の差異を補償できる。
別の実施形態において、携帯機器50上のクロック補償器170は、クロック68とクロック118の差異を決定することにより、エコー除去を援助する。この場合、前記決定された差異は、携帯機器50のマイク74のサンプリングレート変換係数を調整することにより、若しくは、ユニットのエコーキャンラー115又はユニットのスピーカ122用のサンプリングレート変換係数を調整することにより音声クロック68及び118を“同期”するために使用される。
上述の通り、携帯機器50は、ユニットのスピーカ122から発された音波又は超音波ビーコン内にあるユニットのIPアドレスを取得することにより、ユニット100とペアリングする。この超音波ビーコンは、好ましくは、例えば21kHzの超音波の周波数を持つ搬送信号を用いて転送される。携帯機器50は、ビーコンを取り込んだ後、自身のマイク74用のクロック68とユニットのスピーカ122用のクロック118との周波数の差異を決定するために、超音波搬送信号の周波数を使用する。
例えば、ユニット100は、前述の通り、スピーカ122を用いて予め設定された21000Hzの周波数で、音波又は超音波ビーコンを発する。携帯機器50のマイク74は、超音波ビーコンを取り込み、そして、補償器170は、ユニットのA/Dクロック68に関連するビーコンの周波数を測定する。一般に、測定された周波数は、それぞれ独立したクロック68と118との周波数差のために、予め設定されたビーコンの周波数(21kHz)とは異なっているだろう。例えば、マイクのクロック68は、スピーカのクロック118よりも、約1パーセント遅いとする。この場合は、補償器170は、ビーコンの周波数を、21210Hz(すなわち21000×1.01)と測定する。
この測定された差異にかかわらず、マイク74と会議アプリケーション(66)を持つ携帯機器50は、ビーコンの実際の周波数が予め設定された21000Hzであるべきであることを知っている。従って、補償器170は、クロック周波数差が210Hz(すなわち、21210Hz−21000Hz)であることを推測できる。該周波数差が許容可能な偏差(例えば1PPM)以内に至るまで知られるならば、携帯機器50は、リサンプリングアルゴリズムを使用でき、そして、スピーカのサンプリングレート変換にマッチするように、マイクのサンプリングレート変換を調整できる。これにより、携帯機器のクロック68に基づくA/D変換器69は、ユニットのクロック118に基づくD/A変換器119のサンプリング変換レートにマッチするサンプリングレート変換を持つことができる。レートがマッチしたら、ユニット100上のエコーキャンセラ115は、より効果的に動作できるようになる。
それとは反対に、スピーカのサンプリングレート変換が調整されることもまた、可能である。例えば、携帯機器50は、ネットワーク接続経由でユニット100に、決定された周波数差を送信できる。続いて、ユニット100の補償器160は、リサンプリングアルゴリズムを使用でき、そして、音声の出力に使用されるスピーカのサンプリングレート変換を変更でき、それによりスピーカのサンプリングレート変換がマイクのサンプリングレート変換にマッチする。変更例として、補償器160は、この決定された差異を、エコー除去のサンプリングレート変換にて使用でき、それによりエコーキャンセラ115がより効果的に動作できるようになる。
更なる変更例として、携帯機器50は周波数差を実際に計算しなくてもよい。その代わり、携帯機器50は、音波又は超音波ビーコンに応答して、自身のマイク74の音声取り込み周波数を、ネットワーク接続を使ってビデオ会議ユニット100に伝達する。そして、ビデオ会議ユニット100は、予め設定された搬送信号の周波数と、前記携帯機器50から伝達された音声取り込み周波数との間の周波数差を計算できる。従って、上述した処理手順は、携帯機器の処理の代わりに、ユニットの処理に適用することができる。
現在の実施例において、1つの携帯機器50とユニット100との間の音声のみを論じた。しかし、一般には、室内には幾つの携帯機器50があってよく、それぞれが、自身のマイク74用に夫々自身のA/D変換器69及びクロック98を有し得る。これら携帯機器50は、無線接続経由でビデオ会議ユニット110に、夫々自身のデジタル音声ストリームを送信でき、そして、それらストリームのいくつかは、携帯機器のマイク74に音響結合されているスピーカ122からの出力音声を含んでいるだろう。上述の技術は、複数の携帯機器のそれぞれの音声に適用できる。
上述した好ましい実施例及びその他の実施例の説明は、出願人によって考えられた発明のコンセプトの範囲又は応用を限定又は限界付けることを意図するものではない。本発明の或る態様の実施形態のいずれに従って上述された特徴も、本発明の他のいずれの実施形態又は態様において、単独で、又は、その他の記載された特徴と組み合わせて、利用され得ることが、本開示の教示の利益、とともに理解されるだろう。
ここに含まれた発明のコンセプトを開示することに替えて、出願人は添付の特許請求の範囲によって付与される全ての特許権を希望する。従って、添付の特許請求の範囲は、クレームした範囲内及びそれとの均等物に及ぶあらゆる変形及び変更を含む。

Claims (23)

  1. 第1装置のスピーカの音声出力周波数を用いて音波ビーコンを出力することであって、前記音波ビーコンが予め設定された搬送周波数に基づくものと、
    前記予め設定された搬送周波数と前記音波ビーコンを取り込む第2装置のマイクの音声取り込み周波数との周波数差を、前記第1装置において、取得することと、
    前記周波数差に基づいて前記スピーカの前記音声出力周波数を調整すること
    を具備することを特徴する会議方法。
  2. 前記第1装置はビデオ会議ユニットからなり、且つ、前記第2装置は、携帯機器、周辺機器、携帯電話、スマートフォン、携帯情報端末、ハンドヘルド式コンピュータ、ネットブックコンピュータ及びラップトップコンピュータからなるグループのなかから選ばれたものであることを特徴とする請求項1に記載の会議方法。
  3. 前記予め設定された搬送周波数は、少なくとも20kHzより高超音波であることを特徴とする請求項1又は2に記載の会議方法。
  4. 前記音波ビーコン内に接続情報を符号化することを更に具備することを特徴とする請求項1乃至3のいずれかに記載の会議方法。
  5. 前記接続情報を符号化することは、周波数偏移変調を用いて変調された前記予め設定された搬送周波数内に接続情報を符号化することからなることを特徴とする請求項4に記載の会議方法。
  6. 前記接続情報は、前記第1装置のネットワーク接続用のインターネットプロトコルアドレスからなることを特徴とする請求項4又は5に記載の会議方法。
  7. 前記第1装置のスピーカの音声出力周波数を用いて音波ビーコンを出力することは、第1クロックに基づく前記スピーカ用の第1サンプリングレート変換であって、第2クロックに基づく前記マイク用の第2サンプリングレート変換とは異なるものを用いることからなることを特徴とする請求項1乃至6のいずれかに記載の会議方法。
  8. 前記周波数差は、前記第装置で測定された前記音声取り込み周波数を、前記予め設定された搬送周波数により減算したものであることを特徴とする請求項1乃至7のいずれかに記載の会議方法。
  9. 前記周波数差を、前記第1装置において、取得することは、前記第2装置から前記第1装置にネットワーク接続経由で通信された前記周波数差を受信することからなることを特徴とする請求項1乃至8のいずれかに記載の会議方法。
  10. 前記周波数差を、前記第1装置において、取得することは、
    前記第2装置の音声取り込み周波数の指標をットワーク接続経由で受信することと、
    前記第1装置において前記周波数差を決定すること
    からなることを特徴とする請求項1乃至8のいずれかに記載の会議方法。
  11. 前記調整された音声出力周波数を用いて前記スピーカにより第1音声を出力することと、
    前記第2装置のマイクにより取り込まれた第2音声を、ネットワーク接続経由で前記第1装置において、受信すること
    を更に具備することを特徴とする請求項1乃至10のいずれかに記載の会議方法。
  12. 前記第1音声を前記第2音声と比較することによりエコー除去を実行することを更に具備することを特徴とする請求項11に記載の会議方法。
  13. 前記エコー除去を実行することは、前記第2音声から前記第1音声の存在を取り除くことからなることを特徴とする請求項12に記載の会議方法。
  14. プログラムを実行可能な制御装置に請求項1乃至13のいずれかの方法を実行させるためのプログラム命令を記憶してなるコンピュータ読み取り可能な記憶媒体
  15. 第1装置であって、
    音声を出力するためのスピーカと、
    前記スピーカと通信可能に接続された処理ユニットであって、
    当該第1装置の前記スピーカの音声出力周波数を用いて音波ビーコンを出力し、ここで前記音波ビーコンは予め設定された搬送周波数に基づくものであり、
    前記予め設定された搬送周波数と前記音波ビーコンを取り込む第2装置のマイクの音声取り込み周波数との周波数差を取得し、且つ、
    前記周波数差を用いて前記スピーカの前記音声出力周波数を調整するように構成された処理ユニット
    を具備することを特徴とする第1装置。
  16. 第1装置のマイクの音声取り込み周波数を用いて音波ビーコンを取り込むことであって、前記音波ビーコンは予め決められた搬送周波数に基づき第2装置により出力されたものと、
    前記予め設定された搬送周波数と前記マイクの音声取り込み周波数との周波数差を、前記第1装置において、決定することと、
    前記周波数差を用いて前記マイクの前記音声出力周波数を調整すること
    を具備することを特徴する会議方法。
  17. 前記調整された前記マイクの前記音声取り込み周波数を用いて取り込まれた音声を前記第2装置に送信することを更に具備することを特徴する請求項16に記載の会議方法。
  18. プログラムを実行可能な制御装置に請求項16又は17の方法を実行させるためのプログラム命令を記憶してなるコンピュータ読み取り可能な記憶媒体
  19. 第1装置であって、
    音声を取り込むためのマイクと、
    前記マイクと通信可能に接続された処理ユニットであって、
    前記マイクの音声取り込み周波数を用いて音波ビーコンを取り込み、ここで前記音波ビーコンは予め設定された搬送周波数に基づき第2装置により出力されたものであり、
    前記予め設定された搬送周波数と前記マイクの音声取り込み周波数との周波数差を決定し、且つ、
    前記周波数差を用いて前記マイクの前記音声取り込み周波数を調整するように構成された処理ユニット
    を具備することを特徴とする第1装置。
  20. 前記第1装置を前記第2装置に通信可能に接続するためのインタフェースを更に備え、前記処理ユニットは、前記インタフェースを用いて前記第2装置に、前記調整された前記マイクの前記音声取り込み周波数を用いて取り込んだ音声を送信するように構成されることを特徴とする請求項19に記載の第1装置。
  21. 第1装置及び第2装置を用いた会議方法であって、
    前記第1装置のスピーカの音声出力周波数を用いて音波ビーコンを出力することであって、前記音波ビーコンが予め設定された搬送周波数に基づくものと、
    前記第2装置のマイクの音声取り込み周波数を用いて前記音波ビーコンを取り込むこと
    前記予め設定された搬送周波数と前記音声取り込み周波数との周波数差決定することと、
    前記周波数差に基づいて前記第1装置の前記スピーカの音声出力周波数を調整することと、
    前記周波数差に基づいて前記第2装置の前記マイクの音声取り込み周波数を調整すること
    を具備することを特徴とする会議方法。
  22. プログラムを実行可能な制御装置に請求項21の方法を実行させるためのプログラム命令を記憶してなるコンピュータ読み取り可能な記憶媒体
  23. スピーカを有し、該スピーカの音声出力周波数を用いて、予め設定された搬送周波数に基づく音波ビーコンを出力するように構成された第1装置
    イクを有し、該マイクの音声取り込み周波数を用いて前記音波ビーコンを取り込むように構成された第2装置と
    を具備し、
    (i)前記第1装置は、前記予め設定された搬送周波数と記音声取り込み周波数との周波数差決定し、該周波数差に基づいて前記スピーカの音声出力周波数を調整し
    (ii)前記第2装置は、前記予め設定された搬送周波数と前記音声取り込み周波数との周波数差を決定し、該周波数差に基づいて前記マイクの音声取り込み周波数を調整する、
    ことを特徴とするシステム
JP2012236885A 2011-10-27 2012-10-26 超音波式ビーコンを用いた、複数装置間での異なる音声クロックの補償 Expired - Fee Related JP5559282B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/282,633 US9491404B2 (en) 2011-10-27 2011-10-27 Compensating for different audio clocks between devices using ultrasonic beacon
US13/282633 2011-10-27

Publications (2)

Publication Number Publication Date
JP2013102428A JP2013102428A (ja) 2013-05-23
JP5559282B2 true JP5559282B2 (ja) 2014-07-23

Family

ID=47623776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012236885A Expired - Fee Related JP5559282B2 (ja) 2011-10-27 2012-10-26 超音波式ビーコンを用いた、複数装置間での異なる音声クロックの補償

Country Status (4)

Country Link
US (1) US9491404B2 (ja)
EP (3) EP3829162B1 (ja)
JP (1) JP5559282B2 (ja)
CN (1) CN103200385B (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5966288B2 (ja) * 2011-09-15 2016-08-10 株式会社リコー 情報通信システム、クライアント装置、ホスト装置、接続情報受信プログラム、及び接続情報送信プログラム
US9025762B2 (en) * 2012-10-23 2015-05-05 Cisco Technology, Inc. System and method for clock synchronization of acoustic echo canceller (AEC) with different sampling clocks for speakers and microphones
US9709655B2 (en) * 2012-12-28 2017-07-18 Rakuten, Inc. Ultrasonic-wave communication system
US10243786B2 (en) * 2013-05-20 2019-03-26 Citrix Systems, Inc. Proximity and context aware mobile workspaces in enterprise systems
JP6659204B2 (ja) * 2013-07-16 2020-03-04 東芝ライフスタイル株式会社 カメラ装置、室内撮像システム、室内情報取得装置
US9225937B2 (en) 2013-10-18 2015-12-29 Cisco Technology, Inc. Ultrasound pairing signal control in a teleconferencing system
EP3127032A1 (en) * 2014-04-01 2017-02-08 Sony Corporation Authentication with ultrasound
CN105898185A (zh) * 2014-11-19 2016-08-24 杜比实验室特许公司 调节视频会议系统中的空间一致性
CN105791738B (zh) * 2014-12-15 2019-03-12 深圳Tcl新技术有限公司 视频会议中视频窗口的调整方法及装置
US9591148B2 (en) 2015-04-07 2017-03-07 Cisco Technology, Inc. Detecting proximity of devices based on transmission of inaudible sound signatures in the speech band
JP6590511B2 (ja) * 2015-04-22 2019-10-16 オリンパス株式会社 音声入力装置並びに音声入力装置の制御方法及び制御プログラム
CN105611222B (zh) * 2015-12-25 2019-03-15 北京紫荆视通科技有限公司 音频数据处理方法、装置、被控设备和系统
JP6670224B2 (ja) * 2016-11-14 2020-03-18 株式会社日立製作所 音声信号処理システム
US10332523B2 (en) 2016-11-18 2019-06-25 Google Llc Virtual assistant identification of nearby computing devices
WO2019003357A1 (ja) * 2017-06-28 2019-01-03 株式会社オプティム コンピュータシステム、Web会議音声補助方法及びプログラム
CN109120975A (zh) * 2018-09-29 2019-01-01 努比亚技术有限公司 视频播放方法、终端及计算机可读存储介质
CN109979479B (zh) * 2019-04-15 2021-11-23 苏州麦迪斯顿医疗科技股份有限公司 一种回音消除方法、装置、设备及存储介质
CN114616606A (zh) * 2019-08-19 2022-06-10 听波特公司 具有改进的目的地回放的多设备会议
WO2021119090A1 (en) * 2019-12-09 2021-06-17 Vowel, Inc. Leveraging a network of microphones for inferring room location and speaker identity for more accurate transcriptions and semantic context across meetings
CN112489671B (zh) * 2020-12-18 2024-04-16 深圳市潮流网络技术有限公司 回声数据消除方法及装置、终端设备、存储介质
CN113542982B (zh) * 2021-06-28 2023-07-18 瑞芯微电子股份有限公司 一种混音方法及存储介质
US20240107230A1 (en) * 2022-09-26 2024-03-28 Zoom Video Communications, Inc. Automatic audio equalization for online conferences

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5263019A (en) 1991-01-04 1993-11-16 Picturetel Corporation Method and apparatus for estimating the level of acoustic feedback between a loudspeaker and microphone
US5305307A (en) 1991-01-04 1994-04-19 Picturetel Corporation Adaptive acoustic echo canceller having means for reducing or eliminating echo in a plurality of signal bandwidths
US5390244A (en) 1993-09-10 1995-02-14 Polycom, Inc. Method and apparatus for periodic signal detection
US20070273751A1 (en) 2000-09-05 2007-11-29 Sachau John A System and methods for mobile videoconferencing
EP2288121A3 (en) 2000-11-30 2011-06-22 Intrasonics S.A.R.L. Telecommunications apparatus operable to interact with an audio transmission
WO2002048837A2 (en) 2000-12-15 2002-06-20 Polycom, Inc. System and method for device co-location discrimination
US7221663B2 (en) 2001-12-31 2007-05-22 Polycom, Inc. Method and apparatus for wideband conferencing
US7864938B2 (en) 2000-12-26 2011-01-04 Polycom, Inc. Speakerphone transmitting URL information to a remote device
ES2213089T3 (es) 2001-04-06 2004-08-16 Swatch Ag Procedimiento y sistema para acceder a informaciones y/o datos disponibles en una red informatica extendida.
US7742588B2 (en) 2001-12-31 2010-06-22 Polycom, Inc. Speakerphone establishing and using a second connection of graphics information
US7787605B2 (en) 2001-12-31 2010-08-31 Polycom, Inc. Conference bridge which decodes and responds to control information embedded in audio information
US7978838B2 (en) 2001-12-31 2011-07-12 Polycom, Inc. Conference endpoint instructing conference bridge to mute participants
US7120259B1 (en) 2002-05-31 2006-10-10 Microsoft Corporation Adaptive estimation and compensation of clock drift in acoustic echo cancellers
US20040059446A1 (en) * 2002-09-19 2004-03-25 Goldberg Mark L. Mechanism and method for audio system synchronization
JP4016388B2 (ja) 2003-01-21 2007-12-05 日本電気株式会社 テレビ電話機能付き携帯電話端末
US20040264713A1 (en) * 2003-06-27 2004-12-30 Robert Grzesek Adaptive audio communication code
JP2005260348A (ja) 2004-03-09 2005-09-22 Takeshi Saito 通信システム、端末装置及び通信方法
US20050237931A1 (en) 2004-03-19 2005-10-27 Marconi Communications, Inc. Method and apparatus for conferencing with stream selectivity
JP2005341202A (ja) 2004-05-27 2005-12-08 Matsushita Electric Ind Co Ltd 携帯端末装置、通信切換プログラム、通信切換方法、及びテレビ会議システム
JP4440079B2 (ja) 2004-11-10 2010-03-24 京セラ株式会社 通信端末
JP4172458B2 (ja) 2005-02-28 2008-10-29 ソニー株式会社 接続制御装置、通信システムおよび接続制御方法
JP2006238328A (ja) 2005-02-28 2006-09-07 Sony Corp 会議システム及び会議端末装置並びに携帯端末装置
JP3822224B1 (ja) 2005-06-28 2006-09-13 株式会社フィールドシステム 情報提供システム
US7539889B2 (en) * 2005-12-30 2009-05-26 Avega Systems Pty Ltd Media data synchronization in a wireless network
US8295475B2 (en) 2006-01-13 2012-10-23 Microsoft Corporation Selective glitch detection, clock drift compensation, and anti-clipping in audio echo cancellation
NO325083B1 (no) 2006-07-07 2008-01-28 Tandberg Telecom As Fremgangsmate og system for etablering av en videokonferansesamtale mellom et fjernt og et lokalt endepunkt
US20080024593A1 (en) 2006-07-25 2008-01-31 Larisa Tsirinsky Multimedia Communication System
AU2007221976B2 (en) 2006-10-19 2009-12-24 Polycom, Inc. Ultrasonic camera tracking system and associated methods
US8224305B2 (en) 2007-10-31 2012-07-17 Centurylink Intellectual Property Llc System and method for extending conference communications access to local participants
NO327377B1 (no) 2007-12-18 2009-06-22 Tandberg Telecom As Fremgangsmate og system for klokkedriftskompensering
US20090210789A1 (en) 2008-02-14 2009-08-20 Microsoft Corporation Techniques to generate a visual composition for a multimedia conference event
US8750473B2 (en) 2008-09-03 2014-06-10 Smule, Inc. System and method for communication between mobile devices using digital/acoustic techniques
US8401178B2 (en) 2008-09-30 2013-03-19 Apple Inc. Multiple microphone switching and configuration
US8487975B2 (en) 2009-01-27 2013-07-16 Lifesize Communications, Inc. Conferencing system utilizing a mobile communication device as an interface
JP5409194B2 (ja) 2009-08-24 2014-02-05 シャープ株式会社 会議システム
US8625776B2 (en) 2009-09-23 2014-01-07 Polycom, Inc. Detection and suppression of returned audio at near-end
NO332231B1 (no) * 2010-01-18 2012-08-06 Cisco Systems Int Sarl Metode for a parre datamaskiner og videokonferanseinnretninger
US8514662B2 (en) 2010-08-27 2013-08-20 Verifone Systems, Inc. Sonic receiver and method for receiving data that uses modulation frequncies that reduce the probability of conflict with ambient noise in the environment
US8320554B1 (en) 2010-10-19 2012-11-27 Polycom, Inc. Acoustic echo canceller clock compensation
US8750494B2 (en) * 2011-08-17 2014-06-10 Alcatel Lucent Clock skew compensation for acoustic echo cancellers using inaudible tones
US9473580B2 (en) 2012-12-06 2016-10-18 Cisco Technology, Inc. System and associated methodology for proximity detection and device association using ultrasound

Also Published As

Publication number Publication date
EP3836536B1 (en) 2023-06-07
EP3829162B1 (en) 2024-05-08
CN103200385B (zh) 2016-11-02
JP2013102428A (ja) 2013-05-23
EP2587800A3 (en) 2015-11-11
CN103200385A (zh) 2013-07-10
US9491404B2 (en) 2016-11-08
US20130108076A1 (en) 2013-05-02
EP2587800A2 (en) 2013-05-01
EP2587800B1 (en) 2021-01-20
EP3829162A1 (en) 2021-06-02
EP3836536A1 (en) 2021-06-16

Similar Documents

Publication Publication Date Title
JP5559282B2 (ja) 超音波式ビーコンを用いた、複数装置間での異なる音声クロックの補償
US10757364B2 (en) Pairing devices in conference using ultrasonic beacon and subsequent control thereof
AU2015207946B2 (en) Portable devices as videoconferencing peripherals
US9203633B2 (en) Mobile group conferencing with portable devices
USRE49462E1 (en) Adaptive noise cancellation for multiple audio endpoints in a shared space
US20160112574A1 (en) Audio conferencing system for office furniture
EP2894825B1 (en) Conferencing system and conferencing method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140513

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140605

R150 Certificate of patent or registration of utility model

Ref document number: 5559282

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees