JP5739009B2 - 会議情報を提供するためのシステムおよび方法 - Google Patents

会議情報を提供するためのシステムおよび方法 Download PDF

Info

Publication number
JP5739009B2
JP5739009B2 JP2013542056A JP2013542056A JP5739009B2 JP 5739009 B2 JP5739009 B2 JP 5739009B2 JP 2013542056 A JP2013542056 A JP 2013542056A JP 2013542056 A JP2013542056 A JP 2013542056A JP 5739009 B2 JP5739009 B2 JP 5739009B2
Authority
JP
Japan
Prior art keywords
information
mobile device
conference
input sound
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013542056A
Other languages
English (en)
Other versions
JP2013546282A (ja
Inventor
キム、テス
ユ、キスン
ホワン、キュ・ウォン
リー、テ−ウォン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2013546282A publication Critical patent/JP2013546282A/ja
Application granted granted Critical
Publication of JP5739009B2 publication Critical patent/JP5739009B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38Displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2203/00Aspects of automatic or semi-automatic exchanges
    • H04M2203/60Aspects of automatic or semi-automatic exchanges related to security aspects in telephonic communication systems
    • H04M2203/6054Biometric subscriber identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2203/00Aspects of automatic or semi-automatic exchanges
    • H04M2203/60Aspects of automatic or semi-automatic exchanges related to security aspects in telephonic communication systems
    • H04M2203/6063Authentication using cards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2207/00Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place
    • H04M2207/18Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place wireless networks

Description

関連出願の表示
35U.S.C.§119の下の優先権の主張
本特許出願は、2010年12月3日に出願された米国仮出願番号61/419,683の優先権の利益を主張しており、その譲受人に譲渡され、本明細書中に明示的に参照によって組み込まれる。
本開示は、一つまたは複数の場所(locations)での会議に関する情報を提供することに関する。より詳細には、本開示は、モバイルデバイスでの会議の一つまたは複数の始動要件(starting requirements)を検出することにより、会議に関する情報をモバイルデバイスに提供するためのシステムおよび方法に関する。
個人およびビジネスのコミュニケーションでは、打合せや会議がしばしば必要である。特に、遠隔会議(teleconference)は、打合せが開催される離れた場所への移動の不便および距離のために、広く使用されている。例えば、仕事のセッティングにおいて、二つまたはそれ多くの別個の地理的場所を含む会議は、しばしば、リアルタイムで地理的に離れた場所にある人々の間の議論および意見を共有することが必要である。
残念ながら、会議はしばしば多くの見慣れられない人の出席を必要とするので、従来の会議は、しばしば、例えば名前、現在の話し手、出席者の配置などの出席者に関する十分な情報の不足のために、出席者に不便や混乱である。例えば、人はなじみのない人々とのビジネス打合せに出席するとき、会議中に他の出席者の名前を特定したり、覚えておくことが難しいかもしれない。二つ以上の地理的に遠隔地における遠隔会議のセッティングでは、特に、出席者は会議に参加したり、または、十分な視覚情報なしに会議の詳細を覚えることに、混乱および不便を見出すかもしれない。つまり、遠隔会議の状況では、一つの場所で出席者が他の場所で他の離れた出席者を見ることができないので、彼らは、他の場所で他の出席者を特定したり、覚えたり、または、ある特定の時間に他の出席者のなかの現在の話し手を認識することができないかもしれない。加えて、出席者は、他の場所の他の出席者の活動に関する情報、例えば、特定の出席者が会議に出席したままか、または、会議を終了したかなどの、他の出席者の着座配置(sitting arrangement)へのアクセスを持っていないかもしれない。
上記問題に対処するために、ある場所の出席者のイメージが送信され、そして、他の場所の他の出席者に表示され、かつ、逆も同様になるように、カメラなどの視覚センサおよびテレビなどの表示デバイスが各場所に設置されてもよい。しかしながら、このような解決策は、一般に、追加のハードウェアおよびコストを必要とする。さらに、前記カメラおよび表示デバイスは、特に、出席者が識別(identification)またはプロフィール情報が前もって他の離れた出席者に提供されていない時には、上述した問題に対する完全な解決策ではないかもしれない。そのうえ、このような配置は、一般的に、高価な機器を必要とし、そして、しばしば、普通のユーザーには便利ではないかもしれない、長くて複雑な初期セットアップを必要とする。
本開示は、周囲の音の類似性に基づいて、一つまたは複数の場所での会議の出席者の間で様々な情報を共有するためのシステムおよび方法を提供する。さらに、本開示のシステムおよび方法は、各モバイルデバイス内で会議の一つまたは複数の始動要件を検出したら、会議のための情報を自動的に生成することによって、一つまたは複数のモバイルデバイスに会議のための情報を提供する。
本開示の一態様によれば、モバイルデバイス内に会議情報を提供するための方法が開示されている。前記方法は、モバイルデバイス内で、一つまたは複数の場所での会議の一つまたは複数の始動要件を監視することを含む。会議の一つまたは複数の始動要件が検出された時に、入力音(input sound)情報がモバイルデバイスからサーバーに送信される。会議情報はサーバーから受信され、そして、会議情報はモバイルデバイス上に表示される。本開示はまた、装置、手段の組合せ、および、この方法に関連するコンピュータ可読媒体を記載する。
本開示の別の態様によれば、会議情報を提供するためのモバイルデバイスが提供される。前記モバイルデバイスは、開始ユニット、送信ユニット、受信ユニットおよび表示ユニットを含む。前記開始ユニットは、一つまたは複数の場所での会議の一つまたは複数の始動要件を監視するように適合されている。前記送信ユニットは、前記会議の前記一つまたは複数の始動要件が検出された時に、入力音情報(input sound information)をサーバーに送信するように構成されている。さらに、前記受信ユニットは、前記サーバーから会議情報を受信するように構成され、そして、前記表示ユニットは、前記会議情報を表示するように適合されている。
本開示のさらに別の態様によれば、サーバーおよび複数のモバイルデバイスを有するシステムにおいて会議情報を提供するための方法が開示される。この方法では、一つまたは複数のモバイルデバイスは、一つまたは複数の場所での会議の一つまたは複数の始動要件を監視し、そして、前記会議の前記一つまたは複数の始動要件が検出されたら、サーバーに入力音情報を送信する。前記サーバーは、各モバイルデバイスからの前記入力音情報に基づいて会議情報を生成し、そして、各モバイルデバイスに前記会議情報を送信する。前記会議情報は、各モバイルデバイス上に表示される。本開示はまた、装置、手段の組合せ、および、この方法に関連するコンピュータ可読媒体を記載する。
図1は、本開示の一実施形態に係る会議情報を生成して提供するための複数のモバイルデバイスおよびサーバーを含むシステムを示す。 図2は、本開示の一実施形態に係るモバイルデバイスの典型的な構成を示す。 図3は、本開示の一実施形態に係るサーバーの典型的な構成を示す。 図4は、本開示の一実施形態に係る、モバイルデバイスによって実行される、サーバーに入力音情報を送信し、前記サーバーから会議情報を受信する方法のフローチャートを示す。 図5は、本開示の一実施形態に係る、サーバーによって実行される、各モバイル・デバイスから入力音情報を受信し、そして、各モバイルデバイスに会議情報を提供する方法のフローチャートを示す。 図6は、本開示の一実施形態に係る、サーバーによって実行される、会議での出席者を決定する方法のフローチャートを示す。 図7Aは、出席者に情報を表示しているモバイルデバイスの典型的なスクリーンを示す。 図7Bは、出席者に情報を表示しているモバイルデバイスの別の典型的なスクリーンを示す。 図8Aは、本開示の一実施形態に係る、モバイルデバイスによって実行され、始動要件が検出された時に、サーバーに入力音情報を送信する開始の方法のフローチャートを示す。 図8Bは、本開示の一実施形態に係る、モバイルデバイスによって実行され、二つ以上の始動要件が検出された時に、サーバーに入力音情報を送信する開始の方法のフローチャートを示す。 図9Aは、本開示の一実施形態に係る、サーバーによって実行される、各モバイルデバイスの入力音の音レベルに基づいて、会議の出席者の間で現在の話し手を決定する方法のフローチャートを示す。 図9Bは、ある期間にわたる、モバイルデバイスのサブセットの入力音の音レベルダイアグラムを示す。 図10Aは、本開示の一実施形態に係る、サーバーによって実行される、各モバイルデバイスの音声活動情報に基づいて、会議の出席者の間で現在の話し手を決定する方法のフローチャートを示す。 図10Bは、ある期間にわたる、各モバイルデバイスの平均入力音レベルに対する現在の入力音レベルの比のダイアグラムを示す。 図11Aは、本開示の一実施形態に係る、サーバーによって実行される、各モバイルデバイスの音声活動情報に基づいて、会議の出席者の間で現在の話し手を決定する方法のフローチャートを示す。 図11Bは、ある期間にわたる、各モバイルデバイスの入力音がモバイルデバイスのユーザーの音声の音響特性と一致している、モバイルデバイスのサブセットに対する確率のダイアグラムを示す。 図12Aは、本開示の一実施形態に係る、サーバーによって実行される、出席者の配置を計算する方法を示す。 図12Bは、モバイルデバイス上に表示される出席者の配置の例を示す。 図13は、出席者の参加情報を含む会議の打合せログ(meeting log)の例を示す。 図14は、無線通信システムにおける典型的なモバイルデバイスの設計のブロックダイアグラムを示す。
種々の実施形態が今から図面を参照して説明され、ここにおいて、同様な参照番号は、全体を通して同様な要素について言及するために使用される。以下の説明においては、説明の目的のために、非常に多くの特定の詳細が、一つまたは複数の実施形態についての完全な理解を提供するために述べられる。しかしながら、そのような態様(単数または複数)は、これらの特定の詳細なしに実行されることができることは明らかであろう。他の例においては、よく知られている構造およびデバイスは、一つまたは複数の実施形態を説明することを容易にするためにブロック図の形式で示される。
図1は、本開示の一実施形態に係る、会議情報を生成して提供するように構成された複数のモバイルデバイス160,162,164,166および168、ならびにサーバー150を含むシステム100を示す。モバイルデバイス160,162,164,166および168ならびにサーバー150は無線ネットワーク140を介して互いに通信する。モバイルデバイス160および162は、一つの地理的場所(geographic location)110、例えば、都市の第1の会議室に置かれる。一方、モバイルデバイス164および166は、別の地理的場所120、例えば、別の都市の第2の会議室に置かれる。モバイルデバイス168は、さらに別の地理的場所130、例えば、路上等の第1および第2会議室の外に置かれる。
図示の実施形態では、モバイルデバイス160,162,164,166および168は、単なる例として提示されており、そして、したがって、各場所に置かれるモバイルデバイスの数または場所の数は個々の会議の設定に応じて変更されても構わない。
モバイルデバイスは、収音機能(sound capturing capability)、例えば、マイク、およびデータおよび/または通信ネットワークを通じての通信機能などが装備された携帯電話、スマートフォン、ラップトップコンピュータ、またはタブレットパーソナルコンピュータなどの任意の適切なデバイスでも構わない。
システム100は、モバイルデバイス160,162,164,166および168によって受信された入力音に基づいて会議に関連付けられた様々な情報を生成し、かつ、会議の出席者、例えば、少なくとも一つのモバイルデバイスのユーザーに、前記情報を提供するように構成されている。ある会議の状況では、場所120および130等の離れた場所の他のユーザーを含むことなく、両方が場所110に位置するモバイルデバイス160および162のユーザーだけが、会議に出席する。別の会議の状況では、場所110に位置しているモバイルデバイス160および162のユーザーは、場所120のような遠隔地に位置するモバイルデバイス164および166のユーザーと遠隔会議に出席する。このような状況では、モバイルデバイス160,162,164および166のユーザーは、従来の遠隔会議電話および離れた場所で遠隔会議電話間の音を交換することができる遠隔会議機器でインプリメントされている、遠隔会議システム(図示せず)を使用して、遠隔会議に参加する。前記遠隔会議電話および機器は、モバイルデバイス160,162,164,166および168、ネットワーク140、およびシステム100のサーバー150とは別個に動作させても構わない。さらに、また別の会議の状況では、モバイルデバイス160および162のユーザーは、離れた場所120のモバイルデバイス164および166のユーザーとの遠隔会議に加わる前に、場所110にて彼らの間で内部または予備的な議論のためにローカル会議を開始しても構わない。その間、場所110および120から地理的に離れそして個別の場所130、例えば、街路(street)に位置するモバイルデバイス168のユーザーは、モバイルデバイス160,162,164および166のユーザー間のいずれの会議にも含まれない。
二つの場所110および120は互いに地理的に離れているが、もし前記二つの場所の複数のユーザーが遠隔会議システム、サラウンディングアンビエントサウンド(surrounding ambient sound)および各場所で生成された音声を介して互いに通信し、そして、それぞれ、モバイルデバイス160,162,164および166に入力されると、互いに似たようになり得る。特に、場所110内で生成された音は遠隔会議電話機(図示せず)を介して場所120へ送信される。同様に、場所120内で生成された別の音が遠隔会議電話を介して場所110に送信される。結果として、場所110において、そこで発生された音および場所120から送信された音はモバイルデバイス160および162に入力される。同様に、場所120において、そこで発生された音および場所110から送信された音は、モバイルデバイス164および166に入力される。その結果、モバイルデバイス160,162,164および166の入力音は、互いに類似しているかもしれない。
その間、場所130に位置するモバイルデバイス168のユーザーはいずれの遠隔会議に含まれない。故に、モバイルデバイス168は、遠隔会議の期間中に、モバイルデバイス160,162,164および166に入力されるいずれの音、または、場所110または120から発する周囲の音を受信しない。したがって、モバイルデバイス168の入力音は、モバイルデバイス160,162,164および166のそれらと同様でないかもしれない。
一実施形態では、モバイルデバイス160,162,164,166および168の各々は、ネットワーク140を介してサーバー150に入力音情報を送信する。入力音情報は各モバイルデバイスの入力音の任意の適切な表現(representation)、前記入力音から抽出された音シグネチャ(sound signature)、音レベル、音活動情報などを含んでも構わないが、それには限定されない。これらにモバイルデバイスからの入力音情報に基づいて、サーバー150は、会議情報を生成して、モバイルデバイス160,162,164および166に会議情報を提供し、そして、必要ならモバイルデバイス168に会議情報を提供する。会議情報は、以下に詳細に説明される、出席者の識別(identification)および場所、出席者の配置、および/または、出席者の参加情報を含む会議の打合せログなどの、一つまたは複数の場所での会議の出席者に関する情報を含む。
サーバー150が上記の会議情報を生成するように作動された一つの例示的な設定としては、モバイルデバイス160,162,164,166および168は、それぞれのユーザーによって運ばれか、または、前記ユーザーの近くに配置されるものとする。また、モバイルデバイスが、他のモバイルデバイスのユーザーよりも、そのユーザーの近くに配置されているものとする。例えば、モバイルデバイス160は、第1の会議室内では、モバイルデバイス162のユーザーよりも、そのユーザーの近くに配置されている。同様に、モバイルデバイス164は、第2の会議室内で、モバイルデバイス166のユーザーよりも、そのユーザーの近くに配置されている。
図2は、本開示の一実施形態に係るモバイルデバイスの典型的な構成を示す。図2に示されるように、モバイルデバイス160は、開始ユニット210、音センサ220、音シグネチャ抽出ユニット230、送信ユニット240、受信ユニット250、記憶ユニット260、クロックユニット270、ポジショニングユニット280および表示ユニット290を含む。モバイルデバイス160の構成は、図2に示されているが、他のモバイルデバイス162,164,166および168にも同じ構成が実装されても構わない。モバイルデバイス160の上述したユニットは、ハードウェア、一つまたは複数のプロセッサで実行されるソフトウェア、および/またはそれらの組合せによって実装されても構わない。
開始ユニット210は、特定の会議の一つまたは複数の始動要件をモニタし、そして、一つまたは複数の始動要件が検出された否かを決定する。音センサ220(例えば、マイクロホン)は、モバイルデバイス160の周囲に音を受信し、感知するように構成されている。音シグニチャ抽出センサ230は、音シグニチャ、つまり、特有なまたは区別できる特性を前記音から抽出する。クロックユニット270は、モバイルデバイス160の現在時刻をモニタし、そして、ポジショニングユニット280は、例えば、全地球測位システム(GPS)を用いて、モバイルデバイス160の現在位置を推定する。送信ユニット240は、情報、例えば、入力音情報をネットワーク140を介してサーバー150に送信し、そして、受信ユニット250は、ネットワーク140を介してサーバー150から会議情報を受信する。表示ユニット290は、様々な情報、例えば、サーバー150から受信した会議情報を表示する。記憶ユニット260は、入力音、入力音情報、場所、時間、会議情報等を処理するために必要な様々な情報を記憶する。
情報音センサ220は、例えば、一つまたは複数のマイクロフォン、またはキャプチャし、測定し、記録し、および/または、モバイルデバイス160のキャプチャされた入力音の任意の様相(aspect)を伝えるために用いられる、他の任意のタイプのサウンドキャプチャを含んでも構わない。いくつかの実施形態は、通話中にユーザーの声を伝えるために使用されるマイクなどの日常作業で既に使用されるモバイルデバイス160のセンサを利用しても構わない。すなわち、音センサ220は、モバイルデバイス160について何の変更を必要とせずとも実施し得る。また、音センサ220は、モバイルデバイス160内でその機能を実行するために、追加のソフトウェアおよび/またはハードウェアを採用しても構わない。
さらに、音シグネチャ抽出ユニット230は、入力音の音シグネチャを抽出するための音声圧縮、強調、認識、合成方法を含む任意の適切な信号処理方式を使用しても構わない。例えば、このような信号処理方式は、音声認識または音声コーデックのための周知の方法である、MFCC(メル周波数ケプストラム係数)、LPC(線形予測符号化)、および/またはLSP(線スペクトル対)技術を採用しても構わない。
一実施形態では、音シグネチャは、n次元の値を有するベクトルとして表わされる、多重コンポーネント(multiple components)を含んでいても構わない。MFCC法では、例えば、音シグネチャは、各次元が16ビット値で表されると13次元を含んでいても構わない。この場合、音シグネチャは、26バイト長である。別の実施形態では、音シグネチャは、各次元が1ビットの2進数値として表現されるように、二値化されていても構わない。このような場合には、二値化された音シグネチャは13ビット長であっても構わない。
音シグネチャは、以下のようにMFCC方法下で入力音から抽出し得る。時間領域内における入力音(例えば、生の音信号)のフレームは、ウィンドウ関数、例えば、ハミングウィンドウが乗算される。その後、音声信号は、波数領域にフーリエ周波数領域に変換され、そしてそれから、周波数領域内の変換された信号のスペクトルにおける各帯域について電力が計算される。各計算された電力に対して対数演算および離散コサイン変換(DCT)演算が行われて、DCT係数が取得される。過去の所定時間の期間にわたる平均値が二値化のために各DCT係数から減算され、そして、一組の二値化結果は、音シグネチャを構成する。
図3は、本開示の一実施形態に係るサーバー150の典型的な構成を示す。図2に示されるように、サーバー150は、類似度決定ユニット310、出席者決定ユニット320、送信ユニット330、受信ユニット340、情報データベース350、ログ生成ユニット360、出席者配置算出ユニット370および話し手決定ユニット380を含む。サーバー150は、ネットワーク140上で通信能力を有する本開示の方法を実行する従来のコンピュータシステムにより実装されても構わない。サーバー150は、モバイルデバイス160,162,164,166および168、ならびに他のクライアントデバイスにクラウドコンピューティングサービスを提供するためのシステム内に使用されても構わない。さらに、例えば、Wi−Fi Direct、Bluetooth(登録商標)、FlashLinq技術を使用して、追加の外部サーバーなしで、モバイルデバイスが互いに直接的に通信するとき、モバイルデバイス160,162,164,166および168の一つは、サーバー150として機能するように構成されていても構わない。サーバー150はまた、複数の遠隔会議電話のうちのいずれか一つ、または、モバイルデバイス160,162,164,166および168に関連付けられた遠隔会議を行うために作動される機器の内で、実装されても構わない。サーバー150内の上述したユニットは、ハードウェア、一つまたは複数のプロセッサで実行されるソフトウェア、および/またはそれらの組合せによって実装されても構わない。
受信ユニット340は、情報、例えば、入力音情報を、モバイルデバイス160,162,164、166および168の各々から、受信するように構成されている。類似度決定ユニット310は、モバイルデバイス160,162,164,166および168からの入力音情報の間の類似度を決定する。出席者決定ユニット320は前記類似度に基づいて会議の出席者を決定する。ログ生成ユニット360は、出席者の参加情報を含む打合せログを生成する。さらに、出席者配置算出ユニット370は、会議の各場所での出席者の配置を計算する。話し手決定ユニット380は、特定の時間での出席者中の現在の話し手を決定する。送信ユニット330は、モバイルデバイス160,162,164および166のそれぞれに上記の情報を含む会議情報を送信するように構成され、そして、もし必要であれば、モバイルデバイス168にも送信する。情報データベース350は、上記の情報、および、上記の情報を処理するために必要なその他何かの情報を含む、様々な情報を記憶するように構成されていても構わない。
図4は、本開示の一実施形態に係る、モバイルデバイスによって実行される、入力音情報をキャプチャしてサーバー150に入力音情報を送信し、サーバー150から会議情報を受信する方法のフローチャートを示す。図4において、410にて、モバイルデバイス160の音センサ220は、入力音をキャプチャし、そして、アナログまたはデジタル形式でキャプチャされた音を出力する。入力音は、モバイルデバイス160の周りの環境音(ambient sound)およびモバイルデバイス160のユーザーおよび近くの他のユーザーの声を含んでいても構わない。
420にて、モバイルデバイス160中の送信ユニット240は、ネットワーク140を介してサーバー150に入力音に関連付けられた入力音情報を送信する。他の各モバイルデバイス162,164,166および168中の送信ユニットもまた、ネットワーク140を介してサーバー150にそれぞれの音センサによってキャプチャされた入力音に関連付けられた入力音情報を送信する。
送信ユニット240もまた、限定するわけではないが、識別情報、時間情報、および場所情報を含む、ユーザーおよびモバイルデバイス160に関連する情報を送信しても構わない。例えば、識別情報は、モバイルデバイス160の製品番号、シリアル番号、ID、ユーザー名、ユーザープロファイルなどを含んでいても構わない。時刻情報は、クロックユニット270によってモニタし得る、現在の時間または入力音がキャプチャされる時の時間を含んでいても構わない。場所情報は、入力音がキャプチャされた時に、ポジショニングユニット280によって推定し得る、モバイルデバイス160の地理的場所を含んでいても構わない。上記情報の一部は、モバイルデバイス160の記憶ユニット260に予め記憶されていても構わない。
430にて、モバイルデバイス160中の受信ユニット250は、サーバー150からの会議情報を受信する。440にて、表示ユニット290は、所望の表示形式に従って会議情報を表示する。
図5は、本開示の一実施形態に係る、サーバー150によって実行される、各モバイルデバイスから入力音情報を受信し、そして、各モバイルデバイスに会議情報を提供する方法のフローチャートを示す。図5において、510にて、サーバー150のユニット340は、モバイルデバイス160,162,164,166および168の各々から入力音情報を受信する。受信ユニット340は、さらに、上述したような様々な情報を受信し得る。受信ユニット340により受信されたこのような情報は、情報データベース350内に記憶されても構わない。
520にて、サーバー150は、受信した情報に基づいて、少なくとも一つのモバイルデバイスの160,162,164,166および168に関与する会議ための会議情報を生成する。例えば、類似度決定ユニット310、出席者決定ユニット320、情報データベース350、ログ生成ユニット360、出席者配置算出ユニット370および話し手決定ユニット380の少なくとも一つは、会議情報を生成する際に使用されても構わない。
530にて、会議情報が生成されると、送信サーバー150は、送信ユニット330を介して、モバイルデバイス160,162の各々に会議情報を送信し、必要ならモバイルデバイス168にも送信する。もしモバイルデバイス(devices)のサブセットが会議中なら、サーバー150はそれらのモバイルデバイスに会議情報を送信しても構わない。例えば、サーバー150は、会議に参加していないユーザーのモバイルデバイス168に会議情報を送信しなくても構わない。
本開示の実施形態に係るサーバー150およびモバイルデバイス160,162,164,166および168の詳細な動作について、図6−13を参照して以下に説明する。
図6は、本開示の一実施形態に係る、サーバー150によって実行される、会議での出席者を決定する方法のフローチャートを示す。受信ユニット340のサーバー150は、モバイルデバイス160,162,164,166および168のそれぞれからのキャプチャされた入力音に関連付けられた入力音情報を受信する。620にて、類似度決定ユニット310は、モバイルデバイスの各ペアからの入力音情報を比較することによって入力音情報に基づいて、複数のモバイルデバイス160,162,164,166および168の各ペアの入力音間の類似度を決定する。
本開示の一実施形態では、二つのモバイルデバイス、例えば、m番目のモバイルデバイスおよびn番目のモバイルデバイスの入力音間の類似度は、例えば、以下の式に従って、二つのモバイルデバイスの入音の音シグニチャを表しているベクトル間のユークリッド距離に基づいて、決定されても構わない。
Figure 0005739009
ここで、a[i]はm番目のモバイルデバイスの音シグニチャを表しているベクトルaのi番目の次元の値を示し、そして、b[i]はn番目のモバイルデバイスの音シグニチャを表しているベクトルbのi番目の次元の値を示している。
二つのモバイルデバイスの入力音間の類似度は、所定の時間間隔で一定期間にわたって抽出された音シグネチャシーケンスのペアの間のユークリッド距離に基づいて決定されても構わない。m番目およびn番目のモバイルデバイスの各々において、音シグネチャのシーケンスが1秒の期間にかけて10ミリ秒の時間間隔で抽出されるとすると、サーバー150は前記モバイルデバイスから百ペアの音シグネチャを受信する。この場合、m番目およびn番目のモバイルデバイスからの音声シグネチャの各ペアに対するユークリッド距離が算出され、そして、前記ユークリッド距離の平均値に基づいて類似度は決定される。例えば、前記類似度は平均値の逆数または前記逆数の対数スケール値であるかもしれない。
630にて、前記類似度に基づいて、サーバー150内の出席者決定ユニット320は、サーバー150に入力音情報を送信した全ての複数のモバイルデバイスの中で、同じ会議に出席しているユーザーのモバイルデバイスのサブセットを決定する。例えば、特定の会議に出席しているユーザーのモバイルデバイスは、同じ会議中にはない別のモバイルデバイスよりも、同じ会議中の別のモバイルデバイスに対してより大きな類似度を有すると考えられる。いったん会議中にあるモバイルデバイスが決定されたら、出席者決定ユニット320は、前記モバイルデバイスおよび前記関連付けられたユーザーに関する情報に基づいて、前記決定されたモバイルデバイスのユーザーを特定し、そして、彼らをその会議の出席者であると決定する。
サーバー150は、少なくとも識別情報、各出席者の場所情報等のうちの一つを含む、前記出席者についての情報を含む会議情報を生成する。次に、640にて、サーバー150の送信ユニット330は、会議中であると決定されてきているモバイルデバイスのサブセットに会議情報を送信する。
いくつかの実施形態では、所定の類似閾値より大きい類似度を有するモバイルデバイスは、会議グループに属すると決定されても構わなく、一方、所定の類似閾値以下の類似度を有するモバイルデバイスは、前記会議グループに属していないと決定されても構わない。前記所定の類似閾値は、システム100のニーズに応じて設定され、そして、サーバー150の情報データベース350に予め記憶されていても構わない。
以下は、一実施形態に係る、類似度および会議の出席者を決定するより詳細な手順である。
図1に参照を戻すと、モバイルデバイス160,162,164,166および168は、それぞれ、サーバー150に入力音情報を送信する。サーバー150の類似度決定ユニット310は、モバイルデバイス160,162,164,166および168のそれぞれの入力音情報間の類似度、および、他のモバイルデバイスのそれぞれの入力音情報間の類似度を決定する。例えば、類似度決定ユニット310は、モバイルデバイス160の入力音情報と、その他のモバイルデバイス162,164,166および168の各々のそれとの間の類似度を評価する。同様に、モバイルデバイス162の入力音情報と、その他のモバイルデバイス164,166および168の各々のそれとの間の類似度が評価される。
図1の第1の会議の状況では、モバイルデバイス160および162のユーザーは、同じ場所に位置して、会議に出席し、一方、他のモバイルデバイス164,166,および168の他のユーザーは、前記会議に出席しないとしている。このような会議は、追加のユーザーが参加する可能性のある主要会議前の予備会議であるかもしれない。この予備会議では、モバイルデバイス160および162のユーザー間での、モバイルデバイス160およびモバイルデバイス162の間の入力音情報の類似度は、他のモバイルデバイス164,166および168に関連付けられた類似度よりも大きくなるであろう。類似閾値を用いる場合、モバイルデバイス160とモバイルデバイス162との間の入力音情報の類似度は前記類似閾値よりも大きくなるかもしれないが、一方、他の類似度は前記類似閾値よりも大きくなることはないかもしれない。その結果、サーバー150の出席者決定ユニット320は、モバイルデバイス160および162のユーザーが同じ会議に出席していると決定する。サーバー150から送信された会議情報を受信すると、各モバイルデバイスの表示ユニットは図2に示されるように、会議情報を表示しても構わない。例えば、第1の会議の状況では、モバイルデバイス160および162のユーザーは、図7Aに示されるように、表示ユニット上に彼らの位置および名前が表示されても構わない。
第2の会議の状況では、場所110でのモバイルデバイス160および162のユーザーと、場所120に置かれるモバイルデバイス164および166のユーザーとは、それぞれの場所から同じ会議に出席しているとする。モバイルデバイス168のユーザーは、場所130にとどまり、そして、前記会議には出席しない。このような会議は、上記の第1の状況のような予備会議の後の主要会議かもしれないし、そして、電話会議、ビデオ会議などかもしれない。
上述のように、モバイルデバイス160のための入力音情報の類似度は、他のモバイルデバイス162,164,166および168の各々のそれに関して決定される。モバイルデバイス160,162,164および166は、類似した入力音を伴う同じ会議中にあるため、前記会議中にあるモバイルデバイス160,162,164および166の各ペア間の入力音情報の類似度は、モバイルデバイス168とモバイルデバイス160,162,164,166の各々との間の入力音情報の類似度よりも大きくなるであろう。類似閾値が用いられる場合、モバイルデバイス160,162,164,166の各ペア間の入力音情報の類似度は前記類似閾値よりも大きいかもしれないし、一方、他の類似度は前記類似閾値よりも大きくないかもしれない。その結果、出席者決定ユニット320は、モバイルデバイス160,162,164および166のユーザーが同じ会議に出席していると決定する。この場合、モバイルデバイス160,162,164および166のユーザーは、図7Bに示されるように、各モバイルデバイスの表示ユニット上に出席者の位置および名前が表示されても構わない。
本開示の一実施形態によれば、もし会議の一つまたは複数の始動要件が検出されたら、モバイルデバイスによる入力音情報の送信の動作は自動的に開始されても構わない。一般に、会議に対しての一つまたは複数の始動要件は、出席者リスト、会議の開始時刻、会議の場所(例えば、会議が遠隔会議のときには複数の会議室)など、その会議の前に決定されていても構わない。モバイルデバイスの各ユーザーは、会議始動要件を入力し、そして、保存しても構わない。加えてまたは代替的に、本開示に係る会議スケジューリングルアプリケーションは、モバイルデバイスまたはパーソナルコンピュータ等の外部のデバイス上で実行している、別のアプリケーション、例えば、カレンダーアプリケーション、MS OutlookTMプログラム等のスケジュール管理アプリケーションなどから会議始動要件を取得しても構わない。
図8Aは、本開示の一実施形態に係る、モバイルデバイス160によって実行され、始動要件が検出された時に、サーバー150に入力音情報を送信する開始の方法のフローチャートを示す。図8には、モバイルデバイス160によって行われる方法が示されているが、他のモバイルデバイス162,164,166および168もまた前記方法を行っても構わないことを理解すべきである。この方法では、810にて、モバイルデバイス160の開始ユニット210は、始動要件が検出されたか否かを決定するための始動要件をモニタする。もし始動要件が検出されないなら(810にて“NO”)、開始ユニット210は始動要件をモニタし続ける。もし始動要件が検出されたら(810にて“YES”)、820にて、送信ユニット240は、サーバー150にモバイルデバイス160の入力音情報を送信することを開始する。モバイルデバイス160から、および、一つまたは複数のモバイルデバイス162,164,166および168から入力音情報を受信すると、サーバー150は、各モバイルデバイスからの入力音情報に基づいて、会議情報を生成する。サーバー150は次に会議情報をモバイルデバイス160に送信し、もし必要なら、他のモバイルデバイスの各々にも送信する。830にて、モバイルデバイス160の受信ユニット250は、サーバー150から会議情報を受信する。840にて、次にモバイルデバイス160の表示ユニット290は、ユーザーのために会議情報を表示する。
始動要件は、入力音情報の送信を開始する条件を明記しても構わない。例えば、始動要件は、開始時間、一つまたは複数の会議の場所、会議環境の音響特性などでも構わない。モバイルデバイスが一つまたは複数の始動要件を検出したときに自動的に動作するように、始動要件はユーザーによって各モバイルデバイスに記憶されても構わない。例えば、クロックユニット270によってモニタされ得るモバイルデバイス160の現在時刻が会議の開始時間に達したときに、始動要件は満たされても構わない。同様に、ポジショニングユニット280によって推定され得るモバイルデバイス160の現在の場所が会議の場所、例えば、会議室であると決定されたときに、始動要件は満たされても構わない。いくつかの実施形態では、場所要件は、モバイルデバイス160の現在の場所が所定の範囲内、例えば、特定の会議場所から20メートル内にあると決定されたら、満たされても構わない。
さらに、会議環境の音代表(sound representative)もまた始動始条件として使用することができる。一実施形態によれば、会議環境は、音響特性に基づいて区別される。例えば、会議環境は、会議内に存在するモバイルデバイスに入力される音に含まれることができる会議出席者の声によって特徴付けることができる。会議出席者の、つまり、モバイルデバイスに声が入力されるモバイルデバイスユーザーの最大数は、所定のしきい値に設定されても構わない。また、入力音声に含まれる、雑音を指し得る、許容可能な背景音のレベルは、所定の音レベル閾値に設定されても構わない。会議出席者の最大数が所定の閾値を超えるか、または背景音のレベルが音レベル閾値を超えるかのいずれかの場合、始動要件が検出されないだろう。さらに、入力音の許容残響時間は、適当な大きさの会議室において測定可能な残響時間の範囲に入る所定の時間(time period)(例えば200〜500ミリ秒)に設定されても構わない。
別の実施形態によれば、会議環境の音響モデルは、始動要件として使用されても構わない。この場合、様々な会議環境は、会議環境の音響モデルの代表(representative)を得るためにGMM(ガウス混合モデル)法またはHMM(隠れマルコフモデル)法などのモデリング方法論を通じて訓練される。このような音響モデルを用いて、モバイルデバイスの入力音が音響モデルに対応する時に、始動要件は検出される。例えば、始動要件は、入力音と音響モデルとの類似度が所定の類似閾値よりも大きい時に検出されても構わない。
図8Bは、本開示の一実施形態に係る、モバイルデバイスによって実行され、二つ以上の始動要件が検出された時に、サーバー150に入力音情報を送信する開始の方法のフローチャートを示す。図8Bでは、二つの始動要件、つまり、第1の始動要件および第2の始動要件がモバイルデバイス160の開始するユニット210によってモニタされる。もし第1の始動要件が検出されないなら(812にて“NO”)、開始ユニット210は第1の始動要件をモニタし続ける。もし第1の始動要件が検出されたならば(812にて“YES”)、第2の始動要件がモニタされる。もし第2の始動要件が検出されないなら(814にて“NO”)、開始ユニット210は第2の始動要件をモニタし続ける。もし第2の始動要件が検出されたなら(814にて“YES”)、820にて、モバイルデバイス160の送信ユニット240は、サーバー150に入力音情報を送信することを開始する。モバイルデバイス160から入力音情報を受信すると、サーバー150は、上述したように、会議情報を生成してモバイルデバイス160に送信する。830にて、モバイルデバイス160の受信ユニット250は、サーバー150から会議情報を受信する。その後、840にて、モバイルデバイス160のディスプレイユニット290は、ユーザーのために会議情報を表示する。
図8Bは、二つの始動要件をモニタしていることを示しているが、二つよりも多くの始動要件がモニタされても構わない。さらに、図8Bは、順次二つの始動要件を連続してモニタすることを示しているが、始動要件は、互いに並列にモニタされても構わなく、そして、送信ユニット240は、一つまたは複数の始動要件が検出されたと決定された時に、サーバー150に入力音情報を送信することを開始しても構わない。
本開示の別の実施形態では、サーバー150は、出席者のモバイルデバイスからの入力音の音レベルまたは音声活動情報に基づいて、特定の時間での会議に出席者中の現在の話し手を決定する。図9Aは、本開示の一実施形態に係る、サーバー150によって実行される、各モバイルデバイスの入力音の音レベルに基づいて、会議の出席者の間で現在の話し手を決定する方法のフローチャートを示す。例証のために、図9Bは、ある期間にわたるモバイルデバイスのサブセットの入力音の音レベルダイアグラムを示す。
一実施形態によれば、各モバイルデバイスでキャプチャされた入力音に関連付けられた入力音情報は入力音の音レベルを含む。音レベルは、音のエネルギーや音の大きさを示し、そして、振幅、強度などで表され得り、そして、例えば、デシベルで測られ得る。各モバイルデバイスは、サーバー150に音レベルを含む入力音情報を送信する。
図9Aに関して、910にて、サーバー150の受信ユニット340は、モバイルデバイスから音レベルを含む入力音情報を受信する。サーバー150の出席者決定ユニット320は、モバイルデバイスからの入力音情報に基づいて、複数のモバイルデバイスのユーザーの全ての中での会議の出席者を決定する。920にて、サーバー150の話し手決定ユニット380は決定された出席者のモバイルデバイスからの入力音情報に関連付けられた音レベルを比較し、そして、930にて、現在の話し手を決定し、現在の話し手のモバイルデバイスは比較された音レベルの中で最大の音レベルを有する。
現在の話し手は、所定の時間間隔で定期的に決定されても構わない。図9Bは、四つの期間間隔T1−T4 にわたる三つのモバイルデバイスの音レベルダイアグラムを示す。図示されるように、音レベルは音レベルの振幅によって示され、そして、各時間間隔の間の話し手は各区間内の振幅および/または持続時間(duration)に基づいて決定される。時間間隔T1の間に、第1のモバイルデバイスの音レベル振幅は最大となり、そして、したがって、第1のモバイルデバイスのユーザーは現在の話し手であると決定される。時間間隔T2においては、第3のモバイルデバイスのユーザーが現在の話し手であると決定される、何故なら音レベル振幅はこのモバイルデバイスで最も大きいからである。同様に、時間間隔T3においては、第2のモバイルデバイスのユーザーが現在の話し手であると決定される、何故なら第2のモバイルデバイスに対しての音レベル振幅がこの間隔内で最も大きいからである。同様に、時間間隔T4の間中においては、第3のモバイルデバイスのユーザーがその音圧レベル振幅に基づいて現在の話し手であると判定される。
モバイルデバイスの音レベルに基づいて、サーバー150は、現在の話し手に関する情報を含む会議情報を生成し、そして、出席者のモバイルデバイスに前記会議情報を送信する。サーバー150から会議情報を受信した各モバイルデバイスは、その表示ユニット上に現在の話し手に関する情報を表示し得る。
図10Aは、本開示の一実施形態に係る、サーバー150によって実行される、音声活動情報に基づいて、会議の出席者の間で現在の話し手を決定する方法のフローチャートを示す。例証の目的のために、図10Bは、ある期間にわたる各モバイルデバイスの平均入力音レベルに対する現在の入力音レベルの比のダイアグラムを示す。
この実施形態では、各モバイルデバイスでキャプチャされた入力音に関連付けられた入力音情報は、入力音の音声活動情報を含む。各モバイルデバイスの音声活動情報は、所定の時間にわたる平均入力音レベルに対する現在の入力音レベルの比から決定される。前記比は、所定の期間にわたる平均入力音と比べた所定の時間での現在の入力音の大きさを示している。平均入力音は、モバイルデバイスの周囲から連続的に発している背景音またはモバイルデバイスの周囲の環境音を表すことができ、そして、したがって、前記比は、現在の話し手を決定する際における背景音の影響を抑制または取り除くことをできる。各モバイルデバイスは、サーバー150に音声活動情報を含む入力音情報を送信する。
図10Aに関して、1010にて、サーバー150の受信ユニット340は、モバイルデバイスから音声活動情報を含む入力音情報を受信する。モバイルデバイスからの入力音情報に基づいて、サーバー150の出席者決定ユニット320は、複数のモバイルデバイスの全てのユーザーの中での会議の出席者を決定する。1020にて、サーバー150の話し手決定ユニット380は、決定された出席者のモバイルデバイスからの入力音情報に関連付けられた音レベル比を比較し、そして、1030にて、現在の話し手を決定し、その話し手のモバイルデバイスは比較された音レベル比の中で最も大きな音レベル比を有する。
現在の話し手は、所定の時間間隔で定期的に決定されても構わない。図10Bは、四つの時間間隔T1−T4 にわたる三つのモバイルデバイスの音レベル比ダイアグラムを示す。図示されるように、各モバイルデバイスの音レベル比は、所定の期間にわたる平均入力音に対する現在の入力音レベルの比によって示され、そして、各時間間隔の間の話し手は各間隔内の音レベル比および/または持続時間(duration)に基づいて決定される。時間間隔T1の間に、第1のモバイルデバイスの音レベル比は最大となり、そして、したがって、第1のモバイルデバイスのユーザーは現在の話し手であると決定される。時間間隔T2においては、第3のモバイルデバイスのユーザーが現在の話し手であると決定される、何故なら音レベル比はこのモバイルデバイスで最も大きいからである。同様に、時間間隔T3においては、第2のモバイルデバイスのユーザーが現在の話し手であると決定される、何故なら第2のモバイルデバイスに対しての音レベル比がこの間隔内で最も大きいからである。同様に、時間間隔T4の間中においては、第3のモバイルデバイスのユーザーがその音圧レベル比に基づいて現在の話し手であると判定される。
モバイルデバイスの音レベル比に基づいて、サーバー150は、現在の話し手に関する情報を含む会議情報を生成し、そして、出席者のモバイルデバイスの前記会議情報を送信する。サーバー150から会議情報を受信した各モバイルデバイスは、その表示ユニット上に現在の話し手に関する情報を表示し得る。
図11Aは、本開示の一実施形態に係る、サーバー150によって実行される、音声活動情報に基づいて、会議の出席者の間で現在の話し手を決定する方法のフローチャートを示す。例証の目的のために、図11Bは、ある期間にわたる、各モバイルデバイスの入力音がモバイルデバイスのユーザーの音声の音響特性と一致している、モバイルデバイスのサブセットに対する確率のダイアグラムを示す。
この実施形態では、各モバイルデバイスでキャプチャされた入力音に関連付けられた入力音情報は、入力音の音声活動情報を含む。各モバイルデバイスの音声活動情報は、モバイルデバイスの入力音がモバイルデバイスのユーザーの音声の音響特性と一致する確率から決定される。前記音響特性は、各モバイルデバイスに予め記憶されていても構わない。例えば、モバイルデバイスの表示ユニットに表示されるメッセージは、ユーザーの音声がモバイルデバイス内に記憶され、そして、分析するために処理され、そして、その音響特性を記憶するように、ユーザーに所定のフレーズを読むように促す。一実施形態では、ユーザーの音声の音響的特徴を表す音響モデルが使用されても構わない。具体的には、入力音が音響モデルに対応する確率は、入力音と音響モデルとの類似度に基づいて決定されても構わない。例えば、類似度は、入力音を表すベクトルと音響モデルを表す別のベクトルとの間のユークリッド距離に基づいて、推定されても構わない。各モバイルデバイスは、サーバー150に音声活動情報を含む入力音情報を送信する。
図11Aに関して、1110にて、サーバー150の受信ユニット340は、モバイルデバイスから音声活動情報を含む入力音情報を受信する。モバイルデバイスからの入力音情報に基づいて、サーバー150の出席者決定ユニット320は、複数のモバイルデバイスの全てのユーザーの中での会議の出席者を決定する。1120にて、サーバー150の話し手決定ユニット380は、決定された出席者のモバイルデバイスからの入力音情報に関連付けられた前記確率を比較し、そして、1120にて、現在の話し手を決定し、その話し手のモバイルデバイスは比較された確率の中で最も高い確率を有する。
現在の話し手は、所定の時間間隔で定期的に決定されても構わない。図11Bは、四つの時間間隔T1−T4にわたる三つのモバイルデバイスのマッチング確率ダイアグラムを示す。図示されるように、各モバイルデバイスのマッチング確率は、所定の期間にわたるマッチング確率の値によって示され、そして、各時間間隔の間の話し手は各間隔内のマッチング確率および/または持続時間(duration)に基づいて決定される。時間間隔T1の間に、第1のモバイルデバイスのマッチング確率は最大となり、そして、したがって、第1のモバイルデバイスのユーザーは現在の話し手であると決定される。時間間隔T2においては、第3のモバイルデバイスのユーザーが現在の話し手であると決定される、何故ならマッチング確率はこのモバイルデバイスで最も高いからである。同様に、時間間隔T3においては、第2のモバイルデバイスのユーザーが現在の話し手であると決定される、何故なら第2のモバイルデバイスに対してのマッチング確率がこの間隔内で最も大きいからである。同様に、時間間隔T4の間中においては、第3のモバイルデバイスのユーザーがそのマッチング確率に基づいて現在の話し手であると判定される。
モバイルデバイスのマッチング確率に基づいて、サーバー150は、現在の話し手に関する情報を含む会議情報を生成し、そして、出席者のモバイルデバイスに前記会議情報を送信する。サーバー150から会議情報を受信した各モバイルデバイスは、その表示ユニット上に現在の話し手に関する情報を表示し得る。
本開示の一実施形態では、サーバー150は、出席者のモバイルデバイスの各ペアの入力音情報間の類似度に基づいて、会議での出席の配置を算出する。
モバイルデバイス160および162などのモバイルデバイスを伴うN人の出席者は、場所110などの一つの特定の場所で会議に参加するとする。サーバー150は、モバイルデバイスからの入力音の情報間の類似度に基づいてN人の出席者を識別する。さらに、サーバー150は、N個のモバイルデバイスから送信される場所情報に基づいて、N個のモバイルデバイスの場所を識別する。N個のモバイルデバイスの各々もまた、その入力音情報をサーバーに送信し、そして、サーバー150の出席者配置算出ユニット370は、N個のモバイルデバイスからの入力音情報に基づいて、N×N行列を算出する。各モバイルデバイスからの入力音情報は、モバイルデバイスの入力音および/または前記入力音の音シグニチャを含む。a,ij,と言及される、N×N行列のi番目の行かつj番目の列のエントリは、N個のモバイルデバイスのi番目のモバイルデバイスからの入力音とj番目のモバイルデバイスからの入力音との類似度に基づいて計算されても構わない。上記実施形態では、類似度が用いられるが、出席者のモバイルデバイスの各ペアの入力音情報間の相違度が交換可能に(interchangeably)用いられることは理解されるべきである。
いくつかの実施形態では、類似度は、i番目のモバイルデバイスからの音声シグネチャを表すベクトルと、j番目のモバイルデバイスからの音声シグネチャを表す別のベクトルとの間のユークリッド距離に基づいて算出されても構わない。例えば、類似度は、ユークリッド距離に反比例する値、例えば、ユークリッド距離の逆数または前記逆数の対数をとる値でも構わなく、一方、相違度はユークリッド距離に比例する値でも構わない。
一実施形態では、N×N行列の各エントリは、N個のモバイルデバイスの各ペアの入力音間の音レベルの差に基づいて計算されても構わない。例えば、j番目の列中のi番目の行のエントリは、j番目のモバイルデバイスに対してのi番目のモバイルデバイスの入力音の差または比に基づいて決定されても構わない。
N×N行列の全てのエントリが決定された後、出席者配置算出ユニット370は、N×N行列を、PCA(主成分分析)、MDS(多次元スケーリング)などの次元削減手法を通じて、2×N行列に変換する。N×N行列は、一般に、対称行列であるので、固有値分解プロセスは、二つの最大の固有ベクトルが2×N行列を構成するように、N×N行列に対して行われる。2×N行列の各列の二つのエントリは、2次元平面上の特定のモバイルデバイスのxおよびy座標とみなされても構わない。例えば、2×N行列のj番目の列内の二つのエントリa1,jおよびa2,jは、2次元平面上のj番目のモバイルデバイスのxおよびy座標でも構わない。
図12Aは、特定の場所での会議でのモバイルデバイス1201,1202,1203および1204の典型的な配置、および、前記配置を計算するための相似行列を示している。出席者配置算出ユニット370は、四つのモバイルデバイスの各ペアの入力音情報間の類似度に基づいて、4×4行列を算出する。具体的には、4×4行列のエントリai,jは、i番目のモバイルデバイスからの入力音とj番目のモバイルデバイスからの入力音との間の類似度を表す。例えば、エントリa1,3は、モバイルデバイス1201からの入力音とモバイルデバイス1203からの入力音声との間の類似度を表す。
全てのエントリが決定された後、出席者配置算出ユニット370は、4×4行列を、例えば、上述したPCAまたはMDSなどを用いて、2×4行列に変換する。2×4行列の各列の二つのエントリは、2次元平面上の各モバイルデバイスのxおよびy座標を示す。例えば、エントリa1,jおよびa2,jは、それぞれ、モバイルデバイス1201のxおよびy座標、つまり、(x1,y1)を示しても構わない。モバイルデバイスの場所は出席者の場所であるとみなされ、そして、したがって、出席者の配置は、2×4行列のエントリに基づいて、図12Aに示されるように、2次元平面上に表すことができる。
2次元平面上の配置は、出席者間の相対的な位置関係を示す。それ故に、出席者の実際の配置は、2次元平面上に表された配置をxおよびy座標に関して、回転したり、スケーリングしたり、またはひっくり返す(flipping)などの特定の処理を経ることで得られる。
サーバー150は、上記のように算出された出席者の配置に関する情報を含む会議情報を生成し、そして、出席者のモバイルデバイスの各々に前記会議情報を送信する。各モバイルデバイスの表示ユニットは、図12Bに示されるように、出席者の配置を視覚的に表示しても構わない。
本開示の一実施形態では、サーバー150のログ生成ユニット360は、出席者参加情報を含む会議の打合せログを生成する。出席者参加情報は、例えば、いつどの出席者が会議に参加したか、いつどの出席者が特定の時間での現在の話し手か、いつどの出席者が会議を去ったかなどの、会議での出席者の様々な活動を含む。
具体的には、サーバー150の出席者決定ユニット320は、新しい出席者のモバイルデバイスからの入力音と他の出席者の他のモバイルデバイスの各々からの入力音との間の類似度に基づいて、新しい出席者が会議に参加したことを決定する。次に、ログ生成ユニット360は、例えば、いつ新しい出席者が参加したか、新しい出席者の識別(identification)を伴って、ログ情報を更新する。同様に、サーバー150の出席者決定ユニット320はまた、その去っている出席者のモバイルデバイスからの入力音と他の出席者の他のモバイルデバイスの各々からの入力音との間の類似度に基づいて、会議の出席者の一人が会議を去ったことを決定する。次に、ログ生成ユニット360は、例えば、いつ出席者が去ったかの時間、その去っている出席者の識別(identification)を伴って、ログ情報を更新する。次に、ログ生成ユニット360は、例えば、所定の時間での現在の話し手の識別(identification)を伴って、ログ情報をさらに更新する。
ログ情報は、図13に示されるように、ダイアグラムを表すことが可能な形態で生成されても構わない。図13のログ情報は、第1のユーザーおよび第2のユーザーがまず会議に参加し、その後、第3のユーザーが会議に参加することを表している。さらに、ログ情報は引き続く現在の話し手、例えば、第2のユーザーの次に第3のユーザーが続くことをさらに表している。そのうえ、ログ情報は、第3のユーザーが会議を去って、その後、第1のユーザーおよび第2のユーザーが会議を去ることを示している。
いくつかの実施形態では、ログ情報は、各出席者が現在の話し手として決定された合計時間を含むことができる。各出席者の会議全体時間に対する現在の話し手としての合計時間の比率をさらに含んでいても構わない。
サーバー150は、先に述べたようにログ情報を含む会議情報を生成し、そして、出席者のモバイルデバイスの各々に前記会議情報を送信する。
図14は、無線通信システムにおける典型的なモバイルデバイスの設計のブロックダイアグラムを示す。典型的なモバイルデバイス1400の構成は、モバイルデバイス160,162,164,166および168により実効されても構わない。モバイルデバイス1400は、携帯電話、端末、ハンドセット、パーソナルデジタルアシスタント(PDA)、無線モデム、コードレス電話などでも構わない。無線通信システムは、符号分割多元接続(CDMA)システム、グローバル・システム・フォー・モバイル・コミュニケーションズ(GSM(登録商標))システム、広帯域符号分割多元接続(WCDMA(登録商標))システム、ロング・ターム・エボルーション(LTE)システム、LTEアドバンストシステムなどでも構わない。さらに、モバイルデバイス1400は、例えば、Wi−Fiダイレクト、Bluetooth(登録商標)またはFlashLinq技術を用いて、別のモバイルデバイスと直接的に通信を行っても構わない。
モバイルデバイス1400は、受信経路および送信経路を介して双方向通信を提供することができる。受信経路上では、基地局によって送信された信号は、アンテナ1412によって受信され、そして、受信機(RCVR)1414に提供される。受信機1414は、受信信号を調整およびデジタル化し、そして、前記調整およびデジタル化された信号などのサンプルをさらなる処理のためのデジタルセクションに提供する。送信経路上では、送信機(TMTR)1416は、デジタルセクション1420から送信されるデータを受信し、前記データを処理および調整し、そして、アンテナ1412を介して基地局に送信される、変調信号を生成する。受信機1414および送信機1416は、CDMA、GSM、LTE、LTEアドバンストなどをサポートする送受信機の一部でも構わない。
デジタルセクション1420は、様々な処理、インタフェース、およびメモリユニット、例えば、モデムプロセッサ1422、縮小命令セットコンピュータ/デジタル信号プロセッサ(RISC/DSP)1424、コントローラ/プロセッサ1426、内部メモリ1428、汎用オーディオエンコーダ1432、汎用オーディオデコーダ1434、グラフィックス/ディスプレイプロセッサ1436、および外部バスインタフェース(EBI)1438などを含む。モデムプロセッサ1422は、データ送信および受信のための処理、例えば、符号化、変調、復調、および復号を行っても構わない。RISC/DSP1424は、モバイルデバイス1400のための一般的および特殊な処理を行っても構わない。コントローラ/プロセッサ1426は、デジタルセクション1420内の処理およびインタフェースユニット(processing and interface units)の様々な動作を行っても構わない。内部メモリ1428は、デジタルセクション1420内の様々なユニットのためのデータおよび/または命令を記憶しても構わない。汎用オーディオエンコーダ1432は、オーディオソース1442、マイクロフォン1443などからの入力信号に対して符号化を行っても構わない。汎用オーディオデコーダ1434は、符号化されたオーディオデータに対して復号を行っても構わなく、そして、スピーカー/ヘッドセット1444に出力信号を提供しても構わない。グラフィクス/表示プロセッサ1436は、表示ユニット1446に提示され得る、グラフィックス、ビデオ、画像、およびテキストのための処理を行っても構わない。EBI1438は、デジタルセクション1420メインメモリ1448との間のデータ転送を容易にすることができる。
デジタルセクション1420は、一つまたは複数のDSP、マイクロプロセッサ、RISCなどで実装されても構わない。デジタルセクション1420はまた、一つまたは複数の特定用途向け集積回路(ASIC)および/またはいくつかの他のタイプの集積回路上に製造されても構わない。
一般に、本明細書に記載の任意のデバイスは、無線電話、セルラフォン、ラップトップコンピュータ、無線マルチメディアデバイス、無線通信パーソナルコンピュータ(PC)カード、PDA、外部または内部モデム、無線チャネルを介して通信するデバイスなどの様々なタイプのデバイスを表し得る。デバイスは、例えば、アクセスターミナル(AT)、アクセスユニット、加入者ユニット、移動局、モバイルデバイス、モバイルユニット、携帯電話、モバイル、遠隔局、遠隔ターミナル、遠隔ユニット、ユーザーデバイス、ユーザー機器、ハンドヘルドデバイスなどのなどの様々な手段を持ち得る。本明細書に記載する任意のデバイスは、命令およびデータを記憶するためのメモリの他に、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組合せを有し得る。
本明細書に記載された技術は、様々な手段によって実施し得る。例えば、これらの技術は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せで実現し得る。当業者は、さらに、本明細書の開示に関連して説明された様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップが、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実施し得ることを理解するであろう。ハードウェアとソフトウェアとのこの互換性を明確に説明するために、様々な例示的なコンポーネント、ブロック、モジュール、回路、およびステップが、それらの機能の観点から一般的に上述されている。そのような機能がハードウェアまたはソフトウェアとして実装されるかどうかは、特定の用途およびシステム全体に課された設計制約に依存する。当業者は、各特定のアプリケーションのために様々な方法で説明された機能を実装することができるが、そのような実装の決定は、本開示の範囲からの逸脱を引き起こすと解釈されるべきではない。
ハードウェア実装のために、技術を実行するために使用される処理ユニットは、一つまたは複数の、ASIC、DSP、デジタル信号処理デバイス(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書に記載の機能を実行するように設計された他の電子ユニット、または、それらの組合せ内で実装され得る。
したがって、本明細書の開示に関連して説明された様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、DSP、ASIC、FPGA、または他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタロジック、ディスクリートハードウェアコンポーネント、または、本明細書に記載の機能を実行するように設計された任意の組合せを伴って、実装または実施されても構わない。汎用プロセッサは、マイクロプロセッサでもよいが、代わりに、前記プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシーンでも構わない。プロセッサはまた、コンピューティングデバイスの組合せ、例えば、DSPとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと合同の一つまたは複数のマイクロプロセッサ、または任意の他のそのような構成として実装されても構わない。
ファームウェアおよび/またはソフトウェア実装については、前記技術は、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、不揮発性ランダムアクセスメモリ(NVRAM)、プログラマブル読取り専用メモリ(PROM)、電気的消去可能PROM(EEPROM)、FLASHメモリ、コンパクトディスク(CD)、磁気または光データ記憶デバイスなどのコンピュータ可読媒体上に格納された命令として実施することができる。前記命令は、一つまたは複数のプロセッサによって実行可能であってもよいし、そして、前記プロセッサ(s)に本明細書に記載の機能性のある態様を実行させてもよい。
一つまたは複数の例示的な実施形態では、説明した機能はハードウェア、ソフトウェア、ファームウェア、またはその任意の組合せで実装できる。ソフトウェアで実装する場合、機能は、一つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶するか、あるいはコンピュータ可読媒体を介して送信することができる。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスできる任意の利用可能な媒体でよい。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD−ROMもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または、命令もしくはデータ構造の形態の所望のプログラムコードを運搬または記憶するために使用でき、コンピュータによってアクセスできる任意の他の媒体を備えることができる。さらに、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバー、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用されるディスク(disk)およびディスク(disc)は、CD、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)およびブルーレイディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、取外し可能ディスク、CD−ROM、または当技術分野で知られている任意の他の形態の記憶媒体内に存在してもよい。例示的な記憶媒体は、プロセッサが、記憶媒体から情報を読み出し、記憶媒体に情報を書き込むことができるようにプロセッサに結合されている。代替的には、記憶媒体は、プロセッサと一体であってよい。プロセッサおよび記憶媒体は、ASIC内に存在してもよい。ASICはユーザー端末内に存在してもよい。代替的には、プロセッサおよび記憶媒体は、ユーザー端末内でディスクリートコンポーネントとして存在してもよい。
本開示の先の説明は、任意の当業者が本開示を作製かまたは使用することを可能にするために提供されている。本開示に対する種々の変更は、当業者に容易に明らかになり、そして、本書類で規定される一般的な原理は、本開示の精神または範囲から逸脱することなく、他の変更に適用されてもよい。したがって、本開示は、本書類で説明された例および設計に限定されることを意図されるのではなく、本書類に開示される原理および新規な特徴に一致する最も広い範囲に一致することを意図される。
例示的な実施は、一つまたは複数のスタンドアロンのコンピュータシステムとの関係で本明細書に開示される主題の態様を利用することを言及することがあるが、前記主題はそのように限定されるものではなく、むしろ、ネットワークまたは分散コンピューティング環境などの任意のコンピューティング環境との関連で実施することができる。さらに、本明細書に開示される主題の態様は、複数の処理チップまたはデバイスの内または複数の処理チップまたはデバイスに跨がって実装されても構わなく、そして、記憶も同様に複数のデバイスに跨がって遂げられても構わない。このようなデバイスは、PC、ネットワークサーバー、およびハンドヘルドデバイスを含み得る。
前記主題は、構造的な特徴および/または方法論的な動作に特有の言葉で説明されてきたが、添付の特許請求の範囲内で定義される主題は、必ずしも上述した特定の特徴または動作に限定されないことを理解されたい。むしろ、上述の特定の特徴および動作は、特許請求の範囲を実施する例示的な形態として開示されている。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1]モバイルデバイス内に会議情報を提供するための方法、前記方法は、
前記モバイルデバイス内で、一つまたは複数の場所(locations)での会議の一つまたは複数の始動要件(starting requirements)をモニタすること;
前記会議の前記一つまたは複数の始動要件が検出されたときに、前記モバイルデバイスからの入力音情報(input sound information)をサーバーに送信すること;
前記サーバーから会議情報を受信すること;および
前記会議情報を前記モバイルデバイス上に表示すること
を具備してなること。
[2][1]の方法において、前記会議は、二つ以上の場所間での遠隔会議(teleconference)である。
[3][1]の方法において、前記会議は、一つの場所にてである。
[4][1]の方法において、前記会議の前記一つまたは複数の始動要件は、前記会議の開始時間、前記会議の場所および会議環境(conference environment)の音響特性の少なくとも一つを具備してなる。
[5][1]の方法において、前記一つまたは複数の始動要件は、前記モバイルデバイス中に入力される音(sound)が会議環境の音響特性に対応するときに検出される。
[6][1]の方法においては、一つまたは複数の始動要件をモニタすることは、前記モバイルデバイス内に前記会議の前記一つまたは複数の始動要件を予め記憶することを具備してなる。
[7][1]の方法において、前記会議情報は、前記会議での出席者についての情報を具備してなる。
[8][7]の方法において、前記出席者についての前記情報は、前記出席者の識別(identification)および場所の少なくとも一つを具備してなる。
[9][1]の方法において、前記入力音情報は、前記モバイルデバイスの入力音の音レベルを具備してなる。
[10][1]の方法において、前記入力音情報は、前記会議での出席者中の現在の話し手を決定するための、前記モバイルデバイスの音声活動(voice activity)情報を具備してなる。
[11][10]の方法において、前記音声活動情報は、前記モバイルデバイスの所定の期間の時間(period of time)にわたる平均入力音レベルに対する現在の入力音レベルの比を具備してなる。
[12][10]の方法において、前記音声活動情報は、前記モバイルデバイスの入力音が前記モバイルデバイスのユーザーの音声の音響特性と一致する確率を具備してなる。
[13][1]の方法において、前記会議情報は、前記会議での出席者の配置についての情報を具備してなる。
[14][1]の方法において、前記会議情報は、参加者参加(attendee participation)情報を含む打合せログ(meeting log)を具備してなる。
[15]会議情報を提供するためのモバイルデバイスは、
一つまたは複数の場所(locations)での会議の一つまたは複数の始動要件(starting requirements)をモニタするように構成された開始(initiating)ユニット;
前記会議の前記一つまたは複数の始動要件が検出されたときに、入力音情報(input sound information)をサーバーに送信するように構成された送信ユニット;
前記サーバーから会議情報を受信するように構成された受信ユニット;および
前記会議情報を表示するように構成された表示ユニット
を具備してなること。
[16][15]のモバイルデバイスにおいて、前記会議は、二つ以上の場所間での遠隔会議(teleconference)である。
[17][15]のモバイルデバイスにおいて、前記会議は、一つの場所にてである。
[18][15]のモバイルデバイスにおいて、前記会議の前記一つまたは複数の始動要件は、前記会議の開始時間、前記会議の場所および会議環境(conference environment)の音響特性の少なくとも一つを具備してなる。
[19][15]のモバイルデバイスにおいて、前記一つまたは複数の始動要件は、前記モバイルデバイス中に入力される音(sound)が会議環境の音響特性に対応するときに検出される。
[20][15]のモバイルデバイス置において、前記会議の前記一つまたは複数の始動要件は、前記モバイルデバイス内に予め記憶されている。
[21][15]のモバイルデバイスにおいて、前記会議情報は、前記会議の出席者についての情報を具備してなる。
[22][21]のモバイルデバイスにおいて、前記出席者についての前記情報は、前記出席者の識別(identification)および場所の少なくとも一つを具備してなる。
[23][15]のモバイルデバイスにおいて、前記入力音情報は、前記モバイルデバイスの入力音の音レベルを具備してなる。
[24][15]のモバイルデバイスにおいて、前記入力音情報は、前記会議での出席者中の現在の話し手を決定するための、前記モバイルデバイスの音声活動(voice activity)情報を具備してなる。
[25][24]のモバイルデバイスにおいて、前記音声活動情報は、前記モバイルデバイスの所定の期間の時間(period of time)にわたる平均入力音レベルに対する現在の入力音レベルの比を具備してなる。
[26][24]のモバイルデバイスにおいて、前記音声活動情報は、前記モバイルデバイスの入力音が前記モバイルデバイスのユーザーの音声の音響特性と一致する確率を具備してなる。
[27][15]のモバイルデバイスにおいて、前記会議情報は、前記会議での出席者の配置についての情報を具備してなる。
[28][15]のモバイルデバイスにおいて、前記会議情報は、参加者参加(attendee participation)情報を含む打合せログ(meeting log)を具備してなる。
[29]会議情報を提供するためのモバイルデバイスは、
一つまたは複数の場所での会議の一つまたは複数の始動要件(starting requirements)をモニタするための開始(initiating)手段;
前記会議の前記一つまたは複数の始動要件が検出されたときに、入力音情報(input sound information)をサーバーに送信するための送信手段;
前記サーバーから会議情報を受信するための受信手段;および
前記会議情報を表示するための表示手段
を具備してなること。
[30][29]のモバイルデバイスにおいて、前記会議は、二つ以上の場所間での遠隔会議(teleconference)である。
[31][29]のモバイルデバイスにおいて、前記会議は、一つの場所にてである。
[32][29]のモバイルデバイスにおいて、前記会議の前記一つまたは複数の始動要件は、前記会議の開始時間、前記会議の場所および会議環境(conference environment)の音響特性の少なくとも一つを具備してなる。
[33][29]のモバイルデバイスにおいて、前記一つまたは複数の始動要件は、前記モバイルデバイス中に入力される音(sound)が会議環境の音響特性に対応するときに検出される。
[34][29]のモバイルデバイス置において、前記会議の前記一つまたは複数の始動要件は、前記モバイルデバイス内に予め記憶されている。
[35][29]のモバイルデバイスにおいて、前記会議情報は、前記会議の出席者についての情報を具備してなる。
[36][35]のモバイルデバイスにおいて、前記出席者についての前記情報は、前記出席者の識別(identification)および場所の少なくとも一つを具備してなる。
[37][29]のモバイルデバイスにおいて、前記入力音情報は、前記モバイルデバイスの入力音の音レベルを具備してなる。
[38][29]のモバイルデバイスにおいて、前記入力音情報は、前記会議での出席者中の現在の話し手を決定するための、前記モバイルデバイスの音声活動(voice activity)情報を具備してなる。
[39][38]のモバイルデバイスにおいて、前記音声活動情報は、前記モバイルデバイスの所定の期間の時間(period of time)にわたる平均入力音レベルに対する現在の入力音レベルの比を具備してなる。
[40][38]のモバイルデバイスにおいて、前記音声活動情報は、前記モバイルデバイスの入力音が前記モバイルデバイスのユーザーの音声の音響特性と一致する確率を具備してなる。
[41][29]のモバイルデバイスにおいて、前記会議情報は、前記会議での出席者の配置についての情報を具備してなる。
[42][29]のモバイルデバイスにおいて、前記会議情報は、参加者参加(attendee participation)情報を含む打合せログ(meeting log)を具備してなる。
[43]会議情報を提供するための命令(instructions)を具備してなるコンピュータ可読媒体、前記命令はプロセッサに、
モバイルデバイス内で、一つまたは複数の場所での会議の一つまたは複数の始動要件(starting requirements)をモニタすること;
前記会議の前記一つまたは複数の始動要件が検出されたときに、前記モバイルデバイスからの入力音情報(input sound information)をサーバーに送信すること;
前記サーバーから会議情報を受信すること;および
前記会議情報を前記モバイルデバイス上に表示すること
の動作(operations)を行わせること。
[44][43]の媒体において、前記会議は、二つ以上の場所間での遠隔会議(teleconference)である。
[45][43]の媒体において、前記会議は、一つの場所にてである。
[46][43]の媒体において、前記一つまたは複数の始動要件は、前記会議の開始時間、前記会議の場所および会議環境(conference environment)の音響特性の少なくとも一つを具備してなる。
[47][43]の媒体において、前記一つまたは複数の始動要件は、前記モバイルデバイス中に入力される音(sound)が会議環境の音響特性に対応するときに検出される。
[48][43]の媒体において、一つまたは複数の始動要件をモニタすることは、前記モバイルデバイス内に前記一つまたは複数の始動要件を予め記憶することを具備してなる。
[49][43]の媒体において、前記会議情報は、前記会議の出席者についての情報を具備してなる。
[50][49]の媒体において、前記出席者についての前記情報は、前記出席者の識別(identification)および場所の少なくとも一つを具備してなる。
[51][43]の媒体において、前記入力音情報は、前記モバイルデバイスの入力音の音レベルを具備してなる。
[52][43]の媒体において、前記入力音情報は、前記会議での出席者中の現在の話し手を決定するための、前記モバイルデバイスの音声活動(voice activity)情報を具備してなる。
[53][52]の媒体において、前記音声活動情報は、前記モバイルデバイスの所定の期間の時間(period of time)にわたる平均入力音レベルに対する現在の入力音レベルの比を具備してなる。
[54][52]の媒体において、前記音声活動情報は、前記モバイルデバイスの入力音が前記モバイルデバイスのユーザーの音声の音響特性と一致する確率を具備してなる。
[55][43]の媒体において、前記会議情報は、前記会議での出席者の配置についての情報を具備してなる。
[56][43]の媒体において、前記会議情報は、参加者参加(attendee participation)情報を含む打合せログ(meeting log)を具備してなる。
[57]サーバーおよび複数のモバイルデバイスを有するシステム内に会議情報を提供するための方法、前記方法は、
一つまたは複数のモバイルデバイスによって、一つまたは複数の場所での会議の一つまたは複数の始動要件(starting requirements)をモニタすること;
前記会議の前記一つまたは複数の始動要件が検出されたときに、各モバイルデバイスからの入力音情報(input sound information)を前記サーバーに送信すること;
前記サーバーによって、各モバイルデバイスからの前記入力音情報に基づいて、会議情報を生成すること;
前記サーバーからの前記会議情報を各モバイルデバイスに送信すること;および
前記会議情報を各モバイルデバイス上に表示すること
を具備してなること。
[58][57]の方法において、前記会議は、二つ以上の場所間での遠隔会議(teleconference)である。
[59][57]の方法において、前記会議は、一つの場所にてである。
[60][57]の方法において、前記会議の前記一つまたは複数の始動要件は、前記会議の開始時間、前記会議の場所および会議環境(conference environment)の音響特性の少なくとも一つを具備してなる。
[61][57]の方法において、前記一つまたは複数の始動要件は、各モバイルデバイス中に入力される音(sound)が会議環境の音響特性に対応するときに検出される。
[62][57]の方法において、一つまたは複数の始動要件をモニタすることは、各モバイルデバイス内に前記一つまたは複数の始動要件を予め記憶することを具備してなる。
[63][57]の方法において、前記会議情報は、前記会議の出席者についての情報を具備してなる。
[64][63]の方法において、前記出席者についての前記情報は、前記出席者の識別(identification)および場所の少なくとも一つを具備してなる。
[65][57]の方法において、前記入力音情報は、各モバイルデバイスからの入力音の音レベルを具備してなり、および
ここにおいて、会議情報を生成することは、前記一つまたは複数のモバイルデバイスからの前記音レベルに基づいて、前記会議での出席者中の現在の話し手を決定することを具備してなる。
[66][57]の方法において、前記入力音情報は、各モバイルデバイスからの音声活動(voice activity)情報を具備してなり、および
ここにおいて、会議情報を生成することは、前記一つまたは複数のモバイルデバイスからの前記音声活動に基づいて、前記会議での出席者中の現在の話し手を決定することを具備してなる。
[67][66]の方法において、各モバイルデバイスからの前記音声活動情報は、所定の期間の時間(period of time)にわたる平均入力音レベルに対する現在の入力音レベルの比を具備してなる。
[68][66]の方法において、各モバイルデバイスからの前記音声活動情報は、入力音が前記モバイルデバイスのユーザーの音声の音響特性と一致する確率を具備してなる。
[69][57]の方法において、前記会議情報は、前記会議での出席者の配置についての情報を具備してなる。
[70][69]の方法において、前記会議での前記出席者の前記配置は、前記一つまたは複数のモバイルデバイスの各ペア間の前記入力音情報の類似度に基づいて決定される。
[71][57]の方法において、前記会議情報は、参加者参加(attendee participation)情報を含む打合せログ(meeting log)を具備してなる。
[72][57]の方法において、前記一つまたは複数のモバイルデバイスの各々からの前記入力音情報は入力音(input sound)を具備してなり、そして
ここにおいて、会議情報を生成することは、
前記サーバーによって、前記一つまたは複数のモバイルデバイスの各ペア間の入力音の類似度を決定すること;および
前記サーバーによって、前記類似度に基づいて、前記会議での出席者のモバイルデバイスを決定すること
を具備してなる。
[73][72]の方法において、前記出席者の前記モバイルデバイスは、前記類似度が所定の閾値よりも大きいかに基づいて決定される。
[74]サーバーおよび複数のモバイルデバイスを有するシステム内に会議情報を提供するための命令(instructions)を具備してなるコンピュータ可読記憶媒体、前記命令はプロセッサに、
一つまたは複数のモバイルデバイスによって、一つまたは複数の場所での会議の一つまたは複数の始動要件(starting requirements)をモニタすること;
前記会議の前記一つまたは複数の始動要件が検出されたときに、各モバイルデバイスからの入力音情報(input sound information)を前記サーバーに送信すること;
前記サーバーによって、各モバイルデバイスからの前記入力音情報に基づいて、会議情報を生成すること;
前記サーバーから前記会議情報を各モバイルデバイスに送信すること;および
前記会議情報を各モバイルデバイス上に表示すること
の動作(operations)を行わせること。
[75][74]の媒体において、前記会議は、二つ以上の場所間での遠隔会議(teleconference)である。
[76][74]の媒体において、前記会議は、一つの場所にてである。
[77][74]の媒体において、前記会議の前記一つまたは複数の始動要件は、前記会議の開始時間、前記会議の場所(location)および会議環境(conference environment)の音響特性の少なくとも一つを具備してなる。
[78][74]の媒体において、前記一つまたは複数の始動要件は、各モバイルデバイス中に入力される音(sound)が会議環境の音響特性に対応するときに検出される。
[79][74]の媒体において、一つまたは複数の始動要件をモニタすることは、各モバイルデバイス内に前記一つまたは複数の始動要件を予め記憶することを具備してなる。
[80][74]の媒体において、前記会議情報は、前記会議の出席者についての情報を具備してなる。
[81][80]の媒体において、前記出席者についての前記情報は、前記出席者の識別(identification)および場所の少なくとも一つを具備してなる。
[82][74]の媒体において、前記入力音情報は、各モバイルデバイスからの入力音の音レベルを具備してなり、および
ここにおいて、会議情報を生成することは、前記一つまたは複数のモバイルデバイスからの前記音レベルに基づいて、前記会議での出席者中の現在の話し手を決定することを具備してなる。
[83][74]の媒体において、前記入力音情報は、各モバイルデバイスからの音声活動(voice activity)情報を具備してなり、および
ここにおいて、会議情報を生成することは、前記一つまたは複数のモバイルデバイスからの前記音声活動に基づいて、前記会議での出席者中の現在の話し手を決定することを具備してなる。
[84][83]の媒体において、各モバイルデバイスからの前記音声活動情報は、所定の期間の時間(period of time)にわたる平均入力音レベルに対する現在の入力音レベルの比を具備してなる。
[85][83]の媒体において、各モバイルデバイスからの前記音声活動情報は、入力音が前記モバイルデバイスのユーザーの音声の音響特性と一致する確率を具備してなる。
[86][74]の媒体において、前記会議情報は、前記会議での出席者の配置についての情報を具備してなる。
[87][86]の媒体において、前記会議での前記出席者の前記配置は、前記一つまたは複数のモバイルデバイスの各ペア間の前記入力音情報の類似度に基づいて決定される。
[88][74]の媒体において、前記会議情報は、参加者参加(attendee participation)情報を含む打合せログ(meeting log)を具備してなる。
[89][74]の媒体において、前記一つまたは複数のモバイルデバイスの各々からの前記入力音情報は入力音(input sound)を具備してなり、そして
ここにおいて、会議情報を生成することは、
前記サーバーによって、前記一つまたは複数のモバイルデバイスの各ペア間の入力音の類似度を決定すること;および
前記サーバーによって、前記類似度に基づいて、前記会議での出席者のモバイルデバイスを決定すること
を具備してなる。
[90][89]の媒体において、前記出席者の前記モバイルデバイスは、前記類似度が所定の閾値よりも大きいかに基づいて決定される。

Claims (56)

  1. 会議中に、モバイルデバイスが所定の構内に位置している間に、前記モバイルデバイスからサーバーに入力音情報(input sound information)を送信することと、
    前記サーバーから会議情報を受信することとを含み、
    前記会議情報は、前記モバイルデバイスの、前記所定の構内の第1の物理的な場所と、第2のモバイルデバイスの、前記所定の構内の第2の物理的な場所とを示しており、
    前記第1の物理的な場所と前記第2の物理的な場所は、前記モバイルデバイスからの前記入力音情報と、前記第2のモバイルデバイスからの第2の入力音情報との間の類似性に基づいて決定されたものである方法。
  2. 請求項1の方法において、前記会議は、二つ以上の構内に位置しているデバイス間での遠隔会議(teleconference)である。
  3. 請求項1の方法において、前記第1の物理的な場所に対応する第1の表示の場所における第1のアイコンと、前記第2の物理的な場所に対応する第2の表示の場所における第2のアイコンとを含むグラフィカルユーザインターフェースを表示することをさらに含む
  4. 請求項1の方法において、前記会議情報は、前記会議での出席者に関連する情報を含む
  5. 請求項の方法において、前記情報は、前記出席者の識別(identification)場所とのうちの少なくとも一つを含む
  6. 請求項1の方法において、前記入力音情報は、前記モバイルデバイスの入力音の音レベルを含む
  7. 請求項1の方法において、前記入力音情報は、前記会議での出席者中の現在の話し手を決定するための、前記モバイルデバイスの音声活動(voice activity)情報を含む
  8. 請求項の方法において、前記音声活動情報は、所定の期間の時間(period of time)にわたる平均入力音レベルに対する現在の入力音レベルの比を含む
  9. 請求項の方法において、前記音声活動情報は、前記モバイルデバイスの入力音が前記モバイルデバイスのユーザーの音声の音響特性と一致する確率を含む
  10. 請求項1の方法において、前記会議情報は、前記会議の打合せログ(meeting log)を含み、参加者参加(attendee participation)情報を含む
  11. 会議情報を提供するサーバーにおいて
    所定の構内に関係付けられている会議に参加している複数のモバイルデバイスから入力音情報を受信するように構成されている受信ユニットと、
    前記複数のモバイルデバイスのうちの第2のモバイルデバイスから受信された第2の入力音情報に対する、前記複数のモバイルデバイスのうちの第1のモバイルデバイスから受信された第1の入力音情報の類似性に基づいて、前記第1のモバイルデバイスの、前記所定の構内の第1の物理的な場所を決定するようにと、前記第1の入力音情報に対する前記第2の入力音情報の類似性に基づいて、前記第2のモバイルデバイスの、前記所定の構内の第2の物理的な場所を決定するように構成されている配置ユニットと、
    前記サーバーから前記複数のモバイルデバイスに会議情報を送信するように構成されている送信ユニットとを具備するサーバー
  12. 請求項11サーバーにおいて、前記会議は、二つ以上の構内に位置しているデバイス間での遠隔会議(teleconference)である。
  13. 請求項11サーバーにおいて、前記所定の構内は所定の都市の会議室を含む
  14. 請求項11サーバーにおいて、前記会議情報は、前記会議の出席者に関連する情報を含む
  15. 請求項14サーバーにおいて、前記情報は、前記出席者の識別(identification)場所とのうちの少なくとも一つを含む
  16. 請求項11サーバーにおいて、前記入力音情報は、前記複数のモバイルデバイスのそれぞれの入力音の音レベルを含む
  17. 請求項11サーバーにおいて、前記入力音情報は、前複数のモバイルデバイスのそれぞれの音声活動(voice activity)情報を含む
  18. 請求項17サーバーにおいて、前記音声活動情報は、所定の期間の時間(period of time)にわたる平均入力音レベルに対する現在の入力音レベルの比を含む
  19. 請求項17サーバーにおいて、前記複数のモバイルデバイスのそれぞれからの前記音声活動情報は、入力音が前記複数のモバイルデバイスのうちの所定のモバイルデバイスのユーザーの音声の音響特性と一致する確率を含む
  20. 請求項11サーバーにおいて、前記会議情報は、前記会議の打合せログ(meeting log)を含み、参加者参加(attendee participation)情報を含む
  21. サーバーにおいて
    所定の構内に関係付けられている会議に参加している複数のモバイルデバイスから入力音情報を受信する手と、
    前記複数のモバイルデバイスのうちの第2のモバイルデバイスから受信された第2の入力音情報に対する、前記複数のモバイルデバイスのうちの第1のモバイルデバイスから受信された第1の入力音情報の類似性に基づいて、前記第1のモバイルデバイスの、前記所定の構内の第1の物理的な場所と、前記第1の入力音情報に対する前記第2の入力音情報の類似性に基づいて、前記第2のモバイルデバイスの、前記所定の構内の第2の物理的な場所とを決定する手段と、
    前記サーバーから前記複数のモバイルデバイスに会議情報を送信る手を具備するサーバー
  22. 請求項21サーバーにおいて、前記会議は、二つ以上の構内に位置しているデバイス間での遠隔会議(teleconference)である。
  23. 請求項21サーバーにおいて、前記所定の構内は所定の都市の会議室を含む
  24. 請求項21サーバーにおいて、前記会議情報は、前記会議の出席者に関連する情報を含む
  25. 請求項24サーバーにおいて、前記情報は、前記出席者の識別(identification)場所とのうちの少なくとも一つを含む
  26. 請求項21サーバーにおいて、前記入力音情報は、前記複数のモバイルデバイスのそれぞれの入力音の音レベルを含む
  27. 請求項21サーバーにおいて、前記入力音情報は、前複数のモバイルデバイスのそれぞれの音声活動(voice activity)情報を含む
  28. 請求項27サーバーにおいて、前記音声活動情報は、所定の期間の時間(period of time)にわたる平均入力音レベルに対する現在の入力音レベルの比を含む
  29. 請求項27サーバーにおいて、前記複数のモバイルデバイスのそれぞれからの前記音声活動情報は、入力音が前記複数のモバイルデバイスのうちの所定のモバイルデバイスのユーザーの音声の音響特性と一致する確率を含む
  30. 請求項21サーバーにおいて、前記会議情報は、前記会議の打合せログ(meeting log)を含み、参加者参加(attendee participation)情報を含む
  31. プロセッサによって実行されるときに前記プロセッサに動作(operations)を実行させる命令(instructions)を具備するコンピュータ可読記憶デバイスにおいて
    前記動作は、
    会議中に、モバイルデバイスが所定の構内に位置している間に、前記モバイルデバイスからサーバーに入力音情報(input sound information)を送信することと、
    前記サーバーから会議情報を受信することとを含み、
    前記会議情報は、前記モバイルデバイスの、前記所定の構内の第1の物理的な場所と、第2のモバイルデバイスの、前記所定の構内の第2の物理的な場所とを示しており、
    前記第1の物理的な場所と前記第2の物理的な場所は、前記モバイルデバイスからの前記入力音情報と、前記第2のモバイルデバイスからの第2の入力音情報との間の類似性に基づいて決定されたものであるコンピュータ可読記憶デバイス
  32. 請求項31コンピュータ可読記憶デバイスにおいて、前記会議は、二つ以上の構内に位置しているデバイス間での遠隔会議(teleconference)である。
  33. 請求項31コンピュータ可読記憶デバイスにおいて、前記動作は、前記第1の物理的な場所に対応する第1の表示の場所における第1のアイコンと、前記第2の物理的な場所に対応する第2の表示の場所における第2のアイコンとを含むグラフィカルユーザインターフェースを表示することをさらに含む
  34. 請求項31コンピュータ可読記憶デバイスにおいて、前記会議情報は、前記会議の出席者に関連する情報を含む
  35. 請求項34コンピュータ可読記憶デバイスにおいて、前記情報は、前記出席者の識別(identification)場所とのうちの少なくとも一つを含む
  36. 請求項31コンピュータ可読記憶デバイスにおいて、前記入力音情報は、前記モバイルデバイスの入力音の音レベルを含む
  37. 請求項31コンピュータ可読記憶デバイスにおいて、前記入力音情報は、前記モバイルデバイスの音声活動(voice activity)情報を含む
  38. 請求項37コンピュータ可読記憶デバイスにおいて、前記音声活動情報は、所定の期間の時間(period of time)にわたる平均入力音レベルに対する現在の入力音レベルの比を含む
  39. 請求項37コンピュータ可読記憶デバイスにおいて、前記音声活動情報は、前記モバイルデバイスの入力音が前記モバイルデバイスのユーザーの音声の音響特性と一致する確率を含む
  40. 請求項31コンピュータ可読記憶デバイスにおいて、前記会議情報は、前記会議の打合せログ(meeting log)を含み、参加者参加(attendee participation)情報を含む
  41. 所定の構内に関係付けられている会議に参加している複数のモバイルデバイスからの入力音情報(input sound information)を、サーバーにおいて受信することと、
    前記複数のモバイルデバイスのうちの第2のモバイルデバイスから受信された第2の入力音情報に対する、前記複数のモバイルデバイスのうちの第1のモバイルデバイスから受信された第1の入力音情報の類似性に基づいて、前記第1のモバイルデバイスの、前記所定の構内の第1の物理的な場所を、前記サーバーによって決定することと、
    前記第1の入力音情報に対する前記第2の入力音情報の類似性に基づいて、前記第2のモバイルデバイスの、前記所定の構内の第2の物理的な場所を、前記サーバーによって決定することと、
    前記サーバーから前記複数のモバイルデバイスに会議情報を送信することとを含む方法。
  42. 請求項41の方法において、前記会議は、二つ以上の構内に位置しているデバイス間での遠隔会議(teleconference)である。
  43. 請求項41の方法において、前記所定の構内は所定の都市の会議室を含む
  44. 請求項41の方法において、前記会議情報は、前記会議の出席者に関連する情報を含む
  45. 請求項44の方法において、前記情報は、前記出席者の識別(identification)場所とのうちの少なくとも一つを含む
  46. 請求項41の方法において、前記入力音情報は、前記複数のモバイルデバイスのそれぞれからの入力音の音レベルを含み前記サーバーは、一つまたは複数のモバイルデバイスからの前記音レベルに基づいて、前記会議での出席者中の現在の話し手を決定する。
  47. 請求項41の方法において、前記入力音情報は、前記複数のモバイルデバイスのそれぞれからの音声活動(voice activity)情報を含み前記サーバーは、一つまたは複数のモバイルデバイスからの前記音声活動情報に基づいて、前記会議での出席者中の現在の話し手を決定する。
  48. 請求項47の方法において、前記複数のモバイルデバイスのそれぞれからの前記音声活動情報は、所定の期間の時間(period of time)にわたる平均入力音レベルに対する現在の入力音レベルの比を含む
  49. 請求項47の方法において、前記複数のモバイルデバイスのそれぞれからの前記音声活動情報は、入力音が前記複数のモバイルデバイスのうちの所定のモバイルデバイスのユーザーの音声の音響特性と一致する確率を含む
  50. 請求項41の方法において、前記会議情報は、前記会議の打合せログ(meeting log)を含み、参加者参加(attendee participation)情報を含む
  51. 請求項41の方法において
    記サーバーによって、前記複数のモバイルデバイスのうちのモバイルデバイスの各ペア間の前記入力音情報の類似度に基づき、相似行列を決定することと、
    前記サーバーによって、前記相似行列の変換に基づいて、互いに関しての前記複数のモバイルデバイスの物理的な配置を決定することさらに含む
  52. 請求項51の方法において、前記物理的な配置は、それぞれの類似度が閾値よりも大きいか否かに基づいて決定され、前記相似行列の変換は固有値分解プロセスに基づく
  53. プロセッサによって実行されるときに前記プロセッサに動作(operations)を実行させる命令(instructions)を具備するコンピュータ可読記憶デバイスにおいて
    前記動作は、
    所定の構内に関係付けられている会議に参加している複数のモバイルデバイスからの入力音情報を、サーバーおいて受信することと、
    前記複数のモバイルデバイスのうちの第2のモバイルデバイスから受信された第2の入力音情報に対する、前記複数のモバイルデバイスのうちの第1のモバイルデバイスから受信された第1の入力音情報の類似性に基づいて、前記第1のモバイルデバイスの、前記所定の構内の第1の物理的な場所を、前記サーバーによって決定することと、
    前記第1の入力音情報に対する前記第2の入力音情報の類似性に基づいて、前記第2のモバイルデバイスの、前記所定の構内の第2の物理的な場所を、前記サーバーによって決定することと、
    前記サーバーから前記複数のモバイルデバイスに会議情報を送信することとを含むコンピュータ可読記憶デバイス。
  54. 請求項53コンピュータ可読記憶デバイスにおいて、前記会議は、二つ以上の構内に位置しているデバイス間での遠隔会議(teleconference)である。
  55. 請求項53コンピュータ可読記憶デバイスにおいて、前記所定の構内は所定の都市の会議室を含む
  56. 請求項53コンピュータ可読記憶デバイスにおいて、前記会議情報は、前記会議の打合せログ(meeting log)を含み、参加者参加(attendee participation)情報を含む
JP2013542056A 2010-12-03 2011-11-22 会議情報を提供するためのシステムおよび方法 Expired - Fee Related JP5739009B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US41968310P 2010-12-03 2010-12-03
US61/419,683 2010-12-03
US13/289,437 2011-11-04
US13/289,437 US20120142324A1 (en) 2010-12-03 2011-11-04 System and method for providing conference information
PCT/US2011/061877 WO2012074843A1 (en) 2010-12-03 2011-11-22 System and method for providing conference information

Publications (2)

Publication Number Publication Date
JP2013546282A JP2013546282A (ja) 2013-12-26
JP5739009B2 true JP5739009B2 (ja) 2015-06-24

Family

ID=45094812

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013542056A Expired - Fee Related JP5739009B2 (ja) 2010-12-03 2011-11-22 会議情報を提供するためのシステムおよび方法

Country Status (6)

Country Link
US (1) US20120142324A1 (ja)
EP (1) EP2647188A1 (ja)
JP (1) JP5739009B2 (ja)
KR (1) KR101528086B1 (ja)
CN (1) CN103190139B (ja)
WO (1) WO2012074843A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8606293B2 (en) 2010-10-05 2013-12-10 Qualcomm Incorporated Mobile device location estimation using environmental information
US8483725B2 (en) 2010-12-03 2013-07-09 Qualcomm Incorporated Method and apparatus for determining location of mobile device
US9143571B2 (en) 2011-03-04 2015-09-22 Qualcomm Incorporated Method and apparatus for identifying mobile devices in similar sound environment
EP2738726A1 (de) * 2012-12-03 2014-06-04 Pave GmbH Anzeigesystem für Messen
US9578461B2 (en) 2012-12-17 2017-02-21 Microsoft Technology Licensing, Llc Location context, supplemental information, and suggestions for meeting locations
US9294523B2 (en) * 2013-02-19 2016-03-22 Cisco Technology, Inc. Automatic future meeting scheduler based upon locations of meeting participants
JP2016527589A (ja) * 2013-05-17 2016-09-08 ホアウェイ・テクノロジーズ・カンパニー・リミテッド Icnを通じた大規模な会議のための多層プッシュハイブリッドサービス制御構造
CN103596265B (zh) * 2013-11-19 2017-03-01 无锡赛睿科技有限公司 一种基于声音测距和移动向量的多用户室内定位方法
JP6580362B2 (ja) * 2014-04-24 2019-09-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 会議決定方法およびサーバ装置
US11580501B2 (en) 2014-12-09 2023-02-14 Samsung Electronics Co., Ltd. Automatic detection and analytics using sensors
US9973615B2 (en) 2015-05-11 2018-05-15 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling recording thereof
CN106534761A (zh) * 2016-11-10 2017-03-22 国网浙江省电力公司金华供电公司 两级mcu异地实时互备方法
US10551496B2 (en) * 2017-08-18 2020-02-04 Course Key, Inc. Systems and methods for verifying participation in a meeting using sound signals
FR3101725B1 (fr) * 2019-10-04 2022-07-22 Orange Procédé de détection de la position de participants à une réunion à l’aide des terminaux personnels des participants, programme d’ordinateur correspondant.
US11019219B1 (en) 2019-11-25 2021-05-25 Google Llc Detecting and flagging acoustic problems in video conferencing

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10126755A (ja) * 1996-05-28 1998-05-15 Hitachi Ltd テレビ電話/テレビ会議端末およびそれを用いたリング多地点テレビ電話/テレビ会議システムおよび通信制御方法
US6850496B1 (en) * 2000-06-09 2005-02-01 Cisco Technology, Inc. Virtual conference room for voice conferencing
JP2003067316A (ja) * 2001-08-28 2003-03-07 Nippon Telegr & Teleph Corp <Ntt> 会議システムと、通信端末と、会議センタ装置と、プログラムと、記憶装置と、会議方式
US7916848B2 (en) * 2003-10-01 2011-03-29 Microsoft Corporation Methods and systems for participant sourcing indication in multi-party conferencing and for audio source discrimination
US7305078B2 (en) * 2003-12-18 2007-12-04 Electronic Data Systems Corporation Speaker identification during telephone conferencing
US7031728B2 (en) * 2004-09-21 2006-04-18 Beyer Jr Malcolm K Cellular phone/PDA communication system
JP2006208482A (ja) * 2005-01-25 2006-08-10 Sony Corp 会議の活性化を支援する装置,方法,プログラム及び記録媒体
JP4507905B2 (ja) * 2005-02-15 2010-07-21 ソニー株式会社 音声会議用の通信制御装置,通信制御方法,プログラム及び記録媒体
JP4779501B2 (ja) * 2005-08-24 2011-09-28 ヤマハ株式会社 遠隔会議システム
US7668304B2 (en) * 2006-01-25 2010-02-23 Avaya Inc. Display hierarchy of participants during phone call
US20070206759A1 (en) * 2006-03-01 2007-09-06 Boyanovsky Robert M Systems, methods, and apparatus to record conference call activity
US20080059177A1 (en) * 2006-05-19 2008-03-06 Jamey Poirier Enhancement of simultaneous multi-user real-time speech recognition system
WO2008036834A2 (en) * 2006-09-20 2008-03-27 Alcatel Lucent Systems and methods for implementing generalized conferencing
US8503651B2 (en) * 2006-12-27 2013-08-06 Nokia Corporation Teleconferencing configuration based on proximity information
US20080187143A1 (en) * 2007-02-01 2008-08-07 Research In Motion Limited System and method for providing simulated spatial sound in group voice communication sessions on a wireless communication device
US20080253547A1 (en) * 2007-04-14 2008-10-16 Philipp Christian Berndt Audio control for teleconferencing
US8243902B2 (en) * 2007-09-27 2012-08-14 Siemens Enterprise Communications, Inc. Method and apparatus for mapping of conference call participants using positional presence
US20100037151A1 (en) * 2008-08-08 2010-02-11 Ginger Ackerman Multi-media conferencing system
NO333026B1 (no) * 2008-09-17 2013-02-18 Cisco Systems Int Sarl Styringssystem for et lokalt telepresencevideokonferansesystem og fremgangsmate for a etablere en videokonferansesamtale.
US20100085415A1 (en) * 2008-10-02 2010-04-08 Polycom, Inc Displaying dynamic caller identity during point-to-point and multipoint audio/videoconference
US20100266112A1 (en) * 2009-04-16 2010-10-21 Sony Ericsson Mobile Communications Ab Method and device relating to conferencing
US8351589B2 (en) * 2009-06-16 2013-01-08 Microsoft Corporation Spatial audio for audio conferencing
US8606293B2 (en) * 2010-10-05 2013-12-10 Qualcomm Incorporated Mobile device location estimation using environmental information

Also Published As

Publication number Publication date
CN103190139B (zh) 2016-04-27
US20120142324A1 (en) 2012-06-07
CN103190139A (zh) 2013-07-03
JP2013546282A (ja) 2013-12-26
WO2012074843A1 (en) 2012-06-07
KR20130063542A (ko) 2013-06-14
EP2647188A1 (en) 2013-10-09
KR101528086B1 (ko) 2015-06-10

Similar Documents

Publication Publication Date Title
JP5739009B2 (ja) 会議情報を提供するためのシステムおよび方法
US10679005B2 (en) Speech recognition and summarization
EP2681896B1 (en) Method and apparatus for identifying mobile devices in similar sound environment
US10586569B2 (en) Enhancing audio using multiple recording devices
US9389308B1 (en) Proximity detection via audio
US9553994B2 (en) Speaker identification for use in multi-media conference call system
US11580501B2 (en) Automatic detection and analytics using sensors
US9210269B2 (en) Active speaker indicator for conference participants
JP2016001877A (ja) モバイルデバイスのロケーションを決定するための方法および装置
WO2014120291A1 (en) System and method for improving voice communication over a network
CN102160359A (zh) 控制系统的方法和信号处理系统
US20220366927A1 (en) End-To-End Time-Domain Multitask Learning for ML-Based Speech Enhancement
US10313845B2 (en) Proactive speech detection and alerting
US11551707B2 (en) Speech processing method, information device, and computer program product
CN111582708A (zh) 医疗信息的检测方法、系统、电子设备及计算机可读存储介质
US20210327416A1 (en) Voice data capture

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140603

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150422

R150 Certificate of patent or registration of utility model

Ref document number: 5739009

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees