JP5548418B2 - 視覚的情報の記憶行列を提供するための身振りの解釈 - Google Patents

Description

本発明は、コミュニケーション・システムに関し、特に、テレビ会議における視覚的情報の記憶行列（Visual queues)の取り出しとその利用法に関する。

異なる文化的背景を持つ人々の間でコミュニケーション・ギャップが時に存在する。特に海外とのテレビ会議の間、ある参加者は、自分の身振りや顔の表情が、他国の参加者にどのように解釈されるかを知らないことがある。この様な自覚の欠如により、ある参加者は、ある身振りが何を意味するかを認識しないで行い、自分の特定の身振りが、別の文化背景では如何に解釈されるか自覚しない。

一般的な身振りの認識の開発が行われているが、これまでの解決方法は限定的である。例えば、特許文献１では、動いている被写体によりなされた身振りを認識するシステムを開示する。このシステムは、音を検出する聴音機(sound detector)と、動いている被写体の画像を捕獲するイメージ・センサ(image sensors)と、前記イメージ・センサにより捕獲されたイメージから人間を認識するヒト認識装置（human recognizer)と、身振り認識装置(gesture recognizer)とを有する。これらは、人間の話し言葉が、前記の聴音機により認識された時に活性化され、人間の身振りを認識する。特許文献１に開示された身振り認識方法は、比較的単純であり、その身振り情報は、捕獲した後有効活用されていない。

米国特許第６８０４３９６号明細書 米国特許第５５９４８１０号明細書 米国特許第６０７２４９４号明細書 米国特許第６２５６４００号明細書 米国特許第６３９３１３６号明細書 米国特許第６８０４３９６号明細書

従って、会議の参加者の身振りを検出し、その解釈を提供し、この解釈された情報を他の参加者と発言中又は動作中の参加者に提供する解決策が必要となる。特にこの情報を分配して、他の参加者が相手の身振りを適正に解釈することを助け、発言中又は動作中の参加者である本人が自分の身振りと動作の自己認識ができるメカニズムを必要とする。

上記のニーズあるいは他のニーズは、本発明の様々な実施例により解決される。本発明の一態様は、文化的なギャップ又はコミュニケーション・ギャップを橋渡しする機構を提供することである。特に、テレビ会議の間、伝えられる身振りを検出し解釈する機構を提供することである。例えば、オーストラリア人がテレビ電話で日本の上司に報告する時には、日本人は様々な顔の表情をする。その結果、その日本人の上司の顔の表情を、オーストラリア人が誤って解釈をすることがある。これは、日本人とオーストラリア人が、相手の顔の表情が意味するところを知らないからである。本発明の実施例は、この様な問題点を解決する機構を提供することである。

本発明の方法は、
（Ａ）通信セッションの第１参加者の画像入力を受領するステップと、
前記第１参加者は、通信セッションの間、第２参加者と関係しており、
（Ｂ）前記第１参加者の画像入力を身振情報を得るために解析するステップと、
（Ｃ）前記身振情報を、前記通信セッションに関係している参加者に提供するステップと、を有する。

身振り認識機構は時に利用できるが、身振りを認識することから得られる情報は、個人対個人の会話を向上させるためには役立たない。特に、電話、テレビ電話、インスタント・メッセージ、テキスト・メッセージ等の交換の間、コミュニケーションを向上させる身振り情報の利用は、十分に活用されているとは言い難い。テキスト通信で使用される感情により、ユーザは一般的な感情をタイプしたり、感情を表すアイコンを選択することができる。しかし、この情報は、ユーザの実際の身振りを解析することから得られたものではない。従って、本発明は、通信セッション（例、テレビ会議）の間、身振り情報を活用する解決法を提供することである。

本発明の一態様は、通信セッション（例、テレビ会議）の間、参加者の身振り情報を解析することである。

本発明の他の態様は、この様な情報を参加者に配ることである。この情報は、聴いている他の参加者及び自分の身振りが解析される発言中又は動作中の参加者（本人とも称する）の間で共有される。

本発明の他の態様は、通信セッションの参加者の間での通信、潜在的には、文化的な差（カルチャー・ギャップ）を決定することである。その結果、身振り情報が適切に解釈され、その後参加者に配られる。更に、解釈情報は、本人にフィードバック情報として提供される。これにより発言中又は動作中の参加者である本人は、自分の身振りとこの身振りが他の会議の参加者に如何に影響を及ぼすかに関して自己認識できる。

本発明の一実施例による通信システムのブロック図。 本発明の一実施例による通信システムのブロック図。 本発明の一実施例により採用されたデータ構造を表す図。 本発明の一実施例による通信方法を表すフローチャート。

図１を参照して、本発明の一実施例の通信システム１００を説明する。同図において、通信システム１００は、１つあるいは複数の通信装置１０８を有する。この通信装置１０８は、他の通信装置１０８と通信ネットワーク１０４を介して通信する。通信装置１０８は、公知の通信機器、例えば、パソコン、ノート型パソコン、タブレット型パソコン、パーソナル・デジタル・アシスタント（ＰＤＡ)、携帯電話、通常の電話あるいはそれらの組み合わせのいずれでもよい。一般的に通信装置１０８は、他の通信装置１０８との画像、音声、テキストあるいは他のデータ通信をサポートする。

通信ネットワーク１０４は、あらゆる種類の伝送媒体を有し、エンドポイント間のメッセージを通信するあらゆる種類のプロトコルを用いることができる。通信ネットワーク１０４は、無線あるいは有線の通信媒体を含む。インターネットは、通信ネットワークの一例である。この通信ネットワークは、世界中にある他の通信機器あるいはコンピュータからなるＩＰネットワークを構成する。これらの機器は、電話システムあるいは他の手段により相互に接続される。通信ネットワーク１０４の他の例は、標準の旧型電話システム(ＰＯＴＳ)、総合デジタル通信網（ＩＳＤＮ)、公衆交換電話網（ＰＳＴＮ)、ローカルエリア・ネットワーク(ＬＡＮ)、広域ネットワーク(ＷＡＮ)、ＳＩＰネットワーク、あるいはパケット交換あるいは回路交換等の他の種類のネットワークを含む。通信ネットワーク１０４は、１つのネットワークの種類に限定されることなく、様々なネットワークから構成することができる。

通信システム１００は、カンファレンス・サーバ１１２を含む。このカンファレンス・サーバ１１２は、複数の加入者に通信セッションを提供する。例えば、カンファレンス・サーバ１１２は、複数の通信装置１０８がアクセスできるカンファレンス・ブリッジ(conference bridge：テレビ会議などの用意やお手伝いをするサービス)、又はミキサを含む。一例として、通信装置１０８のユーザは、カンファレンス・サーバ１１２のサービスを要求できる。これはこのカンファレンス・サーバ１１２がサポートしている所定の番号にダイアルすることにより行われる。必要によっては、ユーザは、パスワードあるいは参加者のコードを提供する。ユーザがカンファレンス・サーバ１１２により認証されると、ユーザは、自分の通信装置１０８を他の通信装置１０８と接続されることが許される。この他の通信装置１０８も同様に、カンファレンス・サーバ１１２が認証したものである。

カンファレンス用の一般的な構成要素に加えて、カンファレンス・サーバ１１２は、通信セッションへの参加者の身振りを解析し解釈し分配するような構成要素を含む。より具体的には、カンファレンス・サーバ１１２は、身振り監視モジュール又は挙動示唆モジュールを有する。これらのモジュールにより、カンファレンス・サーバ１１２は、通信セッションにおける様々な参加者の身振りを解析し、これらのモジュールの他のタスクを実行する。また、カンファレンス・サーバ１１２は、カンファレンス・サーバ１１２を介して通信する参加者の身振り情報を解析し解釈し分配する。

別な構成として、カンファレンス・サーバ１１２を利用しない通信セッションの参加者(例、ポイント・ツー・ポイント(２地点間)の通信セッションへの参加者、あるいは他の種類のセッションへの参加者は、必ずしもこのカンファレンス・サーバ１１２を介してルーティングすることはない)も、カンファレンス・サーバ１１２に送られる身振り情報を持つことが許される。このカンファレンス・サーバ１１２で身振り情報が解析され解釈され又は他の特定の参加者の間で分配される。この実施例においては、身振り情報を解析し解釈し又は分配する機能を具備しない通信装置は、カンファレンス・サーバ１１２を活用することができ、本発明の他の実施例の利点を享受することができる。

図２を参照して、本発明の一実施例の通信装置１０８を説明する。この通信装置１０８は、１つあるいは複数の通信アプリケーション２０４を有する。この通信アプリケーション２０４の少なくとも１つは、身振り監視モジュール２０８を有する。この身振り監視モジュール２０８は、コンピュータで読み取り可能な媒体に記憶されたインストラクションのセットを含む。これらはプロセッサで実行される。身振り監視モジュール２０８は、通信装置１０８のユーザの画像通常ビデオフレームの形態の画像を捕獲する。ユーザが他のユーザと通信の間（例えば、通信装置１０８が他の通信装置１０８と通信ネットワークを介して接続を確立した時)、身振り監視モジュール２０８は、ユーザの画像情報を解析する。画像情報を解析している間、身振り監視モジュール２０８は、身振りを解釈し、身振り情報を得る。身振り監視モジュール２０８から得られる身振り情報の種類は、一般的な感情情報（例、幸せか、悲しいか、激怒しているか、不快に感じているか、困惑しているか、楽しんでいるか等)と、特定の非言語的な会話（例、ボディー・ランゲージ又は顔の表情のメッセージで、話したりタイプしたりする以外のもの)を含む。

身振り監視モジュール２０８は、特に、通信装置１０８のユーザの文化に適合している。例えば、通信装置１０８のユーザがオーストラリア人の場合には、身振り監視モジュール２０８は、オーストラリア人を中心にした身振りに関するイメージ情報を解析するのに適している。同様に、通信装置１０８のユーザがドイツ人の場合には、身振り監視モジュール２０８は、別の身振りの組に対するイメージ情報を解析するのに適する。

身振り監視モジュール２０８が採用する身振り−認識アルゴリズムの種類は、通信装置１０８の処理能力に依存して変わる。身振り監視モジュール２０８が採用するアルゴリズムの様々な一例は、特許文献２‐６に開示されている。身振り監視モジュール２０８が採用するアルゴリズムは、ユーザの顔の動き、手の動き、身体の動きを解析するアルゴリズムを含む。この情報は、発言中又は動作中の参加者の特定の文化に関連する。

通信アプリケーション２０４は、発言中又は動作中の参加者は他の参加者の文化に一致する為に、発言中又は動作中の参加者の身振り情報を解釈／翻訳する。通信アプリケーション２０４は、挙動示唆モジュール２１６を有する。この挙動示唆モジュール２１６は、身振り情報の解釈／翻訳を行い、通信セッション（電話会議）への参加者とこの様な情報を共有する。言い換えると、身振り監視モジュール２０８は、イメージ情報を捕獲し、この様なイメージ情報から身振り情報を決定する。その後、参加者データベース２１２が、発言中又は動作中の参加者の文化からの身振り情報を、この通信セッションに参加している別の参加者の文化に変換（翻訳）する。この翻訳は、参加者データベース２１２を参照することにより行われる。この参加者データベース２１２は、発言中又は動作中の参加者に関連する文化に関する情報を保有する。参加者データベース２１２は、通信セッションへの他の参加者に関連する文化に関連している情報を含む。参加者データベース２１２に含まれる情報は、通信セッションの開始時に展開され、各参加者からあるいはその関連する通信装置から、又はこの様な情報を含む企業のデータベースから取り出される。

一例として、挙動示唆モジュール２１６は、ある文化の身振り情報の意味を、他の文化の身振り情報の意味にマッピングすることができる。これが有益なのは、発言中又は動作中の参加者とそれを見たり聞いたりしている参加者が大きく異なる文化に関連している時である。この様な時には、各参加者は、自分の身振りの意味を他の参加者に伝えていることを理解していない。本発明は、挙動示唆モジュール２１６を活用して、特定の身振りが有するような複数の意味を決定し、参加者の一部あるいは全ての者とこの様な意味を共有する。かくして、発言中又は動作中の参加者は、自分が他の参加者に送っている非言語的な会話を認識し、それを聴いたり見たりしている参加者は、この様な非言語的な会話により意図されるものが何であるかを理解できることになる。

本発明の一実施例によれば、身振り情報の解釈は、挙動示唆モジュール２１６により自動的に得られる。別の構成としてあるいはこれに加えて、挙動示唆モジュール２１６は、発言中又は動作中の参加者に問い合わせて、参加者が自分の意図した非言語的なメッセージを理解しているか、あるいは自分がこの様な非言語的なメッセージを他の参加者に伝えるか否かを決定できる。例えば、発言中又は動作中の参加者が自分の身振りが憤慨していることを意味しているような場合は、挙動示唆モジュール２１６は、これらの身振りを特定して、この身振りの可能性のある解釈を特定する。その後、挙動示唆モジュール２１６は、発言中又は動作中の参加者がこの非言語的なメッセージを他の参加者に伝える意図があるか否か、あるいは発言中又は動作中の参加者が他の参加者に伝えようとする他の意味があるか否かを、発言中又は動作中の参加者に問い合わせることができる。ユーザ（発言中又は動作中の参加者）がこの様な非言語的なメッセージを共有することを肯定した場合には、身振り監視モジュール２０８が最初に特定した身振り情報を他の参加者と共有する。発言中又は動作中の参加者が他の参加者と共有する非言語的なメッセージを変えようとする場合には、身振り監視モジュール２０８は、他の参加者と共有している身振り情報を、発言中又は動作中の参加者の入力に応じて、変える。

通信セッションの参加者の間で身振り情報を解析し、解釈し、共有するモジュール２０８，２１８に加えて、通信アプリケーション２０４は、通信プロトコル２２０を有する。この通信プロトコル２２０を通信アプリケーション２０４が用いて、通信ネットワーク１０４を介した他の通信装置１０８との通信（コミュニケーション）を可能にする。

通信装置１０８は、更に、ユーザ入力２２４と、ユーザ出力２２８と、ネットワーク・インターフェース２３２と、オペレーティング・システム２３６と、電源２４０とを有する。オペレーティング・システム２３６は、通信アプリケーション２０４の使用を可能とするような下位のアプリケーション(lower-level application)と、通信装置１０８に依存する他のアプリケーションを含む。

電源２４０は、内部電源例えばバッテリ等に対応する。別の構成として、電源２４０は、電力線から得られたＡＣ電力を、通信装置１０８が使用できるＤＣ電力に変換する電力変換装置を含んでもよい。

ネットワーク・インターフェース２３２は、ネットワーク・インターフェース・カード(ＮＩＣ：network interface card)、モデム(modem)、有線テレフォニ・ポート(wired telephony port)、直列又は並列データポート(serial or parallel data port)、無線周波数放送トランシーバ(radio frequency broadcast transceiver)、ＵＳＢポート(USB port)、あるいは他の有線又は無線の通信ネットワーク・インターフェースを含む。

ユーザ入力２２４は、例えば、スクリーン又は他の位置エンコーダ(position encoder)と組み合わせたキーボード、テンキー、ポインティング・デバイス（例、マウス、タッチ・パッド、ローラ・ボール等)を含む。更に、このユーザ入力２２４は、ユーザの画像を捕獲する機構を含んでもよい。とりわけ、ユーザの一連のイメージを捕獲するために採用されるカメラ又は他の種類の画像捕獲装置を含んでもよい。この情報は、身振り監視モジュール２０８への入力として提供できる。

ユーザ出力装置の一例は、英数字ディスプレー(alphanumeric display)、液晶ディスプレー(ＬＣＤ：Liquid Crystal Display)、発光ダイオード(ＬＥＤ：Light-emitting Diode)、プラズマ・ディスプレー(plasma display)、ブラウン管スクリーン(Cathode-ray tube screen)、リンガー(ringer)、インジケータ・ライト(indicator lights)等を含む。本発明の一実施例においては、結合されたユーザ入力／出力装置は、例えば、タッチスクリーン装置である。

図３を参照して、本発明の一実施例のデータ構造３００を説明する。このデータ構造３００は、身振り情報を解析し解釈するのに使用される情報を記憶する複数のデータ・フィールド含む。データ構造３００は、参加者データベース２１２に、あるいは他のデータの格納先(data storage location)、例えば、企業のデータベースに保持される。データ構造３００は、通信セッション（テレビ会議）の間、あるいはそれ以上の期間保存されている。一例として、データ構造３００の一部は、通信セッション終了後も保持される。

データ構造３００に含まれるフィールドの種類は、装置識別子フィールド３０４と、ユーザ識別子フィールド３０８と、ユーザ情報フィールド３１２と、身振り披瀝フィールド３１６と、現在の身振り解釈フィールド３２０と、変換情報フィールド３２４である。装置識別子フィールド３０４とユーザ識別子フィールド３０８は、それぞれ装置のＩＤ情報とユーザのＩＤ情報を記憶するのに用いられる。装置識別子フィールド３０４に記憶される装置のＩＤ情報の一例は、ＩＰ(Internet Protocol)アドレス 、ＭＡＣ(Media Access Control)アドレス、ＵＲＩ(Uniform Resource Identifier)、電話番号又は内線番号、あるいは通信装置１０８を特定する他の機構である。同様にユーザ識別子(user idnetifier)は、通信装置１０８に関連するユーザの名前を含む。複数のユーザが通信装置１０８に関連することもできる。この例は、例えば、カンファレンス・コール（テレビ会議、電話会議）の間、１個の通信装置１０８が複数の参加者が居る部屋に置かれている場合である。

ユーザ識別子フィールド３０８内で特定される各ユーザ用に、ユーザの情報は、ユーザ情報フィールド３１２に記録される。より具体的には、ユーザが１つあるいは複数の文化に関連している場合には、その情報はユーザ情報フィールド３１２に保持される。例えば、ユーザ情報フィールド３１２は、各ユーザに対する文化情報を記録し、更に、通信セッションのユーザ間の身振り情報を変換するのに用いられる情報も含む。

身振り披瀝フィールド３１６は、通信セッションの参加者の前の身振りに関連する情報を含む。過去の身振り情報を有効活用して、特定のユーザの将来の身振り情報を特定することができる。更に、過去の身振り情報は、挙動示唆モジュール２１６により生成された問い合わせに対するユーザの応答も含む。これら全ての情報は、そのユーザの将来の身振り情報を解析しその身振り情報の解釈が必要であるか否かを決定するのに必要である。

現在の身振り解釈フィールド３２０は、ユーザの動作の現在の解析に関連する情報を含む。より具体的には、現在の身振り解釈フィールド３２０は、通信セッションの間、身振り監視モジュール２０８から得られた解析結果を記録する。

変換情報フィールド３２４は、ユーザの動作の現在の解析に関連する変換／翻訳情報を含む。より一般的には、変換情報フィールド３２４は、ある文化から他の文化への身振り情報の意味づけをマッピングするのに用いられる情報を含む。かくして、変換情報フィールド３２４は、通信セッション間、挙動示唆モジュール２１６から得られた解釈結果と、この様な変換情報を得るために挙動示唆モジュール２１６により使用される情報とを記憶する。

図４を参照して本発明の一実施例の通信方法を説明する。この通信方法は、通信ネットワーク１０４を介して互いに通信する複数の参加者の間の通信セッションで採用される。例えば、通信セッションは、電話会議、テレビ会議を含む。これらの会議においては、通信装置１０８は、通信ネットワーク１０４を介して、互いの間で、音声／データパスを確立する。他の実施例として、通信セッションは、テキストベースの通信セッション(例、E-mailベースの通信セッション、ＩＭセッション、ＳＭＳセッション等)を含む。この通信セッションにおいては、一方のユーザは、テキスト・メッセージを通信ネットワーク１０４を介して、他のユーザに送る。テキスト・メッセージの生成により、図４に示す通信方法の実行が開始される。これにより、送信側ユーザからの身振り情報の収集、解析、解釈が開始され、その後、対象とする受領者に送信される。この情報には、メッセージ内の身振り情報を含む。

通信方法は、通信セッションの間（あるいはテキストベースのメッセージを準備する間又はテキストベースの通信セッションの間)、発言中又は動作中の参加者からのイメージ情報又はオーディオ情報を捕獲することにより開始される（ステップ４０４)。捕獲されたイメージ情報又はオーディオ情報の性質と量は、会議参加者の間の文化の差に依存する。一例として、大きな文化的な差、例えば、日本人参加者とカナダ人参加者の間のような文化的な差は、より多くの身振り情報を得る必要性を増やす。その理由は、多くの解釈が必要とされるからである。一方、文化的な差が少ない場合、アメリカ人とカナダ人の間には、多くの解釈は必要とされず、多くのイメージ情報又はオーディオ情報を得る必要はない。

適宜の量と種類の情報が発言中又は動作中の参加者から得られた後、本発明の方法の次のステップは身振り監視モジュール２０８で実行される。この身振り監視モジュール２０８は、受領した情報を解析し、身振り情報を得る（ステップ４０８)。身振り監視モジュール２０８は、特定の組のデータから、複数の種類の身振り情報を得る。例えば、身振り監視モジュール２０８は、発言中又は動作中の参加者が特定のムード（例、困惑状態)と非言語的メッセージ（例、「理解できないので、もう一度言ってください。」)を伝えているかを決定できる。従って、両方の種類の身振り情報が、捕獲した情報と発言中又は動作中の参加者に関連している。

その後、身振り情報は、挙動示唆モジュール２１６に送られる。挙動示唆モジュール２１６で身振り情報が解釈される（ステップ４１２)。なされた解釈は、通信セッションの参加者の間の文化の差に依存して変わる。かくして通信セッションが３人以上の参加者を含み、各参加者が別の文化背景を有している場合には、挙動示唆モジュール２１６は、身振り情報の複数の解釈を用意する。

身振り情報の解釈及び元となる身振り情報の解釈は、他の通信セッション参加者に提供される（ステップ４１６)。この情報は他のユーザと共有される。これは、この様な情報をメッセージ内に含めることにより、あるいはこの様な情報をメッセージから分離して送信することにより行われる。この解釈情報は、その後、他の参加者にそれぞれの通信装置１０８を介して提供される。この情報は、オーディオ形式又はビデオ形式で提供される。一例として、この情報は、他の参加者に、ウィスパー・ぺージ(whisper page)あるいは他の個別の通信チャネルを介して提供される。一例として、情報は他の参加者にアイコン又はテキスト・メッセージで提供される。このアイコン又はテキスト・メッセージが身振り情報又はその解釈を表示する。

同様に、身振り情報の解釈は、発言中又は動作中の参加者に戻される（ステップ４２０)。これにより発言中又は動作中の参加者は、他の参加者と共有している解釈情報を知ることになる。更に、フィードバックにより、発言中又は動作中の参加者は、自分が望んでいる情報を非言語的に送るかあるいは自分が送ることを望んでいない情報を偶発的に送るかを決定できる。このフィードバック情報は、可聴又は視覚メッセージとして提供されるが、これは、この様な情報が他の参加者に提供さえるのと同様な方法で行われる。

この方法は、通信セッションが終了するまで継続される。当業者に明らかなように、１つの通信セッションから得られた身振り情報を記憶して次の通信セッションで使用することもできる。例えば、参加者の文化情報は、コンタクト・ログ(contact log)に保持され、その結果、身振り監視モジュール２０８又は挙動示唆モジュール２１６が、後の通信セッションの間にアクセスすることができるようになる。

用語「自動的」とは、文字通り解釈すれば、人間が介在しないプロセスを意味するが、プロセスが人による入力を必要とする場合でも、自動的と称することもある。人による入力がプロセスに影響を及ぼすような場合には自動的とは称さないが、プロセスの実行に同意するような人による入力は自動的と称する。
用語「コンピュータで読み取り可能な媒体」とは、コンピュータが実行するプロセスを記憶する媒体或いは伝送媒体を意味する。媒体とは、非揮発性媒体、揮発性媒体、伝送媒体を意味する。非揮発性の媒体とは、ＮＶＲＡＭ、磁気ディスク又は光学ディスクである。揮発性媒体とは、ＤＲＡＭ、メインメモリを意味する。このコンピュータで読み取り可能な媒体の一般的なものとしては、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気ディスク、他の磁気媒体、磁気光学媒体、ＣＤ−ＲＯＭ、パンチカード、ペーパーテープ等、更にＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、メモリカード、メモリチップ、或いはカートリッジ等がある。ｅ−ｍａｉｌ或いは他の自己保存型の情報アーカイブに付属したデジタルファイルは、記憶媒体に等価な分配型の記憶媒体であり、本発明でいう記憶媒体と見なすことができる。コンピュータで読み取り可能な媒体がデータベースとして構築された場合には、このデータベースは、あらゆる種類のデータベース、例えば関連型、階層型、オブジェクト志向型のいずれをも含む。
回路交換又はパケット交換型の通信の概念は、他のプロトコルにも適用可能である。従って本発明では、接触型の記憶媒体、分散型の記憶媒体、従来技術の記憶媒体とアクセス可能媒体も含み、その中には本発明で使用されるソフトウエアが記憶される。
用語「決定する」、「計算する」、「判定する」等は、同意で使用し、プロセスでの計算の操作等を含む。
用語「モジュール」とは、現在公知な或いはこれから開発されるハードウエア、ソフトウエア、ファームウエア、人工知能、ファジーロジック等を意味する。更に或る要素に関連する機能を実行することのできるハードウエアとソフトウエアの組合せも含む。
要素間をつなぐ様々なリンクは、有線又は無線或いはそれらの組合せ、更には又将来開発される通信データを接続された要素間で供給できる伝達要素でもよい。有線リンク又は無線リンクは、安全確保したリンクであり、暗号化された情報を通信できる。リンクとして使用される伝送媒体は、電気信号を搬送できる媒体（同軸ケーブル、銅線ワイヤ、光ファイバー）、音波或い光波を搬送できる媒体、或いは無線やインフラレッド（赤外線）の通信媒体も含む。
ここで議論したフローチャートは、特定のイベントのシーケンスを例に説明するが、本発明の操作に影響を及ぼすことなく、これ等のシーケンスの変更、追加、一部省略も可能である。本発明のシステムと方法は、特殊コンピュータ、プログラムされたマイクロプロセッサ、マイクロコントローラ、ＡＳＩＣ、他の集積回路ＤＳＰ、ハードワイヤド電子素子、論理素子、例えばディスクリートな要素回路、プログラム可能な論理回路、ゲートアレイ、例えばＰＬＤ、ＰＬＡ、ＦＰＧＡ、ＰＡＬ、特殊目的コンピュータ或いは他の手段で実現できる。
本発明を実施するのに用いられるハードウエアは、コンピュータ、携帯用装置、電話器（携帯電話、インターネット電話、デジタル、アナログそれ等の組合せの電話）や他の公知のハードウエアである。これ等の装置のあるものは、プロセッサ（例；シングル又はマルチプルのマイクロプロセッサ）、メモリ、非揮発性記憶媒体、入力装置、出力装置等を含む。更に別の形態のソフトウエアの実行は、分散型の処理、要素／目的型の分散型処理、並列処理或いは仮想機械処理で実行される。
他の実施例に於いては、ここに開示された方法は、オブジェクト指向のソフトウエア開発環境を用いたソフトウエアと組み合わせて実現できる。このソフトウエア環境は、様々なコンピュータ又はワークステーションで使用されるポータブルなソースコードを提供する。別の構成として、開示されたシステムは、標準の論理回路又はＶＬＳＩデザインを用いて一部又は全部のハードウエアで実現できる。本発明のシステムを実行するのにハードウエア又はソフトウエアを用いるかは、システムに要求される速度と効率に依存する。特に使用される特定のソフトウエア、ハードウエアのシステム、マイクロプロセッサ又はマイクロコンピュータシステムに依存する。
他の実施例に於いては、開示された方法は、コンピュータで読み取り可能な記憶媒体に記憶されたソフトウエアで実行され、コントローラとメモリとを有するプログラムされた汎用コンピュータ、特殊目的コンピュータ、マイクロプロセッサ等で実施される。これ等の実施例に於いては、本発明のシステムと方法は、パソコンに組み込まれたプログラムで実行できる。例えばアプレット、ＪＡＶＡ（登録商標）、ＣＧＩスクプリト、サーバ或いはコンピュータ、ワークステーションに記録された資源或いは専用の測定システムに組み込まれたルーチン等で実施できる。
本発明のシステムは、本発明のシステムと方法をソフトウエア又はハードウエアのシステムに物理的に組み込むことにより実施することもできる。 本発明は、特定の標準及びプロトコルを例に説明したが、本発明はこのような標準とプロトコルに制限されるものではない。他の類似の標準とプロトコルも本発明で用いることができる。これ等の標準とプロトコルは、今後開発されるより効率的な標準とプロトコルで置換されるかも知れないが、このような置換も本発明の一態様（一実施例）と考えられる。
以上の説明は、本発明の一実施例に関するもので、この技術分野の当業者であれば、本発明の種々の変形例を考え得るが、それらはいずれも本発明の技術的範囲に包含される。特許請求の範囲の構成要素の後に記載した括弧内の番号は、図面の部品番号に対応し、発明の容易なる理解の為に付したものであり、発明を限定的に解釈するために用いてはならない。また、同一番号でも明細書と特許請求の範囲の部品名は必ずしも同一ではない。これは上記した理由による。用語「又は」に関して、例えば「Ａ又はＢ」は、「Ａのみ」、「Ｂのみ」ならず、「ＡとＢの両方」を選択することも含む。特に記載のない限り、装置又は手段の数は、単数か複数かを問わない。

１００ 通信システム
１０４ 通信ネットワーク
１０８ 通信装置
１１２ カンファレンス・サーバ
２０４ 通信アプリケーション
２０８ 身振り監視モジュール
２１２ 参加者データベース
２１６ 挙動示唆モジュール
２２０ 通信プロトコル
２２４ ユーザ入力
２２８ ユーザ出力
２３２ ネットワーク・インターフェース
２３６ オペレーティング・システム
２４０ 電源
３００ データ構造
３０４ 装置識別子フィールド
３０８ ユーザ識別子フィールド
３１２ ユーザ情報フィールド
３１６ 身振り披瀝フィールド
３２０ 現在の身振り解釈フィールド
３２４ 変換情報フィールド
４０４：会議の参加者の画像情報又は可聴情報を受領する
４０８：受領した情報を解析し身振り情報を得る
４１２：身振り情報を解釈する
４１６：身振り情報を他の参加者に配る
４２０：身振り情報を本人に配る

Claims (10)

1. カンファレンス・サーバ（１０２）を介して、複数の会議参加者の通信装置（１０８）間で会議をする方法において、前記カンファレンス・サーバ（１０２）が、
   （Ａ）通信セッションの第１参加者の画像入力を受領するステップと、
   前記第１参加者の通信装置（１０８）は、通信セッションの間、第２参加者の通信装置（１０８）と関係しており、
   （Ｂ）前記第１参加者の画像入力を、身振情報を得るために解析するステップと、
   （Ｘ）前記ステップ（Ｂ）で得られた身振情報を、少なくとも１つの非言語的メッセージに関連づけるステップと、
   （Ｙ）前記第１参加者の通信装置に、前記第２参加者と前記非言語的メッセージを共有するか否かを、問い合わせるステップと、
   （Ｃ）前記ステップ（Ｙ）で問い合わせに対する肯定的な応答に応じて、前記身振情報を、前記第２参加者の通信装置に提供するステップと、
   を実行する
   ことを特徴とするカンファレンス・サーバ（１０２）を介して、複数の会議参加者の通信装置（１０８）間で会議をする方法。
2. 前記カンファレンス・サーバ（１０２）が、
   （Ｄ）前記身振情報を、前記非言語的メッセージを特定するために、前記第２参加者の既知の文化に基づいて、解釈するステップと、
   （Ｅ）前記身振情報と前記身振情報の解釈とを関連付けるステップと、
   （Ｆ）前記身振情報の解釈を、前記第１参加者の通信装置（１０８）に提供するステップと、
   を実行し、
   前記身振情報の解釈を、前記第１参加者の通信装置（１０８）に、前記第１参加者の通信装置（１０８）に関連するグラフィカルユーザインターフェイスとオーディオ・メカニズムの少なくとも一方を介して、提供する
   ことを特徴とする請求項１記載の方法。
3. 前記（Ｄ）ステップは、
   （Ｄ１）前記第２参加者に関連する文化を決定するステップと、
   （Ｄ２）画像入力装置から受領した身振情報を、前記第２参加者に関連する文化に対し選択された所定の身振情報にマッピングするステップと、
   を有し、
   前記身振情報の解釈は、前記ステップ（Ｄ２）で得られたマッピング情報と所定の身振情報とを含む
   ことを特徴とする請求項２記載の方法。
4. 前記カンファレンス・サーバ（１０２）が、
   （Ｇ）前記身振情報の意図を、前記第１参加者の既知の文化に基づいて、決定するステップと、
   （Ｈ）前記身振情報の意図を、前記身振情報と関連付けるステップと、
   （Ｉ）前記身振情報と前記身振情報の意図とを、前記第２参加者の通信装置（１０８）に提供するステップと
   を実行し、
   前記（Ｇ）ステップは、
   （Ｇ１）前記第１参加者に関連する文化を決定するステップと、
   （Ｇ２）画像入力装置から受領した身振情報を、前記第１参加者に関連する文化で選択された所定の身振情報にマッピングするステップと、
   を有し、
   前記身振情報の解釈は、前記ステップ（Ｇ２）で得られたマッピング情報と所定の身振情報とを含む
   ことを特徴とする請求項１記載の方法。
5. （Ａ）ユーザ入力装置と、
   （Ｂ）身振監視モジュールと、
   （Ｃ）挙動示唆モジュールと
   を有する会議用通信装置において、
   前記ユーザ入力装置（Ａ）は、第１参加者の画像イメージを、第２参加者の通信装置（１０８）との間の通信セッションの間に捕獲し、
   前記身振監視モジュール（Ｂ）は、前記捕獲した第１参加者の画像イメージを解析して身振情報を確保し、
   前記挙動示唆モジュール（Ｃ）は、
   前記確保した身振情報を少なくとも１つの非言語的メッセージに関連づけ、
   前記第１参加者の通信装置（１０８）に、前記第２参加者の通信装置（１０８）と前記非言語的メッセージを共有するか否かを、問い合わせ、
   前記身振監視モジュール（Ｂ）に対し、前記通信セッションの間、前記問い合わせに対する肯定的な応答に応じて、前記非言語的メッセージを、前記第２参加者の通信装置（１０８）に提供するよう、指示する
   ことを特徴とする会議用通信装置。
6. 前記挙動示唆モジュール（Ｃ）は、前記非言語的メッセージを得るために、前記身振情報を第２参加者の既知の文化に基づいて解釈し、前記身振情報の解釈と身振情報とを関連付け、
   （Ｄ）ユーザ出力装置を更に有し、
   前記ユーザ出力装置は、前記身振情報と前記身振情報の解釈とを、前記第１参加者の通信装置（１０８）に提供し、
   前記ユーザ出力装置は、グラフィカルユーザインターフェイスを含み、
   前記問い合わせは、テキストベースの問い合わせであり、
   前記非言語的メッセージは、テキストベースのメッセージを含み、
   前記通信セッションは、、テキストベースのメッセージを含む
   ことを特徴とする請求項５記載の会議用通信装置通信装置。
7. （Ｅ）参加者のデーターベースを更に有し、
   前記挙動示唆モジュール（Ｃ）は、前記参加者のデーターベースを参照し、前記第２参加者に関連する文化を決定し、前記身振監視モジュールから受領した身振情報を、前記第２参加者に関連する文化で選択された所定の身振情報にマッピングし、前記マッピングした結果得られた情報と所定の身振情報とを、前記身振情報の解釈に含める
   ことを特徴とする請求項６記載の会議用通信装置。
8. 前記挙動示唆モジュール（Ｃ）は、身振情報の意図を、前記第１参加者の既知の文化に基づいて決定し、前記身振情報の意図を前記身振情報と関連付け、前記身振情報と前記身振情報の意図とを、前記非言語的メッセージに含める
   ことを特徴とする請求項５記載の会議用通信装置。
9. （Ｅ）参加者のデーターベースを更に有し、
   前記挙動示唆モジュールは、前記参加者のデーターベースを参照し、前記第１参加者に関連する文化を決定し、前記身振監視モジュールから受領した身振情報を、前記第１参加者に関連する文化で選択された所定の身振情報にマッピングし、前記マッピングした結果得られた情報と所定の身振情報とを、前記非言語的メッセージに含める
   ことを特徴とする請求項８記載の会議用通信装置。
10. 前記非言語的メッセージは、テキストベースのメッセージを含む
    ことを特徴とする請求項９記載の会議用通信装置。

Images