JP6872066B1 - コンピュータを介したコミュニケーションを実施するためのシステム、方法及びプログラム - Google Patents

Abstract

【課題】キャプチャした画像や音声がコンピュータ上で表示や再生されない場合であっても参加者の反応を把握可能な、コンピュータを介したコミュニケーションを実施するための方法等を提供すること、
【解決手段】コンピュータを介したコミュニケーションを実施するための方法が提供される。この方法は、コンピュータが、参加者が使用するデジタル・カメラでキャプチャした画像を解析して、当該参加者の状態を認識するステップ７２０と、ある参加者が使用するコンピュータが、別の参加者が使用するデジタル・カメラでキャプチャした画像の表示に代えて、当該別の参加者の認識された状態に対応した表示を行うステップ７４０とを含む。
【選択図】図７

Description

本発明は、コンピュータを介したコミュニケーションに関する。より詳細には、本発明は、限定するわけではないが、コンピュータを介したオンライン会議（「ウェブ会議」と呼ばれることもある。）やオンラインでの打ち合わせ、オンライン授業やオンラインでの塾、オンライン研修、オンライン・プレゼンテーションやオンラインでの講演、オンライン診療、オンラインでのヘルプデスク等（以下、「オンライン会議等」）という。）に関する。

コンピュータを介したオンライン会議を実施するためのサービスが存在する（非特許文献１を参照。）。このようなサービスによれば、ある参加者が使用するデジタル・カメラ及びマイクでそれぞれキャプチャした画像及び音声が、別の参加者が使用するコンピュータで表示及び再生されることになる。

また、オンライン会議参加者の端末ごとの音声を取得して、その発言の量やタイミングを定量化してリアルタイムで画面上に表示する技術が開発されている（非特許文献２を参照。）。

更に、電子会議知能を用いて会議内容を解析し、会議内メタデータを生成する技法が提案されている（特許文献１を参照。）。この技法は、生成された会議内メタデータに基づき表示を行うことを含んでいる（当該文献の図２、７Ａ及び７Ｂ等を参照。）。

特開２０１８−１７０００９号公報

チャット、会議、通話、コラボレーション _ Microsoft Teams，［online］，［令和２年６月１７日検索］、インターネット〈URL：https://www.microsoft.com/ja-jp/microsoft-365/microsoft-teams/group-chat-software〉 株式会社リバネスとオンライン会議のリアルタイム定量化システムを開発しました，［online］，［令和２年６月１７日検索］、インターネット〈URL：https://www.hylable.com/news/20200608/〉

オンライン会議の参加者は自宅からオンライン会議に参加することがあり、服装がラフである、化粧をしていない、部屋を見せたくない等の理由により、キャプチャした画像を他の参加者のコンピュータ上で表示させたくないというニーズが存在する。また、長時間コンピュータ上で参加者の顔を表示させ続けたままオンライン会議に参加すると、直接対面しての会議と比較して参加者が疲弊する傾向があることが判明した。

また、非特許文献１に記載されているような従来のサービスを用いて実施されるオンライン会議において参加者が多数にのぼる場合、一部の参加者のキャプチャ画像は表示されないか、又は、参加者１人あたりのキャプチャ画像が小さくなるという問題があった。また、従来のオンライン会議サービスによると、複数の参加者が同時にしゃべると、そのうちの１人の参加者の声のみが各参加者のコンピュータ上で再生されるという問題があった。更には、参加者はマイクをオフにしてオンライン会議に参加することがあるという問題があった。これら問題は、オンライン会議において、参加者による他の参加者の反応の把握を困難にするものである。

更には、オンライン会議であるか直接対面しての会議であるかを問わず、会議のどの部分でどのような反応が参加者からあったかを事後的に把握したいというニーズが存在する。

本明細書に記載された発明（以下、「本発明」という。）は以上に鑑みてなされたものである。
本発明の少なくとも一部の課題は、キャプチャした画像や音声がコンピュータ上で表示や再生されない場合であっても参加者の反応を把握可能な、コンピュータを介したコミュニケーションを実施するための方法等を提供することである。

また、本発明の少なくとも一部の課題は、多数の参加者が存在する場合であっても各参加者の反応を容易に把握可能な、コンピュータを介したコミュニケーションを実施するための方法等を提供することである。

更に、本発明の少なくとも一部の課題は、コンピュータを介したコミュニケーションを改善するための情報を提示可能な方法等を提供することである。

本発明の実施形態によれば、コンピュータを介したコミュニケーションを実施するための方法が提供される。この方法は、コンピュータが、参加者が使用するデジタル・カメラでキャプチャした画像を解析して、当該参加者の状態を認識するステップと、ある参加者が使用するコンピュータが、別の参加者が使用するデジタル・カメラでキャプチャした画像の表示に代えて、当該別の参加者の認識された状態に対応した表示を行うステップとを含む。

一実施形態において、ある参加者が使用するコンピュータが、別の参加者が使用するデジタル・カメラでキャプチャした画像の表示に代えて、当該別の参加者の認識された状態に対応した表示を行う前記ステップは、当該別の参加者の認識された表情及び感情の一方又は双方に対応したアバターの画像を表示するステップと、当該別の参加者の認識された顔の動きに応じて顔を変化させながらアバターを表示するステップと、当該別の参加者が席を外していると認識されたか否かに応じて、アバターの表示と非表示とを切り替えるステップとのうちの少なくとも１つを含んでいてよい。

かかる構成によれば、参加者は、自身の顔や自宅等を映すことなく、また、マイクをオフにしている場合であっても、表情や反応等を他の参加者に伝えることができる。
一実施形態である方法は、ある参加者が使用するコンピュータが、別の参加者が使用するデジタル・カメラでキャプチャした画像の表示に代えての当該別の参加者の認識された状態に対応した前記表示とは別に、当該別の参加者を含む所定の複数の参加者の各々に対応した領域において、当該参加者の認識された状態に対応した表示を行うステップを含んでいてよい。

かかる構成によれば、参加者は、オンライン会議等の全体の雰囲気等を一目で把握することができる。
一実施形態において、ある参加者が使用するコンピュータが、各参加者の領域において、当該参加者の認識された状態に対応した表示を行う前記ステップは、各参加者の領域の背景色を、当該参加者の認識された状態に対応した色とするステップを含んでいてよい。

かかる構成によれば、参加者は、オンライン会議等の参加者が多数にのぼる場合であっても、当該会議等の全体の雰囲気等を一目で把握することができる。
一実施形態である方法は、コンピュータが、所定の複数の参加者のうち、所定の状態が認識された参加者の数又は割合を計算するステップと、ある参加者が使用するコンピュータが、計算された前記数又は割合を表す情報を表示するステップとを更に含んでいてよい。

かかる構成によれば、オンライン会議等の雰囲気等を定量化することができる。
また、かかる構成によれば、オンライン会議等において多数決やアンケートの実施等を容易に行うことができる。

一実施形態において、ある参加者が使用するコンピュータが、計算された前記数又は割合を表す情報を表示する前記ステップは、計算された前記数又は割合の時間変化を表す情報を表示するステップを含んでいてよい。

かかる構成によれば、オンライン会議等の雰囲気等の変化を可視化することができる。
一実施形態である方法は、コンピュータが、所定の複数の参加者のうち、所定の状態が認識された参加者の数又は割合と所定の閾値との比較を行うステップと、前記比較が所定の結果であるときに、ある参加者が使用するコンピュータが、所定の効果音を再生するステップとを更に含んでいてよい。

かかる構成によれば、状況に応じた効果音を再生することにより、オンライン会議等の臨場感を高めることができる。
一実施形態である方法は、コンピュータが、所定の状態が認識された参加者が存在するかを判定するステップと、所定の状態が認識された参加者が存在すると判定されたときに、コンピュータが、所定の状態が認識された参加者について通知するステップとを更に含んでいてよい。

かかる構成によれば、オンライン会議等の参加者が多数にのぼる場合であっても、例えば挙手をした参加者を見逃さずに対処することができる。
一実施形態である方法は、コンピュータが、所定の複数の参加者の各々の、複数の時点の各々において認識された状態に基づき、所定の複数の参加者の各々について全体的な評価値を計算するステップと、ある参加者が使用するコンピュータが、前記複数の参加者の各々について計算された前記全体的な評価値に基づく表示を行うステップとを更に含んでいてよい。

かかる構成によれば、例えば評価値として参加度を計算することにより、参加度の高いユーザを特定することができる。
一実施形態である方法は、コンピュータが、所定の複数の参加者の各々の、複数の時点の各々において認識された状態に基づき、参加者全体について複数の時点の各々における評価値を計算するステップと、コンピュータが、参加者全体について計算された複数の時点の各々における評価値に基づき、１以上の時点を選択するステップと、ある参加者が使用するコンピュータが、選択された１以上の時点についての表示を行うステップと
を更に含んでいてよい。

かかる構成によれば、例えば評価値として反応度を計算して、反応度の高かったシーンを見返すことにより、オンライン会議等の今後の改善に役立てることができる。
本発明の別の実施形態によれば、コンピュータを介したコミュニケーションを実施するためのプログラムが提供される。このプログラムは、コンピュータに、参加者が使用するデジタル・カメラでキャプチャした画像を解析して、当該参加者の状態を認識するステップと、参加者が使用するデジタル・カメラでキャプチャした画像の表示に代えて、当該参加者の認識された状態に対応した画像を出力するステップとを実行させる。

一実施形態であるプログラムは、コンピュータに、当該参加者の認識された状態に対応した前記画像として、当該参加者の認識された表情及び感情の一方又は双方に対応したアバターの画像を生成するステップと、当該参加者の認識された顔の動きに応じて、顔を変化させながらアバターの画像を生成するステップと、当該参加者が席を外していると認識されたか否かに応じて、アバターの表示と非表示とが切り替えられた画像を生成するステップとのうちの少なくとも１つを更に実行させることができる。

かかる構成によれば、参加者は、自身の顔や自宅等を映すことなく、また、マイクをオフにしている場合であっても、表情や反応等を他の参加者に伝えることができる。
一実施形態であるプログラムは、コンピュータに、所定の複数の参加者の各々に対応した領域であって、各参加者の領域の背景色が、当該参加者の認識された状態に対応した色である領域を表示するステップを更に実行させることができる。

かかる構成によれば、参加者は、オンライン会議等の参加者が多数にのぼる場合であっても、当該会議等の全体の雰囲気等を一目で把握することができる。
一実施形態であるプログラムは、コンピュータに、所定の複数の参加者のうち、所定の状態が認識された参加者の数又は割合を計算するステップと、計算された前記数又は割合を表す情報を表示するステップとを更に実行させることができる。

かかる構成によれば、オンライン会議等の雰囲気等を定量化することができる。
また、かかる構成によれば、オンライン会議等において多数決やアンケートの実施等を容易に行うことができる。

一実施形態において、計算された前記数又は割合を表す情報を表示する前記ステップは、計算された前記数又は割合の時間変化を表す情報を表示するステップを含んでいてよい。

かかる構成によれば、オンライン会議等の雰囲気等の変化を可視化することができる。
一実施形態であるプログラムは、コンピュータに、所定の複数の参加者のうち、所定の状態が認識された参加者の数又は割合と所定の閾値との比較を行うステップと、前記比較が所定の結果であるときに、所定の効果音を再生するステップとを更に実行させることができる。

かかる構成によれば、状況に応じた効果音を再生することにより、オンライン会議等の臨場感を高めることができる。
一実施形態であるプログラムは、コンピュータに、所定の状態が認識された参加者が存在するかを判定するステップと、所定の状態が認識された参加者が存在すると判定されたときに、所定の状態が認識された参加者について通知するステップとを更に実行させることができる。

かかる構成によれば、オンライン会議等の参加者が多数にのぼる場合であっても、例えば挙手をした参加者を見逃さずに対処することができる。
一実施形態であるプログラムは、コンピュータに、所定の複数の参加者の各々の、複数の時点の各々において認識された状態に基づき、所定の複数の参加者の各々について全体的な評価値を計算するステップと、前記複数の参加者の各々について計算された前記全体的な評価値に基づく表示を行うステップとを更に実行させることができる。

かかる構成によれば、例えば評価値として参加度を計算することにより、参加度の高いユーザを特定することができる。
一実施形態であるプログラムは、コンピュータに、所定の複数の参加者の各々の、複数の時点の各々において認識された状態に基づき、参加者全体について複数の時点の各々における評価値を計算するステップと、参加者全体について計算された複数の時点の各々における評価値に基づき、１以上の時点を選択するステップと、選択された１以上の時点についての表示を行うステップとを更に実行させることができる。

かかる構成によれば、例えば評価値として反応度を計算して、反応度の高かったシーンを見返すことにより、オンライン会議等の今後の改善に役立てることができる。
本発明の更に別の実施形態によれば、コンピュータを介したコミュニケーションを実施するためのシステムが提供される。このシステムは、参加者が使用するデジタル・カメラでキャプチャした画像を解析して、当該参加者の状態を認識する状態認識部と、参加者が使用するデジタル・カメラでキャプチャした画像の表示に代えて、当該参加者の認識された状態に対応した画像を出力する仮想カメラとを含む。

一実施形態であるシステムは、当該参加者の認識された状態に対応した前記画像として、当該参加者の認識された表情及び感情の一方又は双方に対応したアバターの画像を生成することと、当該参加者の認識された顔の動きに応じて、顔を変化させながらアバターの画像を生成することと、当該参加者が席を外していると認識されたか否かに応じて、アバターの表示と非表示とが切り替えられた画像を生成することとのうちの少なくとも１つ行う状態可視化部を更に含んでいてよい。

かかる構成によれば、参加者は、自身の顔や自宅等を映すことなく、また、マイクをオフにしている場合であっても、表情や反応等を他の参加者に伝えることができる。
一実施形態であるシステムは、所定の複数の参加者の各々に対応した領域であって、各参加者の領域の背景色が、当該参加者の認識された状態に対応した色である領域を含むビューア画面を生成するビューアを更に含んでいてよい。

かかる構成によれば、参加者は、オンライン会議等の参加者が多数にのぼる場合であっても、当該会議等の全体の雰囲気等を一目で把握することができる。
一実施形態であるシステムは、所定の複数の参加者のうち、所定の状態が認識された参加者の数又は割合を計算し、計算された前記数又は割合を表す情報を含むビューア画面を生成するビューアを更に含んでいてよい。

かかる構成によれば、オンライン会議等の雰囲気等を定量化することができる。
また、かかる構成によれば、オンライン会議等において多数決やアンケートの実施等を容易に行うことができる。

一実施形態において、前記ビューア画面は、計算された前記数又は割合の時間変化を表す情報を含んでいてよい。
かかる構成によれば、オンライン会議等の雰囲気等の変化を可視化することができる。

一実施形態であるシステムは、所定の複数の参加者のうち、所定の状態が認識された参加者の数又は割合と所定の閾値との比較を行い、前記比較が所定の結果であるときに、所定の効果音を再生するビューアを更に含んでいてよい。

かかる構成によれば、状況に応じた効果音を再生することにより、オンライン会議等の臨場感を高めることができる。
一実施形態であるシステムは、所定の状態が認識された参加者が存在するかを判定し、所定の状態が認識された参加者が存在すると判定されたときに、所定の状態が認識された参加者について通知するビューアを更に含んでいてよい。

かかる構成によれば、オンライン会議等の参加者が多数にのぼる場合であっても、例えば挙手をした参加者を見逃さずに対処することができる。
一実施形態であるシステムは、所定の複数の参加者の各々の、複数の時点の各々において認識された状態に基づき、所定の複数の参加者の各々について全体的な評価値を計算し、前記複数の参加者の各々について計算された前記全体的な評価値に基づく表示を含むレポート画面を生成するレポーティング部を更に含んでよい。

かかる構成によれば、例えば評価値として参加度を計算することにより、参加度の高いユーザを特定することができる。
一実施形態であるシステムは、所定の複数の参加者の各々の、複数の時点の各々において認識された状態に基づき、参加者全体について複数の時点の各々における評価値を計算し、参加者全体について計算された複数の時点の各々における評価値に基づき、１以上の時点を選択し、選択された１以上の時点についての表示を含むレポート画面を生成する
レポーティング部を更に含んでいてよい。

かかる構成によれば、例えば評価値として反応度を計算して、反応度の高かったシーンを見返すことにより、オンライン会議等の今後の改善に役立てることができる。

本発明の一実施形態に係る例示のシステム１００が含む構成要素のブロック図である。 例示のシステム１００が含む機能又は手段について説明するためのブロック図である。 ジェスチャの例３００を表す図である。 例示のオンライン会議画面４００を表している。 例示のビューア画面５００を表している。 例示のレポート画面６００を表している。 コンピュータを介したコミュニケーションを実施するための例示の方法７００のフローチャートである。 コンピュータを介したコミュニケーションを実施するための例示の方法８００のフローチャートである。 コンピュータを介したコミュニケーションを実施するための例示の方法９００Ａのフローチャートである。 コンピュータを介したコミュニケーションを実施するための例示の方法９００Ｂのフローチャートである。 コンピュータを介したコミュニケーションを実施するための例示の方法９００Ｃのフローチャートである。 コンピュータを介したコミュニケーションを実施するための例示の方法１０００のフローチャートである。 コンピュータを介したコミュニケーションを実施するための例示の方法１１００のフローチャートである。 コンピュータを介したコミュニケーションを実施するための例示の方法１２００Ａのフローチャートである。 コンピュータを介したコミュニケーションを実施するための例示の方法１２００Ｂのフローチャートである。 コンピュータのハードウエア構成の一例を表す図である。

１ 本発明の一実施形態
本発明の一実施形態は、コンピュータを介したコミュニケーションを実施するためのシステムである。なお、このコミュニケーションはオンライン会議等のうちの任意のものであってよいが、以下の説明では例示として、このコミュニケーションはオンライン会議であると仮定している。

図１は、コンピュータを介したコミュニケーションを実施するための例示のシステム１００が含む構成要素のブロック図である。
１１０Ａ〜１１０Ｃは、コミュニケーションの参加者が使用するコンピュータであるクライアントを示している。以下、クライアント１１０Ａ〜１１０Ｃの各々を区別せずに「クライアント１１０」という。図１ではクライアント１１０は３つのみ描かれているが、実際にはクライアント１１０は参加者の数だけ存在する。クライアント１１０は、少なくともディスプレイを有する。また、クライアント１１０は、マイク及びスピーカを利用可能であることが好ましい。

１２０Ａ〜１２０Ｃは、クライアント１１０Ａ〜１１０Ｃのそれぞれと通信可能に接続されており、オンライン会議の参加者が使用するデジタル・カメラ（以下、単に「カメラ」という。）を示している。以下、カメラ１２０Ａ〜１２０Ｃの各々を区別せずに「カメラ１２０」という。カメラ１２０はクライアント１１０に内蔵されていることもある。図１では１つのクライアント１１０に１つのカメラ１２０が接続されているが、複数のカメラ１２０が接続されたクライアント１１０が存在する場合もある。

１３０は、インターネットを含むことがある１以上のネットワークから構成されたネットワークを示している。
１４０は、ネットワーク１３０を介してクライアント１１０と通信可能に接続されたコンピュータであるサーバを示している。サーバ１４０は、１以上のコンピュータから構成されていてよいし、あるいはいわゆるクラウドに相当するものであってよい。

なお、システム１００により実施されるコミュニケーションは、従来のオンライン会議サービスを利用するものであり、少なくともクライアント１１０は、ネットワーク１３０を介してそのようなサービスに係る図示されないコンピュータとも通信可能に接続されている。

図２は、システム１００が含む機能又は手段について説明するためのブロック図である。
クライアント１１０が含む１１１は、カメラ１２０がキャプチャした画像を解析して、カメラ１２０を使用しているコミュニケーションの参加者即ちコンピュータ１１０及びカメラ１２０の使用者の状態を認識するための状態認識部を示している。カメラ１２０は動画をキャプチャすることができ、状態認識部１１１が行う画像の解析は、動画を構成する一連の画像を解析することであってよい。また、状態認識部１１１が認識する状態は、
・ 参加者の感情（例えば、喜び、悲しみ、驚き、怒り、軽蔑、嫌悪、恐怖、肯定的/否定的、表情の豊かさ。）
・ 参加者の表情（例えば、笑顔、目を閉じる、眉を下げる、目を細くする。）
・ 参加者の顔の動き
・ 参加者が行ったジェスチャ
・ 参加査が席を外しているか否か
のうちの１以上を含んでいてよい。状態認識部１１１は、従来技術を用いて参加者の状態を認識することができる。また、認識された参加者の状態は、当該状態の強さや可能性等を表す数値を含んでいてもよく、この場合、後述する具体的な処理においては、当該数値と所定の閾値との比較が所定の結果となるとき、例えば、当該数値が所定の閾値以上であるときに、当該状態が認識されたものとしてよい。

例えば、参加者の顔の動きや表情、感情の認識にはＡｆｆｅｃｔｉｖａが提供しているＡｆｆｄｅｘを用いることができる。Ａｆｆｄｅｘによれば、ある参加者が使用するカメラ１２０がキャプチャした画像から、当該参加者の顔の動きや表情、感情の強さを数値として得ることができる。なお、Ａｆｆｄｅｘによれば、当該画像に参加者が映っていない場合には、これら数値はゼロとなる。

また、例えば、参加者が行ったジェスチャの認識には深層学習によるクラス分類の技術を用いることができる。深層学習によるクラス分類によれば、ある参加者が使用するカメラ１２０がキャプチャした画像が、あるジェスチャに対応するクラスに分類される可能性を数値として得ることができる。なお、図３はジェスチャの例３００を表しているが、認識されるジェスチャは、これに限定されるわけではない。

更に、例えば、参加者が席を外しているか否かの認識には物体検出又は顔検出の技術を用いることができる。物体検出又は顔検出によれば、ある参加者が使用するカメラ１２０がキャプチャした画像から物体又は顔が検出されたか否かに基づき、参加者が席を外しているか否かを真偽値（ｔｒｕｅ又はｆａｌｓｅ）として得ることができる。

状態認識部１１１は、サーバ１４０及び後述する状態可視化部に、認識された状態を表す情報を提供することができる。当該情報は、任意の形式であってよい。例えば、当該情報は、状態の名前をキーとし、当該状態について得られた数値又は真偽値を値とするＪＳＯＮ形式であってよい。なお、サーバ１４０と状態可視化部とに提供される情報とは異なっていてもよく、サーバ１４０と状態可視化部との一方に提供される情報は、他方に提供される情報の一部であってもよい。また、状態認識部１１１は、定期的に、又は、異なる状態が認識される毎に、サーバ１４０と状態可視化部の一方又は双方に情報を提供することができる。なお、サーバ１４０と状態可視化部との情報の提供タイミングは、同一であっても異なっていてもよい。更に、状態認識部１１１は、時間を表す情報、例えば、状態が認識された時刻とともに、認識された状態を表す情報を出力することができる。

クライアント１１０が含む１１２は、状態認識部１１１からの情報に基づき、参加者の認識された状態を可視化する状態可視化部を示している。状態可視化部１１２は、参加者の認識された状態に対応した画像を生成することができる。生成される画像は、
・ 認識された状態に対応した参加者のアバター
・ 認識された状態に対応した色を有する背景
・ 認識された状態に対応した文字やアイコン、画像（例えば、ジェスチャを示すアイコンや表情に応じた絵文字等）
のうちの１以上を含んでいてよい。アバターの画像は、クライアント１１０のメモリから又はネットワーク１３０を介して取得してよい。また、認識された状態の各々と生成される画像との対応は、参加者ごとに設定できてもよいが、認識された状態の各々と生成される画像の少なくとも一部の要素（例えば、背景色）との対応関係は、参加者全体で同じであることが好ましい。

状態可視化部１１２は、例えば、参加者の認識された状態として喜びの感情又は笑顔の表情が認識された場合、背景が黄色の笑顔を有するアバターの画像を生成することができる。

状態可視化部１１２は、例えば、所定のアバターの画像を取得し、参加者の状態として顔の動きが認識されたときに、従来技術の深層学習による顔向き推定又は顔特徴点認識により当該顔の動きに合わせてアバターの顔を変化させた一連の画像を生成することができる。

状態可視化部１１２は、例えば、参加者の状態として参加者による挙手のジェスチャを認識したときに、挙手しているアバターの画像を生成することができる。あるいは、状態可視化部１１２は、例えば、参加者の状態として参加者による挙手のジェスチャを認識したときに、所定のアバターの画像に挙手のジェスチャを示すアイコンを重ねた画像を生成することができる。

状態可視化部１１２は、参加者の認識された状態が席を外しているか否かに応じて、生成される画像を切り替えることができる。状態可視化部１１２は、例えば、参加者の状態として席を外していると認識した場合に所定のアバターの画像を、そうでない場合にアバターが含まれていない画像を生成することができる。

クライアント１１０が含む１１３は、状態可視化部１１２により生成された画像をあたかもキャプチャした画像であるかのように出力する仮想カメラを示している。仮想カメラ１１３は、カメラ１２０の代替として、クライアント１１０において実行される従来のオンライン会議サービスに係るアプリケーションへの入力として用いることができるものである。

図４は、従来のオンライン会議サービスに係るアプリケーションによりクライアント１１０において表示される例示のオンライン会議画面４００を表している。
４１０Ａ〜４１０Ｄは、それぞれ、オンライン会議の参加者に対応した領域を示している。以下、領域４１０Ａ〜４１０Ｄを区別せずに「領域４１０」という。従来のオンライン会議サービスに係るアプリケーションへの入力としてカメラ１２０を選択した場合、領域４１０にはカメラ１２０がキャプチャした画像が表示されるところ、当該アプリケーションへの入力として仮想カメラ１１３を選択することにより、図４に表されるような画面が表示されることになる。即ち、従来のオンライン会議サービスに係るアプリケーションへの入力として仮想カメラ１１３を用いることにより、領域４１０には仮想カメラ１３０の出力が表示されることになる。

領域４１０Ａ及び４１０Ｂには、当該領域に対応する参加者が使用するクライアント１１０の状態可視化部１１２が生成した、背景が白色のアバターの画像が表示されている。領域４１０Ｃには、当該領域に対応する参加者が使用するクライアント１１０の状態可視化部１１２が生成した、アバターが含まれていない画像が表示されている。この画像は、カメラ１２０がキャプチャした画像を表示することなく、当該参加者が席を外していることを示すことができるものである。領域４１０Ｄには、当該領域に対応する参加者が使用するクライアント１１０の状態可視化部１１２が生成した、背景が黄色の笑顔のアバターの画像を示している。この画像は、カメラ１２０がキャプチャした画像を表示することなく、当該参加者が笑顔であるか又は喜んでいることを示すことができるものである。

なお、仮想カメラ１１３は、カメラ１２０がキャプチャした画像をも入力として受け、設定により、カメラ１２０がキャプチャした画像と、状態可視化部１１２が生成した画像とを切り替えて出力するように構成されていてもよい。

図２に戻ると、サーバ１４０は、複数のクライアント１１０の各々の状態認識部１１１から提供された情報を収集して記憶する。サーバ１４０は、記憶した情報を、要求に応答して、当該要求を行ったクライアント１１０に提供する。１つのクライアント１１０に提供される情報は、所定の複数の参加者の認識された状態であってよい。また、１度に出力される状態は、所定の複数の参加者の、１以上の時点において認識された状態であってよい。なお、「所定の複数の参加者」は、本方法を使用してコミュニケーションに参加している全参加者であってよいが、全参加者のうちの特定の参加者（オンライン会議の開催者等）を除いた参加者であってもよい。

クライアント１１０が含む１１４は、オンライン会議画面４００とは別のビューア画面を生成するためのビューアを示している。オンライン会議画面４００とビューア画面とは、クライアント１１０において同時に表示されていてよい。また、オンライン会議画面４００とビューア画面とは、クライアント１１０の異なるウィンドウや異なる仮想デスクトップ、複数ディスプレイ環境における異なるディスプレイに表示されるよう構成されていてよい。

図５は、例示のビューア画面５００を表している。
５１０の各々は、所定の複数の参加者の各々に対応した領域を示している。各領域には、各ユーザの認識された状態に対応した画像を表示することができる。ビューア１１４は、状態可視化部１１２と同様の機能を有することができ、従って、各領域に表示される各画像は、状態可視化部１１２が生成するような画像であってよい。

領域５１０のうちの上から１行左から１及び２列目、２行左から３及び４列目並びに３行左から２列目の領域は、背景が白色のアバターの画像を示している。
領域５１０のうちの上から２行左から１列目の領域は、何も含まれていない画像を示している。

領域５１０のうちの上から１行左から３及び４列目、２行左から２列目並びに３行左から１列目は、背景が黄色の笑顔のアバターの画像を示している。
領域５１０のうちの上から３行左から３列目の領域は、背景が赤色の怒りの感情を表すアバターの画像を示している。

領域５１０のうちの上から３行左から４列目の画像は、背景が白色の挙手したアバターの画像を示している。
領域５１０によれば、例えば、喜びの感情又は笑顔が状態として認識されたときに背景が黄色の笑顔のアバターの画像を、怒りの感情又は表情が状態として認識されたときに背景が赤色の怒りの感情を表すアバターの画像をそれぞれ生成するよう構成することにより、自身のクライアント１１０に表示されたビューア画面５００を参照した参加者は、他の参加者の表情又は感情を一目で把握することができる。なお、オンライン会議の参加者の数が多数にのぼる場合、領域５１０ごとの面積が小さくなり、領域５１０の詳細の確認が難しくなることから、領域５１０に表示される画像は、小さくとも参加者の認識された状態が判別できるものが好ましい。そのため、認識された状態に応じて領域５１０の背景色を変化させることは特に有用である。また、そのため、領域５１０は、アバターの画像を表示させずに単色で塗りつぶすことにより、背景色即ち色のみで参加者の状態を表すように構成されていてもよい。

また、領域５１０のうちの上から３行左から４列目の画像には、強調５２０が付されている。強調５２０は、当該領域に対応した参加者についての通知を他の参加者に対して行うものである。強調５２０のような通知によれば、所定の複数の参加者のうち、所定の状態、例えば、挙手のジェスチャを行った即ち挙手した参加者を一目で把握することができる。オンライン会議の参加者の数が多数にのぼる場合、領域５１０ごとの面積が小さくなり、領域５１０の詳細の確認が難しくなることから、所定の状態が認識された参加者についての通知を行うことは特に有用である。なお、強調５２０を付すことによる通知はあくまで例示であり、他の任意の手法、例えば、所定の状態が認識された参加者に対応する領域５１０を点滅させる、当該領域５１０を拡大する等により通知を行ってよいことは言うまでもない。また、通知を行う際、クライアント１１０は通知音として所定の効果音を再生してもよい。

なお、オンライン会議画面４００に領域４１０が表示される参加者と、ビューア画面５００に領域５１０が表示される参加者とは同一である必要はない。
５３０は、１以上の所定の状態の各々について、所定の複数の参加者のうち当該状態が認識された参加者の数又は割合を表す情報が表示される領域を示している。領域５３０によれば、所定の複数の参加者の全体的な状態を定量化することができる。オンライン会議の参加者の数が多数にのぼる場合、このような数又は割合を表示することは特に有用である。なお、このような数又は割合を表す情報は、各種グラフや表の形式で表示されてもよい。

具体的には、図５の領域５３０においては、領域５１０が表示されている所定の複数の参加者（計１２名）のうち、笑顔又は喜びの感情が認識された参加者が約３３％、怒りの感情が認識された参加者が約８％、そうでない参加者が約５９％であることと、在席していると認識された参加者が１１名、席を外していると認識された参加者が１名であることとが示されている。

また、領域５３０に係る１以上の所定の状態は、参加者が所定のジェスチャを行ったことであってよい。例えば、領域５３０には、手を挙げるジェスチャ（例えば、図３のジェスチャの例３００におけるＮｏ．０２）を行ったと認識された参加者の数と、そうでない参加者の数とを表示することがきる。このような領域５３０によれば、オンライン会議にて多数決等を実施することが容易となる。また、例えば、領域５３０には、指先で「１」を表すジェスチャ（例えば、図３のジェスチャの例３００におけるＮｏ．０８）を行ったと認識された参加者の数と、指先で「２」を表すジェスチャ（例えば、図３のジェスチャの例３００におけるＮｏ．０９）を行ったと認識された参加者の数と、指先で「３」を表すジェスチャ（例えば、図３のジェスチャの例３００におけるＮｏ．１０）を行ったと認識された参加者の数と、指先で「４」を表すジェスチャ（例えば、図３のジェスチャの例３００におけるＮｏ．１１）を行ったと認識された参加者の数とを表示することができる。このような領域５３０によれば、例えば「Ａと思う方は１を、Ｂと思う方は２を、Ｃと思う方は３を、Ｄと思う方は４を手で表して下さい。」といったことをオンライン会議上で発言することにより、選択肢Ａ〜Ｄについてのアンケートを実施することが容易となる。

領域５３０は、１以上の所定の状態の各々について、所定の複数の参加者のうち当該状態が認識された参加者の数又は割合の時間変化を表す情報を表示してもよい。このような数又は割合の時間変化を表す情報は、横軸を時間とし縦軸を数又は割合とする各種グラフや、複数の時点の各々における数又は割合を表す表、所定の時間間隔ごとの数又は割合の平均、中央値、最大値又は最小値等の統計値を表す表の形式で表示されてもよい。従って、領域５３０は、後述する図６の６３０に示すようなグラフとして表示されてよい。

また、ビューア１１４は、所定の複数の参加者のうち、所定の状態が認識された参加者の数又は割合が所定の閾値を超えたときに、所定の効果音をクライアント１１０において再生させてもよい。例えば、所定の複数の参加者のうち、所定の状態として喜びの感情又は笑顔が認識された参加者の数又は割合が所定の閾値を超えたときに、拍手の効果音を再生することができる。このような効果音の再生によれば、直接対面しての会議のような臨場感をオンライン会議に与えることが可能となる。

なお、ある参加者が使用するクライアント１１０に表示されるビューア画面５００と、別の参加者が使用するクライアント１１０に表示されるビューア画面５００とは異なっていてもよい。また、以上の説明ではビューア画面５００はビューア１１４が生成するものとしてきたが、ビューア画面５００はサーバ１４０が生成し、ビューア１１４に提供するものであってもよい。

図２に戻ると、クライアント１１０が含む１１５は、終了したコミュニケーションについての分析結果を表示するレポート画面を生成するためのレポーティング部を示している。

図６は、例示のレポート画面６００を表している。
６１０は、分析結果が表示されているコミュニケーションについてのビューア画面５００の領域５１０がプレイバックされる領域を示している。領域６１０にはビューア画面５００全体やオンライン会議画面４００がプレイバックされてもよい。

６２０は、領域６１０に表示された画面の再生位置（時点）における、１以上の所定の状態の各々について、所定の複数の参加者のうち当該状態が認識された参加者の数又は割合を表す情報が表示される領域を示している。従って、領域６２０の表示は、領域６１０における画面に同期して変化することができる。具体的には、図６の領域６２０においては、ある時点において、領域６１０が表示されている所定の複数の参加者（１２名）のうち、笑顔又は喜びの感情が認識された参加者が約３３％、怒りの感情が認識された参加者が約８％、そうでない参加者が約５９％であることが示されている。

６３０は、１以上の所定の状態の各々について、所定の複数の参加者のうち当該状態が認識された参加者の数又は割合の時間変化を表す情報が表示される領域を示している。図６の領域６３０において、当該情報は、横軸を時間とし縦軸を数又は割合とする折れ線グラフにより表されているが、領域５３０に関して述べたことと同様にその他のグラフや表の形式で表されてよいことは言うまでもない。

６４０は、領域６１０に表示された画面の再生位置を示すバーである。
レポーティング部１１５は、所定の複数の参加者の認識された状態に基づいて、任意の所定の定義に基づく各参加者の評価値を計算することができ、領域６３０は当該評価値の時間変化を表す情報を表示することができる。評価値は参加度であってよく、レポーティング部１１５は、認識された状態としての各参加者の表情や感情、所定のジェスチャの頻度、席を外していたか否かに基づいて参加度を計算することができる。例えば、ある参加者の参加度は、当該ある参加者について認識された１以上の表情の強さの数値の合計値と、当該ある参加者について認識された１以上の感情の強さの数値うちの最大値と、当該ある参加者について所定のジェスチャが認識されたか否かの値（認識されたときに１、そうでないときに０であってよい。以下同様。）との重み付け和であってよい。また、評価値はポジティブな反応の多寡であってよい。例えば、ある参加者のポジティブな反応の多寡は、当該ある参加者について認識された肯定的な所定の感情の強さの数値と、当該ある参加者について肯定的な所定のジェスチャが認識されたか否かの値との重み付け和から、当該ある参加者について認識された否定的な所定の感情の強さの数値と、当該ある参加者について否定的な所定のジェスチャが認識されたか否かの値との重み付け和を減算した値であってよい。なお、ある感情及びジェスチャが肯定的か否定的かは、所定の基準に基づき定めてよい。

２ 本発明の別の一実施形態
本発明の別の一実施形態は、コンピュータを介したコミュニケーションを実施するための方法である。

図７は、コンピュータを介したコミュニケーションを実施するための例示の方法７００のフローチャートである。
７１０は、クライアント１１０が、カメラ１２０により画像をキャプチャするステップを示している。

７２０は、クライアント１１０が、キャプチャした画像を解析して、クライアント１１０及びカメラ１２０を使用しているコミュニケーションの参加者の状態を認識するステップを示している。このステップは、クライアント１１０が含む状態認識部１１１により実行されてよい。

７３０は、クライアント１１０が、認識された状態に対応した画像を生成するステップを示している。このステップは、クライアント１１０が含む状態可視化部１１２により実行されてよい。

なお、ステップ７２０及び７３０は、クライアント１１０からキャプチャした画像の提供を受けることにより、クライアント１１０とは異なるコンピュータ、例えばサーバ１４０が実行するものであってよい。

７４０は、クライアント１１０が、キャプチャした画像に代えて、生成された画像を表示するステップを示している。このステップは、クライアント１１０が含む仮想カメラ１１３を介して、クライアント１１０における従来のオンライン会議サービスに係るアプリケーションにより実行されてよい。従って、このステップは、図４に表されるようなオンライン会議画面４００を表示するステップの一部であってよい。

７５０は、クライアント１１０が、処理を終了すべきかを判定するステップを示している。ステップ７５０においては、任意の条件を満たしたときに処理を終了すべきと判定してよく、例えば、参加者からのコミュニケーションの終了の指示を受けたときに、処理を終了すべきと判定してよい。処理を終了すべきと判定した場合には方法７００は終了し、そうでない場合には処理はステップ７１０へと戻りループする。

図８は、コンピュータを介したコミュニケーションを実施するための別の例示の方法８００のフローチャートである。方法８００は、同一のクライアント１１０において先に述べた例示方法と並列に実行されてよい。

８２０は、クライアント１１０が、サーバ１４０から、コミュニケーションの所定の複数の参加者の各々について、認識された状態を取得するステップを示している。このステップは、最新の認識された状態を取得するステップであってよい。

８３０は、クライアント１１０が、取得された各参加者の認識された状態に基づき、各参加者について認識された状態に対応した画像を生成するステップを示している。このステップは、クライアント１１０が含むビューア１１４により実行されてよい。

なお、ステップ８２０及び８３０は、クライアント１１０とは異なるコンピュータ、例えばサーバ１４０が実行するものであってよい。
８４０は、クライアント１１０が、コミュニケーションの所定の複数の参加者の各々に対応した各領域において、生成された画像を表示するステップを示している。このステップは、図５に表されるようなビューア画面５００を表示するステップの一部であってよい。

８５０は、クライアント１１０が、処理を終了すべきかを判定するステップを示している。ステップ８５０はステップ７５０と同様のステップである。処理を終了すべきと判定した場合には方法８００は終了し、そうでない場合には処理はステップ８２０へと戻りループする。

図９Ａは、コンピュータを介したコミュニケーションを実施するための別の例示の方法９００Ａのフローチャートである。方法９００Ａは、同一のクライアント１１０において先に述べた例示方法と並列に実行されてよい。

９１０Ａは、クライアント１１０が、サーバ１４０から、コミュニケーションの所定の複数の参加者の各々について、認識された状態を取得するステップを示している。このステップは、最新の認識された状態を取得するステップであってよい。

９２０Ａは、クライアント１１０が、取得された各参加者の認識された状態に基づき、所定の複数の参加者のうち、所定の状態が認識された参加者の数又は割合を計算するステップを示している。このステップは、複数の所定の状態の各々について、所定の複数の参加者のうち当該状態が認識された参加者の数又は割合を計算するステップの一部であってよい。

なお、ステップ９１０Ａ及び９１０Ｂは、クライアント１１０とは異なるコンピュータ、例えばサーバ１４０が実行するものであってよい。
９３０Ａは、クライアント１１０が、計算された数又は割合を表す情報を表示するステップを示している。このステップにより表示される情報の例は、図５のビューア画面５００における情報５３０のようなものであってよい。

９４０Ａは、クライアント１１０が、処理を終了すべきかを判定するステップを示している。ステップ９４０Ａはステップ７５０と同様のステップである。処理を終了すべきと判定した場合には方法９００Ａは終了し、そうでない場合には処理はステップ９１０Ａへと戻りループする。

図９Ｂは、コンピュータを介したコミュニケーションを実施するための別の例示の方法９００Ｂのフローチャートである。方法９００Ｂは、同一のクライアント１１０において先に述べた例示方法と並列に実行されてよい。

９１０Ｂは、クライアント１１０が、後のステップにて用いる時点ｔを初期化するステップを示している。このステップは、時点ｔを表す変数に初期値を代入するステップであってよい。

９２０Ｂは、クライアント１１０が、サーバ１４０から、コミュニケーションの所定の複数の参加者の各々について、認識された状態を取得するステップを示している。このステップは、最新の認識された状態を取得するステップであってよい。

９３０Ｂは、クライアント１１０が、取得された各参加者の認識された状態に基づき、所定の複数の参加者のうち、所定の状態が認識された参加者の数又は割合を計算するステップを示している。このステップは、複数の所定の状態の各々について、所定の複数の参加者のうち当該状態が認識された参加者の数又は割合を計算するステップの一部であってよい。

９４０Ｂは、クライアント１１０が、計算された数又は割合を表す情報を、時点ｔに関連付けて表示するステップを示している。このステップは、例えば、計算された数又は割合の時間変化を表し、時間に対応した軸を有するグラフにおいて、時点ｔにおける計算された数又は割合についてのプロットを行うステップであってよい。

９５０Ｂは、クライアント１１０が、時点ｔをインクリメントするステップを示している。ステップ９５０Ｂは後述するループによって複数回実行されることがあり、このステップは、例えば、時点ｔを表す変数に、当該ステップの実行間隔に相当する時間を加算するステップであってよい。

なお、ステップ９１０Ｂ〜９３０Ｂ及び９５０Ｂは、クライアント１１０とは異なるコンピュータ、例えばサーバ１４０が実行するものであってよい。
９６０Ｂは、クライアント１１０が、処理を終了すべきかを判定するステップを示している。ステップ９６０Ｂはステップ７５０と同様のステップである。処理を終了すべきと判定した場合には方法９００Ｂは終了し、そうでない場合には処理はステップ９２０Ｂへと戻りループする。

図９Ｃは、コンピュータを介したコミュニケーションを実施するための別の例示の方法９００Ｃのフローチャートである。方法９００Ｃは、同一のクライアント１１０において先に述べた例示方法と並列に実行されてよい。

９１０Ｃは、クライアント１１０が、サーバ１４０から、コミュニケーションの所定の複数の参加者の各々について、認識された状態を取得するステップを示している。このステップは、最新の認識された状態を取得するステップであってよい。

９２０Ｃは、クライアント１１０が、取得された各参加者の認識された状態に基づき、所定の複数の参加者のうち、所定の状態が認識された参加者の数又は割合を計算するステップを示している。このステップは、複数の所定の状態の各々について、所定の複数の参加者のうち当該状態が認識された参加者の数又は割合を計算するステップの一部であってよい。

９３０Ｃは、クライアント１１０が、計算された数又は割合が、所定の閾値以上であるかを判定するステップを示している。計算された数又は割合が閾値以上である場合、処理はステップ９４０Ｃに進み、そうでない場合、処理はステップ９５０Ｃに進む。ステップ９３０Ｃは、計算された数又は割合と、所定の閾値とを比較するステップの一例であり、計算された数又は割合が閾値以上である場合は、比較が所定の結果であるときの一例である。

なお、ステップ９１０Ｃ〜９３０Ｃは、クライアント１１０とは異なるコンピュータ、例えばサーバ１４０が実行するものであってよい。
９４０Ｃは、クライアント１１０が、所定の処理を実行するステップを示している。所定の処理の一例は、所定の効果音を再生することである。

９５０Ｃは、クライアント１１０が、処理を終了すべきかを判定するステップを示している。ステップ９４０Ｃはステップ７５０と同様のステップである。処理を終了すべきと判定した場合には方法９００Ｃは終了し、そうでない場合には処理はステップ９１０Ｃへと戻りループする。

図１０は、コンピュータを介したコミュニケーションを実施するための別の例示の方法１０００のフローチャートである。方法１０００は、同一のクライアント１１０において先に述べた例示方法と並列に実行されてよい。

１０１０は、クライアント１１０が、サーバ１４０から、コミュニケーションの所定の複数の参加者の各々について、認識された状態を取得するステップを示している。このステップは、最新の認識された状態を取得するステップであってよい。

１０２０は、クライアント１１０が、取得された各参加者の認識された状態に基づき、所定の状態が認識された参加者は存在するかを判定するステップを示している。所定の状態が認識された参加者は存在すると判定した場合、処理はステップ１０３０に進み、そうでない場合、処理はステップ１０４０に進む。

なお、ステップ１０１０及び１０２０は、クライアント１１０とは異なるコンピュータ、例えばサーバ１４０が実行するものであってよい。
１０３０は、クライアント１１０が、所定の処理を実行するステップを示している。所定の処理の一例は、所定の状態が認識された参加者についての通知を行うステップを示している。通知の手法は任意であるが、例えば、図５の強調５２０によって通知が行われてよい。

１０４０は、クライアント１１０が、処理を終了すべきかを判定するステップを示している。ステップ１０４０はステップ７５０と同様のステップである。処理を終了すべきと判定した場合には方法１０００は終了し、そうでない場合には処理はステップ１０１０へと戻りループする。

図１１は、コンピュータを介したコミュニケーションを実施するための別の例示の方法１１００のフローチャートである。方法１１００は、あるコミュニケーションが終了した後に実行されることが想定されたものである。

１１１０は、クライアント１１０が、サーバ１４０から、コミュニケーションの所定の複数の参加者の各々について、複数の時点の各々における認識された状態を取得するステップを示している。複数の時点は、コミュニケーションについて参加者の状態が認識された全時点であってよいが、これに限定されるわけではない。

１１２０は、クライアント１１０が、取得された各参加者の各時点において認識された状態に基づき、所定の複数の参加者のうち、所定の状態が認識された参加者の数又は割合の時間変化を計算するステップを示している。計算される所定の状態が認識された参加者の数又は割合の時間変化は、複数の時点の各々において所定の状態が認識された参加者の数又は割合であってよい。

なお、ステップ１１１０及び１１２０は、クライアント１１０とは異なるコンピュータ、例えばサーバ１４０が実行するものであってよい。
１１３０は、クライアント１１０が、計算された所定の状態が認識された参加者の数又は割合の時間変化を表す情報を表示するステップを示している。このステップにより表示される情報の例は、図６のレポーティング画面６００における情報６３０のようなものであってよい。

図１２Ａは、コンピュータを介したコミュニケーションを実施するための別の例示の方法１２００Ａのフローチャートである。方法１２００Ａは、あるコミュニケーションが終了した後に実行されることが想定されたものであり、方法１１００と並列に実行されてよい。

１２１０Ａは、ステップ１１１０と同様のステップであり、クライアント１１０が、サーバ１４０から、コミュニケーションの所定の複数の参加者の各々について、複数の時点の各々における認識された状態を取得するステップを示している。

１２２０Ａは、クライアント１１０が、取得された各参加者の各時点において認識された状態に基づき、各参加者の各時点における評価値を計算するステップを示している。参加者についての評価値は、上述したように、コミュニケーションへの当該参加者の参加度や、当該参加者のポジティブな反応を表すものであってよい。

１２３０Ａは、クライアント１１０が、各参加者の各時点における計算された評価値に基づき、各参加者の全体的な評価値を計算するステップを示している。ある参加者の全体的な評価値は、当該ある参加者の各時点における計算された評価値の平均、中央値、最大値又は最小値等の統計値であってよい。

なお、ステップ１２１０Ａ〜１２３０Ａは、クライアント１１０とは異なるコンピュータ、例えばサーバ１４０が実行するものであってよい。
１２４０Ａは、クライアント１１０が、各参加者の計算された全体的な評価値に基づく情報を表示するステップを示している。このような情報の例は、評価値に基づく参加者のランキング・リストである。

図１２Ｂは、コンピュータを介したコミュニケーションを実施するための別の例示の方法１２００Ｂのフローチャートである。方法１２００Ｂは、あるコミュニケーションが終了した後に実行されることが想定されたものであり、方法１１００及び方法１２００Ｂと並列に実行されてよい。

１２１０Ｂは、ステップ１１１０と同様のステップであり、クライアント１１０が、サーバ１４０から、コミュニケーションの所定の複数の参加者の各々について、複数の時点の各々における認識された状態を取得するステップを示している。

１２２０Ｂは、ステップ１２２０Ａと同様のステップであり、クライアント１１０が、取得された各参加者の各時点において認識された状態に基づき、各参加者の各時点における評価値を計算するステップを示している。

１２３０Ｂ、クライアント１１０が、各参加者の各時点における計算された評価値に基づき、参加者全体の各時点における評価値を計算するステップを示している。参加者全体のある時点における評価値は、各参加者のある時点における計算された評価値の平均、中央値、最大値又は最小値等の統計値であってよい。

１２４０Ｂは、クライアント１１０が、参加者全体の各時点における計算された評価値に基づき、複数の時点から１以上の時点を選択するステップを示している。このステップは、参加者全体の評価値が高い順に、複数の時点から１以上の時点を選択するステップであってよい。

なお、ステップ１２１０Ｂ〜１２４０Ｂは、クライアント１１０とは異なるコンピュータ、例えばサーバ１４０が実行するものであってよい。
１２５０Ｂは、クライアント１１０が、選択された１以上の時点について表示するステップを示している。このステップは、選択された１以上の時点の各時点におけるオンライン会議画面４００やビューア画面５００を再現して表示するステップであってよい。

３ 本発明の更に別の一実施形態
本発明の更に別の一実施形態は、コンピュータに上記機能を実現させるか、コンピュータを上記手段として機能させるか、又は、コンピュータに上記方法を実行させるプログラムである。

本発明の更に別の一実施形態は、上記プログラムを記憶したコンピュータ可読記憶媒体、上記プログラムを記憶した非一時的記憶媒体、又は、上記プログラムを貯蔵したコンピュータ判読可能な貯蔵媒体であってもよい。

４ コンピュータ
以下、本発明の一実施形態を実施するために用いることができるコンピュータのハードウエア構成の一例について説明する。なお、本発明の一実施形態を実施するために用いることができるコンピュータは任意のものであってよく、例えば、パーソナル・コンピュータやタブレット・コンピュータ、スマートフォン、クラウド上のコンピュータ等である。

図１３は、コンピュータのハードウエア構成の一例を表している。同図に示すように、コンピュータ１７００は、ハードウエア資源として、主に、プロセッサ１７１０と、主記憶装置１７２０と、補助記憶装置１７３０と、入出力インターフェース１７４０と、通信インターフェース１７５０とを備えており、これらはアドレスバス、データバス、コントロールバス等を含むバスライン１７６０を介して相互に接続されている。なお、バスライン１７６０と各ハードウエア資源との間には適宜インターフェース回路（図示せず）が介在している場合もある。

プロセッサ１７１０は、コンピュータ全体の制御を行う。なお、１つのコンピュータは複数のプロセッサ１７１０を含む場合がある。このような場合、以上の説明における「プロセッサ」は、複数のプロセッサ１７１０の総称であってもよい。

主記憶装置１７２０は、プロセッサ１７１０に対して作業領域を提供し、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性メモリである。

補助記憶装置１７３０は、ソフトウエアであるプログラム等やデータ等を格納する、ＨＤＤやＳＳＤ、フラッシュメモリ等の不揮発性メモリである。当該プログラムやデータ等は、任意の時点で補助記憶装置１７３０からバスライン１７６０を介して主記憶装置１７２０へとロードされる。補助記憶装置１７３０は、コンピュータ可読記憶媒体、非一時的コンピュータ可読記憶媒体、又は、コンピュータ判読可能な貯蔵媒体として参照されることがある。なお、プログラムは、プロセッサに所望の処理を実行させる命令を含むものである。

入出力インターフェース１７４０は、情報を提示すること及び情報の入力を受けることの一方又は双方を行うものであり、デジタル・カメラ、キーボード、マウス、ディスプレイ、タッチパネル・ディスプレイ、マイク、スピーカ、温度センサ等である。

通信インターフェース１７５０は、ネットワーク１３０と接続されるものであり、ネットワーク１３０を介してデータを送受する。通信インターフェース１７５０とネットワーク１３０とは、有線又は無線で接続されうる。通信インターフェース１７５０は、ネットワークに係る情報、例えば、Ｗｉ−Ｆｉのアクセスポイントに係る情報、通信キャリアの基地局に関する情報等も取得することがある。

上に例示したハードウエア資源とソフトウエアとの協働により、コンピュータ１７００は、所望の手段として機能し、所望のステップを実行し、所望の機能を実現させることできることは、当業者には明らかであろう。

５ むすび
以上、本発明の実施形態の幾つかの例を説明してきたが、これらは例示にすぎず、本発明の技術的範囲を限定するものではないことが理解されるべきである。本開示の趣旨及び範囲から逸脱することなく、実施形態の変更、追加、改良などを適宜行うことができることが理解されるべきである。本発明の技術的範囲は、上述した実施形態のいずれによっても限定されるべきではなく、特許請求の範囲及びその均等物によってのみ規定されるべきである。

１３０…ネットワーク
３００…ジェスチャの例
４００…オンライン会議画面
４１０Ａ〜４１０Ｄ…オンライン会議の少なくとも一部の参加者に対応した領域
５００…ビューア画面
５１０…オンライン会議の所定の複数の参加者に対応した領域
５２０…強調
５３０…１以上の所定の状態の各々について、所定の複数の参加者のうち当該状態が認識された参加者の数又は割合を表す情報
６００…レポート画面
６１０…オンライン会議の所定の複数の参加者に対応した領域
６２０…ある時点における、１以上の所定の状態の各々について、所定の複数の参加者のうち当該状態が認識された参加者の数又は割合を表す情報
６３０…１以上の所定の状態の各々について、所定の複数の参加者のうち当該状態が認識された参加者の数又は割合の時間変化を表す情報
６４０…再生位置を示すバー

Claims (31)

1. コンピュータを介したコミュニケーションを実施するための方法であって、
   複数のコンピュータが、全体として、所定の複数の参加者の各々が使用するデジタル・カメラでキャプチャした画像を解析して、当該所定の複数の参加者の各々の状態を認識する画像解析ステップと、
   前記所定の複数の参加者のうちのある参加者が使用するコンピュータが、前記所定の複数の参加者のうちの別の参加者が使用するデジタル・カメラでキャプチャした前記画像の表示に代えて、前記画像解析ステップにおいて認識された当該別の参加者の状態に対応した表示を行うステップと、
   コンピュータが、前記所定の複数の参加者の各々の認識された前記状態に基づき、前記所定の複数の参加者のうち、第１の所定の状態が認識された参加者の数又は割合を計算するステップと、
   前記所定の複数の参加者のうちのある参加者が使用するコンピュータが、計算された前記数又は割合を表す情報を表示するステップと
   を含む方法。
2. 請求項１に記載の方法であって、
   前記所定の複数の参加者のうちのある参加者が使用するコンピュータが、計算された前記数又は割合を表す情報を表示する前記ステップは、計算された前記数又は割合の時間変化を表す情報を表示するステップを含む、
   方法。
3. コンピュータを介したコミュニケーションを実施するための方法であって、
   複数のコンピュータが、全体として、所定の複数の参加者の各々が使用するデジタル・カメラでキャプチャした画像を解析して、当該所定の複数の参加者の各々の状態を認識する画像解析ステップと、
   前記所定の複数の参加者のうちのある参加者が使用するコンピュータが、前記所定の複数の参加者のうちの別の参加者が使用するデジタル・カメラでキャプチャした画像の表示に代えて、前記画像解析ステップにおいて認識された当該別の参加者の状態に対応した表示を行うステップと、
   コンピュータが、前記所定の複数の参加者の各々の認識された前記状態に基づき、前記所定の複数の参加者のうち、第１の所定の状態が認識された参加者の数又は割合と所定の閾値との比較を行うステップと、
   前記比較が所定の結果であるときに、前記所定の複数の参加者のうちのある参加者が使用するコンピュータが、所定の効果音を再生するステップと
   を含む方法。
4. 請求項１から３のうちの何れか一項に記載の方法であって、
   前記所定の複数の参加者のうちのある参加者が使用するコンピュータが、前記所定の複数の参加者のうちの別の参加者が使用するデジタル・カメラでキャプチャした前記画像の表示に代えて、当該別の参加者の認識された前記状態に対応した表示を行う前記ステップは、
   当該別の参加者の認識された表情及び感情の一方又は双方に対応したアバターの画像を表示するステップと、
   当該別の参加者の認識された顔の動きに応じて顔を変化させながらアバターを表示するステップと、
   当該別の参加者が席を外していることを、当該別の参加者の認識された前記状態が示しているか否かに応じて、アバターの表示と非表示とを切り替えるステップと
   のうちの少なくとも１つを含む、
   方法。
5. 請求項１から４のうちの何れか一項に記載の方法であって、
   前記所定の複数の参加者のうちのある参加者が使用するコンピュータが、前記所定の複数の参加者のうちの別の参加者が使用するデジタル・カメラでキャプチャした画像の表示に代えての当該別の参加者の認識された前記状態に対応した前記表示とは別に、前記所定の複数の参加者の各々に対応した領域において、当該所定の複数の参加者の各々の認識された前記状態に対応した表示をそれぞれ行う各参加者状態表示ステップ
   を含む方法。
6. 請求項５に記載の方法であって、
   前記各参加者状態表示ステップは、前記所定の複数の参加者の各々に対応した前記領域の背景色を、当該所定の複数の参加者の各々の認識された前記状態に対応した色とするステップを含む、
   方法。
7. 請求項１から５のうちの何れか一項に記載の方法であって、
   コンピュータが、前記所定の複数の参加者の各々の認識された前記状態に基づき、第２の所定の状態が認識された参加者が存在するかを判定するステップと、
   前記第２の所定の状態が認識された参加者が存在すると判定されたときに、コンピュータが、前記第２の所定の状態が認識された参加者について通知するステップと
   を更に含む方法。
8. 請求項１から７のうちの何れか一項に記載の方法であって、
   コンピュータが、前記所定の複数の参加者の各々の、複数の時点の各々において認識された前記状態に基づき、前記所定の複数の参加者の各々について全体的な評価値を計算するステップと、
   前記所定の複数の参加者のうちのある参加者が使用するコンピュータが、前記所定の複数の参加者の各々について計算された前記全体的な評価値に基づく表示を行うステップと
   を更に含む方法。
9. 請求項１から８のうちの何れか一項に記載の方法であって、
   コンピュータが、前記所定の複数の参加者の各々の、複数の時点の各々において認識された前記状態に基づき、参加者全体について複数の時点の各々における評価値を計算するステップと、
   コンピュータが、参加者全体について計算された複数の時点の各々における前記評価値に基づき、１以上の時点を選択するステップと、
   前記所定の複数の参加者のうちのある参加者が使用するコンピュータが、選択された１以上の時点についての表示を行うステップと
   を更に含む方法。
10. コンピュータを介したコミュニケーションを実施するためのプログラムであって、コンピュータに、
    所定の複数の参加者のうちのある参加者が使用するデジタル・カメラでキャプチャした画像を解析して、当該ある参加者の状態を認識するステップと、
    前記ある参加者が使用するデジタル・カメラでキャプチャした画像に代えて表示される、当該ある参加者の認識された前記状態に対応した画像を出力するステップと、
    前記所定の複数の参加者の各々の認識された状態であって、各参加者が使用するデジタル・カメラでキャプチャした画像を解析することにより認識された状態を取得するステップと、
    前記所定の複数の参加者の各々の認識された前記状態に基づき、前記所定の複数の参加者のうち、第１の所定の状態が認識された参加者の数又は割合を計算するステップと、
    計算された前記数又は割合を表す情報を表示するステップと
    を実行させるプログラム。
11. 請求項１０に記載のプログラムであって、
    計算された前記数又は割合を表す情報を表示する前記ステップは、計算された前記数又は割合の時間変化を表す情報を表示するステップを含む、
    プログラム。
12. コンピュータを介したコミュニケーションを実施するためのプログラムであって、コンピュータに、
    所定の複数の参加者のうちのある参加者が使用するデジタル・カメラでキャプチャした画像を解析して、当該ある参加者の状態を認識するステップと、
    前記ある参加者が使用するデジタル・カメラでキャプチャした画像に代えて表示される、当該ある参加者の認識された前記状態に対応した画像を出力するステップと、
    前記所定の複数の参加者の各々の認識された状態であって、各参加者が使用するデジタル・カメラでキャプチャした画像を解析することにより認識された状態を取得するステップと、
    前記所定の複数の参加者の各々の認識された前記状態に基づき、前記所定の複数の参加者のうち、第１の所定の状態が認識された参加者の数又は割合と所定の閾値との比較を行うステップと、
    前記比較が所定の結果であるときに、所定の効果音を再生するステップと
    を実行させるプログラム。
13. 請求項１０から１２のうちの何れか一項に記載のプログラムであって、
    コンピュータに、当該ある参加者の認識された前記状態に対応した前記画像として、
    当該ある参加者の認識された表情及び感情の一方又は双方に対応したアバターの画像を生成するステップと、
    当該ある参加者の認識された顔の動きに応じて、顔を変化させながらアバターの画像を生成するステップと、
    当該ある参加者が席を外していることを、当該ある参加者の認識された前記状態が示しているか否かに応じて、アバターの表示と非表示とが切り替えられた画像を生成するステップと
    のうちの少なくとも１つを更に実行させるプログラム。
14. 請求項１０から１３うちの何れか一項に記載のプログラムであって、コンピュータに、
    前記所定の複数の参加者の各々に対応した領域であって、各領域の背景色が、前記所定の複数の参加者の各々の認識された前記状態のうちの対応する参加者の認識された状態に対応した色である領域を表示するステップ
    を更に実行させるプログラム。
15. 請求項１０から１４のうちの何れか一項に記載のプログラムであって、コンピュータに、
    前記所定の複数の参加者の各々の認識された前記状態に基づき、第２の所定の状態が認識された参加者が存在するかを判定するステップと、
    前記第２の所定の状態が認識された参加者が存在すると判定されたときに、前記第２の所定の状態が認識された参加者について通知するステップと
    を更に実行させるプログラム。
16. 請求項１０から１５のうちの何れか一項に記載のプログラムであって、コンピュータに、
    前記所定の複数の参加者の各々の、複数の時点の各々において認識された前記状態に基づき、前記所定の複数の参加者の各々について全体的な評価値を計算するステップと、
    前記所定の複数の参加者の各々について計算された前記全体的な評価値に基づく表示を行うステップと
    を更に実行させるプログラム。
17. 請求項１０から１６のうちの何れか一項に記載のプログラムであって、コンピュータに、
    前記所定の複数の参加者の各々の、複数の時点の各々において認識された前記状態に基づき、参加者全体について複数の時点の各々における評価値を計算するステップと、
    参加者全体について計算された複数の時点の各々における前記評価値に基づき、１以上の時点を選択するステップと、
    選択された１以上の時点についての表示を行うステップと
    を更に実行させるプログラム。
18. コンピュータを介したコミュニケーションを実施するためのシステムであって、
    所定の複数の参加者のうちのある参加者が使用するデジタル・カメラでキャプチャした画像を解析して、当該ある参加者の状態を認識する状態認識部と、
    前記ある参加者が使用するデジタル・カメラでキャプチャした画像に代えて表示される、当該ある参加者の認識された前記状態に対応した画像を出力する仮想カメラと、
    ビューアであって、
    前記所定の複数の参加者の各々の認識された状態であって、各参加者が使用するデジタル・カメラでキャプチャした画像を解析することにより認識された状態を取得し、
    前記所定の複数の参加者の各々の認識された前記状態に基づき、前記所定の複数の参加者のうち、第１の所定の状態が認識された参加者の数又は割合を計算し、
    計算された前記数又は割合を表す情報を含むビューア画面を生成する
    ビューアと
    を含むシステム。
19. 請求項１８に記載のシステムであって、
    前記ビューア画面は、計算された前記数又は割合の時間変化を表す情報を含む、
    システム。
20. コンピュータを介したコミュニケーションを実施するためのシステムであって、
    所定の複数の参加者のうちのある参加者が使用するデジタル・カメラでキャプチャした画像を解析して、当該ある参加者の状態を認識する状態認識部と、
    前記ある参加者が使用するデジタル・カメラでキャプチャした画像に代えて表示される、当該ある参加者の認識された前記状態に対応した画像を出力する仮想カメラと、
    ビューアであって、
    前記所定の複数の参加者の各々の認識された状態であって、各参加者が使用するデジタル・カメラでキャプチャした画像を解析することにより認識された状態を取得し、
    前記所定の複数の参加者の各々の認識された前記状態に基づき、前記所定の複数の参加者のうち、第１の所定の状態が認識された参加者の数又は割合と所定の閾値との比較を行い、
    前記比較が所定の結果であるときに、所定の効果音を再生する
    ビューアと
    を含むシステム。
21. 請求項１８から２０のうちの何れか一項に記載のシステムであって、
    当該ある参加者の認識された前記状態に対応した前記画像として、
    当該ある参加者の認識された表情及び感情の一方又は双方に対応したアバターの画像を生成することと、
    当該ある参加者の認識された顔の動きに応じて、顔を変化させながらアバターの画像を生成することと、
    当該ある参加者が席を外していることを、当該ある参加者の認識された前記状態が示しているか否かに応じて、アバターの表示と非表示とが切り替えられた画像を生成することと
    のうちの少なくとも１つ行う状態可視化部
    を更に含むシステム。
22. 請求項１８から２１のうちの何れか一項に記載のシステムであって、
    前記所定の複数の参加者の各々に対応した領域であって、各領域の背景色が、前記所定の複数の参加者の各々の認識された前記状態のうちの対応する参加者の認識された状態に対応した色である領域を含むビューア画面を生成するビューア
    を更に含むシステム。
23. 請求項１８から２２のうちの何れか一項に記載のシステムであって、前記ビューアは、
    前記所定の複数の参加者の各々の認識された前記状態に基づき、第２の所定の状態が認識された参加者が存在するかを判定し、
    前記第２の所定の状態が認識された参加者が存在すると判定されたときに、前記第２の所定の状態が認識された参加者について通知する、
    システム。
24. 請求項１８から２３のうちの何れか一項に記載のシステムであって、
    前記所定の複数の参加者の各々の、複数の時点の各々において認識された前記状態に基づき、所定の複数の参加者の各々について全体的な評価値を計算し、
    前記所定の複数の参加者の各々について計算された前記全体的な評価値に基づく表示を含むレポート画面を生成する
    レポーティング部を更に含むシステム。
25. 請求項１８から２４のうちの何れか一項に記載のシステムであって、
    前記所定の複数の参加者の各々の、複数の時点の各々において認識された前記状態に基づき、参加者全体について複数の時点の各々における評価値を計算し、
    参加者全体について計算された複数の時点の各々における前記評価値に基づき、１以上の時点を選択し、
    選択された１以上の時点についての表示を含むレポート画面を生成する
    レポーティング部を更に含むシステム。
26. コンピュータを介したコミュニケーションを実施するための方法であって、
    複数のコンピュータが、全体として、所定の複数の参加者の各々が使用するデジタル・カメラでキャプチャした画像を解析して、当該所定の複数の参加者の各々の状態を認識するステップと、
    コンピュータが、前記所定の複数の参加者の各々の認識された前記状態に基づき、前記所定の複数の参加者のうち、所定の状態が認識された参加者の数又は割合を計算するステップと、
    ある参加者が使用するコンピュータが、計算された前記数又は割合を表す情報を表示するステップと
    を含む方法。
27. コンピュータを介したコミュニケーションを実施するための方法であって、
    複数のコンピュータが、全体として、所定の複数の参加者の各々が使用するデジタル・カメラでキャプチャした画像を解析して、当該所定の複数の参加者の各々の状態を認識するステップと、
    コンピュータが、前記所定の複数の参加者の各々の認識された前記状態に基づき、前記所定の複数の参加者のうち、所定の状態が認識された参加者の数又は割合と所定の閾値との比較を行うステップと、
    前記比較が所定の結果であるときに、ある参加者が使用するコンピュータが、所定の効果音を再生するステップと
    を含む方法。
28. コンピュータを介したコミュニケーションを実施するためのプログラムであって、コンピュータに、
    所定の複数の参加者の各々の認識された状態であって、各参加者が使用するデジタル・カメラでキャプチャした画像を解析することにより認識された状態を取得するステップと、
    前記所定の複数の参加者の各々の認識された前記状態に基づき、前記所定の複数の参加者のうち、所定の状態が認識された参加者の数又は割合を計算するステップと、
    計算された前記数又は割合を表す情報を表示するステップと
    を実行させるプログラム。
29. コンピュータを介したコミュニケーションを実施するためのプログラムであって、コンピュータに、
    所定の複数の参加者の各々の認識された状態であって、各参加者が使用するデジタル・カメラでキャプチャした画像を解析することにより認識された状態を取得するステップと、
    前記所定の複数の参加者の各々の認識された前記状態に基づき、前記所定の複数の参加者のうち、所定の状態が認識された参加者の数又は割合と所定の閾値との比較を行うステップと、
    前記比較が所定の結果であるときに、所定の効果音を再生するステップと
    を実行させるプログラム。
30. コンピュータを介したコミュニケーションを実施するためのシステムであって、
    所定の複数の参加者の各々の認識された状態であって、各参加者が使用するデジタル・カメラでキャプチャした画像を解析することにより認識された状態を取得し、
    前記所定の複数の参加者の各々の認識された前記状態に基づき、前記所定の複数の参加者のうち、所定の状態が認識された参加者の数又は割合を計算し、
    計算された前記数又は割合を表す情報を含むビューア画面を生成する
    ように構成されたシステム。
31. コンピュータを介したコミュニケーションを実施するためのシステムであって、
    所定の複数の参加者の各々の認識された状態であって、各参加者が使用するデジタル・カメラでキャプチャした画像を解析することにより認識された状態を取得し、
    前記所定の複数の参加者の各々の認識された前記状態に基づき、前記所定の複数の参加者のうち、所定の状態が認識された参加者の数又は割合と所定の閾値との比較を行い、
    前記比較が所定の結果であるときに、所定の効果音を再生する
    ように構成されたシステム。

Images