JPWO2016151974A1 - 情報処理装置、情報処理方法、クライアント装置、サーバ装置および情報処理システム - Google Patents

Abstract

【課題】通信回線に送出される映像のデータ量を抑制しつつ、ユーザが所望する映像品質の低下を抑えることが可能な技術が提供されることが望まれる。【解決手段】クライアント装置のユーザが発話しているか否かに応じた前記ユーザの重要度に基づいて、前記クライアント装置からサーバ装置に送信される前記ユーザの映像の品質を制御する映像品質制御部、を備える、情報処理装置が提供される。【選択図】図５

Description

本開示は、情報処理装置、情報処理方法、クライアント装置、サーバ装置および情報処理システムに関する。

近年、映像を制御する技術として様々な技術が開示されている。例えば、ネットワーク帯域を常時監視し、ネットワーク帯域の監視結果に基づいてアダプティブにネットワークに送出される映像のデータ量を制御する技術が開示されている（例えば、特許文献１参照。）。また、複数のユーザの中から発話者を検出し、検出した発話者に応じて映像の撮像または表示を制御する技術が開示されている（例えば、特許文献２参照。）。

特開２０１４−１７５９６１号公報 特開２０１１−２４４４５５号公報

しかし、通信回線に送出される映像のデータ量を抑制しつつ、ユーザが所望する映像品質の低下を抑えることが可能な技術が提供されることが望まれる。

本開示によれば、クライアント装置のユーザが発話しているか否かに応じた前記ユーザの重要度に基づいて、前記クライアント装置からサーバ装置に送信される前記ユーザの映像の品質を制御する映像品質制御部、を備える、情報処理装置が提供される。

本開示によれば、クライアント装置のユーザが発話しているか否かに応じた前記ユーザの重要度に基づいて、前記クライアント装置からサーバ装置に送信される前記ユーザの映像の品質を制御すること、を含む、情報処理方法が提供される。

本開示によれば、ユーザが発話しているか否かに応じた前記ユーザの重要度に基づいて、サーバ装置に送信される前記ユーザの映像の品質を制御する映像品質制御部を備える、クライアント装置が提供される。

本開示によれば、複数のクライアント装置それぞれについて、ユーザが発話しているか否かに基づいて、前記ユーザの前記重要度を算出するデータ解析部と、前記複数のクライアント装置それぞれについて、前記重要度に基づいて、前記クライアント装置から前記サーバ装置に送信される前記ユーザの映像の品質を指示する映像品質指示部と、を備える、サーバ装置が提供される。

本開示によれば、複数のクライアント装置とサーバ装置とを有する情報処理システムであって、前記複数のクライアント装置それぞれは、ユーザが発話しているか否かに応じた前記ユーザの重要度に基づいて、クライアント装置から前記サーバ装置に送信される前記ユーザの映像の品質を制御する映像品質制御部を備える、情報処理システムが提供される。

以上説明したように本開示によれば、通信回線に送出される映像のデータ量を抑制しつつ、ユーザが所望する映像品質の低下を抑えることが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施形態に係る情報処理システムの第１の構成例を示す図である。 本開示の実施形態に係る情報処理システムの第２の構成例を示す図である。 本開示の実施形態に係る情報処理システムの第３構成例を示す図である。 本開示の実施形態に係る情報処理システムの第４構成例を示す図である。 本開示の実施形態に係る情報処理システムの機能構成例を示すブロック図である。 発話区間と重要度の関係の例を示す図である。 クライアント装置からサーバ装置に送信される映像の例を説明するための図である。 クライアント装置からサーバ装置に送信される視点領域データの例を説明するための図である。 クライアント装置のユーザの映像の表示例を示す図である。 本開示の実施形態に係るクライアント装置の動作の流れを示すフローチャートである。 本開示の実施形態に係るサーバ装置の動作の流れを示すフローチャートである。 本開示の実施形態に係るサーバ装置の動作の流れを示すフローチャートである。 本開示の実施形態に係るクライアント装置のハードウェア構成例を示すブロック図である。 本開示の実施形態に係るサーバ装置のハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
１．本開示の実施形態
１．１．システム構成例
１．２．クライアント装置の機能構成例
１．３．サーバ装置の機能構成例
１．４．具体的な説明
１．５．クライアント装置の動作例
１．６．サーバ装置の動作例
１．７．クライアント装置のハードウェア構成例
１．８．サーバ装置のハードウェア構成例
２．むすび

＜１．本開示の実施形態＞
［１．１．システム構成例］
まず、図面を参照しながら本開示の実施形態に係る情報処理システムの構成例について説明する。図１は、本開示の実施形態に係る情報処理システムの第１の構成例を示す図である。図１に示したように、本開示の実施形態に係る情報処理システム１Ａは、端末１０−１と、端末１０−２とを備える。端末１０−１および端末１０−２それぞれは、カメラ１１１および表示部１１２を備える。端末１０−１および端末１０−２それぞれは、カメラ１１１によって撮像されたユーザの映像を、互いに送信し合う。また、端末１０−１および端末１０−２それぞれは、受信した映像を表示部１１２に表示させる。

図２は、本開示の実施形態に係る情報処理システム１の第２の構成例を示す図である。図２に示すように、本開示の実施形態に係る情報処理システム１Ｂは、クライアント装置１０−１〜１０−４を備える。クライアント装置１０−４は、サーバ装置４０としても機能する。クライアント装置１０−１〜１０−４それぞれは、カメラ１１１および表示部１１２を備える。クライアント装置１０−１〜１０−４それぞれは、カメラ１１１によって撮像されたユーザの映像を、サーバ装置４０に送信する。また、クライアント装置１０−１〜１０−４は、サーバ装置４０から受信したクライアント装置１０−１〜１０−４それぞれの映像を表示部１１２に表示させる。

図３は、本開示の実施形態に係る情報処理システム１の第３の構成例を示す図である。図３に示すように、本開示の実施形態に係る情報処理システム１Ｃは、クライアント装置１０−１〜１０−９と、サーバ装置４０とを備える。図３に示すように、サーバ装置４０は、ＭＣＵ（Ｍｕｌｔｉｐｏｉｎｔ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）であってよい。クライアント装置１０−１〜１０−９それぞれは、カメラ１１１および表示部１１２を備える。クライアント装置１０−１〜１０−９それぞれは、カメラ１１１によって撮像されたユーザの映像を、サーバ装置４０に送信する。また、クライアント装置１０−１〜１０−９は、サーバ装置４０から受信したクライアント装置１０−１〜１０−９それぞれの映像を表示部１１２に表示させる。

図４は、本開示の実施形態に係る情報処理システム１の第４の構成例を示す図である。図４に示すように、本開示の実施形態に係る情報処理システム１Ｄは、クライアント装置１０−１〜１０−６と、サーバ装置４０とを備える。クライアント装置１０−１〜１０−６それぞれは、カメラ１１１および表示部１１２を備える。クライアント装置１０−１〜１０−６それぞれは、カメラ１１１によって撮像されたユーザの映像を、通信回線を介してサーバ装置４０に送信する。また、クライアント装置１０−１〜１０−６それぞれは、サーバ装置４０から通信回線を介して受信したクライアント装置１０−１〜１０−６それぞれの映像を表示部１１２に表示させる。

なお、本開示の実施形態においては、図１〜図４に示したように、映像がクライアント装置（端末）１０によって送受信されてよいが、映像以外の情報もクライアント装置１０によって送受信されてよい。例えば、クライアント装置１０によって集音されたユーザの音声もサーバ装置４０によって束ねられ、クライアント装置１０によって出力されてよい。かかる場合、情報処理システム１は、ビデオ会議システムとして機能し得る。

本明細書においては、情報処理システム１がビデオ会議システムに適用される例を主に説明する。なお、以下の説明においては、図２に示した情報処理システム１の第２の構成例によって情報処理システム１Ｂが構成される場合を例に挙げて説明を行う。しかし、本開示の実施形態に係る情報処理システム１の構成例は、図２に示した情報処理システム１の第２の構成例に限定されない。

以上、本開示の実施形態に係る情報処理システム１の構成例について説明した。

［１．２．クライアント装置の機能構成例］
続いて、本開示の実施形態に係る情報処理システム１の機能構成例について説明する。図５は、本開示の実施形態に係る情報処理システム１の機能構成例を示すブロック図である。図５に示したように、本開示の実施形態に係る情報処理システム１は、クライアント装置１０と、サーバ装置４０とを備える。なお、図５に示した例では、紙面の都合上、クライアント装置１０は単数であるが、図２に示した情報処理システム１の第２の構成例においては、クライアント装置１０は複数存在する。

クライアント装置１０は、カメラ１１１と、表示部１１２と、目領域撮像部１１３と、マイクロフォン１１４とを備える。また、クライアント装置１０は、映像取得部２１１と、算出部２１２と、映像品質制御部２１３と、映像圧縮部２１４と、視点領域検出部２１５と、データ送信部２１６と、映像品質受付部２１７と、データ受信部２１８と、出力制御部２１９と、算出結果データ３１１の記憶部と、視点領域データ３１２の記憶部とを備える。

以下のクライアント装置１０が有する各機能ブロックの説明において、「クライアント装置１０」という記述は、その機能ブロックを内部に有するクライアント装置１０を意味する。カメラ１１１は、クライアント装置１０のユーザ（以下、単に「ユーザ」とも言う。）を撮像してユーザの映像を得る。カメラ１１１によって得られたユーザの映像は、映像取得部２１１に出力される。図５に示した例では、カメラ１１１が単数であるが、カメラ１１１は複数であってもよい。

映像取得部２１１は、カメラ１１１によって撮像されたユーザの映像に対して、所定の映像フォーマット、所定の解像度、所定のフレームレートに変換する処理を施す。また、映像取得部２１１は、複数のカメラ１１１から映像を取得する場合には、複数のカメラ１１１それぞれから得られた映像を合成するスティッチング機能を有していてもよいし、複数のカメラ１１１それぞれから得られた映像から１の映像を選択するスイッチ機能を有していてもよい。映像取得部２１１によって取得された映像は、算出部２１２に出力される。

また、マイクロフォン１１４は、周囲の音を収集することによって音情報を得る。マイクロフォン１１４によって取得された音情報は、算出部２１２に出力される。なお、図５に示した例では、マイクロフォン１１４が単数であるが、マイクロフォン１１４は複数であってもよい。また、マイクロフォン１１４の代わりに、マイクロフォンアレイが用いられてもよい。

算出部２１２は、ユーザが発話しているか否かに基づいて、ユーザの重要度を算出する。重要度の値域は特に限定されないが、例えば、「０」から「１００」までであってもよい。ユーザが発話しているか否かはどのように算出されてもよい。例えば、算出部２１２は、ユーザが発話しているか否かを、カメラ１１１によって撮像された映像またはマイクロフォン１１４によって集音された音情報に基づいて判定すればよい。

例えば、ユーザの発する音声以外に所定の音量を超える音量の音源が存在しないような環境下では、マイクロフォン１１４によって集音された音情報の音量が閾値を超えるか否かによってユーザが発話しているか否かを判定してもよい。一方、ユーザの発する音声以外に所定の音量を超える音量の音源が存在するような環境下では、特開２００７−１５６４９３号公報などにおいても開示されているように、マイクロフォン１１４によって集音された音情報の特徴解析、カメラ１１１によって撮像された映像の特徴解析などによって、ユーザが発話しているか否かを判定してもよい。

また、重要度を算出する手法も特に限定されない。重要度を算出する手法は、ユーザによってあらかじめ設定されていてもよいし、動的に変更されてもよい。例えば、算出部２１２は、発話しているユーザのほうが発話していないユーザよりも重要度が高いとかんがえられるため、ユーザが発話している場合にはユーザが発話していない場合よりも、ユーザの重要度を高くすればよい。

あるいは、算出部２１２は、クライアント装置１０のユーザによる連続する発話の長さ、発話内容および発話間隔の少なくともいずれか一つに基づいて、ユーザの重要度を算出してもよい。図６は、発話区間と重要度の関係の例を示す図である。図６に示すように、算出部２１２は、ユーザによる発話が開始されると徐々に重要度を高くしてよい（時刻Ｔ１〜Ｔ２、Ｔ５〜Ｔ６）。また、算出部２１２は、ユーザによる連続する発話の長さが所定の長さを超えたら重要度を一定に保ってもよい（時刻Ｔ２〜Ｔ３、Ｔ６〜Ｔ７）。

一方、算出部２１２は、ユーザによる発話が終了されると徐々に重要度を低くしてよい（時間Ｔ３〜Ｔ４、Ｔ７〜Ｔ８、Ｔ１０〜Ｔ１１）。また、算出部２１２は、ユーザによる連続する発話の長さが所定の長さを超えたら重要度を一定に保ってもよい（時刻Ｔ４〜Ｔ５、Ｔ８〜Ｔ９）。

また、算出部２１２は、発話がなされているか否かに対して重要度を完全に追従させなくてもよい。例えば、算出部２１２は、ユーザによる発話間隔が所定の間隔よりも短い場合には、重要度を一定に保ってもよい（Ｔ９〜Ｔ１０）。また、算出部２１２は、発話内容の重要性が高いほど、重要度を高くしてもよい。図６には、算出部２１２は、時間Ｔ１１〜Ｔ１２の発話内容の重要性が所定の重要性よりも低いため、重要度を低く算出した例が示されている。例えば、発話内容の重要性については、特開２０００−０７５８９２号公報などにおいても開示されているような手法により算出され得る。

このようにして算出された重要度は、算出結果データ３１１として記憶される。映像品質制御部２１３は、算出結果データ３１１を重要度として取得し、取得した重要度に基づいて、クライアント装置１０からサーバ装置４０に送信される映像の品質を制御する。例えば、映像品質制御部２１３は、ユーザの重要度が高いほど、ユーザの映像の品質を高くすればよい。

また、サーバ装置４０からユーザの映像の品質を指示される場合もある。かかる場合には、映像品質制御部２１３は、サーバ装置４０から指示された品質に従うか否かを決定してよい。すなわち、映像品質制御部２１３は、サーバ装置４０から指示された品質に従うと決定した場合には、サーバ装置４０から指示された品質になるように映像の品質を制御し、サーバ装置４０から指示された品質に従わないと決定した場合には、算出部２１２によって算出された品質になるように映像の品質を制御してよい。

より具体的には、映像品質制御部２１３は、サーバ装置４０に接続されているクライアント装置１０の数に基づいて、サーバ装置４０から指示された映像の品質に従うか否かを決定してよい。例えば、映像品質制御部２１３は、サーバ装置４０に接続されているクライアント装置１０の数が所定の数を上回る場合に、サーバ装置４０から指示された品質になるように映像の品質を制御し、サーバ装置４０に接続されているクライアント装置１０の数が所定の数以下である場合に、算出部２１２によって算出された品質になるように映像の品質を制御してよい。

また、映像品質制御部２１３は、クライアント装置１０−１〜１０−４それぞれのユーザの視線に基づいて、サーバ装置４０から指示された映像の品質に従うか否かを決定してもよい。例えば、映像品質制御部２１３は、そのユーザの映像に当てられている視線の数が所定の数を上回る場合に、サーバ装置４０から指示された品質になるように映像の品質を制御し、そのユーザの映像に当てられている視線の数が所定の数以下である場合に、算出部２１２によって算出された品質になるように映像の品質を制御してよい。

あるいは、サーバ装置４０から映像の品質が強制的に指示された場合も想定される。かかる場合には、映像品質制御部２１３は、サーバ装置４０から指示された品質になるように映像の品質を制御すればよい。なお、サーバ装置４０からの映像品質の指示は、映像品質受付部２１７によって受け付けられてよい。

また、映像品質制御部２１３は、クライアント装置１０のユーザの映像の通信回線の帯域にさらに基づいて、クライアント装置１０からサーバ装置４０に送信されるユーザの映像の品質を制御してもよい。例えば、映像品質制御部２１３は、クライアント装置１０のユーザの映像の通信回線の帯域が広いほど、クライアント装置１０からサーバ装置４０に送信されるユーザの映像の品質が高くなるように映像の品質を制御すればよい。また、映像品質制御部２１３は、データ送信部２１６から映像の品質を低くするように要求された場合に、映像品質を低くしてもよい。

映像圧縮部２１４は、映像品質制御部２１３による制御に従ってユーザの映像をエンコードする。このとき、映像圧縮部２１４は、エンコードに要する時間が所定の所要時間を超えた場合には、エンコードに要する時間を軽減させるようにエンコード処理を変更してもよい。また、映像圧縮部２１４は、変更後のエンコード処理を映像品質制御部２１３に通知してもよい。そうすれば、映像品質制御部２１３は、変更後のエンコード処理を行うように映像圧縮部２１４を制御することが可能となる。

視点領域検出部２１５は、目領域撮像部１１３によって撮像されたユーザの目領域から視点Ｅｙが存在する領域を検出する。そのとき、カメラ１１１によって撮像されたユーザの映像も視点領域の検出に用いられてよい。視点領域を検出する手法は特に限定されないが、特開平１０−１５４２２０号公報によって開示されている手法などが用いられ得る。なお、あらかじめユーザによって設定された視点を含む領域が視点領域とされてもよい。そうすれば、あらかじめユーザによって設定された視点を含む領域の映像品質を制御することが可能である。

このようにして検出された視点領域は、視点領域データ３１２として記憶される。データ送信部２１６は、音情報とユーザの映像と算出結果データ３１１と視点領域データ３１２とをサーバ装置４０に送信する。ユーザの映像と算出結果データ３１１と視点領域データ３１２とは、データ送信部２１６によって適宜に統合されてからサーバ装置４０に送信されてよい。また、データ送信部２１６は、サーバ装置４０との通信回線の帯域を監視しており、帯域が閾値よりも狭くなった場合に、映像の品質を低くするように映像品質制御部２１３に要求してもよい。

なお、クライアント装置１０が有する各機能ブロック（例えば、映像取得部２１１、算出部２１２、映像品質制御部２１３、映像圧縮部２１４、視点領域検出部２１５、出力制御部２１９など）の一部または全部は、他の装置に存在してもよい。すなわち、これらの機能ブロック（情報処理装置）の一部または全部は、クライアント装置１０と、サーバ装置４０と、クライアント装置１０およびクライアント装置１０の外部に存在する１または複数の外部装置（不図示）とのうち、いずれか一つに組み込まれ、または二つ以上に分散されて組み込まれていてもよい。

以上、本開示の実施形態に係るクライアント装置１０の機能構成例について説明した。

［１．３．サーバ装置の機能構成例］
図５に示すように、サーバ装置４０は、データ受信部４１１と、映像解凍部４１２と、データ解析部４１３と、映像品質指示部４１４と、映像品質調整部４１５と、映像圧縮部４１６と、データ送信部４１７とを備える。データ受信部４１１は、音情報とユーザの映像と算出結果データ３１１と視点領域データ３１２とをクライアント装置１０−１〜１０−４それぞれから受信する。

映像解凍部４１２は、クライアント装置１０−１〜１０−４それぞれのユーザの映像をデコードする。データ受信部４１１および映像解凍部４１２は、クライアント装置１０−１〜１０−４それぞれに対応するように並列的に動作してもよいし、クライアント装置１０−１〜１０−４に順次に対応するように直列的に動作してもよい。

データ解析部４１３は、クライアント装置１０−１〜１０−４それぞれについて、ユーザが発話しているか否かに基づいて、ユーザの重要度を算出する。例えば、データ解析部４１３は、以下の式（１）に示すように、クライアント装置１０−１〜１０−４それぞれについて、ユーザが発話しているか否かに応じた重要度にクライアント装置１０ごとの重み付け係数を乗算することによってユーザの新たな重要度を算出してよい。

Ｆ（Ａ）＝Ｄｎ×ｘｎ ・・・（１）

ここで、Ｆは、データ解析部４１３によって算出されるクライアント装置１０ごとの重要度を示している。Ａは、算出結果データ３１１を示しており、クライアント装置１０から受信される。Ｄは、クライアント装置１０ごとの重み付け係数を示している。ｘは、クライアント装置１０ごとの重要度を示しており、算出結果データ３１１から取得される。ｎは、クライアント装置１０の識別情報である。なお、重み付け係数はあらかじめ決まっていてもよいし、動的に変更されてもよい。

なお、上記した例では、重み付け係数を用いる手法を説明したが、クライアント装置１０ごとの重要度は、他の手法によって算出されてもよい。例えば、データ解析部４１３は、クライアント装置１０−１〜１０−４それぞれから受信された音情報に対して音声認識処理を施すことによって、クライアント装置１０−１〜１０−４それぞれのユーザの発話内容を纏めた上で、発話内容全体における会話の流れや文脈を解析し、解析結果に基づいて、クライアント装置１０ごとの重要度を算出してもよい。音声認識処理は、クライアント装置１０−１〜１０−４によってなされてもよい。

あるいは、データ解析部４１３は、クライアント装置１０−１〜１０−４それぞれについて、クライアント装置１０−１〜１０−４それぞれのユーザの視線に基づいて、ユーザの重要度を算出してもよい。より詳細には、より多くのユーザからの視線を集めているユーザの映像はより重要度が高いと考えられるため、データ解析部４１３は、視線が当てられている数が多い映像に写っているユーザほど、重要度を高くしてもよい。

例えば、データ解析部４１３は、以下の式（２）に示すように、クライアント装置１０−１〜１０−４それぞれについて、映像に対して視線が当てられている数に基づいてユーザの重要度を算出してよい。

Ｆ（Ｂ）＝ｄ×ｅ ・・・（２）

ここで、上記と同様に、Ｆは、データ解析部４１３によって算出されるクライアント装置１０ごとの重要度を示している。Ｂは、視点領域データ３１２を示しており、クライアント装置１０から受信される。ｄは、そのクライアント装置１０のユーザの映像が他のユーザによって当てられている視線の数を示している。ｅは、サーバ装置４０に接続されているクライアント装置１０の数から「１」を減じた値である。これにより、ユーザの映像を表示しているクライアント装置１０を視線の数としてカウントせずに済む。

また、式（２）を発展させて、重要度Ｆ（Ｂ）に対して、クライアント装置１０ごとの重み付け係数を乗算してもよいし、時間軸方向に調整をしてもよい（例えば、重要度Ｆ（Ｂ）に対して時間方向に所定の傾斜を付してもよい。）。また、重要度Ｆ（Ａ）を単独で用いてもよいし、重要度Ｆ（Ｂ）を単独で用いてもよいし、以下の式（３）に示すように、重要度Ｆ（Ａ）および重要度Ｆ（Ｂ）の双方を用いてもよい。

Ｆ＝ａ×Ｆ（Ａ）＋ｂ×Ｆ（Ｂ） ・・・（３）

ここで、上記と同様に、Ｆは、データ解析部４１３によって算出されるクライアント装置１０ごとの重要度を示している。ａおよびｂは、重み付け係数を示している。なお、重み付け係数はあらかじめ決まっていてもよいし、動的に変更されてもよい。式（３）を用いれば、ａを「０」にすることによって、ユーザが発話しているか否かに基づく重要度Ｆ（Ａ）を無視することも可能であり、ｂを「０」にすることによって、ユーザの視点領域を無視することも可能である。

図５に戻って説明を続ける。映像品質指示部４１４は、クライアント装置１０−１〜１０−４それぞれのユーザの重要度に基づいて、クライアント装置１０−１〜１０−４それぞれからサーバ装置４０に送信されるユーザの映像の品質を指示する。このとき、上記したように、映像品質指示部４１４は、クライアント装置１０−１〜１０−４それぞれに対してクライアント装置１０−１〜１０−４それぞれからサーバ装置４０に送信されるユーザの映像の品質を強制的に指示することも可能である。

映像品質調整部４１５は、クライアント装置１０−１〜１０−４それぞれの重要度に基づいて、サーバ装置４０からクライアント装置１０−１〜１０−４それぞれに送信されるユーザの映像の品質を調整する。

映像圧縮部４１６は、映像品質調整部４１５による調整に従って、クライアント装置１０−１〜１０−４それぞれのユーザの映像をエンコードする。クライアント装置１０−１〜１０−４それぞれのユーザの映像は、別々にエンコードされてもよいし、１枚に合成された形式でブロックごとにエンコードされてもよい。

また、映像圧縮部４１６は、映像圧縮部２１４と同様に、エンコードに要する時間が所定の所要時間を超えた場合には、エンコードに要する時間を軽減させるようにエンコード処理を変更してもよい。また、映像圧縮部４１６は、変更後のエンコード処理を映像品質調整部４１５に通知してもよい。そうすれば、映像品質調整部４１５は、変更後のエンコード処理を行うように映像圧縮部４１６を制御することが可能となる。

データ送信部４１７は、クライアント装置１０−１〜１０−４それぞれのユーザの映像をクライアント装置１０−１〜１０−４に送信する。このとき、データ送信部４１７は、クライアント装置１０−１〜１０−４との通信回線の帯域を監視しており、帯域が閾値よりも狭くなった場合に、映像の品質を低くするように映像品質調整部４１５に要求してもよい。また、データ送信部４１７は、クライアント装置１０−１〜１０−４それぞれの音情報をクライアント装置１０−１〜１０−４に送信してよい。

クライアント装置１０−１〜１０−４それぞれにおいては、データ受信部２１８がサーバ装置４０から送信されたデータを受信し、出力制御部２１９がクライアント装置１０−１〜１０−４それぞれのユーザの映像を表示部１１２に表示させる。また、クライアント装置１０−１〜１０−４それぞれにおいて、出力制御部２１９が、データ受信部２１８によって受信された音情報を図示しないスピーカから出力させてもよい。

以上、本開示の実施形態に係るサーバ装置４０の機能構成例について説明した。

［１．４．具体的な説明］
続いて、具体例を用いながら、情報処理システム１の機能についてより具体的に説明する。図７は、クライアント装置１０からサーバ装置４０に送信される映像の例を説明するための図である。図７に示すように、クライアント装置１０−１〜１０−４それぞれにおいては、表示部１１２が、データ受信部２１８によってサーバ装置４０から受信された映像Ｍｖ１’〜Ｍｖ４’を表示している。また、クライアント装置１０−１〜１０−４それぞれにおいては、図示しないスピーカが、データ受信部２１８によってサーバ装置４０から受信された音情報を出力している。クライアント装置１０−１〜１０−４それぞれのユーザは、映像Ｍｖ１’〜Ｍｖ４’を見ながら音情報を聴くことによって発話者の状況を把握できる。

図７をより詳細に参照すると、クライアント装置１０−１のカメラ１１１の撮像範囲には、ユーザＵ１が存在している。また、クライアント装置１０−２のカメラ１１１の撮像範囲には、ユーザＵ２が存在している。また、クライアント装置１０−３のカメラ１１１の撮像範囲には、ユーザＵ３が存在している。また、クライアント装置１０−４のカメラ１１１の撮像範囲には、ユーザＵ４が存在している。これらのユーザの中で、ユーザＵ１は、「こんにちは」と発話している発話者であり、他のユーザは非発話者である。

したがって、クライアント装置１０−１の算出部２１２は、発話者であるユーザＵ１の重要度を非発話者の重要度よりも高く算出する。一方、クライアント装置１０−２の算出部２１２は、非発話者であるユーザＵ２の重要度を発話者の重要度よりも低く算出する。同様に、クライアント装置１０−３の算出部２１２は、非発話者であるユーザＵ３の重要度を発話者の重要度よりも低く算出し、クライアント装置１０−４の算出部２１２は、非発話者であるユーザＵ４の重要度を発話者の重要度よりも低く算出する。

続いて、クライアント装置１０−１の映像品質制御部２１３は、ユーザＵ１の重要度に基づいて発話者であるユーザＵ１の映像品質を非発話者の映像品質よりも高くなるように映像圧縮部２１４を制御する。一方、クライアント装置１０−２の映像品質制御部２１３は、ユーザＵ２の重要度に基づいて非発話者であるユーザＵ２の映像品質を発話者の映像品質よりも低くなるように映像圧縮部２１４を制御する。

同様に、クライアント装置１０−３の映像品質制御部２１３は、ユーザＵ３の重要度に基づいて非発話者であるユーザＵ３の映像品質を発話者の映像品質よりも低くなるように映像圧縮部２１４を制御し、クライアント装置１０−４の映像品質制御部２１３は、非発話者であるユーザＵ４の映像品質を発話者の映像品質よりも低くなるように映像圧縮部２１４を制御する。

続いて、クライアント装置１０−１〜１０−４それぞれにおいて、映像圧縮部２１４が映像品質制御部２１３による制御に従って映像をエンコードし、データ送信部２１６がサーバ装置４０に映像を送信する。図７に示すように、クライアント装置１０−１から送信される映像Ｍｖ１の品質は、クライアント装置１０−２〜１０−４それぞれから送信される映像Ｍｖ２〜Ｍｖ４の品質よりも高くなる（図７では、矢印の太さが映像品質の高さを示している）。これによって、発話者であるユーザＵ１の映像品質の低下を抑えつつ、非発話者であるユーザＵ２、Ｕ３、Ｕ４の映像のデータ量を抑制することが可能となる。

図８は、クライアント装置１０からサーバ装置４０に送信される視点領域データ３１２の例を説明するための図である。図８に示すように、クライアント装置１０−１において、ユーザＵ１が映像Ｍｖ１’に視線を当てているとする（視点Ｅｙ１に視線が当てられているとする）。このとき、クライアント装置１０−１において、視点領域検出部２１５は、目領域撮像部１１３によって撮像されたユーザＵ１の目領域から視点領域として視点Ｅｙ１が存在する領域（図８に示した例では、左上の矩形領域）を検出し、視点領域を示すデータを視点領域データ３１２として記憶する。

同様に、クライアント装置１０−２〜１０−４それぞれにおいて、ユーザＵ２、Ｕ３、Ｕ４が発話者（ユーザＵ１）の映像Ｍｖ１’に視線を当てているとする（視点Ｅｙ２〜Ｅｙ４に視線が当てられているとする）。このとき、クライアント装置１０−２〜１０−４それぞれにおいて、視点領域検出部２１５は、目領域撮像部１１３によって撮像されたユーザの目領域から視点領域として視点Ｅｙ２〜Ｅｙ４が存在する領域（図８に示した例では、左上の矩形領域）を検出し、視点領域を示すデータを視点領域データ３１２として記憶する。

続いて、クライアント装置１０−１〜１０−４それぞれにおいて、データ送信部２１６は、視点領域データ３１２をサーバ装置４０に送信する。データ送信部２１６は、視点領域データ３１２とともにユーザの映像および算出結果データ３１１もサーバ装置４０に送信してよい。サーバ装置４０において、データ受信部４１１は、クライアント装置１０−１〜１０−４それぞれから視点領域データ３１２を受信する。

データ解析部４１３は、クライアント装置１０−１〜１０−４それぞれから受信された視点領域データ３１２を参照することによって、最も多く視線が当てられている映像Ｍｖ１’に写っているユーザＵ１の重要度を、映像Ｍｖ２’、映像Ｍｖ３’および映像Ｍｖ４’に写っているユーザＵ２、Ｕ３、Ｕ４の重要度よりも高く算出すればよい。映像品質指示部４１４は、重要度のより高いユーザＵ１の映像品質を重要度のより低いユーザＵ２、Ｕ３、Ｕ４の映像品質よりも高くする指示をクライアント装置１０−１〜１０−４に送信する。

クライアント装置１０−１〜１０−４において、映像品質受付部２１７は、ユーザの映像品質の指示を受信し、映像品質制御部２１３は、サーバ装置４０から指示された品質に従うと決定した場合には、サーバ装置４０から指示された品質になるように映像の品質を制御し、サーバ装置４０から指示された品質に従わないと決定した場合には、算出部２１２によって算出された品質になるよう映像の品質を制御する。映像品質調整部４１５は、重要度のより高いユーザＵ１の映像品質が重要度のより低いユーザＵ２、ユーザＵ３、Ｕ４の映像品質よりも高くなるように映像品質を調整する。

映像圧縮部４１６は、映像品質調整部４１５による調整に従って、クライアント装置１０−１〜１０−４それぞれのユーザの映像をエンコードする。データ送信部４１７は、クライアント装置１０−１〜１０−４それぞれのユーザの映像をクライアント装置１０−１〜１０−４に送信する。

クライアント装置１０−１〜１０−４それぞれにおいては、データ受信部２１８がサーバ装置４０から送信されたデータを受信し、出力制御部２１９は、クライアント装置１０−１〜１０−４それぞれのユーザの映像Ｍｖ１〜Ｍｖ４を表示部１１２に表示させる。また、クライアント装置１０−１〜１０−４それぞれにおいて音情報がマイクロフォンによって収集され、サーバ装置４０に送信された場合には、出力制御部２１９は、それらの音情報を図示しないスピーカから出力させてもよい。

図９は、クライアント装置１０−１〜１０−４それぞれのユーザの映像Ｍｖ１〜Ｍｖ４の表示例を示す図である。図９に示すように、映像Ｍｖ１〜Ｍｖ４が、サーバ装置４０からクライアント装置１０−１〜１０−４それぞれに送信される。また、クライアント装置１０−１〜１０−４それぞれにおいては、図９に示すように、出力制御部２１９は、クライアント装置１０−１〜１０−４それぞれのユーザの映像Ｍｖ１〜Ｍｖ４を表示部１１２に表示させる。上記したように、ユーザＵ１の映像Ｍｖ１の品質がユーザＵ２、Ｕ３、Ｕ４の映像Ｍｖ２〜Ｍｖ４の品質よりも高くなっている（図９では、映像Ｍｖ１〜Ｍｖ４それぞれに写っているユーザの太さが映像品質の高さを示している）。

以上、具体例を用いながら、情報処理システム１の機能について具体的に説明した。

［１．５．クライアント装置の動作例］
続いて、本開示の実施形態に係るクライアント装置１０の動作の流れについて説明する。図１０は、本開示の実施形態に係るクライアント装置１０の動作の流れを示すフローチャートである。なお、図１０のフローチャートは、本開示の実施形態に係るクライアント装置１０の動作の流れの例に過ぎないため、本開示の実施形態に係るクライアント装置１０の動作の流れは、図１０のフローチャートに示された例に限定されない。

図１０に示すように、クライアント装置１０は、サーバ装置４０との間で接続を確立し（Ｓ１１）、サーバ装置４０と接続が切れるまで、Ｓ１３からＳ３２までの動作とＳ２１からＳ３２までの動作とを繰り返す（Ｓ１２）。映像取得部２１１は、カメラ１１１から映像を取得し（Ｓ１３）、算出部２１２は、重要度の算出が不要である場合には（Ｓ１４において「Ｎｏ」）、Ｓ１６に進む。一方。算出部２１２は、重要度の算出が必要である場合には（Ｓ１４において「Ｙｅｓ」）、ユーザの重要度を算出し（Ｓ１５）、Ｓ１６に進む。

続いて、映像品質制御部２１３は、映像品質の制御が不要である場合には（Ｓ１６において「Ｎｏ」）、Ｓ３１に進む。一方、映像品質制御部２１３は、映像品質の制御が必要である場合には（Ｓ１６において「Ｙｅｓ」）、映像品質を制御し（Ｓ１７）、Ｓ３１に進む。一方、データ受信部２１８は、サーバ装置４０から送信された各映像を受信し（ＳＳ２１）、出力制御部２１９は、各映像を表示部１１２に表示させる（Ｓ２２）。ユーザは、表示された各映像のいずれかに視線を当てる。視点領域検出部２１５は、ユーザの視点領域を検出し（Ｓ２３）、Ｓ３１に進む。

続いて、映像圧縮部４１６は、映像を圧縮（エンコード）し（Ｓ３１）、データ送信部４１７は、データ（映像圧縮部４１６によって圧縮（エンコード）された映像、視点領域データおよび重要度の算出結果データなど）を、サーバ装置４０に送信する（Ｓ３２）。Ｓ３３は、上記した繰り返し動作の終端に相当し、繰り返し動作が終了したら、このフローチャートに示した動作も終了する。

以上、本開示の実施形態に係るクライアント装置１０の動作の流れについて説明した。

［１．６．サーバ装置の動作例］
続いて、本開示の実施形態に係るサーバ装置４０の動作の流れについて説明する。図１１および図１２は、本開示の実施形態に係るサーバ装置４０の動作の流れを示すフローチャートである。なお、図１１および図１２のフローチャートは、本開示の実施形態に係るサーバ装置４０の動作の流れの例に過ぎないため、本開示の実施形態に係るサーバ装置４０の動作の流れは、図１１および図１２のフローチャートに示された例に限定されない。

図１１に示すように、サーバ装置４０は、ｎ台のクライアント装置１０との間で接続を確立し（Ｓ４１）、全てのクライアント装置１０と接続が切れるまで、Ｓ４３からＳ６０までの動作を繰り返す。その繰り返し動作の中において、ｋ＝１，２，３，…，ｎについて、Ｓ４４からＳ４５までの動作を繰り返す（Ｓ４３）。まず、サーバ装置４０において、データ受信部４１１は、クライアント装置ｋからデータ（映像、視点領域データおよび算出結果データなど）を受信する（Ｓ４４）。そして、映像解凍部４１２は、受信した映像を解凍（デコード）する（Ｓ４５）。Ｓ４６は、上記した繰り返し動作の終端に相当する。

続いて、データ解析部４１３は、重要度の算出が不要である場合には（Ｓ５１において「Ｎｏ」）、Ｓ５３に進む。一方。データ解析部４１３は、重要度の算出が必要である場合には（Ｓ５１において「Ｙｅｓ」）、ユーザの重要度を算出し（Ｓ５２）、Ｓ５３に進む。サーバ装置４０は、ｋ＝１，２，３，…，ｎについて、Ｓ５４からＳ５６（またはＳ５７）までの動作を繰り返す（Ｓ５３）。映像品質指示部４１４は、映像品質の指示が不要である場合には（Ｓ５４において「Ｎｏ」）、Ｓ５６に進む。一方、映像品質指示部４１４は、映像品質の指示が必要である場合には（Ｓ５４において「Ｙｅｓ」）、映像品質をクライアント装置ｋに指示する（Ｓ５５）。

また、映像品質調整部４１５は、映像品質の調整が不要である場合には（Ｓ５６において「Ｎｏ」）、Ｓ５８に進む。一方、映像品質調整部４１５は、映像品質の調整が必要である場合には（Ｓ５６において「Ｙｅｓ」）、映像品質を調整し（Ｓ５７）、Ｓ５８に進む。Ｓ５８は、上記した繰り返し動作の終端に相当する。続いて、映像圧縮部４１６は、映像品質調整部４１５による調整に従って各映像を圧縮（エンコード）し（Ｓ５９）、データ送信部４１７は、クライアント装置１０−１〜１０−４それぞれにデータ（各映像）を送信する（Ｓ６０）。Ｓ６１は、上記した繰り返し動作の終端に相当する。繰り返し動作が終了したら、このフローチャートに示した動作も終了する。

以上、本開示の実施形態に係るサーバ装置４０の動作の流れについて説明した。

［１．７．クライアント装置のハードウェア構成例］
次に、図１３を参照して、本開示の実施形態に係るクライアント装置１０のハードウェア構成例について説明する。図１３は、本開示の実施形態に係るクライアント装置１０のハードウェア構成例を示すブロック図である。

図１３に示すように、クライアント装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）８０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８０３、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８０５を含む。また、クライアント装置１０は、ホストバス８０７、ブリッジ８０９、外部バス８１１、インターフェース８１３、入力装置８１５、出力装置８１７、ストレージ装置８１９、ドライブ８２１、接続ポート８２３、通信装置８２５を含んでもよい。さらに、クライアント装置１０は、必要に応じて、撮像装置８３３、およびセンサ８３５を含んでもよい。クライアント装置１０は、ＣＰＵ８０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。

ＣＰＵ８０１は、演算処理装置および制御装置として機能し、ＲＯＭ８０３、ＲＡＭ８０５、ストレージ装置８１９、またはリムーバブル記録媒体８２７に記録された各種プログラムに従って、クライアント装置１０内の動作全般またはその一部を制御する。ＲＯＭ８０３は、ＣＰＵ８０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ８０５は、ＣＰＵ８０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ８０１、ＲＯＭ８０３、およびＲＡＭ８０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス８０７により相互に接続されている。さらに、ホストバス８０７は、ブリッジ８０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス８１１に接続されている。

入力装置８１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置８１５は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置８１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、クライアント装置１０の操作に対応した携帯電話などの外部接続機器８２９であってもよい。入力装置８１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ８０１に出力する入力制御回路を含む。ユーザは、この入力装置８１５を操作することによって、クライアント装置１０に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置８３３も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。

出力装置８１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置８１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などであり得る。出力装置８１７は、クライアント装置１０の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。また、出力装置８１７は、周囲を明るくするためライトなどを含んでもよい。

ストレージ装置８１９は、クライアント装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置８１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置８１９は、ＣＰＵ８０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ８２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体８２７のためのリーダライタであり、クライアント装置１０に内蔵、あるいは外付けされる。ドライブ８２１は、装着されているリムーバブル記録媒体８２７に記録されている情報を読み出して、ＲＡＭ８０５に出力する。また、ドライブ８２１は、装着されているリムーバブル記録媒体８２７に記録を書き込む。

接続ポート８２３は、機器をクライアント装置１０に直接接続するためのポートである。接続ポート８２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート８２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート８２３に外部接続機器８２９を接続することで、クライアント装置１０と外部接続機器８２９との間で各種のデータが交換され得る。

通信装置８２５は、例えば、通信ネットワーク５０に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置８２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カードなどであり得る。また、通信装置８２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置８２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置８２５に接続される通信ネットワーク５０は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

撮像装置８３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置８３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ８３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ８３５は、例えばクライアント装置１０の筐体の姿勢など、クライアント装置１０自体の状態に関する情報や、クライアント装置１０の周辺の明るさや騒音など、クライアント装置１０の周辺環境に関する情報を取得する。また、センサ８３５は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

以上、クライアント装置１０のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。

以上、本開示の実施形態に係るクライアント装置１０のハードウェア構成例について説明した。

［１．８．サーバ装置のハードウェア構成例］
次に、図１４を参照して、本開示の実施形態に係るサーバ装置４０のハードウェア構成例について説明する。図１４は、本開示の実施形態に係るサーバ装置４０のハードウェア構成例を示すブロック図である。

図１４に示すように、サーバ装置４０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０５を含む。また、サーバ装置４０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。サーバ装置４０は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、サーバ装置４０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。

ストレージ装置９１９は、サーバ装置４０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、サーバ装置４０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器をサーバ装置４０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、サーバ装置４０と外部接続機器９２９との間で各種のデータが交換され得る。

通信装置９２５は、例えば、通信ネットワーク５０に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク５０は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

以上、サーバ装置４０のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。

以上、本開示の実施形態に係るサーバ装置４０のハードウェア構成例について説明した。

＜２．むすび＞
以上説明したように、本開示の実施形態によれば、クライアント装置１０のユーザが発話しているか否かに応じたユーザの重要度に基づいて、クライアント装置１０からサーバ装置４０に送信されるユーザの映像の品質を制御する映像品質制御部２１３、を備える、情報処理装置が提供される。かかる構成によれば、通信回線に送出される映像のデータ量を抑制しつつ、ユーザが所望する映像品質の低下を抑えることが可能な技術が提供されることが可能となる。

また、高解像度の映像を用いたビデオ会議が普及してきている点、複数拠点がビデオ会議に参加することが当たり前になってきている点、さらに無線ネットワーク網を利用したビデオ会議が増えてきている点などを考慮すると、通信回線の帯域を抑えることは必要不可欠である。例えば、複数拠点においてビデオ会議を行う場合などでは、発話者以外のユーザの映像の品質を低下させることによって、大幅に通信回線の帯域を抑えることも可能となる。本技術は、伝送帯域をコントロールする新たな手法として様々なシチュエーションで利用可能であると考えられる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記したクライアント装置１０が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。

また、例えば、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記したサーバ装置４０が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
クライアント装置のユーザが発話しているか否かに応じた前記ユーザの重要度に基づいて、前記クライアント装置からサーバ装置に送信される前記ユーザの映像の品質を制御する映像品質制御部、
を備える、情報処理装置。
（２）
前記映像品質制御部は、前記ユーザの重要度が高いほど、前記ユーザの映像の品質を高くする、
前記（１）に記載の情報処理装置。
（３）
前記情報処理装置は、前記クライアント装置の前記ユーザが発話しているか否かに基づいて、前記ユーザの前記重要度を算出する算出部を備える、
前記（１）または（２）に記載の情報処理装置。
（４）
前記算出部は、前記クライアント装置の前記ユーザが発話しているか否かをカメラによって撮像された映像またはマイクロフォンによって集音された音情報に基づいて判定する、
前記（３）に記載の情報処理装置。
（５）
前記算出部は、前記クライアント装置の前記ユーザが発話している場合には前記ユーザが発話していない場合よりも、前記ユーザの重要度を高くする、
前記（３）または（４）に記載の情報処理装置。
（６）
前記算出部は、前記クライアント装置の前記ユーザによる連続する発話の長さ、発話内容および発話間隔の少なくともいずれか一つに基づいて、前記ユーザの重要度を算出する、
前記（３）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記映像品質制御部は、前記クライアント装置の前記ユーザの映像の通信回線の帯域にさらに基づいて、前記クライアント装置から前記サーバ装置に送信される前記ユーザの映像の品質を制御する、
前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記情報処理装置は、前記クライアント装置と、前記サーバ装置と、前記クライアント装置および前記クライアント装置の外部に存在する１または複数の外部装置とのうち、いずれか一つに組み込まれ、または二つ以上に分散されて組み込まれている、
前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）
クライアント装置のユーザが発話しているか否かに応じた前記ユーザの重要度に基づいて、前記クライアント装置からサーバ装置に送信される前記ユーザの映像の品質を制御すること、
を含む、情報処理方法。
（１０）
ユーザが発話しているか否かに応じた前記ユーザの重要度に基づいて、サーバ装置に送信される前記ユーザの映像の品質を制御する映像品質制御部を備える、
クライアント装置。
（１１）
複数のクライアント装置それぞれについて、ユーザが発話しているか否かに基づいて、前記ユーザの重要度を算出するデータ解析部と、
前記複数のクライアント装置それぞれについて、前記重要度に基づいて、前記クライアント装置から前記サーバ装置に送信される前記ユーザの映像の品質を指示する映像品質指示部と、
を備える、サーバ装置。
（１２）
前記データ解析部は、前記複数のクライアント装置それぞれについて、前記ユーザが発話しているか否かに応じた重要度に前記クライアント装置に対応する重み付け係数を乗算することによって前記ユーザの新たな重要度を算出する、
前記（１１）に記載のサーバ装置。
（１３）
前記データ解析部は、前記複数のクライアント装置それぞれについて、前記複数のクライアント装置それぞれのユーザの視線に基づいて、前記ユーザの重要度を算出する、
前記（１１）または（１２）に記載のサーバ装置。
（１４）
前記データ解析部は、前記視線が当てられている数が多い映像に写っているユーザほど、重要度を高くする、
前記（１３）に記載のサーバ装置。
（１５）
前記サーバ装置は、
前記複数のクライアント装置それぞれについて、前記重要度に基づいて、前記サーバ装置から前記クライアント装置に送信される前記ユーザの映像の品質を調整する映像調整部を備える、
前記（１１）〜（１４）のいずれか一項に記載のサーバ装置。
（１６）
複数のクライアント装置とサーバ装置とを有する情報処理システムであって、
前記複数のクライアント装置それぞれは、
ユーザが発話しているか否かに応じた前記ユーザの重要度に基づいて、クライアント装置から前記サーバ装置に送信される前記ユーザの映像の品質を制御する映像品質制御部を備える、
情報処理システム。
（１７）
前記サーバ装置は、
前記複数のクライアント装置それぞれについて、前記ユーザが発話しているか否かに基づいて、前記ユーザの前記重要度を算出するデータ解析部と、
前記複数のクライアント装置それぞれについて、前記重要度に基づいて、前記クライアント装置から前記サーバ装置に送信される前記ユーザの映像の品質を指示する映像品質指示部と、
前記（１６）に記載の情報処理システム。
（１８）
前記映像品質制御部は、前記サーバ装置から指示された前記ユーザの映像の品質に従うか否かを決定する、
前記（１７）に記載の情報処理システム。
（１９）
前記映像品質制御部は、前記サーバ装置に接続されている前記クライアント装置の数に基づいて、前記サーバ装置から指示された前記映像の品質に従うか否かを決定する、
前記（１８）に記載の情報処理システム。
（２０）
前記映像品質制御部は、前記複数のクライアント装置それぞれのユーザの視線に基づいて、前記サーバ装置から指示された前記映像の品質に従うか否かを決定する、
前記（１８）に記載の情報処理システム。

１（１Ａ〜１Ｄ） 情報処理システム
１０ クライアント装置（端末）
４０ サーバ装置
１１１ カメラ
１１２ 表示部
１１３ 目領域撮像部
１１４ マイクロフォン
２１１ 映像取得部
２１２ 算出部
２１３ 映像品質制御部
２１４ 映像圧縮部
２１５ 視点領域検出部
２１６ データ送信部
２１７ 映像品質受付部
２１８ データ受信部
２１９ 出力制御部
３１１ 算出結果データ
３１２ 視点領域データ
４１１ データ受信部
４１２ 映像解凍部
４１３ データ解析部
４１４ 映像品質指示部
４１５ 映像品質調整部
４１６ 映像圧縮部
４１７ データ送信部
Ｍｖ１〜Ｍｖ４ 映像
Ｍｖ１’〜Ｍｖ４’ 映像
Ｕ１〜Ｕ４ ユーザ
Ｅｙ（Ｅｙ１〜Ｅｙ４） 視点

Claims (20)

1. クライアント装置のユーザが発話しているか否かに応じた前記ユーザの重要度に基づいて、前記クライアント装置からサーバ装置に送信される前記ユーザの映像の品質を制御する映像品質制御部、
   を備える、情報処理装置。
2. 前記映像品質制御部は、前記ユーザの重要度が高いほど、前記ユーザの映像の品質を高くする、
   請求項１に記載の情報処理装置。
3. 前記情報処理装置は、前記クライアント装置の前記ユーザが発話しているか否かに基づいて、前記ユーザの前記重要度を算出する算出部を備える、
   請求項１に記載の情報処理装置。
4. 前記算出部は、前記クライアント装置の前記ユーザが発話しているか否かをカメラによって撮像された映像またはマイクロフォンによって集音された音情報に基づいて判定する、
   請求項３に記載の情報処理装置。
5. 前記算出部は、前記クライアント装置の前記ユーザが発話している場合には前記ユーザが発話していない場合よりも、前記ユーザの重要度を高くする、
   請求項３に記載の情報処理装置。
6. 前記算出部は、前記クライアント装置の前記ユーザによる連続する発話の長さ、発話内容および発話間隔の少なくともいずれか一つに基づいて、前記ユーザの重要度を算出する、
   請求項３に記載の情報処理装置。
7. 前記映像品質制御部は、前記クライアント装置の前記ユーザの映像の通信回線の帯域にさらに基づいて、前記クライアント装置から前記サーバ装置に送信される前記ユーザの映像の品質を制御する、
   請求項１に記載の情報処理装置。
8. 前記情報処理装置は、前記クライアント装置と、前記サーバ装置と、前記クライアント装置および前記クライアント装置の外部に存在する１または複数の外部装置とのうち、いずれか一つに組み込まれ、または二つ以上に分散されて組み込まれている、
   請求項１に記載の情報処理装置。
9. クライアント装置のユーザが発話しているか否かに応じた前記ユーザの重要度に基づいて、前記クライアント装置からサーバ装置に送信される前記ユーザの映像の品質を制御すること、
   を含む、情報処理方法。
10. ユーザが発話しているか否かに応じた前記ユーザの重要度に基づいて、サーバ装置に送信される前記ユーザの映像の品質を制御する映像品質制御部を備える、
    クライアント装置。
11. 複数のクライアント装置それぞれについて、ユーザが発話しているか否かに基づいて、前記ユーザの重要度を算出するデータ解析部と、
    前記複数のクライアント装置それぞれについて、前記重要度に基づいて、前記クライアント装置から前記サーバ装置に送信される前記ユーザの映像の品質を指示する映像品質指示部と、
    を備える、サーバ装置。
12. 前記データ解析部は、前記複数のクライアント装置それぞれについて、前記ユーザが発話しているか否かに応じた重要度に前記クライアント装置に対応する重み付け係数を乗算することによって前記ユーザの新たな重要度を算出する、
    請求項１１に記載のサーバ装置。
13. 前記データ解析部は、前記複数のクライアント装置それぞれについて、前記複数のクライアント装置それぞれのユーザの視線に基づいて、前記ユーザの重要度を算出する、
    請求項１１に記載のサーバ装置。
14. 前記データ解析部は、前記視線が当てられている数が多い映像に写っているユーザほど、重要度を高くする、
    請求項１３に記載のサーバ装置。
15. 前記サーバ装置は、
    前記複数のクライアント装置それぞれについて、前記重要度に基づいて、前記サーバ装置から前記クライアント装置に送信される前記ユーザの映像の品質を調整する映像調整部を備える、
    請求項１１に記載のサーバ装置。
16. 複数のクライアント装置とサーバ装置とを有する情報処理システムであって、
    前記複数のクライアント装置それぞれは、
    ユーザが発話しているか否かに応じた前記ユーザの重要度に基づいて、クライアント装置から前記サーバ装置に送信される前記ユーザの映像の品質を制御する映像品質制御部を備える、
    情報処理システム。
17. 前記サーバ装置は、
    前記複数のクライアント装置それぞれについて、前記ユーザが発話しているか否かに基づいて、前記ユーザの前記重要度を算出するデータ解析部と、
    前記複数のクライアント装置それぞれについて、前記重要度に基づいて、前記クライアント装置から前記サーバ装置に送信される前記ユーザの映像の品質を指示する映像品質指示部と、
    請求項１６に記載の情報処理システム。
18. 前記映像品質制御部は、前記サーバ装置から指示された前記ユーザの映像の品質に従うか否かを決定する、
    請求項１７に記載の情報処理システム。
19. 前記映像品質制御部は、前記サーバ装置に接続されている前記クライアント装置の数に基づいて、前記サーバ装置から指示された前記映像の品質に従うか否かを決定する、
    請求項１８に記載の情報処理システム。
20. 前記映像品質制御部は、前記複数のクライアント装置それぞれのユーザの視線に基づいて、前記サーバ装置から指示された前記映像の品質に従うか否かを決定する、
    請求項１８に記載の情報処理システム。

Images