JP2024046881A - 表示装置および表示方法 - Google Patents

Abstract

【課題】映像を伴うリモート会話においてユーザ同士の視線を適切に一致させること。【解決手段】表示装置は、画像を表示する表示部と、表示部の表示画面に設けられ、表示画面の方向に位置するユーザの画像を撮像する複数の撮像部と、ユーザと会話する他のユーザの画像を表示部に表示させる表示制御部と、表示部に表示された他のユーザの画像から他のユーザの目を含む顔を検出する顔検出部と、表示部に表示された他のユーザの目の領域の近傍に設けられた撮像部を制御して、ユーザの画像を撮像させる撮像制御部と、他のユーザの目の領域の近傍に設けられた撮像部により撮像されたユーザの画像を送信する通信制御部と、を備える。【選択図】図２

Description

本発明は、表示装置および表示方法に関する。

テレビ会議などの映像を伴うリモート会話を実現する技術が知られている。例えば、特許文献１には、テレビ会議やテレビ会話システムなどにおいて、ユーザの視線を一致させることのできる技術が開示されている。

特開２０１８－３７７２２号公報

テレビ会議などにおいて、例えば、ユーザがホワイトボードの前などで移動しながら発話を行う場面が想定される。このような場合、特許文献１に記載のような技術では、ユーザ同士の視線の一致を行うことが困難になる可能性がある。

本発明は、映像を伴うリモート会話においてユーザ同士の視線を適切に一致させることのできる表示装置および表示方法を提供することを目的とする。

本発明の表示装置は、画像を表示する表示部と、前記表示部の表示画面に設けられ、前記表示画面の方向に位置するユーザの画像を撮像する複数の撮像部と、前記ユーザと会話する他のユーザの画像を前記表示部に表示させる表示制御部と、前記表示部に表示された前記他のユーザの画像から前記他のユーザの目を含む顔を検出する顔検出部と、前記表示部に表示された前記他のユーザの目の領域の近傍に設けられた前記撮像部を制御して、前記ユーザの画像を撮像させる撮像制御部と、前記他のユーザの目の領域の近傍に設けられた撮像部により撮像された前記ユーザの画像を送信する通信制御部と、を備える。

本発明の表示方法は、表示部に画像を表示させるステップ、前記表示部の表示画面に設けられた複数の撮像部に、前記表示画面の方向に位置するユーザの画像を撮像させるステップと、前記ユーザと会話する他のユーザの画像を前記表示部に表示させるステップと、前記表示部に表示された前記他のユーザの画像から前記他のユーザの目を含む顔を検出するステップと、前記表示部に表示された前記他のユーザの目の領域の近傍に設けられた前記撮像部を制御して、前記ユーザの画像を撮像させるステップと、前記他のユーザの目の領域の近傍に設けられた撮像部により撮像された前記ユーザの画像を送信するステップと、を含む。

本発明によれば、映像を伴うリモート会話においてユーザ同士の視線を適切に一致させることができる。

図１は、第１実施形態に係る表示システムの構成例を示すブロック図である。 図２は、第１実施形態に係る表示装置の構成例を示すブロック図である。 図３は、第１実施形態に係る表示部の構成例を示す図である。 図４は、第１実施形態に係るトリミング処理の一例を説明するための図である。 図５は、第１実施形態に係る表示装置の処理内容の概要を説明するための図である。 図６は、第１実施形態に係る表示装置の処理内容を示すフローチャートである。 図７は、第１実施形態に係る表示部に表示される画像を説明するための図である。 図８は、第１実施形態の第１変形例に係る表示部の構成例を示す図である。 図９は、第１実施形態の第２変形例に係る表示部の構成例を示す図である。 図１０は、第２実施形態に係る表示装置の処理内容を示すフローチャートである。 図１１は、第３実施形態に係る表示装置の処理内容の概要を説明するための図である。 図１２は、第３実施形態に係る表示装置の処理内容を示すフローチャートである。 図１３は、第３実施形態に係る表示部に表示される画像を説明するための図である。 図１４は、第４実施形態に係る表示装置の構成例を示すブロック図である。 図１５は、第４実施形態に係る表示装置の処理内容の概要を説明するための図である。 図１６は、第４実施形態に係る表示装置の処理内容を示すフローチャートである。 図１７は、第５実施形態に係る表示装置の構成例を示すブロック図である。 図１８は、第５実施形態に係るマイク部の配置方法を説明するための図である。 図１９は、第５実施形態に係る表示装置の処理内容を示すフローチャートである。

以下、添付図面を参照して、本発明に係る実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

［第１実施形態］
（表示システム）
図１を用いて、第１実施形態に係る表示システムの構成例について説明する。図１は、第１実施形態に係る表示システムの構成例を示すブロック図である。

図１に示すように、表示システム１は、表示装置１０－１と、表示装置１０－２と、を含む。表示装置１０－１と、表示装置１０－２とは、有線または無線のネットワークＮを介して、通信可能に接続されている。ネットワークＮは、例えば、インターネット網であるが、これに限定されない。表示装置１０－１と、表示装置１０－２とは、表示装置１０と総称することもある。

表示装置１０－１は、ユーザにより使用される装置である。表示装置１０－２は、他のユーザにより使用される装置である。ユーザおよび他のユーザは、表示装置１０－１および表示装置１０－２を使用することにより、映像を伴うリモート会話を行うことができる。本実施形態の表示装置１０－１および表示装置１０－２は、ユーザおよび他のユーザの視線を互いに一致させることのできる、映像を伴うリモート会話を実現することができる。

（表示装置）
図２を用いて、第１実施形態に係る表示装置の構成例について説明する。図２は、第１実施形態に係る表示装置の構成例を示すブロック図である。

図２に示すように、表示装置１０は、入力部２０と、撮像部２２と、表示部２４と、マイク部２６と、音声出力部２８と、記憶部３０と、通信部３２と、エンコーダ３４と、デコーダ３６と、制御部３８と、を備える。

入力部２０は、表示装置１０に対する各種の操作を受け付ける。入力部２０は、スイッチ、ボタン、タッチパネルなどで実現される。

撮像部２２は、画像を撮像する。撮像部２２は、表示部２４の表示画面に複数設けられている。撮像部２２は、表示部２４の表示画面の方向を撮像するように設けられている。撮像部２２は、例えば、動画像を撮像する。撮像部２２は、例えば、光学素子と、撮像素子とを含むカメラであり得る。

表示部２４は、各種の画像を表示する。表示部２４は、例えば、他の表示装置から取得した他のユーザの画像を表示する。表示部２４は、例えば、大型のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイである。

図３は、第１実施形態に係る表示部２４の構成例を示す図である。図３に示すように、表示部２４には、表示画面の方向を向いて複数の撮像部２２が配置されている。複数の撮像部２２は、表示部２４において、Ｘ方向およびＹ方向のそれぞれに沿って等間隔に配置されている。複数の撮像部２２は、例えば、表示部２４の表示画面に配置されている複数のＬＥＤ素子と置き換えて配置されている。複数の撮像部２２は、例えば、複数のＬＥＤ素子のうち、青色のＬＥＤ素子と置き換えて配置されていることが好ましい。これは、人間の目にとって、青色が輪郭認識に最も寄与しづらい色であるため、青色のＬＥＤ素子と置き換えても表示部２４に表示される画像の認識に与える影響は小さいためである。

マイク部２６は、表示装置１０の周辺の音声を検出する。マイク部２６は、表示装置１０を使用しているユーザの音声を検出する。マイク部２６は、検出した音声を音声信号に変換する。

音声出力部２８は、各種の音声を出力するスピーカである。音声出力部２８は、例えば、他の表示装置１０から取得された他のユーザの音声を出力する。

記憶部３０は、各種の情報を記憶している。記憶部３０は、制御部３８の演算内容、およびプログラム等の情報を記憶する。記憶部３０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）のような主記憶装置、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の外部記憶装置とのうち、少なくとも１つ含む。

通信部３２は、表示装置１０と、外部装置との間の通信を行う通信インターフェースである。通信部３２は、例えば、表示装置１０と、他の表示装置１０との間の通信を実行する。

エンコーダ３４は、撮像部２２が撮像した画像データを圧縮する。エンコーダ３４は、周知の圧縮方式で撮像部２２が撮像した画像データを圧縮する。圧縮方式としては、例えば、Ｈ．２６４の規格に基づく圧縮方式が例示されるが、これに限定されない。

デコーダ３６は、他の表示装置１０から取得された画像データを復号する。デコーダ３６は、周知の圧縮方式で圧縮された画像データを周知の方法で復号して、画像データを生成する。

制御部３８は、表示装置１０の各部を制御する。制御部３８は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの情報処理装置と、ＲＡＭ又はＲＯＭ（などの記憶装置とを有する。制御部３８は、本発明に係る表示装置１０の動作を制御するプログラムを実行する。制御部３８は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路により実現されてもよい。制御部３８は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。

制御部３８は、撮像制御部５０と、画像データ取得部５２と、画像処理部５４と、顔検出部５６と、表示制御部５８と、音声出力制御部６０と、通信制御部６２と、を備える。

撮像制御部５０は、撮像部２２を制御して、画像を撮像させる。撮像制御部５０は、撮像部２２を制御して、表示装置１０を使用するユーザの画像を撮像させる。撮像制御部５０は、撮像部２２が撮像した画像に関する画像データを撮像部２２から取得する。

撮像制御部５０は、例えば、顔検出部５６により検出された、表示部２４に表示された他のユーザの目の領域の近傍に設けられた撮像部２２を制御して、ユーザの画像を撮像させる。

画像データ取得部５２は、通信部３２を介して、他の表示装置１０が撮像した他のユーザの画像データを他の表示装置１０から取得する。画像データ取得部５２は、例えば、他のユーザの音声データとともに他のユーザの画像データを他の表示装置１０から取得してもよい。

画像処理部５４は、エンコーダ３４を制御して、撮像制御部５０が撮像部２２から取得した画像データを圧縮させる。画像処理部５４は、デコーダ３６を制御して、通信部３２を介して他の表示装置１０から取得した圧縮された画像データを復号させる。

画像処理部５４は、例えば、撮像制御部５０が撮像部２２から取得した画像データのうち、所定の範囲を切り出すトリミング処理を実行してもよい。この場合、画像処理部５４は、撮像部２２が設けられている位置に応じて、トリミング処理の範囲を決定してよい。画像処理部５４は、例えば、撮像部２２が設けられている位置に応じて、各撮像部２２が同様の画像を撮像できるようにトリミング処理の範囲を決定する。

図４は、第１実施形態に係るトリミング処理の一例を説明するための図である。図４において、範囲Ｒ１は、撮像部２２の撮像範囲を示す。図４に示すように、範囲Ｒ１は、Ｘ方向において、表示部２４のＸ方向よりも広い。Ｘ方向において、表示部２４の外側は表示装置１０を使用するユーザが存在する可能性の低い不要な領域であると想定され得る。そのため、画像処理部５４は、画像データに対して不要な領域と想定される領域を削除するようなトリミング処理を実行する。例えば、範囲Ｒ１のＸ方向を表示部２４のＸ方向に合わせるように画像データに対してトリミング処理を実行し、範囲Ｒ２の画像データを生成してもよい。この場合、画像処理部５４は、例えば、エンコーダ３４を制御して、範囲Ｒ２の画像データを圧縮させてもよい。なお、画像処理部５４が画像データに対してトリミング処理を実行する方法は、図４に限定されず、その他の方法を用いてもよい。

顔検出部５６は、表示部２４に表示された他のユーザの画像に対して認識処理を実行し、他のユーザの顔を検出する。画像から人の顔を検出する方法は、周知の方法を使用可能であり、限定されない。

表示制御部５８は、表示部２４を制御して、各種の映像を表示部２４に表示させる。表示制御部５８は、例えば、画像データ取得部５２が他の表示装置１０から取得した画像データを表示部２４に表示させる。表示制御部５８は、例えば、デコーダ３６により復号された画像データを表示部２４に表示させる。

音声出力制御部６０は、音声出力部２８を制御して、各種の音声を音声出力部２８に出力させる。音声出力制御部６０は、音声出力部２８を制御して、他のユーザの音声を音声出力制御部６０から取得する。

通信制御部６２は、通信部３２を制御して、表示装置１０と、外部装置との間の通信を実行する。通信制御部６２は、通信部３２を制御して、表示装置１０と、他の表示装置１０との間の通信を実行する。

通信制御部６２は、撮像制御部５０が撮像部２２から取得した画像データを他の表示装置１０に送信する。通信制御部６２は、例えば、エンコーダ３４により圧縮された画像データを他の表示装置１０に送信する。

通信制御部６２は、他の表示装置１０から画像データを受信する。通信制御部６２は、例えば、他の表示装置１０から圧縮された画像データを受信する。

（処理内容）
図５と、図６とを用いて、第１実施形態に係る表示装置の処理内容について説明する。図５は、第１実施形態に係る表示装置の処理内容の概要を説明するための図である。図６は、第１実施形態に係る表示装置の処理内容を示すフローチャートである。

図５に示すように、例えば、表示装置１０－１はユーザＵ１により使用され、表示装置１０－２はユーザＵ２により使用されているものとする。表示装置１０－１は、撮像部２２によりユーザＵ１を撮像し、ユーザＵ１を含む画像データを表示装置１０－２に送信する。表示装置１０－２は、撮像部２２によりユーザＵ２を撮像し、ユーザＵ２を含む画像データを表示装置１０－１に送信する。表示装置１０－１は、表示部２４にユーザＵ２の画像であるユーザ画像ＵＩ２を表示する。表示装置１０－２は、表示部２４にユーザＵ１の画像であるユーザ画像ＵＩ１を表示する。表示装置１０－１は、ユーザＵ２がユーザ画像ＵＩ１と視線を一致させることができるように、ユーザＵ１を撮像する。表示装置１０－２は、ユーザＵ１がユーザ画像ＵＩ２と一致させることができるように、ユーザＵ２を撮像する。

表示装置１０－１と、表示装置１０－２との処理は同じなので、以下では、表示装置１０－２からユーザＵ２の画像データを受信した表示装置１０－１が実行する処理を例に説明する。

図６に示すように、まず、撮像制御部５０は、複数の撮像部２２のうち、初期設定の撮像部２２を制御して、ユーザＵ１の撮像を開始する（ステップＳ１０）。初期設定の撮像部２２は、例えば、表示部２４の表示画面の中央付近に設けられている。初期設定の撮像部２２は、予め任意に設定されてよい。そして、ステップＳ１２に進む。

通信制御部６２は、初期設定の撮像部２２が撮像した画像データを表示装置１０－２に送信する（ステップＳ１２）。具体的には、通信制御部６２は、エンコーダ３４により圧縮された画像データを表示装置１０－２に送信する。そして、ステップＳ１４に進む。

画像データ取得部５２は、表示装置１０－２から画像データを取得する（ステップＳ１４）。そして、ステップＳ１６にする。

表示制御部５８は、表示部２４を制御して、画像データ取得部５２が取得した画像データに関する画像を表示させる（ステップＳ１６）。具体的には、表示制御部５８は、デコーダ３６により復号された画像を表示部２４に表示させる。図７は、第１実施形態に係る表示部２４に表示される画像を説明するための図である。図７に示すように、表示制御部５８は、ユーザＵ２の画像であるユーザ画像ＵＩ２を表示部２４に表示させる。そして、ステップＳ１８に進む。

顔検出部５６は、顔検出処理を実行する（ステップＳ１８）。具体的には、顔検出部５６は、図７に示すユーザ画像ＵＩ２に対して顔検出処理を実行して、ユーザ画像ＵＩ２の顔を検出する。そして、ステップＳ２０に進む。

顔検出部５６は、顔が検出されたか否かを判定する（ステップＳ２０）。顔が検出されたと判定された場合（ステップＳ２０；Ｙｅｓ）、ステップＳ２２に進む。顔が検出されたと判定されない場合（ステップＳ２０；Ｎｏ）、ステップＳ３０に進む。

ステップＳ２０でＹｅｓと判定された場合、顔検出部５６は、検出された顔の位置座標を算出する（ステップＳ２２）。具体的には、顔検出部５６は、表示部２４に表示された、ユーザ画像ＵＩ２の顔領域の表示部２４における位置座標を算出する。そして、ステップＳ２４に進む。

撮像制御部５０は、顔検出部５６により算出された位置座標に基づいて、ユーザＵ１を撮像する撮像部２２を選択する（ステップＳ２４）。具体的には、撮像制御部５０は、表示部２４に表示された、ユーザ画像ＵＩ２の顔の目の近傍に設けられている撮像部２２を選択する。図７に示す例でいえば、撮像制御部５０は、ユーザ画像ＵＩ２の顔領域内に設けられた撮像部２２ａを、ユーザＵ１を撮像する撮像部として選択する。撮像部２２ａでユーザＵ１を撮像することにより、表示装置１０－２は、ユーザＵ２と視線が一致するようなユーザ画像ＵＩ１を表示することができるようになる。そして、ステップＳ２６に進む。

撮像制御部５０は、選択した撮像部２２で撮像を開始する（ステップＳ２６）。図７に示す例でいえば、撮像制御部５０は、撮像部２２ａを制御して、ユーザＵ１の撮像を開始する。そして、ステップＳ２８に進む。

通信制御部６２は、撮像部２２ａが撮像した画像データを表示装置１０－２に送信する（ステップＳ２８）。具体的には、通信制御部６２は、エンコーダ３４により圧縮された画像データを表示装置１０－２に送信する。そして、ステップＳ３０に進む。

ステップＳ２０でＮｏと判定された場合またはステップＳ２８の後、制御部３８は、処理を終了するか否かを判定する（ステップＳ３０）。具体的には、制御部３８は、ユーザＵ１と、ユーザＵ２とのリモート会話が終了した場合などに、処理を終了すると判定する。処理を終了すると判定された場合（ステップＳ３０；Ｙｅｓ）、図６の処理は終了する。処理を終了すると判定されない場合（ステップＳ３０；Ｎｏ）、ステップＳ１２に進む。

すなわち、ステップＳ３０でＮｏと判定された場合、ステップＳ１２からステップＳ２８の処理が繰り返される。そのため、表示部２４においてユーザ画像ＵＩ２が移動すると、ユーザ画像ＵＩ２の移動に伴い、ユーザＵ１を撮像する撮像部２２が切り替わる。これにより、表示部２４においてユーザ画像ＵＩ２が移動した場合であっても、ユーザＵ２と視線が一致するようなユーザＵ１の画像を撮像することができる。

［第１実施形態の変形例］
第１実施形態では、表示部２４には複数の撮像部２２が等間隔で配置されているものとして説明したが、本発明はこれに限定されない、

図８を用いて、第１実施形態の第１変形例に係る表示部の構成例について説明する。図８は、第１実施形態の第１変形例に係る表示部の構成例を示す図である。

図８に示すように、表示部２４Ａは、複数のカメラ群４０を含む。カメラ群４０は、表示部２４Ａにおいて、Ｘ方向およびＹ方向のそれぞれに沿って等間隔に配置されている。カメラ群４０は、複数の撮像部２２を含む。図８に示す例では、カメラ群４０は、密に配置された４つの撮像部２２を含むが、これに限定されない。複数の撮像部２２を密に配置したカメラ群４０を配置することにより、画像データの輝度を向上させることができる。

図９を用いて、第１実施形態の第２変形例に係る表示部の構成例について説明する。図９は、第１実施形態の第２変形例に係る表示部の構成例を示す図である。

図９に示すように、表示部２４Ｂは、複数の撮像部２２を含む。表示部２４Ｂにおいて、Ｘ方向およびＹ方向の中央部付近には、その他の場所に比べて撮像部２２が密に配置されている。これは、表示部２４Ｂを使用するユーザは、表示部２４Ｂの中央部付近にいることが多いことが想定されるためである。撮像部２２をＸ方向およびＹ方向の中央部付近に設けることにより、ユーザを適切に撮像することができるようになる。

［第２実施形態］
第２実施形態について説明する。第２実施形態では、ユーザを撮像した画像データの不要の部分を除去するトリミング処理を実行する。第２実施形態に係る表示装置の構成は、図２に示す表示装置の構成と同じなので、説明を省略する。

（処理内容）
図１０を用いて、第２実施形態に係る表示装置の処理内容について説明する。図１０は、第２実施形態に係る表示装置の処理内容を示すフローチャートである。

ステップＳ４０からステップＳ５６の処理は、それぞれ、図６に示すステップＳ１０からステップＳ２６の処理と同じなので、説明を省略する。

画像処理部５４は、画像データに対してトリミング処理を実行する（ステップＳ５８）。具体的には、画像処理部５４は、画像データに対して不要な領域と想定される領域を削除するようなトリミング処理を実行する。そして、ステップＳ６０に進む。

ステップＳ６０およびステップＳ６２の処理は、それぞれ、図６に示すステップＳ２８およびステップＳ３０の処理と同じなので、説明を省略する。

上述のとおり、第２実施形態は、ユーザＵ１を撮像した画像データの不要な部分をトリミングすることができる。これにより、第２実施形態は、ユーザＵ１と表示装置１０－１との位置関係が考慮された適切な画像データを表示装置１０－２に送信することができる。ユーザＵ１を撮像する撮像部２２が切り替わっても、ユーザＵ２が見るユーザＵ１の画像の範囲の変動や、ユーザＵ２が見る画像におけるユーザＵ１の位置の変動が抑えられることによって、ユーザＵ２に与える違和感を低減することができる。

［第３実施形態］
第３実施形態について説明する。第３実施形態では、表示部２４に複数の人物が表示されている場合に、画像に表示されている人物を特定し、ユーザを撮像するカメラを選択する処理を実行する。

（処理内容）
図１１と、図１２とを用いて、第３実施形態に係る表示装置の処理内容について説明する。図１１は、第３実施形態に係る表示装置の処理内容の概要を説明するための図である。図１２は、第３実施形態に係る表示装置の処理内容を示すフローチャートである。

図１１に示すように、例えば、表示装置１０－１はユーザＵ１およびユーザＵ４により使用され、表示装置１０－２はユーザＵ２およびユーザＵ３により使用されているものとする。表示装置１０－１は、撮像部２２によりユーザＵ１およびユーザＵ４を撮像し、ユーザＵ１およびユーザＵ４を含む画像データを表示装置１０－２に送信する。表示装置１０－２は、撮像部２２によりユーザＵ２およびユーザＵ３を撮像し、ユーザＵ２およびユーザＵ３を含む画像データを表示装置１０－１に送信する。表示装置１０－１は、表示部２４にユーザＵ２の画像であるユーザ画像ＵＩ２と、ユーザＵ３の画像であるユーザ画像ＵＩ３とを表示する。表示装置１０－２は、表示部２４にユーザＵ１の画像であるユーザ画像ＵＩ１と、ユーザＵ４の画像であるユーザ画像ＵＩ４とを表示する。表示装置１０－１は、ユーザＵ２およびユーザＵ３がユーザ画像ＵＩ１およびユーザ画像ＵＩ４と視線を一致させることができるように、ユーザＵ１およびユーザＵ４を撮像する。表示装置１０－２は、ユーザＵ１およびユーザＵ４がユーザ画像ＵＩ２およびユーザ画像ＵＩ３と視線を一致させることができるように、ユーザＵ２およびユーザＵ３を撮像する。

表示装置１０－１と、表示装置１０－２との処理は同じなので、以下では、表示装置１０－２からユーザＵ２およびユーザＵ３の画像データを受信した表示装置１０－１が実行する処理を例に説明する。

図１２において、ステップＳ７０からステップＳ７４の処理は、それぞれ、図６に示すステップＳ１０からステップＳ１４の処理と同じなので、説明を省略する。

表示制御部５８は、表示部２４を制御して、画像データ取得部５２が取得した画像データに関する画像を表示させる（ステップＳ７６）。具体的には、表示制御部５８は、デコーダ３６により復号された画像データに関する画像を表示部２４に表示させる。図１３は、第３実施形態に係る表示部２４に表示される画像を説明するための図である。図１３に示すように、表示制御部５８は、ユーザＵ２の画像であるユーザ画像ＵＩ２と、ユーザＵ３の画像であるユーザ画像ＵＩ３とを表示部２４に表示させる。そして、ステップＳ８０に進む。

顔検出部５６は、顔検出処理を実行する（ステップＳ７８）。具体的には、顔検出部５６は、図１３に示すユーザ画像ＵＩ２およびユーザ画像ＵＩ３に対して顔検出処理を実行して、ユーザ画像ＵＩ２およびユーザ画像ＵＩ３の顔を検出する。そして、ステップＳ８０に進む。

顔検出部５６は、顔が検出されたか否かを判定する（ステップＳ８０）。顔が検出されたと判定された場合（ステップＳ８０；Ｙｅｓ）、ステップＳ８２に進む。顔が検出されたと判定されない場合（ステップＳ８０；Ｎｏ）、ステップＳ１０２に進む。

ステップＳ８０でＹｅｓと判定された場合、顔検出部５６は、顔が複数検出されたか否かを判定する（ステップＳ８２）。顔が複数検出されたと判定された場合（ステップＳ８２；Ｙｅｓ）、ステップＳ８４に進む。顔が複数検出されたと判定されない場合（ステップＳ８２；Ｎｏ）、ステップＳ９４に進む。

ステップＳ８２でＹｅｓと判定された場合、顔検出部５６は、発話者を特定する（ステップＳ８４）。具体的には、図１３に示す例でいえば、顔検出部５６は、ユーザ画像ＵＩ２とユーザ画像ＵＩ３とに含まれる口の動きを検出し、発話中の口の動きを検出した場合に、その動きが検出されたユーザ画像のユーザを発話者として特定する。ここで、顔検出部５６は、発話中の口の動きが検出されなかった場合には、直前に発話者として判定されたユーザを現在の発話者として特定する。そして、ステップＳ８６に進む。

顔検出部５６は、発話者の顔の位置座標を算出する（ステップＳ８６）。具体的には、顔検出部５６は、表示部２４に表示された、ユーザ画像ＵＩ２またはユーザ画像ＵＩ３の顔領域の表示部２４における位置座標を算出する。そして、ステップＳ８８に進む。

撮像制御部５０は、顔検出部５６により算出された発話者の顔の位置座標に基づいて、ユーザＵ１およびユーザＵ４を撮像する撮像部２２を選択する（ステップＳ８８）。具体的には、撮像制御部５０は、表示部２４に表示された、顔検出部５６が発話者として特定したユーザ画像ＵＩ２またはユーザ画像ＵＩ３の顔の目の近傍に設けられている撮像部２２を選択する。図１３に示す例でいえば、撮像制御部５０は、ユーザ画像ＵＩ２の顔領域内に設けられた撮像部２２ａ、またはユーザ画像ＵＩ３の顔領域内に設けられた撮像部２２ｂをユーザＵ１およびユーザＵ４を撮像する撮像部として選択する。撮像部２２ａまたは撮像部２２ｂでユーザＵ１およびユーザＵ４を撮像することにより、表示装置１０－２は、ユーザＵ２およびユーザＵ３と視線が一致するようなユーザ画像ＵＩ１およびユーザ画像ＵＩ４を表示することができるようになる。そして、ステップＳ９０に進む。

撮像制御部５０は、選択した撮像部で撮像を開始する（ステップＳ９０）。図１３に示す例でいえば、撮像制御部５０は、撮像部２２ａまたは撮像部２２ｂを制御して、ユーザＵ１およびユーザＵ４の撮像を開始する。そして、ステップＳ９２に進む。

通信制御部６２は、撮像部２２ａまたは撮像部２２ｂが撮像した画像データを表示装置１０－２に送信する（ステップＳ９２）。具体的には、通信制御部６２は、エンコーダ３４により圧縮された画像データを表示装置１０－２に送信する。そして、ステップＳ１０２に進む。

ステップＳ８２でＮｏと判定された場合、顔検出部５６は、検出された顔の位置座標を算出する（ステップＳ９４）。ここでは、ステップＳ８０において、図１３に示す例でいえば、ユーザ画像ＵＩ２およびユーザ画像ＵＩ３のうち、ユーザ画像ＵＩ２の顔が検出されたものとする。顔検出部５６は、表示部２４に表示された、ユーザ画像ＵＩ２の顔領域の表示部２４における位置座標を算出する。そして、ステップＳ９６に進む。

ステップＳ９６からステップＳ１００の処理は、それぞれ、図６に示すステップＳ２４からステップＳ２８の処理と同じなので、説明を省略する。

ステップＳ８０でＮｏと判定された場合、制御部３８は、処理を終了するか否かを判定する（ステップＳ１０２）。具体的には、制御部３８は、ユーザＵ１およびユーザＵ４と、ユーザＵ２およびユーザＵ３とのリモート会話が終了した場合などに、処理を終了すると判定する。処理を終了すると判定された場合（ステップＳ１０２；Ｙｅｓ）、図１２の処理は終了する。処理を終了すると判定されない場合（ステップＳ１０２；Ｎｏ）、ステップＳ７２に進む。

すなわち、ステップＳ１０２でＮｏと判定された場合、ステップＳ７２からステップＳ９２の処理が繰り返される。そのため、表示部２４においてユーザ画像ＵＩ２およびユーザ画像ＵＩ３のうち発話者が変わった場合に、ユーザＵ１およびユーザＵ４を撮像する撮像部が切り替わる。これにより、表示部２４においてユーザ画像ＵＩ２およびユーザ画像ＵＩ３のうち発話者が変更した場合であっても、発話者と視線が一致するようなユーザＵ１およびユーザＵ４の画像を撮像することができる。

［第４実施形態］
第４実施形態について説明する。第４実施形態は、表示部に設けられた各撮像部が撮像した画像データの輝度を解析する。第４実施形態は、各撮像部が撮像した画像データ間の輝度差が所定以上である場合には、各撮像部が撮像する画像データ間の輝度差が所定以下となるような処理を実行する。

図１４を用いて、第４実施形態に係る表示装置の構成例について説明する。図１４は、第４実施形態に係る表示装置の構成例を示すブロック図である。

図１４に示すように、表示装置１０Ａは、制御部３８Ａが画像解析部６４を備える点で、図２に示す表示装置１０と異なる。

画像解析部６４は、撮像制御部５０が撮像部２２から取得した画像データに対して画像解析処理を実行し、画像データの輝度を検出する。画像データの輝度を検出する方法は、周知の方法を使用可能であり、限定されない。

（処理内容）
図１５と、図１６とを用いて、第４実施形態に係る表示装置の処理内容について説明する。図１５は、第４実施形態に係る表示装置の処理内容の概要を説明するための図である。図１６は、第４実施形態に係る表示装置の処理内容を示すフローチャートである。

図１５に示すように、表示部２４に表示されているユーザＵ２の画像であるユーザ画像ＵＩ２が矢印の方向に移動したとする。この場合、ユーザ画像ＵＩ２の移動に伴い、ユーザＵ１を撮像する撮像部は、撮像部２２－１、撮像部２２－２、撮像部２２－３、撮像部２２－４、および撮像部２２－５と変化する。この際、撮像部２２－１から撮像部２２－５が撮像した画像データ間の輝度に所定以上の差があると、撮像部が切り替わった際にユーザＵ１の画像データが表示される他の表示装置１０Ａを視聴する他のユーザに違和感を与えることが想定される。また、各撮像部２２はユーザＵ１を追従して撮像するため、例えば、ユーザＵ１が移動に伴い背景の明るさが変化すると、画像データの輝度値が変化し得る。移動に伴い背景の明るさが変化する状況は、例えば、ユーザＵ１が屋外では日向から日陰に移動したり、屋内では照明が強い場所から弱い場所に移動したりする場合が例示される。

本実施形態では、ユーザＵ１の画像データが表示される他の表示装置１０Ａを視聴する他のユーザに違和感を与えないように、撮像部２２－１から撮像部２２－２が撮像する画像データの輝度を調整する処理を実行する。

図１６に示すように、まず、撮像制御部５０は、撮像部２２から画像データを取得する（ステップＳ１１０）。図１５に示す例でいえば、撮像制御部５０は、撮像部２２－１から撮像部２２－５が撮像した画像データを取得する。そして、ステップＳ１１２に進む。

画像解析部６４は、撮像制御部５０が取得した画像データに対して画像解析処理を実行する（ステップＳ１１２）。図１５に示す例でいえば、画像解析部６４は、撮像制御部５０が撮像部２２－１から撮像部２２－５よりそれぞれ取得した画像データに対して画像解析処理を実行する。そして、ステップＳ１１４に進む。

画像解析部６４は、画像データ間の輝度差が閾値以上であるか否かを判定する（ステップＳ１１４）。図１５に示す例でいえば、撮像部２２－１から撮像部２２－５よりそれぞれ取得した画像データ間の輝度差が閾値以上であるか否かを判定する。輝度差が閾値以上であるとは、例えば、撮像部２２－１から撮像部２２－５よりそれぞれ取得した画像データに関する画像を続けて視聴したユーザに、輝度の変化による違和感を与える程度の輝度差をいう。輝度差が閾値以上と判定された場合（ステップＳ１１４；Ｙｅｓ）、ステップＳ１１６に進む。輝度差が閾値以上と判定されない場合（ステップＳ１１４；Ｎｏ）、ステップＳ１１８に進む。

ステップＳ１１４でＹｅｓと判定された場合、撮像制御部５０は、各画像データに基づいて、撮像部２２の画質を設定する（ステップＳ１１６）。図１５に示す例でいえば、撮像制御部５０は、撮像部２２－１から撮像部２２－５よりそれぞれ取得された各画像データに基づいて、撮像部２２－１から撮像部２２－５の各々のゲインを調整する。例えば、撮像制御部５０は、撮像部２２－１から撮像部２２－５が撮像した各画像データの輝度が同じになるように、撮像部２２－１から撮像部２２－５の各々のゲインを調整する。例えば、撮像制御部５０は、撮像部２２－１から撮像部２２－５のうち、隣接する撮像部２２が撮像する画像データの輝度値の差が所定以下となるように、撮像部２２－１から撮像部２２－５の各々のゲインを調整してもよい。例えば、撮像制御部５０は、撮像部２２－１から撮像部２２－５よりそれぞれ取得した画像データの輝度値が順になだらかに変化するように撮像部２２－１から撮像部２２－５の各ゲインを調整するようにしてもよい。そして、ステップＳ１２０に進む。

ステップＳ１１４でＮｏと判定された場合、撮像制御部５０は、撮像部２２が切り替わったときに、表示部２４に表示される画像の画質が変化しないように各撮像部２２を同一の設定にする（ステップＳ１１８）。図１５に示す例でいえば、撮像制御部５０は、撮像部２２－１から撮像部２２－５の各々のゲインを同一の設定にする。そして、ステップＳ１２０に進む。

制御部３８Ａは、処理を終了するか否かを判定する（ステップＳ１２０）。例えば、制御部３８Ａは、ユーザＵ１と、ユーザＵ２とのリモート会話が終了した場合に、処理を終了すると判定する。処理を終了すると判定された場合（ステップＳ１２０；Ｙｅｓ）、図１６の処理を終了する。処理を終了すると判定されない場合（ステップＳ１２０；Ｎｏ）、ステップＳ１１０に進む。

制御部３８Ａは、図１６に示す処理を、ユーザＵ１とユーザＵ２とがリモート会話をしている間において、常時行っていてもよいし、所定間隔（例えば、１分から１０分）ごとに実行してもよい。

上述のとおり、第４実施形態は、常時または所定間隔ごとにユーザＵ１を撮像する各撮像部のゲインを調整する。これにより、第４実施形態は、ユーザＵ１の画像データを視聴するユーザＵ２などに違和感を与えないユーザＵ１の画像を撮像することができる。

［第５実施形態］
第５実施形態について説明する。第５実施形態は、撮像部が撮像したユーザの音声を取得して、取得した音声を解析し音声が発せられた方向を特定する。第５実施形態は、撮像したユーザの画像と、特定された音声が発せられた方向とに基づいて、発話者を特定する処理を実行する。

（表示装置）
図１７を用いて、第５実施形態に係る表示装置の構成例について説明する。図１７は、第５実施形態に係る表示装置の構成例を示すブロック図である。

図１７に示すように、表示装置１０Ｂは、制御部３８Ｂは、音声データ取得部６６と、方向特定部６８と、発話者特定部７０とを備える点で、図２に示す表示装置１０と異なる。

図１８は、第５実施形態に係るマイク部２６の配置方法を説明するための図である。図１８に示すように、第５実施形態においては、例えば、複数のマイク部２６が表示部２４の表示画面と同一の平面内に設けられている。図１８に示す例では、５個のマイク部２６が表示部２４の下部に設けられている。マイク部２６は、表示部２４の表示画面と同一平面内に設けられていれば、設けられている数と位置は限定されない。複数のマイク部２６は、例えば、ユーザＵ１が発した音声を検出する。

第５実施形態では、マスクなどで口が覆われているため画像のみではユーザＵ２が発話者であるか否かを特定できない場合であっても、ユーザＵ２が発話者であるか否かを判定する。具体的には、表示装置１０Ｂは、他の表示装置１０Ｂを使用するユーザＵ２の画像であるユーザ画像ＵＩ２と、ユーザＵ２の音声に関する音声データとに基づいて、ユーザＵ２が発話者であるか否かを特定する。

音声データ取得部６６は、他の表示装置１０Ｂのマイク部２６が検出した音声に関する音声データを他の表示装置１０Ｂから取得する。音声データ取得部６６は、例えば、他の表示装置１０Ｂが取得したユーザＵ２の音声に関する音声データを取得する。

方向特定部６８は、音声データ取得部６６が検出した音声データに基づいて、音声データに関する音声が発せられた方向を特定する。方向特定部６８は、例えば、音声データ取得部６６が取得した発話者の音声に関する音声データに基づいて、音声を発した発話者の方向を特定する。本実施形態では、マイク部２６は表示部２４の同一平面に設けられているので、方向特定部６８は、表示部２４に対する方向を特定する。

発話者特定部７０は、音声を発した発話者を特定する。発話者特定部７０は、画像データ取得部５２が他の表示装置１０Ｂから取得した画像データと、方向特定部６８による方向の特定結果に基づいて、発話者を特定する。具体的には、発話者特定部７０は、画像データ取得部５２がユーザ画像ＵＩ２の方向と、方向特定部６８が特定した方向とが一致した場合に、ユーザＵ２を発話者として特定する。

（処理内容）
図１９を用いて、第５実施形態に係る表示装置の処理内容について説明する。図１９は、第５実施形態に係る表示装置の処理内容を示すフローチャートである。

ステップＳ１３０からステップＳ１３６の処理は、それぞれ、図６に示すステップＳ１０からステップＳ１６の処理と同じなので、説明を省略する。

音声データ取得部６６は、他の表示装置１０Ｂから音声データを取得する（ステップＳ１３８）。そして、ステップＳ１４０に進む。

ステップＳ１４０およびステップＳ１４２の処理は、それぞれ、図６に示すステップＳ１８およびステップＳ２０の処理と同じなので、説明を省略する。

ステップＳ１４２でＹｅｓと判定された場合、方向特定部６８は、音声データ取得部６６が取得した音声データに対して音声解析処理を実行し、音声が発せられた方向を特定する（ステップＳ１４４）。そして、ステップＳ１４６に進む。

発話者特定部１４６は、発話者が特定できたか否かを判定する（ステップＳ１４６）。発話者が特定できたと判定された場合（ステップＳ１４６；Ｙｅｓ）、ステップＳ１４８に進む。発話者が特定できたと判定されない場合（ステップＳ１４６；Ｎｏ）、ステップＳ１５６に進む。

ステップＳ１４８からステップＳ１６４の処理は、それぞれ、図１２に示すステップＳ８６からステップＳ１０２の処理と同一なので、説明を省略する。

本実施形態の説明においては、表示装置が他の表示装置から取得した音声データに基づいて音声が発せられた方向を特定したが、他の表示装置がマイク部２６の検出した音声に基づいて音声が発せられた方向を特定してもよい。この場合、表示装置は他の表示装置から音声が発せられた方向に関するデータを取得し、発話者特定部７０が、ユーザ画像ＵＩ２の方向と、取得したデータが示す音声が発せられた方向とが一致した場合に、ユーザＵ２を発話者として特定する。

上述のとおり、第５実施形態は、画像から発話者を特定できない場合であっても、画像と音声とに基づいて、発話者を特定することができる。これにより、第５実施形態は、適切にユーザＵ２と視線が一致するようにユーザＵ１の画像を撮像することができる。

図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。なお、この分散・統合による構成は動的に行われてもよい。

以上、本発明の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。本発明の実施形態では、ＬＥＤディスプレイを表示装置として説明したが、表示装置はこれに限らす、例えばプロジェクタ（投射装置）を表示装置とし、投影されるスクリーン上またはスクリーンの背後に複数の撮像部を配置して構成するようにしてもよい。また、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）のように一部の表示素子を撮像部と置き換えられないような表示装置の場合は、表示部の前面に複数の撮像部を配置するようにしてもよい。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

１ 表示システム
１０ 表示装置
２０ 入力部
２２ 撮像部
２４ 表示部
２６ マイク部
２８ 音声出力部
３０ 記憶部
３２ 通信部
３４ エンコーダ
３６ デコーダ
３８ 制御部
５０ 撮像制御部
５２ 画像データ取得部
５４ 画像処理部
５６ 顔検出部
５８ 表示制御部
６０ 音声出力制御部
６２ 通信制御部
６４ 画像解析部
６６ 音声データ取得部
６８ 方向特定部
７０ 発話者特定部

Claims (5)

1. 画像を表示する表示部と、
   前記表示部の表示画面に設けられ、前記表示画面の方向に位置するユーザの画像を撮像する複数の撮像部と、
   前記ユーザと会話する他のユーザの画像を前記表示部に表示させる表示制御部と、
   前記表示部に表示された前記他のユーザの画像から前記他のユーザの目を含む顔を検出する顔検出部と、
   前記表示部に表示された前記他のユーザの目の領域の近傍に設けられた前記撮像部を制御して、前記ユーザの画像を撮像させる撮像制御部と、
   前記他のユーザの目の領域の近傍に設けられた撮像部により撮像された前記ユーザの画像を送信する通信制御部と、
   を備える、表示装置。
2. 前記表示部に表示された前記他のユーザの目の領域の近傍に設けられた前記撮像部により撮像された前記ユーザの画像のうち、前記ユーザを撮像した前記撮像部が設けられている位置に応じた範囲をトリミングする画像処理部を備える、
   請求項１に記載の表示装置。
3. 前記表示部に設けられた複数の前記撮像部の各々により撮像された前記画像の輝度を解析する画像解析部を備え、
   前記撮像制御部は、前記画像解析部による結果に応じて、複数の前記撮像部の各々のゲインを調整する、
   請求項１または２に記載の表示装置。
4. 前記表示部の表示画面の近傍に設けられて少なくとも１つのマイクと、
   前記マイクが検出した前記ユーザの音声に関する音声データを取得する音声データ取得部と、
   前記音声データ取得部が前記音声データに基づいて、前記ユーザの音声が発せられた方向を特定する方向特定部と、
   前記撮像部により撮像された前記ユーザの方向が前記方向特定部により特定された方向と一致する場合に、前記ユーザを発話者と特定する発話者特定部と、を備え、
   前記撮像制御部は、前記表示部に表示された前記他のユーザの目の領域の近傍に設けられた前記撮像部を制御して、前記発話者特定部により特定された前記発話者を撮像させる、
   請求項１または２に記載の表示装置。
5. 表示部に画像を表示させるステップ、
   前記表示部の表示画面に設けられた複数の撮像部に、前記表示画面の方向に位置するユーザの画像を撮像させるステップと、
   前記ユーザと会話する他のユーザの画像を前記表示部に表示させるステップと、
   前記表示部に表示された前記他のユーザの画像から前記他のユーザの目を含む顔を検出するステップと、
   前記表示部に表示された前記他のユーザの目の領域の近傍に設けられた前記撮像部を制御して、前記ユーザの画像を撮像させるステップと、
   前記他のユーザの目の領域の近傍に設けられた撮像部により撮像された前記ユーザの画像を送信するステップと、
   を含む、表示方法。

Images