JP2024047431A - 制御システム、コンピュータープログラム及び制御方法 - Google Patents

Abstract

【課題】１又は複数の他のユーザーと会話する際に、ユーザーにとってより利便性が高い画面表示を実現すること。【解決手段】本発明の一態様は、ネットワークを介してユーザーと他のユーザーとが会話を行うための仮想的な会議室において、前記ユーザーと同じ会議室に参加している１又は複数の他のユーザー毎に、前記他のユーザーのユーザー端末から提供される画像を表示可能な部分領域及び拡大部分領域を前記ユーザーのユーザー端末の画面に表示させる制御部を備え、前記拡大部分領域は前記部分領域よりも相対的に大きい領域であり、前記制御部は、前記部分領域のユーザーに関して所定の操作が行われた場合に、前記ユーザーに関して前記拡大部分領域を表示する、制御システムである。【選択図】図１

Description

本発明は、オンラインで会話することを実現するための技術に関する。

従来から、ネットワークを介して会話や会議を行うためのシステムが提案されている。これらのシステムでは、カメラで撮影された参加者の顔画像や参加者のアイコン等がユーザー毎に設けられた部分領域に表示されることが一般的である。例えば、特許文献１には、撮影されたユーザーの顔領域の画像を抽出して背景にはぼかしをかけて表示することが記載されている。ユーザーは、表示された顔画像アイコンを視認することによって、どのような人が参加しているかを把握することができる。また、アイコンではなく、ユーザー端末で撮像されているユーザーの動画像がユーザー毎の部分領域に表示されるシステムもある。

特開２０１２－２１３０１３号公報

従来から、複数のメンバーが参加している場合には、参加している１又は複数のメンバー毎に部分領域が設けられて顔や動画像が表示されるシステムがある。このようなメンバー毎の部分領域の画面レイアウトについて、予め定義されている複数の画面レイアウトから選択することができるシステムもある。例えば、１又は複数のユーザーの部分領域がそれぞれ同じ大きさで設定され、各ユーザーの画像が部分領域内に表示される画面レイアウトがある。他の例として、代表ユーザー（例えばその時点で発言しているユーザー）の部分領域が他のユーザーの部分領域よりも大きく設定される画面レイアウトもある。他の例として、画面共有されているウィンドウやデスクトップの画像を表示するための部分領域がユーザーの部分領域よりも大きく設定される画面レイアウトもある。しかしながら、必ずしもユーザーが所望する画面を見やすく表示することが実現できてはいなかった。

上記事情に鑑み、本発明は、１又は複数の他のユーザーと会話する際に、ユーザーにとってより利便性が高い画面表示を実現することを可能とする技術の提供を目的としている。

本発明の一態様は、ネットワークを介してユーザーと他のユーザーとが会話を行うための仮想的な会議室において、前記ユーザーと同じ会議室に参加している１又は複数の他のユーザー毎に、前記他のユーザーのユーザー端末から提供される画像を表示可能な部分領域及び拡大部分領域を前記ユーザーのユーザー端末の画面に表示させる制御部を備え、前記拡大部分領域は前記部分領域よりも相対的に大きい領域であり、前記制御部は、前記部分領域のユーザーに関して所定の操作が行われた場合に、前記ユーザーに関して前記拡大部分領域を表示する、制御システムである。

本発明の一態様は、上記の制御システムであって、前記制御部は、前記拡大部分領域を表示する場合、前記拡大部分領域のユーザーに関する前記部分領域の表示を行わない。

本発明の一態様は、上記の制御システムであって、前記制御部は、複数のユーザーから共有の指示を受けた場合、共有の指示をした複数のユーザーに応じた前記部分領域又は前記拡大部分領域において、共有の指示に応じた画面を表示する。

本発明の一態様は、ネットワークを介してユーザーと他のユーザーとが会話を行うための仮想的な会議室において、前記ユーザーと同じ会議室に参加している１又は複数の他のユーザー毎に、前記他のユーザーのユーザー端末から提供される画像を表示可能な部分領域又は拡大部分領域を前記ユーザーのユーザー端末の画面に表示させる制御部を備え、前記拡大部分領域は前記部分領域よりも相対的に大きい領域であり、前記制御部は、前記部分領域のユーザーに関して所定の操作が行われた場合に、前記ユーザーに関して前記拡大部分領域を表示する、制御システムとしてコンピューターを機能させるためのコンピュータープログラムである。

本発明の一態様は、コンピューターが、ネットワークを介してユーザーと他のユーザーとが会話を行うための仮想的な会議室において、前記ユーザーと同じ会議室に参加している１又は複数の他のユーザー毎に、前記他のユーザーのユーザー端末から提供される画像を表示可能な部分領域又は拡大部分領域を前記ユーザーのユーザー端末の画面に表示させ、前記拡大部分領域は前記部分領域よりも相対的に大きい領域であり、前記コンピューターは、前記部分領域のユーザーに関して所定の操作が行われた場合に、前記ユーザーに関して前記拡大部分領域を表示する、制御方法である。

本発明により、１又は複数の他のユーザーと会話する際に、ユーザーにとってより利便性が高い画面表示を実現することが可能となる。

本発明の会話システム１００の第１実施形態のシステム構成を示す概略ブロック図である。 ユーザー端末１０の機能構成の具体例を示す概略ブロック図である。 会話制御装置２０の機能構成の具体例を示す概略ブロック図である。 ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。 ユーザー状態設定画像の具体例を示す図である。 アイコン画像４１の一具体例を示す図である。 ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。 ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。 ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。 ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。 ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。 ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。 ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。 ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。 ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。 部分領域５１において画面共有が実行されている状態の具体例を示す図である。 部分領域５１及び拡大部分領域５２において画面共有が実行されている状態の具体例を示す図である。

以下、本発明の具体的な構成例について、図面を参照しながら説明する。
図１は、本発明の会話システム１００のシステム構成を示す概略ブロック図である。会話システム１００は、ユーザー端末１０を操作するユーザー同士がネットワーク９０を介して会話を行うためのシステムである。会話システム１００は、複数のユーザー端末１０、会話制御装置２０を含む。複数のユーザー端末１０及び会話制御装置２０は、ネットワーク９０を介して通信可能に接続される。ネットワーク９０は、無線通信を用いたネットワークであってもよいし、有線通信を用いたネットワークであってもよい。ネットワーク９０は、複数のネットワークが組み合わされて構成されてもよい。

図２は、ユーザー端末１０の機能構成の具体例を示す概略ブロック図である。ユーザー端末１０は、例えばスマートフォン、タブレット、パーソナルコンピューター、携帯ゲーム機、据え置き型ゲーム機、専用機器などの情報機器を用いて構成される。ユーザー端末１０は、通信部１１、操作部１２、表示部１３、音声入力部１４、音声出力部１５、撮像部１６、記憶部１７及び制御部１８を備える。

通信部１１は、通信機器である。通信部１１は、例えばネットワークインターフェースとして構成されてもよい。通信部１１は、制御部１８の制御に応じて、ネットワーク９０を介して他の装置とデータ通信する。通信部１１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

操作部１２は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成される。操作部１２は、ユーザーの指示をユーザー端末１０に入力する際にユーザーによって操作される。操作部１２は、入力装置をユーザー端末１０に接続するためのインターフェースであっても良い。この場合、操作部１２は、入力装置においてユーザーの入力に応じ生成された入力信号をユーザー端末１０に入力する。操作部１２は、マイク及び音声認識装置を用いて構成されてもよい。この場合、操作部１２はユーザーによって発話された文言を音声認識し、認識結果の文字列情報をユーザー端末１０に入力する。操作部１２は、ユーザーの指示をユーザー端末１０に入力可能な構成であればどのように構成されてもよい。

表示部１３は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置である。表示部１３は、会話を行う際に用いられる画像データを表示する。表示部１３は、画像表示装置をユーザー端末１０に接続するためのインターフェースであっても良い。この場合、表示部１３は、画像データを表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。

音声入力部１４は、マイクを用いて構成される。音声入力部１４は、マイクそのものとして構成されてもよいし、外部機器としてマイクをユーザー端末１０に接続するためのインターフェースとして構成されてもよい。マイクは、会話を行うユーザーの発話音声を取得する。音声入力部１４は、マイクによって取得された音声のデータを制御部１８に出力する。

音声出力部１５は、スピーカーやヘッドホンやイヤホン等の音声出力装置を用いて構成される。音声出力部１５は、音声出力装置そのものとして構成されてもよいし、外部機器として音声出力装置をユーザー端末１０に接続するためのインターフェースとして構成されてもよい。音声出力装置は、会話を行うユーザーが音声を聞き取ることができるように音声を出力することが望ましい。音声出力部１５は、制御部１８によって出力される音声信号に応じた音声を出力する。

撮像部１６は、カメラ等の撮像機器を用いて構成される。撮像部１６は、カメラ等の撮像機器をユーザー端末１０に接続するためのインターフェースであってもよい。撮像部１６は、ユーザーの顔を撮像可能な位置に設置されることが望ましい。この場合、撮像部１６は、ユーザーの顔を撮像し、静止画像又は動画像のデータ（以下「画像データ」という。）を生成する。撮像部１６は、生成した画像データを制御部１８に出力する。
記憶部１７は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部１７は、制御部１８によって使用されるデータを記憶する。記憶部１７は、例えばユーザー情報記憶部１７１として機能してもよい。ユーザー情報記憶部１７１は、ユーザー端末１０を操作するユーザーに関する情報（以下「ユーザー情報」という。）を記憶する。ユーザー情報は、例えばユーザーのハンドルネーム、ユーザーのアイコンデータ、ユーザーの属性情報を含んでもよい。ハンドルネームとは、ユーザーが会話システム１００において会話を行う際に使用する名前（ニックネーム又は本名）である。アイコンデータとは、ユーザーが会話システム１００において会話を行う際に使用する画像データである。属性情報は、例えばユーザーの年齢、性別、所属に関する情報を含んでもよい。

制御部１８は、ＣＰＵ（Central Processing Unit）等のプロセッサーとメモリーとを用いて構成される。制御部１８は、プロセッサーがプログラムを実行することによって、表示制御部１８１、会議制御部１８２及び会話制御部１８３として機能する。なお、制御部１８の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ：Solid State Drive）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

表示制御部１８１は、通信部１１を介して会話制御装置２０から表示情報を受信する。表示制御部１８１は、取得された表示情報に基づいて画像信号を生成し、表示部１３に表示させる。表示情報は、例えば表示される画像そのものを示す画像データであってもよい。この場合、画像データを生成する主体（画像データ生成部）は会話制御装置２０の表示情報生成部２３３である。表示情報は、例えば表示される画像を生成するために必要となる情報（例えば、表示される会議室の位置、大きさ及び表示態様や、ユーザーの位置及びアイコン画像を示す情報）を示すデータであってもよい。この場合、表示制御部１８１は、表示データに基づいて、表示部１３に表示するための画像データを生成する。この場合、画像データを生成する主体（画像データ生成部）は表示制御部１８１である。

会議制御部１８２は、会話制御装置２０において仮想的に設けられる会議に関する制御を行う。例えば、ユーザーが操作部１２を操作することによって新規の会議室を設置することを指示した場合、会議制御部１８２は、新規の会議室を設置するための処理を行う。

会話制御部１８３は、他のユーザー端末１０のユーザーとの間で行われる会話に関する制御を行う。他のユーザー端末１０のユーザーとの会話は、例えば設置された会議室に参加する１又は複数のユーザーとの間の会話（以下「会議室会話」という。）として行われても良い。会話制御部１８３は、例えば音声入力部１４から入力された音声データを、通信部１１を介して会話制御装置２０へ送信する。会話制御部１８３は、会話制御装置２０から音声データを受信すると、受信された音声データを音声出力部１５から出力する。

図３は、会話制御装置２０の機能構成の具体例を示す概略ブロック図である。会話制御装置２０は、例えばパーソナルコンピューターやサーバー装置などの情報処理装置を用いて構成される。会話制御装置２０は、通信部２１、記憶部２２及び制御部２３を備える。

通信部２１は、通信機器である。通信部２１は、例えばネットワークインターフェースとして構成されてもよい。通信部２１は、制御部２３の制御に応じて、ネットワーク９０を介して他の装置とデータ通信する。通信部２１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

記憶部２２は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部２２は、制御部２３によって使用されるデータを記憶する。記憶部２２は、例えば正規ユーザー情報記憶部２２１、ゲストユーザー情報記憶部２２２及び会議室情報記憶部２２３として機能してもよい。

正規ユーザー情報記憶部２２１は、ユーザー端末１０を操作する複数の正規ユーザーに関する情報（正規ユーザー情報）を記憶する。正規ユーザーとは、会話システム１００を使用することができるユーザーとして予め所定の手続きを行い登録されている者である。正規ユーザーは、例えばユーザーＩＤ及びパスワードを用いてログインすることによって、会話システム１００において正規ユーザー用に提供されている１又は複数の機能（以下「正規ユーザー機能」という。）を利用することが可能である。

正規ユーザーは、他の正規ユーザーからの招待を受けること無く、自発的に会話システム１００にログインすることが可能である。正規ユーザーは、会話システム１００にログインしておくことにより、会話システム１００にログインしている他のユーザーとオンラインで会話することが可能である。複数の正規ユーザーの正規ユーザー情報は、予め会話制御装置２０に登録されてもよい。正規ユーザー情報は、例えば正規ユーザーのハンドルネーム、正規ユーザーのアイコンデータ、正規ユーザーの属性情報を含んでもよい。

ゲストユーザー情報記憶部２２２は、ゲストユーザーに関する情報（ゲストユーザー情報）を記憶する。ゲストユーザーとは、正規ユーザーから招待を受けることによって会話システム１００にアクセスすることができる者である。ゲストユーザーは、例えば正規ユーザーからの招待として、会話システム１００にアクセスするための情報（以下「ゲストアクセス情報」という。）を受け取り、ゲストアクセス情報を用いることによってゲストユーザーとして会話システム１００にアクセスする。ゲストアクセス情報として、例えばＵＲＬ（Uniform Resource Locator）や、ＩＤ等の文字列が用いられてもよい。

ゲストユーザーは、会話システム１００において、ゲストユーザー用に提供されている１又は複数の機能（以下「ゲストユーザー機能」という。）を利用することが可能である。ただし、正規ユーザー機能に比べてゲストユーザー機能は制限されている。すなわち、ゲストユーザー機能として提供される機能は、正規ユーザー機能の一部である。なお、正規ユーザー機能として提供されていない機能がゲストユーザー機能に含まれてもよい。ゲスト情報は、例えばゲストユーザーのハンドルネーム、ゲストユーザーの属性情報を含んでもよい。ハンドルネームとは、ゲストユーザーが会話システム１００において会話を行う際に使用する名前（ニックネーム又は本名）である。属性情報は、例えばゲストユーザーの年齢、性別、所属に関する情報を含んでもよい。なお、ユーザーとは、正規ユーザー及びゲストユーザーの両方を含む概念である。

会議室情報記憶部２２３は、会議室に関する情報（以下「会議室情報」という。）を記憶する。会議室とは、会話システム１００においてユーザーが会話を行うために設置する仮想的な部屋である。会議室情報は、例えばその会議室に設定されている名前を示す情報を含んでもよい。会議室情報は、さらに、その会議室に現在入室している正規ユーザー及びゲストユーザーを示す情報を含んでもよい。

制御部２３は、ＣＰＵ等のプロセッサーとメモリーとを用いて構成される。制御部２３は、プロセッサーがプログラムを実行することによって、ユーザー制御部２３１、会議室制御部２３２、表示情報生成部２３３及び会話制御部２３４として機能する。なお、制御部２３の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

ユーザー制御部２３１は、正規ユーザー及びゲストユーザーに関する制御処理を行う。例えば、ユーザー制御部２３１は、会話制御装置２０にアクセスしてくる正規ユーザーについてログインのための処理（例えば認証処理）を行ってもよい。ユーザー制御部２３１は、ユーザー端末１０から受信された正規ユーザー情報を正規ユーザー情報記憶部２２１に登録してもよい。ユーザー制御部２３１は、会話制御装置２０にアクセスしてくるゲストユーザーに対し、ゲストユーザー情報の入力を要求し、入力されたゲストユーザー情報（例えばハンドルネームや属性情報など）をゲストユーザー情報記憶部２２２に登録してもよい。

会議室制御部２３２は、会議室に関する制御処理を行う。例えば、会議室制御部２３２は、会議室を新たに設置することについてユーザー端末１０から指示を受けた場合には、受信される情報に基づいて会議室情報を生成し、会議室情報記憶部２２３に登録してもよい。会議室制御部２３２は、ユーザーによって会議室へ参加するための所定の操作が行われた場合、所定の条件が満たされると、その会議室へユーザーを参加させるための処理を行う。例えば、会議室制御部２３２は、会議室情報記憶部２２３を更新することによって、会議室に新たなユーザーが参加したことを登録する。このとき、会議室制御部２３２は、参加の要求が正規ユーザーによってなされた場合と、ゲストユーザーによってなされた場合とで異なる処理を行っても良い。

会議室制御部２３２は、例えば、会話システム１００にログインしている正規ユーザーから、特定の会議室への入室を要求する操作がなされた場合、その正規ユーザーがその会議室に入室する資格を有しているか否か判定する。例えば、通常の会議室であれば、どのような正規ユーザーであっても入室する資格を有していると判定されてもよい。例えば、入室が制限されている会議室であれば、予め登録されている正規ユーザーであることを条件として入室する資格の有無が判定されてもよい。

会議室制御部２３２は、例えば、特定のゲストアクセス情報を用いて会話システム１００にアクセスしてきたゲストユーザーに対しては、アクセス先として指定されている会議室が公開状態であるか否か判定する。アクセス先として指定されている会議室が非公開状態である場合には、会議室制御部２３２はそのゲストユーザーの入室を許可しない。アクセス先として指定されている会議室が公開状態である場合には、会議室制御部２３２はそのゲストユーザーの入室を許可する。このとき、会議室制御部２３２はそのゲストユーザーの入室を許可するのではなく、その会議室に設けられた待機室への入室を許可してもよい。ゲストユーザーが待機室に入室した後に、正規ユーザーによってそのゲストユーザーについて会議室への入室を許可する操作がなされた場合に、会議室制御部２３２はそのゲストユーザーの会議室への入室を許可してもよい。

表示情報生成部２３３は、ユーザー端末１０において表示される画像の生成に必要となる情報（表示情報）を生成する。表示情報は、例えば現在設置されている会議室に関する情報や、会話制御装置２０にアクセスしている各ユーザー端末１０のユーザーに関する情報を含んでもよい。表示情報生成部２３３は、生成された表示情報を、ユーザー端末１０に対して送信する。

各ユーザー端末１０に表示される画像は、例え同じ会議室に入室しているユーザーのユーザー端末１０であっても、そのユーザーが正規ユーザーであるのかゲストユーザーであるのかに応じて異なる。ゲストユーザーが操作するユーザー端末１０（ゲストユーザー端末）に表示される画像に示される情報量は、正規ユーザーが操作するユーザー端末１０（正規ユーザー端末）に表示される画像に示される情報量に比べて少ない。

例えば、正規ユーザーが操作するユーザー端末１０には、その正規ユーザーが入室している会議室以外の会議室に関する情報も表示されるが、ゲストユーザーが操作するユーザー端末１０には、そのゲストユーザーが入室している会議室以外の会議室に関する情報は表示されないように構成されてもよい。ゲストユーザーが複数の会議室へ招待されている場合には、ゲストユーザー端末には、そのゲストユーザーが招待されている複数の会議室に関する情報が表示され、招待されていない会議室に関する情報は表示されないように構成されてもよい。例えば、正規ユーザーが操作するユーザー端末１０には、その正規ユーザーが入室している会議室以外の会議室に関する情報も表示されるが、ゲストユーザーが操作するユーザー端末１０には、そのゲストユーザーが入室している会議室以外の会議室に関する情報は表示されないように構成されてもよい。

会話制御部２３４は、ユーザー端末１０から音声データを受信する。会話制御部２３４は、各ユーザー端末１０に対して出力されるべき音声データ（以下「会話音声データ」という。）を生成し、各ユーザー端末１０に会話音声データを送信する。会話制御部２３４は、例えば各ユーザー端末１０のユーザーがどのような会話に参加しているかに基づいて会話音声データを生成してもよい。例えば、会話制御部２３４は、各ユーザーのユーザー端末１０に対し、そのユーザーが入室している会議室に参加している全ユーザーのユーザー端末１０から受信された音声を含む会話音声データを送信してもよい。

次に、ユーザー端末１０において表示される画像と、各画像が表示されている場合に出力される会話音声データとの関係について説明する。

図４は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図４において、表示部１３には、会議室領域画像３０、会話領域３１、聞き耳領域３２、アイコン画像４１、操作領域画像５１が表示されている。表示部１３には、会議室を設置可能な仮想空間の画像が表示される。仮想空間は、主に会議室の領域と、会議室外の領域と、で構成される。会議室の領域は、会議室領域画像３０として表示される。会議室外の領域（以下「室外領域」という。）は、符号９１で表される領域であり、会議室に入室していないユーザーのアイコン画像４１が表示される領域である。

会議室領域画像３０は、会話領域３１と聞き耳領域３２とを含む。会話領域３１にアイコン画像４１が表示されているユーザーは、同じ会議室の会話領域３１にアイコン画像４１が表示されている他のユーザーと会話をすることができる。すなわち、会話領域３１にアイコン画像４１が表示されている各ユーザーの音声は、お互いに送受信される。以下の説明では、会議室に入室するということは、会話領域３１にアイコン画像４１が表示されることを示す。すなわち、会議室に入室するということは、他の入室者と会話を行うことが可能な状態になることを示す。

聞き耳領域３２にアイコン画像４１が表示されているユーザー（以下「聞き耳ユーザー」という。）は、その会議室の会話領域３１にアイコン画像４１が表示されているユーザー（入室しているユーザー）の会話を聞くことができる。ただし、聞き耳ユーザーは、その会議室において発言することができない。すなわち、聞き耳ユーザーが発話した音声は、その会議室に入室している他のユーザーのユーザー端末１０や、その会議室における他の聞き耳ユーザーのユーザー端末１０において出力されない。

会議室領域画像３０は、所定の大きさの領域を示す幾何学形状の画像として表される。本実施形態の例では、会議室領域画像３０は、円形の画像として表される。会議室領域画像３０の中央付近には、会議室の名称３１１が表示される。図４の例では、“雑談”が会議室の名称である。会議室の名称が表示されることによって、室外領域９１に位置するユーザー（正規ユーザー）であっても、その会議室に入室することなくおおよそその会議室でどのような会話が行われているか推察することが可能となる。

会議室領域画像３０の内側には、入室ボタン３１２及び詳細ボタン３１３が表示されてもよい。入室ボタン３１２は、その会議室に入室することを要求するためのボタンである。室外領域９１に位置するユーザーによって入室ボタン３１２が操作されることに応じて、そのユーザーがその会議室に入室することを要求していることを会議室制御部２３２が判断する。会議室制御部２３２は、その要求に応じて入室を許可するか否か判定し、判定結果に応じてユーザーの入室を制御する。

詳細ボタン３１３は、その会議室に関する詳細な情報を表示させるためのボタンである。詳細ボタン３１３が操作されることに応じて、詳細表示領域が画面に表示される。詳細表示領域には、その会議室に関する詳細な情報と、その会議室について操作を行うためのボタンや入力枠が表示される。例えば、ゲストアクセス情報を発行するためのボタン、ゲストアクセス情報が表示される領域、公開状態又は非公開状態に状態を変更するためのボタン、会議室の名称、会議室の名称を変更するためのボタン、変更後の会議室の名称を入力するための入力枠、等が表示されてもよい。

アイコン画像４１は、ユーザーの仮想的な位置とユーザーに関する情報を示す画像である。アイコン画像４１は、例えばユーザー情報に含まれるアイコンデータにしたがって表示されてもよい。

図５は、ユーザー状態設定画像の具体例を示す図である。所定の操作が行われる事に応じて、画面にユーザー状態設定画像５１１が表示される。図５では、ユーザー状態設定画像５１１には、“ウェルカム”、“フラット”及び“ゾーン”の３つのユーザー状態のアイコン画像と文字列との表示例が示されている。

“ウェルカム”は、例えばそのユーザーが会話制御装置２０にアクセスしており会話可能な状態であって、会話を積極的に行いたい状態であることを示す。“フラット”は、例えばそのユーザーが会話制御装置２０にアクセスしており会話可能な状態であって、会話は行っても行わなくてもどちらでもよい状態であることを示す。“ゾーン”は、例えばそのユーザーが会話制御装置２０にアクセスしており画面の閲覧程度はしているが、暫くの間操作はしない状態であることや会話を行いたくない状態であることを示す。以上説明したユーザー状態の具体例は、あくまで例にすぎず、他の態様でユーザー状態が定義されてもよい。

図６は、アイコン画像４１の一具体例を示す図である。アイコン画像４１は、ユーザー状態を示すように構成されてもよい。図６に示される具体例では、アイコン画像４１は、ユーザー状態を示すユーザー状態画像４２を含んでいる。ユーザー状態画像４２は、ユーザー状態を示す画像である。ユーザー状態画像４２は、例えば形状や色によってユーザー状態を示すように構成されてもよい。ユーザー状態画像４２として、例えば、ユーザー状態設定画像５１１において示されている各ユーザー状態のアイコン画像が示されてもよい。

なお、アイコン画像４１においてユーザー状態を示す態様は、ユーザー状態画像４２を用いた態様に限定される必要は無い。例えば、アイコン画像４１そのものの色をユーザー状態に応じて変更するような態様でユーザー状態が示されてもよい。例えば、ウェルカムである場合にはアイコン画像４１を通常の色で表示し、フラットである場合にはアイコン画像４１をセピア調の色で表示し、ゾーンである場合にはアイコン画像４１を白黒画像（例えば２値画像）で表示してもよい。

図７は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図７の例では、２名分のユーザーのアイコン画像４１（４１＿１及び４１＿２）と、１つの会議室の会議室領域画像３０とが表示されている。会議室領域画像３０によって示される会議室には、どのユーザーもまだ参加していない。２名のユーザーは、どの会議室にも参加していない。そのため、アイコン画像４１＿１及びアイコン画像４１＿２は、会議室領域画像３０の内側ではなく室外領域９１に表示されている。

会議室に参加を希望するユーザーは、所定の操作を行うことで会議室に参加（入室）することができる。例えば、参加を希望する会議室領域画像３０における入室ボタン３１２を操作することで、その会議室に参加することができる。なお、入室するための操作は上述したものに限定される必要は無い。会議室に対して入室制限が設定されている場合には、入室制限において入室が許可されているユーザーのみがその会議室に入室することができる。

図８は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図８の例では、雑談がテーマの会議室に対して１名のユーザーが参加している。そのため、雑談がテーマの会議室を示す会議室領域画像３０の内側に、１名分のユーザーのアイコン画像４１（４１＿２）が表示されている。この時点では、アイコン画像４１＿２のユーザーと同じ会議室に参加している他のユーザーはいない。そのため、アイコン画像４１＿２のユーザーは、雑談がテーマの会議室において、他のユーザーと会話を行うことができない。

室外領域９１にいるアイコン画像４１＿１のユーザーが、雑談がテーマの会議室への参加のための操作を行うと、その会議室に参加しているユーザーに対して、参加を希望しているユーザーがいることが通知される。例えば、所定の音（例えばドアをノックする音）が、各ユーザーのユーザー端末１０において出力されても良い。通知対象となるユーザーは、その会議室に参加している全てのユーザーであってもよいし、所定の一部のユーザー（例えばその会議室の管理者であるユーザー）のみであってもよい。

通知がなされた後に、所定の条件が満たされると、アイコン画像４１＿１のユーザーは雑談がテーマの会議室へ参加することができる。所定の条件は、例えば単に所定の時間（例えば１秒、３秒、５秒など）が経過したことであってもよいし、所定のユーザー（例えばその会議室の管理者、参加者など）によって参加が許可されたことであってもよいし、その会議室に予め設定されている参加条件が満たされたことであってもよい。

図９は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図９の例では、雑談がテーマの会議室に対して２名のユーザーが参加している。そのため、雑談がテーマの会議室を示す会議室領域画像３０の内側に、２名分のユーザーのアイコン画像４１（４１＿１及び４１＿２）が表示されている。この時点では、アイコン画像４１＿１のユーザーとアイコン画像４１＿２のユーザーとが同じ会議室に参加している。そのため、アイコン画像４１＿１のユーザーとアイコン画像４１＿２のユーザーとは、雑談がテーマの会議室において会話を行うことができる。すなわち、同じ会議室に参加しているユーザー同士は、ユーザー端末１０を用いて会話を行うことができる。

より具体的には以下の通りである。会議室に参加しているユーザーのユーザー端末１０は、同じ会議室に参加していている他のユーザーが発話した音声データを受信し、出力する。また、会議室に参加しているユーザーのユーザー端末１０は、そのユーザーが発話した音声データを会話制御装置２０に送信する。この送信により、同じ会議室に参加していている他のユーザーのユーザー端末１０において、その音声データが出力される。室外領域９１にいるアイコン画像４１＿３のユーザーが、雑談がテーマの会議室への参加のための操作を行うと、所定の条件が満たされた後に、アイコン画像４１＿３のユーザーは雑談がテーマの会議室へ参加することができる。

図１０は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図１０の例では、雑談がテーマの会議室に対して３名のユーザーが参加している。そのため、雑談がテーマの会議室を示す会議室領域画像３０の内側に、３名分のユーザーのアイコン画像４１（４１＿１、４１＿２及び４１＿３）が表示されている。この時点では、アイコン画像４１＿１のユーザーとアイコン画像４１＿２のユーザーとアイコン画像４１＿３のユーザーとが同じ会議室に参加している。そのため、アイコン画像４１＿１のユーザーとアイコン画像４１＿２のユーザーとアイコン画像４１＿３のユーザーとは、雑談がテーマの会議室において会話を行うことができる。なお、４名以上のユーザーが同一の会議室に参加する場合も同様である。

図１１は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図１１の例では、雑談がテーマの会議室に対して８名のユーザーが参加している。図１１の例では、ユーザー端末１０はビデオ会話モードで動作している。ビデオ会話モードでは、同じ会議室（図１１では雑談がテーマの会議室）に参加しているユーザー毎に部分領域５１が表示される。部分領域５１は、その部分領域５１に対応づけられたユーザーのユーザー端末１０から提供される動画像を表示可能な領域である。部分領域５１に表示可能な動画像の具体例には、ユーザー端末１０の撮像部１６によって撮像されている動画像、ユーザー端末１０において共有されている画面（以下「共有画面」という。）を示す動画像、がある。共有画面とは、例えばそのユーザーによって選択されたウィンドウ、選択されたファイルを表示するウィンドウ、選択されたデスクトップ、等の画面である。共有画面を示す動画像では、その画面に対してユーザーが行った操作が随時反映されてもよい。例えば、ユーザーがカーソルの位置を操作する場合には、そのカーソルの表示位置が共有画面において操作に応じて変化する。

部分領域５１には、上述したもの以外の種類の動画像が表示されてもよい。図１１の例では、各部分領域５１には、ユーザー端末１０の撮像部１６によって撮像されている各ユーザーの顔を含む動画像が表示されている。

図１１の例では、表示部１３の画面の一部（例えば右端付近）に部分リスト領域５０が設けられる。部分リスト領域５０には、諸定数以下（図１１の例では７つ以下）の部分領域５１が並べられて表示される。図１１の例では、雑談がテーマの会議室に参加している８名のユーザーのうち、７名分のユーザーの部分領域５１が表示されている。残りの１名分のユーザーの部分領域５１は、部分リスト領域５０の大きさの制限により表示されていない。ただし、部分リスト領域５０に表示される部分領域５１の数が何らかの理由で減った場合には、それまで表示されていなかったユーザーの部分領域５１が部分リスト領域５０に表示されてもよい。また、部分リスト領域５０に表示される部分領域５１はスクロール表示されてもよい。例えば、図１１の画面において、下方向に部分リスト領域５０の表示がスクロールされた場合、上端にあった部分領域５１＿１は表示されなくなり、部分領域５１＿２～５１＿７はそれぞれ一つ上に移動し、下端に部分領域５１＿８が表示されてもよい。

図１２は、ユーザー端末１０の表示部１３に表示あれる画像の具体例を示す図である。図１２の例では、部分領域５１＿７に表示されていたユーザーの画像が、拡大部分領域５２＿７に表示されている。ユーザー端末１０の表示部１３に表示されている部分領域５１に対してユーザーが所定の操作（例えばタッチ、クリック等）を行うと、操作された部分領域５１は拡大部分領域５２として表示される。拡大部分領域５２は、部分領域５１よりも面積が広い。拡大部分領域５２には、部分領域５１に表示されていた画像と同じものが拡大されて表示される。拡大部分領域５２は、例えば部分リスト領域５０以外の領域に１又は複数表示される。拡大部分領域５２に表示されているユーザーに対応する部分領域５１は、部分リスト領域５０から削除されてもよい。図１２の例では、もともと部分リスト領域５０に表示されていた部分領域５１＿７に対して操作がなされたため、拡大部分領域５２＿７が表示されている。その際に、部分領域５１＿７は部分リスト領域５０から削除された。この削除に伴って、それまで表示されていなかった部分領域５１＿８が部分リスト領域５０に表示されてもよい。

図１３は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図１３の例では、部分領域５１＿４及び５１＿７に表示されていたユーザーの画像が、それぞれ拡大部分領域５２＿４及び５２＿７に表示されている。このような表示は、例えばもともと部分リスト領域５０に表示されていた部分領域５１＿４及び５１＿７に対してそれぞれ操作がなされた結果として表示される。拡大部分領域５２が複数表示される場合には、各拡大部分領域５２の大きさが同じ大きさとして表示されてもよい。この場合も、拡大部分領域５２は、部分領域５１よりも大きい領域として、より画面１３の中心に近い位置に表示される。

図１４は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図１４の例では、部分領域５１＿２、５１＿４及び５１＿７に表示されていたユーザーの画像が、それぞれ拡大部分領域５２＿２、５２＿４及び５２＿７に表示されている。このような表示は、例えばもともと部分リスト領域５０に表示されていた部分領域５１＿２、５１＿４及び５１＿７に対してそれぞれ操作がなされた結果として表示される。拡大部分領域５２が複数表示される場合には、各拡大部分領域５２の大きさが同じ大きさとして表示されてもよい。この場合も、拡大部分領域５２は、部分領域５１よりも大きい領域として、より画面１３の中心に近い位置に表示される。

図１５は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図１５の例では、部分リスト領域５０に表示されていた全ての部分領域５１に対して操作された結果、全てのユーザーについて拡大部分領域５２が表示されている。全てのユーザーについて拡大部分領域５２が表示されている場合には、部分リスト領域５０が設けられなくてもよい。この場合、部分リスト領域５０として使用されていた領域も、拡大部分領域５２の表示領域として使用される。そのため、拡大部分領域５２をより広く表示することが可能となる。

図１２～図１５に示されるように、表示部１３には拡大部分領域個別操作ボタンと、拡大部分領域全体操作ボタン５５が表示される。拡大部分領域個別操作ボタンには、個別拡大ボタン５３及び縮小ボタン５４が含まれる。拡大部分領域個別操作ボタンは、拡大部分領域５２毎に表示される。拡大部分領域全体操作ボタン５５は、表示部１３の画面に一つ表示される。個別拡大ボタン５３が操作された場合、その拡大部分領域５２は、他の拡大部分領域５２よりもさらに大きな領域として拡大表示される。このとき、他の拡大部分領域５２は表示されなくてもよい。拡大部分領域５２が拡大表示されている際には、戻るボタンも表示される。戻るボタンが操作された場合、個別拡大ボタン５３が操作される直前の表示状態に戻る。縮小ボタン５４が操作された場合、そのユーザーについて拡大部分領域５２が消去され、部分リスト領域５０に部分領域５１が表示される。

拡大部分領域全体操作ボタン５５には、全画面ボタン、全て閉じるボタン、非表示ボタンが含まれても良い。これらのボタンは、例えば拡大部分領域全体操作ボタン５５を操作することによって表示されてもよい。全画面ボタンが操作されると、拡大部分領域５２が表示されたままの状態で全画面表示が行われる。全て閉じるボタンが操作されると、全ての拡大部分領域５２が消去され、部分リスト領域５０に可能な限り全ての部分領域５１が表示される。すなわち、拡大部分領域５２が一つも表示されていない状態（例えば図１１の状態）に表示が戻る。非表示ボタンが操作されると、全ての拡大部分領域５２の表示が一時的に消去され、その背景にもともと表示されていた会議室領域画像３０が表示される。このような表示の状態では、会議室領域画像３０やアイコン画像４１に対する操作が有効となる。一方で、拡大部分領域５２が一つでも表示されている場合には、会議室領域画像３０やアイコン画像４１に対する操作が無効となる。非表示ボタンが操作された際には、戻るボタンも表示される。戻るボタンが操作された場合、非表示ボタンが操作される直前の表示状態に戻る。

図１６は、部分領域５１において画面共有が実行されている状態の具体例を示す図である。部分領域５１＿１０、部分領域５１＿１１及び部分領域５１＿１２では、部分領域５１に応じたユーザーによって画面共有の操作が行われた結果、共有画面の動画像が表示されている。このように、複数のユーザーによって同じタイミングに画面共有が行われても良い。その場合、画面共有の操作を行った複数のユーザーそれぞれのユーザー端末１０によって画面共有が実施される。画面共有を行っているユーザーに応じた部分領域５１又は拡大部分領域５２において、各ユーザーが共有している画面が表示される。そのため、複数のユーザーによって同じタイミングに画面共有が行われた場合には、複数の部分領域５１又は拡大部分領域５２において同じタイミングでそれぞれ異なる画面が共有されて表示される。

図１７は、部分領域５１及び拡大部分領域５２において画面共有が実行されている状態の具体例を示す図である。図１７の例では、部分領域５１＿１０及び部分領域５１＿１２において所定の操作が行われた結果、部分領域５１＿１０及び５１＿１２に表示されていた共有画面の画像が、それぞれ拡大部分領域５２＿１０及び５２＿１２に表示されている。このように、複数の拡大部分領域５２において、それぞれ異なるユーザーによって並行して行われている画面共有が表示されてもよい。
図１１～図１７に示される部分領域５１及び拡大部分領域５２に関する表示の制御は、ユーザー端末１０の表示制御部１８１によって行われても良いし、会話制御装置２０の表示情報生成部２３３によって行われても良い。

このように構成された会話システム１００では、１又は複数の他のユーザーと会話する際に、ユーザーにとってより利便性が高い画面表示を実現することが可能となる。具体的には以下の通りである。会話システム１００では、会話に参加している１又は複数のユーザーの部分領域５１は、画面の一部の領域（部分リスト領域５０）に表示される。ユーザーは、より大きく表示させたいユーザーの部分領域５１に対して所定の操作を行うことによって、そのユーザーの部分領域５１を拡大部分領域５２として表示させることができる。ユーザーは、このような拡大部分領域５２を、複数の所望のユーザーについて表示させることもできる。そのため、ユーザーは所望のユーザーについてのみ拡大させて画像を表示させ、その他のユーザーについてはより小さい画像（部分領域５１の画像）として表示させることができる。そのため、ユーザーにとってより利便性が高い画面表示を実現することが可能となる。

また、会話システム１００では、複数のユーザーが並行してそれぞれ画面共有を行うことができる。また、複数のユーザーが並行して行っている画面共有の画像は、それぞれのユーザーの部分領域５１又は拡大部分領域５２に表示される。そのため、ユーザーは共有画面を複数並行して見ることが可能となる。また、ユーザーは拡大させたい共有画面について、部分領域５１に対し所定の操作を行うことによって拡大部分領域５２として表示させることができる。この場合も、複数の拡大部分領域５２において並行して異なる共有画面を表示させることができる。そのため、ユーザーにとってより利便性が高い画面表示を実現することが可能となる。

なお、共有画面に表示される動画像のデータは、共有元のユーザー端末１０から会話制御装置２０を経由して共有先のユーザー端末１０に送信されてもよいし、共有元のユーザー端末１０から会話制御装置２０を経由せずに共有先のユーザー端末１０に送信されてもよい。部分領域５１及び拡大部分領域５２に表示される動画像のデータは、送信元のユーザー端末１０から会話制御装置２０を経由して送信先のユーザー端末１０に送信されてもよいし、送信元のユーザー端末１０から会話制御装置２０を経由せずに送信先のユーザー端末１０に送信されてもよい。
会話制御部１８３又は会話制御部２３４は、拡大部分領域５２に表示されているユーザーの音声が、部分領域５１に表示されているユーザーの音声よりも大きく出力されるように制御を行ってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１００…会話システム， １０…ユーザー端末， ２０…会話制御装置， １１…通信部， １２…操作部， １３…表示部， １４…音声入力部， １５…音声出力部， １６…撮像部， １７…記憶部， １７１…ユーザー情報記憶部， １８…制御部， １８１…表示制御部， １８２…会議制御部， １８３…会話制御部， ２１…通信部， ２２…記憶部， ２２１…正規ユーザー情報記憶部， ２２２…ゲストユーザー情報記憶部， ２２３…会議室情報記憶部， ２３…制御部， ２３１…ユーザー制御部， ２３２…会議室制御部， ２３３…表示情報生成部， ２３４…会話制御部， ３０…会議室領域画像， ３１…会話領域， ３１１…会議室の名称， ３１２…入室ボタン， ３１３…詳細ボタン， ３２…聞き耳領域， ４１…アイコン画像， ９１…室外領域

Claims (5)

1. ネットワークを介してユーザーと他のユーザーとが会話を行うための仮想的な会議室において、前記ユーザーと同じ会議室に参加している１又は複数の他のユーザー毎に、前記他のユーザーのユーザー端末から提供される画像を表示可能な部分領域及び拡大部分領域を前記ユーザーのユーザー端末の画面に表示させる制御部を備え、
   前記拡大部分領域は前記部分領域よりも相対的に大きい領域であり、
   前記制御部は、前記部分領域のユーザーに関して所定の操作が行われた場合に、前記ユーザーに関して前記拡大部分領域を表示する、制御システム。
2. 前記制御部は、前記拡大部分領域を表示する場合、前記拡大部分領域のユーザーに関する前記部分領域の表示を行わない、請求項１に記載の制御システム。
3. 前記制御部は、複数のユーザーから共有の指示を受けた場合、共有の指示をした複数のユーザーに応じた前記部分領域又は前記拡大部分領域において、共有の指示に応じた画面を表示する、請求項１又は請求項２に記載の制御システム。
4. ネットワークを介してユーザーと他のユーザーとが会話を行うための仮想的な会議室において、前記ユーザーと同じ会議室に参加している１又は複数の他のユーザー毎に、前記他のユーザーのユーザー端末から提供される画像を表示可能な部分領域又は拡大部分領域を前記ユーザーのユーザー端末の画面に表示させる制御部を備え、
   前記拡大部分領域は前記部分領域よりも相対的に大きい領域であり、
   前記制御部は、前記部分領域のユーザーに関して所定の操作が行われた場合に、前記ユーザーに関して前記拡大部分領域を表示する、制御システムとしてコンピューターを機能させるためのコンピュータープログラム。
5. コンピューターが、ネットワークを介してユーザーと他のユーザーとが会話を行うための仮想的な会議室において、前記ユーザーと同じ会議室に参加している１又は複数の他のユーザー毎に、前記他のユーザーのユーザー端末から提供される画像を表示可能な部分領域又は拡大部分領域を前記ユーザーのユーザー端末の画面に表示させ、
   前記拡大部分領域は前記部分領域よりも相対的に大きい領域であり、
   前記コンピューターは、前記部分領域のユーザーに関して所定の操作が行われた場合に、前記ユーザーに関して前記拡大部分領域を表示する、制御方法。

Images