JP6135782B2 - 会議サーバ、会議システム、制御方法、プログラム - Google Patents

Description

本発明は、ネットワークにより複数の拠点を接続して行う会議システムにおいて、複数の発言が重なり合った場合に、発言内容を分かりやすく会議の参加者に提示する技術に関する。

従来、ネットワークを介して接続された複数の端末装置を利用して、会議をする会議システムが知られている。会議システムにより、遠隔地にいるユーザ同士が、１つの“会議室”に入室し、参加者の様子を撮影した画像や、音声データを送受信し、移動時間を無駄にすることなく会議を行うことができる。

しかしながら、会議システムにおいては、実際に１ヶ所に集まって会議をする場合と比較して、誰が発言しているのか分かりにくかったり、複数の参加者が同時に発言した場合に必要な発言のみを聞き取ることが困難であったりするという問題がある。

特許文献１に記載の技術には、参加者に対して予め優先順位を付けたり、先に発言を始めた参加者に高い優先順位を付与するなどして、優先順位が最も高い参加者の発言をリアルタイムで音声出力し、他の参加者の発言は文字情報に変換して出力する技術の記載がある。

特開２００６−２２９９０３号公報

しかしながら、特許文献１に記載の技術は、複数の発言、特に文字情報に変換された発言について、具体的な表示の構成が記載されておらず、特に文字情報に変換された発言がある場合であって、画面上に、分かりやすく表示する構成について記載されていない。

本発明は、複数の参加者による発言に対して、同時に出力可能な発言の数に制限がある場合に、文字にて会議の参加者に適切に提示する会議システムを提供することを目的とする。

また、本発明は、参加者の発言を文字出力を用いて提示する際に、文字情報に変換された発話を分かりやすく画面上に提示する会議システムを提供することを目的とする

本発明は、クライアント装置とネットワークを介して通信可能であり、前記クライアント装置から送信された音声データを会議参加中の他のクライアント装置に文字として出力可能な会議サーバであって、前記クライアント装置から送信された音声データを受け付ける音声受付手段と、前記音声受付手段により受け付けた音声データを、前記クライアント装置に対応付けて音声データ記憶手段に登録する音声データ登録手段と、文字出力権限を付与可能な前記クライアント装置の数を記憶する文字出力権限数記憶手段と、前記音声データ記憶手段に記憶された前記クライアント装置に対応付けられた音声データを前記会議参加中のクライアント装置に文字として出力させることを許可する権限である文字出力権限を、該音声データの発声状況に基づき、前記文字出力権限を付与可能な前記クライアント装置の数に従って、該音声データに対応付けられたクライアント装置に対して付与する文字出力権限付与手段と、前記クライアント装置に付与された文字出力権限を解除する文字出力終了条件を前記クライアント装置に対応付けて記憶する文字出力終了条件記憶手段と、前記文字出力終了条件記憶手段に記憶された前記文字出力終了条件に基づき、前記クライアント装置に対して付与された文字出力権限を解除する文字出力権限解除手段と、前記文字出力権限が付与され、かつ、解除されていない前記クライアント装置の音声データを前記会議参加中のクライアント装置に文字として出力させる文字出力制御手段と、を有することを特徴とする

本発明の会議システムにより、複数の参加者による発言に対して、同時に出力可能な発言の数に制限がある場合に、文字にて会議の参加者に適切に提示する会議システムを提供することが可能となる。

また、本発明の会議システムにより、参加者の発言を文字出力を用いて提示する際に、文字情報に変換された発話を分かりやすく画面上に提示することが可能となる。

本発明の実施形態に係わるシステム構成の一例を示す図である。 本発明の実施形態に係わる会議サーバ、クライアント装置のハードウェア構成の一例を示すブロック図である。 本発明の実施形態に係る会議システムにおける構成要素を示す図である。 本発明の実施形態に係わるクライアント装置に表示される会議室を登録する画面の一例である。 本発明の実施形態に係わるクライアント装置に表示される会議室を予約する画面の一例である。 本発明の実施形態に係わるクライアント装置に表示される会議に参加する画面の一例である。 本発明の実施形態に係わるクライアント装置に表示される会議実施中の画面の一例である。 本発明の実施形態に係わる終了条件テーブルの構成の一例を示す図である。 本発明の実施形態に係わる音声バッファの一例を示すイメージ図である。 本発明の実施形態に係わる権限を管理する変数および変数の状態の一例を示すイメージ図である。 本発明の実施形態に係わる会議室使用の処理を示すフローチャートの一例である。 本発明の実施形態に係わる各クライアント装置に対応するプロセスが音声または文字による発話の権限を取得する処理を示すフローチャートの一例である。 本発明の実施形態に係わる音声による発言の権限を取得したプロセスが音声出力する処理を示すフローチャートの一例である。 本発明の実施形態に係わるプロセスが文字出力する処理を示すフローチャートの一例である。 本発明の実施形態に係わる各クライアント装置に入力された音声を会議サーバに送信する処理を示すフローチャートの一例である。 本発明の実施形態に係わる各プロセスで出力された音声および文字による発言を各クライアント装置に送信する処理を示すフローチャートの一例である。 本発明の実施形態に関わるクライアント装置に表示される会議実施中の画面の一例である。 本発明の実施形態に関わる文字発話の表示画面生成の処理を示すフローチャートの一例である。 本発明の第２の実施形態に関わる文字発話の表示画面生成の処理を示すフローチャートの一例である。

以下、本発明の実施の形態を、図面を参照して詳細に説明する。

図１は、本発明の実施形態に係わるシステム構成の一例を示す図である。

本発明のクライアント装置１０２は、例えば、パーソナルコンピュータであり、ネットワーク通信機能を備え、ネットワーク１０３（ＬＡＮ、ＷＡＮなど）を介して会議サーバ１０１（会議支援サーバ、テレビ会議サーバ）とデータ通信が可能である。

会議サーバ１０１は、クライアント装置１０２同士での会議を実現するためのサーバである。クライアント装置１０２は会議サーバ１０１へアクセスすることにより、会議画面（インターフェース）を取得して会議を行うことができる。

クライアント装置１０２は、会議システム（会議支援システム、テレビ会議システム）を利用するユーザが操作するパーソナルコンピュータ、タブレット端末、携帯端末などであり、会議サーバ１０１へアクセスするためのクライアント側アプリケーション、および専用のモジュール（アプリケーション）がインストールされている。また、会議システムがウェブを利用したウェブ会議システムである場合には、クライアント側アプリケーションはウェブブラウザを用いるように構成されていてもよい。すなわち、専用のモジュールは、例えば、ウェブブラウザを介して、会議サーバ１０１からダウンロードするＡｃｔｉｖｅＸ（登録商標）コンポーネントであってもよい。なお、会議システムにおいてクライアント装置１０２から動画像を、会議サーバ１０１を通じて会議の会議参加者が利用する他のクライアント装置１０２（自身も含んでもよい）に配信する場合は、撮像装置（不図示）を、音声を送信する場合は、マイクロフォン（不図示）を接続する。また、相手の音声を視聴するためにはスピーカ（不図示）を接続する。

また、クライアント装置１０２のうちの１台が、会議サーバ１０１を兼ねるよう、会議サーバ１０１とクライアント装置１０２が同一筐体に構成可能であってもよい。

図２は、会議サーバ１０１およびクライアント装置１０２に適用可能な情報処理装置のハードウェア構成例を示すブロック図である。

図２に示すように、会議サーバ１０１およびクライアント装置１０２は、システムバス２０４を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、入力コントローラ２０５、ビデオコントローラ２０６、メモリコントローラ２０７、通信Ｉ／Ｆコントローラ２０８等が接続された構成を採る。

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、各サーバあるいは各ＰＣが実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。また、本発明を実施するために必要な情報が記憶されている。なお外部メモリはデータベースであってもよい。

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。

また、入力コントローラ２０５は、キーボード（ＫＢ）２０９や不図示のマウス等のポインティングデバイス等からの入力を制御する。

ビデオコントローラ２０６は、ディスプレイ２１０等の表示器への表示を制御する。尚、表示器は液晶ディスプレイ等の表示器でもよい。これらは、必要に応じて管理者が使用する。

メモリコントローラ２０７は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、あるいは、ＰＣＭＣＩＡ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｅｍｏｒｙ Ｃａｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｓｓｏｃｉａｔｉｏｎ）カードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。

通信Ｉ／Ｆコントローラ２０８は、ネットワーク１０３を介して外部機器と接続・通信し、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）を用いた通信等が可能である。

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上に表示することが可能である。また、ＣＰＵ２０１は、ディスプレイ２１０上のマウスカーソル（図示しない）等によるユーザ指示を可能とする。

本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイルおよび各種情報テーブル等も、外部メモリ２１１に格納されており、これらについての詳細な説明についても後述する。

図３は、本発明の実施形態に係る会議システムにおける構成要素を示す図である。図３で示すとおり、すべてのユーザとルーム（会議室）は、グループに所属する（３０１、３０３）。

システム管理者３０２は、会議システム全体の管理者であって、グループおよびグループ管理者の登録、変更、削除を行うと共に、会議システムに関する各種設定を行う。

グループ管理者３０４は、会議システム内の管理者であって、グループ内の一般ユーザと傍聴ユーザ、ルーム、タグの登録、変更、削除を行う。

一般ユーザ３０５は、グループ内で、実際に会議を行うユーザであって、会議室の予約、変更、削除を行うと共に、予約した会議への参加、フリースペースへの参加を行うことができる。なお、グループ管理者は、一般ユーザと同様に、会議室の予約や会議への参加を行うことができる。

その他、例えば電子メールにて招待された会議にのみ参加できるユーザである「ゲストユーザ」や、グループ内で実施されている会議を傍聴する「傍聴ユーザ」がある。また、会議を行うためには、ルームを登録する必要があり、ルームの登録は、グループ管理者が行う。

ルームには、日時、会議参加者を制限して参加するルームであって、会議を行う前に予約が必要な会議室３０６と、日時、会議参加者を問わず会議の予約を行わなくても、いつでも会議を行うことができる「フリースペース」３０７の２種類ある。ユーザは、会議の内容に応じて「会議室」と「フリースペース」を使い分けることができる。

図４は、本発明の実施形態に係わるクライアント装置に表示される会議室を登録する画面の一例である。

本願発明の実施形態で会議を実施する仮想会議室（本明細書では、「ルーム」という。）の設定方法について説明する。図４は、本実施の形態において会議を行うための会議室の設定を行うルーム登録画面である。本図のルーム登録画面は、クライアント装置１０２を操作する会議システムの管理者ユーザ（アドミニストレーター）のアカウントでシステムにログインをし、画面左側のルーム管理の領域を押下することにより、ルーム登録画面がディスプレイに表示される。

ルーム名４０１に、任意のルーム名の名称入力を受け付ける。ルームタイプ４０２は、「会議室」として設定するのか、「フリースペース」として設定するのかの選択を受け付ける。本発明の実施形態において「会議室」とは、会議の参加者や、開始時刻などを定めて予約をする必要があるルームのことを指す。また「フリースペース」とは会議を行うのに予約を必要とせず、参加者などの設定を特に設ける必要のない、誰でも会議に参加可能なルームのことをいう。

定員４０３は、ルーム定員の設定を受け付ける。傍聴機能４０４の設定は、会議に招待されるユーザとは別に、会議の傍聴ユーザを許可するか否かの設定を受け付ける。会議を傍聴するユーザは、定員に空きがあればルームに入室することが可能であるが、発言権限などは制限される。

録画機能４０５の設定は、当該ルームで実施される会議の録画を許可するか否かの設定を受け付ける。録画が許可されたルームであれば、会議中に「録画開始」ボタンの押下を受け付けることで、当該会議を録画することができる。

プロファイル４０６では、ルームに適用させるプロファイルの選択を受け付ける。具体的には、右側の呼出ボタン押下を受け付けると、前述の図３のプロファイル登録画面で登録したプロファイルの一覧が表示され、現在詳細設定を行っているルームに適用するプロファイルの選択を受け付けることができる。４０７の登録ボタンの押下を受け付けると、ルームとルームの詳細設定を会議サーバ１０１の管理テーブル（不図示）に登録する。

図５は、本発明の実施形態に係わるクライアント装置１０２に表示される会議室を予約する画面の一例である。

会議を行うために、会議室の予約をすることができる。これは、前述の「会議室」もしくは「フリースペース」という本発明の実施形態で想定するルームの種類のうち、会議の参加者や開始時間などを決めて予約する必要のある「会議室」タイプのルームを利用する場合に必要な予約処理である。

会議システムの予約画面は、本実施形態の会議システムの一般ユーザアカウントでシステムにログインをし、画面左側の「会議室予約５０１」の領域を押下することにより、クライアント装置１０２の表示装置に表示される。

会議室名５０２は、前述の図４のルーム登録画面で登録をしたルーム（会議室、もしくはフリースペース）の選択を受け付け、会議タイトル５０３の項目で、会議名を設定する。利用日付５０４、利用時間５０５で、該当のルームの利用スケジュールを設定する。参加者５０６は、本実施形態の会議システムに登録されているユーザ情報を呼出し、会議の参加者（会議に招待する者）を選択する。５０６で、「限定する」が選択されている場合には、招待（参加）ユーザの選択画面が表示され、ユーザ情報を検索して招待するユーザの選択をする。参加者を限定しない場合には、特に参加者の設定は受け付けない。なお、会議への参加者を限定しない場合とは、例えば、フリースペース形式のルームで実施する意見交換会のような会議のことをいう。

ゲスト参加者５０７の招待設定は、会議に参加してほしいユーザに招待通知（例えば、ユーザ情報と紐づくメールアドレスを宛先として送信される）を送信する場合に設定をする。ゲスト参加者を招待する場合には、ユーザ選択画面（不図示）が表示され、ユーザ情報を検索して招待するユーザの選択をする。

会議の録画設定５０８は、予約する会議の録画を許可するか否かの設定を受け付ける。なお図４のルーム登録画面において４０５で録画機能を「許可しない」に設定していた場合には、５０８の各項目はグレーアウトをして選択ができない状態となる。

予約ボタン５０９の押下を受け付けると、会議の予約が完了する。会議の予約が完了すると、会議サーバ１０１は、会議の予約情報をサーバの記憶部に記憶し、会議予約データテーブル（不図示）を更新する。また、予約ボタン５０９の押下を受け付けると、予約をしたユーザおよび会議に招待されたユーザのメールアドレスに対して、会議予約メールが送信されるようにしてもよい。

図６は、本発明の実施形態に係わるクライアント装置１０２に表示される会議に参加する画面の一例である。本画面を通して、クライアント装置１０２のユーザは、予約している会議に参加することができる。本実施の形態において会議参加画面は、本実施形態の会議システムの一般ユーザアカウントでシステムにログインをし、画面左側の「会議参加６０１」の領域を押下することにより、会議参加画面がディスプレイに表示される。図６で表示されている会議室は、ログイン中のユーザアカウントが、会議の参加者として登録されている会議の一覧である。図６では、ルームＡとルームＢの２つの会議室が予約されており、参加ボタン６０２の押下を受け付けることにより選択した会議室の会議に参加することが可能である。

図７は、本発明の実施形態に係わるクライアント装置に表示される会議実施中の画面の一例である。

会議画面７００は、クライアント装置１０２で表示されるように制御されるものであり、３つの参加者画面７０１に分割されている。ここで、参加者画面７０１ａはクライアント装置１０２ａから参加者Ａ、参加者画面７０１ｂにはクライアント装置１０２ｂから参加者Ｂ、参加者画面７０１ｃにはクライアント装置１０２ｃから参加者Ｃの画像が表示されている。

また、現時点では、参加者Ａが音声発話者としての権限を取得している。音声発話者（参加者Ａ）の発言内容（クライアント装置１０２ａから取得した音声データ）は、音声としてクライアント装置１０２で再生されるように制御（音声データ再生制御部）され、文字情報としては表示されていない。一方、参加者Ｂ、Ｃは音声発話者としての権限がなく、文字発話者としての権限を取得している。文字発話者（参加者Ｂ、Ｃ）の発言内容（クライアント装置１０２ｂ、１０２ｃから取得した音声データ）は文字に変換され、参加者画面７０１ｂ、７０１ｃにそれぞれの発言内容が文字として表示されている。

なお、本発明の実施形態では、音声発話者は１参加者（１つのクライアント装置１０２からの音声データ）に限定した例として説明しているが、後述の文字発話者のように、複数の音声発話権限を用意してもよい。

また、図７では、参加者Ａ〜Ｃの全員が発言しており、その場合、音声または文字のいずれかによりその発言内容が音声により再生または文字により表示されるが、さらに参加者が多く文字による表示も数が多くなる可能性がある場合には、後述するように、文字発話者の数も制限してよい。すなわち、音声発話者だけではなく、文字発話者も１つではなく、複数可能であって数が制限されるようにしてもよい。

図８は、本発明の実施形態に係わる終了条件テーブルの構成の一例を示す図である。本発明の実施形態において、音声発話の権限は、クライアント装置１０２から送られた音声データのうち、発言を開始した順（早い者勝ち）で取得されるものである。また、発言を中止すると（音声バッファに音声データがなくなると）音声発話の権限を解除し、他の発言者がある場合には（他のクライアント装置１０２から送られた音声データがある場合には）他の発言者に音声発話の権限を取得させるものである。

しかしながら、例えば発言中の息継ぎなど、極わずかな間隔を空けただけで（すなわち音声バッファ上の音声データとして極わずかな音声データがない区間があっただけで）他の発言者に音声発話の権限が移ってしまっては、突然、音声発話者と文字発話者が入れ替わることになり不適切である。従って、音声発話者が発言を中断した場合に、どの程度の間隔を空ければ発言を中止したと見なすかを判断し、発言が中止されたと見なされた場合に音声発話の権限を解除させるように制御する。これにより、突然、文章として区切るのが不適切な位置であるにもかかわらず、音声発話者と文字発話者が入れ替わることを防止するという効果が得られる。

また、同様に、音声発話者の音声発話権限を解除したとたんに、突然、今まで文字発話者だった参加者の発言が、音声に切り替わるのも適切ではない場合がある。例えば、発言中の内容を文字と音声に区切った位置によっては、その前後（前は文字、後は音声）が、それぞれ意味をなさないものとなる可能性がある（例えば「資料をせつめいします」が「資料をせ」と「つめいします」に区切られた場合）。その場合には、その発言を聴いている他の参加者は、文字を読むことから音声を聴くことのタイミングを適切に切り替えて理解しなければならない。また、実際には、文字発話は、音声バッファに蓄積された音声データを文字に変換する処理が伴うため、音声バッファに音声データが蓄積された後、時差が発生する。このため、この時差の分、文字発話が抜け落ちてしまうか、あるいは文字発話と後続の音声発話が重複してなされ、他の参加者は両方を同時に理解しなければならないという状況が発生する。

従って、音声発話が文字発話に切り替わる場合と同様に、文字発話者が発言を中断し、どの程度の間隔を空ければ音声発話に切り替えてもよいか、を適切に判断してから音声発話の権限を取得するように制御する。これにより、突然、発言を文章として区切る位置として不適切なタイミングで、文字発話から音声発話に入れ替わることを防止するという効果が得られる。

図８を用いて、終了条件の設定について説明する。条件種別８０１には、音声発話者が発言を中断してから音声発話権限を解除するまでの間隔（経過の時間）を設定する音声出力終了条件８０２（音声出力終了条件記憶部）、発言を中断してから文字発話者が音声発話権限を取得しようとするまでの間隔（経過の時間）を設定する文字出力終了条件８０３（文字出力終了条件記憶部）からなる。

端末８０４においては、設定対象となるクライアント装置１０２を特定するための端末情報を設定する。また、端末８０４に対する端末情報が設定されていない場合、あるいは端末情報は設定されているものの音声出力終了条件８０２、文字出力終了条件８０３が設定されていない場合に用いる共通８０５（デフォルト値）が設定可能である。図８の例では、音声出力終了条件８０２として“０．５秒”、文字出力終了条件８０３として“０．３秒”が設定されており、各端末に対する終了条件が設定されていない場合に、この設定値を用いる。

８０６には、各端末と対応する終了条件が記載されている。例えば、クライアント装置１０２ａに対しては、音声出力終了条件８０２として“１．０秒”が設定されている。また、文字出力終了条件８０３としては“−”（設定なし）と記載されているため、共通８０５の設定値“０．３秒”を用いる。

なお、終了条件テーブルの設定値は、新たに参加者が追加される度に、例えば“議長”役を務めるユーザが設定できるようにクライアント装置１０２に設定画面を表示して操作させてもよい。また、図５の参加者５０６により予め参加者を限定する場合には、その時点で終了条件を設定してもよい。

端末毎に終了条件の設定値を個別に設定できることにより、例えば“議長”役のユーザや、“顧客”が使用する端末に対する終了条件は長めにし、音声発話権限が解除されにくくするなど、状況に応じた運用を可能とする効果が得られる。

図９は、本発明の実施形態に係わる音声バッファの一例を示すイメージ図である。図９の９００は、会議サーバ１０１のメモリなどでシステムが管理している音声バッファであり、図９の例では、クライアント装置１０２ａ〜１０２ｃ（参加者Ａ〜Ｃ）の音声データを別々の音声バッファ（３つの音声バッファ）に記憶する。音声データは、図１５で後述する方法などにより、会議サーバ１０１がクライアント装置１０２から受信するものである。

９００には、前述のようにクライアント装置１０２ａ〜１０２ｃ（参加者Ａ〜Ｃ）の３つの音声バッファがある。クライアント装置１０２ａ〜１０２ｃの参加者が発言している（音声バッファに音声データがある）状態を９０１（実線）で表している。また、発言していない（音声バッファに音声データがない）状態を９０２（点線）で表している。９０１および９０２は、左から右に向かって時間の進行を表しており、９０３（矢印）が現在の時間（すなわちバッファの先頭）を表している。すなわち時間の進行と共に、９０３（矢印）は、左から右に進んでいく。例えば、９００ａのクライアント装置１０２ａに対応する音声バッファにおいて、発言が中断される、というのは９０３（矢印）が９０６ａの左端にあり、９０１（実線）と９０２（点線）の境目にある状態などを指す。すなわち音声バッファの先頭というのは、図９の線の左端ではなく、時間の進行と共に前述の９０３（矢印）の動きの通り、右に進んでいく位置を表しているものとする。実際には音声バッファのサイズは有限であるが、使用が終わった音声データを削除し、新たにクライアント装置から受信した音声データの格納をすることを繰り返すことによって、参加者が会議室から退出するまでの時間において使用される。

９００ａにおいては当初、クライアント装置１０２ａが音声発話権限を持っているが、９０６ａの左端で音声データがなくなる。その後、終了条件テーブル（図８）におけるクライアント装置１０２ａの音声出力終了条件８０２の間（９０６ａの右端までの間）に音声データが再度現れるため、発言は中止されなかったものと見なし、クライアント装置１０２ａは音声発話権限を解除することなく、継続して音声発話がなされる。クライアント装置１０２ｂ、１０２ｃの音声バッファにも音声データがあるが、音声発話権限を取得することはない。

９００ｂにおいては当初、クライアント装置１０２ａが音声発話権限を持っているが、９０６ａの左端で音声データがなくなる。その後、終了条件テーブル（図８）におけるクライアント装置１０２ａの音声出力終了条件８０２の間（９０６ａの右端までの間）に音声データが再度現れない。また、クライアント装置１０２ａの音声発話権限が解除された後、クライアント装置１０２ｂ、１０２ｃはいずれも一旦は音声データがなくなり、終了条件テーブル（図８）におけるそれぞれの文字出力終了条件８０３よりも長い時間、音声データが再開されないため、音声発話権限を取得することが可能である。最終的には、クライアント装置１０２ｃの音声データが先に現れるため、クライアント装置１０２ｃが音声発話権限を取得する。クライアント装置１０２ｂが発言を再開すると、再び文字発話となる。

９００ｃにおいては、９００ｂと同様、クライアント装置１０２ａの音声発話権限が解除された後、クライアント装置１０２ｂ、１０２ｃはいずれも一旦は音声データがなくなる。クライアント装置１０２ｂの音声データはクライアント装置１０２ｃの音声データよりも先に再開されるが、終了条件テーブル（図８）における文字出力終了条件８０３を満たさない短い時間で再開されるため、音声発話権限を取得することができず、文字発話として再開される。一方、クライアント装置１０２ｃの音声データは、文字出力終了条件８０３を満たした上で再開されるため、音声発話権限を取得する。

図１０は、本発明の実施形態に係わる権限を管理する変数および変数の状態の一例を示すイメージ図である。以下の説明において、便宜上、動作主体がクライアント装置１０２であるように記載しているが、実際には図１１以降のフローチャートで説明するようにクライアント装置１０２に対応して生成された会議サーバ１０１におけるプロセスを、会議サーバ１０１のＣＰＵ２０１が実行する処理である。

まず、音声発話権限の取得、解除について説明する。いずれのクライアント装置１０２も音声発話権限を取得していない場合には、１０００ａのように、“音声用ロック変数１００１ａ＝１”となっている。また、“音声出力端末１００２ａ＝指定なし”であり、いずれのクライアント装置１０２も音声発話権限を取得していないことが分かる。

いずれかのクライアント装置１０２が音声発話権限を取得しようとする場合、音声用ロック変数に対してロックをかける。ロックをかけると１０００ｂのように“音声用ロック変数１００１ｂ＝０”となり、他のクライアント装置１０２は、音声発話権限を取得することができなくなる。既に他のクライアント装置１０２がロックをかけている場合には、ロックをかける処理がエラーとなる。また、ロックをかけることができた場合であっても、音声出力端末１００２に既に他の端末情報が登録されている場合には、音声発話権限は取得できない。１００２ｂにはまだいずれの端末情報も登録されていないため、端末情報を登録する。

１０００ｃは、音声出力端末１００２ｃに端末情報としてクライアント装置１０２ａを登録した状態である。ロックを解除することにより“音声用ロック変数１００１ｃ＝１”となり、クライアント装置１０２ａの音声発話権限を取得する処理が完了し、音声発話を開始する。

音声発話が完了すると、クライアント装置１０２ａは、再び音声用ロック変数１００１にロックをかけ（音声用ロック変数１００１ｄ＝０）、音声出力端末１００２ｄに登録されている“クライアント装置１０２ａ”を削除し、ロックを解除する。これにより１０００ｅの状態となる。

また、前述したように文字発話についても権限を取得可能なクライアント装置の数を制限してもよい。その場合の文字発話権限を取得するイメージを、１０１０ｆ〜１０１０ｈに記載している。この図においては、文字発話権限を２つのクライアント装置１０２が取得することができる。詳細の説明は、文字出力端末を登録する変数が複数あることを除き、音声発話時の処理と同様なので省略する。

なお、音声発話権限、文字発話権限共に、１つであってもよいし複数であってもよい。また、この数は固定ではなく、図４により会議室を登録したユーザや、図５により会議室を予約したユーザにより設定されるようにしてもよい。

図１０の１０１２におけるブロック数（例では２つ）が制限の数であり、不図示の文字出力権限数記憶部に制限する数を記憶することで実現可能である。また、音声発話権限も複数認めるようにし（１００２のブロックを複数用意する）、その数を不図示の音声出力権限数記憶部に記憶することで実現可能である。

次に、図１１から図１６のフローチャートにより、会議システムの処理の詳細について説明する。

図１１は、本発明の実施形態に係わる会議室使用の処理を示すフローチャートの一例である。図１１の各ステップは、会議サーバ１０１のＣＰＵ２０１によって実行される。

ステップＳ１１０１においては、会議室使用を開始する。会議室使用の開始（すなわち本フローチャートの開始）は、図５において会議室の予約をする際に利用日付５０４、利用時間５０５により設定された開始時間に自動的に開始されてもよいし、クライアント装置１０２から会議使用の開始の指示を受け付けて開始されてもよい。

ステップＳ１１０２においては、新たな参加者（クライアント装置１０２）が、会議室に入室したか否かをチェックする。

ステップＳ１１０３においては、ステップＳ１１０２における新たな参加者のチェックに基づき、新たな参加者があると判定した場合（“ＹＥＳ”）にはステップＳ１１０４に進む。新たな参加者がない場合（“ＮＯ”）にはステップＳ１１０５に進む。

ステップＳ１１０４においては、新たな参加者（クライアント装置１０２）の発言を処理するためのプロセスを生成、開始する。プロセスにおける処理の詳細は、図１２〜図１４にて説明する。

ステップＳ１１０５においては、ステップＳ１１０４において生成したいずれかのプロセスにおいて、参加者（クライアント装置１０２）からの退出操作を受け付けたか否かを判定する。退出操作を受け付けたプロセスがある場合（“ＹＥＳ”）には、ステップＳ１１０６に進む。退出操作を受け付けたプロセスがない場合（“ＮＯ”）には、ステップＳ１１０７に進む。

ステップＳ１１０６においては、ステップＳ１１０５において退出操作を受け付けたプロセスを終了し、削除する。

ステップＳ１１０７においては、会議が終了したか否かを判定する。具体的には、ユーザの操作によりクライアント装置１０２から会議終了操作を受け付けた場合である。また、全ての参加者が退出したことにより、会議が終了したと判定するよう実装してもよい。会議が終了したと判定された場合（“ＹＥＳ”）には、ステップＳ１１０８に進む。終了していないと判定された場合（“ＮＯ”）には、ステップＳ１１０２に進む。

ステップＳ１１０８においては、会議室の使用終了処理をする。
以上で、図１１のフローチャートの説明を完了する。

図１２は、本発明の実施形態に係わる各クライアント装置に対応するプロセスが音声または文字による発話の権限を取得する処理を示すフローチャートの一例である。前記プロセスとは、図１１のフローチャートで生成されたプロセスである。図１２の各ステップは、会議サーバ１０１のＣＰＵ２０１によって実行される。

ステップＳ１２０１においては、クライアント装置１０２における操作に基づき、会議室からの退出イベントを受け付けたか否かを判定する。退出イベントを受け付けた場合（“ＹＥＳ”）には、本フローチャートを終了する。また、終了する際に、図１１で説明した処理に、本プロセスが、退出イベントを受け付けて終了する旨を通知する。退出イベントを受け付けていない場合（“ＮＯ”）には、ステップＳ１２０２に進む。

ステップＳ１２０２においては、本プロセスに対応する音声バッファに音声データがあるか否かを判定する。具体的には、図９で説明した音声バッファに実線部分として示された音声データが格納されているか否かを判定する。なお、音声データは、図１５のフローチャートで説明するように、クライアント装置１０２から受け取り、音声バッファ（音声データ記憶部）に格納される（音声データ登録部）。音声データがある場合（“ＹＥＳ”）には、ステップＳ１２０３に進む。ない場合（“ＮＯ”）にはステップＳ１２０１に進む。

ステップＳ１２０３においては、音声用ロック変数にロックをかける（図１０における１００１）。

ステップＳ１２０４においては、ステップＳ１２０３におけるロックをかける処理が成功したか否かを判定する。成功した場合（“ＹＥＳ”）にはステップＳ１２０５に進む。成功しなかった場合（“ＮＯ”）には、ステップＳ１２１４に進む。

ステップＳ１２０５においては、音声出力権限を取得できるか否かを判定する（音声出力権限付与判定部）。具体的には、図１０における１００２の端末登録に空きがあり、登録可能か否かを判定する。音声出力権限を取得できた場合（“ＹＥＳ”）には、ステップＳ１２０６に進む。取得できない場合（“ＮＯ”）には、ステップＳ１２１３に進む。

ステップＳ１２０６においては、本プロセスのために、音声出力権限を取得する（音声出力権限付与部）。具体的には、図１０における１００２に、本プロセスに対応するクライアント装置１０２の端末情報を登録する。

ステップＳ１２０７においては、音声出力権限の取得処理が終了したため、音声出力用ロック変数にかけたロックを解除する。

ステップＳ１２０８においては、本プロセスが音声発話権限を取得したため、音声バッファ内の音声データを、音声として出力する処理を実行する。詳細は、図１３のフローチャートにより説明する。

図１３は、本発明の実施形態に係わる音声による発言の権限を取得したプロセスが音声出力する処理を示すフローチャートの一例である。図１３の各ステップは、会議サーバ１０１のＣＰＵ２０１によって実行される。

ステップＳ１３０１においては、音声バッファの先頭に音声データがあるか否かを判定する。具体的には、図９の音声バッファのイメージ図において、現在時刻に対応する音声バッファの位置として９０３（矢印）の直後（矢印の右側）に音声データがあるか（図では実線になっているか）否かにより判定する。音声データがある場合（“ＹＥＳ”）には、ステップＳ１３０２に進む。音声データがない場合（“ＮＯ”）には、ステップＳ１３０４に進む。

ステップＳ１３０２においては、音声バッファの音声データを、音声として出力する。本プロセスが音声発話権限を有しており、かつ音声データが存在するためである。

ステップＳ１３０３においては、音声バッファに音声データがなく、音声発話が中断された時刻に対応する“音声非出力開始時刻”が設定されていないことを示すため“０”を代入する（初期化）。さらにステップＳ１３０１に戻り、新たに音声バッファに音声データがあれば、音声発話を繰り返す。

ステップＳ１３０４においては、“音声非出力開始時刻”が“０”であるか否かを判定する。“０”である場合とは、それまでステップＳ１３０４以降の処理を実行しておらず、初めて音声データがない状態（クライアント装置１０２における発言が中断された直後である状態）である。“音声非出力開始時刻”が“０”である場合（“ＹＥＳ”）には、ステップＳ１３０５に進む。“音声非出力開始時刻”が０でない場合（“ＮＯ”）には、（音声非出力開始時刻に現在時刻を設定する必要がないため）ステップＳ１３０６に進む。

ステップＳ１３０５においては、“音声非出力開始時刻”に現在の時刻を設定する。すなわち、クライアント装置１０２における参加者の発言が中断され、本プロセスに対応する音声バッファに音声データがなくなった時刻を“音声非出力開始時刻”に設定する。

ステップＳ１３０６においては、“現在時刻−音声非出力開始時刻”が“音声出力終了条件”の値よりも大きな値（または等しい場合を含んでもよい）であるか否かを判定する。すなわち、図８で記憶されている音声出力終了条件８０２の値よりも大きい（等しい場合を含んでもよい）値であるか否かを判定する。“音声出力終了条件”の値よりも大きい（等しい場合を含んでもよい）値である場合（“ＹＥＳ”）には、ステップＳ１３０７に進み“終了条件”（図１２のフローチャートに対する戻り値）に“ｔｒｕｅ”を設定し、ステップＳ１３０８において“音声非出力開始時刻”を“０”にして（初期化）、本フローチャートを終了する。そうでない場合には、“終了条件”に“ｆａｌｓｅ”を設定して本フローチャートを終了する。

以上により、図１３のフローチャートの説明を完了する。説明を図１２のフローチャートに戻す。この時点で、ステップＳ１２０８が完了している。

ステップＳ１２０９においては、図１３のフローチャートの処理からの戻り値が、“ｆａｌｓｅ”であるか“ｔｒｕｅ”であるかを判定する（音声出力権限解除判定部）。“ｆａｌｓｅ”の場合には、ステップＳ１２０８（すなわち図１３のフローチャートの処理）に戻る。“ｔｒｕｅ”の場合には、ステップＳ１２１０に進む。“ｆａｌｓｅ”の場合とは、図１３の処理において、音声バッファにおける音声データが中断したものの、中断時間が図８の音声出力終了条件８０２の値に比して短く、音声発話権限を解除する必要がない場合である。そこで再度、図１３のフローチャートの処理に戻り、音声バッファに新たに音声データがあれば、音声発話を再開する。

一方、図１３のフローチャートの処理に戻ったものの、音声バッファに新たに音声データがなければ、ステップＳ１３０６の判定が繰り返される。この時点で“現在時刻”は前回の判定時より進んでいくため、何度も繰り返されるといずれ“終了条件”が“ｔｒｕｅ”となる（ステップＳ１３０７）。すなわち、いずれは発言を中断している時間が音声出力終了条件８０２の値より長くなる。

ステップＳ１２１０においては、音声発話権限を解除するため図１０の音声用ロック変数１００１にロックをかける。

ステップＳ１２１１においては、図１０の音声出力端末に登録してあった、本プロセスに対応する端末情報を削除する（音声出力権限解除部）。

ステップＳ１２１２においては、音声用ロック変数１００１のロックを解除する。

ステップＳ１２１３においては、音声用ロック変数１００１のロックを解除する。本ステップは、ロックをかけたものの音声出力権限を取得できなかった場合の解除である。

ステップＳ１２１４においては、本プロセスは、音声バッファ内の音声データを、文字として出力する処理を実行する。詳細は、図１４のフローチャートにより説明する。

図１４は、本発明の実施形態に係わるプロセスが文字出力する処理を示すフローチャートの一例である。図１４の各ステップは、会議サーバ１０１のＣＰＵ２０１によって実行される。

ステップＳ１４０１においては、音声バッファの先頭に音声データがあるか否かを判定する。具体的には、図９の音声バッファのイメージ図において、現在時刻に対応する音声バッファの位置として９０３（矢印）の直後（矢印の右側）に音声データがあるか（図では実線になっているか）否かにより判定する。音声データがある場合（“ＹＥＳ”）には、ステップＳ１４０２に進む。音声データがない場合（“ＮＯ”）には、ステップＳ１４０４に進む。

ステップＳ１４０２においては、音声バッファの音声データを、文字に変換し文字として出力する（音声データ文字変換部）。

ステップＳ１４０３においては、音声バッファに音声データがなく、文字発話が中断された時刻に対応する“文字非出力開始時刻”が設定されていないことを示すため“０”を代入する（初期化）。さらにステップＳ１４０１に戻り、新たに音声バッファに音声データがあれば、文字発話を繰り返す。

ステップＳ１４０４においては、“文字非出力開始時刻”が“０”であるか否かを判定する。“０”である場合とは、それまでステップＳ１４０４以降の処理を実行しておらず、初めて音声データがない状態（クライアント装置１０２における発言が中断された直後である状態）である。“文字非出力開始時刻”が“０”である場合（“ＹＥＳ”）には、ステップＳ１４０５に進む。“文字非出力開始時刻”が０でない場合（“ＮＯ”）には、（文字非出力開始時刻に現在時刻を設定する必要がないため）ステップＳ１４０６に進む。

ステップＳ１４０５においては、“文字非出力開始時刻”に現在の時刻を設定する。すなわち、クライアント装置１０２における参加者の発言が中断され、本プロセスに対応する音声バッファに音声データがなくなった時刻を“文字非出力開始時刻”に設定する。

ステップＳ１４０６においては、“現在時刻−文字非出力開始時刻”が“文字出力終了条件”の値よりも大きな値（等しい場合を含んでもよい）であるか否かを判定する。すなわち、図８で記憶されている文字出力終了条件８０３の値よりも大きい（等しい場合を含んでもよい）値であるか否かを判定する。“文字出力終了条件”の値よりも大きい（等しい場合を含んでもよい）値である場合（“ＹＥＳ”）には、ステップＳ１４０７に進み“終了条件”（図１２のフローチャートに対する戻り値）に“ｔｒｕｅ”を設定し、ステップＳ１４０８において“文字非出力開始時刻”を“０”にして（初期化）、本フローチャートを終了する。そうでない場合には、ステップＳ１４０９において“終了条件”に“ｆａｌｓｅ”を設定して本フローチャートを終了する。

以上により、図１４のフローチャートの説明を完了する。説明を図１２のフローチャートに戻す。この時点で、ステップＳ１２１４が完了している。

ステップＳ１２１５においては、図１４のフローチャートの処理からの戻り値が、“ｆａｌｓｅ”であるか“ｔｒｕｅ”であるかを判定する（文字出力権限解除判定部）。“ｆａｌｓｅ”の場合には、ステップＳ１２１４（すなわち図１４のフローチャートの処理）に戻る。“ｔｒｕｅ”の場合には、ステップＳ１２０１に進む。“ｆａｌｓｅ”の場合とは、図１４の処理において、音声バッファにおける音声データが中断したものの、中断時間が図８の文字出力終了条件８０３の値に比して短く、文字発話を継続する場合である。そこで再度、図１４のフローチャートの処理に戻り、音声バッファに新たに音声データがあれば、文字発話を再開する。

一方、図１４のフローチャートの処理に戻ったものの、音声バッファに新たに音声データがなければ、ステップＳ１４０６の判定が繰り返される。この時点で“現在時刻”は前回の判定時より進んでいくため、何度も繰り返されるといずれ“終了条件”が“ｔｒｕｅ”となる（ステップＳ１４０７）。すなわち、いずれは発言を中断している時間が文字出力終了条件８０３の値より長くなる。

なお、図１２においては、文字発話を行う際（ステップＳ１２１４における文字出力）には、権限の取得は行っていない。ここで、音声発話権限と同様に、文字発話権限を要求するようにしてもよい（図１０の１０００ｆ〜１０００ｈ）。これにより、文字発話を行うクライアント装置１０２（参加者）の数を制限し、発言が分かりやすくすることが可能となる。フローチャートとしては、音声発話権限の取得、解除と同様になるので説明を省略するが、文字出力権限付与判定部、文字出力権限付与部、文字出力権限解除部を実装することが可能である。
以上により図１２のフローチャートの説明を終了する。

なお、図８の終了条件テーブルにおいて、音声出力終了条件８０２、文字出力終了条件８０３は時間（音声バッファ内の音声データが中断した時間）により設定され、また図１３、図１４のフローチャートの説明においては、前述の時間的な条件が満たされた場合に、音声出力または文字出力を終了するものとしている。

しかしながら、条件は他の方法で指定されるものであってもよい。例えば、条件として“キーワード”を設定可能であってもよい。その場合、図１３のステップＳ１３０２、図１４のステップＳ１４０２において、その発言の中に例えば、“以上、終了します。”、“終わります。どうぞ”などのキーワードのパターンに一致した場合に、終了条件を“ｔｒｕｅ”として図１２のフローチャートに戻るようにしてもよい。

また、図８の時間的な終了条件と、キーワードの終了条件、その他の終了条件を組み合わせたものであってもよい。

図１５は、本発明の実施形態に係わる各クライアント装置に入力された音声を会議サーバに送信する処理を示すフローチャートの一例である。図１５のステップＳ１５０１〜Ｓ１５０４は、クライアント装置１０２のＣＰＵ２０１によって、ステップＳ１５１１〜Ｓ１５１４は、会議サーバ１０１のＣＰＵ２０１によって実行される。

ステップＳ１５０１において、クライアント装置１０２は、マイクロフォンを接続することにより、会議に参加するユーザから音声データの入力を受け付ける。

ステップＳ１５０２において、クライアント装置１０２は、ユーザから受け付けた音声データを会議サーバ１０１に送信する（音声データ送信部）。

ステップＳ１５１１において、会議サーバ１０１は、クライアント装置１０２から音声データを受信する（音声受付部）。

ステップＳ１５１２において、会議サーバ１０１は、受信した音声データを音声バッファ（図９）に格納する。ユーザが発言せず、音声データがない場合には、音声バッファ内に同じ時間分だけの無音のデータを格納してもよい。あるいは、音声バッファに格納されている音声データに時刻が対応付けられる様にして、音声バッファから音声データを取り出す際に、利用する側のアプリケーションが、音声データ間の無音の間隔を解析して処理できるようにしてもよい。

また、クライアント装置１０２における後述のステップＳ１５０３〜Ｓ１５０４は、ステップＳ１５０１〜ステップＳ１５０２とは非同期に実行される。同様に、会議サーバ１０１における後述のステップＳ１５１３〜ステップＳ１５１４は、ステップＳ１５１１〜ステップＳ１５１２と非同期に実行される。

ステップＳ１５０３において、クライアント装置１０２は、撮像装置を接続することにより、クライアント装置１０２を利用するユーザの様子などを動画像として入力させ、受け付ける。

ステップＳ１５０４において、クライアント装置１０２は、動画像を画像データとして会議サーバ１０１に送信する。

ステップＳ１５１３において、会議サーバ１０１は、クライアント装置１０２から画像データを受信する（画像受付部）。

ステップＳ１５１４において、会議サーバ１０１は、受信した画像データを画像バッファ（画像データ記憶部）に格納する（画像データ登録部）。
以上により、図１５のフローチャートの説明を完了する。

図１６は、本発明の実施形態に係わる各プロセスで出力された音声および文字による発言を各クライアント装置に送信する処理を示すフローチャートの一例である。図１６のステップＳ１６０１〜Ｓ１６０４は、クライアント装置１０２のＣＰＵ２０１によって、ステップＳ１６１１〜Ｓ１６１５は、会議サーバ１０１のＣＰＵ２０１によって実行される。

ステップＳ１６１１において、会議サーバ１０１は、音声データを取得する（音声取得部）。具体的には、図１３のステップＳ１３０２において出力された音声データを取得する。

ステップＳ１６１２において、会議サーバ１０１は、音声データをクライアント装置１０２に送信する（音声送信部）。

ステップＳ１６０１において、クライアント装置１０２は、会議サーバ１０１から音声データを受信する（音声データ受信部）。

ステップＳ１６０２において、クライアント装置１０２は、音声データの出力を制御する。具体的には、クライアント装置１０２に接続されたスピーカなどから、音声データを出力させる。

また、クライアント装置１０２における後述のステップＳ１６０３〜Ｓ１６０４は、ステップＳ１６０１〜ステップＳ１６０２とは非同期に実行される。同様に、会議サーバ１０１における後述のステップＳ１６１３〜ステップＳ１６１５は、ステップＳ１６１１〜ステップＳ１６１２と非同期に実行される。

ステップＳ１６１３において、会議サーバ１０１は、画像データを取得する。具体的には、図１５のステップＳ１５１４において画像バッファに記録したクライアント装置１０２の画像データを取得する。

ステップＳ１６１４において、会議サーバ１０１は、文字情報を画像データに合成する（画像合成部）。具体的には、図１４のステップＳ１４０２において音声データから文字に変換され、出力された文字情報を取得し、その音声データと対応するクライアント装置１０２から送信された画像と合成する（図７の７０１ｂ、７０１ｃなど）。さらに、クライアント装置１０２が複数ある場合であって、合成された画像が複数ある場合には（図７の７０１ａ〜７０１ｃ。ただし７０１ａは文字情報が合成されていない）、さらに１つの全体画像データとしてクライアント装置１０２で表示させる形式を生成する（図７の７００）。

なお、文字情報を全体画像データとは別にクライアント装置１０２に送信し、クライアント装置１０２において、文字情報と全体画像データを合成可能である場合には、クライアント装置１０２に文字情報を送信してもよい。

ステップＳ１６１５において、会議サーバ１０１は、ステップＳ１６１４において合成された全体画像データをクライアント装置１０２に送信する（全体画像データ送信部）。

ステップＳ１６０３において、クライアント装置１０２は、会議サーバ１０１から全体画像データを受信する。

ステップＳ１６０４において、クライアント装置１０２は、受信した全体画像データの表示を制御する。具体的には、クライアント装置１０２に接続された表示装置などに表示させる。
以上で、図１６のフローチャートの説明が完了する。

以上で、発話を、音声発話、文字発話としてユーザに提示し、また各発話の区切りにおいて音声発話と文字発話をユーザにとって分かりやすく切り替える方式について説明した。

次に、図１７〜図１８を（および前述の図７を再度）用いて、「文字発話」の際に表示する文字を、画面上（クライアント装置１０２のクライアント側アプリケーション、例えばＷｅｂブラウザ）のいずれの位置に分かりやすく表示するか、について説明する。

図７においては、３つのクライアント装置（１０２ａ〜１０２ｃ）において、３名（Ａ、Ｂ、Ｃ）が発話し、ＢとＣの発話が文字発話となっている。すなわち、文字発話をしている端末に対応する参加者画面がクライアント上に表示されているため、文字も対応する参加者画面上に表示している。この画面構成により誰が発話しているかを分かりやすく表示する。

図１７は、本発明の実施形態に関わるクライアント装置に表示される会議実施中の画面の一例である。１７０１の画面には、１つの端末からの参加者画面のみが表示されている。この場合、図７とは異なり、Ｂ、Ｃの参加者画面が存在しないため、各発話者に対応する参加者画面以外の領域に表示する。この領域は、表示されている１つの参加者画面の画像に合成されていてもよい。また、発話者に対応する参加者画面がない場合には、文字発話専用の枠（文字発話枠）が用意され、その中に表示されてもよい（１７０２の画面）。ここで、文字は発話のタイミングに応じて時系列的に左から右に流れるように図示しているが、これはあくまで一例であり、縦やその他の方向、向きであってもよい。

また、不図示ではあるが、文字発話に対応する参加者画面が表示されているか否かにかかわらず、発話は全て文字発話枠に表示されるようにしてもよい。

発話に対応する参加者画面があればその参加者画面内に表示するか、参加者画面があっても文字発話枠に表示するかは、“発話枠表示フラグ”に設定する。発話枠表示フラグが“ｔｒｕｅ”の場合は、発話に対応する参加者画面があっても文字発話枠に文字を表示し、“ｆａｌｓｅ”の場合は、発話に対応する参加者画面があれば、該参加者画面内に表示する。

また、“発話枠表示フラグ＝ｆａｌｓｅ”である場合、発話に参加者画面が表示されていなければ発話を表示しないようにしてもよい。参加者画面の表示状態は、参加者（実際にはクライアント装置１０２）に対応する画面上のフレーム（表示枠）が表示されるよう会議サーバ１０１により制御されているか否かにより、画面データ表示判定部により判定する。具体的には、“参加者発話表示フラグ”が“ｔｒｕｅ”の場合は、文字発話枠を使用する、すなわち文字発話に対応する参加者画面が表示されていない場合には、その文字発話を文字発話枠内に表示する。“ｆａｌｓｅ”の場合は、文字発話に対応する参加者画面が表示されていないときには文字発話枠を使用せず、文字発話の内容は、画面には表示されないようにしてもよい。

発話枠表示フラグ、参加者発話表示フラグは、不図示の“発話文字表示設定記憶部”に記憶される。
以上で図１７の説明を完了する。

図１８は、本発明の実施形態に関わる文字発話の表示画面生成の処理を示すフローチャートの一例である。図１８の各ステップは会議サーバ１０１のＣＰＵ２０１によって実行される。具体的には、図１６における会議サーバ側の処理ステップであるステップＳ１６１３を詳細に説明するものである。

ステップＳ１８０１からステップＳ１８０８のループでは、文字発話権限を持つクライアント装置１０２に対応する各音声データに対する処理を実行する。

ステップＳ１８０２においては、実際に音声バッファにおいて音声データが認識され、これから文字発話しようとする１つの発話者（実際には１つの端末）の音声データに着目する。以下便宜上、“着目中の発話”という。例えば“着目中の発話を文字発話として表示しない”と表現する。

ステップＳ１８０３においては、着目中の発話を、文字発話として文字発話枠に表示するか否かを判定する（文字発話枠表示判定部）。具体的には、“発話枠表示フラグ”がｔｒｕｅかｆａｌｓｅかにより判定する。ｔｒｕｅの場合は、全ての発話を文字発話枠に表示する場合であり、ステップＳ１８０７に進む。ｆａｌｓｅの場合はステップＳ１８０４に進む。

ステップＳ１８０４においては、着目中の発話に対応する（すなわち着目中の発話に対応するクライアント装置１０２に対応する）参加者画面が、表示されているか否かを判定する（画像データ表示判定部）。表示されている場合（ＹＥＳの場合）は、ステップＳ１８０５に進む。表示されていない場合（ＮＯの場合）はステップＳ１８０６に進む。

ステップＳ１８０５においては、着目中の発話を文字発話として、対応する参加者画面に表示する。

ステップＳ１８０６においては、着目中の発話を、文字発話として文字発話枠に表示するか否かを判定する（参加者発話表示判定部）。具体的には、“参加者発話表示フラグ”がｔｒｕｅかｆａｌｓｅかにより判定する。trueの場合は、着目中の発話を、文字発話として文字発話枠に表示するとの設定であり、ステップS１８０７に進む。ｆａｌｓｅの場合は、ステップＳ１８０８に進む。

ステップＳ１８０８においては、着目中の発話を文字発話として文字発話枠に文字の合成を行う。既に他の文字発話者の文字がある場合には、その文字を消してしまわないよう追加となる。

なお、図１７の１７０４の文字発話ＤとＥの横方向の位置のずれで示すように、時間的に後からなされた文字発話は、時系列的にずれるようにしてもよい。会議サーバにおいては、図１６の会議サーバ１０１側の処理で示すように、ステップＳ１６１４（すなわち図１８のフローチャートで説明する処理）は、非同期に繰り返される。その際、発話時刻に応じて、前述のように複数の文字発話の表示位置が時系列的にずれるように画面を合成することにより実現可能である。
以上で、図１８のフローチャートの説明を完了する。

次に、図１９のフローチャートを用いて第２実施形態を説明する。図１８のフローチャートで説明した処理とは異なり、あらかじめ設定した各種フラグを用いずに文字出力の表示をどのように処理するかを決定する。

図１９は、本発明の第２の実施形態に関わる文字発話の表示画面生成の処理を示すフローチャートの一例である。図１９の各ステップは、会議サーバ１０１のＣＰＵ２０１によって実行される。

ステップＳ１９０１からステップＳ１９０６のループは、全ての文字出力についての繰り返し処理である。

ステップＳ１９０２においては、１つの文字出力に着目する。

ステップＳ１９０３においては、着目した文字出力に対応する参加者画面が、全体画像データに含まれているか否か判定する。含まれている場合には、ステップＳ１９０４に進む。含まれていない場合にはステップＳ１９０５に進む。

ステップＳ１９０４においては、着目中の文字出力に対応する参加者画面に、着目中の文字出力データを合成する。

ステップＳ１９０５においては、着目中の文字出力を文字発話枠に表示する。文字発話枠がなければ生成する。
以上で、図１９のフローチャートの説明を完了する。

なお、図１８、図１９のフローチャートで、文字出力と対応する参加者画面があれば、参加者画面と出力文字を合成する旨の説明をした。実際には、参加者画面の画像データの領域内に画像データとして合成してもよいし、また、隣り合う領域に表示（例えば、画像データの下に横書きする、画像データの右に縦書きする）ようにしてもよい。いずれの方法においても、文字出力と参加者画面とが、対応していることが明確にわかればよい。

なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。

以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明におけるプログラムは、図１１〜図１６、図１８に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図１１〜図１６、図１８の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図１１〜図１６、図１８の各装置の処理方法ごとのプログラムであってもよい。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０１ 会議サーバ
１０２ クライアント装置
１０３ ネットワーク
３０１ 会議システム
３０２ システム管理者
３０３ グループ
３０４ グループ管理者
３０５ 一般ユーザ
３０６ 会議室
３０７ フリースペース

Claims (12)

1. クライアント装置とネットワークを介して通信可能であり、前記クライアント装置から送信された音声データを会議参加中の他のクライアント装置に文字として出力可能な会議サーバであって、
   前記クライアント装置から送信された音声データを受け付ける音声受付手段と、
   前記音声受付手段により受け付けた音声データを、前記クライアント装置に対応付けて音声データ記憶手段に登録する音声データ登録手段と、
   文字出力権限を付与可能な前記クライアント装置の数を記憶する文字出力権限数記憶手段と、
   前記音声データ記憶手段に記憶された前記クライアント装置に対応付けられた音声データを前記会議参加中のクライアント装置に文字として出力させることを許可する権限である文字出力権限を、該音声データの発声状況に基づき、前記文字出力権限を付与可能な前記クライアント装置の数に従って、該音声データに対応付けられたクライアント装置に対して付与する文字出力権限付与手段と、
   前記クライアント装置に付与された文字出力権限を解除する文字出力終了条件を前記クライアント装置に対応付けて記憶する文字出力終了条件記憶手段と、
   前記文字出力終了条件記憶手段に記憶された前記文字出力終了条件に基づき、前記クライアント装置に対して付与された文字出力権限を解除する文字出力権限解除手段と、
   前記文字出力権限が付与され、かつ、解除されていない前記クライアント装置の音声データを前記会議参加中のクライアント装置に文字として出力させる文字出力制御手段と、
   を有することを特徴とする会議サーバ。
2. 前記文字出力終了条件は、前記音声データ記憶手段に記憶された前記クライアント装置に対応する音声データの発声がない時間の閾値として設定され、
   前記文字出力権限解除手段は、前記音声データ記憶手段に記憶された前記クライアント装置に対応付けられた音声データのうち発声がないまま経過した時間と、前記閾値とを比較した結果により、該クライアント装置に付与された文字出力権限を解除する
   ことを特徴とする請求項１に記載の会議サーバ。
3. 前記文字出力終了条件は、前記クライアント装置において会議に参加する参加者の発言のうち、発言の終了を意味するキーワードの指定が可能であって、
   前記文字出力権限解除手段は、前記クライアント装置に対応する音声データにおける前記文字出力終了条件であるキーワードに基づき、前記クライアント装置に付与された前記文字出力権限を解除する
   ことを特徴とする請求項１または請求項２に記載の会議サーバ。
4. 前記クライアント装置から送信された画像データを受け付ける画像データ受付手段と、
   前記画像データ受付手段により受け付けた画像データを、前記クライアント装置に対応付けて画像データ記憶手段に登録する画像データ登録手段と、
   前記画像データ記憶手段に記憶された画像データと、前記文字出力権限が付与されたクライアント装置に対する文字データを該クライアント装置に対する前記画像データと対応付けて表示する文字出力画像データとを、前記会議参加中のクライアント装置に送信する全体画像データに合成する画像合成手段と、
   を有することを特徴とする請求項１乃至請求項３のいずれか１項に記載の会議サーバ。
5. 前記画像合成手段は、前記文字出力権限が付与されたクライアント装置に対する前記画像データを表示しない場合、該クライアント装置に対する前記文字データを文字表示領域である文字発話枠に表示する文字発話枠画像データとして全体画像データに合成する
   ことを特徴とする請求項４に記載の会議サーバ。
6. 前記クライアント装置に対して、前記文字データを前記文字発話枠に表示させるか否かを発話枠表示フラグの値として記憶する文字表示設定記憶手段と、
   を有し、
   前記画像合成手段は、前記発話枠表示フラグが前記クライアント装置に対して前記文字データを前記文字発話枠に表示すると設定されている場合、前記クライアント装置に対する前記画像データを表示する場合であっても、前記クライアント装置に対する前記文字データを前記文字発話枠に表示する文字発話枠画像データとして全体画像データに合成する
   ことを特徴とする請求項５に記載の会議サーバ。
7. 前記文字表示設定記憶手段は、更に、前記文字データを前記クライアント装置に対する画像データに対応付けて表示するか否かを参加者発話表示フラグの値として記憶するものであって、
   前記画像合成手段は、前記発話枠表示フラグが前記クライアント装置に対して前記文字データを前記文字発話枠に表示すると設定されていない場合であって、前記参加者発話表示フラグが前記クライアント装置に対する画像データに対応付けて表示すると設定されている場合に、前記クライアント装置に対する前記画像データを表示するならば前記文字データを該クライアント装置に対する該画像データと対応付けて表示する文字出力画像データとして、また一方、前記クライアント装置に対する前記画像データを表示しないならば前記文字データを前記文字発話枠に表示する文字発話枠画像データとして、全体画像データに合成する
   ことを特徴とする請求項６に記載の会議サーバ。
8. クライアント装置と、前記クライアント装置から送信された音声データを会議参加中の他のクライアント装置に文字として出力可能な会議サーバとが、ネットワークを介して通信可能な会議システムであって、
   前記クライアント装置は、
   入力された音声データを前記会議サーバに送信する音声データ送信手段と、
   前記会議サーバからの出力指示を受けて、文字出力を含む画面を表示する表示手段と、
   を有し、
   前記会議サーバは、
   前記クライアント装置から送信された音声データを受け付ける音声受付手段と、
   前記音声受付手段により受け付けた音声データを、前記クライアント装置に対応付けて音声データ記憶手段に登録する音声データ登録手段と、
   文字出力権限を付与可能な前記クライアント装置の数を記憶する文字出力権限数記憶手段と、
   前記音声データ記憶手段に記憶された前記クライアント装置に対応付けられた音声データを前記会議参加中のクライアント装置に文字として出力させることを許可する権限である文字出力権限を、該音声データの発声状況に基づき、前記文字出力権限を付与可能な前記クライアント装置の数に従って、該音声データに対応付けられたクライアント装置に対して付与する文字出力権限付与手段と、
   前記クライアント装置に付与された文字出力権限を解除する文字出力終了条件を前記クライアント装置に対応付けて記憶する文字出力終了条件記憶手段と、
   前記文字出力終了条件記憶手段に記憶された前記文字出力終了条件に基づき、前記クライアント装置に対して付与された文字出力権限を解除する文字出力権限解除手段と、
   前記文字出力権限が付与され、かつ、解除されていない前記クライアント装置の音声データを前記会議参加中のクライアント装置に文字として出力させる文字出力制御手段と、
   を有することを特徴とする会議システム。
9. クライアント装置とネットワークを介して通信可能であり、文字出力権限を付与可能な前記クライアント装置の数を記憶する文字出力権限数記憶手段を有し、前記クライアント装置から送信された音声データを会議参加中の他のクライアント装置に文字として出力可能な会議サーバの制御方法であって、
   音声受付手段が、前記クライアント装置から送信された音声データを受け付ける音声受付ステップと、
   音声データ登録手段が、前記音声受付手段により受け付けた音声データを、前記クライアント装置に対応付けて音声データ記憶手段に登録する音声データ登録ステップと、
   前記音声データ記憶手段に記憶された前記クライアント装置に対応付けられた音声データを前記会議参加中のクライアント装置に文字として出力させることを許可する権限である文字出力権限を、該音声データの発声状況に基づき、前記文字出力権限を付与可能な前記クライアント装置の数に従って、該音声データに対応付けられたクライアント装置に対して付与する文字出力権限付与手段と、
   文字出力終了条件登録手段が、前記クライアント装置に付与された文字出力権限を解除する文字出力終了条件を前記クライアント装置に対応付けて記憶する文字出力終了条件記憶手段に登録する文字出力終了条件登録ステップと、
   文字出力権限解除手段が、前記文字出力終了条件記憶手段に記憶された前記文字出力終了条件に基づき、前記クライアント装置に対して付与された文字出力権限を解除する文字出力権限解除ステップと、
   文字出力制御手段が、前記文字出力権限が付与され、かつ、解除されていない前記クライアント装置の音声データを前記会議参加中のクライアント装置に文字として出力させる文字出力制御ステップと、
   を有することを特徴とする会議サーバの制御方法。
10. クライアント装置と、文字出力権限を付与可能な前記クライアント装置の数を記憶する文字出力権限数記憶手段を有し、前記クライアント装置から送信された音声データを会議参加中の他のクライアント装置に文字として出力可能な会議サーバとが、ネットワークを介して通信可能な会議システムの制御方法であって、
    前記クライアント装置は、
    音声データ送信手段が、入力された音声データを前記会議サーバに送信する音声データ送信ステップと、
    表示手段が、前記会議サーバからの出力指示を受けて、文字出力を含む画面を表示する表示ステップと、
    を有し、
    前記会議サーバは、
    音声受付手段が、前記クライアント装置から送信された音声データを受け付ける音声受付ステップと、
    音声データ登録手段が、前記音声受付手段により受け付けた音声データを、前記クライアント装置に対応付けて音声データ記憶手段に登録する音声データ登録ステップと、
    文字出力権限付与手段が、前記音声データ記憶手段に記憶された前記クライアント装置に対応付けられた音声データを前記会議参加中のクライアント装置に文字として出力させることを許可する権限である文字出力権限を、該音声データの発声状況に基づき、前記文字出力権限を付与可能な前記クライアント装置の数に従って、該音声データに対応付けられたクライアント装置に対して付与する文字出力権限付与ステップと、
    文字出力終了条件登録手段が、前記クライアント装置に付与された文字出力権限を解除する文字出力終了条件を前記クライアント装置に対応付けて記憶する文字出力終了条件記憶手段に登録する文字出力終了条件登録ステップと、
    文字出力権限解除手段が、前記文字出力終了条件記憶手段に記憶された前記文字出力終了条件に基づき、前記クライアント装置に対して付与された文字出力権限を解除する文字出力権限解除ステップと、
    文字出力制御手段が、前記文字出力権限が付与され、かつ、解除されていない前記クライアント装置の音声データを前記会議参加中のクライアント装置に文字として出力させる文字出力制御ステップと、
    を有することを特徴とする会議システムの制御方法。
11. クライアント装置とネットワークを介して通信可能であり、前記クライアント装置から送信された音声データを会議参加中の他のクライアント装置に文字として出力可能な会議サーバにおいて実行可能なプログラムであって、
    前記会議サーバを、
    前記クライアント装置から送信された音声データを受け付ける音声受付手段、
    前記音声受付手段により受け付けた音声データを、前記クライアント装置に対応付けて音声データ記憶手段に登録する音声データ登録手段、
    文字出力権限を付与可能な前記クライアント装置の数を記憶する文字出力権限数記憶手段、
    前記音声データ記憶手段に記憶された前記クライアント装置に対応付けられた音声データを前記会議参加中のクライアント装置に文字として出力させることを許可する権限である文字出力権限を、該音声データの発声状況に基づき、前記文字出力権限を付与可能な前記クライアント装置の数に従って、該音声データに対応付けられたクライアント装置に対して付与する文字出力権限付与手段、
    前記クライアント装置に付与された文字出力権限を解除する文字出力終了条件を前記クライアント装置に対応付けて記憶する文字出力終了条件記憶手段、
    前記文字出力終了条件記憶手段に記憶された前記文字出力終了条件に基づき、前記クライアント装置に対して付与された文字出力権限を解除する文字出力権限解除手段、
    前記文字出力権限が付与され、かつ、解除されていない前記クライアント装置の音声データを前記会議参加中のクライアント装置に文字として出力させる文字出力制御手段、
    として機能させることを特徴とするプログラム。
12. クライアント装置と、前記クライアント装置から送信された音声データを会議参加中の他のクライアント装置に文字として出力可能な会議サーバとが、ネットワークを介して通信可能な会議システムにおいて実行可能なプログラムであって、
    前記クライアント装置を、
    入力された音声データを前記会議サーバに送信する音声データ送信手段、
    前記会議サーバからの出力指示を受けて、文字出力を含む画面を表示する表示手段、
    として機能させ、
    前記会議サーバを、
    前記クライアント装置から送信された音声データを受け付ける音声受付手段、
    前記音声受付手段により受け付けた音声データを、前記クライアント装置に対応付けて音声データ記憶手段に登録する音声データ登録手段と、
    文字出力権限を付与可能な前記クライアント装置の数を記憶する文字出力権限数記憶手段、
    前記音声データ記憶手段に記憶された前記クライアント装置に対応付けられた音声データを前記会議参加中のクライアント装置に文字として出力させることを許可する権限である文字出力権限を、該音声データの発声状況に基づき、前記文字出力権限を付与可能な前記クライアント装置の数に従って、該音声データに対応付けられたクライアント装置に対して付与する文字出力権限付与手段、
    前記クライアント装置に付与された文字出力権限を解除する文字出力終了条件を前記クライアント装置に対応付けて記憶する文字出力終了条件記憶手段、
    前記文字出力終了条件記憶手段に記憶された前記文字出力終了条件に基づき、前記クライアント装置に対して付与された文字出力権限を解除する文字出力権限解除手段、
    前記文字出力権限が付与され、かつ、解除されていない前記クライアント装置の音声データを前記会議参加中のクライアント装置に文字として出力させる文字出力制御手段、
    として機能させることを特徴とするプログラム。
    

Images