JP7463690B2 - サーバ装置、通信システム、情報処理方法、プログラムおよび記録媒体 - Google Patents

サーバ装置、通信システム、情報処理方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP7463690B2
JP7463690B2 JP2019199285A JP2019199285A JP7463690B2 JP 7463690 B2 JP7463690 B2 JP 7463690B2 JP 2019199285 A JP2019199285 A JP 2019199285A JP 2019199285 A JP2019199285 A JP 2019199285A JP 7463690 B2 JP7463690 B2 JP 7463690B2
Authority
JP
Japan
Prior art keywords
edited
text data
unit
information
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019199285A
Other languages
English (en)
Other versions
JP2021071658A (ja
Inventor
拓郎 真野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019199285A priority Critical patent/JP7463690B2/ja
Publication of JP2021071658A publication Critical patent/JP2021071658A/ja
Application granted granted Critical
Publication of JP7463690B2 publication Critical patent/JP7463690B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、サーバ装置、通信システム情報処理方法、プログラムおよび記録媒体に関する。
ビデオ会議において収録した音声データを、クラウドサービス等を用いてテキスト化し、議事録として自動生成した後、テキスト化の精度不良等により、誤って保存されたテキストを編集することができる技術が知られている。
このようなビデオ会議システムとして、会議の参加者が属するグループごとに、テキスト化に用いる辞書を切り替える技術が開示されている(例えば特許文献1)。
しかしながら、特許文献1に記載されたビデオ会議システムでは、グループに対応した辞書を用いたとしても、音声からテキストへの変換処理の精度不良、および当該辞書の精度不良等により生じる誤変換に対する編集を行う場合、同じような修正を会議ごとに行わなければならないという問題がある。
本発明は、上記に鑑みてなされたものであって、編集をせずに音声からテキスト化する段階で正しいテキストを得る可能性を向上させることができるサーバ装置、通信システム情報処理方法、プログラムおよび記録媒体を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、ビデオ会議で録音された音データから変換されたテキストデータに対して編集可能な情報処理装置と通信し、前記音データおよび前記テキストデータを管理するサーバ装置であって、前記情報処理装置の利用者を識別する利用者識別情報と、前記利用者が属するグループとを関連付けて記憶する記憶部と、前記情報処理装置から、前記情報処理装置において編集された編集後のテキストデータ、編集前のテキストデータ、および、前記情報処理装置において編集を行った利用者の利用者識別情報、を受信する受信部と、前記受信部により受信された前記編集後のテキストデータと、前記編集前のテキストデータとの差分を抽出し、該差分に係る編集前の単、該差分に係る編集後の単および、前記編集前の単語の読みを関連付けた編集差分情報を前記記憶部に記憶させる抽出部と、記編集差分情報に基づいて、前記編集前の単語の読みから、前記編集後の単語に変換するためのカスタム辞書を生成し、該カスタム辞書を、前記編集を行った利用者の利用者識別情報に対応するグループに関連付けて、前記記憶部に登録する生成部と、を備えたことを特徴とする。
本発明によれば、編集をせずに音声からテキスト化する段階で正しいテキストを得る可能性を向上させることができる。
図1は、実施形態に係る共用システムの概略図である。 図2は、実施形態に係る電子黒板のハードウェア構成の一例を示す図である。 図3は、実施形態に係るビデオ会議端末のハードウェア構成の一例を示す図である。 図4は、実施形態に係るカーナビゲーション装置のハードウェア構成の一例を示す図である。 図5は、実施形態に係るPCおよびサーバのハードウェア構成の一例を示す図である。 図6は、実施形態に係る電子黒板のソフトウエア構成の一例を示す図である。 図7は、実施形態に係るPCのソフトウエア構成の一例を示す図である。 図8は、実施形態に係る共用システムの機能ブロック図である。 図9は、利用者認証管理テーブル、アクセス管理テーブル、および予定管理テーブルの概念図である。 図10は、コンテンツ管理テーブルを示す概念図である。 図11は、利用者認証管理テーブル、利用者管理テーブル、および共用体管理テーブルを示す概念図である。 図12は、共用体予約管理テーブルおよびイベント管理テーブルを示す概念図である。 図13は、サーバ認証管理テーブルおよび実行イベント履歴管理テーブルを示す概念図である。 図14は、実行イベント管理テーブルおよび関連情報管理テーブルを示す概念図である。 図15は、テキスト情報管理テーブルを示す概念図である。 図16は、編集差分管理テーブルを示す概念図である。 図17は、カスタム辞書管理テーブルを示す概念図である。 図18は、実施形態に係る共用システムのスケジュールの登録処理の流れの一例を示すシーケンス図である。 図19は、サインイン画面を示す図である。 図20は、PCの初期画面の一例を示す図である。 図21は、スケジュール入力画面を示す図である。 図22は、実施形態に係る共用システムのイベントの開始処理の流れの一例を示すシーケンス図である。 図23は、電子黒板に表示されるサインイン画面を示す図である。 図24は、共用体の予約リスト画面を示す図である。 図25は、実施形態に係る共用システムのイベントの開始処理の流れの一例を示すシーケンス図である。 図26は、イベントの詳細情報画面を示す図である。 図27は、イベント開始時に電子黒板に表示される表示画面を示す図である。 図28は、利用者が電子黒板を利用する状態を示すイメージ図である。 図29は、実施形態に係る共用システムの実行イベント履歴の登録処理の流れの一例を示すシーケンス図である。 図30は、実施形態に係る共用システムの音声テキスト変換処理の流れの一例を示すフローチャートである。 図31は、実施形態に係る共用システムの音声テキスト変換処理の流れの一例を示すシーケンス図である。 図32は、テキストデータを含むデータファイルの一例を示す図である。 図33は、実施形態に係る共用システムの実行イベント履歴の登録処理の流れの一例を示すシーケンス図である。 図34は、実施形態に係る共用システムのイベントの終了処理の流れの一例を示すシーケンス図である。 図35は、実施形態に係る共用システムのイベントの終了処理の流れの一例を示すシーケンス図である。 図36は、電子黒板上に表示されるイベント終了画面を示す図である。 図37は、電子黒板上に表示されるファイルデータのアップロード画面を示す図である。 図38は、電子黒板上に表示されるファイルデータのアップロード完了画面を示す図である。 図39は、実施形態に係る共用システムの実行イベント履歴の閲覧処理の流れの一例を示すシーケンス図である。 図40は、実施形態に係る共用システムの実行イベント履歴の閲覧処理の流れの一例を示すシーケンス図である。 図41は、実施形態に係るPC上に表示される実行イベントリスト画面を示す図である。 図42は、実施形態に係るPC上に表示される実行イベント履歴画面を示す図である。 図43は、実施形態に係る共用システムの実行イベント履歴の選択処理の流れの一例を示すシーケンス図である。 図44は、実施形態に係るPC上に表示される実行イベント履歴画面を示す図である。 図45は、実施形態に係るPC上に表示される実行イベント履歴画面を示す図である。 図46は、実施形態に係る共用システムの実行イベント履歴の選択処理の流れの一例を示すシーケンス図である。 図47は、実施形態に係る共用システムの実行イベント履歴の選択処理の流れの一例を示すシーケンス図である。 図48は、実施形態に係る共用システムのテキストデータの編集処理の流れの一例を示すシーケンス図である。 図49は、実施形態に係るスケジュール管理サーバのカスタム辞書登録処理の流れの一例を示すフローチャートである。 図50は、実施形態に係るPC上に表示される実行イベント履歴画面を示す図である。 図51は、実施形態に係るPC上に表示されるテキスト編集画面を示す図である。 図52は、更新されたテキスト情報管理テーブルを示す概念図である。 図53は、実施形態に係るPC上に表示される実行イベント履歴画面を示す図である。 図54は、実施形態に係るPC上に表示されるテキスト編集画面を示す図である。 図55は、更新されたテキスト情報管理テーブルを示す概念図である。 図56は、実施形態に係るPC上に表示される実行イベント履歴画面を示す図である。 図57は、実施形態に係るPC上に表示される実行イベント履歴画面を示す図である。 図58は、実施形態に係る共用システムの編集履歴の閲覧処理の流れの一例を示すシーケンス図である。 図59は、実施形態に係るPC上に表示される編集履歴画面を示す図である。 図60は、実施形態に係るPC上に表示される編集履歴画面を示す図である。 図61は、変形例に係る共用システムの機能ブロック図である。 図62は、変形例に係る共用システムの実行イベント履歴の登録処理の流れの一例を示すシーケンス図である。
以下に図面を用いて、本実施形態に係る共用システム1を詳細に説明する。なお、本実施形態において「ファイル」は、「電子ファイル」を示す。
(システム構成の概略)
図1は、実施形態に係る共用システムの概略図である。図1を参照しながら、共用システム1の構成の概略について説明する。
図1に示されているように、本実施形態の共用システム1は、電子黒板2と、ビデオ会議端末3と、カーナビゲーション装置4と、PC(Personal Computer)5と、共用支援サーバ6と、スケジュール管理サーバ8と、音声テキスト変換サーバ9(変換サーバ)と、を含む。
また、電子黒板2、ビデオ会議端末3、カーナビゲーション装置4、PC5、共用支援サーバ6、スケジュール管理サーバ8および音声テキスト変換サーバ9は、通信ネットワーク10を介して通信することができる。通信ネットワーク10は、インターネット、移動体通信網、LAN(Local Area Network)等によって構築されている。通信ネットワーク10には、有線通信だけでなく、3G(3rd Generation)、WiMAX(Worldwide Interoperability for Microwave Access)またはLTE(Long Term Evolution)等の無線通信によるネットワークが含まれてもよい。
また、電子黒板2は、会議室Xで利用される。ビデオ会議端末3は、会議室Yで利用される。また、共用体は、各利用者による予約対象となる。カーナビゲーション装置4は、車両αで利用される。この場合の車両αは、カーシェアリングの対象となる車両である。車両には、車、バイク、自転車、車椅子等が含まれる。
「共用体」は、複数の人または団体が共同で使用する物、サービス、空間(部屋)、場所、または情報を示す。会議室X、会議室Yおよび車両αは、複数の利用者が共用する共用体の一例である。共用体に付与された情報の例として、アカウントの場合が挙げられる。例えば、Webで提供されている特定のサービスにおいて、使用されるアカウントが1つに制限されているような場合である。
電子黒板2、ビデオ会議端末3、およびカーナビゲーション装置4は、通信端末の一例である。「通信端末」は、例えば、ユーザによるサインイン(後述のS32参照)で使用可能となる端末である。なお、車両αで利用される通信端末は、カーナビゲーション装置4だけでなく、カーナビゲーションのアプリケーションがインストールされたスマートフォンまたはスマートウォッチ等も含む。
PC5は、情報処理装置の一例であり、スケジュール管理サーバ8に対して、各共用体の利用の予約の登録および各利用者が実行予定のイベントを登録する登録装置の一例である。イベントは、例えば、会議、会合、集い、寄り合い、相談、打ち合わせ、運転、乗車または移動等である。
共用支援サーバ6は、コンピュータであり、各通信端末に対して遠隔的に共用体を共用する場合の支援を行う。
スケジュール管理サーバ8は、コンピュータであり、各共用体の予約および各利用者の予定のスケジュールを管理する。
音声テキスト変換サーバ9は、コンピュータであり、外部のコンピュータ(例えば、共用支援サーバ6)から受信した音(音声)データを、テキストデータに変換する。なお、音声テキスト変換サーバ9は、WebSocektにより接続され、音声をテキストに変換する外部サービス(例えばWatsonまたはBing Speech等)によって実現されるものとしてもよい。
ここで、共用支援サーバ6、スケジュール管理サーバ8および音声テキスト変換サーバ9は、管理システムと称する。なお、管理システムは、例えば、共用支援サーバ6、スケジュール管理サーバ8および音声テキスト変換サーバ9の各機能の全てまたは一部を集約させたコンピュータであってもよい。また、共用支援サーバ6、スケジュール管理サーバ8および音声テキスト変換サーバ9のそれぞれは、複数のコンピュータに各機能を分散させて実現させる構成であってもよい。さらに、共用支援サーバ6、スケジュール管理サーバ8および音声テキスト変換サーバ9は、クラウド環境に存在するサーバコンピュータであるものとして説明するが、共用支援サーバ6および音声テキスト変換サーバ9は、電子黒板2等の通信端末上で動作するサーバであってもよく、オンプレミス環境に存在するサーバであってもよい。また、スケジュール管理サーバ8は、オンプレミス環境に存在するサーバであってもよい。
(ハードウェア構成)
続いて、図2~図5を用いて、共用システム1を構築する装置または端末のハードウェア構成を説明する。
<電子黒板のハードウェア構成>
図2は、実施形態に係る電子黒板のハードウェア構成の一例を示す図である。図2に示されているように、電子黒板2は、CPU(Central Processing Unit)201と、ROM(Read Only Memory)202と、RAM(Random Access Memory)203と、SSD(Solid State Drive)204と、ネットワークI/F205と、外部機器接続I/F(Interface)206と、を備えている。
これらのうち、CPU201は、電子黒板2全体の動作を制御する。ROM202は、CPU201やIPL(Initial Program Loader)等のCPU201の駆動に用いられるプログラムを記憶する。RAM203は、CPU201のワークエリアとして使用される。SSD204は、電子黒板用のプログラム等の各種データを記憶する。ネットワークI/F205は、通信ネットワーク10との通信を制御する。外部機器接続I/F206は、USB(Universal Serial Bus)メモリ2600、PC2700、外付け機器(マイク2200、スピーカ2300、カメラ2400)との通信を制御する。
また、電子黒板2は、キャプチャデバイス211、GPU212、ディスプレイコントローラ213、接触センサ214、センサコントローラ215、電子ペンコントローラ216、近距離通信回路219、近距離通信回路219のアンテナ219a、および電源スイッチ222を備えている。
これらのうち、キャプチャデバイス211は、ディスプレイコントローラ213を介して表示部(表示手段)の一例であるディスプレイ220上に表示されている画像データを取得し、RAM203等に保存する。GPU(Graphics Processing Unit)212は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ213は、キャプチャデバイス211またはGPU212からの出力画像をディスプレイ220等へ出力するために、画面表示の制御および管理を行う。接触センサ214は、ディスプレイ220上に電子ペン2500やユーザの手H等が接触したことを検知する。センサコントローラ215は、接触センサ214の処理を制御する。接触センサ214は、赤外線遮断方式による座標の入力および座標の検出を行う。この座標の入力および座標の検出する方法は、ディスプレイ220の上側両端部に設置された2つ受発光装置が、ディスプレイ220に平行して複数の赤外線を放射し、ディスプレイ220の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ214は、物体によって遮断された2つの受発光装置が放射した赤外線のIDをセンサコントローラ215に出力し、センサコントローラ215が、物体の接触位置である座標位置を特定する。電子ペンコントローラ216は、電子ペン2500と通信することで、ディスプレイ220へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路219は、NFC(Near Field Communication)、Bluetooth(登録商標)等の通信回路である。電源スイッチ222は、電子黒板2の電源のON/OFFを切り換えるためのスイッチである。
さらに、電子黒板2は、バスライン210を備えている。バスライン210は、図2に示されているCPU201等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、接触センサ214は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネル等の種々の検出手段を用いてもよい。また、電子ペンコントローラ216が、電子ペン2500のペン先およびペン尻だけでなく、電子ペン2500のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
<ビデオ会議端末のハードウェア構成>
図3は、実施形態に係るビデオ会議端末のハードウェア構成の一例を示す図である。図3に示されているように、ビデオ会議端末3は、CPU301と、ROM302と、RAM303と、フラッシュメモリ304と、SSD305と、メディアI/F307と、操作ボタン308と、電源スイッチ309と、バスライン310と、ネットワークI/F311と、CMOS(Complementary Metal Oxide Semiconductor)センサ312と、撮像素子I/F313と、マイク314と、スピーカ315と、音入出力I/F316と、ディスプレイI/F317と、外部機器接続I/F318と、近距離通信回路319と、近距離通信回路319のアンテナ319aと、を備えている。これらのうち、CPU301は、ビデオ会議端末3全体の動作を制御する。ROM302は、IPL等のCPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。フラッシュメモリ304は、通信用プログラム、画像データおよび音データ等の各種データを記憶する。SSD305は、CPU301の制御にしたがってフラッシュメモリ304に対する各種データの読み出しまたは書き込みを制御する。なお、SSDに代えてHDDを用いてもよい。メディアI/F307は、フラッシュメモリ等の記録メディア306に対するデータの読み出しまたは書き込み(記憶)を制御する。操作ボタン308は、ビデオ会議端末3の宛先を選択する場合等に操作されるボタンである。電源スイッチ309は、ビデオ会議端末3の電源のON/OFFを切り換えるためのスイッチである。
また、ネットワークI/F311は、インターネット等の通信ネットワーク10を利用してデータ通信をするためのインターフェースである。CMOSセンサ312は、CPU301の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F313は、CMOSセンサ312の駆動を制御する回路である。マイク314は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F316は、CPU301の制御に従ってマイク314およびスピーカ315との間で音信号の入出力を処理する回路である。ディスプレイI/F317は、CPU301の制御に従って外付けのディスプレイ320に画像データを送信する回路である。外部機器接続I/F318は、各種の外部機器を接続するためのインターフェースである。近距離通信回路319は、NFC、Bluetooth等の通信回路である。
また、バスライン310は、図3に示されているCPU301等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
ディスプレイ320は、被写体の画像や操作用アイコン等を表示する液晶や有機ELによって構成された表示部(表示手段)の一種である。また、ディスプレイ320は、ケーブル320cによってディスプレイI/F317に接続される。このケーブル320cは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、DisplayPort、HDMI(登録商標)(High-Definition Multimedia Interface)またはDVI(Digital Video Interactive)信号用のケーブルであってもよい。
なお、CMOSセンサ312ではなく、CCD(Charge Coupled Device)センサ等の撮像素子であってもよい。外部機器接続I/F318には、USBケーブル等によって、外付けカメラ、外付けマイクおよび外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、CPU301の制御に従って、内蔵型のCMOSセンサ312に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合、または外付けスピーカが接続された場合には、CPU301の制御に従って、それぞれが内蔵型のマイク314または内蔵型のスピーカ315に優先して、外付けマイクまたは外付けスピーカが駆動する。
また、記録メディア306は、ビデオ会議端末3に対して着脱自在な構成となっている。また、CPU301の制御にしたがってデータの読み出しまたは書き込みを行う不揮発性メモリであれば、フラッシュメモリ304に限らず、EEPROM等を用いてもよい。
<カーナビゲーション装置のハードウェア構成>
図4は、実施形態に係るカーナビゲーション装置のハードウェア構成の一例を示す図である。図4に示されているように、カーナビゲーション装置4は、CPU401と、ROM402と、RAM403と、EEPROM404と、電源スイッチ405と、加速度・方位センサ406と、メディアI/F408と、GPS受信部409と、を備えている。
これらのうち、CPU401は、カーナビゲーション装置4全体の動作を制御する。ROM402は、IPL等のCPU401の駆動に用いられるプログラムを記憶する。RAM403は、CPU401のワークエリアとして使用される。EEPROM404は、CPU401の制御にしたがって、カーナビゲーション装置4用プログラム等の各種データの読み出しまたは書き込みを行う。電源スイッチ405は、カーナビゲーション装置4の電源のON/OFFを切り換えるためのスイッチである。加速度・方位センサ406は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアI/F408は、フラッシュメモリ等の記録メディア407に対するデータの読み出しまたは書き込み(記憶)を制御する。GPS受信部409は、GPS衛星からGPS信号を受信する。
また、カーナビゲーション装置4は、遠距離通信回路411と、遠距離通信回路411のアンテナ411aと、CMOSセンサ412と、撮像素子I/F413と、マイク414と、スピーカ415と、音入出力I/F416と、ディスプレイ417と、ディスプレイI/F418と、外部機器接続I/F419と、近距離通信回路420と、近距離通信回路420のアンテナ420aと、を備えている。
これらのうち、遠距離通信回路411は、車外のインフラから提供される渋滞情報、道路工事情報、交通事故情報等を受信し、逆に、自車位置や緊急時の救命信号等を外部へ発信するための回路である。外部のインフラは、例えば、VICS(登録商標)(Vehicle Information and Communication System)システム等の道路情報案内システムである。CMOSセンサ412は、CPU401の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F413は、CMOSセンサ412の駆動を制御する回路である。マイク414は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F416は、CPU401の制御に従ってマイク414およびスピーカ415との間で音信号の入出力を処理する回路である。ディスプレイ417は、被写体の画像や各種アイコン等を表示する液晶や有機EL等の表示部(表示手段)の一種であり、タッチパネルの機能を有している。タッチパネルは、利用者がカーナビゲーション装置4を操作するための入力手段の一種である。ディスプレイI/F418は、ディスプレイ417に画像を表示させる回路である。外部機器接続I/F419は、各種の外部機器を接続するためのインターフェースである。近距離通信回路420は、NFCやBluetooth等の通信回路である。また、カーナビゲーション装置4は、バスライン410を備えている。バスライン410は、図4に示されているCPU401等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
<PC、サーバのハードウェア構成>
図5は、実施形態に係るPCおよびサーバのハードウェア構成の一例を示す図である。PC5は、コンピュータによって構築されており、図5に示されているように、CPU501と、ROM502と、RAM503と、HD504と、HDD(Hard Disk Drive)コントローラ505と、メディアI/F507と、ディスプレイ508(表示装置)と、ネットワークI/F509と、キーボード511と、マウス512と、CD-RWドライブ514と、スピーカ515と、バスライン510と、を備えている。
これらのうち、CPU501は、PC5全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。HD504は、プログラム等の各種データを記憶する。HDDコントローラ505は、CPU501の制御にしたがってHD504に対する各種データの読み出しまたは書き込みを制御する。メディアI/F507は、フラッシュメモリ等の記録メディア506に対するデータの読み出しまたは書き込み(記憶)を制御する。ディスプレイ508は、カーソル、メニュー、ウインドウ、文字または画像等の各種情報を表示する。ディスプレイ508は、表示部(表示手段)の一例である。ネットワークI/F509は、通信ネットワーク10を利用してデータ通信をするためのインターフェースである。キーボード511は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。マウス512は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。CD-RWドライブ514は、着脱可能な記録媒体の一例としてのCD-RW(Compact Disc-ReWritable)513に対する各種データの読み出しまたは書き込みを制御する。スピーカ515は、CPU501の制御に従って音信号の出力を行う。
また、PC5は、バスライン510を備えている。バスライン510は、図5に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスおよびデータバス等である。
また、共用支援サーバ6は、コンピュータによって構築されており、図5に示されているように、CPU601と、ROM602と、RAM603と、HD604と、HDDコントローラ605と、記録メディア606と、メディアI/F607と、ディスプレイ608と、ネットワークI/F609と、キーボード611と、マウス612と、CD-RWドライブ614と、バスライン610と、を備えている。これらは、それぞれPC5におけるCPU501、ROM502、RAM503、HD504、HDDコントローラ505、記録メディア506、メディアI/F507、ディスプレイ508、ネットワークI/F509、キーボード511、マウス512、CD-RWドライブ514およびバスライン510と同様の構成である。
さらに、スケジュール管理サーバ8は、コンピュータによって構築されており、図5に示されているように、CPU801と、ROM802と、RAM803と、HD804と、HDDコントローラ805と、記録メディア806と、メディアI/F807と、ディスプレイ808と、ネットワークI/F809と、キーボード811と、マウス812と、CD-RWドライブ814と、バスライン810と、を備えている。これらは、それぞれPC5におけるCPU501、ROM502、RAM503、HD504、HDDコントローラ505、記録メディア506、メディアI/F507、ディスプレイ508、ネットワークI/F509、キーボード511、マウス512、CD-RWドライブ514およびバスライン510と同様の構成である。
また、音声テキスト変換サーバ9は、コンピュータによって構築されており、図5に示されているように、CPU901と、ROM902と、RAM903と、HD904と、HDDコントローラ905と、記録メディア906と、メディアI/F907と、ディスプレイ908と、ネットワークI/F909と、キーボード911と、マウス912と、CD-RWドライブ914と、バスライン910と、を備えている。これらは、それぞれPC5におけるCPU501、ROM502、RAM503、HD504、HDDコントローラ505、記録メディア506、メディアI/F507、ディスプレイ508、ネットワークI/F509、キーボード511、マウス512、CD-RWドライブ514およびバスライン510と同様の構成である。
なお、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、CD-R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、ブルーレイディスク、SDカード等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。
さらに、共用支援サーバ6は、単一のコンピュータによって構築されてもよいし、各部(機能、手段または記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。スケジュール管理サーバ8および音声テキスト変換サーバ9についても同様である。
(電子黒板のソフトウエア構成)
続いて、図6を用いて、電子黒板2にインストールされるコンピュータソフトウエアについて説明する。ここで、コンピュータソフトウエア(以下、ソフトウエアと称する)とは、コンピュータの動作に関するプログラム、その他コンピュータによる処理の用に供する情報であってプログラムに準ずるものである。プログラムとは、コンピュータに対する指令であって、一の結果を得ることができるように組み合わせたものをいう。また、プログラムに準ずるものとは、コンピュータに対する直接の指令ではないためプログラムとは呼べないが、コンピュータの処理を規定するという点でプログラムに類似する性質を有するものをいう。例えば、データ構造(データ要素間の相互関係で表される、データの有する論理的構造)がプログラムに準ずるものに該当する。
また、アプリケーションとは、ソフトウエアの分類のうち、特定の処理を行うために使用されるソフトウエアの総称である。一方、オペレーティングシステム(以下、OSと称する)とは、コンピュータを制御し、アプリケーション等がコンピュータ資源を利用可能にするためのソフトウエアである。OSは、入出力の制御、メモリおよびハードディスク等のハードウェアの管理、プロセスの管理といった、コンピュータの基本的な管理・制御を行っている。アプリケーションは、OSが提供する機能を利用して動作する。
図6は、実施形態に係る電子黒板のソフトウエア構成の一例を示す図である。図6に示すように、OS101、Launcher102、スケジュールビューワ103a、ファイルビューワ103bおよびブラウザアプリ103cは、RAM203の作業領域15上で動作する。OS101は、電子黒板2の基本的な機能を提供し、電子黒板2の全体を管理する基本ソフトウエアである。
Launcher102は、OS101上で動作するランチャーアプリケーションである。Launcher102は、例えば、電子黒板2で実行される会議等のイベントの開始および終了の管理、またはイベントの実行中に利用するスケジュールビューワ103a、ファイルビューワ103bおよびブラウザアプリ103c等の外部アプリケーションの管理を行う。
スケジュールビューワ103a、ファイルビューワ103bおよびブラウザアプリ103cは、Launcher102上で動作する外部アプリケーション(以下、特に区別する必要がないときは、外部アプリ103と称する)である。外部アプリ103は、Launcher102とは独立して処理が実行され、OS101上で提供されるサービスまたは機能を実行する。なお、図6は、スケジュールビューワ103a、ファイルビューワ103bおよびブラウザアプリ103cの三つの外部アプリが電子黒板2にインストールされている例を示すが、外部アプリの数は、これに限られない。
(PCのソフトウエア構成)
図7は、実施形態に係るPCのソフトウエア構成の一例を示す図である。図7を用いて、PC5にインストールされるコンピュータソフトウエアについて説明する。図7に示すように、OS5501、議事録アプリ5502aおよびブラウザ5502bは、RAM503の作業領域5500上で動作する。OS5501は、PC5の基本的な機能を提供し、PC5の全体を管理する基本ソフトウエアである。
議事録アプリ5502aおよびブラウザ5502bは、スケジュール管理サーバ8から送信された各種データを用いて、電子黒板2によって実行されたイベントの議事録である実行イベント履歴画面の生成および表示を行うためのアプリケーションである。なお、図7は、議事録アプリ5502aおよびブラウザ5502bの二つの外部アプリがPC5にインストールされている例を示すが、外部アプリの数は、これに限られない。
(共用システムの機能構成)
続いて、図8~図17を用いて、本実施形態の機能構成について説明する。
図8は、実施形態に係る共用システムの機能ブロック図である。なお、図8では、図1に示されている各端末、装置、サーバのうち、後述の処理または動作に関連しているものが示されている。
<電子黒板の機能構成>
図8に示されているように、電子黒板2は、送受信部21と、受付部22と、画像・音処理部23と、表示制御部24と、判断部25と、取得・提供部28と、記憶・読出処理部29と、を有している。これら各部は、図2に示されている各構成要素のいずれかが、SSD204からRAM203上に展開されたプログラムに従ったCPU201からの命令によって動作することで実現される機能、または機能する手段である。また、電子黒板2は、図2に示されているRAM203、SSD204またはUSBメモリ2600によって構築される記憶部2000を有している。
<<電子黒板の各機能構成>>
次に、電子黒板2の各構成要素について説明する。送受信部21は、図2に示されているCPU201からの命令、並びにネットワークI/F205および外部機器接続I/F206によって実現され、通信ネットワーク10を介して他の端末、装置またはシステムと各種データ(または情報)の送受信を行う。
受付部22は、主に、図2に示されているCPU201からの命令、並びに接触センサ214および電子ペンコントローラ216によって実現され、利用者による各種入力を受け付ける。
画像・音処理部23は、図2に示されているCPU201からの命令、およびキャプチャデバイス211によって実現され、ディスプレイ220上に表示されている画像データを保存する。また、画像・音処理部23は、図2に示されているCPU201からの命令、およびGPU212によって実現され、ディスプレイ220に画像を表示するための画像処理を行う。さらに、画像・音処理部23は、カメラ2400が被写体を撮像して得た画像データに対しての画像処理を行う。また、画像・音処理部23は、マイク2200によって利用者の音声が音声信号に変換された後、この音声信号に係る音データに対して音声処理を行う。さらに、画像・音処理部23は、音データに係る音声信号をスピーカ2300に出力し、スピーカ2300から音声を出力させる。また、画像・音処理部23は、利用者によって電子ペン2500や手Hでディスプレイ220上に描画されることで得た描画像データを座標データに変換する処理を行う。例えば、任意の拠点の電子黒板(2a)が、他の拠点の電子黒板(2b)に座標データを送信すると、電子黒板(2b)は、座標データに基づいて他の電子黒板(2b)側のディスプレイ220上に同じ内容の描画を表示する。
表示制御部24は、図2に示されているCPU201からの命令、および図2に示されているディスプレイコントローラ213によって実現され、ディスプレイ220に描画像を表示させたり、Webブラウザを用いて共用支援サーバ6にアクセスして各種画面データを表示させたりする。具体的には、表示制御部24は、図6に示したOS101上で動作するLauncher102、および外部アプリ103を起動・実行することで、OS101が提供するAPI(Application Programming Interface)によって描画される各種画面を、ディスプレイ220に表示させる。
判断部25は、図2に示されているCPU201からの命令によって実現され、各種判断を行う。
取得・提供部28は、図2に示されているCPU201からの命令、並びに近距離通信回路219およびアンテナ219aによって実行され、ICカードやスマートフォン等の専有端末との間で、近距離通信により、データの取得および提供を行う。
記憶・読出処理部29は、図2に示されているCPU201からの命令およびSSD204によって実行され、記憶部2000に各種データを記憶したり、記憶部2000に記憶された各種データを読み出したりする処理を行う。さらに、記憶部2000には、他の電子黒板やビデオ会議端末との通信を行う際に受信される画像データおよび音データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ220に画像が表示され、上書きされる前の音データによってスピーカ2300から音声が出力される。
なお、ビデオ会議端末3およびカーナビゲーション装置4は、電子黒板2と同様の機能を有するため、ここでは説明を省略する。
なお、図8に示す電子黒板2の送受信部21、受付部22、画像・音処理部23、表示制御部24、判断部25、取得・提供部28および記憶・読出処理部29は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図8に示す電子黒板2で独立した機能のブロックとして図示した複数の機能のブロックを、1つの機能のブロックとして構成してもよい。一方、図8に示す電子黒板2で1つの機能のブロックが有する機能を複数に分割し、複数の機能のブロックとして構成するものとしてもよい。
<PCの機能構成>
図8に示されているように、PC5は、送受信部51(取得部、第2送信部)と、受付部52と、表示制御部54と、生成部56と、音制御部58と、記憶・読出処理部59と、を有している。これら各部は、図5に示されている各構成要素のいずれかが、HD504からRAM503上に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能または機能する手段である。また、PC5は、図5に示されているHD504により構築される記憶部5000を有している。
<<PCの各機能構成>>
次に、PC5の各構成要素について説明する。送受信部51は、図5に示されているCPU501からの命令およびネットワークI/F509によって実現され、通信ネットワーク10を介して他の端末、装置またはシステムと各種データ(または情報)の送受信を行う。
受付部52は、主に、図5に示されているCPU501からの命令、並びにキーボード511およびマウス512によって実現され、利用者による各種入力を受け付ける。
表示制御部54は、図5に示されているCPU501からの命令によって実現され、ディスプレイ508に画像を表示させたり、Webブラウザを用いて共用支援サーバ6にアクセスして各種画面データを表示させたりする。具体的には、表示制御部54は、例えば、図7に示したOS5501上で動作する議事録アプリ5502aまたはブラウザ5502bを起動・実行することで、共用支援サーバ6またはスケジュール管理サーバ8にアクセスする。そして、表示制御部54は、例えば、HTML(HyperText Markup Language)を少なくとも含み、CSS(Cascading Style Sheets)またはJavaScript(登録商標)等を含むWebAPP(WebApplication)をダウンロードし、そのWebAPPによって生成された各種画像データを、ディスプレイ508に表示させる。表示制御部54は、例えば、XML(Extensible Markup Language)、JSON(JavaScript Object Notation)またはSOAP(Simple Object Access Protocol)形式等のデータを含むHTML5によって生成された画像データを、ディスプレイ508に表示させる。
生成部56は、図5に示されているCPU501からの命令によって実現され、ディスプレイ508に表示させる各種画像データを生成する機能である。生成部56は、送受信部51によって受信されたコンテンツデータを用いて、各種画像データを生成する。生成部56は、例えば、コンテンツデータであるテキストデータをレンダリングし、レンダリングされたデータを表示させるために、コンテンツ画像データであるテキストデータに係る画像データを生成する。レンダリングとは、Webページ記述用の言語(HTML、CSSまたはXML等)で記述されたデータを解釈し、実際に画面に表示される文字や画像データ等の配置を計算する処理である。生成部56は、生成手段の一例である。
音制御部58は、図5に示されているCPU501からの命令によって実現され、スピーカ515から音信号を出力する機能である。音制御部58は、スピーカ515から出力させる音データを設定し、設定した音データに係る音信号をスピーカ515から出力することにより、音データを再生する。音制御部58は、再生手段の一例である。
記憶・読出処理部59は、図5に示されているCPU501からの命令、およびHDDコントローラ505等によって実行され、記憶部5000に各種データを記憶したり、記憶部5000から各種データを読み出したりする処理を行う。
なお、図8に示すPC5の送受信部51、受付部52、表示制御部54、生成部56、音制御部58および記憶・読出処理部59は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図8に示すPC5で独立した機能のブロックとして図示した複数の機能のブロックを、1つの機能のブロックとして構成してもよい。一方、図8に示すPC5で1つの機能のブロックが有する機能を複数に分割し、複数の機能のブロックとして構成するものとしてもよい。
<共用支援サーバの機能構成>
共用支援サーバ6は、送受信部61、認証部62、作成部63、生成部64、判断部65および記憶・読出処理部69を有している。これら各部は、図5に示されている各構成要素のいずれかが、HD604からRAM603上に展開された共用支援用プログラムに従ったCPU601からの命令によって動作することで実現される機能または機能する手段である。また、共用支援サーバ6は、図5に示されているHD604等により構築される記憶部6000を有している。
<<利用者認証管理テーブル>>
図9(A)は、利用者認証管理テーブルを示す概念図である。記憶部6000には、図9(A)に示されているような利用者認証管理テーブルによって構成されている利用者認証管理DB6001が構築されている。この利用者認証管理テーブルでは、利用者を識別するための利用者ID、利用者名、利用者が属する組織を識別するための組織IDおよびパスワードが関連付けられて管理されている。なお、組織IDには、通信ネットワーク上の複数のコンピュータを管理するためのグループや組織を表すドメイン名も含まれる。
<<アクセス管理テーブル>>
図9(B)は、アクセス管理テーブルを示す概念図である。記憶部6000には、図9(B)に示されているようなアクセス管理テーブルによって構成されているアクセス管理DB6002が構築されている。このアクセス管理テーブルでは、組織ID、スケジュール管理サーバ8へアクセスする際の認証に必要なアクセスIDおよびアクセスパスワードが関連付けられて管理されている。このアクセスIDおよびアクセスパスワードは、共用支援サーバ6が、HTTP(Hypertext Transfer Protocol)またはHTTPS(Hypertext Transfer Protocol Secure)のプロトコルを用いて、WebAPI等を介して、スケジュール管理サーバ8によって提供されるサービス(機能)を利用するために必要である。スケジュール管理サーバ8は、複数のスケジューラを管理しており、組織が異なれば使用するスケジューラも異なることがあるため、アクセス管理テーブルで管理が必要である。
<<予定管理テーブル>>
図9(C)は、予定管理テーブルを示す概念図である。記憶部6000には、図9(C)に示されているような予定管理テーブルによって構成されている予定管理DB6003が構築されている。この予定管理テーブルでは、予定イベントIDおよび実行イベントID毎に、組織ID、予約者の利用者ID、この予約者の参加の有無、予約者名、開始予定時刻、終了予定時刻、イベント名、他の参加者の利用者ID、この他の参加者の参加の有無、他の参加者名およびファイルデータが関連付けられて管理されている。
これらのうち、予定イベントIDは、予約されたイベントを識別するための識別情報である。予定イベントIDは、実行予定のイベントを識別するための予定イベント識別情報の一例である。実行イベントIDは、予約されたイベントのうち実際に実行されたイベントまたは実行されているイベントを識別するための識別情報である。実行イベントIDは、実行されたイベントまたは実行されているイベントを識別するための実行イベント識別情報の一例である。予約者名は、共用体を予約した者の名前であり、共用体が会議室の場合は例えば主催者の名前であり、共用体が車両の場合は例えば運転者の名前である。開始予定時刻は、共用体の利用開始予定時刻を示している。終了予定時刻は、共用体の利用終了予定時刻を示している。イベント名は、予約者が実行予定のイベントの名称を示している。他の参加者の利用者IDは、予約者以外の参加者を識別するための識別情報である。他の参加者名は、予約者以外の参加者の名前であり、共用体も含まれる。つまり、この場合の利用者には、予約者および他の参加者のほか、共用体も含まれる。ファイルデータは、後述するスケジュール入力画面550(図21参照)を用いて利用者Aによって登録された、予定イベントIDに対応するイベントで用いる資料ファイルのファイルデータである。また、ファイルデータは、各種アプリケーションを用いて作成された所定のファイル形式のデータである。ファイルデータのファイル形式は、例えば、パワーポイントファイル、エクセルファイル等である。
<<コンテンツ管理テーブル>>
図10は、コンテンツ管理テーブルを示す概念図である。記憶部6000には、図10に示されているようなコンテンツ管理テーブルによって構成されているコンテンツ管理DB6005が構築されている。このコンテンツ管理テーブルでは、実行イベントID毎に、コンテンツ処理ID、コンテンツ処理の種類、コンテンツの内容、並びにコンテンツ処理の開始日時および終了日時が関連付けられて管理されている。ここで、コンテンツは、会議等のイベントで発生した実行イベントの内容、または当該イベントで用いた資料等である。コンテンツ処理の種類には、録音、スナップショット、音声テキスト変換、アクションアイテムの発生および資料送付等が含まれる。また、コンテンツ処理IDは、各イベントで発生したコンテンツの処理を識別するための識別情報である。
ここで、コンテンツには、イベントの実行内容を示す履歴情報と、実行されたイベントによって生じたアクションアイテムとが含まれている。履歴情報は、録音データ、スナップショット、音声テキストまたは資料等のデータである。スナップショットとは、実行中のイベントのある時点における表示画面を画像データとして取得する処理である。なお、スナップショットは、例えば、キャプチャまたは画像認識とも称される。
コンテンツ処理の種類が「録音」である場合、コンテンツの内容は、録音された音データの保存先を示すURLを含む。また、コンテンツ処理の種類が「スナップショット」である場合、コンテンツの内容は、スナップショット(キャプチャ)によって取得された画面の画像データの保存先を示すURLを含む。キャプチャとは、ディスプレイ220に表示されている画像(静止画像、動画像)を、画像データとして保存することである。さらに、コンテンツ処理の種類が「音声テキスト変換」である場合、コンテンツの内容は、受信された音声テキストのテキストデータの保存先を示すURLを含む。
ここで、アクションアイテムは、会議等のイベントで発生し、イベントに関連する者が対応すべき行動の内容を示す。コンテンツ処理の種類が「アクションアイテム発生」である場合、コンテンツの内容は、アクションアイテムの実行者の利用者ID、アクションアイテムを完了させる期限日、およびアクションアイテムを示す画像データの保存先を示すURLを含む。
<<共用支援サーバの各機能構成>>
次に、共用支援サーバ6の各機能構成について詳細に説明する。なお、以下では、共用支援サーバ6の各機能構成を説明するにあたって、図5に示されている各構成要素のうち、共用支援サーバ6の各機能構成を実現させるための主な構成要素との関係も説明する。
図8に示されている共用支援サーバ6の送受信部61は、図5に示されているCPU601からの命令、および図5に示されているネットワークI/F609によって実現され、通信ネットワーク10を介して他の端末、装置またはシステムと各種データ(または情報)の送受信を行う。
認証部62は、図5に示されているCPU601からの命令によって実現され、通信端末から送られて来る情報(利用者ID、組織IDおよびパスワード)が、利用者認証管理DB6001に予め登録されている情報であるかを判断することで、認証を行う。
作成部63は、図5に示されているCPU601からの命令によって実現され、スケジュール管理サーバ8から送られて来た予約情報および予定情報に基づいて、後述の図24に示されているような予約リスト画面230を作成する。
生成部64は、図5に示されているCPU601からの命令によって実現され、実行イベントID、コンテンツ処理IDおよび保存先のURLを生成する。
判断部65は、図5に示されているCPU601からの命令によって実現され、各種判断を行う。この判断については後述する。
記憶・読出処理部69は、図5に示されているCPU601からの命令、および図5に示されているHDDコントローラ605によって実現され、記憶部6000に各種データを記憶したり、記憶部6000に記憶された各種データを読み出したりする処理を行う。
なお、図8に示す共用支援サーバ6の送受信部61、認証部62、作成部63、生成部64、判断部65および記憶・読出処理部69は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図8に示す共用支援サーバ6で独立した機能のブロックとして図示した複数の機能のブロックを、1つの機能のブロックとして構成してもよい。一方、図8に示す共用支援サーバ6で1つの機能のブロックが有する機能を複数に分割し、複数の機能のブロックとして構成するものとしてもよい。
<スケジュール管理サーバの機能構成>
スケジュール管理サーバ8は、送受信部81(第1送信部)と、認証部82と、生成部83と、抽出部84と、辞書生成部85(生成部)と、辞書探索部86(探索部)と、記憶・読出処理部89と、を有している。これら各部は、図5に示されている各構成要素のいずれかが、HD804からRAM803上に展開されたスケジュール管理用プログラムに従ったCPU801からの命令によって動作することで実現される機能または機能する手段である。また、スケジュール管理サーバ8は、図5に示されているHD804により構築される記憶部8000を有している。
<<利用者認証管理テーブル>>
図11(A)は、利用者認証管理テーブルを示す概念図である。記憶部8000には、図11(A)に示されているような利用者認証管理テーブルによって構成されている利用者認証管理DB8001が構築されている。この利用者認証管理テーブルでは、利用者を識別するための利用者IDに、利用者が属する組織を識別するための組織IDおよびパスワードが関連付けられて管理されている。
<<利用者管理テーブル>>
図11(B)は、利用者管理テーブルを示す概念図である。記憶部8000には、図11(B)に示されているような利用者管理テーブルによって構成されている利用者管理DB8002が構築されている。この利用者管理テーブルでは、組織ID毎に、利用者IDおよび利用者IDで示される利用者の名称(利用者名)が関連付けられて管理されている。
<<共用体管理テーブル>>
図11(C)は、共用体管理テーブルを示す概念図である。記憶部8000には、図11(C)に示されているような共用体管理テーブルによって構成されている共用体管理DB8003が構築されている。この共用体管理テーブルでは、組織ID毎に、共用体を識別するための共用体IDおよび共用体の名称(共用体名)が関連付けられて管理されている。
<<共用体予約管理テーブル>>
図12(A)は、共用体予約管理テーブルを示す概念図である。記憶部8000には、図12(A)に示されているような共用体予約管理テーブルによって構成されている共用体予約管理DB8004が構築されている。この共用体予約管理テーブルでは、各情報が関連付けられた状態の予約情報が管理されている。予約情報には、組織ID毎に、共用体ID、共用体名、予約者の利用者ID、利用開始予定日時、利用終了予定日時およびイベント名が含まれている。これらのうち、利用開始予定日時は、共用体の利用開始予定日時を示している。利用終了予定日時は、共用体の利用終了予定日時を示している。各日時は、年・月・日・時・分・秒・タイムゾーンを示しているが、図12(A)では紙面の関係上、年・月・日・時・分まで表している。
<<イベント管理テーブル>>
図12(B)は、イベント管理テーブルを示す概念図である。記憶部8000には、図12(B)に示されているようなイベント管理テーブルによって構成されているイベント管理DB8005が構築されている。このイベント管理テーブルでは、各情報が関連付けられた状態の予定情報が管理されている。予定情報には、予定イベントID毎に、組織ID、利用者ID、利用者名、イベント開始予定日時、イベント終了予定日時およびイベント名が関連付けられて管理されている。これらのうち、イベント開始予定日時は、イベントを実行する場合の開始予定日時を示している。イベント終了予定日時は、イベントの実行する場合の終了予定日時を示している。各日時は、年・月・日・時・分・秒・タイムゾーンを示しているが、図12(B)では紙面の関係上、年・月・日・時・分まで表している。また、イベント管理テーブルでは、予定イベントIDに関連付けて、予定情報に示されるイベントで使用される資料ファイルのファイルデータが管理されている。
<<サーバ認証管理テーブル>>
図13(A)は、サーバ認証管理テーブルを示す概念図である。記憶部8000には、図13(A)に示されているようなサーバ認証管理テーブルによって構成されているサーバ認証管理DB8006が構築されている。このサーバ認証管理テーブルでは、アクセスIDおよびアクセスパスワードが関連付けられて管理されている。アクセスIDおよびアクセスパスワードは、共用支援サーバ6のアクセス管理DB6002で管理されているアクセスIDおよびアクセスパスワードと同じ概念である。
<<実行イベント履歴管理テーブル>>
図13(B)は、実行イベント履歴管理テーブルを示す概念図である。記憶部8000には、図13(B)に示されているような実行イベント履歴管理テーブルによって構成されている実行イベント履歴管理DB8008が構築されている。この実行イベント履歴管理テーブルでは、実行イベントID毎に、コンテンツ処理ID、コンテンツ処理の種類、コンテンツの内容、並びにコンテンツ処理の開始日時および終了日時が関連付けられて管理されている。この実行イベント履歴管理DB8008は、コンテンツ管理DB6005と一部同じデータを管理している。同じデータは、実行イベントID、コンテンツ処理ID、コンテンツ処理の種類、コンテンツ処理の開始日時および終了日時である。コンテンツの内容は、コンテンツデ-タの保存先の表記方法(http://またはC://)が異なるのみで、保存先は同じである。
<<実行イベント管理テーブル>>
図14(A)は、実行イベント管理テーブルを示す概念図である。記憶部8000には、図14(A)に示されているような実行イベント管理テーブルによって構成されている実行イベント管理DB8009が構築されている。この実行イベント管理テーブルでは、実行イベントIDに、イベント名、イベントの開始日時および終了日時が関連付けられて管理されている。この実行イベント管理DB8009は、イベント管理DB8005において管理されている予定情報のうち、実際に実行されたイベントに関する情報を管理している。
<<関連情報管理テーブル>>
図14(B)は、関連情報管理テーブルを示す概念図である。記憶部8000には、図14(B)に示されているような関連情報管理テーブルによって構成されている関連情報管理DB8010が構築されている。この関連情報管理テーブルでは、実行イベントID毎に、各情報(データ)が関連付けられた状態の関連情報が管理されている。関連情報には、コンテンツの発生時間帯、音データ、音声テキストデータおよび画面データが関連付けられて管理されている。コンテンツの発生時間帯は、実行されたイベントにおいてコンテンツが発生した時点における、イベントの開始日時からの経過時間を示す。ここで、コンテンツの発生時間帯は、イベント管理DB8005に記憶されたイベントの開始日時、および実行イベント履歴管理DB8008に記憶されたコンテンツ処理の開始日時および終了日時に基づいて、生成部83によって生成される。コンテンツの発生時間帯は、時間情報の一例である。また、音データには、コンテンツ処理IDおよびコンテンツの種類が含まれる。音声テキストデータおよび画面データには、コンテンツ処理ID、コンテンツの種類およびシーケンスNoが含まれる。シーケンスNoは、音声テキストデータおよび画面データのそれぞれにコンテンツ処理が発生した発生時間順を示す。
<<テキスト情報管理テーブル>>
図15は、テキスト情報管理テーブルを示す概念図である。記憶部8000には、図15に示されているようなテキスト情報管理テーブルによって構成されているテキスト情報管理DB8012が構築されている。このテキスト情報管理テーブルでは、実行イベントID毎に、実行されたイベントにおいて生成された音声テキストデータを含むテキスト情報が管理されている。このテキスト情報には、コンテンツ処理ID、テキストデータを識別するためのテキストID、テキストデータの内容を示すtranscript、およびテキストデータの状態を示す状態情報が関連付けられている。このうち、コンテンツ処理IDは、コンテンツ処理の種類が「音声テキスト変換」であるコンテンツ処理を識別するものである。また、transcript(テキストデータ)は、テキスト情報として関連付けられたコンテンツ処理IDと同様のコンテンツ処理IDに、実行イベント履歴管理DB8008において関連付けられたコンテンツの内容を示すテキストデータである。さらに、状態情報は、テキストデータの編集の有無を示す情報である。状態情報には、関連付けられたテキストデータが音声テキスト変換サーバ9によって生成されたテキストデータから編集されていない場合、テキストデータが編集されていないことを示す「Original」の情報が示されている。
<<編集差分管理テーブル>>
図16は、編集差分管理テーブルを示す概念図である。記憶部8000には、図16に示されているような編集差分管理テーブル(編集差分情報の一例)によって構成されている編集差分管理DB8013が構築されている。この編集差分管理テーブルでは、組織ID毎に、編集前単語と、編集後単語と、読みと、品詞と、回数とが関連付けられて管理されている。後述する図50および図51等では、実行イベント履歴画面580において議事録として保存されているテキストデータの編集が可能であり、編集前のテキストデータと、編集後のテキストデータとの差分が抽出される。当該差分の抽出は、テキストデータ中の編集対象となった部分の編集前の単語(編集前単語)と、編集後の単語(編集後単語)とが特定されることによって行われる。また、「読み」は、編集前の単語に係るテキストが生成される元になるひらがなによる読み方である。例えば、編集前の単語が「飛行機」である場合、漢字で表される当該単語に係るテキストが生成される元になるひらがなは「ひこうき」であるので、これが「読み」となる。また、「品詞」は、編集対象となるテキストに対する形態素解析により特定された、編集前の単語と編集後の単語の品詞である。また、「回数」は、対象となる組織IDに対応する議事録のテキストデータについて、同じ内容の編集が行われた回数、すなわち、編集の結果、編集前単語および編集後単語が同一となった場合の回数を示す。すなわち、この「回数」が多いほど、音声テキスト変換サーバ9における音声からテキストへの変換処理、および当該テキストについて辞書による漢字等への変換処理の結果、編集者が意図するものとは異なる変換が行われてしまう頻度が高いことを示す。
なお、編集前のテキストおよび編集後のテキストは、単語に限定されるものではなく、2以上の単語が連結された句または文であってもよい。
<<カスタム辞書管理テーブル>>
図17は、カスタム辞書管理テーブルを示す概念図である。記憶部8000には、図17に示されているようなカスタム辞書管理テーブルによって構成されているカスタム辞書管理DB8014が構築されている。このカスタム辞書管理テーブルは、組織ID毎に、利用者IDと、カスタム辞書とが関連付けられて管理されている。なお、図17に示す例では、利用者IDが関連付けられているが、必ずしも必要ではなく、組織ID毎に、少なくともカスタム辞書が関連付けられて管理されているものとしてもよい。図17に示すカスタム辞書管理テーブルの「カスタム辞書」は、後述する図50および図51等でテキストデータが編集された際に、同様の編集処理が頻発する場合(例えば発生する回数が所定の閾値以上または所定の閾値を超過する場合等)、編集に係る単語の「読み」と、編集後の「単語」と、当該単語の「品詞」とを関連付けて登録されるものである。
<<スケジュール管理サーバの各機能構成>>
次に、スケジュール管理サーバ8の各機能構成について詳細に説明する。なお、以下では、スケジュール管理サーバ8の各機能構成を説明するにあたって、図5に示されている各構成要素のうち、スケジュール管理サーバ8の各機能構成を実現させるための主な構成要素との関係も説明する。
図8に示されているスケジュール管理サーバ8の送受信部81は、図5に示されているCPU801からの命令、および図5に示されているネットワークI/F809によって実現され、通信ネットワーク10を介して他の端末、装置、またはシステムと各種データ(または情報)の送受信を行う。
認証部82は、図5に示されているCPU801からの命令によって実現され、共用体から送られて来る情報(利用者ID、組織IDおよびパスワード)が、利用者認証管理DB8001に予め登録されている情報であるかを判断することで、認証を行う。また、認証部82は、共用支援サーバ6から送られて来る情報(アクセスIDおよびアクセスパスワード)が、サーバ認証管理DB8006に予め登録されている情報であるかを判断することで、認証を行う。
生成部83は、図5に示されているCPU801からの命令によって実現され、関連情報管理DB8010に登録される関連情報を生成する機能である。
抽出部84は、図5に示されているCPU801からの命令によって実現され、後述する図50および図51等でテキストデータについて編集を行った際に、編集前のテキストデータと、編集後のテキストデータとの差分を抽出する。当該差分の抽出は、テキストデータ中の編集対象となった部分の編集前の単語(編集前単語)と、編集後の単語(編集後単語)とが特定されることによって行われる。また、抽出部84は、編集前または編集後のテキストデータに対して形態素解析を行い、編集前単語(または編集後単語)の品詞を特定する。そして、抽出部84は、編集差分管理DB8013を参照し、同様の編集の内容が登録されていない場合、当該差分に係る編集前単語と、編集後単語と、当該編集前単語の読みと、特定した当該編集前単語(または編集後単語)の品詞と、を関連付けて新規登録し、登録したレコードの回数を「1」とする。また、抽出部84は、編集差分管理DB8013を参照し、同様の編集の内容が既に登録されている場合、すなわち、当該差分に係る編集前単語と、編集後単語と、読みと、品詞とが一致するレコードが既に存在する場合、当該レコードに対応する回数をインクリメントする。これによって、テキストデータに対する同様の編集が発生したものとして、その回数がカウントされることになる。なお、同じ編集の内容であるか否かを判定する場合、品詞の一致については必ずしも判断する必要はなく、編集前単語と、編集後単語と、読みとが一致するか否かを判断するものとしてもよい。
辞書生成部85は、図5に示されているCPU801からの命令によって実現され、抽出部84によりテキストデータの編集前後の差分が抽出され、更新された編集差分管理DB8013のレコードにおける回数が所定の閾値以上または所定の閾値を超過した場合、当該編集が頻発していると判断し、カスタム辞書管理DB8014にカスタム辞書を登録する。具体的には、辞書生成部85は、注目している編集差分管理DB8013のレコードの編集後単語(図17では“単語”)、読み、および品詞を関連付けたカスタム辞書を、編集を行った利用者の利用者IDと、当該利用者IDに対応する組織IDとに関連付けて、カスタム辞書管理DB8014に登録する。なお、上述したように、辞書生成部85によりカスタム辞書管理DB8014にカスタム辞書が登録される場合、少なくとも組織IDと関連付けるものとしてもよい。
辞書探索部86は、図5に示されているCPU801からの命令によって実現され、電子黒板2で収録された音データについて音声テキスト変換サーバ9によりテキストデータに変換させる場合、音データの発生元の利用者の利用者IDに対応する組織IDに関連付けられたカスタム辞書を、カスタム辞書管理DB8014から探索する。
記憶・読出処理部89は、図5に示されているCPU801からの命令、および図5に示されているHDDコントローラ805によって実現され、記憶部8000に各種データを記憶したり、記憶部8000に記憶された各種データを読み出したりする処理を行う。
なお、図8に示すスケジュール管理サーバ8の送受信部81、認証部82、生成部83、抽出部84、辞書生成部85、辞書探索部86および記憶・読出処理部89は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図8に示すスケジュール管理サーバ8で独立した機能のブロックとして図示した複数の機能のブロックを、1つの機能のブロックとして構成してもよい。一方、図8に示すスケジュール管理サーバ8で1つの機能のブロックが有する機能を複数に分割し、複数の機能のブロックとして構成するものとしてもよい。
<音声テキスト変換サーバの機能構成>
音声テキスト変換サーバ9は、送受信部91と、変換部93と、記憶・読出処理部99と、を有している。これら各部は、図5に示されている各構成要素のいずれかが、HD904からRAM903上に展開されたプログラムに従ったCPU901からの命令によって動作することで実現される機能または機能する手段である。また、音声テキスト変換サーバ9は、図5に示されているHD904により構築される記憶部9000を有している。
<<音声テキスト変換サーバの各機能構成>>
次に、音声テキスト変換サーバ9の各機能構成について詳細に説明する。なお、以下では、音声テキスト変換サーバ9の各機能構成を説明するにあたって、図5に示されている各構成要素のうち、音声テキスト変換サーバ9の各機能構成を実現させるための主な構成要素との関係も説明する。
図8に示されている音声テキスト変換サーバ9の送受信部91は、図5に示されているCPU901からの命令、および図5に示されているネットワークI/F909によって実現され、通信ネットワーク10を介して他の端末、装置、またはシステムと各種データ(または情報)の送受信を行う。
変換部93は、図5に示されているCPU901からの命令によって実現され、送受信部91により通信ネットワーク10を介して受信された音データを、テキストデータに変換する。この際、変換部93は、音データと共にカスタム辞書が受信された場合、当該テキストデータを音声テキスト変換サーバ9が元々保持している辞書(以下、「基本辞書」と称する場合がある)だけでなく、当該カスタム辞書も利用してテキストデータへの変換を行う。
記憶・読出処理部99は、図5に示されているCPU901からの命令、および図5に示されているHDDコントローラ905によって実現され、記憶部9000に各種データを記憶したり、記憶部9000に記憶された各種データを読み出したりする処理を行う。
なお、上記各IDは、識別情報の一例である。また、組織IDには、社名、事業所名、部署名、地域名等が含まれる。利用者IDには、社員番号、運転免許書番号、日本の社会保障・税番号制度におけるマイナンバー等が含まれる。
また、図8に示す音声テキスト変換サーバ9の送受信部91、変換部93および記憶・読出処理部99は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図8に示す音声テキスト変換サーバ9で独立した機能のブロックとして図示した複数の機能のブロックを、1つの機能のブロックとして構成してもよい。一方、図8に示す音声テキスト変換サーバ9で1つの機能のブロックが有する機能を複数に分割し、複数の機能のブロックとして構成するものとしてもよい。
(実施形態の処理または動作)
以降、各実施形態の処理または動作について説明する。
<スケジュールの登録処理>
図18は、実施形態に係る共用システムのスケジュールの登録処理の流れの一例を示すシーケンス図である。図19は、サインイン画面を示す図である。図20は、PCの初期画面の一例を示す図である。図21は、スケジュール入力画面を示す図である。図18~図21を用いて、予約者A(理光太郎)がPC5からスケジュール管理サーバ8に自己のスケジュールを登録する処理について説明する。
まず、利用者AがPC5のキーボード511等を操作することで、PC5の表示制御部54が、図19に示されているように、ディスプレイ508上にサインインを行うためのサインイン画面530を表示させる(ステップS11)。このサインイン画面530には、利用者の利用者IDおよび組織IDを入力する入力欄531、およびパスワードを入力する入力欄532、サインインを行う場合に押下されるサインインボタン538、サインインを中止する場合に押下されるキャンセルボタン539が含まれている。ここでは、利用者IDおよび組織IDが、利用者Aの電子メールアドレスになっている。電子メールアドレスのユーザ名部分が利用者IDで、ドメイン名部分が組織IDを示している。なお、入力欄531は、電子メールアドレスではなく、利用者IDおよび組織IDを別々に入力する入力欄であってもよい。
次に、利用者Aが、入力欄531に自己の利用者IDおよび組織IDを入力し、入力欄532に自己のパスワードを入力し、サインインボタン538を押下すると、受付部52が、サインインの要求を受け付ける(ステップS12)。そして、PC5の送受信部51は、スケジュール管理サーバ8に対して、サインインの要求を示すサインイン要求情報を送信する(ステップS13)。このサインイン要求情報には、ステップS12によって受け付けられた情報(利用者ID、組織ID、およびパスワード)が含まれている。これにより、スケジュール管理サーバ8の送受信部81は、サインイン要求情報を受信する。
次に、スケジュール管理サーバ8の認証部82は、利用者ID、組織ID、およびパスワードを利用して利用者Aの認証を行う(ステップS14)。具体的には、記憶・読出処理部89は、利用者認証管理DB8001(図11(A)参照)において、ステップS13によって受信された利用者ID、組織ID、およびパスワードの組に対応する利用者ID、組織IDおよびパスワードの組を検索する。対応する組がある場合には、認証部82は、要求元の利用者Aを正当な利用者であると判断する。対応する組がない場合には、認証部82は、利用者Aを不当な(正当でない)利用者であると判断する。正当でない場合には、送受信部81がPC5に対して、正当でない旨の通知を行うが、ここでは、正当である場合について説明を続ける。
次に、送受信部81は、PC5に対して、認証結果を送信する(ステップS15)。これにより、PC5の送受信部51は、認証結果を受信する。
次に、PC5の生成部56は、ステップS15によって正当である旨の認証結果が受信された場合、図20に示されているような初期画面540を生成する(ステップS16)。そして、PC5の表示制御部54は、ディスプレイ508上に、図20に示されているような初期画面540を表示させる(ステップS17)。この初期画面540には、スケジュールを登録する場合に押下される「スケジュール登録」ボタン541、実行イベント履歴を閲覧する場合に押下される「実行イベント履歴閲覧」ボタン543、および初期画面を閉じるための「閉じる」ボタン549が含まれている。ここで、利用者が「スケジュール登録」ボタン541を押下すると、受付部52は、スケジュール登録を受け付ける(ステップS18)。そして、送受信部51は、スケジュール管理サーバ8に対して、スケジュール登録要求を送信する(ステップS19)。これにより、スケジュール管理サーバ8の送受信部81は、スケジュール登録要求を受信する。
次に、スケジュール管理サーバ8の記憶・読出処理部89は、ステップS13によって受信された組織IDを検索キーとして利用者管理DB8002(図11(B)参照)を検索することにより、対応する全ての利用者IDおよび全ての利用者名を読み出す(ステップS20)。そして、送受信部81は、PC5に対して、スケジュール入力画面情報を送信する(ステップS21)。このスケジュール入力画面情報には、ステップS20によって読み出された全ての利用者IDおよび全ての利用者名が含まれている。全ての利用者名には、ステップS12でサインインのための入力を行った利用者Aである予約者の名称(名前)も含まれている。これにより、PC5の送受信部51は、スケジュール入力画面情報を受信する。
次に、PC5では、生成部56がステップS21によって受信されたスケジュール入力画面情報を用いて、スケジュール入力画面550を生成する。(ステップS22)。そして、PC5の表示制御部24は、ディスプレイ508上に、図21に示されているようなスケジュール入力画面550を表示させる(ステップS23)。
このスケジュール入力画面550には、イベント名を入力するための入力欄551、共用体IDまたは共用体名を入力するための入力欄552、イベントの実行(共用体の利用)開始予定日時を入力するための入力欄553、イベントの実行(共用体の利用)終了予定日時を入力するための入力欄554、アジェンダ等のメモを入力するための入力欄555、予約者名を表示するための表示領域556、予約者以外の他の参加者の参加者名を選択するための選択メニュー557、予約を登録する場合に押下される「OK」ボタン558、入力中または入力された内容をキャンセルする場合に押下される「CANCEL」ボタン559が含まれている。予約者名は、ステップS12でPC5にサインインのための入力を行った利用者の名称である。また、マウスポインタp1も表示されている。
なお、入力欄552には、電子メールアドレスを入力してもよい。また、選択メニュー557で、共用体名が選択されると、共用体も他の参加者として追加される。
次に、利用者Aが、入力欄551~555に所定の事項を入力し、マウスポインタp1を利用して選択メニュー557からイベントに参加させたい利用者の名称(利用者名)を選択し、「OK」ボタン558を押下すると、受付部52は、スケジュール情報の入力を受け付ける(ステップS24)。そして、送受信部51は、スケジュール管理サーバ8に対して、スケジュール情報を送信する(ステップS25)。このスケジュール情報には、イベント名、共用体ID(または共用体名)、開始予定日時、終了予定日時、各参加者の利用者ID、およびメモが含まれている。なお、スケジュール入力画面550において、入力欄552に共用体IDが入力された場合には、この共用体IDが送信され、入力欄552に共用体名が入力された場合には、この共用体名が送信される。また、スケジュール入力画面550では、選択メニュー557で利用者名が選択されるが、ステップS21で利用者IDも受信されているため、利用者名に対応する利用者IDが送信される。これにより、スケジュール管理サーバ8の送受信部81は、スケジュール情報を受信する。
次に、スケジュール管理サーバ8では、ステップS25によって受信された共用体ID(または共用体名)を検索キーとして共用体管理DB8003(図11(C)参照)を検索することにより、対応する共用体名(または共用体ID)を読み出す(ステップS26)。
次に、記憶・読出処理部89は、共用体予約管理DB8004(図12(A)参照)に対して、予約情報を記憶する(ステップS27)。この場合、記憶・読出処理部89は、予め登録しているスケジューラで管理されている共用体予約管理DB8004の共用体予約管理テーブルに1レコード分の予約情報を追加する。予約情報は、ステップS25によって受信されたスケジュール情報、およびステップS26によって読み出された共用体名(または共用体ID)に基づいて構成されている。なお、共用体予約管理DB8004における利用開始予定日時は、スケジュール情報における開始予定日時に相当する。また、共用体予約管理DB8004における利用終了予定日時は、スケジュール情報における終了予定日時に相当する。
さらに、記憶・読出処理部89は、イベント管理DB8005(図12(B)参照)に対して、予定情報を記憶する(ステップS28)。この場合、記憶・読出処理部89は、予め登録しているスケジューラで管理されているイベント管理DB8005のイベント管理テーブルに1レコード分の予定情報を追加する。予定情報は、ステップS25によって受信されたスケジュール情報に基づいて構成されている。なお、イベント管理DB8005におけるイベント開始予定日時は、スケジュール情報における開始予定日時に相当する。また、イベント管理DB8005におけるイベント終了予定日時は、スケジュール情報における終了予定日時に相当する。
以上により、利用者Aは、スケジュール管理サーバ8に自己のスケジュールを登録することができる。なお、図18~図21では、PC5によってスケジュール登録を行う場合について説明したが、同様の処理によって、電子黒板2、ビデオ会議端末3またはカーナビゲーション装置4でスケジュール登録を行ってもよい。
<イベント開始処理>
図22および図25は、実施形態に係る共用システムのイベントの開始処理の流れの一例を示すシーケンス図である。図23は、電子黒板に表示されるサインイン画面を示す図である。図24は、共用体の予約リスト画面を示す図である。図26は、イベントの詳細情報画面を示す図である。図27は、イベント開始時に電子黒板に表示される表示画面を示す図である。図28は、利用者が電子黒板を利用する状態を示すイメージ図である。図22~図28を用いて、予約者A(理光太郎)が予約しておいた会議室Xで、電子黒板2を利用して他の参加者と会議をする処理について説明する。
まず、利用者Aが電子黒板2の電源スイッチ222を押下することで、電子黒板2の受付部22が、利用者から電源ONを受け付ける(ステップS31)。受付部22によって電源ONが受け付けられることで、図6に示したLauncher102が起動する。そして、電子黒板2の表示制御部24は、図23に示されているように、ディスプレイ220上にサインインを行うためのサインイン画面110を表示させる(ステップS32)。このサインイン画面110には、利用者Aが自己のICカードを用いてサインインを行う場合に押下される選択アイコン111、利用者Aが自己の電子メールアドレス(利用者IDおよび組織ID)並びにパスワードを入力することによってサインインを行う場合に押下される選択アイコン113、およびサインインを行わずに電源OFFする場合に押下される電源アイコン115が含まれている。
次に、利用者Aが、選択アイコン111を押下して、ICカードリーダ等の近距離通信回路219に対する通信を行うか、または、利用者Aが、選択アイコン113を押下して、利用者Aによる自己の電子メールアドレスおよびパスワードを入力が行うことで、受付部22が、サインインの要求を受け付ける(ステップS33)。そして、送受信部21は、共用支援サーバ6に対して、サインイン要求を示すサインイン要求情報を送信する(ステップS34)。このサインイン要求情報には、ステップS33によって受け付けられた情報(利用者ID、組織IDおよびパスワード)、電子黒板2が設置されている国もしくは地域のタイムゾーン情報、並びに通信端末(ここでは電子黒板2)の利用者ID、組織IDおよびパスワードが含まれている。これにより、共用支援サーバ6の送受信部61は、サインイン要求情報を受信する。
次に、共用支援サーバ6の認証部62は、ステップS34によって受信された利用者Aの利用者ID、組織IDおよびパスワードを利用して利用者Aの認証を行う(ステップS35)。具体的には、記憶・読出処理部69は、ステップS34によって受信された利用者Aの利用者ID、組織IDおよびパスワードを検索キーとして、利用者認証管理DB6001(図9(A)参照)において、上記受信された利用者Aの利用者ID、組織IDおよびパスワードの組に対応する利用者ID、組織IDおよびパスワードの組を検索する。対応する組がある場合、認証部62は、要求元の利用者Aを正当な利用者であると判断する。対応する組がない場合、認証部62は、要求元の利用者Aを不当な(正当でない)利用者であると判断する。正当でない場合には、送受信部61が電子黒板2に対して、正当でない旨の通知を行うが、ここでは、正当である場合について説明を続ける。
次に、共用支援サーバ6の記憶・読出処理部69は、ステップS34によって受信された利用者Aの組織IDを検索キーとしてアクセス管理DB6002(図9(B)参照)を検索することにより、対応するアクセスIDおよびアクセスパスワードを読み出す(ステップS36)。
次に、送受信部61は、スケジュール管理サーバ8に対して、共用体の予約情報の要求を示す予約要求情報および利用者の予定情報の要求を示す予定要求情報を送信する(ステップS37)。予約要求情報および予定要求情報には、ステップS34によって受信された、タイムゾーン情報、通信端末の利用者IDおよび組織ID、並びにステップS36によって読み出された、アクセスIDおよびアクセスパスワードが含まれている。これにより、スケジュール管理サーバ8の送受信部81は、予約要求情報および予定要求情報を受信する。
次に、スケジュール管理サーバ8の認証部82は、アクセスIDおよびアクセスパスワードを利用して共用支援サーバ6の認証を行う(ステップS38)。具体的には、記憶・読出処理部89は、サーバ認証管理DB8006(図13(A)参照)において、ステップS37によって受信されたアクセスIDおよびアクセスパスワードの組に対応するアクセスIDおよびアクセスパスワードの組を検索する。対応する組がある場合、認証部82は、要求元の共用支援サーバ6を正当なアクセス者であると判断する。対応する組がない場合、認証部82は、要求元の共用支援サーバ6を不当な(正当でない)アクセス者であると判断する。正当でない場合には、送受信部81が共用支援サーバ6に対して、正当でない旨の通知を行うが、ここでは、正当である場合について説明を続ける。
スケジュール管理サーバ8の記憶・読出処理部89は、ステップS37によって受信された通信端末の利用者IDを検索キーとして、スケジューラで管理している共用体予約管理DB8004(図12(A)参照)を検索することにより、対応する予約情報を読み出す(ステップS39)。この場合、記憶・読出処理部89は、利用開始予定日時が本日である予約情報を読み出す。
さらに、記憶・読出処理部89は、ステップS37によって受信された通信端末の利用者IDを検索キーとして、スケジューラで管理しているイベント管理DB8005(図12(B)参照)を検索することにより、対応する予定情報を読み出す(ステップS40)。この場合、記憶・読出処理部89は、イベント開始予定日時が本日である予定情報を読み出す。スケジュール管理サーバ8が、電子黒板2等の通信端末とは別の国や地域にあった場合には、タイムゾーン情報に基づいて、タイムゾーンを通信端末が設置されている国や地域に併せて調整している。
次に、送受信部81は、共用支援サーバ6に対して、ステップS39によって読み出された予約情報、およびステップS40によって読み出された予定情報を送信する(ステップS41)。これにより、共用支援サーバ6の送受信部61は、予約情報および予定情報を受信する。
次に、共用支援サーバ6の作成部63は、ステップS41によって受信された予約情報および予定情報に基づいて、予約リストを作成する(ステップS42)。そして、送受信部61は、電子黒板2に対して、予約リストの内容を示す予約リスト情報を送信する(ステップS43)。これにより、電子黒板2の送受信部21は、予約リスト情報を受信する。
次に、電子黒板2では、表示制御部24が、ディスプレイ220上に、図24に示されているような予約リスト画面230を表示させる(ステップS44)。この予約リスト画面230には、共用体名(ここでは場所名)を表示する表示領域231、および本日の日時を表示する表示領域232が含まれている。さらに、予約リスト画面230には、本日の本共用体(ここでは、会議室X)を利用するイベントを示すイベント情報235、236、237等が表示されている。各イベント情報には、イベント毎に、本共用体の利用開始予定時刻および利用終了予定時刻、イベント名、本共用体を予約した予約者の名称(予約者名)が含まれている。イベント情報には、利用者が開始するイベントを特定する場合に押下される開始ボタン235s、236s、237s等が含まれている。
次に、図25において、利用者Aが、例えば、電子ペン2500等で開始ボタン235sを押下すると、受付部22が、イベント情報235で示されるイベントの選択を受け付ける(ステップS51)。次に、電子黒板2の送受信部21は、共用支援サーバ6に対して、上記ステップS51で選択された予定イベントを示す予定イベントIDを送信する(ステップS52)。ステップS52の処理は、実行イベント識別情報の送信要求処理である。これにより、共用支援サーバ6の送受信部61は、選択された予定イベントIDを受信する。
次に、共用支援サーバ6では、生成部64が、固有の実行イベントIDを生成する(ステップS53)。そして、記憶・読出処理部69が、ステップS53によって生成された実行イベントID、ステップS52によって受信された予約イベントID、予約者の利用者IDおよび組織ID、並びにイベント情報を関連付けて管理する(ステップS54)。なお、予約者の利用者IDおよび組織ID、並びにイベント情報は、ステップS41によって受信された予約情報および予定情報に基づくIDおよび情報である。なお、この時点では、予約管理テーブル(図9(C)参照)における参加有無欄への入力はない。
次に、共用支援サーバ6では、送受信部61が、スケジュール管理サーバ8に登録されたファイルデータの送信要求を示すファイルデータ送信要求情報を、スケジュール管理サーバ8へ送信する(ステップS55)。ファイルデータ送信要求情報には、ステップS52によって受信された予定イベントID、ステップS34によって受信された通信端末の利用者IDおよび組織ID、並びにステップS36によって読み出されたアクセスIDおよびアクセスパスワードが含まれている。これにより、スケジュール管理サーバ8の送受信部81は、ファイルデータ送信要求情報を受信する。
次に、スケジュール管理サーバ8の記憶・読出処理部89は、ステップS55によって受信された予定イベントIDを検索キーとしてイベント管理DB8005(図12(B)参照)を検索することにより、予定イベントIDに関連付けられたファイルデータを読み出す(ステップS56)。そして、送受信部81は、ステップS56によって読み出されたファイルデータを、共用支援サーバ6へ送信する(ステップS57)。これにより、共用支援サーバ6の送受信部61は、ファイルデータを受信する。
次に、共用支援サーバ6の記憶・読出処理部69は、ステップS52によって受信された予定イベントID、およびステップS53によって生成された実行イベントIDに関連付けて、ステップS57によって受信されたファイルデータを、予定管理DB6003(図9(C)参照)に記憶して管理する(ステップS58)。
そして、送受信部61は、電子黒板2に対して、ステップS53によって生成された実行イベントID、およびステップS57によって受信されたファイルデータを送信する(ステップS59)。これにより、電子黒板2の送受信部21は、実行イベントIDおよびファイルデータを受信する。
次に、電子黒板2では、記憶・読出処理部29が、記憶部2000に、実行イベントIDおよびファイルデータを記憶しておく(ステップS60)。ここで、共用支援サーバ6から送信されたファイルデータは、記憶部2000の特定の記憶領域に記憶される。これにより、電子黒板2は、イベントの実行中に、特定の記憶領域にアクセスすることによって、表示制御部24が特定の記憶領域に記憶されたファイルデータをディスプレイ220に表示させる。ここで、特定の記憶領域は、実行中のイベント毎に設けられたデータの一時的な記憶先であり、記憶部2000内での所在を示す任意のパス(文字列)によって特定される記憶領域である。なお、特定の記憶領域は、電子黒板2の内部に設けられる構成に限られず、電子黒板2に接続される外部記憶装置、またはオンプレミス環境に存在し、電子黒板2と通信可能なローカルサーバ等に設けられる構成であってもよい。
次に、表示制御部24は、ディスプレイ220上に、図26に示されているように、選択されたイベントの詳細情報画面250を表示させる(ステップS61)。このイベントの詳細情報画面250には、イベント名の表示領域251、イベントの実施予定時間(開始予定時間および終了予定時間)の表示領域252、および予約者名の表示領域253が含まれている。さらに、イベントの詳細情報画面250には、メモの内容を表示するための表示領域256、参加予定者名を表示するための表示領域257、および記憶部2000の特定の記憶領域に記憶されたファイルデータを識別するための識別情報(例えば、ファイル名)を表示するための表示領域258が表示されている。表示領域257には、図21によって示されている予約者名および選択された他の参加者名が表示されると共に、各参加予定者名には実際に会議に参加している人をチェックするためのチェックボックスが表示されている。また、表示領域258には、記憶部2000の特定の記憶領域に記憶されたファイルデータ、すなわち共用支援サーバ6からダウンロードされたファイルデータのファイル名が表示されているとともに、共用支援サーバ6からダウンロード中のファイルデータのファイル名も表示されている。さらに、イベントの詳細情報画面250の右下側には、この詳細情報画面250を閉じるための「閉じる」ボタン259が含まれている。
次に、利用者が、参加予定者名のうち、実際に参加している利用者のチェックボックスにチェックして、「閉じる」ボタン259を押下すると、受付部22は、参加者の選択を受け付ける(ステップS62)。そして、送受信部21は、共用支援サーバ6に対して、各参加予定者の利用者IDおよび参加の有無を示す情報を送信する(ステップS63)。これにより、共用支援サーバ6の送受信部61は、各参加予定者の利用者IDおよび参加の有無を示す情報を受信する。
次に、共用支援サーバ6では、予定管理DB6003において、入力されていなかった参加有無欄に、参加の有無を記憶して管理する(ステップS64)。
以上により、利用者Aは、共用体(ここでは、会議室X)および通信端末(ここでは、電子黒板2)を利用して、イベント(ここでは、方針決定会議)を開始する。電子黒板2の表示制御部24は、イベントが開始されると、ディスプレイ220に、図27に示されているような表示画面100aを表示させる。図27は、イベント開始時に電子黒板に表示される表示画面を示した図である。図27に示す表示画面100aには、メニューバー121、イベント開始からの経過時間またはイベント終了までの残り時間を示す時間情報124、並びに電子黒板2の電源をOFFする場合に押下される電源アイコン117が含まれている。メニューバー121は、Launcher102の操作表示画面(ウインドウ)の一例である。このメニューバー121には、イベント実行中の各種処理を行う際に選択(押下)される複数の操作アイコン125(125a~125j)を含まれている。操作アイコン125aは、実行中のイベントの詳細情報を閲覧するために選択(押下)される。操作アイコン125bは、各種外部アプリ103を起動させる際に選択(押下)される。操作アイコン125cは、記憶部2000の特定の記憶領域に記憶されたファイルデータを閲覧する際に選択(押下)される。操作アイコン125dは、起動中の外部アプリ103のアプリ表示画面の表示を切り替える際に選択(押下)される。操作アイコン125eは、外部アプリ103のアプリ表示画面の画面サイズを変更する際に選択(押下)される。操作アイコン125fは、実行されているイベントに関する各種操作を行う際に選択(押下)される。操作アイコン125gは、ディスプレイ220に表示されている表示画面100aをキャプチャする際に選択(押下)される。操作アイコン125hは、実行中のイベントを終了する際に選択(押下)される。操作アイコン125iは、ブラウザを用いた検索を行うためにブラウザアプリ103cを起動させる際に選択(押下)される。操作アイコン125jは、文字または数値等の入力を行う際に選択(押下)される。
ここで、電子黒板2に表示される表示画面に含まれる各種アイコンは、「受付領域」の一例である。受付領域は、アイコンやボタン等の画像だけでなく、「変更」等の文字、または画像と文字を組み合わせたものであってもよい。ここでの画像は、記号や図形だけでなく、イラストや模様等のユーザが視認できる画像であればよい。また、各種アイコンの選択(押下)は、各種アイコンに対する操作の一例である。各種アイコンに対する操作には、例えば、電子ペン2500を用いたディスプレイ220への入力操作、PC2700が有する入力手段の一例であるマウスによるダブルクリックまたはシングルクリック、PC2700が有する入力手段の一例であるキーボードを用いた入力操作が挙げられる。
そして、図28に示されているように、利用者Aは、会議室Xで、電子黒板2を利用して会議を行うことができる。電子黒板2の表示制御部24は、イベント実行画面Rとして、表示画面100aに含まれるメニューバー121が縮小されたメニューバー120および資料ファイルのファイルデータr4を、ディスプレイ220に表示させる。例えば、電子黒板2の利用者Aは、操作アイコン125cを押下することで、受付部22が操作アイコン125cの選択を受け付け、表示制御部24が記憶部2000の特定の記憶領域に記憶された資料ファイルのファイルデータr4を表示させる。なお、電子黒板2の表示制御部24は、ステップS59によって受信されたファイルデータだけでなく、記憶部2000に予め記憶されたファイルデータ、または開始されているイベントにおいて新たに生成されるファイルデータを表示させてもよい。この場合、電子黒板2の記憶・読出処理部29は、開始されているイベントにおいて生成または更新されたファイルデータを、記憶部2000の特定の記憶領域に記憶させる。
<実行イベント履歴の登録処理>
続いて、図29~図33を用いて、実行イベント履歴の登録処理について説明する。
図29および図33は、実施形態に係る共用システムの実行イベント履歴の登録処理の流れの一例を示すシーケンス図である。図30は、実施形態に係る共用システムの音声テキスト変換処理の流れの一例を示すフローチャートである。
まず、電子黒板2の判断部25は、開始されているイベントにおけるコンテンツの処理の種類を判断する(ステップS71)。具体的には、コンテンツが画像・音処理部23による録音によって生じる音データの場合には、判断部25は、コンテンツの処理の種類が「録音」であると判断する。コンテンツが画像・音処理部23によるスナップショット(キャプチャ)によって取得された画像データの場合には、判断部25は、コンテンツの処理の種類が「スナップショット」であると判断する。コンテンツが送受信部21によって送信された資料ファイルデータの場合には、判断部25は、コンテンツの処理の種類が「資料送信」であると判断する。
次に、送受信部21は、共用支援サーバ6へ、発生したコンテンツの登録要求を示す登録要求情報を送信する(ステップS72)。この場合、送受信部21は、コンテンツが発生するたびに自動的に登録要求情報を送信する。この登録要求情報には、実行イベントID、コンテンツの送信元の利用者ID、コンテンツデータ、およびコンテンツ処理の種類情報が含まれている。これにより、共用支援サーバ6の送受信部61は、登録要求情報を受信する。
次に、共用支援サーバ6の判断部65は、送受信部61によって受信された登録要求情報に含まれる種類情報に基づいて、受信されたコンテンツ処理の種類を判断する(ステップS73)。また、共用支援サーバ6の記憶・読出処理部69は、S72によって受信された利用者IDを検索キーとして利用者認証管理DB6001(図9(A)参照)を検索することにより、対応する組織IDを読み出す(ステップS74)。そして、共用支援サーバ6の送受信部61は、判断部65によってコンテンツ処理の種類が「録音」であると判断された場合、スケジュール管理サーバ8へ、コンテンツデータである音データ、および、ステップS74で読み出された組織IDを送信する(ステップS75)。なお、送受信部61は、さらに利用者IDをスケジュール管理サーバ8へ送信するものとしてもよい。これにより、スケジュール管理サーバ8の送受信部81は、音データおよび組織IDを受信する。そして、スケジュール管理サーバ8の辞書探索部86は、送受信部81により受信された組織IDを検索キーとしてカスタム辞書管理DB8014を参照し、対応するカスタム辞書を探索する(ステップS76)。そして、送受信部81は、受信した音データ、および辞書探索部86により探索されたカスタム辞書を、音声テキスト変換サーバ9へ送信する(ステップS77)。なお、ステップS76でカスタム辞書が探索されなかった場合、送受信部81は、音データのみ音声テキスト変換サーバ9へ送信すればよい。これにより、音声テキスト変換サーバ9の送受信部91は、音データおよびカスタム辞書を受信する。なお、コンテンツ処理の種類が「録音」以外である場合、共用支援サーバ6は、ステップS74~ステップS80の処理は行わずに、ステップS81の処理へ移行する。
次に、音声テキスト変換サーバ9の変換部93は、送受信部91によって受信された音データを、カスタム辞書を利用してテキストデータに変換する(ステップS78)。ここで、図30を用いて、音声テキスト変換サーバ9における音声テキスト変換処理について説明する。まず、変換部93は、送受信部91によって音データが受信された日時を示す情報を取得する(ステップS78-1)。なお、ステップS78-1によって取得される情報は、共用支援サーバ6が音データを受信した日時または共用支援サーバ6が音データを送信した日時を示す情報であってもよい。この場合、音声テキスト変換サーバ9の送受信部91は、ステップS77において、スケジュール管理サーバ8から送信された音データおよび上記日時を示す情報を受信する。
次に、変換部93は、送受信部91によって受信された音データに対して、音声テキスト変換サーバ9が保持する基本辞書と共に、ステップS77で受信されたカスタム辞書を利用してテキスト変換処理を実行する(ステップS78-2)。例えば、図17に示したカスタ辞書管理テーブルにおける組織ID「o1011」に対応するカスタム辞書が利用される場合、変換部93は、音データから基本辞書を利用して「移行(読み:いこう)の佐藤さん」というテキストデータに変換したとしても、カスタム辞書に基づいて「リコーの佐藤さん」のように修正して変換することができる。そして、変換部93は、音データのテキスト変換処理が完了した場合(ステップS78-3のYES)、処理をステップS78-4へ移行させる。一方で、変換部93は、音データのテキスト変換処理が完了するまでステップS78-2の処理を繰り返す。ここで、ステップS78-3において、変換部93は、送受信部91によって受信された音データに基づいて、所定の分量のテキスト変換が行われた場合、音データのテキスト変換処理が完了したと判断する。例えば、変換部93は、1センテンス分のテキスト変換が行われた場合、音データのテキスト変換処理が完了したと判断する。そして、変換部93は、音データから変換されたテキストデータを生成する(ステップS78-4)。これにより、音声テキスト変換サーバ9は、スケジュール管理サーバ8から送信された音データをテキストデータに変換する。音声テキスト変換サーバ9は、スケジュール管理サーバ8から送信された音データを随時受信しているため、図30に示す処理を繰り返し実行する。
ここで、図31を用いて、図29のステップS75~ステップS80、および図30で説明した音声テキスト変換処理について、より詳細に説明する。図31は、実施形態に係る共用システムの音声テキスト変換処理の流れの一例を示すシーケンス図である。なお、図31では、説明を簡潔にするため、音データを中継するスケジュール管理サーバ8の記載を省略し、共用支援サーバ6から音声テキスト変換サーバ9へ音データが送信されるものとして説明する。
図29のステップS72に示すように、電子黒板2の送受信部21は、共用支援サーバ6に対して、実行されているイベントによって発生した音データを随時送信する(ステップSa1、ステップSa2)。これにより、共用支援サーバ6の送受信部61は、電子黒板2から送信された音データを随時受信する。そして、共用支援サーバ6の送受信部61は、電子黒板2から送信された音データを、音声テキスト変換サーバ9へ随時送信する(ステップSb1、ステップSb2)。これにより、音声テキスト変換サーバ9の送受信部91は、共用支援サーバ6から送信された音データを随時受信する。
ここで、ステップSa1によって電子黒板2から共用支援サーバ6へ送信された音データは、ステップSb1によって共用支援サーバ6から音声テキスト変換サーバ9へ送信された音データに対応し、ステップSa2によって電子黒板2から共用支援サーバ6へ送信された音データは、ステップSb2によって共用支援サーバ6からスケジュール管理サーバ8へ送信された音データに対応する。このように、電子黒板2の画像・音処理部23によって集音されて処理された音データは、随時音声テキスト変換サーバ9へ送信される。
音声テキスト変換サーバ9の変換部93は、送受信部91によって受信された音データを、テキストデータに変換する。そして、音声テキスト変換サーバ9の送受信部91は、共用支援サーバ6に対して、変換部93によって変換されたテキストデータを送信する(ステップSc1)。この場合、ステップSc1によって送信されるテキストデータは、ステップSb1およびステップSb2によって受信された音データがテキスト変換されたテキストデータである。
ここで、ステップSc1によって音声テキスト変換サーバ9から共用支援サーバ6に送信されるテキストデータは、未確定のテキストデータである。音声テキスト変換サーバ9の変換部93は、所定の分量のテキスト変換が行われた場合、音データのテキスト変換が完了し、テキストデータが確定したと判断する。例えば、変換部93は、1センテンス分のテキスト変換が行われた場合、音データのテキスト変換が完了し、テキストデータが確定したと判断する。ステップSc1では、未確定のテキストデータであるため、送受信部91は、変換部93によって変換されたテキストデータ(「In this fiscal year, more」)とともに、テキストデータが確定していない(未確定)ことを示す未確定フラグを送信する。
そして、共用支援サーバ6の送受信部61は、音声テキスト変換サーバ9から送信されたテキストデータ(未確定のテキストデータ)を、電子黒板2へ送信する(ステップSc2)。これにより、電子黒板2の送受信部21は、共用支援サーバ6から送信されたテキストデータ(未確定のテキストデータ)を受信する。そして、電子黒板2の表示制御部24は、送受信部21によって受信されたテキストデータを、ディスプレイ508に表示させる。電子黒板2は、図28に示されているようなイベント実行画面Rに、実行中のイベントによって発生した音データの字幕表示としてテキストデータを表示させることができる。なお、電子黒板2は、未確定のテキストデータであっても受信して表示させることで、電子黒板2の利用者に、音声テキスト変換サーバ9による音声テキスト変換処理が随時行われていることを確認させることができる。
共用システム1は、上記で示されるような処理を繰り返す(ステップSa3~Sa7、Sb3~Sb7、Sc3~Sc4)ことにより、電子黒板2の画像・音処理部23によって集音されて処理された音データのテキスト変換処理を繰り返し実行する。なお、音声テキスト変換サーバ9によって未確定のテキストデータを送信すされる回数(頻度)は、適宜設定可能である。
音声テキスト変換サーバ9の送受信部91は、変換部93によって音データのテキスト変換が完了し、テキストデータが確定したと判断された場合、確定のテキストデータを、共用支援サーバ6に対して送信する(ステップSc5)。この場合、送受信部91は、変換部93によって変換されたテキストデータ(「In this fiscal year, more than twice the results of last year.」)とともに、テキストデータが確定したことを示す確定フラグを送信する。これにより、共用支援サーバ6の送受信部61は、音声テキスト変換サーバ9から送信されたテキストデータ(確定のテキストデータ)を受信する。
ここで、ステップSc5によって受信されたテキストデータは、図29のステップS83の処理によってコンテンツ管理DB6005に記憶されて管理される。この場合、ステップSc5によって受信されたテキストデータの処理に係る日時は、ステップSb1よって音データが送信された日時から、ステップSc5によってテキストデータが受信された日時となる。すなわち、コンテンツ管理DB6005に記憶されるコンテンツ処理の開始日時は、ステップSb1によって音データが送信された日時であり、コンテンツ処理の終了日時は、ステップSc5によってテキストデータが受信された日時である。このように、共用支援サーバ6は、音声テキスト変換サーバ9から送信されたテキストデータ(確定したテキストデータ)とともに、テキストデータに対応する音データの音声テキスト変換サーバ9への送信が開始された日時から確定したテキストデータを受信した日時を、コンテンツ処理の開始および終了日時として管理することができる。
そして、共用支援サーバ6の送受信部61は、電子黒板2に対して、音声テキスト変換サーバ9から送信されたテキストデータ(確定のテキストデータ)を送信する(ステップSc6)。これにより、電子黒板2の送受信部21は、共用支援サーバ6から送信されたテキストデータを受信する。そして、電子黒板2の送受信部21は、共用支援サーバ6から送信されたテキストデータをディスプレイ220に表示させる。
このように、共用システム1は、実行されているイベントによって発生した音データを、音声テキスト変換サーバ9を用いてテキストデータに変換することができるとともに、テキストデータの発生時間に関する情報(コンテンツ処理の開始日時および終了日時)を共用支援サーバ6およびスケジュール管理サーバ8に記憶させて管理させることができる。
図29に戻り、実行イベント履歴の登録処理の説明を続ける。送受信部91は、変換部93によって変換されたテキストデータを、スケジュール管理サーバ8へ送信する(ステップS79)。ここで、送受信部91は、テキストデータとともに、ステップS78-1によって取得された日時を示す情報を、スケジュール管理サーバ8へ送信する。これにより、スケジュール管理サーバ8の送受信部81は、テキストデータを受信する。さらに、送受信部81は、受信したテキストデータを、共用支援サーバ6へ送信する(ステップS80)。ここで、送受信部81は、テキストデータとともに、ステップS79で受信した日時を示す情報を、共用支援サーバ6へ送信する。これにより、共用支援サーバ6の送受信部61は、テキストデータを受信する。
次に、生成部64は、イベントにより発生したコンテンツ処理を識別するための固有のコンテンツ処理IDを生成する(ステップS81)。また、生成部64は、コンテンツの内容を示したコンテンツデータのURLを生成する(ステップS82)。そして、記憶・読出処理部69は、コンテンツ管理DB6005(図10参照)に対して、ステップS72によって受信された実行イベントID毎に、コンテンツ処理の種類、コンテンツ処理の開始日時および終了日時、ステップS77によって生成されたコンテンツ処理ID、並びにステップS82によって生成されたコンテンツの保存先を示すURLを関連付けて管理する(ステップS83)。
ここで、コンテンツ処理の種類が「音声テキスト変換」である場合、コンテンツ処理の開始日時および終了日時は、音データがテキストデータに変換された日時である。ここで、音データがテキストデータに変換された日時とは、図31に示されているように、共用支援サーバ6の送受信部61によって音データを送信された日時および共用支援サーバ6の送受信部61によってテキストデータが受信された日時である。なお、音データがテキストデータに変換された日時は、音声テキスト変換サーバ9の送受信部91によって音データが受信された日時および音声テキスト変換サーバ9の送受信部91によってテキストデータが送信された日時であってもよい。また、コンテンツ処理の種類が「音声テキスト変換」である場合、コンテンツ処理の開始日時および終了日時は、テキスト変換対象の音データに係るコンテンツ処理の開始日時および終了日時と同じ日時であってもよい。
また、コンテンツ処理の種類が「録音」、「スナップショット」および「資料送信」である場合、コンテンツの処理の開始日時および終了日時は、共用支援サーバ6の送受信部61によってコンテンツデータ(音データ、画像データ、ファイルデータ)が受信された日時である。なお、コンテンツ処理の種類が「録音」、「スナップショット」および「資料送信」である場合、コンテンツの処理の開始日時および終了日時は、電子黒板2の送受信部21によってコンテンツデータが送信された日時であってもよい。また、コンテンツ処理の種類が「録音」である場合、画像・音処理部23による録音が行われた開始日時および終了日時であってもよい。さらに、コンテンツ処理の種類が「スナップショット」である場合、コンテンツの処理の開始日時および終了日時は、画像・音処理部23によるスナップショット(キャプチャ)が行われた日時であってもよい。
次に、図33において、共用支援サーバ6の記憶・読出処理部69は、ステップS72によって受信された利用者IDを検索キーとして利用者認証管理DB6001(図9(A)参照)を検索することにより、対応する組織IDを読み出す(ステップS91)。
次に、記憶・読出処理部69は、ステップS91によって読み出された組織IDを検索キーとしてアクセス管理DB6002(図9(B)参照)を検索することにより、対応するアクセスIDおよびアクセスパスワードを読み出す(ステップS92)。
次に、送受信部61は、スケジュール管理サーバ8に対して、実行イベント履歴の登録要求を示す実行イベント履歴の登録要求情報を送信する(ステップS93)。この実行イベント履歴の登録要求情報には、ステップS72によって受信された実行イベントID、送信元の利用者ID、コンテンツデータ、ステップS77によって生成されたコンテンツ処理ID、ステップS78によって生成されたコンテンツデータのURL、ステップS92によって読み出されたアクセスIDおよびアクセスパスワード、並びにコンテンツ処理の開始日時および終了日時が含まれている。これにより、スケジュール管理サーバ8の送受信部81は、実行イベント履歴の登録要求情報を受信する。
次に、スケジュール管理サーバ8では、認証部82が、アクセスIDおよびアクセスパスワードを利用して共用支援サーバ6の認証を行う(ステップS94)。この認証は、ステップS38と同様の処理であるため、説明を省略する。ここでは、正当である場合について説明を続ける。
次に、記憶・読出処理部89は、実行イベント履歴管理DB8008(図13(B)参照)に対して、ステップS93によって受信された各種データ(情報)を記憶して管理する(ステップS95)。記憶・読出処理部89は、ステップS93によって受信された実行イベントIDに関連付けて、各種データ(情報)を、実行イベント履歴管理DB8008に記憶する。これにより、スケジュール管理サーバ8は、共用支援サーバ6側と同様の内容のデータを管理する。
また、スケジュール管理サーバ8の生成部83は、ステップS93によって受信されたコンテンツデータを、コンテンツの発生時間帯毎に関連付けた関連情報を生成する(ステップS96)。ここで、関連情報に含まれるコンテンツの発生時間帯は、イベント管理DB8005に記憶されたイベントの開始日時、および実行イベント履歴管理DB8008に記憶されたコンテンツ処理の開始日時および終了日時を用いて生成される。すなわち、コンテンツの発生時間帯は、実行されたイベントにおいてコンテンツが発生した時点における、イベントの開始日時からの経過時間を示す。そして、スケジュール管理サーバ8の記憶・読出処理部89は、関連情報管理DB8010(図14(B)参照)に対して、ステップS93によって受信された実行イベントIDに関連付けて、生成部83によって生成された関連情報を記憶して管理する(ステップS97)。これにより、スケジュール管理サーバ8は、コンテンツ処理の種別が異なるコンテンツデータを、各コンテンツの発生時間毎に関連付けて管理する。
そして、スケジュール管理サーバ8の記憶・読出処理部89は、テキスト情報管理DB8012(図15参照)に対して、ステップS93によって受信された実行イベントIDに関連付けて、ステップS93によって受信されたテキストデータを含むテキスト情報を記憶して管理する(ステップS98)。具体的には、生成部83は、ステップS93によって受信されたテキストデータおよびコンテンツ処理ID、ステップS93によって受信されたテキストデータを識別するテキストID、並びに状態情報を含むテキスト情報を生成する。そして、記憶・読出処理部89は、生成部83によって生成されたテキスト情報を、ステップS93によって受信された実行イベントIDに関連付けてテキスト情報管理DB8012に記憶する。この場合、テキスト情報に含まれる状態情報は、関連付けられたテキストデータが編集されていないことを示す「Original」の情報が付与される。
ここで、図32を用いて、共用支援サーバ6およびスケジュール管理サーバ8に記憶されるテキストデータのデータ形式について説明する。図32は、テキストデータを含むデータファイルの一例を示す図である。図32に示されるデータファイルd1は、コンテンツ管理DB6005および実行イベント履歴管理DB8008に示されるコンテンツの保存先のURLに記憶されて管理されている。
図32に示すように、データファイルd1には、10個のテキストデータ(transcript)が含まれている。また、各テキストデータ(0~9)には、コンテンツ処理が発生した順番を示すシーケンス番号(seq_num)、テキストデータ(text)、コンテンツ処理の開始日時(start time)、コンテンツ処理の終了日時(end_time)およびコンテンツ処理ID(id)がそれぞれ含まれている。これらの情報は、コンテンツ管理DB6005および実行イベント履歴管理DB8008のそれぞれの項目に対応する情報と同じである。なお、データファイルd1に含まれるテキストデータの数は、これに限られない。
このように、共用支援サーバ6およびスケジュール管理サーバ8は、テキストデータとそのテキストデータの処理に関する時間の情報(コンテンツ処理の開始日時および終了日時)を関連付けて、図32に示されているようなデータファイルd1で管理することができる。
以上により、電子黒板2は、実行されているイベントの実行イベントIDと、対応するイベントによって生じたコンテンツを、スケジュール管理サーバ8へ送信することができる。また、スケジュール管理サーバ8は、受信したコンテンツを、実行イベントID毎に、実行イベント履歴管理DB8008に記憶することができる。これによって、共用システム1は、実行されたイベントにより生じたコンテンツを、イベント毎に記憶することができる。
<イベントの終了処理>
続いて、図34~図38を用いて、実行中のイベントを終了する処理について説明する。
図34および図35は、実施形態に係る共用システムのイベントの終了処理の流れの一例を示すシーケンス図である。図36は、電子黒板上に表示されるイベント終了画面を示す図である。図37は、電子黒板上に表示されるファイルデータのアップロード画面を示す図である。図38は、電子黒板上に表示されるファイルデータのアップロード完了画面を示す図である。
図34において、利用者Aがディスプレイ220に表示されている画面を閉じることによって、受付部22は、実行されているイベントの終了を受け付ける(ステップS301)。
そして、送受信部21は、共用支援サーバ6に対して、実行イベントの開始日時および終了日時を示す実行イベント開始終了情報、並びにファイルデータの登録要求を示すファイルデータの登録要求情報を送信する(ステップS302)。この実行イベント開始終了情報には、実行イベントID、イベント名、イベントの開始日時および終了日時が含まれる。また、このファイルデータの登録要求情報には、実行イベントID、送信元の利用者ID、およびファイルデータが含まれる。これにより、共用支援サーバ6の送受信部61は、実行イベント開始終了情報、およびファイルデータの登録要求情報を受信する。
次に、共用支援サーバ6の生成部64は、イベントにより発生したコンテンツ処理を識別するための固有のコンテンツ処理IDを生成する(ステップS303)。また、生成部64は、コンテンツの内容を示したコンテンツデータのURLを生成する(ステップS304)。そして、記憶・読出処理部69は、コンテンツ管理DB6005(図10参照)に対して、ステップS302によって受信された実行イベントID毎に、コンテンツ処理の種類、コンテンツ処理の開始日時および終了日時、ステップS303によって生成されたコンテンツ処理ID、並びにステップS304によって生成されたコンテンツの保存先を示すURLを関連付けて管理する(ステップ305)。
次に、共用支援サーバ6の記憶・読出処理部69は、ステップS72によって受信された利用者IDを検索キーとして利用者認証管理DB6001(図9(A)参照)を検索することにより、対応する組織IDを読み出す(ステップS306)。
次に、記憶・読出処理部69は、ステップS91によって読み出された組織IDを検索キーとしてアクセス管理DB6002(図9(B)参照)を検索することにより、対応するアクセスIDおよびアクセスパスワードを読み出す(ステップS307)。
次に、図35において、送受信部61は、スケジュール管理サーバ8に対して、ステップS302によって受信された実行イベント開始終了情報、およびファイルデータの登録要求を示すファイルデータの登録要求情報を送信する(ステップS308)。このファイルデータの登録要求情報には、ステップS302によって受信された実行イベントID、送信元の利用者IDおよびファイルデータ、ステップS303によって生成されたコンテンツ処理ID、ステップS304によって生成されたファイルデータのURL、ステップS307によって読み出されたアクセスIDおよびアクセスパスワード、並びにコンテンツ処理の開始日時および終了日時が含まれている。これにより、スケジュール管理サーバ8の送受信部81は、実行イベント開始終了情報、およびファイルデータの登録要求情報を受信する。
次に、スケジュール管理サーバ8では、認証部82が、アクセスIDおよびアクセスパスワードを利用して共用支援サーバ6の認証を行う(ステップS309)。この認証は、ステップS38と同様の処理であるため、説明を省略する。ここでは、正当である場合について説明を続ける。
次に、スケジュール管理サーバ8の記憶・読出処理部89は、実行イベント管理DB8009(図14(A)参照)に対して、ステップS308によって受信された実行イベント開始終了情報を記憶する(ステップS310)。この場合、記憶・読出処理部89は、実行イベント管理DB8009の実行イベント管理テーブルに1レコード分の実行イベント開始終了情報を追加する。
次に、記憶・読出処理部89は、実行イベント履歴管理DB8008に対して、ステップS308によって受信された各種データ(情報)を記憶して管理する(ステップS311)。記憶・読出処理部89は、ステップS308によって受信された実行イベントIDに関連付けて、ファイルデータを含む各種データ(情報)を、実行イベント履歴管理DB8008(図13(B)参照)に記憶する。これにより、スケジュール管理サーバ8は、共用支援サーバ6側と同様のファイルデータを管理する。
次に、送受信部81は、共用支援サーバ6に対して、ファイルデータが登録されたことを示すファイルデータ登録情報を送信する(ステップS312)。これにより、共用支援サーバ6の送受信部61は、ファイルデータ登録情報を受信する。
そして、共用支援サーバ6の送受信部61は、スケジュール管理サーバ8から送信されたファイルデータ登録情報を、電子黒板2へ送信する(ステップS313)。これによって、電子黒板2の送受信部21は、ファイルデータ登録情報を受信する。
次に、電子黒板2の記憶・読出処理部29は、送受信部21によってファイルデータ登録情報が受信された場合、記憶部2000の特定の記憶領域に記憶されたファイルデータを削除する(ステップS314)。これにより、電子黒板2は、共用支援サーバ6に送信済みのファイルデータを削除することで、会議情報等の漏えいのリスクを低減させることができる。
ここで、実行中のイベントを終了する際における電子黒板2に表示される画面の画面遷移を説明する。まず、ステップS301において、受付部22により実行されているイベントの終了が受け付けられた場合、表示制御部24は、ディスプレイ220上に、図36に示されているようなイベント終了画面270を表示させる。このイベント終了画面270には、ファイル表示領域272、ファイルアップロード選択領域273、実行中のイベントの終了処理を進める場合に押下される「Close」ボタン278、実行中のイベントの終了処理をキャンセルする場合に押下される「CANCEL」ボタン279が含まれる。ファイル表示領域272は、記憶部2000の特定の記憶領域に記憶された資料ファイルのファイルデータを識別するためのファイルデータ画像272a,272b,272cが表示される。ファイルアップロード選択領域273には、ファイル表示領域272に表示されたファイルデータ画像に対応するファイルデータを、共用支援サーバ6にアップロードするか否かの選択を受け付けるチェックボックスが含まれる。
ファイルアップロード選択領域273が選択された状態で、受付部22が「Close」ボタン278の選択を受け付けた場合、表示制御部24は、ディスプレイ220上に、図37に示されるようなファイルアップロード画面280aを表示させる。このファイルアップロード画面280aは、記憶部2000の特定の記憶領域に記憶されたファイルデータが、共用支援サーバ6にアップロードされている際に、ディスプレイ220上に表示される。ファイルアップロード画面280aは、終了するイベントのイベント名281、イベントの終了日時282、ファイルデータのアップロード進捗表示領域283、ファイルデータのアップロードを中断(中止)する場合に押下される「CANCEL」ボタン288が含まれている。アップロード進捗表示領域283には、アップロードするファイルデータの数(例えば、図37に示されている「3」)とアップロードが完了したファイルデータの数(例えば、図37に示されている「0」)が表示される。
そして、ファイルデータのアップロードが完了した場合、表示制御部24は、図38に示されるようなアップロード完了画面280bを表示させる。アップロード完了画面280bには、イベントを終了させる場合に押下される「Close」ボタン288が含まれている。ディスプレイ220上にアップロード完了画面280bが表示された場合、ステップS314で示したように、電子黒板2の記憶・読出処理部29は、アップロードが完了したファイルデータを、記憶部2000の特定の記憶領域から削除する。
一方で、ディスプレイ220上にファイルアップロード画面280aが表示されている状態において、ファイルデータのアップロードに失敗した場合、表示制御部24は、アップロードに失敗したファイルデータを特定するための情報(例えば、ファイル名)を表示する。これにより、例えば、通信ネットワーク10の障害等の発生時に、イベントの参加者は、イベントで作成または編集したファイルデータを印刷したり、電子黒板2に接続されたUSBメモリ2600にファイルデータを記憶したりすることによって、アップロードに失敗したファイルデータを持ち帰ることができる。
また、イベントが終了した後も記憶部2000の特定の記憶領域にファイルデータが残っている場合、電子黒板2の記憶・読出処理部29は、例えば、電子黒板2を使用した次のイベントの開始時に、特定の記憶領域に記憶されたファイルデータを削除する。これによって、電子黒板2は、会議情報等の漏えいのリスクを低減させることができる。
<実行イベント履歴の閲覧処理>
図39および図40は、実施形態に係る共用システムの実行イベント履歴の閲覧処理の流れの一例を示すシーケンス図である。図41は、実施形態に係るPC上に表示される実行イベントリスト画面を示す図である。図42は、実施形態に係るPC上に表示される実行イベント履歴画面を示す図である。図39~図42を用いて、実行イベント履歴の閲覧処理について説明する。なお、図39に示すステップS111~S117の処理は、それぞれ図18に示すステップS11~S17の処理と同様である。
図20に示されている初期画面540において、利用者が「実行イベント履歴閲覧」ボタン543を押下すると、受付部52は、実行イベント履歴の閲覧を受け付ける(ステップS118)。
そして、送受信部51は、スケジュール管理サーバ8に対して、実行イベント履歴閲覧要求を示す実行イベント履歴閲覧要求情報を送信する(ステップS119)。これにより、スケジュール管理サーバ8の送受信部81は、実行イベント履歴閲覧要求情報を受信する。
次に、スケジュール管理サーバ8では、記憶・読出処理部89が、実行イベント管理DB8009に記憶された実行イベント開始終了情報を読み出す(ステップS120)。この実行イベント開始終了情報には、実行イベントID、イベント名、開始日時および終了日時が含まれる。
そして、送受信部81は、PC5に対して、ステップS120で読み出された実行イベントID、イベント名、開始日時および終了日時を送信する(ステップS121)。これにより、PC5の送受信部51は、実行イベントID、イベント名、開始日時および終了日時を受信する。
次に、PC5の生成部56は、ステップS121で受信されたデータ(情報)を用いて、図41に示されているような実行イベントリスト画面570を生成する(ステップS122)。そして、PC5では、表示制御部54がディスプレイ508上に、生成部56によって生成された実行イベントリスト画面570を表示させる(ステップS123)。図41に示されているように、実行イベントリスト画面570には、実行イベントを示す情報571~573が含まれている。例えば、実行イベントを示す情報571~573には、実行イベント名、イベントの開始日時および終了日時が表示されている。実行イベントを示す情報571~573は、イベントの実行内容を示す履歴情報を表示させるための選択を受け付ける履歴情報選択領域の一例である。また、実行イベントリスト画面570の右下部分には、実行イベントリスト画面570を閉じるための「閉じる」ボタン575が含まれている。
次に、PC5の受付部52は、実行イベントリスト画面570に含まれる実行イベントの選択を受け付ける(ステップS124)。具体的には、利用者が実行イベントリスト画面570に含まれる実行イベントを示す情報571~573のいずれかを選択した場合、受付部52が実行イベントを示す情報の選択を受け付ける。そして、PC5の送受信部51は、受付部52によって選択された実行イベントの実行イベントIDを、スケジュール管理サーバ8へ送信する(ステップS125)。これにより、スケジュール管理サーバ8の送受信部81は、実行イベントIDを受信する。
次に、スケジュール管理サーバ8の記憶・読出処理部89は、ステップS125によって受信された実行イベントIDを検索キーとして実行イベント履歴管理DB8008を検索することにより、対応する実行イベント履歴情報を読み出す(ステップS126)。この実行イベント履歴情報には、コンテンツ処理ID、コンテンツ処理の種類、コンテンツ処理の開始日時および終了日時が含まれている。
また、スケジュール管理サーバ8の記憶・読出処理部89は、ステップS125によって受信された実行イベントIDを検索キーとして関連情報管理DB8010を検索することにより、対応する関連情報を読み出す(ステップS127)。この関連情報には、コンテンツの発生時間帯、コンテンツ処理ID、コンテンツ処理の種類およびシーケンスNoが含まれている。関連情報に含まれるコンテンツの発生時間帯は、時間情報の一例である。
そして、記憶・読出処理部89は、ステップS126によって読み出された実行イベント履歴の内容を示すコンテンツデータの保存先から、実行イベント履歴の内容を示すコンテンツデータを読み出す(ステップS128)。そして、送受信部81は、読み出された関連情報およびコンテンツデータを、PC5へ送信する(ステップS129)。これにより、PC5の送受信部51は、関連情報およびコンテンツデータを受信する。
次に、PC5の音制御部58は、ステップS129によって受信されたコンテンツデータである音データの再生箇所を設定する(ステップS130)。この場合、音制御部58は、受信された関連情報のうち、コンテンツ発生時間帯「00:00」に関連付けられた音データに対応する箇所を、音データの再生箇所として設定する。
次に、PC5の生成部56は、ステップS129によって受信された関連情報およびコンテンツデータを用いて、図42に示されているような実行イベント履歴画面580を生成する(ステップS131)。図42に示されているように、実行イベント履歴画面580には、実行されたイベントによって生じたコンテンツのデータが、コンテンツ処理の種類毎に示されている。実行イベント履歴画面580には、録音データの再生箇所を表示する再生箇所表示領域581、音声テキストを表示するテキストデータ表示領域582、スナップショットを表示するスナップショット表示領域583、イベントで用いた資料を閲覧する場合に押下される「資料ファイル」ボタン585が含まれている。より具体的には、生成部56は、受信されたコンテンツデータであるテキストデータに係る画像を、受信された関連情報に含まれるシーケンスNoの順序でテキストデータ表示領域582に表示させるように実行イベント履歴画面580を生成する。また、生成部56は、受信されたコンテンツデータである画面データに係る画像を、受信された関連情報に含まれるシーケンスNoの順序でスナップショット表示領域583に表示させるように実行イベント履歴画面580を生成する。さらに、生成部56は、音データの全再生時間における、ステップS130によって設定された再生箇所に対応する位置に、再生箇所表示領域581に含まれる再生ポイント581pが表示されるように実行イベント履歴画面580を生成する。
そして、PC5の表示制御部54は、ディスプレイ508上に、生成部56によって生成された実行イベント履歴画面580を表示させる(ステップS132)。また、PC5の音制御部58は、ステップS130によって設定された再生箇所の音データを再生する。
ここで、再生箇所表示領域581には、全再生時間における再生箇所を示す再生ポイント581p、録音データの再生履歴(再生過程)を示すスライダ581b、および全再生時間における再生時間を示す再生時間表示画像581tが含まれる。また、再生ポイント581pおよびスライダ581bは、シークバーを構成する。シークバーとは、録音データの再生箇所を表示するものであるとともに、録音データの再生箇所を指定する操作領域である。利用者は、録音データの始めから終わりまでのうちどこを再生しているのかを再生ポイント581pおよびスライダ581bの位置によって視覚的に把握することができる。また、利用者は、再生ポイント581pをマウス507等の入力手段を用いて移動させ、それによって任意の再生箇所から録音データを再生させることができる。再生ポイント581pは、再生箇所特定画像の一例である。また、再生ポイント581pおよびスライダ581bを含むシークバーは、再生履歴表示画像の一例である。
また、テキストデータ表示領域582には、テキストデータを示す画像582a、582b、582c、582d、582eが上から下に向けて時系列に表示されている。同様に、スナップショット表示領域583には、スナップショット(キャプチャ)画像583a、583b、583cが上から下に向けて時系列に表示されている。このように、テキストデータ表示領域582およびスナップショット表示領域583は、時系列に並列に表示されている。これにより、利用者は、例えば、画像583bを閲覧すれば、会議で円グラフを説明した時間帯を容易に把握することができるため、この画像583bと並列に表示されているテキストデータを示す画像582c、582dを容易に探し出すことができる。ここで、画像583a、583b、583cは、ディスプレイ220に表示された画面全体のスナップショット画像である。
これにより、共用システム1は、実行されたイベントにより生じた実行イベント履歴を、イベントに参加したメンバ(参加者)間で簡単に共有することができる。なお、共用システム1は、イベントの実行後に利用者の登録または変更を行うことによって、利用者が実行イベント履歴を閲覧するための参照権限を編集可能な構成であってもよい。
<実行イベント履歴の選択処理>
図43、図46および図47は、実施形態に係る共用システムの実行イベント履歴の選択処理の流れの一例を示すシーケンス図である。図44および図45は、実施形態に係るPC上に表示される実行イベント履歴画面を示す図である。図43~図47を用いて、実行イベント履歴の選択処理について説明する。
まず、PC5の受付部52は、実行イベント履歴画面580のテキストデータ表示領域582に含まれる特定の画像の選択を受け付ける(ステップS151)。具体的には、例えば、図44に示すように、利用者が実行イベント履歴画面580のテキストデータ表示領域582に含まれる特定のテキストデータを示す画像(例えば、画像582t)を、マウスポインタp3を用いて選択した場合、受付部52は、テキストデータ表示領域582に含まれる特定の画像に対する選択を受け付ける。
PC5の送受信部51は、受付部52によって受け付けられた選択に係る選択情報を、スケジュール管理サーバ8へ送信する(ステップS152)。ここで、選択情報には、選択が受け付けられた特定の画像(例えば、画像582t)に対応するコンテンツ処理IDが含まれる。これにより、スケジュール管理サーバ8の送受信部81は、PC5から送信された選択情報を受信する。
次に、スケジュール管理サーバ8の記憶・読出処理部89は、ステップS152によって受信された選択情報に含まれるコンテンツ処理IDを検索キーとして関連情報管理DB8010を検索することにより、対応する関連情報を読み出す(ステップS153)。より具体的には、記憶・読出処理部89は、選択情報に含まれるコンテンツ処理IDが関連付けられた関連情報を、関連情報管理DB8010から読み出す。この関連情報には、コンテンツの発生時間帯、コンテンツ処理ID、コンテンツ処理の種類およびシーケンスNoが含まれている。関連情報に含まれるコンテンツの発生時間帯は、時間情報の一例である。これにより、スケジュール管理サーバ8は、ユーザによる選択が受け付けられた画像と同じ時間帯に発生したコンテンツを、関連情報に含まれる各種コンテンツに係るデータ(情報)から特定することができる。
また、スケジュール管理サーバ8の記憶・読出処理部89は、ステップS153によって読み出された関連情報に含まれるコンテンツ処理IDを検索キーとして実行イベント履歴管理DB8008を検索することにより、対応する実行イベント履歴情報を読み出す(ステップS154)。この実行イベント履歴情報には、コンテンツ処理ID、コンテンツ処理の種類、コンテンツの内容が含まれている。
そして、記憶・読出処理部89は、ステップS154によって読み出された実行イベント履歴情報に含まれるコンテンツの内容を示すコンテンツデータの保存先から、実行イベント履歴の内容を示すコンテンツデータを読み出す(ステップS155)。そして、送受信部81は、読み出された関連情報およびコンテンツデータを、PC5へ送信する(ステップS156)。これにより、PC5の送受信部51は、関連情報およびコンテンツデータを受信する。
次に、PC5の音制御部58は、ステップS156によって受信されたコンテンツデータである音データに対応する再生箇所を、音データの再生箇所(音データの開始時間)として設定する(ステップS157)。
次に、PC5の生成部56は、ステップS156によって受信されたコンテンツデータに基づいて、実行イベント履歴画面580を生成する(ステップS158)。具体的には、生成部56は、受信されたコンテンツデータであるテキストデータに係る画像を、テキストデータ表示領域582に表示させるように実行イベント履歴画面580を生成する。また、生成部56は、受信されたコンテンツデータである画面データに係る画像を、スナップショット表示領域583に表示させるように実行イベント履歴画面580を生成する。
さらに、生成部56は、音データの全再生時間における、ステップS157によって設定された音データに係る位置に、再生箇所表示領域581に含まれる再生ポイント581pが表示されるように実行イベント履歴画面580を生成する。
表示制御部54は、ステップS158によって生成された実行イベント履歴画面580を、ディスプレイ508に表示させる(ステップS159)。ステップS159において、ディスプレイ508に表示される実行イベント履歴画面580を図45に示す。図45に示す実行イベント履歴画面580は、再生箇所表示領域581に含まれる再生ポイント581pの位置が、ユーザによって選択された画像582tに対応する時間位置に移動している。このように、PC5は、音データをテキスト変換したテキストデータに係る画像のうち、特定の画像が選択されることによって、選択された特定の画像に係るコンテンツの発生時間帯が示す時間位置に、再生ポイント581pを移動させる。これにより、PC5は、利用者が音声を確認したいテキストデータに係る画像を選択するだけで、当該画像に対応する再生箇所の音データの再生することができる。また、PC5は、テキストデータに係る画像の移動に対応させて再生ポイント581pを移動させることで、全再生時間のうちどの再生箇所に係る音データが再生されているのかを利用者に容易に把握させることができる。
また、図46および図47に示す処理は、図43に示したテキストデータ(実行イベント履歴)とは種別が異なるコンテンツデータ(実行イベント履歴)が選択される場合の処理である。図46は、スナップショット表示領域583に表示された画面データに係る画像が選択される場合の処理を示す。まず、PC5の受付部52は、実行イベント履歴画面580のスナップショット表示領域583に含まれる特定の画像の選択を受け付ける(ステップS161)。具体的には、例えば、利用者が実行イベント履歴画面580のスナップショット表示領域583に含まれる特定の画像(例えば、スナップショット画像583r)を、マウスポインタp3を用いて選択した場合、受付部52は、スナップショット表示領域583に含まれる特定の画像に対する選択を受け付ける。なお、ステップS162~ステップS169の処理は、図43に示したステップS152~ステップS159の処理とそれぞれ同様である。
また、図47は、再生箇所表示領域581に表示された再生ポイント581pが選択される場合の処理を示す。まず、PC5の受付部52は、実行イベント履歴画面580の再生箇所表示領域581に含まれる再生ポイント581pの移動を受け付ける(ステップS181)。具体的には、例えば、利用者が実行イベント履歴画面580の再生箇所表示領域581に含まれる再生ポイント581pを、マウスポインタp3を用いて移動した場合、受付部52は、再生箇所表示領域581に含まれる再生ポイント581pの移動を受け付ける。
PC5の送受信部51は、受付部52によって受け付けられた移動に係る選択情報を、スケジュール管理サーバ8へ送信する(ステップS182)。ここで、選択情報には、受け付けられた移動先の再生箇所の音データに係るコンテンツ処理IDが含まれる。これにより、スケジュール管理サーバ8の送受信部81は、PC5から送信された選択情報を受信する。なお、ステップS182~ステップS189の処理は、図43に示したステップS152~ステップS159の処理とそれぞれ同様であるため、説明を省略する。
<テキストデータの編集処理>
続いて、図48~図60を用いて、実行イベント履歴画面に表示された各テキストデータを編集する処理について説明する。
図48は、実施形態に係る共用システムのテキストデータの編集処理の流れの一例を示すシーケンス図である。図49は、実施形態に係るスケジュール管理サーバのカスタム辞書登録処理の流れの一例を示すフローチャートである。図50、図53、図56および図57は、実施形態に係るPC上に表示される実行イベント履歴画面を示す図である。図51および図54は、実施形態に係るPC上に表示されるテキスト編集画面を示す図である。図52および図55は、更新されたテキスト情報管理テーブルを示す概念図である。なお、PC5のディスプレイ508には、図42に示されているような実行イベント履歴画面580が表示されているものとして説明する。
まず、利用者がマウスポインタp3を用いてテキストデータ表示領域582を押下すると、PC5の表示制御部54は、図50に示されている実行イベント履歴画面580aを表示させる(ステップS201)。具体的には、利用者がマウスポインタp3を用いてテキストデータ表示領域582に含まれる特定のテキストデータを示す画像(例えば、画像582c)を押下すると、受付部52は、特定のテキストデータの選択を受け付ける。そして、表示制御部54は、選択が受け付けられた特定のテキストデータに対応させた位置に表示された「編集」ボタン620を含む実行イベント履歴画面580aを表示させる。この「編集」ボタン620は、選択された特定のテキストデータの編集を要求する場合に押下される。「編集」ボタン620は、編集要求画像の一例である。
また、別の例として、図53に示す例では、利用者がマウスポインタp3を用いてテキストデータ表示領域582を押下すると、PC5の表示制御部54は、図53に示されている実行イベント履歴画面580a-1を表示させる。具体的には、利用者がマウスポインタp3を用いてテキストデータ表示領域582に含まれる特定のテキストデータを示す画像(例えば、画像582g)を押下すると、受付部52は、特定のテキストデータの選択を受け付ける。そして、表示制御部54は、選択が受け付けられた特定のテキストデータに対応させた位置に表示された「編集」ボタン620を含む実行イベント履歴画面580a-1を表示させる。実行イベント履歴画面580a-1には、テキストデータ表示領域582に画像582gが含まれ、スナップショット表示領域583にはスナップショット画像583dが含まれている。
次に、利用者がマウスポインタp3を用いて「編集」ボタン620を押下すると、受付部52は、「編集」ボタン620の選択を受け付け、テキストデータの編集要求を受け付ける(ステップS202)。次に、表示制御部54は、ディスプレイ508に表示されている実行イベント履歴画面580a上に、図51に示されているようなテキスト編集画面630を表示させる(ステップS203)。図51に示すテキスト編集画面630は、選択された特定のテキストデータ(例えば、画像582cに示されているテキストデータ)の内容の編集を受け付ける編集画面である。テキスト編集画面630には、特定のテキストデータを編集するための入力領域631、入力領域631で編集された特定のテキストデータを保存する場合に押下される「保存」ボタン633、テキストデータの編集処理を中断(中止)する場合に押下される「キャンセル」ボタン635、および編集対象の特定のテキストデータに対応する音データを再生する場合に押下される「再生」ボタン637が含まれている。
また、別の例として、図54に示す実行イベント履歴画面580a-1の例では、利用者がマウスポインタp3を用いて「編集」ボタン620を押下すると、受付部52は、「編集」ボタン620の選択を受け付け、テキストデータの編集要求を受け付ける。次に、表示制御部54は、ディスプレイ508に表示されている実行イベント履歴画面580a-1上に、図54に示されているようなテキスト編集画面630を表示させる。図54に示すテキスト編集画面630は、選択された特定のテキストデータ(例えば、画像582gに示されているテキストデータ)の内容の編集を受け付ける編集画面である。図54に示すテキスト編集画面630には、図51と同様に、入力領域631、「保存」ボタン633、「キャンセル」ボタン635、および「再生」ボタン637が含まれている。
次に、利用者が入力領域631に対する入力を行うことで、受付部52は、特定のテキストデータの編集を受け付ける(ステップS204)。これにより、利用者は、図51および図54に示す入力領域631に対する入力によって、選択された特定のテキストデータの編集を行うことができる。この場合、受付部52に従ってテキストデータを編集するPC5の機能(例えば表示制御部54)が「編集部」に相当する。また、受付部52によって「再生」ボタン637の選択が受け付けられると、音制御部58は、編集対象の特定のテキストデータに対応する音データを再生する。これにより、利用者は、編集対象の特定のテキストデータに対応する音データを聞きながら、テキストデータの編集を行うことができる。
次に、受付部52で「保存」ボタン633の選択が受け付けられると、PC5の送受信部51は、スケジュール管理サーバ8に対して、テキスト情報の更新要求を示すテキスト情報更新要求情報を送信する(ステップS205)。このテキスト情報更新要求情報には、ステップS204によって編集されたテキストデータ、編集される前のテキストデータ、ステップS156によって受信されたコンテンツ処理ID、およびステップS112によって受け付けられた利用者IDを送信する。この場合のコンテンツ処理IDは、編集されたテキストデータに対応するコンテンツ処理IDである。これにより、スケジュール管理サーバ8の送受信部81は、テキスト情報更新要求情報を受信する。
次に、スケジュール管理サーバ8の抽出部84は、送受信部81により受信された編集前のテキストデータと、編集後のテキストデータとの差分を抽出する(ステップS206)。当該差分の抽出は、テキストデータ中の編集対象となった部分の編集前の単語(編集前単語)と、編集後の単語(編集後単語)とが特定されることによって行われる。また、抽出部84は、編集前または編集後のテキストデータに対して形態素解析を行い、編集前単語(または編集後単語)の品詞を特定する。そして、抽出部84は、編集差分管理DB8013を参照し、同様の編集の内容が登録されていない場合、当該差分に係る編集前単語と、編集後単語と、当該編集前単語の読みと、特定した当該編集前単語(または編集後単語)の品詞と、を関連付けて新規登録し、登録したレコードの回数を「1」とする。また、抽出部84は、編集差分管理DB8013を参照し、同様の編集の内容が既に登録されている場合、すなわち、当該差分に係る編集前単語と、編集後単語と、読みと、品詞とが一致するレコードが既に存在する場合、当該レコードに対応する回数をインクリメントする。これによって、テキストデータに対する同様の編集が発生したものとして、その回数がカウントされることになる。
そして、スケジュール管理サーバ8の記憶・読出処理部89は、ステップS205によって受信されたテキストデータを、テキスト情報管理DB8012(図15参照)に記憶する(ステップS207)。この場合、テキスト情報管理DB8012には、図52および図55に示されているようなテキスト情報管理テーブルが記憶される。図52および図55は、更新されたテキスト情報管理テーブルの概念図である。図52のテキスト情報管理テーブルには、図15に示したテキスト情報管理テーブルに記憶されたテキスト情報に、ステップS205によって受信された編集後のテキストデータを含むテキスト情報が追加されている。このテキスト情報は、編集前のテキストデータと同様のコンテンツ処理IDと、編集前のテキストデータのテキストID(例えばtext12)からバージョンが更新されたテキストID(例えばtext12.1)と、テキストデータが編集されたことを示す状態情報とが関連付けられている。このうち、状態情報には、テキストデータの編集を行った編集者を示す編集者名およびテキストデータの編集が行われた日時を示す編集日時が含まれている。また、図55のテキスト情報管理テーブルについても、ステップS205によって受信された編集後のテキストデータを含むテキスト情報が追加されている。このテキスト情報は、編集前のテキストデータと同様のコンテンツ処理IDと、編集前のテキストデータのテキストID(例えばtext21)からバージョンが更新されたテキストID(例えば、text21.1)と、テキストデータが編集されたことを示す状態情報とが関連付けられている。
そして、スケジュール管理サーバ8の辞書生成部85は、抽出部84により抽出されたテキストデータの編集前後の差分に基づいて、カスタム辞書管理DB8014にカスタム辞書を生成して登録する(ステップS208)。ここで、図49を用いて、スケジュール管理サーバ8におけるカスタム辞書登録処理について説明する。まず、辞書生成部85は、抽出部84によりテキストデータの編集前後の差分が抽出され、更新された編集差分管理DB8013のレコードにおける回数、すなわち当該差分に係る内容の編集の発生回数が所定の閾値以上または所定の閾値を超過したか否かを判断する(ステップS208-1)。当該回数が所定の閾値以上または所定の閾値を超過した場合(ステップS208-1:YES)、辞書生成部85は、注目している編集差分管理DB8013のレコードの編集後単語、読み、および品詞を関連付けたカスタム辞書を、編集を行った利用者の利用者ID(ステップS205で受信)に対応する組織ID(グループ情報の一例)(例えば利用者管理DB8002から抽出)に関連付けて、カスタム辞書管理DB8014に登録する(ステップS208-2)。なお、辞書生成部85によりカスタム辞書管理DB8014にカスタム辞書が登録される場合、さらに利用者IDと関連付けるものとしてもよい。当該回数が所定の閾値未満である場合(ステップS208-1:NO)、辞書生成部85は、カスタム辞書を生成しない。
図48に戻り、テキストデータの編集処理の説明を続ける。スケジュール管理サーバ8の送受信部81は、PC5に対して、ステップS207で記憶されたテキストデータを送信する(ステップS209)。これにより、PC5の送受信部51は、スケジュール管理サーバ8から送信されたテキストデータを受信する。
PC5の生成部56は、ステップS209によって受信されたテキストデータを用いて、図56に示されている実行イベント履歴画面580bを生成する(ステップS210)。より具体的には、生成部56は、実行イベント履歴画面580aに含まれる編集前のテキストデータが、ステップS209によって受信された編集後のテキストデータに変更された実行イベント履歴画面580bを生成する。
また、別の例として、図54に示した実行イベント履歴画面580a-1の例では、生成部56は、ステップS209によって受信されたテキストデータを用いて、図57に示されている実行イベント履歴画面580b-1を生成する。より具体的には、生成部56は、実行イベント履歴画面580a-1に含まれる編集前のテキストデータが、ステップS209によって受信された編集後のテキストデータに変更された実行イベント履歴画面580b-1を生成する。
そして、PC5の表示制御部54は、ディスプレイ508上に、生成部56によって生成された実行イベント履歴画面580b(または実行イベント履歴画面580b-1)を表示させる(ステップS211)。図56に示されているように、実行イベント履歴画面580bに含まれるテキストデータ表示領域582には、編集後のテキストデータを示す画像582cが表示されている。また、図57に示す実行イベント履歴画面580b-1の例では、テキストデータ表示領域582に、編集後のテキストデータを示す画像582gが表示されている。また、実行イベント履歴画面580bには、画像582cに示されているテキストデータの編集が行われたことを示す「編集済」ボタン625が含まれている。また、実行イベント履歴画面580b-1には、画像582gに示されているテキストデータの編集が行われたことを示す「編集済」ボタン625が含まれている。「編集済」ボタン625は、編集済画像の一例である。これにより、利用者は、実行イベント履歴画面580bに含まれる「編集済」ボタン625を確認することで、テキストデータ表示領域582に表示されているテキストデータが編集されたものであるかどうかを把握することができる。
以上説明したように、PC5は、実行イベント履歴画面580に表示されたテキストデータを利用者に編集させるとともに、編集前のテキストデータに変えて編集されたテキストデータを表示させることで、編集されたテキストデータを議事録として表示させることができる。また、音データからテキストデータへの変換精度が低い場合であっても、PC5は、表示されたテキストデータを利用者に編集させることで、実行イベント履歴画面580をイベントの議事録として利用者に有効に活用させることができる。さらに、PC5は、編集後のテキストデータを表示させることで、利用者が編集後のテキストデータを見て、利用者が聞きたい箇所の音データを再生することができる。
また、音データからテキストデータへの変換精度が低いために誤変換があった場合、当該テキストデータを編集することが可能であるが、この際、同じような編集が頻発する場合、正しい単語に変換するためのカスタム辞書を生成して登録するものとしている。これによって、音声テキスト変換サーバ9は、本来の基本辞書に加えて、カスタム辞書を利用した変換処理を行うので、音データからテキストデータへの変換精度を向上させることができる。
図58は、実施形態に係る共用システムの編集履歴の閲覧処理の流れの一例を示すシーケンス図である。図59および図60は、実施形態に係るPC上に表示される編集履歴画面を示す図である。図58~図60を用いて、実行イベント履歴画面580に表示されたテキストデータの編集履歴を閲覧する処理について説明する。なお、PC5のディスプレイ508には、図56に示されているような実行イベント履歴画面580b、または図57に示されているような実行イベント履歴画面580b-1が表示されているものとして説明する。
まず、利用者が「編集済」ボタン625を押下すると、PC5の受付部52は、「編集済」ボタン625の選択を受け付け、編集履歴の閲覧要求を受け付ける(ステップS211)。次に、送受信部51は、スケジュール管理サーバ8に対して、テキストデータの編集履歴の送信要求を示す編集履歴送信要求情報を送信する(ステップS212)。この編集履歴送信要求情報には、閲覧要求の対象となるテキストデータに対応するコンテンツ処理IDが含まれている。これにより、スケジュール管理サーバ8の送受信部81は、編集履歴送信要求情報を受信する。
次に、スケジュール管理サーバ8の記憶・読出処理部89は、ステップS212によって受信されたコンテンツ処理IDを検索キーとしてテキスト情報管理DB8012を検索することによって、対応するテキスト情報を読み出す(ステップS213)。この場合、記憶・読出処理部89は、図52または図55に示されているような更新されたテキスト情報管理テーブルに含まれるテキスト情報を読み出す。例えば、ステップS212によって受信されたコンテンツ処理IDが「c269」である場合、記憶・読出処理部89は、テキストID「text12」および「text12.1」が含まれているテキスト情報を読み出す。また、例えば、ステップS212によって受信されたコンテンツ処理IDが「c0531」である場合、記憶・読出処理部89は、テキストID「text21」および「text21.1」が含まれているテキスト情報を読み出す。送受信部81は、PC5に対して、ステップS213によって読み出されたテキスト情報を送信する(ステップS214)。このテキスト情報には、コンテンツ処理ID、テキストID、テキストデータおよび状態情報が含まれている。これにより、PC5の送受信部51は、スケジュール管理サーバ8から送信されたテキスト情報を受信する。
そして、PC5の表示制御部54は、ディスプレイ508に表示されている実行イベント履歴画面580bまたは実行イベント履歴画面580b-1上に、図59または図60に示されているような編集履歴画面640を表示させる(ステップS215)。この編集履歴画面640には、編集前のテキストデータが表示されるオリジナルデータ表示領域641、編集後のテキストデータが表示される編集履歴表示領域643、およびこの編集履歴画面640を閉じるための「閉じる」ボタン649が含まれている。このうち、オリジナルデータ表示領域641には、ステップS214によって受信されたテキスト情報のうち、「Original」を示す状態情報が関連付けられているテキストデータが含まれている。また、編集履歴表示領域643には、ステップS214によって受信されたテキスト情報のうち、編集者名および編集日時を示す状態情報が関連付けられているテキストデータが含まれている。この編集履歴表示領域643には、対応するテキストデータが複数回編集された場合、複数の編集後のテキストデータを表示する編集後テキストデータ表示領域(図59では644a、644b、図60では644c)が状態情報に示される編集日時に基づいて、時系列に表示されている。また、編集履歴表示領域643には、各テキストデータに関連付けられた状態情報に基づいて、それぞれのテキストデータを表示する編集後テキストデータ表示領域(図59では644a、644b、図60では644c)に対応する位置に、テキストデータの編集を行った編集者を示す編集者情報(図59では645a、645b、図60では645c)、およびテキストデータの編集が行われた時間を示す編集日時情報(図59では646a、646b、図60では646c)がそれぞれ表示されている。
これにより、PC5は、ディスプレイ508に実行イベント履歴画面580bを表示させることで、テキストデータが編集されたことを利用者に確認させるできるとともに、編集されたテキストデータの編集履歴を、編集履歴画面640を用いて利用者に確認することはできる。また、PC5は、テキストデータの編集を行った編集者の情報および編集が行われた編集日時の情報をテキストデータの内容と併せて表示させることで、編集されたテキストデータの信憑性を利用者に確認させることができる。
なお、図39~図60では、PC5によって実行イベント履歴を閲覧する場合について説明したが、同様の処理によって、電子黒板2で実行イベント履歴を閲覧することができる。また、図39~図60に示されている処理および画面例は、PC5だけでなく、電子黒板2、ビデオ会議端末3またはカーナビゲーション装置4においても同様の処理および同様の画面の表示を行ってもよい。
さらに、図39~図60では、PC5に表示させる各画面に係る画像データを、PC5の生成部56によって生成する場合について説明したが、この画像データは、スケジュール管理サーバ8によって生成されてもよい。この場合、スケジュール管理サーバ8では、生成部83によって画像データを生成され、生成された画像データが送受信部81によってPC5へ送信される。
(実施形態の主な効果)
以上のように、本実施形態に係る共用システム1では、スケジュール管理サーバ8は、議事録に係るテキストデータが行われた場合に、編集前のテキストデータと、編集後のテキストデータとの差分を抽出し、編集内容として当該差分を編集差分管理DB8013に記録し、同じ内容の編集が頻発した場合(例えば所定の閾値以上または所定の閾値を超過した回数が発生した場合)、音データから変換された同じ読みの単語を、編集後の単語に直接変換するためのカスタム辞書を登録する。そして、音声テキスト変換サーバ9は、受信した音データに対して、保持する基本辞書と共に、スケジュール管理サーバ8で登録されたカスタム辞書を利用してテキスト変換処理を実行する。これによって、音データからテキストデータへの変換精度を向上させることができ、編集をせずに音声からテキスト化する段階で正しいテキストを得る可能性を向上させることができる。
また、カスタム辞書は、カスタム辞書管理DB8014に少なくとも組織IDと関連付けて管理するものとしている。そして、音声テキスト変換サーバ9において音データをテキストデータに変換する場合には、当音データに対応する利用者IDに関連付けられた組織IDに対応するカスタム辞書を用いるものとしている。これによって、少なくとも組織IDに対応したカスタム辞書を用いてテキスト変換しているので、組織IDに属する利用者の会議ごとにマッチングした精度の高い変換処理を実現することができる。
(変形例)
変形例に係る共用システムについて、上述の実施形態に係る共用システム1と相違する点を中心に説明する。上述の実施形態では、スケジュール管理サーバ8において登録(生成)したカスタム辞書を、音声テキスト変換サーバ9へ送り、カスタム辞書を利用した音データからテキストデータへの変換処理を音声テキスト変換サーバ9において実行する動作について説明した。しかし、音声テキスト変換サーバ9がクラウド等の外部サービスで実現される場合等、スケジュール管理サーバ8で生成したカスタム辞書を利用した変換処理を実行させることができない場合も想定される。そこで、本変形例では、音声テキスト変換サーバ9により変換されたテキストデータを、スケジュール管理サーバ8においてカスタム辞書により再変換する動作について説明する。なお、本変形例に係る共用システムの全体構成、および各装置のハードウェア構成は、上述の実施形態で説明した構成と同様である。
<共用システムの機能構成>
図61は、変形例に係る共用システムの機能ブロック図である。図61を用いて、本変形例に係る共用システムの機能構成について説明する。なお、共用システムの電子黒板2、PC5、共用支援サーバ6および音声テキスト変換サーバ9の機能構成は、上述の図8で説明した機能構成と同様である。
図61に示すように、本変形例に係る共用システムは、上述の実施形態に係る共用システム1のスケジュール管理サーバ8の代わりに、スケジュール管理サーバ8aを含んでいる。スケジュール管理サーバ8aは、送受信部81と、認証部82と、生成部83と、抽出部84と、辞書生成部85と、辞書探索部86と、再変換部87と、記憶・読出処理部89と、を有している。これら各部は、図5に示されている各構成要素のいずれかが、HD804からRAM803上に展開されたスケジュール管理用プログラムに従ったCPU801からの命令によって動作することで実現される機能または機能する手段である。また、スケジュール管理サーバ8aは、図5に示されているHD804により構築される記憶部8000を有している。なお、スケジュール管理サーバ8aの各部のうち、再変換部87以外の各部の機能は、上述の図8で説明した通りである。
再変換部87は、図5に示されているCPU801からの命令によって実現され、辞書探索部86により探索されたカスタム辞書を用いて、音声テキスト変換サーバ9により音データから変換されたテキストデータに対して再変換を行う。
なお、図61に示すスケジュール管理サーバ8aの送受信部81、認証部82、生成部83、抽出部84、辞書生成部85、辞書探索部86、再変換部87および記憶・読出処理部89は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図61に示すスケジュール管理サーバ8aで独立した機能のブロックとして図示した複数の機能のブロックを、1つの機能のブロックとして構成してもよい。一方、図61に示すスケジュール管理サーバ8aで1つの機能のブロックが有する機能を複数に分割し、複数の機能のブロックとして構成するものとしてもよい。
<実行イベント履歴の登録処理のうちコンテンツ管理までの処理>
図62は、変形例に係る共用システムの実行イベント履歴の登録処理の流れの一例を示すシーケンス図である。図62を用いて、実行イベント履歴の登録処理のうちコンテンツ管理までの処理について説明する。
図62に示すステップS71~S76までの処理は、それぞれ図29に示したステップS71~S76までの処理と同様である。スケジュール管理サーバ8の送受信部81は、共用支援サーバ6から受信した音データを、音声テキスト変換サーバ9へ送信する(ステップS77a)。これにより、音声テキスト変換サーバ9の送受信部91は、音データを受信する。なお、コンテンツ処理の種類が「録音」以外である場合、共用支援サーバ6は、ステップS74~ステップS80の処理は行わずに、ステップS81の処理へ移行する。
次に、音声テキスト変換サーバ9の変換部93は、送受信部91によって受信された音データを、基本辞書のみでテキストデータに変換する(ステップS78a)。なお、音声テキスト変換サーバ9における音声テキスト変換処理については、図30を用いて上述した動作とほぼ同様であるが、ステップS78-2においては、変換部93は、送受信部91によって受信された音データに対して、音声テキスト変換サーバ9が保持する基本辞書を利用してテキスト変換処理を実行する。
図62に戻り、実行イベント履歴の登録処理の説明を続ける。送受信部91は、変換部93によって変換されたテキストデータを、スケジュール管理サーバ8aへ送信する(ステップS79)。ここで、送受信部91は、テキストデータとともに、ステップS78-1によって取得された日時を示す情報を、スケジュール管理サーバ8へ送信する。これにより、スケジュール管理サーバ8の送受信部81は、テキストデータを受信する。そして、スケジュール管理サーバ8の再変換部87は、ステップS76で探索されたカスタム辞書を用いて、送受信部81により受信されたテキストデータに対して再変換を行う(ステップS79-1)。例えば、図17に示したカスタ辞書管理テーブルにおける組織ID「o1011」に対応するカスタム辞書が利用される場合、送受信部81により受信されたテキストデータが「移行(読み:いこう)の佐藤さん」というテキストデータであったとしても、カスタム辞書に基づいて「リコーの佐藤さん」のように修正して変換することができる。そして、送受信部81は、再変換部87により再変換されたテキストデータを、共用支援サーバ6へ送信する(ステップS80)。ここで、送受信部81は、テキストデータとともに、ステップS79で受信した日時を示す情報を、共用支援サーバ6へ送信する。これにより、共用支援サーバ6の送受信部61は、テキストデータを受信する。なお、図62に示すステップS81~S83までの処理は、それぞれ図29に示したステップS81~S83までの処理と同様である。
以上のように、本変形例では、音声テキスト変換サーバ9ではなく、スケジュール管理サーバ8においてカスタム辞書を用いた変換処理を行うものとしている。これによって、例えば、音声テキスト変換サーバ9がクラウド等の外部サービスで実現される場合等、スケジュール管理サーバ8で生成したカスタム辞書を利用した変換処理を実行させることができない場合においても、スケジュール管理サーバ8自身で再変換するので、精度の高い変換処理を実現することができる。
(補足)
なお、上記で説明した実施形態および変形例の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)、SoC(System on a Chip)、GPU(Graphics Processing Unit)や従来の回路モジュール等のデバイスを含むものとする。
また、上述の実施形態および変形例において、電子黒板2、PC5、共用支援サーバ6、スケジュール管理サーバ8(8a)および音声テキスト変換サーバ9の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ROM等に予め組み込まれて提供される。また、上述の実施形態および変形例に係る電子黒板2、PC5、共用支援サーバ6、スケジュール管理サーバ8(8a)および音声テキスト変換サーバ9で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでCD-ROM(Compact Disc Read Only Memory)、フレキシブルディスク(FD)、CD-R(Compact Disk-Recordable)、DVDまたはSDカード等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施形態および変形例に係る電子黒板2、PC5、共用支援サーバ6、スケジュール管理サーバ8(8a)および音声テキスト変換サーバ9で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態および変形例に係る電子黒板2、PC5、共用支援サーバ6、スケジュール管理サーバ8(8a)および音声テキスト変換サーバ9で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施形態および変形例に係る電子黒板2、PC5、共用支援サーバ6、スケジュール管理サーバ8(8a)および音声テキスト変換サーバ9で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはCPUが上述の記憶装置からプログラムを読み出して実行することにより、上述の各機能が主記憶装置上にロードされて生成されるようになっている。
1 共用システム
2 電子黒板
3 ビデオ会議端末
4 カーナビゲーション装置
5 PC
6 共用支援サーバ
8、8a スケジュール管理サーバ
9 音声テキスト変換サーバ
15 作業領域
21 送受信部
22 受付部
23 画像・音処理部
24 表示制御部
25 判断部
28 取得・提供部
29 記憶・読出処理部
51 送受信部
52 受付部
54 表示制御部
56 生成部
57 判断部
58 音制御部
59 記憶・読出処理部
61 送受信部
62 認証部
63 作成部
64 生成部
65 判断部
69 記憶・読出処理部
81 送受信部
82 認証部
83 生成部
84 抽出部
85 辞書生成部
86 辞書探索部
87 再変換部
89 記憶・読出処理部
91 送受信部
93 変換部
99 記憶・読出処理部
2000 記憶部
5000 記憶部
5500 作業領域
5501 OS
5502a 議事録アプリ
5502b ブラウザ
6000 記憶部
6001 利用者認証管理DB
6002 アクセス管理DB
6003 予定管理DB
6005 コンテンツ管理DB
8000 記憶部
8001 利用者認証管理DB
8002 利用者管理DB
8003 共用体管理DB
8004 共用体予約管理DB
8005 イベント管理DB
8006 サーバ認証管理DB
8008 実行イベント履歴管理DB
8009 実行イベント管理DB
8010 関連情報管理DB
8012 テキスト情報管理DB
8013 編集差分管理DB
8014 カスタム辞書管理DB
9000 記憶部
A 利用者
d1 データファイル
R イベント実行画面
r4 ファイルデータ
p1、p3 マウスポインタ
特開2018-059961号公報

Claims (15)

  1. ビデオ会議で録音された音データから変換されたテキストデータに対して編集可能な情報処理装置と通信し、前記音データおよび前記テキストデータを管理するサーバ装置であって、
    前記情報処理装置の利用者を識別する利用者識別情報と、前記利用者が属するグループとを関連付けて記憶する記憶部と、
    前記情報処理装置から、前記情報処理装置において編集された編集後のテキストデータ、編集前のテキストデータ、および、前記情報処理装置において編集を行った利用者の利用者識別情報、を受信する受信部と、
    前記受信部により受信された前記編集後のテキストデータと、前記編集前のテキストデータとの差分を抽出し、該差分に係る編集前の単、該差分に係る編集後の単および、前記編集前の単語の読みを関連付けた編集差分情報を前記記憶部に記憶させる抽出部と、
    記編集差分情報に基づいて、前記編集前の単語の読みから、前記編集後の単語に変換するためのカスタム辞書を生成し、該カスタム辞書を、前記編集を行った利用者の利用者識別情報に対応するグループに関連付けて、前記記憶部に登録する生成部と、
    を備えたサーバ装置。
  2. 前記編集前の単語の読みとは、前記編集前の単語のひらがなによる読み方を示す請求項1に記載のサーバ装置。
  3. 前記生成部で生成された前記カスタム辞書を用いた前記音データからテキストデータへの変換のために、該音データおよび該カスタム辞書を、換サーバへ送信する第1送信部を、さらに備えた請求項1または2に記載のサーバ装置。
  4. 換サーバにより前記音データから変換されたテキストデータを、前記生成部で生成された前記カスタム辞書を利用して再変換を行う再変換部を、さらに備えた請求項1または2に記載のサーバ装置。
  5. 前記変換サーバにより前記音データからテキストデータへ変換される際に、該音データを録音した通信端末の利用者が属するグループを識別するグループ情報に関連付けられた前記カスタム辞書を、前記記憶部から探索する探索部を、さらに備えた請求項3または4に記載のサーバ装置。
  6. 前記抽出部は、前記編集前の単語、前記編集後の単語、前記編集前の単語の読み、および、前記差分と同じ内容の編集が発生した回数、を関連付けた前記編集差分情報を前記記憶部に記憶させ、
    前記生成部は、前記回数が、所定の閾値以上または該所定の閾値を超過した場合、前記カスタム辞書を生成する請求項1~5のいずれか一項に記載のサーバ装置。
  7. 前記抽出部は、
    前記編集前の単語または前記編集後の単語の品詞を特定し、
    前記編集前の単語、前記編集後の単語、前記編集前の単語の読み、前記回数、および、前記品詞、を関連付けた前記編集差分情報を前記記憶部に記憶させ、
    少なくとも前記編集前の単語、前記編集後の単語、前記編集前の単語の読み、および、前記品詞が、前記記憶部に記憶されている前記編集差分情報の差分と一致している場合に、同じ内容の編集であると判定する請求項6に記載のサーバ装置。
  8. 前記抽出部は、少なくとも前記編集前の単語、前記編集後の単語、および前記編集前の単語の読みが、前記記憶部に記憶されている前記編集差分情報の差分と一致している場合に、同じ内容の編集であると判定する請求項に記載のサーバ装置。
  9. 前記抽出部は、前記受信部により受信された前記編集後のテキストデータと、前記編集前のテキストデータとの差分を抽出し、該差分に係る、漢字である編集前の単語、該差分に係る、漢字である編集後の単語、および、前記編集前の単語の読み、を関連付けた前記編集差分情報を前記記憶部に記憶させる請求項1~8のいずれか一項に記載のサーバ装置。
  10. ビデオ会議で録音された音データから変換されたテキストデータに対して編集可能な情報処理装置と、前記音データおよび前記テキストデータを管理するサーバ装置と、を有する通信システムであって、
    前記情報処理装置は、
    前記ビデオ会議の前記音データに対応する前記テキストデータを取得する取得部と、
    前記情報処理装置の利用者による入力操作に従って、前記取得部により取得された前記テキストデータを編集する編集部と、
    前記編集部により編集された編集後のテキストデータおよび編集前のテキストデータを前記サーバ装置へ送信する第2送信部と、
    を備え
    前記サーバ装置は、
    前記情報処理装置の利用者を識別する利用者識別情報と、前記利用者が属するグループとを関連付けて記憶する記憶部と、
    前記情報処理装置から、前記編集後のテキストデータ、前記編集前のテキストデータ、および、前記情報処理装置において編集を行った利用者の利用者識別情報、を受信する受信部と、
    前記受信部により受信された前記編集後のテキストデータと、前記編集前のテキストデータとの差分を抽出し、該差分に係る編集前の単、該差分に係る編集後の単および、前記編集前の単語の読みを関連付けた編集差分情報を前記記憶部に記憶させる抽出部と、
    記編集差分情報に基づいて、前記編集前の単語の読みから、前記編集後の単語に変換するためのカスタム辞書を生成し、該カスタム辞書を、前記編集を行った利用者の利用者識別情報に対応するグループに関連付けて、前記記憶部に登録する生成部と、
    を備えた通信システム。
  11. 前記情報処理装置は、前記編集前のテキストデータと、前記編集後のテキストデータとを時系列に表示する表示制御部を、さらに備えた請求項10に記載の通信システム。
  12. 前記表示制御部は、前記編集後のテキストデータ、前記利用者の情報、および編集が行われた日時を表示する請求項11に記載の通信システム。
  13. ビデオ会議で録音された音データから変換されたテキストデータに対して編集可能な情報処理装置と通信し、前記音データおよび前記テキストデータを管理するサーバ装置の情報処理方法であって、
    前記情報処理装置の利用者を識別する利用者識別情報と、前記利用者が属するグループとを関連付けて記憶部に記憶するステップと、
    前記情報処理装置から、前記情報処理装置において編集された編集後のテキストデータ、編集前のテキストデータ、および、前記情報処理装置において編集を行った利用者の利用者識別情報、を受信する受信ステップと、
    受信した前記編集後のテキストデータと、前記編集前のテキストデータとの差分を抽出する抽出ステップと、
    前記差分に係る編集前の単、該差分に係る編集後の単および、前記編集前の単語の読みを関連付けた編集差分情報を前記記憶部に記憶させる記憶ステップと、
    記編集差分情報に基づいて、前記編集前の単語の読みから、前記編集後の単語に変換するためのカスタム辞書を生成し、該カスタム辞書を、前記編集を行った利用者の利用者識別情報に対応するグループに関連付けて、前記記憶部に登録する生成ステップと、
    を有する情報処理方法。
  14. ビデオ会議で録音された音データから変換されたテキストデータに対して編集可能な情報処理装置と通信し、前記音データおよび前記テキストデータを管理するコンピュータに、
    前記情報処理装置の利用者を識別する利用者識別情報と、前記利用者が属するグループとを関連付けて記憶部に記憶させ、
    前記情報処理装置から、前記情報処理装置において編集された編集後のテキストデータ、編集前のテキストデータ、および、前記情報処理装置において編集を行った利用者の利用者識別情報、を受信し、
    受信した前記編集後のテキストデータと、前記編集前のテキストデータとの差分を抽出し、
    前記差分に係る編集前の単、該差分に係る編集後の単および、前記編集前の単語の読みを関連付けた編集差分情報を前記記憶部に記憶させ
    記編集差分情報に基づいて、前記編集前の単語の読みから、前記編集後の単語に変換するためのカスタム辞書を生成し、該カスタム辞書を、前記編集を行った利用者の利用者識別情報に対応するグループに関連付けて、前記記憶部に登録する、
    処理を実行させるためのプログラム。
  15. ビデオ会議で録音された音データから変換されたテキストデータに対して編集可能な情報処理装置と通信し、前記音データおよび前記テキストデータを管理するコンピュータに、
    前記情報処理装置の利用者を識別する利用者識別情報と、前記利用者が属するグループとを関連付けて記憶部に記憶させ、
    前記情報処理装置から、前記情報処理装置において編集された編集後のテキストデータ、編集前のテキストデータ、および、前記情報処理装置において編集を行った利用者の利用者識別情報、を受信し、
    受信した前記編集後のテキストデータと、前記編集前のテキストデータとの差分を抽出し、
    前記差分に係る編集前の単、該差分に係る編集後の単および、前記編集前の単語の読みを関連付けた編集差分情報を前記記憶部に記憶させ
    記編集差分情報に基づいて、前記編集前の単語の読みから、前記編集後の単語に変換するためのカスタム辞書を生成し、該カスタム辞書を、前記編集を行った利用者の利用者識別情報に対応するグループに関連付けて、前記記憶部に登録する、
    処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2019199285A 2019-10-31 2019-10-31 サーバ装置、通信システム、情報処理方法、プログラムおよび記録媒体 Active JP7463690B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019199285A JP7463690B2 (ja) 2019-10-31 2019-10-31 サーバ装置、通信システム、情報処理方法、プログラムおよび記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019199285A JP7463690B2 (ja) 2019-10-31 2019-10-31 サーバ装置、通信システム、情報処理方法、プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2021071658A JP2021071658A (ja) 2021-05-06
JP7463690B2 true JP7463690B2 (ja) 2024-04-09

Family

ID=75713719

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019199285A Active JP7463690B2 (ja) 2019-10-31 2019-10-31 サーバ装置、通信システム、情報処理方法、プログラムおよび記録媒体

Country Status (1)

Country Link
JP (1) JP7463690B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002162988A (ja) 2000-11-27 2002-06-07 Canon Inc 音声認識システム及びその制御方法、コンピュータ可読メモリ
JP2005241829A (ja) 2004-02-25 2005-09-08 Toshiba Corp 音声情報処理システム、音声情報処理方法及びプログラム
JP2008233229A (ja) 2007-03-16 2008-10-02 Fujitsu Ltd 音声認識システム、および、音声認識プログラム
WO2012043168A1 (ja) 2010-09-29 2012-04-05 Necカシオモバイルコミュニケーションズ株式会社 音声変換装置、携帯電話端末、音声変換方法および記録媒体
JP2018059961A (ja) 2016-09-30 2018-04-12 株式会社リコー 言語処理システム、言語処理装置、言語処理プログラム及び言語処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002162988A (ja) 2000-11-27 2002-06-07 Canon Inc 音声認識システム及びその制御方法、コンピュータ可読メモリ
JP2005241829A (ja) 2004-02-25 2005-09-08 Toshiba Corp 音声情報処理システム、音声情報処理方法及びプログラム
JP2008233229A (ja) 2007-03-16 2008-10-02 Fujitsu Ltd 音声認識システム、および、音声認識プログラム
WO2012043168A1 (ja) 2010-09-29 2012-04-05 Necカシオモバイルコミュニケーションズ株式会社 音声変換装置、携帯電話端末、音声変換方法および記録媒体
JP2018059961A (ja) 2016-09-30 2018-04-12 株式会社リコー 言語処理システム、言語処理装置、言語処理プログラム及び言語処理方法

Also Published As

Publication number Publication date
JP2021071658A (ja) 2021-05-06

Similar Documents

Publication Publication Date Title
JP7302270B2 (ja) 表示端末、共用システム、表示制御方法およびプログラム
JP2024109677A (ja) 表示端末、共用システム、表示制御方法およびプログラム
JP7205697B2 (ja) 通信端末、共用システム、表示制御方法およびプログラム
JP2023166433A (ja) 通信端末、管理システム、表示方法、及びプログラム
JP7314522B2 (ja) 共用端末、共用システム、共用支援方法およびプログラム
JP7338211B2 (ja) 通信端末、共用システム、通信方法およびプログラム
JP7338214B2 (ja) 通信端末、管理システム、表示方法、及びプログラム
JP7284449B2 (ja) 表示端末、表示制御方法およびプログラム
JP7314635B2 (ja) 表示端末、共用システム、表示制御方法およびプログラム
JP7463690B2 (ja) サーバ装置、通信システム、情報処理方法、プログラムおよび記録媒体
JP7342918B2 (ja) 情報処理装置、テキストデータ編集方法、通信システム、プログラム
JP7413660B2 (ja) 通信端末、共用システム、記憶制御方法およびプログラム
JP2020095689A (ja) 表示端末、共用システム、表示制御方法およびプログラム
JP7347124B2 (ja) プログラム、情報処理方法、情報処理装置および通信システム
JP7380109B2 (ja) 情報処理装置、通信システム、情報処理方法およびプログラム
JP7413735B2 (ja) サーバ装置、情報処理方法および情報処理システム
JP2021077111A (ja) 通信システム、情報処理方法、情報処理装置およびプログラム
JP7395825B2 (ja) 表示端末、共用システム、表示制御方法およびプログラム
JP7322480B2 (ja) 通信端末、管理システム、表示方法、及びプログラム
JP7395845B2 (ja) 共用システム
JP7255243B2 (ja) 通信端末、共用システム、通信方法、及びプログラム
JP7533527B2 (ja) 情報処理装置、表示方法、通信システム、プログラム
JP7115014B2 (ja) 情報処理装置、共用システム、表示方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240311

R150 Certificate of patent or registration of utility model

Ref document number: 7463690

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150