JP7337415B2 - 情報処理システム、プログラム及び情報処理方法 - Google Patents

Description

特許法第３０条第２項適用 令和３年６月１日に、「スマート書記リニューアル版ＦＡＱ」をｈｔｔｐｓ：／／ｈｅｌｐ．ｓｍａｒｔｓｈｏｋｉ．ｃｏｍ／、「スマート書記リニューアル版のサービスのアップデートやお知らせ」をｈｔｔｐｓ：／／ｎｅｗｓ．ｓｍａｒｔｓｈｏｋｉ．ｃｏｍ／にて発表 ［刊行物等］ 令和３年６月１５日に、エピックベース株式会社内において、スマート書記リニューアル版のアップデートを配布にて発表 ［刊行物等］ 令和３年９月１５日に、エピックベース株式会社内において、スマート書記リニューアル版の試供品を配布にて発表 ［刊行物等］ 令和３年９月１５日に、エピックベース株式会社出版がスマート書記リニューアル版にて発表

本発明は、情報処理システム、プログラム及び情報処理方法に関する。

従来、会議中に発せられた人の発話から音声認識をするシステムが知られている。そして、音声認識により、会議の議事録作成を支援するシステムも同様に知られている。

特許文献１には、音声を認識して議事録作成を支援する先行技術が開示されている。

特開２０１３－１０５３７４号公報

しかしながら、特許文献１に開示される技術を含め、発話音声を認識し文字に変換しても、議事から記録に残しておきたい部分をうまく抽出することができない。

本発明では上記事情に鑑み、文字認識を行うとともに、議事において要約、重要部分等の抽出を容易に行うことができる情報処理装置等を提供することとした。

本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、制御部を備える。制御部は、次の各ステップを実行するように構成される。表示制御ステップでは、文書作成領域とスクリプト表示領域とを含む、会議の議事録を作成するための入力画面を表示させる。文書作成領域は、１人以上のユーザによって行われる会議中にユーザによる非音声入力の結果を表示可能に構成される。スクリプト表示領域は、会議の音声に基づいて生成された会議のスクリプトを表示可能に構成される。特定ステップでは、文書作成領域に表示された非音声入力に対する選択を受け付けた場合、非音声入力が入力された時間に対応するスクリプトの一部を特定する。転写ステップでは、スクリプト表示領域に表示されたスクリプトに対する選択を受け付けた場合、文書作成領域内に、選択された部分を転写する。

これによれば、文字認識を行うとともに、議事において要約、重要部分等の抽出を容易に行うことができる。

情報処理システム１を表す構成図の一例である。 サーバ２のハードウェア構成を示すブロック図の一例である。 ユーザ端末３のハードウェア構成を示すブロック図の一例である。 サーバ２の制御部２３によって実現される機能を示すブロック図の一例である。 情報処理システム１によって実行される情報処理の概略を示すアクティビティ図の一例である。 実施形態１における会議終了直後かつ音声認識前にユーザ端末３の表示部３４に表示される議事録の一例である。 実施形態１における音声認識後のユーザ端末３の表示部３４に表示される議事録の一例である。 実施形態１におけるスクリプトの特定時のユーザ端末３の表示部３４に表示される議事録の一例である。 実施形態１におけるスクリプトの転写時のユーザ端末３の表示部３４に表示される議事録の一例である。 実施形態２におけるユーザ端末３の表示部３４に表示される議事録の一例である。

［実施形態］
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。

ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。

また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。

また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。

［実施形態１］
１．ハードウェア構成
第１節では、実施形態１のハードウェア構成について説明する。

１．１ 情報処理システム１
図１は、情報処理システム１を表す構成図の一例である。情報処理システム１は、サーバ２と、ユーザ端末３（例えば、ユーザ端末３－１、ユーザ端末３－２、・・・、ユーザ端末３－ｎ）と、集音装置４（例えば、マイク４－１、マイク４－２、・・・、マイク４－ｎ）と、撮影装置５（例えば、カメラ５－１、カメラ５－２、・・・、カメラ５－ｎ）と、を備え、これらがネットワークを通じて接続されている。これらの構成要素について更に説明する。ここで、情報処理システム１に例示されるシステムとは、１つ又はそれ以上の装置又は構成要素からなるものである。

１．２ サーバ２
図２は、サーバ２のハードウェア構成を示すブロック図の一例である。サーバ２は、通信部２１と、記憶部２２と、制御部２３とを有し、これらの構成要素がサーバ２の内部において通信バス２０を介して電気的に接続されている。各構成要素について更に説明する。

通信部２１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、ＬＴＥ／３Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。すなわち、サーバ２は、通信部２１を介して、集音装置４及びユーザ端末３とネットワークを介して種々の情報を通信する。特に、サーバ２は、ユーザを含む音声データを集音装置４から受け付けるように構成される。これらの詳細は後述する。

記憶部２２は、前述の記載により定義される様々な情報を記憶する。これは、例えば、制御部２３によって実行されるサーバ２に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。特に、記憶部２２は、音声データを録音データとして記憶する。記憶部２２は、これ以外にも制御部２３によって実行されるサーバ２に係る種々のプログラム等を記憶している。

制御部２３は、サーバ２に関連する全体動作の処理・制御を行う。制御部２３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部２３は、記憶部２２に記憶された所定のプログラムを読み出すことによって、サーバ２に係る種々の機能を実現する。すなわち、記憶部２２に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部２３によって具体的に実現されることで、制御部２３に含まれる各機能部として実行されうる。これらについては、次節において更に詳述する。なお、制御部２３は単一であることに限定されず、機能ごとに複数の制御部２３を有するように実施してもよい。またそれらの組合せであってもよい。

１．３ ユーザ端末３
図３は、ユーザ端末３のハードウェア構成を示すブロック図の一例である。ユーザ端末３は、通信部３１と、記憶部３２と、制御部３３と、表示部３４と、入力部３５とを有し、これらの構成要素がユーザ端末３の内部において通信バス３０を介して電気的に接続されている。通信部３１、記憶部３２及び制御部３３の説明は、サーバ２における通信部２１、記憶部２２及び制御部２３と略同様のため省略する。

表示部３４は、例えば、ユーザ端末３の筐体に含まれてもよいし、外付けされてもよい。表示部３４は、ユーザが操作可能なグラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面を表示する。これは例えば、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ及びプラズマディスプレイ等の表示デバイスを、ユーザ端末３の種類に応じて使い分けて実施することが好ましい。ここでは、表示部３４は、ユーザ端末３の筐体に含まれるものとして説明する。

入力部３５は、ユーザ端末３の筐体に含まれてもよいし、外付けされてもよい。例えば、入力部３５は、表示部３４と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、ＱＷＥＲＴＹキーボード等を採用してもよい。すなわち、入力部３５がユーザによってなされた操作入力を受け付ける。当該入力が命令信号として、通信バス３０を介して制御部３３に転送され、制御部３３が必要に応じて所定の制御又は演算を実行しうる。

１．４ 集音装置４
集音装置４は、外界の音声を信号に変換可能に構成される、いわゆるマイクである。集音装置４は、集音装置４とサーバ２とを直接接続して設けられていてもよいが、たとえば、ユーザ端末３に備えられ又は接続される。

集音装置４は、ユーザの発話を集音することで音声データを生成するように構成される。なお、音声データは、ユーザ端末３内のメモリ上に一時的に格納され、記憶部３２に不揮発的に記憶されなくてもよい。集音装置４により生成された音声データは、ネットワークを介してサーバ２に転送可能に構成される。

集音装置４は、特に限定されないが、少なくとも人の可聴領域の音声、２０Ｈｚから２０，０００Ｈｚの間の周波数の音声を集音し電気的信号に変換する。音声はモノラルでもステレオ録音でもよい。音声データをデジタル処理する場合のサンプリングレートは、例えば、４８０００Ｈｚ、４４１００Ｈｚ、３２０００Ｈｚ、２２０５０Ｈｚ、１６０００Ｈｚ、１１０２５Ｈｚ、１１０００Ｈｚ、８０００Ｈｚ等である。ここで例示した数値のいずれかの範囲内であってもよい。サンプリングレートを高くすることで、音声の時間的タイミングの離散化を精緻に行うことができ、音声認識の精度を向上させることができる。

また、集音装置４により集音されたデータは、ユーザ端末３の制御部３３により適宜圧縮処理がされてもよく、このときの圧縮フォーマットとは、ＭＰ３、ＡＡＣ、ＷＭＡ、Ｖｏｒｂｉｓ、ＡＣ３、ＭＰ２、ＦＬＡＣ、ＴＡＫ等のいずれでもよい。圧縮により、ユーザ端末３からサーバ２へのデータ転送による通信トラフィックを低減することができる。

１．５ 撮影装置５
撮影装置５は、外界の情報を画像として取り出すことが可能に構成される、いわゆるカメラである。撮影装置５は、撮影装置５とサーバ２とを直接接続して設けられていてもよいが、たとえば、ユーザ端末３に備えられ又は接続される。

撮影装置５は、細切れの画像を収集することで動画データを生成するように構成される。撮影装置５により生成された動画データは、ネットワークを介して、収集した動画データをサーバ２に転送可能に構成される。

２．機能構成
本節では、実施形態１の機能構成について説明する。前述の通り、記憶部２２に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部２３によって具体的に実現されることで、制御部２３に含まれる各機能部として実行されうる。

図４は、サーバ２の制御部２３によって実現される機能を示すブロック図の一例である。具体的には、情報処理システム１の一例であるサーバ２の制御部２３は、受付部２３１と、表示制御部２３２と、出力部２３３と、時間記録部２３４と、録音部２３５と、音声認識部２３６と、特定部２３７と、転写部２３８と、再生部２３９と、を備える。

受付部２３１は、ネットワークを介して、ユーザ端末３から送信される指示、音声データ、動画データ等のデータを受け付ける。なお、音声データは、サーバ２内のメモリ上に一時的に格納され、記憶部２２には記録されない。

表示制御部２３２は、ユーザ端末３の表示部３４に表示する画面データを制御する。なお、画面データとは、画面、画像、アイコン、テキスト等といった、ユーザが視認可能な態様で生成された視覚情報そのものでもよいし、例えば各種端末に画面、画像、アイコン、テキスト等の視覚情報を表示させるためのレンダリング情報であってもよい。

出力部２３３は、ネットワークを介して、ユーザ端末３へのデータの送信、議事録の記憶部２２への保存等の出力に関する処理を行う。

時間記録部２３４は、音声データの時間データと、スクリプトデータの時間データと、を紐付ける。なお、本実施形態において、時間データとは、会議の開始からカウントされる時間を表すデータである。他の実施形態において、時間データは、単に現在時刻を表すデータであってもよい。

録音部２３５は、集音装置４を介して取得した音声データを録音データとして記憶部２２に記憶させる。

音声認識部２３６は、録音データを認識し、録音データをスクリプトデータに変換する。なお、スクリプトデータは、録音データを文字起こししたデータである。すなわち、スクリプトデータは、会議中の音声データを文字起こししたデータである。

特定部２３７は、後述する文書作成領域、スクリプト表示領域内の情報の一部を特定する。

転写部２３８は、後述する文書作成領域内の文書データをスクリプト表示領域に転写する。また、転写部２３８は、スクリプト表示領域内のスクリプトデータを文書作成領域に転写する。

再生部２３９は、録音部２３５で録音した録音データを再生する。

３．情報処理方法
３．１． 情報処理方法の概要
本節では、前述した情報処理システム１の情報処理方法の概要について説明する。

図５は、情報処理システム１によって実行される情報処理の概略を示すアクティビティ図の一例である。

まず、Ａ１及びＡ５を参照しながら、会議前の処理について説明する。
Ａ１において、ユーザ端末３の制御部３３は、ユーザによる入力部３５への操作を介して、ユーザＩＤ及びパスワードの入力並びに参加要求を受け付ける。制御部３３は、参加要求を受け付けると、ユーザ端末３の通信部３１及びネットワークを介して、ユーザＩＤ、パスワード及び参加要求をサーバ２に送信する。

Ａ２において、サーバ２の受付部２３１は、ネットワーク及びサーバ２の通信部２１を介して、ユーザ端末３からユーザＩＤ、パスワード及び参加要求を取得する。受付部２３１は、ユーザＩＤ及びパスワードが記憶部２２に保存されているアカウント情報と一致するか否かを判定し、一致していた場合は、ログイン認証を行う。ログイン認証ができたユーザは、会議の参加者として登録される。サーバ２の表示制御部２３２は、ログイン認証に成功し、そのユーザが会議に参加することができる旨が表示部３４に表示されるよう画面データを制御する。その後、サーバ２の出力部２３３は、通信部２１及びネットワークを介して、画面データをユーザ端末３に送信する。

Ａ３において、ユーザ端末３の制御部３３は、ホストユーザによる入力部３５の操作を介して、ホストユーザからの会議の開始要求を受け付ける。制御部３３は、会議の開始要求を受け付けると、ホストユーザのユーザ端末３の通信部３１及びネットワークを介して、会議の開始要求をサーバ２に送信する。

Ａ４において、サーバ２の受付部２３１は、ネットワーク及びサーバ２の通信部２１を介して、ホストユーザのユーザ端末３から会議の開始要求を受け付ける。受付部２３１が会議の開始要求を受け付けると、オンライン会議を開始するための処理が行われる。具体的には、受付部２３１は、各ユーザ端末３から送信される音声データ、動画データ等のデータを受け付けられる状態にする。また、サーバ２の表示制御部２３２は、文書作成領域６２とスクリプト表示領域６３とを含む（文書作成領域６２とスクリプト表示領域６３については、後の図６参照）、会議の議事録を作成するための入力画面が表示されるように画面データを制御することができる状態にする。ここで、文書作成領域６２は、１人以上のユーザによって行われる会議中にユーザによる非音声入力の文書データを表示可能に構成される。また、スクリプト表示領域６３は、会議の音声に基づいて生成された会議のスクリプトデータ６３５を表示可能に構成される（スクリプトデータ６３５については、後の図７参照）。更に、サーバ２の出力部２３３は、画面データ、音声データ、動画データ等のデータを各ユーザ端末３に送信可能な状態にする。

Ａ５において、サーバ２の制御部２３は、会議を開始する。具体的には、出力部２３３は、サーバ２の通信部２１及びネットワークを介して、サーバ２の表示制御部２３２が制御した画面データについて、全てのユーザに送信を開始する。また、一のユーザの集音装置４又は撮影装置５が取得した音声データ又は動画データについて、他のユーザへの送信を開始する。

次に、Ａ６及びＡ７を参照しながら、会議中の処理について説明する。
Ａ６において、各ユーザのユーザ端末３の制御部３３は、会議中に、ユーザによる入力部３５への操作を介して、議事録への文字入力を受け付ける。また、制御部３３は、集音装置４を介して、各ユーザからの音声データを取得する。更に、制御部３３は、撮影装置５を介して、動画データを取得する。制御部３３は、通信部３１及びネットワークを介して、サーバ２に文字入力のデータ、音声データ及び動画データを送信する。

Ａ７において、サーバ２の受付部２３１は、ネットワーク及びサーバ２の通信部２１を介して、各ユーザ端末３から文字入力のデータ、音声データ及び動画データを受け付ける。サーバ２の時間記録部２３４及び表示制御部２３２は、後述する文書入力領域６２２及びタイムスタンプ表示領域６２３において、この文字入力のデータについて、適宜処理する。また、サーバ２の録音部２３５は、取得した音声データを録音データとして記憶部２２に記憶させる。更に、サーバ２の出力部２３３は、通信部２１及びネットワークを介して、表示制御部２３２が制御した画面データを全てのユーザへ送信してもよいし、一のユーザの集音装置４又は撮影装置５が取得した音声データ又は動画データを他のユーザへ送信してもよい。

最後に、Ａ８乃至Ａ１５を参照しながら、会議後の処理について説明する。
Ａ８において、ユーザ端末３の制御部３３は、入力部３５を介して、ユーザからの音声認識要求を受け付ける。制御部３３は、音声認識要求を受け付けると、ユーザ端末３の通信部３１及びネットワークを介して、音声認識要求をサーバ２に送信する。

Ａ９において、サーバ２の受付部２３１は、ネットワーク及びサーバ２の通信部２１を介して、音声認識要求を取得する。音声認識要求を受けたサーバ２の音声認識部２３６は、会議中の録音データを認識する。

Ａ１０において、サーバ２の音声認識部２３６は、認識した録音データを基に、スクリプトデータ６３５を出力する。表示制御部２３２は、出力したスクリプトデータ６３５を表示部３４に表示されるように画面データを制御する。出力部２３３は、サーバ２の通信部２１及びネットワークを介して、画面データをユーザ端末３に送信する。Ａ９及びＡ１０については、図６及び図７を用いて説明する。

Ａ１１において、ユーザ端末３の制御部３３は、ネットワーク及びユーザ端末３の通信部３１を介して、画面データを受信する。制御部３３は、表示部３４に画面データを表示させる。

Ａ１２において、ユーザ端末３の制御部３３は、ユーザによる入力部３５の操作を介して、文字入力又は領域操作を受け付ける。制御部３３は、文字入力又は領域操作を受け付けた場合、通信部３１及びネットワークを介して、文字入力又は領域操作に関する情報をサーバ２に送信する。

Ａ１３において、サーバ２の受付部２３１は、ネットワーク及びサーバ２の通信部２１を介して、文字入力又は領域操作に関する情報を受け付ける。Ａ１３については、図８及び図９を用いて説明する。

Ａ１４において、ユーザ端末３の制御部３３は、通信部３１及びネットワークを介して、保存指示をサーバ２に送信する。

Ａ１５において、サーバ２の制御部２３は、ネットワーク及びサーバ２の通信部２１を介して、議事録を記憶部２２に記憶させる。
Ａ１５の詳細については、図６の保存ボタン６０２及び完成ボタン６０３に関する処理を参照されたい。

３．２． 情報処理の詳細
本節では、前述した情報処理システム１の情報処理方法の詳細について説明する。
また、本設では、ユーザ端末３からサーバ２への指示等のデータの受付の処理、サーバ２からユーザ端末３への画面データ等のデータの送信及びサーバ２とユーザ端末３と間の通信に関する処理については、特に必要がない限り省略する。

図６は、実施形態１における会議終了直後かつ音声認識前にユーザ端末３の表示部３４に表示される議事録の一例である。
画面には、議事録領域６が表示されている。議事録領域６には、議題領域６０１と、保存ボタン６０２と、完成ボタン６０３と、レイアウトボタン６０４と、議事概要表示領域６１と、文書作成領域６２と、スクリプト表示領域６３と、再生領域６４が含まれる。議題領域６０１は、「営業本部定例会議」等の会議の議題が表示される領域である。

保存ボタン６０２は、議事録を一時保存するためのボタンである。
すなわち、サーバ２の受付部２３１は、保存ボタン６０２の選択を受け付ける。保存ボタン６０２の選択を受け付けると、サーバ２の出力部２３３は、現在の議事録を記憶部２２に記憶させる。
これにより、作成途中の議事録を一時的に保存することができる。

完成ボタン６０３は、議事録を完成版にするためのボタンである。
すなわち、受付部２３１は、完成ボタン６０３の選択を受け付ける。完成ボタン６０３が操作された場合、サーバ２の出力部２３３は、現在の議事録を指定の保存先に、ＰＤＦ等の任意の拡張子に変換して、記憶部２２に記憶させる。その後、出力部２３３は、通信部２１及びネットワークを介して、参加者、欠席者等の会議の関連メンバーのユーザ端末３に議事録を送信する。
これにより、完成した議事録について、任意の保存先に保存したり、任意の形式にしたり、任意のメンバーに共有したりすることができる。

レイアウトボタン６０４は、議事録領域６のレイアウトを変更するためのボタンである。
すなわち、受付部２３１は、レイアウトボタン６０４の操作を受け付ける。レイアウトボタン６０４の操作がされた場合、表示制御部２３２は、ユーザ端末３の表示部３４に表示するための議事録領域６のレイアウトを変更するように画面データを制御する。
これにより、議事録のレイアウトを自由に変更することができる。

議事概要表示領域６１は、議事の概要が表示される領域である。議事の概要には、「２０２２／４／２３ １０：００－１１：００」等の会議が行われた日時、「ｈｔｔｐｓ：／／ｍｅｅｔｉｎｇ・・・」等の会議で使われた資料の格納先のＵＲＬ、出席者、欠席者、議事録の作成者等のデータが含まれる。
すなわち、受付部２３１は、議事概要表示領域６１への入力を受け付ける。議事概要表示領域６１への入力がされた場合、表示制御部２３２は、議事概要表示領域６１の記載を変更するように画面データを制御する。
これにより、議事録の概要を任意に編集することができる。

また、文書作成領域６２には、文書作成補助領域６２１、文書入力領域６２２、タイムスタンプ表示領域６２３、特定ボタン６２４等が含まれる。文書作成補助領域６２１は、「アジェンダ」等の文書作成領域６２に表示されているデータが一言で表示可能に構成される。

文書入力領域６２２は、１人以上のユーザによって行われる会議前、会議中及び会議後にユーザによる文字入力の結果が表示可能に構成される。ここで、文字入力は、非音声入力の一例である。
すなわち、受付部２３１は、文書入力領域６２２への文字入力を受け付ける。文書入力領域６２２への文字入力を受け付けた場合、表示制御部２３２は、ユーザ端末３に文字入力を文書データとして表示させるように画面データを制御する。
これにより、議事録を任意に編集することができる。

タイムスタンプ表示領域６２３は、文書入力領域６２２に文字入力されたときの会議の経過時間に関する時間データを表示可能に構成される。
すなわち、受付部２３１は、文書入力領域６２２への文字入力を受け付ける。時間記録部２３４は、文書入力領域６２２に文字入力がされた時間について、タイムスタンプ表示領域６２３に時間データを記録する。その後、表示制御部２３２は、ユーザ端末３に表示させるための画面データを制御する。例えば、受付部２３１は、会議の開始から１分１６秒が経過していたときに、文書入力領域６２２に文字入力を受け付けたとする。この場合、時間記録部２３４は、文字入力がされた箇所の横かつタイムスタンプ表示領域６２３内の箇所に「１：１６」と時間データを記録する。
これにより、議事録への文字入力がされたときの時間を記録することができる。

特定ボタン６２４は、文書入力領域６２２に入力された文書の一部を決定事項、ＴｏＤｏ事項、等の特定事項に反映させるためのボタンである。
すなわち、受付部２３１は、カーソルによるドラッグ等により文書入力領域６２２内の文書データの選択を受け付ける。特定部２３７は、選択された文書データを特定する。更に、受付部２３１は、特定ボタン６２４の選択を受け付ける。これらを受け付けた場合、表示制御部２３２は、特定された文書データが決定事項、ＴｏＤｏ事項等の特定事項を認識することができるようにユーザ端末３に表示させるための画面データを制御する。
これにより、任意の文書データを特定事項とすることができる。

更に、スクリプト表示領域６３には、スクリプト表示補助領域６３１と、スクリプト領域６３２と、検索領域６３３と、特定ボタン６３４と、が含まれる。スクリプト表示補助領域６３１は、「文字起こし」等のスクリプト領域６３２に表示されているデータが一言で表示可能に構成される。スクリプト領域６３２は、会議の音声に基づいて生成された会議のスクリプトデータ６３５を表示可能に構成される。なお、文書入力領域６２２及びスクリプト領域６３２の少なくとも一方は、ポップアップして表示されてもよい。
スクリプト領域６３２で行われる処理については、図７を用いて詳述する。

検索領域６３３は、スクリプト領域６３２内の任意のキーワードを検索するための領域である。
すなわち、受付部２３１は、検索領域６３３へのキーワードの入力を受け付ける。出力部２３３は、該当するキーワードが存在するか否かを判断する。該当するキーワードが存在する場合、表示制御部２３２は、スクリプト領域６３２内の該当のキーワードをハイライトして表示する。
これにより、スクリプト内の任意のデータを簡便に発見することができる。

特定ボタン６３４は、スクリプト領域６３２に入力された文書の一部を決定事項、ＴｏＤｏ事項等に反映させるためのボタンである。特定ボタン６３４に関する処理については、図９を用いて詳述する。

再生領域６４には、再生、停止等の録音データを再生するためのオブジェクトが表示されている。

図７は、実施形態１における音声認識後のユーザ端末３の表示部３４に表示される議事録の一例である。
図６と比較して、文字起こしが終了しスクリプトデータ６３５が生成されている点で異なる。スクリプトデータ６３５は、録音データを文字起こししたデータである。

すなわち、会議中において、受付部２３１は、会議の音声データを受け付ける。録音部２３５は、会議の音声データを録音データとして記憶部２２に記憶させる（録音する）。会議後において、サーバ２の受付部２３１は、ネットワーク及びサーバ２の通信部２１を介して、音声認識要求を取得する。音声認識要求を受けたサーバ２の音声認識部２３６は、会議中の録音データを認識する。音声認識部２３６は、認識した録音データを基に、スクリプト領域６３２にスクリプトデータ６３５を出力する。表示制御部２３２は、出力したスクリプトデータ６３５を表示するようにスクリプト領域６３２を制御する。すなわち、スクリプト領域６３２は、録音データに基づいて生成されるスクリプトデータ６３５を表示可能に構成される。
これにより、録音データをスクリプトデータとして取り出すことができる。

図８は、実施形態１におけるスクリプトデータ６３５の特定時のユーザ端末３の表示部３４に表示される議事録の一例である。
図７と比較して、時間ハイライト領域６２５及びスクリプトハイライト領域６３６が表示されている点で異なる。時間ハイライト領域６２５は、タイムスタンプ表示領域６２３内のデータが選択されることにより表示される。例えば、時間ハイライト領域６２５は、「１１：３２」が選択されることにより、当該箇所の色が変わって表示される。スクリプトハイライト領域６３６は、タイムスタンプ表示領域６２３内のデータが選択されることにより表示される。例えば、スクリプトハイライト領域６３６は、「１１：３２」が選択されることにより、当該時間に該当するスクリプトの色が変わって表示される。なお、再生領域６４のシークバーは、タイムスタンプ表示領域６２３内のデータの選択に合わせて、議題の開始時間である「１１：３２」に移動するように構成されることができる。

すなわち、受付部２３１は、文書入力領域６２２又はタイムスタンプ表示領域６２３に表示された情報の選択を受け付ける。特定部２３７は、文書入力領域６２２又はタイムスタンプ表示領域６２３に表示された文書データ又は時間データに対する選択を受け付けた場合、文書データ又は時間データが入力された時間に対応するスクリプト領域６３２内のスクリプトデータ６３５を特定する。ここで、文書データ又は時間データは、非音声入力の一例である。また、スクリプトデータ６３５は一定範囲として特定される。表示制御部２３２は、選択された文書入力領域６２２内の文書データ又はタイムスタンプ表示領域６２３内の時間データ及びそれに対応するスクリプトデータ６３５をハイライトして表示するように画面データを制御する。
これにより、文書データ又はタイムスタンプ表示領域に対応するスクリプトデータを容易に参照することができる。

更に、本実施形態において、録音データを再生するように構成することができる。このとき、議事録領域６には、録音データを再生するためのオブジェクトを設けてもよい。
すなわち、受付部２３１は、文書入力領域６２２又はタイムスタンプ表示領域６２３に表示された情報の選択を受け付ける。文書データ又は時間データに対する選択を受け付けた場合、特定部２３７は、文書データ又は時間データが入力された時間に対応するスクリプト領域６３２内のスクリプトデータ６３５を特定する。次に、受付部２３１は、再生するためのオブジェクトの操作を受け付ける。再生するためのオブジェクトの操作を受け付けることにより、再生部２３９は、特定部２３７により特定されたスクリプトデータ６３５の一定範囲に対応する録音データを再生する。
これにより、特定したスクリプトデータに対応する会議の録音データを再生することができる。

図９は、実施形態１におけるスクリプトデータ６３５の転写時のユーザ端末３の表示部３４に表示される議事録の一例である。
図７と比較して、文書ハイライト領域６２６及びスクリプトハイライト領域６３７が表示されている点で異なる。スクリプトハイライト領域６３７は、スクリプトデータ６３５内のデータをカーソルでドラッグ等することで表示される。例えば、スクリプトハイライト領域６３７は、「出席者に新企画のフィードバックをお願い」の部分をカーソルでドラッグすることにより、当該箇所の色が変わって表示される。また、文書ハイライト領域６２６は、スクリプトハイライト領域６３７を表示した状態で、特定ボタン６３４を操作することにより表示される。例えば、文書ハイライト領域６２６は、「出席者に新企画のフィードバックをお願い」をハイライトした状態で、特定ボタン６３４を操作することにより、決定事項、ＴｏＤｏ事項等の特定事項として転記される。なお、再生領域６４のシークバーは、スクリプトデータ６３５の選択に合わせて、議題の開始時間である「１１：３２」に移動するように構成されることができる。

受付部２３１は、スクリプト表示領域６３のスクリプトの選択を受け付ける。転写部２３８は、スクリプト表示領域６３に表示されたスクリプトに対する選択を受け付けた場合、文書作成領域６２内に、選択された部分を転写する。このとき、決定事項、ＴｏＤｏ事項等の特定項目として転写することができる。すなわち、転写部２３８は、スクリプト表示領域６３に表示されたスクリプトの少なくとも一部を、決定事項、ＴｏＤｏ事項等の特定項目の記載として転写する。表示制御部２３２は、転写したデータを表示するように画面データを制御する。
これにより、文字起こししたスクリプトデータについて、容易に決定事項等の特定事項とすることができる。

［実施形態２］
実施形態１では、作成者が議事録の作成を行う例について説明した。実施形態２は、チャット形式で議事録が作成される例について説明する。
ハードウェア構成及び機能構成については、実施形態１と同様のため、省略する。また、本チャットは、既存のチャットサービスやチャットアプリと連携することで実現してもよい。

図１０は、実施形態２におけるユーザ端末３の表示部３４に表示される議事録の一例である。
図１０には、議事録領域７が表示されている。議事録領域７には、議題まとめ領域７１と、要点まとめ領域７２と、が含まれる。また、議事録領域７には、議事録のタイトルと、議事録の概要と、会議の決定事項と、会議のＴｏＤｏ事項と、が含まれてもよい。議題まとめ領域７１には、議題情報領域７１１と、再生領域７１２と、が、含まれる。

議題情報領域７１１には、投稿件数と、決定事項の件数と、ＴｏＤｏ事項件数と、議題に要した時間と、が議題毎に表示されている。また、再生領域７１２には、再生、停止等の録音データを再生するためのオブジェクトが表示されている。
すなわち、受付部２３１は、議題情報領域７１１の操作を受け付ける。議題情報領域７１１への操作がされた場合、特定部２３７は、議題に対応する録音データを特定する。更に、受付部２３１は、再生領域７１２の操作を受け付ける。再生領域７１２の操作を受け付けた場合、再生部２３９は、選択された議題情報領域７１１に対応する録音データを再生する。
これにより、特定した議題に対応する会議の録音データを再生することができる。

要点まとめ領域７２には、重要データ領域７２１と、見出しデータ領域７２２と、が含まれる。
重要データ領域７２１は、１人以上のユーザによって行われる会議中にユーザによるチャットを介して入力された入力の結果を表示可能に構成される。見出しデータ領域７２２は、会議の音声に基づいて音声認識部２３６が生成した会議の各議題に対応するスクリプトデータの一部を表示可能に構成される。ここで、重要データ領域７２１及び見出しデータ領域７２２は、文書作成領域及びスクリプト表示領域の一例である。また、ここで、チャットを介して入力された入力は、非音声入力の一例である。

見出しデータ領域７２２は、選択されることにより、各議題に対応するスクリプト情報の全部を表示してもよい。
すなわち、受付部２３１は、見出しデータ領域７２２内の任意の議題の選択を受け付ける。議題の選択を受け付けた場合、表示制御部２３２は、その議題に対応するスクリプトデータの全部を表示するように画面データを制御する。
これにより、スクリプトデータの参照がスムーズに行うことができる。

また、実施形態１と同様に、特定と転写を実行してもよい。
具体的には、表示制御部２３２は、重要データ領域７２１と見出しデータ領域７２２とを含む、会議の議事録を作成するための入力画面を表示ように画面データを制御する。特定部２３７は、重要データ領域７２１に対する選択を受け付けた場合、重要データ領域７２１が入力された時間に対応する見出しデータ領域７２２を特定しスクリプトデータを展開する。転写部２３８は、展開されたスクリプトデータに対する選択を受け付けた場合、重要データ領域７２１に、選択された部分を転写する。
これにより、文字起こししたスクリプトデータについて、容易に決定事項等の特定事項とすることができる。

このような実施形態によれば、より効率的に議事録を作成することができる。すなわち、文字認識を行うとともに、議事において要約、重要部分等の抽出を容易に行うことができる。

［その他］
本実施形態に係る情報処理システム１に関して、以下のような態様を採用してもよい。

集音装置４は、ユーザ端末３を介することなく、サーバ２における通信部２１とネットワークを介して直接接続され、集音した音声データをサーバ２に転送可能に構成されてもよい。この場合は、どの集音装置４から集音された音声データがどのユーザに紐づくかの記録がなされることが好ましい。音声データを複数のユーザと紐づけることもできるが、１ユーザに１つの集音装置４であれば、音声データがどのユーザの発言かを記録することが可能である。撮影装置５についても同様である。

更に、次に記載の各態様で提供されてもよい。
前記情報処理システムにおいて、前記非音声入力は、前記ユーザによる文字入力である、情報処理システム。
前記情報処理システムにおいて、前記特定ステップでは、前記スクリプトが一定範囲として特定される、情報処理システム。
前記情報処理システムにおいて、前記転写ステップでは、前記スクリプト表示領域に表示された前記スクリプトの少なくとも一部を、特定項目の記載として転写する、情報処理システム。
前記情報処理システムにおいて、前記制御部は、録音ステップを更に実行するように構成され、前記録音ステップでは、前記会議の音声を録音データとして録音し、前記スクリプト表示領域は、前記録音データに基づいて生成されるスクリプトを表示可能に構成される、情報処理システム。
前記情報処理システムにおいて、前記制御部は、再生ステップを更に実行するように構成され、前記再生ステップでは、特定ステップにより特定された前記スクリプトの一定範囲に対応する録音データを再生可能に構成される、情報処理システム。
前記情報処理システムにおいて、前記非音声入力は、チャットを介して入力された入力である、情報処理システム。
プログラムであって、コンピュータを、前記情報処理システムの制御部として機能させるためのプログラム。
コンピュータが処理する情報処理方法であって、前記情報処理システムの各ステップを備える、情報処理方法。
もちろん、この限りではない。

最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態及びその変形は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ ：情報処理システム
２ ：サーバ
３ ：ユーザ端末
３－１ ：ユーザ端末
３－２ ：ユーザ端末
３－ｎ ：ユーザ端末
４ ：集音装置
４－１ ：マイク
４－２ ：マイク
４－ｎ ：マイク
５ ：撮影装置
５－１ ：カメラ
５－２ ：カメラ
５－ｎ ：カメラ
６ ：議事録領域
７ ：議事録領域
２０ ：通信バス
２１ ：通信部
２２ ：記憶部
２３ ：制御部
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：制御部
３４ ：表示部
３５ ：入力部
６１ ：議事概要表示領域
６２ ：文書作成領域
６３ ：スクリプト表示領域
７１ ：領域
７２ ：領域
２３１ ：受付部
２３２ ：表示制御部
２３３ ：出力部
２３４ ：時間記録部
２３５ ：録音部
２３６ ：音声認識部
２３７ ：特定部
２３８ ：転写部
２３９ ：再生部
６０１ ：議題領域
６０２ ：保存ボタン
６０３ ：完成ボタン
６０４ ：レイアウトボタン
６２１ ：文書作成補助領域
６２２ ：文書入力領域
６２３ ：タイムスタンプ表示領域
６２４ ：特定ボタン
６２５ ：時間ハイライト領域
６２６ ：文書ハイライト領域
６３１ ：スクリプト表示補助領域
６３２ ：スクリプト領域
６３３ ：検索領域
６３４ ：特定ボタン
６３５ ：スクリプトデータ
６３６ ：スクリプトハイライト領域
６３７ ：スクリプトハイライト領域
７１１ ：議題情報領域
７１２ ：再生領域
７２１ ：重要データ領域
７２２ ：見出しデータ領域

Claims (9)

1. 情報処理システムであって、
   制御部を備え、
   前記制御部は、次の各ステップを実行するように構成され、
   表示制御ステップでは、文書入力領域とスクリプト表示領域と録音データを再生するためのシークバーとを含む、会議の議事録を作成するための入力画面を表示させ、ここで
   前記文書入力領域は、会議中において、ユーザによる非音声入力の結果を表示可能に構成され、前記会議は、１人以上のユーザによって行われ、
   前記スクリプト表示領域は、前記会議の音声に基づいて生成された前記会議のスクリプトを表示可能に構成され、
   前記シークバーは、時間データの選択に合わせて、前記時間データに紐づく前記会議の経過時間に移動するように構成され、
   前記時間データは、前記文書入力領域に前記非音声入力されたときの前記会議の経過した時間のデータであり、
   受付ステップでは、前記文書入力領域への非音声入力を受け付け、
   時間記録ステップでは、前記文書入力領域に前記非音声入力がされたときの前記会議の経過した時間を記録する、
   情報処理システム。
2. 請求項１に記載の情報処理システムにおいて、
   前記表示制御ステップでは、前記文書入力領域に前記非音声入力を受け付けた場合、選択可能なデータを表示させる、
   情報処理システム。
3. 請求項１又は２に記載の情報処理システムにおいて、
   前記制御部は、特定ステップを更に実行するように構成され、
   前記特定ステップでは、前記時間データに対する選択を受け付けた場合、前記時間データが入力された時間に対応する前記スクリプト表示領域内のスクリプトを特定する、
   情報処理システム。
4. 請求項３に記載の情報処理システムにおいて、
   前記制御部は、再生ステップを更に実行するように構成され、
   前記再生ステップは、前記特定ステップにより特定された前記スクリプトに対応する前記録音データを再生する、
   情報処理システム。
5. 情報処理システムであって、
   制御部を備え、
   前記制御部は、次の各ステップを実行するように構成され、
   表示制御ステップでは、文書入力領域とスクリプト表示領域とを含む、会議の議事録を作成するための入力画面を表示させ、ここで
   前記文書入力領域は、会議前及び前記会議中に、ユーザによる非音声入力の結果を表示可能に構成され、前記会議は、１人以上のユーザによって行われ、
   前記スクリプト表示領域は、前記会議の音声に基づいて生成された前記会議のスクリプトを表示可能に構成され、
   受付ステップでは、前記文書入力領域への非音声入力を受け付け、
   時間記録ステップでは、前記文書入力領域に前記非音声入力がされた時間を記録する、
   情報処理システム。
6. 情報処理システムであって、
   制御部を備え、
   前記制御部は、次の各ステップを実行するように構成され、
   表示制御ステップでは、文書入力領域とスクリプト表示領域とを含む、会議の議事録を作成するための入力画面を表示させ、ここで
   前記文書入力領域は、会議前、前記会議中及び前記会議後に、ユーザによる非音声入力の結果を表示可能に構成され、前記会議は、１人以上のユーザによって行われ、
   前記スクリプト表示領域は、前記会議の音声に基づいて生成された前記会議のスクリプトを表示可能に構成され、
   受付ステップでは、前記文書入力領域への非音声入力を受け付け、
   時間記録ステップでは、前記文書入力領域に前記非音声入力がされた時間を記録する、
   情報処理システム。
7. 情報処理システムであって、
   制御部を備え、
   前記制御部は、次の各ステップを実行するように構成され、
   表示制御ステップでは、文書入力領域とスクリプト表示領域とを含む、会議の議事録を作成するための入力画面を表示させ、ここで
   前記文書入力領域は、前記会議中に、ユーザによる非音声入力の結果を表示可能に構成され、前記会議は、１人以上のユーザによって行われ、
   前記スクリプト表示領域は、前記会議の音声に基づいて生成された前記会議のスクリプトを表示可能に構成され、
   受付ステップでは、前記文書入力領域への非音声入力を受け付け、
   時間記録ステップでは、前記非音声入力がされた時間を前記入力画面に表示させ、
   特定ステップでは、前記時間に対する選択を受け付けた場合、前記時間に対応するスクリプトを特定する、
   情報処理システム。
8. プログラムであって、
   コンピュータを、請求項１から請求項７までのいずれか１項に記載の情報処理システムの制御部として機能させるためのプログラム。
9. コンピュータが処理する情報処理方法であって、
   請求項１から請求項７までのいずれか１項に記載の情報処理システムの各ステップを備える、情報処理方法。