JP7163968B2 - サーバ装置、会議支援システム、会議支援方法及びプログラム - Google Patents

サーバ装置、会議支援システム、会議支援方法及びプログラム Download PDF

Info

Publication number
JP7163968B2
JP7163968B2 JP2020554319A JP2020554319A JP7163968B2 JP 7163968 B2 JP7163968 B2 JP 7163968B2 JP 2020554319 A JP2020554319 A JP 2020554319A JP 2020554319 A JP2020554319 A JP 2020554319A JP 7163968 B2 JP7163968 B2 JP 7163968B2
Authority
JP
Japan
Prior art keywords
information
conference
server device
participants
shared information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020554319A
Other languages
English (en)
Other versions
JPWO2021171449A1 (ja
Inventor
真 則枝
健太 福岡
匡史 米田
翔悟 赤崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021171449A1 publication Critical patent/JPWO2021171449A1/ja
Application granted granted Critical
Publication of JP7163968B2 publication Critical patent/JP7163968B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827Network arrangements for conference optimisation or adaptation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、サーバ装置、会議支援システム、会議支援方法及びプログラムに関する。
企業活動等において会議、打ち合わせ等は重要な意思決定の場である。会議を効率的に行うための種々の提案がなされている。
例えば、特許文献1には、会議の内容を資産化し、会議の運営を効率化する、と記載されている。特許文献1に開示された会議支援システムは、画像認識部を備える。画像認識部は、ビデオ会議装置により取得された映像データから画像認識技術により各出席者に係る画像を認識する。さらに、当該システムは、音声認識部を備える。音声認識部は、ビデオ会議装置により取得された各出席者の音声データを取得し、音声データと予め登録された各出席者の音声の特徴情報との比較を行う。さらに、音声認識部は、各出席者の動きの情報に基づいて、音声データにおける各発言の発言者を特定する。さらに、会議支援システムは、音声認識部により取得された各出席者の音声データを発言の時系列でタイムラインとして出力するタイムライン管理部を備える。
特開2019-061594号公報
会議は意思決定の場であると同時に、会議の参加者で情報を共有する場でもある。具体的には、最新技術のトレンドや経営情報等を参加者全員で共有することが目的となる会議も多い。例えば、参加者が事前に用意した資料をプロジェクタで投射したり、印刷物を配布したりして情報共有が行われる。
しかし、上記のような情報共有では、時間や資源の浪費といった問題が生じる。例えば、プロジェクタにより資料を投射する場合には、PC(パーソナルコンピュータ)とプロジェクタを接続する時間、他の参加者が所有するPCとプロジェクタの接続を切り替える時間等の無駄な時間が必要である。あるいは、印刷物を配布する場合には、参加者が多ければ紙資源の浪費やその準備に時間がかかるといった問題がある。
本発明は、会議における円滑な情報共有を可能とすることに寄与する、サーバ装置、会議支援システム、会議支援方法及びプログラムを提供することを主たる目的とする。
本発明の第1の視点によれば、会議の参加者の発言を解析し、前記参加者の発言が予め定めた条件に合致するか否かを判定する、判定部と、前記参加差の発言が前記予め定めた条件に合致する場合、予め定めた共有情報を前記会議の参加者に提供する、情報提供部と、を備える、サーバ装置が提供される。
本発明の第2の視点によれば、端末と、サーバ装置と、を含み、前記サーバ装置は、 会議の参加者の発言を解析し、前記参加者の発言が予め定めた条件に合致するか否かを判定する、判定部と、前記参加差の発言が前記予め定めた条件に合致する場合、予め定めた共有情報を前記会議の参加者に提供する、情報提供部と、を備える、会議支援システムが提供される。
本発明の第3の視点によれば、サーバ装置において、会議の参加者の発言を解析し、前記参加者の発言が予め定めた条件に合致するか否かを判定し、前記参加差の発言が前記予め定めた条件に合致する場合、予め定めた共有情報を前記会議の参加者に提供する、会議支援方法が提供される。
本発明の第4の視点によれば、サーバ装置に搭載されたコンピュータに、会議の参加者の発言を解析し、前記参加者の発言が予め定めた条件に合致するか否かを判定する処理と、前記参加差の発言が前記予め定めた条件に合致する場合、予め定めた共有情報を前記会議の参加者に提供する処理と、を実行させるためのプログラムを記憶する、コンピュータ読取可能な記憶媒体が提供される。
本発明の各視点によれば、会議における円滑な情報共有を可能とすることに寄与する、サーバ装置、会議支援システム、会議支援方法及びプログラムが提供される。なお、本発明の効果は上記に限定されない。本発明により、当該効果の代わりに、又は当該効果と共に、他の効果が奏されてもよい。
一実施形態の概要を説明するための図である。 第1の実施形態に係る会議支援システムの概略構成の一例を示す図である。 第1の実施形態に係るサーバ装置と会議室の接続を説明するための図である。 第1の実施形態に係るサーバ装置の処理構成の一例を示す図である。 第1の実施形態に係る利用者登録部の処理構成の一例を示す図である。 第1の実施形態に係る利用者情報取得部の動作を説明するための図である。 利用者データベースの一例を示す図である。 第1の実施形態に係る会議事前情報取得部の動作を説明するための図である。 会議事前情報データベースの一例を示す図である。 参加者リストの一例を示す図である。 第1の実施形態に係るキーワード検出部の処理構成の一例を示す図である。 第1の実施形態に係る会議室端末の処理構成の一例を示す図である。 第1の実施形態に係る共有情報出力部の動作を説明するための図である。 第1の実施形態に係る会議支援システムの動作の一例を示すシーケンス図である。 サーバ装置のハードウェア構成の一例を示す図である。 本願開示の変形例に係る会議支援システムの概略構成の一例を示す図である。 本願開示の変形例に係る会議支援システムの概略構成の一例を示す図である。
はじめに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、特段の釈明がない場合には、各図面に記載されたブロックはハードウェア単位の構成ではなく、機能単位の構成を表す。各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。なお、本明細書及び図面において、同様に説明されることが可能な要素については、同一の符号を付することにより重複説明が省略され得る。
一実施形態に係るサーバ装置100は、判定部101と情報提供部102を備える(図1参照)。判定部101は、会議の参加者の発言を解析し、参加者の発言が予め定めた条件に合致するか否かを判定する。情報提供部102は、参加差の発言が予め定めた条件に合致する場合、予め定めた共有情報を会議の参加者に提供する。
サーバ装置100は、会議に参加している参加者の発言が予め定めた条件に合致している場合に事前に登録された共有情報を参加者に提供する。例えば、サーバ装置100は、会議に参加している参加者に発言の中に予め定めたキーワードを検出すると、当該キーワードと対応付けて登録された共有情報を会議の参加者に提供する。その結果、参加者の発言に連動して事前に準備された共有情報が、他の参加者に向けて提供される。即ち、サーバ装置100は、会議における円滑な情報共有を実現する。
以下に具体的な実施形態について、図面を参照してさらに詳しく説明する。
[第1の実施形態]
第1の実施形態について、図面を用いてより詳細に説明する。
図2は、第1の実施形態に係る会議支援システムの概略構成の一例を示す図である。図2を参照すると、会議支援システムには、複数の会議室端末10-1~10-8と、サーバ装置20と、が含まれる。なお、図2に示す構成は例示であって、会議室端末10等の数を限定する趣旨ではないことは勿論である。また、以降の説明において、会議室端末10-1~10-8を区別する特段の理由がない場合には、単に「会議室端末10」と表記する。
複数の会議室端末10のそれぞれとサーバ装置20は、有線又は無線の通信手段により接続され、相互に通信が可能となるように構成されている。サーバ装置20は、会議室と同じ部屋や建物内に設置されていてもよいし、ネットワーク上(クラウド上)に設置されていてもよい。
会議室端末10は、会議室の各席に設置された端末である。参加者は、当該端末を操作し必要な情報等を表示させつつ、会議を行う。会議室端末10にはカメラ機能を備え、着席した参加者を撮像可能に構成されている。また、会議室端末10はマイク(例えば、ピンマイクやワイヤレスマイク)と接続可能に構成されている。当該マイクにより会議室端末10のそれぞれの前に着席した参加者の音声が集音される。なお、会議室端末10に接続されるマイクは指向性の強いマイクであることが望ましい。マイクを装着した利用者の音声が集音されればよく、他人の音声は集音する必要がないためである。
サーバ装置20は、会議の支援を行う装置である。サーバ装置20は、意思決定の場、アイディア発想の場である会議の支援を行う。具体的には、サーバ装置20は、会議の進行に共に議題に上るトピックスに関する最新情報等を参加者に提供することで会議を支援する。なお、サーバ装置20は、図3に示すように少なくとも1以上の会議室にて行われる会議の支援を行う。
サーバ装置20は、会議参加者の発言を解析し、当該発言が予め定めた条件に合致するか否かを判定する。第1の実施形態では、サーバ装置20は、参加者の発言の中に予め定めたキーワード(後述するトリガーワード)が含まれるか否かを判定する。
<事前準備>
ここで、サーバ装置20による会議支援を実現するためには、システム利用者(会議への参加を予定している利用者)は事前準備を行う必要がある。以下、事前準備について説明する。
システム利用者が行う事前準備には2つの準備が含まれる。
第1の事前準備は、利用者自身に関する情報をシステムに登録することである。
第2の事前準備は、会議への参加者が、会議の参加者に提示したい(参加者全員で共有したい)情報をサーバ装置20に事前入力することである。あるいは、第2の事前準備は、会議の開催前に当該会議で議題に上ると想定されるトピックス等に関する情報をサーバ装置20に入力することと解釈することもできる。
<第1の事前準備;システム利用者登録>
利用者は、自身の生体情報、プロフィール等の属性値をシステム登録する。具体的には、利用者は、顔画像をサーバ装置20に入力する。また、利用者は、自身のプロフィール(例えば、氏名、社員番号、勤務地、所属部署、役職、連絡先等の情報)をサーバ装置20に入力する。
なお、上記生体情報、プロフィール等の情報入力には任意の方法を用いることができる。例えば、利用者は、スマートフォン等の端末を利用して、自分の顔画像を撮像する。さらに、利用者は、端末を利用してプロフィールが記載されたテキストファイル等を生成する。利用者は、端末を操作して、上記情報(顔画像、プロフィール)をサーバ装置20に送信する。あるいは、利用者は、上記情報が格納されたUSB(Universal Serial Bus)等の外部記憶装置を用いて、サーバ装置20に必要な情報を入力してもよい。
あるいは、サーバ装置20がWEB(ウェブ)サーバとしての機能を備え、利用者は当該サーバが提供するフォームにより必要な情報を入力してもよい。あるいは、各会議室に上記情報入力を行うための端末が設置され、利用者は当該会議室に設置された端末から必要な情報をサーバ装置20に入力してもよい。
サーバ装置20は、取得した利用者情報(生体情報、プロフィール等)を用いてシステム利用者を管理するデータベースを更新する。当該データベースの更新に関する詳細は後述するが、サーバ装置20は概略以下のような動作によりデータベースを更新する。なお、以降の説明において、本願開示のシステムを利用する利用者を管理するためのデータベースを「利用者データベース」と表記する。
サーバ装置20は、取得した利用者情報に対応する人物が利用者データベースに登録されていない新規な利用者である場合には、当該利用者にID(Identifier)を割り当てる。また、サーバ装置20は、取得した顔画像を特徴付ける特徴量を生成する。
サーバ装置20は、新規な利用者に割り当てたID、顔画像から生成した特徴量、利用者の顔画像、プロフィール等を含むエントリを利用者データベースに追加する。サーバ装置20が利用者情報を登録することで、会議への参加者は図2に示す会議支援システムの利用が可能となる。
<第2の事前準備;共有情報の入力>
上述のように、参加者は、会議にて他の参加者に提供したい、他の参加者と共有したい情報をサーバ装置20に入力する。なお、以降の説明において、参加者が他の参加者と情報共有したい情報を「共有情報」と表記する。共有情報には、最新技術に関する情報や売上高等の経営に関する情報が例示される。
参加者は、参加する会議を特定する会議IDを生成するための情報、上記共有情報に関する情報をサーバ装置20に入力する。なお、参加者が会議の開催前にサーバ装置20に入力する情報を「会議事前情報」と表記する。上述のように、会議事前情報には、会議IDを生成するための情報と共有情報に関する情報が含まれる。
共有情報に関する情報には、共有情報に関連したキーワードと、共有情報を特定するデータと、が含まれる。なお、以降の説明において、共有情報に関連したキーワードを「トリガーワード」と表記する。共有情報を特定するデータを「共有情報特定データ」と表記する。
例えば、参加者が、「AI」に関する最新情報が記載されたWEB(ウェブ)ページを他の参加者に提供したい(他の参加者と共有したい)場合、当該WEBページの内容が「共有情報」に該当する。また、共有情報に関連したキーワード(トリガーワード)には「AI」が選択される。さらに、共有情報特定データには、上記WEBページのURL(Uniform Resource Locator)が該当する。
あるいは、参加者が経営状況を他の参加者と共有したい場合、経営情報が「共有情報」に該当する。また、トリガーワードには「売上高」や「経常利益」が選択される。さらに、共有情報特定データには、上記最新の経営情報をまとめたファイル(例えば、表計算ソフトに対応したファイル)の格納フォルダのパスが該当する。
参加者は、任意の方法により会議事前情報をサーバ装置20に入力する。例えば、参加者は、自身の端末を使って会議事前情報(会議IDの基礎となる情報、共有情報に関する情報)をサーバ装置20に入力してもよいし、サーバ装置20が提供するGUI等を用いて会議事前情報をサーバ装置20に入力してもよい。
<システムの動作概略>
参加者による事前準備が終了すると会議支援システムによる会議支援が可能となる。参加者は、会議の冒頭に会議ID(又は会議IDの基礎となる情報)をサーバ装置20に入力する。例えば、参加者は、会議の開催日時や会議室の番号を、会議室端末10を使って入力する。サーバ装置20は、会議IDや会議IDの基礎となる情報(会議IDを生成するための情報)を会議室端末10から取得すると、会議の開始を認識する。
会議が始まると、サーバ装置20は、各参加者の発言を取得する。サーバ装置20は、予め定められたキーワード(事前に入力されたトリガーワード)が参加者の発言に含まれるか否かを判定する。サーバ装置20は、参加者がトリガーワードを発言したと判断すると、トリガーワードに対応する共有情報を会議の参加者に提供する。
上述の「AI」の最新情報に関する例では、サーバ装置20は、参加者が「AI」という文言を発したことを検出し、登録されたURLのWEBページの内容を各参加者に提供する。
参加者は、表示されたWEBページに関する参照しつつ議論等を行うことができる。その結果、参加者が事前に用意した情報(共有情報)が迅速に参加者全員に提供されることになり、会議の効率化や議論の深化を実現できる。
続いて、第1の実施形態に係る会議支援システムに含まれる各装置の詳細について説明する。
[サーバ装置]
図4は、第1の実施形態に係るサーバ装置20の処理構成(処理モジュール)の一例を示す図である。図4を参照すると、サーバ装置20は、通信制御部201と、利用者登録部202と、会議事前情報取得部203と、参加者特定部204と、キーワード検出部205と、共有情報提供部206と、記憶部207と、を備える。
通信制御部201は、他の装置との間の通信を制御する手段である。具体的には、通信制御部201は、会議室端末10からデータ(パケット)を受信する。また、通信制御部201は、会議室端末10に向けてデータを送信する。通信制御部201は、他の装置から受信したデータを他の処理モジュールに引き渡す。通信制御部201は、他の処理モジュールから取得したデータを他の装置に向けて送信する。このように、他の処理モジュールは、通信制御部201を介して他の装置とデータの送受信を行う。
利用者登録部202は、上述のシステム利用者登録を実現する手段である。利用者登録部202は、複数のサブモジュールを含む。図5は、利用者登録部202の処理構成の一例を示す図である。図5を参照すると、利用者登録部202は、利用者情報取得部211と、ID生成部212と、特徴量生成部213と、エントリ管理部214と、を備える。
利用者情報取得部211は、上記説明した利用者情報を取得する手段である。利用者情報取得部211は、システム利用者の生体情報(顔画像)とプロフィール(氏名、所属等)を取得する。システム利用者は、自分の端末から上記情報をサーバ装置20に入力してもよいし、サーバ装置20を直接操作して上記情報を入力してもよい。
例えば、利用者情報取得部211は、ネットワークを介して上記情報(顔画像、プロフィール)を取得することができる。あるいは、利用者情報取得部211は、上記情報を入力するためのGUI(Graphical User Interface)やフォームを提供してもよい。例えば、利用者情報取得部211は、図6に示すような情報入力フォームを利用者が操作する端末に表示する。
システム利用者は、図6に示す情報を入力する。また、システム利用者は、システムに新規にユーザ登録するのか、既に登録された情報を更新するのか選択する。システム利用者は、全ての情報を入力すると「送信」ボタンを押下し、生体情報、プロフィールをサーバ装置20に入力する。
利用者情報取得部211は、取得した利用者情報を記憶部207に格納する。
ID生成部212は、システム利用者に割り当てるIDを生成する手段である。ID生成部212は、システム利用者が入力した利用者情報が新規登録に関する情報である場合、当該新規な利用者を識別するためのIDを生成する。例えば、ID生成部212は、取得した利用者情報(顔画像、プロフィール)のハッシュ値を計算し、当該ハッシュ値を利用者に割り当てるIDとしてもよい。あるいは、ID生成部212は、利用者登録のたびに一意な値を採番しIDとしてもよい。なお、以降の説明において、ID生成部212が生成するID(システム利用者を識別するためのID)を「利用者ID」と表記する。
特徴量生成部213は、利用者情報に含まれる顔画像から当該顔画像を特徴付ける特徴量(複数の特徴量からなる特徴ベクトル)を生成する手段である。具体的には、特徴量生成部213は、取得した顔画像から特徴点を抽出する。なお、特徴点の抽出処理に関しては既存の技術を用いることができるのでその詳細な説明を省略する。例えば、特徴量生成部213は、顔画像から目、鼻、口等を特徴点として抽出する。その後、特徴量生成部213は、特徴点それぞれの位置や各特徴点間の距離を特徴量として計算し、複数の特徴量からなる特徴ベクトル(顔画像を特徴づけるベクトル情報)を生成する。
エントリ管理部214は、利用者データベースのエントリを管理する手段である。エントリ管理部214は、新規な利用者をデータベースに登録する際、ID生成部212により生成された利用者ID、特徴量生成部213により生成された特徴量、顔画像、及び、利用者から取得したプロフィールを含むエントリを利用者データベースに追加する。
エントリ管理部214は、利用者データベースに既に登録されている利用者の情報を更新する場合には、社員番号等により情報更新を行うエントリを特定し、取得した利用者情報を用いて利用者データベースを更新する。その際、エントリ管理部214は、取得した利用者情報とデータベースに登録された情報の差分を更新してもよいし、データベースの各項目を取得した利用者情報により上書きしてもよい。また、特徴量に関しても同様に、エントリ管理部214は、生成された特徴量に違いがある場合にデータベースを更新してもよいし、新たに生成された特徴量により既存の特徴量を上書きしてもよい。
利用者登録部202が動作することにより、図7に示すような利用者データベースが構築される。なお、図7に示す利用者データベースに登録された内容は例示であって、利用者データベースに登録する情報を限定する趣旨ではないことは勿論である。例えば、必要に応じて「顔画像」は利用者データベースに登録されていなくともよい。
図4に説明を戻す。会議事前情報取得部203は、参加者から「会議事前情報」を会議の開催前に取得するための手段である。会議事前情報取得部203は、システム利用者(今後開催される会議への参加を予定している利用者)から会議事前情報を取得する。例えば、利用者は、自分の端末から上記会議事前情報をサーバ装置20に入力してもよいし、サーバ装置20を直接操作して上記情報を入力してもよい。
会議事前情報取得部203は、会議事前情報を入力するためのGUI(Graphical User Interface)やフォームを提供してもよい。例えば、会議事前情報取得部203は、図8に示すような情報入力フォームを利用者が操作する端末に表示する。
利用者は、図8に示される情報を入力する。利用者は、図8に示されるような情報の入力が完了すると、「登録」ボタンを押下する。当該ボタンの押下に応じて、サーバ装置20は、会議事前情報を取得する。なお、図8に示すキーワードは「トリガーワード」に該当する。また、図8に示す「選択」ボタンにより特定された情報が「共有情報特定データ」に該当する。例えば「選択」ボタンを押下すると共有情報を選択するためのGUIが起動し、ユーザの選択により「共有情報特定データ」が特定される。
会議事前情報取得部203は、取得した会議事前情報(会議事前情報に含まれる会議IDを生成するための情報)から会議IDを生成する。例えば、会議事前情報取得部203は、会議の開催日時と会議室(会議室番号)の組み合わせを会議IDとして生成する。あるいは、会議事前情報取得部203は、開催日時と会議室の情報を連結し、当該連結された情報のハッシュ値を会議IDとして生成してもよい。あるいは、会議事前情報取得部203は、会議事前情報の登録のたびに一意な値を採番し会議IDとしてもよい。
会議事前情報取得部203は、当該生成した会議IDを会議の参加者に配布する。なお、会議の開催日時と会議室番号から会議IDが生成される場合には、参加者は会議IDを知っている必要はないので、会議IDを参加者に配布することは不要である。
会議事前情報取得部203は、会議ID、トリガーワード、共有情報特定データを対応付けて管理する。具体的には、会議事前情報取得部203は、会議事前情報を管理するデータベース(以下、会議事前情報データベースと表記する)に上記情報を有するエントリを追加する、あるいは、対応するエントリの更新等を行う。
会議事前情報取得部203は、利用者から取得した会議事前情報に基づき図9に示すようなデータベースを構築する。図9を参照すると、開催される会議ごと(会議IDごと)に、トリガーワードと、当該トリガーワードが検出された際に提供される共有情報を特定する情報(共有情報特定データ)と、が対応付けられて管理される。
なお、図9に示す会議事前情報データベースは例示であって、その内容を限定する趣旨ではない。例えば、会議事前情報の登録者もデータベースに記憶されていてもよい。この場合、会議事前情報取得部203は、参加者が入力した氏名、社員番号等を用いて利用者データベースを検索し、当該参加者に対応する利用者IDを特定する。会議事前情報取得部203は、当該特定した利用者IDを会議事前情報データベースに登録する。
図4に説明を戻す。参加者特定部204は、会議に参加している参加者(システム登録した利用者のうち会議室に入場した利用者)を特定する手段である。参加者特定部204は、会議室に設置された会議室端末10のうち参加者が着席した会議室端末10から顔画像を取得する。参加者特定部204は、取得した顔画像から特徴量を算出する。
参加者特定部204は、会議室端末10から取得した顔画像に基づき算出された特徴量を照合対象に設定し、利用者データベースに登録された特徴量との間で照合処理を行う。より具体的には、参加者特定部204は、上記算出した特徴量(特徴ベクトル)を照合対象に設定し、利用者データベースに登録されている複数の特徴ベクトルとの間で1対N(Nは正の整数、以下同じ)照合を実行する。
参加者特定部204は、照合対象の特徴量と登録側の複数の特徴量それぞれとの間の類似度を計算する。当該類似度には、カイ二乗距離やユークリッド距離等を用いることができる。なお、距離が離れているほど類似度は低く、距離が近いほど類似度が高い。
参加者特定部204は、利用者データベースに登録された複数の特徴量のうち、照合対象の特徴量との間の類似度が所定の値以上、且つ、最も類似度が高い特徴量を特定する。
参加者特定部204は、1対N照合の結果得られる特徴量に対応する利用者IDを利用者データベースから読み出す。
参加者特定部204は、上記のような処理を会議室端末10のそれぞれから取得した顔画像について繰り返し、各顔画像に対応する利用者IDを特定する。参加者特定部204は、特定した利用者IDと顔画像の送信元である会議室端末10のIDを対応付けて参加者リストを生成する。会議室端末10のIDには、会議室端末10のMAC(Media Access Control)アドレスやIP(Internet Protocol)アドレスを用いることができる。
また、参加者特定部204は、会議室端末10から会議ID(又は会議IDの基礎となる情報)を取得する。参加者特定部204は、会議IDの基礎となる情報を取得した場合には、会議事前情報取得部203と同じ方法により会議IDを生成する。参加者特定部204は、会議IDと参加者リストと対応付ける。参加者特定部204は、会議ID(又は会議IDの基礎となる情報)の送信元である会議室端末IDを含む参加者リストに会議IDを対応付ける。
例えば、図2の例では、図10に示すような参加者リストが生成される。なお、図10では、理解の容易のため、会議室端末10に付与した符号を会議室端末IDとして記載している。また、参加者リストに含まれる「参加者ID」は利用者データベースに登録された利用者IDである。
キーワード検出部205は、参加者の音声の中からトリガーワードを検出するための手段である。キーワード検出部205は、複数のサブモジュールを含む。図11は、キーワード検出部205の処理構成の一例を示す図である。図11を参照すると、キーワード検出部205は、音声取得部221と、テキスト化部222と、トリガーワード判定部223と、を備える。
音声取得部221は、会議室端末10から参加者の音声を取得する手段である。会議室端末10は、参加者の発言のたびに音声ファイルを生成し、自装置のID(会議室端末ID)と共に当該音声ファイルをサーバ装置20に送信する。音声取得部221は、会議室端末10から取得した音声ファイル、会議室端末IDをテキスト化部222に引き渡す。
テキスト化部222は、取得した音声ファイルをテキスト化する手段である。テキスト化部222は、音声認識技術を用いて音声ファイルに記録された内容をテキスト化する。テキスト化部222は、既存の音声認識技術を用いることができるのでその詳細な説明は省略するが、概略以下のように動作する。
テキスト化部222は、音声ファイルからノイズ等を除去するためのフィルタ処理を行う。次に、テキスト化部222は、音声ファイルの音波から音素を特定する。音素は、言語の最小構成単位である。テキスト化部222は、音素の並びを特定し、単語に変換する。テキスト化部222は、単語の並びから文章を作成し、テキストファイルを出力する。なお、上記フィルタ処理の際に、所定のレベルよりも小さい音声は削除されるので、隣人の声が音声ファイルに含まれていた場合であっても当該隣人の声からテキストファイルが生成されることはない。
テキスト化部222は、テキストファイル、会議室端末IDをトリガーワード判定部223に引き渡す。
トリガーワード判定部223は、参加者の発言から生成されたテキストファイルの中に会議事前情報データベースに記憶されたトリガーワードが含まれるか否かを判定する手段である。トリガーワード判定部223は、参加者リストを参照し、開催中の会議IDを特定する。具体的には、トリガーワード判定部223は、音声を送信した会議室端末10の会議室端末IDから会議IDを特定する。例えば、図10の例では、会議室端末10-1から音声が取得された場合、会議ID=C01と特定される。
トリガーワード判定部223は、開催中の会議(会議の冒頭に入力された会議IDの会議)に対応するエントリのトリガーワードフィールドに登録されたキーワードが取得したテキストファイルに含まれるか否かを判定する。
例えば、ある参加者が、「ますますAIは重要な技術となる」といった発言をした場合を考える。この場合、会議事前情報データベースに「AI」というキーワードが登録されていれば、トリガーワード判定部223は、判定結果を「トリガーワード検出」に設定する。
キーワード検出部205は、参加者の発言の中にトリガーワードを検出した場合には、当該検出されたトリガーワードに対応する共有情報特定データを会議事前情報データベースから読み出す。キーワード検出部205は、当該読み出した共有情報特定データと特定した会議IDを共有情報提供部206に通知する。なお、キーワード検出部205は、発言の中にトリガーワードを検出できない場合には、特段の動作を行わない。
共有情報提供部206は、会議の参加者に共有情報の提供を行うための手段である。共有情報提供部206は、キーワード検出部205から取得した共有情報特定データに基づき各参加者に共有情報を提供する。
具体的には、共有情報提供部206は、共有情報特定データにより特定される共有情報を取得し、当該取得した共有情報を会議室端末10に送信する。上述の例では、共有情報提供部206は、共有情報特定データに記載されたURLにアクセスしHTML(Hyper Text Markup Language)ファイルを取得する。あるいは、共有情報提供部206は、共有情報特定データが示すフォルダからファイルを取得する。
共有情報提供部206は、取得した共有情報を会議室端末10に送信する。より具体的には、共有情報提供部206は、各参加者が使用している会議室端末10に向けて共有情報を送信する。より正確には、共有情報提供部206は、会議室端末10が共有情報を出力するためのデータ(共有情報出力データ)を会議室端末10に送信する。具体的には、共有情報提供部206は、キーワード検出部205から取得した会議IDに対応する参加者リストを参照し、当該参加者リストに記載された会議室端末10に向けて共有情報を送信する。即ち、共有情報提供部206は、会議IDに対応する会議の参加者に共有情報を提供する。
なお、共有情報提供部206は、同じ共有情報を繰り返し会議室端末10に送信しないようにしてもよい。具体的には、共有情報提供部206は、既に検出されたトリガーワードに対応する共有情報を繰り返し会議室端末10に送信しないようにしてもよい。あるいは、共有情報提供部206は、同じトリガーワードに複数の共有情報特定データが登録されている場合には、トリガーワードの検出のたびに異なる共有情報を会議室端末10に送信してもよい。
共有情報提供部206は、共有情報特定データの形式に応じて、情報提供の形態を変更してもよい。例えば、URLが登録されている場合には、共有情報提供部206は、当該登録されたURLをそのまま会議室端末10に送信してもよい。対して、ファイルの格納場所が登録されている場合には、共有情報提供部206は、ファイルの格納場所にアクセスしてファイルを取得し、当該取得したファイルを会議室端末10に送信してもよい。
記憶部207は、サーバ装置20の動作に必要な情報を記憶する手段である。
[会議室端末]
図12は、会議室端末10の処理構成(処理モジュール)の一例を示す図である。図11を参照すると、会議室端末10は、通信制御部301と、顔画像取得部302と、音声送信部303と、会議ID送信部304と、共有情報出力部305と、記憶部306と、を備える。
通信制御部301は、他の装置との間の通信を制御する手段である。具体的には、通信制御部301は、サーバ装置20からデータ(パケット)を受信する。また、通信制御部301は、サーバ装置20に向けてデータを送信する。通信制御部301は、他の装置から受信したデータを他の処理モジュールに引き渡す。通信制御部301は、他の処理モジュールから取得したデータを他の装置に向けて送信する。このように、他の処理モジュールは、通信制御部301を介して他の装置とデータの送受信を行う。
顔画像取得部302は、カメラ装置を制御し、自装置の前に着席している参加者の顔画像(生体情報)を取得する手段である。顔画像取得部302は、定期的又は所定のタイミングにおいて自装置の前方を撮像する。顔画像取得部302は、取得した画像に人の顔画像が含まれるか否かを判定し、顔画像が含まれる場合には取得した画像データから顔画像を抽出する。顔画像取得部302は、当該抽出された顔画像と自装置のID(会議室端末ID;例えば、IPアドレス)の組をサーバ装置20に送信する。
なお、顔画像取得部302による顔画像の検出処理や顔画像の抽出処理には既存の技術を用いることができるので詳細な説明を省略する。例えば、顔画像取得部302は、CNN(Convolutional Neural Network)により学習された学習モデルを用いて、画像データの中から顔画像(顔領域)を抽出してもよい。あるいは、顔画像取得部302は、テンプレートマッチング等の手法を用いて顔画像を抽出してもよい。
音声送信部303は、参加者の音声を取得し、当該取得した音声をサーバ装置20に送信する手段である。音声送信部303は、マイク(例えば、ピンマイク)が集音した音声に関する音声ファイルを取得する。例えば、音声送信部303は、WAVファイル(Waveform Audio File)のような形式で符号化された音声ファイルを取得する。
音声送信部303は、取得した音声ファイルを解析し、当該音声ファイルに音声区間(無音ではない区間;参加者の発言)が含まれている場合に、当該音声区間を含む音声ファイルをサーバ装置20に送信する。その際、音声送信部303は、音声ファイルと共に自装置のID(会議室端末ID)を併せてサーバ装置20に送信する。
あるいは、音声送信部303は、マイクから取得した音声ファイルに会議室端末IDを付してそのままサーバ装置20に送信してもよい。この場合、サーバ装置20が取得した音声ファイルを解析し、音声を含む音声ファイルを抽出すればよい。
なお、音声送信部303は既存の「音声検出技術」を用いて参加者の発言を含む音声ファイル(無音ではない音声ファイル)を抽出する。例えば、音声送信部303は、隠れマルコフモデル(HMM;Hidden Markov Model)によりモデル化された音声パラメータ系列等を利用して音声の検出を行う。
会議ID送信部304は、開催される会議の会議IDをサーバ装置20に送信する手段である。例えば、会議ID送信部304は、参加者が会議IDを入力するためのGUIを生成し、ディスプレイ等に表示する。会議ID送信部304は、当該GUIを介して取得した会議IDをサーバ装置20に送信する。
あるいは、会議ID送信部304は、会議IDを生成するための情報を参加者が入力するためのGUIを生成し、ディスプレイ等に表示する。例えば、会議ID送信部304は、会議の開催日時、会議室番号を入力するためのGUIを生成し、取得した情報(開催日時、会議室番号)から会議室IDを生成してもよい。
なお、参加者が使用する端末のうち少なくとも1台以上の会議室端末10が、会議IDや会議IDを生成するための情報をサーバ装置20に送信すればよい。図2の例では、会議室端末10-1~10-3、10-6及び10-7のうちの1台が会議ID等をサーバ装置20に送信すればよい。
共有情報出力部305は、共有情報を出力する手段である。例えば、共有情報出力部305は、サーバ装置20から取得した共有情報をディスプレイ等に表示する。例えば、共有情報出力部305は、図13に示すような画面をディスプレイに表示する。なお、共有情報出力部305は、共有情報を印刷してもよいし、予め定められたメールアドレス等に共有情報を送信してもよい。
記憶部306は、会議室端末10の動作に必要な情報を記憶する手段である。
[会議支援システムの動作]
次に、第1の実施形態に係る会議支援システムの動作について説明する。
図14は、第1の実施形態に係る会議支援システムの動作の一例を示すシーケンス図である。なお、図14は、実際に会議が行われている際のシステム動作の一例を示すシーケンス図である。図14の動作に先立ち、システム利用者の登録や会議事前情報の入力は予め行われているものとする。
参加者が着席すると、会議室端末10は、着席者の顔画像を取得し、サーバ装置20に送信する(ステップS01)。
サーバ装置20は、取得した顔画像を用いて参加者を特定する(ステップS11)。サーバ装置20は、取得した顔画像から計算した特徴量を照合側の特徴量、利用者データベースに登録された複数の特徴量を登録側の特徴量にそれぞれ設定し、1対N(Nは正の整数、以下同じ)照合を実行する。サーバ装置20は、当該照合を会議への参加者(参加者が使用する会議室端末10)ごとに繰り返し、参加者リストを生成する。
また、会議の開始時に、会議室端末10は会議IDをサーバ装置20に送信する(ステップS02)。
会議が進行している間には、会議室端末10は、参加者の音声を取得し、サーバ装置20に送信する(ステップS03)。即ち、参加者の音声は会議室端末10により収集され、逐次、サーバ装置20に送信される。
サーバ装置20は、取得した音声(音声ファイル)を解析し、参加者の発言からトリガーワードの検出を試みる(ステップS12)。
トリガーワードが検出されると、サーバ装置20は、共有情報特定データに基づき特定された共有情報(共有情報出力データ)を会議室端末10に送信する(ステップS13)。このように、サーバ装置20は、共有情報を会議の参加者が使用する会議室端末10に送信する。
会議室端末10は、取得した共有情報を出力する(ステップS04)。
続いて、会議支援システムを構成する各装置のハードウェアについて説明する。図15は、サーバ装置20のハードウェア構成の一例を示す図である。
サーバ装置20は、情報処理装置(所謂、コンピュータ)により構成可能であり、図15に例示する構成を備える。例えば、サーバ装置20は、プロセッサ311、メモリ312、入出力インターフェイス313及び通信インターフェイス314等を備える。上記プロセッサ311等の構成要素は内部バス等により接続され、相互に通信が可能となるように構成されている。
但し、図15に示す構成は、サーバ装置20のハードウェア構成を限定する趣旨ではない。サーバ装置20は、図示しないハードウェアを含んでもよいし、必要に応じて入出力インターフェイス313を備えていなくともよい。また、サーバ装置20に含まれるプロセッサ311等の数も図15の例示に限定する趣旨ではなく、例えば、複数のプロセッサ311がサーバ装置20に含まれていてもよい。
プロセッサ311は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)等のプログラマブルなデバイスである。あるいは、プロセッサ311は、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等のデバイスであってもよい。プロセッサ311は、オペレーティングシステム(OS;Operating System)を含む各種プログラムを実行する。
メモリ312は、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)等である。メモリ312は、OSプログラム、アプリケーションプログラム、各種データを格納する。
入出力インターフェイス313は、図示しない表示装置や入力装置のインターフェイスである。表示装置は、例えば、液晶ディスプレイ等である。入力装置は、例えば、キーボードやマウス等のユーザ操作を受け付ける装置である。
通信インターフェイス314は、他の装置と通信を行う回路、モジュール等である。例えば、通信インターフェイス314は、NIC(Network Interface Card)等を備える。
サーバ装置20の機能は、各種処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ312に格納されたプログラムをプロセッサ311が実行することで実現される。また、当該プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transitory)なものとすることができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。また、上記プログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。
なお、会議室端末10もサーバ装置20と同様に情報処理装置により構成可能であり、その基本的なハードウェア構成はサーバ装置20と相違する点はないので説明を省略する。会議室端末10は、カメラ、マイクを備えている、又は、カメラやマイクが接続可能に構成されていればよい。
以上のように、第1の実施形態に係るサーバ装置20は、会議に参加している参加者の発言を監視する。サーバ装置20は、当該参加者の発言の中に参加者が予め登録したキーワード(トリガーワード)の検出を試みる。サーバ装置20は、トリガーワードが検出されると、当該キーワードと共に登録された共有情報を会議の参加者に提供する。その結果、参加者の発言に連動して事前に準備された共有情報が、他の参加者に向けて提供され、会議における円滑な情報共有が実現される。
[変形例]
なお、上記実施形態にて説明した会議支援システムの構成、動作等は例示であって、システムの構成等を限定する趣旨ではない。
上記実施形態では、参加者の発言の中に予め定めたキーワード(トリガーワード)が含まれる場合に、サーバ装置20は、共有情報を参加者に提供している。しかし、サーバ装置20は、他の条件に合致する場合に、共有情報を会議参加者に提供してもよい。例えば、サーバ装置20は、会議の参加者の発言が予め定めた文書と類似するか否かを判定し、参加者の発言が予め定めた文章に類似する場合、共有情報を会議の参加者に提供してもよい。サーバ装置20は、参加者の発言から「文章ベクトル」を生成する。文章ベクトルは、発言(1文)の中でどのような単語が何回出現したかを表す指標である。また、参加者は、共有情報の登録時に、当該共有情報を他の参加者に提供する際の契機となる文章を登録する。より具体的には、参加者は、共有情報を呼び出す契機となる文章の「文章ベクトル」を登録する。共有情報を呼び出す契機となる文章の「文章ベクトル」を「トリガー文章ベクトル」と表記する。サーバ装置20は、参加者の発言から生成した文章ベクトルとトリガー文章ベクトルの類似度を計算し、当該類似度が所定値以上であれば共有情報を参加者に提供する。例えば、トリガー文章ベクトルとして{AI、最新、技術、重要}が登録され、参加者の発言が「AIは重要な技術」である場合、参加者の発言にトリガー文章ベクトルの構成要素が3つ含まれる。この場合、サーバ装置20は、類似度として「3」を算出する。あるいは、参加者の発言が「AIは最新の重要な技術である」のような場合には、トリガー文章ベクトルの要素がすべて含まれるので、サーバ装置20は、より大きな類似度、例えば、類似度「4」のように計算する。このように、サーバ装置20は、参加者の発言を文章ベクトル化し、予め定めた文章ベクトル(トリガー文章ベクトル)との間の類似度による提供する共有情報を決定してもよい。なお、トリガー文章ベクトル(共有情報の提供の契機となる文章)は、共有情報から生成されてもよい。例えば、サーバ装置20は、他の参加者に提供する最新情報が記載されたWEBページの文章を解析し、トリガー文章ベクトルを生成してもよい。
上記実施形態では、参加者リストを生成することで会議の発言者を特定している。しかし、トリガーワードを検出した際に共有情報を表示することの実現には発言者の特定は行われてなくともよい。即ち、図16に示すように、1台の集音マイク30を机に設置し、サーバ装置20は、集音マイク30を介して各参加者の発言を収集してもよい。サーバ装置20は、参加者のいずれかがトリガーワードを発言した場合に、共有情報を会議室端末10に送信してもよい。
あるいは、共有情報を会議室端末10に提供する条件に発言者に関する情報を含めてもよい。例えば、参加者Aがトリガーワードを発言した場合には共有情報は会議の出席者には提供されず(共有情報は会議室端末10に送信されず)、参加者Bがトリガーワードを発言した場合に共有情報が会議の出席者に提供されてもよい。この場合、サーバ装置20は、図8に示す会議事前情報の入力時に共有情報提供の条件とする人物(上記の例では参加者B)の氏名等を取得すればよい。サーバ装置20は、トリガーワードの発言者の利用者IDと事前に登録された利用者IDが一致する場合に、共有情報を会議室端末10に送信する。上記対応により意図しない人物の発言により共有情報が提供されてしまうことを防止できる。
会議室端末10は、共有情報を出力する際、当該共有情報の登録者に関する情報を併せて出力してもよい。例えば、会議室端末10は、図13に示す表示を行う際、当該共有情報を登録した利用者の氏名(プロフィール)等も併せて表示してもよい。この場合、サーバ装置20は、共有情報と共に登録者の氏名等も併せて会議室端末10に通知する。
上記実施形態では、机に専用の会議室端末10が設置された場合について説明したが、会議室端末10の機能は参加者が所持(所有)する端末により実現されてもよい。例えば、図17に示すように、各参加者のそれぞれは端末11-1~11-5を用いて会議に参加してもよい。参加者は、自身の端末11を操作し、会議の開始と共に自分の顔画像をサーバ装置20に送信する。また、端末11は、参加者の音声をサーバ装置20に送信する。なお、サーバ装置20はプロジェクタ40を用いて参加者に画像、映像等を提供してもよい。
システム利用者のプロフィール(利用者の属性値)はスキャナ等を用いて入力されてもよい。例えば、利用者は、自身の名刺に関する画像を、スキャナを用いてサーバ装置20に入力する。サーバ装置20は、取得した画像に対して光学文字認識(OCR;Optical Character Recognition)処理を実行する。サーバ装置20は、得られた情報に基づき利用者のプロフィールを決定してもよい。
上記実施形態では、会議室端末10からサーバ装置20に「顔画像」に係る生体情報が送信される場合について説明した。しかし、会議室端末10からサーバ装置20に「顔画像から生成された特徴量」に係る生体情報が送信されてもよい。サーバ装置20は、取得した特徴量(特徴ベクトル)を用いて利用者データベースに登録された特徴量との間で照合処理を実行してもよい。
上記実施形態では、参加者がWEBページ等の共有情報特定データを会議前に登録する場合について説明したが、当該共有情報特定データはトリガーワードの抽出時に、既存の検索エンジン等を用いて検索されてもよい。このように、共有情報は参加者が予めシステムに登録する情報に限定されず、サーバ装置20が生成等した情報を用いることができる。即ち、サーバ装置20は、トリガーワードに関して自動的に検索し、その検索結果を共有情報としてそのまま提供する、又は結果を加工して提供(配信)してもよい。
上記説明で用いた流れ図(フローチャート、シーケンス図)では、複数の工程(処理)が順番に記載されているが、実施形態で実行される工程の実行順序は、その記載の順番に制限されない。実施形態では、例えば各処理を並行して実行する等、図示される工程の順番を内容的に支障のない範囲で変更することができる。
上記の実施形態は本願開示の理解を容易にするために詳細に説明したものであり、上記説明したすべての構成が必要であることを意図したものではない。また、複数の実施形態について説明した場合には、各実施形態は単独で用いてもよいし、組み合わせて用いてもよい。例えば、実施形態の構成の一部を他の実施形態の構成に置き換えることや、実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、実施形態の構成の一部について他の構成の追加、削除、置換が可能である。
上記の説明により、本発明の産業上の利用可能性は明らかであるが、本発明は、企業等にて行われる会議等を支援するシステムなどに好適に適用可能である。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
会議の参加者の発言を解析し、前記参加者の発言が予め定めた条件に合致するか否かを判定する、判定部と、
前記参加差の発言が前記予め定めた条件に合致する場合、予め定めた共有情報を前記会議の参加者に提供する、情報提供部と、
を備える、サーバ装置。
[付記2]
前記判定部は、前記会議の参加者の発言に予め定められたトリガーワードが含まれるか否かを判定し、
前記情報共有部は、前記参加者の発言に前記トリガーワードが含まれる場合、前記トリガーワードに対応する共有情報を前記会議の参加者に提供する、付記1に記載のサーバ装置。
[付記3]
前記共有情報に関する情報を含む会議事前情報を、会議の開催前に取得する、取得部をさらに備える、付記2に記載のサーバ装置。
[付記4]
前記会議事前情報には、会議を特定する会議IDを生成するための情報が含まれ、
前記取得部は、前記会議IDを生成するための情報を用いて前記会議IDを生成し、
前記情報提供部は、前記会議IDに対応する会議の参加者に前記共有情報を提供する、付記3に記載のサーバ装置。
[付記5]
前記会議事前情報には、前記トリガーワードと、前記共有情報を特定する共有情報特定データと、が含まれ、
前記情報提供部は、前記共有情報特定データに基づき特定された前記共有情報を前記会議の参加者に提供する、付記3又は4に記載のサーバ装置。
[付記6]
前記判定部は、前記会議の参加者の発言が予め定めた文書と類似するか否かを判定し、
前記情報共有部は、前記参加者の発言が前記予め定めた文章に類似する場合、前記予め定めた文章に対応する共有情報を前記会議の参加者に提供する、付記1に記載のサーバ装置。
[付記7]
前記情報提供部は、前記共有情報を前記会議の参加者が使用する端末に送信する、付記3乃至6のいずれか一に記載のサーバ装置。
[付記8]
利用者のIDと前記利用者の生体情報を対応付けて記憶する、利用者データベースと、
前記端末から送信される生体情報と前記利用者データベースに登録された生体情報を用いた照合を行い、前記会議の参加者を特定する、参加者特定部と、
をさらに備える、付記7に記載のサーバ装置。
[付記9]
前記情報提供部は、前記会議事前情報を登録した利用者の情報を前記会議の参加者に通知する、付記2乃至8のいずれか一に記載のサーバ装置。
[付記10]
前記共有情報特定データは、前記共有情報が記載されたウェブページのURL(Uniform Resource Locator)である、付記5に記載のサーバ装置。
[付記11]
前記共有情報特定データは、前記共有情報を含むファイルの格納フォルダのパスである、付記5に記載のサーバ装置。
[付記12]
端末と、
サーバ装置と、
を含み、
前記サーバ装置は、
会議の参加者の発言を解析し、前記参加者の発言が予め定めた条件に合致するか否かを判定する、判定部と、
前記参加差の発言が前記予め定めた条件に合致する場合、予め定めた共有情報を前記会議の参加者に提供する、情報提供部と、
を備える、会議支援システム。
[付記13]
サーバ装置において、
会議の参加者の発言を解析し、前記参加者の発言が予め定めた条件に合致するか否かを判定し、
前記参加差の発言が前記予め定めた条件に合致する場合、予め定めた共有情報を前記会議の参加者に提供する、会議支援方法。
[付記14]
サーバ装置に搭載されたコンピュータに、
会議の参加者の発言を解析し、前記参加者の発言が予め定めた条件に合致するか否かを判定する処理と、
前記参加差の発言が前記予め定めた条件に合致する場合、予め定めた共有情報を前記会議の参加者に提供する処理と、
を実行させるためのプログラムを記憶する、コンピュータ読取可能な記憶媒体。
なお、付記12~付記14の形態は、付記1の形態と同様に、付記2の形態~付記11の形態に展開することが可能である。
なお、引用した上記の先行技術文献の各開示は、本書に引用をもって繰り込むものとする。以上、本発明の実施形態を説明したが、本発明はこれらの実施形態に限定されるものではない。これらの実施形態は例示にすぎないということ、及び、本発明のスコープ及び精神から逸脱することなく様々な変形が可能であるということは、当業者に理解されるであろう。即ち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得る各種変形、修正を含むことは勿論である。
10、10-1~10-8 会議室端末
11、11-1~11-5 端末
20、100 サーバ装置
30 集音マイク
40 プロジェクタ
101 判定部
102 情報提供部
201、301 通信制御部
202 利用者登録部
203 会議事前情報取得部
204 参加者特定部
205 キーワード検出部
206 共有情報提供部
207、306 記憶部
211 利用者情報取得部
212 ID生成部
213 特徴量生成部
214 エントリ管理部
221 音声取得部
222 テキスト化部
223 トリガーワード判定部
302 顔画像取得部
303 音声送信部
304 会議ID送信部
305 共有情報出力部
311 プロセッサ
312 メモリ
313 入出力インターフェイス
314 通信インターフェイス

Claims (9)

  1. 会議に参加する複数の参加者それぞれの発言からキーワードを検出する、キーワード検出部と、
    検出された前記キーワードに基づいて、前記複数の参加者に共有される共有情報を取得する、情報取得部と、
    取得された前記共有情報を前記会議の参加者に提供する、情報提供部と、
    を備え、
    前記情報提供部は、既に検出されたキーワードと同一のキーワードが検出されるたびに異なる前記共有情報を提供する、サーバ装置。
  2. 前記情報取得部は、検出された前記キーワードと検索エンジンとを用いて前記キーワードに関連する前記共有情報を取得し、
    前記情報提供部は、前記キーワードに関連する前記共有情報を前記会議の参加者に提供する、請求項1に記載のサーバ装置。
  3. 前記情報取得部は、前記複数の参加者の少なくともいずれかにより前記会議の開始前に登録された事前登録情報から前記共有情報を取得する、請求項1又は2のいずれかに記載のサーバ装置。
  4. 前記情報提供部は、前記共有情報を前記複数の参加者が共有する画面に出力する、請求項1乃至3のいずれか一項に記載のサーバ装置。
  5. 前記情報提供部は、前記共有情報を前記複数の参加者それぞれが使用する端末に出力する、請求項1乃至4のいずれか一項に記載のサーバ装置。
  6. 利用者のIDと前記利用者の生体情報を対応付けて記憶する、利用者データベースと、
    前記端末から送信される生体情報と前記利用者データベースに登録された生体情報を用いた照合を行い、前記会議の参加者を特定する、参加者特定部と、
    をさらに備える、請求項5に記載のサーバ装置。
  7. 端末と、
    サーバ装置と、
    を含み、
    前記サーバ装置は、
    会議に参加する複数の参加者それぞれの発言からキーワードを検出する、キーワード検出部と、
    検出された前記キーワードに基づいて、前記複数の参加者に共有される共有情報を取得する、情報取得部と、
    取得された前記共有情報を前記会議の参加者に提供する、情報提供部と、
    を備え、
    前記情報提供部は、既に検出されたキーワードと同一のキーワードが検出されるたびに異なる前記共有情報を提供する、
    会議支援システム。
  8. サーバ装置において、
    会議に参加する複数の参加者それぞれの発言からキーワードを検出し、
    検出された前記キーワードに基づいて、前記複数の参加者に共有される共有情報を取得し、
    取得された前記共有情報を前記会議の参加者に提供し、
    前記提供において、既に検出されたキーワードと同一のキーワードが検出されるたびに異なる前記共有情報を提供する、
    会議支援方法。
  9. サーバ装置に搭載されたコンピュータに、
    会議に参加する複数の参加者それぞれの発言からキーワードを検出する処理と、
    検出された前記キーワードに基づいて、前記複数の参加者に共有される共有情報を取得する処理と、
    取得された前記共有情報を前記会議の参加者に提供する処理と、
    を実行させ、
    前記提供する処理において、既に検出されたキーワードと同一のキーワードが検出されるたびに異なる前記共有情報を提供する、
    プログラム。
JP2020554319A 2020-02-27 2020-02-27 サーバ装置、会議支援システム、会議支援方法及びプログラム Active JP7163968B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/007889 WO2021171449A1 (ja) 2020-02-27 2020-02-27 サーバ装置、会議支援システム、会議支援方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2021171449A1 JPWO2021171449A1 (ja) 2021-09-02
JP7163968B2 true JP7163968B2 (ja) 2022-11-01

Family

ID=77490056

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020554319A Active JP7163968B2 (ja) 2020-02-27 2020-02-27 サーバ装置、会議支援システム、会議支援方法及びプログラム

Country Status (3)

Country Link
US (1) US20230069287A1 (ja)
JP (1) JP7163968B2 (ja)
WO (1) WO2021171449A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011065237A (ja) 2009-09-15 2011-03-31 Konica Minolta Business Technologies Inc 画像送信装置、画像送信方法および画像送信プログラム
JP2014013494A (ja) 2012-07-04 2014-01-23 Nikon Corp 表示制御装置、表示システム、表示装置、端末装置、表示制御方法及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165156A (ja) * 2000-11-27 2002-06-07 Canon Inc 頭部装着型画像表示装置および画像情報表示システム
JP4910343B2 (ja) * 2005-09-20 2012-04-04 富士ゼロックス株式会社 多重ワーク支援システムおよび多重ワーク支援方法
US9288166B2 (en) * 2012-09-18 2016-03-15 International Business Machines Corporation Preserving collaboration history with relevant contextual information
US9444853B2 (en) * 2013-05-17 2016-09-13 Xerox Corporation Method and apparatus for monitoring access of pre-read materials for a meeting
US20140226537A1 (en) * 2014-04-17 2014-08-14 Bandwidth.Com, Inc. Conferencing Techniques
US9542136B2 (en) * 2015-03-19 2017-01-10 Ricoh Company, Ltd. Communication control system, communication control apparatus, and communication control method
JP7056055B2 (ja) * 2017-09-27 2022-04-19 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
US11144886B2 (en) * 2017-12-21 2021-10-12 International Business Machines Corporation Electronic meeting time of arrival estimation
CN108595645B (zh) * 2018-04-26 2020-10-30 深圳市鹰硕技术有限公司 会议发言管理方法以及装置
JP7204337B2 (ja) * 2018-04-27 2023-01-16 株式会社東芝 会議支援装置、会議支援システム、会議支援方法及びプログラム
US10636427B2 (en) * 2018-06-22 2020-04-28 Microsoft Technology Licensing, Llc Use of voice recognition to generate a transcript of conversation(s)
US10580235B1 (en) * 2018-09-24 2020-03-03 Honeywell International Inc. Visitor meeting registration and management

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011065237A (ja) 2009-09-15 2011-03-31 Konica Minolta Business Technologies Inc 画像送信装置、画像送信方法および画像送信プログラム
JP2014013494A (ja) 2012-07-04 2014-01-23 Nikon Corp 表示制御装置、表示システム、表示装置、端末装置、表示制御方法及びプログラム

Also Published As

Publication number Publication date
JPWO2021171449A1 (ja) 2021-09-02
WO2021171449A1 (ja) 2021-09-02
US20230069287A1 (en) 2023-03-02

Similar Documents

Publication Publication Date Title
JP6791197B2 (ja) 電子会議システム
JP6866860B2 (ja) 電子会議システム
US20230402038A1 (en) Computerized intelligent assistant for conferences
JP2019061594A (ja) 会議支援システムおよび会議支援プログラム
TWI536365B (zh) 聲紋辨識
JP6795668B1 (ja) 議事録作成システム
JP4469867B2 (ja) コミュニケーションの状況を管理する装置、方法およびプログラム
JP2023033634A (ja) サーバ装置、会議支援方法及びプログラム
JP5030868B2 (ja) 会議音声録音システム
JP2022042423A (ja) 遠隔勤務支援システム及び遠隔勤務支援方法
JP6922178B2 (ja) 音声認識システム、情報処理装置、プログラム
CN108055192A (zh) 群组生成方法、装置及系统
JP7163968B2 (ja) サーバ装置、会議支援システム、会議支援方法及びプログラム
JP7464107B2 (ja) サーバ装置、会議支援システム、会議支援方法及びプログラム
JP2008011272A (ja) 会議システム及び制御方法、並びにプログラム及び記憶媒体
JP2017191531A (ja) コミュニケーションシステム、サーバ及びコミュニケーション方法
JP7096626B2 (ja) 情報抽出装置
WO2021171613A1 (ja) サーバ装置、会議支援システム、会議支援方法及びプログラム
JP2022075661A (ja) 情報抽出装置
WO2021171447A1 (ja) サーバ装置、会議支援システム、会議支援方法及びプログラム
JP7371759B2 (ja) サーバ装置、会議支援システム、会議支援方法及びプログラム
JP7370521B2 (ja) 音声分析装置、音声分析方法、オンラインコミュニケーションシステム、およびコンピュータプログラム
JP2018054926A (ja) 音声対話装置および音声対話方法
JP2022139436A (ja) 会議支援装置、会議支援システム、会議支援方法、およびプログラム
KR20230066797A (ko) 화자 음성 분리에 의한 실시간 자막 및 문서 생성 방법, 그 방법을 이용한 컴퓨터 프로그램 그리고 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201002

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201002

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20211020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220817

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220817

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220905

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221003

R151 Written notification of patent or utility model registration

Ref document number: 7163968

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151