JP6027580B2 - 情報表示システムおよび情報表示プログラム - Google Patents

情報表示システムおよび情報表示プログラム Download PDF

Info

Publication number
JP6027580B2
JP6027580B2 JP2014172191A JP2014172191A JP6027580B2 JP 6027580 B2 JP6027580 B2 JP 6027580B2 JP 2014172191 A JP2014172191 A JP 2014172191A JP 2014172191 A JP2014172191 A JP 2014172191A JP 6027580 B2 JP6027580 B2 JP 6027580B2
Authority
JP
Japan
Prior art keywords
word
words
terminals
server
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014172191A
Other languages
English (en)
Other versions
JP2016045914A (ja
Inventor
結城 明
明 結城
正登 丹波
正登 丹波
航 遠藤
航 遠藤
彩香 池嶋
彩香 池嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2014172191A priority Critical patent/JP6027580B2/ja
Priority to US14/838,308 priority patent/US20160062610A1/en
Publication of JP2016045914A publication Critical patent/JP2016045914A/ja
Application granted granted Critical
Publication of JP6027580B2 publication Critical patent/JP6027580B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/237Lexical tools
    • G06F40/242Dictionaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、会議やプレゼンテーションにおいて参加者の端末に情報を表示する情報表示システムおよび情報表示プログラムに関する。
従来から、会議やプレゼンテーションを円滑に進めたり、会議の様子を記録した媒体からユーザーが参照したい箇所を効率よく検索したりするための様々な工夫がなされてきた。
例えば、特許文献1において開示された技術では、会議において使用されたスライド資料や会議中の音声、手書き文字などをまとめて記録した会議情報DB(Database)から、参照したい内容を効率良く探し出すために、会議中にスライド資料や音声、手書き文字などからキーワードを抽出し、抽出したキーワードに重要度や抽象度などの属性を付与して記憶させておく。
ユーザーが会議内容を検索する際、検索画面には、属性に基づいて算出されたキーワードが時刻ごとの階層構造になって見出し語として表示されるので、ユーザーは見出し語を参照しながら、会議内容が記録された会議情報DBから目的の部分を容易に見つけ出すことが出来る。
また、特許文献2において開示された技術では、進行中の会議において発話され記録された発言を、発言者毎に、議事進行の状況にあわせて簡易に表示して切り替えることを可能としている。
また、近年、多くの言葉を表示する方法として複数個のタグ(言葉)を雲(クラウド)のように表示するタグクラウド(tag cloud)が用いられるようになってきた。
例えば、特許文献3において開示された技術では、タグ間の相関関係という側面や時間的な側面を考慮して重要度に応じてタグの表示方法を変化させている。なお、ここでいう時間的側面とは、例えば、現時点での重要度に応じてタグを表示する為のフォントの大きさを変えたり、過去の一定期間に亘って各時刻の重要度に応じてフォントの大きさを変え、変化の動向を示したりするものである。また、重要度とは所与のデータセット内の頻度に応じたものである。また、相関関係の表示は、固有のグループ分け、色分け、または距離表示により行われている。
特開2008−077495号公報 特開2011−100355号公報 特開2010−15558号公報
会議やプレゼンテーションでは、発言者の話に含まれる言葉の意味が分からないと話の内容が理解できない。そのため、一般的ではないと思われる言葉に関して発言者が解説を行ったり、聴衆が発言者に言葉の意味を質問したりしなければならなかった。
また、会議資料を事前に準備する場合は、会議の参加者が言葉の意味をどの程度知っているかを予測することは難しく、会議開始後に言葉の意味をどれくらい知っているかを、会議で用いる言葉毎に参加者に確認しながら会議を進めるのは手間であり会議を効率的に進めることが難しかった。
しかし、特許文献1および2に開示された技術は、会議の発言などを一旦記録し、会議後に会議内容のうち特定の箇所を再生する際に目的の再生箇所を見つけ易くするものであり、進行中の会議を効率よく進める為の役には立たない。
また、特許文献3の技術は、進行中の会議において会議を効率的に進めるために用いるという用途に限定したものではないため、会議の時間経過に応じて、会議に挙がった言葉の重要度が変化していくことは考慮されていない。そのため、進行中の会議において使用するには使い難いものであった。
以上のような事情に鑑み、本発明の目的は、進行中の会議やプレゼンテーションの内容に応じて適切な情報を端末に表示でき、会議やプレゼンテーションを効率的に進めることが出来る情報表示システムおよび情報表示プログラムを提供することにある。
上記目的を達成するため、本発明の一形態に係る情報表示システムは、言葉認識装置、サーバー、および複数の端末を含み、前記言葉認識装置は、会議などの人の集まりで使用された言葉を認識し、前記認識した言葉を前記サーバーに送信し、前記サーバーは、前記言葉認識装置および前記複数の端末と通信可能な第1の通信部と、言葉と当該言葉の解説とを組にして複数記憶した辞書と、前記言葉認識装置から受信した言葉の前記解説を前記辞書により検索し、前記受信した言葉と、検索された前記解説とを前記複数の端末に送信する第1の制御部とを備え、前記各々の端末は、前記サーバーと通信可能な第2の通信部と、ユーザーからの操作指示を受け付ける操作部と、表示部と、前記解説を記憶可能な記憶部と、前記第2の通信部が前記サーバーから前記言葉と前記言葉の前記解説とを受信すると、受信した前記言葉を前記表示部に表示させ、受信した前記解説を前記記憶部に記憶させ、表示された前記言葉の選択を前記ユーザーから前記操作部を介して受け付けると、選択された前記言葉に対応する前記解説を前記記憶部から取得し、取得した前記解説を前記表示部に表示させる第2の制御部とを備える。そのため、進行中の会議やプレゼンテーションの内容に応じて適切な情報を端末に表示でき、会議やプレゼンテーションを効率的に進めることが出来る。
上記目的を達成するため、本発明の一形態に係る情報表示システムでは、前記端末の第2の制御部は、表示された前記言葉の選択を前記ユーザーから前記操作部を介して受け付けると、選択された前記言葉と、前記言葉が選択された旨とを前記サーバーに送信し、前記サーバーの第1の制御部は、選択された前記言葉と、前記言葉が選択された旨とを受信すると、前記言葉ごとに、前記言葉が選択された回数を集計し、前記集計結果に基づいて、前記各々の端末の表示部に表示されている特定の言葉の表示態様を変更する指示を作成し、作成した前記指示を前記各々の端末に送信し、前記各々の端末の第2の制御部は、前記指示を受信すると、受信した前記指示に基づいて、前記特定の言葉の表示態様を変更する構成でもよい。
上記目的を達成するため、本発明の一形態に係る情報表示システムでは、前記サーバーは、前記言葉を前記複数の端末に送信してからの経過時間を前記言葉ごとに管理する時間管理部を更に備え、前記サーバーの第1の制御部は、前記時間管理部から前記言葉ごとの前記経過時間を取得し、取得した前記経過時間に基づいて、前記各々の端末の表示部に表示されている言葉ごとの表示態様を変更する指示を作成し、作成した前記指示を前記各々の端末に送信し、前記各々の端末の第2の制御部は、前記指示を受信すると、受信した前記指示に基づいて、前記言葉ごとに表示態様を変更する構成でもよい。
上記目的を達成するため、本発明の一形態に係る情報表示システムでは、前記サーバーは、前記言葉を前記複数の端末に送信してからの経過時間を前記言葉ごとに管理する時間管理部を更に備え、前記端末の第2の制御部は、表示された前記言葉の選択を前記ユーザーから前記操作部を介して受け付けると、選択された前記言葉と、前記言葉が選択された旨とを前記サーバーに送信し、前記サーバーの第1の制御部は、前記時間管理部から前記言葉ごとの前記経過時間を取得し、選択された前記言葉と、前記言葉が選択された旨とを受信すると、前記言葉ごとに、前記言葉が選択された回数を集計し、前記集計結果に基づいて、取得した特定の言葉の前記経過時間の値を調整し、調整した前記経過時間の値に基づいて、前記各々の端末の表示部に表示されている特定の言葉の表示態様を変更する指示を作成し、作成した前記指示を前記各々の端末に送信し、前記各々の端末の第2の制御部は、前記指示を受信すると、受信した前記指示に基づいて、前記言葉ごとに表示態様を変更する構成でもよい。
上記目的を達成するため、本発明の一形態に係る情報表示システムでは、前記サーバーの第1の制御部は、前記言葉認識装置から受信した言葉の前記解説が前記辞書に存在するとき、前記受信した言葉と、検索された前記解説とを前記複数の端末に送信する構成でもよい。
上記目的を達成するため、本発明の一形態に係る情報表示システムでは、前記各々の端末の第2の制御部は、前記サーバーから受信した前記表示態様を変更する指示よりも、前記操作部が受け付けた、前記ユーザーによる前記表示された言葉の表示態様を変更する指示を優先する構成でもよい。
上記目的を達成するため、本発明の一形態に係る情報表示システムでは、前記言葉認識装置は、文字認識および音声認識のうち、少なくとも一方を行う構成でもよい。
上記目的を達成するため、本発明の一形態に係る情報表示プログラムは、会議などの人の集まりで使用された言葉を認識し、前記認識した言葉を送信する言葉認識装置から受信した言葉の解説を、前記言葉と当該言葉の解説とを組にして複数記憶した辞書により検索し、前記受信した言葉と、検索された前記解説とを複数の端末に送信する制御部としてコンピューターを機能させる。
上記目的を達成するため、本発明の一形態に係る情報表示プログラムは、サーバーから言葉と前記言葉の解説とを受信すると、受信した前記言葉を表示部に表示させ、受信した前記解説を記憶部に記憶させ、表示された前記言葉をユーザーが操作部を介して選択すると、選択された前記言葉に対応する前記解説を前記記憶部から取得し、取得した前記解説を前記表示部に表示させる制御部としてコンピューターを機能させる。
以上のように、本発明によれば、進行中の会議やプレゼンテーションの内容に応じて適切な情報を端末に表示でき、会議やプレゼンテーションを効率的に進めることが出来る。
本発明の一実施形態に係る情報表示システム1の構成図である。 端末100の表示部101における、言葉および言葉の意味の表示例を示す図である。 情報表示システム1における全体の処理の流れのフローチャートである。 話題に上がった言葉を認識し、認識した言葉を表示する、第1の処理群の流れを示すフローチャートである。 表示された言葉のうち、参加者により選択された言葉の意味を表示する、第2の処理群の流れを示すフローチャートである。 言葉を表示してから(送信してから)の経過時間に応じ、言葉の表示態様を変化させる、第3の処理群の流れを示すフローチャートである。 言葉ごとに、選択された回数を集計し、集計結果に基づいて、表示されている言葉の表示態様を変化させる、第4の処理群の流れを示すフローチャートである。
以下、図面を参照しながら、本発明の実施形態を説明する。
[概要]
最初に、本発明の一実施形態に係る情報表示システムの概要について説明する。本情報表示システムは、会議やプレゼンテーションなど人の集まりを行う時に用いられ、大きく分けて2つの機能を有している。
会議やプレゼンテーションでは、議事やアジェンダの進行や時間の経過に伴い、様々な言葉が話題に上る(使用される)。ここでいう言葉とは、例えば、専門用語や略語、造語、現代語、流行語、一般に認知されていない言葉、外国語の言葉などである。
本情報表示システムの第1の機能は、会議やプレゼンテーションの参加者(ユーザー)が用いる、本情報表示システムの一部をなす端末において、話題に上った言葉の意味を参加者が参照することが出来るようにするものである。
話題に上った言葉がリアルタイムで端末に表示されるので、その意味(解説)を知りたい参加者は、表示された言葉をクリックしたりタップしたりして選択する。すると、その意味が端末上に表示される。
こうすることで、参加者は、意味の分からない言葉があっても、発話者や発表者に質問せずに意味を知ることが出来、質問により会議進行の流れを止めてしまう状況を避けることが出来る。
また、参加者が意味の分からない言葉をインターネットで検索するよりも少ない操作で言葉の意味を知ることが出来、検索に要する時間などのリソースも削減することが出来る。
本情報表示システムの第2の機能は、各端末に表示された言葉が選択された回数を、言葉ごとに集計し、集計結果を各端末にリアルタイムでフィードバックするものである。
例えば、「Smartphone」という言葉が話題に上ると、各参加者の端末に「Smartphone」と表示される。10人の参加者のうち3人が表示された「Smartphone」という言葉を選択し、その意味を端末上に表示させたとすると、本情報表示システムの一部をなすサーバーがその選択行為を集計する。そして、サーバーは、各端末に表示されている「Smartphone」という言葉の表示態様を、集計結果に基づいて、フォントサイズの変更や表示色の変更などの強調表示(視覚効果)を用いて変更する。
こうすることで、端末を見た発話者や発表者は、どの言葉について、どの程度の参加者が意味を参照したかを把握することが出来る。そのため、発話者や発表者は、言葉の意味が多くの参加者から参照された言葉については、端末に表示される言葉の意味よりも更に深く言葉の意味を解説することが出来る。また、言葉の意味を参照する参加者が少なかった言葉について、発話者や発表者は、解説を加えることなく話を進めて時間を節約することが出来る。
また、参加者全員が、話題に上った言葉の認知度を知ることが出来るので、会議やプレゼンテーションを円滑に進めることが出来る。
以上の機能により、本情報表示システムを用いると、進行中の会議やプレゼンテーションの内容に応じて適切な情報を端末に表示でき、会議やプレゼンテーションを効率的に進めることが出来る。
なお、各参加者の端末に表示される画面は、完全に同一である必要は無い。各端末は、サーバーからの集計結果のフィードバックに基づいて、表示中の言葉の表示態様を変更できさえすれば、各参加者が画面上に表示された多くの言葉を自由に移動させたり消去したり出来るようになっていてもよい。
例えば、端末上に表示された言葉のうち、自分がよく知っている言葉に関しては、画面上から消去したり、意味を参照したがもう一度参照するかもしれない言葉は邪魔にならないように、画面の端によけておいたりしてもよい。
こうすることで、各参加者は、参加者全体での言葉の理解度を把握しつつ、自分の理解度に合わせて端末上に表示される言葉を整理できるので、会議内容やプレゼンテーション内容をより深く理解することが出来る。
また、端末上に表示された言葉は、時間の経過に応じて、フォントサイズを小さくしたり、表示色を薄くしたりしてフェードアウトさせてもよい。これは、会議やプレゼンテーションでは、議事の進行に伴い話題となる言葉が次々に出てくるという性質と、時間の経過に伴い話題となった言葉の重要度が一般的に低減するという性質を考慮したものである。
こうすることで、議事が進行しても、端末上に表示される言葉が多くなりすぎる状況を防止することが出来る。
なお、多くの参加者が意味を参照した言葉に関しては、フェードアウトするまでの時間を延長したり、フェードアウトさせなかったりするようにしてもよい。
以上、本発明の一実施形態に係る情報表示システムの概要について説明した。
[構成]
次に、本発明の一実施形態に係る情報表示システムの構成について説明する。図1は、本発明の一実施形態に係る情報表示システム1の構成図である。
情報表示システム1は、複数の端末100、サーバー400、文字認識装置500(言葉認識装置)、および音声認識装置600(言葉認識装置)を含んで構成される。なお、端末100およびサーバー400は、一般的なコンピューターを用いることが出来る。以下の説明では、端末100のハードウェアとしてはタブレット型コンピューターを用い、サーバー400のハードウェアとしてはPC(Personal Computer)を用いる前提で全体の詳細な説明は省略し、主要なブロックのみを説明する。
端末100は、会議やプレゼンテーションの参加者各人(発表者を含む)が用いるものであり、表示部101、操作部102、制御部103(第2の制御部)、記憶部104、および通信部105(第2の通信部)を備えている。
表示部101には、画面上に、会議で話題に挙がった言葉がタグクラウドとして表示されたり、参加者が選択した言葉の意味が表示されたりする。詳細は後述する。
操作部102は、端末100を用いる参加者から、操作指示を受け付ける。具体的な操作として、表示部101に表示された言葉をクリックやタップにより選択する操作や、表示されている言葉を削除する操作、表示されている言葉の表示位置を移動する操作などが挙げられる。
制御部103は、端末100の各部を制御する。特に、サーバー400から受信した言葉を、同じくサーバー400から受信した表示態様に関する指示に基づいて表示部101上に表示する。また制御部103は、操作部102により表示されている言葉が選択された場合、選択された言葉とその言葉が選択された旨を通信部105によりサーバー400へ送信させる。
記憶部104は、表示部101に表示された言葉の意味を参照するために参加者が言葉を選択したとき、表示部101に表示するための言葉の解説を記憶する。なお、記憶される解説は、サーバー400から受信され、制御部103により記憶部104に記憶されたものである。
通信部105は、サーバー400から会議で話題となった言葉、その言葉の意味、およびその言葉の表示態様に関する指示を受信し、表示部101に表示された言葉が参加者により選択された場合は、選択された言葉とその言葉が選択された旨をサーバー400に送信する。なお、端末100とサーバー400は専用のケーブルにより接続されていてもよいし、有線または無線のLAN(Local Area Network)などにより接続されていてもよい。
文字認識装置500は、会議中にプロジェクターを用いてスクリーン上に投影された会議資料やプレゼンテーション資料、またホワイトボード上に手書きされた言葉をカメラ等で撮影し、OCR(Optical Character Recognition)処理した後、形態素解析を行う。そして、品詞が名詞または動詞であると判断された言葉をサーバー400に送信する。文字認識装置500は、一般的な技術を用いて構成されたものでよい。
なお、文字認識装置500は、カメラ等を用いる以外に、プレゼンテーションで用いる資料を電子的に取得し、取得したデータから言葉を抽出してもよい。
音声認識装置600は、会議中に発声された言葉をマイクロフォン等により採取し、テキスト化した後、形態素解析を行う。そして、品詞が名詞または動詞であると判断された言葉をサーバー400に送信する。音声認識装置600は、一般的な技術を用いて構成されたものでよい。
なお、音声認識装置600は、マイクロフォン等を用いる以外に、プレゼンテーションで使用される動画や音声ファイルから直接、言葉を抽出して取得してもよい。
サーバー400は、会議中に話題に上り文字認識装置500または音声認識装置600により認識された言葉を取得し、取得した言葉の意味を検索して取得した後、端末100に送信する。また、サーバー400は、端末100上で選択された言葉を集計し、集計結果および言葉を表示してからの経過時間に基づいて言葉の表示態様を変化させるように端末100に指示を送信する。
サーバー400は、制御部401(第1の制御部)、辞書402、時間管理部403、記憶部404、および通信部405(第1の通信部)を備えている。
制御部401は、サーバー400各部を制御する。
辞書402は、言葉とその意味が組になって複数記憶されたものであり、文字認識装置500または音声認識装置600から受信した言葉の意味を検索するために制御部401により用いられる。
なお、辞書402は、サーバー400の外部に独立して存在するものでもよい。また、辞書402には、言葉とその意味以外に、言葉とその関連情報とが組になって記憶されていてもよい。
時間管理部403は、端末100上で表示される言葉ごとに、言葉をサーバー400から各端末100に送信してからの経過時間を管理する。時間管理部403で管理される経過時間は、端末100上に表示された言葉をフェードアウトさせる時刻を計算するために用いられる。
記憶部404は、端末100上に表示された言葉ごとに、何人の参加者によりその言葉が選択されたかの集計値を記憶する。
通信部405は、全ての端末100、文字認識装置500、および音声認識装置600と通信する。
以上、本発明の一実施形態に係る情報表示システムの構成について説明した。
[端末100上での表示例]
次に、端末100の表示部101における、言葉および言葉の意味の表示例を説明する。図2は、端末100の表示部101における、言葉および言葉の意味の表示例を示す図である。
表示部101の画面は、会議で話題に上がった言葉をタグクラウドとして表示する領域Area1と、表示された言葉が選択された場合に選択された言葉の意味(解説)を表示する領域Area2とを含んで構成される。
図2のArea1において点線で示しているように、Area1は3次元空間の四角い部屋の中に言葉が浮かんで表示され、時間の経過と共に、表示された言葉は、より小さいフォントで表示されたり、より薄い色で表示されたり、四角い部屋の奥に移動するように表示されたりする。
図2で示している状態を具体的に説明すると、現時点から最も近い過去の時点で話題に上がった「Smartphone」という言葉T1を、この言葉が表示された端末100を使用している参加者がタップして選択し、その結果として、「Smartphone」の意味である「携帯電話の種類を示す用語である。(後略)」がArea2に表示されている。
なお、図2では、「Smartphone」という言葉T1よりも過去の時点で話題に上がった言葉T2(Material Color)が、言葉T1よりも薄い色で言葉T1の下方に表示されている。
また、さらに過去の時点で話題に上がった言葉T3(Energy saving)が、言葉T2よりもさらに薄い色とより小さいフォントで、言葉T1の左上方に表示されている。
なお、これらの言葉は、基本的には、表示開始からの時間の経過(例えば3分)と共に、部屋の奥へとフェードアウトしていくが、多くの参加者によりタップされ意味が参照された言葉は、フェードアウトまでの時間が延長されたり、表示開始時点のフォントサイズや色の濃さまで表示態様を戻してフェードアウトをリセットしたり、フェードアウトの対象から外したりしてもよい。
以上、端末100の表示部101における、言葉および言葉の意味の表示例を説明した。
[処理の流れ]
次に、本発明の一実施形態に係る情報表示システム1における処理の流れについて説明する。図3から図7は、本発明の一実施形態に係る情報表示システム1における処理の流れについて説明するためのフローチャートである。
(全体の処理の流れ)
まず、情報表示システム1における全体の処理の流れのフローチャートを図3に示す。全体の処理は、大きく4つの処理群に分けることが出来る。
第1の処理群は、話題に上がった言葉を認識し、認識した言葉を端末100において表示する処理群である(ステップS100)。
第2の処理群は、端末100に表示された言葉のうち、参加者により選択された言葉の意味を端末100上に表示する処理群である(ステップS200)。
第3の処理群は、端末100へ言葉を表示してからの経過時間に応じて、表示されている言葉の表示態様を変化させる処理群である(ステップS300)。
第4の処理群は、言葉ごとに、選択された回数を集計し、集計結果に基づいて、表示されている言葉の表示態様を変化させる処理群である(ステップS400)。
会議やプレゼンテーションにおいては、話題とする言葉が次々と上がるため、これら4つの処理群が同時並行的に繰り返して行われることになる。
以上が、情報表示システム1における全体の処理の流れである。
(第1の処理群:話題に上がった言葉の認識と認識した言葉の表示)
図4は、話題に上がった言葉を認識し、認識した言葉を表示する、第1の処理群の流れを示すフローチャートである。
まず、文字認識装置500または音声認識装置600が、会議中に話題に上がった言葉を認識し、認識した言葉をサーバー400に送信する(ステップS101)。
次に、サーバー400の制御部401は、受信した言葉が辞書402に存在して、意味を取得することが可能かを判断する(ステップS102)。
受信した言葉が辞書402に存在しない場合(ステップS102のN)、制御部401はステップS101に戻り、認識された言葉の受信を繰り返す。この処理は、辞書402に意味が登録されていない言葉を端末100に表示しないようにすることにより、端末100の表示部101の領域Area1に表示されるタグクラウドが混みすぎて、参加者が言葉を視認しにくくなる状況を避けるため(可読性を確保するため)に行うものである。
そのため、タグクラウドが混んでもよい場合は、辞書402に無い言葉についても端末100に送信する構成でもよい。
受信した言葉が辞書402に存在する場合(ステップS102のY)、制御部401は辞書402からその言葉の意味を取得する(ステップS103)。
次に、制御部401は、受信し辞書402に存在する言葉と、辞書402から取得したその言葉の意味とを、全ての端末100に通信部405を介して送信する(ステップS104)。
次に、各端末100の制御部103は、それぞれ、通信部105を介して、言葉とその意味をサーバー400から受信する(ステップS105)。
次に、各端末100の制御部103は、それぞれ、受信した言葉を表示部101に表示させる(ステップS106)。
次に、各端末100の制御部103は、それぞれ、受信した言葉の意味を記憶部104に記憶させる(ステップS107)。
以上が、話題に上がった言葉を認識し、認識した言葉を表示するまでの処理の流れである。
(第2の処理群:表示された言葉のうち、参加者により選択された言葉の意味を表示)
図5は、表示された言葉のうち、参加者により選択された言葉の意味を表示する、第2の処理群の流れを示すフローチャートである。
まず、端末100の制御部103が、通信部105により受信した言葉を表示部101により表示させる(ステップS106)。この処理は、上述した第1の処理群に含まれるステップである。
次に、端末100の制御部103は、表示した言葉が参加者(端末100のユーザー)によりクリックやタップにより選択されたか否かを判断する(ステップS201)。
表示された言葉が選択された場合(ステップS201のY)、端末100の制御部103は、選択された言葉の意味を、記憶部104から取得し、表示部101の領域Area2に表示させる(ステップS202)。
次に、端末100の制御部103は、選択された言葉と、その言葉が選択された旨を、通信部105を介してサーバー400に送信する(ステップS203)。
以上が、表示された言葉のうち、参加者により選択された言葉の意味を表示する処理の流れである。
(第3の処理群:表示してからの経過時間に応じ、言葉の表示態様を変化させる)
図6は、言葉を表示してから(送信してから)の経過時間に応じ、言葉の表示態様を変化させる、第3の処理群の流れを示すフローチャートである。
まず、サーバー400の制御部401が、全ての端末100に対して言葉とその意味とを送信する(ステップS104)。この処理は、上述した第1の処理群に含まれる処理である。
次に、全ての端末100の制御部103が、サーバー400から送信された言葉とその意味とを受信し、受信した言葉を表示部101に表示させる(ステップS106)。この処理も、第1の処理群に含まれる処理である。
サーバー400の制御部401は、全ての端末100に対して言葉とその意味とを送信した後、時間管理部403に指示して、送信した言葉に関する経過時間の計時を開始する(ステップS301)。
次に、サーバー400の制御部401は、予め定められた特定の時間が経過したか否かを判断する(ステップS302)。
特定の時間がまだ経過していない場合(ステップS302のN)、サーバー400の制御部401は、前のステップS301に戻り計時を継続する。
特定の時間が経過した場合(ステップS302のY)、サーバー400の制御部401は、対象とする言葉の表示態様を変更するように、全端末100に対して指示を送信する(ステップS303)。
ここでいう表示態様の変更とは、具体的には、言葉「Smartphone」をサーバー400が全端末100に送信してからの経過時間に応じ、言葉の表示に使用するフォントのサイズをより小さいサイズに変更したり、言葉の表示に使用するフォントの色をより薄い色に変更したり、言葉を表示する位置を遠近法で描かれている3次元空間の四角い部屋(表示部101の表示領域Area1)内でより奥の方に変更したりすることである。
次に、各端末100の制御部103は、対象とする言葉の表示態様を変更する指示を受信する(ステップS304)。
次に、各端末100の制御部103は、受信した指示に従い、対象とする言葉の表示態様を変更する(ステップS305)。
以上が、言葉を表示してから(送信してから)の経過時間に応じ、言葉の表示態様を変化させる処理の流れである。
(第4の処理群:言葉ごとの選択回数の集計と、集計結果に基づく表示態様の変更)
図7は、言葉ごとに、選択された回数を集計し、集計結果に基づいて、表示されている言葉の表示態様を変化させる、第4の処理群の流れを示すフローチャートである。
なお、第4の処理群における処理の流れの説明では、サーバー400に加えて、参加者が表示された言葉に対して選択操作を行わないとする端末100として端末A、そして参加者が表示された言葉に対して選択操作を行うとする端末100として端末Bを例として挙げて説明する。
まず、端末Bの制御部103が、選択された言葉と、その言葉が選択された旨をサーバー400に送信する(ステップS203)。この処理は、上述した第2の処理群に含まれる処理である。
次に、サーバー400の制御部401が、端末Bで選択された言葉と、その言葉が選択された旨を受信する(ステップS401)。
サーバー400の制御部401は、言葉ごとに、選択された回数を集計する(ステップS402)。
次に、サーバー400の制御部401は、集計結果に応じて、各端末A、Bの表示部101の画面上に表示されている言葉のうち、対象とする特定の言葉の経過時間の値を調整し、調整した経過時間の値に基づいて表示態様を変化させるように各端末A、Bに指示を送信する(ステップS403)。
ここでいう表示態様を変化させるとは、具体的には、言葉を表示するために使用しているフォントのサイズをより大きいサイズに変更したり、言葉を表示するために使用しているフォントの色をより濃い色に変更したり、色の種類を変更したり、言葉を表示する位置を、例えば遠近法で描かれている3次元空間の四角い部屋(表示部101の表示領域Area1)内でより手前の方に移動させたりして、強調表示することである。
なお、強調表示は、言葉を表示開始した時の表示態様より更に強調されたものであってもよい。
また、ある言葉が選択された回数をフィードバックする方法として、言葉を強調表示する以外に、例えば、特定の言葉の近傍に、全参加者数に対して言葉の意味を参照した参加者の割合をパーセント表示する方法などを用いてもよい。
なお、別の言い方をすれば、ここでいう表示態様を変化させるとは、表示されてから時間が経過しフェードアウトしつつあった言葉を、経過時間の値をゼロにリセットすることにより表示開始当初のフォントサイズやフォント色、色の濃さ、表示位置に戻したり、経過時間の値を減じることによりフェードアウトするまでの時間を延長したりすることであってもよい。
なお、表示位置に関しては、参加者が端末100ごとに行った、言葉の移動操作の結果が優先されてもよい。そうすると、各参加者は、自由に言葉の表示位置を変更し、表示位置を変更した状態を継続することが出来る。
次に、各端末A、Bの制御部103は、特定の言葉の表示態様を変化させる指示をサーバー400から受信する(ステップS404)。
次に、各端末A、Bの制御部103は、特定の言葉の表示態様を変化させる(ステップS405)。
以上が、言葉ごとに、選択された回数を集計し、集計結果に基づいて、表示されている言葉の表示態様を変化させる処理の流れである。
以上、本発明の一実施形態に係る情報表示システム1における処理の流れについて説明した。
[補足事項]
その他、本発明は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
100 … 端末
101 … 表示部
102 … 操作部
103 … 制御部
104 … 記憶部
105 … 通信部
400 … サーバー
401 … 制御部
402 … 辞書
403 … 時間管理部
404 … 記憶部
405 … 通信部
500 … 文字認識装置
600 … 音声認識装置

Claims (7)

  1. 言葉認識装置、サーバー、および複数の端末を含み、
    前記言葉認識装置は、
    会議などの人の集まりで使用された言葉を認識し、前記認識した言葉を前記サーバーに送信し、
    前記サーバーは、
    前記言葉認識装置および前記複数の端末と通信可能な第1の通信部と、
    言葉と当該言葉の解説とを組にして複数記憶した辞書と、
    前記言葉認識装置から受信した言葉の前記解説を前記辞書により検索し、
    前記受信した言葉と、検索された前記解説とを前記複数の端末に送信する第1の制御部とを備え、
    前記複数の端末の各々は、
    前記サーバーと通信可能な第2の通信部と、
    ユーザーからの操作指示を受け付ける操作部と、
    表示部と、
    前記解説を記憶可能な記憶部と、
    前記第2の通信部が前記サーバーから前記言葉と前記言葉の前記解説とを受信すると、
    受信した前記言葉を前記表示部に表示させ、
    受信した前記解説を前記記憶部に記憶させ、
    表示された前記言葉の選択を前記ユーザーから前記操作部を介して受け付けると、
    選択された前記言葉に対応する前記解説を前記記憶部から取得し、
    取得した前記解説を前記表示部に表示させる
    第2の制御部とを備え
    前記サーバーは、
    前記言葉を前記複数の端末に送信してからの経過時間を前記言葉ごとに管理する時間管理部を更に備え、
    前記端末の第2の制御部は、
    表示された前記言葉の選択を前記ユーザーから前記操作部を介して受け付けると、
    選択された前記言葉と、前記言葉が選択された旨とを前記サーバーに送信し、
    前記サーバーの第1の制御部は、
    前記時間管理部から前記言葉ごとの前記経過時間を取得し、
    選択された前記言葉と、前記言葉が選択された旨とを受信すると、
    前記言葉ごとに、前記言葉が選択された回数を集計し、
    前記回数の集計結果に基づいて、取得した特定の言葉の前記経過時間の値を調整し、
    調整した前記経過時間の値に基づいて、前記複数の端末の各々の表示部に表示されている特定の言葉の表示態様を変更する指示を作成し、
    作成した前記指示を前記複数の端末の各々に送信し、
    前記複数の端末の各々の第2の制御部は、
    前記指示を受信すると、
    受信した前記指示に基づいて、前記言葉ごとに表示態様を変更する
    情報表示システム。
  2. 請求項1に記載の情報表示システムであって、
    前記端末の第2の制御部は、
    表示された前記言葉の選択を前記ユーザーから前記操作部を介して受け付けると、
    選択された前記言葉と、前記言葉が選択された旨とを前記サーバーに送信し、
    前記サーバーの第1の制御部は、
    選択された前記言葉と、前記言葉が選択された旨とを受信すると、
    前記言葉ごとに、前記言葉が選択された回数を集計し、
    前記回数の集計結果に基づいて、前記複数の端末の各々の表示部に表示されている特定の言葉の表示態様を変更する指示を作成し、
    作成した前記指示を前記複数の端末の各々に送信し、
    前記複数の端末の各々の第2の制御部は、
    前記指示を受信すると、
    受信した前記指示に基づいて、前記特定の言葉の表示態様を変更する
    情報表示システム。
  3. 請求項1に記載の情報表示システムであって、
    前記サーバーは、
    前記言葉を前記複数の端末に送信してからの経過時間を前記言葉ごとに管理する時間管理部を更に備え、
    前記サーバーの第1の制御部は、
    前記時間管理部から前記言葉ごとの前記経過時間を取得し、
    取得した前記経過時間に基づいて、前記複数の端末の各々の表示部に表示されている言葉ごとの表示態様を変更する指示を作成し、
    作成した前記指示を前記複数の端末の各々に送信し、
    前記複数の端末の各々の第2の制御部は、
    前記指示を受信すると、
    受信した前記指示に基づいて、前記言葉ごとに表示態様を変更する
    情報表示システム。
  4. 請求項1からのいずれか1つに記載の情報表示システムであって、
    前記サーバーの第1の制御部は、
    前記言葉認識装置から受信した言葉の前記解説が前記辞書に存在するとき、
    前記受信した言葉と、検索された前記解説とを前記複数の端末に送信する
    情報表示システム。
  5. 請求項2又は3に記載の情報表示システムであって、
    前記複数の端末の各々の第2の制御部は、
    前記サーバーから受信した前記表示態様を変更する指示よりも、
    前記操作部が受け付けた、前記ユーザーによる前記表示された言葉の表示態様を変更する指示を優先する
    情報表示システム。
  6. 請求項1からのうちいずれか1つに記載の情報表示システムであって、
    前記言葉認識装置は、文字認識および音声認識のうち、少なくとも一方を行う
    情報表示システム。
  7. 会議などの人の集まりで使用された言葉を認識し、前記認識した言葉を送信する言葉認識装置から受信した言葉の解説を、前記言葉と当該言葉の解説とを組にして複数記憶した辞書により検索し、
    前記受信した言葉と、検索された前記解説とを複数の端末に送信する制御部
    としてコンピューターを機能させるための情報表示プログラムであって、
    前記制御部は、
    前記言葉ごとの、前記言葉を前記複数の端末に送信してからの経過時間を取得し、
    前記複数の端末の各々から、選択された前記言葉と、前記言葉が選択された旨とを受信すると、
    前記言葉ごとに、前記言葉が選択された回数を集計し、
    前記回数の集計結果に基づいて、取得した特定の言葉の前記経過時間の値を調整し、
    調整した前記経過時間の値に基づいて、前記複数の端末の各々の表示部に表示されている特定の言葉の表示態様を変更する指示を作成し、
    作成した前記指示を前記複数の端末の各々に送信する
    情報表示プログラム。
JP2014172191A 2014-08-27 2014-08-27 情報表示システムおよび情報表示プログラム Expired - Fee Related JP6027580B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014172191A JP6027580B2 (ja) 2014-08-27 2014-08-27 情報表示システムおよび情報表示プログラム
US14/838,308 US20160062610A1 (en) 2014-08-27 2015-08-27 Information Display System That Displays Appropriate Information Corresponding to Contents of Ongoing Conference or Presentation on Terminal and Recording Medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014172191A JP6027580B2 (ja) 2014-08-27 2014-08-27 情報表示システムおよび情報表示プログラム

Publications (2)

Publication Number Publication Date
JP2016045914A JP2016045914A (ja) 2016-04-04
JP6027580B2 true JP6027580B2 (ja) 2016-11-16

Family

ID=55402487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014172191A Expired - Fee Related JP6027580B2 (ja) 2014-08-27 2014-08-27 情報表示システムおよび情報表示プログラム

Country Status (2)

Country Link
US (1) US20160062610A1 (ja)
JP (1) JP6027580B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9959416B1 (en) * 2015-03-27 2018-05-01 Google Llc Systems and methods for joining online meetings
JP6660974B2 (ja) * 2018-03-30 2020-03-11 本田技研工業株式会社 情報提供装置、情報提供方法、およびプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1255439A (en) * 1916-07-10 1918-02-05 Anaconda Copper Mining Co Process of recovering zinc from ores.
US7278115B1 (en) * 1999-06-18 2007-10-02 Microsoft Corporation Methods, apparatus and data structures for providing a user interface to objects, the user interface exploiting spatial memory and visually indicating at least one object parameter
AU2001244782A1 (en) * 2000-03-24 2001-10-15 Nam-Kyo Park Database of learning materials and method for providing learning materials to a learner using computer system
US7650562B2 (en) * 2002-02-21 2010-01-19 Xerox Corporation Methods and systems for incrementally changing text representation
US7411590B1 (en) * 2004-08-09 2008-08-12 Apple Inc. Multimedia file format
US20060119901A1 (en) * 2004-12-06 2006-06-08 Feri Ehrenfeld Handheld text scanner
US7925993B2 (en) * 2006-03-30 2011-04-12 Amazon Technologies, Inc. Method and system for aggregating and presenting user highlighting of content
US7752534B2 (en) * 2006-09-19 2010-07-06 International Business Machines Corporation Method and apparatus for customizing the display of multidimensional data
JP4215792B2 (ja) * 2006-09-22 2009-01-28 株式会社東芝 会議支援装置、会議支援方法および会議支援プログラム
JP2009087188A (ja) * 2007-10-02 2009-04-23 Think Tank:Kk コンピュータ会議装置
US8015496B1 (en) * 2007-10-26 2011-09-06 Sesh, Inc. System and method for facilitating visual social communication through co-browsing
JP2009187094A (ja) * 2008-02-04 2009-08-20 Sharp Corp 会議システム、プログラム
EP2136301A1 (en) * 2008-06-20 2009-12-23 NTT DoCoMo, Inc. Method and apparatus for visualising a tag cloud
JP2011081639A (ja) * 2009-10-08 2011-04-21 Konica Minolta Business Technologies Inc 電子会議システム
JP5257330B2 (ja) * 2009-11-06 2013-08-07 株式会社リコー 発言記録装置、発言記録方法、プログラム及び記録媒体
US9772861B2 (en) * 2010-06-15 2017-09-26 International Business Machines Corporation Accessing operating system elements via a tag cloud
US9082035B2 (en) * 2011-08-29 2015-07-14 Qualcomm Incorporated Camera OCR with context information
US10739938B2 (en) * 2012-01-05 2020-08-11 International Business Machines Corporation Customizing a tag cloud
JP2013250931A (ja) * 2012-06-04 2013-12-12 Canon Inc 情報取得システム、プログラム、サーバ、情報取得方法
US9411801B2 (en) * 2012-12-21 2016-08-09 Abbyy Development Llc General dictionary for all languages
US9367203B1 (en) * 2013-10-04 2016-06-14 Amazon Technologies, Inc. User interface techniques for simulating three-dimensional depth
US9992298B2 (en) * 2014-08-14 2018-06-05 International Business Machines Corporation Relationship-based WAN caching for object stores

Also Published As

Publication number Publication date
JP2016045914A (ja) 2016-04-04
US20160062610A1 (en) 2016-03-03

Similar Documents

Publication Publication Date Title
US10805365B2 (en) System and method for tracking events and providing feedback in a virtual conference
CN107211062B (zh) 虚拟声学空间中的音频回放调度
CN111866022B (zh) 感知质量比会议中原始听到的更高的后会议回放系统
CN113170076B (zh) 一种用于通信会话的方法和系统
US20180375676A1 (en) System and method for scalable, interactive virtual conferencing
US20200106813A1 (en) Method and system for sharing annotated conferencing content among conference participants
US10684754B2 (en) Method of providing visual sound image and electronic device implementing the same
US9569428B2 (en) Providing an electronic summary of source content
US9225936B2 (en) Automated collaborative annotation of converged web conference objects
CN112653902B (zh) 说话人识别方法、装置及电子设备
US10613825B2 (en) Providing electronic text recommendations to a user based on what is discussed during a meeting
TWI590240B (zh) 會議記錄裝置及其自動生成會議記錄的方法
US20160065895A1 (en) Method, apparatus, and system for presenting communication information in video communication
CN113728591B (zh) 预览由评论中键入的超链接引用的视频内容
CN113748425A (zh) 针对视频数据中表达的内容的自动完成
JP2015028625A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
CN113711618A (zh) 创作包括引用视频内容的键入的超链接的评论
JP6027580B2 (ja) 情報表示システムおよび情報表示プログラム
JP2003323628A (ja) 発言者特定映像装置およびそのプログラムならびに発言者特定映像表示方法
US9697851B2 (en) Note-taking assistance system, information delivery device, terminal, note-taking assistance method, and computer-readable recording medium
CN118098224A (zh) 屏幕共享控制方法、装置、设备、介质以及程序产品
JP2018139397A (ja) 音声表示装置および音声表示プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160520

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160520

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161014

R150 Certificate of patent or registration of utility model

Ref document number: 6027580

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees