JP7196393B2

JP7196393B2 - 情報提示装置、情報提示システム、情報提示方法およびプログラム

Info

Publication number: JP7196393B2
Application number: JP2017232043A
Authority: JP
Inventors: 俊之古田; 克己金崎; 聖彦篠宮; 嘉偉勇; 亮古谷
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2017-12-01
Filing date: 2017-12-01
Publication date: 2022-12-27
Anticipated expiration: 2037-12-01
Also published as: JP2019101751A; US20190171734A1

Description

本発明は、情報提示装置、情報提示システム、情報提示方法およびプログラムに関する。

昨今、会議では、プロジェクタや大型ディスプレイに資料等を投影しつつ、ホワイトボードに書き込みをしながら議論をするといったスタイルが一般的である。このような会議の場において、投影されている内容、および、話されている内容を基に情報検索を行い、その結果を会議参加者に自動的に提示することによって、会議進行の手助けを行なうようなシステムが既に開示されている。

このような、会議進行の効率化を図るシステムとして、ＡＩ（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ：人工知能）が、会議における発話やその場の状態を読み取り、キーワードおよびレコメンド情報を壁およびテーブル等に表示するシステムが開示されている（非特許文献１）。

しかしながら、現状のＡＩ技術のレベルにおいては、発話の内容および画像の認識によるテキスト化、キーワード抽出、および当該キーワードに基づく情報検索等については、ある程度の実用的なレベルにあるものの、テキスト化された発話の内容等から、どのようなことが話題になっており、どのような情報を検索したいか、そのためにはどのような検索条件とすればよいかについては、全く実用的なレベルとなっていないという問題がある。例えば、発話内容が「そういえば議事録の効率化をどこかで見たことがある」と「そういえば議事録で効率化をどこかで見たことがある」とでは、まるで、発話の意図が異なり、実際の検索条件にすると、例えば、前者は「議事録」および「効率化」でインターネット検索が妥当であるが、後者の場合は「効率化」で社内の文書管理システム上の議事録からの検索が妥当である。しかし、現状のＡＩ技術では、話題の抽出はまだ実用的なレベルではないので、ほとんどが前者の検索条件での検索になってしまう。

また、例えば、発話内容等に地名が含まれていた場合、地名は有力なキーワードであり、単語が地名かどうかの判定も現在のＡＩ技術で判別可能である。しかし、地名といっても、その場所自体が話題になっているか、地名と同一のスポーツチームまたは食べ物等が話題になっているかによって、検索条件を地名だけでなく、例えば「サッカー」または「ラーメン」等のジャンルを表すキーワードを追加等の工夫をすることが必要となる。人であれば会議の文脈から何が話題になっているかを理解することは可能であり、かつ、単純なキーワード検索では所望の検索結果が得られないことを知っているので、上述のようなキーワードの追加という工夫ができるが、現状のＡＩ技術ではそこまでの動作は困難である。

また、会議に関連する情報と言っても、参加者の誰もが知らないような新規な情報が必要な場合もあれば、参加者の誰もが知っているはずの情報が必要な場合もあれば（周知・確認等を行う場合）、専門用語の意味等参加者によって必要性が異なる場合等もあり、このどれが必要とされているかはそのときどきで様々であり、会議中に時々刻々変わることもある。参加者は、会議の流れ等からどの情報（社内の文書、または外部の専門サイト等）が有用かは把握可能であるが、これを会議の画面または発話内容等から自動的に類推することは、現在のＡＩ技術では技術的に困難である。会議の参加者の意図とずれた情報提示は役に立たないばかりか、会議の効率化を損なうことにもなる等、逆効果にもなりかねないといった問題もあった。

本発明は、上述の問題点に鑑みてなされたものであって、会議の参加者が期待する検索結果により近いものを提示することができる情報提示装置、情報提示システム、情報提示方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、会議における情報から抽出されるキーワードについて、複数の検索条件に基づいて、該各検索条件が示す検索対象からの検索を指令する検索部と、前記検索部による検索により得られた前記各検索条件に対応するそれぞれの検索結果を、弁別可能な形式で表示部に提示する情報提示部と、を備え、前記情報提示部は、前記各検索結果を、該各検索結果の関連度を示すスコアと共に、前記表示部に表示させ、前記検索対象が複数の場合、それぞれの検索結果を前記スコアで比較することができることを特徴とする。

本発明によれば、会議の参加者が期待する検索結果により近いものを提示することができる。

図１は、実施形態に係る情報提示システムの全体構成の一例を示す図である。図２は、実施形態に係る情報提示システムを利用した会議の様子の一例を示す図である。図３は、実施形態に係る情報提示装置のハードウェア構成の一例を示す図である。図４は、実施形態に係る情報提示システムの機能ブロックの構成の一例を示す図である。図５は、実施形態に係る情報提示装置において複数の検索条件に対応するアイコンを表示した状態の一例を示す図である。図６は、複数の検索条件にそれぞれ対応するアイコンの一例を示した図である。図７は、実施形態に係る情報提示システムの情報提示処理の流れの一例を示すシーケンス図である。図８は、実施形態に係る情報提示装置において、複数の検索条件に対応するアイコンに対して検索結果であるスコアを表示させた状態の一例を示す図である。図９は、実施形態に係る情報提示装置において、複数の検索条件に対応するアイコンのいずれかをタッチした場合に表示される検索結果の一例を示す図である。

以下に、図１～図９を参照しながら、本発明に係る情報提示装置、情報提示システム、情報提示方法およびプログラムの実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

（情報提示システムの全体構成）
図１は、実施形態に係る情報提示システムの全体構成の一例を示す図である。図１を参照しながら、本実施形態に係る情報提示システム１の全体構成の一例について説明する。

図１に示すように、本実施形態に係る情報提示システム１は、情報提示装置１０と、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）２０と、プロジェクタ２５と、クラウド３０と、文書管理システム４０と、を含み、互いに通信可能となるようにネットワーク２に接続されている。ネットワーク２は、例えば、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）、専用回線、またはインターネット等のネットワークである。ネットワーク２は、例えば、ＴＣＰ（ＴｒａｎｓｍｉｓｓｉｏｎＣｏｎｔｒｏｌＰｒｏｔｏｃｏｌ）／ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）等の通信プロトコルでデータ通信が行われる。なお、ネットワーク２には、有線ネットワークおよび無線ネットワークが混在しているものとしてもよい。

情報提示装置１０は、会議に有用と思われる情報を検索して表示する装置であり、例えば、ＩＷＢ（ＩｎｔｅｒａｃｔｉｖｅＷｈｉｔｅｂｏａｒｄ）と称される電子黒板である。以下、情報提示装置１０は、ＩＷＢであるものとして説明する。情報提示装置１０には、カメラ５１１が接続されている。カメラ５１１は、例えば、プロジェクタ２５が投影した投影画像を撮像する撮像装置である。

ＰＣ２０は、例えば、情報提示装置１０に表示させる画像を送信する情報処理装置である。

プロジェクタ２５は、ネットワーク２経由で外部装置（例えば、ＰＣ２０）から受信したデータをスクリーン等の被投影面に投影する画像投影装置である。なお、プロジェクタ２５は、ネットワーク２に接続されているものとしているが、これに限定されるものではなく、例えば、ＰＣ２０に接続されているものとし、ＰＣ２０から受信したデータ（例えば、ＰＣ２０で表示されている画像データ）を投影するものとしてもよい。

クラウド３０は、情報提示装置１０からの利用要求により、情報提示装置１０を使用するユーザ（会議の参加者）が所望する機能（クラウドサービス）を、ネットワーク２を通じて提供するコンピュータ資源の集合体である。

文書管理システム４０は、例えば、会議を行う参加者の会社内で作成された様々な文書をデータベース化して管理するシステムである。

なお、図１に示す情報提示システム１の構成は一例であり、これに限定されるものではない。例えば、ＰＣ２０から画像を情報提示装置１０に送信して表示させる必要がない場合、情報提示システム１にＰＣ２０は含まれてないものとしてもよい。また、プロジェクタ２５による投影画像を撮像する必要がない場合は、情報提示システム１にプロジェクタ２５およびカメラ５１１は含まれていないくてもよい。

図２は、実施形態に係る情報提示システムを利用した会議の様子の一例を示す図である。

図２では、ある会議の場において本実施形態に係る情報提示システム１が利用された状態が示されている。情報提示装置１０はＩＷＢであり、図２では、会議の参加者の１人である参加者５０ａが電子ペン（スタイラス）を用いて情報提示装置１０のタッチパネルディスプレイに会議の内容を書き込んでいる状態が示されている。また、会議の参加者の１人である参加者５０ｂが操作するＰＣ２０から、会議で共有すべき画像が、情報提示装置１０に送信されてタッチパネルディスプレイに表示される。また、会議室の机の上にはプロジェクタ２５が設置されており、プロジェクタ２５は、図２の手前側にあるスクリーンに画像を投影する。また、会議室の机の上にはカメラ５１１が設置されており、カメラ５１１は、例えば、プロジェクタ２５が投影した投影画像を撮像する。なお、図２に示す例では、カメラ５１１は、プロジェクタ２５が投影した投影画像を撮像しているものとしているが、これに限定されるものではなく、例えば、手書きのホワイトボード面を撮像するものとしてもよい。

（情報提示装置のハードウェア構成）
図３は、実施形態に係る情報提示装置のハードウェア構成の一例を示す図である。図３を参照しながら、本実施形態に係る情報提示装置１０のハードウェア構成の一例について説明する。

図３に示すように、本実施形態に係る情報提示装置１０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）５０１と、メモリ５０２と、記憶装置５０３と、タッチパネルディスプレイ５０４と、マイク５０５と、スピーカ５０６と、外部機器Ｉ／Ｆ５０７と、ネットワークＩ／Ｆ５０８と、を備えている。

ＣＰＵ５０１は、情報提示装置１０全体の動作を制御する集積回路である。なお、ＣＰＵ５０１は、単体の集積回路であるものの他、例えば、ＳｏＣ（ＳｙｓｔｅｍｏｎＣｈｉｐ）に含まれるＣＰＵであってもよい。

メモリ５０２は、ＣＰＵ５０１のワークエリアとして使用される揮発性のＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の記憶装置である。

記憶装置５０３は、情報提示装置１０の処理を実行するための各種プログラム、画像データおよび音声データ、それらから得られたキーワード、ならびにキーワードに基づく検索結果等の各種データを記憶する不揮発性の補助記憶装置である。記憶装置５０３は、例えば、フラッシュメモリ、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）またはＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等である。

タッチパネルディスプレイ５０４は、画像データ等を表示デバイスに表示する機能、および、ユーザの電子ペン（スタイラス）がタッチパネルに触れた座標をＣＰＵ５０１に送信するタッチ検出機能を備えたタッチ検出機能付き表示デバイスである。タッチパネルディスプレイ５０４は、後述する図５に示すように、例えば、電子ペンでパネル表面をなぞった軌跡を表示させることによって筆記が可能な電子黒板としての機能を有する。また、タッチパネルディスプレイ５０４の表示デバイスは、例えば、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ：液晶ディスプレイ）、または有機ＥＬ（ＯｒｇａｎｉｃＥｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等によって構成される。

マイク５０５は、会議に参加している参加者の音声を入力する集音装置である。マイク５０５は、例えば、図２において、ディスプレイ（タッチパネルディスプレイ５０４）の上側等に設置され、情報提示装置１０に対向する参加者が発する音声を入力する。

スピーカ５０６は、ＣＰＵ５０１の制御に従って、音声を出力する装置である。スピーカ５０６は、例えば、図２において、ディスプレイ（タッチパネルディスプレイ５０４）の下側等に設置されており、例えば、遠隔地との相手拠点を交えた会議を行う場合において受信された当該相手拠点の音声データを音声として出力する。

外部機器Ｉ／Ｆ５０７は、外部機器を接続するためのインターフェースである。外部機器Ｉ／Ｆ５０７は、例えば、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）インターフェース、またはＲＳ（ＲｅｃｏｍｍｅｎｄｅｄＳｔａｎｄａｒｄ）－２３２Ｃインターフェース等である。図３に示すように、外部機器Ｉ／Ｆ５０７には、カメラ５１１が接続されている。カメラ５１１は、レンズ、および光を電荷に変換して被写体の画像（映像）をデジタル化する固体撮像素子を含む撮像装置である。カメラ５１１は、例えば、プロジェクタ２５が投影した投影画像を撮像する。固体撮像素子としては、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）またはＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）等が用いられる。なお、カメラ５１１は、図１等で説明したように、単体の撮像装置であることの他、例えば、図１に示すＰＣ２０に内蔵されたカメラであってもよい。この場合、内蔵されたカメラにより撮像された画像データは、ＰＣ２０およびネットワーク２を介し情報提示装置１０に送信される。

ネットワークＩ／Ｆ５０８は、インターネット等のネットワーク（図１に示すネットワーク２）を利用して、外部とのデータを通信するためのインターフェースである。ネットワークＩ／Ｆ５０８は、例えば、ＮＩＣ（ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ）等である。ネットワークＩ／Ｆ５０８が対応する規格としては、有線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）の場合、例えば、１０Ｂａｓｅ－Ｔ、１００Ｂａｓｅ－ＴＸ、または１０００Ｂａｓｅ－Ｔ等が挙げられ、無線ＬＡＮの場合、例えば、８０２．１１ａ／ｂ／ｇ／ｎ等が挙げられる。

なお、情報提示装置１０のハードウェア構成は、図３に示す構成に限定されるものではない。例えば、情報提示装置１０は、情報提示装置１０を制御するためのファームウェア等を記憶した不揮発性の記憶装置であるＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）等を備えるものとしてもよい。また、図３に示すように、メモリ５０２、記憶装置５０３、タッチパネルディスプレイ５０４、マイク５０５、スピーカ５０６、外部機器Ｉ／Ｆ５０７およびネットワークＩ／Ｆ５０８は、ＣＰＵ５０１に接続されている態様で示しているが、このような構成に限定されるものではなく、例えば、上述の各構成部品が、アドレスバスおよびデータバス等のバスによって互いに通信可能となるように接続される構成としてもよい。

また、図３では、情報提示装置１０は、マイク５０５およびスピーカ５０６を本体に内蔵する構成を示したが、これらの少なくともいずれかが別体として構成されているものとしてもよい。例えば、スピーカ５０６が内蔵されているものではなく別体の外部機器である場合、上述の外部機器Ｉ／Ｆ５０７を介して、情報提示装置１０に接続されるものとしてもよい。

（情報提示システムの機能ブロック構成）
図４は、実施形態に係る情報提示システムの機能ブロックの構成の一例を示す図である。図４を参照しながら、本実施形態に係る情報提示システム１の機能ブロックの構成の一例について説明する。

図４に示すように、本実施形態に係る情報提示装置１０は、画像取得部１０１と、音声取得部１０２と、検索部１０３と、情報提示部１０４と、記憶部１０５と、ネットワーク通信部１０６と、外部通信部１０７と、音声出力制御部１０８と、音声出力部１０９と、音声入力部１１０と、表示制御部１１１と、表示部１１２と、入力部１１３と、を有する。

画像取得部１０１は、カメラ５１１により撮像されたプロジェクタ２５による投影画像の画像データ、および表示部１１２（すなわち、タッチパネルディスプレイ５０４）に表示されている画像データを取得する機能部である。また、画像取得部１０１は、ＰＣ２０に保存された画像データ等を取得するものとしてもよい。画像取得部１０１は、例えば、定期的または断続的に画像データを取得するものとすればよい。画像取得部１０１は、取得した画像データを、画像認識に基づくテキスト化のため、ネットワーク通信部１０６およびネットワーク２を介して、クラウド３０へ送信する。画像取得部１０１は、例えば、図３に示すＣＰＵ５０１により実行されるプログラムによって実現される。なお、プロジェクタ２５が投影する画像データをプロジェクタ２５から直接取得できる場合は、画像取得部１０１は、カメラ５１１ではなく、プロジェクタ２５から直接、投影画像の画像データを取得するものとしてもよい。

音声取得部１０２は、マイク５０５により集音（入力）された音声の音声データを取得する機能部である。音声取得部１０２は、例えば、定期的または断続的に、または、音声を検出している期間に音声データを取得するものとすればよい。音声取得部１０２は、取得した音声データを、音声認識に基づくテキスト化のため、ネットワーク通信部１０６およびネットワーク２を介して、クラウド３０へ送信する。音声取得部１０２は、例えば、図３に示すＣＰＵ５０１により実行されるプログラムによって実現される。

検索部１０３は、クラウド３０によって、画像データおよび音声データに対する画像認識および音声認識によりテキスト化されたテキストから抽出されたキーワードについて、予め設定された複数の検索条件に基づいて検索を指令する機能部である。検索部１０３は、複数の検索条件に基づいて、クラウド３０または文書管理システム４０等に対してキーワード検索を指令する検索指令を、キーワードおよび検索条件と共に送信する。なお、検索部１０３自身が、検索条件に基づいてキーワード検索を行うものとしてもよい。検索部１０３は、例えば、図３に示すＣＰＵ５０１により実行されるプログラムによって実行される。

情報提示部１０４は、検索部１０３から送信された検索条件に基づく検索結果をクラウド３０から受信して、表示制御部１１１に対して表示部１１２に当該検索結果を表示（提示）させる機能部である。情報提示部１０４は、例えば、図３に示すＣＰＵ５０１により実行されるプログラムによって実行される。なお、情報提示部１０４が、表示制御部１１１に対して、何らかの情報を表示部１１２に表示させることを、単に、情報提示部１０４が、情報を表示部１１２に表示させる、のように表現する場合がある。

記憶部１０５は、情報提示装置１０の処理を実行するための各種プログラム、画像データおよび音声データ、それらから得られたキーワード、ならびにキーワードに基づく検索結果等の各種データを記憶する機能部である。記憶部１０５は、図３に示す記憶装置５０３によって実現される。

ネットワーク通信部１０６は、ネットワーク２を介して、クラウド３０、ＰＣ２０、および文書管理システム４０その他の外部機器または外部システムと、データ通信を行う機能部である。ネットワーク通信部１０６は、図３に示すネットワークＩ／Ｆ５０８によって実現される。

外部通信部１０７は、外部機器とデータ通信を行う機能部である。外部通信部１０７は、図３に示す外部機器Ｉ／Ｆ５０７によって実現される。

音声出力制御部１０８は、音声出力部１０９に各種音声を出力させる制御を行う機能部である。音声出力制御部１０８は、例えば、図３に示すＣＰＵ５０１がプログラムを実行することによって実現される。

音声出力部１０９は、音声出力制御部１０８の制御に従って、各種音声を出力する機能部である。音声出力部１０９は、図３に示すスピーカ５０６によって実現される。

音声入力部１１０は、音声を入力する機能部である。音声入力部１１０は、図３に示すマイク５０５によって実現される。

表示制御部１１１は、表示部１１２に、各種画像および映像、ならびに、電子ペンによりなぞられた筆記内容等を表示させる制御を行う機能部である。表示制御部１１１は、例えば、図３に示すＣＰＵ５０１がプログラムを実行することによって実現される。

表示部１１２は、表示制御部１１１の制御に従って、各種画像および映像、ならびに、電子ペンによりなぞられた筆記内容等を表示する機能部である。表示部１１２は、図３に示すタッチパネルディスプレイ５０４における表示デバイスに表示する機能によって実現される。

入力部１１３は、ユーザ（例えば、会議の参加者）の電子ペン（スタイラス）による筆記入力を受け付ける機能部である。入力部１１３は、図３に示すタッチパネルディスプレイ５０４におけるタッチ検出機能によって実現される。

なお、図４に示す情報提示装置１０の画像取得部１０１、音声取得部１０２、検索部１０３、情報提示部１０４、記憶部１０５、ネットワーク通信部１０６、外部通信部１０７、音声出力制御部１０８、音声出力部１０９、音声入力部１１０、表示制御部１１１、表示部１１２および入力部１１３は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図４に示す情報提示装置１０で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図４に示す情報提示装置１０で１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

また、図４では、情報提示装置１０が有する主要な機能部が示されているものであり、情報提示装置１０が有する機能は、これらに限定されるものではない。

また、図４に示す情報提示装置１０の各機能部は、ＰＣ２０に備えられるものとしてもよい。この場合、ＰＣ２０が「情報提示装置」として機能する。

図４に示すように、クラウド３０は、画像認識部３０１（認識部の一例）と、音声認識部３０２（認識部の一例）と、キーワード抽出部３０３（抽出部）と、外部検索部３０４と、を有する。

画像認識部３０１は、情報提示装置１０からネットワーク２を介して受信した画像データに対して画像認識を行い、当該画像データに含まれるテキスト（文字）を抽出（テキスト化）する機能部である。画像認識の方式としては、公知のＯＣＲ（ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒＲｅｃｏｇｎｉｔｉｏｎ：光学文字認識）の方式を用いるものとすればよい。画像認識部３０１は、クラウド３０が包含するコンピュータ資源によって実現される。

音声認識部３０２は、情報提示装置１０からネットワーク２を介して受信した音声データに対して音声認識を行い、当該音声データからテキスト（文字）を抽出（テキスト化）する機能部である。音声認識の方式としては、例えば、公知の隠れマルコフモデルを用いた方式等を用いるものとすればよい。音声認識部３０２は、クラウド３０が包含するコンピュータ資源によって実現される。

キーワード抽出部３０３は、画像認識部３０１および音声認識部３０２によりテキスト化されたテキストから、キーワードを抽出する機能部である。テキストからキーワードを抽出する方法としては、例えば、形態素解析により品詞に分解して助詞等を除いた単語を抽出等の方法が挙げられる。キーワード抽出部３０３は、クラウド３０が包含するコンピュータ資源によって実現される。

外部検索部３０４は、情報提示装置１０の検索部１０３から検索条件を検索指令と共に、ネットワーク２を介して受信した場合、当該検索条件に基づいて、キーワードの検索を行う機能部である。ここで、外部検索部３０４によるキーワードの検索は、単なるキーワード検索ではなく、予め指定された検索条件に基づくキーワード検索である。ここで、検索条件としては、例えば、検索対象となるソース（ウェブまたは文書管理システム４０等）、使用する検索エンジン、ジャンル、検索対象となる情報の更新日、および、検索対象となるキーワードに付加する別のキーワード（例えば、「セキュリティ」、「政治」、「世界遺産」等）等、様々な条件を予め指定しておくことができる。

なお、図４に示すクラウド３０の画像認識部３０１、音声認識部３０２、キーワード抽出部３０３および外部検索部３０４は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図４に示すクラウド３０で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図４に示すクラウド３０で１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

また、画像認識部３０１、音声認識部３０２、キーワード抽出部３０３および外部検索部３０４は、クラウド３０により実現される機能としてまとめて記載されているが、すべての機能部が特定のコンピュータ資源により実現されることに限定するものではない。また、画像認識部３０１、音声認識部３０２、キーワード抽出部３０３および外部検索部３０４は、クラウド３０により実現されることに限定されるものではなく、情報提示装置１０または他のサーバ装置によって実現されるものとしてもよい。

（検索条件および検索結果の表示態様の概要）
図５は、実施形態に係る情報提示装置において複数の検索条件に対応するアイコンを表示した状態の一例を示す図である。図６は、複数の検索条件にそれぞれ対応するアイコンの一例を示した図である。図５および図６を参照しながら、情報提示装置１０における検索条件および検索結果の表示態様の概要について説明する。

図５は、タッチパネルディスプレイ５０４（表示部１１２）に表示された内容の一例を示している。タッチパネルディスプレイ５０４の左側には、ユーザ（例えば、会議の参加者）が電子ペンによって、会議での話題に関する内容が書き込まれている。このように、タッチパネルディスプレイ５０４に書き込まれた内容の画像データからキーワードが抽出され、検索部１０３によって、複数の検索条件に基づくキーワード検索が指令される。

そして、情報提示部１０４は、上述の複数の検索条件に基づく検索結果を受信すると、図５の右側に示すように、各検索条件の検索結果に対応したアイコンをタッチパネルディスプレイ５０４（表示部１１２）に表示させる。すなわち、アイコンの表示によって、複数の検索条件に基づく検索結果を弁別可能な形式で提示している。図５に示す例では、人の図柄を含むアイコン６０１、６０２の２つのアイコンが表示されており、これは、検索条件が２つであり、それぞれの検索条件によって２つの検索結果が得られたことを示している。

なお、上述では、情報提示部１０４が検索結果を受信した場合に、タッチパネルディスプレイ５０４（表示部１１２）に、当該検索結果に対応するアイコンを表示させるものとしているが、これに限定されるものではない。例えば、キーワードに対する検索条件が予め指定され、当該検索条件の個数が定まっている場合、情報提示部１０４は、当該検索条件に対応するアイコンを弁別可能にタッチパネルディスプレイ５０４に表示させるものとしてもよい。この場合、情報提示部１０４は、当該検索条件に対する検索結果を受信した場合には、表示させているアイコンを、検索結果を受信したことを示す態様（例えば、後述する図８に示すスコアの表示）に表示を変更するものとすればよい。

また、タッチパネルディスプレイ５０４に表示される各検索結果に対応するアイコンは、図５に示すように、情報提示装置１０が電子黒板としての機能を阻害しないように、隅の方に表示させることが望ましい。例えば、図５に示すように、会議での話題に関する内容が書き込まれている表示領域以外の表示領域に、各検索結果に対応するアイコンを表示させる等の方法が考えられる。

図６では、各検索条件に対応したアイコンの例を示している。図５に示すような、人の顔を示すだけのアイコンでは、検索条件が想起しづらいことがあるので、例えば、会議の最初に予めタッチパネルディスプレイ５０４に、図６に示すように、検索条件の少なくとも一部（図６の例では、検索先（ウェブ、議事録、文書管理システム４０等））を表示させたアイコンのように、検索条件を端的に表すアイコンを表示させてもよい。これによって、あたかもアイコンで示された人物が会議に参加しているような感覚で用いることが可能となると共に、当該検索結果がどのような検索条件で得られたものかを把握することができる。例えば、図６において、「Ｗｅｂ検索」および「Ｗｅｂ検索２」のアイコンは、ウェブに対するキーワード検索を行う検索条件を示しており、それぞれ検索の方法（例えば、異なるサーチエンジンを用いる等）が異なることを示している。また、「文書管理システム検索」のアイコンは、検索対象がウェブではなく、会議を行う参加者の会社内で管理されている文書管理システム４０に対してキーワード検索を行う検索条件を示している。

（情報提示システムの情報提示処理の流れ）
図７は、実施形態に係る情報提示システムの情報提示処理の流れの一例を示すシーケンス図である。図８は、実施形態に係る情報提示装置において、複数の検索条件に対応するアイコンに対して検索結果であるスコアを表示させた状態の一例を示す図である。図９は、実施形態に係る情報提示装置において、複数の検索条件に対応するアイコンのいずれかをタッチした場合に表示される検索結果の一例を示す図である。図７～図９を参照しながら、本実施形態に係る情報提示システム１の情報提示処理の流れの一例を説明する。

＜ステップＳ１１＞
情報提示装置１０の画像取得部１０１は、カメラ５１１により撮像されたプロジェクタ２５による投影画像の画像データ、表示部１１２（タッチパネルディスプレイ５０４）が表示している画像データ、または、ＰＣ２０に保存された画像データ等を取得する。画像取得部１０１は、例えば、定期的または断続的に画像データを取得するものとすればよい。

＜ステップＳ１２＞
情報提示装置１０の音声取得部１０２は、マイク５０５により集音（入力）された会議の参加者の音声の音声データを取得する。音声取得部１０２は、例えば、定期的または断続的に、または、音声を検出している期間に音声データを取得するものとすればよい。

＜ステップＳ１３＞
画像取得部１０１は、取得した画像データを、画像認識に基づくテキスト化のため、ネットワーク通信部１０６およびネットワーク２を介して、クラウド３０へ送信する。

＜ステップＳ１４＞
音声取得部１０２は、取得した音声データを、音声認識に基づくテキスト化のため、ネットワーク通信部１０６およびネットワーク２を介して、クラウド３０へ送信する。

＜ステップＳ１５＞
クラウド３０の画像認識部３０１は、情報提示装置１０からネットワーク２を介して受信した画像データに対して画像認識を行い、当該画像データに含まれるテキスト（文字）を抽出（テキスト化）する。

＜ステップＳ１６＞
クラウド３０の音声認識部３０２は、情報提示装置１０からネットワーク２を介して受信した音声データに対して音声認識を行い、当該音声データからテキスト（文字）を抽出（テキスト化）する。

＜ステップＳ１７＞
画像認識部３０１は、画像認識により抽出したテキストを、キーワード抽出部３０３へ送る。なお、画像認識部３０１とキーワード抽出部３０３とが、別のコンピュータ資源、または、別のクラウドサービスで実現される場合、画像認識部３０１は、一旦、抽出したテキストを情報提示装置１０に送信し、情報提示装置１０は、受信したテキストを、別のコンピュータ資源またはクラウドサービスで実現されるキーワード抽出部３０３へ送信するものとすればよい。

＜ステップＳ１８＞
音声認識部３０２は、音声認識により抽出したテキストを、キーワード抽出部３０３へ送る。なお、音声認識部３０２とキーワード抽出部３０３とが、別のコンピュータ資源、または、別のクラウドサービスで実現される場合、音声認識部３０２は、一旦、抽出したテキストを情報提示装置１０に送信し、情報提示装置１０は、受信したテキストを、別のコンピュータ資源またはクラウドサービスで実現されるキーワード抽出部３０３へ送信するものとすればよい。

＜ステップＳ１９＞
クラウド３０のキーワード抽出部３０３は、画像認識部３０１および音声認識部３０２により抽出（テキスト化）されたテキストから、キーワードを抽出する。テキストからキーワードを抽出する方法は、上述した通りである。

＜ステップＳ２０＞
キーワード抽出部３０３は、抽出したキーワードを、ネットワーク２を介して、情報提示装置１０へ送信する。

＜ステップＳ２１＞
情報提示装置１０の検索部１０３は、ネットワーク通信部１０６を介して、キーワードを受信すると、当該キーワードについて、複数の検索条件に基づくキーワード検索を指令する。

＜ステップＳ２２＞
検索部１０３は、複数の検索条件に基づいて、クラウド３０または文書管理システム４０等に対してキーワード検索を指令する検索指令を、キーワードおよび検索条件と共に送信する。図７の例では、検索部１０３は、複数の検索条件に基づいて、クラウド３０の外部検索部３０４に対してキーワード検索を指令する検索指令を、キーワードおよび複数の検索条件と共に、ネットワーク通信部１０６およびネットワーク２を介して、クラウド３０へ送信するものとする。

＜ステップＳ２３＞
クラウド３０の外部検索部３０４は、ネットワーク２を介して、検索指令、キーワードおよび複数の検索条件を受信すると、当該複数の検索条件それぞれに基づいて、キーワードの検索を行う。

＜ステップＳ２４＞
外部検索部３０４は、複数の検索条件に基づくキーワード検索の各検索結果を、ネットワーク２を介して、情報提示装置１０へ送信する。ここで、外部検索部３０４による検索結果には、検索されたキーワードに関連する情報の他、検索された情報の件数、または、キーワードと検索された情報との関連度等を示すスコア等を含む。

＜ステップＳ２５＞
情報提示装置１０の情報提示部１０４は、ネットワーク通信部１０６を介して、複数の検索結果を受信すると、当該各検索結果を表示部１１２に表示させる。

具体的には、例えば、情報提示部１０４は、各検索結果（および、その基となる各検索条件）に対応するアイコンを表示部１１２に表示させる。図８に示す例では、情報提示部１０４は、各検索結果（各検索条件）に対応するアイコンとして、アイコン６０１、６０２を表示部１１２に表示させている。さらに、情報提示部１０４は、当該アイコン６０１、６０２の近傍に、検索結果に含まれるスコアとしてそれぞれスコア６０１ａ、６０２ａを表示させている。このように、検索結果の重要度または関連度を示すスコアを一緒に表示させることによって、各検索条件に基づく検索結果の重要度および関連度を比較することができる。

＜ステップＳ２６＞
さらに、会議の参加者等であるユーザ５０は、入力部１１３（タッチパネルディスプレイ５０４）を介して、表示部１１２に表示された検索結果を示す複数のアイコンのうち、いずれかを選択操作（タッチ操作）を行う。

例えば、ユーザ５０が、会議内容と関連する情報を必要としていると感じた場合において、会議の流れから察するに、社内の文書管理システム４０からの情報が適切だと判断した場合は、検索対象となるソースが文書管理システム４０であるアイコンをタッチ操作すればよい。また、ユーザ５０が、ウェブの情報よりも社内の文書管理システム４０の情報の方が適切だと感じても、文書管理システム４０に対応するアイコンのスコアが低い場合、当該スコアよりも高いウェブに対応するアイコンをタッチ操作して、詳細な結果を見るものとしてもよい。

＜ステップＳ２７＞
入力部１１３は、ユーザ５０による選択操作の情報（選択情報）を、情報提示部１０４へ送る。

＜ステップＳ２８＞
情報提示部１０４は、各検索結果を示す複数のアイコンのうち、受け取った選択情報が示すアイコンに係る検索結果の詳細を表示させる。

具体的には、図９に示すように、ユーザ５０によってアイコン６０２がタッチ操作された場合、情報提示部１０４は、アイコン６０２に対応する検索結果に含まれるキーワードに関連する具体的な情報として、検索結果表示部６１２を表示させる。図９に示す例では、アイコン６０２に対応する検索結果に含まれる具体的な情報（検索結果表示部６１２）として、３つの情報（検索結果表示部６１２ａ～６１２ｃ）が表示されており、かつ、それぞれの情報の近傍には、対応するスコア（スコア６２２ａ～６２２ｃ）が表示されている。すなわち、図８に示すアイコン６０２の近傍に表示されたスコア６０２ａは、図９に示す検索結果表示部６１２ａ～６１２ｃに対するスコアのうち、最大のスコアであるスコア６２２ａと一致させている。

以上のように、ステップＳ１１～Ｓ２８の流れを一例とし、情報提示システム１の情報提示処理が実行される。

以上のように、本実施形態に係る情報提示システム１では、会議における電子黒板の画像または参加者の発話による音声からキーワードを抽出し、当該キーワードについて、予め設定された複数の検索条件に基づいて検索を行うものとしている。そして、当該複数の検索条件に基づく各検索結果を、弁別可能な形式（例えば、各検索結果に対応したアイコンの表示）で提示するものとしている。このように、複数の検索条件によって会議に係るキーワードを検索するので、期待される検索結果を得られる可能性が高まる。

また、弁別可能な形式で提示された各検索結果を選択可能とし、選択された検索結果について詳細な情報を表示させるものとしている。これによって、その時々の会議の状況に応じて最適または好適な検索結果の内容を確認することができ、会議の進捗の効率化が図れる。

また、弁別可能な形式で提示された各検索結果に付随して当該検索結果の重要度または関連度等を示す情報を表示させるものとしている。これによって、各検索条件に基づく検索結果の重要度および関連度を比較することができる。

また、画像取得部１０１および音声取得部１０２は、定期的または断続的に、それぞれ画像データおよび音声データを取得して、キーワードを抽出するものとしている。これによって、会議中に最適または好適な関連情報を得ることができる。

また、各検索結果を表示部１１２に表示させる際に、会議での話題に関する内容が書き込まれている表示領域以外の表示領域に当該各検索結果を表示させるものとしている。これによって、情報提示装置１０による会議内容の表示機能を阻害しないようにすることができる。

また、各検索結果を弁別可能な形式で表示部１１２に表示させる際に、当該検索結果に対応する検索条件の少なくとも一部も付随して表示させるものとしている。これによって、検索結果がどのような検索条件で得られたものかを把握することができる。

なお、上述の実施形態において、情報提示装置１０の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上述の実施形態に係る情報提示装置１０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、メモリカード、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（ＣｏｍｐａｃｔＤｉｓｋ－Ｒｅｃｏｒｄａｂｌｅ）、またはＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施形態に係る情報提示装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態に係る情報提示装置１０で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施形態の情報提示装置１０で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上述の記憶装置（例えば、記憶装置５０３）からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置（例えば、メモリ５０２）上にロードされて生成されるようになっている。

１情報提示システム
２ネットワーク
１０情報提示装置
２０ＰＣ
２５プロジェクタ
３０クラウド
４０文書管理システム
５０ユーザ
５０ａ、５０ｂ参加者
１０１画像取得部
１０２音声取得部
１０３検索部
１０４情報提示部
１０５記憶部
１０６ネットワーク通信部
１０７外部通信部
１０８音声出力制御部
１０９音声出力部
１１０音声入力部
１１１表示制御部
１１２表示部
１１３入力部
３０１画像認識部
３０２音声認識部
３０３キーワード抽出部
３０４外部検索部
５０１ＣＰＵ
５０２メモリ
５０３記憶装置
５０４タッチパネルディスプレイ
５０５マイク
５０６スピーカ
５０７外部機器Ｉ／Ｆ
５０８ネットワークＩ／Ｆ
５１１カメラ
５１２プロジェクタ
６０１アイコン
６０１ａスコア
６０２アイコン
６０２ａスコア
６１２、６１２ａ～６１２ｃ検索結果表示部
６２２ａ～６２２ｃスコア

"近未来オフィスにおける協創的コミュニケーション"、平成27年11月9日、［平成29年11月13日検索］、インターネット〈URL:https://www.unisys.co.jp/news/nr_151109_common_sense.html〉

Claims

会議における情報から抽出されるキーワードについて、複数の検索条件に基づいて、該各検索条件が示す検索対象からの検索を指令する検索部と、
前記検索部による検索により得られた前記各検索条件に対応するそれぞれの検索結果を、弁別可能な形式で表示部に提示する情報提示部と、を備え、
前記情報提示部は、前記各検索結果を、該各検索結果の関連度を示すスコアと共に、前記表示部に表示させ、
前記検索対象が複数の場合、それぞれの検索結果を前記スコアで比較することができる情報提示装置。
前記表示部に表示された画像の画像データを定期的または断続的に取得する画像取得部と、
前記会議において生じる音声の音声データを定期的または断続的に取得する音声取得部と、
をさらに備え、
前記検索部は、前記画像取得部により取得された前記画像データ、または、前記音声取得部により取得された前記音声データから抽出された前記キーワードについて、前記複数の検索条件に基づいて検索を指令する請求項１に記載の情報提示装置。
前記情報提示部に表示された前記各検索結果は、入力部に対する選択操作により選択可能であり、
前記情報提示部は、前記各検索結果のうち、選択された前記検索結果の詳細な情報を前記表示部に表示させる請求項１または２に記載の情報提示装置。
前記情報提示部は、前記複数の検索対象のそれぞれに前記スコアの最大の数値を表示させるとともに、
前記検索対象の検索結果を一覧表示するときは、検索結果毎に前記スコアを表示する請求項１～３に記載の情報提示装置。
前記情報提示部は、前記各検索結果を、該各検索結果に対応する前記検索条件の少なくとも一部と共に、前記表示部に表示させる請求項１～４のいずれか一項に記載の情報提示装置。
前記情報提示部は、前記各検索結果を、前記表示部において前記会議の内容が表示された表示領域以外の表示領域に表示させる請求項１～５のいずれか一項に記載の情報提示装置。
請求項１～６のいずれか一項に記載された情報提示装置と、
前記会議における情報からテキストを認識して抽出する認識部と、
前記認識部により認識された前記テキストから前記キーワードを抽出する抽出部と、
を有する情報提示システム。
前記検索部からの検索の指令に基づいて、前記キーワードについて、前記各検索条件で示される前記検索対象から検索を実行する外部検索部を、さらに有する請求項７に記載の情報提示システム。
会議における情報から抽出されるキーワードについて、複数の検索条件に基づいて、該各検索条件が示す検索対象からの検索を指令する検索ステップと、
検索により得られた前記各検索条件に対応するそれぞれの検索結果を、弁別可能な形式で表示部に提示する情報提示ステップと、
を有し、
前記情報提示ステップは、前記各検索結果を、該検索結果の関連度を示すスコアと共に、該表示部に表示させ、
前記検索対象が複数の場合、それぞれの検索結果を前記スコアで比較することができる情報提示方法。
コンピュータに、
会議における情報から抽出されるキーワードについて、複数の検索条件に基づいて、該各検索条件が示す検索対象からの検索を指令する検索ステップと、
検索により得られた前記各検索条件に対応するそれぞれの検索結果を、弁別可能な形式で表示部に提示する情報提示ステップと、
を実行させ、
前記情報提示ステップは、前記各検索結果を、該検索結果の関連度を示すスコアと共に、該表示部に表示させ、
前記検索対象が複数の場合、それぞれの検索結果を前記スコアで比較することができるためのプログラム。