JP6642316B2 - 情報処理システム、電子機器、情報処理装置、情報処理方法、電子機器処理方法、及びプログラム - Google Patents

Description

本発明は、情報処理システム、電子機器、情報処理装置、情報処理方法、電子機器処理方法、及びプログラムに関する。

従来より、会議中、文章等が印字されている資料に加筆又は修正等が行われることがある。よって、記録される事項は、加筆事項又は修正事項を含む結果物となるが、どのタイミングでこれらの動作が行われるものであるかを把握できる情報は、情報収集の対象外である。したがって、会議終了後、加筆事項又は修正事項のような追加事項が、何を対象とするものであるかを思い出すための情報が存在しないため、追加事項の意味を確認することができない恐れがある。

また、会議中、上記資料の他に追加される情報がある場合、撮像により保存されることがあるが、撮像されるタイミングは、会議の進行と整合がとれているわけではない。よって、撮像内容と、上記追加事項との関連性は低下する。例えば、ホワイトボードに追加される情報が撮像される場合、撮像されるタイミングは、ホワイトボードの最終結果であることが多い。よって、撮像されるタイミングは、会議の進行と整合がとれていない。

ところで、テレビ放送の視聴中、視聴者らの視線が集中するタイミングで、視聴者らを撮影するものが提案されている（例えば、特許文献１参照）。

特開２０１４−１２８００８号公報

しかし、特許文献１に記載のような従来技術は、視聴者らの視線が集中するタイミングで視聴者らを撮影しているだけである。よって、上記視聴者の視線が集中するタイミングと、会議中、ホワイトボードに情報が追加されるときに会議の複数の参加者の視線が集中しているタイミングと、が同等であるとし、従来技術を上記会議の場合に適用しても、ホワイトボードに追加される情報の意味が関連付けられるわけではない。つまり、資料の他に追加される情報の意味を確認することができない。

本発明は、従来の課題を解決するためになされたものであり、その目的とするところは、資料の他に追加される情報の意味を確認することができる情報処理システム、電子機器、情報処理装置、情報処理方法、電子機器処理方法、及びプログラムを提供することにある。

上記目的を達成するため、本発明に係る情報処理システムは、複数の電子機器と、前記複数の電子機器と各種情報を送受信する情報処理装置と、を備える、情報処理システムであって、前記複数の電子機器のそれぞれは、会議のときに使用される資料に加筆される１次追加情報と、前記１次追加情報が前記資料に加筆される時機に基づく音声情報とを関連付ける端末側関連処理部と、前記会議のときに前記資料の他に追加される２次追加情報がある場合、前記２次追加情報を撮像する撮像部と、前記撮像部の位置情報及び方位情報を検知する検知部と、を備え、前記情報処理装置は、前記複数の電子機器のそれぞれにおいて、前記検知部により検知される前記撮像部の位置情報及び方位情報を契機として、前記撮像部により撮像される前記２次追加情報を取得する取得部と、前記取得部により取得される前記２次追加情報のうち、関連付けの対象となる３次追加情報を選択する選択部と、前記端末側関連処理部により関連付けられる前記１次追加情報及び前記音声情報と、前記選択部により選択される前記３次追加情報とを関連付ける本体側関連処理部と、を備え、前記本体側関連処理部は、前記２次追加情報が撮像される撮像時刻に基づき、前記１次追加情報及び前記音声情報と、前記３次追加情報とを関連付ける、ものである。

この情報処理システムによれば、3次追加情報と、音声情報とが、２次追加情報が撮像される撮像時刻により関連付けられる。したがって、資料の他に追加される情報の意味を確認することができる。

また、本発明に係る情報処理システムにおいて、前記情報処理装置は、前記各種情報の送受信を制御する本体側通信制御部をさらに備え、前記本体側通信制御部は、前記位置情報と前記方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合が閾値以上であるか否かに基づき、前記２次追加情報を前記複数の電子機器のそれぞれに要求する、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記本体側通信制御部は、前記割合が閾値未満に転じ、且つ一定時間を経過する場合、前記２次追加情報を前記複数の電子機器のそれぞれに要求する、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記本体側通信制御部は、前記一定時間を経過する前に、前記割合が閾値以上に転じる場合、前記一定時間をリセットする、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記複数の電子機器のそれぞれは、前記各種情報の送受信を制御する端末側通信制御部をさらに備え、前記端末側通信制御部は、前記割合が閾値未満であり、且つ前記会議が終了している場合、前記２次追加情報を前記情報処理装置に送信する、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記情報処理装置は、前記選択部により選択される前記３次追加情報が含まれる選択画像情報を生成する画像制御部と、前記画像制御部により生成される前記選択画像情報を表示する表示部と、前記撮像時刻と、前記音声情報と、に基づき、音声を出力する音声出力部と、をさらに備え、前記選択部は、優先順位に基づき、前記２次追加情報のうち有効な前記３次追加情報を選択する、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記仮想視線、前記２次追加情報に含まれる前記撮像部の撮像対象の歪み、前記撮像部と前記仮想撮像対象との間の距離、又は前記撮像部と前記仮想撮像対象との間の障害物の有無、に基づき、前記優先順位を決定する決定部をさらに備える、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記決定部は、前記仮想視線と、前記仮想撮像対象とのなす角が直角に近づくにつれ、前記選択画像情報の候補として前記優先順位を上げる、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記複数の電子機器のそれぞれは、前記撮像部により撮像される撮像情報の類似度が一定値を超えるか否かを判定する画像判定部をさらに備え、前記端末側通信制御部は、前記画像判定部により前記撮像情報の類似度が一定値を超えると判定される場合、前記撮像情報を前記２次追加情報として前記情報処理装置に送信する、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記情報処理装置は、前記資料を形成するマスター情報を保持する本体側記憶部をさらに備え、前記端末側通信制御部は、前記撮像情報が、前記本体側記憶部に保持されるマスター情報から生成される前記資料又は人の顔に相当する場合、前記撮像情報を破棄させる、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記複数の電子機器のそれぞれは、禁止条件に基づき、前記２次追加情報又は前記音声情報を取得できないか否かを判定する禁止判定部をさらに備え、前記端末側通信制御部は、前記禁止判定部により前記２次追加情報又は前記音声情報を取得できないと判定される場合、前記本体側通信制御部による前記２次追加情報の要求を無視する、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記複数の電子機器のそれぞれは、前記割合を求める演算部と、閾値が記憶される端末側記憶部と、をさらに備え、前記端末側通信制御部は、前記本体側通信制御部から前記２次追加情報を要求される前に、前記演算部により前記割合が求められる場合、前記割合が前記閾値以上であるか否かに基づき、前記２次追加情報を前記情報処理装置に送信する、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記閾値は、前記複数の電子機器又は前記情報処理装置により調整自在である、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記画像制御部は、前記本体側記憶部に保持されるマスター情報と、前記音声情報と、前記１次追加情報と、前記選択画像情報とを互いに関連付けるインターフェース画像を制御する、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記画像制御部は、前記複数の電子機器のそれぞれが前記情報処理装置に前記２次追加情報をリアルタイム送信する場合、前記端末側通信制御部により前記２次追加情報が送信されるつど、前記インターフェース画像の他に、前記２次追加情報が表示されるリアルタイム画像を更新する、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記複数の電子機器のそれぞれは、検知周期ごとに、前記撮像部により撮像される紙媒体の媒体情報に基づき、前記媒体情報に含まれる会議内容と、前記情報処理装置に保持される前記マスター情報に含まれる会議内容との差分を抽出する抽出部をさらに備え、前記端末側関連処理部は、前記抽出部による前記差分の抽出に応じて前記差分が検出される時機に基づき、前記差分の差分情報と、前記音声情報とを関連付ける、ことが好ましい。

また、上記目的を達成するため、本発明に係る電子機器は、情報処理装置と各種情報を送受信する電子機器であって、会議のときに使用される資料に加筆される１次追加情報と、前記１次追加情報が前記資料に加筆される時機に基づく音声情報とを関連付ける端末側関連処理部と、前記会議のときに前記資料の他に追加される２次追加情報がある場合、前記２次追加情報を撮像する撮像部と、前記撮像部の位置情報及び方位情報を検知する検知部と、前記検知部により検知される前記位置情報及び前記方位情報を前記情報処理装置に送信しつつ、前記情報処理装置から前記撮像部により撮像される前記２次追加情報が要求される場合、前記２次追加情報及び前記２次追加情報が撮像される撮像時刻情報を前記情報処理装置に送信する端末側通信制御部と、を備える、ものである。

この電子機器によれば、情報処理システムの場合と同様に、資料の他に追加される情報の意味を確認することができる。

また、上記目的を達成するため、本発明に係る情報処理装置は、複数の電子機器と各種情報を送受信し、且つ前記複数の電子機器のそれぞれは、会議のときに使用される資料に加筆される１次追加情報と、前記１次追加情報が前記資料に加筆される時機に基づく音声情報とを関連付ける端末側関連処理部と、前記会議のときに前記資料の他に追加される２次追加情報がある場合、前記２次追加情報を撮像する撮像部と、前記撮像部の位置情報及び方位情報を検知する検知部と、を備える、情報処理装置であって、前記複数の電子機器のそれぞれにおいて、前記検知部により検知される前記撮像部の位置情報及び方位情報を契機として、前記撮像部により撮像される前記２次追加情報を取得する取得部と、前記取得部により取得される前記２次追加情報のうち、関連付けの対象となる３次追加情報を選択する選択部と、前記端末側関連処理部により関連付けられる前記１次追加情報及び前記音声情報と、前記選択部により選択される前記３次追加情報とを関連付ける本体側関連処理部と、を備え、前記本体側関連処理部は、前記２次追加情報が撮像される撮像時刻に基づき、前記１次追加情報及び前記音声情報と、前記３次追加情報とを関連付ける、ものである。

この情報処理装置によれば、情報処理システムの場合と同様に、資料の他に追加される情報の意味を確認することができる。

また、上記目的を達成するため、本発明に係る情報処理方法は、複数の電子機器と、前記複数の電子機器と各種情報を送受信する情報処理装置と、を備える、情報処理システムにより実行される情報処理方法であって、前記複数の電子機器のそれぞれにおいて、会議のときに使用される資料に加筆される１次追加情報と、前記１次追加情報が前記資料に加筆される時機に基づく音声情報とを関連付ける端末側関連処理ステップと、前記会議のときに前記資料の他に追加される２次追加情報がある場合、前記２次追加情報を撮像する撮像ステップと、前記撮像ステップによる撮像時の位置情報及び方位情報を検知する検知ステップと、前記情報処理装置において、前記複数の電子機器のそれぞれにおいて、前記検知ステップにより検知される前記撮像ステップによる撮像時の位置情報及び方位情報を契機として、前記撮像ステップにより撮像される前記２次追加情報を取得する取得ステップと、前記取得ステップにより取得される前記２次追加情報のうち、関連付けの対象となる３次追加情報を選択する選択ステップと、前記端末側関連処理ステップにより関連付けられる前記１次追加情報及び前記音声情報と、前記選択ステップにより選択される前記３次追加情報とを関連付ける本体側関連処理ステップと、を含み、前記本体側関連処理ステップは、前記２次追加情報が撮像される撮像時刻に基づき、前記１次追加情報及び前記音声情報と、前記３次追加情報とを関連付ける、ものである。

この情報処理方法によれば、情報処理システムの場合と同様に、資料の他に追加される情報の意味を確認することができる。

また、上記目的を達成するため、本発明に係る電子機器処理方法は、情報処理装置と各種情報を送受信する電子機器により実行される電子機器処理方法であって、会議のときに使用される資料に加筆される１次追加情報と、前記１次追加情報が前記資料に加筆される時機に基づく音声情報とを関連付ける端末側関連処理ステップと、前記会議のときに前記資料の他に追加される２次追加情報がある場合、前記２次追加情報を撮像する撮像ステップと、前記撮像ステップによる撮像時の位置情報及び方位情報を検知する検知ステップと、前記検知ステップにより検知される前記位置情報及び前記方位情報を前記情報処理装置に送信しつつ、前記情報処理装置から前記撮像ステップにより撮像される前記２次追加情報が要求される場合、前記２次追加情報及び前記２次追加情報が撮像される撮像時刻情報を前記情報処理装置に送信する端末側通信制御ステップと、を含む、ものである。

この電子機器処理方法によれば、情報処理システムの場合と同様に、資料の他に追加される情報の意味を確認することができる。

また、上記目的を達成するため、本発明に係るプログラムは、情報処理装置と各種情報を送受信する電子機器を制御するコンピュータを、会議のときに使用される資料に加筆される１次追加情報と、前記１次追加情報が前記資料に加筆される時機に基づく音声情報とを関連付ける端末側関連処理部と、前記会議のときに前記資料の他に追加される２次追加情報がある場合、前記２次追加情報を撮像する撮像部と、前記撮像部の位置情報及び方位情報を検知する検知部と、前記検知部により検知される前記位置情報及び前記方位情報を前記情報処理装置に送信しつつ、前記情報処理装置から前記撮像部により撮像される前記２次追加情報が要求される場合、前記２次追加情報及び前記２次追加情報が撮像される撮像時刻情報を前記情報処理装置に送信する端末側通信制御部と、として機能させるためのものである。

このプログラムによれば、情報処理システムの場合と同様に、資料の他に追加される情報の意味を確認することができる。

また、上記目的を達成するため、本発明に係る情報処理方法は、複数の電子機器と各種情報を送受信し、且つ前記複数の電子機器のそれぞれは、会議のときに使用される資料に加筆される１次追加情報と、前記１次追加情報が前記資料に加筆される時機に基づく音声情報とを関連付ける端末側関連処理部と、前記会議のときに前記資料の他に追加される２次追加情報がある場合、前記２次追加情報を撮像する撮像部と、前記撮像部の位置情報及び方位情報を検知する検知部と、を備える、情報処理装置により実行される情報処理方法であって、前記複数の電子機器のそれぞれにおいて、前記検知部により検知される前記撮像部の位置情報及び方位情報を契機として、前記撮像部により撮像される前記２次追加情報を取得する取得ステップと、前記取得ステップにより取得される前記２次追加情報のうち、関連付けの対象となる３次追加情報を選択する選択ステップと、前記端末側関連処理部により関連付けられる前記１次追加情報及び前記音声情報と、前記選択ステップにより選択される前記３次追加情報とを関連付ける本体側関連処理ステップと、を含み、前記本体側関連処理ステップは、前記２次追加情報が撮像される撮像時刻に基づき、前記１次追加情報及び前記音声情報と、前記３次追加情報とを関連付ける、ものである。

この情報処理方法によれば、情報処理システムの場合と同様に、資料の他に追加される情報の意味を確認することができる。

また、上記目的を達成するため、本発明に係るプログラムは、複数の電子機器と各種情報を送受信し、且つ前記複数の電子機器のそれぞれは、会議のときに使用される資料に加筆される１次追加情報と、前記１次追加情報が前記資料に加筆される時機に基づく音声情報とを関連付ける端末側関連処理部と、前記会議のときに前記資料の他に追加される２次追加情報がある場合、前記２次追加情報を撮像する撮像部と、前記撮像部の位置情報及び方位情報を検知する検知部と、を備える、情報処理装置を制御するコンピューターを、前記複数の電子機器のそれぞれにおいて、前記検知部により検知される前記撮像部の位置情報及び方位情報を契機として、前記撮像部により撮像される前記２次追加情報を取得する取得部と、前記取得部により取得される前記２次追加情報のうち、関連付けの対象となる３次追加情報を選択する選択部と、前記端末側関連処理部により関連付けられる前記１次追加情報及び前記音声情報と、前記選択部により選択される前記３次追加情報とを関連付ける本体側関連処理部と、として機能させるためのプログラムであって、前記本体側関連処理部は、前記２次追加情報が撮像される撮像時刻に基づき、前記１次追加情報及び前記音声情報と、前記３次追加情報とを関連付ける、ものである。

このプログラムによれば、情報処理システムの場合と同様に、資料の他に追加される情報の意味を確認することができる。

本発明によれば、情報処理システム、電子機器、情報処理装置、情報処理方法、電子機器処理方法、及びプログラムにおいて、資料の他に追加される情報の意味を確認することができる。

本発明の実施形態における情報処理システム１の全体構成の一例を示す図である。 本発明の実施形態における電子機器３の構成例を示す図である。 本発明の実施形態における情報処理装置５の構成例を示す図である。 本発明の実施形態における電子機器３の制御部３７の機能構成例を示す図である。 本発明の実施形態における情報処理装置５の制御部１５の機能構成例を示す図である。 本発明の実施形態における制御例を説明するフローチャートである。 本発明の実施形態における差分関連付け処理を説明するフローチャートである。 本発明の実施形態における差分が抽出されてから一時待機期間経過後にイベントと判定される一例を示す図である。 本発明の実施形態における差分が抽出される間隔が短期待機時間を超えないと判定される一例を示す図である。 本発明の実施形態における発話タイミングの一例を示す図である。 本発明の実施形態における２次元コードの出力例を示す図である。 本発明の実施形態におけるマスター情報の取得例を示す図である。 本発明の実施形態における会議の参加者Ｉ〜ＩＶの視線が中央を向いている一例を示す図である。 本発明の実施形態における会議の参加者Ｉ〜Ｖの視線がホワイトボードを向いている一例を示す図である。 本発明の実施形態における会議の参加者Ｉ〜ＩＶの視線が集中している時間帯の重なりにより視線が集中していると判定される一例を示す図である。 本発明の実施形態における位置情報と方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合の概念例を示す図である。 本発明の実施形態における要求処理を説明するフローチャートである。 本発明の実施形態における２次追加情報送信処理を説明するフローチャートである。 本発明の実施形態における３次追加情報選択処理を説明するフローチャートである。 本発明の実施形態における選択画像情報の候補となる配置関係の一例を示す図である。 本発明の実施形態における選択画像情報の候補となる配置関係の別の一例を示す図である。 本発明の実施形態におけるマスター情報と、差分情報と、音声情報とが関連付けられているＧＵＩの一例を示す図である。 本発明の実施形態におけるマスター情報と、差分情報と、音声情報と、差分情報の他にさらに追加される情報とが関連付けられているＧＵＩの一例を示す図である。 従来における会議終了後の差分情報の価値を概略的に説明する図である。

以下、図面に基づいて本発明の実施形態を説明するが、本発明は以下の実施形態に限られるものではない。

図１は、本発明の実施形態における情報処理システム１の全体構成の一例を示す図である。図１に示すように、情報処理システム１は、ネットワーク９を介して、複数の電子機器３と、情報処理装置５とが接続されている。複数の電子機器３と、情報処理装置５とは、ネットワーク９を介して、各種情報を送受信することができる。電子機器３は、詳細については後述するが、眼鏡１０に装着されることにより、眼鏡１０をスマートグラスとして利用させることができる。情報処理装置５は、詳細については後述するが、ＭＦＰとして利用されるだけでなく、ネットワーク９を介して、各種情報の１つとして、マスター情報を電子機器３と送受信することができる。

情報処理システム１は、詳細については後述するが、電子機器３と、情報処理装置５とを連携させることにより、会議中、会議資料として使用される紙媒体Ｐに手書き等により追加された追加事項の意味を会議中の発言内容から確認できる。

電子機器３は、表示部３１、撮像部３３、及び録音部３５等を備える。表示部３１は、眼鏡１０を介して利用者に各種画像を表示する。表示部３１は、ネットワーク９を介して取得する各種情報を画像で表示する。撮像部３３は、ＣＣＤ又はＣＭＯＳのようなイメージセンサー等から構成され、被写体を撮像し、静止画又は動画を取得する。録音部３５は、周囲の音を録音する。電子機器３は、例えば、紙媒体Ｐに形成されている画像を取得し、取得した画像に各種処理を実行してから各種処理の実行結果を情報処理装置５に送信することができる。なお、表示部３１は、プリズム等により眼鏡１０から離れた位置に画像を表示させてもよい。また、電子機器３は、不図示の操作ボタン等が設けられている。

情報処理装置５は、プリンター部１１、電源部１３、制御部１５、画像読取部１７、操作表示部２１、排紙トレイ２３、及び給紙カセット２５ａ〜２５ｃ等を備える。プリンター部１１、電源部１３、及び制御部１５は、情報処理装置５の筐体の内部に配置されている。

給紙カセット２５ａ〜２５ｃのそれぞれは、情報処理装置５の筐体から引き出し自在に配置されている。給紙カセット２５ａ、給紙カセット２５ｂ、及び給紙カセット２５ｃの何れかを特定しない場合、給紙カセット２５と称する。給紙カセット２５ａ、給紙カセット２５ｂ、及び給紙カセット２５ｃのそれぞれは、互いに異なるサイズの紙媒体Ｐが収容されてもよい。給紙カセット２５に収容された紙媒体Ｐは、印字時、１枚ずつ給紙され、プリンター部１１に送られる。なお、上記の説明では、給紙カセット２５が３台配置されている一例について説明したが、これらに限定されない。

排紙トレイ２３は、情報処理装置５の筐体のうちプリンター部１１が収納されている部位の上方にあり、且つ画像読取部１７が配置されている部位の下方に配置されている。排紙トレイ２３には、プリンター部１１により画像が形成された紙媒体Ｐが筐体の内部から排紙される。

操作表示部２１は、情報処理装置５の上部にあり、且つ給紙カセット２５が筐体から引き出し自在な手前側に配置されている。操作表示部２１は、利用者の操作を受け付けると共に、利用者から受け付けた操作結果及び情報処理装置５の内部状態の少なくとも一方を表示自在である。

プリンター部１１は、詳細については後述するが、電子写真プロセス技術を利用することにより、給紙カセット２５又は不図示の手差しトレイにある紙媒体Ｐに画像を形成する。プリンター部１１は、タンデム方式で４色又は特色を含む５色の画像を合成し、紙媒体Ｐにカラー画像を形成自在である。

画像読取部１７は、情報処理装置５の上部に配置されている。画像読取部１７は、自動原稿送り装置１７ａを備える。画像読取部１７は、自動原稿送り装置１７ａにより原稿トレイにセットされた原稿を順次取り込ませ、不図示のイメージセンサーによりその原稿の画像をアナログの画像データとして読み取らせる。

図２は、本発明の実施形態における電子機器３の構成例を示す図である。図２に示すように、電子機器３は、上記で説明した表示部３１、撮像部３３、及び録音部３５に加え、文字認識部３２、検知部３４、端末側記憶部３６、制御部３７、音声認識部３８、端末側通信部３９等を備える。端末側通信部３９は、各種信号を送受信する。

文字認識部３２は、文字を認識する。文字認識部３２は、例えば、光学文字認識機能のような文字認識機能を作動させることにより、文字を認識することができる。文字認識部３２は、撮像部３３により撮像される紙媒体Ｐの撮像情報に基づき、文字領域を特定する。文字認識部３２は、特定された文字領域から文字を認識する。

検知部３４は、ＧＰＳ機能により、電子機器３、特に、撮像部３３の位置情報及び方位情報を検知する。端末側記憶部３６は、フラッシュメモリ等のような不揮発性メモリから構成される。端末側記憶部３６は、撮像部３３により撮像を行うためのプログラム及び録音部３５により録音を行うためのプログラム等が格納されている。

端末側記憶部３６は、上記プログラムに加え、各種データを格納する。例えば、端末側記憶部３６は、撮像部３３により撮像される紙媒体Ｐの撮像情報の撮像データを保存する。端末側記憶部３６は、録音部３５により録音される周囲の音の音声情報の録音データを保存する。端末側記憶部３６は、端末側通信部３９により取得される各種画像データ又はドキュメントデータを格納する。

音声認識部３８は、音声を認識する。音声認識部３８は、例えば、音声認識機能を作動させることにより、音声を認識することができる。音声認識部３８は、例えば、圧電素子が出力する電気信号を解析することにより音声を認識する。

制御部３７は、具体的には、不図示のＣＰＵ、ＲＯＭ、ＲＡＭ、及びＩ／Ｏインターフェースを主体として構成される。制御部３７は、ＣＰＵがＲＯＭ又は端末側記憶部３６から処理内容に応じた各種プログラムを読み出し、ＲＡＭに展開し、展開した各種プログラムと協働することにより、電子機器３の各部の動作を制御する。

図３は、本発明の実施形態における情報処理装置５の構成例を示す図である。図３に示すように、情報処理装置５は、上記で説明したプリンター部１１、制御部１５、画像読取部１７、及び操作表示部２１に加え、本体側記憶部２７、本体側通信部１９、及び音声出力部２８等を備える。

プリンター部１１は、画像処理部１１ａ及び画像形成部１１ｂを備える。画像処理部１１ａは、ＣＰＵ等の演算装置又はＡＳＩＣ等の集積回路を備え、各種処理を実行することができる。

例えば、画像処理部１１ａは、画像読取部１７の不図示のイメージセンサーにより読み取られたアナログの画像データに各種処理を実行する。具体的には、アナログ信号処理、Ａ／Ｄ変換、シェーディング補正、画像圧縮処理、及び変倍処理等が実行されることにより、アナログの画像データがＲＧＢコードからなるデジタルの画像データに変換される。画像処理部１１ａは、さらに、ＲＧＢコードからなるデジタルの画像データを、Ｙ（イエロー）、Ｍ（マゼンタ）、Ｃ（シアン）、及びＫ（ブラック）色の画像データに変換し、変換結果を画像形成部１１ｂに転送する。

画像形成部１１ｂは、画像処理部１１ａから転送された画像データに基づき、色画像を形成する。画像形成部１１ｂは、色ごとの画像形成ユニットと、中間転写部と、定着部とを備える。画像形成ユニットは、帯電部により感光ドラムの周囲が帯電され、書き込みユニットにより感光ドラムに光りが照射されて静電潜像が形成され、現像部により感光ドラムの静電潜像が可視化されてトナー像が形成される。中間転写部は、感光ドラムのトナー像が転写され、転写されたトナー像が順次色ごとに用紙に転写される。定着部は、中間転写部から転写されたトナー像を定着させる。

操作表示部２１は、利用者の操作を受け付ける操作部２１ｂと、利用者に操作の提案を行う表示部２１ａとを備える。表示部２１ａはタッチパネルが積層され、タッチパネルディスプレイとして機能する。音声出力部２８は、撮像時刻と、音声情報と、に基づき、音声を出力する。音声出力部２８は、表示部２１ａの表示内容に連動して音声を出力することができる。なお、操作表示部２１は、利用者に直感的な視覚情報を与えるために複数色のＬＥＤを備えてもよい。

本体側通信部１９は、ネットワーク９を介して、情報処理装置５に送信される印刷ジョブ等のような各種ジョブを受け付ける。本体側通信部１９は、制御部１５で行う以外の機能を実現させるとき、外部機器と通信する。本体側記憶部２７は、ＨＤＤ等のような不揮発性記憶装置からなる。本体側記憶部２７は、各種制御プログラムに加え、各種画像データ又はドキュメントデータ等を保持する。情報処理装置５が保持するドキュメントデータは、マスター情報として利用される。

ドキュメントデータが会議資料であれば、マスター情報は、会議内容を含む情報である。マスター情報は、プリンター部１１により紙媒体Ｐに印字画像を形成させるときに利用される。マスター情報は、例えば、文字情報が含まれる。文字情報は、文字、その文字の書体、及びその文字を印字させる位置等が含まれる。よって、電子機器３は、情報処理装置５からマスター情報を取得すれば、会議資料として使用される紙媒体Ｐに形成される印字画像の印字内容を取得することができる。

なお、電子機器３が情報処理装置５から取得するマスター情報は、マスター情報のコピーであればよく、情報処理装置５にあるマスター情報を電子機器３に移動させる必要はない。また、電子機器３の撮像部３３により撮像される紙媒体Ｐの撮像情報と、マスター情報に含まれる会議内容とが比較される場合、情報処理装置５がマスター情報を保持していることが好ましい。

制御部１５は、具体的には、不図示のＣＰＵ、ＲＯＭ、ＲＡＭ、及びＩ／Ｏインターフェースを主体として構成される。制御部１５は、ＣＰＵがＲＯＭ又は本体側記憶部２７から処理内容に応じた各種プログラムを読み出し、ＲＡＭに展開し、展開した各種プログラムと協働することにより、情報処理装置５の各部の動作を制御する。

図４は、本発明の実施形態における電子機器３の制御部３７の機能構成例を示す図である。制御部３７は、電子機器３の動作を制御するものであり、不図示のＣＰＵ、ＲＯＭ、ＲＡＭ、及びＩ／Ｏインターフェースを主体に構成されたマイクロコンピュータにより実現し得るものである。制御部３７が所定の制御プログラムを実行することにより、図４に示すように、イベント管理部３７１、位置判定部３７２、発話有無判定部３７３、書き込み開始判定部３７４、抽出部３７５、端末側関連処理部３７６、端末側通信制御部３７７、演算部３７８、禁止判定部３７９、音声解析部３８１、音声判定部３８２、画像解析部３３１、及び画像判定部３３２等のような各種機能が実現される。

図５は、本発明の実施形態における情報処理装置５の制御部１５の機能構成例を示す図である。制御部１５は、情報処理装置５の動作を制御するものであり、不図示のＣＰＵ、ＲＯＭ、ＲＡＭ、及びＩ／Ｏインターフェースを主体に構成されたマイクロコンピュータにより実現し得るものである。制御部１５が所定の制御プログラムを実行することにより、図５に示すように、識別処理部１５１、情報判定部１５２、本体側関連処理部１５３、画像制御部１５４、取得部１５５、選択部１５６、決定部１５７、及び本体側通信制御部１５８等のような各種機能が実現される。

次に、上記の各種機能等について具体的に説明する。抽出部３７５は、検知周期ごとに、撮像部３３により撮像される紙媒体Ｐの媒体情報に基づき、媒体情報に含まれる会議内容と、情報処理装置５に保持されるマスター情報に含まれる会議内容との差分を抽出する。録音部３５は、マスター情報に含まれる会議内容に関する会議が行われている間、周囲の音声を録音する。

端末側関連処理部３７６は、抽出部３７５による差分の抽出に応じて差分が検出される時機に基づき、その差分の差分情報と、録音部３５により録音される音声の音声情報とを関連付ける。

紙媒体Ｐは、会議のときに使用される資料であり、適宜加筆されると想定する。つまり、端末側関連処理部３７６は、会議のときに使用される資料に加筆される１次追加情報と、１次追加情報が資料に加筆される時機に基づく音声情報とを関連付ける。さらに、撮像部３３は、会議のときに資料の他に追加される２次追加情報がある場合、２次追加情報を撮像する。

取得部１５５は、複数の電子機器３のそれぞれにおいて、検知部３４により検知される撮像部３３の位置情報及び方位情報を契機として、撮像部３３により撮像される２次追加情報を取得する。選択部１５６は、取得部１５５により取得される２次追加情報のうち、関連付けの対象となる３次追加情報を選択する。本体側関連処理部１５３は、端末側関連処理部３７６により関連付けられる１次追加情報及び音声情報と、選択部１５６により選択される３次追加情報とを関連付ける。本体側関連処理部１５３は、２次追加情報が撮像される撮像時刻に基づき、１次追加情報及び音声情報と、３次追加情報とを関連付ける。

なお、本体側関連処理部１５３は、端末側関連処理部３７６により関連付けられる差分情報及び音声情報を含む組情報と、マスター情報とを関連付ける。マスター情報は、資料を形成する情報である。本体側記憶部２７は、マスター情報と、マスター情報の属性情報とを記憶する。マスター情報の属性情報は、マスター情報の保存先情報、マスター情報に含まれる会議内容を特定する特定情報、マスター情報に含まれる会議内容に関する会議の主催者に関する主催者情報、又は紙媒体Ｐに印字画像を形成させる指令をする出力者に関する出力者情報が含まれる。

識別処理部１５１は、本体側記憶部２７に記憶されているマスター情報の属性情報から識別画像情報を生成する。識別画像情報は、マスター情報に含まれる会議内容に関連する情報であり、且つ上記のマスター情報の保存先情報が含まれる。よって、識別画像情報によりマスター情報の保存先情報が特定されれば、電子機器３は、マスター情報を取得することができる。なお、マスター情報の保存先情報は、例えば、情報処理装置５のＩＰアドレスと、マスター情報のパスとが含まれ、これらが本体側記憶部２７に記憶される。

画像処理部１１ａは、マスター情報に含まれる会議内容から生成される会議資料画像情報と、識別処理部１５１により生成される識別画像情報とに基づき、紙媒体Ｐに印字画像を形成させる。画像処理部１１ａは、印字画像として、会議資料画像情報に基づく会議資料画像と、識別画像情報に基づく識別画像Ｘとを形成させる。

識別画像情報は、マスター情報の保存先情報に加え、紙媒体Ｐに印字画像を形成した日付情報と、電子機器３を操作中の利用者の個人ＩＤ等の情報とを含むことが好ましい。電子機器３を操作中の利用者が、上記の出力者と同一人物であれば、出力者情報を識別画像情報に含めることが好ましい。識別画像Ｘは、例えば、２次元コードにより表現されるものであり、撮像部３３により撮像して取得される。よって、撮像部３３は、２次元コード等を読み取るのに十分な解像度があることが好ましい。２次元コードは、例えば、ＱＲコード（登録商標）である。

画像制御部１５４は、インターフェース画像の出力を制御する。インターフェース画像は、マスター情報、マスター情報の属性情報、差分情報、音声情報の少なくとも何れか一方から何れか他方を自在に出力する。インターフェース画像は、差分情報に基づき、音声情報を出力自在とする。

画像制御部１５４は、選択部１５６により選択される３次追加情報が含まれる選択画像情報を生成する。表示部２１ａは、画像制御部１５４により生成される選択画像情報を含むインターフェース画像を表示する。音声出力部２８は、２次追加情報が撮像される撮像時刻と、音声情報と、に基づき、音声を出力する。選択部１５６は、優先順位に基づき、２次追加情報のうち有効な３次追加情報を選択する。

優先順位は、仮想撮像方向と、仮想撮像対象との位置関係から生成される仮想視線、２次追加情報に含まれる撮像部３３の撮像対象の歪み、撮像部３３と仮想撮像対象との間の距離、又は撮像部３３と仮想撮像対象との間の障害物の有無、に基づき、決定部１５７により決定される。

インターフェース画像は、本体側記憶部２７に保持されるマスター情報と、音声情報と、１次追加情報と、選択画像情報とを互いに関連付ける。

画像制御部１５４は、インターフェース画像の他に、リアルタイム画像の出力を制御する。リアルタイム画像は、複数の電子機器３のそれぞれが情報処理装置５に２次追加情報をリアルタイム送信する場合、端末側通信制御部３７７により２次追加情報が送信されるつど、２次追加情報が更新表示される。

本体側通信制御部１５８は、各種情報の送受信を制御する。本体側通信制御部１５８は、撮像部３３の位置情報と方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合が閾値以上であるか否かに基づき、２次追加情報を複数の電子機器３のそれぞれに要求する。決定部１５７は、仮想視線と、仮想撮像対象とのなす角が直角に近づくにつれ、選択画像情報の候補として優先順位を上げる。閾値は、複数の電子機器３又は情報処理装置５により調整自在である。

本体側通信制御部１５８は、撮像部３３の位置情報と方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合が増加から減少に転じる場合、２次追加情報を複数の電子機器３のそれぞれに要求する。また、本体側通信制御部１５８は、撮像部３３の位置情報と方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合が増加から減少に転じ、且つ一定時間を経過する場合、２次追加情報を複数の電子機器３のそれぞれに要求する。

なお、本体側通信制御部１５８は、撮像部３３の位置情報と方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合が増加から減少に転じてから一定時間を経過する前に、その割合が増加に転じる場合、一定時間をリセットする。

端末側通信制御部３７７は、各種情報の送受信を制御する。端末側通信制御部３７７は、会議が終了している場合、２次追加情報を情報処理装置５に送信する。端末側通信制御部３７７は、禁止判定部３７９により２次追加情報又は音声情報を取得できないと判定される場合、本体側通信制御部１５８による２次追加情報の要求を無視する。

具体的には、位置判定部３７２は、検知部３４の検知結果に基づき、撮像部３３の位置及び方位を判定する。位置判定部３７２は、例えば、禁止条件として予め設定された撮影禁止領域に撮像部３３が存在していたか否かを判定することができる。音声解析部３８１は、録音部３５により録音される音声情報を解析する。音声判定部３８２は、音声解析部３８１の音声解析結果に基づき、各種条件を判定する。音声判定部３８２は、例えば、禁止条件として予め設定された特定のキーワードが音声情報に含まれているか否かを判定することができる。禁止判定部３７９は、位置判定部３７２及び音声判定部３８２のそれぞれの判定結果に基づき、禁止条件に該当しているか否かを判定することができる。つまり、禁止判定部３７９は、禁止条件に基づき、２次追加情報又は音声情報を取得できないか否かを判定する。禁止判定部３７９により２次追加情報又は音声情報が取得できないと判定される場合、２次追加情報の要求が無視されるため、禁止条件に該当する撮像情報及び録音情報は、情報処理装置５に送信されない。この結果、禁止条件に該当する撮像情報及び録音情報は、削り落とされる。

演算部３７８は、撮像部３３の位置情報と方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合を求める。端末側記憶部３６は、閾値が記憶される。端末側通信制御部３７７は、本体側通信制御部１５８から２次追加情報を要求される前に、演算部３７８により割合が求められる場合、割合が閾値以上であるか否かに基づき、２次追加情報を情報処理装置５に送信する。

音声解析部３８１は、録音部３５により録音される音声情報から形成される音声を解析することができる。画像解析部３３１は、撮像部３３により撮像される撮像情報から形成される画像を解析することができる。

画像判定部３３２は、画像解析部３３１による解析の結果、撮像部３３により撮像される撮像情報の類似度が一定値を超えるか否かを判定する。端末側通信制御部３７７は、禁止判定部３７９により撮像情報の類似度が一定値を超えると判定される場合、撮像情報を２次追加情報として情報処理装置５に送信する。端末側通信制御部３７７は、画像解析部３３１による解析の結果、撮像情報が、マスター情報から生成される資料又は人の顔に相当する場合、撮像情報を破棄させる。

端末側通信制御部３７７は、検知部３４により検知される位置情報及び方位情報を情報処理装置５に送信しつつ、情報処理装置５から撮像部３３により撮像される２次追加情報が要求される場合、２次追加情報及び２次追加情報が撮像される撮像時刻情報を情報処理装置５に送信する。

図６は、本発明の実施形態における制御例を説明するフローチャートである。図６においては、情報処理装置５が出力した紙媒体Ｐに追加される追加事項を、電子機器３が差分として抽出すると共に、電子機器３は、差分と、差分を抽出したときの録音データとを関連付けて情報処理装置５に送信する。電子機器３は、撮像部３３の位置情報及び方位情報を情報処理装置５に送信する。情報処理装置５は、撮像部３３の位置情報及び方位情報に基づき、２次追加情報を電子機器３に要求する。情報処理装置５は、優先順位に基づき、複数の２次追加情報の中から３次追加情報を選択し、差分情報、音声情報、マスター情報、３次追加情報を相互に参照可能なインターフェース画像を表示する。

なお、ステップＳ１１の処理〜ステップＳ１６の処理が、情報処理装置５が実行する処理となる。また、ステップＳ２１の処理〜ステップＳ２９の処理が、電子機器３が実行する処理となる。

ステップＳ１１においては、マスター情報が取得される。マスター情報は、本体側記憶部２７に記憶されているものであってもよく、ネットワーク９を介して新たに取得されるものであってもよい。ステップＳ１２において、識別画像Ｘが添加されて紙媒体Ｐに出力される。また、ステップＳ１２の処理の後に、ステップＳ２３の処理が実行可能となる。

ステップＳ２１において、撮像部３３の位置情報及び方位情報を情報処理装置５に送信する処理が開始される。撮像部３３の位置情報及び方位情報は、予め設定されている送信周期で送信される。送信周期は、システム管理者又はユーザーにより適宜変更可能である。ステップＳ２２において、２次追加情報がリアルタイム送信されるか否かが判定される。２次追加情報がリアルタイム送信されると判定される場合、ステップＳ１６に進む。一方、２次追加情報がリアルタイム送信されないと判定される場合、ステップＳ２３に進む。

ステップＳ２３において、差分関連付け処理が実行される。処理の詳細については後述する。ステップＳ２４において、差分情報及び音声情報を含む組情報と、組情報とマスター情報とを関連付けさせる指令と、が送信される。ステップＳ２４の処理により、電子機器３から情報処理装置５に組情報及び関連付け指令が送信された後、ステップＳ１３の処理が実行可能となる。

ステップＳ１３において、差分情報及び音声情報を含む組情報と、マスター情報と、が関連付けられる。ステップＳ１４において、要求処理が実行される。処理の詳細については後述する。ステップＳ１５において、３次追加情報選択処理が実行される。処理の詳細については後述する。ステップＳ１６において、ＧＵＩ化される。つまり、ステップＳ１６において、上記のインターフェース画像が出力される。

ステップＳ２５において、要求処理があるか否かが判定される。要求処理があると判定される場合、ステップＳ２８に進む。ステップＳ２８において、２次追加情報送信処理が実行される。処理の詳細については後述する。

一方、要求処理がないと判定される場合、ステップＳ２６に進む。ステップＳ２６において、撮像部３３の位置情報と方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合が演算済であるか否かが判定される。撮像部３３の位置情報と方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合が演算済であると判定される場合、ステップＳ２７に進む。一方、撮像部３３の位置情報と方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合が演算済でないと判定される場合、ステップＳ２５に戻る。

ステップＳ２７において、割合が閾値以上であるか否かが判定される。割合が閾値以上であると判定される場合、ステップＳ２９に進む。一方、割合が閾値以上でないと判定される場合、ステップＳ２５に戻る。

図７は、本発明の実施形態における差分関連付け処理を説明するフローチャートである。図８は、本発明の実施形態における差分が抽出されてから一時待機期間経過後にイベントと判定される一例を示す図である。図９は、本発明の実施形態における差分が抽出される間隔が短期待機時間を超えないと判定される一例を示す図である。図１０は、本発明の実施形態における発話タイミングの一例を示す図である。

図７においては、検知周期ごとに差分を抽出し、抽出した差分と音声と関連付ける処理と、音声及び文字を認識したときに音声と文字とを関連付ける処理との何れか一方が実行される。

ステップＳ３１において、識別画像情報が取得される。識別画像情報は、撮像部３３が識別画像Ｘを撮像して生成される撮像情報に含まれる。つまり、撮像情報の中から識別画像Ｘに対応する識別画像情報が抽出される。

ステップＳ３２において、識別画像情報に基づき、マスター情報が取得される。識別画像情報は、マスター情報の属性情報として、マスター情報の保存先情報が含まれる。よって、識別画像情報からマスター情報の保存先情報が抽出されれば、電子機器３は、ネットワーク９を介して、マスター情報を取得することができる。ネットワーク９を介して取得されたマスター情報は、会議の進行に伴い差分が生じているか否かを判定する基準データとなる。

ステップＳ３３において、録音が開始される。録音部３５により録音が開始されるが、手動で開始されるものであってもよく、タイマー等により会議の始まる時間に自動的に開始されるものであってもよい。

ステップＳ３４において、音声認識機能及び文字認識機能が作動するか否かが判定される。音声認識機能及び文字認識機能が作動すると判定される場合、ステップＳ４２に進む。一方、音声認識機能及び文字認識機能が作動しないと判定される場合、ステップＳ３５に進む。

ステップＳ３５において、検知周期であるか否かが判定される。検知周期であると判定される場合、ステップＳ３６に進む。検知周期でないと判定される場合、ステップＳ３５のままである。

ステップＳ３６において、差分があるか否かが判定される。差分があると判定される場合、ステップＳ３７に進む。一方、差分がないと判定される場合、ステップＳ４４に進む。

ステップＳ３７において、差分情報が取得される。差分情報は、撮像情報に基づき、抽出される情報である。よって、差分情報は、差分が生じている箇所及び差分を生じさせている画像が抽出されるのが好ましい。差分を生じさせている画像が抽出されれば、その画像を解析することにより、追加事項を特定することができる。

ステップＳ３８において、差分情報と音声情報とが関連付けられる。差分が生じているときに対応する録音データが音声情報となる。関連付けについてはイベント単位で実行される。具体的には、図８に示すように、イベント管理部３７１は、抽出部３７５により抽出される差分をイベントという単位で管理する。イベントは、会議の進行に伴う撮像情報の変化を示す指標であって、且つ差分が抽出されるときに開始され、一時待機期間にわたり、新たに差分が抽出されないときに終了する。よって、抽出部３７５は、音声情報を、イベント管理部３７１により管理されるイベントに対応して抽出する。端末側関連処理部３７６は、イベントごとに、差分情報と、音声情報とを関連付ける。

より具体的には、端末側関連処理部３７６は、イベントの開始前の初期時間と、イベントの終期時間とを、音声情報の切り出し期間に含ませる。イベントの開始前の初期時間は、差分の抽出により紙媒体Ｐとしての出力物に変更がなされたと認識され、且つその変更が認められたときから一定時間前である。一方、イベントの終期時間は、出力物に変更がなされなくなってから一定時間、すなわち、一時待機時間にわたり、出力物に変更がなされなくなった後から一定時間後である。つまり、一定時間前から一定時間後までを、音声情報の切り出し期間に含ませる。

なお、マスター情報と撮像情報との差分画像データ、マスター情報、及び日時情報は関連付けて保存されることが好ましい。

ステップＳ３９において、短期待機時間を超えるか否かが判定される。短期待機時間は、別の会議であるか否かの判定に使用される時間閾値である。短期待機時間を超えれば、別の会議とみなす。具体的には、短期待機時間を超えると判定される場合、ステップＳ４０に進む。一方、短期待機時間を超えないと判定される場合、ステップＳ４５に進む。

つまり、図９に示すように、抽出部３７５は、差分を抽出する差分抽出間隔が、短期待機時間を超えない場合、同一のマスター情報に基づき、差分を抽出する。

ステップＳ４０において、フラグが０に設定される。ステップＳ４１において、関連付けられた差分情報及び音声情報が情報処理装置５に送信される。

ステップＳ４２において、フラグが１に設定される。ステップＳ４３において、紙媒体Ｐへの書き込み内容と音声情報とが関連付けられ、ステップＳ３９に処理が移行する。具体的には、図１０に示すように、端末側関連処理部３７６は、イベントが発生してから無音状態が継続する場合、音声認識部３８による音声の認識を契機として音声情報を抽出する。つまり、端末側関連処理部３７６は、文字認識部３２による紙媒体Ｐへの文字の書き込み開始と、音声認識部３８による音声の認識とを検知する場合、検知終期に基づき抽出される差分が抽出される時機よりも優先的に、紙媒体Ｐに書き込まれる文字と、音声情報とを関連付ける。

ステップＳ４４において、位置が設定移動範囲を超えるか否かが判定される。位置が設定移動範囲を超えると判定される場合、ステップＳ４０に処理が移行する。一方、位置が設定移動範囲を超えないと判定される場合、ステップＳ３５に処理が移行する。具体的には、抽出部３７５は、位置判定部３７２の判定結果が、電子機器３の位置の設定移動範囲を超えない場合、同一のマスター情報に基づき、差分を抽出する。

ステップＳ４５において、フラグが１であるか否かが判定される。フラグが１であると判定される場合、ステップＳ４３に処理が移行する。一方、フラグが１でないと判定される場合、ステップＳ３５に処理が移行する。

要するに、ステップＳ４４の処理の位置の設定移動範囲内という第１の条件、又はステップＳ３９の差分抽出間隔の短期待機時間内という第２の条件であれば、同一のマスター情報に基づき、差分が抽出される。つまり、１つのマスター情報及びそれに対応する日時情報は、上記第１の条件又は第２の条件を満たす限り、複数の差分画像データと音声データとが関連付いて保存されることが望ましい。

また、上記第１の条件又は第２の条件を満たす限り、電子機器３は、識別画像Ｘを常に捕らえている必要はない。また、複数の会議資料にそれぞれ異なる識別画像Ｘが添加され、且つ電子機器３がそれぞれの識別画像Ｘを捕らえる場合、設定移動範囲及び短期待機時間は、捕らえている会議資料の数に応じて動的に変更されればよい。

例えば、電子機器３が非連続的に識別画像Ｘを捕らえ、最後に差分の抽出を検知してから新規に差分の抽出を検知していない状態から、次の検知周期で差分の抽出を検知した場合、通常よりも多くの時間だけ遡って録音データを切り出して保存する。つまり、図８に示す初期時間を延長させて、録音データの切り出し開始時間をより過去となる延長用初期時間に設定する。

具体的には、端末側関連処理部３７６は、差分抽出間隔が短期待機時間を超えず、且つ差分を抽出する場合、又は電子機器３の位置が設定移動範囲を超えず、且つ差分を抽出する場合、イベントの開始前の初期時間を延長用初期時間に設定する。なお、延長用初期時間は会議の状況及び会議資料の量等に応じて適宜変更自在である。

また、検知周期、一時待機期間、又は音声情報の切り出し期間は、変更自在である。短期待機時間又は設定移動範囲は、変更自在である。つまり、差分抽出間隔が、短期待機時間を超えない場合、又は電子機器３の位置が設定移動範囲を超えない場合、変更許可範囲内で、印字画像が形成される紙媒体Ｐの枚数に応じて動的に変更自在である。変更許可範囲は、非連続的に識別画像Ｘを捕らえるために必要な時間又は移動範囲に応じて設定されればよい。

なお、会議が行われている間、差分が消滅する場合、差分情報と、音声情報との関連付けは解消される。例えば、会議中、一旦は追加した追加事項が削除される場合が該当する。

このようにして、マスター情報の変更点に相当する差分画像データと、その変更点が生じた周辺時間に録音された録音データと、そのときの日時データとは、上記第１の条件又は第２の条件を満たさなくなった場合、ネットワーク９を介して、マスター情報の保存先となっている情報処理装置５に送信される。

なお、電子機器３は、ネットワーク９と接続状態にない場合、一時的に組情報を端末側記憶部３６に保持し、ネットワーク９と接続状態になり次第、組情報等を送信する。具体的には、電子機器３において、端末側通信制御部３７７は、マスター情報の保存先情報に基づき、抽出部３７５により差分を抽出させるときに用いるマスター情報を取得させる。一方、情報処理装置５において、情報判定部１５２は、組情報が送信されているか否かを判定する。

より具体的には、端末側通信制御部３７７は、情報処理装置５との通信を確立していない場合、組情報を保持させつつ、情報処理装置５の通信を確立してから組情報を送信させる。一方、本体側関連処理部１５３は、情報判定部１５２により組情報が送信されていると判定される場合、組情報と、マスター情報とを関連付けさせる。

次に、差分情報と、音声情報と、出力者とが関連付けされる処理を図１１〜図１３を用いて概念的に説明する。図１１は、本発明の実施形態における２次元コードの出力例を示す図である。図１１に示すように、マスター情報の属性情報から形成される識別画像Ｘと、本体側記憶部２７に記憶されるマスター情報とに基づき、識別画像Ｘが添加された紙媒体Ｐとして出力物が出力される。

図１２は、本発明の実施形態におけるマスター情報の取得例を示す図である。図１２に示すように、電子機器３は、識別画像Ｘに含まれる属性情報に基づき、情報処理装置５の本体側記憶部２７が保持するマスター情報を端末側記憶部３６に記憶する。

次に、視線の集中について図１３〜１６を用いて説明する。図１３は、本発明の実施形態における会議の参加者Ｉ〜ＩＶの視線が中央を向いている一例を示す図である。図１３に示すように、会議の参加者Ｉ〜ＩＶはそれぞれ電子機器３が装着された眼鏡１０をかけている。つまり、会議の参加者Ｉ〜ＩＶはそれぞれスマートグラスをかけている。図１３の一例においては、会議の参加者Ｉ〜ＩＶのそれぞれは、視線がテーブルの中央に集中している。つまり、図１３においては、会議の参加者Ｉ〜ＩＶの全員が同じ撮像対象に向いている場合を想定している。

図１４は、本発明の実施形態における会議の参加者Ｉ〜Ｖの視線がホワイトボードを向いている一例を示す図である。図１４においても図１３と同様に、会議の参加者Ｉ〜Ｖはそれぞれスマートグラスをかけている。図１４の一例においては、複数の会議の参加者Ｉ〜Ｖのうち、一部の会議の参加者Ｖは、視線が窓に向いている。一方、複数の会議の参加者Ｉ〜Ｖのうち、他の一部の会議の参加者Ｉ〜ＩＶは、視線がホワイトボードに集中している。つまり、図１４においては、会議の参加者Ｉ〜Ｖのうち、一部が同じ撮像対象を向き、他の一部が異なる撮像対象を向いている場合を想定している。

そこで、複数の会議の参加者Ｉ〜ＩＶの視線が集中する割合について図１５，１６を用いて検討する。図１５は、本発明の実施形態における会議の参加者Ｉ〜ＩＶの視線が集中している時間帯の重なりにより視線が集中していると判定される一例を示す図である。図１５に示すように、会議の参加者Ｉ〜ＩＶは、実際見ている時間帯がそれぞれ異なる。そこで、見ているとカウントされる時間帯は、実際見ている時間帯の前後に時間の幅を持たせた上で、見ているとカウントされる時間帯が重なる場合、視線が集中しているとみなせばよい。なお、実際見ている時間帯は、例えば、撮像部３３の位置情報及び方位情報が、設定誤差範囲内で変わらない間の時間帯とすればよい。

図１６は、本発明の実施形態における位置情報と方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合の概念例を示す図である。仮想撮像方向は、撮像部３３の位置情報と、方位情報とにより生成される。仮想撮像対象は、仮想撮像方向の指し示す方向に存在するとみなせる。

具体的には、仮想撮像方向と、仮想撮像対象とを結ぶ仮想視線が予め設定された設定範囲に集中する割合が閾値以上であるか否かに基づき、仮想視線が集中しているか否かを判定することにより、実際の会議の参加者Ｉ〜ＩＶの視線が集中しているか否かを判定できる。図１６の一例においては、仮想視線が設定範囲に集中する割合は３／４であり、閾値が０．６に設定されているため、仮想視線が設定範囲に集中する割合は閾値以上である。この場合、実際の会議の参加者Ｉ〜ＩＶの視線が集中していると判定できるため、２次追加情報が電子機器３のそれぞれに要求される。

２次追加情報を電子機器３に要求する処理の詳細について図１７を用いて説明する。図１７は、本発明の実施形態における要求処理を説明するフローチャートである。なお、ステップＳ７１，Ｓ７２，Ｓ７３のそれぞれの判定処理後に、ステップＳ７６の処理が実行される場合と、ステップＳ７１，Ｓ７７の処理後に、ステップＳ７６の処理が実行される場合とを説明しているが、ステップＳ７１の処理が実行後にステップＳ７２，Ｓ７３の処理が実行されなくても、ステップＳ７１の処理の実行後にステップＳ７６の処理が実行されてもよい。

ステップＳ７１において、位置情報と方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合が閾値以上であるか否かが判定される。位置情報と方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合が閾値以上であると判定される場合、ステップＳ７２に進む。一方、位置情報と方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合が閾値以上でないと判定される場合、ステップＳ７７に進む。

ステップＳ７２において、位置情報と方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合が閾値未満に転じるか否かが判定される。位置情報と方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合が閾値未満に転じると判定される場合、ステップＳ７３に進む。一方、位置情報と方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合が閾値未満に転じないと判定される場合、ステップＳ７２のままである。

ステップＳ７３において、一定時間が経過されるか否かが判定される。一定時間が経過されると判定される場合、ステップＳ７６に進む。一方、一定時間が経過されないと判定される場合、ステップＳ７４に進む。

ステップＳ７４において、位置情報と方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合が閾値以上に転じるか否かが判定される。位置情報と方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合が閾値以上の転じると判定される場合、ステップＳ７５に進む。一方、位置情報と方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合が閾値以上に転じないと判定される場合、ステップＳ７３に戻る。

ステップＳ７５において、一定時間がリセットされ、ステップＳ７３に戻る。

ステップＳ７６において、２次追加情報が電子機器３に要求され、要求処理は終了する。具体的には、撮像部３３により撮像される撮像情報としての２次追加情報と、２次追加情報が撮像される撮像時刻を示す撮像時刻情報と、撮像時刻に合わせた、又は撮像時刻の前後を含めた時刻に合わせた音声情報と、が、電子機器３に要求される。なお、この段階では、音声情報は、撮像時刻に合わせたものを送信しなくてもよい。

ステップＳ７７において、会議が終了しているか否かが判定される。会議が終了していると判定される場合、ステップＳ７６に進む。一方、会議が終了していないと判定される場合、ステップＳ７１に戻る。

次に、電子機器３が２次追加情報を情報処理装置５に送信する処理について図１８を用いて説明する。図１８は、本発明の実施形態における２次追加情報送信処理を説明するフローチャートである。なお、ステップＳ９３〜Ｓ９５の処理は、電子機器３に画像識別機能が実装されている場合に実行される。よって、電子機器３に画像識別機能が実装されていれば、撮像情報から視線が集中しているか否かを判定することができる。

ステップＳ９１において、禁止条件に基づき、２次追加情報又は音声情報を取得できないか否かが判定される。禁止条件に基づき、２次追加情報又は音声情報を取得できないと判定される場合、ステップＳ９１のままである。つまり、禁止条件に基づき、２次追加情報又は音声情報を取得できないと判定される場合、本体側通信制御部１５８により２次追加情報の要求を無視する。一方、禁止条件に基づき、２次追加情報又は音声情報を取得できると判定される場合、ステップＳ９２に進む。

ステップＳ９２において、撮像情報の画像解析が可能であるか否かが判定される。撮像情報の画像解析が可能であると判定される場合、ステップＳ９３に進む。一方、撮像情報の画像解析が可能でないと判定される場合、ステップＳ９６に進む。

ステップＳ９３において、撮像情報がマスター情報から生成される資料に相当するか否かが判定される。撮像情報がマスター情報から生成される資料に相当すると判定される場合、ステップＳ９３のままである。一方、撮像情報がマスター情報から生成される資料に相当しないと判定される場合、ステップＳ９４に進む。

ステップＳ９４において、撮像情報が人の顔に相当するか否かが判定される。撮像情報が人の顔に相当すると判定される場合、ステップＳ９３に戻る。一方、撮像情報が人の顔に相当しないと判定される場合、ステップＳ９５に進む。

ステップＳ９５において、撮像情報の類似度が一定値を超えるか否かが判定される。撮像情報の類似度が一定値を超えると判定される場合、ステップＳ９６に進む。一方、撮像情報の類似度が一定値を超えないと判定される場合、ステップＳ９３に戻る。つまり、撮像情報から視線が集中しているか否かが判定される。

ステップＳ９６において、２次追加情報が情報処理装置５に送信され、２次追加情報送信処理は終了する。具体的には、撮像部３３により撮像される撮像情報としての２次追加情報と、２次追加情報が撮像される撮像時刻を示す撮像時刻情報と、撮像時刻に合わせた、又は撮像時刻の前後を含めた時刻に合わせた音声情報と、が情報処理装置５に送信される。

次に、２次追加情報から有効な３次追加情報が選択される処理について図１９を用いて説明する。図１９は、本発明の実施形態における３次追加情報選択処理を説明するフローチャートである。

ステップＳ１１０において、優先順位が決定しているか否かが判定される。優先順位が決定していると判定される場合、ステップＳ１１２に進む。一方、優先順位が決定していないと判定される場合、ステップＳ１１１に進む。

ステップＳ１１１において、優先順位が決定される。ステップＳ１１２において、優先順位に基づき、２次追加情報のうち有効な３次追加情報が選択され、３次追加情報送信処理は終了する。

次に、優先順位に基づく選択画像上方の候補の選択肢を図２０，２１を用いて説明する。図２０は、本発明の実施形態における選択画像情報の候補となる配置関係の一例を示す図である。図２１は、本発明の実施形態における選択画像情報の候補となる配置関係の別の一例を示す図である。

図２０に示すように、仮想視線と、撮像部３３と仮想撮像対象との間の距離と、に基づき、優先順位が決定される。具体的には、電子機器３＿Ｃ，３＿Ｒ，３＿Ｌにより仮想視線が作る扇形の中心からの角度の中心線上に位置する撮像部３３による撮像情報に最も高い優先順位が付与される。つまり、電子機器３＿Ｃに最も高い優先順位が付与される。

また、図２１の場合も同様に、優先順位が決定される。具体的には、電子機器３＿Ｃ，３＿Ｌにより仮想視線が作る扇形の中心からの角度に基づき、優先順位が決定される。この場合、電子機器３＿Ｃに最も高い優先順位が付与される。

つまり、仮想視線と、仮想撮像対象とのなす角が直角に近づくにつれ、３次追加情報が含まれる選択画像上方の候補として優先順位は上がる。なお、優先順位を決定する条件は、上記で説明したように、２次追加情報に含まれる撮像部３３の撮像対象の歪み、撮像部３３と仮想撮像対象との間の距離、又は撮像部３３と仮想撮像対象との間の障害物の有無等も適宜考慮される。このうち、２次追加情報に含まれる撮像部３３の撮像対象の歪みは、具体的には、撮像画像内の被写体の台形度合いである。これらの各条件が、適宜重み付けされることにより、優先順位が決定される。

つまり、優先順位は、撮像対象を最も忠実に撮像できる位置に存在する電子機器３に付与されればよい。

なお、撮像部３３の位置情報及び方位情報は、電子機器３同士で共有し、適宜上記各条件に当てはめて情報処理装置５に各種情報が送信されてもよい。適用する条件は、電子機器３ごとに異なっていてもよい。

次に、インターフェース画像について図２２，２３を用いて説明する。図２２は、本発明の実施形態におけるマスター情報と、差分情報と、音声情報とが関連付けられているＧＵＩの一例を示す図である。図２２に示すように、１つの会議資料が、１つのマスター情報に対応している。１つのマスター情報に対応する会議結果が並べて配置した状態で表示される。会議結果に表示される差分情報の画像を操作すれば、その差分情報に関連付けられている音声情報が呼び出され、音声情報に基づく音声が再生される。なお、インターフェース画像は、ネットワーク９を介して、スマートフォン８又は端末７等により表示され、適宜音声が出力される。

図２３は、本発明の実施形態におけるマスター情報と、差分情報と、音声情報と、差分情報の他にさらに追加される情報とが関連付けられているＧＵＩの一例を示す図である。図２３においては、図２２に示される一例に、差分情報の他にさらに追加される情報として、グラフが表示されている。このグラフが、選択画像情報として選択される３次追加情報である。これらのインターフェース画像は、例えば、テレビ会議を行っている際、他拠点に３次追加情報等が提供できるのが望ましい。図２３に示すように、会議結果に表示される差分情報の画像又はグラフを操作すれば、それらに関連する音声情報が呼び出され、音声情報に基づき音声が再生される。なお、上記と同様に、インターフェース画像は、ネットワーク９を介して、スマートフォン８又は端末７等により表示され、適宜音声が出力される。

次に、従来例と比較しつつ、本実施形態の作用効果について説明する。図２４は、従来における会議終了後の差分情報の価値を概略的に説明する図である。図２４に示すように、会議終了後、追加事項を追加した意味を思い出すことができないことが多い。

そこで、本実施形態では、電子機器３において、資料に加筆される１次追加情報と、その資料に１次追加情報が加筆される時機に基づく音声情報とが関連付けられる。また、電子機器３において、資料の他に追加される２次追加情報がある場合、２次追加情報が撮像される。

一方、情報処理装置５において、電子機器３に備えられている撮像部３３の位置情報及び方位情報を契機として、２次追加情報が取得される。取得される２次追加情報のうち、関連付けの対象となる３次追加情報が選択され、１次追加情報及び音声情報と関連付けられる。３次追加情報は、２次追加情報が撮像される撮像時刻に基づき、１次追加情報及び音声情報と関連付けられる。

よって、３次追加情報と、音声情報とが、２次追加情報が撮像される撮像時刻により関連付けられる。したがって、資料の他に追加される情報の意味を確認することができる。

また、本実施形態において、情報処理装置５は、位置情報と方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合が閾値以上であるか否かに基づき、２次追加情報を複数の電子機器３のそれぞれに要求する。

よって、仮想視線が設定範囲に集中する割合に基づき、２次追加情報が要求される。したがって、撮像部３３により撮像される情報のうち、資料の他に追加される情報と想定されるものを要求することができる。

また、本実施形態において、本体側通信制御部１５８は、位置情報と方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合が閾値未満に転じ、且つ一定時間を経過する場合、２次追加情報を複数の電子機器３のそれぞれに要求する。

よって、複数の電子機器３が常に撮像対象を指し示していなかったとしても、複数の電子機器３が撮像対象を指し示すことがあったときには、２次追加情報を要求することができる。したがって、複数の電子機器３が常に撮像対象を指し示すことがないような状況であっても、２次追加情報を要求することができる。

また、本実施形態において、位置情報と方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合が閾値未満に転じてから一定時間を経過する前に、その割合が閾値以上に転じる場合、一定時間がリセットされる。

よって、視線が一時的に撮像対象から離れてから、視線が再び撮像対象に向かう場合の行動を含めることができる。したがって、視線が常に撮像対象に集中していない場合にも対処することができる。

また、本実施形態において、電子機器３は、位置情報と方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合が閾値未満であり、且つ会議が終了している場合、２次追加情報を情報処理装置５に送信する。

よって、会議終了後、撮像部３３による撮像後に２次追加情報が情報処理装置５に送信される。したがって、情報処理装置５は、要求しなくても２次追加情報を取得することができる。

また、本実施形態において、２次追加情報のうち、優先順位に基づき選択される３次追加情報を含む選択画像情報が表示部２１ａにより表示される。音声情報は、撮像時刻に基づき、音声出力部２８により出力される。

よって、２次追加情報のうち有効な３次追加情報が音声と共に提示される。したがって、３次追加情報の意味を音声により確認させることができる。

また、本実形態において、仮想視線、２次追加情報に含まれる撮像部３３の撮像対象の歪み、撮像部３３と仮想撮像対象との間の距離、又は撮像部３３と仮想撮像対象との間の障害物の有無、に基づき、優先順位が決定される。

よって、２次追加情報の中から表示させるのに妥当な３次追加情報が選択される。したがって、撮像部３３による撮像結果のうち、妥当な撮像結果を選択することができる。

また、本実施形態において、仮想視線と、仮想撮像対象とのなす角が直角に近づくにつれ、選択画像情報の候補として優先順位が上がる。よって、撮像部３３と、仮想撮像対象との間の距離が最短距離に近づくにつれ、選択画像情報の候補として優先順位が上がる。したがって、歪みの少ない画像を選択画像情報の候補とすることができる。

また、本実施形態において、撮像部３３により撮像される撮像情報の類似度が一定値を超えると判定される場合、撮像情報が２次追加情報として情報処理装置５に送信される。よって、撮像情報に基づき、２次追加情報としての撮像対象の有無が判定される。したがって、位置情報及び方位情報を用いなくても、２次追加情報としての撮像対象の有無を判定できる。

また、本実施形態において、撮像情報が、マスター情報から生成される資料又は人の顔に相当する場合、撮像情報が破棄される。よって、撮像情報が、２次追加情報に該当しない場合、破棄させることができる。したがって、記憶領域及び通信帯域を有効活用することができる。

また、本実施形態において、禁止条件に基づき、２次追加情報又は音声情報を取得できないと判定される場合、本体側通信制御部１５８による２次追加情報の要求を無視する。よって、２次追加情報の要求があったとしても、禁止条件に基づき、２次追加情報を送信しない設定にすることができる。したがって、禁止条件を適切に定めることにより、送信可能な情報を選別させることができる。

また、本実施形態において、端末側通信制御部３７７は、電子機器３ごとの演算部３７８により割合が求められる場合、割合が閾値以上であるか否かに基づき、２次追加情報を情報処理装置５に送信する。

よって、情報処理装置５から２次追加情報の要求がない場合であっても、電子機器３ごとの演算部３７８により求められる割合と、閾値とに基づき、２次追加情報を情報処理装置５に送信することができる。したがって、電子機器３ごとに異なる割合で処理を実行できる。

また、本実施形態において、閾値は、複数の電子機器３又は情報処理装置５により調整自在である。よって、電子機器３ごとに、又は情報処理装置５とで、異なる閾値を設定することができる。したがって、同一の割合だけでなく異なる割合に基づく処理を実行することができる。

また、本実施形態において、本体側記憶部２７に保持されるマスター情報と、音声情報と、１次追加情報と、選択画像情報とを互いに関連付けるインターフェース画像が制御される。よって、インターフェース画像は、マスター情報と、音声情報と、１次追加情報と、選択画像情報とを互いに関連付けて表示するインターフェースとなる。したがって、マスター情報、音声情報、１次追加情報、及び選択画像情報の何れか一方から互いに関連する何れか他方を出力することができる。

また、本実施形態において、複数の電子機器３のそれぞれが情報処理装置５に２次追加情報をリアルタイム送信する場合、２次追加情報が送信されるつど、インターフェース画像の他に、２次追加情報を表示するリアルタイム画像が更新される。よって、リアルタイム画像は、最新の２次追加情報が含まれる。したがって、情報処理装置５にアクセスする端末等にリアルタイム画像を提供することができる。

また、本実施形態において、撮像情報に含まれる会議内容と、情報処理装置５に保持されるマスター情報との差分の抽出に応じて差分が検出される時機に基づき、差分の差分情報と、音声情報とが関連付けられる。よって、同一のマスター情報に含まれる会議内容において、差分情報と、音声情報とが関連付けられる。したがって、会議内容における差分情報の意味を音声情報から確認することができる。

以上、本発明に係る情報処理システム１を実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。

例えば、本実施形態においては、制御部１５が実現する機能としての画像制御部１５４について説明したが、特にこれに限定されるものではない。例えば、制御部１５とは独立して画像制御部１５４が別体で設けられてもよい。

また、眼鏡１０に電子機器３が装着されている一例について説明したが、これに限らず、眼鏡１０と、電子機器３とが一体型となっている構成であってもよい。また、電子機器３の機能が搭載されたコンタクトレンズであってもよい。

電子機器３と、情報処理装置５とが送受信する情報処理システム１の一例について説明したが、これに限らず、電子機器３の機能が搭載されたスマートフォン８と、情報処理装置５とが送受信するシステム構成であってもよい。この場合、電子機器３の機能を実現するアプリがスマートフォン８に搭載されればよい。

また、識別画像Ｘが２次元コードである一例について説明したが、これに限らず、バーコードのように１次元コードであってもよく、ＰＭコード（登録商標）のように３次元コードであってもよい。また、識別画像Ｘが２次元コードのうちＱＲコード（登録商標）である一例について説明したが、これに限らず、ＣＰコード（登録商標）等であってもよい。つまり、撮像部３３が識別画像Ｘを読み取ることにより、識別画像情報に含まれるマスター情報の属性情報が取得できるものであれば、特に限定されない。

また、会議が終了していると判定される場合に情報処理装置５が電子機器３に２次追加情報を要求する処理の一例について説明したが、これに限らず、会議が終了していると判定される場合、情報処理装置５からの送信要求の有無にかかわらず、電子機器３が情報処理装置５に２次追加情報を送信してもよい。

また、要求処理の一部としてステップＳ７１〜Ｓ７５の処理について説明したが、これに限らず、ステップＳ７１〜Ｓ７５の処理の代わりに、ステップＳ９２〜Ｓ９５の処理が実行されてもよい。

１ 情報処理システム
３，３＿Ｃ，３＿Ｒ，３＿Ｌ 電子機器
１０ 眼鏡
３１ 表示部
３２ 文字認識部
３３ 撮像部
３３１ 画像解析部
３３２ 画像判定部
３４ 検知部
３５ 録音部
３６ 端末側記憶部
３７ 制御部
３７１ イベント管理部
３７２ 位置判定部
３７３ 発話有無判定部
３７４ 書き込み開始判定部
３７５ 抽出部
３７６ 端末側関連処理部
３７７ 端末側通信制御部
３７８ 演算部
３７９ 禁止判定部
３８ 音声認識部
３８１ 音声解析部
３８２ 音声判定部
３９ 端末側通信部
５ 情報処理装置
１１ プリンター部
１１ａ 画像処理部
１１ｂ 画像形成部
１３ 電源部
１５ 制御部
１５１ 識別処理部
１５２ 情報判定部
１５３ 本体側関連処理部
１５４ 画像制御部
１５５ 取得部
１５６ 選択部
１５７ 決定部
１５８ 本体側通信制御部
１７ 画像読取部
１７ａ 自動原稿送り装置
１９ 本体側通信部
２１ 操作表示部
２１ａ 表示部
２１ｂ 操作部
２３ 排紙トレイ
２５，２５ａ〜２５ｃ 給紙カセット
２７ 本体側記憶部
２８ 音声出力部
７ 端末
８ スマートフォン
９ ネットワーク
Ｐ 紙媒体
Ｘ 識別画像

Claims (23)

1. 複数の電子機器と、前記複数の電子機器と各種情報を送受信する情報処理装置と、を備える、情報処理システムであって、
   前記複数の電子機器のそれぞれは、
   会議のときに使用される資料に加筆される１次追加情報と、前記１次追加情報が前記資料に加筆される時機に基づく音声情報とを関連付ける端末側関連処理部と、
   前記会議のときに前記資料の他に追加される２次追加情報がある場合、前記２次追加情報を撮像する撮像部と、
   前記撮像部の位置情報及び方位情報を検知する検知部と、
   を備え、
   前記情報処理装置は、
   前記複数の電子機器のそれぞれにおいて、前記検知部により検知される前記撮像部の位置情報及び方位情報を契機として、前記撮像部により撮像される前記２次追加情報を取得する取得部と、
   前記取得部により取得される前記２次追加情報のうち、関連付けの対象となる３次追加情報を選択する選択部と、
   前記端末側関連処理部により関連付けられる前記１次追加情報及び前記音声情報と、前記選択部により選択される前記３次追加情報とを関連付ける本体側関連処理部と、
   を備え、
   前記本体側関連処理部は、
   前記２次追加情報が撮像される撮像時刻に基づき、前記１次追加情報及び前記音声情報と、前記３次追加情報とを関連付ける、
   情報処理システム。
2. 前記情報処理装置は、
   前記各種情報の送受信を制御する本体側通信制御部
   をさらに備え、
   前記本体側通信制御部は、
   前記位置情報と前記方位情報とにより生成される仮想撮像方向と、仮想撮像対象と、を結ぶ仮想視線が設定範囲に集中する割合が閾値以上であるか否かに基づき、前記２次追加情報を前記複数の電子機器のそれぞれに要求する、
   請求項１に記載の情報処理システム。
3. 前記本体側通信制御部は、
   前記割合が閾値未満に転じ、且つ一定時間を経過する場合、前記２次追加情報を前記複数の電子機器のそれぞれに要求する、
   請求項２に記載の情報処理システム。
4. 前記本体側通信制御部は、
   前記一定時間を経過する前に、前記割合が閾値以上に転じる場合、前記一定時間をリセットする、
   請求項３に記載の情報処理システム。
5. 前記複数の電子機器のそれぞれは、
   前記各種情報の送受信を制御する端末側通信制御部
   をさらに備え、
   前記端末側通信制御部は、
   前記割合が閾値未満であり、且つ前記会議が終了している場合、前記２次追加情報を前記情報処理装置に送信する、
   請求項４に記載の情報処理システム。
6. 前記情報処理装置は、
   前記選択部により選択される前記３次追加情報が含まれる選択画像情報を生成する画像制御部と、
   前記画像制御部により生成される前記選択画像情報を表示する表示部と、
   前記撮像時刻と、前記音声情報と、に基づき、音声を出力する音声出力部と、
   をさらに備え、
   前記選択部は、
   優先順位に基づき、前記２次追加情報のうち有効な前記３次追加情報を選択する、
   請求項５に記載の情報処理システム。
7. 前記情報処理装置は、
   前記仮想視線、前記２次追加情報に含まれる前記撮像部の撮像対象の歪み、前記撮像部と前記仮想撮像対象との間の距離、又は前記撮像部と前記仮想撮像対象との間の障害物の有無、に基づき、前記優先順位を決定する決定部
   をさらに備える、
   請求項６に記載の情報処理システム。
8. 前記決定部は、
   前記仮想視線と、前記仮想撮像対象とのなす角が直角に近づくにつれ、前記選択画像情報の候補として前記優先順位を上げる、
   請求項７に記載の情報処理システム。
9. 前記複数の電子機器のそれぞれは、
   前記撮像部により撮像される撮像情報の類似度が一定値を超えるか否かを判定する画像判定部
   をさらに備え、
   前記端末側通信制御部は、
   前記画像判定部により前記撮像情報の類似度が一定値を超えると判定される場合、前記撮像情報を前記２次追加情報として前記情報処理装置に送信する、
   請求項８に記載の情報処理システム。
10. 前記情報処理装置は、
    前記資料を形成するマスター情報を保持する本体側記憶部
    をさらに備え、
    前記端末側通信制御部は、
    前記撮像情報が、前記本体側記憶部に保持されるマスター情報から生成される前記資料又は人の顔に相当する場合、前記撮像情報を破棄させる、
    請求項９に記載の情報処理システム。
11. 前記複数の電子機器のそれぞれは、
    禁止条件に基づき、前記２次追加情報又は前記音声情報を取得できないか否かを判定する禁止判定部
    をさらに備え、
    前記端末側通信制御部は、
    前記禁止判定部により前記２次追加情報又は前記音声情報を取得できないと判定される場合、前記本体側通信制御部による前記２次追加情報の要求を無視する、
    請求項１０に記載の情報処理システム。
12. 前記複数の電子機器のそれぞれは、
    前記割合を求める演算部と、
    閾値が記憶される端末側記憶部と、
    をさらに備え、
    前記端末側通信制御部は、
    前記本体側通信制御部から前記２次追加情報を要求される前に、前記演算部により前記割合が求められる場合、前記割合が前記閾値以上であるか否かに基づき、前記２次追加情報を前記情報処理装置に送信する、
    請求項１１に記載の情報処理システム。
13. 前記閾値は、
    前記複数の電子機器又は前記情報処理装置により調整自在である、
    請求項１２に記載の情報処理システム。
14. 前記画像制御部は、
    前記本体側記憶部に保持されるマスター情報と、前記音声情報と、前記１次追加情報と、前記選択画像情報とを互いに関連付けるインターフェース画像の出力を制御する、
    請求項１３に記載の情報処理システム。
15. 前記画像制御部は、
    前記複数の電子機器のそれぞれが前記情報処理装置に前記２次追加情報をリアルタイム送信する場合、前記端末側通信制御部により前記２次追加情報が送信されるつど、前記インターフェース画像の他に、前記２次追加情報が表示されるリアルタイム画像を更新する、
    請求項１４に記載の情報処理システム。
16. 前記複数の電子機器のそれぞれは、
    検知周期ごとに、前記撮像部により撮像される紙媒体の媒体情報に基づき、前記媒体情報に含まれる会議内容と、前記情報処理装置に保持される前記マスター情報に含まれる会議内容との差分を抽出する抽出部
    をさらに備え、
    前記端末側関連処理部は、
    前記抽出部による前記差分の抽出に応じて前記差分が検出される時機に基づき、前記差分の差分情報と、前記音声情報とを関連付ける、
    請求項１５に記載の情報処理システム。
17. 情報処理装置と各種情報を送受信する電子機器であって、
    会議のときに使用される資料に加筆される１次追加情報と、前記１次追加情報が前記資料に加筆される時機に基づく音声情報とを関連付ける端末側関連処理部と、
    前記会議のときに前記資料の他に追加される２次追加情報がある場合、前記２次追加情報を撮像する撮像部と、
    前記撮像部の位置情報及び方位情報を検知する検知部と、
    前記検知部により検知される前記位置情報及び前記方位情報を前記情報処理装置に送信しつつ、前記情報処理装置から前記撮像部により撮像される前記２次追加情報が要求される場合、前記２次追加情報及び前記２次追加情報が撮像される撮像時刻情報を前記情報処理装置に送信する端末側通信制御部と、
    を備える、
    電子機器。
18. 複数の電子機器と各種情報を送受信し、且つ
    前記複数の電子機器のそれぞれは、
    会議のときに使用される資料に加筆される１次追加情報と、前記１次追加情報が前記資料に加筆される時機に基づく音声情報とを関連付ける端末側関連処理部と、
    前記会議のときに前記資料の他に追加される２次追加情報がある場合、前記２次追加情報を撮像する撮像部と、
    前記撮像部の位置情報及び方位情報を検知する検知部と、
    を備える、
    情報処理装置であって、
    前記複数の電子機器のそれぞれにおいて、前記検知部により検知される前記撮像部の位置情報及び方位情報を契機として、前記撮像部により撮像される前記２次追加情報を取得する取得部と、
    前記取得部により取得される前記２次追加情報のうち、関連付けの対象となる３次追加情報を選択する選択部と、
    前記端末側関連処理部により関連付けられる前記１次追加情報及び前記音声情報と、前記選択部により選択される前記３次追加情報とを関連付ける本体側関連処理部と、
    を備え、
    前記本体側関連処理部は、
    前記２次追加情報が撮像される撮像時刻に基づき、前記１次追加情報及び前記音声情報と、前記３次追加情報とを関連付ける、
    情報処理装置。
19. 複数の電子機器と、前記複数の電子機器と各種情報を送受信する情報処理装置と、を備える、情報処理システムにより実行される情報処理方法であって、
    前記複数の電子機器のそれぞれにおいて、
    会議のときに使用される資料に加筆される１次追加情報と、前記１次追加情報が前記資料に加筆される時機に基づく音声情報とを関連付ける端末側関連処理ステップと、
    前記会議のときに前記資料の他に追加される２次追加情報がある場合、前記２次追加情報を撮像する撮像ステップと、
    前記撮像ステップによる撮像時の位置情報及び方位情報を検知する検知ステップと、
    前記情報処理装置において、
    前記複数の電子機器のそれぞれにおいて、前記検知ステップにより検知される前記撮像ステップによる撮像時の位置情報及び方位情報を契機として、前記撮像ステップにより撮像される前記２次追加情報を取得する取得ステップと、
    前記取得ステップにより取得される前記２次追加情報のうち、関連付けの対象となる３次追加情報を選択する選択ステップと、
    前記端末側関連処理ステップにより関連付けられる前記１次追加情報及び前記音声情報と、前記選択ステップにより選択される前記３次追加情報とを関連付ける本体側関連処理ステップと、
    を含み、
    前記本体側関連処理ステップは、
    前記２次追加情報が撮像される撮像時刻に基づき、前記１次追加情報及び前記音声情報と、前記３次追加情報とを関連付ける、
    情報処理方法。
20. 情報処理装置と各種情報を送受信する電子機器により実行される電子機器処理方法であって、
    会議のときに使用される資料に加筆される１次追加情報と、前記１次追加情報が前記資料に加筆される時機に基づく音声情報とを関連付ける端末側関連処理ステップと、
    前記会議のときに前記資料の他に追加される２次追加情報がある場合、前記２次追加情報を撮像する撮像ステップと、
    前記撮像ステップによる撮像時の位置情報及び方位情報を検知する検知ステップと、
    前記検知ステップにより検知される前記位置情報及び前記方位情報を前記情報処理装置に送信しつつ、前記情報処理装置から前記撮像ステップにより撮像される前記２次追加情報が要求される場合、前記２次追加情報及び前記２次追加情報が撮像される撮像時刻情報を前記情報処理装置に送信する端末側通信制御ステップと、
    を含む、
    電子機器処理方法。
21. 情報処理装置と各種情報を送受信する電子機器を制御するコンピュータを、
    会議のときに使用される資料に加筆される１次追加情報と、前記１次追加情報が前記資料に加筆される時機に基づく音声情報とを関連付ける端末側関連処理部と、
    前記会議のときに前記資料の他に追加される２次追加情報がある場合、前記２次追加情報を撮像する撮像部と、
    前記撮像部の位置情報及び方位情報を検知する検知部と、
    前記検知部により検知される前記位置情報及び前記方位情報を前記情報処理装置に送信しつつ、前記情報処理装置から前記撮像部により撮像される前記２次追加情報が要求される場合、前記２次追加情報及び前記２次追加情報が撮像される撮像時刻情報を前記情報処理装置に送信する端末側通信制御部と、
    として機能させるためのプログラム。
22. 複数の電子機器と各種情報を送受信し、且つ
    前記複数の電子機器のそれぞれは、
    会議のときに使用される資料に加筆される１次追加情報と、前記１次追加情報が前記資料に加筆される時機に基づく音声情報とを関連付ける端末側関連処理部と、
    前記会議のときに前記資料の他に追加される２次追加情報がある場合、前記２次追加情報を撮像する撮像部と、
    前記撮像部の位置情報及び方位情報を検知する検知部と、
    を備える、
    情報処理装置により実行される情報処理方法であって、
    前記複数の電子機器のそれぞれにおいて、前記検知部により検知される前記撮像部の位置情報及び方位情報を契機として、前記撮像部により撮像される前記２次追加情報を取得する取得ステップと、
    前記取得ステップにより取得される前記２次追加情報のうち、関連付けの対象となる３次追加情報を選択する選択ステップと、
    前記端末側関連処理部により関連付けられる前記１次追加情報及び前記音声情報と、前記選択ステップにより選択される前記３次追加情報とを関連付ける本体側関連処理ステップと、
    を含み、
    前記本体側関連処理ステップは、
    前記２次追加情報が撮像される撮像時刻に基づき、前記１次追加情報及び前記音声情報と、前記３次追加情報とを関連付ける、
    情報処理方法。
23. 複数の電子機器と各種情報を送受信し、且つ
    前記複数の電子機器のそれぞれは、
    会議のときに使用される資料に加筆される１次追加情報と、前記１次追加情報が前記資料に加筆される時機に基づく音声情報とを関連付ける端末側関連処理部と、
    前記会議のときに前記資料の他に追加される２次追加情報がある場合、前記２次追加情報を撮像する撮像部と、
    前記撮像部の位置情報及び方位情報を検知する検知部と、
    を備える、
    情報処理装置を制御するコンピューターを、
    前記複数の電子機器のそれぞれにおいて、前記検知部により検知される前記撮像部の位置情報及び方位情報を契機として、前記撮像部により撮像される前記２次追加情報を取得する取得部と、
    前記取得部により取得される前記２次追加情報のうち、関連付けの対象となる３次追加情報を選択する選択部と、
    前記端末側関連処理部により関連付けられる前記１次追加情報及び前記音声情報と、前記選択部により選択される前記３次追加情報とを関連付ける本体側関連処理部と、
    として機能させるためのプログラムであって、
    前記本体側関連処理部は、
    前記２次追加情報が撮像される撮像時刻に基づき、前記１次追加情報及び前記音声情報と、前記３次追加情報とを関連付ける、
    プログラム。

Images