JP6776639B2 - 情報処理システム、電子機器、情報処理装置、情報処理方法、電子機器処理方法、及びプログラム - Google Patents

Description

本発明は、情報処理システム、電子機器、情報処理装置、情報処理方法、電子機器処理方法、及びプログラムに関する。

従来より、会議中、オフィスで扱われる文章等が印字されている会議資料は、加筆又は修正等が行われている。この結果、記録される事項は、加筆事項又は修正事項を含む結果物となるが、どのタイミングでこれらの動作が行われるものであるかを把握できる情報は、情報収集の対象外である。

よって、会議終了後、加筆事項又は修正事項のような追加事項が、何を対象とするものであるかを思い出すための情報が存在しないため、追加事項の追加理由が把握されない恐れがある。

なお、会議資料に合わせて会議中に追加される追加事項を記録するものとして、撮像部を備えるタブレット端末により、タブレット端末で表示されている会議資料と、撮像部により撮像される会議資料とを関連付けて保存するものが提案されている（例えば、特許文献１参照）。

特開２０１５−２０８０４７号公報

特許文献１に記載の従来技術は、会議資料と、会議資料への追加事項とが関連付けられるが、会議資料への追加事項がどのタイミングのものであるかは不明のままである。

ところで、会議資料に追加事項が書き込まれるタイミングは、会議中の議論内容、すなわち、話者の発言を契機とする場合が多い。よって、会議資料への追加事項、すなわち、会議前の会議資料と、会議中又は会議後の会議資料との差分情報の意味は、会議中の音情報をたどらなければ確認できないことが多い。

しかし、特許文献１に記載のような従来技術では、会議内容における差分情報の意味を音情報から確認することはできない。

本発明は、従来の課題を解決するためになされたものであり、その目的とするところは、会議内容における差分情報の意味を音情報から確認することができる情報処理システム、電子機器、情報処理装置、情報処理方法、電子機器処理方法、及びプログラムを提供することにある。

上記目的を達成するため、本発明に係る情報処理システムは、電子機器と、前記電子機器と各種情報を送受信する情報処理装置と、を備える情報処理システムであって、前記電子機器は、撮像部と、検知周期ごとに、前記撮像部により撮像される紙媒体の撮像情報に基づき、前記撮像情報に含まれる会議内容と、前記情報処理装置に保持されるマスター情報に含まれる会議内容との差分を抽出する抽出部と、前記マスター情報に含まれる会議内容に関する会議が行われている間、周囲の音を録音する録音部と、前記差分の抽出に応じて前記差分が検出される時機に基づき、前記差分の差分情報と、前記録音部により録音される音の音情報とを関連付ける端末側関連処理部と、を備え、前記情報処理装置は、前記端末側関連処理部により関連付けられて前記電子機器から送信される前記差分情報及び前記音情報を含む組情報と、前記マスター情報とを関連付ける本体側関連処理部を備える、ものである。

また、本発明に係る情報処理システムにおいて、前記情報処理装置は、前記マスター情報と、前記マスター情報の属性情報とを記憶する記憶部と、前記記憶部に記憶されている前記マスター情報の属性情報から識別画像情報を生成する識別処理部と、前記マスター情報に含まれる会議内容から生成される会議資料画像情報と、前記識別処理部により生成される識別画像情報とに基づき、前記紙媒体に印字画像を形成させる画像処理部と、をさらに備え、前記画像処理部は、前記印字画像として、前記会議資料画像情報に基づく会議資料画像と、前記識別画像情報に基づく識別画像とを形成させ、前記識別画像情報は、前記マスター情報の属性情報の１つである前記マスター情報の保存先情報が含まれる、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記情報処理装置は、前記マスター情報、前記マスター情報の属性情報、前記差分情報、前記音情報の少なくとも何れか一方から何れか他方を自在に出力するインターフェース画像を制御する画像制御部をさらに備え、前記インターフェース画像は、前記差分情報に基づき、前記音情報を出力自在とするインターフェースであり、前記マスター情報の属性情報は、前記マスター情報の保存先情報に加え、前記マスター情報に含まれる会議内容を特定する特定情報、前記会議の主催者に関する主催者情報、又は前記紙媒体に前記印字画像を形成させる指令をする出力者に関する出力者情報が含まれる、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記電子機器は、前記抽出部により抽出される前記差分をイベントという単位で管理するイベント管理部をさらに備え、前記抽出部は、前記音情報を、前記イベント管理部により管理される前記イベントに対応して抽出し、前記イベントは、前記会議の進行に伴う前記撮像情報の変化を示す指標であって、且つ前記差分が抽出されるときに開始され、一時待機期間にわたり、新たに前記差分が抽出されないときに終了し、前記端末側関連処理部は、前記イベントごとに、前記差分情報と、前記音情報とを関連付ける、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記端末側関連処理部は、前記イベントの開始前の初期時間と、前記イベントの終了後の終期時間とを、前記音情報の切り出し期間に含ませる、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記抽出部は、前記差分が抽出される差分抽出間隔が、短期待機時間を超えない場合、同一の前記マスター情報に基づき、前記差分を抽出する、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記抽出部は、前記電子機器の位置が設定移動範囲を超えない場合、同一の前記マスター情報に基づき、前記差分を抽出する、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記検知周期、前記一時待機期間、又は前記音情報の切り出し期間は、変更自在である、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記短期待機時間又は前記設定移動範囲は、変更自在である、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記検知周期、前記一時待機期間、前記音情報の切り出し期間、前記短期待機時間、又は前記設定移動範囲は、前記差分抽出間隔が、前記短期待機時間を超えない場合、又は前記電子機器の位置が前記設定移動範囲を超えない場合、変更許可範囲内で、前記印字画像が形成される前記紙媒体の枚数に応じて動的に変更自在である、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記端末側関連処理部は、前記会議が行われている間、前記差分が消滅する場合、前記差分情報と、前記音情報との関連付けを解消する、ことが好ましい。

また、本発明に係る情報処理システムおいて、前記端末側関連処理部は、前記差分抽出間隔が、前記短期待機時間を超えず、且つ前記差分を抽出する場合、又は前記電子機器の位置が前記設定移動範囲を超えず、且つ前記差分を抽出する場合、前記イベントの開始前の初期時間を延長用初期時間に設定する、ことが好ましい。

また、本発明に係る情報処理システムにおいて、音声を認識する音声認識部をさらに備え、前記端末側関連処理部は、前記イベントが発生してから無音状態が継続する場合、前記音声認識部による音声の認識を契機として前記音情報を抽出する、ことが好ましい。

また、本発明に係る情報処理システムにおいて、文字を認識する文字認識部をさらに備え、前記端末側関連処理部は、前記文字認識部による前記紙媒体への文字の書き込み開始と、前記音声認識部による音声の認識とを検知する場合、前記検知周期に基づき抽出される前記差分が検出される時機よりも優先的に、前記紙媒体に書き込まれる文字と、前記音情報とを関連付ける、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記組情報は、前記出力者情報ごとに、前記マスター情報と関連付けられる、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記インターフェース画像は、前記会議の進行状況を示す画像を含み、前記画像制御部は、前記会議の進行状況を示す画像と、前記音情報と、前記差分情報とを関連付ける、ことが好ましい。

また、本発明に係る情報処理システムにおいて、前記電子機器は、前記マスター情報の保存先情報に基づき、前記抽出部により前記差分を抽出させるときに用いる前記マスター情報を取得させる通信制御部をさらに備え、前記情報処理装置は、前記組情報が送信されているか否かを判定する情報判定部をさらに備え、前記通信制御部は、前記情報処理装置との通信を確立していない場合、前記組情報を保持させつつ、前記情報処理装置との通信を確立してから前記組情報を送信させ、前記本体側関連処理部は、前記情報判定部により前記組情報が送信されていると判定される場合、前記組情報と、前記マスター情報とを関連付けさせる、ことが好ましい。

また、上記目的を達成するため、本発明に係る電子機器は、情報処理装置と各種情報を送受信する電子機器であって、撮像部と、検知周期ごとに、前記撮像部により撮像される紙媒体の撮像情報に基づき、前記撮像情報に含まれる会議内容と、前記情報処理装置に保持されるマスター情報に含まれる会議内容との差分を抽出する抽出部と、前記マスター情報に含まれる会議内容に関する会議が行われている間、周囲の音を録音する録音部と、前記差分が検出される時機に基づき、前記差分の差分情報と、前記録音部により録音される音の音情報とを関連付ける端末側関連処理部と、前記端末側関連処理部により関連付けられる前記差分情報及び前記音情報を含む組情報と、前記組情報と、前記マスター情報とを関連付けさせる指令とを前記情報処理装置に送信する通信部と、を備える、ものである。

また、本発明に係る電子機器において、前記端末側関連処理部は、イベントごとに、前記差分情報と、前記音情報とを関連付け、前記イベントは、前記会議の進行に伴う前記撮像情報の変化を示す指標であって、且つ前記差分が抽出されるときに開始され、一時待機期間にわたり、新たに前記差分が抽出されないときに終了する、ことが好ましい。

また、上記目的を達成するため、本発明に係る情報処理装置は、電子機器と各種情報を送受信する情報処理装置であって、マスター情報と、前記マスター情報の属性情報とを記憶する記憶部と、前記記憶部に記憶されている前記マスター情報の属性情報から識別画像情報を生成する識別処理部と、前記マスター情報に含まれる会議内容から生成される会議資料画像情報と、前記識別処理部により生成される識別画像情報とに基づき、紙媒体に印字画像を形成させる画像処理部と、前記画像処理部により前記印字画像が形成された前記紙媒体の撮像情報に含まれる会議内容と前記マスター情報に含まれる会議内容との差分の差分情報及び前記印字画像が形成された前記紙媒体の周囲の音の音情報が前記電子機器により関連付けられて前記電子機器から送信される組情報と、前記マスター情報とを関連付ける本体側関連処理部と、を備える、ものである。

また、上記目的を達成するため、本発明に係る情報処理方法は、電子機器と、前記電子機器と各種情報を送受信する情報処理装置と、を備える情報処理システムにより実行される情報処理方法であって、前記電子機器において、撮像する撮像ステップと、検知周期ごとに、前記撮像ステップにより撮像される紙媒体の撮像情報に基づき、前記撮像情報に含まれる会議内容と、前記情報処理装置に保持されるマスター情報に含まれる会議内容との差分を抽出する抽出ステップと、前記マスター情報に含まれる会議内容に関する会議が行われている間、周囲の音を録音する録音ステップと、前記差分の抽出に応じて前記差分が検出される時機に基づき、前記差分の差分情報と、前記録音ステップにより録音される音の音情報とを関連付ける端末側関連処理ステップと、前記情報処理装置において、前記端末側関連処理ステップにより関連付けられて前記電子機器から送信される前記差分情報及び前記音情報を含む組情報と、前記マスター情報とを関連付ける本体側関連処理ステップを含む、ものである。

また、上記目的を達成するため、本発明に係る電子機器処理方法は、情報処理装置と各種情報を送受信する電子機器により実行される電子機器処理方法であって、撮像する撮像ステップと、検知周期ごとに、前記撮像ステップにより撮像される紙媒体の撮像情報に基づき、前記撮像情報に含まれる会議内容と、前記情報処理装置に保持されるマスター情報に含まれる会議内容との差分を抽出する抽出ステップと、前記マスター情報に含まれる会議内容に関する会議が行われている間、周囲の音を録音する録音ステップと、前記差分の抽出に応じて前記差分が検出される時機に基づき、前記差分の差分情報と、前記録音ステップにより録音される音の音情報とを関連付ける端末側関連処理ステップと、前記端末側関連処理ステップにより関連付けられる前記差分情報及び前記音情報を含む組情報と、前記組情報と、前記マスター情報とを関連付けさせる指令とを前記情報処理装置に送信する通信ステップと、を含む、ものである。

また、上記目的を達成するため、本発明に係るプログラムは、情報処理装置と各種情報を送受信する電子機器を制御するコンピュータを、撮像部と、検知周期ごとに、前記撮像部により撮像される紙媒体の撮像情報に基づき、前記撮像情報に含まれる会議内容と、前記情報処理装置により保持されるマスター情報に含まれる会議内容との差分を抽出する抽出部と、前記マスター情報に含まれる会議内容に関する会議が行われている間、周囲の音を録音する録音部と、前記差分の抽出に応じて前記差分が検出される時機に基づき、前記差分の差分情報と、前記録音部により録音される音の音情報とを関連付ける端末側関連処理部と、前記端末側関連処理部により関連付けられる前記差分情報及び前記音情報を含む組情報と、前記組情報と、前記マスター情報とを関連付けさせる指令とを前記情報処理装置に送信する通信部と、として機能させるためのものである。

また、上記目的を達成するため、本発明に係る情報処理方法は、電子機器と各種情報を送受信する情報処理装置により実行される情報処理方法であって、マスター情報と、前記マスター情報の属性情報とを記憶する記憶ステップと、前記記憶ステップに記憶されている前記マスター情報の属性情報から識別画像情報を生成する識別処理ステップと、前記マスター情報に含まれる会議内容から生成される会議資料画像情報と、前記識別処理ステップにより生成される識別画像情報とに基づき、紙媒体に印字画像を形成させる画像処理ステップと、前記画像処理ステップにより前記印字画像が形成された前記紙媒体の撮像情報に含まれる会議内容と前記マスター情報に含まれる会議内容との差分の差分情報及び前記印字画像が形成された前記紙媒体の周囲の音の音情報が前記電子機器により関連付けられて前記電子機器から送信される組情報と、前記マスター情報とを関連付ける本体側関連処理ステップと、を含む、ものである。

また、上記目的を達成するため、本発明に係るプログラムは、電子機器と各種情報を送受信する情報処理装置を制御するコンピュータを、マスター情報と、前記マスター情報の属性情報とを記憶する記憶部と、前記記憶部に記憶されている前記マスター情報の属性情報から識別画像情報を生成する識別処理部と、前記マスター情報に含まれる会議内容から生成される会議資料画像情報と、前記識別処理部により生成される識別画像情報とに基づき、紙媒体に印字画像を形成させる画像処理部と、前記画像処理部により前記印字画像が形成された前記紙媒体の撮像情報に含まれる会議内容と前記マスター情報に含まれる会議内容との差分の差分情報及び前記印字画像が形成された前記紙媒体の周囲の音の音情報が前記電子機器により関連付けられて前記電子機器から送信される組情報と、前記マスター情報とを関連付ける本体側関連処理部と、として機能させるためのものである。

本発明によれば、情報処理システム、電子機器、情報処理装置、情報処理方法、電子機器処理方法、及びプログラムにおいて、会議内容における差分情報の意味を音情報から確認することができる。

本発明の実施形態１における情報処理システム１の全体構成の一例を示す図である。 本発明の実施形態１における電子機器３の構成例を示す図である。 本発明の実施形態１における情報処理装置５の構成例を示す図である。 本発明の実施形態１における電子機器３の制御部３７の機能構成例を示す図である。 本発明の実施形態１における情報処理装置５の制御部１５の機能構成例を示す図である。 本発明の実施形態１における制御例を説明するフローチャートである。 本発明の実施形態１における差分関連付け処理を説明するフローチャートである。 本発明の実施形態１における差分が抽出されてから一時待機期間経過後にイベントと判定される一例を示す図である。 本発明の実施形態１における差分が抽出される間隔が短期待機時間を超えないいと判定される一例を示す図である。 本発明の実施形態１における発話タイミングの一例を示す図である。 本発明の実施形態１における２次元コードの出力例を示す図である。 本発明の実施形態１におけるマスター情報の取得例を示す図である。 本発明の実施形態１における会議の進行に伴い録音及び差分情報の追加が実施される一例を示す図である。 本発明の実施形態１における差分情報と、音情報との関連付けの一例を示す図である。 本発明の実施形態１における差分情報と、音情報とを関連付けるデータ構造の一例を示す図である。 本発明の実施形態１におけるマスター情報と、差分情報と、音情報とが関連付けられているＧＵＩの一例を示す図である。 本発明の実施形態２における差分情報と、音情報との関連付けの一例を示す図である。 本発明の実施形態３におけるマスター情報と、差分情報と、音情報とが関連付けられているＧＵＩの一例を示す図である。 従来における会議の進行に伴い差分情報の追加が実施される一例を示す図である。 従来における会議終了後の差分情報の価値を概略的に説明する図である。

以下、図面に基づいて本発明の実施形態を説明するが、本発明は以下の実施形態に限られるものではない。

実施形態１．
図１は、本発明の実施形態１における情報処理システム１の全体構成の一例を示す図である。図１に示すように、情報処理システム１は、ネットワーク９を介して、電子機器３と、情報処理装置５とが接続されている。電子機器３と、情報処理装置５とは、ネットワーク９を介して、各種情報を送受信することができる。電子機器３は、詳細については後述するが、眼鏡１０に装着されることにより、眼鏡１０をスマートグラスとして利用させることができる。情報処理装置５は、詳細については後述するが、ＭＦＰとして利用されるだけでなく、ネットワーク９を介して、各種情報の１つとして、マスター情報を電子機器３と送受信することができる。

情報処理システム１は、詳細については後述するが、電子機器３と、情報処理装置５とを連携させることにより、会議中、会議資料として使用される紙媒体Ｐに手書き等により追加された追加事項の意味を会議中の発言内容から確認できるものである。

電子機器３は、表示部３１、撮像部３３、及び録音部３５等を備える。表示部３１は、眼鏡１０を介して利用者に各種画像を表示する。表示部３１は、ネットワーク９を介して取得する各種情報を画像で表示する。撮像部３３は、ＣＣＤ又はＣＭＯＳのようなイメージセンサー等から構成され、被写体を撮像し、静止画又は動画を取得する。録音部３５は、周囲の音を録音する。電子機器３は、例えば、紙媒体Ｐに形成されている画像を取得し、取得した画像に各種処理を実行してから各種処理の実行結果を情報処理装置５に送信することができる。なお、表示部３１は、プリズム等により眼鏡１０から離れた位置に画像を表示させてもよい。また、電子機器３は、不図示の操作部が設けられている。

情報処理装置５は、プリンター部１１、電源部１３、制御部１５、画像読取部１７、操作表示部２１、排紙トレイ２３、及び給紙カセット２５ａ〜２５ｃ等を備える。プリンター部１１、電源部１３、及び制御部１５は、情報処理装置５の筐体の内部に配置されている。

給紙カセット２５ａ〜２５ｃのそれぞれは、情報処理装置５の筐体から引き出し自在に配置されている。給紙カセット２５ａ、給紙カセット２５ｂ、及び給紙カセット２５ｃの何れかを特定しない場合、給紙カセット２５と称する。給紙カセット２５ａ、給紙カセット２５ｂ、及び給紙カセット２５ｃのそれぞれは、互いに異なるサイズの紙媒体Ｐが収容される。給紙カセット２５に収容された紙媒体Ｐは、印字時、１枚ずつ給紙され、プリンター部１１に送られる。なお、上記の説明では、給紙カセット２５が３台配置されている一例について説明したが、これらに限定されない。

排紙トレイ２３は、情報処理装置５の筐体のうちプリンター部１１が収納されている部位の上方にあり、且つ画像読取部１７が配置されている部位の下方に配置されている。排紙トレイ２３には、プリンター部１１により画像が形成された紙媒体Ｐが筐体の内部から排紙される。

操作表示部２１は、情報処理装置５の上部にあり、且つ給紙カセット２５が筐体から引き出し自在な手前側に配置されている。操作表示部２１は、利用者の操作を受け付けると共に、利用者から受け付けた操作結果及び情報処理装置５の内部状態の少なくとも一方を表示自在である。

プリンター部１１は、詳細については後述するが、電子写真プロセス技術を利用することにより、給紙カセット２５又は不図示の手差しトレイにある紙媒体Ｐに画像を形成する。プリンター部１１は、タンデム方式で４色又は特色を含む５色の画像を合成し、紙媒体Ｐにカラー画像を形成自在である。

画像読取部１７は、情報処理装置５の上部に配置されている。画像読取部１７は、自動原稿送り装置１７ａを備える。画像読取部１７は、自動原稿送り装置１７ａにより原稿トレイにセットされた原稿を順次取り込ませ、不図示のイメージセンサーによりその原稿の画像をアナログの画像データとして読み取らせる。

図２は、本発明の実施形態１における電子機器３の構成例を示す図である。図２に示すように、電子機器３は、上記で説明した表示部３１、撮像部３３、及び録音部３５に加え、文字認識部３２、位置情報取得部３４、記憶部３６、制御部３７、音声認識部３８、及び通信部３９等を備える。通信部３９は、各種信号を送受信する。

文字認識部３２は、文字を認識する。文字認識部３２は、例えば、光学文字認識機能のような文字認識機能を作動させることにより、文字を認識することができる。文字認識部３２は、撮像部３３により撮像される紙媒体Ｐの撮像情報に基づき、文字領域を特定する。文字認識部３２は、特定された文字領域から文字を認識する。なお、文字認識部３２は、電子機器３に設けられなくてもよい。

位置情報取得部３４は、ＧＰＳ機能により、電子機器３の位置を特定する。記憶部３６は、フラッシュメモリ等のような不揮発性メモリから構成される。記憶部３６は、撮像部３３により撮像を行うためのプログラム及び録音部３５により録音を行うためのプログラム等が格納されている。

記憶部３６は、上記プログラムに加え、各種データを格納する。例えば、記憶部３６は、撮像部３３により撮像される紙媒体Ｐの撮像情報の撮像データを保存する。記憶部３６は、録音部３５により録音される周囲の音の音情報の録音データを保存する。記憶部３６は、通信部３９により取得される各種画像データ又はドキュメントデータを格納する。

音声認識部３８は、音声を認識する。音声認識部３８は、例えば、音声認識機能を作動させることにより、音声を認識することができる。音声認識部３８は、例えば、圧電素子により音声を認識する。なお、音声認識部３８は、電子機器３に設けられていなくてもよい。

制御部３７は、具体的には、不図示のＣＰＵ、ＲＯＭ、ＲＡＭ、及びＩ／Ｏインターフェースを主体として構成される。制御部３７は、ＣＰＵがＲＯＭ又は記憶部３６から処理内容に応じた各種プログラムを読み出し、ＲＡＭに展開し、展開した各種プログラムと協働することにより、電子機器３の各部の動作を制御する。

図３は、本発明の実施形態１における情報処理装置５の構成例を示す図である。図３に示すように、情報処理装置５は、上記で説明したプリンター部１１、制御部１５、画像読取部１７、及び操作表示部２１に加え、記憶部２７及び通信部１９等を備える。

プリンター部１１は、画像処理部１１ａ及び画像形成部１１ｂを備える。画像処理部１１ａは、ＣＰＵ等の演算装置又はＡＳＩＣ等の集積回路を備え、各種処理を実行することができる。

例えば、画像処理部１１ａは、画像読取部１７の不図示のイメージセンサーにより読み取られたアナログの画像データに各種処理を実行する。具体的には、アナログ信号処理、Ａ／Ｄ変換、シェーディング補正、画像圧縮処理、及び変倍処理等が実行されることにより、アナログの画像データがＲＧＢコードからなるデジタルの画像データに変換される。画像処理部１１ａは、さらに、ＲＧＢコードからなるデジタルの画像データを、Ｙ（イエロー）、Ｍ（マゼンタ）、Ｃ（シアン）、及びＫ（ブラック）色の画像データに変換し、変換結果を画像形成部１１ｂに転送する。

画像形成部１１ｂは、画像処理部１１ａから転送された画像データに基づき、色画像を形成する。画像形成部１１ｂは、色ごとの画像形成ユニットと、中間転写部と、定着部とを備える。画像形成ユニットは、帯電部により感光ドラムの周囲が帯電され、書き込みユニットにより感光ドラムに光りが照射されて静電潜像が形成され、現像部により感光ドラムの静電潜像が可視化されてトナー像が形成される。中間転写部は、感光ドラムのトナー像が転写され、転写されたトナー像が順次色ごとに用紙に転写される。定着部は、中間転写部から転写されたトナー像を定着させる。

操作表示部２１は、利用者の操作を受け付けるボタンと、利用者に操作の提案を行う表示画面とを備える。表示画面はタッチパネルが積層され、タッチパネルディスプレイとして機能する。なお、操作表示部２１は、利用者に直感的な視覚情報を与えるために複数色のＬＥＤを備えてもよい。また、操作表示部２１は、音を出力するスピーカーを備えてもよい。この場合、操作表示部２１は、表示画面に表示される画像に応じて、音を出力させることもできる。つまり、操作表示部２１は、操作を受け付けると共に、音又は画像を出力する。

通信部１９は、ネットワーク９を介して、情報処理装置５に送信される印刷ジョブ等のような各種ジョブを受け付ける。通信部１９は、制御部１５で行う以外の機能を実現させるとき、外部機器と通信する。記憶部２７は、ＨＤＤ等のような不揮発性記憶装置からなる。記憶部２７は、各種制御プログラムに加え、各種画像データ又はドキュメントデータ等を保持する。情報処理装置５が保持するドキュメントデータは、マスター情報として利用される。

ドキュメントデータが会議資料であれば、マスター情報は、会議内容を含む情報である。マスター情報は、プリンター部１１により紙媒体Ｐに印字画像を形成させるときに利用される。マスター情報は、例えば、文字情報が含まれる。文字情報は、文字、その文字の書体、及びその文字を印字させる位置等が含まれる。よって、電子機器３は、情報処理装置５からマスター情報を取得すれば、会議資料として使用される紙媒体Ｐに形成される印字画像の印字内容を取得することができる。

なお、電子機器３が情報処理装置５から取得するマスター情報は、マスター情報のコピーであればよく、情報処理装置５にあるマスター情報を電子機器３に移動させる必要はない。また、電子機器３の撮像部３３により撮像される紙媒体Ｐの撮像情報と、マスター情報に含まれる会議内容とが比較される場合、情報処理装置５がマスター情報を保持していることが好ましい。

制御部１５は、具体的には、不図示のＣＰＵ、ＲＯＭ、ＲＡＭ、及びＩ／Ｏインターフェースを主体として構成される。制御部１５は、ＣＰＵがＲＯＭ又は記憶部２７から処理内容に応じた各種プログラムを読み出し、ＲＡＭに展開し、展開した各種プログラムと協働することにより、情報処理装置５の各部の動作を制御する。

図４は、本発明の実施形態１における電子機器３の制御部３７の機能構成例を示す図である。制御部３７は、電子機器３の動作を制御するものであり、不図示のＣＰＵ、ＲＯＭ、ＲＡＭ、及びＩ／Ｏインターフェースを主体に構成されたマイクロコンピュータにより実現し得るものである。制御部３７が所定の制御プログラムを実行することにより、図４に示すように、イベント管理部３７１、位置判定部３７２、発話有無判定部３７３、書き込み開始判定部３７４、抽出部３７５、端末側関連処理部３７６、及び通信制御部３７７等のような各種機能が実現される。

図５は、本発明の実施形態１における情報処理装置５の制御部１５の機能構成例を示す図である。制御部１５は、情報処理装置５の動作を制御するものであり、不図示のＣＰＵ、ＲＯＭ、ＲＡＭ、及びＩ／Ｏインターフェースを主体に構成されたマイクロコンピュータにより実現し得るものである。制御部１５が所定の制御プログラムを実行することにより、図５に示すように、識別処理部１５１、情報判定部１５２、本体側関連処理部１５３、及び画像制御部１５４等のような各種機能が実現される。

次に、上記の各種機能等について具体的に説明する。抽出部３７５は、検知周期ごとに、撮像部３３により撮像される紙媒体Ｐの撮像情報に基づき、撮像情報に含まれる会議内容と、情報処理装置５に保持されるマスター情報に含まれる会議内容との差分を抽出する。録音部３５は、マスター情報に含まれる会議内容に関する会議が行われている間、周囲の音を録音する。

端末側関連処理部３７６は、撮像情報に含まれる会議内容と、情報処理装置５に保持されるマスター情報に含まれる会議内容との差分が検出される時機に基づき、その差分の差分情報と、録音部３５により録音される音の音情報とを関連付ける。本体側関連処理部１５３は、端末側関連処理部３７６により関連付けられる差分情報及び音情報を含む組情報と、マスター情報とを関連付ける。

記憶部２７は、マスター情報と、マスター情報の属性情報とを記憶する。マスター情報の属性情報は、マスター情報の保存先情報、マスター情報に含まれる会議内容を特定する特定情報、マスター情報に含まれる会議内容に関する会議の主催者に関する主催者情報、又は紙媒体Ｐに印字画像を形成させる指令をする出力者Ｚに関する出力者情報が含まれる。

識別処理部１５１は、記憶部２７に記憶されているマスター情報の属性情報から識別画像情報を生成する。識別画像情報は、マスター情報に含まれる会議内容に関連する情報であり、且つ上記のマスター情報の保存先情報が含まれる。よって、識別画像情報によりマスター情報の保存先情報が特定されれば、電子機器３は、マスター情報を取得することができる。

画像処理部１１ａは、マスター情報に含まれる会議内容から生成される会議資料画像情報と、識別処理部１５１により生成される識別画像情報とに基づき、紙媒体Ｐに印字画像を形成させる。画像処理部１１ａは、印字画像として、会議資料画像情報に基づく会議資料画像と、識別画像情報に基づく識別画像Ｘとを形成させる。

識別画像情報は、マスター情報の保存先情報に加え、紙媒体Ｐに印字画像を形成した日付情報と、電子機器３を操作中の利用者の個人ＩＤ等の情報とを含むことが好ましい。電子機器３を操作中の利用者が、上記の出力者Ｚと同一人物であれば、出力者情報を識別画像情報に含めることが好ましい。識別画像Ｘは、例えば、２次元コードにより表現されるものであり、撮像部３３により撮像して取得される。よって、撮像部３３は、２次元コード等を読み取るのに十分な解像度があることが好ましい。２次元コードは、例えば、ＱＲコード（登録商標）である。

画像制御部１５４は、マスター情報、マスター情報の属性情報、差分情報、音情報の少なくとも何れか一方から何れか他方を自在に出力するインターフェース画像を制御する。インターフェース画像は、差分情報に基づき、音情報を出力自在とするインターフェースである。

図６は、本発明の実施形態１における制御例を説明するフローチャートである。図６においては、情報処理装置５が出力した紙媒体Ｐに追加される追加事項を、電子機器３が差分として抽出すると共に、電子機器３は、差分と、差分を抽出したときの録音データとを関連付けて情報処理装置５に送信する。なお、ステップＳ１１の処理〜ステップＳ１４の処理が、情報処理装置５が実行する処理となる。また、ステップＳ２１の処理〜ステップＳ２２の処理が、電子機器３が実行する処理となる。

ステップＳ１１においては、マスター情報が取得される。マスター情報は、記憶部２７に記憶されているものであってもよく、ネットワーク９を介して新たに取得されるものであってもよい。ステップＳ１２において、識別画像Ｘが添加されて紙媒体Ｐに出力される。また、ステップＳ１２の処理の後に、ステップＳ２１の処理が実行可能となる。

ステップＳ２１において、差分関連付け処理が実行される。処理の詳細については後述する。ステップＳ２２において、差分情報及び音情報を含む組情報と、組情報とマスター情報とを関連付けさせる指令と、が送信される。ステップＳ２２の処理により、電子機器３から情報処理装置５に組情報及び関連付け指令が送信された後、ステップＳ１３の処理が実行可能となる。

ステップＳ１３において、差分情報及び音情報を含む組情報と、マスター情報と、が関連付けられる。ステップＳ１４において、ＧＵＩ化される。つまり、ステップＳ１４において、上記のインターフェース画像が出力される。

図７は、本発明の実施形態１における差分関連付け処理を説明するフローチャートである。図８は、本発明の実施形態１における差分が抽出されてから一時待機期間経過後にイベントと判定される一例を示す図である。図９は、本発明の実施形態１における差分が抽出される間隔が短期待機時間を超えないと判定される一例を示す図である。図１０は、本発明の実施形態１における発話タイミングの一例を示す図である。

図７においては、検知周期ごとに差分を抽出し、抽出した差分と音声と関連付ける処理と、音声及び文字を認識したときに音声と文字とを関連付ける処理との何れか一方が実行される。

ステップＳ３１において、識別画像情報が取得される。識別画像情報は、撮像部３３が識別画像Ｘを撮像して生成される撮像情報に含まれる。つまり、撮像情報の中から識別画像Ｘに対応する識別画像情報が抽出される。

ステップＳ３２において、識別画像情報に基づき、マスター情報が取得される。識別画像情報は、マスター情報の属性情報として、マスター情報の保存先情報が含まれる。よって、識別画像情報からマスター情報の保存先情報が抽出されれば、電子機器３は、ネットワーク９を介して、マスター情報を取得することができる。ネットワーク９を介して取得されたマスター情報は、会議の進行に伴い差分が生じているか否かを判定する基準データとなる。

ステップＳ３３において、録音が開始される。録音部３５により録音が開始されるが、手動で開始されるものであってもよく、タイマー等により会議の始まる時間に自動的に開始されるものであってもよい。

ステップＳ３４において、音声認識機能及び文字認識機能が作動するか否かが判定される。音声認識機能及び文字認識機能が作動すると判定される場合、ステップＳ４２に進む。一方、音声認識機能及び文字認識機能が作動すると判定されない場合、ステップＳ３５に進む。

ステップＳ３５において、検知周期であるか否かが判定される。検知周期であると判定される場合、ステップＳ３６に進む。検知周期であると判定されない場合、ステップＳ３５のままである。

ステップＳ３６において、差分があるか否かが判定される。差分があると判定される場合、ステップＳ３７に進む。一方、差分があると判定されない場合、ステップＳ４４に進む。

ステップＳ３７において、差分情報が取得される。差分情報は、撮像情報に基づき、抽出される情報である。よって、差分情報は、差分が生じている箇所及び差分を生じさせている画像が抽出されるのが好ましい。差分を生じさせている画像が抽出されれば、その画像を解析することにより、追加事項を特定することができる。

ステップＳ３８において、差分情報と音情報とが関連付けられる。差分が生じているときに対応する録音データが音情報となる。関連付けについてはイベント単位で実行される。具体的には、図８に示すように、イベント管理部３７１は、抽出部３７５により抽出される差分をイベントという単位で管理する。イベントは、会議の進行に伴う撮像情報の変化を示す指標であって、且つ差分が抽出されるときに開始され、一時待機期間にわたり、新たに差分が抽出されないときに終了する。よって、抽出部３７５は、音情報を、イベント管理部３７１により管理されるイベントに対応して抽出する。端末側関連処理部３７６は、イベントごとに、差分情報と、音情報とを関連付ける。

より具体的には、端末側関連処理部３７６は、イベントの開始前の初期時間と、イベントの終期時間とを、音情報の切り出し期間に含ませる。イベントの開始前の初期時間は、差分の抽出により紙媒体Ｐとしての出力物に変更がなされたと認識され、且つその変更が認められたときから一定時間前である。一方、イベントの終期時間は、出力物に変更がなされなくなってから一定時間、すなわち、一時待機時間にわたり、出力物に変更がなされなくなった後から一定時間後である。つまり、一定時間前から一定時間後までを、音情報の切り出し期間に含ませる。

なお、マスター情報と撮像情報との差分画像データ、マスター情報、及び日時情報は関連付けて保存されることが好ましい。

ステップＳ３９において、短期待機時間を超えるか否かが判定される。短期待機時間は、別の会議であるか否かの判定に使用される時間閾値である。短期待機時間を超えれば、別の会議とみなす。具体的には、短期待機時間を超えると判定される場合、ステップＳ４０に進む。一方、短期待機時間を超えると判定されない場合、ステップＳ４５に進む。

つまり、図９に示すように、抽出部３７５は、差分を抽出する差分抽出間隔が、短期待機時間を超えない場合、同一のマスター情報に基づき、差分を抽出する。

ステップＳ４０において、フラグが０に設定される。ステップＳ４１において、関連付けられた差分情報及び音情報が情報処理装置５に送信される。

ステップＳ４２において、フラグが１に設定される。ステップＳ４３において、紙媒体Ｐへの書き込み内容と音情報とが関連付けられ、ステップＳ３９に処理が移行する。具体的には、図１０に示すように、端末側関連処理部３７６は、イベントが発生してから無音状態が継続する場合、音声認識部３８による音声の認識を契機として音情報を抽出する。つまり、端末側関連処理部３７６は、文字認識部３２による紙媒体Ｐへの文字の書き込み開始と、音声認識部３８による音声の認識とを検知する場合、検知終期に基づき抽出される差分が抽出される時機よりも優先的に、紙媒体Ｐに書き込まれる文字と、音情報とを関連付ける。

ステップＳ４４において、位置が設定移動範囲を超えるか否かが判定される。位置が設定移動範囲を超えると判定される場合、ステップＳ４０に処理が移行する。一方、位置が設定移動範囲を超えると判定されない場合、ステップＳ３５に処理が移行する。具体的には、抽出部３７５は、電子機器３の位置が設定移動範囲を超えない場合、同一のマスター情報に基づき、差分を抽出する。

ステップＳ４５において、フラグが１であるか否かが判定される。フラグが１であると判定される場合、ステップＳ４３に処理が移行する。一方、フラグが１であると判定されない場合、ステップＳ３５に処理が移行する。

要するに、ステップＳ４４の処理の位置の設定移動範囲内という第１の条件、又はステップＳ３９の差分抽出間隔の短期待機時間内という第２の条件であれば、同一のマスター情報に基づき、差分が抽出される。つまり、１つのマスター情報及びそれに対応する日時情報は、上記第１の条件又は第２の条件を満たす限り、複数の差分画像データと音声データとが関連付いて保存されることが望ましい。

また、上記第１の条件又は第２の条件を満たす限り、電子機器３は、識別画像Ｘを常に捕らえている必要はない。また、複数の会議資料にそれぞれ異なる識別画像Ｘが添加され、且つ電子機器３がそれぞれの識別画像Ｘを捕らえる場合、設定移動範囲及び短期待機時間は、捕らえている会議資料の数に応じて動的に変更されればよい。

例えば、電子機器３が非連続的に識別画像Ｘを捕らえ、最後に差分の抽出を検知してから新規に差分の抽出を検知していない状態から、次の検知周期で差分の抽出を検知した場合、通常よりも多くの時間だけ遡って録音データを切り出して保存する。つまり、図８に示す初期時間を延長させて、録音データの切り出し開始時間をより過去となる延長用初期時間に設定する。

具体的には、端末側関連処理部３７６は、差分抽出間隔が短期待機時間を超えず、且つ差分を抽出する場合、又は電子機器３の位置が設定移動範囲を超えず、且つ差分を抽出する場合、イベントの開始前の初期時間を延長用初期時間に設定する。なお、延長用初期時間は会議の状況及び会議資料の量等に応じて適宜変更自在である。

また、検知周期、一時待機期間、又は音情報の切り出し期間は、変更自在である。短期待機時間又は設定移動範囲は、変更自在である。つまり、差分抽出間隔が、短期待機時間を超えない場合、又は電子機器３の位置が設定移動範囲を超えない場合、変更許可範囲内で、印字画像が形成される紙媒体Ｐの枚数に応じて動的に変更自在である。変更許可範囲は、非連続的に識別画像Ｘを捕らえるために必要な時間又は移動範囲に応じて設定されればよい。

なお、会議が行われている間、差分が消滅する場合、差分情報と、音情報との関連付けは解消される。例えば、会議中、一旦は追加した追加事項が削除される場合が該当する。

このようにして、マスター情報の変更点に相当する差分画像データと、その変更点が生じた周辺時間に録音された録音データと、そのときの日時データとは、上記第１の条件又は第２の条件を満たさなくなった場合、ネットワーク９を介して、マスター情報の保存先となっている情報処理装置５に送信される。

なお、電子機器３は、ネットワーク９と接続状態にない場合、一時的に組情報を記憶部３６に保持し、ネットワーク９と接続状態になり次第、組情報等を送信する。具体的には、電子機器３において、通信制御部３７７は、マスター情報の保存先情報に基づき、抽出部３７５により差分を抽出させるときに用いるマスター情報を取得させる。一方、情報処理装置５において、情報判定部１５２は、組情報が送信されているか否かを判定する。

より具体的には、通信制御部３７７は、情報処理装置５との通信を確立していない場合、組情報を保持させつつ、情報処理装置５の通信を確立してから組情報を送信させる。一方、本体側関連処理部１５３は、情報判定部１５２により組情報が送信されていると判定される場合、組情報と、マスター情報とを関連付けさせる。

次に、差分情報と、音情報と、出力者Ｚとが関連付けされる処理を図１１〜図１３を用いて概念的に説明する。図１１は、本発明の実施形態１における２次元コードの出力例を示す図である。図１１に示すように、マスター情報の属性情報から形成される識別画像Ｘと、記憶部２７に記憶されるマスター情報とに基づき、識別画像Ｘが添加された紙媒体Ｐとして出力物が出力される。

図１２は、本発明の実施形態１におけるマスター情報の取得例を示す図である。図１２に示すように、電子機器３は、識別画像Ｘに含まれる属性情報に基づき、情報処理装置５の記憶部２７が保持するマスター情報を記憶部３６に記憶する。

図１３は、本発明の実施形態１における会議の進行に伴い録音及び差分情報の追加が実施される一例を示す図である。図１３に示すように、差分が抽出される時機に基づき、録音データが順次切り出される。

次に、組情報に基づき出力されるインターフェース画像について図１４〜図１６を用いて説明する。図１４は、本発明の実施形態１における差分情報と、音情報との関連付けの一例を示す図である。図１４に示すように、電子機器３において組情報として関連付けられた差分画像データ及び録音データは、ネットワーク９を介して、情報処理装置５に転送される。情報処理装置５においては、差分画像データ及び録音データの組情報と、対応するマスター情報とが関連付けされる。

図１５は、本発明の実施形態１における差分情報と、音情報とを関連付けるデータ構造の一例を示す図である。例えば、組情報内においては、それぞれの文字情報が、音情報と関連付けされる。電子機器３内のマスター情報は、組情報単位で関連付けされる。一方、情報処理装置５内においては、電子機器３内と同様に、マスター情報は、組情報単位で関連付けされる。

図１６は、本発明の実施形態１におけるマスター情報と、差分情報と、音情報とが関連付けられているＧＵＩの一例を示す図である。図１６に示すように、１つの会議資料が、１つのマスター情報に対応している。１つのマスター情報に対応する会議結果が並べて配置した状態で表示される。会議結果に表示される差分情報の画像を操作すれば、その差分情報に関連付けられている音情報が呼び出され、音情報に基づく音声が再生される。なお、インターフェース画像は、ネットワーク９を介して、スマートフォン８又は端末７等により表示され、適宜音声が出力される。

次に、従来例と比較しつつ、本実施形態の作用効果について説明する。図１９は、従来における会議の進行に伴い差分情報の追加が実施される一例を示す図である。図２０は、従来における会議終了後の差分情報の価値を概略的に説明する図である。図１９に示すように、会議の進行に伴い、会議資料に追加事項が記載されていく。しかし、図２０に示すように、会議終了後、追加事項を追加した意味を思い出すことができないことが多い。

そこで、本実施形態において、差分情報及び音情報を含む組情報と、マスター情報とが関連付けられることにより、同一のマスター情報に含まれる会議内容において、差分情報と、音情報とが関連付けられるため、会議内容における差分情報の意味を音情報から確認することができる。

さらに、本実施形態において、紙媒体Ｐに形成される識別画像Ｘにマスター情報の保存先情報が含まれることにより、識別画像Ｘを読み取ればマスター情報がどこにあるかがわかるため、比較対象であるマスター情報を取得することができる。

さらに、本実施形態において、インターフェース画像が、差分情報に基づき、音情報を出力自在とするインターフェースであることにより、インターフェース画像を介して、差分情報と関連付けされている音情報を確認することができるため、差分情報の意味を確認することができる。

さらに、本実施形態において、撮像情報に含まれる会議内容の変化を示す指標であるイベントごとに、差分情報と、音情報とが関連付けられることにより、撮像情報に含まれる会議内容と、マスター情報に含まれる会議内容とに差分が生じたときに合わせて音情報を関連付けることができるため、差分が生じる時間帯に、音情報を抽出する時間帯を合わせることができる。

さらに、本実施形態において、イベントの開始前の初期時間と、イベントの終了後の終期時間とが、音情報の切り出し期間に含まれることにより、会議内容の変化の前後も含めて音情報が抽出されるため、差分情報の意味を確認するための音情報をより多く抽出することができる。

さらに、本実施形態において、差分抽出間隔が、短期待機時間を超えない場合、同一の紙媒体Ｐのマスター情報に基づき、差分が抽出されることにより、同一の会議であれば同一の紙媒体Ｐのマスター情報に対応させることができるため、会議に合わせたマスター情報に基づく処理を行うことができる。

さらに、本実施形態において、電子機器３の位置の変位が設定移動範囲を超えない場合、同一の紙媒体Ｐのマスター情報に基づき、差分が抽出されることにより、同一の会議であれば同一の紙媒体Ｐのマスター情報に対応させることができるため、会議に合わせたマスター情報に基づく処理を行うことができる。

さらに、本実施形態において、検知周期、一時待機期間、又は音情報が抽出される期間が、変更自在であることにより、各種設定を変えることができるため、会議内容に合わせた処理を行うことができる。

さらに、本実施形態において、短期待機時間又は設定移動範囲が、変更自在であることにより、各種設定を変えることができるため、会議の参加者の特徴に合わせた処理を行うことができる。

さらに、本実施形態において、検知周期、一時待機期間、音情報、短期待機時間、又は設定移動範囲は、差分抽出間隔が、短期待機時間を超えない場合、又は電子機器３の位置が設定移動範囲を超えない場合、変更許可範囲内で、印字画像が形成される紙媒体Ｐの枚数に応じて動的に変更自在であることにより、会議の内容と会議の参加者とに合わせて動的に各種設定を変えることができるため、差分情報と、音情報とをより正確に関連付けることができる。

さらに、本実施形態において、差分が消滅する場合、差分情報と、音情報との関連付けが解消されることにより、紙媒体Ｐへの追加事項が削除された場合には、紙媒体Ｐの追加事項と、その追加事項が追加されたときの音とを関連付けさせないため、会議の最新情報を反映させることができる。

さらに、本実施形態において、差分抽出間隔が、短期待機時間を超えず、且つ差分を抽出する場合、又は電子機器３の位置が設定移動範囲を超えず、且つ差分を抽出する場合、イベントの開始前の初期時間を延長用初期時間に設定することにより、イベントの開始タイミングより前の時間を長めに設定できるため、イベントの開始タイミングより前に、差分が発生していたとしても、音情報を差分発生タイミングに近いところから抽出することができる。

さらに、本実施形態において、イベントが発生してから無音状態が継続する場合、音の発生を契機として音情報が抽出されることにより、音情報を発話タイミングで抽出することができるため、会議中の録音情報から必要な音情報を効率よく抽出することができる。

さらに、本実施形態において、紙媒体Ｐへの書き込み開始タイミングと、音の発生とを検知する場合、検知周期に基づき抽出される差分が検出される時機よりも優先的に、紙媒体Ｐへの書き込み内容と、音情報とが関連付けられることにより、検知周期に基づき差分を抽出するよりも正確なタイミングで、音情報を抽出することができるため、会議中の録音情報から必要な音情報をより正確に抽出することができる。

さらに、本実施形態において、情報処理装置５との通信が確立されていない場合、差分情報及び音情報が保持させられつつ、情報処理装置５との通信が確立されてから差分情報及び前記音情報が送信されることにより、一時的に通信が確立されていなかったとしても、差分情報及び音情報が消去されることがないため、差分情報と、音情報と、マスター情報との関連付けを確実に行うことができる。

実施形態２．
実施形態２において、実施形態１と同一の構成については同一の符号を付記し、その説明については省略する。実施形態２においては、複数の出力者Ａ〜Ｃが１つのマスター情報を出力する場合について説明する。

図１７は、本発明の実施形態２における差分情報と、音情報との関連付けの一例を示す図である。図１７に示すように、出力者Ａによる差分画像データと録音データとの組情報と、出力者Ｂによる差分画像データと録音データとの組情報と、出力者Ｃによる差分画像データと録音データとの組情報と、が１つのマスター情報と関連付けられる。具体的には、組情報は、出力者情報ごとに、マスター情報と関連付けられる。

よって、本実施形態において、組情報が、出力者情報ごとに、マスター情報と関連付けられることにより、出力者単位で、マスター情報と、組情報とが関連付けられるため、同一の会議に使用される会議内容に、それぞれの参加者の追加事項を関連付けることができる。

実施形態３．
実施形態３において、実施形態１，２と同一の構成については同一の符号を付記し、その説明については省略する。実施形態３においては、インターフェース画像が実施形態１，２と異なる。

図１８は、本発明の実施形態３におけるマスター情報と、差分情報と、音情報とが関連付けられているＧＵＩの一例を示す図である。図１８に示すように、会議の進行状況を示す画像がインターフェース画像に含まれている。よって、会議の進行状況を示す画像が操作されることにより、その時点に対応する差分画像データ及び録音データを再現し得る。つまり、画像制御部１５４は、会議の進行状況を示す画像と、音情報と、差分情報とを関連付ける。

以上の説明から、本実施形態において、会議の進行状況に示す画像と、音情報と、差分情報とが関連付けられることにより、会議の進行状況に応じた音情報と、差分情報とを確認することができるため、差分情報が生じた話の流れを確認することができる。

以上、本発明に係る情報処理システム１を実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。

例えば、本実施形態においては、制御部１５が実現する機能としての画像制御部１５４について説明したが、特にこれに限定されるものではない。例えば、制御部１５とは独立して画像制御部１５４が別体で設けられてもよい。

また、眼鏡１０に電子機器３が装着されている一例について説明したが、これに限らず、眼鏡１０と、電子機器３とが一体型となっている構成であってもよい。

電子機器３と、情報処理装置５とが送受信する情報処理システム１の一例について説明したが、これに限らず、電子機器３の機能が搭載されたスマートフォン８と、情報処理装置５とが送受信するシステム構成であってもよい。この場合、電子機器３の機能を実現するアプリがスマートフォン８に搭載されればよい。

また、識別画像Ｘが２次元コードである一例について説明したが、これに限らず、バーコードのように１次元コードであってもよく、ＰＭコードのように３次元コードであってもよい。また、識別画像Ｘが２次元コードのうちＱＲコードである一例について説明したが、これに限らず、ＣＰコード等であってもよい。つまり、撮像部３３が識別画像Ｘを読み取ることにより、識別画像情報に含まれるマスター情報の属性情報が取得できるものであれば、特に限定されない。

なお、上記の説明においては、会議資料が１枚の場合について説明したが複数枚であってもよい。具体的には、１枚の紙媒体Ｐにつき、１つの識別画像Ｘが添加されてもよい。このように、紙媒体Ｐと、識別画像Ｘとが１対１対応である場合、それぞれの識別画像Ｘを識別する識別子が別途含まれてもよい。また、複数の紙媒体Ｐの何れか１枚に、１つの識別画像Ｘが添加されてもよい。つまり、電子機器３が基準データとなるマスター情報を取得できればよい。

また、上記のように、紙媒体Ｐが複数枚である場合、マスター情報には、複数枚分の情報が含まれる。よって、紙媒体Ｐの各頁の印字画像と、それに対応するマスター情報との差分を抽出する場合、撮像部３３による撮像情報に基づき、どの頁のものであるかが識別されることが好ましい。例えば、頁番号を参照することにより、どの頁のものであるかが識別されてもよい。また、例えば、撮像情報から特徴点を抽出し、マスター情報から再現され得る印字画像から特徴点を抽出し、その一致箇所及び類似箇所等に基づき、どの頁のものであるかが識別されてもよい。

１ 情報処理システム
３ 電子機器
１０ 眼鏡
３１ 表示部
３２ 文字認識部
３３ 撮像部
３４ 位置情報取得部
３５ 録音部
３６ 記憶部
３７ 制御部
３７１ イベント管理部
３７２ 位置判定部
３７３ 発話有無判定部
３７４ 書き込み開始判定部
３７５ 抽出部
３７６ 端末側関連処理部
３７７ 通信制御部
３８ 音声認識部
３９ 通信部
５ 情報処理装置
１１ プリンター部
１１ａ 画像処理部
１１ｂ 画像形成部
１３ 電源部
１５ 制御部
１５１ 識別処理部
１５２ 情報判定部
１５３ 本体側関連処理部
１５４ 画像制御部
１７ 画像読取部
１７ａ 自動原稿送り装置
１９ 通信部
２１ 操作表示部
２３ 排紙トレイ
２５，２５ａ〜２５ｃ 給紙カセット
２７ 記憶部
７ 端末
８ スマートフォン
９ ネットワーク
Ｐ 紙媒体
Ｘ 識別画像
Ａ〜Ｃ，Ｚ 出力者

Claims (25)

1. 電子機器と、
   前記電子機器と各種情報を送受信する情報処理装置と、を備える情報処理システムであって、
   前記電子機器は、
   撮像部と、
   検知周期ごとに、前記撮像部により撮像される紙媒体の撮像情報に基づき、前記撮像情報に含まれる会議内容と、前記情報処理装置に保持されるマスター情報に含まれる会議内容との差分を抽出する抽出部と、
   前記マスター情報に含まれる会議内容に関する会議が行われている間、周囲の音を録音する録音部と、
   前記差分の抽出に応じて前記差分が検出される時機に基づき、前記差分の差分情報と、前記録音部により録音される音の音情報とを関連付ける端末側関連処理部と、
   を備え、
   前記情報処理装置は、
   前記端末側関連処理部により関連付けられて前記電子機器から送信される前記差分情報及び前記音情報を含む組情報と、前記マスター情報とを関連付ける本体側関連処理部
   を備える、
   情報処理システム。
2. 前記情報処理装置は、
   前記マスター情報と、前記マスター情報の属性情報とを記憶する記憶部と、
   前記記憶部に記憶されている前記マスター情報の属性情報から識別画像情報を生成する識別処理部と、
   前記マスター情報に含まれる会議内容から生成される会議資料画像情報と、前記識別処理部により生成される識別画像情報とに基づき、前記紙媒体に印字画像を形成させる画像処理部と、
   をさらに備え、
   前記画像処理部は、
   前記印字画像として、
   前記会議資料画像情報に基づく会議資料画像と、前記識別画像情報に基づく識別画像とを形成させ、
   前記識別画像情報は、
   前記マスター情報の属性情報の１つである前記マスター情報の保存先情報が含まれる、
   請求項１に記載の情報処理システム。
3. 前記情報処理装置は、
   前記マスター情報、前記マスター情報の属性情報、前記差分情報、前記音情報の少なくとも何れか一方から何れか他方を自在に出力するインターフェース画像を制御する画像制御部
   をさらに備え、
   前記インターフェース画像は、
   前記差分情報に基づき、前記音情報を出力自在とするインターフェースであり、
   前記マスター情報の属性情報は、
   前記マスター情報の保存先情報に加え、前記マスター情報に含まれる会議内容を特定する特定情報、前記会議の主催者に関する主催者情報、又は前記紙媒体に前記印字画像を形成させる指令をする出力者に関する出力者情報が含まれる、
   請求項２に記載の情報処理システム。
4. 前記電子機器は、
   前記抽出部により抽出される前記差分をイベントという単位で管理するイベント管理部
   をさらに備え、
   前記抽出部は、
   前記音情報を、前記イベント管理部により管理される前記イベントに対応して抽出し、
   前記イベントは、
   前記会議の進行に伴う前記撮像情報の変化を示す指標であって、且つ
   前記差分が抽出されるときに開始され、一時待機期間にわたり、新たに前記差分が抽出されないときに終了し、
   前記端末側関連処理部は、
   前記イベントごとに、前記差分情報と、前記音情報とを関連付ける、
   請求項３に記載の情報処理システム。
5. 前記端末側関連処理部は、
   前記イベントの開始前の初期時間と、前記イベントの終了後の終期時間とを、前記音情報の切り出し期間に含ませる、
   請求項４に記載の情報処理システム。
6. 前記抽出部は、
   前記差分が抽出される差分抽出間隔が、短期待機時間を超えない場合、同一の前記マスター情報に基づき、前記差分を抽出する、
   請求項５に記載の情報処理システム。
7. 前記抽出部は、
   前記電子機器の位置が設定移動範囲を超えない場合、同一の前記マスター情報に基づき、前記差分を抽出する、
   請求項６に記載の情報処理システム。
8. 前記検知周期、前記一時待機期間、又は前記音情報の切り出し期間は、変更自在である、
   請求項７に記載の情報処理システム。
9. 前記短期待機時間又は前記設定移動範囲は、変更自在である、
   請求項８に記載の情報処理システム。
10. 前記検知周期、前記一時待機期間、前記音情報の切り出し期間、前記短期待機時間、又は前記設定移動範囲は、
    前記差分抽出間隔が、前記短期待機時間を超えない場合、又は前記電子機器の位置が前記設定移動範囲を超えない場合、変更許可範囲内で、前記印字画像が形成される前記紙媒体の枚数に応じて動的に変更自在である、
    請求項９に記載の情報処理システム。
11. 前記端末側関連処理部は、
    前記会議が行われている間、前記差分が消滅する場合、前記差分情報と、前記音情報との関連付けを解消する、
    請求項１０に記載の情報処理システム。
12. 前記端末側関連処理部は、
    前記差分抽出間隔が、前記短期待機時間を超えず、且つ前記差分を抽出する場合、又は前記電子機器の位置が前記設定移動範囲を超えず、且つ前記差分を抽出する場合、前記イベントの開始前の初期時間を延長用初期時間に設定する、
    請求項１１に記載の情報処理システム。
13. 音声を認識する音声認識部
    をさらに備え、
    前記端末側関連処理部は、
    前記イベントが発生してから無音状態が継続する場合、前記音声認識部による音声の認識を契機として前記音情報を抽出する、
    請求項１２に記載の情報処理システム。
14. 文字を認識する文字認識部
    をさらに備え、
    前記端末側関連処理部は、
    前記文字認識部による前記紙媒体への文字の書き込み開始と、前記音声認識部による音声の認識とを検知する場合、前記検知周期に基づき抽出される前記差分が検出される時機よりも優先的に、前記紙媒体に書き込まれる文字と、前記音情報とを関連付ける、
    請求項１３に記載の情報処理システム。
15. 前記組情報は、
    前記出力者情報ごとに、前記マスター情報と関連付けられる、
    請求項１４に記載の情報処理システム。
16. 前記インターフェース画像は、
    前記会議の進行状況を示す画像を含み、
    前記画像制御部は、
    前記会議の進行状況を示す画像と、前記音情報と、前記差分情報とを関連付ける、
    請求項３〜１５の何れか一項に記載の情報処理システム。
17. 前記電子機器は、
    前記マスター情報の保存先情報に基づき、前記抽出部により前記差分を抽出させるときに用いる前記マスター情報を取得させる通信制御部
    をさらに備え、
    前記情報処理装置は、
    前記組情報が送信されているか否かを判定する情報判定部
    をさらに備え、
    前記通信制御部は、
    前記情報処理装置との通信を確立していない場合、前記組情報を保持させつつ、前記情報処理装置との通信を確立してから前記組情報を送信させ、
    前記本体側関連処理部は、
    前記情報判定部により前記組情報が送信されていると判定される場合、前記組情報と、前記マスター情報とを関連付けさせる、
    請求項１〜１６の何れか一項に記載の情報処理システム。
18. 情報処理装置と各種情報を送受信する電子機器であって、
    撮像部と、
    検知周期ごとに、前記撮像部により撮像される紙媒体の撮像情報に基づき、前記撮像情報に含まれる会議内容と、前記情報処理装置に保持されるマスター情報に含まれる会議内容との差分を抽出する抽出部と、
    前記マスター情報に含まれる会議内容に関する会議が行われている間、周囲の音を録音する録音部と、
    前記差分が検出される時機に基づき、前記差分の差分情報と、前記録音部により録音される音の音情報とを関連付ける端末側関連処理部と、
    前記端末側関連処理部により関連付けられる前記差分情報及び前記音情報を含む組情報と、前記組情報と、前記マスター情報とを関連付けさせる指令とを前記情報処理装置に送信する通信部と、
    を備える、
    電子機器。
19. 前記端末側関連処理部は、
    イベントごとに、前記差分情報と、前記音情報とを関連付け、
    前記イベントは、
    前記会議の進行に伴う前記撮像情報の変化を示す指標であって、且つ
    前記差分が抽出されるときに開始され、一時待機期間にわたり、新たに前記差分が抽出されないときに終了する、
    請求項１８に記載の電子機器。
20. 電子機器と各種情報を送受信する情報処理装置であって、
    マスター情報と、前記マスター情報の属性情報とを記憶する記憶部と、
    前記記憶部に記憶されている前記マスター情報の属性情報から識別画像情報を生成する識別処理部と、
    前記マスター情報に含まれる会議内容から生成される会議資料画像情報と、前記識別処理部により生成される識別画像情報とに基づき、紙媒体に印字画像を形成させる画像処理部と、
    前記画像処理部により前記印字画像が形成された前記紙媒体の撮像情報に含まれる会議内容と前記マスター情報に含まれる会議内容との差分の差分情報及び前記印字画像が形成された前記紙媒体の周囲の音の音情報が前記電子機器により関連付けられて前記電子機器から送信される組情報と、前記マスター情報とを関連付ける本体側関連処理部と、
    を備える、
    情報処理装置。
21. 電子機器と、
    前記電子機器と各種情報を送受信する情報処理装置と、を備える情報処理システムにより実行される情報処理方法であって、
    前記電子機器において、
    撮像する撮像ステップと、
    検知周期ごとに、前記撮像ステップにより撮像される紙媒体の撮像情報に基づき、前記撮像情報に含まれる会議内容と、前記情報処理装置に保持されるマスター情報に含まれる会議内容との差分を抽出する抽出ステップと、
    前記マスター情報に含まれる会議内容に関する会議が行われている間、周囲の音を録音する録音ステップと、
    前記差分の抽出に応じて前記差分が検出される時機に基づき、前記差分の差分情報と、前記録音ステップにより録音される音の音情報とを関連付ける端末側関連処理ステップと、
    前記情報処理装置において、
    前記端末側関連処理ステップにより関連付けられて前記電子機器から送信される前記差分情報及び前記音情報を含む組情報と、前記マスター情報とを関連付ける本体側関連処理ステップ
    を含む、
    情報処理方法。
22. 情報処理装置と各種情報を送受信する電子機器により実行される電子機器処理方法であって、
    撮像する撮像ステップと、
    検知周期ごとに、前記撮像ステップにより撮像される紙媒体の撮像情報に基づき、前記撮像情報に含まれる会議内容と、前記情報処理装置に保持されるマスター情報に含まれる会議内容との差分を抽出する抽出ステップと、
    前記マスター情報に含まれる会議内容に関する会議が行われている間、周囲の音を録音する録音ステップと、
    前記差分の抽出に応じて前記差分が検出される時機に基づき、前記差分の差分情報と、前記録音ステップにより録音される音の音情報とを関連付ける端末側関連処理ステップと、
    前記端末側関連処理ステップにより関連付けられる前記差分情報及び前記音情報を含む組情報と、前記組情報と、前記マスター情報とを関連付けさせる指令とを前記情報処理装置に送信する通信ステップと、
    を含む、
    電子機器処理方法。
23. 情報処理装置と各種情報を送受信する電子機器を制御するコンピュータを、
    撮像部と、
    検知周期ごとに、前記撮像部により撮像される紙媒体の撮像情報に基づき、前記撮像情報に含まれる会議内容と、前記情報処理装置により保持されるマスター情報に含まれる会議内容との差分を抽出する抽出部と、
    前記マスター情報に含まれる会議内容に関する会議が行われている間、周囲の音を録音する録音部と、
    前記差分の抽出に応じて前記差分が検出される時機に基づき、前記差分の差分情報と、前記録音部により録音される音の音情報とを関連付ける端末側関連処理部と、
    前記端末側関連処理部により関連付けられる前記差分情報及び前記音情報を含む組情報と、前記組情報と、前記マスター情報とを関連付けさせる指令とを前記情報処理装置に送信する通信部と、
    として機能させるための、プログラム。
24. 電子機器と各種情報を送受信する情報処理装置により実行される情報処理方法であって、
    マスター情報と、前記マスター情報の属性情報とを記憶する記憶ステップと、
    前記記憶ステップに記憶されている前記マスター情報の属性情報から識別画像情報を生成する識別処理ステップと、
    前記マスター情報に含まれる会議内容から生成される会議資料画像情報と、前記識別処理ステップにより生成される識別画像情報とに基づき、紙媒体に印字画像を形成させる画像処理ステップと、
    前記画像処理ステップにより前記印字画像が形成された前記紙媒体の撮像情報に含まれる会議内容と前記マスター情報に含まれる会議内容との差分の差分情報及び前記印字画像が形成された前記紙媒体の周囲の音の音情報が前記電子機器により関連付けられて前記電子機器から送信される組情報と、前記マスター情報とを関連付ける本体側関連処理ステップと、
    を含む、
    情報処理方法。
25. 電子機器と各種情報を送受信する情報処理装置を制御するコンピュータを、
    マスター情報と、前記マスター情報の属性情報とを記憶する記憶部と、
    前記記憶部に記憶されている前記マスター情報の属性情報から識別画像情報を生成する識別処理部と、
    前記マスター情報に含まれる会議内容から生成される会議資料画像情報と、前記識別処理部により生成される識別画像情報とに基づき、紙媒体に印字画像を形成させる画像処理部と、
    前記画像処理部により前記印字画像が形成された前記紙媒体の撮像情報に含まれる会議内容と前記マスター情報に含まれる会議内容との差分の差分情報及び前記印字画像が形成された前記紙媒体の周囲の音の音情報が前記電子機器により関連付けられて前記電子機器から送信される組情報と、前記マスター情報とを関連付ける本体側関連処理部と、
    として機能させるための、プログラム。
    

Images