JP6561938B2 - 印刷物処理システム - Google Patents

Description

本発明は、印刷物処理システム、特に、印刷物に電子化文書と同様のユーザーインタラクションを導入する技術に関する。

近年、多くの文書が電子化されてアーカイブされるようになったことで、電子化文書の管理、特に紙媒体文書と電子化文書との対応関係の管理が重要になっている。例えば、下記特許文献１には、紙媒体文書と電子化文書との対応関係を管理し、ペン型入力装置を紙媒体上に置くと、対応する電子化文書のどの部分が指されたのかがわかる電子文書管理システムが開示されている。

特開２００６−２８５９０８号公報

紙媒体文書（印刷物）はイメージスキャナーでスキャンすることにより容易に電子化することができる。また、ＯＣＲ（Optical Character Recognition）技術を利用することにより、文書中の文字をテキストデータ化することもできる。このように、紙媒体文書を電子化及びテキストデータ化してコンピューターで処理可能にすることで、電子化文書を全文検索したり、電子化文書中のテキストを検索キーにしてインターネットで情報検索したり、得られた検索結果を電子化文書上に表示させたりするといった電子化文書の２次利用がしやすくなる。

一方で、端末の画面が小さいため電子化文書の全体を表示することができない、あるいは一度に多数の電子化文書を広げて表示することができないなどの理由により、電子化文書よりもオリジナルの紙媒体文書の方が好んで利用されることも多い。しかし、紙媒体文書には、電子化文書のような全文検索、インターネット検索、別の情報の付加などのコンピューター技術を活用した２次利用ができないといった不便さがある。上記特許文献１によると、上記のように、ペン型入力装置を紙媒体上に置くと、対応する電子化文書のどの部分が指されたのかがわかるようになっているが、それには紙媒体に所定フォーマットのアドレス情報が印刷されている必要があり、利用範囲は限定的である。

本発明は、上記の問題を解決するためになされたものであり、紙媒体に示された情報に基づいて、インターネット検索やコンピューター技術の活用を容易に可能にすることを目的とする。

本発明の一局面に係る印刷物処理システムは、眼鏡型ウェアラブル端末と、印刷物を光学的に読み取って前記印刷物の画像データを生成するイメージスキャナーと、前記画像データ中の文字を認識して前記画像データに認識したテキストを重畳したテキスト付き画像データを生成するＯＣＲ装置と、前記テキスト付き画像データを保存する画像データ保存装置とを備え、前記眼鏡型ウェアラブル端末は、ユーザーによる視認が可能にユーザーの視界に映像を重ねて表示する表示部と、前記表示部の投影映像の表示を制御する表示制御部と、ユーザーの視界映像を撮像する撮像部と、前記画像データ保存装置に保存されたテキスト付き画像データのうち前記視界映像に写った印刷物に対応するテキスト付き画像データを特定する画像データ特定部と、前記視界映像に写った印刷物の上に置かれた指の先端位置を特定する指先端位置特定部と、前記特定されたテキスト付き画像データを参照して前記特定された指の先端位置において指で隠された文字を特定する文字特定部と、前記特定された文字を検索キーとして情報検索を行う情報検索部とを有し、前記表示制御部は、前記情報検索部による検索結果を前記表示部に表示させるものである。

本発明によれば、紙媒体に示された情報に基づいて、インターネット検索やコンピューター技術の活用が容易に可能になる。これにより、例えば、印刷物に電子化文書と同様なユーザーインタラクションを導入することが可能になる。

本発明の一実施形態に係る印刷物処理システムを含むシステムの概要図である。 印刷物処理システムにおける眼鏡型ウェアラブル端末の主要内部構成を示す機能ブロック図である。 眼鏡型ウェアラブル端末の動作例を示すフローチャートである。 印刷物の一例である路線図を示す図である。 図４の路線図上で出発地を指定しているときに眼鏡型ウェアラブル端末を通して視認されるユーザーの視界を示す図である。 図４の路線図上で目的地を指定しているときに眼鏡型ウェアラブル端末を通して視認されるユーザーの視界を示す図である。 経路探索完了時に眼鏡型ウェアラブル端末を通して視認されるユーザーの視界を示す図である。 各種情報取得時に眼鏡型ウェアラブル端末を通して視認されるユーザーの視界を示す図である。

以下、本発明の一実施形態に係る印刷物処理システムについて図面を参照して説明する。図１は、本発明の一実施形態に係る印刷物処理システムの概要図である。

本実施形態に係る印刷物処理システムは、眼鏡型ウェアラブル端末１と、複合機２と、サーバー装置３とを備える。眼鏡型ウェアラブル端末１と、複合機２と、サーバー装置３とは、ＬＡＮ又はインターネットなどのネットワーク４に接続されて互いに通信できるようになっている。

眼鏡型ウェアラブル端末１は、眼鏡のように装着してユーザーの視界に映像を重ねて表示することができる端末である。ユーザーは、眼鏡型ウェアラブル端末１を頭部に装着して周りを見ることで、視界内にあるものに眼鏡型ウェアラブル端末１が生成した映像を重ねて見ることができる。なお、眼鏡型ウェアラブル端末１は、無線１００により複合機２やネットワーク４に接続して通信することができる。

複合機２は、プリンター、コピー機、ファクシミリ、イメージスキャナーなどの機能が一つにまとめられた機器である。これら機能のうちイメージスキャナーが本実施形態に関係する。複合機２は、イメージスキャナー２１，ＯＣＲ装置２２、及び画像データ保存装置２３を備える。イメージスキャナー２１は、原稿（印刷物５）を光学的に読み取って印刷物５の画像データを生成するものである。複合機２において原稿読み取りはユーザーがプラテンガラス上に原稿を１枚ずつセットして行う他、ＡＤＦ（Auto Document Feeder）に複数の原稿をセットすることで１枚ずつ自動的に読み取らせることもできる。

更に複合機２はＯＣＲ装置２２を備える。ＯＣＲ装置２２は、イメージスキャナー２１により生成された画像データ中の文字をＯＣＲ機能により認識してテキストデータを抽出するものであり、ソフトウェア若しくはハードウェア又はそれらの組み合わせで構成することができる。

本実施形態で使用するＯＣＲ装置２２は、画像データと、当該画像データをＯＣＲ機能により変換したテキストデータとを組み合わせて、当該画像データに当該認識したテキストを重畳したテキスト付き画像データを生成する。すなわち、テキスト付き画像データでは、画像データ中の各文字を表す画像部分にその文字のテキストデータが重畳されている。

更に複合機２は画像データ保存装置２３を備える。画像データ保存装置２３は、ＯＣＲ装置２２が生成したテキスト付き画像データを保存する機器であり、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はフラッシュメモリー、或いは、それらの組み合わせによって構成される。また、画像データ保存装置２３は、予め定められた各種の電車路線図、地図等の画像データを記憶している。

サーバー装置３は、経路探索、画像検索、情報検索などの各種検索サービスやＳＮＳプラットフォームなどを提供するコンピューター装置である。また、サーバー装置３は、様々なユーザーの投稿情報を保存するデータベースでもある。

本実施形態において、眼鏡型ウェアラブル端末１は、印刷物５に電子化文書と同様のユーザーインタラクションを導入する。すなわち、ユーザーは、眼鏡型ウェアラブル端末１を装着して印刷物５を見ることで印刷物５を電子化文書のように取り扱うことができる。そのために眼鏡型ウェアラブル端末１は次のような構成を有する。

図２は、眼鏡型ウェアラブル端末１の主要内部構成を示す機能ブロック図である。眼鏡型ウェアラブル端末１は、制御部１０１、表示部１０２、撮像部１０３、通信部１０４、メモリー１０５、画像データ特定部１０６、指先端位置特定部１０７、文字特定部１０８、情報検索部１０９、表示制御部１１０、及び指ジェスチャー特定部１１１を備える。これら構成要素は、内部バス１１３で互いに接続されている。

制御部１０１は、眼鏡型ウェアラブル端末１の全体的な動作制御を司る。

表示部１０２は、ユーザーによる視認が可能に映像を表示する。本実施形態では、表示部１０２を、ユーザーの網膜に映像を投影するデバイス（投影装置）からなるものとする。表示部１０２が、ユーザーの網膜に映像を投影することにより、眼鏡型ウェアラブル端末１で生成された映像を仮想現実としてユーザーの目の前に表示する。

撮像部１０３は、ユーザーの視界映像を撮像するデバイスであり、例えば、小型ＣＣＤカメラである。

通信部１０４は、複合機２やサーバー装置３などの他の機器と無線通信するデバイスである。無線通信方式として、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）などが利用可能である。

メモリー１０５は、ＲＯＭやフラッシュメモリーなどの不揮発性メモリーと、ＲＡＭなどの揮発性メモリーとを含むデバイスである。メモリー１０５は、眼鏡型ウェアラブル端末１の動作プログラムを保持する。

画像データ特定部１０６は、画像データ保存装置２３に保存されたテキスト付き画像データのうち、撮像部１０３により撮像された視界映像に写った印刷物５、すなわち、ユーザーが今見ている印刷物５に対応するテキスト付き画像データを特定する。例えば、画像データ特定部１０６は、パターンマッチング技術を用いて、撮像部１０３による印刷物の撮像で得られた画像データと、画像データ保存装置２３に保存されたテキスト付き画像データとを対比して、撮像部１０３による印刷物の撮像で得られた画像データに最も近似するテキスト付き画像データを特定する。

指先端位置特定部１０７は、撮像部１０３により撮像された視界映像に写った印刷物５の上に置かれた指の先端位置を特定する。すなわち、指先端位置特定部１０７は、ユーザーが今見ている印刷物５において任意の箇所を指で指し示したとき、その指の先端位置を特定する。具体的には、指先端位置特定部１０７は、例えばパターンマッチング技術により、画像データ保存装置２３に記憶されている上記各種の電車路線図及び地図等の画像データの中から、撮像部１０３により撮像された視界映像に写った、上記指の先端を含む印刷物５の画像データに近似する画像データを検出する。そして、指先端位置特定部１０７は、当該検出した画像データと、上記指の先端を含む印刷物５の画像データとで相違する画像データ部分を抽出し、当該抽出した画像データ部分の印刷物５における位置を、印刷物５の上に置かれた指の先端位置として特定する。

文字特定部１０８は、画像データ特定部１０６により特定されたテキスト付き画像データにおいて、指先端位置特定部１０７により特定された指の先端位置に配置されているテキストデータが示す文字を特定する。

情報検索部１０９は、文字特定部１０８により特定された文字を検索キーとして、通信部１０４及びネットワーク４を通じてサーバー装置３にアクセスして情報検索を行う。また、情報検索部１０９は、下記の仮想のグラフィカルユーザーインターフェース（仮想ＧＵＩ）に対するユーザー操作に応じて情報検索を行う。

表示制御部１１０は、表示部１０２に映像を表示させて、ユーザーの視界内に仮想現実を表示させる。具体的には、表示制御部１１０は、情報検索部１０９による検索結果を表示部１０２に表示させたり、仮想ＧＵＩを表示部１０２に表示させたりする。

指ジェスチャー特定部１１１は、撮像部１０３により撮像された視界映像に写った指のジェスチャーを特定する。具体的には、指ジェスチャー特定部１１１は、予め定められた一般的に指の画像との対比や、撮像部１０３により直前に撮像された画像との対比により、指の本数、指の動き、指の向き、指の移動方向などを検出して、指のジェスチャーを特定する。本実施形態では、この指ジェスチャーにより複雑な検索条件を指定することができる。

なお、画像データ特定部１０６、指先端位置特定部１０７、文字特定部１０８、情報検索部１０９、表示制御部１１０、及び指ジェスチャー特定部１１１は、専用のハードウェア回路で実現できる他、コンピュータープログラムとしてメモリー１０５に記憶しておき、図略のＣＰＵによってメモリー１０５から読み出されて実行されるように実現することもできる。

次に、眼鏡型ウェアラブル端末１を用いた情報検索について説明する。図３は、眼鏡型ウェアラブル端末１の動作例を示すフローチャートである。以下、印刷物５として図４に示したような路線図を使用し、紙媒体の路線図を参照して経路探索を行う例について説明する。なお、印刷物５は、書籍のページでもよいし、ハードコピーでもよい。

ユーザーが眼鏡型ウェアラブル端末１を装着することで撮像部１０３はユーザーの視界映像を撮像する（Ｓ１１）。ユーザーが印刷物５を見ることで、視界映像に印刷物５が写り込む。

画像データ特定部１０６は、撮像部１０３により撮像された視界映像において印刷物５を認識し、画像データ保存装置２３に保存されたテキスト付き画像データと、視界映像から認識した印刷物５の当該画像とを比較して、画像データ保存装置２３に保存されたテキスト付き画像データのうちユーザーが今見ている印刷物５に対応する画像データを特定する（Ｓ１２）。なお、テキスト付き画像データの特定処理に先だって、ユーザーが複合機２に印刷物５を読み取らせてそのテキスト付き画像データが画像データ保存装置２３に保存されているものとする。

指先端位置特定部１０７は、撮像部１０３により撮像された視界映像において印刷物５を認識し、その上に置かれた指を認識し、その指の先端位置を特定する（Ｓ１３）。

図５は、図４の路線図（印刷物５）上で出発地を指定しているときに眼鏡型ウェアラブル端末１を通して視認されるユーザーの視界を示す図である。図４の路線図（印刷物）を用いて経路探索を行う場合、表示制御部１１０が表示部１０２に仮想ＧＵＩ１１を表示させることで、図５に示すようにユーザーには仮想ＧＵＩ１１が仮想現実として見える。ここで例えば、ユーザーは出発地を指定するために今見ている印刷物５において左手２０１の指２０２（人差し指）で「天王寺駅」の画像部分ｄ１１を指し示しているものとする。このとき、指先端位置特定部１０７は、撮像部１０３により撮像された視界映像に写った印刷物５において「天王寺駅」の画像部分ｄ１１に指２０２の先端があると特定する。

指先端位置特定部１０７が指２０２の先端位置を特定すると、文字特定部１０８は、画像データ特定部１０６により特定されたテキスト付き画像データを参照して、指先端位置特定部１０７により特定された指２０２の先端位置において指２０２で隠された文字を特定する（Ｓ１４）。例えば、図４の路線図を複合機２で読み取って生成されたテキスト付き画像データにおいて、「天王寺駅」の画像部分ｄ１１には「天王寺」というテキストデータが重畳されている。従って、図５に示すようにユーザーが印刷物５中の天王寺駅を指２０２で指し示している場合、文字特定部１０８は、テキスト付き画像データを参照して指２０２の先端位置において指２０２で隠された文字が「天王寺」という駅名であると特定することができる。

文字特定部１０８により文字（ここでは駅名）が特定されると、指ジェスチャー特定部１１１は、撮像部１０３により撮像された視界映像に写った指のジェスチャーを特定する（Ｓ１５）。図５の場合、指ジェスチャー特定部１１１は、１本指で印刷物５上の任意の箇所を指し示していると特定する。

情報検索部１０９は、文字特定部１０８及び指ジェスチャー特定部１１１の結果を受けて検索条件を設定する（Ｓ１６）。図５の場合、情報検索部１０９は、天王寺駅を経路探索の出発地として設定する。

この時点においてまだ目的地が指定されていないため、情報検索部１０９は経路探索を開始せずに（Ｓ１７でＮＯ）、処理はステップＳ１３に戻って目的地の指定待ちとなる。

図６は、図４の路線図上で目的地を指定しているときに眼鏡型ウェアラブル端末を通して視認されるユーザーの視界を示す図である。図４の路線図を用いて経路探索を行う場合、表示制御部１１０が表示部１０２に仮想ＧＵＩ１２を表示させることで、図６に示すようにユーザーには仮想ＧＵＩ１２が仮想現実として見える。ここで例えば、ユーザーは目的地を指定するために今見ている印刷物５において左手２０１の指２０２（人差し指）と指２０３（中指）で「大阪駅」の画像部分ｄ１２を指し示しているものとする。このとき、指先端位置特定部１０７は、撮像部１０３により撮像された視界映像に写った印刷物５において「大阪駅」の画像部分ｄ１２に指２０２及び２０３の先端があると特定する。

指先端位置特定部１０７が指２０２及び２０３の先端位置を特定すると、文字特定部１０８は、画像データ特定部１０６により特定されたテキスト付き画像データを参照して、指先端位置特定部１０７により特定された指２０２及び２０３の先端位置において指２０２及び２０３で隠された文字を特定する（Ｓ１４）。例えば、図４の路線図を複合機２で読み取って生成されたテキスト付き画像データにおいて「大阪駅」の画像部分には「大阪」というテキストデータが重畳されている。従って、図６に示すようにユーザーが印刷物５中の「大阪駅」を指２０２及び２０３で指し示している場合、文字特定部１０８は、テキスト付き画像データを参照して指２０２及び２０３の先端位置において指２０２及び２０３で隠された文字が「大阪」という駅名であると特定することができる。

文字特定部１０８により文字（ここでは駅名）が特定されると、指ジェスチャー特定部１１１は、撮像部１０３により撮像された視界映像に写った指のジェスチャーを特定する（Ｓ１５）。図６の場合、指ジェスチャー特定部１１１は、２本指で印刷物５上の任意の箇所を指し示していると特定する。文字特定部１０８は、当該指ジェスチャー特定部１１１による特定結果に基づいて、１本指で指し示された位置について特定された文字が出発地を示し、２本指で指し示された位置について特定された文字が目的地を示すものとして特定する。

情報検索部１０９は、文字特定部１０８及び指ジェスチャー特定部１１１の結果を受けて検索条件を設定する（Ｓ１６）。本実施形態では、情報検索部１０９は、「天王寺駅」を経路探索の出発地として設定し、「大阪駅」を経路探索の目的地として検索条件を設定する。

経路探索の出発地と目的地が指定されると、表示制御部１１０は、表示部１０２に仮想ＧＵＩ１３を表示させる（図６）。仮想ＧＵＩ１３においてユーザーにより指定された出発地と目的地が表示され、また、検索開始ボタン１４が含まれている。情報検索部１０９は、ユーザーが検索開始ボタン１４を押す操作を検知すると（Ｓ１７でＹＥＳ）、経路探索を実行する（Ｓ１８）。具体的には、情報検索部１０９は、通信部１０４及びネットワーク４を通じて、経路探索サービスを提供するサーバー装置３にアクセスし、出発地及び目的地をサーバー装置３に送信する。サーバー装置３は、与えられた条件で経路を探索してその結果を眼鏡型ウェアラブル端末１に送信する。

なお、出発地及び目的地が指定されてから検索開始ボタン１４が一定時間以上押されなかった場合には、情報検索部１０９は自動的に経路探索を開始するようにしてもよい。

表示制御部１１０は、サーバー装置３から通信部１０４及びネットワーク４を通じて受信した検索結果を表示部１０２に表示させる（Ｓ１９）。図７は、経路探索完了時に眼鏡型ウェアラブル端末１を通して視認されるユーザーの視界を示す図である。経路探索結果は仮想ＧＵＩ１５として表示される。

また、情報検索部１０９は、経路探索に付随して他人の投稿情報を検索してユーザーに提示するようにしてもよい。例えば、表示制御部１１０は、図７に示したように、経路探索結果を示す仮想ＧＵＩ１５におすすめ情報ボタン１６を設けておく。情報検索部１０９は、ユーザーがおすすめ情報ボタン１６を押す操作を検知すると、通信部１０４及びネットワーク４を通じて、投稿情報を保存するサーバー装置３にアクセスし、サーバー装置３から他人によるおすすめの乗り方やホテル情報やその他コメントなどの各種情報を取得する。そして、表示制御部１１０は、サーバー装置３から取得した各種情報を表示部１０２に表示させる。図８は、各種情報取得時に眼鏡型ウェアラブル端末１を通して視認されるユーザーの視界を示す図である。例えば、仮想ＧＵＩ１７により、上記各種情報がユーザーに提示される。

以上のように本実施形態によれば、眼鏡型ウェアラブル端末１を使用してユーザーが印刷物５を視認する場合において、紙媒体としての印刷物５に示された情報に基づいて、インターネット検索やコンピューター技術の活用が容易に可能になる。これにより、印刷物５に電子化文書と同様なユーザーインタラクションを導入して、印刷物５を用いて様々な情報検索ができるようになる。

なお、本発明は上記実施の形態の構成に限られず種々の変形が可能である。例えば、図６に示した経路探索において経由地も指定できるようにしてもよい。また、図７に示した経路探索結果において各経路の料金を表示するようにしてもよい。また、上記説明では経路探索において出発地を先に指定して目的地を後で指定するとしたが、出発地及び目的地は指ジェスチャーで特定することができるため、指定順序は任意である。また、上記説明では１枚の路線図で出発地及び目的地を指定するとしたが、出発地と目的地をそれぞれ別の路線図で指定することも可能である。すなわち、ユーザーの目の前に複数の路線図を同時に広げてもよいし、出発地及び目的地で路線図を差し替えるようにしてもよい。

路線図によっては主要駅しか印刷されていないことがある。そのような場合には路線図上で主要駅間を指で指し示すことで、路線図に表示されていない駅を検索してユーザーに提示することができる。

なお、図１乃至図８を用いて上記実施形態により示した構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。

１ 眼鏡型ウェアラブル端末
２１ イメージスキャナー
２２ ＯＣＲ装置
２３ 画像データ保存装置
３ サーバー装置
５ 印刷物
１０２ 表示部
１０３ 撮像部
１０６ 画像データ特定部
１０７ 指先端位置特定部
１０８ 文字特定部
１０９ 情報検索部
１１０ 表示制御部
１１１ 指ジェスチャー特定部

Claims (6)

1. 眼鏡型ウェアラブル端末と、
   印刷物を光学的に読み取って前記印刷物の画像データを生成するイメージスキャナーと、
   前記画像データ中の文字を認識して前記画像データに認識したテキストを重畳したテキスト付き画像データを生成するＯＣＲ装置と、
   前記テキスト付き画像データを保存する画像データ保存装置とを備え、
   前記眼鏡型ウェアラブル端末は、
   表示部と、前記表示部の投影映像の表示を制御して、ユーザーによる視認が可能にユーザーの視界に映像を重ねて前記表示部に表示させる表示制御部と、ユーザーの視界映像を撮像する撮像部と、前記画像データ保存装置に保存されたテキスト付き画像データのうち前記視界映像に写った印刷物に対応するテキスト付き画像データを特定する画像データ特定部と、前記視界映像に写った印刷物の上に置かれた指の先端位置を特定する指先端位置特定部と、前記特定されたテキスト付き画像データを参照して前記特定された指の先端位置において指で隠された文字を特定する文字特定部と、前記特定された文字を検索キーとして情報検索を行う情報検索部とを有し、
   前記表示制御部は、前記情報検索部による検索結果を前記表示部に表示させる印刷物処理システム。
2. 前記表示制御部は、予め定められた仮想的なグラフィカルユーザーインターフェースを前記表示部に表示させ、
   前記情報検索部は、前記グラフィカルユーザーインターフェースに対するユーザー操作に応じて情報検索を行う請求項１に記載の印刷物処理システム。
3. 前記印刷物が路線図であり、
   前記文字特定部は駅名を特定する請求項１に記載の印刷物処理システム。
4. 前記眼鏡型ウェアラブル端末は、前記視界映像に写った指のジェスチャーを特定する指ジェスチャー特定部を有し、
   前記文字特定部は、前記指ジェスチャー特定部により特定された指ジェスチャーに応じて出発地、目的地及び経由地を特定し、
   前記情報検索部は、検索サービスを提供するサーバー装置にアクセスして、前記特定された出発地、目的地及び経由地を条件に経路を探索する請求項３に記載の印刷物処理システム。
5. 前記情報検索部は、投稿情報を保存するサーバー装置にアクセスして経路に関連する情報を取得し、
   前記表示制御部は、前記情報検索部が取得した情報を前記表示部に表示させる請求項４に記載の印刷物処理システム。
6. 前記指先端位置特定部は、前記視界映像に写った印刷物を前記撮像部が撮像して得られた画像データと、前記画像データ保存装置に保存されている当該印刷物に対応する画像データとを対比することで、前記視界映像に写った印刷物の上に置かれた指の先端位置を特定する請求項１乃至請求項５のいずれかに記載の印刷物処理システム。